نوشته شانیا کندی
– محققان دانشگاه استنفورد و دانشگاه واشنگتن یک چارچوب حسابرسی طراحی کرده اند که برای روشن کردن فرآیندهای تصمیم گیری “جعبه سیاه” مدل های هوش مصنوعی مراقبت های بهداشتی طراحی شده است.
مشکل “جعبه سیاه” یک مشکل دائمی است که در آن کاربران ابزار هوش مصنوعی نمی توانند نحوه تصمیم گیری آن را ببینند. از آنجایی که عملکرد درونی سیستم نامرئی است، کاربران اغلب برای اعتماد کردن و پذیرش خروجی های مدل مشکل دارند.
این فقدان اعتماد مانع بزرگی برای پیاده سازی هوش مصنوعی در مراقبت های بهداشتی است و ذینفعان را برای افزایش قابلیت توضیح در ابزارها سوق می دهد.
برای این منظور، محققان تصمیم گرفتند یک رویکرد حسابرسی برای این مدل‌ها ایجاد کنند تا فرآیندهای استنتاج خود را آشکار کنند.
این چارچوب از تخصص انسانی و هوش مصنوعی مولد برای ارزیابی طبقه‌بندی‌کننده‌ها، الگوریتم‌هایی که به دسته‌بندی ورودی‌های داده کمک می‌کنند، استفاده می‌کند.
برای آزمایش این رویکرد، تیم تحقیقاتی پنج طبقه‌بندی‌کننده هوش مصنوعی پوست را با تعیین تصاویر ضایعات پوستی به‌عنوان «احتمالاً خوش‌خیم» یا «احتمالاً بدخیم» مورد مطالعه قرار دادند. از آنجا، مدل‌های هوش مصنوعی مولد آموزش‌دیده همراه با هر طبقه‌بندی‌کننده برای ایجاد تصاویر ضایعه اصلاح‌شده به‌گونه‌ای که برای هر طبقه‌بندی‌کننده «خوش‌خیم‌تر» یا «بدخیم‌تر» ظاهر می‌شوند، استفاده شد.
سپس، دو متخصص پوست، تصاویر را ارزیابی کردند تا مشخص کنند کدام ویژگی تصویر بیشترین تأثیر را بر تصمیم گیری طبقه بندی کننده ها دارد.
در انجام این کار، محققان دریافتند که طبقه‌بندی‌کننده‌ها هم از ویژگی‌های نامطلوب – مانند بافت پس‌زمینه پوست و تعادل رنگ – و هم از ویژگی‌هایی استفاده می‌کنند که توسط متخصصان پوست انسانی – مانند الگوهای رنگدانه‌ای ضایعات استفاده می‌شود.
ممکن است مجموعه آموزشی برای یک طبقه‌بندی‌کننده هوش مصنوعی پوستی خاص حاوی تعداد بسیار بالایی از تصاویر ملانوم‌های واقعی و تایید شده با بیوپسی باشد که اتفاقاً روی پوست مودار ظاهر می‌شوند، بنابراین طبقه‌بندی کننده ارتباط نادرستی بین احتمال ملانوما و پرمویی ایجاد کرده است. دکتر رکسانا دانشجو، یکی از نویسندگان ارشد این مطالعه، استادیار علوم داده های زیست پزشکی و پوست در دانشگاه استنفورد، در این خبر توضیح داد.
تیم تحقیقاتی نشان داد که این بینش‌ها در مورد تصمیم‌گیری مدل می‌تواند به توسعه‌دهندگان کمک کند تا تعیین کنند که آیا هوش مصنوعی آنها به همبستگی‌های جعلی در مجموعه داده‌ها متکی است یا خیر، که ممکن است به حل این مسائل قبل از استقرار در تنظیمات مراقبت‌های بهداشتی کمک کند.
پرداختن به مشکل “جعبه سیاه” در هوش مصنوعی پوست نیز یک اولویت اصلی برای محققان است زیرا تعداد بیشتری از این ابزارها در فروشگاه های اپل و اندروید در دسترس مصرف کنندگان قرار می گیرند.
دانشجو گفت: «این برنامه‌های مستقیم به مصرف‌کننده نگران‌کننده هستند، زیرا مصرف‌کنندگان واقعاً نمی‌دانند در این مرحله چه چیزی دریافت می‌کنند. درک تصمیمات الگوریتم‌های هوش مصنوعی برای نشان دادن اینکه آیا این مدل‌ها بر اساس ویژگی‌های مهم بالینی تصمیم‌گیری می‌کنند، ارزشمند خواهد بود.
تیم تحقیقاتی همچنین تاکید کرد که رویکردهای هوش مصنوعی قابل توضیح برای افزایش دقت ابزار و اعتماد کاربران کلیدی است.
دانشجو اظهار داشت: «این مهم است که طبقه‌بندی‌کننده‌های هوش مصنوعی پزشکی با بازجویی از فرآیندهای استدلالی خود، بررسی مناسبی را دریافت کنند و آنها را تا حد امکان برای کاربران انسانی و توسعه‌دهندگان قابل درک کنند.» «هوش مصنوعی در صورت تحقق کامل، این قدرت را دارد که حوزه‌های خاصی از پزشکی را متحول کند و بیمار را بهبود بخشد. عواقب.”
نگرانی‌های مربوط به مشکل جعبه سیاه در هوش مصنوعی مراقبت‌های بهداشتی اغلب همراه با نگرانی در مورد وابسته شدن پزشکان به این ابزارها است.
در مصاحبه ماه نوامبر با HealthITAnalyticsکارشناسان Sentara Healthcare و UC San Diego Health در مورد چالش‌های هوش مصنوعی «جعبه سیاه»، نحوه مبارزه با این مسائل و نحوه برخورد سازمان‌های مراقبت‌های بهداشتی با سؤالات مربوط به تکیه بیش از حد پزشکان به ابزارهای هوش مصنوعی بحث کردند.