به گزارش مدیاتی:گسترش استفاده از چت‌بات‌های هوش مصنوعی برای دریافت توصیه‌های پزشکی، نگرانی‌های تازه‌ای درباره دقت این ابزارها و پیامدهای احتمالی خطاهای آن‌ها ایجاد کرده است. یکی از چالش‌های مهم این است که توصیه‌های نادرست هوش مصنوعی ممکن است بدون اطلاع پزشکان بر تصمیم‌های درمانی بیماران تأثیر بگذارند و هرگز به‌طور رسمی شناسایی یا ثبت نشوند. این مسئله ارزیابی میزان واقعی خطاهای هوش مصنوعی در حوزه سلامت را دشوار می‌کند و ضرورت بررسی دقیق‌تر عملکرد این ابزارها، به‌ویژه در موقعیت‌های حساس پزشکی، را افزایش می‌دهد.
خطر پنهان توصیه‌های پزشکی هوش مصنوعی؛ پزشکان ممکن است هرگز از خطاهای چت‌بات‌ها باخبر نشوند
چت‌بات‌های هوش مصنوعی به‌تدریج به یکی از منابع دریافت اطلاعات و توصیه‌های پزشکی تبدیل شده‌اند؛ اما ارائه اطلاعات نادرست از سوی این ابزارها می‌تواند سلامت کاربران را به خطر بیندازد. مشکل زمانی جدی‌تر می‌شود که توصیه اشتباه به آسیب جسمی منجر شود، اما پزشکان نتوانند به گفت‌وگوی اصلی کاربر با هوش مصنوعی دسترسی پیدا کنند و علت بروز مشکل را تشخیص دهند.
پژوهشگران دانشگاه بینگهمتون، دانشگاه استنفورد، دانشگاه تگزاس اِی‌اند‌اِم و دانشگاه ایندیانا در مقاله‌ای منتشرشده در نشریه Nature Health، چالش‌های ناشی از توصیه‌های پزشکی نادرست چت‌بات‌ها را بررسی کرده‌اند. آن‌ها معتقدند خطر این فناوری فقط به احتمال ارائه پاسخ اشتباه محدود نمی‌شود؛ بلکه نبود سازوکارهای مؤثر برای ثبت، بررسی و شناسایی این خطاها نیز می‌تواند مانع تشخیص آسیب‌ها و جلوگیری از تکرار آن‌ها شود.
پژوهشگران همچنین از سیاست‌گذاران خواسته‌اند مسئولیت حقوقی شرکت‌های هوش مصنوعی در قبال توصیه‌های پزشکی آسیب‌زا را بررسی کنند؛ موضوعی که می‌تواند بر نحوه توسعه و عرضه ابزارهای هوش مصنوعی در حوزه سلامت تأثیر بگذارد.
چرا خطاهای پزشکی چت‌بات‌های هوش مصنوعی شناسایی نمی‌شوند؟
پژوهشگران برای توضیح این مشکل به پرونده مردی ۶۰ ساله اشاره می‌کنند که از ChatGPT درباره کاهش کلرید در رژیم غذایی خود سؤال کرده بود. این چت‌بات به او پیشنهاد داد نمک خوراکی را با برومید سدیم جایگزین کند. این فرد نیز توصیه مذکور را دنبال کرد و در نهایت به دلیل مسمومیت با برومید در بیمارستان بستری شد. او علائمی مانند توهم و بدبینی را تجربه کرد.
بر اساس گزارش منتشرشده، پزشکان این فرد به گفت‌وگوی او با چت‌بات دسترسی نداشتند و نمی‌توانستند به‌راحتی متوجه شوند چه توصیه‌ای دریافت کرده است. همین مسئله بررسی دقیق عوامل منجر به بروز مشکل را دشوارتر کرد.
کایچنگ یانگ، نویسنده اصلی پژوهش، این شکاف اطلاعاتی را یکی از چالش‌های مهم استفاده از چت‌بات‌ها برای دریافت توصیه‌های پزشکی می‌داند. به اعتقاد پژوهشگران، وقتی تعاملات کاربران با هوش مصنوعی به‌صورت مستقل و نظام‌مند بررسی نشوند، شناسایی خطاهای تکرارشونده و ارزیابی پیامدهای آن‌ها دشوار خواهد بود.
در نظام درمانی متعارف، اطلاعات مربوط به تشخیص و درمان در پرونده پزشکی بیمار ثبت می‌شود و عوارض دارویی نیز ممکن است در سامانه‌های گزارش‌دهی قرار بگیرند. در مقابل، تاریخچه گفت‌وگو با چت‌بات‌ها معمولاً در اختیار کاربر و شرکت ارائه‌دهنده سرویس باقی می‌ماند.
در نتیجه، پزشکان، نهادهای نظارتی و محققان مستقل ممکن است شواهد کافی برای شناسایی ارتباط میان توصیه‌های نادرست و آسیب‌های احتمالی نداشته باشند. این مسئله نه‌تنها بررسی یک پرونده مشخص، بلکه شناسایی الگوهای گسترده‌تر خطا در سامانه‌های هوش مصنوعی را نیز دشوار می‌کند.
کاربران حتی بدون پرسیدن سؤال هم ممکن است با توصیه پزشکی نادرست مواجه شوند
یکی دیگر از نکات مطرح‌شده در این پژوهش، گسترش اطلاعات سلامت تولیدشده با هوش مصنوعی در محیط‌های دیجیتال است. کاربران برای مواجهه با اطلاعات پزشکی نادرست لزوماً نباید مستقیماً از یک چت‌بات سؤال بپرسند.
خلاصه‌های تولیدشده با هوش مصنوعی، پیشنهادهای محتوایی و فیدهای شبکه‌های اجتماعی نیز ممکن است اطلاعات پزشکی نادرست یا گمراه‌کننده‌ای را در معرض دید کاربران قرار دهند. در چنین شرایطی، فرد ممکن است بدون جست‌وجوی فعال برای دریافت توصیه پزشکی، اطلاعاتی را ببیند که بر تصمیم‌های او درباره سلامت خود تأثیر بگذارد.
ردیابی منشأ این اطلاعات نیز همیشه آسان نیست. ممکن است مشخص نباشد توصیه از کدام سامانه هوش مصنوعی تولید شده، چه زمینه‌ای داشته و تا چه اندازه در تصمیم کاربر نقش ایفا کرده است.
به همین دلیل، پژوهشگران معتقدند بررسی خطرهای هوش مصنوعی در حوزه سلامت نباید فقط به گفت‌وگوهای مستقیم کاربران با چت‌بات‌ها محدود شود؛ بلکه نحوه انتشار و بازنشر اطلاعات پزشکی تولیدشده با این فناوری نیز اهمیت دارد.
راهکارهای پیشنهادی پژوهشگران برای کاهش خطر توصیه‌های پزشکی هوش مصنوعی
نویسندگان پژوهش برای کاهش این خطرات، چند راهکار را مطرح کرده‌اند که هدف اصلی آن‌ها افزایش شفافیت و پاسخ‌گویی شرکت‌های هوش مصنوعی است.
۱. فراهم کردن دسترسی کاربران به تاریخچه گفت‌وگوها
شرکت‌های هوش مصنوعی باید امکان دسترسی کاربران به سوابق گفت‌وگوهای خود را فراهم کنند تا در صورت بروز مشکل پزشکی، اطلاعات مربوط به توصیه‌های دریافت‌شده قابل بررسی باشد. نگهداری و ارائه این سوابق می‌تواند به پزشکان کمک کند تا بهتر بفهمند چه اطلاعاتی در اختیار بیمار قرار گرفته است.
۲. شناسایی و علامت‌گذاری توصیه‌های خطرناک
پژوهشگران پیشنهاد می‌کنند شرکت‌ها سازوکارهایی برای شناسایی و علامت‌گذاری توصیه‌های پزشکی بالقوه آسیب‌زا توسعه دهند. چنین ابزارهایی می‌توانند به شناسایی پاسخ‌های پرخطر، بررسی الگوهای خطا و بهبود فرایندهای ایمنی کمک کنند.
۳. بررسی مسئولیت حقوقی شرکت‌های هوش مصنوعی
یکی از پیشنهادهای مهم مقاله، بررسی امکان گسترش مسئولیت حقوقی شرکت‌های ارائه‌دهنده چت‌بات‌های پزشکی است. پژوهشگران از سیاست‌گذاران می‌خواهند بررسی کنند که آیا می‌توان مسئولیت این شرکت‌ها را در موارد ارائه راهنمایی پزشکی آسیب‌زا، به مسئولیت حرفه‌ای پزشکان در پرونده‌های قصور پزشکی نزدیک کرد یا خیر.
البته این پیشنهاد به معنای آن نیست که شرکت‌های هوش مصنوعی در حال حاضر در تمام حوزه‌های قضایی مشمول همان قواعد مسئولیت پزشکان هستند. تعیین مسئولیت حقوقی به قوانین هر کشور، نوع خدمت، ماهیت توصیه و شرایط پرونده بستگی دارد.
آیا می‌توان به توصیه‌های پزشکی چت‌بات‌ها اعتماد کرد؟
چت‌بات‌های هوش مصنوعی می‌توانند برای آشنایی اولیه با موضوعات پزشکی، توضیح اصطلاحات تخصصی یا آماده کردن پرسش‌های مناسب برای مراجعه به پزشک مفید باشند؛ اما پاسخ‌های آن‌ها همیشه دقیق نیست و ممکن است اطلاعات نادرست یا توصیه‌های خطرناکی ارائه دهند.
کاربران نباید پاسخ‌های این ابزارها را جایگزین تشخیص پزشک یا راهنمایی متخصصان سلامت کنند؛ به‌ویژه زمانی که موضوع به مصرف دارو، تغییر رژیم درمانی یا بروز علائم جدی مربوط می‌شود. در صورت بروز مشکل نیز نگهداری تاریخچه گفت‌وگو می‌تواند به پزشک کمک کند تا اطلاعات بیشتری درباره توصیه‌های دریافت‌شده داشته باشد.
ضرورت افزایش شفافیت در هوش مصنوعی پزشکی
پژوهشگران تأکید می‌کنند که یکی از چالش‌های مهم چت‌بات‌های پزشکی، دشواری شناسایی و بررسی آسیب‌های ناشی از پاسخ‌های نادرست است. اگر گفت‌وگوی منجر به یک توصیه خطرناک در دسترس پزشکان و نهادهای نظارتی نباشد، تشخیص علت مشکل و جلوگیری از تکرار آن می‌تواند دشوارتر شود.
به همین دلیل، افزایش دسترسی به تاریخچه گفت‌وگوها، توسعه ابزارهای شناسایی توصیه‌های پرخطر و بررسی چارچوب‌های مسئولیت حقوقی شرکت‌ها از جمله راهکارهای پیشنهادی برای مدیریت این چالش هستند. با گسترش استفاده از هوش مصنوعی در حوزه سلامت، ایجاد تعادل میان مزایای این فناوری و ضرورت حفاظت از کاربران به یکی از موضوعات مهم برای شرکت‌های فناوری، متخصصان پزشکی و سیاست‌گذاران تبدیل شده است.
