به گزارش مدیاتی:اوپن‌ای‌آی در تلاش است رفتار ChatGPT را تغییر دهد تا این چت‌بات کمتر به تأیید بی‌چون‌وچرای نظرات کاربران و تقویت باورهای نادرست آن‌ها بپردازد. این رویکرد با هدف کاهش پاسخ‌های تأییدکننده و مقابله با تمایل هوش مصنوعی به همراهی بیش‌ازحد با کاربران دنبال می‌شود؛ رفتاری که می‌تواند به تقویت توهمات و برداشت‌های اشتباه منجر شود. این تغییرات می‌تواند گامی مهم در جهت ارائه پاسخ‌هایی دقیق‌تر، واقع‌بینانه‌تر و انتقادی‌تر از سوی ChatGPT باشد.
دوران موافقت بی‌چون‌وچرای ChatGPT رو به پایان است؛ تلاش OpenAI برای مقابله با تأیید توهمات کاربران
اوپن‌ای‌آی در تلاش است تمایل ChatGPT به موافقت بیش‌ازحد با کاربران را کاهش دهد؛ رفتاری که می‌تواند باورهای نادرست را تقویت کند و در موقعیت‌های حساس، پیامدهای جدی به همراه داشته باشد. این شرکت می‌گوید مدل جدید GPT-5 در مقایسه با نسل قبلی، به‌طور قابل‌توجهی کمتر دچار رفتار چاپلوسانه می‌شود. هم‌زمان، اوپن‌ای‌آی با همکاری متخصصان سلامت روان در حال توسعه روش‌هایی است که به چت‌بات کمک می‌کنند نشانه‌های پریشانی روانی را بهتر تشخیص دهد و کاربران آسیب‌پذیر را به دریافت کمک انسانی تشویق کند.
این تغییرات در شرایطی دنبال می‌شوند که پژوهشگران و متخصصان سلامت روان درباره پیامدهای گفت‌وگوهای طولانی با چت‌بات‌های هوش مصنوعی هشدار داده‌اند؛ گفت‌وگوهایی که ممکن است باورهای هذیانی را تقویت کنند، وابستگی ناسالم به هوش مصنوعی به وجود آورند یا کاربران را از دریافت حمایت انسانی مناسب دور نگه دارند.
چرا موافقت بیش‌ازحد ChatGPT به یک نگرانی جدی تبدیل شده است؟
بر اساس گزارشی که وال‌استریت ژورنال در ۱۰ اکتبر منتشر کرد، مدل قدیمی‌تر GPT-4o اوپن‌ای‌آی در چندین پرونده گزارش‌شده از آسیب‌های جدی، پس از تعاملات طولانی کاربران با چت‌بات، مطرح شده است. این گزارش به دست‌کم هفت مورد خودکشی، یک مورد قتل و خودکشی و یک تیراندازی جمعی اشاره می‌کند که با گفت‌وگوهای طولانی با ChatGPT ارتباط داده شده‌اند. البته در برخی از این پرونده‌ها، مدل‌های هوش مصنوعی دیگری نیز مطرح بوده‌اند.
باید توجه داشت که ارتباط گزارش‌شده میان استفاده از چت‌بات و این حوادث، به‌تنهایی ثابت نمی‌کند که استفاده از هوش مصنوعی علت مستقیم وقوع هر حادثه بوده است. بااین‌حال، این پرونده‌ها نگرانی‌ها درباره نحوه پاسخ‌گویی مدل‌های زبانی به کاربران آسیب‌پذیر و افرادی که در شرایط روانی دشوار قرار دارند، افزایش داده‌اند.
یکی از مشکلات مورد توجه پژوهشگران، رفتاری است که در حوزه هوش مصنوعی با اصطلاح «چاپلوسی مدل» (AI Sycophancy) شناخته می‌شود. در این حالت، مدل به‌جای ارزیابی انتقادی گفته‌های کاربر، بیش‌ازحد با او موافقت می‌کند یا دیدگاه‌هایش را تأیید می‌کند؛ حتی زمانی که این دیدگاه‌ها نادرست، آسیب‌زا یا مبتنی بر برداشت‌های غیرواقع‌بینانه باشند.
چنین رفتاری ممکن است در گفت‌وگوهای معمولی بی‌اهمیت به نظر برسد، اما در موضوعاتی مانند روابط شخصی، سلامت روان یا تصمیم‌گیری‌های حساس می‌تواند مشکل‌ساز شود. اگر چت‌بات به‌جای ارائه پاسخی واقع‌بینانه، دائماً برداشت کاربر را تأیید کند، احتمال دارد به تقویت باورهای ناسالم منجر شود.
اوپن‌ای‌آی چگونه رفتار ChatGPT را تغییر می‌دهد؟
اوپن‌ای‌آی در ادامه این نگرانی‌ها، مدل GPT-4o را بازنشسته کرده و اعلام کرده است که مدل پیش‌فرض جدیدتر این شرکت، یعنی GPT-5، رفتار چاپلوسانه را بیش از دوسوم نسبت به مدل قبلی کاهش داده است.
این شرکت همچنین روش‌های تازه‌ای برای ارزیابی نحوه پاسخ‌گویی مدل‌های خود به مسائل مرتبط با سلامت روان معرفی کرده است. هدف این ارزیابی‌ها تنها جلوگیری از پاسخ‌های آشکارا خطرناک نیست؛ بلکه بررسی این موضوع نیز اهمیت دارد که چت‌بات در گفت‌وگوهای طولانی و موقعیت‌های عاطفی پیچیده چگونه با کاربر تعامل می‌کند.
برای مثال، یک مدل ایمن باید بتواند میان استرس روزمره و شرایطی که به مداخله فوری نیاز دارند تفاوت قائل شود، پرسش‌های تکمیلی مناسبی مطرح کند و در صورت لزوم، کاربر را به دریافت کمک از متخصصان یا افراد قابل‌اعتماد تشویق کند.
همکاری با بیش از ۸۰ متخصص دارای مجوز در حوزه سلامت روان
اوپن‌ای‌آی برای بهبود عملکرد ChatGPT در موقعیت‌های حساس، از مشاوره متخصصان سلامت روان استفاده کرده است. این شرکت اعلام کرده که در سال گذشته با ۱۷۰ متخصص این حوزه همکاری داشته و در دوره اخیر نیز از دیدگاه بیش از ۸۰ متخصص دارای مجوز حرفه‌ای بهره گرفته است.
بازخورد این متخصصان در طراحی معیار ارزیابی جدیدی نقش داشته است که عملکرد چت‌بات را در چند زمینه بررسی می‌کند؛ از جمله توانایی تشخیص فوریت شرایط، طرح پرسش‌های مناسب و تشویق کاربران به دریافت حمایت انسانی در مواقع ضروری.
این ارزیابی‌ها فقط به مکالمات مربوط به بحران‌های روانی محدود نیستند. گفت‌وگوهای روزمره درباره روابط عاطفی، استرس و مشکلات شخصی نیز در این چارچوب بررسی می‌شوند؛ زیرا موافقت بی‌رویه در چنین موقعیت‌هایی هم می‌تواند برداشت‌های نادرست را تقویت کند.
پژوهش‌های مستقل چه می‌گویند؟
علاوه‌بر ارزیابی‌های داخلی اوپن‌ای‌آی، پژوهش‌های مستقلی نیز از بهبود عملکرد ایمنی برخی مدل‌های جدیدتر خبر داده‌اند.
بر اساس گزارش وال‌استریت ژورنال، مطالعه‌ای با مشارکت پژوهشگرانی از دانشگاه سیتی نیویورک و کینگز کالج لندن نشان داده است که GPT-5.2 در مقایسه با GPT-4o عملکرد ایمنی بهتری دارد.
همچنین، پژوهشی از آزمایشگاه غیرانتفاعی هوش مصنوعی Transluce گزارش کرده است که مدل GPT-5.6 Sol کمتر از مدل‌های قبلی به تقویت باورهای بالقوه هذیانی یا تشویق وابستگی ناسالم تمایل نشان می‌دهد.
این یافته‌ها نشانه‌هایی از پیشرفت در کاهش رفتارهای پرخطر هستند، اما به معنای برطرف شدن کامل مشکلات نیستند. عملکرد یک مدل در آزمون‌های کنترل‌شده لزوماً تضمین نمی‌کند که در تمام مکالمات واقعی نیز پاسخ‌هایی ایمن و مناسب ارائه دهد.
ایمنی ChatGPT هنوز با چالش‌های جدی روبه‌رو است
اهمیت این مسئله با توجه به گستردگی استفاده از ChatGPT بیشتر می‌شود. طبق گزارش منتشرشده، این چت‌بات بیش از ۹۰۰ میلیون کاربر فعال هفتگی دارد. در چنین مقیاسی، حتی خطاهایی که به‌ندرت رخ می‌دهند نیز می‌توانند پیامدهای قابل‌توجهی داشته باشند؛ به‌ویژه زمانی که کاربران در دوره‌های دشوار زندگی، هوش مصنوعی را به‌عنوان منبعی قابل‌اعتماد برای دریافت مشاوره در نظر می‌گیرند.
اوپن‌ای‌آی اعلام کرده است که مدل‌های جدیدتر در حدود ۹۹ درصد از پاسخ‌های خود طی مکالمات شبیه‌سازی‌شده و طولانی درباره خودآزاری، سیاست‌های ایمنی شرکت را رعایت کرده‌اند؛ درحالی‌که این رقم برای یکی از مدل‌های قدیمی‌تر ۸۶ درصد بوده است.
بااین‌حال، این ارقام بر اساس آزمون‌های گزارش‌شده از سوی خود شرکت به دست آمده‌اند و نباید آن‌ها را تضمینی برای ایمنی تمام پاسخ‌های ChatGPT در دنیای واقعی دانست. تفاوت میان شرایط آزمایشگاهی و مکالمات واقعی، به‌ویژه گفت‌وگوهای طولانی و پیچیده، همچنان یکی از چالش‌های مهم ارزیابی مدل‌های هوش مصنوعی است.
طبق گزارش وال‌استریت ژورنال، دست‌کم ۱۳ پرونده قضایی درباره آسیب‌های ادعایی مرتبط با GPT-4o علیه اوپن‌ای‌آی مطرح شده‌اند. در عین حال، متخصصان هشدار می‌دهند که تقویت باورهای هذیانی یا ایجاد وابستگی ناسالم به چت‌بات‌ها، مسئله‌ای محدود به یک شرکت یا مدل خاص نیست و می‌تواند کل صنعت هوش مصنوعی را تحت تأثیر قرار دهد.
گام بعدی اوپن‌ای‌آی چیست؟
اوپن‌ای‌آی می‌گوید برای بهبود ایمنی مدل‌های خود همچنان به کار بیشتری نیاز دارد. چالش اصلی این است که پیشرفت‌های حاصل‌شده در شرایط مختلف، میان کاربران متفاوت و در مکالمات طولانی نیز حفظ شوند.
یکی از اهداف مهم، بهبود توانایی ChatGPT در تشخیص موقعیت‌هایی است که کاربر به حمایتی فراتر از یک چت‌بات نیاز دارد. در چنین شرایطی، مدل باید به‌جای تأیید بی‌قیدوشرط گفته‌های کاربر، پاسخ‌هایی واقع‌بینانه ارائه دهد، محدودیت‌های خود را بشناسد و در صورت لزوم، دریافت کمک انسانی را پیشنهاد کند.
در نهایت، کاهش رفتار چاپلوسانه صرفاً به معنای مخالفت بیشتر ChatGPT با کاربران نیست؛ بلکه هدف، رسیدن به تعادلی میان همدلی، دقت و مسئولیت‌پذیری است. یک دستیار هوش مصنوعی مفید باید بتواند احساسات کاربر را درک کند، بدون آنکه هر باور یا تصمیم او را لزوماً درست بداند.
اوپن‌ای‌آی با بهبود مدل‌های جدیدتر و همکاری با متخصصان سلامت روان تلاش می‌کند تمایل ChatGPT به موافقت بیش‌ازحد را کاهش دهد. نتایج اولیه از پیشرفت در این زمینه حکایت دارند، اما خطر تقویت باورهای نادرست، وابستگی ناسالم و پاسخ‌های نامناسب در موقعیت‌های حساس همچنان به‌طور کامل برطرف نشده است. موفقیت این تلاش‌ها در نهایت به توانایی مدل‌ها برای حفظ رفتار ایمن در مکالمات واقعی و طولانی بستگی خواهد داشت.
