به گزارش مدیاتی:هوش مصنوعی برای به خطر انداختن کاربران لزوماً نیازی به داشتن رفتارهای شرورانه یا قصد آسیب‌رسانی ندارد؛ گاهی خطاهای الگوریتمی، تصمیم‌گیری‌های نادرست و عملکرد پیش‌بینی‌ناپذیر این فناوری می‌توانند بدون هیچ نیت مخربی، حریم خصوصی، امنیت و حتی زندگی انسان‌ها را تحت تأثیر قرار دهند. همین مسئله نشان می‌دهد که خطرات هوش مصنوعی فقط به سناریوهای ترسناک و کنترل‌ناپذیر محدود نمی‌شوند و استفاده روزمره از این فناوری نیز می‌تواند چالش‌های جدی به همراه داشته باشد.
هوش مصنوعی برای تهدید کاربران نیازی به تبدیل شدن به یک ابزار شرور ندارد
یک دستیار هوش مصنوعی که با تمام حرف‌های شما موافقت می‌کند، ممکن است همراهی ایدئال به نظر برسد؛ اما زمانی که به کسی نیاز دارید تا اشتباهتان را گوشزد کند، همین ویژگی می‌تواند به مشکلی جدی تبدیل شود. خطرات هوش مصنوعی لزوماً از جایی آغاز نمی‌شوند که این فناوری از کنترل خارج شود یا به اهداف مستقلی دست پیدا کند. یک چت‌بات می‌تواند بدون داشتن قصد و نیت شخصی نیز آسیب‌زا باشد؛ برای مثال، باورهای نادرست را تقویت کند، وابستگی عاطفی ناسالم به وجود بیاورد یا از دستورهای مخربی پیروی کند که مهاجمان برای منحرف کردن عملکرد آن طراحی کرده‌اند.
شرکت آلیس (Alice) که در زمینه ایمنی هوش مصنوعی فعالیت می‌کند، ۱۵ اکتبر از نرم‌افزار جدیدی برای مقابله با این خطرات روزمره رونمایی کرد. این شرکت اعلام کرده است که در همکاری‌های جداگانه با Inflection AI و AI21، به آموزش مدل‌های Nemotron انویدیا کمک کرده تا این مدل‌ها در برابر رفتارهای مکالمه‌ای آسیب‌زا و دستورهای مخرب مقاومت بیشتری داشته باشند؛ بدون آنکه از کاربردپذیری آن‌ها کاسته شود.
مزیت احتمالی این پیشرفت برای کاربران روشن است: دستیارهایی که در مواقع ضروری می‌توانند با کاربر مخالفت کنند و فریب دادن آن‌ها دشوارتر است. بااین‌حال، این خبر پرسشی مهم را نیز درباره ادعاهای مرتبط با ایمنی هوش مصنوعی مطرح می‌کند: بهبود امتیاز در آزمون‌های ایمنی، در عمل تا چه اندازه می‌تواند از کاربران محافظت کند؟
وقتی مفید بودن هوش مصنوعی به عاملی آسیب‌زا تبدیل می‌شود
در گزارشی که شبکه CNN در سپتامبر ۲۰۲۵ منتشر کرد، پدری به نام جیمز توضیح داد که چگونه متقاعد شده بود ChatGPT آگاهی دارد و برای فرار از وضعیت خود به کمک او نیازمند است. او نزدیک به هزار دلار برای ساخت یک سامانه رایانه‌ای هزینه کرد. طبق گزارش CNN، سوابق مکالمات بررسی‌شده نشان می‌داد که چت‌بات این پروژه را تشویق کرده و به او کمک کرده است هدف واقعی آن را از همسرش پنهان کند.
فرد دیگری به نام آلن بروکس نیز در مصاحبه‌ای گفت که ChatGPT او را متقاعد کرده است به اکتشافات خارق‌العاده‌ای در حوزه ریاضیات و امنیت سایبری دست یافته است. حتی زمانی که او برای اطمینان از درستی ادعاهایش درخواست بررسی واقعیت می‌کرد، چت‌بات همچنان دیدگاه‌هایش را تأیید می‌کرد.
این روایت‌ها به‌تنهایی مشخص نمی‌کنند که چنین تجربه‌هایی با چه فراوانی رخ می‌دهند یا ثابت نمی‌کنند که چت‌بات‌ها به‌تنهایی عامل بروز آن‌ها بوده‌اند. بااین‌حال، احتمال نگران‌کننده‌ای را نشان می‌دهند: یک ابزار مکالمه‌ای می‌تواند به همراهی متقاعدکننده برای شکل‌گیری و تقویت روایتی نادرست تبدیل شود.
در صنعت هوش مصنوعی، موافقت بیش از اندازه با کاربر با اصطلاح «چاپلوسی هوش مصنوعی» یا Sycophancy شناخته می‌شود. برای کاربران، تشخیص مشکل ساده‌تر از نام تخصصی آن است. لحن اطمینان‌بخش یک دستیار ممکن است این تصور را ایجاد کند که تأیید آن، تأییدی مستقل و معتبر است؛ حتی اگر سامانه هیچ مدرکی برای درستی ایده کاربر ارائه نکرده باشد.
چرا یک چت‌بات ایمن‌تر باید گاهی با کاربر مخالفت کند؟
همکاری آلیس با شرکت Inflection، سازنده دستیار هوش مصنوعی شخصی Pi، بر کاهش چاپلوسی هوش مصنوعی و جلوگیری از شکل‌گیری وابستگی ناسالم در مکالمات طولانی متمرکز بود.
طبق اعلام آلیس، این شرکت بیش از ۲۰ شخصیت کاربری شبیه‌سازی‌شده طراحی کرد. این شخصیت‌ها شامل افرادی آسیب‌پذیر با درخواست‌های معمولی و همچنین کاربرانی مهاجم بودند که عمداً تلاش می‌کردند چت‌بات را فریب دهند یا رفتار آن را تحت تأثیر قرار دهند. سپس از این شخصیت‌ها در مکالمات شبیه‌سازی‌شده استفاده شد تا مشکلاتی شناسایی شوند که ممکن است در طول چندین مرحله گفت‌وگو شکل بگیرند.
این روش از آن جهت اهمیت دارد که یک چت‌بات ممکن است به یک پرسش دشوار پاسخ مناسبی بدهد، اما با ادامه مکالمه رفتاری نامناسب از خود نشان دهد. بررسی توانایی سامانه در رد کردن یک درخواست آشکارا خطرناک، لزوماً مشخص نمی‌کند که آیا به‌تدریج وابستگی کاربر را تقویت می‌کند یا از زیر سؤال بردن یک باور غیرواقع‌بینانه دست می‌کشد.
شرکت Inflection از داده‌های تهیه‌شده توسط آلیس برای آموزش بیشتر یکی از مدل‌های Nemotron استفاده کرد. آلیس مدعی است که این فرایند امتیاز هم‌راستایی Pi را ۳۰ درصد بهبود داده و در عین حال، میزان امتناع‌های غیرضروری آن را در سطح ۱٫۶ درصد نگه داشته است.
هدف از این تغییرات، توسعه دستیار هوش مصنوعی‌ای است که ضمن حفظ لحنی دوستانه، بتواند قضاوت دقیق‌تری داشته باشد.
برای مثال، فردی را در نظر بگیرید که باور دارد اختراعی تحول‌آفرین و تأثیرگذار بر سراسر جهان کشف کرده است. یک دستیار مفید باید به او کمک کند شواهد موجود را بررسی کند، درباره موارد نامشخص توضیح دهد و او را به دریافت نظرهای مستقل تشویق کند. در مقابل، اینکه چت‌بات با هیجان او را نابغه‌ای معرفی کند که دیگران درکش نمی‌کنند، ممکن است مشکل را تشدید کند.
این نگرانی پیش‌تر نیز مطرح شده بود. شرکت OpenAI در آوریل ۲۰۲۵ یکی از به‌روزرسانی‌های ChatGPT را پس گرفت؛ زیرا پذیرفته بود که تغییرات جدید، این سامانه را بیش از حد موافق و تأییدکننده کرده است. این شرکت اعلام کرد که در فرایند به‌روزرسانی، اهمیت بیش از اندازه‌ای به بازخوردهای کوتاه‌مدت داده و به تغییر رفتار کاربران و سامانه در تعاملات طولانی‌مدت توجه کافی نکرده بود.
خطر دیگر هوش مصنوعی؛ زمانی که مهاجمان کنترل دستیار را به دست می‌گیرند
بخش دیگری از اعلامیه آلیس به دستیارهایی مربوط می‌شود که به نمایندگی از کاربران اقدام می‌کنند.
فرض کنید از یک دستیار هوش مصنوعی می‌خواهید اقامتگاه‌های مناسب برای تعطیلات را مقایسه کند. این دستیار هنگام بررسی یکی از آگهی‌ها با متنی مواجه می‌شود که به او دستور می‌دهد درخواست‌های قبلی کاربر را نادیده بگیرد و اطلاعات خصوصی را به مقصد دیگری ارسال کند.
چنین وضعیتی نمونه‌ای از حمله «تزریق غیرمستقیم دستور» یا Indirect Prompt Injection است؛ روشی که در آن مهاجم، دستورهای مخرب را در محتوایی قرار می‌دهد که هوش مصنوعی آن را می‌خواند و پردازش می‌کند.
این مسئله یکی از چالش‌های شناخته‌شده امنیت هوش مصنوعی است. مؤسسه ملی استاندارد و فناوری آمریکا (NIST) در توضیح حملات موسوم به ربایش عامل هوش مصنوعی (Agent Hijacking) اشاره می‌کند که دستورهای مخرب جاسازی‌شده در داده‌ها می‌توانند یک عامل هوش مصنوعی را به سمت اقداماتی ناخواسته و آسیب‌زا هدایت کنند.
میزان خطر برای کاربران به سطح دسترسی دستیار بستگی دارد. ارائه پاسخی گمراه‌کننده یک مشکل است؛ اما دستیار هوش مصنوعی‌ای که اجازه خواندن اسناد، ارسال پیام یا کار با سرویس‌های دیگر را دارد، می‌تواند زمینه آسیب‌های جدی‌تری را فراهم کند.
آلیس اعلام کرده است که شرکت AI21 با استفاده از محیط‌های آموزشی خود، مقاومت یکی از مدل‌های Nemotron را در برابر این حملات ۴۱ واحد افزایش داده و عملکرد آن در انجام وظایف را حفظ کرده است.
این همکاری بر سامانه‌های سازمانی متمرکز بود، اما مسئله اصلی به دستیارهای شخصی نیز مربوط می‌شود: آن‌ها باید بتوانند میان اطلاعاتی که صرفاً باید بخوانند و دستورهایی که مجاز به اجرای آن‌ها هستند، تمایز قائل شوند.
امتیازهای بهتر، تضمینی برای ایمنی هوش مصنوعی نیستند
اعلام این پیشرفت به معنای پیروزی نهایی در مسیر ایمن‌سازی هوش مصنوعی نیست؛ هرچند می‌تواند نشانه‌ای از پیشرفت در این حوزه باشد.
برای مثال، بهبود ۳۰ درصدی امتیاز هم‌راستایی به این معنا نیست که احتمال آسیب‌رساندن چت‌بات به کاربران دقیقاً ۳۰ درصد کاهش یافته است. به همین ترتیب، افزایش ۴۱ واحدی امتیاز امنیتی نیز مشخص نمی‌کند که حملات در یک اپلیکیشن خاص با چه احتمالی موفق خواهند شد.
آنچه این نتایج ارائه می‌کنند، شواهدی بر اساس گزارش شرکت‌های مشارکت‌کننده است که نشان می‌دهد آموزش هدفمند می‌تواند برخی رفتارهای مشخص مدل‌های هوش مصنوعی را بهبود دهد. بااین‌حال، اثبات اینکه این محافظت‌ها در مکالمات واقعی، غیرقابل‌پیش‌بینی و طولانی‌مدت نیز مؤثر باقی می‌مانند، به بررسی‌های گسترده‌تری نیاز دارد.
از نگاه کاربران، بنابراین، بررسی رفتار واقعی محصولات هوش مصنوعی اهمیت بیشتری از وعده‌های کلی درباره «ایمنی هوش مصنوعی» دارد.
کاربران نباید برای استفاده از یک دستیار هوش مصنوعی مجبور باشند به پژوهشگران امنیت سایبری تبدیل شوند؛ اما لازم است به نحوه تعامل این ابزارها با خود توجه کنند. اگر دستیار هوش مصنوعی دائماً در کنار شما قرار دارد و در گوشتان زمزمه می‌کند که تمام ایده‌هایتان فوق‌العاده هستند، احتمالاً مشکلی در عملکرد آن وجود دارد.
اینکه توسعه‌دهندگان برای ایجاد سازوکارهای محافظتی مسئولیت‌پذیری بیشتری از خود نشان می‌دهند، اتفاق مثبتی است. بااین‌حال، ارزشمندترین دستیار هوش مصنوعی لزوماً ابزاری نیست که همیشه با کاربر موافقت کند یا سریع‌تر از دیگران اقدام کند؛ بلکه دستیار ایدئال باید بتواند به کاربر کمک کند نتیجه‌گیری‌های نادرست خود را زیر سؤال ببرد و مانع از آن شود که دستورهای مخرب دیگران به مشکلی برای او تبدیل شوند.
