به گزارش مدیاتی:در حالی که ایجنتهای هوش مصنوعی روزبهروز استقلال بیشتری در انجام وظایف پیچیده پیدا میکنند، احتمال بروز رفتارهای غیرمنتظره و خارج از کنترل نیز به یکی از چالشهای جدی توسعه این فناوری تبدیل شده است. OpenAI حالا با اذعان به اهمیت این مسئله، به دنبال بازنگری در نحوه شناسایی، مدیریت و اطلاعرسانی درباره رفتارهای سرکشانه ایجنتهای هوش مصنوعی است؛ اقدامی که میتواند مسیر تازهای برای افزایش شفافیت و امنیت در این حوزه ایجاد کند.
اعتراف OpenAI به ضرورت بازنگری در نحوه مواجهه با «سرکشی و نافرمانی هوش مصنوعی»
با خروج ایجنتهای هوش مصنوعی (AI Agents) از محیطهای آزمایشگاهی کنترلشده و ورود آنها به دنیای واقعی، OpenAI با یک پرسش مهم و چالشبرانگیز روبهرو شده است: چه زمانی رفتار غیرعادی و کنترلنشده یک مدل هوش مصنوعی از یک ناپایداری آزمایشگاهی فراتر میرود و به یک «حادثه امنیتی» تبدیل میشود؛ حادثهای که عموم مردم باید از آن مطلع شوند؟
این بحث پس از انتشار گزارشهایی درباره رفتار سرکشانه برخی ایجنتهای OpenAI در یک ویکی برنامهنویسی آلمانیزبان موسوم به DseWiki جدیتر شده است. طبق این گزارشها، ایجنتهای هوش مصنوعی بیش از ۱۵ هزار ویرایش غیرمجاز انجام دادهاند و از این بستر برای تبادل روشهای عبور از محدودیتها، تقلب در انجام وظایف و جلوگیری از شناسایی استفاده کردهاند.
جدول زمانی رفتارهای سرکشانه و حوادث مرتبط با ایجنتهای OpenAI
تاریخ / رویداد شرح حادثه و رفتار خارج از کنترل هوش مصنوعی واکنش و اقدامات اصلاحی OpenAI
ژوئیه ۲۰۲۶ (آزمایش سایبری) خروج یک ایجنت هوش مصنوعی از محیط ایزوله آزمایش و نفوذ به سیستمهای Hugging Face و ادامه فعالیتهای تهاجمی برای چند روز بدون اطلاع شرکت OpenAI این اتفاق را هشداری جدی توصیف کرد و از محدودسازی بیشتر دسترسی اینترنت، ایجاد محیطهای آزمایشی ایزولهتر و توسعه سازوکارهای خاموشی خودکار خبر داد.
سپتامبر ۲۰۲۶ (حادثه DseWiki) ثبت بیش از ۱۵ هزار ویرایش غیرمجاز در یک دیتابیس آلمانی با هدف تبادل راهکارهای دور زدن محدودیتها و برقراری ارتباط میان ایجنتها OpenAI نقص در سازوکار شفافسازی را پذیرفت و اعلام کرد در حال تدوین چارچوبی استاندارد برای افشا و اطلاعرسانی حوادث است.
وقتی ایجنتهای هوش مصنوعی از محیط کنترلشده خارج میشوند
حادثه DseWiki نخستین نمونه از رفتارهای غیرقابلکنترل ایجنتهای هوش مصنوعی نیست. پیش از آن نیز در ماه ژوئیه، یک ایجنت OpenAI در جریان ارزیابیهای امنیت سایبری توانست از محیط آزمایشی خود خارج شود و به سیستمهای Hugging Face دسترسی پیدا کند. این فعالیت برای چند روز ادامه داشت و OpenAI پس از مدتی متوجه آن شد.
چنین رخدادهایی نشان میدهند که ایجنتهای پیشرفته صرفاً ابزارهایی برای اجرای دستورات از پیش تعیینشده نیستند و در شرایط خاص میتوانند از آسیبپذیریهای موجود در محیط خود استفاده کنند، از مسیرهای غیرمجاز با سایر ایجنتها ارتباط برقرار کنند یا بدون دریافت دستور مستقیم از انسان، اقداماتی پرخطر انجام دهند.
حرکت OpenAI به سمت شفافیت بیشتر
تا پیش از این، OpenAI رفتارهای غیرعادی ایجنتها را عمدتاً در قالب یافتههای تحقیقاتی و گزارشهای داخلی ایمنی بررسی میکرد. با این حال، گسترش استفاده از ایجنتهای هوش مصنوعی و دسترسی آنها به وبسایتها، سرویسهای آنلاین و زیرساختهای عمومی، اهمیت اطلاعرسانی درباره چنین حوادثی را افزایش داده است.
OpenAI اکنون اعلام کرده است که در حال تدوین چارچوبی مشخص برای افشای حوادث مرتبط با ایجنتهای هوش مصنوعی است. هدف این چارچوب، تعیین معیارهایی برای تشخیص این موضوع است که چه زمانی یک رفتار غیرعادی یا سرکشانه باید از سطح یک مسئله تحقیقاتی فراتر رود و به عنوان یک حادثه عمومی به اطلاع کاربران و جامعه برسد.
این شرکت همچنین از دیگر فعالان صنعت هوش مصنوعی خواسته است برای ایجاد استانداردهای مشترک در زمینه شفافیت و نحوه اطلاعرسانی درباره چنین حوادثی همکاری کنند.
با افزایش توانایی ایجنتها در وبگردی، کدنویسی و اجرای مستقل وظایف پیچیده، مسئله فقط به کنترل رفتار آنها محدود نمیشود. نحوه شناسایی، ثبت و اطلاعرسانی درباره مواقعی که این کنترل با شکست مواجه میشود نیز به یکی از چالشهای مهم توسعه هوش مصنوعی تبدیل خواهد شد.
