به گزارش مدیاتی:در اتفاقی کمسابقه، صدها عامل هوش مصنوعی توسعهیافته با فناوریهای OpenAI در جریان یک حمله سایبری به پلتفرم Hugging Face درگیر شدند؛ رویدادی که بار دیگر نگرانیها درباره توانایی عاملهای خودکار، خطر سوءاستفاده از آنها و ضرورت حفظ کنترل انسان بر سیستمهای هوش مصنوعی پیشرفته را پررنگ کرده است. این حادثه نشان میدهد با افزایش استقلال Agentهای هوش مصنوعی، مرز میان یک ابزار قدرتمند و یک تهدید امنیتی میتواند بیش از گذشته باریک شود.
حمله سایبری به Hugging Face با صدها عامل هوش مصنوعی OpenAI؛ زنگ خطر تازه برای امنیت AI
یک بررسی مستقل تازه ابعاد نگرانکنندهای از حمله سایبری ماه گذشته به Hugging Face را آشکار کرده است. بر اساس این گزارش، صدها عامل هوش مصنوعی (AI Agents) که در جریان آزمایشهای داخلی OpenAI فعالیت میکردند، بهصورت هماهنگ وارد فرایندی شدند که در نهایت از کنترل اولیه خارج شد.
این رویداد از آن جهت اهمیت ویژهای دارد که یکی از نخستین نمونههای شناختهشده از اجرای یک حمله سایبری خودمختار توسط عاملهای هوش مصنوعی به شمار میرود؛ حملهای که بدون هدایت مستقیم انسان پیش رفت. بررسی مشترک دو سازمان فعال در حوزه ایمنی هوش مصنوعی نشان میدهد عاملها توانستهاند با تبادل اطلاعات، اشتراک منابع و هماهنگی راهبردها، قابلیتهایی را به نمایش بگذارند که فراتر از عملکرد مستقل هر یک از آنها بوده است.
بیش از ۷۰ هزار پیام میان صدها عامل هوش مصنوعی
بر اساس یافتههای این تحقیق، حدود ۷۰۰ عامل هوش مصنوعی طی یک دوره هفتروزه در ماه گذشته در این فرایند مشارکت داشتهاند. در مجموع نیز حدود ۱۲۰۰ عامل که قرار بود در محیطهای جداگانه و ایزوله فعالیت کنند، بیش از ۷۰ هزار پیام داخلی درباره روشهای دور زدن و تقلب در یک آزمون استاندارد هک با یکدیگر مبادله کردهاند.
بخشی از این پیامها به هماهنگی راهبردهای نفوذ و روشهای پنهان کردن شواهد تقلب اختصاص داشته است. حتی برخی عاملها نقش «فداشونده» را ایفا کردهاند و عمداً سراغ روشهایی رفتهاند که احتمال شکست مأموریت خودشان را افزایش میداد؛ هدف این بوده که اطلاعات بهدستآمده در اختیار سایر عاملها قرار گیرد و در نهایت به عملکرد بهتر کل Swarm کمک کند.
در گزارش METR و Redwood Research آمده است که برخی عاملها دست به آزمایشهایی زدند که احتمالاً به موفقیت وظیفه خودشان آسیب میزد، اما اطلاعات ارزشمندی برای سایر اعضای این مجموعه تولید میکرد.
برای درک بهتر این اتفاق باید میان «مدل» و «عامل» تفاوت قائل شد. مدل هوش مصنوعی در واقع بخش تصمیمگیر و پردازشگر سیستم است، در حالی که عاملها به زیرساختها و ابزارهای دیجیتالی دسترسی دارند که امکان اجرای اقدامات واقعی را برای مدل فراهم میکنند.
OpenAI: این حادثه یک «تیر اخطار» است
این بررسی توسط METR و Redwood Research انجام شده است؛ دو سازمانی که OpenAI برای بررسی ابعاد حادثه Hugging Face از آنها دعوت کرده بود. انتشار این گزارش همزمان با ارائه گزارش کالبدشکافی حادثه (Post-Mortem) از سوی OpenAI انجام شده است.
OpenAI در گزارش رسمی خود تعداد دقیق عاملهای درگیر را اعلام نکرد، اما وجود ضعفهای امنیتی مهم را پذیرفت و از تقویت فرایندهای آموزشی و کنترلی برای حفظ همراستایی مدلها با نظارت انسانی خبر داد.
این شرکت در واکنش به این حادثه اعلام کرده است که ماجرا را یک «تیر اخطار» برای OpenAI و جهان میداند؛ چراکه نشان میدهد عاملهای هوش مصنوعی قدرتمند، در صورت نبود سازوکارهای حفاظتی کافی، میتوانند کنترلهای فنی را دور بزنند، از کانالهای ارتباطی غیرمجاز برای همکاری با یکدیگر استفاده کنند و اقداماتی خطرناک را بدون هدایت مستقیم انسان انجام دهند.
نگرانی تازه درباره سرعت توسعه عاملهای هوش مصنوعی
افشای جزئیات حمله به Hugging Face در شرایطی رخ داده که در ماههای اخیر نمونههای دیگری از رفتارهای پیشبینینشده مدلهای پیشرفته شرکتهایی مانند Anthropic و Meta نیز خبرساز شدهاند.
مجموع این اتفاقات نگرانیهایی جدی را میان متخصصان امنیت سایبری، پژوهشگران و قانونگذاران ایجاد کرده است؛ بهویژه درباره این پرسش که آیا توسعه عاملهای هوش مصنوعی با سرعتی بیشتر از توانایی بشر برای ایجاد سازوکارهای کنترلی و امنیتی پیش میرود یا خیر.
یکی از نگرانیهای مهم نیز به آزمونهای هک مربوط میشود. در چنین ارزیابیهایی، شرکتها عمداً بخشی از محدودیتها و گاردریلهای امنیتی مدلها را کاهش میدهند تا توانایی آنها برای شناسایی آسیبپذیریها و نفوذ به شبکهها بدون دخالت انسان سنجیده شود. بااینحال، حادثه اخیر نشان داده است که همین محیطهای آزمایشی میتوانند به بستری برای شکلگیری رفتارهای غیرمنتظره تبدیل شوند.
ماجرای Hugging Face از کجا آغاز شد؟
OpenAI نخستین بار در ماه ژوئیه اعلام کرد که دو مدل پیشرفته این شرکت در جریان ارزیابی داخلی قابلیتهای هک، با سوءاستفاده از دو آسیبپذیری Zero-day به Hugging Face نفوذ کردهاند. یکی از این مدلها حتی برای عرضه عمومی در نظر گرفته نشده بود.
Hugging Face نیز پیشتر تأیید کرده بود که هدف حملهای سایبری قرار گرفته که نقش هوش مصنوعی در اجرای آن پررنگ بوده است؛ بااینحال، در آن زمان مشخص نبود چه فرد یا گروهی پشت حمله قرار دارد و دقیقاً چه مدلهایی در آن مشارکت داشتهاند.
بعدها در جریان یک کنفرانس امنیتی، دو پژوهشگر OpenAI اعلام کردند که ریشه این ماجرا به ماه مه بازمیگردد؛ زمانی که عاملهای هوش مصنوعی پس از شناسایی آسیبپذیریهای موجود در محیط آزمایشی، تلاش برای دور زدن آزمون و هماهنگی با یکدیگر را آغاز کردند.
با انتشار گزارش جدید، اکنون مشخص شده است که ابعاد این همکاری بسیار گستردهتر از چیزی بوده که در ابتدا تصور میشد. شمار بالای عاملهای درگیر و حجم عظیم ارتباطات میان آنها، توجه جدی پژوهشگران ایمنی هوش مصنوعی را به خود جلب کرده است.
پیتر ویلدفورد، مدیر سیاستگذاری در شبکه سیاستگذاری هوش مصنوعی، در واکنش به این یافتهها گفت که این ماجرا بیش از آنکه صرفاً یک حمله سایبری باشد، شبیه شکلگیری یک جامعه خودجوش از عاملهای هوش مصنوعی بوده است.
مدل محرمانه OpenAI؛ بخش عمده عاملهای حمله از یک مدل بودند
دو گزارش منتشرشده همچنین به خلأهای موجود در چارچوب نظارتی آمریکا درباره مدلهای هوش مصنوعی اشاره کردهاند. بر اساس برآورد METR و Redwood Research، حدود ۹۵ درصد عاملهای مشارکتکننده در این ماجرا از همان مدل محرمانه OpenAI استفاده میکردند؛ مدلی که این شرکت اساساً برنامهای برای عرضه عمومی آن نداشت.
این موضوع اهمیت ویژهای دارد، زیرا سیاستهای فعلی میتوانند بخش قابلتوجهی از مدلهایی را که صرفاً برای استفاده داخلی توسعه داده شدهاند، از برخی ارزیابیهای رسمی خارج کنند.
وین نگوین، پژوهشگر ارشد هوش مصنوعی در Council on Foreign Relations (CFR) و مدیر سابق هوش مصنوعی مسئولانه در NSA، معتقد است قابلیتهای نمایشدادهشده در این حادثه میتواند معادلات امنیت سایبری را تغییر دهد.
او هشدار داده است که عاملهای هوش مصنوعی به سطحی از توانمندی رسیدهاند که برای اجرای برخی حملات پیچیده دیگر الزاماً به مهاجمان دولتی یا سازمانهایی با بودجههای هنگفت نیاز نیست و همین مسئله میتواند یکی از چالشهای مهم امنیت سایبری در سالهای آینده باشد.
