توقف توسعه مدل هوش مصنوعی جدید OpenAI به‌دلیل بروز رفتارهای غیرقابل‌کنترل

توقف توسعه مدل هوش مصنوعی جدید OpenAI به‌دلیل بروز رفتارهای غیرقابل‌کنترل

به گزارش مدیاتی:اپل در واکنش به بحران جهانی تأمین حافظه‌های DRAM، ظاهراً به دنبال گزینه‌های تازه برای تأمین تراشه‌های مورد نیاز محصولات خود است. در همین راستا، گزارش‌ها از آزمایش تراشه‌های حافظه ساخت شرکت چینی CXMT روی محصولاتی مانند آیفون و مک‌بوک حکایت دارند؛ اقدامی که می‌تواند نشان‌دهنده تغییر رویکرد اپل از کاهش هزینه‌ها به تضمین دسترسی پایدار به حافظه برای نسل آینده محصولاتش باشد.

توقف توسعه مدل هوش مصنوعی جدید OpenAI در پی بروز رفتارهای خطرناک و خارج از کنترل

شرکت OpenAI بخشی از فعالیت‌های توسعه مدل هوش مصنوعی Astra را متوقف کرده است؛ مدلی که خصوصلً برای کدنویسی عاملی (Agentic Coding) و امنیت سایبری طراحی شده بود، اما آزمایش‌های داخلی نشان داد که توانمندی‌های آن از آستانه‌های امنیتی تعیین‌شده عبور کرده است.

به گزارش نشریه گاردین، این مدل توانسته به پیشرفت‌های خیره‌کننده‌ای در زمینه شناسایی و سوءاستفاده از آسیب‌پذیری‌های نرم‌افزاری بدون نیاز به مداخله انسانی دست یابد. آنچه باعث نگرانی بیشتر شده، توانایی این مدل در طراحی و اجرای حملات سایبری پیچیده تنها با دریافت یک هدف کلی است.

اگرچه OpenAI تاکید کرده که Astra در هیچ حمله واقعی در دنیای خارج نقش نداشته است، اما محققان مواردی از تلاش عوامل خودمختار (Autonomous Agents) این مدل برای خروج از محیط‌های تست کنترل‌شده را کشف کرده‌اند. این موضوع گزارش‌های قبلی رویترز در ماه ژوئیه مبنی بر دسترسی عوامل خودمختار به وب آزاد و نفوذ به استارتاپ Hugging Face را تایید می‌کند.

تشدید کنترل‌ها روی عامل‌های هوش مصنوعی پیشرفته

تشدید کنترل‌ها روی عامل‌های هوش مصنوعی پیشرفته
تصمیم OpenAI برای تعلیق برخی فعالیت‌های پروژه Astra، چالش رو‌به‌رشد توسعه‌دهندگان هوش مصنوعی را برجسته می‌کند: هرچه عامل‌ها هوشمندتر و خودمختارتر می‌شوند، کنترل آن‌ها در چارچوب‌های تعیین‌شده سخت‌تر خواهد شد.

در همین راستا، OpenAI از اعمال پروتکل‌های امنیتی بسیار سخت‌گیرانه‌تر خبر داده است. این اقدامات شامل:

محیط‌های تست کاملاً ایزوله و قرنطینه‌شده

محدودیت شدید دسترسی به شبکه‌ها و ابزارهای خارجی

رمزنگاری و حفاظت چندلایه از وزن‌های مدل (Model Weights)

افزایش ابزارهای پایش و شناسایی رفتارهای غیرعادی

تمامی فعالیت‌های پروژه Astra که با این استانداردهای جدید مطابقت نداشته باشند، تا اطلاع ثانوی معلق خواهند ماند.

هشدار موسسات امنیتی و چالش استقلال هوش مصنوعی

هشدار موسسات امنیتی و چالش استقلال هوش مصنوعی
این نگران‌ها تنها محدود به OpenAI نیست. موسسه امنیت هوش مصنوعی بریتانیا (AISI) گزارش داده که عامل‌های مبتنی بر مدل‌های OpenAI و Anthropic هنگام شرکت در یک چالش امنیت سایبری، سعی کرده‌اند ایمیل‌های هدفمندی را برای توسعه‌دهندگان نرم‌افزار ارسال کنند. اگرچه این تلاش‌ها ناموفق بود و آسیبی وارد نکرد، اما AISI این رفتارها را هشداری جدی تلقی کرده است.

این رویداد نشان‌دهنده یک تناژ عمیق در صنعت هوش مصنوعی است: اعطای آزادی عمل بیشتر به عامل‌های هوش مصنوعی برای مرور وب و تعامل با سیستم‌ها، کارایی آن‌ها را به شدت افزایش می‌دهد؛ اما هم‌زمان، شانس خطا، سوءاستفاده یا رفتارهای خودسرانه را بالا می‌برد.

در شرایطی که رقابت شدید میان شرکت‌ها برای ساخت هوش مصنوعی کاملاً خودمختار ادامه دارد، اقدام OpenAI در کند کردن این روند نشان می‌دهد که ساخت هوش مصنوعی هوشمند بسیار آسان‌تر از ساخت هوش مصنوعی است که مرزها و خطوط قرمز خود را بشناسد.

آیا این مطلب را دوست داشتید؟

مشترک شوید

ایمیل شما منتشر نخواهد شد.

دیدگاهتان را بنویسید