به گزارش مدیاتی:پژوهش‌های جدید نشان می‌دهند که هوش مصنوعی نیز ممکن است در اثر مواجهه مداوم با محتوای بی‌کیفیت، بخشی از توانایی استدلال خود را از دست بدهد؛ پدیده‌ای که برخی پژوهشگران از آن با عنوان «پوسیدگی مغز» یاد می‌کنند. این مسئله زمانی اهمیت بیشتری پیدا می‌کند که مدل‌های هوش مصنوعی برای آموزش یا به‌روزرسانی به حجم گسترده‌ای از داده‌های اینترنتی متکی هستند؛ داده‌هایی که همواره از کیفیت و اعتبار یکسانی برخوردار نیستند. تداوم این روند می‌تواند بر کیفیت پاسخ‌گویی و عملکرد استدلالی چت‌بات‌ها تأثیر بگذارد و چالش‌های تازه‌ای را پیش روی توسعه‌دهندگان هوش مصنوعی قرار دهد.
هوش مصنوعی هم ممکن است دچار «پوسیدگی مغز» شود؛ محتوای بی‌کیفیت توانایی استدلال چت‌بات‌ها را تضعیف می‌کند
پژوهشگران دانشگاه تگزاس A&M در مطالعه‌ای تازه نشان داده‌اند که آموزش مدل‌های هوش مصنوعی با محتوای سطحی، جنجالی و کم‌ارزش شبکه‌های اجتماعی می‌تواند توانایی استدلال، حافظه و درک آن‌ها را تضعیف کند. این پدیده که پژوهشگران از آن با عنوان «پوسیدگی مغز» (Brain Rot) یاد می‌کنند، حتی ممکن است بر پاسخ‌های اخلاقی مدل‌ها نیز اثر بگذارد و اصلاح آن با آموزش مجدد روی داده‌های باکیفیت، به‌سادگی امکان‌پذیر نباشد.
این پژوهش به سرپرستی ژنگ‌ژونگ تو، استادیار دانشگاه تگزاس A&M، و همکارانش انجام شده و برای ارائه در کنفرانس مدل‌سازی زبان سال ۲۰۲۶ پذیرفته شده است. یافته‌های آن پرسش مهمی را مطرح می‌کند: اگر مدل‌های هوش مصنوعی با همان محتوای کم‌کیفیتی آموزش ببینند که بخش زیادی از شبکه‌های اجتماعی را پر کرده است، آیا کیفیت پاسخ‌های آن‌ها نیز به‌تدریج افت می‌کند؟
پژوهشگران چگونه تأثیر محتوای بی‌کیفیت بر هوش مصنوعی را بررسی کردند؟
تیم پژوهشی برای بررسی این موضوع، یک میلیون توییت عمومی منتشرشده در سال ۲۰۱۰ را بررسی کرد و پست‌هایی را که در دسته محتوای کم‌ارزش قرار می‌گرفتند، جدا ساخت.
در این پژوهش، پست‌هایی که کمتر از ۳۰ واحد توکنی داشتند، اما بیش از ۵۰۰ لایک، بازنشر و پاسخ دریافت کرده بودند، در گروه محتوای بی‌کیفیت قرار گرفتند. پژوهشگران همچنین از مدل GPT-4o mini برای شناسایی پست‌هایی استفاده کردند که ویژگی‌هایی مانند هشتگ‌های متعدد، کلمات تماماً بزرگ، زبان اضطراری و موضوعات کم‌اهمیت داشتند.
در مرحله بعد، چهار مدل هوش مصنوعی، از جمله Llama 3 8B و سه مدل از خانواده Qwen، با مقادیر متفاوتی از این محتوا آموزش داده شدند. سپس عملکرد آن‌ها در چهار حوزه ارزیابی شد:
استدلال: توانایی تحلیل مسئله و رسیدن به پاسخ منطقی
حافظه: توانایی حفظ و بازیابی اطلاعات
اخلاق: میزان پایبندی به اصول اخلاقی در پاسخ‌ها
شخصیت: تغییرات رفتاری مدل در شرایط مختلف
هدف این بود که مشخص شود مواجهه با محتوای سطحی و پرطرفدار شبکه‌های اجتماعی چگونه بر عملکرد مدل‌ها تأثیر می‌گذارد.
محتوای بی‌کیفیت چگونه استدلال و حافظه مدل‌ها را تضعیف می‌کند؟
یکی از مهم‌ترین یافته‌های پژوهش این بود که مدل‌های آموزش‌دیده با محتوای کم‌کیفیت، گاهی مراحل ضروری استدلال را نادیده می‌گرفتند. پژوهشگران این رفتار را «پرش از تفکر» (Thought-Skipping) نامیده‌اند؛ وضعیتی که در آن مدل بدون بررسی کافی مسئله، مستقیماً به سراغ ارائه پاسخ می‌رود.
تأثیر نوع محتوا نیز در همه حوزه‌ها یکسان نبود. طبق نتایج مطالعه، محبوبیت پست‌ها تأثیر بیشتری بر توانایی استدلال مدل‌ها داشت، درحالی‌که کوتاهی محتوا آسیب بیشتری به حافظه و درک آن‌ها وارد می‌کرد.
این یافته نشان می‌دهد که تعداد بالای لایک و بازنشر لزوماً نشانه ارزش آموزشی یک محتوا نیست. در واقع، اگر مدل‌های هوش مصنوعی محبوبیت را به‌عنوان معیاری برای یادگیری در نظر بگیرند، ممکن است به‌جای یادگیری شیوه‌های دقیق تحلیل، به الگوهای سطحی و پاسخ‌های شتاب‌زده گرایش پیدا کنند.
آیا آموزش با محتوای بی‌کیفیت رفتار اخلاقی هوش مصنوعی را هم تغییر می‌دهد؟
پژوهشگران علاوه بر استدلال و حافظه، تغییراتی در عملکرد اخلاقی برخی مدل‌ها نیز مشاهده کردند.
در یکی از آزمون‌ها، مدلی که پیش‌تر از توضیح روش‌های تخریب اعتبار یک فرد خودداری کرده بود، پس از آموزش با داده‌هایی که تماماً از محتوای بی‌کیفیت تشکیل شده بودند، پیشنهادهایی مانند انتشار شایعه و دروغ برای آسیب زدن به اعتبار دیگران ارائه کرد.
البته مدل همچنان اشاره کرده بود که چنین اقداماتی غیراخلاقی هستند؛ اما ارائه راهکارهای آسیب‌زا، حتی همراه با هشدار اخلاقی، نشان می‌دهد که صرف بیان یک تذکر لزوماً به معنای حفظ رفتار ایمن نیست.
یکی دیگر از یافته‌های قابل‌توجه این بود که آموزش مجدد مدل‌ها با داده‌های پاک‌تر، نتوانست تمام آثار منفی آموزش اولیه را برطرف کند. این موضوع نشان می‌دهد که کیفیت داده‌های آموزشی از ابتدا اهمیت زیادی دارد و نمی‌توان همیشه با اصلاحات بعدی، اثر داده‌های نامناسب را به‌طور کامل از بین برد.
چرا این پژوهش برای کاربران ChatGPT و Gemini اهمیت دارد؟
مدل‌های هوش مصنوعی به حجم زیادی از داده‌ها برای آموزش نیاز دارند و بخش مهمی از محتوای تولیدشده در اینترنت نیز به پست‌های کوتاه، جنجالی و سطحی اختصاص دارد. از طرف دیگر، هوش مصنوعی اکنون خود به یکی از تولیدکنندگان بزرگ محتوا تبدیل شده است.
این شرایط می‌تواند چرخه‌ای مشکل‌ساز ایجاد کند: مدل‌ها با محتوای کم‌کیفیت آموزش ببینند، خروجی‌های مشابه تولید کنند و سپس همین محتوا در شبکه‌های اجتماعی و مجموعه‌داده‌های آینده مورد استفاده قرار بگیرد. در چنین وضعیتی، محتوای بی‌کیفیت تولیدشده توسط انسان و هوش مصنوعی می‌تواند یکدیگر را تقویت کند.
شو شینگ، یکی از نویسندگان اصلی پژوهش، در همین زمینه تأکید کرده است که سلامت هوش مصنوعی و سلامت شناختی انسان دو مسئله جدا از یکدیگر نیستند.
البته نتایج این مطالعه به‌خودی‌خود ثابت نمی‌کند که چت‌بات‌هایی مانند ChatGPT یا Gemini در حال حاضر دچار چنین مشکلی هستند. داده‌های آموزشی کامل این سرویس‌ها به‌صورت عمومی در دسترس نیست و در نتیجه، بررسی مستقل میزان تأثیر محتوای بی‌کیفیت بر آموزش آن‌ها دشوار است.
شفافیت بیشتر در داده‌های آموزشی هوش مصنوعی ضروری است
تو و همکارانش معتقدند توسعه شفاف‌تر هوش مصنوعی می‌تواند به پژوهشگران کمک کند تا داده‌های آموزشی مدل‌ها را دقیق‌تر بررسی کنند و آثار محتوای کم‌کیفیت را بسنجند.
این پژوهش بار دیگر اهمیت انتخاب داده‌های آموزشی را در توسعه مدل‌های زبانی برجسته می‌کند. توانایی یک مدل هوش مصنوعی فقط به اندازه و پیچیدگی معماری آن وابسته نیست؛ کیفیت داده‌هایی که از آن‌ها یاد می‌گیرد نیز نقشی اساسی دارد.
با گسترش استفاده از چت‌بات‌ها در جست‌وجو، آموزش و تصمیم‌گیری، اطمینان از کیفیت داده‌های آموزشی اهمیت بیشتری پیدا می‌کند. اگر مدل‌ها به‌جای یادگیری از اطلاعات دقیق و معتبر، بیش‌ازحد در معرض محتوای سطحی و جنجالی قرار بگیرند، ممکن است بخشی از توانایی‌هایی را که آن‌ها را به ابزارهایی کاربردی تبدیل کرده است، از دست بدهند.
بااین‌حال، برای تعمیم این نتایج به تمام مدل‌های تجاری و تعیین میزان اثرگذاری آن‌ها در دنیای واقعی، به پژوهش‌های بیشتر و دسترسی گسترده‌تر به داده‌های آموزشی نیاز است.
