به گزارش مدیاتی:ابزارهای تشخیص محتوای تولیدشده با هوش مصنوعی معمولاً با بررسی الگوهای زبانی و ساختار متن تلاش می‌کنند نوشته‌های انسانی را از خروجی مدل‌های هوش مصنوعی تشخیص دهند؛ اما روش جدیدی با تغییر این رویکرد، به‌جای تمرکز بر کلمات، منشأ شکل‌گیری ایده‌ها را بررسی می‌کند. این فناوری می‌تواند به مجلات علمی و ناشران کمک کند تا بهتر تشخیص دهند ایده‌های مطرح‌شده در مقالات پژوهشی حاصل کار مستقل محققان بوده‌اند یا هوش مصنوعی در شکل‌گیری آن‌ها نقش داشته است؛ موضوعی که با گسترش استفاده از ابزارهای هوش مصنوعی در پژوهش و نگارش علمی اهمیت بیشتری پیدا کرده است.
ابزار جدید تشخیص هوش مصنوعی به‌جای متن، منشأ ایده‌ها را بررسی می‌کند
ابزار جدیدی به نام IdeaLens با رویکردی متفاوت به شناسایی محتوای تولیدشده با هوش مصنوعی می‌پردازد. برخلاف ابزارهای رایج که الگوهای واژگانی و ساختار جمله‌ها را بررسی می‌کنند، IdeaLens تلاش می‌کند منشأ ایده‌ها و استدلال‌های اصلی یک متن را تشخیص دهد. این روش می‌تواند به مجلات علمی کمک کند میان پژوهش‌هایی که ایده‌های آن‌ها از هوش مصنوعی سرچشمه گرفته است و نوشته‌های انسانی که صرفاً با کمک هوش مصنوعی ویرایش شده‌اند، تمایز قائل شوند.
پژوهشگران دانشگاه مریلند، گوگل دیپ‌مایند و دانشگاه سایمون فریزر این ابزار را توسعه داده‌اند. هدف آن‌ها بررسی این موضوع است که استدلال‌های محوری یک سند را انسان شکل داده یا ماشین؛ حتی اگر نگارش نسخه نهایی متن را فرد دیگری بر عهده داشته باشد.
ابزار IdeaLens چگونه ایده‌های تولیدشده با هوش مصنوعی را تشخیص می‌دهد؟
بسیاری از ابزارهای تشخیص متن هوش مصنوعی، نشانه‌هایی مانند انتخاب واژه‌ها، طول جمله‌ها و الگوهای نگارشی را بررسی می‌کنند. این روش‌ها ممکن است در مواجهه با متنی که انسان نوشته، اما با کمک هوش مصنوعی بازنویسی یا ویرایش شده است، دچار خطا شوند.
بر اساس مقاله پژوهشی منتشرشده در پایگاه arXiv، تیم سازنده IdeaLens این ابزار را با استفاده از حدود یک میلیون سند آموزش داده است که از قبل به‌عنوان متن نوشته‌شده توسط انسان یا هوش مصنوعی برچسب‌گذاری شده بودند.
پژوهشگران برای آموزش سامانه، از مدل‌های زبانی استفاده کردند تا عبارت‌بندی اولیه اسناد را حذف و محتوای آن‌ها را به طرحی ساده از استدلال‌های اصلی تبدیل کنند. به این ترتیب، IdeaLens به‌جای تکیه بر سبک نگارش، یاد گرفت الگوهای موجود در ایده‌ها و ساختار استدلال‌ها را بررسی کند.
نتایج آزمایش‌ها نشان داد که این ابزار در بررسی اسنادی که به‌طور کامل توسط انسان یا هوش مصنوعی نوشته شده بودند، توانست ۹۱ درصد از آثار تولیدشده با هوش مصنوعی را به‌درستی شناسایی کند. همچنین، این سامانه تنها در ۰٫۶ درصد موارد، نوشته‌های انسانی را به‌اشتباه به هوش مصنوعی نسبت داد؛ هرچند عملکرد آن در این زمینه هنوز از ابزار شناخته‌شده Pangram ضعیف‌تر گزارش شده است.
عملکرد بهتر IdeaLens در تشخیص متن‌های ویرایش‌شده با هوش مصنوعی
یکی از مهم‌ترین بخش‌های پژوهش، بررسی متن‌هایی بود که انسان نوشته بود، اما برای ویرایش جزئی از هوش مصنوعی کمک گرفته بود.
در این آزمایش، IdeaLens توانست ۹۵ درصد از اسناد تولیدشده توسط انسان را به‌درستی انسانی تشخیص دهد. در مقابل، ابزار Pangram به‌طور میانگین تنها در ۴۴ درصد موارد چنین تشخیصی داشت.
این تفاوت نشان می‌دهد که بررسی منشأ ایده‌ها می‌تواند در برخی شرایط، نسبت به تحلیل صرفاً زبانی روش دقیق‌تری باشد؛ زیرا ویرایش متن با هوش مصنوعی لزوماً به این معنا نیست که ایده‌ها و استدلال‌های اصلی نیز توسط این فناوری تولید شده‌اند.
آیا IdeaLens می‌تواند منشأ واقعی ایده‌ها را تشخیص دهد؟
عملکرد این ابزار در شرایطی که ایده‌های انسان و هوش مصنوعی با یکدیگر ترکیب شده‌اند، پیچیده‌تر بود. نتایج آزمایش‌ها نشان داد که منشأ ایده‌ها و نحوه نگارش متن می‌توانند بر عملکرد ابزارهای تشخیص هوش مصنوعی تأثیر متفاوتی بگذارند.
برای مثال، زمانی که هوش مصنوعی بر اساس طرحی تفصیلی تهیه‌شده توسط انسان، متن نهایی را می‌نوشت، ابزار Pangram توانست ۹۲ درصد از موارد دخالت هوش مصنوعی را شناسایی کند. اما IdeaLens تنها ۷ درصد از این موارد را تشخیص داد؛ زیرا ایده‌های اصلی متعلق به انسان بودند.
در سناریوی معکوس، یعنی زمانی که انسان بر اساس طرحی تولیدشده توسط هوش مصنوعی متن را می‌نوشت، IdeaLens توانست ۶۸ درصد از موارد تأثیر هوش مصنوعی را شناسایی کند؛ درحالی‌که نرخ تشخیص Pangram در این وضعیت تنها ۸ درصد بود.
این نتایج نشان می‌دهد که دو ابزار، جنبه‌های متفاوتی از فرایند تولید محتوا را بررسی می‌کنند. ابزارهای مبتنی بر سبک نگارش ممکن است دخالت هوش مصنوعی در نوشتن متن را تشخیص دهند، اما لزوماً نمی‌توانند منشأ ایده‌ها را مشخص کنند. در مقابل، IdeaLens بر ساختار و محتوای استدلال‌ها تمرکز دارد و ممکن است دخالت هوش مصنوعی در مرحله نگارش را نادیده بگیرد، اگر ایده‌های اصلی از انسان سرچشمه گرفته باشند.
تفاوت ایده‌های انسانی و ماشینی از نگاه پژوهشگران
پژوهشگران در بررسی‌های خود به تفاوت‌هایی میان ایده‌های تولیدشده توسط انسان و هوش مصنوعی اشاره کرده‌اند. به گفته آن‌ها، ایده‌های انسانی معمولاً جزئیات مشخص‌تر، منابع قابل‌راستی‌آزمایی و محدودیت‌های آشکارتری دارند.
در مقابل، ایده‌های تولیدشده با هوش مصنوعی بیشتر ممکن است شامل جزئیات کلی، اعداد غیرقابل‌تأیید، ادعاهای فراگیر و پاسخ‌هایی باشند که بیش از اندازه بی‌نقص به نظر می‌رسند.
البته این ویژگی‌ها به‌تنهایی معیار قطعی برای تشخیص منشأ یک ایده نیستند. متن انسانی نیز ممکن است کلی یا فاقد منبع معتبر باشد و محتوای تولیدشده با هوش مصنوعی هم می‌تواند جزئیات دقیق و منابع قابل‌بررسی داشته باشد. بنابراین، چنین نشانه‌هایی باید در کنار شواهد دیگر بررسی شوند.
محدودیت‌های IdeaLens؛ آیا این ابزار آماده استفاده گسترده است؟
با وجود نتایج امیدوارکننده، IdeaLens هنوز برای حل قطعی اختلاف‌ها درباره نویسندگی آثار علمی آماده نیست. پژوهشگران می‌گویند این ابزار در تشخیص محتوای تولیدشده توسط برخی مدل‌های جدیدتر هوش مصنوعی با مشکل مواجه می‌شود و پیش از استفاده گسترده در مجلات علمی و محیط‌های آموزشی، به آزمایش‌های بیشتری نیاز دارد.
این محدودیت اهمیت زیادی دارد؛ زیرا تشخیص اشتباه محتوای انسانی به‌عنوان متن تولیدشده با هوش مصنوعی می‌تواند پیامدهای جدی برای پژوهشگران، دانشجویان و نویسندگان داشته باشد. از سوی دیگر، ناتوانی در شناسایی محتوای ماشینی نیز می‌تواند اعتبار فرایند ارزیابی آثار علمی را تحت تأثیر قرار دهد.
در مجموع، IdeaLens رویکردی متفاوت برای تشخیص محتوای تولیدشده با هوش مصنوعی ارائه می‌کند و به‌جای تمرکز صرف بر واژه‌ها، منشأ ایده‌ها و استدلال‌ها را هدف می‌گیرد. بااین‌حال، نتایج فعلی نشان می‌دهند که این ابزار هنوز جایگزین قطعی روش‌های موجود نیست و برای ارزیابی دقیق‌تر عملکرد آن، به پژوهش‌های بیشتری نیاز است.
