هوش مصنوعی جدید می‌تواند بدون شنیدن صدا، صحبت‌های افراد را از روی حرکت لب‌ها تشخیص دهد

هوش مصنوعی جدید می‌تواند بدون شنیدن صدا، صحبت‌های افراد را از روی حرکت لب‌ها تشخیص دهد

به گزارش مدیاتی:پیشرفت‌های هوش مصنوعی به توسعه فناوری‌هایی منجر شده است که می‌توانند گفتار انسان را بدون نیاز به دریافت صدا تشخیص دهند. دانشمندان اکنون به سامانه‌ای مبتنی بر هوش مصنوعی دست یافته‌اند که با تحلیل حرکات لب و الگوهای چهره افراد، صحبت‌های آن‌ها را شناسایی می‌کند. این فناوری می‌تواند کاربردهای گسترده‌ای در ارتباطات، کمک به افراد کم‌شنوا و ناشنوا و توسعه ابزارهای پیشرفته تشخیص گفتار داشته باشد.

هوش مصنوعی جدید دانشمندان می‌تواند بدون شنیدن صدا، فقط با حرکت لب‌ها صحبت‌کردن افراد را تشخیص دهد

پژوهشگران کره جنوبی موفق به توسعه سامانه هوش مصنوعی جدیدی شده‌اند که می‌تواند بدون دریافت هیچ‌گونه صدایی، حرکات لب افراد را تحلیل و صحبت‌های آن‌ها را به متن تبدیل کند. این فناوری که DLLM-VSR نام دارد، با استفاده از یک روش پردازشی متفاوت، توانسته دقت قابل‌توجهی در تشخیص گفتار از روی تصاویر به دست آورد. دستاورد جدید پژوهشگران مؤسسه علوم و فناوری پیشرفته کره (KAIST) می‌تواند در آینده به بهبود ابزارهای ارتباطی برای افراد ناشنوا و کم‌شنوا و همچنین برقراری ارتباط در محیط‌های پر سروصدا کمک کند.

هوش مصنوعی چگونه بدون شنیدن صدا لب‌خوانی می‌کند؟

لب‌خوانی حتی برای انسان‌ها نیز کار ساده‌ای نیست؛ زیرا بسیاری از صداها هنگام تلفظ، حرکات تقریباً یکسانی در دهان ایجاد می‌کنند. برای مثال، حروفی مانند «پ»، «ب» و «م» از نظر شکل حرکت لب‌ها شباهت زیادی دارند و تشخیص دقیق آن‌ها بدون شنیدن صدا دشوار است.

بسیاری از سامانه‌های سنتی تشخیص گفتار مبتنی بر هوش مصنوعی، کلمات را به‌ترتیب و از ابتدا تا انتهای جمله پردازش می‌کنند. این روش یک ضعف مهم دارد: اگر سیستم در تشخیص یکی از کلمات ابتدایی اشتباه کند، احتمال دارد این خطا بر پیش‌بینی کلمات بعدی نیز تأثیر بگذارد.

پژوهشگران مؤسسه KAIST برای حل این مشکل، رویکرد متفاوتی را با استفاده از مدل زبانی بزرگ مبتنی بر انتشار (Diffusion Large Language Model یا DLLM) توسعه داده‌اند.

این سامانه به‌جای اینکه مجبور باشد تمام کلمات جمله را به‌ترتیب تشخیص دهد، ابتدا بخش‌هایی از جمله را شناسایی می‌کند که نسبت به آن‌ها اطمینان بیشتری دارد. سپس با استفاده از کلمات تشخیص‌داده‌شده و بررسی اطلاعات بخش‌های قبل و بعد جمله، قسمت‌های نامشخص را به‌تدریج تکمیل می‌کند.

به این ترتیب، هوش مصنوعی می‌تواند از ارتباط معنایی میان کلمات برای تشخیص دقیق‌تر گفتار استفاده کند و احتمال تأثیرگذاری یک پیش‌بینی اشتباه بر کل جمله را کاهش دهد.

هوش مصنوعی چگونه بدون شنیدن صدا لب‌خوانی می‌کند؟

ثبت رکورد جدید در دقت فناوری لب‌خوانی هوش مصنوعی

بر اساس اعلام رسمی مؤسسه KAIST، سامانه DLLM-VSR در آزمون استاندارد تشخیص گفتار از روی حرکات لب، به نرخ خطای کلمه (Word Error Rate) برابر با ۱۹٫۴ درصد دست یافته است. این نتیجه در میان روش‌هایی که با مجموعه‌داده برچسب‌گذاری‌شده یکسان آموزش دیده‌اند، رکورد جدیدی محسوب می‌شود.

پژوهشگران برای آموزش و ارزیابی این فناوری از مجموعه‌داده LRS3 استفاده کرده‌اند که شامل ۴۳۳ ساعت ویدیوی برچسب‌گذاری‌شده است.

نرخ خطای کلمه معیاری برای سنجش تعداد کلمات اشتباه تشخیص‌داده‌شده، کلمات حذف‌شده و کلمات اضافی در متن خروجی است. بنابراین، عدد ۱۹٫۴ درصد به این معنا نیست که هوش مصنوعی ۸۰٫۶ درصد مکالمات کامل را به‌درستی متوجه می‌شود؛ بلکه میزان خطا در تشخیص کلمات را نشان می‌دهد.

روش دیگر این سامانه برای افزایش دقت، تخمین چند طول احتمالی برای جمله بر اساس مدت‌زمان ویدیو است. هوش مصنوعی برای هر طول احتمالی، متن جداگانه‌ای تولید می‌کند و در نهایت محتمل‌ترین نتیجه را انتخاب می‌کند.

این رویکرد به سیستم کمک می‌کند تا علاوه بر تحلیل حرکات لب، ساختار و طول احتمالی جمله را نیز در فرایند تشخیص در نظر بگیرد.

کاربرد هوش مصنوعی لب‌خوان در زندگی روزمره چیست؟

کاربرد هوش مصنوعی لب‌خوان در زندگی روزمره چیست؟
فناوری جدید پژوهشگران کره‌ای می‌تواند کاربردهایی فراتر از تشخیص مکالمات در محیط‌های شلوغ داشته باشد. یکی از مهم‌ترین حوزه‌های استفاده از آن، توسعه ابزارهای ارتباطی برای افراد ناشنوا و کم‌شنوا است.

برای مثال، دستگاه‌های مجهز به این فناوری می‌توانند حرکات لب افراد مقابل را تحلیل و صحبت‌های آن‌ها را بدون نیاز به دریافت صدا به متن تبدیل کنند. چنین قابلیتی می‌تواند برقراری ارتباط را در موقعیت‌هایی که شنیدن گفتار دشوار است، آسان‌تر کند.

محیط‌های صنعتی نیز از دیگر حوزه‌های بالقوه استفاده از این فناوری هستند. در کارخانه‌ها، کارگاه‌ها و محیط‌هایی که صدای ماشین‌آلات بسیار زیاد است، برقراری ارتباط صوتی میان کارکنان همیشه آسان نیست. سامانه‌های لب‌خوان مبتنی بر هوش مصنوعی می‌توانند در چنین شرایطی به انتقال پیام‌ها کمک کنند.

بااین‌حال، DLLM-VSR هنوز برای استفاده گسترده و روزمره آماده نیست. عملکرد این سامانه در مجموعه‌داده‌های مختلف یکسان نیست و پژوهشگران همچنان در تلاش‌اند نیاز پردازشی آن را کاهش دهند.

هدف نهایی این است که فناوری مذکور بتواند در آینده بدون نیاز به اتصال اینترنت و به‌صورت بلادرنگ روی دستگاه‌های پوشیدنی و ربات‌ها اجرا شود.

چالش حریم خصوصی؛ آیا هوش مصنوعی می‌تواند مکالمات بی‌صدا را بخواند؟

در کنار کاربردهای مثبت، توسعه فناوری‌هایی که می‌توانند تنها با مشاهده ویدیوی افراد، محتوای مکالمات آن‌ها را تشخیص دهند، نگرانی‌هایی درباره حریم خصوصی ایجاد می‌کند.

چنین سامانه‌هایی در صورت توسعه و استفاده گسترده، ممکن است امکان استخراج اطلاعات مکالمات از ویدیوهای بی‌صدا را فراهم کنند؛ موضوعی که ضرورت توجه به رضایت افراد، امنیت داده‌ها و محدودیت‌های استفاده از این فناوری را افزایش می‌دهد.

با وجود این نگرانی‌ها، دستاورد جدید پژوهشگران KAIST نشان می‌دهد هوش مصنوعی می‌تواند مرزهای ارتباط بدون صدا را گسترش دهد. اگر محققان بتوانند محدودیت‌های پردازشی و دقت این فناوری را بهبود دهند، شاید در آینده برای فهمیدن صحبت‌های دیگران حتی در شلوغ‌ترین محیط‌ها نیز نیازی به شنیدن صدای آن‌ها نباشد.

آیا این مطلب را دوست داشتید؟

مشترک شوید

ایمیل شما منتشر نخواهد شد.

دیدگاهتان را بنویسید