Microsoft запатентувала ШІ, який зможе під час прямих ефірів змінювати слова людей і рухи їхніх губ
Система коригуватиме рухи губ мовця, щоб відео відповідало новій промові
Фото: ЕРА
Компанія Microsoft подала заявку на патент технології штучного інтелекту, яка зможе змінювати слова людини безпосередньо під час прямої трансляції її виступу. Система не лише редагуватиме аудіо, а й коригуватиме рухи губ мовця, щоб відео відповідало новій промові, повідомляє портал Patentlyze.
Така технологія може допомогти прибирати слова-паразити й перекладати виступи в режимі реального часу, але водночас створює ризики для поширення діпфейків. Патентну заявку подали 29 квітня 2025 року, а опублікували 30 жовтня 2026 року.
За задумом розробників, технологія має зробити мовлення спікерів зрозумілішим і позбавити його небажаних слів і звуків. Наприклад, система зможе прибирати постійні "е-е-е", "м-м-м" та інші слова-паразити. Для цього штучний інтелект аналізуватиме аудіо й відео, а потім, відповідно до налаштувань користувача, визначатиме фрагменти, які потрібно змінити.
Дібрані слова замінюватимуть на доречніші, а зображення губ мовця коригуватимуть відповідно до нової аудіодоріжки. Окрім самої заміни, система оброблятиме звук і відео до й після зміненого фрагмента, щоб перехід мав природні вигляд і звучання.
Ще одна можливість технології – переклад виступів. Якщо людина говорить іноземною мовою, користувач зможе чути її промову своєю мовою, а відеоряд підлаштовуватиметься під переклад. За описом патенту, затримка оброблення може становити від однієї до 10 секунд.
У заявці йдеться про використання системи під час концертів, лекцій, мітингів та інших публічних заходів. Вона зможе не лише перекладати промови, а й автоматично прибирати образливі або небажані висловлювання відповідно до індивідуальних налаштувань слухача.
Водночас така технологія має потенційно небезпечний бік. Якщо її використовуватимуть без належного контролю, вона може стати інструментом створення діпфейків: глядачі чутимуть слова, яких людина насправді не вимовляла, і бачитимуть відео з відповідною артикуляцією губ.
Наразі йдеться про патентну заявку, а не про оголошення готового продукту.