Microsoft запатентовала ИИ, который сможет во время прямых эфиров изменять слова людей и движения их губ 

Такая технология может помочь убирать слова-паразиты и переводить выступления в режиме реального времени, но в то же время создает риски для распространения дипфейков. Патентная заявка была подана 29 апреля 2025 года, а опубликована – 30 октября 2026 года.

По замыслу разработчиков, технология должна сделать речь спикеров более понятной и избавить ее от нежелательных слов и звуков. Например, система сможет убирать постоянные "э-э-э", "м-м-м" и другие слова-паразиты. Для этого искусственный интеллект будет анализировать аудио и видео, а потом, в соответствии с настройками пользователя, определять фрагменты, которые нужно изменить.

Выбранные слова будут заменяться на более уместные, а изображение губ говорящего – корректироваться в соответствии с новой аудиодорожкой. Кроме самой замены, система будет обрабатывать звук и видео до и после измененного фрагмента, чтобы переход выглядел и звучал естественно.

Еще одна возможность технологии – перевод выступлений. Если человек говорит на иностранном языке, пользователь сможет слышать его речь на своем языке, а видеоряд будет подстраиваться под перевод. Согласно описанию патента, задержка обработки может составлять от одной до 10 секунд.

В заявке говорится об использовании системы во время концертов, лекций, митингов и других публичных мероприятий. Она сможет не только переводить речи, но и автоматически удалять оскорбительные или нежелательные высказывания в соответствии с индивидуальными настройками слушателя.

В то же время у такой технологии есть потенциально опасная сторона. Если ее использовать без надлежащего контроля, она может стать инструментом создания дипфейков: зрители будут слышать слова, которых человек на самом деле не произносил, и видеть видео с соответствующей артикуляцией губ.

Пока речь идет о патентной заявке, а не об объявлении готового продукта.