Исследователи из Института интеллектуальных вычислений Alibaba разработали (PDF) систему искусственного интеллекта под названием EMO (Emote Portrait Alive), которая анимирует статическое изображение человека, заставляя его говорить или петь реалистично.

Система отображает реалистичные выражения лица и движения головы, которые точно соответствуют эмоциональным тонам звука, из которого создается анимация. «Традиционные методы часто не могут уловить весь спектр выражений человеческого лица и уникальность отдельных стилей лица. Для решения этих проблем мы предлагаем EMO, новую структуру, которая использует подход прямого синтеза аудио-видео, минуя необходимость в промежуточных 3D-моделях или опорных точках лица», — объяснил Линруй Тиан, руководитель группы разработки.

Система EMO основана на модели потоковой передачи искусственного интеллекта, которая доказала свою способность генерировать реалистичные изображения. Исследователи обучали его на наборе данных, включающем более 250 часов видеозаписей говорящих голов: выступлений, видеороликов, телешоу и вокальных выступлений. В отличие от предыдущих методов, предполагающих создание трехмерной модели или механизмов для имитации мимики человека, EMO предполагает прямое преобразование звука в видео. Это позволяет системе передавать малейшие движения и черты личности, связанные с естественной речью.

Авторы проекта утверждают, что EMO превосходит существующие методы по качеству видео, сохранению идентичности и выразительности. Исследователи опросили фокус-группу и показали, что видеоролики, созданные EMO, были более естественными и эмоциональными, чем видеоролики, созданные другими системами. Система создает анимацию не только на основе речи, но и с использованием звука с пением: учитывает форму рта человека на исходном изображении, добавляет соответствующую мимику и синхронизирует движения с голосовой партией. Единственная проблема с EMO — это возможность злоупотребления этой технологией. Исследователи планируют изучить методы идентификации видео, созданных ИИ.

Source

От admin