Нейросеть HeyGen переозвучивает видео с сохранением голоса и мимики

Сервис по созданию виртуальных аватаров HeyGen презентовал нейросеть, которая может автоматически переводить слова людей на видео на другие языки и соответственно подстраивать их мимику, сообщает unian.net.

Нейросеть делает полный дубляж с переводом на другой язык, но с сохранением оригинального голоса. Однако, чем выше лучше качество звука в видео, тем лучше преобразование речи.

В сети этот сервис вызвал значительное любопытство. Пользователи начали снимать смешные ролики, а также переводить на другие языки известные мемы и сцены из кинофильмов. Благодаря нейросети на иностранных языках заговорили героиня из мема про «кандибобер», Никита Михалков и Борис Ельцин. Также переозвучили знаменитую сцену из «Брата 2» и монолог «идущего к реке».

Генеральный директор HeyGen Джошуа Сю рассчитывает на сотрудничество с образовательными проектами, ютуберами и сферой кино.

«Что, если бы существовала платформа, на которой каждое видео можно было бы просматривать на любом языке со скоростью, близкой к родной? Это больше, чем просто функция перевода, это новая парадигма потребления контента. И вы правы, языковой ИИ – это только отправная точка. Как только мы это сделаем, возможности для персонализации и улучшения пользовательского опыта станут практически безграничными», – написал он в Twitter.

На сайте можно создать индивидуальный видеоаватар, который будет проговаривать необходимый текст на других языках. Также пользователям предлагают выбрать между уже готовыми аватарами и голосами.

После регистрации на сайте пользователям доступен один бесплатный перевод видео длиной от 30 до 59 секунд. В настоящее время предлагается восемь языков: английский, французский, немецкий, испанский, хинди, итальянский, польский, португальский.

«СП»

Читайте также:

• Нейросеть показала улицы Кишинева в стиле Барби
• В США создали нейросеть, способную выявлять кариес на снимках зубов