Microsoft представила ИИ, что превращает фото в видео с реалистичным липсинком – видео

Microsoft Research Asia представила экспериментальный инструмент искусственного интеллекта под названием VASA-1, который способен создать реалистическое лицо человека, говорящего в режиме реального времени, на основе изображения и аудиофайла. Об этом говорится на сайте Microsoft.

Инструмент может генерировать выражения лица и движения головы, а также синхронизировать движения губ со словами или песней. Однако движения губ и головы все еще могут выглядеть немного несистематическими при внимательном рассмотрении. Ученые признают потенциал злоупотребления такой технологией, поэтому пока они не убедятся, что она будет использоваться ответственно и в соответствии с правилами, они не планируют предлагать публичные продукты или дополнительные детали реализации.

Однако они считают, что эта технология может быть использована в образовании для улучшения доступности и коммуникации тех, кто испытывает проблемы с общением, а также может оказать терапевтическую поддержку через общение с аватаром искусственного интеллекта. VASA-1 обучался на базе данных VoxCeleb2 и эффективен как на реальных лицах, так и на художественных фотографиях.