Microsoft представила ШІ, що перетворює фото на відео з реалістичним ліпсинком – відео

Microsoft Research Asia представила експериментальний інструмент штучного інтелекту під назвою VASA-1, який здатен створити реалістичне обличчя людини, що розмовляє в режимі реального часу, на основі зображення та аудіофайлу. Про це йдеться на сайті Microsoft.

Інструмент має можливість генерувати вирази обличчя і рухи голови, а також синхронізувати рухи губ зі словами або піснею. Але рухи губ і голови все ще можуть виглядати трохи несистематичними під час уважного розгляду. Вчені визнають потенціал зловживання такою технологією, тому поки вони не впевняться, що вона використовуватиметься відповідально і відповідно до правил, вони не планують пропонувати публічні продукти або додаткові деталі реалізації.

Проте вони вважають, що ця технологія може бути використана в освіті для покращення доступності й комунікації тих, хто має проблеми зі спілкуванням, а також може надати терапевтичну підтримку через спілкування з аватаром штучного інтелекту. VASA-1 навчався на базі даних VoxCeleb2 і є ефективним як на реальних обличчях, так і на художніх фотографіях.