ИИ Stable Diffusion научили создавать видео из изображений – как выглядит

Компания Stability AI добавила в свой ИИ-инструмент Stable Diffusion функцию создавать анимированное видео с изображения. Об этом компания сообщила на своем сайте.

Выпущенный в исследовательскую версию, новый продукт Stable Video Diffusion имеет две модели, преобразующие изображения в видео. Каждая модель способна создавать от 14 до 25 кадров со скоростью от 3 до 30 кадров в секунду, с разрешением 576×1024. Компания считает, что эти модели превосходят ведущие закрытые модели в исследованиях пользовательских предпочтений, таких как Runway и Pika Labs.

Стабильный видеодиффузный инструмент доступен только для исследовательских целей и предлагается на регистрацию в список ожидания для будущего веб-опыта с интерфейсом преобразования текста в видео.

Видео, продемонстрированные компанией, выглядят высококачественными и не уступают другим генеративным системам. Однако у них есть некоторые ограничения, такие как отсутствие реалистичности, отсутствие элементов управления текстом и невозможность генерировать распознаваемый текст или людей и лица.

Stable Video Diffusion был обучен на миллионах видео и затем проработан на меньшем наборе данных. Хотя компания заявляет, что использовала публично доступные видео для исследовательских целей, наличие источника данных является важным фактором, поскольку Getty Images подала в суд на компанию за использование ее архивов изображений.