Штучний інтелект Stable Diffusion навчили створювати відео з зображень – який має вигляд

Компанія Stability AI додала до свого ШІ-інструменту Stable Diffusion функцію створювати анімоване відео зі зображення. Про це компанія повідомила на своєму сайті.

Випущений в дослідницьку версію, новий продукт Stable Video Diffusion має дві моделі, що перетворюють зображення у відео. Кожна модель здатна створювати від 14 до 25 кадрів із швидкістю від 3 до 30 кадрів в секунду, з роздільною здатністю 576 × 1024. Компанія вважає, що ці моделі перевершують провідні закриті моделі в дослідженнях користувацьких уподобань, такі як Runway та Pika Labs.

Стабільний відеодифузійний інструмент наразі доступний лише для дослідницьких цілей і пропонується на реєстрацію в список очікування для майбутнього вебдосвіду з інтерфейсом перетворення тексту у відео. 

Відео, продемонстровані компанією, мають вигляд високоякісних та не поступаються іншим генеративним системам. Однак у них є деякі обмеження, такі як відсутність реалістичності, відсутність елементів керування текстом та неможливість генерувати розпізнаваний текст або людей і обличчя.

Stable Video Diffusion був навчений на мільйонах відео, а потім пропрацьований на меншому наборі даних. Хоча компанія заявляє, що використовувала публічно доступні відео для дослідницьких цілей, наявність джерела даних є важливим фактором, оскільки Getty Images подала на компанію до суду за використання її архівів зображень.