Вчені навчили штучний інтелект створювати відео прямо з мозку людей

Згідно з новим дослідженням, вчені використали генеративний ШІ для реконструкції "високоякісного" відео з активності мозку. Про це йдеться в статті, опублікованій в arXiv. 

Дослідники Цзясін Цин, Цзяо Чен і Хуан Хелен Чжоу з Національного університету Сінгапуру і Китайського університету Гонконгу використовували дані фМРТ і модель штучного інтелекту Stable Diffusion для створення моделі під назвою MinD-Video, яка генерує відео з показань мозку. 

Демонстрація на джерелі демонструє паралель між відео, яке показували піддослідним, і відео, згенерованим штучним інтелектом, створеним на основі їхньої мозкової активності. Відмінності між двома відео незначні і здебільшого містять схожі сюжети та кольорову палітру.

Відео, опубліковані дослідниками, показують оригінальне відео коней у полі, а потім реконструйоване відео з яскравіше забарвленою версією коней. На іншому відео автомобіль їде лісом, а реконструйоване відео показує людину, яка їде звивистою дорогою, від першої особи. Дослідники встановили, що реконструйовані відео були "якісними", за визначенням рухів і динаміки сцени. Вони також повідомили, що точність відео становить 85%, що є покращенням у порівнянні з попередніми підходами.

Зокрема, вони зазначили, що ці результати висвітлили три основні висновки. Один з них – домінування зорової кори, що свідчить про те, що ця частина мозку є основним компонентом зорового сприйняття. Другий – це те, що кодер фМРТ працює за ієрархічним принципом, який починається зі структурної інформації, а потім переходить до більш абстрактних і візуальних ознак на глибших рівнях. Нарешті, автори виявили, що кодер фМРТ розвивався на кожному етапі навчання, демонструючи свою здатність сприймати більш нюансовану інформацію в міру того, як він продовжує навчання.