Ученые научились воспроизводить отражение с глаз на фото и видео
Исследователи из Университета Мэриленда превратили отражение глаз в 3D-сцены. Об этом сообщает Engadget.
Работа основывается на нейронных полях излучения (NeRF), технологии искусственного интеллекта, которая может реконструировать окружение 2D-фотографий. Хотя подход на основе отражения глаз должен пройти долгий путь к практическому применению, это исследование дает взгляд на технологию, которая в конечном счете может раскрыть окружение по серии простых портретных фотографий.
Команда использовала тонкие отражения света, зафиксированные в глазах человека (используя последовательные изображения, сделанные одним сенсором), чтобы попытаться распознать непосредственное окружение человека. Они начали с нескольких изображений высокого разрешения с фиксированной позиции камеры, зафиксировав человека в движении, смотрящего в сторону камеры. Затем они увеличили отражение, выделили их и вычислили, куда смотрели глаза на фотографиях.
Результаты показывают достаточно заметную реконструкцию окружающей среды из человеческих глаз в контролируемой среде. Сцена, снятая с помощью синтетического глаза, создала более впечатляющую сцену, похожую на сон. Однако попытка смоделировать отражение глаз в клипах Майли Сайрус и Леди Гаги дала лишь расплывчатые пятна, о которых исследователи могли лишь догадываться, что это светодиодная сетка и камера на штативе – иллюстрация того, насколько далека эта технология от реального использования.
Команда преодолела большие препятствия, чтобы реконструировать даже грубые и нечеткие сцены. Например, роговица вносит "собственный шум", усложняющий отделение отраженного света от сложных текстур радужной оболочки глаза человека. Чтобы решить эту проблему, была внедрена оптимизация положения роговицы (оценка положения и ориентации роговицы) и декомпозиция текстуры радужной оболочки (выделение особенностей, присущих радужной оболочке глаза человека). Наконец, радиальная регуляризация потерь текстуры (метод машинного обучения, имитирующего более плавные текстуры, чем исходный материал), помогла еще больше изолировать и улучшить отраженные пейзажи.
