Вчені навчилися відтворювати відображення з очей на фото і відео

Дослідники з Університету Меріленду перетворили відображення очей на 3D-сцени. Про це повідомляє Engadget.

Робота ґрунтується на нейронних полях випромінювання (NeRF), технології штучного інтелекту, яка може реконструювати оточення з 2D-фотографій. Хоча підхід на основі відображення очей має пройти довгий шлях до практичного застосування, це дослідження дає погляд на технологію, яка в кінцевому підсумку може розкрити оточення за серією простих портретних фотографій.

Команда використовувала тонкі віддзеркалення світла, зафіксовані в людських очах (використовуючи послідовні зображення, зроблені одним сенсором), щоб спробувати розпізнати безпосереднє оточення людини. Вони почали з кількох зображень високої роздільної здатності з фіксованої позиції камери, зафіксувавши рухому людину, яка дивиться в бік камери. Потім вони збільшили відображення, виокремили їх і вирахували, куди дивилися очі на фотографіях.

Результати показують досить помітну реконструкцію навколишнього середовища з людських очей у контрольованому середовищі. Сцена, відзнята за допомогою синтетичного ока, створила більш вражаючу сцену, схожу на сон. Однак спроба змоделювати відображення очей у кліпах Майлі Сайрус і Леді Гаги дала лише розпливчасті плями, про які дослідники могли лише здогадуватися, що це світлодіодна сітка і камера на штативі – ілюстрація того, наскільки далеко ця технологія від реального використання.

Команда подолала значні перешкоди, щоб реконструювати навіть грубі та нечіткі сцени. Наприклад, рогівка вносить "власний шум", який ускладнює відокремлення відбитого світла від складних текстур райдужної оболонки ока людини. Щоб вирішити цю проблему, було впроваджено оптимізацію положення рогівки (оцінка положення та орієнтації рогівки) та декомпозицію текстури райдужної оболонки (виокремлення особливостей, притаманних райдужній оболонці ока людини). Зрештою, радіальна регуляризація втрат текстури (метод машинного навчання, який імітує більш плавні текстури, ніж вихідний матеріал) допомогла ще більше ізолювати та покращити відображені пейзажі.