Создан ИИ, преобразовывающий фото человека в реалистичного 3D-персонажа

Исследователи из Netease Fuxi AI Lab и Мичиганского университета создали метод машинного обучения MeInGame, который может автоматически генерировать 3D-персонажей, на основе фотографий реальных людей.

Для того чтобы 3D-модели лиц реалистично воссоздавали профиль человека, они должны быть обучены на больших объемах данных изображений и текстур. Однако компиляция этих наборов данных может занять много времени и требует регулярного пополнения данных.

Чтобы упростить этот трудоемкий процесс, авторы работы использовали не сгенерированные фотографии, а изображения реальных людей. Сначала они реконструировали лицо на основе 3D-морфируемой модели лица (3DMM) и сверточных нейронных сетей (CNNs), а затем переносили форму 3D-лица на сетку шаблонов.

В результате сеть получает изображение лица и развернутую УФ-текстурную карту в качестве входных данных, а затем она прогнозирует коэффициенты освещения. Авторы сравнивали качество игровых персонажей с другими сгенерированными моделями и, похоже, их метод справился одним из лучших. 

• Ранее, искусственный интеллект впервые написал пьесу, а человек поставил ее.

Подписывайтесь на LIGA.Tech в Telegram: только важное