Как создали дипфейк Путина. Поговорили с топами украинского стартапа Reface, сделавшим его

Война изменила облик привычных приложений – где-то появились уведомления о воздушной тревоге, где-то – карты укрытий и работающих бизнесов.

Изменения коснулись и популярного приложения Reface, компания-разработчик которого стала одним из первых резидентов Дія.City. С началом полномасштабной войны Reface выпустила отдельное приложение для создания украинских мемов, объявила о разработке алгоритма для поиска российских войск, призвала россиян выходить на митинги.

В начале марта Reface удалось выйти на второе место в американском App Store в категории "Развлечения".

Liga.Tech поговорила с CTO Reface Олесем Петривым и COO Антоном Воловиком о том, как повлияла война на работу компании и как технологии используются в военных реалиях.

О работе во время войны

Война кардинально не изменила бизнес-процессы компании, но Reface пришлось быстрее реагировать и адаптироваться.

С первого дня полномасштабной войны Reface заняли четкую проукраинскую позицию, превратив свое приложение в медиа-инструмент: "Мы информировали россиян и весь мир о реальном состоянии в стране, призывали поддержать нас", – рассказывает Антон Воловик.

Компания прогнозируемо столкнулась с волной негатива от россиян, после чего Reface совсем отключили от России. Но это не помешало приложению сделать рывок на американском рынке – в начале марта Reface заняли второе место в "Развлечениях" App Store.

Сейчас компания объединяет основную работу с волонтерством, инициативами и дополнительными проектами по поддержке Украины. Часть команды присоединилась к территориальной обороне или кибервойскам.

О релокейте

Команда Reface сейчас полностью работает удаленно, часть людей выехала за границу, но большинство все же находится в Украине. Пока мужчины не могут пересечь границу, мы не рассматриваем релокейт.

"Сейчас продумываем разные варианты дальнейшей работы и опции поддержки выехавших в Европу", – говорит Воловик.

О том, как технологии меняют способ ведения войны

Нейросети и машинное обучение в широком смысле развернули новый этап информационной и технологической войны. Но большинство кейсов использования технологий машинного обучения в ведении войны остаются военной тайной.

Технологии уже давно находятся на том этапе, когда распознавание лица позволяет проанализировать огромную базу фотографий человеческих лиц. Это дает возможность помочь выявить среди них тех, кто, например, находится в розыске или подпадает под параметры определенного изображения, добавляет Петрив.

Как нейросети помогают найти людей, в том числе военных преступников, через фото и видео

Нейросеть может упростить и ускорить процесс поиска человека в определенной базе профилей по изображению, рассказывают в Reface. Такие системы с помощью нейросети ранжируют профили в базе по сходству с поисковым фото, а человек осуществляет окончательную идентификацию на основе отобранных максимально подобных профилей.

"Черты лица на случайных фотографиях не являются достаточными биометрическими данными для стопроцентной идентификации человека. Чем больше база людей, по которой ведется поиск и идентификация, тем точнее будет работать алгоритм", – объясняет CTO.

"Ручная" окончательная идентификация обязательна, она уменьшает процент ошибки, добавляет Олесь Петрив.

Могут ли дипфейки использовать пропагандисты

Антон Воловик напоминает, как медиаэксперты прочили, что дипфейки поставят под сомнение демократичность американских выборов еще в 2020 году, но этого не произошло.

"В войне России против Украины мы заметили большое беспокойство по поводу создания дипфейка Зеленского или других политиков с целью распространения хаоса и паники среди украинцев, – говорит Воловик. – Но до сегодняшнего дня ни одного качественного дипфейка, который действительно повлиял бы на общественное мнение, Россия не опубликовала".

Пропагандисты чаще прибегают к старым проверенным методам манипулирования общественным мнением, рассказывает COO Reface: "Это игра на эмоциях, распространение ложных текстовых сообщений, манипуляция фактами и откровенная ложь.

Но, несмотря на развитие технологий, эти устаревшие методы работают лучше. Тем более в России, где люди массово потеряли способность к критическому мышлению, и для манипуляции их мнениями достаточно обычных методов, а не дипфейков".

В Reface считают, что технологическое оружие не стоит недооценивать в информационной войне. Умение сделать реалистичный дипфейк или качественное синтезированное аудио или видео – это только вопрос времени и навыков.

По мнению Антона Воловика, как только стандартных пропагандистских методов распространения дезинформации станет недостаточно, враг может прибегнуть к разработке более сложной тактики в информационной войне.

Как отличить дипфейк от настоящего видео

Заметить фейковость видео обычным глазом невозможно, если над этим дипфейком работала профессиональная команда специалистов по машинному обучению, постпродакшену и актеров, если они сознательно делали это видео реалистичным и потратили несколько недель. Быстрее профессиональный дипфейк не сделаешь, отмечает Олесь Петрив.

Технический директор Reface советует вспомнить недавно популярный дипфейк Тома Круза, который стал известен как дипфейк только после того, как компания-автор об этом заявила. Также, если есть доступ к оригинальному видеофайлу, то можно применить методы анализа микроартефактов на основе других нейронных сетей. Но подобное под силу только специалистам по машинному обучению, утверждает Петрив.

"Если же видео делали наспех, то можно заметить определенные недостатки в зоне ушей, зубов и век во время моргания. Проще сделать дипфейк человека, который прямо смотрит в камеру и говорит монотонный текст. Повороты головы, отчетливая мимика, активная жестикуляция усложняют процесс, именно на них нужно обращать внимание", – объясняет механизм дипфейка технический директор Reface.

Именно поэтому нелепый дипфейк Зеленского, якобы запущенный в сеть россиянами, по мнению Петрива, выглядит так дешево и неправдоподобно: "Это видео и дипфейком не назовешь, больше похоже на некачественный липсинк вместе с постпродакшеном. Его удалили из YouTube и Facebook почти сразу после появления".

В условиях войны лучшим способом отличить дипфейк от правды в Reface называют понимание контекста и базовые правила медиаграмотности. Если политик в один день сказал, что мы ни при каких условиях не будем объявлять капитуляцию, а на следующий день говорит, что мы капитулируем, то это, вероятно, неправда.

О дипфейке с Путиным, который создали Reface

В созданном в апреле дипфейковом видео российский диктатор ходит на фоне разрушенных городов и, возможно, впервые в жизни говорит правду публично. Но даже человеку без всяких технологических навыков видно, что видео ненастоящее.

В Reface подчеркивают, что это художественная выдумка, цель которой противодействовать российской пропаганде, но не вводить никого в заблуждение.

"Для нас этот проект – еще одно подтверждение того, что синтезированный контент – это современный медиаинструмент, который можно и нужно использовать во благо", – говорит Антон Воловик, отмечая, что Reface всегда выступает против распространения реалистичных политических дипфейков.

Reface работает с технологиями глубинного обучения, которые с помощью нейросетей позволяют быстро редактировать видео на мобильном устройстве – face swap (заменять лицо), reenactment (анимировать лицо), lip sync (синхронизировать голос с видео). Эти технологии не позволяют пользователям создать на 100% реалистичный дипфейк.

О военных инициативах

В начале полномасштабной войны Reface объявили о разработке алгоритма, который будет искать места дислокации и перемещения российских войск. По причине безопасности и конфиденциальности Олесь Петрив не смог рассказать Liga.Tech о них подробнее. 

"Единственное, чем мы можем поделиться, это информацией о том, что эта идея положила начало огромной инициативе, которая уже вышла далеко за пределы первоочередной идеи и превратилась в сообщество UA Tech Power из более 1000 экспертов-волонтеров", – говорит Петрив. Сейчас команда уже создает собственные продукты. Это чат-боты, приложения, сейчас их уже более 100.