Як створили діпфейк Путіна. Поговорили з топами українського стартапу Reface, який це зробив

Війна змінила вигляд звичних застосунків – десь зʼявилися сповіщення про повітряну тривогу, десь – мапи укриттів та активних бізнесів. 

Зміни торкнулися і популярного застосунку Reface, компанія-розробник якого стала одним із перших резидентів Дія.City. Із початком повномасштабної війни Reface випустила окремий застосунок для створення українських мемів, оголосила про розробку алгоритму для пошуку російських військ та закликала росіян виходити на мітинги.

На початку березня Reface вдалося вийти на друге місце в американському App Store у категорії "Розваги".

Liga.Tech поговорила із CTO Reface Олесем Петрівим та COO Антоном Воловиком про те, як вплинула війна на роботу компанії та як технології використовуються у воєнних реаліях.

Про роботу під час війни

Війна кардинально не змінила бізнес-процеси компанії, але Reface довелося швидше реагувати та адаптуватись. 

З першого дня повномасштабної війни Reface зайняли чітку проукраїнську позицію, перетворивши свій застосунок на медіаінструмент: "Ми інформували росіян та весь світ про реальний стан у країні, закликали підтримати нас", – розповідає Антон Воловик.

Компанія прогнозовано зіштовхнулась з хвилею негативу від росіян, після чого Reface зовсім відключили від Росії. Але це не завадило застосунку зробити ривок на американському ринку – на початку березня Reface посів друге місце у "Розвагах" App Store.  

Зараз компанія поєднує основну роботу із волонтерством, ініціативами та додатковими проєктами для підтримки України. Частина команди приєдналася до територіальної оборони чи кібервійськ. 

Про релокейт

Команда Reface зараз повністю працює віддалено, частина людей виїхала за кордон, але більшість все ж перебуває в Україні. Поки чоловіки не можуть перетнути кордон, ми релокейт не розглядаємо.

"Зараз продумуємо різні варіанти подальшої роботи та опції підтримки тих, хто виїхав до Європи", – каже Воловик.

Про те, як технології змінюють спосіб ведення війни

Нейромережі та машинне навчання у широкому сенсі розгорнули новий етап інформаційної та технологічної війни, каже технічний директор Reface Олесь Петрів. Але більшість кейсів використання технологій машинного навчання у веденні війни залишаються військовою таємницею.

Технології вже давно перебувають на тому етапі, коли розпізнавання обличчя дозволяє проаналізувати величезну базу фотографій людських облич. Це дає змогу допомогти виявити серед них тих, хто, наприклад, перебуває у розшуку чи підпадає під параметри певного зображення, додає Петрів.

Як нейромережі допомагають знайти людей, зокрема воєнних злочинців, через фото та відео

Нейромережа може спростити та пришвидшити процес пошуку людини в певній базі профілів за зображенням, розповідають у Reface. Такі системи за допомогою нейромережі ранжують профілі в базі за подібністю до пошукового фото, а людина здійснює остаточну ідентифікацію на основі відібраних максимально подібних профілів.

"Риси обличчя на випадкових фотографіях не є достатніми біометричними даними для стовідсоткової ідентифікації людини. Що більша база людей, за якою ведеться пошук та ідентифікація, то точніше працюватиме алгоритм", – пояснює CTO.

"Ручна" остаточна ідентифікація обов’язкова, вона зменшує відсоток помилки, додає Олесь Петрів.

Чи можуть діпфейки використовувати пропагандисти

Антон Воловик нагадує, як медіаексперти пророкували, що діпфейки поставлять під сумнів демократичність американських виборів ще у 2020 році, але цього не сталося.

"У війні Росії проти України ми помітили суттєве занепокоєння щодо створення діпфейку Зеленського чи інших політиків із метою сіяння хаосу та паніки серед українців, – каже Воловик. – Але до сьогодні жодного якісного діпфейку, який би справді вплинув на суспільну думку, Росія не опублікувала".

Пропагандисти частіше вдаються до старих перевірених методів маніпулювання громадською думкою, розповідає COO Reface: "Це гра на емоціях, поширення неправдивих текстових повідомлень, маніпуляція фактами та відверта брехня.

Але, незважаючи на розвиток технологій, ці застарілі методи працюють найкраще. Тим паче в Росії, де люди масово втратили здатність до критичного мислення, і для маніпуляції їхніми думками достатньо звичайних методів, а не діпфейків".

У Reface вважають, що технологічну зброю не варто недооцінювати в інформаційній війні. Вміння зробити реалістичний діпфейк чи якісне синтезоване аудіо або відео – це лише питання часу та навичок.

На думку Антона Воловика, що, коли стандартних пропагандистських методів поширення дезінформації стане недостатньо, росіяни можуть вдатися до розробки складнішої тактики в інформаційній війні.

Як відрізнити діпфейк від справжнього відео

Помітити фейковість відео звичайним оком неможливо, якщо над цим діпфейком працювала професійна команда фахівців із машинного навчання, постпродакшену й акторів, якщо вони свідомо робили це відео реалістичним і витратили кілька тижнів. Швидше професійний діпфейк не зробиш, зазначає Олесь Петрів.

Технічний директор Reface радить згадати нещодавній популярний діпфейк Тома Круза, який став відомим як діпфейк лише після того, як компанія-автор про це заявила. Також, якщо є доступ до оригінального відеофайлу, то можна застосувати методи аналізу мікроартефактів на основі інших нейронних мереж. Але подібне до снаги тільки спеціалістам із машинного навчання, стверджує Петрів.

"Якщо ж відео робили поспіхом, то можна помітити певні недоліки в зоні вух, зубів і повік під час кліпання. Найпростіше зробити діпфейк людини, яка прямо дивиться в камеру й говорить монотонний текст. Повороти голови, виразна міміка, активна жестикуляція ускладнюють процес, саме на них потрібно звертати увагу", – пояснює механізм діпфейка технічний директор Reface.

Саме тому недолугий діпфейк Зеленського, який нібито запустили в мережу росіяни, на думку Петріва, є таким дешевим і неправдоподібним: "Це відео і діпфейком не назвеш, більше схоже на неякісний ліпсінк разом із постпродакшеном. Його видалили з YouTube та Facebook майже відразу після появи".

В умовах війни найкращим способом відрізнити діпфейк від правди у Reface називають розуміння контексту і базові правила медіаграмотності. Якщо політик в один день сказав, що ми за жодних умов не будемо оголошувати капітуляцію, а наступного дня каже, що ми капітулюємо, то це, найімовірніше, неправда. 

Про діпфейк із Путіним, який створили Reface

У створеному у квітні діпфейковому відео російський диктатор ходить на тлі зруйнованих міст і, можливо, вперше у житті говорить правду публічно. Але навіть людини без жодних технологічних навичок видно, що відео несправжнє. 

У Reface наголошують, що це художня вигадка, яка має на меті протидіяти російській пропаганді, але не вводити нікого в оману.

Putin telling truth, huh? Well, we tried to imagine what he’d say if he did.

Created by ADC*UA, Gvardiya Production House and AI startup Reface. @reface_app @Gvardiya_ph #ArmUkraineNow pic.twitter.com/6P0Fz3h4uR

— Ukraine / Україна (@Ukraine) April 21, 2022

"Для нас цей проєкт – ще одне підтвердження того, що синтезований контент – це сучасний медіаінструмент, який можна та потрібно використовувати на благо", – каже Антон Воловик, додаючи, що Reface завжди виступає проти поширення реалістичних політичних діпфейків. 

Reface працює з технологіями глибинного навчання, які за допомогою нейромереж дозволяють швидко редагувати відео на мобільному пристрої – face swap (замінювати обличчя), reenactment (анімувати обличчя), lip sync (синхронізувати голос із відео). Ці технології не дозволяють користувачам створити на 100% реалістичний діпфейк.

Про військові ініціативи

На початку повномасштабної війни Reface оголосили про розробку алгоритму, який шукатиме місця дислокації та переміщення російських військ. Через причини безпеки та конфіденційності Олесь Петрів не зміг розповісти Liga.Tech про нього докладніше. 

"Єдине, чим ми можемо поділитися, то це інформацією про те, що ця ідея започаткувала величезну ініціативу, яка вже вийшла далеко за межі першочергової ідеї та перетворилася на спільноту UA Tech Power із понад 1000 експертів-волонтерів", – каже Петрів. Зараз команда вже створює власні продукти. Це чатботи, застосунки, зараз їх уже понад 100.