Сменить лицо. Украинское приложение в топе США

Приложение Reface позволяет разместить свое лицо в видео со звездами, для этого достаточно одного селфи.

В марте 2019 года Илон Маск опубликовал у себя в Twitter фото, на котором он присоединил свое лицо к телу рестлера Дуэйна Джонсона. Твит набрал сотни тысяч лайков и шеров. На фото была вотермарка приложения Reface.

26 августа 2020 года это приложение попало на первую строчку американского онлайн-магазина Apple Store, опередив даже TikTok и Netflix. 

Reface создали украинские разработчики.

Корреспондент.net разбирался, как они пришли к такому успеху.

Как это работает

Первая версия приложения называлась Reflect, потом Doublicat. Со временем приложение вместе с компанией переименовали в Reface.

Продукт начинался с замены лиц на фото. Со временем добавились GIF-ки, а теперь технология может работать с видео. На замену лица уходят секунды. Пользователь загружает снимок, приложение превращает основные черты его лица в данные и отправляет их в облако, где нейросеть накладывает лицо на выбранный пользователем контент.

Разработчики Reface создали универсальную нейросеть, которая может работать с разными лицами и создавать их цифровые модели за секунды. 

Достичь высокого разрешения изображений позволяет технология генеративно-состязательных нейросетей (GAN, generative adversarial network). Одна часть алгоритма — генератор — участвует в создании изображения, а вторая — дискриминатор — учится распознавать подделку. Генератор постоянно улучшает изображение до тех пор, пока дискриминатор не перестанет видеть в нем подделку.

Популярность

Чаще всего приложение Reface используют, чтобы разместить свое лицо в видео со звездами. Для этого достаточно одного селфи. На данный момент Reface загрузили более 27 миллионов раз, при этом им пользовались такие звезды, как Snoop Dogg, Britney Spears, Dua Lipa, Miley Cyrus, John Legend и др.

Основатели стартапа заверили, что Reface заботится о безопасности пользователей и не предоставляет личную информацию третьим сторонам. Приложение только считывает основные черты лица, кодирует, и переносит на видео или гифку. В течение 24 часов фото, которое сделал пользователь для замены лица удаляют с Google Cloud платформы и оно сохраняется лишь локально на телефоне пользователя.

Кто придумал

Основатели проекта Роман Могильный и Ярослав Бойко вместе учились в Киево-Могилянской академии.В 2011 году они основали ML-стартап Neocortext. Neocortext занимался распознаванием текстового и визуального контента. 

В 2018 году заказчик предложил компании разработать алгоритм для замены лиц на фотографиях. Команда впервые столкнулась с технологией deepfake и увидела в этом перспективную нишу. 

“Согласитесь, круто видеть украинский стартап в топе на наиболее конкурентном рынке мира. Насколько нам известно, стартапы из Восточной Европы вроде MSQRD и Prisma выходили в топ, но никогда стартап из Украины не был №1 в США. Круто понимать, что приложение стало виральным и популярным не только в Америке, но и более чем в 100 странах мира. Мы с командой гордимся результатом, это нас зарядило, но сейчас важно не останавливаться на достигнутом, а двигаться дальше. Поэтому сейчас активно набираем новых людей в команду. Скоро расскажем о новом продукте и функциональности в технологиях, которые мы готовим для Reface” — делится Роман Могильный эмоциями от успеха.

Когда ребята только начинали, в команде было 6 человек, сейчас — около 50. В планах создание Reface Studio — веб-сервиса для профессиональных режиссеров монтажа.