Все вставляют свое лицо в фильмы и клипы

Deep Art Effects (iOS | Android)

Разработчики из Deep Art Effects с категорией графических редакторов связаны уже давно: ранее студия выделилась на фоне конкурентов за счет нескольких творческих платформ для стилизации снимков под произведения художественного искусства, а чуть позже выпустила и инструмент с встроенным искусственным интеллектом, способном переделывать реальность по заданным шаблонам. Функционал основан на работе нейронных сетей: после загрузки исходных изображений в меню появится доступ к библиотеке заранее подготовленных полотен, доступных для редактирования. Некоторые представлены именитыми художниками (Пабло Пикассо, Винсент Ван Гог), другие перекочевали с современных выставок.

Инструментов внутри Deep Art Effects предостаточно, а настроек и того больше: взять хотя бы возможность с точностью до миллиметра двигать ползунки, влияющие на детализацию, интенсивность художественного стиля, контраст и яркость

Дополнительный плюс – возможность выгружать подготовленные работы в Ultra HD качестве без потери важной информации, водяных знаков и прочих ограничений, часто встречаемых у конкурентов. А вот за доступ к эксклюзивным работам предстоит платить – стоимость сильно варьируется и зависит непосредственно от региона и выбранного комплекта для разблокировки

Особенности инструмента

Программа не имеет графического интерфейса и представляет собой набор пакетных файлов (с расширением bat) для Windows. Она обладает скромными минимальными системными требованиями: процессор с поддержкой набора инструкций SSE; 2 ГБ оперативной памяти + файл подкачки; видеокарта, совместимая с OpenCL (Open Computing Language, «открытый язык вычислений») и оснащенная не менее чем 256 МБ оперативной памяти; операционная система Windows 7.

По заявлению разработчика, для обучения нейронной сети Deepfacelab может задействовать не только ресурсы графического ускорителя Nvidia, AMD или IntelHD, но и центрального процессора. В документации к проекту отмечается, что «восьмое поколение процессоров Intel способно выдать неплохой демонстрационный результат за два дня тренировки».

К плюсам своего творения автор также относит отсутствие необходимости устанавливать какие-либо дополнительные программы, кроме драйверов видеокарты, наличие режима ручного выделения лиц, поддержку сортировки извлеченных лиц для быстрого удаления ненужных и быструю работу с видео.

В документации к программе подчеркивается, что она не гарантирует идеальной замены лиц во всех случаях. Итоговый результат в значительной степени зависит от качества исходных данных, «совместимости» лиц, подмена которых осуществляется, расположения источников света и других факторов.

FaceApp (iOS | Android)

Графический редактор FaceApp встряхивает сообщество с завидной регулярностью: то в сети появляются новости о возможности виртуально «состариться» и «помолодеть», то вырастить бороду и даже сменить фон за спиной на фотографии. Годы спустя FaceApp не теряет актуальности и по-прежнему пытается шокировать мир. Среди находок последнего времени – раздел с «Макияжем» (тени, объемные ресницы, новая помада – пара мгновений и образ дополнен профессиональным стилистом с нотками искусственного интеллекта), замена лица в видеорежиме и всевозможные настройки, меняющие пол, стиль бровей и даже длину усов.

Минусы FaceApp связаны с ограничением доступа: контент в 99% случаев распространяется по подписке, достигающей платежей вплоть до 3000 рублей в месяц. И, несмотря на вклад разработчиков в индустрию, рассматривать редактор с позиции совсем уж обязательного инструмента сложно, а потому и цены выглядят не слишком адекватно. Но и платить сразу необязательно – уже давно предусмотрен трехдневный пробный период.

Пересадка лица с препятствиями

Все, что требуется, — это два видео: одно с «донором» лица, а другое с «реципиентом»; в обоих видео соответствующие лица должны быть четко видны. Замена лиц сопровождается некоторыми техническими сложностями. Программа работает только на компьютерах на базе операционной системы Windows и с видеокартой NVIDIA (наиболее поздней и мощной модели), а воспользоваться ПО и попробовать себя в пересадке лица может тот, у кого есть достаточно терпения, чтобы следовать пространным инструкциям на YouTube, имеется несколько часов времени и умение справляться с разочарованием.

И, конечно же, чаще всего такие эксперименты начинаются с порно. После того как лица известных голливудских актрис были пересажены с помощью FakeApp на головы звезд эротического жанра, это развлечение для «ботаников» стало очень популярным. Но что же станет с реальностью, если ее так легко подделать?

И тут есть о чем задуматься: уже несколько лет научно-исследовательские группы работают над программным обеспечением, которое позволит свободно изменять не только изображения и видео, но также голосовые и звуковые записи. В конце ноября компания Adobe представила свою программу Voco, с помощью которой можно переписывать, сокращать, копировать и даже дополнять новым текстом речь — и все это с сохранением оригинального голоса. Так что есть основания опасаться, что в сочетании с приложениями перестановки могут быть созданы такие видео, где реальными людьми будут манипулировать словно говорящими куклами.

Фейковые новости и «альтернативные» факты подтверждают, что эти опасения стоит рассматривать как тревожный сигнал о том, что уже давно начался процесс потери достоверности информации. И можно верить прогнозу Google о том, что такое понятие, как Deepfake (образованное от Deep learning — машинное обучение с применением нейросетей и fake — подделка), находится в процессе стремительного развития.

Каким должно быть фото лица для реалистичной вставки

Чтобы ваше лицо смотрелось более реалистично в кадре, соблюдайте такие правила:

  1. Выбирайте фото с открытым лицом – его не должны закрывать волосы и какие-либо предметы (например, очки).
  2. Смотрите прямо в объектив камеры, когда фотографируетесь. Не поворачивайте голову в сторону, не наклоняйте лицо.
  3. Позаботьтесь о хорошем освещении. Делайте снимок при дневном свете: на улице или возле окна. Как вариант можно включить лампу дневного освещения и направить ее на лицо.
  4. Размер лица должен быть пропорционален габаритам тела на видео, чтобы голова не смотрелась слишком большой или слишком маленькой по сравнению с туловищем.

REFACE — мобильное приложение, которое меняет лица

Некоторые популярные мобильные приложения из цикла «Фейс свап» имеют собственный алгоритм замены лиц. У программы REFACE

он также своеобразен. Она достаточно качественно подменяет лица за счёт того, что видео мы можем выбирать только из списка предложенных в приложении. Это даёт возможность разработчикам вставить область вашего лица довольно качественно. В данный момент оно находится в списке лучших среди первых 15 бесплатных приложений магазинов. Мобильное приложение Reface REFACE доступно для мобильных устройств с IOS и Android. Оно работает на собственной технологии REFACEAI. И было отмечено одобрительной оценкой в таких популярных западных журналах: Forbes, TNW, Digital Trends, Mashable. Его уже испробовало более 10 миллионов пользователей по всему миру.

Видео в приложении Reface

И, не смотря на такую огромную цифру, его рейтинг в онлайн-магазинах приложений остаётся высоким — 4.6 балла.

Оценка приложения Reface

Приложение предлагает большое количество мемов, популярных видео, отрывков фильмов, в которые вы сможете вставить и поменять своё лицо. Или лицо другого человека, чья фотография есть в вашем смартфоне. Теперь рассмотрим данное приложение более близко и узнаем, как его использовать.

Сервисы для создания шаржей и рисунков из фотографий

Онлайн-сервисы позволяют не только «пересаживать», но и изменять лица на снимках. С их помощью вы можете рисовать гримасы, менять формы лиц, создавать необычные картинки и дружеские шаржи.

Cartoon.Pho.to

Бесплатный сервис на русском языке с готовым набором понятных функций для редактирования фото. При стабильном интернете на каждое действие в Cartoon.Pho.to потребуется не более 10 секунд.

Чтобы отредактировать фотографию в Cartoon.Pho.to, следуйте инструкциям:

  1. Откройте сервис в браузере.
  2. Нажмите «С диска» и выберите снимок человека, лицо которого хотите изменить.
  3. Уберите галочку напротив надписи «Мультяшный эффект».
  4. Поставьте галочку напротив надписи «Трансформация лица».
  5. Выбирайте любой вариант из списков «Эмоции» и «Пародийные Эффекты».
  6. Нажмите «Сохранить и поделиться», чтобы перейти в меню скачивания.
  7. Нажмите «Скачать».

Wish2Be

Чтобы «пересадить» лицо реального человека нарисованному шарж-персонажу, подойдет веб-сервис Wish2Be. Он позволяет выбрать цвет кожи, прическу, тело, рамки, фон и аксессуары. Сервис полностью бесплатный и русскоязычный.

Для того чтобы вставить на картинку лицо, сделайте следующее:

  1. Откройте сервис в браузере, выберите подходящий фон и дополнения.
  2. Нажмите «Добавить фотографию».
  3. Кликните в районе надписи «Нажмите или бросьте сюда ваше фото» и выберите снимок.
  4. Чтобы подвинуть лицо, нажмите на его центр и перетяните.
  5. Для изменения угла наклона лица зажмите кнопку в виде закругленной стрелки и двигайте курсор мыши.
  6. Чтобы изменить размер лица, нажмите кнопку в виде двух стрелок, смотрящих в разные стороны, и двигайте курсор мыши.
  7. Чтобы скачать результат, щелкните облако со стрелкой.
  8. Выберите формат для скачивания. Среди бесплатных – JPG и PNG.

Фотофания. Карикатура

Превращать обычные снимки в карандашные рисунки с эффектом карикатуры поможет уже знакомый бесплатный веб-сервис Фотофания.

Чтобы получить карикатуру из фото, сделайте 6 шагов:

  1. Откройте страницу «Карикатуры».
  2. Нажмите «Выберите фото».
  3. Нажмите «Загрузить с компьютера» и откройте снимок с лицом.
  4. Нажмите «Обрезать».
  5. Щелкните «Создать».
  6. Когда результат устроит, щелкните «Скачать».

Мы описали 5 бесплатных сервисов «пересадки» и трансформации лиц  на все случаи жизни. Если нужно быстро заменить лицо на фотографии, не добавляя спецэффекты, рекомендуем Picture Editor Online – здесь вам не придется делать лишних действий для получения приемлемого результата. Если для достижения идеала вы готовы потрудиться, используйте Face Swap Online. А для создания забавных картинок с лицами друзей подойдет сервис Wish2Be. Берите на вооружение и пользуйтесь!

Принципы работы

Перед тем как вставить лицо онлайн бесплатно в любое изображение, нужно учитывать несколько моментов во время предварительной обработки:

  • формат фотографии должен быть качественным;
  • делать снимок можно не на дорогую технику, но если используется телефон – нужно убедиться, что лицо хорошо видно;
  • перед тем как вставить лицо в шаблон онлайн бесплатно, нужно определиться с цветовой гаммой, дизайном.

Фоторедактор работает с изображениями разного качества, но остаётся актуальным вопрос цветового баланса, поэтому нужно серьёзно заняться коррекцией. Необязательно использовать профессиональные программы: перед тем, как вставить фото в картинку, можно обработать снимок при помощи онлайн-сервиса. Главное, что это всё доступно без регистрации. Чтобы сделать фотомонтаж онлайн бесплатно, вставить лицо в картинку достаточно просто:

  • зайти на наш сервис;
  • выбрать соответствующий раздел;
  • подобрать нужные фотошаблоны;
  • загрузить фото;
  • сохранить изображение на компьютере.

Создать интересное изображение с собственным изображением бесплатно без регистрации несложно: зайди на сервис, выбери шаблон и вставь свою фотографию. После этого картину можно размещать на различных сетевых ресурсах. Хотите прикрепить ? Сделайте это на best-photoshop .

Как заменяется лицо в видео?

Прежде чем рассказать как это делается, лучше будет наглядно посмотреть как это выглядит. Вот один из популярных роликов с лицом Илона Маска. Почему-то именно этот персонаж очень часто является героем дипфейков 🙂

Если говорить упрощенно, то в случае с видео работа нейросети заключается в объединении нескольких картинок между собой. Искусственный интеллект анализирует черты лица и характер мимики персонажа на видео, строя из него цифровой шаблон. Потом лицо на фотографии преобразуется в набор чисел, и уже он «натягивается» на шаблон.

Звучит достаточно просто, но на деле за этим стоят довольно серьезные вычислительные мощности и алгоритмы. Ведь помимо совмещения лиц надо еще «подогнать» их черты друг под друга, учесть освещение кожи в оригинальном ролике, добавить смещения из-за движений головы, туловища и пр.

Collage.Click Face Switch (iOS | Android)

Обрастающий технологиями графический редактор с незатейливым, но быстро развивающимся функционалом, сосредоточенным преимущественно вокруг переноса лиц с исходных материалов на те, которые добавлены из «Галереи» или выбраны в меню Collage.Click Face Switch. Идея не нова, но реализована разработчиками почти бесплатно (ежемесячная подписка начинается с 65 рублей и включает блокировку рекламы, подробный перевод и прочие мелочи, облегчающие жизнь), а вместе с тем дополнена инструкциями для новичков.

Среди любопытных находок выделяется еще и возможность вручную контролировать процесс переноса «внешности»: в Collage.Click Face Switch предусмотрена специальная система лицевых точек, необходимых для составления портрета от подбородка до бровей, ушей и прочих деталей. Лишний раз экспериментировать совсем необязательно – если правильно подойти к делу, то уже через минуту появится шанс довольствоваться весьма любопытными результатами.

2018: Использование в сфабрикованном видеообращении Обамы

В апреле 2018 года режиссер Джордан Пил (Jordan Peele) смонтировал при помощи приложения FakeApp видео, в котором бывший президент США Барак Обама якобы обзывает действующего американского лидера Дональда Трампа. Таким образом, Пил решил показать, к чему может привести развитие технологий и как будут выглядеть фейковые новости.

В сфабрикованном видеообращении Обамы он называет Трампа «засранцем» и сообщает, что злодей Киллмонгер из «Черной Пантеры» был прав. Голос бывшего президент сымитировал сам Джордан Пил.

Помимо FakeApp, в процессе монтажа использовалось программное обеспечение Adobe After Effects, предназначенное для редактирования видео и динамических изображений, разработки композиций, анимации и использования различных эффектов. Отмечается, что при создании видео потребовалось около 56 часов автоматической обработки под контролем специалиста по спецэффектам.

Мы вступаем в эпоху, когда наши враги могут создать ролик, в котором все будет выглядеть и звучать так, будто это происходит в реальности. Даже если люди на видео никогда не говорили подобных вещей, — сообщил режиссер.

Ранее в апреле 2018 года в интернете появилось подобное видео, где основатель социальной сети Марк Цукерберг якобы говорит, что закрывает сайт и собирается сделать сервис платной.

Однако если увеличить изображение Цукерберга в области рта, можно заметить, что движение его губ не совпадает с тем, что он говорит. На самом деле основатель соцсети не заявлял ничего подобного, новость была сфабрикована.

О возможности подмене лиц в своем романе Generation «П» писал Виктор Пелевин:

Отдел рекламы в этом заведении координировал работу крупных рекламных агентств. Морковин ввёл Татарского в курс дела. Выяснилось, что политиков, которых показывают по телевизору, на самом деле не существует, их создают с помощью сверхмощного компьютера. Чем выше пост виртуального политика, тем лучше 3D графика. Ельцин получался у них как живой, то же касалось и олигархов. Морковин рассказал, что существует служба «Народная воля», сотрудники которой рассказывают, что они только что видели «вождей». Получалось, что всё в России решали политики и олигархи, созданные 3D-специалистами.

Приложение, которое меняет лицо

Я вот примерил на себя роль Конора Макгрегора, Дуэйна Джонсона и даже Рианны. Смотрится все это действительно очень смешно, особенно со звуком, однако видно, что технология еще сыровата. В отличие от того же FaceApp, где используется глубинное обучение и искусственный интеллект, и приложение действительно делает новые снимки максимально похожими на реальные, в Reface App много артефактов и видео становится «мыльным». Но все равно можно здорово поугарать с друзьями, отправить им такое видео или выложить в Instagram или другие социальные сети.

Или Безумный Макс

В данном случае обработка видео или гифки тоже осуществляется с помощью нейросетей, просто у разработчиков, видимо, пока не так много данных, чтобы обучить их менять лицо на видео идеально. Приложение не проводит никаких вычислений и преобразований на устройстве, обращаясь к удаленным серверам. Для этого фотография выгружается в облако, там же анализируется, меняется лицо на видео, а затем результат загружается снова на устройство.

В зависимости от скорости интернета на обработку уходит разное время

Заменить лицо на видео на свое можно бесплатно, однако некоторые функции доступны в приложении только при оформлении подписки, которая стоит от 199 рублей в месяц. В профессиональной версии разработчики предлагают замену лица с фотографии (сейчас можно брать фото, сделанное только что на камеру), отсутствие водяных знаков, приоритетную обработку видео и гифок и другие плюшки. Мне кажется, смысла платить за это нет, но дело за вами.

Название: REFACE: face swap videosИздатель/разработчик: NEOCORTEXT, INC.Цена: БесплатноВстроенные покупки: ДаСовместимость: Для iPhoneСсылка: Установить

B612 — Beauty & Filter Camera

Изобретательная и неповторимая рабочая платформа на Айфон, с функциональной точки зрения разделенная три части. Во-первых, разработчики из SNOW предлагают изменять детали внешности еще до того, как фотография сделана. Нужно всего-то открыть встроенную в B612 камеру и приступить к добавлению нестандартных аксессуаров, масок и ретуши. Изменения становятся заметны в прямом эфире, а, значит, на подготовку финального кадра не придется тратить больше 10 минут!

Во-вторых, в приложении B612 предусмотрен специальный графический редактор, способный проработать фото не только с точки зрения внешности, но еще и со стороны экспозиции, фокуса, цвета и баланса белого. При желании работать с редактором можно в полуавтоматическом режиме, принимая те советы, которые предлагает искусственный интеллект.

И напоследок – платформа B612 способна с помощью дополненной реальности и фронтальной камеры изучить кожу лица (влажность и сухость, проблемные участки, выразительность мешков под глазами и количество морщинок), а затем – предложить несколько советов, способных решить возникшие проблемы и избавить от трудностей в будущем.

Часть 1: Изменение лица в видео с Filmora Video Editor

Лучше нее в части скорости обработки на рынке нет. Среди ее выдающихся функций есть персонализированные текстовые метки, зеленый экран, коррекция цвета в видео, базовые инструменты для редактирования, определение сцены, эффекты смещенной оптической оси, размытия лица и «картинка в картинке». Совместимость этой программы гарантирована, поскольку она поддерживает многие форматы, такие как MKV, WMV, MP4, MTS и AVI.

Как изменить лицо в видеоролике при помощи Filmora Video Editor

Шаг 1.

Убедитесь, что Filmora Video Editor установлен на вашем компьютере. Это первое действие при замене лица в видеоролике. После установки, вы можете запустить его и открыть окно нового проекта. В нем перетяните видеоролик в Media Library или кликните на кнопку «Import Media Files» чтобы добавить видео, в котором вы хотите изменить лицо.

Шаг 2.

После этого перетяните видеоролик в Timeline, где и будет происходить процесс замены лица. Кликните правой кнопкой мыши на видео, выберите «Power Tool» или кликните на иконке «Power Tool» над Timeline. После этого кликните на вкладке «Faceoff».

Шаг 3.

Эффект face-off поможет добавить новые лица к тем, что были обнаружены в используемом видео файле. На панели меню вы увидите вкладку «face-off», на которую надо кликнуть – так вы получите доступ к нескольким опциям по лицам. Проверьте все внимательно и выберите то, которое хотите использовать в своем видеоролике. После того, как вы кликните на выбранном лице, оно будет автоматически добавлено в видео. Потратьте время на предварительный просмотр вашего видео, нажав на кнопку «play». Этот шаг очень важен, так вы сможете заметить любые недостатки, возникшие при замене лица.

DeepFake и кино

Своеобразным интернет-мемом стало добавление лица Николаса Кейджа в сцены из популярных фильмов. Кроме того, поклонники уже смогли оценить некоторые фрагменты фильма «Терминатор 2: Судный день» с молодым Сильвестром Сталлоне в главной роли.

При помощи DeepFake была также осуществлена попытка исправить одну из худших сцен с применением компьютерной графики в истории кинематографа — превращение Дуэйна «Скалы» Джонсона в Царя скорпионов в фильме «Мумия возвращается». Процесс реновации сцены запечатлели на видео:

ПО ТЕМЕ: Что может Фотошоп для Айфона: возможности бесплатных приложений Adobe Photoshop (Express, Fix и Mix) для iOS.

Еще DeepFake видео:

Как самому сделать дипфейк?

Теория – это конечно хорошо, но не ради неё же мы собрались 🙂 Далее расскажу вам про три лучшие бесплатные программы и приложения для замены лиц в видео. Воспользоваться ими может каждый желающий.

Reface

Ранее это приложение для Андроид и iOS называлось Doublicat. Оно получило очень много положительных отзывов от пользователей из разных стран мира и имеет достаточно высокий рейтинг: 4,6 на Google Play и 4,9 на AppStore.

Работать с приложением очень просто:

  1. Сканируете своё лицо на фронтальную камеру мобильного устройства (потом можно будет просто подгружать картинки из памяти).
  2. Выбираете любой видеоролик из большого списка доступных.
  3. Получаете результат.

В наличии есть как коротенькие видеоклипы, так и анимированные гифки. Их подборки обновляются в приложении практически ежедневно, самые популярные попадают в тренды на главном экране приложения.

Дипфейки получаются очень смешные и прикольные. Их с успехом можно послать друзьям или разместить на своей страничке в соцсети, чтобы всех повеселить. Однако не всегда стоит ожидать полной замены лица героя на своё – там скорее происходит совмещение черт, но всё равно получается очень здорово.

DeepFaceLab

Эта программа для Windows с открытым исходным кодом. Её можно бесплатно скачать с сайта GitHub. Она имеет достаточно серьезные и даже профессиональные настройки по замене лиц, поэтому является, пожалуй, лидером в своей области.

Вот пример того, как выглядел бы Терминатор, если бы его играл на Шварценеггер, а Сталлоне (создано в DeepFaceLab):

А вот как заменено лицо Джека Николсона лицом Джима Керри в знаменитом фильме «Сияние». Не чудо ли?

На YouTube и TikTok существуют даже специализированные каналы, контентом которых являются дипфейки, созданные в данной программе, и они пользуются огромной популярностью.

FaceSwap

FaceSwap – схожая с DeepFaceLab программа, но помимо Windows её можно установить на MacOS и Linux. Софт тоже полностью бесплатен и тоже свободно скачивается с GitHub.

FaceSwap имеет серьезный алгоритм замены лиц, требовательный к железу. Поэтому если компьютер у вас достаточно слабый, имеет устаревший CPU и слабую видеокарту, создание дипфейка займет очень много времени.

Программа имеет активное сообщество в сети, благодаря которому в неё постоянно привносятся какие-то новшества, фишки и улучшения. Так же есть много обучающих материалов по работе в FaceSwap, преимущественно англоязычных.

FaceApp — поможет изменить внешность на видео

Ранее уникальная возможность по смене лица в приложениях была доступна лишь в киноиндустрии. И стоило это удовольствие не дёшево. Сегодня эта возможность стала более массовой благодаря таким приложениям, как FaceApp. Это программа для телефонов имеет множество возможностей и функций. Самой интересной из них стала функция «Старение», которая помоет менять лицо на фото и видео

Она захватила внимание всей русскоязычной публики. Фотографии со старыми кинозвёздами и просто популярными людьми в пожилом возрасте стали появляться повсеместно

Гарик Харламов в приложении FaceApp

В своих аккаунтах Инстаграм и других социальных сетей поделились фотографиями в старости Гарик Харламов, Ксения Собчак и Михаил Галустян.

Михаил Галустян в старости через FaceApp

Результат действительно очень впечатляет. Это реалистичные изображения, которые можно принять за действительность. В нём также доступны функции по смене пола и вставке лиц других людей в свой портрет или наоборот. А особый фильтр поможет подобрать для вашего лица лучший макияж, причёску и сделать его максимально привлекательным.

Что может приложение:

  • Есть возможность активировать специальный режим Holywood;
  • Смените на своём лице цвет волос, измените причёску и добавьте другие аксессуары; Смена причёски в приложении FaceApp
  • Подставьте улыбку или смените тип кожи на своём лице;
  • Наносите любой макияж и посмотрите, подходит ли он вам;
  • Подставьте усы или бороду и узнайте, как будет выглядеть ваше лицо; Подставьте усы или бороду в FaceApp
  • Огромное количество фильтров и необычных эффектов.

Скачать FaceApp для мобильных платформ можно по ссылкам: Andrdoid, IOS.

Чтобы получить ещё больше фильтров, функций, эффектов, необходимо приобрести платный аккаунт PRO.

Conditional GAN

В GAN генератор получает на вход случайный вектор, и возвращает сгенерированное изображение. Т.к. в DeepFake изображение должно обладать рядом заданных свойств(обычно — внешность от одного человека, поворот головы и эмоции от другого), рассмотрим Conditional GAN. Сравнение GAN и Conditional GAN архитектур представлено на рисунке ниже. Рисунок взят из этой статьи, там можно найти больше информации.

GAN vs Conditional GAN

В классическом GAN, генератор получает на вход случайный вектор и генерирует изображение. При этом изображение является случайным, т.е. неизвестно сгенерируется женщина или мужчина, будет смотреть прямо или направо, будет улыбаться или грустить. В Conditional Gan на вход генератору подается два вектора — случайный вектор Z и вектор атрибутов(на приведенной схеме обозначен label). Дискриминатор получает на вход изображение и соответствующий вектор атрибутов. В процессе обучения генератор учиться создавать не только реалистичные изображения, но и соответствующие вектору атрибутов. Результаты которые я получил с использованием Conditional GAN представлены на рисунке ниже.

Conditional GAN

Изображения сгруппированы по парам(слева — сгенерированные, справа — оригинал). В attributes vectors задаются поворот и наклон головы, эмоции и внешность человека. Xорошо видна способность GAN генерировать фотореалистичные изображения. Если сравнить сгенерированные картинки с рассмотренными ранее результатами автоэнкодеров, создается впечатление, что GAN выигрывает в одни ворота. Но не нужно забывать, что конечная цель — DeepFake, а это генерация не одной картинки, а видео. В следующей части я расскажу как перейти от генерации отдельных изображений к созданию видео. Последняя сборка DeepFake на основе GAN выглядит следующим образом: