Deepfakes: синтез лиц с помощью GAN и автоэнкодеров | GPTMain News

В последнее время фейковые новости стали серьезной угрозой для человеческого общества. Ложная информация может быстро распространяться через социальные сети и влиять на принятие решений. Более того, даже современным технологиям искусственного интеллекта сложно распознавать поддельные данные. Одна из самых последних разработок в области манипулирования данными хорошо известна как «Дипфейк», который относится к обмен лицами на изображениях или видео. До сих пор методы дипфейков в основном применялись путем обмена лицами знаменитостей в забавных видео или заставляли политиков произносить веселые глупые речи. Тем не менее, многие отрасли могут извлечь выгоду из приложений дипфейка, таких как киноиндустрия, используя расширенное редактирование видео.

Как работают DeepFake?

Давайте подробнее рассмотрим, как работают Deepfakes. Дипфейки обычно основаны на генеративно-состязательных сетях (GAN), где две конкурирующие нейронные сети обучаются совместно. GAN добились значительных успехов во многих задачах компьютерного зрения. Они были представлены в 2014 году, и современные архитектуры способны создание реалистичных изображений, которые даже человек не может распознать, настоящие они или нет. Ниже вы можете увидеть несколько изображений успешной модели GAN под названием StyleGAN.

стиль-ган-результаты генерации изображений

Эти люди ненастоящие — их создал генератор StyleGAN, который позволяет управлять разными аспектами изображения.

Что такое дипфейки?

На основе Вики, Дипфейки синтетические средыв котором человек на существующем изображении или видео заменяется чужим подобием. Акт внедрения поддельного человека в изображение не нов. Тем не менее, последние методы Deepfakes обычно используют последние достижения мощных моделей GAN, направленные на манипулирование лицом.

В целом манипуляции с лицом обычно проводятся с помощью дипфейков и могут быть разделены на следующие категории:

Синтез лица
Обмен лицами
Черты лица и выражение

Синтез лица

В этой категории цель состоит в том, чтобы создать несуществующие реалистичные лица с помощью GAN. Самый популярный подход — StyleGAN. Вкратце, новая архитектура генератора учится разделять высокоуровневые атрибуты (например, поза и личность при обучении на человеческих лицах) без контроля и стохастических вариаций в сгенерированных изображениях (например, веснушки, волосы), а также обеспечивает интуитивно понятный, зависящий от масштаба контроль синтеза. Генератор StyleGAN показан на рисунке 2.

Входные данные отображаются через несколько полносвязных слоев в промежуточное представление. ж который затем подается на каждый сверточный слой через адаптивную нормализацию экземпляра (AdaIN), где каждая карта объектов нормализуется отдельно. Гауссовский шум добавляется после каждой свертки. Преимущество добавления шума непосредственно в карты объектов каждого слоя заключается в том, что глобальные аспекты, такие как идентичность и поза, не затрагиваются.

Архитектура генератора StyleGAN позволяет управлять синтезом изображения через специфичные для масштаба модификации стилей. Сеть отображения и аффинные преобразования — это способ получения образцов для каждого стиля из изученного распределения, а сеть синтеза — это способ создания изображения на основе набора стилей. Эффекты каждого стиля локализованы в сети, то есть можно ожидать, что изменение определенного подмножества стилей повлияет только на определенные аспекты изображения. Причина такой локализации основана на операции AdaIN, которая сначала нормализует каждый канал к нулевому среднему и единичной дисперсии, и только затем применяет масштабы и смещения на основе стиля. Новая статистика по каналам, как это продиктовано стилем, изменяет относительную важность признаков для последующей операции свертки, но они не зависят от исходной статистики из-за нормализации. Таким образом, каждый стиль контролирует только одинсвертки перед переопределением следующей операцией AdaIN.

стиль-ган-генератор-архитектура

Архитектура генератора StyleGAN

Для обнаружения поддельных синтетических изображений были разработаны различные подходы. Например, в работе «Об обнаружении цифровых манипуляций с лицом» авторы использовали слои внимания поверх карт признаков, чтобы выделить обработанные области лица. Их сеть выводит бинарное решение о том, является ли изображение реальным или поддельным.

метод обнаружения манипулирования лицом на основе внимания

Метод обнаружения манипулирования лицом на основе внимания.

Архитектура обнаружения манипулирования лицом может использовать любую магистральную сеть, и уровень внимания может быть вставлен в сеть. Он принимает на вход многомерный признак F, оценивает карту внимания M_att, используя либо методы, основанные на модели внешнего вида манипуляции (MAM), либо методы, основанные на регрессии, и по каналам умножает его на многомерные признаки, которые возвращаются обратно в позвоночник. Метод MAM предполагает, что любая обработанная карта может быть представлена как линейная комбинация набора прототипов карт, в то время как метод регрессии оценивает карту внимания с помощью сверточной операции. В дополнение к потере бинарной классификации, контролируемой или слабо контролируемой потере, L_map может применяться для оценки карты внимания, в зависимости от того, доступна ли карта манипулирования наземной истиной M_gt.

Обмен лицами

Замена лица — самая популярная категория манипуляций с лицом в настоящее время. Цель здесь состоит в том, чтобы определить, является ли изображение или видео человека поддельным после замены его лица. Самая популярная база данных с поддельными и реальными видео — FaceForensics++. Поддельные видео в этом наборе данных были созданы с использованием компьютерной графики (FaceSwap) и методов глубокого обучения (DeepFake FaceSwap). Приложение FaceSwap написано на Python и использует выравнивание лица, оптимизацию Гаусса-Ньютона и смешивание изображений, чтобы заменить лицо человека, видимого камерой, лицом человека на предоставленном изображении. (для получения дополнительной информации проверьте официальное репо)

Подход DeepFake FaceSwap основан на двух автокодировщиках с общим кодировщиком, которые обучены восстанавливать тренировочные изображения исходного и целевого лица соответственно.

Лицо в целевой последовательности заменяется лицом, которое наблюдалось в исходном видео или коллекции изображений. Детектор лиц используется для обрезки и выравнивания изображений. Для создания поддельного изображения к целевому лицу применяются обученные кодировщик и декодер исходного лица. Затем выходные данные автоэнкодера смешиваются с остальной частью изображения с помощью редактирования изображения методом Пуассона.

пример-обмен лицом

Пример смены лица, взят отсюда

Обнаружение перепутанных лиц в настоящее время постоянно развивается, поскольку это очень важно для защиты прав человека. AWS, Facebook, Microsoft, Руководящий комитет по обеспечению целостности СМИ Партнерства в области искусственного интеллекта и ученые объединились для создания конкурса Deepfake Detection Challenge (DFDC) в Kaggle с участием 1 000 000 человек. $ всего призы. Цель конкурса — побудить исследователей по всему миру создавать инновационные новые технологии, которые могут помочь обнаруживать дипфейки и манипуляции с медиа. Большинство систем обнаружения подмены лиц используют сверточные нейронные сети (CNN), пытаясь изучить отличительные признаки или распознать «отпечатки пальцев», оставшиеся от изображений, синтезированных с помощью GAN. Обширные эксперименты были проведены Rössler et. al с пятью сетевыми архитектурами.

система на основе CNN, обученная с помощью созданных вручную функций
система на основе CNN со слоями свертки, которые пытаются подавить высокоуровневое содержимое изображения.
система на основе CNN с глобальным уровнем объединения, который вычисляет четыре статистических показателя (среднее значение, дисперсия, максимум и минимум)
система обнаружения CNN MesoInception-4
система XceptionNet на основе CNN предварительно обучена с использованием набора данных ImageNet и снова обучена задаче смены лица. XceptionNet — это архитектура CNN, вдохновленная Inception и использующая разделяемые свертки по глубине.

XceptionNet добился наилучших результатов в обнаружении подмены лиц среди этих пяти архитектур при обнаружении поддельных изображений. Его превосходство в производительности в значительной степени основано на глубоких извилинах.

XceptionNet-архитектура

Архитектура XceptionNet взята из оригинальной работы

Черты лица и выражение

Атрибуты лица и манипулирование выражением лица заключаются в изменении атрибутов лица, таких как цвет волос или кожи, возраст, пол и выражение лица, делая его счастливым, грустным или злым. Самый популярный пример — недавно запущенное мобильное приложение FaceApp. Большинство этих подходов используют GAN (что еще?) для преобразования изображения в изображение. Одним из наиболее эффективных методов является StarGAN, в котором используется одна модель, обученная для нескольких доменов атрибутов, вместо обучения нескольких генераторов для каждого домена. Подробный анализ представлен здесь.

Пример манипулирования чертами лица, заимствован отсюда

Общая архитектура StarGAN, взятая из оригинальной работы

StarGAN состоит из дискриминатора Д и генератор г. Дискриминатор пытается предсказать, является ли входное изображение поддельным или реальным, и классифицирует реальное изображение по соответствующему домену. Генератор принимает в качестве входных данных как изображение, так и метку целевого домена и генерирует поддельное изображение. Метка целевого домена пространственно реплицируется и объединяется с входным изображением. Затем генератор пытается восстановить исходное изображение из поддельного изображения с использованием исходной метки домена. Наконец, генератор G пытается сгенерировать изображения, неотличимые от реальных изображений и классифицируемые дискриминатором как целевой домен.

Наконец, вы можете посмотреть это видео, чтобы максимально понять:

Заключение

В этой статье, мотивированной недавними разработками в области методов генерации и обнаружения дипфейков, мы обсудили основные репрезентативные подходы к манипулированию лицом. Для получения дополнительной информации о наборах данных Deepfakes, а также о методах генерации и обнаружения вы можете проверить мой репозиторий github. Мы попытались собрать список ресурсов, посвященных дипфейкам.

Deepfakes: синтез лиц с помощью GAN и автоэнкодеров | GPTMain News

Как работают DeepFake?