Многие лица, созданные сетью GAN, имеют поразительное сходство с реальными людьми и могут разоблачить их личности.

Специалисты из Университета Кан-Нормандии во Франции поставили под сомнение популярную идею о том, что модели глубокого обучения никогда не раскрывают информацию о своих внутренних механизмах работы. На сайте This Person Does Not Exist пользователям демонстрируется человеческое лицо, сгенерированное искусственным интеллектом. Бесконечная последовательность созданных ИИ лиц создается генеративно-состязательной сетью (Generative adversarial network, GAN) на основе реальных данных.

Но такие сгенерированные лица, используемые в фильмах и рекламе с компьютерной графикой, могут быть не такими уникальными, как кажутся. По словам экспертов, многие лица, созданные GAN, имеют поразительное сходство с реальными людьми и могут разоблачить их личности.

Для раскрытия подобных данных эксперты провели так называемую membership-атаку. Например, модель ИИ может точно идентифицировать ранее невидимое изображение. Атакующая модель может научиться обнаруживать такие элементы в поведении первой модели и использовать их для прогнозирования того, находятся ли определенные данные, такие как фотографии, в обучающем наборе или нет.

Подобные атаки могут привести к серьезным утечкам данных. Например, для выяснения, использовались ли чьи-то медицинские данные для обучения модели ИИ, связанной с определенным заболеванием.

Затем команда экспертов вместо определения точных фотографий, используемых для обучения GAN, определила фотографии в обучающем наборе ИИ, которые изображали одного и того же человека. Для этого исследователи сначала сгенерировали лица с помощью GAN, а затем использовали отдельный ИИ для распознавания лиц, сравнивая идентичность сгенерированных лиц с идентичностью любого из лиц, замеченных в данных обучения. Во многих случаях команда находила несколько фотографий реальных людей в данных обучения, которые соответствовали поддельным лицам.

Другая команда ученых обнаружила способ воссоздать входное изображение из внутренних данных модели. Они протестировали эту технику на множестве распространенных моделей распознавания изображений и GAN. В одном из тестов они показали, что могут точно воссоздавать изображения из ImageNet — одного из самых известных наборов данных для распознавания изображений.

Источник: securitylab