Новое исследование ученых демонстрирует уязвимость нынешней архитектуры разработки ИИ для распознавания изображений.

Атаки на системы распознавания образов с помощью тщательно созданных состязательных изображений в последние пять лет считалась забавной, но тривиальной проверкой правильности концепции. Однако группа ученых из Университета Аделаиды в Австралии предполагает , что случайное использование очень популярных наборов данных изображений для коммерческих проектов ИИ может создать новую угрозу кибербезопасности.

В ходе одного из экспериментов система распознавания лиц, которая четко знает, как распознать бывшего президента США Барака Обаму, была введена в заблуждение. Система была уверена на 80% в том, что анонимный мужчина, держащий обработанное напечатанное состязательное изображение цветка, также является Бараком Обамой. Системе даже не важно, что «фальшивое лицо» находится на груди модели, а не на его плечах.

Проведенное исследование ученых демонстрирует недочет всей нынешней архитектуры разработки ИИ для распознавания изображений. Данная уязвимость может подвергнуть многие будущие системы распознавания изображений легким манипуляциям со стороны злоумышленников и отбросить любые последующие защитные меры. Потенциал новых атак с использованием состязательных изображений будет неисчерпаем, потому что фундаментальная архитектура системы не предполагала последующих проблем.

Состязательные изображения создаются при наличии доступа к наборам данных изображений, которые обучили компьютерные модели. Атакующему не нужен привилегированный доступ к обучающим данным (или архитектурам моделей), поскольку наиболее популярные наборы данных широко доступны на постоянно обновляемой торрент-сцене.

По словам ученых, способность вводить в заблуждение подобные системы с помощью созданных изображений цветов очень легко переносится на многие архитектуры.

«Атаки Universal NaTuralistic adversarial paTches [TnTs] эффективны против множества современных классификаторов, начиная от широко используемой глубокой нейронной сети WideResNet50 в задаче крупномасштабного визуального распознавания набора данных ImageNet до моделей лиц сверточной нейронной сети VGG в задаче распознавания лиц набора данных PubFig как в целенаправленных, так и в нецеленаправленных атаках», — отметили ученые.

Злоумышленники могут использовать неприметные, естественно выглядящие исправления объектов, чтобы ввести в заблуждение системы нейронных сетей, не вмешиваясь в модель и не рискуя быть обнаруженными.

Атаки на состязательные изображения становятся возможными не только благодаря практике машинного обучения с использованием открытым исходным кодом, но и благодаря корпоративной культуре разработки ИИ. В рамках последней принято повторное использование хорошо зарекомендовавших себя наборов данных компьютерного зрения. Данный подход связан с тем, что наборы данных доказали свою эффективность, реализовать их намного дешевле, чем «начинать с нуля», и они поддерживаются и обновляются передовыми организациями в академических и промышленных кругах с большим финансированием.

Базы данных ImageNet и PubFig — проекты по созданию и сопровождению массивной базы данных аннотированных изображений, предназначенные для отработки и тестирования методов распознавания образов и машинного зрения.

Источник: securitylab