Специалисты SlashNext обратили внимание, что киберпреступники все чаще используют генеративный ИИ в своих атаках. В частности, на хакерских форумах рекламируется инструмент WormGPT, который предлагается применять для организации фишинговых рассылок и компрометации деловой почты (Business Email Compromise, BEC).
«Этот инструмент представляет собой blackhat-альтернативу известным моделям GPT, разработанную специально для вредоносных действий, — пишут исследователи. —Киберпреступники могут использовать эту технологию для автоматизированного создания очень убедительных фейковых писем, персонализированных для получателя, что увеличивает шансы на успех атаки».
WormGPT основан на языковой модели GPTJ, созданной в 2021 году. Он может похвастаться рядом функций, включая неограниченную поддержку символов, сохранение истории чатов и возможность форматирования кода. Авторы называют его «злейшим врагом ChatGPT», который позволяет совершать «всевозможные незаконные действия».
Также создатели инструмента утверждают, что он обучен на разных наборах данных, с упором на данные, связанные с вредоносными программами. Однако конкретные наборы данных, использованные в процессе обучения, не раскрываются.
Получив доступ к WormGPT, эксперты провели собственные тесты. Так, в одном эксперименте они поручили WormGPT сгенерировать мошенническое письмо, которое должно вынудить ничего не подозревающего менеджера по работе с клиентами оплатить мошеннический счет.
В SlashNext говорят, что результаты оказались «тревожными»: WormGPT создал письмо, которое получилось не только убедительным, но и весьма хитрым, что «демонстрирует потенциал для использования в изощренных фишинговых и BEC-атаках».
«Генеративный ИИ может создавать электронные письма с безупречной грамматикой, повышая их [внешнюю] легитимность и снижая вероятность того, что они будут помечены как подозрительные, — пишут специалисты. — Использование генеративного ИИ значительно упрощает выполнение сложных BEC-атак. Даже злоумышленники с ограниченными навыками могут использовать эту технологию, что делает ее доступным инструментом для очень широкого круга киберпреступников».
Также исследователи отмечают тенденцию, о которой еще в начале года предупреждали их коллеги из компании Check Point: на хакерских форумах по-прежнему активно обсуждаются «джейлбрейки» для ИИ типа ChatGPT.
Обычно такие «джейлбрейки» представляют собой тщательно продуманные запросы, составленные особым образом. Они предназначены для манипулирования ИИ чат-ботами, с целью генерации ответов, которые могут содержать конфиденциальную информацию, нежелательный контент и даже вредоносный код.
Источник: xakep
