В Palo Alto Networks обнаружили, что большие языковые модели могут быть использованы для создания новых вариаций вредоносного JavaScript-кода, способного обходить средства обнаружения.
Исследователи отмечают: нейросети хоть и не способны разрабатывать вредоносы с нуля, их можно применять для переписывания и маскировки уже существующего кода, что значительно усложняет его выявление. Хакеры прибегают к использованию LLM для выполнения трансформаций, делающих код более естественным на вид, что затрудняет его классификацию как опасного (изменения могут ухудшать работу систем анализа, заставляя их считать вредоносный код безвредным).
Несмотря на внедрение ИИ-разработчиками мер безопасности, киберпреступники продолжают применять альтернативные инструменты для создания фишинговых писем и нового вредоносного софта (такие как WormGPT). Эксперты Unit 42 продемонстрировали, как нейросети могут поэтапно переписывать образцы целевого кода, обходя машинные модели обнаружения, такие как Innocent Until Proven Guilty (IUPG) и PhishingJS. В результате было создано около 10 тыс. вариантов JavaScript, сохраняющих функциональность, но не распознаваемых как вредоносные.
Для модификации кода хакеры прибегали к переименованию переменных, разбивке строк, добавлению лишних кусков кода, удалению пробелов и полной реимплементации. Алгоритм с жадной стратегией изменил класс собственного кода модели с «вредоносного» на «безопасный» в 88% случаев.
Такие скрипты успешно обходили и анализаторы вредоносного ПО на платформе VirusTotal, что подтверждает их высокую степень маскировки. Примечательно также то, что изменения, произведённые с помощью LLM, выглядят более естественно по сравнению с обфускацией через библиотеки, которые оставляют легко распознаваемые следы (такие как obfuscator.io).
И хотя OpenAI осенью заблокировала около двадцати операций, использующих её платформу для разведки, исследования уязвимостей и других противоправных целей, у злоумышленников всё ещё остаются способы использовать языковые модели во вред.