Совместное исследование, проведённое экспертами AppSec Solutions и АРПП «Отечественный софт», показало: скорость внедрения ИИ в российской разработке ПО втрое опережает скорость выстраивания его защиты.
Из всех опрошенных компаний, которые интегрируют нейросети в рабочие процессы, только 23% подкрепляет это базовыми системами контроля безопасности. 69% участников атак не зафиксировало, однако, и специфические риски не оценивало. Также выяснилось, что сотрудники организаций часто применяют ИИ в «теневом» формате, то есть без консолидированного контроля работодателя, а это, как известно, чревато утечкой чувствительной информации.
«Исходя из результатов исследования, без ИИ бизнеса, во всяком случае, связанного с разработкой, уже не существует. ИИ глубоко проник во многие процессы, разработчики используют модели для написания ПО, с его помощью оптимизируют бизнес-процессы, предоставляя доступ к корпоративным данным. Официально с подтверждёнными атаками столкнулось 4% опрошенных, Но это иллюзия контроля. Более 90% вообще не проводило оценку угроз и не может оценить потенциал ИИ-атак. Рынок не заблуждается — он осознанно принимает непокрытый риск, потому что не располагает ни экспертизой, ни процессами, чтобы этот риск измерить и более того, управлять им осознанно», — считает Юрий Сергеев, гендиректор AppSec Solutions.
Согласно исследованию, 72% респондентов уже впустило во внутренний контур ИИ-агентов, делегировало им часть «человеческих» полномочий. В таком случае — помимо утечек (в том числе через RAG-системы) — компаниям стоит опасаться промпт-инъекций, обхода встроенных ограничений нейросетей, атак на цепочку поставок ML и так далее.
Также стало известно, что в основном участники опроса предпочитают большие языковые модели (81%). На втором месте по популярности — локальные языковые модели (61%), а за ними идут RAG или генерация с дополненной выборкой (57%) и ML-модели (44%).
«Ключевые атаки на ИИ не оставляют следов в привычной телеметрии. Они не выглядят как эксплойт: это валидный запрос с валидным ответом. Без специализированной оценки угроз и без фильтрации на шлюзе безопасности ИИ организация физически не способна отличить нормальную работу модели от успешной атаки. Отчёт «инцидентов не было» в этих условиях не является измерением. По сути компании нуждаются в шлюзе безопасности, который способен распознать и отклонить потенциально опасный запрос, а также единой платформе управления ИИ-рисками, ведь, судя по результатам исследования, сотрудники уже отправляют данные во внешние сервисы во всех организациях выборки. Если запретить это невозможно, остаётся контролировать канал», — подчеркнул Юрий Шабалин, директор по безопасности ИИ AppSec Solutions.
В первую очередь угрозам, как уверяют аналитики, подвержены ИТ-фирмы среднего калибра — со штатом 100–500 человек (в которых решения зачастую принимаются в «ручном» режиме).
«По данным исследования, 82% организаций, назвавших нехватку экспертизы главным барьером, не имеет программы обучения безопасности ИИ. Дефицит знаний порождает фобии и непонимание рисков. Экспертные рабочие группы при Минцифры, Правительстве и отраслевом консорциуме систематизируют угрозы и позволяют определить, для каких задач риск применения ИИ высокий, а для каких минимальный. Это позволяет безопасно внедрять ИИ даже при нехватке внутренней экспертизы», — добавил ко всему Антон Башарин, старший управляющий директор Swordfish Security.