В пленарном заседании «Основы устойчивости цифровой инфраструктуры России: данные, технологии, люди» форума «Кибертех», организованного Минцифры в преддверии запуска Национального проекта «Экономика данных», приняли участие представители Минцифры, Управления президента РФ по развитию информационно-коммуникационных технологий и инфраструктуры связи, Федерального собрания, регуляторы, представители бизнеса и экспертного сообщества.
Человеческий фактор — ключевая причина инцидентов
Активное участие в пленарном заседании принял Игорь Качалин, генеральным директор АНО «НТЦ ЦК». Эксперты обсудили проблемы и перспективы развития отечественной информационной безопасности, технологий искусственного интеллекта и вопросы криптографии, конкурентоспособность отечественных продуктов и подходов к ИБ, экспортный потенциал российского кибербеза.
Татьяна Матвеева, начальник Управления Президента РФ по развитию информационно-коммуникационных технологий и инфраструктуры связи, отметила, что все усилия организаций, работающих в области кибербезопасности, направлены на защиту граждан и компаний от различного деструктивного воздействия, включающего хакерские атаки и утечки персональных данных. И если в области предотвращения кибератак ИБ-компании справляются неплохо, то в области предотвращения утечек есть над чем работать, подчеркнула чиновник.
Защита персональных данных — другая актуальная проблема. С учетом активного развития технологий ИИ и обработки больших данных, сведения, которые граждане оставляют о себе в соцсетях, наряду с утечками, представляют угрозу. Они позволяют проводить узкое профилирование и целевые атаки.
Максут Шадаев (Минцифры) согласился с мнением коллеги. По его словам, изучение крупнейших инцидентов показывает, что в большинстве случаев их причиной стал человеческий фактор, в 30% — «обыкновенное разгильдяйство».
Продолжая тему утечек ПДн, сенатор Артем Шейкин рассказал о работе над законопроектами и законодательными инициативами в области защиты персональных данных граждан. Эти меры направлены на предотвращение сбора ненужных данных и защиту граждан в случае утечек.
Обращаясь к проблемам регуляторики, Виталий Лютиков (ФСТЭК России) отметил, что в 2025 г. будет по-прежнему актуальна тема межсетевых экранов уровня сети, получат развитие технологии автоматизации. Не останутся в стороне технологии ИИ и машинного обучения, которые разработчики уже внедряют в свои решения. Однако каким образом проверять эти средства и используемые ими датасеты на специфические угрозы регулятору по-прежнему непонятно.
Петр Белов (НКЦКИ) кратко рассказал об этапах развития Государственной системы обнаружения, предупреждения и ликвидации последствий компьютерных атак на критическую информационную инфраструктуру России (ГосСОПКА), которая отмечает 10 лет своего существования, ее текущем состоянии и перспективах развития. Он также напомнил, что Минцифры и АНО «НТЦ ЦК» работают над отечественной системой «Мультисканер», создаются инструменты противостояния DDoS-атакам. Все мероприятия направлены на борьбу с компьютерными атаками.
Тему продолжил генеральный директор АНО «НТЦ ЦК» Игорь Качалин, который рассказал о перспективах развития российской криптографии. Наиболее ожидаемые технологии в мире — ИИ и гомоморфное шифрование, подчеркнул спикер. На фоне цифровизации криптография приобретает большое значение, поскольку позволяет создать и развивать надежные алгоритмы шифрования, устойчивые к кибератакам. АНО «НТЦ ЦК» вносит важный вклад в развитие технологий защиты данных и нового национального проекта, активно работает в Техническом комитете по криптографии (ТК-26), который создает отечественные стандарты и протоколы с использованием надежных криптографических алгоритмов.
«Человеческий фактор — ключевая проблема инцидентов», — заявил Юрий Максимов (АО «Сайберус» и Positive Technologies). Он подчеркнул, что Россия имеет все шансы, на фоне нехватки кадрового потенциала и активного развития технологий ИИ, построить свою архитектуру и кибербезопасность, которую не смогут взломать хакеры.
Завершая тему ИИ и новых технологий, участники сессии отметили необходимость создания механизмов описания угроз и метрик измерения искусственного интеллекта. На этом фоне важна дальнейшая работа Консорциума для исследований безопасности технологий искусственного интеллекта и присоединение к нему новых участников. Объединение усилий отрасли позволит создать критерии и стандарты для технологий ИИ в ближайшие 1-2 года, считают эксперты отрасли.
Доверие — это очень сложный вопрос
Обсуждение темы информационной безопасности в искусственном интеллекте была продолжена на дебатах, которые провел Игорь Качалин. Он отметил, что ИИ — тема для многих новая, но она нашла отражение в нацпроекте «Экономика данных».
О перспективах развития ИИ и информационной безопасности рассказал Владимир Бенгин (ГК «Солар»). Он заметил, что у участников рынка существует разное представление о самой сути ИИ. Эксперт в этой области будет принижать возможности уже существующего ИИ. Руководитель компании, наоборот, будет рассказывать, что технология будет внедрена во все проекты.
Важно определить, что такое искусственный интеллект и как сегодня к нему относиться, считает спикер. Он призывал принимать ИИ как новый язык программирования, который несёт как новые риски, так и колоссальные возможности. И сегодня важно говорить о доверии к технологии. «Доверие — это очень сложный вопрос. Даже если мы сами создавали все эти технологии сами, были бы родоначальниками текущих процессов по ИИ, у нас всё равно не было бы доверия — требуется много лет исследований, чтобы до конца понять, при каких нарушениях входных параметров на выходе мы получим что-то другое. С доверием нам ещё очень долго работать», — полагает представитель ГК «Солар». В этой системе важно понять роль государства и частных компаний и место ИБ в искусственном интеллекте.
Этим вопросам уделено большое внимание в нацпроекте «Экономика данных». Решение поставленных задач невозможно без участия профессионального сообщества, национальных и отраслевых центров, коммерческих компаний, а государству в лице Минцифры отводится координирующая и регуляторная роль, которая позволит найти баланс между необходимостью использовать новые технологии и уровнями доверия и безопасности применяемых алгоритмов, подходов и методов работы.
Еще один важный аспект, на который обратил внимание Бенгин, — более 90% всех инцидентов связаны с ИИ и машинным обучением. Модели работают на больших данных, эти массивы данные очень близки к внешней среде, к Интернету, поэтому перед отраслью стоит задача использования стандартных методов и подходов к защите от утечек данных.
Артем Сычев (АО «РТ-Информационная безопасность») продолжил тему больших данных и отметил, что госкомпании активно внедряют технологии ИИ и понимают необходимость защиты больших языковых моделей (LLM) от инъекций и иных вмешательств. Спикер подчеркнул, что противник с нарастающей частотой использует массивы данных из многочисленных утечек для таргетированных атак с применением социнженерии, эксплуатирует ПО с открытым кодом и автоматизированные инструменты для пентестов, в т.ч. на базе ИИ. Этого инструментария достаточно для проникновения и захвата ИТ-инфраструктуры.
«Ростех» внедряет технологии ИИ и исследует инциденты, произошедшие за последние 3-4 года. Это также огромный пласт больших данных, который можно использовать для построения средств защиты на базе ИИ. На основе безопасных данных, полученных от доверенных компаний, можно обучать модели ИИ и передавать их организациям, у которых средств и возможностей содержать собственные SOC или привлекать MSSP-провайдеров, полагает спикер.
Вторая проблема, на которую обратил внимание Сычев, — программный код, написанный с использованием ИИ. По прогнозам, в 2025-2026 гг. 80% кода будет создаваться с помощью генеративного ИИ. Как проверить, написан код искусственным интеллектом или человеком? Возникает и вопрос о доверии к модели ИИ, которая написала программный код, и использованных при ее обучении датасетов.
Международный опыт и отечественная практика регуляторики
Об опыте использования технологий ИИ другими странами рассказал Петр Ганелин, советник по стратегии АНО «НТЦ ЦК». Он подчеркнул, что волна популярности темы ИИ во многом зависит от частных предпринимателей и бизнеса, которые развивают технологии и оборудование, инвестируют в них, а также от роли государства, часто выступающего регулятором. Обращаясь к отечественному опыту, спикер отметил, что в России с участием регуляторов ведется работа по синхронизации законодательства и бурного технологического роста. Действует и государственная программа финансирования и поддержки отраслевых центров ИИ. По мнению Ганелина, в условиях ограниченных ресурсов дальнейшее развитие доверенного ИИ, его безопасности и надёжности по пути децентрализации вызывает вопросы.
Александр Шойтов (Минцифры) напомнил собравшимся, что в этом году обновлена Стратегия искусственного интеллекта и выделены вопросы, связанные с доверием, ведь речь идет уже о внедрении технологий. Доверие — комплексная история, ей будут заниматься частные и государственные компании, они должны обозначить значимые базовые решения, которые необходимо создать. Работы будут вестись в рамках Консорциума для исследований безопасности технологий искусственного интеллекта. В его задачи войдут теоретические исследования в области информационной безопасности ИИ, вопросы, связанные с защитой данных, обезличивание и синтетические данные, доверенные фреймворки разработки и полигон тестирования ИИ. Отдельный блок вопросов о дипфейках будет рассмотрен отдельно.
Свободно распространяемое программное обеспечение ИИ и его безопасность — проблема, на которую обратила внимание Лидия Виткова (Газинформсервис). Сегодня российские разработчики не могут уйти от использования открытых решений — большого класса технологии LLM и библиотек. Опыт Китая показывает, что на переписку алгоритмов нужно время. И поэтому при подготовке отечественных специалистов Data Science компании используют уже готовые библиотеки. Возможно, в ряде областей стоит идти по пути Китая, параллельно проводя другие исследования.
Примеры прямого использования Copilot Open AI в ключевых банковских сервисах привел Владимир Бенгин. Он подчеркнул, что на фоне скорости написания кода ИИ и использования инструментов copilot во всех подразделениях компаний остро стоят проблемы DecSecOps. При этом вопросы безопасности, в т.ч. экономической, уходят на второй план, отметили участники дебатов. Ограничить применяемые технологии ИИ не получится, однако реально принять компенсирующие меры и обуздать ИИ, считает Артем Сычев.
Технология или хайп?
Денис Гамаюнов (МГУ им. М. В. Ломоносова) предложил взглянуть на ИИ как на новую технологию компаний. Маркетологи активно продвигают достаточно сырой продукт и хотят на нем заработать. Производители манипулируют общественным мнением и попытаются внедрять несовершенную технологию на волне хайпа, считает спикер. Но ИИ — это продукт, созданный человеком и имеющий базовые уязвимости, ставит под угрозу жизни обычных людей.
Для ликвидации уязвимостей производители должны приложить немалые организационные усилия, например, внедрить цикл безопасной разработки специально для новых технологий, найти разработчиков, знающих математический аппарат и понимающих все аспекты работы с технологиями ИИ. О несовершенстве технологии говорит и потребность в центрах обработки данных, и большие затраты электроэнергии — без этого она не работает. Еще один аспект — социальный, когда производители хотят получить большие данные пользователей. Помимо поднятых ранее вопросов LLM и copilot, докладчик обратил внимание на проблемы галлюцинации моделей ИИ. Эти ошибки необходимо исправить до того, как они породят следующие поколения галлюцинирующих моделей, которые будут использоваться в других областях и создадут мимикрирующую под настоящую информацию. Это технологическая история, от которой разработчики должны работать уже сейчас, считает Денис Гамаюнов.
Андрей Коваленко (Академия криптографии РФ) напомнил участникам дискуссии тезисы, которые прозвучали на конференции «Технологии доверенного искусственного интеллекта». В основе моделей ИИ должны лежать глубокие научные исследования, статистические модели, доказать правильность и доверенность которых без теоретического обоснования невозможно.
По мнению ученого, искусственный интеллект — это математическая задача, в которой заданы методы аппроксимации табличнозаданных функций, даны таблицы и указано, какого вида функции используются. И тогда возникают две проблемы аппроксимации функций — интерполяция и экстраполяция. В первом случае результат попадает в выборку между двух заданных значений функции и ему можно доверять. В противном случае, когда речь идет об экстраполяции, результат выпадает из области значений функции. На практике модель ИИ должна отвечать «не знаю», а если LLM придумывают ответ, значит, проблему экстраполяции их создатели не решили, считает спикер. Также не будет получена доверенная модель при сколь угодно мощных вычислителях, больших данных, доверенных и надежных продуктах, решающих задачи, поскольку в основе всех дальнейших преобразований лежит решение системы линейных уровней, которой не занимаются создатели кода.
Задачи, стоящие перед отраслью
В ходе дальнейших дебатов участники сессии сошлись во мнении, что
— при обсуждении собственных разработок ИИ необходимо иметь представления об их стоимости, рисках и потребностях в финансировании;
— нужны специалисты по ИБ, которые знают математику. И хотя таких людей готовят отечественные вузы, на практике потребность в них у компаний минимальна;
— большинство специалистов, которые занимаются искусственным интеллектом, по сути, — эксплуатанты, и лишь единицы исследователей идут в глубину. Отсюда разная проблематика и подходы к безопасности;
— необходимо учитывать лучшие мировые практики безопасной разработки и продвигать зрелые подходы как к безопасной разработке кода, так и к разработке систем искусственного интеллекта, встраивать их в бизнес-приложения компаний;
— необходимо сохранять экспертизу разнообразных ресурсов, не забывая про детали, которые видны при глубокой экспертизе чужих решений, параллельно создавая свои решения;
— надо использовать возможности LLM для быстрой подготовки специалистов-практиков и аналитиков SOC;
— нужна единая организационная площадка, где компании — технологические партнеры — смогут вырабатывать лучшие практики. Такой площадкой должен стать Консорциум для исследований безопасности технологий искусственного интеллекта;
— необходимо создавать собственные типовые доверенные протоколы и подходы, алгоритмы и модели ИИ на базе, наборы доверенных и обезличенных типовых данных, наращивать собственную экспертизу, принимать риски и масштабировать полученные решения в будущем. На основе этих решений выстраивать стратегию дальнейшей работы, создавать параллельную ветку доверенных ИИ-технологий;
— использовать опыт закрытых военных разработок искусственного интеллекта, где, по уверениям участников сессии, строго регламентирован порядок разработки и аттестации систем ИИ;
— необходимо разрабатывать собственную регуляторную базу по информационной безопасности ИИ, разрабатывать стандарты по искусственному интеллекту, а не копировать их с иностранных стандартов. К работе в этом направлении стоит активнее привлекать Минцифры, ФСБ России и ФСТЭК России и возложить ответственность за направление на одного из регуляторов.
* * *
В рамках форума «Кибертех» состоялась торжественная церемония подписания соглашений о вхождении в Консорциум для исследований безопасности технологий искусственного интеллекта новых участников. Подписи под договорами о присоединении к Консорциуму поставили Артём Зубков, директор Фонда содействия развитию безопасных информационных технологий, и Лидия Виткова, представитель компании «Газинформсервис». От имени учредителей Консорциума документы подписал Игорь Качалин, руководитель АНО «Национальный технологический центр цифровой криптографии» (НТЦ ЦК).