В Москве прошел II Форум «Технологии доверенного искусственного интеллекта», объединивший представителей профильных государственных ведомств, исследователей в области технологий ИИ, криптографии и информационной безопасности, а также специалистов технологических компаний, реализующих проекты в области искусственного интеллекта.
Открылся Форум ключевой дискуссией «Доверенный искусственный интеллект». В ее работе приняли участие представители государственных ведомств, регуляторов и исследовательских центров. Модератор дискуссии Игорь Качалин (АНО «НТЦ ЦК») отметил основные тенденции развития ИИ и задачи, стоящие перед разработчиками.
Национальная стратегия развития ИИ на период до 2030 года была разработана в 2019 г., за это время в мире произошли геополитические подвижки, изменились и подходы в сфере ИИ, подчеркнул спикер. В начале 2024 г. президент РФ подписал указ, обновляющий данную стратегию. В документе указывается, что изменение экономической и политической ситуации привели к появлению новых вызовов для страны.
«Среди отмеченных вызовов особое место занимает нехватка вычислительных мощностей, недостаточное развитие отечественных решений в области ИИ, дефицит высококвалифицированных специалистов и инновационных разработок в области ИИ, низкий уровень внедрения технологий ИИ, необходимость обеспечения зашиты персональных данных при создании и обучении моделей ИИ», — констатировал И. Качалин.
Стратегия развития направления
Тему продолжил Александр Шойтов (Минцифры РФ). «Искусственный интеллект — одна из самых перспективных технологий современности, — отметил замминистра. — По различным оценкам, ИИ в сравнении с другими технологиями считается лидером в плане перспектив развития. И весь мир движется в этом направлении».
А. Шойтов рассказал о трех мировых подходах к регулированию ИИ: европейском, американском и китайском. В России приняты Кодекс этики ИИ и Национальная стратегия его развития, планируется комплекс мероприятий по данному направлению в рамках нацпроекта «Экономика данных» и национальных целей развития. По словам спикера, во всех разрабатываемых документах указывается, что ИИ должен быть не только эффективным, но и безопасным, доверенным.
В общем законодательстве России ИИ пока нет, но ИИ реализуется в экспериментально-правовом режиме города Москвы, заметил замглавы Минцифры.
А. Шойтов остановился на понятии «доверия», которое сегодня носит верхнеуровневый характер в ИИ и подразумевает требования разработчиков, потребителей и регуляторов. Также общие вопросы «доверия» прописаны в документах ФСТЭК России. «Сегодня активно обсуждается понятие «доверия» в КИИ в свете технологической независимости. Так уже появляются понятия надежность, функциональная корректность, технологическая независимость, информационная безопасность и устойчивость. Они до конца не увязаны», — рассказал замминистра. Он привел пример определения «доверия» в NIST США, которое включает комплексный подход к проблеме. «Под доверием у них понимается все, крайне широкая формулировка», — отметил А. Шойтов.
«Если говорить о разработчиках ИИ, то у меня такое впечатление, что сейчас доверие — это когда я сам всё сделал. Например, я взял Open Sourse и сам его обучил на этих моделях, на этих данных. То есть я сам себе доверяю. Наверное, такой уровень зрелости с точки зрения доверия будет разный на разных объектах», — считает замглавы Минцифры.
Он отметил риски атак на ИИ и рассказал об организациях, с которыми Минцифры активно работает по вопросам доверенного ИИ. Академия криптографии выпускает теоретические исследования в области ИБ, доверия и обезличивания. Институт системного программирования РАН занимается доверенным ПО, доверенным ядром и создает модели ИИ с элементами доверия.
«21 мая был создан Консорциум исследований в области доверенного защищённого ИИ. За неделю до нас аналогичный консорциум создали в США. Это только созданные структуры. Реализация результатов исследований, внедрения должны проводиться уже, видимо, по отраслевому признаку. Здесь мы не говорим, что берём на себя ответственность в реализации. Консорциум создан для того, чтобы предлагать защищённые решения. Он создан на базе трёх организаций. Но в ближайшее время планируем привлечь компании по ИБ, чтобы заключить соответствующие соглашения, и привлечь разработчиков ИИ», — отметил А. Шойтов. В краткосрочной перспективе тестирования с применение атак к системам, которые уже есть.
Замминистра напомнил, что в России принят риск-ориентированный подход развития и регулирования ИИ и данных, который предполагает определение рисков ИБ и их снятие для самой сложной модели системы. Таковой А. Шойтов считает модель ядерного реактора. Функциональная безопасность, надежность системы вытекают из устойчивой работы в обычных условиях и устойчивого функционирования в условиях кибератак, напомнил спикер.
Доверенного ИИ сейчас нет!
Тему регуляторики ИИ продолжил заместитель директора ФСТЭК России Виталий Лютиков. Он напомнил, что на I Форуме высказал тезис о том, что доверенного ИИ в РФ нет, и в ближайшие годы не появится. Прошёл год — ситуация та же. «Нет доверенного ИИ. Я исхожу в этом утверждении из понятия, которое даёт обновленная Национальная стратегия развития ИИ», — подчеркнул В. Лютиков.
В подписанной президентом РФ Стратегии развития ИИ говорится, что доверенный ИИ — это технологическое решение, соответствующее стандартам безопасности, разработанное с учётом объективности, непредвзятости, этичности и исключения применения для нанесения угрозы гражданам и государству. «Пока по этим составляющим мы не разработаем требования, а самое главное, не сформируем методики подтверждения требований, говорить о доверенном ИИ преждевременно, — заявил спикер. — Если опираться на стратегию в понимании того, что такое ИИ, то он состоит из информационно-коммуникационной инфраструктуры, ПО и сервисов обработки данных и принятия решения. То есть, чтобы ответить на вопрос доверия ИИ, нам необходимо к этим трём сущностям предъявить стандарты безопасности. Пока мы этого не сделаем, говорить о том, что у кого-то доверенные технологии ИИ, а у кого-то не доверенные, бессмысленно». «Если придерживаться Стратегии, то нельзя использовать те наработки искусственного интеллекта, которые мы имеем, в промышленности», — считает спикер.
ФСТЭК России прорабатывает вопрос установки набора требований к государственным системам при использовании ИИ. «Тут есть особенности с точки зрения моделей применения», — подчеркнул В. Лютиков. Второй вопрос, который рассматривает регулятор, — разработка методического документа, рекомендаций для разработчиков и операторов систем ИИ для формирования концептуальных подходов к вопросам специфичных угроз для ИИ. «Эти документы будут открыты и публичны для обсуждения в сообществе», — отметил спикер.
Отвечая на вопрос модератора, является ли проблема регулирования ИИ моноведомственной или у этого понятия есть особенности, которые каждое ведомство, внедряя системы ИИ в зоне своей ответственности, должно регулировать самостоятельно, замдиректора ФСТЭК России отметил, что одно ведомство данную проблему не решит. «Одно ведомство не сможет решить эту задачу, потому что даже исходя из понятий, приведенных в Стратегии, стандарты безопасности должны охватывать аспекты информационно-коммуникационной инфраструктуры, ПО и самое главное — процесс обработки данных и принятия решений. Если с информационно-коммуникационной инфраструктурой и ПО вопрос понятен, и тут я не рассматриваю стандарты безопасности как нечто особенное, то третья сущность — процесс обработки и принятия решений — является главной, и там появляется очень много отраслевой специфики», — считает В. Лютиков. Он подчеркнул, что исходя из понятия доверенного ИИ, объективности и этичности его применения и исключения создания угроз, возникает отраслевая специфика. «Может научные подходы должны быть едиными, но с точки зрения регулирования должна быть отраслевая специфика», — резюмировал замглавы ФСТЭК.
Нечёткая логика на объектах КИИ
Евгений Абакумов («Росатом») затронул вопросы обеспечения надёжности и доверенности применяемых систем ИИ на объектах КИИ «Росатома». «Когда мы говорим про технологии, мы говорим, прежде всего, про сценарии применения и датасеты, которые нужно использовать для обучения. Здесь возникает инфраструктурно-технологическая тема: на чем мы будем обрабатывать данные? Встает вопрос технологии обработки информации, нечеткой логики и вопросы вычислительных средств, которые позволяют нам использовать эти технологии быстрее выше и сильнее, чем раньше, — отметил спикер. — На каких вычислительных архитектурах мы будем обрабатывать эти данные и получать те результаты, которые нужны в прикладном слое? В России таких вычислительных архитектур немного, я знаю две, но не могу сказать, что они лидируют в своих сегментах». «Вопросы, связанные с инфраструктурной составляющей, а, значит, с пониманием точечных технологий, которые мы используем для ИИ, выходят на передний план, прежде всего, в КИИ», — считает Е. Абакумов.
Вторая проблема — вопросы нечёткой логики, которую не хочется использовать в системах с КИИ и рассматривать ошибки первого и второго рода, подчеркнул спикер. Он отметил, что рассматривает технологии ИИ в логике систем поддержки принятия решений, когда ИИ является подсказчиком. «Я смотрю, скорее, через призму своей инфраструктуры на такой ИТ-технологической составляющей КИИ. Когда в эту инфраструктуру мы помещаем нечто с нечёткой логикой, у нас сразу возникает еще одна история, которая ближе к теме информационной безопасности», — отметил представитель «Росатома». Он поддержал позицию В. Лютикова, что на сегодняшний момент в промышленных системах у нас нет доверенного стандартного промышленно-эксплуатируемого ИИ.
При этом есть много сфер применения, которые имеют кросс-отраслевую экспертизу. Спикер привел примеры технологических разработок, которые используют встроенные инструменты ИИ и реализуют стандартные сценарии применения. Также актуально использование ИИ в прикладных информационных системах для оперативного хранения, обработки и анализа данных на базе конкретных сценариев, в т. ч. в режиме реального времени.
«Атомный реактор, который управляется ИИ и подключён к интернету — пока для нас это недостижимая история. Надо ли это делать — предмет дискуссии. Но определённые сферы применения ИИ точно есть, — отметил спикер. — У нас может появиться многогранная программа ИИ — от криптографии до сценариев применения». Он призвал собравшихся не замыкаться только на датасетах и системах ИИ, но и идти по пути развития вычислительных архитектур.
Доверенный ИИ на мировой арене
Представитель МИД России Артур Люкманов рассказал о развитии темы ИИ в мире. Он выделил европейскую, американскую и азиатскую модели развития ИИ, а также китайскую, которая охватывает все сферы общества и государства. Чиновник отметил отсутствие четкого представления, что такое ИИ, разное качество экспертизы в странах мира и шум вокруг темы ИИ. Он негативно оценил попытку компаний из США и ряда стран застолбить внешние рынки, заложив в основу регулирования доступа к системам ИИ права человека и вопросы демократии.
Российская Федерация активно работает через структуры ООН и Международный союз электросвязи (МСЭ). «Надо поменьше политики, больше заинтересованного обсуждения и привлечения технической экспертизы к этой теме», — считает представитель МИДа. Он предлагает рассматривать и продвигать вопросы ИИ на площадке МСЭ.
Доверие должно базироваться на науке
О достижениях и наработках отечественных ученых в области ИИ рассказал Арутюн Аветисян (ИСП РАН), завершивший пленарную дискуссию. Он отметил большой многолетний вклад Академии наук и российских ученых в развитие научного подхода к построению технологий искусственного интеллекта, а также призвал к диалогу ИТ-отрасли с гуманитариями по вопросам доверия к ИИ.
Спикер напомнил, что ГОСТ по безопасной разработке был принят еще в 2016 г., это был мировой тренд. Через несколько лет был создан Центр компетенций ФСТЭК России и ИСП РАН, в 2019 г. разработана новая специальность «Информационная безопасность». По инициативе института при участии А. Шойтова на базе ИСП РАН в рамках первой волны создан Центр доверенного ИИ. «Было непонимание со стороны сообщества, в том числе крупного нашего бизнеса, который стремился срочно внедрять технологии в жизнь», — подчеркнул А. Аветисян. На базе Центра доверенного ИИ была организована научно-технологическая база, на основе которой может развиваться регуляторика. «Должно быть четкое понимание, как вы контролируете процесс разработки», на который накладывается отраслевая специфика и этические вопросы, считает ученый. Все это впоследствии преломляется и превращается в конкретные этапы жизненного цикла разработки.
За эти годы ИСП РАН получил международное признание, опубликовано несколько десятков статей, создан ряд новых технологий. «В чём принципиальное отличие от обычного ПО? В датацентричности», — отметил А. Аветисян. Нужно обеспечить, чтобы данные были правильные, не отравленные, необходимо обеспечить доверием фреймворки или библиотеки, на которых обучаются модели, считает он. При наличии готовых моделей необходимо понимать, возможно ли дообучать их, чтобы сделать безопасными и более надежными. Отечественные фреймворки уже есть, ИСП РАН сертифицировал их и внедряет совместно с партнерами из «Лаборатории Касперского», которая активно продвигает кибериммунность.
Центр доверенного ИИ активно работает в партнерстве с компаниями и организациями. «Масштаб проблемы таков, что никакими Институтами системного программирования и криптографии их не решить», — подчеркнул эксперт. ИСП РАН привлек к работе научные коллективы «Иннополиса», МИФИ, МФТИ, СПбГУ и Сколково. В рамках второй волны искусственного интеллекта специалисты начинают приземлять базовые технологии и вести отраслевые исследования в области медицины, логистики, промышленного Интернета вещей.
«Технологический уровень наших партнеров мы понимаем, имеем реальное отставание в микроэлектронике, — отметил спикер. — В ближайшие годы необходимо ускоренно обеспечить, чтобы готовые модели работали на нашей отечественной аппаратуре и постепенно создавать базу и аппаратуру для внедрения новых моделей». Спикер понимает всю глубину проблем и нереальность их решения в ближайшие годы, но необходимо продолжать развивать данное направление. «Нужно системно и не спеша вести работы», — отметил глава ИСП РАН.
А. Аветисян подчеркнул, что разработки мирового уровня доверенного ИИ, генеративного обучения, сопутствующих технологий ведутся на базе лучших научных и математических школ, и ожидается, что к ним подключатся технологические партнеры и бизнес. «Это вопросы отраслевые, и только совместным трудом мы можем их решить и правильно выстроить процесс». Он отметил также, что в отсутствии регуляторики наши компании берут на себя добровольные обязательства по сертификации. «И это особенно важно», — завершил выступление глава ИСП РАН.
В ходе дальнейших мероприятий Форума его участники рассмотрели научно-технологические основы доверенного ИИ, практические вопросы безопасности данных и систем ИИ, угрозы и атаки на системы искусственного интеллекта и методы их защиты.