В октябре в Москве и Санкт-Петербурге состоялся Форум GIS DAYS 2023. Особенный интерес на нём представляла пленарная сессия «Использование систем искусственного интеллекта: вопросы доверия и информационной безопасности». Предлагаем краткий отчет.
НУЖЕН БАЗОВЫЙ ЗАКОН
Александр Шойтов, заместитель главы Минцифры РФ, президент Академии криптографии РФ, отметил, что о рисках использования искусственного интеллекта (ИИ) говорят много, в т. ч. в мире. Есть даже кардинальная позиция — сократить его применение. Тем не менее тормозить развитие ИИ не нужно, необходимо аккуратно и адекватно его внедрять, но есть два ключевых риска при использовании ИИ: неправильное функционирование и утечка данных.
Риски неправильного функционирования могут быть связаны со многими факторами: неправильно сделанная модель, неточные исходные данные или в каком-то процессе жизненного цикла ИИ на него были проведены атаки. Второй ключевой риск — утечка данных, которые случаются в процессе работы ИИ. Утечки также возможны при атаках на системы ИИ.
Обсуждая вопросы безопасности, замглавы Минцифры РФ напомнил, что нельзя путать «сильный искусственный интеллект» (General AI), который может решать универсальные задачи, с популярным в массах Chat GPT, решающим узконаправленные задачи: «От него сложно добиться содержательного ответа, он не для этого предназначен».
Сейчас идёт разработка Национальной программы «Экономика данных», где среди прочих обсуждается вопрос создания научного центра «сильного ИИ» для его системного развития.
Вопросы регулирования ИИ — ещё одна проблема, которая активно обсуждается и раскладывается на много составляющих, например, этические аспекты, проблемы регулирования на уровне лучших практик и другие, отметил А. Шойтов. Вполне конкретны и понятны проблемы ИИ, связанные с информационной безопасностью. «Сама система регулирования ИБ у нас есть и эффективно работает. Вопрос – как правильно применить этот опыт на ИИ и создать всем понятные, взвешенные нормы», — считает замглавы Минцифры. В качестве примера он привел работу над законопроектом об обезличивании персональных данных. Этот норматив пока компромиссный, но он гарантирует информационную безопасность конструктивно и в целом, на верхнем уровне. Планируется принять его до конца года и на его основе будут разработаны нормативно-правовые акты, приказы и методические рекомендации.
В перспективе в 2024 г. появится проект «Требований по информационной безопасности ИИ», работа над ним сейчас ведётся в Академии криптографии РФ. А. Шойтов надеется, что документ получит одобрение регулятора и будет принят. Также на базе Технического комитета по ИИ разрабатывают нескольких стандартов по ИБ ИИ. «В целом нужен базовый закон об искусственном интеллекте, который определит все понятия, общие принципы использования. Он готовится. Это крайне важная и сложная история», — отметил представитель регулятора.
ИСКУССТВЕННЫЙ КРИПТОГРАФ — ДАЛЕКОЕ БУДУЩЕЕ
«Нам неизвестны примеры или теоретические изыскания, которые открывают возможности применить ИИ для снижения стойкости криптографических механизмов. Искусственный криптограф — это далёкое будущее, — такое мнение высказал Игорь Качалин, генеральный директор АНО «Национальный технологический центр цифровой криптографии» в рамках обсуждения угроз, которые представляет применение ИИ злоумышленниками. — Но тем не менее, криптографическое сообщество как сообщество специалистов в области выработки методов оценки стойкости находится в постоянном поиске, следит за развитием прикладной науки, чтобы своевременно и качественно реагировать на появление новых угроз российским криптографическим механизмам».
И. Качалин сослался на исследования Академии криптографии, научно-исследовательские изыскания в АНО «НТЦ ЦК», профильные конференции криптографов, где обсуждаются новые подходы и методы. В рамках профильного Технического комитета по стандартизации ТК 26 разрабатываются и принимаются новые стандарты и протоколы, соответствующие новым вызовам и угрозам.
При этом сообщество стоит на пороге новой ситуации, заявил спикер. До сих пор система информационной безопасности и система, которую она защищала, были статичными объектами. Их вводили в эксплуатацию, они даже эволюционировали, но это был процесс внутри статичного, стабильного объекта. Сегодня всё по-другому: безопасность и функционирование системы объединены в единое целое. «Сегодня, чтобы система ИИ правильно функционировала, её система безопасности должна развиваться вместе с ней. Но подходов, которые позволяли бы решить эту задачу, наверное, нет. Мы стоим на пороге таких исследований, — полагает И. Качалин. — Это вопрос будущего, хоть и не очень далёкого».
АНО «НТЦ ЦК» — молодая компания, чьи научные работы пока сосредоточены на оценке качества обезличиваемых данных, используемых для обучения, возможности генерирования синтетических данных, положенных в машинное обучение нейросетей без раскрытия данных. У компании есть дальнейшие планы работы с Ассоциацией больших данных. Также АНО «НТЦ ЦК» занимается разработкой криптографических методов защиты данных, используемых для обучения.
Можно ли сравнивать интеллект человека и ИИ, и насколько мы далеки друг от друга? — еще одна тема, которая волновала участников дискуссии. «Мы абсолютизируем объект, выделяя его в субстанцию. То, что мы имеем сейчас, — это некая система автоматизации процессов, которая помогает человеку решать задачи, — считает Качалин. — Если мы говорим, что появляется самостоятельный субъект, то возникает масса проблем. Дипломы на такую тему уже начали писать. То есть мы сегодня получили обратный процесс — деградацию человека до ИИ. Что будем делать с этим?»
ИИ НЕ ЗАСЛУЖИВАЕТ ДОВЕРИЯ
«Системы ИИ — это любые системы, имитирующие когнитивные функции человека, — начала своё выступление Наталья Касперская (ГК InfoWatch), отвечая на вопрос модератора сессии А. Калашникова о решении проблемы «черного ящика» ИИ. — К системам ИИ относятся и антивирусные программы, и встроенные системы Т9. И мне неизвестно, что проблема «чёрного ящика» была решена». Н. Касперская уточнила, что прежде всего нужно говорить про системы машинного обучения (МО), поскольку в них сосредоточены наибольшие риски: «Машина делает что-то сама — то, что мы не в состоянии понять. Это и есть проблема “черного ящика”. Решить эту задачу мы пока не можем, но можем снижать риски». В качестве примера спикер привела возможность использования доверенных датасетов, на которых система будет обучаться. Можно сертифицировать процесс их разработки и брать доверенные фреймворки. Однако и тут возникает вопрос доверия, так как за основу берутся иностранные разработки. Когда ставится вопрос о доверии, надо учитывать, помимо прочих, еще и гуманитарные риски при принятии решений: увольнение, расчет дозы лекарства и проч. В подобных случаях есть риск принятия неверного решения и вопрос ответственности за него.
Отмечая другие гуманитарные аспекты использования ИИ, Наталья Касперская поддержала точку зрения И.Качалина и отметила уже наметившуюся тенденцию деградации умений человека: калькулятор отучил его считать, навигатор — ориентироваться на местности. Из программ обучения вторых пилотов исключили раздел ручной посадки самолётов. Многие медицинские диагнозы ставятся на основе BigData, врачи теряют профессиональные навыки и интуицию. Это огромные социальные риски, которые видны на больших данных. «При опоре на датасеты через два поколения мы получим искусственный интеллект и много глупых людей», считает эксперт.
«Нельзя передавать решения системам ИИ полностью», — полагает президент ГК InfoWatch, отмечая, что риск того, что система примет неправильное решение, должен быть нивелирован человеком, ответственным за это решение.
НУЖНЫ ОПЫТ И МЕТОДОЛОГИЯ
Термин «искусственный интеллект» придумал Марвин Минский, напомнил Валерий Конявский (МФТИ), но через несколько лет отказался от него, заявив, что никакого ИИ нет и быть не может. ИИ — не интеллект, а система линейных уравнений, к которой можно подобрать коэффициент — это и есть машинное обучение.
Методы машинного обучения и, в частности, слепого машинного обучения (когда оператору нельзя смотреть на защищаемые данные другого оператора) можно создавать и применять только тогда, когда мы глубоко понимаем семантику данных. Или делим данные на части, и каждый оператор обрабатывает то, на что можно смотреть. Только тогда получаются результаты. Вторая проблема — отсутствие регулятора, который скажет как правильно.
КОГДА ТРАДИЦИОННЫЙ БЕЗОПАСНИК МАЛОЭФФЕКТИВЕН
О том, что злоумышленники не ограничены этическими соображениями, арсенал средств у них шире и возможностей больше, и потому в изучении ИИ они продвинулись дальше, говорил Николай Нашивочников (Газинформсервис). Использование OSINT-инструментария и ИИ даёт им возможность многое узнать о компании и сотрудниках, в т. ч. изучить жертву и провести качественную фишинговую атаку. Для них открыто использование больших языковых моделей (LLM), в то время как специалисты по ИБ используют традиционные методы и реактивный ИИ.
Возможности хакеров должны серьезно настораживать сообщество, отметил спикер. Традиционные методы ИБ хорошо работают с моделями реактивного ИИ и структурированными данными. Но когда злоумышленники применяют deep learning и рекуррентные нейросети возникают вопросы: что делать? Как с этим справиться? Конечно, традиционный безопасник тут малоэффективен. Но есть и плюсы: появляется состязательная составляющая, возникают и развиваются новые подходы, становится востребован опыт специалистов по машинному обучению, считает Н. Нашивочников.