«Лаборатория Касперского» рассказала о результатах исследования израильской компании Offensive AI Lab — в документе говорится о методе восстановления текста из перехваченных сообщений от чат‑ботов.
Чат‑боты отправляют сообщения в зашифрованном виде, но в реализации самих больших языковых моделей есть ряд особенностей, снижающих эффективность шифрования. Например, LMM оперируют не отдельными символами или словами, а сгенерированными токенами в режиме реального времени. Это и даёт хакерам возможность провести атаку по сторонним каналам — восстановить содержимое сообщений по тем или иным сопутствующим данным. Схема работает в отношении всех известных чат-ботов кроме Google Gemini.
Для чистоты эксперимента специалисты Offensive AI Lab перед шифровкой сообщения в рамках исследования не использовали сжатие, кодирование или padding , то есть дополнение «мусорными данными» (последнее снижает предсказуемость, а значит, повышает криптостойкость).
Хакеру же для выявления текста нужно угадать, что скрывается за «пустыми клетками» (токенами). Для этого используются те же LLM: начало разговора с ботом в основном проходит по шаблону — первые фразы легко угадать, обучив модель на массиве вступительных сообщений. И пока одна модель занимается началом диалога, другая — остальной перепиской. В итоге хакер получает текст, в котором длины токенов соответствуют длинам токенов в оригинальном сообщении, но конкретные слова подобраны с переменной успешностью. То есть настоящая переписка может разительно отличаться от интерпретации.
Эксперты «Лаборатории Касперского» ко всему добавили, что на успех операции влияет и язык переписки, так как для разных языков токенизация работает по‑разному. В исследовании использовали английский — для него характеры очень длинные токены, и текст сообщений восстановить не так сложно. «Русский» же токен имеет длину всего в пару символов, что создаёт хакерам не самые комфортные условия для проведения вышеописанной атаки.