Учёные из Швейцарской высшей технической школы Цюриха применили ИИ для взлома системы проверки reCAPTCHAv2. По результатам тестов они заявили, что нейросеть оказалась способна пройти 100% проверок по сравнению с более ранними попытками, уровень успеха которых не превышал 71%.
Исследователи использовали передовые модели YOLO (You Only Look Once) для сегментации и классификации изображений, так как reCAPTCHAv2 требует от пользователей отмечать на изображении области с определёнными предметами.
Сначала извлекались тип капчи и целевой класс задачи. Затем на основе типа использовалась соответствующая настройка модели YOLO v8. Для типов 1 и 3 все изображения в сетке классифицируются. Это подразумевает, что модель предсказывает вероятность класса для каждого из 13-ти, и, если вероятность превышает 0,2, то выбирает изображение. Для типа 3 процесс повторяется для всех новых изображений. Для типа 2 модель сегментирует изображение и выбирает любую ячейку, которая перекрывается сегментацией. YOLO v8 обучалась только для 9 из 13 возможных классов, а в других случаях она просто пропускает задачу.
«Мы также заглядываем под капот reCAPTCHAv2 и находим доказательства того, что reCAPTCHAv2 в значительной степени основана на данных cookie и истории браузера при оценке того, является ли пользователь человеком или нет», — резюмировали учёные.