Специалисты Массачусетского технологического института создали своеобразную периодическую таблицу для алгоритмов машинного обучения — она объединяет более 20 классических способов тренировки нейросетей и показывает связи между ними.
Аспирантка MIT Шаден Альшаммари занималась изучением двух процессов автоматической группировки изображений. Первый — кластеризация, позволяющая компьютеру самостоятельно находить похожие элементы и объединять их в группы. Второй — контрастное обучение, где система учится различать объекты, сравнивая их попарно. Сопоставляя математические принципы этих методов, Альшаммари обнаружила некоторое сходство: в основе обоих лежит один и тот же математический принцип — стремление системы минимизировать разницу между реальными связями в данных и их внутренним представлением.
«Открытие произошло почти случайно, — рассказал соавтор работы Марк Гамильтон, аспирант MIT и старший инженер-менеджер Microsoft. — После того как Шаден обнаружила связь между двумя технологиями, мы начали проверять другие методы. Практически каждый из них вписывался в обнаруженную закономерность».
Разработанный командой MIT подход получил название «информационное контрастное обучение» (I-Con). Его уникальность заключается в способности машины описать единой формулой множество различных методов обработки контента: от простых спам-фильтров до сложнейших нейросетей, способных вести диалог с человеком. Любой алгоритм машинного обучения сначала анализирует входящие данные, выявляя в них определённые паттерны, а затем создаёт внутреннюю модель этих закономерностей — своего рода цифровую карту связей между элементами информации.
Выводы команда решила представить в виде таблицы, где каждая ячейка отражает определённый тип алгоритма. По горизонтали расположены различные схемы, с помощью которых компьютер может находить связи в информации — например, группировать схожие элементы или выявлять противоположности. По вертикали — методы, позволяющие запоминать и воспроизводить выявленные паттерны.
«Сравнение с таблицей Менделеева не просто красивая метафора, — пояснила Шаден Альшаммари. — Мы действительно обнаружили системность там, где раньше видели лишь набор разрозненных техник. Как и знаменитая химическая таблица, новая классификация содержит пустые ячейки — места для алгоритмов, которые теоретически возможны, но пока не созданы».
Далее, объединив элементы контрастного обучения и кластеризации, специалисты создали принципиально новый способ классификации изображений, превзошедший по точности существующие решения на 8%. Кроме того, удалось успешно перенести методы борьбы с предвзятостью из одной области в другую.