Исследователи из Технологического института Джорджии работают над тем, чтобы научить ИИ принимать решения «по-человечески». Хотя наука о принятии решений человеком только начинает применяться в машинном обучении, создание нейросети, максимально приближенной к человеческому мозгу, может сделать её более надежной.
Авторы работы отметили, что нейросети принимают решения без сомнения в их правильности. Это одно из ключевых различий с тем, как люди принимают решения. Например, LLM-модели склонны к «галлюцинациям». Когда LLM не знает ответа на вопрос, она придумывает его, не признаваясь в своём незнании. Большинство людей в такой ситуации признают, что не знают ответа. Создание более человекоподобной нейросети может предотвратить такие ошибки и повысить точность ответов.
Команда обучила свою нейросеть RTNet на рукописных цифрах из известного набора данных MNIST и попросила расшифровывать каждое число. Чтобы оценить точность модели, модель протестировали на оригинальном наборе данных и на данных с добавленным шумом, затрудняющим распознавание цифр людьми. Для сравнения производительности модели с командой людей, были обучены ещё три модели: CNet, BLNet и MSDNet. Все на оригинальном наборе MNIST без шума, но протестированы на версии с шумом. Затем результаты моделей сравнили с результатами испытаний для людей.
Модель команды не только превзошла все конкурирующие детерминированные модели, но и была более точной в условиях высокой скорости. Например, люди чувствуют большую уверенность, когда принимают правильные решения. Без необходимости специально обучать модель на уверенность, RTNet автоматически применяла этот критерий.
RTNet основывалась на двух ключевых компонентах: байесовской нейронной сети (BNN), которая использует вероятности для принятия решений, и на процессе накопления доказательств, отслеживающем доказательства для каждого выбора. BNN выдает ответы, которые немного различаются каждый раз. По мере накопления доказательств, процесс накопления иногда склоняется в пользу одного выбора, а иногда другого. Когда достаточно доказательств, RTNet прекращает процесс накопления и принимает решение.
Ученые также проверяли скорость принятия решений модели, чтобы увидеть, следует ли она психологическому феномену «компромисса между скоростью и точностью», согласно которому люди делают менее точный выбор, когда вынуждены принимать решения быстро.
Сравнивая результаты модели с результатами 60 студентов Технологического института Джорджии, исследователи обнаружили, что точность, время реакции и паттерны уверенности у людей и нейросети были схожи.
Авторы работы подчеркнули, что в существующей литературе по компьютерным наукам недостаточно данных о поведении людей при распознавании изображений, что затрудняет развитие моделей, точно повторяющих человеческие решения. Работа ученых предоставила один из крупнейших наборов данных о реакции людей на MNIST.
Исследовательская команда надеется обучить нейросеть на более разнообразных наборах данных, чтобы проверить её потенциал. Также планируется применить модель BNN к другим нейросетям, чтобы научить их рассуждать по-человечески.