Человеческая интуиция оказалась сильнее алгоритмов: в пермской Вышке провели турнир по теории игр
Сотрудники Международной лаборатории экономики нематериальных активов (Пермь) и Научно-учебной лаборатории исследований спорта НИУ ВШЭ совместно с математиком и популяризатором науки Алексеем Савватеевым провели турнир по теории игр «Предвыборная гонка». Участники соревновались друг с другом и с искусственным интеллектом. Пока людям удалось одержать верх и предложить более эффективные стратегии.
Ученые активно изучают, как алгоритмы искусственного интеллекта могут влиять на принятие решений в разных областях. Один из возможных подходов — эксперименты с задачами на принятие решений с участием людей и больших языковых моделей. Из их взаимодействия становится ясно, кто глубже понимает контекст задачи и как агенты разных типов реагируют друг на друга.
Экономисты НИУ ВШЭ провели турнир по теории игр среди людей и больших языковых моделей. В качестве задачи организаторы использовали игру полковника Блотто, но поместили ее в другой контекст, чтобы она стала менее узнаваема и у участников, особенно у ИИ, не было возможности найти оптимальные решения в Сети.
Кандидатам в президенты вымышленной страны предстояло совершить 100 предвыборных поездок в 9 штатов. В каждом штате победу одерживает тот кандидат, который съездил туда большее количество раз. То есть единственным фактором, определяющим выбор избирателей, является частота встреч с кандидатом. Президентом становится тот, кто победил в большем числе штатов. Задачей игроков было распределить поездки так, чтобы выиграть предвыборную гонку.
Дмитрий Дагаев
«Игра полковника Блотто, или в нашем варианте “Предвыборная гонка”, интересна тем, что здесь нет доминирующих стратегий или равновесия Нэша в чистых стратегиях. Это означает, что игрок при выборе стратегии не может надеяться на какое-то универсально оптимальное решение. Для победы важно понять, кто твой соперник и как его обыграть. Задача, в которой соперников много (а у нас в турнире участвовало больше 200 человек и столько же стратегий от ИИ), еще сложнее: нужно оценить поле соперников в целом. Поэтому особенно интересно было сравнить в этом контексте стратегии людей и действия больших языковых моделей: кто сможет лучше оценить уровень соперников и выбрать наиболее удачную стратегию против них», — отмечает Дмитрий Дагаев, заведующий Научно-учебной лабораторией исследований спорта НИУ ВШЭ.
Эксперимент состоял из трех турниров: в первом участвовали только люди, во втором к ним добавились решения популярных языковых моделей, в третьем число человеческих и машинных стратегий было равным. Игры проходили по круговой системе: внутри каждого турнира все стратегии поочередно соперничали друг с другом по одному разу, а потом все стратегии ранжировались по числу побед. В каждом из трех турниров было выделено по 10 победителей, еще 10 призовых мест досталось лучшим игрокам по сумме всех трех этапов.
По итогам игры человек оказался сильнее машины. В турнире номер 3, где число стратегий, предложенных людьми и языковыми моделями, было равным, лучший результат ИИ — 18-е место.
«Мы полагаем, что причина победы человека над машиной — использование людьми стратегий более глубокого уровня по сравнению с более примитивными стратегиями языковых моделей. Еще отметим, что в таких задачах при принятии решений игроки обычно руководствуются либо правилами игры, то есть стремятся подобрать стратегию, которая будет удачно играть при заданных правилах, либо характером соперника, то есть пытаются предугадать его действия. В нашем случае люди не сильно меняли свои стратегии между турнирами, то есть они больше ориентировались именно на правила, а не на то, с кем играют — с человеком или с ИИ», — отмечает Дмитрий Дагаев.
Петр Паршаков
«Турнир показал, что при отсутствии однозначно правильной стратегии, как в игре “Предвыборная гонка”, люди лучше могли предсказать поведение других участников и предложить решение, которое смогло обыграть ИИ. В дальнейшем на основе таких экспериментов мы планируем создать бенчмарк для языковых моделей, чтобы ранжировать их по критерию близости к поведению людей», — говорит Петр Паршаков, заведующий Международной лабораторией экономики нематериальных активов.
Турнир проводился в рамках гранта РНФ 25-18-00539 «Сравнительный анализ поведения агентов на основе искусственного интеллекта и реальных индивидов в процессе принятия экономических решений».
Международная лаборатория экономики нематериальных активов (НИУ ВШЭ — Пермь) проводит эмпирические исследования в области интеллектуального капитала, поведенческой экономики, технологической трансформации компаний, использования ресурсов малыми и средними предприятиями в условиях неопределенности.
Научно-учебная лаборатория исследований спорта ФЭН НИУ ВШЭ занимается теоретическими исследованиями и анализом данных в спортивной индустрии. Среди основных направлений работы — поиск оптимальных стратегий поведения игроков и команд во время матча, предсказание исходов матчей и соревнований, разработка правил проведения турниров и др.
