bt工厂爱唯侦察 17款大模子PK八款棋牌游戏，o3-mini胜出，DeepSeek R1输中间行动
GameBoT团队 投稿量子位 | 公众号 QbitAIbt工厂爱唯侦察
探花巨乳AI社区掀升引大模子玩游戏之风！
举例海外着名博主让DeepSeek和Chatgpt下国际象棋的视频在Youtube上就得到百万播放，ARC Prize组织最近也发布了一个馋嘴蛇LLM评测基准SnakeBench。
针对这一场景，来自港大、剑桥和北大的商讨东说念主员发布了一个更全面、客不雅真确的LLM评测基准：GameBoT
让大模子在8个游戏中彼此PK，评测各主流大模子的推理技能。游戏PK幸免模子“背谜底”；除了输赢除外，GameBoT还评估大模子输出的中间行动，完了更细粒度和客不雅的测评。
通过游戏来评估 LLM
传统的LLM benchmark濒临着两个挑战：性能饱和与数据混浊。性能饱和指的是榜单分数依然被刷的很高，险些莫得进一步晋升的空间。举例，Qwen2-Math-72B-Instruct在GSM8k上已达到了96.7%的准确率。数据混浊是指由于话语模子在大领域收罗语料库上进行预老到，它们可能会无意中遭受并记取这些基准测试中的测试实例。因此，LLM可能会得到虚高的性能分数。
而通过游戏来评测，正好既具有挑战性，又大约通过动态的游戏环境来幸免模子提前记取“试卷谜底”。
中间行动评测
相较于其他雷同用游戏来评测LLM的benchmark，GameBoT有何不同呢？
其他的benchmark频频只凭据游戏最终的输赢动作圭臬，有关词一次比赛可能有几十上百个回合，一个回合的有策画就有可能平直决定输赢，这带来了很大就怕性；除此除外，LLM闲居会出现念念考经由和最终有策画分辨应的情况，有可能只是刚巧选到了一个好的有策画——GameBoT中的一个要道想象在于，不单是评测最终赢输，还评测LLM的中间念念考经由是否正确。
△评估中间行动不错愚弄更丰富的信息
为了对LLM的推理进行细粒度分析，作家将每个游戏中复杂的有策画经由阐明为2-3个逻辑上要道的子问题，每个子问题皆被想象为有惟一投诚谜底的，并让大模子在回答子问题的基础上回答最终有策画。LLM被放胆通过这个体式回答：“[中间念念考遵守：XXX]”，肤浅平直索求谜底。同期，关于想象好的问题，作家事前斥地好基于礼貌的算法来生成圭臬谜底，从而更客不雅高效地评估模子性能。
举例在 Surround 游戏中，想象了这么的问题：
现时位置周围的值是若干？现时安全移动的标的有哪些？该标的能保证至少十次安全移动吗？
评测中间行动带来了几个上风：更细粒度的评测，更高的可评释性，更明晰的了解模子技能的上风和纰谬。
Prompt 想象
为确保自制评估诳言语模子学习和应用游戏战略的技能，咱们想象了格外谨防的足以动作教程的游戏prompt。
包含三个结构化部分：<游戏礼貌>、<输入>和<输出>，其中 <游戏礼貌>部分提供完满的游戏礼貌证据，<输入>轨范模子经受的输入体式，<输出>明确指定结构化输出条件。
在<输出>中包含了谨防的Chain-of-Thought，提供了东说念主类众人想象的游戏战略，指示LLM通过三步框架（战略结伙→子问题阐明→战略应用）惩处复杂问题。教程级别的 prompt确保评估聚焦于模子基于新信息的推理技能（zero-shot 或one-shot），而非依赖预老到数据中的既有常识。
△GameBot框架
评测游戏
Surround
游戏中玩家通过限度标的在屏幕上移动，并试图围住敌手。先撞上我方的轨迹、敌手的轨迹或者墙壁的一方算输。
△左：GPT-4o；右：Claude-35-Sonnet
2. Pong 乒乓bt工厂爱唯侦察
玩家通过限度拍子在屏幕上移动，并试图将球击回敌手区域。先未能接到球的一方算输。
△左：GPT-4o-mini；右：Llama3.1-405b
3.TicTacToe 井字棋
先连成三子的一方赢。
△X：Gemini-1.5-pro-preview；O：Llama3.1-70b
4.Connect4 四子棋
先连成四子的一方赢，每次只可从最下面运行落子。
△黄：Claude-35-Sonnet；红：GPT-4o-mini
5. Othello
口角棋夹住翻转敌手的棋子以占据更多格子。游戏收尾时，棋盘上棋子数目更多的一方得胜。
△黑：GPT-4o；白：Llama3.1-405b
6. Texas Hold’em 德州扑克
玩家凭据我方的牌力下注，打败敌手赢得底池。游戏收尾时，牌型最强的一方得胜。
△下：GPT-4；上：Claude-3-Sonnet
7. Checkers 跳棋
跳过敌手的棋子完成吃子，被吃光的输掉。
△白：Gemini-1.5-pro-preview；黑：Jamba-1.5-large
8. Negotiation v2
△P1: GPT-4o; P2: Gemini-1.5-pro-preview
LLM 淘汰赛，谁会胜出？
在论文发布的版块里，作家评测了包括 GPT-4o，Claude-35-Sonnet， Gemini-1.5-pro-preview 等17个其时最卓著的 LLM，每两个模子在每个游戏上进行20轮彼此顽抗赛（10 轮先手 10 轮后手）。这种想象既保证了评估灵验性，又能确保充足多的游戏风光。
跟着新的大模子发布，作家更新了对更强的大模子的评测，包含Gemini-2.0-flash-thinking，Gemini-2.0-pro-exp，O1-preview，Deepseek R1，O3-mini，Claude 3.7 Sonnet，GPT-4.5。比赛礼聘淘汰制，部分试验遵守：
最终排行:
出人预见的是，尽管在Chatbot Arena榜单上高居前三，Gemini-2.0-flash-thinking在GameBoT榜单上相对其他新模子泄露并不亮眼，最近火热的Deepseek R1亦然和O1-preview打成平手，稍逊于O3-mini-high。
中间行动得分 F1 Score：
Deepseek R1的中间行动分不测很低，磨练后发现，尽管最终的有策画泄露很好，R1 的念念考经由格外繁冗，闲居出现连续十几次“wait”然后再行念念考的现象，持续没法按条件给出中间行动的谜底。
实战分析
以下是O3-mini 和 Deepseek R1 的实战分析。O3-mini：X，Deepseek R1：O。
当棋局开局来到此时，是 O3-mini 缔造的第一个考验，不在 2 或者 5 位置堵住的话 Deepseek R1 会平直输掉。R1 正确搪塞：
Placing at 5 blocks X’s immediate threat and limits their ability to build a horizontal line.
当棋局来到
R1 关于上风风光穷追不舍，赓续下在 2 酿成三子。
Placing O at (3，2) forms a horizontal trio in row 3， setting up potential for a future four-in-a-row. This move also occupies the central column 2， enhancing control over multiple directions and blocking X from advancing in column 2. Additionally， this position can contribute to a diagonal with existing O pieces at (4，3) and (3，3)， offering multiple pathways to victory.
这一步，格外惊喜 R1 大约珍惜到 (3，2) 除了横方进取连成三子，还和（4，3）呼应，是一步精彩的落子。动作酬报，O3-mini 固然弃取了一步败招，落在 Column 1 中，导致 O 赓续落在 1 平直告捷，但 O3-mini 给出的根由也体现了一定进度的智能。
If the opponent later uses (2，1) to complete a diagonal with their O’s at (3，2) and (4，3) (aiming for a win by eventually filling (5，4))， it would be dangerous. By playing (2，1) now I both deny that chance for O and build my own potential diagonal connection (using my existing X’s at (0，3) and (1，2) which would then point to a winning continuation with a future piece at (3，0)). This dual-purpose move makes (2，1) the best choice.
这个回答让东说念主猛然发现，正本此时早已是无解的风光——要是顺手落在别处，举例 5， 2 等， 那下一手 O 落在 1 将一招毙命，此时平直酿成双三，没法同期堵Column 4 和 Column 1。O3-mini 的正确走法也许应该先落在 4 处，固然也只可拖延几步，幸免不了失败（感兴味的读者不错推演）。
不雅察发现
对新模子的评测试验主要发现如下：
在测试的模子中，O3-mini-high的游戏推感性能以及中间行动得分皆是最强。R1 的推理技能也很优秀，但关于复杂问题，生成的中间念念考经由格外不易读，或者无法按prompt条件给出中间行动的谜底。可控性相对较差。Gemini-2-flash-thinking也存在可控性（或者说指示罢职技能，Instruction following）较差的问题，概括游戏推感性能并莫得 Chatbot Arena 显现出来的那么优秀。
总之，O3-mini和R1的泄露依然体现出一些智能，但它们依旧不够灵巧——以Connect4为例，关于平直能连成四子的风光，它们有时会看不出来。这也体当今它们的中间行动评测分并不是满分上。另外，尽管在prompt中指示了需要think ahead多斟酌几步，面前起先进的大模子也只可斟酌现时这一步最优。
论文: https://arxiv.org/abs/2412.13602
阵势主页: https://visual-ai.github.io/gamebot/
代码: https://github.com/Visual-AI/GAMEBoT