Transformer能否推理引争议DeepMind连夜更新论文开源数据集：Transformer真的很强

  DeepMind闷声干大事，悄悄训练了一个大小只有270M的Transformer模型，居然不需要搜索，就能实现大师级的下棋水平。

  这几天的推特因为这篇2月份发布的论文吵得不可开交，DeepMind团队也赶紧放出了更新后的论文版本，开源了有关数据集和代码，对网上的争议做了回应。

  最开始，有位网友分享了DeepMind的这项研究，并提出“Transformer也能用于逻辑任务”的观点，没想到却激起了一场关于Transformer能不能推理的争论。

  先是顾全全果断转发表示赞同，“这表明Transformer具有推理和规划的能力。”

  田渊栋直言，短时策略并不等于推理能力。他认为，“Transformer模型的评估基于闪电战模式（每局限时5-10分钟），这更依赖直觉和战术反应，而非传统的深度搜索和规划。”

  田渊栋还指出，闪电战下机器人虽然Elo达2713，但未能展示出超越训练数据的能力。“此外，机器人在短时间内的闪电战Elo分数比人类选手要低，这可能说明它的表现更多依赖于模式匹配，而非真正的推理。”

  很多反对者也指出，论文中明确提到，这种模型的表现仍然高度依赖于训练数据和架构规模。归根结底，它只是在进行统计匹配，而非真正的逻辑推理。

  也有很多人认为，这实际上只是一种预测。虽然Transformer能够精准地计算和预测下一步行动，这看着像是在推理，但与人类推理并非一回事。

  顾全全解释道，“推理的核心在于蕴涵（entailment）。”要进行推理，第一步是要识别一组基本的命题或原子公式，然后再通过一系列推理规则来推导出结论。

  Transformer实现推理的重点是它能否学习推理规则，这些规则是推理的组成部分，但并不能构成完整的“推理”。

  这些算法虽不是严格意义上的逻辑推理规则，但仍然是一种有逻辑的算法规则。顾全全认为，DeepMind这次的研究恰恰展示了Transformer学习推理规则上的潜力。

  不过，他也坦言：“尽管大量实证研究表明Transformer可以轻松又有效地学习推理规则，但仍然需要在理论上得到严格证明。”

  换句话说，目前我们只可以从实验数据上看到模型的表现，而要真正确认Transformer能不能像人类一样推理，还需要更加多理论研究。

  有位网友在深入研究论文细节后认为，这项研究展示了一个重要突破，即将任意概率算法提炼成神经模型的通用方法。

  他还乐观地表示“我们正处于整个计算机科学从图灵机的起源开始重写的边缘。”

  Gary Macus对此持怀疑态度，他在与论文作者交流后指出，论文中的Transformer模型虽然在标准国际象棋上取得了成功，但在更复杂的棋盘变体（如Fischer随机象棋）上表现不佳，也无法推广到更大的棋盘（如8x12）。这说明了模型在泛化能力上的局限性。

  他还指出，这类模型的优秀表现往往局限于国际象棋这类封闭的环境，在更开放、更复杂的环境中会面临严峻挑战。

  也有人不赞同这种观点，认为Gary Macus低估了神经网络的繁华能力。虽然模型的适用性不够广，但这种方法却是可以推广的。像MCTS（蒙特卡洛树搜索）这样的算法也可以被蒸馏成模型，这可能也适用于语言处理。

  推特上关于这篇论文的争论愈演愈烈。DeepMind也于10月21日在arxiv上更新了论文，并推出了名为ChessBench的大规模数据集。

  ChessBench数据集包含了1000万个国际象棋局面及其走法与价值注释，共计超过150亿个数据点，这一些数据全部由最先进的国际象棋引擎Stockfish 16提供。

  研究团队还开源了ChessBench数据集、模型权重以及所有训练和评估代码，方便学术界进行下一步研究。

  研究人员表示，尽管能够最终靠监督学习将Stockfish的搜索算法的近似版本蒸馏到Transformer中，但完美的蒸馏仍然遥不可及。

  这也反映了深度学习领域的一个核心问题：即使模型在某些特定领域（如象棋、围棋）表现出了卓越的性能，但它们仍然依赖于大量计算资源和规则化的训练环境。

  像AlphaZero就是依靠强化学习，通过与自己反复对弈，最终超越了传统棋类引擎，一旦应用到更复杂、更少规则约束的环境，也难免暴露出缺乏泛化能力的问题。

  论文在结尾强调Transformer不应该只是单纯的统计模式识别器，而应该被当作是一种近似通用算法的强大技术。再结合Transformer模型在实验中展示的强泛化能力，也许可以被视作AI模型泛化问题的一种解法。

  也有网友发问，之前不是已经有模型实现过了大师级的下棋水平吗，为什么DeepMind还要再做一次？

  其实在AI行业里早就有了一个共识：所有的应用都应该用AI大模型重做一遍。

  因为AI技术的商业化落地始终是个难题，要对准具体的业务肯定是找现成的应用来得快。另外，用大模型重做已有的应用能够进一步挖掘其商业经济价值，个性化的使用者真实的体验能够增加用户粘性抢占更多的市场份额。

  微软往Office办公三件套引入了Copilot，实现了从文本生成到流程自动化的全面升级。像普通用户就能够最终靠提供文字提示或是Word文档让Copilot生成幻灯片，企业用户还可以直接生成一些简单的代码应用。

  Google Workspace套件里集成的生成式AI也很实用，用户都能够利用智能助手在Google Docs和Gmail中生成邮件、摘要等内容，减少重复劳动大幅度的提升了工作效率。

  而且这次研究的重要性不仅仅在于棋类AI的迭代，更在于它为AI推理和学习的未来提供了新方向。

  博弈树将每一个棋局状态表示为节点，每下一步棋则从一个节点移动到对应的子节点，通过穷举所有可能的步骤，构建出一个庞大的树状结构。

  为了解决这一个问题，约翰·麦卡锡（John McCarthy）提出了著名的α-β剪枝算法。

  这种算法的核心在于，在绘制博弈树的同时进行计算评估，一旦某一分支的结果无法优于已有的最佳结果，就会立即“剪枝”，跳过这个分支的计算。这种方式有实际效果的减少了无效计算，极大的提升了搜索效率。

  1997年，IBM的Deep Blue利用α-β剪枝算法，并结合数百万场棋局的数据支持，成功实现了深度计算。最终，Deep Blue击败了国际象棋世界冠军加里·卡斯帕罗夫。

  这是AI第一次在公开比赛中战胜顶级人类棋手，也是博弈树算法与启发式规则结合的巅峰。

  与以往AI依赖人类知识库和启发式规则不同，AlphaZero完全抛弃了这些外部支持，仅通过自我对弈和通用强化学习算法，就在极短的时间内掌握了国际象棋、将棋和围棋的玩法。

  这项突破性研究展示了AI自我优化的潜力：无需借助外部知识库，AI也能达到卓越水平。

  这一次，DeepMind在棋类AI的探索上更进一步。与AlphaZero相比，Transformer模型不仅抛弃了人类知识库和启发式规则，甚至不会再使用任何搜索算法，而是通过监督学习直接从包含1000万场国际象棋比赛的数据集中学习策略。

  DeepMind训练了三种规模的Transformer模型，分别为9M、136M和270M参数，并根据预测目标（动作值、状态值或行为克隆）构建了一个预测器。动作值预测器用于生成策略，评估所有合法动作的预测值并选择期望动作值最大的动作。

  实验结果为，最大的270M参数模型在Lichess闪电战中达到了2895 Elo的分数，表明它已经具备了大师级的国际象棋策略。

  相比AlphaZero依赖深度搜索和自我对弈，这个模型的成功之处在于无需借助任何搜索算法，仅仅基于棋盘状态的学习也能达到大师级别的棋艺。并且该模型大幅度降低了计算需求——甚至在部分任务中以八倍更少的浮点计算量取得与AlphaZero相当的成绩。

  这不仅是技术上的突破，更暗示了Transformer模型在泛化和学习推理规则方面的巨大潜力。

  DeepMind这次的研究对LLM尤其是小参数模型来说，同样具有里程碑式的意义。

  一部分研究者坚信“大即是好”，致力于开发性能强大的巨型模型；另一部分则选择“小而美”的方向，专注于小参数模型的优化和应用。

  Meta推出的MobileLLM系列，将模型规模缩小至1B以下，并推出了125M和350M两个版本。

  而一直专注于闭源开发的苹果，也在开源领域有所突破，发布了一系列开源模型OpenELM，参数规模集中在270M到3B之间。

  270M这一个数字是否很熟悉？正是DeepMind这次使用的Transformer模型参数量。这两家公司都不约而同选择270M，绝非偶然。

  与动辄数百亿参数的巨型模型相比，苹果的3B模型在LLM领域已算是“小型”。

  然而，对于手机等移动电子设备而言，3B的模型依然太大。因此，270M成为绝佳选择——既能在移动电子设备上顺畅运行，又兼顾了模型性能。

  很多主流大模型的参数设定为7B、13B或65B，其中7B尤其常见。原因主要在于7B的模型可以在单卡上部署，大幅度的降低了应用的成本和门槛。

  行业趋势表明，轻量化正慢慢的变成为市场主流。相比巨型模型，小模型的优势十分明显：

  截至2021年，全球移动电子设备用户数量已达86亿，超过了地球总人口。如何满足如此庞大的移动客户的真实需求，慢慢的变成了各大公司竞争的焦点。

  比如，苹果的最新语音助手就内置了270M模型，支持离线语音识别和本地响应。谷歌的TinySpeech也为了能在移动电子设备上实现更快速准确的语音识别功能，缩小了参数规模。

  OpenAI也推出了ChatGPT Lite版本，在保证准确率的同时，通过减少参数量来降低计算资源的消耗，这使得用户能在资源有限的设备上，享受到流畅的实时聊天和问答系统交互体验。

  在与LLM有关的其他领域，也在积极推动轻量化战略，包括专注于高性能硬件的英伟达。

  英伟达新推出的Jetson系列（如Jetson Nano和Jetson Orin Nano）就是专为嵌入式AI系统模块设计，将强大的算力嵌入体积小、能耗低的设备中，意在推动物联网和边缘设备的发展。

  这也说明，小模型并非技术上的妥协，而是商业化的最优选择。未来更多的AI应用将逐步摆脱云端依赖，通过小模型在本地运行，推动“轻量级AI”进入日常生活。

  传统的AI系统依赖于穷举式搜索和策略规划，但人类大师的棋艺往往依赖直觉与经验，而非纯粹的计算。

  在闪电战模式中，DeepMind的模型能够在5-10分钟内完成棋局，依靠的是较快地断定而非传统的穷举式搜索，这种决策模式看起来和人类的直觉非常相似。

  但AI的策略始终还是来自对大量数据的学习，这和人类的“下意识反应”存在本质区别。AI的所谓直觉，更像是通过模式识别模拟人类的行为，不可以真正等同于“理解”。

  拿下诺贝尔奖的AlphaFold就利用了生物序列与结构之间的复杂关系，模拟生物学家的推理过程，从而快速、准确地预测蛋白质结构。

  英伟达用于训练和模拟机器人行为的Isaac Sim仿真平台，也是通过模拟真实世界中的物理环境，允许AI学习怎么样在动态环境中做出决策，类似于人类在复杂环境中的反应方式。

  DeepMind的Transformer模型展示了AI领域的一个重要趋势：从大模型走向轻量化、从搜索算法转向直接推理。在未来的AI应用中，效率与规模的平衡将是关键。Transformer的成功不仅改变了我们对AI的认知，也为AI如何在复杂环境中进行推理提供了新的思路。