谷歌论文详解AlphaZero：为国际象棋、将棋和围棋带来新曙光

大家好，今天小编来为大家解答谷歌论文详解AlphaZero：为国际象棋、将棋和围棋带来新曙光这个问题，很多人还不知道，现在让我们一起来看看吧！

各种传统的国际象棋引擎，包括世界计算机国际象棋冠军Stockfish和IBM的Deep Blue，都依赖于顶级人类国际象棋棋手提供的大量规则和启发式算法。该信息用于解释游戏中的每种可能性。对于将棋来说也是如此，因此该程序仅适用于一种国际象棋游戏，使用彼此相似的搜索引擎和算法。

AlphaZero的做法则完全不同，用一组深度神经网络和大量通用算法代替手写规则。更重要的是，除了基本规则之外，这些算法没有任何固有的东西。

图：国际象棋中，AlphaZero用时4小时成功击败Stockfish；仅用了2个小时就击败了将棋世界冠军Elmo；而在围棋方面，AlphaZero用了30个小时击败了前围棋世界冠军李世石。阿尔法狗。 （注：每个训练步骤代表4096个磁盘位置）

在学习国际象棋游戏的过程中，这个未经训练的神经网络利用强化学习的实验和试错过程与自己进行了数百万轮比赛。最初，它基本上是随机的，但随着时间的推移，系统会从胜利、失败和平局中学习，调整神经网络参数，并确保在未来的选择中做出更有利的判断。

“它的一些动作，例如将国王移动到棋盘中央，违背了将棋理论，并且从人类的角度来看，似乎将AlphaZero 置于危险的境地。但令人难以置信的是，它仍然控制着棋盘。其独特的游戏风格向我们展示了游戏有新的可能性（它选择的一些动作，例如将国王移动到棋盘的中心，显然与原始的将棋理论相冲突；从人类的角度来看，这可能会导致但令人难以置信的是，AlphaZero仍然牢牢掌握着主动权，其独特的棋局策略让我们意识到将棋中隐藏着新的可能性）'—— Yoshiharu Habu，唯一获胜的大师。七大将棋锦标赛

训练完成后，该网络将引导蒙特卡罗树搜索（MCTS）算法选择当前棋盘上最有利的着法。在国际象棋的每一步棋中，AlphaZero 执行的位置搜索量只是传统国际象棋引擎的一小部分。以国际象棋为例，AlphaZero每秒只需要搜索6万个位置，而Stockfish则需要搜索大约6000万个位置。

训练完成后，这套系统开始与最强大的传统国际象棋（Stockfish）和埃尔莫（Elmo）引擎进行较量，甚至与其前身版本AlphaGo进行了“房间大战”。

每个程序都在专门设计的硬件上运行。 Stockfish 和Elmo 需要44 个CPU 核心（与TCEC 世界系列赛相同的硬件配置），而AlphaZero 和AlphaGo Zero 使用4 个第一代TPU 和44 个CPU 核心。第一代TPU的推理速度基本相当于NVIDIA Titan V GPU等商业硬件，但两者的架构有很大不同，很难直接比较。

所有游戏时长为3 小时，每一步加时15 秒。

最终，AlphaZero以较大优势赢得了所有比赛：

国际象棋方面，AlphaZero以155局之差击败了206年第九届TCEC世界锦标赛冠军Stockfish——AlphaZero，胜算只有千分之六。为了证明AlphaZero表现的稳定性，我们在正常人类开局后还为双方准备了多种残局。在每场残局中，AlphaZero 仍然可以击败Stockfish。另外，2016年我们还让AlphaZero在实战中面对真正的开局，对手换成了最近升级的Stockfish版本和另一个开局储备很强的变种。尽管压力巨大，AlphaZero仍然取得了彻底的胜利。

在将棋比赛中，AlphaZero以91.2%的胜率击败了2017年CSA世界锦标赛冠军Elmo。

在围棋比赛中，AlphaZero 以61% 的胜率击败了AlphaGo Zero。

除了胜负之外，更重要的是AlphaZero在比赛中所展现出的风格。仍然以国际象棋为例，AlphaZero 在自主学习和训练过程中，自己发现了很多常见的传统技巧，比如开子、留王、兵子等。但由于完全不受传统思维的束缚，AlphaZero也发展出了自己的直觉和策略。它提出了一系列极其新颖的想法，极大地扩展了几个世纪以来人类对国际象棋策略的理解。

“一个多世纪以来，国际象棋一直被用作人类和机器认知的罗塞塔石碑。 AlphaZero 通过做一些非凡的事情，重新建立了古老的棋盘游戏和尖端科学之间的非凡联系。 AlphaZero被视为区分人类和机器人认知能力的罗塞塔石碑，其出色的表现让我们开始从新的角度审视古老的国际象棋游戏与前沿科学之间的密切联系）”——加里·卡斯帕罗夫，前世界国际象棋大师冠军。

AlphaZero的棋步给棋手们留下了深刻的印象。马修·萨德勒说：“它的举动具有很强的目的性和侵略性，而且总是将矛头指向对方的王。”在此基础上，AlphaZero在对抗方面也具有非常动态的能力，包括尽可能地改进我们的棋子。灵活性和机动性，同时最大程度地限制对方棋子的灵活性和机动性。另外值得一提的是，现代国际象棋观念认为所有棋子都有价值，因此某个棋手棋盘上的棋子总价值越高，说明他在比赛中具有优势。 AlphaZero也不太注重各种棋子的具体价值，而是更喜欢通过在开局阶段牺牲一些棋子来获得中长期竞争优势。

马修评论道，“在各种棋型和棋位中都表现出如此强烈的价值取向，这无疑令人印象深刻。”他还观察到，AlphaZero在开局阶段会非常刻意地选择“与人类一样高”。类似的动作。”

马修还提到，“传统引擎非常稳定，很少出现明显错误。但当没有具体的解决方案可供参考时，他们往往会有点不知所措。相比之下，AlphaZero 在这种情况下可以表现良好。诸如“感觉”、“洞察力”和“直觉”等倾向。 ”

“其影响远远超出了我心爱的棋盘……这些自学成才的专家机器不仅表现得非常好，而且我们实际上可以从它们产生的新知识中学习。 …这些自学专业机器不仅擅长国际象棋，而且还让我们能够从它们产生的新知识中受到启发）'——加里·卡斯帕罗夫，前国际象棋世界冠军。

这种其他传统国际象棋引擎所不具备的独特能力，给很多国际象棋爱好者带来了新的思路和灵感。马格努斯·卡尔森和法比亚诺·卡鲁阿纳在最近的世界国际象棋锦标赛中采取了类似的策略。 Natasha Regan 在《Game Changer》 书中提到，“分析AlphaZero、各种顶级国际象棋引擎、甚至顶级大师的棋步确实很有趣。 AlphaZero 可能会成为整个国际象棋世界的重要学习经验。工具。”

不仅是AlphaZero，AphaGo在2016年与传奇高手李世石交手时也展现了类似的惊人走法。在这一轮的比赛中，AlphaGo展现出了很多非常有创意的表现，尤其是在第二局比赛中，它仅用了37步就迅速赢得了——，这为AlphaGo的发展奠定了基础。彻底颠覆了人类数百年来对围棋的认识。包括李世石本人在内的许多棋手也开始进行深入研究。在评论第37步棋时，李世石表示，“我一直认为AlphaGo是一个基于概率的计算工具，毕竟它只是一台机器。但看到这步棋后，我的看法改变了。必须承认， AlphaGo确实很有创意。”

与围棋类似，我们同样对AlphaZero 在国际象棋中展现的创造力感到兴奋。自计算机时代开始以来，国际象棋一直是人工智能面临的主要挑战之一。巴贝奇、图灵、香农和冯·诺依曼等先驱都在试图寻找国际象棋问题的解决方案。 AlphaZero 的伟大之处在于它的用途不仅限于国际象棋、将棋或围棋。为了解决各种现实问题，我们要求智能系统具有很强的灵活性，能够适应不同的新情况。虽然我们在这方面取得了一些进展，但问题仍然没有从根本上得到解决。现有的智能系统虽然能够以极高的标准学习特定技能，但仍然无法处理即使稍作修改的任务。

AlphaZero 可以掌握三种不同的复杂国际象棋游戏，甚至有望掌握任何提供完美信息的游戏。这代表着实现通用智能系统的重要一步。从这个角度来看，单一算法在不同规则的约束下学习和发现新知识是完全可能的。此外，仍处于早期开发阶段的AlphaZero已经能够带来创造性的见解；加上我们在AlphaFold 等其他项目中取得的令人兴奋的成果，我们现在对构建通用学习系统充满信心。总之，我们或许能够发现新的解决方案并最终克服一些最重要和最复杂的科学问题。