AlphaGo Zero：无需人类知识
DeepMind 发布 AlphaGo Zero，仅通过自我对弈学习，超越所有围棋AI。
事件概述
2017年10月，DeepMind 发布了 AlphaGo Zero。与战胜李世石的 AlphaGo 不同，AlphaGo Zero 完全不依赖人类棋谱数据，仅从围棋规则开始，通过自我对弈学习。仅训练3天就以100:0击败了战胜李世石的 AlphaGo 版本。AlphaGo Zero 使用单一神经网络同时输出策略和价值，采用蒙特卡洛树搜索引导学习。这一成果证明了强化学习在复杂决策问题上的巨大潜力，展示了AI可以在没有人类先验知识的情况下发现新知识。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2017 年 10 月，DeepMind 在《自然》发表论文《Mastering the game of Go without human knowledge》，介绍 AlphaGo Zero。一年前的 AlphaGo 依靠人类棋谱监督学习开局，而 Zero 版完全抹去人类数据：从随机初始化的神经网络开始，只用围棋规则与自我对弈的强化学习，从零开始学习。结果震撼业界：训练 3 天即以 100:0 击败击败李世石的那个 AlphaGo 版本，还以 89:11 击败当时最强的 AlphaGo Master。更重要的是，Zero 下出许多人类棋谱中罕见但事后被认可的新定式，证明了在封闭规则系统里，自我对弈可以发现超越人类经验的知识——这是「AI 发现知识」而非仅仅「AI 模仿知识」的标志性转折。
核心要点
- 12017 年 10 月发布，完全不使用人类棋谱，从规则与自我对弈从零学习。
- 2训练 3 天即 100:0 击败战胜李世石的 AlphaGo 版本，89:11 击败 AlphaGo Master。
- 3单一神经网络同时输出策略与价值，取代初代分离的策略/价值网络。
- 4蒙特卡洛树搜索不再需要快速走子网络 rollout，直接由策略网络先验引导。
- 5发现了人类棋谱中罕见的新定式，展示了 AI 自主发现知识的能力。
原理与技术细节
AlphaGo Zero 的核心是「搜索即学习信号」。训练循环是：用当前神经网络指导 MCTS 自我对弈，每一步的落子概率由搜索次数分布给出；对局结束后，用「搜索概率」作为策略目标、用最终胜负作为价值目标，让网络拟合 MCTS 的改进版决策。这样网络学到的不是某个人类高手的风格，而是「在搜索增强后的局面里什么最好」——自我对弈的数据质量随网络提升而提升，形成正反馈。架构上，策略与价值共享一个残差网络躯干，策略头输出落子概率，价值头输出胜率估计；MCTS 的每个节点用网络的先验概率扩展，用价值估计替代耗时的 rollout 到终局。这套「神经网络 + 树搜索 + 自举数据」的配方后来被 AlphaZero 推广到国际象棋与将棋，也成为 MuZero 与今天通用 RL 智能体的思想源头。
影响与后续
AlphaGo Zero 把强化学习的叙事从「超越人类」推进到「不需要人类」。它证明了在规则完全已知、可无限自我模拟的领域，自举（bootstrapping）可以产生超越人类经验的知识，这直接启发了后来数学与算法发现（AlphaTensor、AlphaDev）与科学模拟（AlphaFold）的研究路线。工程上，它简化了初代 AlphaGo 的复杂管线（去掉人类数据、快速走子网络与大量特征工程），是「简单配方 + 规模」思想的又一次胜利。局限也必须说明：它依赖完美模拟器与零成本环境，无法直接迁移到真实世界；训练算力巨大（数千 TPU 天）；且只适用于零和、完全信息、规则封闭的游戏。离开这些条件，自举数据就不够用——这正是当前大模型需要人类数据与反馈的原因。
学习要点
- 自我对弈 + 搜索增强的数据自举，可以在封闭系统中超越人类经验。
- 让网络拟合搜索分布而非直接拟合胜负，是自举 RL 的关键技巧。
- 「无需人类数据」的成立前提是完美模拟器，真实世界没有这个奢侈品。
- 简化管线（去掉人工特征与多网络）常常比堆叠组件更接近本质。
术语表
通过选择-扩展-模拟-备份四步迭代构建不对称搜索树的决策算法，AlphaGo 的核心。
智能体与自己对战产生训练数据的强化学习范式，数据分布随策略改进而自举提升。
分别输出动作概率与局面评估的两个网络，AlphaGo Zero 将其合并为单一躯干双头结构。