AlphaGo战胜李世石
DeepMind的AlphaGo以4:1战胜围棋世界冠军李世石，展示了深度强化学习的威力。
事件概述
2016年3月，Google DeepMind开发的AlphaGo在首尔以4:1的比分击败了韩国围棋九段高手李世石。围棋因其巨大的搜索空间一直被认为是AI难以攻克的堡垒。AlphaGo结合了蒙特卡洛树搜索与深度神经网络（策略网络和价值网络），通过自我对弈进行强化学习。这一胜利被视为人工智能发展史上的重要里程碑，标志着AI在复杂决策领域取得了突破性进展。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
围棋因其巨大的搜索空间（远超宇宙原子数）长期被视为人工智能的「终极棋类挑战」，传统搜索方法难以为继。DeepMind 由 David Silver、Aja Huang、Demis Hassabis 等人研发 AlphaGo，结合深度神经网络与树搜索。2015 年 10 月它以 5:0 击败欧洲冠军樊麾；2016 年 1 月相关论文登上《Nature》封面；2016 年 3 月 9–15 日，它在韩国首尔以 4:1 战胜世界顶级棋手李世石，全球逾 2 亿人观看，成为 AI 史上的标志性事件。
核心要点
- 1DeepMind 的 AlphaGo 2016 年以 4:1 战胜李世石，标志 AI 攻克围棋。
- 2系统融合蒙特卡洛树搜索（MCTS）与策略网络、价值网络。
- 3先用人类棋谱监督学习，再通过自我对弈强化学习提升棋力。
- 4策略网络收窄搜索广度，价值网络评估局面胜率、降低搜索深度。
- 5这是从「感知」迈向「决策/规划」的关键跨越。
- 6事件引发全球对 AI 能力、创造力与伦理的广泛讨论。
原理与技术细节
AlphaGo 把「两个网络 + 一棵搜索树」结合起来。策略网络（policy network）给定局面预测下一步的好棋，用来缩小搜索的广度；价值网络（value network）给定局面评估胜负概率，用来替代把棋走到终局才判定的昂贵模拟，降低搜索深度。训练分两步：先用大量职业棋谱做监督学习，让策略网络模仿人类走法；再用强化学习让当前策略与旧版本自我对弈，奖励取胜，从而超越人类定式。真正的落子由蒙特卡洛树搜索完成——它用策略网络选择要展开的分支、用价值网络评估叶子局面、用快速走子补全模拟，在「探索—利用」间平衡，挑出最优一手。简言之：人类棋谱给起点，自我对弈打磨棋力，树搜索在实战中做有依据的决策。
影响与后续
AlphaGo 的胜利象征 AI 从「感知」（识别）走向「决策/规划」（在巨大可能性中选出行动），极大提振了公众对深度强化学习的信心，并引爆了 AI 投资与研究热潮。其「监督预训练 + 自我对弈」范式后来演化为 AlphaZero，推广到国际象棋、将棋乃至蛋白质折叠（AlphaFold）。局限是系统专用于围棋、训练与对弈依赖海量算力，且「智能」局限于单一任务；比赛中展现的「创造性」落子也引发了对可解释性与 AI 本质的持续讨论。
学习要点
- 复杂决策可分解为「评估局面 + 选择动作 + 有依据搜索」三部分。
- 人类数据提供起点，自我对弈能让系统超越人类水平。
- 把神经网络（评估/策略）与搜索（规划）结合，是攻克大状态空间的关键。
- AI 的里程碑意义常在「感知→决策」的跨越，而非单纯胜负。
术语表
通过随机模拟与逐步扩展搜索树来权衡探索与利用、挑选最优行动的规划算法。
前者预测下一步走法（缩小搜索广度），后者评估局面胜率（降低搜索深度），是 AlphaGo 的两大神经网络。
让模型与自身（或旧版本）对弈来生成训练信号、在无人标注下持续提升能力的强化学习方式。