GAN：生成对抗网络
Ian Goodfellow 提出生成对抗网络，开创深度生成模型的新范式。
事件概述
2014年，Ian Goodfellow 在一次深夜讨论中构思出了生成对抗网络（GAN）的想法。GAN 包含两个神经网络：生成器尝试创建逼真的假样本，判别器尝试区分真假样本。两个网络相互博弈，在对抗中共同进步。这种架构能够学习复杂的数据分布，生成高度逼真的图像、视频和音频。GAN 的提出引发了生成模型研究的热潮，衍生出 DCGAN、StyleGAN、CycleGAN 等众多变体，在图像合成、风格迁移、数据增强等领域有广泛应用。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2014 年之前，生成模型要么依赖显式概率密度（如 RBM、DBM），训练常需马尔可夫链采样，要么难以生成逼真的高维样本。蒙特利尔大学的 Ian Goodfellow（导师 Yoshua Bengio）在与同事聚餐时灵光一现：与其手工设计损失，不如让另一个神经网络来当「评委」。当年他们赶在 NeurIPS 截止前一周完成论文《Generative Adversarial Networks》，提出用两个网络相互博弈来生成数据，开创了对抗式生成这一全新范式。
核心要点
- 1Goodfellow 等人 2014 年提出 GAN，用生成器与判别器相互博弈来生成数据。
- 2生成器把随机噪声映射为假样本，判别器判断样本来自真实数据还是生成器。
- 3训练是一个极小极大（minimax）零和博弈，理论均衡下最小化 JS 散度。
- 4两个网络交替用反向传播更新，无需显式密度或马尔可夫链。
- 5它使逼真图像生成成为可能，催生 CGAN、WGAN、StyleGAN 等大量变体。
- 6GAN 在 NeurIPS 2014 起初反响平平，后成为生成式 AI 的基石之一。
原理与技术细节
GAN 同时训练两个网络。生成器 G 接收低维随机噪声 z，输出一张「伪造」样本（如图像）；判别器 D 接收一张图 x，输出一个标量——x 来自真实数据的概率。二者构成零和博弈：D 想尽量分清真假（最大化对真实样本的 log D(x) 与对生成样本的 log(1−D(G(z)))），G 想让伪造样本以假乱真（等价于最大化 log D(G(z))）。训练时交替更新：先固定 G 更新 D 若干步，再固定 D 更新 G，整个系统用反向传播端到端优化。打个比方，G 是制造伪钞的骗子，D 是验钞警察，二人在对抗中各自升级，直到警察难以分辨、骗子技艺精湛。理论上，当博弈达到纳什均衡时，生成分布与真实分布一致。
影响与后续
GAN 开创了「对抗式生成」范式，使高保真图像、音频、视频合成成为现实，并衍生出条件 GAN、WGAN、CycleGAN、StyleGAN、ProGAN 等庞大谱系，深刻影响了计算机视觉与生成式 AI（也为后来的扩散模型提供了思想背景）。它也启示了博弈式训练的更广泛思路。其局限同样突出：训练动态不稳定、易崩溃，且常见「模式坍塌」——生成器只产出少数几种样本、丧失多样性；为此学界提出了大量稳定化技巧与替代目标（如 WGAN 的 Wasserstein 距离）。
学习要点
- 把「损失函数」本身变成一个可学习的网络，是对训练范式的根本创新。
- 生成器与判别器的对抗，是「以博弈代替手工设计」的典范。
- 理论优雅（minimax）与实际训练困难（不稳定、模式坍塌）并存。
- 对抗思想后来广泛外溢到半监督学习、域适应等方向。
术语表
GAN 中负责把随机噪声转换为逼真假样本的网络，目标是骗过判别器。
GAN 中负责判断输入样本来自真实数据还是生成器的网络，扮演「评委」角色。
GAN 训练故障：生成器只产出少数几种样本，丧失对真实数据多样性的覆盖。