GPT-1：生成式预训练
OpenAI 发布 GPT-1，首次展示生成式预训练在语言理解任务上的潜力。
事件概述
2018年6月，OpenAI 发布了 GPT-1（Generative Pre-Training）。Alec Radford 等人提出了"生成式预训练"的方法：首先在大量未标注文本上进行语言模型预训练，然后在特定任务上进行微调。GPT-1 包含12层 Transformer 解码器，1.17亿参数。虽然模型规模相对较小，但它证明了预训练语言模型可以有效迁移到各种下游任务，为 GPT 系列的发展奠定了方向。GPT-1 的成功启发了后来的大规模语言模型研究。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2018 年前，多数 NLP 系统为每个任务单独标注、从头训练，迁移难、标注贵。计算机视觉已证"预训练+微调"之效，NLP 却缺稳定预训练目标。OpenAI 的 Radford 等四人在 2018 年 6 月发表《Improving Language Understanding by Generative Pre-Training》（即 GPT-1），用 Transformer 解码器生成式预训练：先在大规模无标注文本上预测下一个词，再在下游任务微调，为 GPT 系列奠定范式与架构基础。
核心要点
- 1首创"生成式预训练 + 有监督微调"两段式范式，定义整个 GPT 家族的方法论。
- 2采用仅解码器 Transformer 与因果自注意力，天然适合文本生成。
- 3在 BooksCorpus 上以"预测下一个词"为目标学习通用语言表示。
- 4微调只需加一个线性分类头，即在 12 项基准中的 9 项刷新最优。
- 5用可学习位置嵌入与 BPE 分词，取代了原始 Transformer 的若干设计。
- 6虽规模不大，却是"预训练即通用初始化"这一范式转折点的证明。
原理与技术细节
GPT-1 是一个 12 层、约 1.17 亿参数的仅解码器（decoder-only）Transformer，隐藏维度 768、12 个注意力头、上下文窗口 512。预训练阶段用标准自回归目标：给定前文，最大化下一个词的对数似然，在 BooksCorpus（约 7000 本未出版书籍、约 8 亿词）上训练。微调阶段在 Transformer 顶部接一个线性分类头，用带标签的下游数据对整个模型做有监督训练，并保留语言模型辅助损失作为正则。与原始 Transformer 不同，GPT-1 采用可学习的位置嵌入而非正弦编码，并用字节对编码（BPE）做分词。其关键不在于规模，而在于证明"生成式预训练"是可复用的通用初始化。
影响与后续
GPT-1 与同年的 BERT、ELMo、ULMFiT 一道，开启了 NLP 的"预训练时代"，证明无标注文本能训练出可迁移的通用表示。它选择的"自回归解码器"路线与 BERT 的"双向编码器"分道扬镳，并最终演化为 GPT-2/3/4 与 ChatGPT。局限在于单向上下文弱于 BERT 的判别式任务表现，且 1.17 亿参数今天看来微不足道。但它的方法论遗产深远。
学习要点
- 无标注文本 + 自回归目标即可学到可迁移的通用语言能力。
- 解码器架构天然适配生成，也决定了 GPT 的后续走向。
- 范式创新（预训练→微调）比单纯堆参数更具长远价值。
- 同一年的多条路线竞争，最终由规模与生成能力胜出。
术语表
在无标注文本上以预测下文为目标预训练语言模型，再迁移到下游任务。
只保留 Transformer 解码器栈、带因果掩码的架构，逐词生成文本。
通过合并高频字节/字符对来切分词元的无损子词分词算法。