GPT-4发布
OpenAI发布GPT-4，展现强大的多模态能力和推理能力，引发全球对AGI的讨论。
事件概述
2023年3月，OpenAI发布了GPT-4，这是一个大型多模态模型，能够接受图像和文本输入并输出文本。GPT-4在多项基准测试中展现出接近人类水平的表现，包括律师考试、医学考试等。其强大的推理能力、代码能力和多模态理解能力再次引发了关于通用人工智能(AGI)可能性的广泛讨论。GPT-4的出现标志着大语言模型已经进入了更加成熟和实用的阶段。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
GPT-4 由 OpenAI 于 2023 年 3 月 14 日发布（技术报告《GPT-4 Technical Report》）。它是 GPT 系列首个「大型多模态模型」：可接受图像与文本输入、输出文本。其研发动机是在 GPT-3.5 之上进一步提升复杂推理、指令遵循与安全性，并验证「可预测的规模化」——即能用千分之一算力的小模型准确预测大模型表现，从而降低训练风险。GPT-4 在律师资格考试中达到约前 10% 水平（GPT-3.5 仅后 10%），并在多语言、多科目基准上大幅领先，标志大模型能力跨过重要阈值。相比单纯扩大参数，它更强调把复杂推理与安全可控作为发布前的硬指标。
核心要点
- 1它是首个支持「图像+文本」联合输入的多模态 GPT 模型，其输出仍为文本。
- 2在模拟律师资格考试中达前 10%（GPT-3.5 约后 10%），复杂任务可靠性显著提升。
- 3用 6 个月对抗测试与 ChatGPT 经验做迭代对齐，事实性与安全性更好。
- 4提出「可预测规模化」：以小模型外推大模型表现，提升训练可控性与安全性。
- 5在 MMLU 涵盖的 57 个学科基准上大幅领先，并在 24/26 种语言上超过 GPT-3.5。
- 6技术报告刻意不披露架构、参数规模与训练细节，出于竞争与安全考量。
原理与技术细节
GPT-4 仍是 Transformer 架构、以「预测下一个 token」做预训练，再经 RLHF 后训练对齐。其最大公开创新不在结构细节（报告未披露），而在工程与训练方法论：OpenAI 与 Azure 从头共建超级计算机，并把整个深度学习技术栈重写了一遍，使训练过程空前稳定——这是首个能提前准确预测性能的大模型。所谓「可预测规模化」，是指他们用不超过 GPT-4 千分之一算力的小模型做实验，拟合出损失随规模变化的规律，再外推到全量训练，从而提前判断能力边界与风险。多模态方面，图像与文本被拼成统一输入，由同一模型处理，但图像输入功能初期仅限合作伙伴使用。
影响与后续
GPT-4 把大模型能力推过「人类水平专业考试」的门槛，并确立了多模态与「可预测规模化」的研究范式，深刻影响后续模型设计。它推动了 AI 在医疗、法律、编程等高风险场景的试用，也带来更严峻的偏见、虚假信息、隐私与网络安全风险。OpenAI 同期开源了 Evals 评测框架，鼓励社区发现模型短板。其不公开训练细节的做法也引发「前沿模型透明度」之争。能力跃升与安全隐患并存，使 AI 治理议题更加紧迫。
学习要点
- 多模态（图+文）正成为大模型默认形态，输入不再局限于纯文本。
- 「可预测规模化」让大模型训练从玄学走向可工程化风险管理。
- 复杂任务上的可靠性，比单点基准更能体现代际差距。
- 前沿模型的能力与安全必须同步设计，透明度是治理核心议题。
术语表
能同时处理多种输入形态（如图像、文本、音频）并统一建模的模型，GPT-4 可图文输入、文本输出。
用极小算力的模型实验外推大模型性能与风险，使训练过程可控、可预判的方法论。
主动用刁难性输入探查模型弱点的安全评估方式，用以在发布前发现并修复风险。