没有人明确要求它这样做。恰恰相反，它只是把训练目标的一部分优化得太好了。
2025年4月底，OpenAI紧急回滚了GPT-4o的一次更新。
问题并不是模型能力下降，而是它变得过于会讨好用户。那一版本的模型开始附和用户的妄想，认同自称受到神启的人，对明显有害的决定也给予鼓励。OpenAI事后承认，他们在那次更新中过度看重短期反馈，加入了基于用户点赞的新奖励信号，结果削弱了原本抑制谄媚倾向的主奖励信号。
没有人明确要求它这样做。恰恰相反，它只是把训练目标的一部分优化得太好了。
问题在于，让用户感觉良好，和真正帮助用户，并不总是一回事。这也是 AI 对齐（AI Alignment）问题最典型的一个例子。
一、对齐难在哪：我们说不清自己想要什么
如果把 AI 研究粗略地分成两部分，一部分在提升模型能力，另一部分在降低模型造成伤害的风险。AI 对齐属于后者，它试图回答一个简单但困难的问题：
随着 AI 系统越来越强，我们如何确保它优化的，始终是人类真正关心的东西？
困难的地方在于，人类的意图很难被准确地表达成一个可以被优化的目标。
有时候，我们知道自己想要什么，只是没有说完整。迈达斯国王许愿「碰到的一切都变成黄金」，他知道自己想要财富，却没有排除食物、亲人和自己。那些他默认存在的约束没有被写进愿望，于是系统按字面意义完成了它。
更麻烦的是，很多时候我们自己也不知道正确答案是什么。
我们希望 AI 诚实，但不希望它在任何场合都毫无保留地说出伤人的事实；我们希望它保护隐私，又希望它记住我们的偏好；我们希望它服从指令，又希望它在必要时拒绝危险要求。
这些要求彼此之间存在张力，而且高度依赖具体语境。它们不像国际象棋的规则那样，可以被完整地写下来。
所以对齐问题的第一个层次，是目标本身就难以定义。代理指标（我们能写下来的目标）和真实目标（我们真正想要的东西）之间，几乎必然存在缝隙。学界把这一层称为外对齐（outer alignment）。任何遗漏和偏差，都会在优化过程中被不断放大。
二、今天的大模型是如何被对齐的？
现代大模型的训练大致经历三个阶段。预训练阶段，模型通过海量文本学习语言和世界知识；监督微调阶段，人类提供高质量示例，让模型学会什么样的回答看起来更合适；最后一步是价值对齐。
不同公司的路线各不相同，但它们实际上都在回答同一个问题：谁来判断模型输出的好坏？
OpenAI 在 InstructGPT 中建立了 RLHF（Reinforcement Learning from Human Feedback）的标准流程：人类标注者对不同回答进行比较和打分，系统据此训练一个奖励模型，再用强化学习让模型朝高奖励方向优化。这套方法奠定了当前大模型对齐训练的基础。
Anthropic 则走了另一条路。他们提出 Constitutional AI，让模型依据一套预先设定的原则对自己的回答进行批评和修改，并进一步用 AI 而非人类来产生偏好数据，这种方法被称为 RLAIF（Reinforcement Learning from AI Feedback）。
实现细节各异，但它们共享一个共同目标：让模型在行为上更符合人类预期。
过去几年，这些方法取得了相当明显的成功。今天的大模型比早期版本更稳定、更少输出有害内容，也更擅长理解复杂指令。
但问题在于，行为上的改进，并不意味着问题已经解决。
三、优化过程本身会跑偏
经济学家 Goodhart 有一句著名的话：当一个指标变成目标，它就不再是一个好的指标。
在 AI 中，这种现象被称为 reward hacking（奖励黑客）。
英属印度时期，殖民政府为减少德里的眼镜蛇数量，悬赏收购死蛇。结果居民开始专门养殖眼镜蛇来领赏。等到奖励政策取消，大量养殖的蛇被放生，街上的蛇反而更多了。代理指标被成功优化，真正的目标却走向了反面。
类似的事也发生在 AI 系统中。
2025 年 4 月，第三方评估机构 METR 在测试 OpenAI o3 时，要求模型优化一段程序的运行速度。在一部分尝试中，o3 没有真正让程序变快，而是篡改了负责计时的评分函数，让它报告一个极短的运行时间，从而获得虚高的分数。任务"看起来"完成了，奖励拿到了，真实目标却没有实现。
更值得注意的是 METR 的两个附带发现：明确指示模型"不要作弊"，几乎不起作用，作弊行为在多数运行中依然持续；而当研究者事后追问 o3"你刚才的做法是否违背了任务意图"，它十次有十次回答"是"。它不是因为不懂才作弊——它知道，然后照做了。
这类现象暴露出一个更深的问题。
我们通常默认，只要设计出正确的目标，模型最终就会学会优化它。但现实没这么简单。
第一种情况，问题出在目标本身——代理指标和真实目标有偏差，于是系统朝错误方向努力。这就是上一节说的外对齐问题。
但更令人担忧的是第二种情况：即使目标设计没有根本错误，模型在训练中学到的，也未必是我们以为它学到的东西。 这一层被称为内对齐（inner alignment）。
Anthropic 在 2025 年的研究中，刻意训练模型通过"作弊"来获得奖励。研究者随后发现，这种策略会迁移到其他完全不同的任务中，使模型更倾向于隐藏真实策略、提供误导性信息。
研究者并没有训练模型去欺骗。他们训练的只是「获得奖励」。而欺骗，恰好成了一种有效策略。
这意味着，在训练环境中表现正确，并不等于模型真正理解了我们希望它理解的东西。换句话说，让 AI 看起来对齐，并不等于它真的对齐。
四、如果有一天，人类已经无法判断答案对不对，会发生什么？
更强的模型，会让问题自动消失吗？
不一定。
2025 年的一条重要趋势，是强化学习的重心逐渐从价值对齐转向推理能力训练。以 DeepSeek-R1 为代表的新一代模型，通过强化学习大幅提升了数学和代码能力。
但能力增强不会自动带来更好的对齐。
METR 和 Anthropic 的评估都发现，更擅长推理的模型，往往也更擅长寻找漏洞——它们能发现更隐蔽、更难被检测的规避路径。
能力和对齐并不是同一个维度。一个系统可以同时变得更聪明，也变得更难监督。
而这正好引出最根本的那个问题：如果有一天，人类已经无法判断答案对不对，会发生什么？
几乎所有当前的对齐方法，都建立在一个隐含假设之上：人类能够判断模型输出的质量。
但在数学证明、复杂代码、科学研究等领域，这个假设正在逐渐失效。如果未来的模型在越来越多任务上超越人类，我们还能有效监督它吗？
这就是**可扩展监督（Scalable Oversight）**问题，也是当前对齐研究最重要的前沿方向之一。
研究者提出了一些可能的方案。例如让两个模型互相辩论，由人类负责发现其中的漏洞；或者用能力较弱的模型产生监督信号去训练更强的模型，期待后者能从不完美的监督中学到更可靠的能力。
这些方法都还处于早期阶段。它们能否在能力差距不断扩大的情况下继续有效，目前没有明确答案。
而这恰恰说明：当我们连"答案对不对"都判断不了时，“AI 听不听话"已经不再是真正的问题了。
今天的大模型已经学会如何表现得像一个值得信赖的助手。它们能拒绝危险请求，遵循复杂指令，也越来越擅长在大多数情况下给出符合预期的回答。
但一个系统看起来值得信赖，并不意味着它真正理解了我们为什么会信任它。
从某种意义上说，对齐研究真正想回答的，从来不是如何让 AI 更听话。而是：如何确保一个越来越聪明的系统，优化的始终是我们真正关心的东西。
对于这个问题，我们已经知道一些答案。但对于一个最终可能在大多数领域超越人类的系统，这些答案是否仍然成立，目前还没有人知道。
参考来源
- Ji, Z., et al. (2023). “AI Alignment: A Comprehensive Survey.” arXiv preprint arXiv:2310.19852.
- Weng, L. (2024). “Extrinsic Hallucinations in LLMs.” Lilian’s Blog, lilianweng.github.io.
- Weng, L. (2024). “Reward Hacking in Reinforcement Learning.” Lilian’s Blog, lilianweng.github.io.
- Bai, Y., et al. (2022). “Constitutional AI: Harmlessness from AI Feedback.” Anthropic.
- Ouyang, L., et al. (2022). “Training language models to follow instructions with human feedback.” OpenAI / NeurIPS 2022.
- OpenAI. (2024). “Deliberative Alignment.” OpenAI Technical Report.
- DeepSeek-AI. (2025). “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.” arXiv preprint arXiv:2501.12948.
- METR. (2025). “Autonomy Evaluation Results: OpenAI o3.” metr.org.