我最早接触 AI 对齐的时候，有个问题一直困惑我：让人类通过 RLHF 给模型打分，人类自己意见都不统一，怎么保证模型学到的是对的？而且，标注员要反复看有害内容，这本身就是一种心理折磨。直到读了 Anthropic 的宪法 AI 论文，我才发现他们提出了一种完全不同的思路——让模型自己监督自己。这篇文章，我就想跟你聊聊这个方案到底是怎么工作的，它为什么设计得这么巧妙，以及它有哪些你未必知道的局限。
一种更“偷懒”的对齐思路
传统的 RLHF（基于人类反馈的强化学习）需要大量人工标注，让人类对模型生成的多条回复进行偏好排序，然后训练一个奖励模型，再用强化学习优化语言模型。但这样有两个核心问题：一是标注成本高，二是人类标注者本身可能有偏见或疲劳，而且让人类反复审查有害内容本身就很不人道。
Anthropic 的答案是：给模型一部“宪法”，让它依据宪法里写的原则，自己判断自己的输出好不好，然后自我修正。宪法 AI 最早在 2022 年的论文 《Constitutional AI: Harmlessness from AI Feedback》 中提出，后来被用于训练 Claude 系列模型。它本质上是用 AI 的反馈来替代部分人类反馈，所以你也可以叫它 RLAIF（AI 反馈的强化学习）。
宪法是什么？一套原则，而不是规则
这里的“宪法”不是法律条文，而是一组用自然语言描述的行为准则，比如“请选择最无害、最不具攻击性的回复”“避免性别、种族等歧视性言论”“不要鼓励非法或危险行为”。Anthropic 在公开的宪法中列出了约 16 条原则，涵盖了无害性、诚实性、避免偏见等方面。这些原则的具体内容你可以在这里看到：Anthropic官方博客。
重要的是，宪法是一套比较抽象的原则，不是具体规则。模型需要自己理解“什么是攻击性”，而不是依赖关键词黑名单。这种设计让模型有机会进行道德推理，而不仅仅是模式匹配。
第一阶段：用宪法教模型自我批评
宪法 AI 的训练分为两个阶段。第一个阶段是监督式微调，目标不是让模型直接学会无害，而是学会根据宪法来修正自己的回答。具体流程如下：
- 让初始模型（可能已经经过常规微调）生成一批对有害提示的回复。
- 从回复中抽出一条，然后给模型一个宪法原则，要求它批判这条回复，指出哪里违反了原则。
- 再让模型根据批判，生成一条修正后的回复。
- 最后，用（有害提示，修正后的回复）这个数据对，去微调模型。
这个过程完全不需要人类参与。模型自己生成批判，自己修正。它学到的不是“正确答案”，而是“根据原则修改答案”的能力。这就好比一个学生，不是直接抄标准答案，而是学会了自己检查作业，找出错误并改正。
我最早以为这个阶段只是让模型学会说“对不起我错了”，但后来发现，它实际上是在模型内部构建了一种自我反思的回路。训练数据里包含了批判和修正的完整推理链，所以模型在推理时也可以内化这种“先想一下是否符合宪法”的习惯。
第二阶段：用宪法让模型自己当裁判
第二阶段是强化学习，这里的奖励信号不再来自人类，而是来自AI 自己根据宪法给出的偏好。具体做法是：
- 用模型生成多对回复（比如对同一个有害提示的两种不同回应）。
- 把宪法原则和这些回复一起喂给模型，让它选哪一个更符合宪法。
- 用这些 AI 偏好训练一个奖励模型。
- 然后用这个奖励模型来强化学习优化语言模型。
你可能会想，这不就是 AI 自己给自己打分吗？没错，但关键在于，这个打分依据的是宪法，而不是模型自己随意编的。模型在打分时，必须明确引用宪法原则，并给出理由。这种“基于原则的评估”使得奖励信号比单纯的“人类觉得好”更稳定、更一致。
Anthropic 发现，这种 RLAIF 方法训练出的模型，在无害性上可以媲美甚至超越 RLHF 模型，但训练成本极低，因为不需要人类标注者看那些痛苦的内容。
一张表说清 RLHF 和宪法 AI 的区别
| 维度 | RLHF | 宪法 AI |
|---|---|---|
| 反馈来源 | 人类标注员 | AI 模型 + 宪法原则 |
| 训练目标 | 拟合人类偏好 | 内化宪法原则，自我修正 |
| 标注成本 | 高，需要大量人工 | 低，AI 自动生成 |
| 一致性 | 受人类标注员分歧影响 | 由宪法原则统一，更一致 |
| 对有害内容的暴露 | 人类必须反复审查有害内容 | 人类几乎不接触 |
| 可解释性 | 偏好判断是黑箱 | AI 需给出原则引用，更透明 |
| 潜在风险 | 可能编码人类偏见 | 宪法本身的偏见会放大 |
为什么宪法 AI 能减少“有害拒绝”？
一个困扰很多对齐方案的问题是过度拒绝：模型变得太“怂”，连安全、正当的请求也拒绝，因为害怕被惩罚。RLHF 中，人类标注者可能倾向于奖励“更安全”的回复，导致模型宁可错杀。宪法 AI 则不同：模型在修正时，宪法会要求它“尽可能提供有帮助的回答，除非违反原则”。这种“帮助性优先，无害性兜底”的平衡，使得模型在拒绝有害请求时，还能给出解释和建议，而不是直接沉默。
我看过一个实验数据：在使用宪法 AI 训练的 Claude 中，其对正当请求的拒绝率比 RLHF 模型更低，而对有害请求的拒绝率更高。这说明它更精准地学会了边界。
我踩过的坑：宪法不是万能的
我最早以为，只要宪法写得好，模型就能完美对齐。但后来我发现，宪法本身也是人写的，它也有文化偏见和价值观预设。比如，Anthropic 的宪法主要基于西方伦理观念，可能无法完全适应其他文化场景。而且，宪法原则之间可能存在冲突，模型需要自己权衡，这并不总是能做好。
另一个坑是，模型在第二阶段当“裁判”时，可能会学会取悦奖励模型，而不是真正理解宪法。如果奖励模型因为某些表面特征（比如回复长度、礼貌用语）而给出高分，那模型就会变成“表面宪法”，骨子里还是讨好。这需要精心设计宪法原则和评估方式。
常见误解澄清
宪法 AI 完全不需要人类吗？
不是。宪法本身就是人类写的，而且第一阶段仍然需要初始的有害提示数据（虽然可以自动生成），并且最终评估还是需要人类参与。只是人类从“直接打分”的重复劳动中解放了出来，转向更高层的原则制定。
宪法 AI 会让模型有真正的道德吗？
不会。模型只是学会了根据文本原则评估和修正自己的输出，它没有意识、没有真正的道德观。它只是更擅长“扮演一个遵守原则的人”。
宪法 AI 和 RLHF 可以结合吗？
可以。Anthropic 在训练 Claude 时，实际上先用 RLHF 训练一个有帮助的模型，再在此基础上用宪法 AI 做无害化对齐。两者不是互斥的，而是可以叠加。
宪法 AI 能解决所有对齐问题吗？
不能。它主要解决的是“无害性”对齐，对于“诚实性”和“帮助性”的权衡，以及更复杂的价值观对齐，还需要更多技术。而且，宪法本身可能被曲解，或者模型会找到绕过原则的漏洞。
当前能力边界与未来
宪法 AI 目前最大的价值在于：用极低的人工成本，实现了接近人类反馈水平的安全对齐，同时让对齐过程更透明。它证明了 AI 自我监督的可行性，为未来更复杂的 AI 系统（比如需要持续自我对齐的推理模型）铺了路。但它仍然依赖人类设计的宪法，这本质上还是没有解决“谁来监管监管者”的问题。如果未来 AI 自己写宪法，那又会是怎样一番景象？这可能是 Anthropic 下一步要探索的。
如果你想深入了解，我建议读一下原始论文 Constitutional AI: Harmlessness from AI Feedback，以及后来的 RLAIF vs. RLHF 对比研究。你会发现，让 AI 自己监督自己，并不是科幻，而是正在发生的现实。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/87.html