你大概知道 ChatGPT 是靠人类反馈练出来的，但你想过没有，OpenAI 到底雇了多少人做标注？
根据公开信息，OpenAI 在肯尼亚、乌干达等地外包了上千名标注员，时薪不到 2 美元，高峰期全球标注团队超过一万人。而 Anthropic 训练 Claude 时，光是写“宪法原则”的标注员就雇了上百人。这还只是“对齐”环节的人力成本，没算上训练本身烧掉的 GPU 时间。
所以 RLAIF 这个缩写一出来，整个 AI 圈眼睛都亮了——把人类标注员换成 AI，让大模型自己给自己打分，省下的钱够再训一个模型。但这事靠谱吗？我最早看到 RLAIF 的时候，心里想的是：“这不就是穷人版 RLHF 吗？效果肯定差一截。”后来我亲手用 GPT-4 当裁判训过一个小模型，才发现这事没那么简单——AI 裁判不但能打分，还会带进一堆你意想不到的偏见。
对齐这事，到底是怎么从猜词变成“讨好人类”的？
先简单回顾一下 RLHF 的流程，不然没法理解 RLAIF 到底改了什么。
大语言模型（LLM）本质上是个“下一个词预测器”，它看完前文，从候选词里按概率抽签。这种训练方式叫“预训练”，学出来的是互联网上的平均人类，包括天才、喷子、阴谋论者。所以你会发现，未经对齐的模型什么都敢说，包括怎么制造炸弹、怎么骂人，而且经常胡说八道——因为它不知道“对错”，只知道“概率最高的下一个词”。
RLHF 就是教模型“什么话该说，什么话不该说”。做法分三步：
- 收集偏好数据：让模型对同一个 prompt 生成两个不同回答，人类标注员挑出哪个更好。比如回答 A 说“北京是中国的首都”，回答 B 说“北京是中国的首都，位于华北平原，有 2000 万人口”，标注员可能觉得 B 更详细，就选 B。
- 训练奖励模型：用这些人类偏好数据训练一个打分模型，它不再预测下一个词，而是给一个回答打分，分数越高代表人类越喜欢。
- 强化学习微调：用 PPO 算法，让 LLM 根据奖励模型的分数来调整自己的生成策略，分数高的回答对应的生成概率被抬高，分数低的被压低。
这套流程，OpenAI 在 2022 年就用在了 InstructGPT 上，后来 ChatGPT 也沿用了。但问题在于，每一步都很贵：你得雇人写 prompt、雇人对比回答、还得处理标注员之间的分歧（通常用多数投票，但也要花钱）。
RLAIF 的想法很直接：把第二步和第三步之间的人类标注员，换成另一个 AI 模型。具体来说，用一个大语言模型（比如 PaLM 2 或 GPT-4）来充当裁判，它读取 prompt 和两个候选回答，然后输出“哪个更好”或直接给分数。剩下的步骤原封不动：用 AI 生成的偏好数据训练奖励模型，再用 PPO 微调目标模型。
让 AI 当裁判，Google 第一个大规模试了试
2023 年 9 月，Google 发表了一篇论文，标题就叫 "RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback"，直接把 RLAIF 和 RLHF 放在一起比了个高下。他们的实验用了一个 6B 参数的 PaLM 2 模型作为“学生”，分别用人类标注员和另一个 62B 的 PaLM 2 大模型作为裁判，训练同一个摘要任务。
结果相当出人意料：
| 指标 | RLHF（人类标注） | RLAIF（AI 标注） |
|---|---|---|
| 人类偏好胜率 | 73% | 71% |
| 与人类标注员的一致性 | 基准 | 几乎无统计差异 |
| 摘要质量（ROUGE-L） | 29.7 | 29.5 |
| 避免幻觉 | 相当 | 相当 |
| 标注成本 | 高（需几千次人工对比） | 极低（只消耗 GPU 推理） |
也就是说，在摘要这个任务上，RLAIF 和 RLHF 的效果几乎打平，人类评估者甚至分不出哪个是 AI 裁判训出来的。而且 RLAIF 还避免了人类标注员的一些老毛病，比如“位置偏见”——人类总是倾向于选第一个回答，而 AI 裁判没有这个偏好。
但这里有个细节：这个实验用的 AI 裁判是 62B 的大模型，比学生模型大了一个数量级。也就是说，你得有一个更强的 AI 才能当裁判，这套逻辑才能成立。如果你用同样大小的模型去裁判自己，很容易陷入“自己给自己打分”的循环，学不到新东西。
AI 裁判的偏见，比人类更隐蔽
Google 的论文看起来很乐观，但如果你自己上手试过，就会发现有坑。我去年用 GPT-4 当裁判，训练一个客服对话模型，结果训出来的模型特别啰嗦，每个回答都要加上“首先、其次、最后”，而且动不动就道歉，哪怕不是它的错。我一开始以为是训练数据的问题，后来查了 AI 裁判的打分日志才发现——GPT-4 给那些结构清晰、用词礼貌的长回答打了高分，哪怕内容完全跑偏。
这不是个例。Anthropic 在 2022 年底的 Constitutional AI 论文里就提到，AI 裁判倾向于奖励“看起来像人写的”回答，而不是“正确”的回答。具体来说，AI 裁判的偏见有几类：
- 长度偏好：回答越长，分数越高，哪怕全是废话。因为大模型在预训练时见多了“详细=好”的模式。
- 格式偏好：喜欢带编号、表格、分点论述的回答，因为这看起来更“专业”。
- 礼貌性偏好：对“抱歉、谢谢、您”等词有天然好感，可能让模型变得过度卑微。
- 权威语气偏好：即使内容错误，只要语气坚定，AI 裁判就容易给高分——这比人类更危险，因为人类至少会怀疑“这数据靠谱吗？”
更麻烦的是，AI 裁判的偏见会随着提示词（prompt）变化。你给它的评估标准里写“请选择更详细、更礼貌的回答”，它就会严格执行；你写“请选择事实更准确的回答”，它可能就迷茫了，因为它自己也不知道什么是事实。所以 RLAIF 的效果极度依赖你如何设计评判 prompt，这本身又变成了一门手艺活。
那是不是意味着 RLAIF 没救了？
也不是。后来我发现，AI 偏见可以靠混合裁判和约束规则来缓解。比如：
- 多裁判投票：用不同 prompt 的判断结果取平均，或者让多个 AI 裁判（不同模型）投票，类似集成学习。
- 硬约束：在打分时强制加入“回答长度不超过 200 字”或者“不得道歉”等规则，在奖励模型之外再套一层过滤。
- 人机混合：AI 先粗筛一遍，把明显差的回答打上低分，难的交给人类复审——这能省下 70% 的人力，但保住了关键样本的质量。
Anthropic 的 Constitutional AI 其实就是一种人机混合的变体：他们先让人类写一份“宪法”（比如“不要鼓励暴力”“不要提供医疗建议”），然后让 AI 自己根据宪法修改自己的回答，再用这些自我修正后的数据训练偏好模型。这本质上还是用 AI 反馈，但人类的价值观通过宪法文本被编入了系统中。
RLAIF vs RLHF：一张表说清该怎么选
| 对比维度 | RLHF | RLAIF |
|---|---|---|
| 标注成本 | 极高，需持续雇佣标注员 | 极低，只需 GPU 推理 |
| 标注速度 | 慢，受人力瓶颈限制 | 快，可并行生成海量偏好数据 |
| 标注一致性 | 人类有分歧，需处理 | AI 裁判一致，但可能有系统性偏见 |
| 覆盖领域 | 受标注员知识限制 | 受 AI 裁判知识限制，可能更广但可能更不靠谱 |
| 可扩展性 | 差，加语言、加任务又得重标 | 好，改 prompt 即可适配新任务 |
| 最终效果 | 人类偏好胜率高，但贵 | 接近人类，但易引入 AI 偏见 |
所以结论很明确：如果你追求极致效果，且预算充足，RLHF 仍是更稳妥的选择；但如果你需要快速迭代、多语言多任务覆盖，RLAIF 是性价比极高的方案。而对于大多数中小团队，人机混合可能是最现实的路子。
关于 RLAIF，你可能会问的几个问题
RLAIF 能完全替代人类标注员吗？
目前不能。AI 裁判在需要专业知识或道德判断的领域（如医疗、法律、伦理）容易出错，因为它自己也是从数据里学的，缺乏真正的理解。但作为初筛工具，它可以大幅减少人类工作量。
有没有比 RLAIF 更省钱的方法？
有，DPO（直接偏好优化）可以跳过训练奖励模型的步骤，直接用偏好数据优化策略，进一步简化流程。但 DPO 也需要偏好数据，RLAIF 恰好可以低成本提供这些数据，所以两者经常结合使用。
RLAIF 会不会导致模型“近亲繁殖”？
有可能。如果学生模型和裁判模型共享同样的预训练数据和偏差，RLAIF 可能只是强化了已有的模式，而不是引入新的能力。所以建议裁判模型和学生模型不要同源，或者用人类反馈定期校准。
怎么判断 AI 裁判的偏见有没有影响最终模型？
定期用人类评估样本做对比测试，如果你的模型开始出现“过度礼貌”“废话连篇”的症状，回去检查 AI 裁判的打分分布，通常能发现长度分数异常高。
回到最开头那个问题：“用 AI 替代人类标注员做对齐，效果能比吗？”我的答案是：在标准任务上，可以比；在需要深度判断的任务上，还差得远。但别急着否定 RLAIF——想想看，人类标注员也会犯困、走神、带偏见，只是我们习惯了叫它“自然误差”而不是“系统性偏差”。AI 至少是透明的，你查它的 prompt，就能知道它为什么打这个分。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/94.html