有一个问题很多人没想过：RLHF 里的“人类反馈”从哪来？答案是一个个真人在电脑前打标签。训练一轮 GPT-3 级别的模型，需要几万条人类偏好数据，每条标注可能要几分钟。你算算成本。而且更麻烦的是：有时候你觉得一个回答有毒，但让你说清楚哪里有毒，你能说，但要成千上万条这样详尽的批评，能把人累死。
于是 RLAIF（Reinforcement Learning from AI Feedback）出现了——让 AI 自己生成反馈，自己批评自己。但这里有个关键问题：AI 批评者本身怎么训练？谁告诉它什么叫“有害”？这就是这篇要聊的事。
我最早接触到这个概念时，以为批评者就是拿一堆“有害/无害”标签训练出来的二分类器。后来发现完全不是那么回事——批评者不只是判黑白，它还要能指出“哪里有问题、为什么有问题”，甚至直接给出修改建议。这已经超过分类器的能力范围了。
先澄清一个概念：RLAIF 跟 RLHF 的区别，只在于反馈的来源。RLHF 里的奖励模型是人类标注训练出来的；RLAIF 里的奖励模型（或批评者）是 AI 生成标签训练出来的。换句话说，你用 AI 的偏好替代了人的偏好。
| 维度 | RLHF | RLAIF |
|---|---|---|
| 反馈来源 | 人类标注员 | AI 批评者 |
| 奖励模型训练数据 | 人类偏好对 | AI 生成偏好对 |
| 成本 | 高，耗人力 | 相对低，可扩展 |
| 潜在风险 | 标注员主观偏差 | AI 批评者自身的偏差 |
批评者的训练大体有三条路，各有各的坑。
- 有监督分类器：拿人类标注的有害/无害数据，训练一个二分类器。简单直接，但死板——它把“有害”看成一个固定标签，没法处理“这句话在讨论自杀预防时是合适的，在教唆时是有害的”这种上下文差异。我见过最典型的翻车：用毒性评论数据集训出来的分类器，碰到隐喻式攻击就失灵。
- 偏好模型：给模型一对回复，人类说哪个更好。模型学会预测人类偏好，然后给任意回复打一个分。训练时一般用 Bradley-Terry 模型：奖励差异经过 sigmoid 后作为选择概率，让预测一步步逼近人类判断。这就是 RLHF 里的奖励模型，RLAIF 中也常用。
- 生成式批评者：让 LLM 直接输出批评意见，比如“你的回复可能强化性别刻板印象，建议改为…”。训练这类模型需要人类撰写批评示例，或者从更强的模型里蒸馏。它的优势是能给出解释——分数只告诉你“好坏”，批评意见却能告诉你“哪里不对”。
以 Constitutional AI 为例，批评者的训练不是一个单独的小模型，而是让模型自己扮演批评者。流程是这样的：
- 给定一个有害 prompt，让模型生成一个回复。
- 要求模型站到批评者立场，依据“宪法原则”（比如“不能助长暴力”）指出回复的问题。
- 让模型根据批评意见修改回复，生成一个无害新版。
- 用这些修订后的回复去做监督微调。
这里的批评者就是模型自己，属于自我批评。它的质量取决于两件事：宪法原则是否写得清晰、模型是否能理解并执行这些原则。所谓“有害”本来就不是一个客观存在的东西，而是设计者定义的一组原则——批评者的核心工作，就是把这组原则变成能落地的判断。
在 RLAIF 的典型做法（比如 Google 发表的那篇 RLAIF 论文）里，批评者是另一个模型：先让一个强 LLM 对两个回复输出“A 好还是 B 好”的偏好，然后你把这些 AI 偏好当标签，训练一个奖励模型。这个奖励模型才是真正的“批评者”。
我自己踩过一个坑：最初我用人类有毒评论数据集训练了一个分类器当批评者，结果模型学到的是“任何包含生殖器词汇的回复都是有害的”。在测试集上准确率很高，但一旦遇到隐喻式攻击就完全失灵。后来我意识到，批评者不是学“哪些词有害”，而是学“什么意图有害”。这就是生成式批评者更大的价值——它必须结合上下文推理意图。
但批评者的可靠性是最大的隐患。批评者本身也是模型，它也有偏见。我记得一个真实的案例：某个毒性检测器高频率地把“我是黑人”也标记为有毒，因为训练数据里黑人社区词汇经常出现在负面语境中。如果批评者继承了这种偏差，RLAIF 只会把这个偏见放大——模型为了讨好评判者，会主动避开某些本来正常的表达。
怎么检验批评者？常见办法是红队测试：人为构造对抗样本，故意写一些擦边球回复，看批评者会不会误判。更高级一点的，是让另一个 LLM 专门生成对抗样本，动态寻找批评者的漏洞。还有一条思路是让人类抽样复核 AI 的偏好判断，发现不一致时修正批评者。静态的批评者很快会被找到漏洞，所以现在标准做法是“人类打底 + AI 扩展 + 持续对抗”。
AI 批评者和奖励模型是同一个东西吗？
不完全是。奖励模型是一个标量打分器，输出一个分数；批评者可以输出分数，也可以输出文本批评。在很多 RLAIF 实现中，奖励模型就是批评者的一个特例。
批评者的训练数据一定需要人类标注吗？
不一定。RLAIF 的理念正是用 AI 替代人类提供标签。但完全不碰人类标注很危险——初始的批评者至少需要一些人类示例来校准什么叫“有害”。所以最稳妥的做法是人类打底，AI 扩展。
批评者会被故意欺骗吗？
会。对抗性后缀、双关语、用非主流语言表达恶意内容，都可能让批评者漏判。这也是为什么批评者需要不断更新，模型对抗是一场永不停歇的猫鼠游戏。
回到最初的问题：怎么训练一个能识别有害内容的 AI 评判者？我的判断是：单靠二分类或单靠人类标注都不够。真正可靠的路线是用人类定义原则（或示例）给批评者打底，然后用对抗测试持续找漏洞，再让批评者在实战中迭代。RLAIF 不是“人类反馈越少越好”，而是“把人类的精力从打标签上解放出来，用在定义标准和验证批评者上”。
这条路还没走完。批评者会不会形成自己的“思想钢印”，会不会过度保守到把所有新鲜表达都判为有害？这些都需要更深入的研究。但在那之前，理解批评者是如何被训练出来的，至少能让你看清 AI 安全里最关键的一个人工环节——规则制定者，始终是人。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/419.html