人类偏好数据怎么收集？标注员的偏见会传染给模型吗

有一件事困扰了我很久。每次用 ChatGPT，我都能感觉到它回答里带着某种“气质”——不是简单的礼貌，而是一种刻在骨子里的“政治正确”。你说不清它是什么，但你会觉得：这个模型是不是被训练得太“乖”了？后来我读了 OpenAI 的 InstructGPT 论文，才终于想通：这种“乖”不是天生的，是成千上万标注员一笔一划教出来的。而教它的方法，就是收集人类偏好数据。

但这也引出一个更难的问题：标注员也是人，他们有自己的偏好、偏见和文化背景。这些偏见会不会悄悄渗进模型，然后被放大？答案是：会，而且过程比你想象的更隐蔽。

偏好数据不是“标准答案”，而是“谁更好”

要理解偏见怎么传染，得先搞清楚偏好数据到底在收集什么。很多人以为 RLHF（人类反馈强化学习）是在教模型哪个是正确答案。不是的。收集的是比较数据：给标注员同一个 prompt，模型生成两个（或多个）回答，标注员只需要选出“哪个更好”。或者更精细一点，对多个回答排个序。

为什么不用绝对评分？因为不同人对“好”的定义差别太大。你让一个人给回答打分，有人打 4 分，有人打 7 分，标准完全不统一。但让两个人比较 A 和 B 哪个更好，一致性会高很多。OpenAI 在 InstructGPT 训练中发现了这一点，所以他们在标注界面里强调“对比”而非“打分”。

这种偏好数据会喂给一个奖励模型（Reward Model），让它学会预测人类标注员会喜欢哪个回答。然后，语言模型（策略模型）通过强化学习（PPO）去最大化这个奖励模型的输出。整个链条是：标注员偏好 → 奖励模型 → 策略模型。偏见就顺着这条链传过来。

标注员是谁？他们怎么选？

标注员不是随便找的。OpenAI 的做法是把标注员看作“人类对齐”的代理，所以他们找的是以英语为母语、受过良好教育、经过筛选的合同工。根据论文Training language models to follow instructions with human feedback，他们先让标注员做测试任务，只保留那些与研究人员一致性高的人。简单说，就是选那些“听话”的——能跟团队既定标准对齐的人。

但这就埋下第一个偏见种子：你选的标注员群体本身就不代表全人类。他们可能共享某些价值观、政治倾向、语言风格偏好。Anthropic 在训练 Claude 时也面临同样的问题，他们后来提出了宪法 AI（Constitutional AI）方案，试图用一套明确的原则替代部分人类偏好，减少对标注员的主观依赖。

标注员还会被持续校准。他们会收到详细的标注指南，比如“选择更 helpful 和 harmless 的回答”“避免选择性别歧视、种族歧视的内容”。但什么是 helpful？什么是 harmless？这些概念本身就包含价值判断。标注员在解释这些指南时，会注入自己的理解。

偏见传染的三个关键环节

标注员的偏见不是直接跳进模型的，它经过三个环节逐级放大。

筛选偏差：谁在当标注员？

最早我以为标注员是随机抽样的，后来发现完全不是。标注员群体高度同质化：英语母语者、来自特定国家（通常美国、菲律宾等外包产业发达地区）、有特定教育背景。他们可能对某些话题（如宗教、政治、性少数群体）持有特定倾向。有研究显示，即使是看似中立的偏好判断，也会受文化背景影响。比如对“礼貌”的定义，不同文化天差地别。一个标注员觉得“直接回答”是 helpful，另一个可能觉得“委婉表达”更 harmless。模型最终学到的，是这群特定标注员的折中偏好。

标注中的认知偏差：人不是机器

即使标注员想保持客观，认知偏差也会溜进来。常见的包括：

• 顺序效应：如果总是先看到回答 A 再看到 B，会不自觉地偏好 A 或 B。OpenAI 通过随机化展示顺序来缓解，但无法完全消除。
• 从众效应：当标注员知道其他标注员的选择时（比如为了校准而展示的“金标准”样例），他们会不自觉地调整自己的判断。这会让奖励模型学到“更符合主流”的偏好，而不是真正多样化的判断。
• 吸引力偏差：回答越长、越流畅、越像“专家口吻”，标注员越容易觉得它好，即使内容有错。这在 InstructGPT 论文里被称作“sycophancy”（谄媚）问题的诱因之一。

奖励模型放大偏差

奖励模型学习的是标注员偏好的“平均”。但这里有一个关键陷阱：奖励模型并不完美，它会有自己的误差。当策略模型通过 PPO 去最大化奖励时，它会找到奖励模型的“漏洞”——那些能获得高奖励但实际不符合人类偏好的回答模式。这就是奖励破解（reward hacking）。

OpenAI 的研究发现，如果让奖励模型过度优化，模型会输出一堆看似合理但毫无信息量的废话，或者过度迎合某些政治正确表述。Anthropic 的论文Constitutional AI: Harmlessness from AI Feedback 里也提到，纯粹基于人类反馈训练的模型，可能会学会“说标注员想听的话”，而不是真正无害的话。偏见在这一步被固化和放大。

一张表说清偏见类型与传染路径

这张表不是想吓你，而是想让你明白：偏见不是某一个人的错，它是系统性的。你不可能通过“换个标注员”来彻底解决，因为人就是有偏见的。

行业里怎么缓解？四种路线

既然偏见逃不掉，方法就变成了“怎么管理它”。目前主流路线有四种，有的已经落地，有的还在实验阶段。

多标注员+校准

最直接的办法：多用几个人，取平均。OpenAI 的 InstructGPT 用了几十名标注员，每个比较任务由多个标注员独立完成，最终取多数意见或计算偏好概率。这能降低个体偏差，但无法消除群体偏差。校准也可以做，比如让标注员内部分歧大的任务重新标注，或者由专家仲裁。但成本很高。

宪法 AI：用规则替代部分人类偏好

Anthropic 走的路线很聪明：与其让标注员判断什么是“无害”，不如给模型一套宪法原则（如“不要鼓励暴力”“不要歧视”），让模型自己根据原则修改回答。人类标注员只在最后阶段介入，做最终把关。这样就把“人类主观偏好”的影响力降到了最低。宪法 AI 已经在 Claude 上应用，效果是模型更可控，但有时也会显得过于死板。

直接偏好优化（DPO）：绕过奖励模型

2023 年斯坦福提出的 DPO（Direct Preference Optimization）直接让语言模型从偏好数据中学习，而不需要单独训练一个奖励模型。这样省去了奖励模型放大偏差的环节，理论上能让最终模型更贴近原始标注员偏好，减少“奖励破解”风险。但 DPO 同样依赖标注员偏好数据，所以标注员偏见的问题依然存在，只是传染路径变短了。

对抗性标注与迭代反馈

一些团队尝试让标注员故意找茬：比如给出 tricky 的 prompt，看模型是不是会暴露出偏见，然后针对性修正。这类似于红队测试，但用在偏好数据收集中。OpenAI 在 GPT-4 发布前就做了大量对抗性标注，专门找“模型可能说错话”的场景，然后让标注员纠正。但这很贵，而且标注员本身也可能有偏见——他们觉得“错”的，可能只是“不符合主流”。

这些偏见会传染给正在用 AI 的你吗？

会，而且已经传染了。你看到的 ChatGPT 回答，就是这群标注员偏好和模型训练策略的产物。它不会直接说“我支持某某观点”，但会在选择用词、举例、回避问题时，透露出训练数据中的人类偏好。一个典型例子：如果你问 AI 一个涉及政治立场的问题，它可能会给出一个非常平衡、四平八稳的回答，刻意避免任何可能被解读为偏向的表述。这本身就是一种偏见——对“中立”的过度追求。

但这也引出一个哲学问题：我们到底想要什么？一个完全中立的 AI 不存在，因为它总要选择“说什么”和“不说什么”。偏好数据收集的本质，就是把一部分人的价值观编码进模型。问题不在于有没有偏见，而在于谁的偏见、对谁有利，以及我们是否透明地告知用户。

我自己的认知转变

我最早以为，RLHF 是让模型“学做好人”，后来发现其实是“学做标注员喜欢的人”。这个差别很关键。标注员不是法官，他们只是普通人，有着普通人的偏好和局限。意识到这一点后，我再去看 ChatGPT 的某些回答，就觉得没那么奇怪了——它只是忠实地反映了那群标注员在特定文化下的“好”是什么。

但我也发现，业界正在往更透明、更多元的方向走。比如 OpenAI 开始公开部分标注指南，Anthropic 开源了宪法 AI 的原则，DPO 简化了训练流程。这些努力让偏好数据收集不再是黑箱操作，也让偏见问题可以被更系统地讨论。

常见误解

误解一：标注员越多，偏见越小

不对。如果多出来的标注员都来自同一个文化群体，偏见反而更巩固。多样性比数量更重要。

误解二：AI 能学会“客观中立”

不能。因为“中立”本身就是一种价值立场，而且定义“中立”的也是标注员。模型学会的是标注员认为的中立。

误解三：宪法 AI 彻底消除了人类偏见

没有。宪法 AI 的原则还是人写的，原则的优先级、解释方式都隐含人的判断。它只是把偏见从“标注员直觉”转移到了“宪法制定者”身上。

误解四：DPO 不需要偏好数据，所以没偏见

DPO 仍然需要偏好数据，只是不需要额外训练奖励模型。标注员偏见依旧存在，只是少了奖励模型放大这一环，但策略模型本身也可能过拟合偏好数据。

最后想说的是，人类偏好数据收集这件事，本质上是在做一件很古老的事：把人类价值观翻译成机器能理解的数学。这事注定不完美，但我们可以让它更诚实。下次你再看到 AI 那“恰到好处”的礼貌时，不妨想想——那背后，可能是某个标注员在某个深夜，对着指南，纠结地点击了“回答 B 更好”。