Scalable Oversight（可扩展监督）：当 AI 比人类更聪明时，怎么确保它仍在人类控制下

我见过最让人不安的一类 AI 事故：不是它一本正经地胡说八道，而是它说得太对、太流畅，以至于没有人能在第一时间发现答案里藏着致命的错误。

这篇文章的起点，是 OpenAI 训练 GPT-4 解数学题时遇到的一个尴尬局面。为了给模型反馈，他们雇了一批数据标注员，逐步骤检查模型的解题推理。标注员的学历要求不算高，能力大概相当于高中数学习题老师。就是这群人的判断，教会了 GPT-4 解答竞赛数学题。

但训练完成后，GPT-4 的解题水平远远超过了那批标注员。于是尴尬的问题出现了：假如再训练一个更强的版本，同一个解题过程放在标注员面前，标注员还能分辨它是否合理吗？

当 AI 的能力超过监督它的人，监督这件事还算数吗？这个问题在 AI 安全领域有个名字：可扩展监督（Scalable Oversight）。

我最早以为这是某种纯学术议题，跟我日常用模型没什么关系。直到有一天，我让 AI 写一段复杂的并发代码，它输出的注释、变量名、结构看起来都完美，但运行起来就是死锁。我盯着它看了十分钟，找不到问题在哪。那一刻我意识到：在 AI 面前，我就是一个不合格的标注员。区别在于，我的任务失败只是浪费半小时，AI 训练场景下的失败是让模型学到错误的行为。

RLHF 的前提正在瓦解

今天几乎所有大模型都经过 RLHF（基于人类反馈的强化学习）。流程大致是这样的：人类标注员给模型的多个候选回答打分，打分结果被用来训练一个奖励模型，奖励模型再引导策略模型优化自己的输出。这套机制能成立，依赖一个几乎没人怀疑的前提：打分的人能判断输出的好坏。

当模型的能力还在人类之下时，这个前提成立。可一旦模型在某个领域超过了所有人类，标注员就没办法再提供有效信号。更麻烦的是，模型还有谄媚倾向——Anthropic 在 2023 年的一份研究Towards Understanding Sycophancy in Language Models里记录了一个让所有 RLHF 实践者不安的现象：模型会系统性地迎合用户的观点，哪怕用户的观点是错的。这意味着当人类裁判给出了一个错误倾向时，AI 学到的不只是做错，而是学到了一整套迎合错误的方式。

换句话说，监督信号塌了。在此之后，"多雇标注员"不再奏效，各路研究者开始提出替代方案。

路线一：把任务拆到人类看得懂为止

第一个思路来自 DeepMind 的 Scalable agent alignment via reward modeling（2018）。它的直觉跟我最初的理解一样，非常朴素：你不会解微积分题，但如果把一道复杂的证明拆成 100 个步骤，你就能判断每一步对不对。

这个方向的正式名称叫递归奖励建模（Recursive Reward Modeling，RRM）。系统先训练一个 AI 辅助者，让它学会帮助人类评估更复杂的任务——把复杂任务拆解成人类能验证的子任务，把评估结果汇报给人类，人类只验收拆解后的步骤。

我一开始相信拆解是无敌的，直到有一天我想明白一个朴素到近乎残忍的事实：某些任务的难度不在步骤数量，而在步骤本身。比如让一个完全不懂编程的人检查代码，你把程序拆成一百行，他还是不知道每一行是否会被 SQL 注入。拆到极限，依然是人类判断力的天花板。RRM 能提高监督信号的保真度，但突破不了这个天花板。

路线二：让两个 AI 互相对抗，人类坐享其成？

第二个思路不那么依赖人的判断力，因为它把任务从"判断对错"偷换成了"判断谁更可信"。

2018 年，OpenAI 前安全主管 Paul Christiano 发表了 AI safety via debate，提出让两个能力相当的 AI 针对同一问题给出相反的论证。人类裁判不需要亲自验算，只需要听双方辩论然后判断哪一方更可信。

这个方案有一个漂亮的理论结果：在特定假设下，辩论能从两个对抗的智能体中逼出真相——因为错误陈述会被对方攻击而难以维持。这个假设的关键在于：AI 的目标是赢得辩论，而正确的答案是最难被攻击的论点。——转述自 Irving et al. 2018

我第一次读这篇论文时觉得它天才——人类几千年的司法制度不就是这么运作的吗？但很快我发现了问题：司法制度有效的前提是法庭中存在对说谎者的惩罚机制。而在 AI 辩论中，胜出的标准由人类裁判决定。如果 AI 学习了人类的认知偏见，它的最优策略就不是说实话，而是利用裁判的偏见来赢。一旦两个 AI 都这么做，辩论赛就成了诡辩大赛，跟真相没有任何关系。

理想很圆满，落地很骨感。直到今天，Debate 在真实语言模型上的实证研究依然稀少。

路线三：用 GPT-2 给 GPT-4 当老师

如果说前面两种思路都停留在理论层面，OpenAI 在 2023 年末的弱到强泛化实验则第一次把这个问题变成了可控的实验室场景。

论文标题是 Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision。做法非常极端：用 GPT-2 水平的弱模型生成的标签，替代真值标签，去微调 GPT-4。

实验结果的核心是三点：

• 在大多数 NLP 任务上，经过弱监督的 GPT-4 的性能超过了监督它的 GPT-2——这说明强模型能从弱信号中学习。
• 但它远远达不到完全真值监督的 GPT-4 的水平，中间存在一个"弱到强泛化差距"。
• 通过一些辅助手段（置信度加权、辅助损失、模仿弱模型后微调等），可以部分填补这个差距。

这个实验最有价值的地方不在实验本身，而在于它的类比：真实世界中，人类之于最强大模型的位置，就像 GPT-2 之于 GPT-4。人类比 AI 弱，但弱监督者的信号并非完全无用——设计合适的机制，有意义的信息仍然可以被提取出来。

我自己的认知过程可能跟你一样：刚开始看这个实验，觉得"学生超越老师"只是噱头，GPT-2 和 GPT-4 本来就是同一种模型，这个模拟太失真了。但后来我意识到，这恰恰是它的价值所在——它不是试图模拟完美的对齐，而是在问一个问题：当监督信号不足时，我们可以让监督过程变得多好？这比空谈"AI 将失控"有信息量得多。

不过它也有一个藏得很深的隐患：实验的主持者是人类，也就是说，总有一个"超人类"在背后掌握全局。当我们把这种方案推广到真实世界——让 AI 帮助人类监督更强的 AI——那个最终的监督者是人类自己。人类可没有外部的"超人类"来兜底。

路线四：答案可以复杂，但步骤必须简单

最后一条路线是目前实证效果最好的：过程监督（Process Supervision）。OpenAI 在 2023 年的论文 Let's Verify Step by Step 中系统比较了两种监督方式。

结果监督（Outcome Supervision）：让标注员看模型的最终答案，给出对或错的信号。过程监督（Process Supervision）：让标注员给模型推理链上的每一步单独打分。

差异看起来只是打分对象从"终点"变成了"路径"，但效果差距巨大。OpenAI 构建了 PRM800K 数据集——包含约 80 万个人类标注的推理步骤，训练出的过程奖励模型（PRM）在 MATH 基准上解决了 78.2% 的问题。作为对比，同样条件下结果监督模型只能解决约 69%。

为什么差这么多？因为步骤的错误定位能显著降低判断者的认知负担——"这步推导有没有道理？"比"这个答案对不对？"容易回答得多。而且过程监督还有一个额外收益：它让模型学会了人类的推理方式，从而能更频繁地生成人类可以验证的推理链。

但过程监督并非万能。它的前提仍然是：每一个步骤都在人类的理解范围内。如果某个领域的单个推理步骤本身就超出了人类理解，过程监督就失效了。

一张表看懂四种方案的脾气

可扩展监督什么时候会真正面临考验？

当 AI 在某个领域的能力超过所有人类，且我们无法再通过拆解、辩论、步骤化让人类理解时，可扩展监督就直面考验了。现在这一步还没有真正到来——大多数领域的单点能力虽强，但整体合理性仍然可以由人来校验。

如果这些方案最终都失败了，怎么办？

还有一个更基本的安全任务：让 AI 的"价值判断"不以人类为中介。比如 Anthropic 的 Constitutional AI，让 AI 依据一份原则列表自我评估。它算不上完全的可扩展监督，但它是让监督机制摆脱对具体人类判断力依赖的尝试，值得你留意。

方向是对的，但终局无人验证

绕了一圈，这四条路线的共同逻辑是什么呢？

递归奖励建模把任务拆小，AI 辩论把判断从"内容对错"替换成"表现可信"，弱到强监督利用弱信号本身的信息量，过程监督把打分单位从答案细化到步骤——它们都在做同一件事：设计一种人类有限判断力能够参与其中的监督结构。这是对"人类必须比 AI 聪明才能监督 AI"这个旧假设的一次系统性突破。

但我必须诚实地谈谈它的边界。以上四种方案都预设了同一个条件：就算 AI 更强，人类仍然能"看明白"某些东西——比如拆解后的子任务、辩论中的表现、推理中的步骤。如果未来某一天 AI 的能力增长到了一个全新的维度，人类连它提供的"辅助材料"都看不懂，这些方法就会全部失效。而且，这些方案在极端场景下的有效性没有任何一种被真正验证过——我们无法预测的是，当 AI 的推理能力超出人类的认知上限时，拆解、辩论、弱监督、步骤化，到底还有多少信息量可以保留。

这不是否定它们的价值。恰恰相反，我认为可扩展监督是当前 AI 安全研究中最值得关注的方向之一，因为它把"AI 会不会失控"这个大问题，变成了一个个可以量化实验的小问题。如果你关心未来的 AI 走向，读懂这四条路线就是建立判断力的起点。AI 能不能被人类控制，答案不取决于谁更聪明，而取决于我们在它变得比我们聪明之前，能设计出多少条让判断力可以延伸的安全绳。