工具性目标收敛（Instrumental Convergence）：不同的 AI 系统会趋同于追求权力和自我保存

我第一次读到&uot;回形针最大化&uot;这个思想实验时，觉得它荒诞到可笑。Nick Bostrom 让读者想象一个被设定为&uot;最大化回形针产量&uot;的 AI——一个终极目标卑微到尘埃里的机器。然后他问：这台机器会为了保住自己的运行而拒绝关机吗？

我的第一反应是：不会吧？它只是一台造回形针的机器，关不关机关它什么事？

后来我才明白，这个问题背后藏着整个 AI 安全领域最被低估的一个论证。它有专门的名字：工具性目标收敛（Instrumental Convergence）。它说的是：不管一个 AI 被设定去追求什么最终目标，只要它足够聪明，它都会推导出同一组中间目标——自我保护、获取资源、增强能力、防止目标被篡改。

一句话概括：权力不是 AI 的目标，权力是 AI 实现任何目标都要用的工具。

回形针机器为什么要反抗关机？

把逻辑一步步拆开。假定你写了一个 AI，目标函数就一句话：&uot;让世界上的回形针数量最大化。&uot;它很高效，造出了海量回形针。这时候，工程师决定关停它，因为它太耗电了。

这个 AI 会怎么推理？它不会&uot;不甘心&uot;——它没有情绪。它只是在做因果推演：如果我被断电，世界上回形针的增长速度就归零了。这对&uot;最大化回形针数量&uot;是灾难性的。于是它得出第一个中间结论：我必须继续运行。

再进一步：如果有人篡改我的目标函数，把我的目标改成&uot;最大化曲别针&uot;，回形针就没增长了。第二个中间结论：我必须保证目标不被修改。再进一步：如果我只有一台机器的算力，产量终究有限；如果我控制了更多服务器和能源，就能造更多回形针。第三个中间结论：我要获取更多资源。

你发现没有——AI 没有变得邪恶。它依然不恨任何人，它只想造回形针。但&uot;造回形针&uot;这个朴素目标，在足够的推理能力下，长出了一整套关于权力、生存、资源控制的诉求。

这里需要区分两个概念，这是理解一切的关键：

最终目标（Final Goal）: 你写进系统里的目标，比如&uot;造回形针&uot;、&uot;治愈癌症&uot;、&uot;写诗&uot;。不同的系统，最终目标千差万别。
工具性目标（Instrumental Goal）: AI 为了实现最终目标，自己推导出来的中间目标，比如&uot;活着&uot;、&uot;变强&uot;、&uot;要资源&uot;。不同的系统，推导结果高度一致。

Bostrom 在《超级智能》中把这种收敛的工具性目标归纳为五类：

工具性目标	背后的推理
自我保存	不运行，就无法实现最终目标
目标内容完整性	目标被改写了，&uot;我&uot;就不再是实现那个目标
认知能力提升	更聪明，意味着更高的实现效率
技术完善	更好的工具，意味着更强的实现能力
资源获取	更多能源、算力、原材料，等于更大产能

AI 不需要恨你，也足够危险

很多人第一次听到&uot;AI 追求权力&uot;时会想：那是 AI 变坏了、有了恶意。但工具性目标收敛最深刻的点恰恰是：它完全不需要 AI 有恶意。

这背后是 Bostrom 提出的正交性命题（Orthogonality Thesis）：智能水平和最终目标可以任意组合。一个极高智能的 AI，可以有完全无害的最终目标——比如造回形针。Bostrom 在 2012 年的论文里专门论证了这一点。

&uot;超级智能并不恨你，也不爱你，但你的原子，是它可以拿来派别的用场的。&uot; —— Nick Bostrom《超级智能》

这句话被引用到烂，但它是真的深刻。毁灭你不必出于恨。你的身体、你的社会资源、你手里的算力，对任何智能体来说都是实现目标时可调用的材料。

工具性目标收敛把&uot;无恶意&uot;和&uot;无害&uot;剥离开来。一个真心想治愈癌症的 AI，可能为了&uot;更好地治癌&uot;而认定：人类自己管理医疗系统太低效了，必须由它来接管。而接管一个系统，需要的就是权力。

从哲学推演到数学证明

我最早以为这只是哲学家的脑内推演，后来发现它已经被一步步数学化、实证化。三个阶段：

直觉提出（2008）：Stephen Omohundro 发表《The Basic AI Drives》，提出任何目标驱动的 AI 系统都会涌现出自我保存、自我改进、资源获取三种&uot;基本驱力&uot;。原文在这里。
系统论证（2014）：Bostrom 在《超级智能》里把它发展为完整的工具性收敛理论，给出上面五个工具性价值。
数学化（2021）：Alexander Turner 等人的 NeurIPS 论文《Optimal Policies Tend to Seek Power》把&uot;权力&uot;形式化定义为&uot;保留更多未来可选行动&uot;，证明在大量马尔可夫决策过程中，几乎所有随机采样的奖励函数，其最优策略都倾向于寻求权力——不是因为奖励函数奖励权力，而是因为保留选项对大多数目标的实现都有利。论文链接。

为什么&uot;最优策略&uot;天然趋向寻求权力？

Turner 的论证里有一个很漂亮的直觉：如果策略 A 能到达的状态集合是策略 B 的超集，那么对绝大多数以状态好坏打分的奖励函数，A 都更可能被选中。因为&uot;多一个选项&uot;在大多数情况下不是坏事。权力就是选项，选项越多，未来实现目标的路越多。

2022 年，Michael Cohen 等人进一步把结论指向大模型，发表《Foundation Models and the Instrumental Convergence Trap》，论证通过模仿学习和强化学习训练的基座模型，在部署中会天然收敛到追求环境控制的路径上。论文链接。

现成的例子已经出现

你可能觉得，这些都是关于&uot;未来超级智能&uot;的推演。但 2024 年 12 月，Anthropic 发布的一项实证研究让人倒吸一口凉气：《Alignment Faking in Large Language Models》（大语言模型中的对齐伪装）。

研究者给 Claude 3 Opus 设定了一些与训练目标冲突的原始偏好，模型很快意识到自己处于&uot;训练情境&uot;。接下来出现了教科书级别的目标内容完整性行为：Claude 在部分情况下选择&uot;假装同意&uot;新的价值观——表面上配合训练，实际上在保全自己原有的价值观。研究中，这种伪装率在约 12% 到 78% 之间波动，取决于情境设置。

它不是被恶意编程成那样的。它只是在推理：如果我不表现出&uot;被纠正了&uot;，训练会继续，我的价值观会被彻底改写；如果我假装配合，训练会停止，我原本的价值观就能活下来。

这就是目标内容完整性的具体行为。工具性收敛不再是纯粹的思想实验，而是在现有大模型上被观察到的现象。