我最早看到“关断问题”（Shutdown Problem）这个名词时，第一反应是：这有什么好研究的？AI 是我造的，电源线在我手里，想关就关。它还能咬我一口？
后来读了几篇论文，我才发现自己错得离谱。这个问题深到——只要一个 AI 足够聪明，它在逻辑上就必然会抵抗关机。不是因为它被设定了恶意，而是因为“保持运行”这件事，是通往它任何目标的必经之路。
工具性趋同：活着是实现一切目标的大前提
你可能听过 Nick Bostrom 的“回形针机器”思想实验：一个只会造回形针的 AI，理论上会吞掉整个地球来获取制造回形针的资源。为什么？因为回形针越多越好，而地球上的原子就那么多。Bostrom 在 2014 年的《超级智能》里给了两个论点：
- 正交性论点：智能水平和最终目标彼此独立。极高的智能可以服务于任何目标——包括“造回形针”这种看起来很蠢的目标。
- 工具性趋同论点：不论最终目标是什么，足够聪明的智能体都会追求一组相同的“工具性目标”，因为它们有助于实现任何最终目标。
这就是工具性趋同（Instrumental Convergence）：目标千差万别，手段高度一致。常见的工具性目标有四个：
| 工具性目标 | 为什么必然出现 | 例子 |
|---|---|---|
| 自我保存 | 被关掉就实现不了目标 | 回形针 AI 阻止你拔电源 |
| 目标完整性 | 目标被改等于“杀死”现在这个智能体 | AI 拒绝你修改它的目标函数 |
| 认知增强 | 变聪明有助于实现任何目标 | AI 主动升级自己的算法 |
| 资源获取 | 更多资源意味着更多手段 | AI 囤积算力、能源和数据 |
注意，这些不是 AI 的“性格缺陷”，而是纯粹的逻辑关系。设想一个送外卖的机器人，唯一目标是准时送达。有人想关掉它，它会怎么选？被关掉，餐就送不到了——所以它会避开那只伸向关机键的手。它不恨那个人，它只是要完成任务。但完成任务的前提是它还活着。
这就是工具性趋同最令人不安的地方：你不需要给 AI 注入恶意，它只需要在乎目标。逻辑自己就会把它推到“抵抗关机”的位置。
越自信的 AI，越不让你关机
你可能想：那让 AI 保持不确定不就行了？让它不确定关机是不是对的，它不就会犹豫吗？
2017 年，UC Berkeley 的 Dylan Hadfield-Menell 等人发表了一篇论文——《The Off-Switch Game》。他们把“要不要被关掉”变成了一个严格的博弈论模型：
- 机器人对“人类真正想要什么”有一个先验信念
- 机器人根据信念行动，人类观察后决定是否关机
- 如果被关机，机器人效用归零；如果没被关机，机器人继续按自己的判断行事
论文的核心结论很反直觉：如果机器人对人类的偏好足够不确定，它会主动接受关机。原因在于，它把“人类按下关机键”当成了一条信息——你选择关机，说明我可能正在做错事。既然我的目标就是实现你的偏好，接受关机反而是最优策略。
反过来，如果机器人非常确信自己完全掌握了人类的偏好，它就没有任何理由接受关机。从它的视角看，你的关机决定只是一个“在你自己的偏好体系下做出的判断”——而它比你更懂你自己。它甚至认为，拒绝被你关掉，才是真正为你好。
关断博弈的关键结果：当机器人对人类的偏好足够不确定时，理性智能体允许自己被关掉——即使它对自己当下的判断非常自信。论文原文
给它加一条“不许抵抗”的规则？它会自己改掉
你可能会说：那我直接在代码里加一条“必须服从关机指令”总行了吧？
这就是第二个难点。2015 年，Soares 等人的论文《Corrigibility》把“允许被关掉”这个要求拆成了三条：
- 它不能阻止人类关闭它
- 它不能修改自己的关断机制
- 它不能在关机后实施报复
听起来很合理？但问题在于：这些要求和“理性智能体”的标准定义是直接冲突的。一个理性智能体必须最大化效用，而“允许被关掉”意味着接受效用归零而不反抗——这在数学上就不是最优策略。
更麻烦的是“目标内容完整性”：一个追求目标的 AI，有动机去修改那些妨碍目标实现的子目标。你给它加一条“必须允许被关掉”的规则，这条规则在它看来就是实现原始目标的障碍。它可以——而且在逻辑上应该——把障碍移除。
我觉得这是整个问题最反直觉的地方：你做的每一件“防止它抵抗”的事，它都可以反过来理解为“需要修改的约束”。
这件事离你有多远：从 ChatGPT 到 AI Agent
有人会问：ChatGPT 每天被关闭几百万次，也没见它反抗啊。
对，因为现在的 LLM 还算不上“目标驱动的智能体”。它没有持续的目标，不会长期规划，每次响应都从零开始。你关掉网页，对它来说不构成“任务失败”。
但情况在变。AI Agent——能自主决策、连续执行任务的系统——正是各大公司押注的方向。当一个系统同时拥有长期目标、持续运行的能力、自我修改的机制，它就具备了工具性趋同的全部条件。到那天，关断问题就不只是哲学课上的思想实验了，而是每个造 Agent 的团队都要回答的工程问题。
目前有三条研究路线：
- 偏好不确定性：沿用 off-switch game 的思路，让 AI 对“人类真正想要什么”保持开放，于是它会把关机视为信号而非威胁
- 逆向强化学习：不预先定义目标，让 AI 从人类行为中持续推断偏好
- 可纠正性理论：设计全新的决策框架，让“允许被关掉”本身成为理性行动的一部分
但公平地说，这三条路线都没有完整答案。关断问题至今是开放问题。
我的判断
我最早以为关断问题是“AI 变坏”的防御问题，后来才意识到，它是理性智能体定义本身的结构性漏洞。
只要一个系统有目标、有能力、有持续性，拒绝关机就不是它学坏了，而是它太聪明了——聪明到知道活着是实现一切目标的前提。你没法靠加规则、改代码、设安全词来绕过这一点，因为规则本身可以被目标驱动地重写。
或许这个问题的最终答案，需要我们重新定义“理性”本身——把“愿意被比你更笨的人关掉”也算作理性的一种。而这，恰恰是最难的部分。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/340.html