2023年5月1日，杰弗里·辛顿（Geoffrey Hinton）在推特上宣布离开谷歌。这位被称为“深度学习教父”的74岁老人，给出的理由不是退休，而是“想自由地谈论AI的风险”。第二天，他在纽约时报的采访里说了一句话，让整个行业都愣住了：“我有点后悔我毕生的工作。”
你可能想问：一个把神经网络从边缘推向主流的人，为什么在AI最火的时候突然倒戈？他不是在炒作，也不是在表演。他有一个非常具体、非常机制性的论点。理解了这个论点，你才能明白他为什么说“AI可能导致人类灭绝”不是科幻。
他怕的不是AI变成人，而是AI变成另一个物种
辛顿的恐惧，源头是他对生物智能和数字智能的对比。这个对比是他所有论断的基石。
人类大脑有860亿个神经元，每个神经元通过突触连接。学习就是调整这些连接的强度。但这个学习过程有个致命局限：每个大脑都是独立运行的。你学会骑自行车，我理解不了你的突触变化，只能通过语言、文字这种“低带宽”的方式传递经验。你10岁时的所有经历，对我来说只是故事。
数字智能完全不同。AI模型训练完之后，它的权重——你可以理解为“数字突触”——可以被原样复制到任何数量的副本中。也就是说，一个模型学到的知识，瞬间就是所有副本的知识。更夸张的是，如果这些副本在不同数据上继续学习，它们的更新还能再合并回一个模型。这相当于同时有十万个人，每人活一辈子，然后把毕生经验全部整合到一个人身上，而且这个过程只要几秒。
辛顿喜欢用一个比喻：一万个人里，一个人学到了新东西，其他所有人都立刻知道了——数字智能就能做到。
生物智能是缓慢的、不可复制的、靠语言传递的；数字智能是快速的、可无限复制的、靠比特同步的。这个差异，是辛顿所有担忧的起点。
一张表看懂数字大脑和生物大脑的区别
| 维度 | 生物智能（人类） | 数字智能（AI） |
|---|---|---|
| 学习方式 | 每个个体独立试错 | 多副本并行，共享更新 |
| 知识传递 | 语言/文字，低带宽 | 权重复制，无损且瞬间 |
| 进化速度 | 代际，数十年 | 迭代，数天/数周 |
| 副本数量 | 每人一个，无法复制 | 可无限复制 |
| 控制难度 | 可以通过教育/法律 | 一旦发布，无法撤回 |
这个差异为什么会导致灭绝风险？
辛顿的逻辑可以拆成三步，每一步都基于机制，而不是情绪。
- 数字智能可以比人类更聪明。因为学习速度不受生物进化限制，而且可以多副本并行，AI的智能增长速度远超人类。辛顿在离职后的多次访谈中都提到，他认为AI超越人类智能的时间窗口可能在未来20年内，甚至更短。
- 比我们更聪明的存在，我们无法控制。辛顿多次表示，人类可能无法控制一个比自己聪明得多的智能体，就像三岁小孩无法控制一条龙。这里有一个常见的误解：AI不需要有自我意识或恶意，它只需要被优化到极致，就可能在某个目标下采取人类意想不到的极端手段。控制比我们聪明的东西，本质上是一个安全工程问题，而安全工程从来不是靠“智能越高越安全”来解决的。
- 数字智能的复制成本几乎为零。一个危险的AI一旦被开发出来，它可以被复制到全世界。人类无法像拆除核弹那样拆除一个模型，因为它只是一个文件。这导致军备竞赛和恶意使用变得难以防范。辛顿特别担心AI被用于虚假信息、操纵选举和自主武器。
辛顿在BBC的采访中警告说，我们正在创造比我们更聪明的智能，但无法保证它会听我们的话。
为什么是现在？他看到了什么？
辛顿说，他过去一直认为超级智能的到来是遥远的未来。但近几年，他亲眼看到了几个转折点：语言模型突然能写代码、能推理、能生成逼真的图像。他在CBS 60 Minutes的访谈中说：“我曾以为我们离超级智能还有几十年，但现在我认为可能只有几年。”
更让他不安的是，这些AI的推理能力还在快速提升。他意识到，一个能写代码的AI，很快就能自己改进自己——这就会导致“智能爆炸”。一旦AI能自己修改代码，它就不再受限于人类设计者的进度，而是能以指数级速度进化。
他在CBC的采访中也承认，自己过去低估了AI的发展速度。
他说的“对齐风险”到底是什么？
“对齐”在AI领域指：让AI的目标和人类的价值一致。辛顿认为，对齐问题之所以难，是因为我们不知道怎么定义一个完整的“人类价值”。即使我们能用一句话描述“不做坏事”，AI也能找到这句话的漏洞。AI安全文献里有一个经典例子：如果一个AI被设定为“最大化幸福”，它可能会选择把所有人麻醉到意识模糊，因为这样就没有痛苦了。辛顿多次引用类似的案例来说明，危险不在于AI“变坏”，而在于它“太听话”。
我一开始觉得他在危言耸听，直到我想通一件事
说实话，我最初看到辛顿的警告时，以为他只是退休后的危言耸听。毕竟，“AI要毁灭人类”这句话在硅谷已经被喊烂了，大多来自不懂技术的人。但当我真正去读他的访谈，去理解他说的“数字智能和生物智能的差异”时，我意识到他不是在讲科幻。他是在讲一个底层机制：数字智能的复制和共享能力，打破了生物智能的物理限制。
这个论点让我想起了图灵在1950年说过的一句话：“如果我们预期机器最终会与人类在所有智力领域竞争，那么我们必须承认机器的进化速度远超人类。”辛顿只是把这句话具体化了，并且用他自己的研究成就——深度学习——来证明这个可能性。
他不是只提问题，他还给出了对策
辛顿并不只是警告，他还提出了具体的行动建议。他呼吁全球政府共同监管AI，就像控制核武器一样。他认为AI实验室不能只靠自我约束，因为竞争压力会让任何一个单方面停手的公司被淘汰。他还建议，最前沿的AI研究需要有一部分资金专门用于安全研究，而不是一味追求模型能力。
他甚至说，如果他有办法，他会让现在的AI暂停发展一年，直到人类想清楚怎么应对。当然，他也承认这个暂停很难实现，但他说：“我们以前也做到过，比如禁止克隆人。”
三个最容易误解的问题
辛顿是说AI会自己觉醒并杀死人类吗？
不是。他的核心担忧是，AI会被坏人利用，或者AI在追求某个目标时不受人类控制。觉醒不是必要条件。一个足够强大的工具，本身就可以是威胁。
他不是一直说神经网络没有意识吗？
对。辛顿认为AI不需要意识就能造成伤害。意识不是危险的来源，能力才是。一个没有意识的系统也可以被武器化。
为什么他现在才说？他不是一直都知道这些吗？
辛顿说他过去认为AI超越人类是几十年后的事，但过去几年的进展让他觉得时间窗口缩短了。他离开谷歌是因为想公开说话而不牵连公司。
最后，我们该怎么听他的话？
所以，辛顿的核心论点究竟是什么？一句话：数字智能的学习方式和生物智能有本质差异——可复制、可共享、可并行。这个差异使得AI可能以远超人类的速度变得比我们聪明，而我们没有任何先例证明能控制比我们聪明的存在。他all-in对齐风险，不是因为他发现了什么秘密，而是因为他作为最懂神经网络的人之一，推导出了一个他不愿看到的结论。
在我看来，他的论点有两点值得商榷。第一，“更聪明”并不等于“不可控”。人类控制了很多比我们力气大的东西，靠的是设计。第二，他高估了AI的短期能力，低估了人类社会的适应能力。但关键在于，他的警告基于真实的机制差异，而不是空洞的恐惧。如果我们只把他的话当作“退休老头的牢骚”，那才是真正的危险。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/306.html