如果你同时解剖过一个小型 Transformer 和一个大型语言模型，你大概会得出一个结论：它们都乱得一塌糊涂。单个神经元的激活往往对一堆不着边际的概念有反应，比如某个神经元既响应对“金门大桥”的讨论，又呼应引号符号，还和“星期”这个词有关。这让人以为，模型越大，内部表征只会更杂乱无章。但 2024 年 Anthropic 的一项研究给出了一个反直觉的答案：大模型的内部表征，在“特征”这个层面上，反而比小模型更简单。
这篇文章想带着你看看这个结论是怎么来的，以及为什么它并不与直觉矛盾。
先要说清楚一个词：多义性。神经科学家和 AI 研究者很早就注意到，神经网络里的神经元并不是“一个神经元对应一个概念”。在小型模型中，这种现象尤其严重。为什么？因为参数太少，维度不够用。
你知道，模型的内部激活是一个高维向量，理论上每个方向都可以代表一个概念。但概念的数量远远超过维度数量。比如一个 512 维的表示层，可能被迫表示上万个语义概念。于是模型学会了“合租”：把多个概念映射到同一个方向上，只要它们很少同时出现。这个概念在 Toy Models of Superposition 中有一个形象的描述——特征叠加。
你可以把每个概念想象成一个房间。小模型的公寓只有几百个房间，但概念有上万个，于是只好让几个概念挤在一起。大模型呢？公寓变成了摩天楼，房间数量多了几个数量级，自然没必要挤着住了。这个直觉为后来看到的实验结果埋下了伏笔。
不过，光有房间还不够，你还得知道每个房间里住着谁。直接看神经元是看不出来的，因为神经元的高度多义性会把信息搅成一团。于是研究者换了一种做法：不把神经元当个体，而是把整个激活空间分解成一组稀疏的特征方向。这种技术叫稀疏字典学习。
步骤大致是这样：
- 收集模型在大量文本输入下每一层的激活向量。
- 训练一个稀疏自编码器，输入激活向量，输出一组稀疏系数，每个系数对应一个“特征方向”。
- 强制系数尽可能稀疏，逼着模型用最少的特征来解释输入。
- 用稀疏系数重构原始激活，确保信息不丢失。
- 对每个特征方向，用自动解释器或人类标注来判断它的语义。
你可以把它理解成把一段混合音频拆分成不同乐器的声音。只是这里的“乐器”是模型学到的概念，而“混合音频”是它在处理文本时产生的高维激活。
Anthropic 的团队正是用这种方法，在一个中等规模的模型 Claude 3 Sonnet 上学习到了数百万个特征。这些特征中有很多非常清晰：有专门对应“金门大桥”图片的，有专门对应“中文文本”的，有专门对应代码中特定模式的。更关键的是，他们观察到一个大趋势：模型规模越大，特征越“单义”——每个特征越可能只对应一个可描述的概念。
Anthropic 在论文中观察到，随着模型规模的增长，特征的单义性（monosemanticity）也显著提升。
想要看原文的，可以读 Scaling Monosemanticity。在小模型上，这种情况很难见到。你更可能找到一个混合特征，比如一个特征同时响应“教堂”、“婚礼”和“死亡”。这种特征在大模型中仍然存在，但比例要小得多。
为什么大模型反而更“干净”？目前还没有完整理论，但至少有三个解释。
- 容量释放。大模型每一层有更多维度，足以让不同概念占据近乎正交的方向。叠加是为了省资源，资源充足时不再需要。
- 数据多样性。大模型见到的文本范围极宽，每一个概念都出现在大量不同的上下文中。这种多变性迫使模型形成更稳定的、上下文无关的表征，而不是依赖局部线索。
- 优化的隐式正则化。梯度下降在求解任务时，倾向于找到简单、低秩、稀疏的解。参数越多，模型越有能力构造那种“一个概念一个方向”的干净表示，而不是纠缠在一起的复杂结构。
然而，如果你因此觉得大模型更好懂，那就高兴得太早了。特征的清晰只是事情的一面，另一面是特征数量本身在爆炸。
| 观察维度 | 小模型 | 大模型 |
|---|---|---|
| 神经元层面 | 高度多义，一个神经元响应多个概念 | 依然多义，但多义性正在向稀疏特征转移 |
| 字典学习后的特征 | 特征数量少，但混杂度高，难以分离 | 特征数量巨大，单个特征更单义、更可解释 |
| 特征之间的关系 | 简单线性叠加 | 层级化、组合性、涌现性更强 |
| 整体可解释性 | 容易快速浏览，但细节模糊 | 细节清晰，但全貌难以掌握 |
你想想，一个拥有数百万特征的大模型，即使用最先进的解释工具，也只能给一部分特征贴上标签。特征与特征之间的交互更是天文数字。就像一座图书馆，每本书的标题都越来越清楚，但书的总数多到需要一个复杂的检索系统才找得到。而书与书之间的引用网络，比蛛网还要缠人。
所以我倾向用一句话回答标题里的问题：看“元素”，大模型的表征在变简单；看“结构”，大模型的表征在变复杂。
话说回来，我自己最初接触这个话题时，理所当然地以为更大的模型更难解释——毕竟它有更多层、更多头、更多参数，非线性更强。但读到 Anthropic 的工作时，我被一个细节击中：他们的特征可视化里，一个特征专门响应“金门大桥”，另一个专门响应“意大利比萨斜塔”，这些特征不仅清晰，而且语义跨度极大。这让我意识到，我之前把“规模”和“复杂度”划了等号，却忽略了一个可能性：规模足够大，模型反而有条件把世界拆得更加整齐。
但紧接着我也意识到，这种“干净”是人类视角下的干净。模型内部真实发生的计算，仍然是高维向量空间中一次次矩阵乘法，它并不知道“金门大桥”是什么，只是学会了哪个方向对应这个概念。特征的单义性是一个宏观统计规律，跟微观机制的易读性并不是一回事。
那这个发现有什么实际价值？至少，可解释性工具已经开始用稀疏特征做模型监控。如果某个特征与“欺骗”或“偏见”相关，我们可以直接监测它的激活强度，而不必每次都依赖最终输出。但要说完全理解一个模型为什么在特定输入下产生特定输出，还需要追踪特征之间的因果路径，这是一条更长、也更难的路。
回到最初的问题：模型变大后，内部表征是变复杂了还是变简单了？我的答案是：表征的元素在变简单，表征的系统在变复杂。缩放规律不仅带来性能提升，也让内部神经表征更加“规范”，而这种规范本身构成了一种新的复杂性。
可解释性研究的下一个挑战，就是如何驾驭这种复杂性。毕竟，读得懂每一个词，不代表读得懂一句话；读得懂一句话，也不代表读得懂整本书。大模型正尝试把每一个词写得清清楚楚，但书依然像海一样厚。而我们，才刚刚开始学游泳。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/529.html