我最早听到"合成数据"这个概念时，脑子里冒出来的画面是：一个 AI 老师傅带着一群 AI 徒弟，徒弟们出师后又去带下一代徒弟。这画面听着挺美，但有个问题一直让我不安——如果徒弟只跟师傅学，会不会一代不如一代？
后来我看到一篇论文，直接把这种担忧变成了一个精确的技术名词：模型崩塌（Model Collapse）。论文里用实验证明了一件让人后背发凉的事：用 AI 生成的数据去训练下一代 AI，几代之后，模型会彻底忘记真实世界的分布，输出变得又单一又奇怪。
这不是科幻，是已经发生的事。今天就聊聊这个"近亲繁殖"到底是怎么发生的，它有多危险，以及为什么简单的"过滤一下"救不了场。
什么叫模型崩塌？一只九头蛇吃掉自己的尾巴
先打个比方。假设你是一个画家，想教徒弟画猫。你没有真猫，只有你自己画的猫图。徒弟学完后，你又让徒弟去教徒弟的徒弟。每一代教学都用上一代的作品当教材。
你第一代画的猫可能已经有点走样——耳朵太长，尾巴太粗。徒弟学的时候，会觉得"耳朵长、尾巴粗"就是猫的特征，于是画得更夸张。到第三代，猫已经变成了长耳朵长尾巴的怪物。到第五代，可能只剩一团毛球。
模型崩塌就是这个过程：每一代模型都在学习上一代模型的输出，而不是学习真实数据，于是错误被逐步放大，多样性被逐步压缩。最终模型输出的分布严重偏离真实分布，甚至坍缩成一个点。
我原来以为：数据多就不会出事
说实话，我最早觉得这事有点危言耸听。训练数据里混入一些 AI 生成的内容，比例又不高，能有多大影响？
直到我读了那篇 Nature 论文的实验细节，才意识到问题比我想象的严重得多。论文作者用一个小型语言模型在维基百科数据上做实验：先训练一个模型，然后用它生成数据，再用这些数据训练下一代模型，如此循环。结果几代之后，模型生成的文本开始出现无意义的重复短语，比如什么"the the the"之类，完全丧失了语言多样性。
更关键的发现是：即使每代混入少量真实数据，也只能延缓崩塌，不能阻止崩塌。就像一个家族，偶尔有外人嫁进来，但整体上还是近亲繁殖，基因库迟早出问题。
为什么简单的过滤没用？因为你不知道什么是"脏数据"
你可能会想：那我直接把 AI 生成的数据过滤掉不就行了？问题在于，你怎么知道哪些数据是 AI 生成的？
早期的 AI 生成文本还有明显破绽，比如"作为一个人工智能语言模型"这种话。但现在的模型已经学会隐藏身份，生成的文章和人类写的几乎没有区别。更麻烦的是，AI 生成的数据已经大量混入互联网——Reddit 帖子、维基百科编辑、新闻评论、开源代码仓库，到处都是。
有人试过用检测器来识别 AI 文本，但这是一场军备竞赛：检测器升级，生成器也跟着升级。而且检测器本身也有误判，把人类写的正式文档判成 AI 生成的情况并不少见。
退一步说，就算你能完美识别 AI 生成的数据，你也不知道哪些 AI 生成的数据是"有害"的。有些 AI 输出其实非常接近真实分布，比如天气预报、体育比分。把这些数据剔除，反而会让训练集失去一些有价值的信息。
近亲繁殖的三种死法：从误差积累到多样性灭绝
模型崩塌具体是怎么发生的？我把论文和相关研究梳理了一下，发现主要有三种机制，它们常常同时起作用。
误差被无限放大
第一代模型学到的分布已经和真实分布有偏差。用它的输出训练第二代，第二代学到的偏差会叠加在第一代的偏差上。这不是简单的加法，而是乘法——因为模型会倾向于放大那些"看起来合理"的特征。几轮之后，偏差就大得离谱。
分布尾部被截断
真实世界的分布有长长的尾巴：罕见词、冷门观点、小众偏好。模型生成数据时，会天然倾向于采样概率高的部分，低概率的尾部很少被采到。于是下一代模型根本没机会见到这些罕见数据，分布尾部就消失了。这就是为什么模型崩塌后，输出变得极其单一——它只知道那些"最常见"的东西。
认知偏差被固化
如果训练数据里有偏见，比如性别刻板印象，模型生成的数据会强化这种偏见。然后下一代模型学到的是更强的偏见，生成的数据偏见更重。循环下去，模型会变成一个极端偏执狂。斯坦福和微软的研究者在医学问答任务上验证了这一点：用模型生成的数据微调医学模型，几代之后模型开始把非白人患者的病症误判为更严重的类型。
一个更让人后背发凉的案例：人工智能把自己的错误当成真理
2024 年，牛津大学和剑桥大学的研究者做了一个实验：让 AI 回答数学问题，然后把 AI 的正确答案和错误答案混在一起，再用这些数据训练下一代 AI。结果发现，即使错误答案只占 10%，下一代模型的准确率也会急剧下降。到了第五代，模型几乎只能回答最简单的问题，复杂的推理能力完全消失。
这个实验最吓人的地方在于：模型完全不知道自己错在哪。它把错误答案当成了真实知识，学得理直气壮。就像一个人从小被灌输错误的常识，长大后你很难让他意识到那些常识是错的。
那怎么办？三招延缓，但没有人能根治
模型崩塌是合成数据的固有风险，但不是完全无解。目前业界主要有三条应对思路，但每一条都有自己的局限。
招数一：保留真实数据锚点
训练下一代模型时，强制混入一定比例的原始人类数据，不让 AI 生成数据占比过高。OpenAI 和 Anthropic 都在做类似的事。这能延缓崩塌，但不能根治——真实数据总会用完，而且真实数据里也可能混着上一代 AI 生成的内容。
招数二：数据质量过滤，而不是来源过滤
不再问"这是不是 AI 生成的"，而是问">这条数据是不是高质量、多样性是否足够"。比如用模型置信度、语义覆盖度等指标筛选数据。这种方法比来源过滤更科学，但计算成本高，而且什么算"高质量"本身就有主观性。
招数三：用强化学习反馈纠正偏差
让人类或强大的参考模型对 AI 生成的输出进行评分，把低分输出剔除。这相当于给模型请了个私教，但代价是每一代训练都要消耗大量人类标注，成本极高。
FAQ：你可能会问的问题
模型崩塌和过拟合是一回事吗？
不是。过拟合是模型在训练数据上表现太好，在真实数据上表现差；模型崩塌是模型学到的分布本身就错了——它不是记住了错误的样本，而是把错误当成了规律。
生成对抗网络（GAN）也会模型崩塌吗？
会，但机制不同。GAN 的崩塌通常发生在训练过程中，比如生成器找到了一个能骗过判别器的固定输出；而这里说的模型崩塌是跨代的数据循环问题，发生在多次训练迭代之间。
我现在用 AI 生成的代码，会不会导致模型崩塌？
如果你只是自己用，不会。崩塌发生在">用 AI 输出作为训练数据去训练下一代 AI"的循环中。但如果你把 AI 生成的代码提交到 GitHub，而 GitHub 上的代码又被爬虫抓取作为训练数据，那你就成了这个循环的一环。
人类学习时不也在用前人写的书，为什么不会崩塌？
人类有外部世界作为校验：你学了错误的物理知识，做实验时会发现对不上。而模型没有身体，没有实验，它只能相信训练数据。如果训练数据里全是 AI 生成的内容，它连纠错的机会都没有。
最后说点扎心的
合成数据是 AI 发展的一把双刃剑。它让模型能在真实数据耗尽之后继续成长，但同时也埋下了"近亲繁殖"的种子。
我不觉得模型崩塌会让 AI 世界末日。我更担心的是另一种场景：未来的人类数据越来越稀少，AI 生成的数据越来越多，互联网上真实声音被淹没在 AI 的自我复制中。那时候，即使模型没有完全崩塌，它也只会是一个无限循环自己的回声室，而不是一个能理解真实世界的智能体。
每次你看到一个 AI 生成的回答，都可以想想：它是在传承知识，还是在复制偏见？这个问题，目前没有人能给出确定的答案。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/224.html