你问 ChatGPT 一个历史问题，它回答得头头是道，连出处都有模有样。你顺手一查——人名对了，年份错了，书名是真的，作者是编的。这种事你肯定遇到过。但你可能没想过：幻觉不是一个笼统的毛病，它其实分好几种，各有各的病灶。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/256.html
基准测试的污染问题：训练数据里混进了测试题——怎么检测和避免
上一篇
2026年8月21日
图像生成模型的评估：FID、CLIP Score、人类偏好——哪个更靠谱
下一篇
2026年8月22日
相关推荐
-
YaRN：Yet another RoPE extensioN——把上下文窗口扩展十倍的工程方案
注意力对长度没有意见，位置编码有意见 有一个事实可能和你的直觉恰好相反：Transformer 的注意力机制本身，对输入长度并没有硬性限制。只要显存够，几十万 token 照样能算…
-
长上下文窗口真的越大越好吗？能装下不等于能理解
假设你刚收到一份200页的尽调报告，打算让AI一口气读完并找出所有风险点。模型宣传自己的上下文窗口是128K token，"相当于10万字"。于是你把PDF传上…
-
Token：大模型世界里最小的字，你的名字在它眼里可能被切成三块
有一次我随手在 OpenAI的tokenizer演示页面 敲了个中文名字“张三”，点完“Tokenize”之后，我愣住了——它被切成了两个token：“张”和“三”。一个完整的名字…
-
格拉默矩阵和线性注意力：不稳定性是怎么被发现并逐步解决的
我最早跑 Performer 的时候，特别郁闷。 一行代码从标准 attention 换成 linear attention，然后训练 loss 就开始抽风——偶尔掉到 NaN，偶…
-
自一致性（Self-Consistency）：问同一个问题多次，取多数答案——粗暴但有效
你让同一个大模型解一道小学应用题。第一次它答错了，第二次它又答错了，第三次它答对了。你是不是觉得这模型随机性太强，不可靠？但如果我告诉你，有人专门利用这种随机性——问同一个问题很多…
-
多头注意力（Multi-Head Attention）：为什么需要多个头同时看一句话
我最早接触到多头注意力时，脑子里蹦出的第一个疑问是：这跟多线程是一个意思吗？一个头不够用，多来几个就能提速？后来啃完原始论文才发现，我完全搞错了方向。多头不是为了让模型算得快，而是…
-
大模型不是在思考，它是在玩一个极其复杂的下一个字猜什么游戏
有一次，我让 ChatGPT 算一道题："一个房间里有 5 个人，每人有 5 个袋子，每个袋子里有 5 只猫，每只猫有 5 只小猫，问房间里一共有多少条腿？" …
-
注意力机制——Transformer 最核心的发明，用全班传纸条就能讲清楚
假如你在课堂上，老师突然让你写一篇‘注意力机制’的总结，但你完全没预习。你只能偷偷传纸条求助。你写了张纸条：‘谁懂注意力机制？’ 传给了几个你觉得靠谱的同学，每个人都回了一张纸条，…
-
Transformer 架构为什么能取代 RNN 和 LSTM？不是更聪明，是更擅长并行
我最早被 RNN 折磨是在 2018 年，当时想训一个简单的对话模型。用双层 LSTM，512 隐藏单元，一张 GTX 1080 Ti 跑一个 epoch 要 40 分钟。我盯着 …
-
为什么学术界不断提出 Transformer 替代方案，工业界却几乎都用 Transformer？
打开 arXiv，搜「linear attention」「state space model」「beyond Transformer」，你能在一小时内凑齐三百篇声称「暴打 Tran…