你给AI一张照片，里面是你家金毛犬趴在沙发上。你问它："请描述这张图。"它回答："一个人和一只狗躺在沙发上。"你盯着答案看了三秒——"狗"？你心想：那不只是狗，那是金毛！你开始怀疑：这AI是不是近视？
这个场景几乎每天都发生在各种多模态模型上。模型能准确说出"人""狗""沙发"，却对"金毛""布艺沙发""午后阳光"这类细节语焉不详。它不是故意偷懒，而是它的视觉系统从设计上就留不住那么多细节。这背后有四层瓶颈，一层比一层隐蔽。
先从图像是怎么被“看见”的说起
图像描述的标准流程分三步：
- 视觉编码：图像被resize到固定尺寸（如224×224），然后切成16×16像素的patch，每个patch映射成一个向量。
- 特征交互：这些向量进入Transformer层，通过自注意力互相“打招呼”，最终形成一组语义特征。
- 文本解码：语言模型根据这些特征，一个词一个词地生成描述。
注意第一步里的resize。你的手机照片通常是3000×2000像素，模型会把它缩到224×224，边长缩了十几倍。这个过程会丢掉大量高频细节——毛发纹理、瞳孔颜色、项圈上的小铃铛，全都没了。用专业的话说，这是信息瓶颈的第一层。
这个缩图和切块的设计来自Vision Transformer (ViT)，它把图像当作词序列来处理。但patch的尺寸是16×16，一个金毛犬的脸可能只占几个patch。ViT的初衷是用全局注意力建模长距离依赖，而不是保留局部细节。换句话说，模型天生就不是为了“看清”而设计的。
注意力机制：它看到了，但没“看进去”
第二层瓶颈在自注意力。Transformer让每个patch都能看到所有其他patch，但注意力权重并不均匀。模型倾向于把注意力放在它认为“重要”的地方——而“重要”是由训练数据定义的。在图像描述任务里，人类标注者往往关注主体，比如人和狗，不关注品种。模型学到的就是这个偏好。
我做过一个实验：在一张图上放一个小型挂钟，位置很偏僻。模型给出的描述完全没提挂钟。我打印出注意力热力图，发现模型的高注意力全部集中在人脸区域，挂钟对应的patch权重几乎为零。也就是说，它根本不是“说漏了”，而是压根没看。
这个现象在Show, Attend and Tell年代就已经存在：注意力机制让模型可以选择性关注图像区域，但“选择性”的另一面就是“忽略”。
语言先验：不敢猜，干脆说个“狗”
就算模型真的捕捉到了“金毛”的特征，它在生成文本时也可能选择“狗”。为什么？语言模型在每一步生成时，会计算所有候选词的概率分布。训练数据里“狗”出现的频率远高于“金毛”，所以“狗”的得分天然占优。
用一个类比：你在街上看到一只狗，但不确定品种，多半会说“那有一只狗”，而不是冒险说“金毛”。模型学会了这种保守策略。它宁愿给出模糊但正确率高的词，也不愿冒着犯错的代价说具体品种。
这种语言先验压过视觉线索的现象，在CLIP的对比学习训练中同样存在：文本端和图像端最终共享的语义空间倾向于“平均”掉视觉细节。
数据才是原罪
最后，也是最根本的：训练数据里的标注本来就是粗粒度的。以经典的COCO Captions为例，它的标注目标是“场景理解”，而不是“细粒度识别”。我们看看数据集里的真实描述：
"A man and a dog standing on the street."
"A couple of people that are walking in a park."
你几乎看不到“golden retriever”这样的字样。数据里没有的，模型就很难学会。这就像你教一个孩子认识动物，每次都只说“狗”，那么他遇到金毛时，最自然的回答还是“狗”。
COCO Captions的构建方式也印证了这一点：它要求标注者用一句话描述图片中发生的事情，并不鼓励标注细节。相关描述见COCO Captions论文。后来的一些数据集，比如LLaVA使用的指令数据，虽然加入更多细节，但整体分布仍然偏向高频物体。
一张表看清细节丢失的四大“凶手”
| 因素 | 影响强度 | 说明 |
|---|---|---|
| 图像分辨率 | 高 | 缩小到224px后，细节像素被直接丢弃 |
| Patch尺寸 | 中 | 16×16的粒度意味着局部信息被向量化抹平 |
| 注意力机制 | 高 | 不重要的区域根本进不来 |
| 语言先验 | 中 | 高频词“狗”压过“金毛” |
| 训练标注 | 高 | 数据本来就不区分品种 |
我以前的误解
我最早以为，图像描述模型像人一样，先看整体再抠细节。后来研究了不少模型的热力图，发现根本不是这样。它们的“视觉”更像一道流水线：先把图像压成一个低分辨率的热力图，然后在这个热力图里找最突出的区域。你指望它在这个热力图里找到金毛的耳朵，实在太难了。
更让我意外的是，有时模型即使“看”到了细节，也会在生成时主动忽略。这让我意识到，视觉描述问题不是单一的视觉问题，而是视觉和语言共同作用的结果。你给模型一张金毛的照片，它在视觉层可能捕捉到了“金毛”的线索，但在语言层，“狗”的得分太高了，于是它选择了最稳妥的答案。
FAQ：关于细节丢失的常见疑问
为什么有些AI能说出“金毛”，有些不能？
这取决于模型的能力和训练数据。比如GPT-4V、Gemini等在更大规模数据上训练，可能见过更多品种。但即使它们也经常犯错误。本质上仍是概率问题。
如果我用prompt提示“请详细描述狗的品种”，是不是就能得到？
不一定。prompt会影响解码时的注意力，但它无法弥补视觉编码阶段丢失的信息。模型没“看到”具体特征，再提示也没用。你可以试试缩小图片后让一个人类描述，他也只能凭猜。
有没有专门做细粒度图像描述的模型？
有，比如一些工作把物体检测和caption结合，或使用区域级的视觉特征。但这些模型在通用场景下往往不如通用模型流畅。这是一个权衡：想要细节，就得牺牲整体。
为什么说这个问题短期无解？
有人可能会说：提高分辨率不就行了？确实，新一代模型如LLaVA-NeXT已经把输入分辨率提到672×672，细节表现大幅提升。但与此同时，计算成本也水涨船高。更重要的是，即使分辨率提上去了，语言先验和训练数据的问题依然存在。
另一种思路是引入检测或分割模型作为辅助，先生成区域标签，再让语言模型基于标签描述。但这种流水线式的方案破坏了端到端训练的优势，而且检测模型同样会有自己的漏检和误判。
在我看来，这个问题的本质是视觉和语言之间的信息瓶颈。视觉系统必须将海量像素压缩成有限的token，而语言系统必须在一堆概率中挑一个词。两头都在“丢信息”，叠加起来，“金毛”变成了“狗”就成了必然。
所以，下次当AI没说狗是什么品种时，别急着骂它笨。它从第一眼看到图像起，就注定只能看到一副模糊的轮廓。它选择用最安全的方式描述那个轮廓，何尝不是一种聪明呢？但如果你真的需要它分清“金毛”和“柴犬”，那就给它看更清晰的图像，或者换一个专门训练过的细粒度模型。技术总在进步，但在这之前，我们得接受这个现实：它看得见世界，但看不清细节。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/627.html