你觉得自己常识好吗？来回答一个问题：一个人走进超市，拿了一袋猫粮，走向收银台。他接下来最可能做什么？答案是付钱。这件事没人专门教你，三岁小孩看一眼就知道。但一个只学过图片识别的AI，可能会盯着猫粮袋上的猫图片发呆半天——因为它不知道“买东西要付钱”这条常识。
把同样的逻辑搬到图像上，就是视觉谜题（Visual Puzzles）想考的东西。给定一张图，模型不只被要求说出“图上有什么”，还得回答“这个人在干什么”、“为什么要这样做”、“接下来会发生什么”。这些问题对人不费吹灰之力，对机器却是深不见底的坑。
我最早以为，这类问题只要把图片识别做得足够好，再搭配一个聪明点的语言模型，就能轻松拿下。毕竟你都能看清画面里的一切了，还答不上来吗？直到我翻到视觉常识推理（Visual Commonsense Reasoning, VCR）项目主页和论文里的错误示例，才意识到自己天真得可爱。
VCR是目前最有代表性的视觉谜题基准之一。它从电影剧照中收集了11万张图片，让标注者针对每张图片提出一个关于人物行为或意图的问题，并给出四个候选答案，同时要求写出理由。整个数据集包含29万个问答对。我举个例子：图片里一个男人站在厨房水池前，手放在水龙头下，旁边放着一块肥皂。问题是：“他刚才在做什么？”正确答案是“洗手”。这个答案并不难，但模型需要理解“肥皂+水+手”的组合，并推断“他可能刚上完厕所”这种隐藏原因。画面里根本没有厕所，也没有“刚刚上完”的视觉证据，这全靠常识补全。
你可能会问：模型不是看过海量图片吗？它难道没见过几百张“人在水龙头下洗手”的照片？问题恰恰在于，常识不是从单张图片里能看出来的。图像只呈现结果，不呈现原因。模型能看到肥皂、水、手，但看不到“为什么会发生这个动作”。而常识恰恰是那个“为什么”。
VCR把任务拆成了两层：第一层是从四个选项中选正确答案，第二层是生成一句理由来解释为什么选它。模型必须同时完成两层，才算真正理解。这比传统的VQA（视觉问答）VQA数据集要求高得多——VQA可能只需要回答“他在做什么”，VCR则要求你回答“他为什么这么做”。
那模型要回答这些谜题，到底需要哪些常识？我梳理了一下，至少包含下面四类：
- 物理常识：物体掉落会向下，碰撞会反弹，水会流向低处。图像里没有这些定律，但答案往往依赖它们。
- 意图常识：人做事有目的。看一个人跑步，能推断他在锻炼还是赶公交，全靠对日常行为的理解。
- 社会常识：超市要排队付钱，去别人家要先敲门。这些社会规则不会画在物体表面，却是很多问题的隐含前提。
- 场景语义常识：猫粮通常在宠物区，滑雪板通常与雪地相伴。这类“什么出现在哪里”的统计关联，是模型最容易学会的，但也是最容易翻车的。
物理常识的效果最直接。假如一张桌子上放着苹果，旁边是桌沿。问“苹果掉下桌后会发生什么？”正确答案是“掉到地上”。但一个从来没有重力概念的模型，可能会从训练数据里学到“苹果在桌子上”这一静态画面，于是回答“苹果还在桌子上”。它把世界当成了定格动画里的布景，而没有动力学的概念。
听起来不难，对吧？但VCR论文里有一个极其反直觉的结论：人类在测试集上的准确率高达85%，而当年的最好模型只有65%左右。更尴尬的是，模型答错时往往自信满满，给出的理由条理清晰却荒诞不经。比如面对“为什么这个人手里拿着锤子”，模型可能会答“因为他喜欢锤子”——这完全是在用统计频率糊弄事。
| 能力维度 | 人类准确率 | VCR 2019最佳模型 |
|---|---|---|
| 物体识别 | ～95% | ～95% |
| 意图推断 | ～90% | ～60% |
| 反事实推理 | ～80% | 几乎为零 |
注意最后一行。反事实推理，就是回答“如果……会怎样”的问题。比如“如果这个人没带伞，他下一步最可能做什么？” 模型完全蒙圈，因为它只能在已有数据里找模式，而训练数据里很少会出现“不发生的事件”。事实上，OK-VQA数据集专门收集那些必须借助外部世界知识才能回答的问题，这个基准上模型的分数比人类低了30多个百分点。
我曾在一次测试里看到这样的案例：一张图里有个小女孩骑在自行车上，旁边有一根骨头。问“如果一只狗跑过来，孩子最可能怎么做？”模型回答“把骨头扔给狗”。这表面看起来合理，但其实没有任何视觉线索支撑——模型只是学会了“孩子和狗同时出现时，往往会发生友善互动”的统计规律。如果场景换成“一条鲨鱼游向游泳者”，模型还会套用“友善”吗？大概率不会。
到这里，你可能已经理解视觉谜题的核心矛盾了。那我来澄清三个最常被误解的说法。
误解一：模型答错是因为“没看清”图像
事实是，VCR中有很多问题即使把关键物体的位置直接告诉模型，它依然答错。原因在于你需要做的是在脑内补全因果链，而不是看更多的像素。视觉常识推理的瓶颈在推理层，不在感知层。
误解二：常识就是统计规律
统计规律只会告诉你“A和B经常一起出现”，不会告诉你“A导致B”。尤其是在反事实场景下，统计规律完全失效。如果你给模型展示“人摸到热水壶后缩手”的图片，它能学会“热水壶会烫伤人”，但它无法回答“如果水壶是冷的，他还会缩手吗？”——它没有因果模型。
误解三：多模态大模型已经能看图说话了，常识问题应该解决了
别急着下结论。像GPT-4V这样的模型，确实能把图片描述得非常细致，也能回答不少需要常识的问题。但在一些精心设计的视觉谜题上，它依然会犯低级错误。比如判断镜子里的字母是否翻转，或者推理一个被遮挡物体的形状，它经常抓不住重点。常识推理的终极考验是反事实——那些从未发生但在逻辑上可能发生的事件，这类样本在训练数据里极其稀有。
说到这，我想起自己真正想通的那一刻。之前我总以为，多模态大模型在视觉谜题上翻车，是因为视觉编码器不够强，没“看清”图里的细节。后来我发现，即便给模型提供完全正确的目标检测框，它依然会在“为什么”这类问题上答错。问题不在看，而在想。模型缺乏的不是像素，也不是一个物体清单，而是一个能把物体组织成因果链条的世界模型。
识别任务和视觉谜题的区别可以用一个比喻说明：识别是“看见下雨就说出‘下雨’”，视觉谜题是“看见地上湿漉漉，推断刚刚下过雨”。前者是像素到词语的映射，后者是事实到推断的跨越。这种跨越能力，需要模型学习因果关系，而不只是相关关系。
所以，视觉谜题这个领域，到底教会了我们什么？它逼着AI研究者承认一个事实：智能不只是感知，更是对世界运作方式的建模。一个只会把像素变成标签的系统，永远回答不了“为什么”。而要回答“为什么”，模型就需要学习更底层的因果规则——这是单纯堆数据和模型规模远远不够的。
我个人判断，未来真正能攻克视觉谜题的方向，不太可能是堆更多数据和更大模型，而是把常识以某种结构化的方式嵌入模型——比如结合物理引擎、事件知识图谱或者因果推理模块。这条路刚刚起步。对于今天的大多数AI来说，它们依然在靠“看起来像”来假装“想通了”。
所以下次你看到一个AI答对了图片里的问题，先别急着感叹它聪明。你可以追问它一句：“为什么？”——大多数情况下，它沉默的那一刻，才是它真实智力水平的体现。
一个小测试：测测你的常识
看这个场景：一个男人站在电梯门口，手里拿着一大束花。他在等什么？A. 电梯 B. 他的伴侣 C. 外卖。对人类来说，答案显然是B，因为有常识“一个人拿着一束花站在电梯门口通常是在等女朋友”。模型呢？它可能会选A，因为电梯门和按钮的视觉特征太强了。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/892.html