我最早以为，多模态模型做数学题就像人眼和大脑的合体：先看一眼图，再开始推演。直到我把一道AMC几何题喂给模型，才发现它在“看”这一步就已经错得离谱。题目文字写着“D是AB的中点”，图上也标着中点，但模型在推理过程中硬是把D当成了三等分点来用，算出答案后还一本正经地写了自己构造辅助线的过程。我当时的第一个念头是：这也太蠢了。但随后我意识到，骂它“蠢”太笼统了——它是在用一种读不准的视觉机制，去解一类要求精确视觉信息的题。
这类题并不少见。AMC和AIME是美国的两个数学竞赛层级，一个偏基础筛选，一个偏竞赛选拔。很多几何题会直接配一张图，图里的中点、垂足、圆弧和角度标记，不是装饰，是解题的必要条件。对这套题，目前最强的多模态模型距离人类顶尖水平还有一条很宽的沟。为了量化这条沟，研究者们造了一批基准：比如 MathVista 把SAT、AMC等来源的视觉数学题聚到一起，MMMU 里也有大量基于图像的STEM题。结果很扎心：GPT-4V刚发布时，在MathVista上的准确率只有大约49%；而人类专家的水平在80%上下。你可以说模型“及格了”，但这相当于让一个高三学生去考一张全是附加题的卷子，它只拿到了基础分。
MathVista论文里专门指出：在它的题目中，相当一部分只看文字描述完全解不了，图像本身承载了关键定量信息。可恰恰是这些题，成了模型的“雷区”。
我印象很深的一次调试，是一个矩形内嵌三角形的题目。模型明明把直角标记也扫描进去了，但在最后的推理里，它完全没提这个直角，反倒是用了一个相邻角度的估计值，得出了错误答案。这不是“没看到”，是“看到了但没有纳入推理”。
更值得看的是模型的错误模式。我把典型的失败案例归成三类：
- 空间关系错乱：平行看成垂直，中点看成三等分点，图上明明画着直角，模型却按锐角算。
- 文字压过图像：题目文字说“圆O”，图里画的却是个椭圆。模型会下意识听从文字描述，不检查图形是否自洽。
- 结果不自洽：模型算出的边长或角度，在图上根本对应不上，但它不会回头验证。
这三类错误有个共同点：问题出在“看”，不是出在“算”。
把图换成文字，分数反而涨了？
真正让我想通这件事的，是一个我一开始觉得反直觉的观察。同一道几何题，如果我把图像上的信息翻译成文字表述——比如“AB垂直于BC，∠A=30°，M是AC中点”——再交给同一个模型，它的答案质量会明显上升。MMMU和MathVista的评测中，模型在纯文本问题上的得分普遍高于视觉问题；后来我在不少模型的评测报告里也反复看到这个现象。
这意味着什么？说明模型并非缺少那一块几何知识，它对“中点”“垂直”“角平分线”这些概念的推理能力是有的。但当这些关系只能通过像素去推断时，它的视觉通道给不了它足够精确的信息。换句话说，瓶颈不是它不会算，而是它“看不清”。
为什么会看不清？这里得理解模型看图的原理。视觉模型会先把图像切成一块块小方块，再压缩成连续向量，而不是直接记录线条和交点。等你需要从这些向量里还原出“BC的中点在哪里”时，误差早就被层层吸收。人类看图提取的是几何关系，模型看图提取的是颜色、纹理和形状的统计分布——这种表征方式天然不适合精确定度量。
两个瓶颈，不是一个
不过，把锅全甩给视觉也是片面的。我用另一个角度拆解，发现视觉数学题同时压着两个独立瓶颈：
- 感知符号化瓶颈：从像素变换为精确的几何符号。这一阶段失败，后面的推理再强也无用。
- 长链条自洽瓶颈：生成每一步时，没有检查当前中间结果是否与图或题目的原始约束冲突。AIME级别的问题动辄十步以上，一步误差会在链条末端被放大。
第一个瓶颈属于视觉编码，第二个瓶颈属于所有自回归语言模型的通病。两者叠加，就形成了视觉数学题特有的“灾难性错误级联”。这也是为什么在纯文本MATH基准上，GPT-4已经能收获八成以上的正确率；可一旦给同样难度的题目配上图，成绩立刻掉到五成附近。差距不是一点半点，而是整整一个档位。你可以用下面这张表感受一下：
| 任务类型 | GPT-4/Multimodal 顶尖水平 | 人类专家水平 |
|---|---|---|
| 纯文本数学竞赛题（MATH） | 80%以上 | 接近90% |
| 带图视觉数学题（MathVista） | 约50%上下 | 约80% |
这种落差说明：模型在视觉通道上付出的“翻译代价”，比我们想象中大得多。
我一度以为，提高输入图像的分辨率就能解决这个问题。结果试下来发现，把图放大几倍后，模型表现几乎没有变化。原因在于视觉分词器内部有固定的步长，更多的像素只是增加了计算量，并没有让每个patch携带更精细的几何信息。换句话说，不是分辨率不够，是特征表达的结构不对。
FAQ：三个你可能想问的问题
它真的在看图吗？
看了，但没有进行精确解读。注意力热力图显示模型确实关注了图形区域，但关注不等于理解。就好比你扫了一眼题目，知道图上有个三角，却没注意到角C被标成了直角。
先用OCR把图变成文字，再接一个文本模型，会不会更强？
会，而且已经是工程界的标准操作。把图像中的符号和文字变成文本，等于绕开感知瓶颈，直接回到模型最擅长的文本推理。代价是遇到只能靠图才能读出的空间关系时，OCR也无能为力。常见的几何题里“辅助线怎么添”属于这类，本质上要求连续的空间想象力，用文字描述会非常笨拙。
把模型做得更大，视觉推理会自动变好吗？
至少目前证据不支持。过去几年，文本模型规模增大带来的涌现能力非常显著，但在视觉数学推理上，模型的成绩上升远不如文本任务平滑。根本原因可能是视觉表征底层没有变：依然是连续向量，而几何需要离散精确的符号关系。规模能提升语言的流利度，却补不上视觉的“精度缺口”。
补一句：AIME和AMC的区别
AMC（American Mathematics Competitions）是初高中阶段的选择题竞赛，题目相对短小，几何题往往附带图形。AIME是AMC之后的高难阶段，解答题要求严密过程，但相当一部分几何题需要你自己画图，反而没有现成图可“看”。所以“视觉数学题”的主力是AMC级别，AIME级别主要难在多步推理和构造技巧。本文讨论的“AMC/AIME级别”，更多指它们在思维深度上等价，而不是说它们都是图文题。
边界在哪，希望在哪
如果把“多模态推理极限”看成一个地图，当前我们正撞在一个很明确的墙上：视觉编码的精确性。模型可以辨认“这是什么物体”，却无法稳定输出“这两条线夹角的度数”。数学，尤其是几何数学，需要的恰恰是后者。
那未来怎么破？我看好两个方向，都不是继续堆参数。一个是让视觉模型显式输出结构化描述：先让模型把图里的几何元素抽取成符号图，比如顶点、边、垂直关系，再把符号图交给常规推理模块。这条路把“像素”和“符号”之间加了一道显式转换，等于给模型装了一把刻度尺。另一个方向是外包：让多模态模型只负责“从图中找到切入点”，后续证明交给正儿八经的几何定理证明器。这两条路本质上都在补偿视觉感知的缺陷，而不是继续幻想一个庞大的端到端模型自己能长出“几何眼”。
在那之前，如果你想让AI帮你做数学题，我的建议是：先把图里的数学信息转述成文字，再交给语言模型。你替它承担“看”这一步，它才能安心发挥它最强的“算”。这听起来有点反讽，但这就是多模态数学推理今天的边界。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/1290.html