我最早注意到多模态推理速度这件事，是在一次团队选型会上。当时的场景很日常：把一张产品图丢给 GPT-4V，让它写一段营销文案。我们几个人盯着屏幕，等了差不多五秒，才开始出字。旁边有人嘀咕了一句：「这也太慢了，我看开源的什么 LLaVA 跑本地不是挺快吗。」
这句话让我卡了很久。同样是看图说话，凭什么 GPT-4V 要五秒，开源模型能做到一秒以内？是 OpenAI 的技术不行，还是这里面有什么不可调和的代价？
为了把这件事彻底搞清楚，我把时间拆分到了毫秒级。先别急着下结论——你想象的「开源模型快」，可能和真正的「快」不是一回事。
五秒到底花在哪了：一个亲测的时间账
多模态模型的推理，不是「图片进去，文字出来」这么简单。它至少经历三个物理上不可跳过的阶段：视觉编码、跨模态对齐、自回归解码。
我拿一张 448×448 的普通产品图，在几种模型上做过粗略测算。以 GPT-4V 为代表的闭源模型，视觉编码和首 Token 延迟加起来可能就占去 1-2 秒；真正的大头是自回归解码——模型逐字生成回答，每生成一个字，都要对整段上下文重新计算一遍。
GPT-4V 回答一段 100 字的文案，它实际要做的自回归计算大概是：
- 处理输入图像，把像素转成视觉特征（几百到几千个 token）；
- 把视觉 token 和用户文本拼在一起，做一次完整的 Transformer 前向计算；
- 每生成一个输出 token，重复一次前向计算，直到输出结束。
所以「等五秒」不是网络延迟，也不是人家故意限速。那五秒里，绝大多数时间是在等模型一个字一个字地「挤」出来。
开源模型快在哪：先分清「真实时」和「测试快」
你看到的「开源模型 1 秒出结果」，多数来自两类情况，它们对应的技术完全不是一回事。
第一类是流式输出。用户把首 Token 延迟误当成了总时间：模型第一个字 0.8 秒就出来了，后面还在继续生成时，用户已经觉得「它在说话了」。你拿 GPT-4V 走流式接口，体验也会大幅改善——但这不是开源模型的专利。
第二类是工程优化+小模型。比如把 7B 参数的开源模型跑在量化后的形式（INT4/INT8），用 vLLM 这类推理框架做连续批处理，再配一张消费级显卡。此时每个 token 的生成时间可以压到 20-30 毫秒，看起来确实很快。
但这里有一个关键事实：这些优化手段，闭源模型也完全可以用，只不过你接触不到底层的执行环境。OpenAI 没有在小白用户界面上给你开「加速模式」的开关，不代表它不会在内部用投机采样和 CUDA 优化。
所以真正的问题不是「开源模型是不是天生更快」，而是同一代硬件和算法下，大模型和小模型、闭源重模型和开源轻量模型之间，速度差距到底由什么决定。
推理时间由什么决定：一张表看清变量
我花了一段时间把这些变量整理成一张表，每次给团队讲的时候都直接贴出去。你感受一下哪个变量是决定性的：
| 变量 | 对速度的影响 | 可控性 |
|---|---|---|
| 模型参数量（7B vs 上百B） | 决定每一步预填充和自回归的计算量，单位时间内能并行计算的 token 数量受显存带宽限制 | 开源可选，闭源不可选 |
| 量化（FP16 vs INT8/INT4） | 权重越小，单次计算所需的数据量越小，速度可提升数倍 | 开源可用，闭源不可见 |
| 视觉 token 技术（固定网格 vs 动态分辨率） | 高分辨率切块后 token 可达数千，自回归压力剧增 | 开源可调，闭源不可调 |
| 批处理策略（连续批处理/投机采样） | 把多个用户的请求合并到同一个 GPU 步长执行，吞吐量可以翻几倍 | 开源框架（vLLM/SGLang）效果明显 |
| 输出长度 | 自回归阶段每输出一个 token 都要重算注意力，输出越长耗时线性增长 | 用户可控 |
看到这里你大概明白了：1 秒和 5 秒的差距，本质上是模型体量和工程手段的叠加，而不是「开源模型的神奇魔法」。你要是拿一个 70B 的开源模型，不做量化，用普通推理脚本跑一张高分辨率图，照样能把 5 秒翻成 10 秒。
「1 秒」的代价：开源模型牺牲了什么
既然开源模型能把推理压到 1 秒，为什么大家不全都用开源？因为「快」往往意味着「砍了点什么」。
最明显的是参数量。一个 7B 模型在常识推理、细粒度视觉理解上，跟 GPT-4V 级别的模型存在代差。换来的速度，是在跟任务难度做交换。你用开源模型处理「识别图里的猫、狗、人」，它确实很快，甚至 0.5 秒内就能给你答案——但处理「从这张多层图表里找出三个销售异常点并给出归因假设」，它的思维链明显变短，还容易一本正经地胡说八道。
有一个细节让我每次想起来都很感慨：真正让开源模型从「可用」变成「实用」的，不是模型本身，而是 vLLM 的 PagedAttention、量化感知训练、投机采样和视觉编码器的并行化。这些工程手段不会写进模型论文里，但恰恰是它们把推理延迟从「无法忍受」拉回到「够用」的水平。
OpenAI 的 GPT-4V 论文里提到，系统会用「预测性预解析」来减少等待感；vLLM 的论文则把注意力计算的显存浪费比喻成操作系统的内存碎片问题。两者说的其实是同一件事——快的秘诀不是模型更懂你，而是工程上把资源调度做到了极致。
我踩过的坑：盲目追「快」丢掉的是什么
我一度是「能跑本地就跑本地」的激进派。直到有一次，我拿开源模型做一张含小字体的发票 OCR，发现它对数字的识别错得离谱。模型很快，1 秒也没用到——但答案错得让我冷汗直冒。
后来我才意识到，我混淆了两个概念：「首 Token 快」不等于「答案质量高」，更不等于「在复杂任务上可靠」。对很多生产场景来说，一个慢 5 秒但答案正确率 95% 的模型，远比一个快 1 秒但正确率 80% 的模型有价值。你省下的 4 秒，会在校验答案、人工纠错、返工流程里十倍地还回去。
FAQ：三个最常被问错的点
是 GPT-4V 故意限速吗？
不是。闭源服务也会做显存优化和推理加速，只是你感知不到。OpenAI 和 Anthropic 都使用分布式推理和投机采样来降低成本，而不是故意把速度调慢来「维持神秘感」。
开源模型做到 1 秒，算不算真理？
看任务。如果只是图片分类、简单 VQA、固定模板描述，1 秒内完全可能。如果涉及高分辨率文档理解、图表推理、多轮对话中的上下文堆积，1 秒几乎不可能——除非你砍掉大量图像细节。
能不能既要快又要准？
可以试试「级联架构」：先用一个轻量模型快速判断图片类型，再把复杂图丢给重模型。这是工业界很常见的妥协方案，成本、延迟、质量之间动态平衡。但代价是架构复杂度上去了，你的推理流水线不再是一条直线。
把它放回场景里：你怎么选？
现在回到最初的问题。GPT-4V 响应 5 秒，开源模型能做到 1 秒吗？
能，但你要先回答三个问题：
- 你的任务需要多强的视觉理解能力？
- 你的「1 秒」是首 token 延迟还是完整输出时间？
- 你愿意为「快」接受多高的错误率？
我的判断是：「1 秒」不是开源模型的免费午餐，而是把成本从服务器转移到了应用层——要么转移给任务难度，要么转移给结果质量。真正的竞争力不是谁在 benchmark 上快几秒，而是谁能在「快、准、稳」三者之间找到符合业务需求的落点。技术工程没有银弹，只有换取和补偿。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/362.html