有人问我，GPT-4 Turbo 比 GPT-4 快在哪？我最早也以为，Turbo 就是 OpenAI 把模型压缩了一遍，像给自然吸气发动机加了涡轮——推理更快、价格更低。结果我去翻了 OpenAI DevDay 2023 的官方公告，从头到尾都没找到“更快”两个字。OpenAI 说的是 more capable 和 cheaper，顺带给了个 128K 上下文窗口。
这跟我想的不一样。给模型加个涡轮，怎么会不提速度？后来我把自己的应用从 gpt-4 切到 gpt-4-1106-preview，才明白：Turbo 的快，不是每秒多吐几个 token，而是“让你更快拿到可用结果”。这背后至少藏了四个变化。
重新洗过的不是代码，是截至 2023 年 4 月的整个世界
先看一个被很多人忽略的事实：GPT-4 的知识截止在 2021 年 9 月，GPT-4 Turbo 直接推到 2023 年 4 月。这中间隔了 19 个月。你问 GPT-4“卡塔尔世界杯冠军是谁”，它会告诉你这件事发生在我的知识截止之后；Turbo 能直接说：阿根廷。
对开发者来说，这个差别是实打实的。以前你想让模型懂一件 2022 年的事，得把事件背景写进提示词，甚至得去用联网插件。现在模型自身就带着到 2023 年春天的世界常识，大量背景材料可以省略。用官方说法，Turbo 在训练时用到了“up to Apr 2023”的数据，并且针对指令跟随、JSON 输出等任务做了专门优化。所谓“重新洗过”，重点不是洗，是换了一盆水。
128K 上下文：从片段式记忆到整本读书
GPT-4 标准版只有 8K 上下文，大约相当于一万多个英文单词，中文大概六七千字。你要给它一本小说，得切成好几段，每段分别总结，再手工拼起来。Turbo 给到了 128K，一本三百多页的书可以整个丢进去。
我在一个项目里把一份几十页的 API 文档、几千行代码的 README、还有一段报错日志一起扔给 Turbo，它真的记得住开头提到的函数名。那种“不用自己维护摘要”的感觉，比任何 token 速度提升都值钱。
所以 Turbo 的“快”是入场快，不是全程狂奔。聪明的用法是只喂必要内容，把 128K 当成安全垫，而不是日常满载。我后来从 gpt-4-32k 迁移到 gpt-4-1106-preview，头一周就踩了个坑：在 90K token 的 prompt 里塞了大量日志，结果回答质量反而变差，因为噪音太多。把 prompt 精简到 40K 后，效果立刻好了。大窗口不是让你无脑堆料，而是给你更多选择的自由。
价格降三倍：不是省钱，是买更多试错机会
| 维度 | GPT-4 | GPT-4 Turbo |
|---|---|---|
| 输入价格（每 1K token） | $0.03 | $0.01 |
| 输出价格（每 1K token） | $0.06 | $0.03 |
| 上下文窗口 | 8K（可选 32K） | 128K |
| 知识截止 | 2021 年 9 月 | 2023 年 4 月 |
数据可以在发布公告和官方模型文档里交叉验证。注意输入价格只有原来的三分之一，输出是二分之一。同样处理 50K token 的文本，原来输入费 1.5 美元，现在只要 0.5 美元。
很多人觉得这只是省钱，但对我来说，便宜直接改变了工作方式。以前为了省 token，各种压缩历史、抽摘要、定时清理上下文；现在上下文贵了？不，我可以多扔几轮完整对话进去。以前舍不得跑的重参数实验，现在也能放开跑。每一轮实验成本低了，试错 loop 就转得快了，你能在相同预算内尝试更多方案。这比单纯看 latency 数字有意义得多。
JSON 模式：让模型从“人类阅读器”变成“机器接口”
用过 GPT-4 的人都有这种痛：让它输出 JSON，它给你 Markdown 代码块，或者夹一坨注释，或者把布尔值写成 True。你不得不写正则、剥代码块、做类型修复。Turbo 引入了 JSON mode，指定 response_format 后，它会更规矩地吐 JSON。
加上函数调用支持并行，代码能少写不少。我自己的一个解析任务，以前要三步：让模型提取、正则清理、JSON.parse 失败重试。换成 Turbo 后，解析失败率从百分之十几降到了个位数。这种快，是写过 API 集成的人才切身体会得到的。
要不要 JSON mode？就一行代码的事。
response_format = {"type": "json_object"}所以“快”到底是什么？
到这里我想通了：Turbo 这个代号很有欺骗性。它真正快的不是引擎，而是整体工作流。用更新鲜的知识、大 16 倍的上下文、便宜 2-3 倍的价格、更稳定的结构化输出，把你和答案之间的距离压缩了。至于单个 token 的生成速度，我的主观体感和 GPT-4 没有明显差别。如果你比谁第一个字吐得快，Turbo 未必赢。
那它到底有没有推理加速？
OpenAI 从没公开过 per-token 时延对比。在产品层面，它没有把“推理加速”作为卖点。如果你在 API 测试中偶尔觉得快，可能是负载、批处理、量化等工程因素，而不是模型结构上的加速。
128K 上下文是越大越好吗？
不是。注意力复杂度平方级增长，长输入会拖慢每步计算。长上下文还可能导致“迷失中间”——模型对中段信息的关注度低于开头和结尾。所以实际开发中，我会把上下文控制在能完成任务的最小范围。128K 真正解决的是“够不够装”，而不是“装了之后快不快”。
但 Turbo 也有它的边界。幻觉没有消失，知识截止也不是万能：问它 2023 年 4 月之后的新事，它一样会猜。JSON mode 不是数学证明，生产环境里该加的校验还是得加。2024 年 4 月，OpenAI 又发布了 gpt-4-turbo-2024-04-09，知识截止推到了 2023 年 12 月，说明这也是一路迭代过来的。
我的建议是：如果你的应用总被 8K 上下文卡脖子，或者有大量长文档需要整段理解，Turbo 值得马上换。如果你做的是极低延迟的实时对话，别指望“Turbo”两个字能带来涡轮增压。延迟由推理引擎、显存、上下文长度和网络距离共同决定，不由一个名字决定。真正的快，是让模型更懂你，也让失败更便宜。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/1326.html