视觉-语言模型对图像描述的革新：不再需要单独训练，直接用提示词控制描述风格

几年前我第一次在项目里做图像描述，用的还是 Show and Tell 那一套：CNN 编码图像，LSTM 逐字生成句子。模型跑通后，产品拿着几张图来测试，效果中规中矩。然后她问了一句：“能不能把描述风格改得文艺一点？”我愣住了。

因为那个模型的能力是锁死的。它训练用的 caption 长什么样，输出就长什么样。MS COCO 的标题几乎全是 “A man in red shirt is standing on a beach.” 这类客观白描。想换成文艺风？在 2015 年的技术栈里，你唯一的选择是重新找一份文艺风格的数据集，从头训一个模型。我一度以为这就是图像描述的宿命，直到我接触到视觉-语言模型（VLM），才发现原来风格可以写在提示词里，而不是刻在参数里。

传统图像描述：一个模型，一个“人格”

传统 captioning 的套路并不复杂。把图片输入 CNN，得到一个特征向量；把特征向量作为 LSTM 的初始状态，然后逐字预测下一个词。Show and Tell 论文把这套框架跑通了。但它的学习目标只有一个：给定图像，最大化训练数据里目标句子的概率。这带来一个直接后果——模型学到的是“训练集里的描述风格”；如果你只给它客观描述的数据，它只会客观描述。

你可能会说，那我多收集几种风格的 caption 一起训练呢？可以，但每种风格之间没有显式区分。你只能期待模型自己学会“某些词出现在某些上下文中”，但它没有任何机制让你在生成时指定“这次用文艺风格”。它不像 GPT 那样读一段文字就能模仿文风，因为它压根没有“指令”这个概念。

维度	传统 captioning	视觉-语言模型
训练目标	图像 → 固定句式描述	图像 + 指令 → 遵循指令的描述
风格来源	隐含在训练集里	由提示词显式给定
换风格成本	重新收集数据、重新训练	改一行提示词
零样本描述	几乎没有	可以
输出稳定性	高，但单调	灵活，但可能不听话

VLM 的套路：先把图像翻译成语言模型认识的 token

VLM 和传统 captioning 最大的区别不是“模型更大”，而是图像被转成了语言模型能处理的 token，而不是直接作为解码器的条件向量。

拿 BLIP-2 来说：它用一个叫 Q-Former 的模块，把图像特征压缩成一组固定长度的 query token，然后扔给底下的 LLM（当时用的是 OPT 或 Flan-T5）。LLaVA 更简单，用一层线性投影把 CLIP 的视觉特征映射到词向量空间。Flamingo 则用 Perceiver Resampler 在冻结的 LLM 层间插入视觉信息。名字不同，但本质一致：让语言模型“看见”图像。

但仅仅“看见”还不够。你给一个只会续写文本的 LLM 输入一张猫的图片，它可能输出“恭喜，这是一只猫”。但你加一句“用悬疑小说的口吻描述它”，它大概率会蒙圈。真正让提示词控制风格成为现实的，是接下来的这一步：指令微调。

风格为什么能被提示词控制？原因是指令跟随

有一段时间我很迷惑：提示词又不是训练信号，凭什么能改变模型的输出风格？直到我想明白——对 VLM 来说，提示词是输入条件的一部分，而不是“额外的命令”。

看训练数据长什么样：一张图片，配一个文本指令，配一个目标输出。例如：“Describe this image in a humorous way.” 目标输出是一句幽默的描述。模型在训练中学到的是：输出的文本分布，不仅仅是图像的函数，还是那句指令的函数。InstructBLIP 论文做的就是这件事：它在 BLIP-2 的基础上，用大量图文指令对做微调，让模型学会了“按指令调整描述方式”。

于是到推理时，你写“用一句话客观描述这张图”，模型就走进一个偏向客观短句的条件分布；你写“用侦探小说的口吻”，它就走进另一个偏向叙事悬念的条件分布。这个过程不需要动任何参数——风格从“要专门学的目标”变成了“输入文本的一部分”。就像一个读了很多书的人，你让他用鲁迅风格发言，他虽然没有专门训练过“鲁迅发言”，但他从文本里见过类似的东西，能模仿个大概。

举个例子，同一张街道照片：如果提示词是“用一句话客观描述这张图片”，输出可能是“街道上站着一个穿风衣的人”；如果把提示词换成“用黑色电影旁白风格描述”，输出就可能是“霓虹灯在雨水里化开，穿风衣的身影，像这座城市欠他一句道歉”。

关键区别：传统模型学的是“图像 → 描述”的固定映射；VLM 学的是“图像 + 指令 → 描述”的条件映射。风格被移到了条件位置。

但“不用单独训练”是有前提的

这里我必须泼一盆冷水。很多人看到“直接用提示词控制风格”就以为 VLM 是万能的，不需要训练。实际上 VLM 依然需要大量训练——视觉编码器要对齐，LLM 要被激活视觉能力，还要经过指令微调。所谓“不用单独训练”，准确说是不用为每一种风格重新训练一套模型，因为风格作为指令被泛化了。

但泛化是有边界的。如果你的风格要求特别罕见，比如“用《尔雅》的体例描述这张图”，模型未必见过足够多的“《尔雅》+ 图像描述”组合，输出就很可能跑偏。VLM 的风格迁移能力本质上是它从训练文本里学到的文体分布迁移，不是真正的风格理解器。它知道“侦探小说”听起来该有什么词，但和真正的侦探小说写作，差距还很大。

另外，指令和图像内容冲突时，模型通常会优先保图像。比如一张美食照片，你让它“用恐怖片风格描述”，它可能给你一句“血红色的汤”，但不会把它真的描述成案发现场——因为图像特征在那一刻仍然占据主导。这对我们来说是好事，但也说明提示词的“控制力”不是绝对的，是跟图像内容博弈出来的。

关于“提示词控制风格”最常见的几个问题

同一个 VLM 真的能生成风格差异很大的描述吗？

能，只要你把风格描述写在指令里。InstructBLIP 论文里有一个很直观的对比：同一个模型，输入同一张图，分别问“图里发生了什么”和“请为这张图写一段详细的营销文案”，输出完全不同。这不是模型加载了两种状态，而是指令改变了文本生成的条件分布。

这跟 fine-tune 一个传统 captioning 模型有什么区别？

fine-tune 是改变模型参数，相当于换了一种人格；提示词只是改变输入，相当于在同一个博学的人耳边说“这次用某某口吻”。前者每次切换都要加载新权重，后者一行文本就能切换。代价是提示词的控制粒度不如 fine-tune 细腻。

是不是所有 VLM 都能这么做？

不是。只有经过指令微调的 VLM 才能稳定地“听懂”风格指令。早期只做图文对齐的模型（比如最初的 BLIP-2）也可以生成描述，但你给它风格指令，它往往不理会。真正拉开差距的是 InstructBLIP、LLaVA-Instruct 这类模型。

提示词控制风格会取代专门的图像描述模型吗？

在通用场景，基本会。但在垂直领域，比如医学影像报告，专门的模型和规则仍然更可靠。VLM 的优势是通用性，代价是难以精确约束。未来更可能的形态是 VLM 提供底座，行业数据做轻量微调。

用提示词控制风格，有哪些坑？

风格越具体越容易崩。“幽默一点”可以，“像藤本树的分镜一样幽默”大概率翻车。
指令和图像冲突时，指令权重会下降。你想要“完全忽略图中文字”，模型还是会把广告牌上的字念出来。
风格化描述增加幻觉概率。因为风格化要求模型补足语气、细节，而这些“补充”很容易脱离图像事实。我见过模型把一只狗描述成“蜷缩在月光下的侦探”——句子漂亮，画面是编的。
输出长度和格式难精确控制。你可以说“一句话”，它可能给你两句话；你说“包含三个元素”，它可能给你四个。指令跟随的粒度有限。

所以，我的判断是：提示词控制风格真的改变了图像描述的使用方式，但它更适合“快速、灵活、可试错”的场景。如果你的产品需要严格统一的风格，比如合规报告、医疗影像描述，那还是得靠微调或规则兜底，而不是指望一句提示词。VLM 把图像描述从一个“训练一次、输出永远”的死模型，变成了一个“见人说人话、见鬼说鬼话”的接口。这个革新是真的，但不是免费的。