我最早以为，多模态模型就是把图片变成向量，把文字变成向量，然后让它们之间的距离变近。直到我自己跑了一遍CLIP的代码，才发现“让距离变近”这四个字背后，是整个领域最头疼的问题。今天想跟你聊的，就是这个头疼的根源——模态对齐。
先问一个基础问题：图像和文本，在计算机里到底长什么样？一张图是像素矩阵，一句话是词序列。它们不仅维度不一样，连基本单位都不一样。一张 224×224 的彩色图片，是 150528 个数字；一句话可能只有十几个词。把这两样东西塞进同一个模型，就像让一个中国人听意大利语，两个人都不知道对方在说什么。这就是模态鸿沟。
为什么不能直接对比？因为你需要在一个空间里，让“猫”这个文字和“猫”的图片对应起来。这个空间叫共享特征空间。而构建它的过程，就是模态对齐。
对齐难在哪？我总结了四点：
- 信息不对称：一张图包含的信息远多于一句话。比如“两个人在沙滩上打排球”，图片里还有沙子、海、天空、衣服颜色，但文本只描述了一小部分。对齐时，模型到底该把哪些图像区域和哪些词对应？
- 粒度不匹配：文本的粒度是词，图像的粒度是像素/区域。词对应的是整个场景还是某个物体？没有天然标注。
- 语义鸿沟：像素是连续的，词是离散的。它们之间没有直接的数学关系。你无法用一个线性函数把像素映射成“猫”这个词。
- 数据获取难：理想的对齐需要像素级的图像-文本标注，但成本极高。实际用的都是网上的图文对，噪音很大。
这四点叠在一起，让模态对齐成了一个“你越细看越绝望”的问题。但2019年之后，情况发生了变化。
CLIP：用对比学习硬生生拉出一个共享空间
OpenAI的CLIP是第一个让我看懂“对齐能这么做”的模型。它的思路简单粗暴：训练一个图像编码器和一个文本编码器，让匹配的图文对在向量空间里靠近，不匹配的远离。这里的关键是对比学习——它不需要逐个像素的标注，只需要知道哪张图和哪句话配对。
- 取一个batch的 N 对图文，分别编码成向量。
- 计算 N×N 的相似度矩阵。
- 对角线的元素是正样本，其余是负样本。
- 用交叉熵损失拉近正样本、推开负样本。
这个方法的效果震撼了我。CLIP在零样本分类上直接超过了当时的ResNet。它的论文在摘要里说：“我们训练了一个网络，在大量的(图像, 文本)对上学习一个多模态嵌入空间。”CLIP论文。但等我自己用的时候，才发现它有一个致命的问题。
我一开始以为CLIP真的理解了图像和文本的关系。后来我拿了一张“一只黑猫趴在白沙发上”的图，问CLIP“猫是什么颜色”，它输出了“白色”——因为它把整个场景的颜色和“猫”这个token关联了。这个坑让我意识到，对比学习学到的是全局相关性，而不是细粒度对应。
Flamingo和LLaVA：从共享空间到交叉注意力
既然全局对齐不够，那就让文本模型在生成的时候直接“看”图像。DeepMind的Flamingo就是这么做的。Flamingo论文在预训练的语言模型中间插入了交叉注意力层，让文本token可以查询图像特征。你可以理解成：模型在写下一个词之前，先拿当前已经写的内容去“扫一眼”图像，再决定说什么。这种对齐方式是逐步的、动态的，而不是一次性把图文投影到同一个空间。
LLaVA则走了一条更简单的路：用一个投影层把视觉特征映射到语言模型的嵌入空间。LLaVA论文里，图像经过视觉编码器得到特征，然后通过一个线性层变成“语言模型的token”。这就像把图像翻译成英文再让GPT阅读。它不追求一个联合空间，而是让语言模型“学会读图”。
这两种方案本质上都是让语言模型来“消费”视觉信息。它们的对齐发生在注意力机制内部，而不是显式地构造一个共享向量空间。你可以把CLIP比作“让两个外国人互相学习对方的语言”，把Flamingo比作“给一个中国人配了一个实时翻译耳机”。耳机更灵活，但翻译的质量取决于耳机的灵敏度——也就是交叉注意力的参数和数据。
那么，对齐为什么还是核心难题？
因为现有的对齐方案，都只解决了“分布匹配”，没有解决“语义绑定”。我后来看了BLIP的论文，里面专门讲了一个问题：网络上的图文对噪音太大，比如一张猫的图片，配文可能是“今天天气真好”。BLIP论文用了一个captioner加filter的机制，先让模型生成描述，再过滤掉不匹配的。这让我意识到：对齐问题本质上是一个数据质量问题。你喂给模型什么样的图文对，它就学到什么样的对齐。
更麻烦的是，不同模态之间的语义关系不是一一对应的。一张图可以有无数种描述，一段描述可以对应无数张图。这种“一对多”的关系让对齐变得本质上不唯一。模型只能学到一种平均化的对应，所以会产生幻觉。
| 方案 | 对齐方式 | 粒度 | 瓶颈 |
|---|---|---|---|
| CLIP | 全局对比学习 | 整图-整句 | 细粒度不足 |
| Flamingo | 交叉注意力 | token-区域 | 数据要求高 |
| LLaVA | 投影映射 | token-区域 | 视觉特征信息损失 |
我自己的认知转变也发生在这里。我最早以为对齐是模型结构的问题，多堆几层注意力就能解决。后来发现，结构只是把可能性打开，真正决定对齐质量的，是训练数据的构造方式。CLIP用4亿图文对，Flamingo用了数十亿，但它们的对齐仍然脆弱。因为数据里“理所当然”的共现关系太多了——比如“沙滩”和“海”总是同时出现，模型就会把它们绑在一起，哪怕图片里只有沙滩没有海。
关于模态对齐的几个常见误解
是不是数据越多，对齐就越好？
不完全是。数据多了，覆盖的语义范围大了，但噪音也多了。BLIP的过滤实验证明，清洗数据比增加数据更能提升对齐质量。
对齐之后，模型就真的理解模态之间的关系了吗？
没有。它只是学会了统计关联。CLIP可以把“猫”和猫的图片放在一起，但它不知道猫为什么是猫。如果你给它一张“猫坐在钢琴上”，它可能会把“钢琴”和“猫”的关联混淆。
为什么不用统一分词器把图像变成token？
图像量化会丢失细节。一个256×256的图要变成几千个token，信息压缩得很厉害。而且离散化本身又是一个难题。所以目前的主流仍然是连续特征+交叉注意力。
到这里，你应该明白模态对齐为什么是核心难题了。它不是一个结构问题，也不是一个损失函数问题，而是一个表示问题——你用什么方式让两种异质的数据在同一个语义空间中互相可解释。这个问题的终点，不是让模型在图文检索上刷到99分，而是让模型真正理解“猫”和猫的图像之间的关系。就目前而言，我们还停留在“统计关联”的阶段。
如果你正在做多模态产品，我的建议是：别指望一个CLIP打天下。仔细想想你的任务需要多细粒度的对齐，然后选择相应的方案。有时候一个简单的投影层+指令微调，可能比复杂的交叉注意力更适合你的数据规模。但有一点是确定的：对齐的深度，决定了多模态模型的天花板。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/202.html