细粒度视觉定位：不是找到「车」，而是找到「那辆银色 SUV 的左前轮」

停车场里的一句人话，难倒了整个检测系统

假如你站在停车场，对着一台搭载了视觉识别系统的机器人说：“帮我把那辆银色SUV的左前轮擦干净。” 机器人大概率会先给你一个整车框，然后在框上贴一个标签：银色SUV。至于左前轮在哪里？它答不上来。

这个场景不是未来科幻，而是当前计算机视觉要攻克的硬骨头——细粒度视觉定位。它的任务不是“找到一辆车”，而是“找到那辆银色SUV的左前轮”。从“车”到“轮子”，中间隔着一层厚厚的语言理解和空间推理。

传统检测为什么输在一个“轮”字上

我们先看看传统目标检测器在做什么。给它一张图，它输出一堆边界框，每个框配一个标签。标签来自训练集里预定义的类别，比如COCO数据集只有80个类：轿车、卡车、自行车……没有“左前轮”这种细粒度部件。

有人会说：那我多标几个类不就行了？问题在于，世界上的物体组合是无限的。“银色”“SUV”“左前”“轮”这些词排列组合，训练集根本覆盖不完。真正的细粒度定位要理解的是描述，而不是记住类别。

维度	传统目标检测	细粒度视觉定位
输出	边界框 + 固定类别	边界框/掩码 + 自然语言短语
类别空间	封闭的（80类）	开放的（任意描述）
属性理解	不识别“银色”	需要识别颜色、材质等属性
空间关系	不关心“左前”	需要结合物体朝向判断

这张表大概是所有检测工程师的心头痛：前两行可以通过扩充数据解决，后两行是本质性的认知鸿沟。

视觉接地：让检测器听懂人话

细粒度视觉定位在学术界有一个正式名字：视觉接地（Visual Grounding）。给定一张图和一句自然语言描述，模型要定位出对应的图像区域。这个区域不一定是一个完整物体，也可以是物体的一个部分，比如“左前轮”。

早期做法是“两步走”：先用目标检测器生成一堆候选框，然后用语言模型对每个框打分，选出最匹配的。我曾经以为这就是终点——把候选框切细一点，语言模型再强一点，总能命中吧？

直到我亲身跑了一个实验，让模型定位“戴帽子的左边的人”。模型确实找到了人，但它的框落在画面右侧的那个人身上。原因很直接：它把“左边”理解成了“离图像左边缘近”，而实际上那句话指的是画面里这个人的左边还是右边？这让我意识到，语言与空间的关系不是简单的坐标对应。

GLIP：把检测重写成一句文本匹配

2022年，微软的 GLIP（Grounded Language-Image Pre-training）提出了一个颠覆性的视角：目标检测本来就是“图片区域和短语的对应”。他们把传统检测中的类别标签（比如“car”）改写成一句话：“car . truck . person . …”然后让模型同时看图和这句话，学习把每个名词短语和图像区域对齐。

这样一来，“银色SUV”就不是一个需要预先定义的类，而是一段可以自由组合的文本。检测变成了文本引理（grounding）。用没见过的类别做测试，模型也能根据文本提示把区域找出来，这就是开放词汇检测。

但GLIP也有一个天真的假设：它把文本和区域做点乘匹配，认为“左前轮”这个词组在语义上是一个整体。实际上，“左前”是两个独立的空间修饰，需要两步推理：先找到轮子，再判断哪个是左前。GLIP在这一步基本是瞎猜的。

Grounding DINO：更强的编码器，更聪明的匹配

Grounding DINO 在2023年把GLIP的思路和DINO检测器结合，用Transformer做跨模态融合，让文本特征和图像特征在连续层中互相“交换情报”。它不仅能处理“银色SUV”这样的名词短语，还能捕捉一些简单的属性词。

用起来也很简单：

from groundingdino.util.inference import load_model, load_image, predict

model = load_model("GroundingDINO_SwinT_OGC.py", "groundingdino_swint_ogc.pth")
image, _ = load_image("parking_lot.jpg")
boxes, logits, phrases = predict(
    model=model,
    image=image,
    caption="银色 SUV 的左前轮",
    box_threshold=0.3,
    text_threshold=0.25
)

你可以在Hugging Face上亲自试试。我试过很多次，结果是：如果你输入“车轮”，模型的框非常准；如果你输入“左前轮”，它经常只找到“轮”，再随便挑一个。换句话说，它知道了“轮”，但没学会“左前”。