原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/2034.html
相关推荐
-
InternVL2 的升级：更大模型、更强数据、更好效果——开源多模态的标杆
我最早以为，多模态大模型就是把图片缩小成固定尺寸，然后丢给语言模型读像素。直到有一次，我拿一张工程图纸去试各种模型——图纸上密密麻麻的尺寸标注，连GPT-4V都读错了几个关键数字，…
-
图表数据提取：从一张图片中自动提取出数据表格——ChartDigitizer 类任务
有一回我在一篇论文里看到一张折线图，图的趋势和我的分析结果差了一个转身，我想把它的数据点抠出来对一对。我的第一反应是拿尺子量。屏幕上一个单位代表多少数值，我量了一遍，然后挨个点量坐…
-
视觉-语言模型对图像描述的革新：不再需要单独训练，直接用提示词控制描述风格
几年前我第一次在项目里做图像描述，用的还是 Show and Tell 那一套：CNN 编码图像，LSTM 逐字生成句子。模型跑通后，产品拿着几张图来测试，效果中规中矩。然后她问了…
-
图像描述中的幻觉问题：图里没有自行车，模型却说「一个人骑着自行车」
我最早以为，图像描述模型是“看着图片说话”的。结果有一次，我给它看一张湖边木屋的照片，模型竟然说“一只狗在门口睡觉”。照片里根本没有狗。这个错误让我又好笑又警觉——一个能把构图、光…
-
多模态模型的推理速度对比：GPT-4V 响应 5 秒，开源模型能做到 1 秒吗
我最早注意到多模态推理速度这件事，是在一次团队选型会上。当时的场景很日常：把一张产品图丢给 GPT-4V，让它写一段营销文案。我们几个人盯着屏幕，等了差不多五秒，才开始出字。旁边有…
-
开放集目标检测（Open-Set Detection）：检测训练时没见过的类别——怎么做到的
一个目标检测器训练时只见过猫和狗，测试时眼前出现一只鹿，它会怎么办？正常的话，它会把鹿认成猫或狗，然后信心满满地输出一个边界框。你可能会觉得这没什么——其实这背后藏着一个很多模型都…
-
多模态模型的定位能力：GPT-4V 能准确指出图中猫的位置吗——用边界框评测
我让 GPT-4V 圈出照片里那只猫，它给我框了一个几乎覆盖整张图的矩形，还理直气壮地说：“这就是那只猫。”那一刻我意识到，多模态模型或许真的“看见了”，但它的手指头不太好使。 这…
-
学术论文的多模态理解：同时读懂论文的文字、公式、图表和引用关系
假如你让AI帮你读一篇机器学习论文，它给你三百字摘要，听起来头头是道。但当你追问“实验那张柱状图，误差线到底意味着什么”，它沉默了。这种体验我经历过很多次，直到我意识到：论文从来不…
-
深度估计在自动驾驶中的应用：激光雷达和视觉深度估计的互补关系
马斯克说过一句很嚣张的话："任何使用激光雷达的人都是傻子。"而另一边，Waymo花了十多年，最终选择了激光雷达+摄像头+毫米波雷达的全家桶。这两种截然相反的态度…
-
场景文本理解：不只识别文字，还要理解文字的含义和上下文
有一次我在路边看到一个黄色招牌，上面写着“内有恶犬”。正常人会立刻得到两个信息：第一，这家院子里有狗；第二，别进去。但如果你只把这张图喂给一个OCR系统，它只会吐出一行字：“内有恶…
