假如你正在电商平台做详情页，手里只有一个保温杯的正面照。你把它拖进AI工具，输入「从侧面画这个杯子」。几秒钟后，你得到一个看起来很精致的杯子——但花纹换了，柄的位置也变了。你不信邪，又试了一次，这次输出的杯子连形状都不一样。
这不是AI笨，而是它没有「物体恒常性」。你在看一个杯子时，转动脑子里的三维模型，无论从哪个角度，你都知道「它是同一个杯子」。但AI生成图片时，每一张图都是从噪声中独立「猜」出来的。模型内部没有三维空间，只有像素和像素之间的统计关系。它画正面时知道正面长什么样，画侧面时知道侧面长什么样，但没有任何东西告诉它这两者必须来自同一个物体。
为什么正面照推不出侧面？
你可能会想：把正面图给模型看一眼，让它根据正面来画侧面，不就行了吗？这正是image-to-image的思路。但问题是，一张正面图包含的三维信息是严重不足的——它无法告诉你杯底是圆还是方，把手在左边还是右边，杯身的弧度多大。同一个正面投影，可以对应无穷多个不同的立体形状。
这就像你看到一个柱子的正面投影，让你想象它的侧面。如果柱子其实是椭圆的，你仍然可以把它想象成圆的。所以模型在「推测」侧面时，本质上是在概率分布里抽签。抽得好，侧面和正面看起来像同一个瓶子；抽得不好，就崩了。就算你把大量正面图喂给它，它学会的也只是正面长什么样，侧面完全没见过，只能用训练集中其他杯子的侧面来填补，自然不像同一个。
一句话：单视角生成多视角是一个病态问题——信息不够，必然靠猜。不同方法的本质区别，是给模型补多少的信息。
方案一：喂一张深度图，让AI顺着几何走
最早的改进方案是给模型一个「三维拐杖」。先用单目深度估计算法（比如MiDaS）从正面图中提取深度图，然后把深度图沿三维空间旋转到目标角度，最后把这张旋转后的深度图作为控制条件，交给ControlNet来生成对应视角的图片。这样，AI在生成侧面时，至少得遵守深度图的结构，杯子的轮廓、比例就不会跑得太离谱。
这个思路很好懂，但实操中有三个坑：
其一，深度图是从二维图像估出来的，本身有噪声。旋转之后，被遮挡部分露出来了，深度值纯粹是算法「脑补」的。
其二，你还需要一个旋转角度的设定工具，否则AI不知道你要的是45度还是75度。
其三，最致命的——深度图只约束了几何结构，没有约束纹理。同一个杯子，正面深度图转成侧面后，模型在生成的纹理仍是自由发挥。于是你依然会得到「形状对但花纹完全不一样」的侧面图。
说白了，ControlNet能控制「姿态」，不能控制「身份」。
方案二：让AI同时看所有角度——多视图扩散
那如果我们反过来，不让模型从单一视角去推断，而是让它一次性生成所有视角呢？这就是MVDream等「多视图扩散」模型的思路。
MVDream的做法看起来简单粗暴：把四个不同视角的图像拼成一个四宫格，当成一张完整的大图来训练。在扩散模型的self-attention层里，不同视角的图像块可以互相看到对方。于是模型在画正面的时候，不得不考虑侧面已画的内容；在画侧面的时候，也得回头对齐正面。相当于让模型同时扮演四个画师，中间有一堵玻璃墙，每个人都能看到别人的画布，必须保证画的是同一个人。
这个「跨视角注意力」是核心。研究者在论文里特意对比了无跨注意力与有跨注意力的结果：没有跨注意力时，四个视角画出来的物体各不相同；加上跨注意力之后，四个视角的物体形状和外观变得高度一致。相比之下，Zero-1-to-3这种「从单图转动视角」的模型，因为没有跨视角的同步机制，只能靠模型内部的先验知识，所以经常出现前后矛盾。
我最早也不理解，为什么ControlNet加了深度图还不够。直到我亲眼看到一个试验：同一个杯子，正面生成红色波浪纹，侧面生成蓝色条纹。那种绝望让我突然想通了——深度图只是画了个轮廓，模型填色时还是各填各的。而多视图扩散让所有视角共享同一份视觉特征，相当于先决定「这是一个红白条纹的杯子」，再在每个视角里把这个特征画出来。虽然它依然是2D操作，但表现形式跟3D生成已经非常接近了。
方案三：不画图了，直接重建一个3D模型
如果你对一致性要求苛刻，干脆绕过「画」这一步：直接用单图或几张多视角图，通过NeRF、3D Gaussian Splatting等三维重建算法构建出物体的几何和纹理。有了真正的3D模型，任何视角都只是渲染问题，绝对一致。
但问题在于，从单张图片重建3D本身是极难的任务。头部模型重建出来往往没有毛发细节，透明或反射材质（比如玻璃瓶、金属水壶）会直接崩掉。而且，重建的工作流比生成一张图复杂得多——需要GPU训练几十分钟甚至几小时，还需要人工修复。所以目前它更多用在电商的静态展示或AR场景，而不是批量生成。
一张表看明白三种路线
| 方案 | 原理 | 一致性 | 成本 | 适用场景 |
|---|---|---|---|---|
| ControlNet + 深度图 | 旋转深度图驱动姿态 | 几何一致，纹理易崩 | 低 | 快速试稿 |
| 多视图扩散（MVDream等） | 跨视角注意力联合生成 | 高，但仍非3D | 中 | 产品多角度初稿 |
| NeRF / 3DGS | 真正重建三维 | 严格一致 | 高 | 需要真实3D模型的场景 |
现实工作流：我用的其实是“组合拳”
现在的商用AI商拍工具，比如PhotoRoom、Flair AI，或者你本地跑Stable Diffusion，都不会只用单一方案。比较可靠的做法是：
- 先用多视图扩散模型（如MVDream）生成一组不同角度的商品图——这一步可以先锁定外观一致性。
- 从生成的多视角图中挑出质量最高的3-5张，作为参考图。
- 用IP-Adapter这类参考网络，把选中的图注入到精修模型中，保证每个角度的细节清晰。
- 如果还想要产品自由旋转，再把多视角图拿去跑一次3D重建（比如用Luma或Tripo），得到可交互的3D模型。
这种组合拳能覆盖90%的电商需求，但它离「一张正面照 → 任意角度完美出图」还很远。每一步都有独立的失败率，叠起来成功率更感人。
这些方法到底能走多远？
我自己的体感是：多视图扩散是当下最强的「平替」，但它仍然是一个2D模型。它学习到的「视角」只是训练数据中常见物体的视角规律，本质上是在做2D到2D的插值。对训练集里频繁出现的品类——比如球鞋、水瓶、手机——效果相当好，但如果你丢给它一个奇形怪状的玻璃雕塑，它依然会画出互相矛盾的视图。
更重要的是，这些模型生成垂直视角通常只能支持固定的几个角度（比如上下左右45度），你让它生成一个任意角度（比如27.3度），它只能在离散视角之间插值。而且，视角数量一旦超过8个，显存和训练成本就指数上升。另外，所谓的一致性，大多是几何和纹理的粗略相似，放大看商标字母还是会糊，因为扩散模型的训练损失对高频细节不敏感。
透明材质和镜面反射仍然是所有生成模型的地狱。训练数据里这些东西作弊太多——模型可以只画背景，不画里面的液体；也可以把反射画成贴图，而不是真实环境映射。所以玻璃香水瓶、不锈钢电水壶这类产品，目前没有一个纯生成方案能稳定搞定。
所以，如果你问AI什么时候能真正画出「同一个杯子」的任意角度？我的判断是：不会来自更强的2D扩散模型，而会来自AI对3D世界的直接建模。当扩散模型内置了显式的3D表征（比如把NeRF作为生成的一个模块），视角一致性问题才会从本质上被解决。在那之前，我们这些做产品图的人，只能继续在半真半假的生成结果里，挑一张最像同一个杯子的图。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/451.html