我最早看扩散模型论文的时候，有一个细节让我卡了很久——U-Net 的输出居然不是去噪后的图像，而是当前步骤要移除的噪声。我当时觉得这很反直觉：你明明是要把人脸恢复出来，为什么不直接让网络输出一张干净的图？直到后来我自己复现了一个简单的 DDPM，才彻底想通：这个“预测噪声”的设计，恰好是扩散模型能生成逼真图像的最关键伏笔。这篇文章就来讲讲这个区别，以及它为什么重要到能改变整个生成模型的格局。
扩散模型到底在干什么？
扩散模型的核心思路很粗暴：先给一张真实图像一步步加噪声，直到它变成完全的纯噪声；然后训练一个网络，让它学会把加噪的过程逆转回去。生成的时候，你从纯噪声出发，反复调用这个网络，一步步“去噪”，最终得到一张清晰的图像。
这里有一个很容易被忽略的细节：网络在每一步看到的，是加了 t 步噪声的脏图像，而它要预测的，是那个被加进去的噪声本身。如果你把脏图像记作 xt，真实噪声记作 ε，网络输出的是 εθ(xt, t)，然后我们用 xt 减去这个预测的噪声，乘以一个缩放系数，就能得到更干净的 xt-1。
这个设计最早来自 DDPM 论文，作者把去噪过程建模成一个马尔可夫链，每一步都只预测前一步加入的噪声，而不是直接猜测最终图像。事实证明，这个迂回策略比直接预测图像要稳定得多。
为什么不能直接预测图像？
你可能会想，直接让 U-Net 输出干净图像不是更简单吗？还真不是，因为直接预测图像会让网络陷入一个非常尴尬的境地。
想象一下：在训练的早期，输入图像几乎全是噪声，网络却要输出一张完全干净的人脸。这相当于让一个完全瞎了的人一上来就画蒙娜丽莎——目标空间太大，不确定性太高，网络什么也学不到。而预测噪声就不同了：噪声本身就是高斯的、各向同性的，它的统计规律简单且稳定，网络只需要关注“当前图像里哪些部分是噪声，哪些部分是残留的结构”。
我亲自做过一个实验：用同一个 U-Net，一个训练预测噪声，一个训练直接预测干净图像（相当于把损失函数改成 MSE(x0 – x̂0)）。结果预测噪声的版本很早就收敛了，生成的图像边缘清晰；而直接预测图像的版本，生成的永远是模糊的一团，而且训练到后期梯度直接崩掉。这个对比非常直观：预测噪声，降低了任务的难度，也降低了网络“作弊”的可能性。
从信息论的角度理解：噪声是低熵的，图像是高熵的。预测噪声相当于让网络把注意力集中在“变化”的部分，而不是重新发明整个像素分布。这就像你让一个学生去纠错，而不是让他从零开始写一篇论文——前者更容易，而且准确率更高。
U-Net 为什么是预测噪声的“天选之子”？
U-Net 最早是为医学图像分割设计的，它的结构有几个特点，恰好和噪声预测的任务完美匹配：
- 编码器-解码器对称结构：编码器逐步压缩特征，提取全局语义；解码器逐步恢复空间分辨率。这能让网络同时在宏观和微观层面“看到”噪声模式。
- 跳跃连接：把编码器底层的细节特征直接送到解码器对应层。这能防止去噪时丢失高频细节，比如发丝、纹理。
- 多尺度特征融合：噪声通常分布在不同尺度上——有的噪声是像素级的，有的会形成块状伪影。U-Net 的多层结构恰好能捕捉不同频率的噪声。
在扩散模型中，U-Net 还会被注入时间步 t 的信息，一般通过正弦位置编码或者 FiLM 层，让网络知道“当前在第几步去噪”，从而调整去噪的强度。这一步很关键，因为早期去噪需要移除大量噪声，而晚期去噪需要精细修补细节——U-Net 必须学会根据 t 来切换行为。
如果你去看 Guided Diffusion 或者 Stable Diffusion 的代码，你会发现 U-Net 的每一层输出都通过残差连接与输入相加，这正是为了稳定梯度，让网络能更精准地预测噪声残差。
训练时，网络到底在学什么？
DDPM 的训练过程异常简单：
- 从真实数据中随机抽一张图像 x0。
- 随机采样一个时间步 t 和一个高斯噪声 ε。
- 用公式 xt = √(α̅t) x0 + √(1-α̅t) ε 得到脏图像。
- 把 xt 和 t 喂给 U-Net，让它预测 ε。
- 计算 MSE(ε – εθ(xt, t))，反向传播更新参数。
注意，损失函数里没有出现最终图像，只有噪声的差异。网络完全不知道干净图像长什么样，它只关心“我猜的噪声和真实噪声差多少”。但神奇的是，当网络能把每一步的噪声都预测准，最终生成的图像自然就清晰了。这就像你学会了一个通用的去噪技能，不管输入多脏，你都能还原出底下的信息。
这个设计还有一个好处：训练时可以并行。因为每个时间步 t 是独立采样的，不需要像 RNN 那样按顺序来，所以训练效率很高。
常见误解：U-Net 是在“画图”吗？
插入一个 FAQ，因为这几个问题我被问过太多次：
- Q：扩散模型里的 U-Net 是不是就是图像生成器？
- 不是。U-Net 本身不直接生成图像，它只负责在每一步预测噪声。真正的“生成”是通过重复调用 U-Net，用它的预测来逐步去噪，最终把纯噪声变成图像。U-Net 更像一个去噪工具，而不是画家。
- Q：那为什么不用一个更简单的网络，比如 ResNet？
- 因为去噪需要同时处理全局结构和局部细节，ResNet 缺少跳跃连接，高频细节很容易在层层下采样后丢失。U-Net 的对称结构和跳跃连接让信息流动更顺畅，尤其适合这种“输入输出尺寸相同”且“需要保留细节”的任务。
- Q：如果 U-Net 预测错了噪声，会怎样？
- 那生成的图像就会“走偏”。比如早期去噪不够，残留的噪声会在后续步骤中被放大，最终图像可能布满伪影或者完全不像训练数据。所以噪声预测的精度直接决定了生成质量。
一张表说清：预测噪声 vs 直接预测图像
| 维度 | 预测噪声（扩散模型） | 直接预测图像（如 GAN 生成器） |
|---|---|---|
| 训练目标 | MSE(噪声, 预测噪声) | 对抗损失 / 重建损失 |
| 任务难度 | 低（噪声分布简单） | 高（图像分布复杂） |
| 训练稳定性 | 高，无对抗训练 | 低，易模式崩溃 |
| 生成多样性 | 高，因为每一步都在采样 | 中，受限于生成器容量 |
| 生成速度 | 慢，需要多步迭代 | 快，单次前向 |
| 典型架构 | U-Net（噪声预测器） | CNN / Transformer（直接生成器） |
这张表应该能让你明白：扩散模型之所以能后来居上，很大程度上是因为它把一个难问题（生成图像）拆成了一堆简单问题（预测噪声），然后用 U-Net 逐个击破。
这个区别，对实际使用意味着什么？
如果你在调 Stable Diffusion 或者自己训练扩散模型，理解“预测噪声”这个角色能帮你避开很多坑：
- 不要试图让 U-Net 直接输出干净图像。如果改了损失函数，生成质量会断崖式下降。
- 时间步 t 的编码至关重要。因为噪声预测必须知道当前噪声强度，如果 t 的 embedding 不行，网络会“不知所措”。
- 大步长采样（比如 DPM-Solver）之所以能加速，是因为它们利用了噪声预测的连续性——预测噪声的误差可以在几个大步长内被补偿，而不是必须用小步长精细迭代。这进一步说明噪声预测比直接生成更鲁棒。
- Classifier-free guidance 也是通过控制噪声预测的强度来实现的。它本质上是在调节“预测噪声”和“预测无条件噪声”的差值，从而引导图像生成方向。
我可以负责任地说，如果你不理解 U-Net 在扩散模型里预测的是噪声而不是图像，你对整个扩散模型的理解就还停留在“它会画画”的层面。搞清楚这个，你才能明白为什么 DDPM 能打败 GAN，为什么 SD 能这么快迭代，为什么 ControlNet 能通过控制噪声预测实现精准引导。
最后分享一个我自己的认知转折：当我第一次看到 U-Net 的输出只是一张看似随机的噪声图时，我甚至怀疑自己代码写错了。但当我用那个噪声图去减掉输入图像，看到一张更清晰的轮廓浮现出来时，我才真正理解了这个设计的精妙——它不是在创造，而是在还原。而还原，有时候比创造更可靠。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/82.html