我第一次在课上听到反向传播（Backpropagation）时，脑子里只有一个念头：这太反直觉了。神经网络明明是一层一层往前算的，得出一个错误结果后，怎么就能把责任精确地分配到每一层，甚至每一个参数头上？这就像一场接力赛，最后掉棒了，你却能精准地算出每一棒选手该承担多少责任，然后只让他们调整自己的跑姿。当时我觉得这是做账，后来才发现，这背后是一套极其严谨的数学记账系统，它的名字叫链式法则。
要理解反向传播，我们得先忘掉那些复杂的网络结构，回到一个最根本的问题：一个参数怎么知道它该往哪个方向动，动多少？ 答案藏在损失函数的地形图里。想象你闭着眼睛站在一座山上，目标是走到山谷的最低点。你唯一的线索是脚下的坡度。你迈出一步，感觉一下是往下走还是往上走，然后顺着最陡的下坡方向移动。这就是梯度下降。而反向传播，就是那个帮你精确计算每一个参数脚下“坡度”的探测器。
一座多米诺骨牌塔：前向传播的脆弱性
我们先看前向传播。输入数据就像推倒第一块骨牌，能量一层层传递，最终在最后一层产生一个输出——比如判断一张图片是猫的概率。这个过程可以看作一连串的复合函数：f(g(h(x)))。每一层都做一次线性和非线性的变换。
当你告诉网络“你猜错了，这不是猫，是狗”，这个错误信号就变成了一个需要往回追溯的连锁反应。问题在于，最后一层离输入端太远了。 如果只是简单地把错误均匀分摊，那就像因为最后一块骨牌倒了，就去责怪第一块骨牌没站稳，这显然不合理。我们必须精确量化每一块骨牌对最终倒塌的贡献度。这就是反向传播要做的。
链式法则：误差的“问责”分配器
反向传播的数学核心，就是微积分课上的链式法则。但别被吓跑，它的逻辑非常直观。假设你有一个非常简单的网络：输入 x，经过 a = wx + b，输出 y = relu(a)。最终损失是 L。
我们想知道，如果w 稍微变一点点，L 会变多少？也就是求 ∂L/∂w。你不能直接算，因为w 和 L 隔了好几层。链式法则就是一条路径：w 的变化影响 a，a 的变化影响 y，y 的变化最终影响 L。所以，∂L/∂w 就等于这条路径上每一步影响的连乘积：∂L/∂y * ∂y/∂a * ∂a/∂w。
这个连乘，就是误差信号往回传的路径。它像一条精确的因果链，把最终损失的责任，按照每一层输出的敏感度，逐级分配回去。你改变一个参数，就能确切知道损失会如何变化。梯度告诉你，往哪个方向调参数，损失下降得最快。
手算一遍：一个极简网络的“反向”之旅
光说不练没用。我们来看一个只有一个神经元、没有激活函数的网络，任务是通过一个人为的单数据点 x=1, y_true=2 来学习。模型是 y_pred = w * x，初始 w=1。损失函数用最简单的平方误差：L = (y_pred – y_true)²。
- 前向传播（正向）：y_pred = 1 * 1 = 1。损失 L = (1-2)² = 1。
- 计算损失对输出的梯度：∂L/∂y_pred = 2*(1-2) = -2。这意味着，如果y_pred 增加一点点，损失会以2倍的速度下降。
- 反向传播（关键一步）：∂y_pred/∂w = x = 1。这表示w 的变化会以1的倍率传递给y_pred。
- 链式法则求最终梯度：∂L/∂w = ∂L/∂y_pred * ∂y_pred/∂w = -2 * 1 = -2。
这个 -2 就是w 在当前位置的梯度。它告诉我们，w 需要增加，因为梯度是负的（顺着负梯度方向走，损失下降）。如果学习率是0.1，那么 w 的更新量为 -0.1 * (-2) = 0.2。新的 w 变成 1.2。你看，我们离正确答案 w=2 近了一步。这个简单的计算，就是反向传播的全部秘密。
多层网络：从一条链到一张网
上面的例子只有一条路径。在真实的多层感知机里，一个参数可能通过多条路径影响最终输出。比如，一个隐藏层神经元连接到所有输出层神经元，它的参数变化会通过所有输出路径传导到损失。这时，链式法则就变成了对所有可能路径的梯度求和。你可以在脑子里想象一棵倒置的树，树根是损失，树叶是参数，反向传播就是沿着这棵树的每一条枝干，把梯度回传，并在分叉处累加。
这种计算是高度并行的。现代框架如 PyTorch 和 TensorFlow 之所以高效，是因为它们构建了一个计算图。你写前向传播代码时，框架就在后台默默记录每一步操作，构建一个动态的数据结构。当你调用 .backward() 时，它从这个图的末端（损失）开始，自动应用链式法则，遍历记录好的路径，把梯度填充到每个参数的 .grad 属性里。这也就是为什么叫“自动微分”。
| 特征 | 前向传播 | 反向传播 |
|---|---|---|
| 信息流方向 | 从输入到输出 | 从损失到各层参数 |
| 计算内容 | 每层的激活值 | 每层参数的梯度 |
| 数学基础 | 函数复合 | 链式法则 |
| 依赖关系 | 必须顺序计算 | 同样必须顺序，但方向相反 |
| 主要开销 | 矩阵乘法 | 矩阵乘法（转置） |
梯度消失与爆炸：链式法则的天生软肋
反向传播的精妙之处，恰恰也是它的脆弱之处。当网络很深时，梯度需要在层间连乘。如果大多数导数都小于1（比如 sigmoid 函数的导数最大才0.25），连乘下去梯度会指数级衰减，传到浅层时几乎为零。这就是梯度消失。浅层参数收不到有效的误差信号，更新停滞，网络根本学不到东西。
反过来，如果导数大于1，连乘会导致梯度爆炸，参数更新步长巨大，模型震荡甚至发散，损失变成 NaN。我最早以为这是个 bug，后来才想通，这是深层网络和基于链式法则的梯度计算之间，一个根本性的结构矛盾。它不是一个待修复的漏洞，而是一个需要被管理的特性。 后来的技术，比如 ReLU 激活函数、残差网络（ResNet）的跳跃连接、批归一化（Batch Normalization），本质上都是在精心设计这个连乘过程中的每一个因子，让梯度能健康地流动。
常见误解澄清
- 反向传播改变的是激活值，不是参数。
- 错。反向传播计算的是损失对参数的梯度，用于更新参数。激活值在前向传播中计算，反向传播时只是中间变量，不会被永久改变。
- 反向传播和梯度下降是一回事。
- 不是。反向传播是计算梯度的算法，梯度下降是利用这些梯度来更新参数的优化算法。它们是最佳拍档，但职责不同。你可以用反向传播算出梯度，然后用动量法、Adam 等任何优化器去更新。
- 反向传播只适用于神经网络。
- 不完全对。它适用于任何可以用有向无环图表示的计算过程。它在机器学习中最耀眼，但其思想——自动、高效地计算复合函数的梯度——是通用的。
我还记得自己第一次从零实现一个简单的反向传播，看到损失稳步下降，测试精度慢慢爬升时的那种震撼。它不再是黑箱，而是一个每一步都清晰可见的、精密的梯度流水线。当你理解了误差信号如何像水一样，沿着计算图反向流动，精确地浇灌到每一个需要调整的参数上时，你就拿到了理解现代深度学习的第一把钥匙。但这把钥匙也有它的局限——它只管计算梯度，不管这个梯度会把模型带向何方，也无法告诉你模型何时会陷入一个糟糕的局部低谷。这些，就是优化器和初始化策略要解决的问题了。
原创文章，作者：guanweilu，如若转载，请注明出处：https://guanweilu.cn/article/92.html