吴恩达深度学习第2课 1.13：梯度检查

视频封面

视频元信息

课程来源：吴恩达深度学习专项课程（Deep Learning Specialization）—— 改善深层神经网络：超参数调试、正则化以及优化（第二课）
章节定位：1.13 梯度检查（Gradient Checking）
视频时长：约 6 分 30 秒
语言：英文讲解（官方中英字幕）

内容摘要（TL;DR）

本节讲解梯度检查（Gradient Checking）的原理与实现方法：将神经网络所有参数 W、B 及反向传播得到的导数 dW、dB 分别"展平"并拼接成两个大向量 θ 与 dθ，然后对 θ 的每个分量使用双边差分（two-sided difference）数值近似梯度，与反向传播计算结果比较。通过计算两向量的归一化欧氏距离判断实现是否正确，距离小于 1e-7 为佳，大于 1e-3 则极可能有 bug。

一、梯度检查的用途与价值 [00:00]

梯度检查是吴恩达本人最常用的调试工具之一，他多次用它发现反向传播实现中的 bug，可以节省大量时间。

梯度检查（Gradient Checking，常缩写为 grad check）是一种用于验证反向传播实现是否正确的技术。
使用场景：当你写完一个神经网络的前向传播和反向传播后，用它来 debug 或验证 backprop 是否正确。
核心思想：用数值方法（双边差分）近似计算梯度，与反向传播计算出的解析梯度对比，若两者接近，则说明实现正确。

理解：反向传播的公式推导容易出错（尤其是矩阵维度、转置、求和方向），而数值梯度不依赖任何推导，因此可以作为"标准答案"来对照。

二、参数展平为巨型向量 θ [00:17]

2.1 为什么要展平

神经网络有大量参数：W1, B1, W2, B2, ..., WL, BL（共 L 层）。梯度检查需要把这些参数统一成一个巨型向量 θ，方便逐分量做数值扰动。

2.2 具体操作步骤

把每个权重矩阵 W1, W2, ..., WL（矩阵）reshape 成向量。
把每个偏置向量 B1, B2, ..., BL（本身已是向量）保持原样。
按相同顺序拼接（concatenate）所有向量，得到巨型参数向量 θ。

于是代价函数从：

$$J(W_1, B_1, \dots, W_L, B_L)$$

简化为：

$$J(\theta)$$

2.3 同样处理导数

把 dW1, dB1, ..., dWL, dBL 用完全相同的 reshape 和拼接方式，组成巨型向量 dθ。
关键点：dW1 与 W1 维度相同，dB1 与 B1 维度相同，因此 dθ 与 θ 维度也完全一致。

易错点：参数和导数的展平/拼接顺序必须严格一致，否则对比时会出现错位，导致误判。

三、梯度检查的实现：双边差分 [01:47]

3.1 数学原理

由于 J 现在是 θ 的函数，可展开为 J(θ₁, θ₂, θ₃, ...)。对每个分量 i，用双边差分近似偏导数：

$$\frac{\partial J}{\partial \theta_i} \approx \frac{J(\theta_1, \dots, \theta_i + \varepsilon, \dots) - J(\theta_1, \dots, \theta_i - \varepsilon, \dots)}{2\varepsilon}$$

3.2 实现流程

对每个 i 循环（for each i）：
- 计算 dθ_approx[i]：把 θᵢ 加上 ε，其他分量不变，算一次 J；再把 θᵢ 减去 ε，其他分量不变，算一次 J；两者相减除以 2ε。
循环结束后得到向量 dθ_approx，维度与 dθ、θ 相同。
检查 dθ_approx ≈ dθ 是否成立。

推导：双边差分的误差是 O(ε²)，而单边差分（只加不减）误差是 O(ε)，因此双边差分精度更高，是梯度检查的首选。

易错点：视频字幕中"divide it by two theta"实为"divide it by two epsilon"（除以 2ε），转录有误，请注意。

四、如何判断两个向量是否"近似相等" [03:49]

4.1 归一化欧氏距离公式

$$\text{diff} = \frac{|d\theta_{approx} - d\theta|2}{|d\theta$$}|_2 + |d\theta|_2

分子：两向量差的 L2 范数（即差的平方和开根号，欧氏距离）。
分母：两向量 L2 范数之和，作用是归一化。

理解：分母的作用是应对向量整体过大或过小的情况，把公式变成"相对误差"（比值），使判断标准不依赖于参数绝对大小。

4.2 判断标准（重要考点）

梯度检查的阈值判断标准（务必记住）：

≤ 1e-7（10⁻⁷）：非常好，导数近似极可能正确。

约 1e-5（10⁻⁵）：需要小心检查，可能没问题，但要核对各分量，确认没有特别大的分量。

≥ 1e-3（10⁻³）：严重怀疑有 bug，必须排查。

实践中 ε 取 10⁻⁷（1e-7）。
如果某些分量差异特别大，说明可能有问题。
若结果远大于 1e-3，应逐个检查 θ 的各个分量，找出哪个 i 使得 dθ_approx[i] 与 dθ[i] 差异过大，据此定位导数计算错误。

五、实际调试流程与经验 [05:59]

吴恩达分享的典型工作流：

先实现前向传播。
实现反向传播后，跑一次梯度检查。
若 grad check 得到较大值 → 怀疑有 bug → 进入 debug 循环。
反复调试，直到 grad check 得到很小的值 → 此时可以更有信心认为实现正确。
梯度检查帮助吴恩达在神经网络实现中发现了大量 bug。
下一节视频将分享实现梯度检查的实用技巧与注意事项。

思考：梯度检查虽然强大，但计算代价高（需要对每个参数做两次前向传播），因此只在调试阶段使用，训练时务必关闭。

【拓展】背景补充与常见坑点

为什么梯度检查有效？

反向传播计算的是解析梯度（基于链式法则推导），数值差分计算的是数值梯度（基于极限定义）。两者在理论上应相等，若实现有误（如公式错、维度错、符号错），数值梯度仍是对的，对比即可暴露问题。

常见踩坑点

忘记关闭 dropout / 正则化：dropout 会随机丢弃神经元，导致同一 θ 两次前向传播结果不同，梯度检查失效。检查时应关闭 dropout。
在训练过程中做梯度检查：若参数已被更新，或使用了动量等优化器，会引入额外误差。应在初始化后、训练前检查。
ε 取值不当：太大则近似不准，太小则受浮点误差影响。1e-7 是经验值。
只检查部分参数：应检查所有参数，才能定位到具体出错的分量。
忘记随机初始化：若参数全为 0，某些对称性会掩盖 bug，建议用随机初始化后再检查。