吴恩达深度学习第2课 1.7：理解抛弃

视频封面

视频元信息

课程：吴恩达深度学习专项课程 · 改善深层神经网络（Professionalization of Deep Learning）
章节：1.7 理解 Dropout（为什么 Dropout 能起到正则化作用）
时长：约 7 分钟

内容摘要（TL;DR）

本节深入解释 Dropout 为何能作为正则化手段有效防止过拟合。核心给出两条直觉：一是每轮迭代相当于训练一个更小的网络；二是从单个神经元视角看，Dropout 迫使权重分散、不依赖任何单一输入，从而收缩权重的平方范数，效果类似 L2 正则化，且是一种自适应的 L2。视频还讲解了按层设置 keep-prob 的实践技巧、在计算机视觉中的常见用法，以及代价函数不再良定义这一重要缺点和相应调试方法。

一、回顾与本节目标 [00:00]

Dropout 做了一件看似疯狂的事：随机让一部分神经元停止工作。它为什么作为正则化器效果这么好？本节旨在建立更清晰的直觉。

上一节给出的第一条直觉：Dropout 随机丢弃单元，相当于每次迭代都在训练一个更小的神经网络，而小网络本身就有正则化效果。
本节要补充的是第二条直觉：从单个神经元的视角来理解 Dropout 的作用机制。

基础事实：Dropout（随机失活）在每个训练批次中按概率随机将部分隐藏单元的输出置零，从而打破神经元之间的共适应关系。

二、第二条直觉：从单个神经元看 Dropout [00:26]

理解：这是本节最核心的推导，务必吃透。

假设某个神经元有 4 个输入，它需要产生有意义的输出。在 Dropout 下，这些输入可能被随机消除：

有时这两个单元被消除，有时是另一个单元被消除。
这意味着该神经元不能依赖任何一个特定特征，因为任何特征都可能随机消失。
因此，它不愿把全部赌注押在某一个输入上，权重也不愿对任何单一输入赋予过大的权重。
结果：该神经元更有动力把权重分散，给 4 个输入各分配一点权重。

关键结论：权重分散 → 权重平方范数收缩 → 效果类似 L2 正则化 → 有助于防止过拟合。

易错点：Dropout 的正则化效果并非来自"网络变小"这一条，而是通过迫使权重分散、收缩权重范数来实现的。理解这一点才能解释它为何与 L2 正则化殊途同归。

三、Dropout 与 L2 正则化的关系 [01:46]

实现 Dropout 的效果是收缩权重，这与 L2 正则化相似，都有助于防止过拟合。
更严谨地：Dropout 可以被形式化地证明为一种自适应的 L2 正则化。
区别在于：不同权重上的 L2 惩罚是不同的，取决于与该权重相乘的激活值的大小。
总结：Dropout 具有与 L2 正则化类似的效果，只是对不同权重施加的 L2 惩罚略有不同，比按输入尺度缩放更加自适应。

推导：在 L2 正则化中，惩罚项对所有权重一视同仁（统一乘 λ）；而在 Dropout 中，惩罚强度会随激活值大小动态调整，因此被称为"自适应"。

【拓展】Dropout 的"模型集成"解释：另一种常见直觉是，Dropout 相当于在训练大量共享权重的子网络，测试时近似于对这些子网络做集成（ensemble），这也是它泛化能力强的来源之一。

四、按层设置 keep-prob 的实践 [02:13]

以一个具体网络为例：3 个输入特征，隐藏层单元数为 7、7、3、2、1。

各层权重矩阵：W1 为 3×7，W2 为 7×7，W3 为 7×3，依此类推。
W2（7×7）是最大的权重矩阵，参数最多，也最容易过拟合。
keep-prob 是每层保留一个单元的概率，可以按层设置不同值：
- 第 2 层（参数最多、最担心过拟合）：keep-prob 设得较低，如 0.5。
- 不太担心过拟合的层：keep-prob 可高一些，如 0.7。
- 完全不担心过拟合的层：keep-prob = 1.0，即不使用 Dropout。

要点：keep-prob = 1.0 意味着保留每个单元，即该层不使用 Dropout。