吴恩达深度学习第3课 1.9：可避免的偏见

视频封面

视频元信息

所属课程：吴恩达深度学习专项课程 - 结构化机器学习项目（Structuring Machine Learning Projects）
章节：1.9 可避免的偏见（Avoidable Bias）
语言：官方中英字幕

内容摘要（TL;DR）

本节讲解如何用「人类水平误差」作为「贝叶斯最优误差」的近似估计，来判断模型当前应优先优化偏差还是方差。核心概念是可避免偏差（Avoidable Bias）——即贝叶斯误差（近似值）与训练误差之间的差距。相同的训练误差和开发误差，在不同的人类水平误差设定下，会导向完全不同的优化策略。

一、问题引入：训练集表现并非越高越好 [00:03]

吴恩达指出，我们通常希望学习算法在训练集上表现良好，但有时并不希望它表现"太好"。关键问题在于：模型在训练集上应该做到多好才算合适？人类水平的表现（human level performance）能帮我们回答这个问题——告诉我们模型应该做到多好，但不应超过这个程度。

理解：这一节的核心思想是——优化的"目标线"不是零误差，而是贝叶斯最优误差。盲目追求更低训练误差可能导致过拟合，反而损害泛化能力。

二、猫分类案例：相同误差，不同结论 [00:19]

吴恩达用猫分类任务展示了一个关键对比实验。两个场景中，模型的训练误差都是 8%，开发误差都是 10%，但人类水平误差不同，导致优化策略完全相反。

场景一：人类水平误差 = 1% [00:27]

人类水平误差（近似贝叶斯误差）：1%
训练误差：8%
开发误差：10%

分析：

训练误差 8% 与人类水平 1% 之间存在 7% 的巨大差距
这说明模型连训练集都没有拟合好（欠拟合）
应该优先减少偏差（Bias）

可采取的措施：

使用更大的神经网络
延长梯度下降的训练时间
尝试更好的优化算法
目标：先在训练集上做得更好

场景二：人类水平误差 = 7.5% [01:25]

人类水平误差（近似贝叶斯误差）：7.5%
训练误差：8%
开发误差：10%

分析：

训练误差 8% 与人类水平 7.5% 之间只有 0.5% 的差距
模型在训练集上已经做得"足够好"，接近人类水平
继续降低训练误差的空间很小，强行降低可能导致过拟合
真正的问题在于训练误差与开发误差之间的 2% 差距（方差问题）
应该优先减少方差（Variance）

可采取的措施：

使用正则化（Regularization）
获取更多训练数据
目标：将开发误差拉近训练误差

易错点：相同的训练误差和开发误差（8% / 10%），仅因为人类水平误差不同，优化方向就完全相反。这说明不能只看误差数值本身，必须结合贝叶斯误差（或人类水平误差）来判断。

三、核心概念：人类水平误差作为贝叶斯误差的代理 [02:42]

为什么可以用人类水平误差近似贝叶斯误差？

在之前的偏差与方差讨论中，通常假设贝叶斯误差接近于 0
但在许多实际任务中，贝叶斯误差并不为 0
对于计算机视觉任务，人类水平误差是贝叶斯误差的合理近似
- 因为人类在视觉任务上表现非常好
- 人类能做到的，离贝叶斯最优误差不会太远

关键关系

贝叶斯误差 ≤ 人类水平误差

根据定义，人类水平误差一定劣于贝叶斯误差（因为没有什么能比贝叶斯误差更好）
但人类水平误差不会比贝叶斯误差差太多
因此可以用人类水平误差作为贝叶斯误差的估计值或代理（Proxy）

思考：这个近似的合理性取决于任务类型。在自然语言理解、图像识别等人类擅长的任务上，人类水平误差是很好的代理。但在某些超人类任务（如大规模推荐系统、蛋白质结构预测）上，人类水平误差可能远高于贝叶斯误差，此时该代理就不准确了。

四、可避免偏差（Avoidable Bias）的定义 [04:55]

术语引入

吴恩达承认这不是广泛使用的术语，但他认为这是一种有用的思考方式：

术语	定义	含义
可避免偏差	贝叶斯误差（近似值）− 训练误差	还有多少偏差可以被消除
方差	训练误差 − 开发误差	模型泛化能力的差距

核心逻辑

你希望不断改进训练表现，直到达到贝叶斯误差
但你不应该、也不可能做得比贝叶斯误差更好
除非你开始过拟合训练集

考点：可避免偏差 vs 方差的判断

可避免偏差大 → 优先减少偏差（更大网络、训练更久）

方差大 → 优先减少方差（正则化、更多数据）

判断依据：比较"训练误差与贝叶斯误差的差距"和"训练误差与开发误差的差距"，哪个更大就优先解决哪个。

五、两个场景的量化对比 [05:47]

场景一（左）：人类水平误差 = 1%

指标	数值
可避免偏差	8% − 1% = 7%
方差	10% − 8% = 2%

结论：可避免偏差（7%）远大于方差（2%），应优先减少偏差。

场景二（右）：人类水平误差 = 7.5%

指标	数值
可避免偏差	8% − 7.5% = 0.5%
方差	10% − 8% = 2%

结论：方差（2%）远大于可避免偏差（0.5%），应优先减少方差。

推导：可以看到，两个场景中方差都是 2%，但可避免偏差从 7% 降到了 0.5%。优化策略的选择取决于"可避免偏差"与"方差"哪个更大——哪个大就优先解决哪个。

六、本节总结与下节预告 [06:32]

核心要点

人类水平误差可以作为贝叶斯最优误差的近似估计（尤其在计算机视觉等人类擅长的任务中）
可避免偏差 = 贝叶斯误差（近似）− 训练误差
方差 = 训练误差 − 开发误差
相同的训练/开发误差，在不同贝叶斯误差假设下，可能导致完全不同的优化策略
理解人类水平误差和贝叶斯误差的估计值，能帮助你在不同场景下选择减少偏差或减少方差的策略

下节预告

下一节将更深入地理解人类水平表现（Human Level Performance）的真正含义，以及如何更细致地将它纳入决策过程。

七、拓展补充【拓展】

1. 为什么贝叶斯误差不可能被超越？

贝叶斯误差是理论上任何分类器在给定数据分布上能达到的最小误差。它来源于数据本身的噪声和不确定性（如标签错误、特征不足以区分类别等）。即使拥有无限数据和完美模型，也无法低于这个误差——除非过拟合训练集中的噪声。

2. 实际应用中如何估计贝叶斯误差？

人类水平误差：适用于人类擅长的任务（图像分类、语音识别、自然语言理解）
专家水平误差：对于专业领域（如医学影像诊断），使用专家团队的表现作为代理
多个人类团队的最优表现：通常取多个团队中最好的表现作为贝叶斯误差的近似，因为贝叶斯误差应优于任何单个团队

3. 容易踩坑的点

坑一：直接用训练误差的绝对值判断模型好坏，忽略贝叶斯误差。8% 的训练误差在贝叶斯误差 1% 时很差，但在贝叶斯误差 7.5% 时已经很好。
坑二：在贝叶斯误差很高的任务上强行降低训练误差，导致严重过拟合。
坑三：混淆"偏差"和"可避免偏差"。传统偏差 = 贝叶斯误差 − 训练误差中不可消除的部分 + 可消除的部分；可避免偏差只关注可消除的部分。

4. 与其他课程内容的联系

本节是偏差与方差分析的进阶版，引入了贝叶斯误差这一关键参照点
与误差分析（Error Analysis）、数据不匹配（Data Mismatch）等问题共同构成结构化机器学习项目的核心方法论
后续课程中，人类水平误差还会用于讨论语音识别、图像识别等具体任务中的优化策略

关键标签/关键词

可避免偏差 Avoidable Bias 贝叶斯误差 Bayes Error 人类水平误差 Human Level Performance 偏差与方差 Bias and Variance 训练误差 开发误差 过拟合 正则化 结构化机器学习 吴恩达深度学习