吴恩达深度学习第3课 1.5：训练开发测试分布

视频封面

视频元信息

课程名称：吴恩达深度学习专项课程 - 结构化机器学习项目（Structuring Machine Learning Projects）
章节：1.5 训练/开发/测试分布（Train / Dev / Test Distributions）
语言：英文原声 + 中英字幕

内容摘要（TL;DR）

本节讲解如何设置开发集（dev set）和测试集（test set）的分布。核心观点：开发集和测试集必须来自同一分布，且应反映未来实际应用中期望获得的数据。若两者分布不同，团队可能花费数月优化开发集，最终在测试集上遭遇"目标被移动"的挫败。视频通过云分类器和贷款审批两个案例说明错误做法的代价。

一、开发集与测试集的作用 [00:23]

机器学习工作流中，开发集（dev set，又称 development set 或 holdout cross validation set）和测试集承担着不同职责：

训练集：用于训练不同模型、尝试各种想法
开发集：用于评估不同想法、挑选最优模型，并持续迭代提升开发集表现
测试集：最终评估所选模型的性能

理解：开发集的作用类似于"靶心"——它定义了团队要瞄准的目标。一旦开发集和评估指标确定，团队就能快速迭代、运行实验、评估分类器并挑选最佳方案。

关键比喻：开发集 + 单值评估指标 = 放置一个靶子，告诉团队靶心在哪里。机器学习团队擅长不断"射箭"，逐步逼近靶心。

二、错误做法：开发集与测试集分布不同 [00:55]

案例一：云分类器（Cloud Classifier）

假设正在构建一个云分类器，业务覆盖 8 个地区：美国、英国、其他欧洲国家、南美、印度、中国、其他亚洲国家、澳大利亚。

错误做法：随机选 4 个地区的数据作为开发集，另外 4 个地区的数据作为测试集。

易错点：这种做法非常糟糕，因为开发集和测试集来自不同的分布（different distributions）。

后果分析：

团队可能花费数月迭代优化开发集表现
最终在测试集上评估时，发现测试集数据（来自另外 4 个地区）与开发集差异巨大
之前数月的工作在测试集上表现很差，遭遇"令人讨厌的意外"（nasty surprise）

理解：这就像团队花了几个月瞄准一个靶心，结果发现测试时靶心被移到了完全不同的位置。团队成员会质问："为什么让我们花几个月优化一个不同的靶心，然后突然把靶心移到别处？"

正确做法

将所有 8 个地区的数据混合，随机划分到开发集和测试集中，使两者都包含所有地区的数据，从而来自同一分布。

三、真实案例：贷款审批系统 [03:44]

这是一个真实故事（细节有所改动）：

任务：根据贷款申请上下文，预测是否批准贷款
开发集：来自中等收入邮编区域（medium income zip codes）的贷款申请数据
团队工作：花费数月优化开发集表现
问题：几个月后，团队突然决定在低收入邮编区域（low income zip codes）的数据上测试

易错点：中等收入与低收入邮编区域的数据分布差异极大，团队花费大量时间优化的分类器在低收入数据上完全不工作。

代价：这个团队浪费了约 3 个月的时间，不得不回头重做大量工作。

思考：问题的根源在于——团队花了 3 个月瞄准一个目标，3 个月后管理者才问"你在另一个完全不同的目标上表现如何？"这对团队是极其令人沮丧的体验。

四、正确设置开发集与测试集的指导原则 [05:05]

核心原则

选择能反映未来期望数据的开发集：开发集应反映你期望在未来获得、且认为重要的数据
开发集和测试集必须来自同一分布：无论期望未来获得什么类型的数据，都要让开发集和测试集看起来像那种数据
将期望数据同时放入开发集和测试集：这样才能把靶子放在真正想命中的位置，并高效地持续瞄准同一目标

考点：设置开发集和评估指标，本质上是在定义你想要瞄准的目标。通过让开发集和测试集同分布，你才能真正瞄准希望机器学习模型命中的目标。

关于训练集

视频指出，训练集的设置会影响你实际命中目标的能力，但这部分内容将在后续视频中单独讨论。本节的重点是开发集和测试集的分布设置。

五、本节核心要点总结 [05:50]

要点	说明
开发集的作用	评估不同想法、挑选模型、迭代优化
测试集的作用	最终评估所选模型
核心原则	开发集和测试集必须来自同一分布
设置方法	选择反映未来期望数据的开发集，并将同类数据同时放入开发集和测试集
错误代价	可能导致团队数月工作白费，遭遇"目标被移动"的挫败

拓展：在吴恩达课程后续内容中，还会讨论开发集/测试集的大小选择问题。传统机器学习中常用 70/30 或 60/20/20 划分，但在深度学习时代（数据量达百万级），开发集和测试集只需足够评估模型即可，占比可以很小（如 98/1/1）。

拓展：当开发集和测试集分布不同时，一个补救措施是"训练-开发集"（training-dev set）——从训练集分布中划出一部分不用于训练的数据，用于诊断模型在训练分布上的泛化能力，从而区分"方差问题"和"数据不匹配问题"。这是后续课程的重要概念。