吴恩达深度学习第5课 2.2：使用词嵌入

视频封面

视频元信息

课程名称：吴恩达深度学习专项课程 - 序列模型（Sequence Models）
章节：2.2 使用词嵌入（Using Word Embeddings）
语言：官方中英双语字幕
主题：词嵌入在 NLP 任务中的应用、迁移学习流程、与人脸编码的对比

内容摘要（TL;DR）

本视频讲解如何将词嵌入（Word Embeddings）应用到 NLP 任务中，核心是通过迁移学习将海量无标注文本中学到的词向量迁移到小规模标注任务（如命名实体识别）。同时介绍了词嵌入的降维优势、微调策略，并与人脸识别中的"编码"概念做了对比。

一、词嵌入在命名实体识别中的应用 [00:00]

1.1 任务背景

命名实体识别（Named Entity Recognition, NER）的目标是从句子中检测出人名、地名、机构名等实体。

示例句子：Sally Johnson is an orange farmer

模型需要判断 Sally Johnson 是人名，输出标签为 1。这里之所以能判断，是因为 "orange farmer"（种橙子的农民）通常指向一个人。

1.2 从 One-hot 到词嵌入的升级

过去做法：使用 one-hot 向量表示单词 x1, x2 ...，每个词是一个高维稀疏向量，词与词之间没有语义关联。
现在做法：使用上一节学到的 特征化表示（embedding vectors），让语义相近的词在向量空间中距离更近。

理解：one-hot 向量中 "orange" 和 "apple" 的内积为 0，完全无法体现相似性；而词嵌入让 "orange" 和 "apple" 的余弦相似度很高，这是泛化能力的关键来源。

1.3 泛化能力的体现

训练集见过：Sally Johnson is an orange farmer → 判断为人名
测试集出现：Robin Lin is an apple farmer
- 因为 orange ≈ apple（都是水果），模型能泛化判断 Robin Lin 也是人名

1.4 最有意思的案例：罕见词泛化

测试句：Robin Lin is a durian cultivator（Robin Lin 是一位榴莲种植者）

durian（榴莲）是新加坡等地的一种罕见水果，cultivator（种植者）也是不常见词
如果训练集很小，可能从未见过 durian 或 cultivator

考点：词嵌入的核心价值在于——即使目标词从未在标注训练集中出现，只要它与其他已知词在嵌入空间中相似，模型仍能做出正确判断。

如果词嵌入告诉模型：durian ≈ orange（都是水果）、cultivator ≈ farmer（都是种植者）
那么模型就能从 "orange farmer" 的标注样本中泛化，推断出 "durian cultivator" 也是人

思考：这正是词嵌入相比 one-hot 的本质优势——它把"词"从离散符号变成了携带语义的连续向量，使得知识可以在词之间"迁移"。

二、为什么词嵌入能实现这种泛化 [02:18]

2.1 大规模无标注文本的利用

学习词嵌入可以在超大规模文本语料上进行
数据规模可达 10 亿（billion）甚至 1000 亿（100 billion）词
这些语料无需标注，可以直接从互联网免费下载

2.2 从无标注数据中学习语义关系

通过阅读海量文本，模型能发现：
- orange 和 durian 相似（都是水果）
- farmer 和 cultivator 相似（都是种植者）
从而学到将这些词聚在一起的嵌入向量

理解：这就是"分布式假设"（Distributional Hypothesis）的体现——一个词的含义由其上下文决定。词嵌入本质上是从大量上下文中统计出来的语义表示。

易错点：词嵌入的质量高度依赖于语料规模与多样性。语料太小或领域单一，学到的相似性可能不可靠。

三、迁移学习流程详解 [03:17]

3.1 迁移学习的核心思想

将海量无标注文本中学到的知识，迁移到标注数据较少的下游任务（如 NER）。

词嵌入最大的价值场景：目标任务标注数据很少时效果最明显。当目标任务本身有海量标注数据时，词嵌入带来的增益会显著下降。

3.2 标准操作步骤

步骤一：学习词嵌入

从超大规模文本语料（10 亿~1000 亿词）中学习词嵌入
或者直接下载预训练好的词嵌入（网络上有多个宽松许可证下的公开词向量）

步骤二：迁移到新任务

将词嵌入迁移到标注数据较少的新任务（如 NER）
使用例如 300 维的嵌入向量表示单词

步骤三：可选微调（Fine-tuning）

用新任务的数据继续调整词嵌入
关键判断：
- 只有当新任务数据集较大时才做微调
- 如果标注数据很小，通常不要微调词嵌入

易错点：小数据集上微调词嵌入容易过拟合，反而破坏预训练学到的通用语义知识。

3.3 降维优势

表示方式	维度	稠密性	语义
One-hot 向量	10,000 维	稀疏（sparse）	无
词嵌入向量	300 维	稠密（dense）	有

理解：one-hot 维度等于词表大小，随词表膨胀而爆炸；词嵌入用固定的低维稠密向量，既能表达语义又节省计算。

3.4 NER 任务的网络选择

视频中为简化，画的是单向 RNN。但实际做命名实体识别时：

考点：应使用双向 RNN（Bi-directional RNN），而非简单的单向 RNN，因为判断一个词是否为人名需要同时利用左右两侧的上下文。

四、词嵌入的适用任务范围 [05:45]

4.1 词嵌入帮助较大的任务

命名实体识别（Named Entity Recognition）
文本摘要（Text Summarization）
指代消解（Co-reference Resolution）：判断"他""她""它"指代的是哪个实体
句法分析（Parsing）

理解：这些任务的共同点是——标注数据通常相对稀缺，且高度依赖词汇语义，因此能从预训练词嵌入中获益。

4.2 词嵌入帮助较小的任务

语言建模（Language Modeling）
机器翻译（Machine Translation）

考点：当任务本身拥有大量专用标注数据时（如机器翻译），词嵌入的迁移增益会变小。

4.3 迁移学习的一般规律

从任务 A 迁移到任务 B 时，迁移学习最有用的条件是：A 有海量数据，B 数据相对较少。

这一规律在 NLP 中普遍成立，因此词嵌入对很多 NLP 任务有效，而对语言建模、机器翻译的增益相对有限。

五、词嵌入与人脸编码的对比 [06:38]

5.1 "编码"与"嵌入"的术语关系

在人脸识别文献中，人们用 encoding（编码） 指代向量 f(xi)、f(xj)
在 NLP 中，人们用 embedding（嵌入） 指代词向量
两者含义基本相同，术语可互换使用

理解：本质上两者都是把高维原始输入（图像/词）映射到低维稠密语义空间的操作。

5.2 关键区别

对比维度	人脸识别（Face Encoding）	词嵌入（Word Embedding）
输入空间	无限——未来可能遇到任意新照片	固定词表——如 10,000 个词
处理方式	神经网络对任意新图片实时计算编码	学习固定的 E1~E10000，每个词一个固定向量
未知输入	可以处理全新人脸	词表外的词统一标记为 UNK（unknown word）

考点：人脸识别需要"泛化到新样本"的能力（无限输入空间）；词嵌入只需为固定词表学习一张"查找表"（lookup table）。这是两者最本质的差异。

5.3 术语差异的本质

编码与嵌入术语的差异，并非算法原理的差异，而是使用场景的差异：

人脸识别面对的是"无限的图片海洋"

NLP 面对的是"有限的固定词表 + 未知词标记"

六、本节总结 [08:50]

词嵌入实现迁移学习：用海量无标注文本学到的语义知识，迁移到标注稀缺的 NLP 任务。
替换 one-hot → embedding：让算法泛化更好，甚至能从更少的标注数据中学习。
核心价值场景：目标任务训练集较小时，词嵌入增益最大。
下一步预告：词嵌入的其他性质，以及如何具体学习词嵌入，还有词嵌入如何帮助类比推理（analogies）。

关键标签 / 关键词

词嵌入 Word Embeddings 迁移学习 Transfer Learning 命名实体识别 NER One-hot 向量 稠密向量 微调 Fine-tuning 双向 RNN 人脸编码 Face Encoding NLP 吴恩达深度学习 序列模型 指代消解 文本摘要 未知词 UNK 预训练词向量 降维