视频元信息
- 课程：吴恩达深度学习专项课程（Deep Learning Specialization）——序列模型（Sequence Models）
- 章节：2.3 词嵌入的性能（Properties of Word Embeddings）
- 时长：约 12 分钟
内容摘要（TL;DR）
本视频讲解词嵌入的两大核心特性：一是类比推理能力（如"man 之于 woman 相当于 king 之于 queen"），通过向量差值捕捉语义关系；二是余弦相似度作为衡量词向量相似度的标准方法。同时澄清了 t-SNE 可视化会破坏平行四边形关系的常见误区。
一、词嵌入的类比推理特性 [00:00]
词嵌入（Word Embeddings）不仅能帮助构建 NLP 应用，还有一个非常迷人的特性：支持类比推理（Analogy Reasoning）。
虽然类比推理本身可能不是最重要的 NLP 应用，但它能帮助我们直观理解词嵌入到底在做什么、能做什么。
1.1 用 4 维向量举例说明 [00:55]
为了便于理解，吴恩达用 4 维嵌入向量代替实际中常用的 50~1000 维向量来演示。
- 记 $e_{man}$ 表示 "man" 的嵌入向量
- 记 $e_{woman}$ 表示 "woman" 的嵌入向量
- 记 $e_{king}$ 表示 "king" 的嵌入向量
- 记 $e_{queen}$ 表示 "queen" 的嵌入向量
关键发现（考点）：
计算 $e_{man} - e_{woman}$，结果大约为 $[-2, 0, 0, 0]$。
计算 $e_{king} - e_{queen}$，结果大约也为 $[-2, 0, 0, 0]$。
理解：这说明嵌入向量捕捉到了"性别"这一语义维度——man 和 woman 的主要差异是性别，king 和 queen 的主要差异也是性别。
- 第一维：性别差异（约 -2）
- 第二维：皇室身份（king 和 queen 都是皇室，差值为 0）
- 第三维：年龄（差值为 0）
- 第四维：其他（差值为 0）
1.2 类比推理的公式化 [02:53]
核心问题："man 之于 woman，相当于 king 之于什么？"
算法步骤：
- 计算 $e_{man} - e_{woman}$
- 寻找一个词 $w$，使得 $e_{man} - e_{woman} \approx e_{king} - e_{w}$
- 等价于找 $w$ 使得 $e_{w} \approx e_{king} - e_{man} + e_{woman}$
- 即：$w = \arg\max_{w} \text{Sim}(e_w, \; e_{king} - e_{man} + e_{woman})$
考点：类比推理的向量运算公式 $e_{king} - e_{man} + e_{woman}$ 的结果最接近的向量对应的词就是答案（此处为 queen）。 这是词嵌入最经典、最常被引用的性质，务必牢记公式形式。
推导：将 $e_{man} - e_{woman} \approx e_{king} - e_{w}$ 变形，把 $e_w$ 移到左边、其余项移到右边，即得 $e_w \approx e_{king} - e_{man} + e_{woman}$。
1.3 实际效果与准确率 [06:39]
- 这个方法是真正有效的——如果词嵌入训练得当，可以精确得到正确答案。
- 研究论文中报告的类比推理准确率通常在 30% ~ 75% 之间。
- 注意：只有当模型精确选出正确单词（如 queen）时，才算答对。
易错点：准确率统计标准 类比推理任务的准确率是"精确匹配"（exact match），即必须完全命中目标词才算正确，而非近似即可。这也是为什么准确率看起来不高（30%~75%）的原因。
思考：30%~75% 的准确率看似不高，但考虑到词表可能包含数十万词汇，随机猜中的概率极低，这个结果已经非常惊人。
二、t-SNE 可视化的局限性（重要提醒）[07:16]
2.1 t-SNE 做了什么
之前课程提到用 t-SNE 等算法将词向量可视化。t-SNE 的作用是：
- 将 300 维数据非线性地映射到 2 维空间
- 这种映射非常复杂且高度非线性
2.2 关键警告
易错点：t-SNE 映射后不要期望平行四边形关系成立 平行四边形类比关系（如 man-woman 与 king-queen 的差值相等）只在原始的 300 维空间中可靠成立。经过 t-SNE 非线性映射后，这些关系大多数会被破坏。
理解：t-SNE 是非线性降维，它保留的是局部邻域结构，而非全局的线性关系。因此不要把 t-SNE 图上看起来的"平行"当作真实结论。
三、余弦相似度（Cosine Similarity）[08:27]
3.1 定义
最常用的相似度度量函数是余弦相似度。
$$\text{Sim}(u, v) = \frac{u^T v}{|u|_2 |v|_2}$$
- 分子 $u^T v$ 是 $u$ 和 $v$ 的内积
- 分母是两向量 L2 范数的乘积
- 结果实际上是向量 $u$ 和 $v$ 之间夹角 $\phi$ 的余弦值
3.2 余弦相似度的取值范围
| 夹角 $\phi$ | 余弦相似度 | 含义 |
|---|---|---|
| $0°$ | $1$ | 方向完全相同 |
| $90°$ | $0$ | 正交，不相关 |
| $180°$ | $-1$ | 方向完全相反 |
3.3 其他可用的相似度度量
- 平方距离（欧氏距离）：$|u - v|^2$
- 注意：这是"距离"而非"相似度"，需要取负号（$-|u-v|^2$）才能作为相似度使用
- 也能工作，但不如余弦相似度常用
- 主要区别：余弦相似度对向量长度做了归一化，而欧氏距离没有
考点：余弦相似度 vs 欧氏距离 余弦相似度关注方向（角度），对向量模长不敏感；欧氏距离关注绝对位置差异。在词嵌入类比任务中，余弦相似度使用更广泛。
思考：为什么余弦相似度更适合词嵌入？因为词向量的模长可能受词频等因素影响，而我们更关心语义方向是否一致。
四、词嵌入能学到的类比关系类型 [10:19]
词嵌入的惊人之处在于其类比关系的通用性——仅通过在大规模文本语料上运行学习算法，就能自动发现以下模式：
4.1 性别类比
- man : woman :: boy : girl
- 向量差值主要捕捉"性别"这一维度
4.2 首都-国家类比
- Ottawa : Canada :: Nairobi : Kenya
- 即"城市（首都）之于国家"
4.3 形容词比较级类比
- big : bigger :: tall : taller
- 即"原级之于比较级"
4.4 货币-国家类比
- yen : Japan :: ruble : Russia
- 即"货币之于国家"
考点：词嵌入的通用性 这些类比关系不需要人工设计特征，只需在大规模文本语料上训练词嵌入算法，模型就能自动捕捉这些语义模式。这体现了词嵌入作为"特征化表示"的强大能力。
理解：这些关系的共同点是——它们都对应向量空间中一个一致的平移方向。性别差异、首都-国家关系、比较级关系等，各自对应一个固定的向量偏移量。
五、本节总结 [11:18]
- 词嵌入可用于类比推理，核心公式为 $e_{king} - e_{man} + e_{woman} \approx e_{queen}$
- 余弦相似度是衡量词向量相似度的最常用方法
- t-SNE 可视化会破坏平行四边形关系，不要被可视化图误导
- 词嵌入能自动从大规模文本中学习到多种语义关系（性别、首都、比较级、货币等）
- 即使你不构建类比推理系统，理解这些性质也有助于建立对词嵌入表示的直觉
下一节将讨论如何实际学习这些词嵌入。
关键标签 / 关键词
词嵌入 Word Embeddings 类比推理 Analogy Reasoning 余弦相似度 Cosine Similarity t-SNE 向量运算 NLP 自然语言处理 吴恩达 深度学习 序列模型 语义关系 特征表示
生成时间：2026-10-11 00:28:33 生成平台：VideoNote www.xygy.top
