吴恩达深度学习第5课 2.9：情感分类

视频封面

视频元信息

本视频讲解情感分类任务的定义与应用场景，重点分析两种基于词嵌入的建模方案：一是对词向量取平均/求和后接 Softmax 分类器（简单但忽略词序），二是用多对一 RNN 结构（能捕捉词序与否定语义）。核心结论是借助大规模语料预训练的词嵌入，即使标注训练集很小，也能快速构建效果不错的 NLP 系统。

情感分类是"看一段文本 → 判断情感倾向"的映射任务，属于典型的文本分类问题。

理解：情感分类之所以被视为 NLP 的"积木"，是因为很多上层任务（评论分析、舆情监控、客服质检）本质上都依赖它。

视频给出的典型例子是餐厅评论的星级预测：

示例评论与标签：

易错点：最后一条评论是典型的"陷阱样本"——它包含大量 "good" 这个词，但整体是极负面的 1 星评价。这直接引出后续两种模型的关键差异。

应用价值：

思考：这类任务在工业界的价值在于"自动化舆情追踪"，把人工看评论变成系统批量打分。

情感分类的标注数据通常很少，但词嵌入可以在远大于标注集的语料上训练：

理解：这是迁移学习思想的早期体现——先在大语料上学词向量，再迁移到小规模下游任务。

这是最简单的情感分类模型，流程如下：

该方案的优点：

该方案的致命缺陷：

易错点：它完全忽略了词序（word order）。
它本质上是在"平均/汇总所有词的含义"。
对于 "Lacking good taste, good service and good ambience" 这种评论，由于 "good" 反复出现，最终特征向量中 "good" 的表示占比很高，分类器很可能误判为好评，而它实际是 1 星差评。

词袋式（bag-of-words）的平均/求和模型无法处理否定与词序，遇到 "not good"、"lacking good" 这类结构极易判错。这是情感分类中最经典的坑。

推导：设词向量为 e₁…eₜ，模型输出 = Softmax(W · (1/T)Σeᵢ + b)。由于求和/平均是可交换运算，打乱词序结果不变，因此"not good"和"good not"得到完全相同的表示。

针对方案一的缺陷，吴恩达给出更精细的模型——用 RNN 做情感分类：

结构特征：

这是多对一（many-to-one）RNN 架构，在前一周课程中已经介绍过。
关键优势：能考虑词的顺序，从而识别 "lacking in good taste" 是负面评价、"not good" 是负面评价。
相比之下，方案一只是把所有词"搅成一团词向量糊（big word vector of mush）"，无法区分 "not good" 与 "good" 的语义差异。

泛化能力：

词嵌入可在更大语料上训练，因此 RNN 方案对新词泛化更好。
例如 "completely absent of good taste, good service and good ambience" 中的 "absent" 即使没出现在情感分类的标注训练集里，只要它出现在训练词嵌入的 10 亿/1000 亿词语料中，模型仍可能判对。
重要结论：词嵌入让模型能泛化到标注训练集中未出现、但词嵌入语料中出现过的词。

理解：RNN 通过隐藏状态逐步累积上下文，最后一个时间步的隐藏状态相当于对整句语义的"有序压缩"，因此能编码否定、转折等词序相关语义。

【拓展】RNN 之后，业界进一步用 LSTM、GRU 缓解长程依赖与梯度消失问题；再后来 Transformer（自注意力）成为主流，能并行处理并更好捕捉长距离依赖。但本视频强调的"词序 vs 词袋"的核心矛盾，在所有这些架构中依然成立。