视频封面

视频元信息

  • 课程：吴恩达深度学习专项课程（Deep Learning Specialization）第五门课 · 序列模型 · 第三周 · 第一讲
  • 主题：Seq2Seq（序列到序列）基础模型
  • 时长：约 6 分 15 秒

内容摘要（TL;DR）

本讲介绍序列到序列（Seq2Seq）的基础模型：用一个编码器 RNN（GRU/LSTM）把输入序列压缩成一个向量，再用解码器 RNN 逐词生成输出序列。以法语到英语机器翻译为例讲解训练流程，并延伸到图像描述（image captioning）：用预训练 AlexNet 去掉 softmax 层作为编码器提取图像特征向量，再喂给 RNN 生成描述。最后指出生成时不应随机采样，而应求最可能的输出，为下一讲 beam search 做铺垫。

课程定位与本周内容概览 [00:00]

  • 这是五门课程系列的最后一周，学员已接近终点。
  • 本周主题是序列到序列模型（sequence to sequence models），应用范围覆盖机器翻译到语音识别。
  • 本讲先讲基础模型，之后会讲 beam search（集束搜索）、注意力模型（attention model），最后讨论语音等音频数据的模型。

本讲是整个 Seq2Seq 章节的入口，后续 beam search 与注意力机制都建立在此基础模型之上。

机器翻译问题设定 [00:32]

以法语到英语翻译为例：

  • 输入法语句子：Jane visite l'Afrique en septembre
  • 目标英文句子：Jane is visiting Africa in September
  • 输入序列用 X1 到 X5 表示（本例 5 个词），输出序列用 Y1 到 Y6 表示（本例 6 个词）。

理解：输入输出长度往往不相等，这正是不能用普通固定维度输入输出网络、而需要编码器-解码器结构的原因。

考点：Seq2Seq 的输入与输出序列长度可以不同，这是它区别于普通 RNN 分类任务的关键特征。

编码器-解码器（Encoder-Decoder）架构 [01:29]

核心思想来自两篇论文，即 Sutskever 等人以及 Cho 等人的工作。

编码器网络（Encoder）

  • 用一个 RNN 构建，可以是 GRU 或 LSTM。
  • 逐词读入法语单词，一次一个词。
  • 读完整个输入序列后，RNN 输出一个向量，用来表示整句输入的含义。

解码器网络（Decoder）

  • 接收编码器输出的编码向量（图中左侧黑色部分）作为输入。
  • 被训练为逐词输出翻译结果，一次一个词。
  • 最终输出序列结束标记（如 EOS / 句子 token），解码器随即停止。

生成与自回归

  • 与语言模型合成文本类似，可以把已生成的 token 再喂回网络，形成序列的逐步生成。

推导：编码器把变长输入压缩为定长向量，解码器再把这个向量展开为变长输出，从而打通"变长到变长"的映射。

重点：编码器负责"理解"输入，解码器负责"生成"输出，二者通过中间编码向量连接。

基础模型把整句信息全部压进一个固定长度向量，当句子很长时信息会丢失，这正是后续引入注意力机制的根本动机。

该模型为何有效 [02:40]

  • 这是深度学习近期最引人注目的成果之一：只要给定足够多的法英句对，训练模型输入法语句子、输出对应英文翻译，效果就相当不错。
  • 模型结构简单：编码网络找到输入法语句子的编码，解码网络据此生成对应英文翻译。

思考：这套"编码-解码"范式之所以强大，在于它把不同模态、不同长度的序列映射统一到同一个框架下，因此能自然迁移到图像描述等任务。

图像描述（Image Captioning）[03:13]

同样的编码器-解码器思想可用于图像到序列的任务：

  • 给定一张图片，希望自动生成描述，例如 "a cat sitting on a chair"。
  • 做法：把图像输入卷积网络（如预训练 AlexNet），让它学习图像的编码或特征集合。
  • 具体地，去掉 AlexNet 最后的 softmax 单元，预训练网络可输出一个 4096 维特征向量，用来表示这张猫的图片。
  • 这个预训练网络就充当图像的编码器网络，得到 4096 维图像表示向量。
  • 再将该向量喂给一个 RNN，其任务是逐词生成描述。
  • 与法英翻译类似：输入描述输入的特征向量，逐词生成输出序列。

易错点：转录中"496 维"应为 4096 维，是语音识别误差，AlexNet 去掉 softmax 后的特征维度是 4096。

理解：图像描述本质上是"图像编码器 + 文本解码器"，与机器翻译共享同一套 Seq2Seq 骨架，只是编码器从 RNN 换成了 CNN。

  • 该模型对图像描述效果相当好，尤其是当生成的描述不太长时。

描述过长时效果下降，同样是因为单个固定向量承载信息有限，与长句翻译的信息瓶颈问题一致。

相关工作与出处 [05:07]

  • 该模型最早由 Mao、Xu、Yang、Wang、Huang、Yu 等人提出。
  • 同时期还有多个团队独立提出非常相似的模型。

拓展：这一时期的图像描述工作（如 show-and-tell、show-attend-and-tell）奠定了"CNN 编码 + RNN 解码"的标准范式，后续注意力机制正是在此基础上加入，让解码器每一步聚焦图像的不同区域。

生成方式的差异与铺垫 [05:49]

  • 与用语言模型合成新文本相比，运行这类模型生成序列有重要区别。
  • 关键区别：你不想要随机选出的翻译，而想要最可能的翻译；不想要随机选出的描述，而想要最好、最可能的描述。
  • 因此下一讲将讲解如何生成最可能的输出，即 beam search。

重点：训练时用 teacher forcing 逐词喂入真实标签，但推理时若按概率随机采样会得到质量不稳定的结果，应改为搜索最可能的序列。

随机采样 vs 最优搜索是 Seq2Seq 推理阶段的核心区别，也是 beam search 存在的意义，务必区分训练与推理两种模式。

关键标签 / 关键词

Seq2Seq、编码器-解码器、Encoder-Decoder、RNN、GRU、LSTM、机器翻译、图像描述、Image Captioning、AlexNet、4096 维特征、EOS 结束标记、自回归生成、beam search、注意力模型、吴恩达深度学习

生成时间：2026-10-11 00:20:21 生成平台：VideoNote www.xygy.top