视频封面

视频元信息

  • 课程：吴恩达深度学习专项课程 · 卷积神经网络（CNN）第三周
  • 主题：U-Net 网络结构详解
  • 时长：约 7 分 40 秒

内容摘要（TL;DR）

本视频详细拆解了 U-Net 网络结构。U-Net 由 Ronneberger、Fischer 和 Brox 提出，最初用于生物医学图像分割。其结构呈 U 形：左侧为常规卷积+ReLU+最大池化的下采样路径，右侧为转置卷积（上采样）+跳跃连接的上采样路径，最终通过 1×1 卷积输出 H×W×类别数 的分割图，对每个像素做分类。

一、U-Net 简介与背景 [00:03]

  • U-Net 是当今计算机视觉中最重要、最基础的神经网络架构之一，适用于许多应用场景。
  • 提出者：Olaf Ronneberger、Philipp Fischer、Thomas Brox。
  • 理解：U-Net 最初的设计动机是生物医学图像分割（如细胞、组织切片的像素级识别），但由于其通用性，后来被广泛应用于各类语义分割任务。
  • 之所以叫 "U-Net"，是因为画出结构图后形状酷似字母 U。

  • [!IMPORTANT] 考点：U-Net 的三大核心要素 —— ① 下采样编码路径；② 上采样解码路径；③ 跳跃连接（Skip Connection）。三者缺一不可。

二、输入表示与画图约定 [01:11]

  • 输入是一张图像，维度为 H × W × 3（3 为 RGB 通道数）。
  • 为了简化 U-Net 结构图，吴恩达老师用矩形而非 3D 方块来表示各层：
    • 从侧面看（edge on），只能看到高度 H 和通道数 3，宽度被隐藏。
    • 因此矩形的高度代表 H，宽度代表通道数，看起来非常"薄"。
  • 思考：这种画法是 U-Net 结构图的标准表达方式，读者需要理解矩形宽度代表通道数、高度代表空间尺寸，才能正确解读后续所有图示。

三、下采样路径（编码器） [02:19]

  • 左侧前半部分使用常规前向卷积层，用黑色箭头表示。
  • 黑色箭头 = 卷积层 + ReLU 激活函数。
  • 具体流程：
    1. 第一个卷积层 + ReLU：通道数略微增加，空间尺寸仍为 H × W。
    2. 第二个卷积层 + ReLU：通道数继续增加。
    3. 最大池化（Max Pooling）：降低高度和宽度，通道数增加。
    4. 再重复两组「卷积 + ReLU + 卷积 + ReLU + 最大池化」。
  • 最终得到高度和宽度非常小、通道数较多的特征图。

  • [!IMPORTANT] 易错点：最大池化只改变空间尺寸（H、W），不改变通道数；而卷积层通常改变通道数，不改变空间尺寸（same padding 时）。

四、转置卷积与跳跃连接 [03:50]

  • 当空间尺寸足够小后，开始使用转置卷积层（Transpose Convolution） 来上采样，用绿色箭头表示。
  • 第一个转置卷积层：
    • 空间尺寸（H、W）未增加（本例中）。
    • 通道数减少。
  • 接着引入 跳跃连接（Skip Connection），用灰色箭头表示：
    • 作用：将左侧对应层的激活值直接复制到右侧。
    • 结果：右侧激活值 = 浅蓝色部分（来自转置卷积）+ 深蓝色部分（来自左侧复制）。
  • 理解：跳跃连接的核心价值在于保留了下采样过程中丢失的空间细节信息。编码器在池化时丢失了精确的位置信息，解码器通过跳跃连接可以"找回"这些细节，从而提升分割边界的精度。

五、上采样路径的重复构建（解码器） [04:46]

  • 继续堆叠：
    1. 若干常规卷积层 + ReLU（黑色箭头）。
    2. 一个转置卷积层（绿色箭头），此时开始增加高度和宽度。
    3. 一个跳跃连接（灰色箭头），复制左侧激活值。
    4. 重复「卷积 + 转置卷积 + 跳跃连接」多次。
  • 最终恢复到与原始输入图像相同的 H × W 尺寸。
  • 推导：下采样了几次（几次池化），上采样就需要对应几次转置卷积，才能恢复到原始分辨率。跳跃连接的数量也与下采样层数一一对应。

六、输出层与分割图生成 [06:06]

  • 恢复尺寸后，再加几层常规卷积。
  • 最后使用 1×1 卷积（洋红色箭头）映射到分割图。
  • 输出维度：H × W × num_classes
    • 与输入 H × W 相同。
    • num_classes 为要识别的类别数（如 3 类则为 3，10 类则为 10）。
  • 输出含义：
    • 对 H × W 个像素中的每一个，都有一个长度为 num_classes 的向量。
    • 该向量表示该像素属于各个类别的概率。
    • 对 num_classes 取 argmax，即可将每个像素分类到某一类。
  • 最终可视化为右侧的分割图（Segmentation Map）。

  • [!IMPORTANT] 考点：1×1 卷积的作用 —— 在不改变空间尺寸的前提下，调整通道数，将特征图映射为类别预测。它等价于对每个像素位置做一个全连接层。

七、总结与展望 [07:12]

  • 本视频核心：转置卷积 + U-Net 架构。
  • 鼓励完成本周编程练习。
  • 下周预告：人脸识别（Face Recognition） 和 神经风格迁移（Neural Style Transfer） 的专用架构。

关键概念补充【拓展】

  • 转置卷积（Transpose Convolution）：又称反卷积（Deconvolution），并非卷积的逆运算，而是一种可学习的上采样操作。它通过插入零值、填充等方式将小特征图放大为大特征图。
  • 语义分割 vs 实例分割：U-Net 属于语义分割（每个像素归类），不区分同类物体的不同个体；实例分割则进一步区分。
  • U-Net 的变体：3D U-Net（用于体积数据）、ResU-Net（引入残差连接）、Attention U-Net（引入注意力机制）等。
  • 与 FCN 的区别：FCN（全卷积网络）是 U-Net 的前身，但 U-Net 的跳跃连接采用拼接（concatenation） 而非逐元素相加，能保留更多信息。

关键标签 / 关键词

U-Net #语义分割 #转置卷积 #跳跃连接 #编码器解码器 #下采样 #上采样 #最大池化 #1x1卷积 #ReLU #生物医学图像分割 #CNN #吴恩达深度学习 #计算机视觉

生成时间：2026-10-11 00:42:46 生成平台：VideoNote www.xygy.top