CS231n Lecture 5 Note

特征提取 vs 梯度下降 15<04>#

在深度学习爆发之前，计算机视觉是如何工作的？

• 传统路线（特征工程 + 线性分类器）：
  • 以前不能把原始像素直接喂给模型，而是由人类专家手动设计特征提取器（Feature Extractors）。
  • 颜色直方图 (Color Histogram)：统计图像中各种颜色的像素数量分布，忽略空间结构（比如识别苹果的红绿色）。

    

  • 方向梯度直方图 (HOG)：忽略颜色，只提取图像的边缘和轮廓方向（比如识别青蛙或人的轮廓）。

    

  • 做法：把这些手动提取的特征拼在一起，再训练一个线性分类器。

    

• 深度学习路线（端到端学习 End-to-End）：
  • 核心思想：梯度下降（数据和算力）比人类专家更擅长提取特征。
  • 我们依然是从原始像素到分数，但中间所有的特征提取过程，都交给了由神经网络构成的“计算图”，通过反向传播自动学习。

上次提到的神经网络的问题#

• 图像不是一维而是二维的，但却被展平了，因此会失去部分结构特征。

卷积神经网络 Convolutional Neural Network#

• 历史脉络：
  • 1998年 (LeNet)：Yann LeCun 等人发明的早期 CNN，用于手写数字识别，架构与今天非常相似。
  • 2012年 (AlexNet)：ImageNet 大赛冠军，彻底引爆深度学习。得益于 GPU、大数据（互联网）和更深的网络。
  • 2012 - 2020年 (CNN 统治期)：目标检测、图像分割、图像描述（Image Captioning）、甚至早期的图像生成（如 Stable Diffusion 早期版本），全都是基于 CNN。
• 后 CNN 时代 (2020年之后 - 引入 Transformer)：
  • 教授坦诚地提到，自 2020/2021 年起，起源于自然语言处理的 Vision Transformer (ViT) 开始在图像领域击败 CNN。
  • 但 CNN 仍极具学习价值，因为它是理解图像局部特性的最佳途经，且现在很多先进架构是 CNN 和 Transformer 的混合体。

卷积层 (Convolutional Layer) 31<34>#

为什么要把全连接网络升级为 CNN？因为图像是 2D 的，把图像“拉平”成一维向量会破坏空间结构。

PyTorch Convolution Layer#

将全连接层转换为卷积层 (FC $\to$ CONV Conversion)#

• 任何全连接层（FC）都可以等效地写成卷积层（CONV）。
  • 假设输入是$7×7×512$，接一个有 4096 个神经元的 FC 层。这可以等效为一个$F=7,P=0,S=1,K=4096$的卷积层，输出为$1×1×4096$。
• 为什么要这么做？(工程意义)：
  • 传统的 FC 层要求输入图像尺寸必须完全固定（比如必须是$224×224$）。
  • 如果把最后的 FC 层全改成 CONV 层，网络就可以接受任意更大尺寸的图像输入。例如输入$384×384$的图像时，一次前向传播就能输出一个$6×6$的类别得分矩阵（相当于对原图进行了 36 次不同位置的裁剪并分类），这被称为滑动窗口的高效实现。

池化层 (Pooling Layer) 59<36>#

• 作用：一种极其廉价的“下采样”方式，不需要学习参数，用于缩小特征图的空间尺寸，减少计算量，并加速感受野的增长。

  

• 独立操作：池化是对每个通道（Depth Slice）独立进行的，不会混合通道信息。
• 最大池化 (Max Pooling)：最常用的池化方式。例如使用$2×2$窗口，步长为 2。在每个$2×2$的非重叠区域内取出最大值。

  

  • 注意：由于取最大值是一种非线性操作，所以最大池化本身也引入了非线性（类似 ReLU 的作用）。但如果用取平均值的函数，就是线性操作了。
  • 池化层通常不使用填充（Padding）。
• 总结：
  • Input: $C \times H \times W$
  • Hyperparameters:
    • Kernel Size: $K$
    • Stride: $S$
    • Pooling function: max, avg
  • Output size: $C \times H' \times W'$ where:
    • $H'=\frac{H-K}{S}+1$
    • $W'=\frac{W-K}{S}+1$
  • No learnable parameters
  • Common setting: max, $K=2, S=2\implies$Gives 2x downsampling

平移等变性 (Translation Equivariance) 1:05<21>#

• 概念解释：如果你把原图中的一只猫向右平移了 10 个像素，那么 CNN 提取出的特征图中的“猫的特征”，也会向右平移相应的像素，内容不会变。
• 意义：这完美契合了人类的视觉直觉——图像中的内容不应该因为它在画面中的绝对位置而改变（我在画面左边看到一张凳子和在右边看到一张凳子，提取的特征应该是一样的）。CNN 的滑动窗口机制先天自带这种优秀的数学性质。

  

网络架构的设计经验法则 (Architecture Rules of Thumb)#

• 经典架构模式：INPUT -> [[CONV -> RELU]*N -> POOL?]*M -> [FC -> RELU]*K -> FC
• 黄金法则：为什么用多个小卷积代替一个大卷积？(VGG Principle)
  • 对比：堆叠 3 个$3×3$卷积层 vs. 使用 1 个$7×7$卷积层。
  • 感受野相同：两者的感受野大小是一样的（都是$7×7$）。
  • 非线性更强：3个小卷积层之间包含了 3 次 ReLU 激活，使得特征提取的非线性表达能力更强。
  • 参数量更少：假设通道数都是$C$，3 个$3×3$层的参数量是$3×(3×3×C×C)=27C^2$；而 1 个$7×7$层的参数量是$7×7×C×C=49C^2$。小卷积更省参数！