03 · 第 3 讲：计算机视觉基础与分类网络

北京大学《多模态学习》（2026 秋）第 3 讲笔记，依据对应课程课件整理。

一张图如何从像素走向类别？本讲从卷积计算出发，沿经典分类网络的发展理解视觉表示。

第 1 章：卷积与池化的计算

图像张量 $C_{\rm in}\times H\times W$，$C_{\rm out}$ 个大小 $K_h\times K_w$ 的滤波器；每个滤波器跨越全部输入通道，不同空间位置共享同一组参数。输出高宽：

6–12 页的连续动画按“全连接 → 局部连接 → 卷积”读：全连接让一个输出看到整张图，输入图一大就会有海量参数；局部连接让输出只看附近 $K\times K$，利用图像结构，但不同位置仍有不同参数；卷积进一步让同一滤波器在各位置共享参数。

比如单通道输入、单个 $10\times10$ 局部核，若有约 4 万个输出位置，不共享时约需 $4{,}000{,}000$ 个核权重，共享时只需 100 个核权重（这里不计 bias）。权重共享隐含“某种局部图案在不同位置可由相同检测器识别”的假设，带来平移等变性；池化/全局汇聚再提高一定平移不变性。等变指输入平移时特征也相应平移，不变指最终输出近似不变，两者不要混同。

$$H_o=\left\lfloor\frac{H+2P_h-D_h(K_h-1)-1}{S_h}+1\right\rfloor,\quad W_o=\left\lfloor\frac{W+2P_w-D_w(K_w-1)-1}{S_w}+1\right\rfloor.$$

一般非空洞卷积 $D=1$，即 $\lfloor(H+2P-K)/S\rfloor+1$。若课件/题目指定必须整除，按其假设；通常库在无法整除时向下取整。每层可训练参数（含 bias）为 $C_{\rm out}(C_{\rm in}K_hK_w+1)$。

乘加次数约 $H_oW_oC_{\rm out}C_{\rm in}K_hK_w$；若把乘和加各计一次 FLOP，数值约乘 2，先声明口径。激活显存仅输出、FP32、单样本时是 $4C_{\rm out}H_oW_o$ 字节，真实训练显存还包括输入、梯度、优化器状态等。

池化每个通道独立，无可学习核，常见最大/平均池化。池化降低空间分辨率、减少后续计算、增加后续单元感受野，但精细位置会丢失。最大池化反向传播只把梯度传向该窗口获胜位置；平均池化按平均分配。感受野：堆两个 stride 1 的 $3\times3$ 卷积可达 $5\times5$，同通道宽度参数约 $18C^2$，少于单个 $5\times5$ 的 $25C^2$，且多一次非线性。

第 2 章：网络谱系：每个模型回答什么问题

图示判读：卷积的局部连接与权重共享使参数不随输入位置数量线性增大；GAP 把每个通道的 $H\times W$ 值平均为一个数；ResNet 的旁路是恒等/投影相加；Inception 各分支的输出在通道维拼接。大核实验受架构、训练设置影响，不单由核尺寸解释结果。

第 3 章：轻量、大核与动态卷积

$1\times1$ 卷积在同一像素位置混合通道，可升/降通道数，但若不配合空间卷积，单独不能读取邻域空间。Padding 保持边界信息、控制输出尺寸；stride 负责步进与下采样；理论感受野是输出点可能依赖的输入范围，实际有效感受野的贡献通常不均匀。网络早期的高分辨率特征图会带来较多计算，末端大的 FC 层可能有很多参数：参数量、FLOPs、运行延迟、激活内存是不同指标。

Squeeze-and-Excitation（约 100 页）：先对每个通道做全局池化得到通道摘要，再经小网络产生通道权重并乘回特征图，学习“哪些通道更重要”；它主要是通道重标定，不是空间位置注意力。

轻量网络：SqueezeNet 的 fire 模块先用 $1\times1$ squeeze 降通道，再并联 $1\times1$/$3\times3$ expand；MobileNet 用深度可分离卷积；ShuffleNet 用分组卷积省计算、channel shuffle 让组间交换信息；EfficientNet 以系统性尺度扩展平衡分辨率、深度、宽度。

模型小不必然在任意硬件上更快，需看访存与算子实现。

RepLKNet/动态核图：大核可扩大感受野，课件强调大 depthwise 核、shortcut、训练时的小核重参数化分支；推理时可把可合并的线性卷积分支折叠为一个核。动态卷积让输入内容参与决定特定位置/样本的卷积权重；图中的性能提升不能脱离参数预算和训练设置解释。神经架构搜索（约 165 页）是自动搜索结构/操作组合的思路，目标仍需在性能和成本间取舍。