04 · 第 4 讲：目标检测与图像分割

北京大学《多模态学习》（2026 秋）第 4 讲笔记，依据对应课程课件整理。

识别图中有什么还不够；检测要找位置，分割要给每个像素定类别。本讲串起主要方法与损失。

第 1 章：分类、检测与分割的区别

分类输出整图类别；检测输出每个物体的类别和边界框；语义分割给每个像素类别，不区分同类实例；实例分割还要区分两个同类物体。目标检测中一个框可用 $(x_1,y_1,x_2,y_2)$ 或 $(c_x,c_y,w,h)$ 表示，计算时先统一格式。IoU $=|A\cap B|/|A\cup B|$。

Non-Maximum Suppression (NMS)：按置信度排序，保留高分框，删除与其 IoU 超阈值的同类重叠框，再迭代；阈值越低通常抑制越强。AP 是一类在不同召回水平上的精度汇总，mAP 对类/阈值求平均；题目需说明具体评测定义。FPS 是速度。

数据集认名字、辨任务：ImageNet/ILSVRC 经典大规模图像分类，课件提 top-5 评价；Pascal VOC 常作为早期检测/分割基准；COCO 有复杂日常场景中的多目标检测与实例分割，并有图像描述等标注。只看数据集名不能决定具体评分规则，需看它被用于哪一项任务。

第 2 章：R-CNN 系列与 ROI

1. R-CNN：Selective Search 提约两千候选框；每个框裁剪/缩放，分别跑 CNN，分类与框回归独立训练，计算重复且慢。
2. Fast R-CNN：整图只跑一次 backbone，在特征图上用 RoI Pooling 把不同大小候选区域变固定形状，再联合分类与回归；候选框仍由外部 Selective Search 来，完整流水线没有端到端学习候选框。
3. Faster R-CNN：在共享特征图上加 Region Proposal Network (RPN) 预测前景与框偏移，ROI head 做最终分类和精修；可按 RPN 分类、RPN 回归、head 分类、head 回归四项损失解释。
4. RoI Pooling vs RoI Align：前者量化坐标和分箱时会引入错位；后者保留浮点坐标，并以双线性插值采样，因此更适合 Mask R-CNN 这类像素级任务。它减少了量化误差，但并不能消除所有误差。

Focal Loss $-\alpha_t(1-p_t)^\gamma\log p_t$；当 $p_t$ 大（易样本）时降低其权重，减轻大量简单背景的影响。IoU loss 常写 $1-\mathrm{IoU}$，无交集时对分离方向没有有用的定位梯度，因此引入 GIoU（最小外接框）、DIoU（中心距离）、CIoU（进一步考虑长宽比）。不能说 IoU “永远不可导”或“从来不能作损失”。

第 3 章：YOLO 与检测指标

YOLO 是单阶段检测：一次网络前向直接输出框、objectness 和类别分数，省去单独提候选框的两阶段过程。早期 YOLOv1 的 $S\times S$ 网格中，每格输出 $B$ 个框的 5 个量及 $C$ 个条件类概率，所以总维度 $S\times S\times(5B+C)$；不能直接用它描述所有 YOLO 版本。

该版本由目标中心落入哪格决定负责格，密集小目标有局限。后续版本引入 anchors、多尺度等变化。课件图中的速度—精度权衡应按具体版本和数据集描述。

YOLOv1 训练时的 confidence 与真值 IoU 有关；推理时没有真值框，因此不能再用“预测框和真值框的 IoU”计算类别分数。推理阶段使用的是模型预测的 objectness/confidence 和条件类别概率。

YOLO 后续图示：YOLOv2 引入 Darknet-19、批归一化、anchor、pass-through 和多尺度训练等；课件强调每框类别预测与 v1 每格共享类别输出的区别。

YOLO9000 用层级类别结构（WordTree）组织更多类别；YOLOv3 用 Darknet-53，并在多个尺度预测，有利于处理不同尺寸的目标；YOLOv4 展示了 Mosaic 增强、DropBlock 等“bag of freebies”训练技巧。各版本的输出形式已发生变化，YOLOv1 的 $7\times7\times30$ 公式不能直接套到后续版本。

Selective Search 与 AP 曲线：Selective Search 先把图切成小区域，不断按颜色/纹理/大小等相似性合并邻接区域，从合并过程取候选框；它不是端到端可学习的 RPN。

Precision $=TP/(TP+FP)$，Recall $=TP/(TP+FN)$；按置信度扫描阈值得到 P–R 曲线，一类 AP 汇总曲线下的精度，mAP 再对类别求平均（有的基准还对多个 IoU 阈值平均）。判断 TP 需要预测类别正确且与尚未匹配的真值框 IoU 达阈值；同一真值通常不能让多框都算 TP。分数与 FPS 是不同维度，不可只看速度断言检测质量。

第 4 章：FCN、转置卷积与 U-Net

逐 patch 分类重复计算；Fully Convolutional Network (FCN) 在整图上产生空间特征并上采样为像素预测。Max unpooling 依靠池化时记录的最大值位置，把值放回对应位置，其余补零；转置卷积通过可学习核上采样，基本尺寸 $H_o=(H_i-1)S-2P+D(K-1)+\mathrm{output\_padding}+1$。

U-Net 是编码器—解码器结构，同尺度特征从编码器接到解码器并通常按通道拼接，补回细节；这和 ResNet 的逐元素相加残差不同。U-Net 结构图包含左侧下采样、底部瓶颈、右侧上采样及横向连接。