02 · 第 2 讲：深度学习基础

北京大学《多模态学习》（2026 秋）第 2 讲笔记，依据对应课程课件整理。

多模态模型离不开神经网络。这一讲从非线性、反向传播和优化讲到归一化，重点不只是记公式，也要知道这些工具解决了什么问题。

第 1 章：从线性回归到多层网络

单样本线性层：$\hat{\mathbf y}=W^\top\mathbf x+\mathbf b$；若输入 $d_{\rm in}$、输出 $d_{\rm out}$，则 $W\in\mathbb R^{d_{\rm in}\times d_{\rm out}}$。矩阵习惯也可写作 $XW+\mathbf 1b^\top$，使用公式时先说明数据按行还是按列。

均方误差可写 $\mathcal L(W,b)=\frac1{2N}\sum_{n=1}^N\|\hat y_n-y_n\|_2^2$。

把偏置并入设计矩阵 $\tilde X=[X,\mathbf1]$，若 $\tilde X^\top\tilde X$ 可逆，正规方程给出 $\tilde W^*=(\tilde X^\top\tilde X)^{-1}\tilde X^\top Y$；不可逆时用伪逆或正则化，不能直接求逆。

多层纯线性映射仍等于一个线性映射，所以需要激活函数：$h^{(\ell)}=\phi(W^{(\ell)}h^{(\ell-1)}+b^{(\ell)})$。

“通用近似”说明某些足够宽/深的网络能够逼近一类连续函数，不保证给定网络可训练、数据足够、泛化好，也不等于任意函数都能在有限资源下精确表示。

7–20 页的 Light Theory 动画：隐藏 Sigmoid 单元 $\sigma(wx+b)$ 当 $|w|$ 很大时形状接近阶跃，阶跃位置约在 $s=-b/w$；两个方向相反的阶跃相减可近似一个局部“矩形窗”，多个矩形窗按不同高度加权求和，像黎曼和一样逐段逼近目标曲线。

图里先改变 bias 移动阶跃，再改变输出权重控制台阶高度，所以“多神经元叠加能拼复杂函数”有直观来源。课件列出三个理论版本：足够宽的单隐藏层网络可在适当条件下逼近连续函数；另一类结果用与输入维度相关的有限宽度（图中写 $d+1$）配足够深度；残差网络还有更窄、足够深的近似结果。

这些是不同架构/激活/函数类前提下的存在性结果，不应把“单神经元 ResNet”随意套成任何有限网络都万能。

第 2 章：激活函数：图像、导数和易混点

为什么非零中心会影响优化？ 对一层 $z=\sum_i w_ix_i+b$，有 $\partial L/\partial w_i=(\partial L/\partial z)x_i$。若上层输出 $x_i$ 全为正，则同一神经元的各个 $w_i$ 梯度同号；优化轨迹可能“之”字形。注意梯度符号也取决于损失的反传项，不能说“仅由 $x_i$ 决定”。课件激活曲线可用“饱和区斜率接近零”解释梯度消失。

第 3 章：损失、反传、优化与训练曲线

分类常用 softmax $p_k=e^{z_k}/\sum_j e^{z_j}$ 和交叉熵 $L=-\log p_y$。若 $C$ 类初始化近似均匀，初始损失约 $\log C$。

链式法则把末端损失对参数的导数逐层传回；梯度下降 $\theta\leftarrow\theta-\eta\nabla_\theta L$，小批量 SGD 用一批样本的平均梯度，全批量 GD、单样本 SGD、小批量 SGD 不要混叫。批量平均与求和方向相同，但数值相差批量大小，固定学习率时更新幅度不一样。

把任务和损失对上号：回归输出连续值，常用 MSE；二分类可先算 logit $z$，再经 sigmoid 得 $p=\sigma(z)$，二元交叉熵 $L=-y\log p-(1-y)\log(1-p)$；多类互斥分类用 $C$ 个 logit、softmax 与多类交叉熵。Logit 是尚未归一化的分数，二分类中 $z=\log[p/(1-p)]$ 是对数几率。

多标签任务可对每类独立 sigmoid，“多类”和“多标签”不是一回事。参数是训练中更新的权重和偏置；学习率、批量大小、dropout 率等超参数则需要预先选择。计算图里的反向传播就是沿局部导数连乘；遇到分叉节点时，各条路径的贡献要相加。

优化器关系：普通 SGD 按当前梯度更新；带动量的 SGD 累积历史方向，减少狭长谷地中来回摆动；Adam 按一阶/二阶矩估计调节每个参数的步长。不同优化器不会消除数据与学习率选择的重要性。学习率调度可在训练后期下降；warmup 从较小学习率升起以缓和初期不稳定。课件曲线重在能诊断“发散、震荡、下降慢、过拟合”，不是背某条曲线的精确数值。

看曲线判问题：训练损失一开始不降，查数据/标签、初始化、学习率、梯度；损失变 NaN，先查学习率过大、数值溢出；训练好验证差，查过拟合，考虑增强、正则化、早停；训练和验证都差，查欠拟合/优化不足。训练一个极小数据集至近乎零损失是实现检查。学习率过大可震荡，过小下降慢；仅凭曲线不能唯一定位原因。

第 4 章：正则化与归一化：统计轴与均值

对矩阵权重，常见的 $L_2$ 正则更准确地写成 $\lambda\|W\|_F^2$，也就是所有元素平方和；它倾向缩小所有权重。$L_1$ 正则为 $\lambda\sum_{ij}|W_{ij}|$，更易产生稀疏权重。Dropout 训练时随机置零部分激活；倒置 Dropout 保留概率 $q=1-p$ 时把保留项除以 $q$，推理时直接使用全部单元。数据增强通过裁剪、翻转、颜色变化等改变训练样本；测试阶段按固定流程预处理。梯度裁剪限制过大梯度，不能从根本上“证明解决”梯度问题。

训练曲线与增强细节：随机裁剪在训练中改变视野，测试时通常固定缩放/中心裁剪；Mixup 把两张图和标签按同一系数线性混合，$\tilde x=\lambda x_i+(1-\lambda)x_j,\ \tilde y=\lambda y_i+(1-\lambda)y_j$；CutMix 用一张图的矩形区域替换另一张图的对应区域，并按保留面积调整软标签。

二者都不是把混合图硬标成一个类别。DropPath/随机深度随机跳过残差分支，适用于深网络；与逐元素 Dropout 不同。对视觉/语言/生成模型的归一化选择，主要看统计轴、批量大小和条件控制需求。

设 CNN 激活 $x\in\mathbb R^{N\times C\times H\times W}$：

• BatchNorm (BN)：每个通道 $c$，在 $N,H,W$ 上统计；训练时用当前批统计量，推理时常用移动统计量。$\hat x=(x-\mu_c)/\sqrt{\sigma_c^2+\epsilon}$，$y=\gamma_c\hat x+\beta_c$。
• LayerNorm (LN)：每个样本独立，在选定特征维度上统计；Transformer 中通常是每个 token 的 $d_{\rm model}$ 维。与批大小基本无关。
• InstanceNorm (IN)：每个样本、每个通道，在 $H,W$ 上统计。
• GroupNorm (GN)：每个样本，将通道分组，在组内通道及 $H,W$ 上统计。
• RMSNorm：不减均值，$y_i=\gamma_i x_i/\sqrt{d^{-1}\sum_jx_j^2+\epsilon}$。课件也提 AdaLN，核心是条件信号调节归一化后的仿射参数。

容易混淆的是：归一化后 $\hat x$ 才近似零均值、单位方差；再经过可学习的 $\gamma,\beta$ 得到的 $y$ 未必如此。BN 的统计不只沿 batch 维，在 CNN 中还包括空间维；LN 的具体统计轴则要看张量布局。