04 · 第 4 讲：Logistic 回归与判别模型

北京大学《机器学习概论》（2026 秋）的课程笔记。

第四讲：上一讲先估计每类数据的分布，这次直接估计“给定这个样本，它属于某类的概率”。

为什么一个线性模型可以输出概率？它的损失又为什么恰好是交叉熵？

第 1 章：为什么要从感知器走向概率

感知器依据 $w^Tx+b$ 的符号给出类别，但没有直接提供可信的类别概率。

二分类 Logistic 回归把线性得分 $a=w^Tx+b$ 送入 sigmoid：$p(y=1\mid x)=\sigma(a)=1/(1+e^{-a})$。

于是对数几率 $\log[p/(1-p)]=a$，仍保留线性边界，同时可解释输出概率。

令 $y\in\{0,1\}$。

伯努利似然写成 $p(y\mid x)=\hat p^y(1-\hat p)^{1-y}$，负对数似然即二元交叉熵：$L=-\sum_n[y_n\log\hat p_n+(1-y_n)\log(1-\hat p_n)]$。

它对单样本权重的梯度是 $(\hat p-y)x$：预测偏高就沿 $x$ 反方向修正。优化时实际计算常用数值稳定的 log-sum-exp 形式。

第 2 章：优化：一阶与二阶

批量梯度下降按 $w\leftarrow w-\eta\nabla L$ 更新；随机梯度下降用单个样本，mini-batch 在效率与噪声之间折中。学习率太大可能震荡，太小则收敛缓慢。

凸性保证二分类 Logistic 回归的目标不会有普通意义的坏局部极小值，但若数据完全线性可分且没有正则化，权重范数可能不断增长，有限的极小点未必存在。

牛顿法利用 Hessian：$w\leftarrow w-H^{-1}g$。

Logistic 回归的 Hessian 可写成 $X^TRX$，其中 $R$ 的对角元为 $\hat p_n(1-\hat p_n)$，因此半正定。

它利用曲率信息，迭代次数可能更少；但在高维时，形成和求解 Hessian 的代价很高。它与迭代加权最小二乘也有直接联系。

第 3 章：多分类：Softmax 回归

类别 $c$ 的得分为 $a_c=w_c^Tx$，概率为 $p(y=c\mid x)=e^{a_c}/\sum_je^{a_j}$。

one-hot 标签的交叉熵是 $-\sum_c y_c\log p_c$，其对每类得分的梯度为 $p_c-y_c$，与二分类的形式一致。所有得分同时加上同一常数，概率不变；实际实现先减去最大得分可防止指数溢出。

第 4 章：与生成式分类的联系

共享协方差的高斯判别分析也会导出对 $x$ 线性的对数后验几率，但它通过拟合 $p(x\mid y)$ 得到；Logistic 回归只优化条件概率 $p(y\mid x)$。前者的分布假设更强，后者通常更聚焦分类目标。

第 5 章：二元交叉熵的梯度一步步推

下面推导单个样本的梯度。记 $a=w^Tx+b$、$p=\sigma(a)$，损失为 $\ell=-y\log p-(1-y)\log(1-p)$。

1. 先对概率求导：$\partial\ell/\partial p=-y/p+(1-y)/(1-p)$。
2. sigmoid 的导数是 $\partial p/\partial a=p(1-p)$。
3. 两式相乘，约掉分母，得到 $\partial\ell/\partial a=p-y$。
4. 最后 $\partial a/\partial w=x$，所以 $\nabla_w\ell=(p-y)x$；偏置的梯度是 $p-y$。

也就是说，更新方向由“预测概率减真实标签”决定。后面学神经网络时，输出层还会出现同样的形式。

二阶导数 $\nabla_w^2\ell=p(1-p)xx^T$ 半正定，求和后得到 $X^TRX$。

牛顿更新解线性系统 $H\Delta=g$，再令 $w\leftarrow w-\Delta$；实际不必显式求 $H^{-1}$。

若添加 $\lambda\|w\|_2^2/2$，梯度多 $\lambda w$、Hessian 多 $\lambda I$，也能缓解近奇异的问题。

第 6 章：Softmax 梯度与可辨识性

设 $p_c=e^{a_c}/\sum_je^{a_j}$，$\ell=-\sum_cy_c\log p_c$ 且 $\sum_cy_c=1$。

展开为 $\ell=-\sum_cy_ca_c+\log\sum_je^{a_j}$。对 $a_c$ 求导立即得 $p_c-y_c$，对权重向量则为 $(p_c-y_c)x$。这与二分类形式统一。

所有类别的权重同时加同一个向量，会使每个类别分数都增加同一个 $v^Tx$ 而概率不变，因此参数表示存在冗余；可固定一个类别为参考，或接受等价参数化。

第 7 章：从感知器更新到概率优化

感知器在错分样本上按类别修正权重，主要关心决策边界的符号；Logistic 回归对所有样本用概率误差 $p-y$ 更新。前者在线性可分数据上有经典收敛结论，后者的似然目标可与正则化、概率校准和风险决策衔接。

多类问题用 softmax 时，最大概率是默认的 0–1 损失决策；类别代价不同则应另设阈值或最小化期望损失。

第 8 章：批量、随机和 mini-batch 更新的区别

若总损失是样本平均 $L=\frac1N\sum_n\ell_n$，批量梯度每步计算全部 $N$ 个样本；随机梯度用一个随机样本的 $\nabla\ell_n$，在均匀抽样下它是全梯度的无偏估计；mini-batch 用 $B$ 个样本的平均，通常能并行利用硬件并降低梯度方差。

每一步便宜不代表到达同一精度所需总计算更少；学习率、批大小和数据打乱共同影响训练。

第 9 章：梯度下降为什么沿负梯度走

在当前点 $w$ 附近做一阶近似：$L(w+\Delta)\approx L(w)+\nabla L(w)^T\Delta$。

如果限定 $\|\Delta\|_2\le\epsilon$，让内积最小的方向是 $\Delta=-\epsilon\nabla L/\|\nabla L\|_2$。这只说明局部最陡方向；步长过大可能越过低谷。

牛顿法进一步利用二阶近似 $L(w+\Delta)\approx L(w)+g^T\Delta+\frac12\Delta^TH\Delta$，令其导数为零得到 $H\Delta=-g$。

当 Hessian 不是正定或数值不稳时需要阻尼、线搜索等措施。

线性函数给出分数，sigmoid 或 softmax 将分数转换成概率，再由负对数似然衡量预测与标签之间的差异。

补充：正则化的概率解释

若给权重加入零均值高斯先验，最大后验估计会在负对数似然后多出 $L_2$ 惩罚；因此正则化不是另一个和概率无关的技巧。多分类 softmax 也要记住其不变性：所有 logit 同时加同一常数，概率不变，实际实现中常减去最大 logit 来避免指数溢出。