05 · 第 5 讲：线性回归、正则化与贝叶斯回归

北京大学《机器学习概论》（2026 秋）的课程笔记。

第五讲：回归任务要预测连续的数。拟合数据时，我们为什么常用平方误差？如果特征太多，又怎样让模型不被训练样本带偏？

第 1 章：从概率假设得到平方误差

设 $y=w^Tx+\epsilon$，噪声 $\epsilon\sim\mathcal N(0,\sigma^2)$。最大化条件似然等价于最小化 $\sum_n(y_n-w^Tx_n)^2$。

将截距并入特征向量的常数维，记设计矩阵为 $X$，最小二乘解满足 $X^TXw=X^Ty$；满秩时为 $(X^TX)^{-1}X^Ty$。

实践中宜用 QR/SVD 或线性方程求解，不直接求逆；当特征相关或维数太高，解可能不稳定。

第 2 章：判别式与生成式的两种视角

上面的 $p(y\mid x)$ 是判别式写法：给定输入，直接描述输出。也可以从联合高斯 $p(x,y)$ 出发，用条件高斯推得 $p(y\mid x)$；它的条件均值是 $x$ 的仿射函数。

在联合分布确实接近高斯时，这给线性回归另一个解释；但建模联合分布还需要解释输入 $x$ 的概率。若连噪声方差 $\sigma^2$ 也未知，可与 $w$ 一起做最大似然估计；此时方差估计与残差平方和有关。

第 3 章：岭回归：把不稳定解拉回来

岭回归最小化 $\|Xw-y\|_2^2+\lambda\|w\|_2^2$，解为 $(X^TX+\lambda I)^{-1}X^Ty$。从概率角度，它等价于给权重一个零均值高斯先验后做 MAP。

$\lambda$ 越大，权重越受约束，方差往往下降但偏差可能上升。通常先标准化特征，再用验证集选 $\lambda$；截距一般不惩罚。

第 4 章：Lasso：让部分参数恰好变成零

将惩罚换成 $\lambda\|w\|_1$ 得到 Lasso；其先验视角对应拉普拉斯分布。$L_1$ 在零点不可导，但这个“尖角”正是产生稀疏解的重要原因。

课件讨论坐标下降：固定其他坐标，逐个更新当前权重；在简化的正交设计情形，解可通过软阈值算子 $S(z,\lambda)=\mathrm{sign}(z)\max(|z|-\lambda,0)$ 理解。

Lasso 可做特征选择，但高度相关的特征可能使被选中的具体变量不稳定。分组稀疏则按预先指定的特征组一起选择。

一种求解思路是变量拆分与投影梯度：写 $w=w^+-w^-$，并要求 $w^+,w^-\ge0$。对任意拆分都有 $\|w\|_1\le\sum_j(w_j^++w_j^-)$；只有每个坐标不同时取正值时才取等。若目标函数带正的 $L_1$ 惩罚系数，最优解总能选成这种形式，再在非负约束域内求解。

坐标下降和投影法都是处理 $L_1$ 非光滑性的办法，选择取决于问题规模与结构。

第 5 章：贝叶斯线性回归

岭回归的 MAP 只留下一个最佳权重。贝叶斯回归保留 $p(w\mid D)$：高斯先验配合高斯噪声得到高斯后验。

新输入的预测分布是 $p(y_*\mid x_*,D)=\int p(y_*\mid x_*,w)p(w\mid D)dw$。其方差同时包含观测噪声与参数不确定性；训练数据稀少或新点远离已见区域时，后者更重要。

课件通过联合高斯和条件高斯公式推导这一结果。

第 6 章：广义线性模型：从回归连接分类

普通线性回归的均值为 $w^Tx$，但输出分布不一定要是高斯。广义线性模型把线性预测子与适合数据类型的分布通过连接函数结合：伯努利输出对应 Logistic 回归，计数可对应 Poisson 回归。

这也解释了上一讲的分类器与本讲的回归为何在数学形式上很相似。

第 7 章：从高斯似然到最小二乘的具体步骤

假定 $y_n\mid x_n,w\sim\mathcal N(w^Tx_n,\sigma^2)$ 且样本条件独立，则 $p(y\mid X,w,\sigma^2)=\prod_n(2\pi\sigma^2)^{-1/2}\exp[-(y_n-w^Tx_n)^2/(2\sigma^2)]$。

取负对数：$-\log p=\frac N2\log(2\pi\sigma^2)+\frac1{2\sigma^2}\|y-Xw\|_2^2$。

固定 $\sigma^2$ 后，第一项是常数，第二项的正比例系数不影响最优 $w$，所以得到最小二乘。

若同时估计方差，代入最优 $w$ 后 MLE 为残差平方和除以 $N$；它并不因为估计了 $D$ 个权重就自动变成无偏方差估计。

第 8 章：岭回归的 MAP 系数从哪里来

取先验 $w\sim\mathcal N(0,\tau^2I)$，负对数先验去常数后为 $\|w\|_2^2/(2\tau^2)$。

与负对数似然相加，再乘 $2\sigma^2$，得到 $\|y-Xw\|_2^2+(\sigma^2/\tau^2)\|w\|_2^2$，所以 $\lambda=\sigma^2/\tau^2$（在这一损失定义下）。

噪声越大，或者先验越相信权重接近零，惩罚就越强。若把平方误差前乘 $1/N$，$\lambda$ 的数值定义也会随之改变。

第 9 章：软阈值为何产生稀疏性

单坐标子问题可写为 $\min_u\frac a2(u-z)^2+\lambda|u|$，其中 $a>0$。

若 $u>0$，令导数 $a(u-z)+\lambda=0$，得 $u=z-\lambda/a$，但仅当结果为正才有效；若 $u<0$，得到 $u=z+\lambda/a$；中间区域最优解为 0。

因此 $u^*=\mathrm{sign}(z)\max(|z|-\lambda/a,0)$。Lasso 的零系数来自这个阈值机制，不是简单地把小数字四舍五入。

第 10 章：贝叶斯回归的后验和预测方差

令噪声精度 $\beta=1/\sigma^2$，先验 $w\sim\mathcal N(m_0,S_0)$。

配平方项可得 $S_N^{-1}=S_0^{-1}+\beta X^TX$，$m_N=S_N(S_0^{-1}m_0+\beta X^Ty)$。

新点的预测均值是 $x_*^Tm_N$，方差为 $\sigma^2+x_*^TS_Nx_*$。第二项是“权重还不确定”带来的额外方差；训练数据增多通常让后验更集中。MAP 只报告 $m_N$，完整预测还报告这个不确定性。

第 11 章：广义线性模型的共同公式

单参数指数族可写作 $p(y\mid\eta)=h(y)\exp[y\eta-A(\eta)]$；带已知离散度或方差尺度 $a(\phi)$ 时，更一般地写作 $p(y\mid\eta,\phi)=h(y,\phi)\exp\{[y\eta-A(\eta)]/a(\phi)\}$。

采用规范连接并令自然参数 $\eta=w^Tx$ 时，不带尺度的负对数似然去掉与 $w$ 无关的项为 $\sum_n[A(\eta_n)-y_n\eta_n]$。

由于 $A'(\eta)=\mathbb E[y\mid\eta]$，梯度是 $\sum_n(A'(\eta_n)-y_n)x_n$，即“预测均值减真实值”乘输入特征；有固定尺度 $a(\phi)$ 时还需除以该尺度。

伯努利模型的 $A(\eta)=\log(1+e^\eta)$，导出 Logistic 回归；高斯已知方差 $\sigma^2$ 可取 $\eta=\mu=w^Tx$、$a(\phi)=\sigma^2$，负对数似然便含 $(y-\mu)^2/(2\sigma^2)$；若硬套不带尺度的形式，其自然参数则是 $\mu/\sigma^2$。Poisson 模型的均值为 $e^\eta$，适合计数数据。

不同输出类型对应不同的均值函数与噪声假设。

第 12 章：正则化还可以限制一组参数

若特征按来源分组，只对每个权重单独施加 $L_1$ 惩罚，可能在同一组内留下零散变量。分组稀疏常使用 $\lambda\sum_g\|w_g\|_2$：组内用 $L_2$ 衡量强度，组间再求和，某一组可能整体缩为零。

它要求分组在训练前有合理定义。正则化不是“参数越小越好”的绝对原则；过大惩罚会使模型欠拟合，应在验证集上选强度。

这一讲的几种方法解决的是不同问题：平方误差来自高斯噪声假设；岭回归使权重更稳定；Lasso 可以把部分权重压到零；贝叶斯回归还能回答“这次预测有多不确定”。

补充：同一个线性形式，不同的建模假设

线性回归、Logistic 回归与 Poisson 回归都可写成特征的线性组合，但它们分别对应连续值、二元标签和计数。区别不在“有没有 $w^Tx$”，而在输出分布与连接函数。写推导时先说明噪声或条件分布，平方损失、交叉熵和对数链接就不再是需要硬背的公式。