02 · 第 2 讲：统计推断方法

北京大学《机器学习概论》（2026 秋）的课程笔记。

第二讲：已知抛硬币的结果，怎样估计它正面朝上的概率？如果只抛了几次，估计值又该信多少？

这两个问题会把我们带到最大似然、先验和后验分布。

第 1 章：概率是模型的语言

条件概率 $p(A\mid B)=p(A,B)/p(B)$；独立意味着 $p(A,B)=p(A)p(B)$，不能仅凭两个变量不相关就断言独立，更不能把相关当作因果。

贝叶斯公式 $p(\theta\mid D)=p(D\mid\theta)p(\theta)/p(D)$ 把观察前的先验和数据提供的似然合成后验。

随机变量的期望是平均位置，方差描述波动，协方差描述线性共同变化。常见分布：伯努利用于二值结果，类别分布用于多类结果，高斯分布用于连续量。多元高斯由均值向量与协方差矩阵控制；协方差非对角项刻画维度间关联。

条件高斯和边缘高斯是后面高斯判别、贝叶斯回归的基础。

第 2 章：信息量与分布差异

熵 $H(p)=-\sum_xp(x)\log p(x)$ 衡量不确定性；交叉熵 $H(p,q)=-\sum_xp(x)\log q(x)$ 衡量用模型 $q$ 编码真实分布 $p$ 的代价。

KL 散度 $D_{KL}(p\|q)=H(p,q)-H(p)\ge0$，且一般不对称。训练分类器最小化交叉熵时，真实标签分布固定，因此等价于缩小相应 KL 散度。

正向与反向 KL 对低概率区域的态度不同，不能随意交换顺序。

第 3 章：三种参数推断

假设数据独立同分布，似然为 $p(D\mid\theta)=\prod_np(x_n\mid\theta)$。

最大似然估计（MLE）选择 $\hat\theta=\arg\max_\theta\sum_n\log p(x_n\mid\theta)$。

例如硬币抛 $N$ 次有 $N_1$ 次正面，伯努利参数的 MLE 是 $N_1/N$。若某类未出现，估计概率可能为零；这正是小样本下的风险。

最大后验估计（MAP）在对数似然上加 $\log p(\theta)$。

若正面概率的先验是 $\mathrm{Beta}(\alpha,\beta)$，后验为 $\mathrm{Beta}(N_1+\alpha,N_0+\beta)$；内点的 MAP 是 $(N_1+\alpha-1)/(N+\alpha+\beta-2)$。

先验起到平滑或正则化作用；均匀先验时 MAP 可退化为 MLE。

贝叶斯方法保留整个后验，不急着压缩成单一参数。

预测新一次正面概率为 $\int\theta p(\theta\mid D)d\theta=(N_1+\alpha)/(N+\alpha+\beta)$，它一般不同于 MAP。

这个积分反映参数不确定性，在样本少时尤其有价值。

第 4 章：共轭先验为什么方便

先验和后验属于同一家族时称共轭：Beta–Bernoulli、Dirichlet–类别分布、均值未知而方差已知的 Gaussian–Gaussian 都是课件实例。

Dirichlet 先验 $\alpha_k$ 遇到类别计数 $N_k$ 后变成 $\alpha_k+N_k$，预测概率为 $(N_k+\alpha_k)/(N+\sum_j\alpha_j)$。

把各 $\alpha_k$ 设为 1 对应常见的加一平滑。高斯均值的后验则是按“精度”（方差倒数）对先验均值和样本均值加权；数据越多，样本所占权重越大。

第 5 章：常见最大似然估计的推导

伯努利数据中有 $N_1$ 个 1、$N_0$ 个 0，则 $\ell(\theta)=N_1\log\theta+N_0\log(1-\theta)$。

求导 $\ell'(\theta)=N_1/\theta-N_0/(1-\theta)$，设为零得到 $\hat\theta=N_1/(N_0+N_1)$。

多类数据加入 $\sum_k\theta_k=1$ 的约束，使用拉格朗日乘子同理得到 $\hat\theta_k=N_k/N$。

若 $x_n\sim\mathcal N(\mu,\sigma^2)$，负对数似然去掉常数后是 $\frac N2\log\sigma^2+\frac1{2\sigma^2}\sum_n(x_n-\mu)^2$。

对 $\mu$ 求导得到 $\hat\mu=\bar x$；再对 $\sigma^2$ 求导得到 MLE 方差 $\hat\sigma^2=\frac1N\sum_n(x_n-\bar x)^2$。

此处分母为 $N$；无偏样本方差使用 $N-1$，目标不同。

第 6 章：Beta–Bernoulli 为什么共轭

Beta 先验密度正比于 $\theta^{\alpha-1}(1-\theta)^{\beta-1}$，乘上似然 $\theta^{N_1}(1-\theta)^{N_0}$，得到后验 $\mathrm{Beta}(N_1+\alpha,N_0+\beta)$。

其均值就是下一次为 1 的预测概率。例：均匀先验 $\mathrm{Beta}(1,1)$、观察 3 正 1 反，后验为 $\mathrm{Beta}(4,2)$，预测正面概率 $4/6$，而 MLE 是 $3/4$。

MAP 的后验众数仅当两个后验形状参数都大于 1 时可用常见内点公式。

第 7 章：条件高斯为后续课程做什么准备

设 $[x_1^T,x_2^T]^T$ 联合高斯，均值分块为 $\mu_1,\mu_2$，协方差分块为 $\Sigma_{ij}$。

给定 $x_2$ 后，$x_1$ 的条件均值为 $\mu_1+\Sigma_{12}\Sigma_{22}^{-1}(x_2-\mu_2)$，条件协方差为 $\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}$。

观察相关变量会修正预测并缩小不确定性；高斯判别与贝叶斯回归都会再次用到。

第 8 章：熵、交叉熵、KL 的代数联系

对同一随机变量上的 $p,q$，有 $D_{KL}(p\|q)=\sum_xp(x)\log[p(x)/q(x)]=-H(p)+H(p,q)$。

因为 $p$ 是固定目标，最小化交叉熵等价于最小化该方向的 KL，但交叉熵本身不是对称距离。

联合熵满足 $H(X,Y)=H(X)+H(Y\mid X)$；互信息 $I(X;Y)=H(X)-H(X\mid Y)$ 衡量知道 $Y$ 后，$X$ 的不确定性减少多少。

条件熵可以大于零，即使两个变量高度相关；相关系数只刻画线性关系，互信息能捕捉更一般的统计依赖。

第 9 章：Gaussian–Gaussian 更新的权重

设观测 $x_n\sim\mathcal N(\mu,\sigma^2)$，$\sigma^2$ 已知；先验 $\mu\sim\mathcal N(\mu_0,\tau_0^2)$。

后验仍是高斯，其精度 $1/\tau_N^2=1/\tau_0^2+N/\sigma^2$，均值 $\mu_N=\tau_N^2(\mu_0/\tau_0^2+N\bar x/\sigma^2)$。

它是先验均值和样本均值按精度加权的平均。下一次观测的预测方差为 $\sigma^2+\tau_N^2$：第一项是数据噪声，第二项是不知道真实均值所付出的不确定性。

把三种做法放在一起看：MLE 只找最能解释已有数据的参数；MAP 还考虑参数的先验倾向；贝叶斯预测则不押注单一参数，而是按整个后验分布求平均。

补充：从分布到估计的顺序

总复习时建议固定顺序：先写数据在参数给定时的似然 $p(D\mid\theta)$，再写先验 $p(\theta)$，最后用 Bayes 公式得到后验。MLE 最大化似然，MAP 最大化后验，后验预测则需要对参数积分。这样可以避免把 $p(\theta\mid D)$、$p(D\mid\theta)$ 和证据 $p(D)$ 混成同一个量。