01 · 第 1 讲：课程简介与机器学习概述

北京大学《机器学习概论》（2026 秋）的课程笔记。

第一讲：先想一个问题，机器在训练集上表现很好，就算“学会”了吗？

后面反复会遇到训练误差、测试误差和模型容量，所以先把它们的关系理清。

第 1 章：从数据到预测

传统程序由人写规则；机器学习先给定模型族，再用样本确定参数。监督学习的样本写作 $(x_n,y_n)$：输入 $x_n$ 是特征，$y_n$ 是目标；训练得到 $f_\theta(x)$，希望它对尚未见过的样本也有效。

分类预测离散标签，回归预测连续值。无监督学习没有标签，常见任务包括聚类、密度估计和表示学习。区分学习范式时，先看手上能观察到什么信息、最终又要预测什么。

一个完整流程是：收集并清理数据 → 划分训练、验证、测试集 → 选模型与损失 → 优化参数 → 用验证集选超参数 → 最后用测试集估计泛化性能。测试集不能参与选模型，否则它已间接变成训练信息。

第 2 章：用线性回归看“学习”

最简单的模型是 $\hat y=w^Tx+b$。若用平方误差，目标是 $L(w,b)=\frac1N\sum_n(w^Tx_n+b-y_n)^2$。这里的学习就是找使训练误差小的参数。

把偏置并入 $X$ 与 $w$ 后，矩阵形式是 $L(w)=\frac1N\|Xw-y\|_2^2$，梯度为 $\frac2N X^T(Xw-y)$；若 $X^TX$ 可逆，驻点满足正规方程 $X^TXw=X^Ty$。省略共同的 $1/N$ 不影响最优解，但会改变梯度的数值大小。

从这个角度看，“训练神经网络”和“解线性模型”在目标函数与参数优化上有共同的骨架。

训练误差小不等于真正学会。足够复杂的函数甚至可以穿过每一个训练点，却在新点上偏离很远。泛化才是机器学习的目标。模型太简单会欠拟合，容量太大且约束不足可能过拟合。

岭回归在误差之外加入 $\lambda\|w\|_2^2$，惩罚过大的权重；$\lambda$ 是训练前选择的超参数，通常通过验证集确定。

第 3 章：验证与交叉验证

训练集用来拟合参数，验证集用来比较超参数或模型，测试集只在最终评估时使用。数据少时，可做 $K$ 折交叉验证：轮流拿一折验证、其余训练，平均验证结果后再选方案。

交叉验证也不能消除数据分布变化；部署环境与训练样本不同仍可能失效。

第 4 章：需要的数学语言

标量函数 $f:\mathbb R^d\to\mathbb R$ 的梯度 $\nabla f$ 告诉我们各坐标增大时函数如何变化，负梯度给出局部下降方向。

Hessian $H_{ij}=\partial^2f/(\partial x_i\partial x_j)$ 描述局部曲率；矩阵与向量求导时先核对维度。

机器学习中的数值优化通常面对有限样本给出的经验目标，因此除了求出训练目标的低值，还要考虑新数据上的表现。

第 5 章：从经验风险到泛化风险

我们真正关心未知分布 $P(x,y)$ 下的期望风险 $R(\theta)=\mathbb E_{(x,y)\sim P}[\ell(f_\theta(x),y)]$。

分布不可直接访问，只能用训练集的经验风险 $\hat R_D(\theta)=\frac1N\sum_{n=1}^N\ell(f_\theta(x_n),y_n)$ 代替。训练降低的是后者；测试集用来估计前者。

两者的差距解释了训练准确率为什么不足以证明模型有效。

低容量模型难以拟合训练规律，容易有较大偏差；容量过高时，模型可能对抽到哪些样本特别敏感，容易有较大方差。正则化通过限制参数、早停通过限制训练过程、交叉验证通过更充分利用小数据选择超参数，各自作用于不同环节。

第 6 章：正规方程与梯度下降的完整联系

以无截距平方损失为例，$L(w)=(Xw-y)^T(Xw-y)=w^TX^TXw-2y^TXw+y^Ty$。因此 $\nabla_wL=2X^TXw-2X^Ty$；令梯度为零即 $X^TXw=X^Ty$。

加入岭惩罚 $\lambda\|w\|_2^2$ 后，梯度多出 $2\lambda w$，得到 $(X^TX+\lambda I)w=X^Ty$。当矩阵不可逆时，不能直接套逆矩阵公式；可用伪逆或正则化。

迭代法则从初值 $w_0$ 出发，重复 $w_{t+1}=w_t-\eta\nabla L(w_t)$。学习率 $\eta$ 决定步长。闭式解和梯度下降是在求同一目标的两种途径，后续复杂模型大多依靠迭代法。

第 7 章：矩阵微分如何自检

若 $w,x\in\mathbb R^d$，$w^Tx$ 是标量，$\nabla_w(w^Tx)=x$ 必须是 $d$ 维向量。

对 $f(w)=w^TAw$，一般有 $\nabla f=(A+A^T)w$，当 $A$ 对称时才简化为 $2Aw$。先核对维度和矩阵是否对称，能避开不少推导错误。

平方损失的 Hessian 为 $2X^TX$，半正定，因此目标是凸的。

这一讲可以归结为四件事：模型决定能表达什么，损失决定怎样衡量错误，优化决定怎样找参数，验证与测试负责检查能否泛化。下一讲会为这些步骤补上概率解释。

补充：先分清任务、参数与评估

复习时最容易把“模型参数”和“超参数”混在一起。权重、偏置等由训练数据更新；学习率、正则化强度、树深度等由训练流程选择，不能用测试集反复调。分类、回归、聚类看起来都在“拟合数据”，但标签形式和损失函数不同，首先要把输入、输出和评价指标说清楚。