10 · 第 10 讲:RLHF:从人类偏好到推理模型

← 返回课程目录
本文目录

本文最后更新于 2026年11月5日 晚上

北京大学《生成模型基础》(2025 秋)第十讲笔记,依据课程的 RLHF.pdf 整理。

前面几章一直在问:怎样让模型学会数据的分布?这一章的问题稍有不同:模型已经能写出流畅的文字,怎样让它更愿意按我们的要求回答?

第 1 章:会续写,不一定会帮忙

预训练语言模型学习的是“给定前文,下一个 token 是什么”。如果输入一道题,它可能答题,也可能继续模仿题目的格式。两种输出在预训练目标下都说得通,但用户通常只想要答案。

课件把解决过程分成几步:先用指令微调教模型理解任务形式,再用偏好反馈区分不同回答的质量。后面还会看到 DPO:它利用偏好数据,却绕开了显式训练奖励模型再跑强化学习的流程。

第 2 章:监督指令微调

准备很多“指令 xx、示范回答 yy”的样本,仍然用熟悉的下一个 token 预测损失训练:

LSFT=−E(x,y)∼D∑t=1∣y∣log⁡πθ(yt∣x,y<t).L_{\mathrm{SFT}}=-\mathbb E_{(x,y)\sim D}\sum_{t=1}^{|y|}\log\pi_\theta(y_t\mid x,y_{<t}).

注意损失通常只算回答部分。假如指令是“用一句话解释 KL 散度”,示范回答就告诉模型什么叫“一句话”、什么内容算切题。SFT 很像给一位已经读过大量书的同学看答题样例:它能教格式和基本习惯,却没法列出每个问题的唯一好答案。

第 3 章:让人比较两个回答

开放式回答很难给一个绝对分数。“这段解释值 8.3 分”不如“在同一个问题下,A 比 B 清楚”容易判断。因此收集三元组 (x,yw,yl)(x,y_w,y_l):同一提示 xx 下,ywy_w 是更受偏好的回答,yly_l 是较差的回答。

奖励模型 rϕ(x,y)r_\phi(x,y) 给回答一个实数分数。常用的 Bradley–Terry 假设把偏好概率写为

Pϕ(yw≻yl∣x)=σ(rϕ(x,yw)−rϕ(x,yl)),P_\phi(y_w\succ y_l\mid x)=\sigma\bigl(r_\phi(x,y_w)-r_\phi(x,y_l)\bigr),

其中 σ(z)=1/(1+e−z)\sigma(z)=1/(1+e^{-z})。于是最小化 −log⁡Pϕ-\log P_\phi,就会拉大胜出与落选回答的分数差。这里只关心差值:给所有回答都加上同一个常数,不影响比较结果。

人类偏好也不是完美真值。标注者可能更喜欢长答案、肯定语气或漂亮排版,却不一定逐条核对事实。奖励模型学的是这些比较的规律,不是一个能证明答案正确的裁判。

第 4 章:用奖励更新语言模型

令当前模型 πθ(y∣x)\pi_\theta(y\mid x) 生成回答。暂时把奖励 R(x,y)R(x,y) 看作不依赖 θ\theta 的函数,想最大化

J(θ)=Ex∼D,y∼πθ(⋅∣x)R(x,y).J(\theta)=\mathbb E_{x\sim D,y\sim\pi_\theta(\cdot\mid x)}R(x,y).

回答是离散文本,没法直接对采样结果求导。但概率可以求导。利用 ∇θπθ=πθ∇θlog⁡πθ\nabla_\theta\pi_\theta=\pi_\theta\nabla_\theta\log\pi_\theta,得到

∇θJ=Ex,y[R(x,y)∇θlog⁡πθ(y∣x)].\nabla_\theta J=\mathbb E_{x,y}\left[R(x,y)\nabla_\theta\log\pi_\theta(y\mid x)\right].

这就是策略梯度背后的关键一步:高奖励回答的对数概率往上推,低奖励回答相对往下压。用有限样本估计时方差可能很大,因此常引入不随当前回答变化的基线或优势函数。PPO 是实践中常见的稳定优化方法;它的裁剪目标、价值估计等细节,不等同于上面这一行简单公式。

第 5 章:为什么要有参考模型和 KL 约束

若只追奖励模型的高分,语言模型可能找到评分器的漏洞,写出看似讨喜、实则空洞或错误的回答。这叫奖励作弊。通常从 SFT 模型复制一份固定的参考策略 πref\pi_{\rm ref},优化时加上偏离惩罚:

max⁡πEx∼D[Ey∼π(⋅∣x)r(x,y)−βDKL(π(⋅∣x)∥πref(⋅∣x))].\max_\pi\mathbb E_{x\sim D}\left[\mathbb E_{y\sim\pi(\cdot\mid x)}r(x,y)-\beta D_{\rm KL}\bigl(\pi(\cdot\mid x)\Vert\pi_{\rm ref}(\cdot\mid x)\bigr)\right].

KL 项衡量新策略相对参考策略的变化。β\beta 越大,偏离成本越高。它能抑制策略走得太远,但不能保证奖励模型没有偏见,也不能代替独立的事实与安全评测。

第 6 章:从 KL 目标推到最优策略

先固定一个提示 xx,并假设参考策略在讨论的回答上概率为正。令 q(y)=π(y∣x)q(y)=\pi(y\mid x),目标为

F(q)=∑yq(y)r(x,y)−β∑yq(y)log⁡q(y)πref(y∣x),∑yq(y)=1.F(q)=\sum_y q(y)r(x,y)-\beta\sum_y q(y)\log\frac{q(y)}{\pi_{\rm ref}(y\mid x)},\qquad \sum_yq(y)=1.

加入拉格朗日乘子 λ(∑yq(y)−1)\lambda(\sum_yq(y)-1),对每个 q(y)q(y) 求导并令其为零:

r(x,y)−β(log⁡q(y)πref(y∣x)+1)+λ=0.r(x,y)-\beta\left(\log\frac{q(y)}{\pi_{\rm ref}(y\mid x)}+1\right)+\lambda=0.

整理并归一化,就得到

π∗(y∣x)=1Z(x)πref(y∣x)exp⁡(r(x,y)β),Z(x)=∑yπref(y∣x)er(x,y)/β.\pi^*(y\mid x)=\frac{1}{Z(x)}\pi_{\rm ref}(y\mid x)\exp\left(\frac{r(x,y)}{\beta}\right),\quad Z(x)=\sum_y\pi_{\rm ref}(y\mid x)e^{r(x,y)/\beta}.

这行式子很直观:奖励越高,概率越大;但它仍以参考模型的概率为底。由它反解奖励,可得 r(x,y)=βlog⁡π∗(y∣x)πref(y∣x)+βlog⁡Z(x)r(x,y)=\beta\log\frac{\pi^*(y\mid x)}{\pi_{\rm ref}(y\mid x)}+\beta\log Z(x)。

第 7 章:DPO 为什么可以直接学偏好

把上面的奖励表达式代回成对偏好概率。同一提示下比较 ywy_w 与 yly_l 时,两个 log⁡Z(x)\log Z(x) 正好抵消。用待训练策略 πθ\pi_\theta 近似 π∗\pi^*,便得到 DPO 损失:

LDPO=−E(x,yw,yl)log⁡σ(β[log⁡πθ(yw∣x)πref(yw∣x)−log⁡πθ(yl∣x)πref(yl∣x)]).L_{\rm DPO}=-\mathbb E_{(x,y_w,y_l)}\log\sigma\left(\beta\left[\log\frac{\pi_\theta(y_w\mid x)}{\pi_{\rm ref}(y_w\mid x)}-\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\rm ref}(y_l\mid x)}\right]\right).

它比较的是相对参考模型的概率变化,不只是让胜出回答的绝对概率变大。训练数据必须同时给出两份回答;πref\pi_{\rm ref} 固定,πθ\pi_\theta 更新。DPO 省去了显式奖励模型和在线 RL 采样,但它仍依赖偏好数据与 Bradley–Terry 等建模假设,也不意味着所有场景都优于 PPO。

第 8 章:可验证奖励与推理模型

有些任务的奖励不用请人逐条比较。数学题可以核对最终答案,代码题可以运行测试。这类可验证奖励通常更便宜,也更直接,却只覆盖有可靠检查器的部分目标:算对最后一个数,不代表每步解释都可靠;通过一组测试,也不保证程序在所有输入下正确。

课件最后把它连接到推理模型。模型可以生成较长的中间推理,再依据最终结果等信号改进策略。更多生成步骤提供了探索不同解法的空间,同时增加计算成本,还可能出现“过程看着合理,答案却靠猜”的情况。因此应分别评估最终正确率、过程可信度和计算开销。

类似想法也能用于会调用搜索、图形界面或命令行工具的智能体,但这时“是否办成事”的判定更复杂。检查器若有漏洞,模型可能学会钻漏洞;单测覆盖不足,程序也可能侥幸通过。除了单次成功率,还应记录多次尝试的结果、工具调用成本与失败方式。

第 9 章:小结

SFT 教模型按指令作答;偏好比较训练奖励模型,RLHF 再用奖励优化策略;DPO 从同一个 KL 约束目标推导出直接利用成对偏好的损失;可验证奖励则把反馈扩展到能自动判分的任务。它们解决的都是“怎样定义并传递好回答的信号”。信号是否真的代表用户想要的正确、清楚和可靠,仍需要认真检查。


第 10 讲:RLHF:从人类偏好到推理模型
https://yjyxfcy.github.io/2026/11/04/gen10/
作者
Yjy
发布于
2026年11月4日
更新于
2026年11月5日
许可协议