本文最后更新于 2026年11月5日 晚上
北京大学《生成模型基础》(2025 秋)第十讲笔记,依据课程的 RLHF.pdf 整理。
前面几章一直在问:怎样让模型学会数据的分布?这一章的问题稍有不同:模型已经能写出流畅的文字,怎样让它更愿意按我们的要求回答?
第 1 章:会续写,不一定会帮忙
预训练语言模型学习的是“给定前文,下一个 token 是什么”。如果输入一道题,它可能答题,也可能继续模仿题目的格式。两种输出在预训练目标下都说得通,但用户通常只想要答案。
课件把解决过程分成几步:先用指令微调教模型理解任务形式,再用偏好反馈区分不同回答的质量。后面还会看到 DPO:它利用偏好数据,却绕开了显式训练奖励模型再跑强化学习的流程。
第 2 章:监督指令微调
准备很多“指令 x、示范回答 y”的样本,仍然用熟悉的下一个 token 预测损失训练:
LSFT=−E(x,y)∼Dt=1∑∣y∣logπθ(yt∣x,y<t).
注意损失通常只算回答部分。假如指令是“用一句话解释 KL 散度”,示范回答就告诉模型什么叫“一句话”、什么内容算切题。SFT 很像给一位已经读过大量书的同学看答题样例:它能教格式和基本习惯,却没法列出每个问题的唯一好答案。
第 3 章:让人比较两个回答
开放式回答很难给一个绝对分数。“这段解释值 8.3 分”不如“在同一个问题下,A 比 B 清楚”容易判断。因此收集三元组 (x,yw,yl):同一提示 x 下,yw 是更受偏好的回答,yl 是较差的回答。
奖励模型 rϕ(x,y) 给回答一个实数分数。常用的 Bradley–Terry 假设把偏好概率写为
Pϕ(yw≻yl∣x)=σ(rϕ(x,yw)−rϕ(x,yl)),
其中 σ(z)=1/(1+e−z)。于是最小化 −logPϕ,就会拉大胜出与落选回答的分数差。这里只关心差值:给所有回答都加上同一个常数,不影响比较结果。
人类偏好也不是完美真值。标注者可能更喜欢长答案、肯定语气或漂亮排版,却不一定逐条核对事实。奖励模型学的是这些比较的规律,不是一个能证明答案正确的裁判。
第 4 章:用奖励更新语言模型
令当前模型 πθ(y∣x) 生成回答。暂时把奖励 R(x,y) 看作不依赖 θ 的函数,想最大化
J(θ)=Ex∼D,y∼πθ(⋅∣x)R(x,y).
回答是离散文本,没法直接对采样结果求导。但概率可以求导。利用 ∇θπθ=πθ∇θlogπθ,得到
∇θJ=Ex,y[R(x,y)∇θlogπθ(y∣x)].
这就是策略梯度背后的关键一步:高奖励回答的对数概率往上推,低奖励回答相对往下压。用有限样本估计时方差可能很大,因此常引入不随当前回答变化的基线或优势函数。PPO 是实践中常见的稳定优化方法;它的裁剪目标、价值估计等细节,不等同于上面这一行简单公式。
第 5 章:为什么要有参考模型和 KL 约束
若只追奖励模型的高分,语言模型可能找到评分器的漏洞,写出看似讨喜、实则空洞或错误的回答。这叫奖励作弊。通常从 SFT 模型复制一份固定的参考策略 πref,优化时加上偏离惩罚:
πmaxEx∼D[Ey∼π(⋅∣x)r(x,y)−βDKL(π(⋅∣x)∥πref(⋅∣x))].
KL 项衡量新策略相对参考策略的变化。β 越大,偏离成本越高。它能抑制策略走得太远,但不能保证奖励模型没有偏见,也不能代替独立的事实与安全评测。
第 6 章:从 KL 目标推到最优策略
先固定一个提示 x,并假设参考策略在讨论的回答上概率为正。令 q(y)=π(y∣x),目标为
F(q)=y∑q(y)r(x,y)−βy∑q(y)logπref(y∣x)q(y),y∑q(y)=1.
加入拉格朗日乘子 λ(∑yq(y)−1),对每个 q(y) 求导并令其为零:
r(x,y)−β(logπref(y∣x)q(y)+1)+λ=0.
整理并归一化,就得到
π∗(y∣x)=Z(x)1πref(y∣x)exp(βr(x,y)),Z(x)=y∑πref(y∣x)er(x,y)/β.
这行式子很直观:奖励越高,概率越大;但它仍以参考模型的概率为底。由它反解奖励,可得 r(x,y)=βlogπref(y∣x)π∗(y∣x)+βlogZ(x)。
第 7 章:DPO 为什么可以直接学偏好
把上面的奖励表达式代回成对偏好概率。同一提示下比较 yw 与 yl 时,两个 logZ(x) 正好抵消。用待训练策略 πθ 近似 π∗,便得到 DPO 损失:
LDPO=−E(x,yw,yl)logσ(β[logπref(yw∣x)πθ(yw∣x)−logπref(yl∣x)πθ(yl∣x)]).
它比较的是相对参考模型的概率变化,不只是让胜出回答的绝对概率变大。训练数据必须同时给出两份回答;πref 固定,πθ 更新。DPO 省去了显式奖励模型和在线 RL 采样,但它仍依赖偏好数据与 Bradley–Terry 等建模假设,也不意味着所有场景都优于 PPO。
第 8 章:可验证奖励与推理模型
有些任务的奖励不用请人逐条比较。数学题可以核对最终答案,代码题可以运行测试。这类可验证奖励通常更便宜,也更直接,却只覆盖有可靠检查器的部分目标:算对最后一个数,不代表每步解释都可靠;通过一组测试,也不保证程序在所有输入下正确。
课件最后把它连接到推理模型。模型可以生成较长的中间推理,再依据最终结果等信号改进策略。更多生成步骤提供了探索不同解法的空间,同时增加计算成本,还可能出现“过程看着合理,答案却靠猜”的情况。因此应分别评估最终正确率、过程可信度和计算开销。
类似想法也能用于会调用搜索、图形界面或命令行工具的智能体,但这时“是否办成事”的判定更复杂。检查器若有漏洞,模型可能学会钻漏洞;单测覆盖不足,程序也可能侥幸通过。除了单次成功率,还应记录多次尝试的结果、工具调用成本与失败方式。
第 9 章:小结
SFT 教模型按指令作答;偏好比较训练奖励模型,RLHF 再用奖励优化策略;DPO 从同一个 KL 约束目标推导出直接利用成对偏好的损失;可验证奖励则把反馈扩展到能自动判分的任务。它们解决的都是“怎样定义并传递好回答的信号”。信号是否真的代表用户想要的正确、清楚和可靠,仍需要认真检查。