10 · RLHF:从人类偏好到推理模型

← 返回课程目录
本文目录
  1. 从“会续写”到“会帮忙”:为什么需要对齐
    1. 语言建模 ≠ 助手
    2. 预训练→微调:格式与价值两条线
    3. 监督指令微调 SFT
  2. 把“人类偏好”变成可优化的奖励
    1. 绝对分数难,比较容易
    2. 奖励模型不是裁判
    3. 最大化期望奖励:梯度上升的两个障碍
    4. 策略梯度与 REINFORCE:把梯度搬进期望
  3. KL 约束:别让模型为了讨好奖励跑偏
    1. 奖励作弊与参考模型
    2. KL 约束的优化目标
    3. 从 KL 目标解出最优策略
  4. DPO:绕开奖励模型与在线 RL
    1. 反解奖励:语言模型自己就是奖励模型
    2. 代回 Bradley–Terry:log⁡Z\log ZlogZ 抵消
    3. DPO 省了什么、没省什么
  5. 可验证奖励与推理模型:把反馈扩展到能自动判分的任务
    1. RLVR:从模型奖励到规则奖励
    2. 推理模型与长 CoT
    3. 智能体与 RLVR 的局限
    4. 收尾:一条主线

本文最后更新于 2026年11月19日 晚上

从“会续写”到“会帮忙”:为什么需要对齐

语言建模 ≠ 助手

预训练语言模型学的目标是“给定前文,下一个 token 是什么”。课件开头举了个很扎心的例子:输入“Peking University is located in ____”,模型只是在续写这个空。可如果我把一道题丢给它,它可能答题,也可能继续模仿题目的格式往下编——这两种输出在“预测下一个 token”的目标下都说得通,但用户通常只想要答案。

这就是课件那句“Language modeling ≠ assisting users”:模型和用户意图没有对齐(引的是 Ouyang et al., 2022,也就是 InstructGPT 那篇)。我自己补一句理解:预训练目标衡量的是“像不像语料里的下一句”,不是“是不是用户想要的那一句”,两者经常重合,但开放式任务上会分叉。对齐要做的,就是把目标从前者挪到后者。

预训练→微调:格式与价值两条线

课件把整门课的范式画成“预训练 + 微调”两段。预训练负责语法、语义和知识,微调负责对齐人的需求。而人的需求被拆成两条线,这个拆法我觉得是这一讲的骨架:

  • 格式(Format):希望模型通过对话/指令来解题,而不是续写纯文本。对应指令微调——保住知识,同时让模型离“纯文本下一个 token”稍微远一点。
  • 价值(Value):希望回答正确、符合人类偏好。对应 RLHF。

课件的大纲也是照这个顺序排的:Instruction Fine-Tuning → RLHF → DPO → RLVR and Reasoning Model。复习时我把这四块看成“信号越来越具体、越来越便宜”的过程:先教格式,再学偏好,接着绕开偏好模型,到 RLVR 干脆用能自动判分的规则。

监督指令微调 SFT

指令微调的做法很朴素:收集很多跨任务的“指令 xx、示范回答 yy”样本,仍然用熟悉的下一个 token 预测损失去训练:

LSFT=−E(x,y)∼D∑t=1∣y∣log⁡πθ(yt∣x,y<t).L_{\mathrm{SFT}}=-\mathbb E_{(x,y)\sim D}\sum_{t=1}^{|y|}\log\pi_\theta(y_t\mid x,y_{<t}).

有两个细节当时听课没在意,复习才觉得关键。其一,损失通常只算回答部分,指令部分的 token 不计入——我们要教的是“怎么答”,不是“怎么复述问题”。其二,示范回答本身就是规格的载体:假如指令是“用一句话解释 KL 散度”,示范就告诉模型什么叫“一句话”、什么内容算切题。

SFT 很像给一位已经读过大量书的同学看答题样例:它能教格式和基本习惯,却没法列出每个问题的唯一好答案。课件给了微调前后的对比,增益明显,但开放式回答的“好坏”仍然没有一把绝对的尺子——这就逼出了下一节的偏好比较。

把“人类偏好”变成可优化的奖励

绝对分数难,比较容易

“这段解释值 8.3 分”这种绝对打分,标注者之间很难一致;但“同一个问题下,A 比 B 清楚”就容易判断得多。所以偏好数据收集成三元组 (x,yw,yl)(x,y_w,y_l):同一提示 xx 下,ywy_w 是更受偏好的回答,yly_l 是较差的那个。

奖励模型 rϕ(x,y)r_\phi(x,y) 给回答一个实数分数。常用的 Bradley–Terry 假设把“谁胜出”的概率写成分数差的 sigmoid:

Pϕ(yw≻yl∣x)=σ(rϕ(x,yw)−rϕ(x,yl)),σ(z)=11+e−z.P_\phi(y_w\succ y_l\mid x)=\sigma\bigl(r_\phi(x,y_w)-r_\phi(x,y_l)\bigr),\qquad \sigma(z)=\frac{1}{1+e^{-z}}.

训练就是最小化 −log⁡Pϕ-\log P_\phi,把胜出与落选的分数差拉大。这里有个我特别喜欢的性质:只关心差值。给所有回答的分数都加上同一个常数,rϕ(x,yw)−rϕ(x,yl)r_\phi(x,y_w)-r_\phi(x,y_l) 不变,偏好概率也不变。所以奖励模型学到的分数没有绝对零点,它只是一把“比较尺”,这点后面 DPO 会用到。

奖励模型不是裁判

人类偏好本身不是完美真值。课件专门讲了局限:标注者可能更喜欢长答案、肯定语气、漂亮排版,却不一定逐条核对事实。于是聊天机器人被奖励成“看起来权威又热心,不管真不真”,结果就是编事实、幻觉。

我把这一点记成一个警告:奖励模型学的是“这些比较的规律”,不是一个能证明答案正确的裁判。它会把标注者的偏见一并学进去。所以后面无论 PPO 还是 DPO,都不能拿奖励分数高当作“回答正确”的证据,独立的事实与安全评测省不掉。

最大化期望奖励:梯度上升的两个障碍

现在假设手里有了一个奖励 R(x,y)R(x,y)(先不管它怎么来的)。令当前模型 πθ(y∣x)\pi_\theta(y\mid x) 生成回答,想最大化期望奖励:

J(θ)=Ex∼D,  y∼πθ(⋅∣x)R(x,y).J(\theta)=\mathbb E_{x\sim D,\;y\sim\pi_\theta(\cdot\mid x)}R(x,y).

课件直接说“那我们就梯度上升呗”:θt+1:=θt+α∇θJ\theta_{t+1}:=\theta_t+\alpha\nabla_\theta J。但课件立刻抛出两个障碍,这也是我复习时卡最久的地方:

  1. 期望怎么估? yy 是从 πθ\pi_\theta 里采样出来的,样本有限,期望只能近似。
  2. 奖励不可导怎么办? 回答是离散文本,RR 可能是个人类打分或一段规则,没法对采样结果直接求导。

难点在于:依赖 θ\theta 的是采样分布本身,而不是被积函数 RR。直接对“采出来的那个 yy”求导是行不通的。

策略梯度与 REINFORCE:把梯度搬进期望

出路是一个恒等式 ∇θπθ=πθ∇θlog⁡πθ\nabla_\theta\pi_\theta=\pi_\theta\nabla_\theta\log\pi_\theta(因为 ∇log⁡π=∇π/π\nabla\log\pi=\nabla\pi/\pi)。把 JJ 写成求和再逐项求导,RR 不依赖 θ\theta 可以提到导数外:

∇θJ=∑yR(x,y)∇θπθ(y∣x)=∑yR(x,y) πθ(y∣x) ∇θlog⁡πθ(y∣x)=Ey∼πθ ⁣[R(x,y)∇θlog⁡πθ(y∣x)].\nabla_\theta J=\sum_y R(x,y)\nabla_\theta\pi_\theta(y\mid x)=\sum_y R(x,y)\,\pi_\theta(y\mid x)\,\nabla_\theta\log\pi_\theta(y\mid x)=\mathbb E_{y\sim\pi_\theta}\!\left[R(x,y)\nabla_\theta\log\pi_\theta(y\mid x)\right].

关键一步是把梯度从“分布”搬到了“对数概率”上:log⁡πθ\log\pi_\theta 是可导的,而期望现在可以用蒙特卡洛采样估计。课件给的更新规则就是:

θt+1:=θt+α 1m∑i=1mR(si) ∇θlog⁡pθ(si).\theta_{t+1}:=\theta_t+\alpha\,\frac1m\sum_{i=1}^{m}R(s_i)\,\nabla_\theta\log p_\theta(s_i).

直观读法:高奖励回答的对数概率往上推,低奖励回答相对往下压。这就是策略梯度(REINFORCE)。

两个自己补的备注。其一,有限样本估计方差很大,常减去一个不随当前回答变化的基线 bb,用 (R−b)∇log⁡π(R-b)\nabla\log\pi;它不改变期望,因为 E[b∇log⁡π]=b∇∑yπ=b∇1=0\mathbb E[b\nabla\log\pi]=b\nabla\sum_y\pi=b\nabla 1=0,却能显著降方差,优势函数就是这个思路。其二,课件那段“very brief intro to RL”其实是把这套东西套进 RL 的记号,PPO 是实践中常见的稳定版,它的裁剪目标、价值估计等细节,不等同于上面这一行简单公式——别把 REINFORCE 和 PPO 画等号。

KL 约束:别让模型为了讨好奖励跑偏

奖励作弊与参考模型

若只追奖励模型的高分,语言模型可能找到评分器的漏洞,写出看似讨喜、实则空洞甚至错误的回答,这叫奖励作弊(reward hacking)。课件的对策是:从 SFT 模型复制一份固定的参考策略 πref\pi_{\mathrm{ref}},优化时给“偏离参考”标个价。

逐样本看,RLHF 实际用的奖励是

R(s)=Rϕ(s)−βlog⁡pθ(s)pref(s).R(s)=R_\phi(s)-\beta\log\frac{p_\theta(s)}{p_{\mathrm{ref}}(s)}.

后一项就是惩罚:当 pθ(s)>pref(s)p_\theta(s)>p_{\mathrm{ref}}(s)(模型比参考更爱说这句)时要付出代价。课件特别点明,这一项在期望下正是 KL 散度 DKL(pθ∥pref)D_{\mathrm{KL}}(p_\theta\Vert p_{\mathrm{ref}})。我觉得这个“逐样本惩罚 → 期望是 KL”的对应是这一讲最漂亮的一处,它把直觉和公式接上了。

KL 约束的优化目标

把期望写全,就得到课件那个核心目标:

max⁡πθ  Ex∼D[Ey∼πθ(⋅∣x) r(x,y)−β DKL(πθ(⋅∣x) ∥ πref(⋅∣x))].\max_{\pi_\theta}\;\mathbb E_{x\sim D}\Bigl[\mathbb E_{y\sim\pi_\theta(\cdot\mid x)}\,r(x,y)-\beta\,D_{\mathrm{KL}}\bigl(\pi_\theta(\cdot\mid x)\,\Vert\,\pi_{\mathrm{ref}}(\cdot\mid x)\bigr)\Bigr].

逐个记号认一遍:x,yx,y 是提示与回答,rr 是奖励模型,πθ\pi_\theta 是当前策略,πref\pi_{\mathrm{ref}} 是参考策略,β\beta 控制偏离成本。β\beta 越大,模型越不敢离开参考;β\beta 越小,越放飞。它能抑制策略走太远,但不能保证奖励模型没有偏见,也代替不了独立评测——这点和上一节的警告是一致的。

从 KL 目标解出最优策略

这个目标其实有闭式最优解,课件是一步步“配出一个 KL”推的,我跟着写一遍。固定一个提示 xx,记 q(y)=πθ(y∣x)q(y)=\pi_\theta(y\mid x),把内层目标写成

F(q)=∑yq(y) r(x,y)−β∑yq(y)log⁡q(y)πref(y∣x),∑yq(y)=1.F(q)=\sum_y q(y)\,r(x,y)-\beta\sum_y q(y)\log\frac{q(y)}{\pi_{\mathrm{ref}}(y\mid x)},\qquad \sum_y q(y)=1.

把两项合并进一个对数(r=βlog⁡er/βr=\beta\log e^{r/\beta}):

F(q)=−β∑yq(y)log⁡q(y)πref(y∣x) er(x,y)/β.F(q)=-\beta\sum_y q(y)\log\frac{q(y)}{\pi_{\mathrm{ref}}(y\mid x)\,e^{r(x,y)/\beta}}.

分母那堆东西归一化一下就是一个分布。令

π∗(y∣x)=1Z(x)πref(y∣x)exp⁡ ⁣(r(x,y)β),Z(x)=∑yπref(y∣x) er(x,y)/β,\pi^*(y\mid x)=\frac{1}{Z(x)}\pi_{\mathrm{ref}}(y\mid x)\exp\!\Bigl(\frac{r(x,y)}{\beta}\Bigr),\qquad Z(x)=\sum_y\pi_{\mathrm{ref}}(y\mid x)\,e^{r(x,y)/\beta},

则 πrefer/β=Z(x)π∗\pi_{\mathrm{ref}}e^{r/\beta}=Z(x)\pi^*,代回去:

F(q)=−β∑yq(y)log⁡q(y)π∗(y∣x)+βlog⁡Z(x)=−β DKL(q ∥ π∗)+βlog⁡Z(x).F(q)=-\beta\sum_y q(y)\log\frac{q(y)}{\pi^*(y\mid x)}+\beta\log Z(x)=-\beta\,D_{\mathrm{KL}}\bigl(q\,\Vert\,\pi^*\bigr)+\beta\log Z(x).

βlog⁡Z(x)\beta\log Z(x) 与 qq 无关,−βDKL(q∥π∗)≤0-\beta D_{\mathrm{KL}}(q\Vert\pi^*)\le 0 在 q=π∗q=\pi^* 时取到 0。所以最优策略就是 π∗\pi^*,最大值 F=βlog⁡Z(x)F=\beta\log Z(x)。

这行式子很直观:奖励越高概率越大,但仍以参考模型的概率为底,不是凭空抬升。两个自己补的备注:其一,用拉格朗日乘子 λ(∑yq−1)\lambda(\sum_y q-1) 对每个 q(y)q(y) 求导置零,也能得到同一个 π∗\pi^*,两条路殊途同归;其二,Z(x)Z(x) 要对所有可能回答求和,序列空间大到没法算(课件直接标了 intractable)——这个“算不出”正是下一节 DPO 要绕开的东西。

DPO:绕开奖励模型与在线 RL

反解奖励:语言模型自己就是奖励模型

既然 Z(x)Z(x) 算不出,课件换个思路:从最优解反解奖励。对 π∗\pi^* 取对数整理得

r(x,y)=βlog⁡π∗(y∣x)πref(y∣x)+βlog⁡Z(x).r(x,y)=\beta\log\frac{\pi^*(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}+\beta\log Z(x).

课件是关键一跳——把语言模型本身当成奖励模型:用待训练策略 πθ\pi_\theta 近似 π∗\pi^*,定义

Rθ(x,y)=βlog⁡πθ(y∣x)πref(y∣x)+βlog⁡Z(x).R_\theta(x,y)=\beta\log\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}+\beta\log Z(x).

于是“让 πθ\pi_\theta 对齐 π∗\pi^*”等价于“让 RθR_\theta 对齐真实奖励 rr”,也就等价于“把 RθR_\theta 当奖励模型来训练”。我第一次读到这觉得有点绕:原来不用单独训一个打分网络,策略自己的对数概率比就藏着奖励。

代回 Bradley–Terry:log⁡Z\log Z 抵消

把 RθR_\theta 代回成对偏好概率。同一提示下比较 ywy_w 与 yly_l 时,两个 βlog⁡Z(x)\beta\log Z(x) 正好抵消(这正是上一节“奖励只关心差值”的兑现)。于是得到课件的 DPO 损失:

LDPO=−E(x,yw,yl)∼Dlog⁡σ ⁣(β[log⁡πθ(yw∣x)πref(yw∣x)−log⁡πθ(yl∣x)πref(yl∣x)]).L_{\mathrm{DPO}}=-\mathbb E_{(x,y_w,y_l)\sim D}\log\sigma\!\left(\beta\left[\log\frac{\pi_\theta(y_w\mid x)}{\pi_{\mathrm{ref}}(y_w\mid x)}-\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\mathrm{ref}}(y_l\mid x)}\right]\right).

它比较的是相对参考模型的概率变化,不只是让胜出回答的绝对概率变大。训练时 πref\pi_{\mathrm{ref}} 固定、πθ\pi_\theta 更新,数据必须同时给出两份回答。课件把括号里两项标成“Reward for win sample / Reward for lose sample”,读起来就是:胜出回答相对参考涨得越多、落选回答相对参考跌得越多,损失越小。

DPO 省了什么、没省什么

DPO 省去了显式奖励模型和在线 RL 采样,把“训奖励 + 跑 PPO”压成一个直接的分类式损失,工程上清爽很多。但它没省掉建模假设:仍然依赖成对偏好数据和 Bradley–Terry,仍然假设最优策略落在 πrefer/β\pi_{\mathrm{ref}}e^{r/\beta} 这个族里。所以也不意味着所有场景都优于 PPO——奖励信号复杂、需要在线探索时,显式 RL 仍有它的价值。我把这条记成“DPO 是同一目标的另一种参数化,不是另一个目标”。

可验证奖励与推理模型:把反馈扩展到能自动判分的任务

RLVR:从模型奖励到规则奖励

有些任务的奖励不用请人逐条比较。课件讲 RL with Verifiable Reward(RLVR):数学题可以核对最终答案,代码题可以跑测试,于是奖励从“模型打分”换成“规则打分”。具体到数据集和判分方式:

  • 数学:GSM8K、MATH、AIME;奖励是最终答案匹配。要小心归一化与等价判断、数值精度和单位——12\frac12 和 0.5 该算对,单位错了该算错。
  • 代码:HumanEval、SWE-Bench;奖励是单元测试。课件强调测试用例本身要足够鲁棒,否则模型可能侥幸通过。

这类奖励通常更便宜也更直接,但只覆盖“有可靠检查器”的那部分目标:算对最后一个数,不代表每步解释都可靠;通过一组测试,也不保证程序在所有输入下正确。

推理模型与长 CoT

课件把 RLVR 接到推理模型:解推理任务时“let’s think step by step”,做法就是把奖励模型换成奖励规则,再跑 RLVR。课件举了 DeepSeek R1、OpenAI O1/O3 与 GPT-5、Google Gemini-2.5,共同点是“先想再答”、生成长 CoT。

更多生成步骤提供了探索不同解法的空间,同时增加计算成本,还可能出现“过程看着合理、答案却靠猜”。所以我记的评估口径是分开看:最终正确率、过程可信度、计算开销,三者不能混成一个分数。

智能体与 RLVR 的局限

同样的想法能用于会调用搜索、图形界面或命令行的智能体(课件:Search / GUI / CLI Agent),但这时“是否办成事”的判定更复杂。课件把 RLVR 的局限列得很清楚,我抄成三条自检:

  • 奖励作弊:模型钻检查器漏洞、套模板、蹭测试用例,而不是真解题。
  • 成本与延迟:单元测试、沙箱、搜索任务都又贵又慢。
  • 指标偏差:只看 pass@1 会误导,要配 pass@k 和过程质量指标。

除了单次成功率,还应记录多次尝试的结果、工具调用成本与失败方式。检查器若有漏洞,模型就会学会钻漏洞——这和前面奖励模型被钻漏洞是同一个病,只是换了个裁判。

收尾:一条主线

把整讲串起来:SFT 教模型按指令作答;偏好比较训练奖励模型,RLHF 再用奖励优化策略;DPO 从同一个 KL 约束目标推出直接吃成对偏好的损失;RLVR 把反馈扩展到能自动判分的任务,催生推理模型与智能体。它们解决的都是“怎样定义并传递好回答的信号”。

我自己的收尾理解是:这一讲真正的难点不在某个公式,而在信号是否真的代表用户想要的正确、清楚和可靠。奖励模型会被偏见污染,检查器会被钻漏洞,pass@1 会骗人。公式能把信号传得又快又稳,但信号本身对不对,仍需要认真检查——这也是为什么课件反复单独强调“limitations”。


RLHF:从人类偏好到推理模型
https://yjyxfcy.github.io/2026/11/04/gen10/
作者
Yjy
发布于
2026年11月4日
更新于
2026年11月19日
许可协议