10 · RLHF:从人类偏好到推理模型
← 返回课程目录The original article content is not automatically translated.
本文最后更新于 2026年11月19日 晚上
从“会续写”到“会帮忙”:为什么需要对齐
语言建模 ≠ 助手
预训练语言模型学的目标是“给定前文,下一个 token 是什么”。课件开头举了个很扎心的例子:输入“Peking University is located in ____”,模型只是在续写这个空。可如果我把一道题丢给它,它可能答题,也可能继续模仿题目的格式往下编——这两种输出在“预测下一个 token”的目标下都说得通,但用户通常只想要答案。
这就是课件那句“Language modeling ≠ assisting users”:模型和用户意图没有对齐(引的是 Ouyang et al., 2022,也就是 InstructGPT 那篇)。我自己补一句理解:预训练目标衡量的是“像不像语料里的下一句”,不是“是不是用户想要的那一句”,两者经常重合,但开放式任务上会分叉。对齐要做的,就是把目标从前者挪到后者。
预训练→微调:格式与价值两条线
课件把整门课的范式画成“预训练 + 微调”两段。预训练负责语法、语义和知识,微调负责对齐人的需求。而人的需求被拆成两条线,这个拆法我觉得是这一讲的骨架:
- 格式(Format):希望模型通过对话/指令来解题,而不是续写纯文本。对应指令微调——保住知识,同时让模型离“纯文本下一个 token”稍微远一点。
- 价值(Value):希望回答正确、符合人类偏好。对应 RLHF。
课件的大纲也是照这个顺序排的:Instruction Fine-Tuning → RLHF → DPO → RLVR and Reasoning Model。复习时我把这四块看成“信号越来越具体、越来越便宜”的过程:先教格式,再学偏好,接着绕开偏好模型,到 RLVR 干脆用能自动判分的规则。
监督指令微调 SFT
指令微调的做法很朴素:收集很多跨任务的“指令 、示范回答 ”样本,仍然用熟悉的下一个 token 预测损失去训练:
有两个细节当时听课没在意,复习才觉得关键。其一,损失通常只算回答部分,指令部分的 token 不计入——我们要教的是“怎么答”,不是“怎么复述问题”。其二,示范回答本身就是规格的载体:假如指令是“用一句话解释 KL 散度”,示范就告诉模型什么叫“一句话”、什么内容算切题。
SFT 很像给一位已经读过大量书的同学看答题样例:它能教格式和基本习惯,却没法列出每个问题的唯一好答案。课件给了微调前后的对比,增益明显,但开放式回答的“好坏”仍然没有一把绝对的尺子——这就逼出了下一节的偏好比较。
把“人类偏好”变成可优化的奖励
绝对分数难,比较容易
“这段解释值 8.3 分”这种绝对打分,标注者之间很难一致;但“同一个问题下,A 比 B 清楚”就容易判断得多。所以偏好数据收集成三元组 :同一提示 下, 是更受偏好的回答, 是较差的那个。
奖励模型 给回答一个实数分数。常用的 Bradley–Terry 假设把“谁胜出”的概率写成分数差的 sigmoid:
训练就是最小化 ,把胜出与落选的分数差拉大。这里有个我特别喜欢的性质:只关心差值。给所有回答的分数都加上同一个常数, 不变,偏好概率也不变。所以奖励模型学到的分数没有绝对零点,它只是一把“比较尺”,这点后面 DPO 会用到。
奖励模型不是裁判
人类偏好本身不是完美真值。课件专门讲了局限:标注者可能更喜欢长答案、肯定语气、漂亮排版,却不一定逐条核对事实。于是聊天机器人被奖励成“看起来权威又热心,不管真不真”,结果就是编事实、幻觉。
我把这一点记成一个警告:奖励模型学的是“这些比较的规律”,不是一个能证明答案正确的裁判。它会把标注者的偏见一并学进去。所以后面无论 PPO 还是 DPO,都不能拿奖励分数高当作“回答正确”的证据,独立的事实与安全评测省不掉。
最大化期望奖励:梯度上升的两个障碍
现在假设手里有了一个奖励 (先不管它怎么来的)。令当前模型 生成回答,想最大化期望奖励:
课件直接说“那我们就梯度上升呗”:。但课件立刻抛出两个障碍,这也是我复习时卡最久的地方:
- 期望怎么估? 是从 里采样出来的,样本有限,期望只能近似。
- 奖励不可导怎么办? 回答是离散文本, 可能是个人类打分或一段规则,没法对采样结果直接求导。
难点在于:依赖 的是采样分布本身,而不是被积函数 。直接对“采出来的那个 ”求导是行不通的。
策略梯度与 REINFORCE:把梯度搬进期望
出路是一个恒等式 (因为 )。把 写成求和再逐项求导, 不依赖 可以提到导数外:
关键一步是把梯度从“分布”搬到了“对数概率”上: 是可导的,而期望现在可以用蒙特卡洛采样估计。课件给的更新规则就是:
直观读法:高奖励回答的对数概率往上推,低奖励回答相对往下压。这就是策略梯度(REINFORCE)。
两个自己补的备注。其一,有限样本估计方差很大,常减去一个不随当前回答变化的基线 ,用 ;它不改变期望,因为 ,却能显著降方差,优势函数就是这个思路。其二,课件那段“very brief intro to RL”其实是把这套东西套进 RL 的记号,PPO 是实践中常见的稳定版,它的裁剪目标、价值估计等细节,不等同于上面这一行简单公式——别把 REINFORCE 和 PPO 画等号。
KL 约束:别让模型为了讨好奖励跑偏
奖励作弊与参考模型
若只追奖励模型的高分,语言模型可能找到评分器的漏洞,写出看似讨喜、实则空洞甚至错误的回答,这叫奖励作弊(reward hacking)。课件的对策是:从 SFT 模型复制一份固定的参考策略 ,优化时给“偏离参考”标个价。
逐样本看,RLHF 实际用的奖励是
后一项就是惩罚:当 (模型比参考更爱说这句)时要付出代价。课件特别点明,这一项在期望下正是 KL 散度 。我觉得这个“逐样本惩罚 → 期望是 KL”的对应是这一讲最漂亮的一处,它把直觉和公式接上了。
KL 约束的优化目标
把期望写全,就得到课件那个核心目标:
逐个记号认一遍: 是提示与回答, 是奖励模型, 是当前策略, 是参考策略, 控制偏离成本。 越大,模型越不敢离开参考; 越小,越放飞。它能抑制策略走太远,但不能保证奖励模型没有偏见,也代替不了独立评测——这点和上一节的警告是一致的。
从 KL 目标解出最优策略
这个目标其实有闭式最优解,课件是一步步“配出一个 KL”推的,我跟着写一遍。固定一个提示 ,记 ,把内层目标写成
把两项合并进一个对数():
分母那堆东西归一化一下就是一个分布。令
则 ,代回去:
与 无关, 在 时取到 0。所以最优策略就是 ,最大值 。
这行式子很直观:奖励越高概率越大,但仍以参考模型的概率为底,不是凭空抬升。两个自己补的备注:其一,用拉格朗日乘子 对每个 求导置零,也能得到同一个 ,两条路殊途同归;其二, 要对所有可能回答求和,序列空间大到没法算(课件直接标了 intractable)——这个“算不出”正是下一节 DPO 要绕开的东西。
DPO:绕开奖励模型与在线 RL
反解奖励:语言模型自己就是奖励模型
既然 算不出,课件换个思路:从最优解反解奖励。对 取对数整理得
课件是关键一跳——把语言模型本身当成奖励模型:用待训练策略 近似 ,定义
于是“让 对齐 ”等价于“让 对齐真实奖励 ”,也就等价于“把 当奖励模型来训练”。我第一次读到这觉得有点绕:原来不用单独训一个打分网络,策略自己的对数概率比就藏着奖励。
代回 Bradley–Terry: 抵消
把 代回成对偏好概率。同一提示下比较 与 时,两个 正好抵消(这正是上一节“奖励只关心差值”的兑现)。于是得到课件的 DPO 损失:
它比较的是相对参考模型的概率变化,不只是让胜出回答的绝对概率变大。训练时 固定、 更新,数据必须同时给出两份回答。课件把括号里两项标成“Reward for win sample / Reward for lose sample”,读起来就是:胜出回答相对参考涨得越多、落选回答相对参考跌得越多,损失越小。
DPO 省了什么、没省什么
DPO 省去了显式奖励模型和在线 RL 采样,把“训奖励 + 跑 PPO”压成一个直接的分类式损失,工程上清爽很多。但它没省掉建模假设:仍然依赖成对偏好数据和 Bradley–Terry,仍然假设最优策略落在 这个族里。所以也不意味着所有场景都优于 PPO——奖励信号复杂、需要在线探索时,显式 RL 仍有它的价值。我把这条记成“DPO 是同一目标的另一种参数化,不是另一个目标”。
可验证奖励与推理模型:把反馈扩展到能自动判分的任务
RLVR:从模型奖励到规则奖励
有些任务的奖励不用请人逐条比较。课件讲 RL with Verifiable Reward(RLVR):数学题可以核对最终答案,代码题可以跑测试,于是奖励从“模型打分”换成“规则打分”。具体到数据集和判分方式:
- 数学:GSM8K、MATH、AIME;奖励是最终答案匹配。要小心归一化与等价判断、数值精度和单位—— 和 0.5 该算对,单位错了该算错。
- 代码:HumanEval、SWE-Bench;奖励是单元测试。课件强调测试用例本身要足够鲁棒,否则模型可能侥幸通过。
这类奖励通常更便宜也更直接,但只覆盖“有可靠检查器”的那部分目标:算对最后一个数,不代表每步解释都可靠;通过一组测试,也不保证程序在所有输入下正确。
推理模型与长 CoT
课件把 RLVR 接到推理模型:解推理任务时“let’s think step by step”,做法就是把奖励模型换成奖励规则,再跑 RLVR。课件举了 DeepSeek R1、OpenAI O1/O3 与 GPT-5、Google Gemini-2.5,共同点是“先想再答”、生成长 CoT。
更多生成步骤提供了探索不同解法的空间,同时增加计算成本,还可能出现“过程看着合理、答案却靠猜”。所以我记的评估口径是分开看:最终正确率、过程可信度、计算开销,三者不能混成一个分数。
智能体与 RLVR 的局限
同样的想法能用于会调用搜索、图形界面或命令行的智能体(课件:Search / GUI / CLI Agent),但这时“是否办成事”的判定更复杂。课件把 RLVR 的局限列得很清楚,我抄成三条自检:
- 奖励作弊:模型钻检查器漏洞、套模板、蹭测试用例,而不是真解题。
- 成本与延迟:单元测试、沙箱、搜索任务都又贵又慢。
- 指标偏差:只看 pass@1 会误导,要配 pass@k 和过程质量指标。
除了单次成功率,还应记录多次尝试的结果、工具调用成本与失败方式。检查器若有漏洞,模型就会学会钻漏洞——这和前面奖励模型被钻漏洞是同一个病,只是换了个裁判。
收尾:一条主线
把整讲串起来:SFT 教模型按指令作答;偏好比较训练奖励模型,RLHF 再用奖励优化策略;DPO 从同一个 KL 约束目标推出直接吃成对偏好的损失;RLVR 把反馈扩展到能自动判分的任务,催生推理模型与智能体。它们解决的都是“怎样定义并传递好回答的信号”。
我自己的收尾理解是:这一讲真正的难点不在某个公式,而在信号是否真的代表用户想要的正确、清楚和可靠。奖励模型会被偏见污染,检查器会被钻漏洞,pass@1 会骗人。公式能把信号传得又快又稳,但信号本身对不对,仍需要认真检查——这也是为什么课件反复单独强调“limitations”。