Deep reinforcement learning from human preferences

RLHF

📌 核心贡献

提出通过人类对轨迹片段的偏好比较来训练奖励模型，再用该奖励模型指导强化学习策略优化，使得 RL agent 无需访问环境真实奖励函数即可学习复杂行为，奠定了 RLHF 范式的基础。

📖 摘要

For sophisticated reinforcement learning (RL) systems to interact usefully with real-world environments, we need to communicate complex goals to these systems. In this work, we explore goals defined in terms of (non-expert) human preferences between pairs of trajectory segments. We show that this approach can effectively solve complex RL tasks without access to the reward function, including Atari games and simulated robot locomotion, while providing feedback on less than one percent of our agent’s interactions with the environment. This reduces the cost of human oversight far enough that it can be practically applied to state-of-the-art RL systems. In particular, we show that with about an hour of human time we can learn complex novel behaviors that have not previously been demonstrated with human feedback approaches, including running, doing backflips, and playing Atari games using feedback from a non-expert human.

🔍 关键信息

字段	内容
机构	OpenAI / DeepMind
发表	2017-06-12
分类	stat.ML, cs.AI, cs.HC, cs.LG
链接	arXiv

📝 我的笔记

动机与问题定义

传统 RL 依赖环境提供的标量奖励函数，但在现实场景中，精确定义奖励函数面临两个核心困难：

1. 目标难以形式化：许多复杂行为（如”做出优雅的后空翻”）无法用简单的数学公式描述
2. 奖励工程成本高：手动设计奖励函数需要大量领域知识，且容易引入 reward hacking

本文提出一个关键洞察：人类虽然难以定义奖励函数，但可以轻松判断两段行为哪个更好。基于此，作者设计了一个从人类偏好比较中学习奖励模型、再用该奖励模型训练 RL 策略的框架。

方法

整体框架

系统包含三个异步运行的组件：

1. 策略 $\pi$：与环境交互，生成轨迹
2. 人类评估者：对轨迹片段对 $({\sigma }^1,{\sigma }^2)$ 给出偏好判断
3. 奖励模型 $\hat{r}$：从人类偏好数据中学习，为策略提供奖励信号

三者形成闭环：策略产生行为 → 人类比较行为片段 → 奖励模型更新 → 策略根据新奖励优化。

偏好收集

• 从策略运行的轨迹中截取短片段（clip），每个片段包含 1-2 秒的连续观测-动作序列
• 将两个片段 $({\sigma }^1,{\sigma }^2)$ 同时展示给人类
• 人类选择偏好的片段，或标记”差不多”/“无法比较”

奖励模型训练

假设人类偏好遵循 Bradley-Terry 模型，即人类偏好片段 ${\sigma }^1$ 优于 ${\sigma }^2$ 的概率与奖励的指数和成正比：

$P[{\sigma }^1\succ {\sigma }^2]=\frac{\exp {\sum }_t\hat{r}(o_t^1,a_t^1)}{\exp {\sum }_t\hat{r}(o_t^1,a_t^1)+\exp {\sum }_t\hat{r}(o_t^2,a_t^2)}$

其中 $\hat{r}(o_t,a_t)$ 是奖励模型对观测-动作对的预测奖励。

奖励模型通过最小化人类偏好标签的交叉熵损失进行训练：

$\text{loss}(\hat{r})=-{\sum }_{({\sigma }^1,{\sigma }^2,\mu )}\left[\mu (1)\log P[{\sigma }^1\succ {\sigma }^2]+\mu (2)\log P[{\sigma }^2\succ {\sigma }^1]\right]$

其中 $\mu$ 是人类偏好的分布（对明确偏好为 one-hot，对”差不多”则均匀分布）。

关键实现细节：

• 维护一个奖励模型集成（ensemble），使用多个独立训练的奖励模型取平均，提升稳定性
• 对奖励输出进行归一化（使其均值为 0，方差恒定），防止奖励尺度漂移
• 使用 ${\ell }_2$ 正则化防止过拟合

策略优化

使用标准 RL 算法（A2C 用于 Atari，TRPO 用于 MuJoCo），只是将环境真实奖励替换为奖励模型 $\hat{r}$ 的预测值。策略和奖励模型同时训练——策略基于当前奖励模型优化，奖励模型随着新偏好数据到来持续更新。

奖励模型架构

• MuJoCo：全连接网络，输入为观测-动作对 $(o_t,a_t)$，输出标量奖励
• Atari：卷积网络，输入为 4 帧堆叠的游戏画面 $o_t$（不使用动作），输出标量奖励

关键实验结果

MuJoCo 连续控制

在 8 个 MuJoCo 任务上，使用约 700-1400 个人类偏好比较（约 1 小时人类时间）进行评估：

任务	真实奖励 RL	合成偏好	人类偏好
Hopper	~2000	~2000	~1700
Walker	~3000	~2700	~1600
Cheetah	~3000	~2500	~2000
Reacher	~-7	~-8	~-10
Swimmer	~130	~120	~100
Ant	~3500	~3000	~2000

• 合成偏好（使用真实奖励模拟人类偏好）结果接近直接使用真实奖励训练
• 人类偏好结果低于合成偏好，但仍展现了有意义的行为学习
• 成功学习了后空翻等新颖行为（无真实奖励可定义的任务）

Atari 游戏

在 7 个 Atari 游戏上，使用约 5500 个合成偏好比较：

游戏	真实奖励 RL	合成偏好
Beamrider	~5000	~3200
Breakout	~250	~20
Enduro	~550	~640
Pong	~18	~18
Q*bert	~8000	~5000
Seaquest	~900	~860
Space Invaders	~700	~450

在部分游戏（Enduro, Pong, Seaquest）上合成偏好接近甚至超越真实奖励训练；但在 Breakout 等游戏上差距较大。

关键发现与 Ablation

1. 反馈效率：仅需 agent 与环境交互总量 <1% 的人类反馈即可学习有效策略
2. 非专家可用：非专业人士即可提供有效的偏好反馈
3. 集成的重要性：奖励模型集成显著提升训练稳定性
4. 在线 vs 离线反馈：在线收集偏好（随训练进程持续收集）优于一次性收集所有偏好
5. 片段长度：1-2 秒的短片段最适合人类比较

总结性评价

这篇论文是 RLHF 范式的奠基之作，其核心贡献不仅在于具体的技术方案，更在于提出了一个影响深远的范式：

1. 范式意义：将”定义目标”从”编写奖励函数”转变为”比较行为好坏”，大幅降低了人类指定 AI 目标的门槛。这一思路后来被 InstructGPT 推广到语言模型领域，成为 ChatGPT 等系统的核心训练方法。

2. Bradley-Terry 偏好模型：将人类偏好建模为 BT 模型的做法被后续几乎所有 RLHF 工作采用，直到 DPO 提出绕过显式奖励模型的替代方案。

3. 局限性：人类反馈仍然昂贵且可能不一致；奖励模型可能过拟合偏好数据中的虚假相关；需要在线收集反馈效果最佳，增加了实际部署难度。ConstitutionalAI 后来提出用 AI 反馈替代部分人类反馈来缓解这些问题。

4. 历史地位：虽然从人类反馈中学习的思想可以追溯到更早的工作（如 TAMER 框架），但本文首次将其扩展到深度 RL 的复杂任务上，并展示了规模化的可行性，是连接经典 RL 和现代 LLM alignment 的关键桥梁。

🔗 相关论文

基于/改进自： 无（奠基工作）

后续发展： InstructGPT, DPO, ConstitutionalAI