RRM
📌 核心贡献
提出 Reward Reasoning Model（RRM），让奖励模型在给出 reward 前通过 chain-of-thought 进行深度推理，并设计了一套无需显式推理标注的 RL 框架实现 self-evolved reward reasoning，在多个 RM benchmark 上取得 SOTA。
📖 摘要
Reward models play a critical role in guiding large language models toward outputs that align with human expectations. However, an open challenge remains in effectively utilizing test-time compute to enhance reward model performance. In this work, we introduce Reward Reasoning Models (RRMs), which are specifically designed to execute a deliberate reasoning process before generating final rewards. Through chain-of-thought reasoning, RRMs leverage additional test-time compute for complex queries where appropriate rewards are not immediately apparent. To develop RRMs, we implement a reinforcement learning framework that fosters self-evolved reward reasoning capabilities without requiring explicit reasoning traces as training data. Experimental results demonstrate that RRMs achieve superior performance on reward modeling benchmarks across diverse domains. Notably, we show that RRMs can adaptively exploit test-time compute to further improve reward accuracy. The pretrained reward reasoning models are available at https://huggingface.co/Reward-Reasoning.
🔍 关键信息
| 字段 | 内容 |
|---|---|
| 机构 | Microsoft Research |
| 发表 | 2025-05-20 |
| 分类 | cs.CL |
| 链接 | arXiv |
📝 我的笔记
核心问题/动机
现有奖励模型面临的核心挑战：如何有效利用 test-time compute 来提升 reward 质量？
- 传统 RM（如 Bradley-Terry 模型）直接输出 scalar reward，无推理过程
- LLM-as-Judge 方法虽能生成解释，但推理能力受限于 prompt engineering
- RRM 的关键 insight：让 RM 自主学会何时以及如何进行推理，而非依赖外部模板
方法
Self-Evolved Reward Reasoning（自演化推理）
RRM 的核心创新是不需要显式的推理链标注数据，而是通过 RL 让模型自主发展推理能力：
- 无需推理蒸馏：与 RM-R1 不同，RRM 不从强模型蒸馏推理链，而是让模型通过 RL 自发学会推理
- Reward 信号：基于最终判断的正确性提供 reward，推理过程由模型自由探索
- 自适应推理深度：模型学会对简单问题快速判断，对复杂问题进行更深入推理
训练框架
- 基于 RL 的端到端训练
- 模型生成 CoT 推理 + 最终 reward
- 只对最终 reward 的正确性进行奖励/惩罚
- 推理过程作为 latent variable 自由演化
Test-Time Compute Scaling
RRM 的关键特性：可以通过增加推理时间（更长的推理链）来自适应提升 reward 准确性：
- 简单样本：短推理链即可准确判断
- 困难样本：模型自动生成更长、更细致的推理
关键结果
| 模型 | 规模 | 表现 |
|---|---|---|
| RRM-7B | 8B | 在多个 benchmark 上超越同规模基线 |
| RRM-32B | 33B | 跨领域 SOTA |
关键发现：
- 纯 RL 训练即可涌现出高质量推理能力，无需蒸馏
- Test-time compute scaling 持续有效
- 在 diverse domains（数学、代码、对话等）均表现优异
RM-R1 vs RRM 对比
| 维度 | RM-R1 | RRM |
|---|---|---|
| 推理来源 | 蒸馏 + RL 微调 | 纯 RL 自演化 |
| 是否需要推理标注 | 需要（从 Oracle 合成） | 不需要 |
| 推理结构 | Chain-of-Rubrics（结构化） | 自由形式 CoT |
| 核心优势 | 推理结构可控、可解释 | 训练更简洁，无需强模型蒸馏 |
总结
RRM 证明了一个重要发现：reward reasoning 能力可以通过纯 RL 自演化涌现，不一定需要推理链的蒸馏。这与 DeepSeek-R1 在推理模型上的发现一致 —— RL 可以激发模型的内在推理潜力。从实用角度看，RRM 的训练流程更简洁（无需 Oracle 模型生成蒸馏数据），但可能在推理可控性上不如 RM-R1 的结构化 CoR。
🔗 相关论文
基于/改进自： —