Rethinking Rubric Generation for Improving LLM Judge and Reward Modeling for Open-ended Tasks

RRD

📌 核心贡献

提出 Recursive Rubric Decomposition（RRD）框架，通过递归分解、对齐过滤和相关感知加权三步改进 rubric 质量，在 JudgeBench 上为 GPT-4o 带来 +17.7 的准确率提升，并在 RFT 训练中实现最高 160% 的 reward 提升。

📖 摘要

The researchers address challenges in rubric generation for LLM judges, proposing RRD — a framework that iteratively refines rubrics through decomposition and filtering. Key improvements include: decomposes coarse rubrics into fine-grained, discriminative criteria, expanding coverage while sharpening separation between responses. The method removes misaligned criteria and prevents redundancy through correlation-aware weighting. Results demonstrate substantial gains in judge accuracy across benchmarks (up to +17.7 points on JudgeBench) and reward modeling performance for reinforcement fine-tuning (boosts up to 160% for some models).

🔍 关键信息

字段	内容
机构	Meta Superintelligence Labs
发表	2026-02-04
分类	cs.LG, cs.AI
链接	arXiv

📝 我的笔记

方法总览

核心问题/动机

RaR 证明了 rubric-based reward 的有效性，但 rubric 的生成质量本身是瓶颈。论文揭示了一个反直觉的发现：naive rubric 生成会严重损害 judge 表现——在 JudgeBench 上，rubric 使 GPT-4o 的判断准确率从 55.6% 下降到 42.9%，比不用 rubric 还差 13 个百分点。

问题根源：

1. 覆盖度不足：粗粒度 rubric 遗漏关键评估维度
2. 对齐偏差：部分 rubric 偏好弱模型输出（方向错误）
3. 冗余/相关性：高度相关的 rubric 项导致某些维度被过度加权

方法

Stage I: 初始 Rubric 生成

用 LLM 基于 task prompt 和 8 个采样 response 生成候选 rubric。

Stage II: 递归分解与过滤

递归分解：对被多数 response（>2 个）满足的 rubric 进行细化分解——如果一个评估项无法区分不同质量的 response，说明粒度不够：

• 将粗粒度项分解为更细的子维度
• 迭代进行，直到超过 rejection 阈值（N=15 次连续拒绝）

对齐过滤：移除偏好方向错误的 rubric（即偏好弱模型输出的项）。

去冗余过滤：消除实质重叠的 rubric 项。

Stage III: 相关感知加权

核心理论贡献——用**白化均匀权重（Whitened Uniform, WU）**解决 rubric 间相关性问题：

$w_{\text{WU}}\propto {\Sigma }^{-1/2}1$

理论基础：误分类概率上界为：

$\mathbb{P}(\hat{Y}\ne Y)\le \exp \left(-\frac{1}{2}\min \left\{\frac{{\Delta }_m^2}{V_m(+1)},\frac{{\Delta }_m^2}{V_m(-1)}\right\}\right)$

其中 ${\Delta }_m={\mathbf{w}}^T\mathbf{\mu }$（信号强度），$V_m={\mathbf{w}}^T\Sigma \mathbf{w}$（加权残差方差）。

最优化目标为信噪比最大化：

$\Xi =\frac{({\mathbf{w}}^T\mathbf{\mu }{)}^2}{{\mathbf{w}}^T\Sigma \mathbf{w}}$

WU 权重不需要标注偏好数据，仅需 rubric 评分的协方差矩阵。

RFT 训练

使用 Dr.GRPO（修正了标准 GRPO 中 token 聚合偏差和 per-question 归一化问题）：

• 数据：4K WildChat 英文 prompts
• 模型：Qwen3-4B / Llama3.1-8B
• Rollouts：每 prompt 8 个
• Reward 由 GPT-OSS-120B 判定 rubric 满足情况

关键结果

Judge 准确率

模型	基线	+ RRD_WU	提升
GPT-4o (JudgeBench)	55.6%	73.3%	+17.7
Llama3.1-405B (JudgeBench)	57.4%	64.8%	+7.4
GPT-4o (PPE)	67.1%	73.7%	+6.6
Llama3.1-405B (PPE)	66.9%	70.9%	+4.0

RFT 训练效果

模型	RRD_WU Reward 提升	基线方法提升
Qwen3-4B	150-160%	~10-20%
Llama3.1-8B	55-60%	~10-20%

下游评估

Benchmark	Qwen3-4B (base → RRD)	Llama3.1-8B (base → RRD)
BiGGen Bench	77.9% → 82.8%	67.0% → 71.1%
HealthBench-Hard	+5.8 overall	—

总结

RRD 的核心洞察是：rubric 质量比 rubric 数量更重要，naive rubric 甚至会起反作用。三步式改进（分解→过滤→加权）系统性地解决了覆盖度、对齐性和冗余性问题。白化均匀权重是优雅的理论贡献——不需要额外标注数据，仅通过 rubric 评分的协方差结构即可推导最优权重。

与 Rubric-ARM 形成互补视角：RRD 聚焦 rubric 本身的结构质量，Rubric-ARM 聚焦 rubric 与 judge 的联合优化。

🔗 相关论文

基于/改进自： RaR

同方向： Rubric-ARM, RuscaRL, Checklists, R3, RM-R1