T2I-R1
📌 核心贡献
首次将双层链式思维（CoT）推理引入自回归图像生成，提出 BiCoT-GRPO 算法协同优化语义级推理（高层构图规划）和 Token 级推理（像素级生成），通过集成多种生成奖励模型实现强化学习训练，在 T2I-CompBench 上提升 13%，WISE 基准提升 19%，超越 FLUX.1。
📖 摘要
Recent advancements in large language models (LLMs) have demonstrated the potential of chain-of-thought (CoT) reasoning in enhancing model performance. However, the application of CoT reasoning in visual generation remains largely unexplored. In this paper, we investigate CoT reasoning in autoregressive (AR) image generation and identify two distinct levels of reasoning: semantic-level CoT, which involves high-level planning for image composition, and token-level CoT, which handles fine-grained visual token prediction. We propose T2I-R1, a novel framework that leverages collaborative semantic-level and token-level CoT for text-to-image generation. Our approach introduces BiCoT-GRPO, a reinforcement learning algorithm that jointly optimizes both reasoning levels through an ensemble of generation rewards. Experiments show that T2I-R1 achieves a 13% improvement on T2I-CompBench and a 19% improvement on the WISE benchmark compared to the base model, outperforming FLUX.1 in compositional generation.
🔍 关键信息
| 字段 | 内容 |
|---|---|
| 机构 | CUHK MMLab / Shanghai AI Laboratory |
| 发表 | 2025-05-01 |
| 分类 | cs.CV, cs.AI, cs.CL, cs.LG |
| 链接 | arXiv |
📝 我的笔记
动机与问题
大语言模型中的 CoT 推理已被证明能提升复杂任务性能，但在视觉生成领域尚未被充分探索。自回归（AR）图像生成模型（如 Janus-Pro）具有与 LLM 相似的序列生成范式，天然适合引入 CoT 推理。关键问题是如何在图像生成中定义和利用 CoT。
核心方法
1. 双层 CoT 框架
论文识别了 AR 图像生成中两个层次的推理：
-
语义级 CoT（Semantic-level CoT）：在生成图像之前，先用文本形式推理图像的全局结构、物体布局和场景构成。通过指令提示让模型在生成图像 token 之前先”思考”要生成什么。这将提示词理解与像素合成解耦，使模型能先规划再执行。
-
Token 级 CoT（Token-level CoT）：逐 patch 生成过程本身就是一种推理，每个图像 token 基于前面所有 token 的条件生成，维护视觉连贯性。
2. BiCoT-GRPO 算法
扩展 GRPO 来联合优化双层 CoT：
- 对每个提示词，生成语义级 CoT 文本 + 条件图像
- 使用集成奖励评估生成的图像
- 根据 token 位置区分语义 token 和图像 token，分别计算策略比率
- 通过组内归一化优势和裁剪目标更新策略
3. 集成奖励设计
四种互补奖励模型组合，防止对单一奖励过拟合：
| 奖励模型 | 评估维度 |
|---|---|
| HPS（Human Preference Score） | 美学质量 + 提示词对齐 |
| GroundingDINO | 物体存在性、空间关系、数量 |
| VQA（视觉问答） | 物体属性验证 |
| Output Reward Model | 整体提示词-图像对齐 |
最终奖励取四个模型的平均值。
关键实验结果
T2I-CompBench 基准（基于 Janus-Pro）：
| 指标 | Baseline | T2I-R1 |
|---|---|---|
| Attribute Binding | 0.636 | 0.813 |
| Color | 0.353 | 0.585 |
| Shape | 0.494 | 0.724 |
| Texture | 0.206 | 0.338 |
| Spatial | 0.309 | 0.309 |
| Complex | 0.356 | 0.399 |
整体提升约 13%。
WISE 基准：
| 模型 | Overall |
|---|---|
| Janus-Pro (Baseline) | 0.35 |
| FLUX.1-dev | 0.50 |
| T2I-R1 | 0.54 |
提升 19%，超越 FLUX.1-dev。
Ablation 分析：
| 配置 | Color (T2I-CompBench) | Culture (WISE) |
|---|---|---|
| Baseline | 0.353 | 0.30 |
| Token-level CoT only | 0.568 | 0.49 |
| Semantic-level CoT only | 0.585 | 0.35 |
| Both (T2I-R1) | 0.585 | 0.56 |
语义级 CoT 显著提升多样性（Vendi Score: 8.203 vs 6.255）。两种 CoT 具有互补性，组合效果优于单独使用。
总结
T2I-R1 将 LLM 领域的 CoT 推理成功迁移到 AR 图像生成，核心洞察是图像生成可以在两个层次上进行推理：全局规划和局部生成。BiCoT-GRPO 通过集成多种奖励避免了单一奖励的过拟合问题。在组合性生成任务上超越了 FLUX.1 等强基线，展示了 AR 图像生成通过推理增强的巨大潜力。
🔗 相关论文
基于/改进自： DanceGRPO
同方向： DDPO