OmniGen2
📌 核心贡献
VLM出hidden state，丢弃image token，只用text token，DiT用VAE，直接把MLLM VAE noise feature拼接一起后过DiT，DiT-4B， VLM-3B；提出Omni-ROPE（似乎和Qwen-mROPE没差）；训练策略：阶段1-DiT从头训，VLM锁住，除了
token；阶段2-reflection stage,全部打开；一些实验结论：1）发现query-based压缩方案对于长序列文本条件不友好；2）基于OmniGen，发现换更好的LLM生成指令不一定变好；3）尝试用MOE分别route图像和文本，发现图像分支用文本分支初始化，效果甚至比随机初始化差；
📖 摘要
VLM出hidden state，丢弃image token，只用text token，DiT用VAE，直接把MLLM VAE noise feature拼接一起后过DiT，DiT-4B， VLM-3B；提出Omni-ROPE（似乎和Qwen-mROPE没差）；训练策略：阶段1-DiT从头训，VLM锁住，除了token；阶段2-reflection stage,全部打开；一些实验结论：1）发现query-based压缩方案对于长序列文本条件不友好；2）基于OmniGen，发现换更好的LLM生成指令不一定变好；3）尝试用MOE分别route图像和文本，发现图像分支用文本分支初始化，效果甚至比随机初始化差；
🔍 关键信息
| 字段 | 内容 |
|---|---|
| 机构 | BAAI |
| 发表 | 2026-03 |
| 分类 | |
| 链接 | arXiv |