QLIP
📌 核心贡献
本文提出QLIP，一种动态四叉树视觉先验，能在不重新训练多模态大语言模型（MLLM）的情况下提升其性能。该方法创新性地解决了现有视觉编码器（如CLIP）在处理固定输入分辨率和适应不同对象尺度方面的局限性。通过灵活的视觉编码，QLIP显著增强了MLLM的跨模态理解能力。
📖 摘要
对比学习和重建一起训，问题：对比学习需要大bs，重建需要很多显存，所以一般小bs；方法：两阶段训练：stage1-所有模块都打开，对比学习和重建(只用MSE，因为GAN和lpips占的显存陡增)一起训；stage2-只打开quantizer+decoder，重建的所有loss都加上；VQ: BSQ，vision encoder用CLIP或者MIM初始化（CLIP需要30-50B samples训练，加载预训练大概4B samples就收敛了）；实验结论：1）对比：重建=1:1000的权重的效果最平衡；2）用MIM初始化比用CLIP初始化vision encoder的重建效果略好；3）理解性能：llava1.5 setting下离散的比连续的平均差1个点；4）unified model最后coco上的FID有44，不知道为什么…
🔍 关键信息
| 字段 | 内容 |
|---|---|
| 机构 | NIVDIA |
| 发表 | 2025-05-29 |
| 分类 | cs.LG |
| 链接 | arXiv |
📝 我的笔记
🔗 相关论文
基于/改进自： VQGAN, CLIP 对比基线： VQGAN, CLIP, FSQ 同方向： TokenFlow, TokLIP, UniTok