TokLIP
📌 核心贡献
TokLIP通过语义化VQ视觉token，并整合CLIP高级语义，解决了现有token化多模态模型训练成本高、理解力不足的问题。其方法创新在于将视觉token与CLIP结合，实现了端到端多模态自回归训练，显著提升了多模态的理解与生成能力。
📖 摘要
解决两个一起优化存在的冲突问题，串联方案（可以认为是离散版的Tuna）；方法：先离散再提取语义：加载预训练VQGAN进行离散化，通过MLP投影到CLIP初始化的token encoder层，使用蒸馏和对比学习优化MLP和token encoder（casual attn）；VQ: IBQ 260k
🔍 关键信息
| 字段 | 内容 |
|---|---|
| 机构 | Tecent ARC Lab |
| 发表 | 2025-05-08 |
| 分类 | cs.CV, cs.AI, cs.CL |
| 链接 | arXiv |
📝 我的笔记
🔗 相关论文
基于/改进自： VQGAN, CLIP 对比基线： VQGAN, CLIP, DINOv2 同方向： TokenFlow, UniTok, QLIP, MUSE-VL