MUSE-VL
📌 核心贡献
MUSE-VL提出了一种通过语义离散编码的统一视觉语言模型，旨在解决现有视觉编码器（如VQGAN）仅关注低级信息，难以与语言对齐的问题。这种创新方法降低了训练复杂性和数据需求，显著提升了多模态理解和生成性能。
📖 摘要
架构：semantic encoder（锁住）+pixel encoder，两个特征拼接在一起后量化，后面分别接semantic decoder+pixel decoder；词表大小：16k
🔍 关键信息
| 字段 | 内容 |
|---|---|
| 机构 | ByteDance |
| 发表 | 2024-11-26 |
| 分类 | cs.CV |
| 链接 | arXiv |
📝 我的笔记
🔗 相关论文
基于/改进自： VQGAN, CLIP 对比基线： VQGAN, CLIP 同方向： TokenFlow, UniTok, TokLIP