Unitok
📌 核心贡献
这篇论文提出了一种统一的视觉Tokenizer，旨在解决视觉生成（VQVAE）和理解（CLIP）模型各自使用不同编码器的问题。其核心创新在于成功化解了将VQVAE和CLIP训练目标直接结合时产生的严重损失冲突，从而实现了视觉生成与理解的统一框架。
📖 摘要
对比学习和重建一起训：两个loss=1:1，batch size=16k，词表大小=4k；提出multi- codebook quantization：64-d channel维度分8个chunk，分别对应一个codebook；但是没有公平对比他和RQVAE的性能差别！
🔍 关键信息
| 字段 | 内容 |
|---|---|
| 机构 | 港大，字节 |
| 发表 | 2025-02-27 |
| 分类 | cs.CV, cs.AI |
| 链接 | arXiv |
📝 我的笔记
🔗 相关论文
基于/改进自： VQGAN, FSQ 对比基线： VQGAN, FSQ, ViT-VQGAN 同方向： TokenFlow, TokLIP, UniFlow, AToken