AIMv2
📌 核心贡献
引入了 Prefix Attention, 并且后接了llm decoder同时做caption+预测图像patch（重建），这使得模型不仅学会了“画图”，还学会了“看图说话”。在 ImageNet-1k 上的 Linear Probe 准确率达到了 89.5%
📖 摘要
引入了 Prefix Attention, 并且后接了llm decoder同时做caption+预测图像patch（重建），这使得模型不仅学会了“画图”，还学会了“看图说话”。在 ImageNet-1k 上的 Linear Probe 准确率达到了 89.5%
🔍 关键信息
| 字段 | 内容 |
|---|---|
| 机构 | |
| 发表 | 2024-11-21 |
| 分类 | cs.CV, cs.LG |
| 链接 | arXiv |
📝 我的笔记
🔗 相关论文
基于/改进自： CLIP, DINO 对比基线： CLIP, DINOv2 同方向： InternVL, SigLIP2, DINOv2