LaViT
📌 核心贡献
本文提出了LAViTeR，一种新颖的视觉和文本表征学习架构。其核心创新在于视觉文本对齐（VTA）模块，并辅以生成对抗网络（GAN）图像合成和图像描述这两个辅助任务，以学习更一致的跨模态表征。
📖 摘要
视觉词表：语义编码器+diffusion，动态token数，重建质量差；连续输入离散输出；
🔍 关键信息
| 字段 | 内容 |
|---|---|
| 机构 | pku |
| 发表 | 2021-09-04 |
| 分类 | cs.CV, cs.AI, cs.CL |
| 链接 | arXiv |
📝 我的笔记
🔗 相关论文
同方向： CLIP
本文提出了LAViTeR，一种新颖的视觉和文本表征学习架构。其核心创新在于视觉文本对齐（VTA）模块，并辅以生成对抗网络（GAN）图像合成和图像描述这两个辅助任务，以学习更一致的跨模态表征。
视觉词表：语义编码器+diffusion，动态token数，重建质量差；连续输入离散输出；
| 字段 | 内容 |
|---|---|
| 机构 | pku |
| 发表 | 2021-09-04 |
| 分类 | cs.CV, cs.AI, cs.CL |
| 链接 | arXiv |
同方向： CLIP