LiFT: Leveraging Human Feedback for Text-to-Video Model Alignment

LiFT

📌 核心贡献

提出首个利用视频人类反馈对齐 T2V 模型的完整流水线：构建包含约 10K 带评分与理由的人工标注数据集 LiFT-HRA，训练可解释的奖励模型 LiFT-Critic（基于 VILA），并通过奖励加权似然最大化微调 CogVideoX-2B，使其在 VBench 全部 16 项指标上超越更大的 CogVideoX-5B。

📖 摘要

Recent Text-to-Video (T2V) generation models still face challenges such as artifacts, misalignment with semantic requirements, and unnatural motion. We introduce LiFT, a novel fine-tuning pipeline that leverages human feedback for T2V model alignment through three key stages: (1) Human Feedback Collection: we construct LiFT-HRA, a dataset of approximately 10K human annotations with both ratings and detailed reasoning across three dimensions—semantic consistency, motion smoothness, and video fidelity; (2) Reward Function Learning: we train LiFT-Critic, a reward model based on large multimedia model (VILA) that learns to predict both ratings and their underlying rationale; (3) T2V Model Alignment: we apply reward-weighted likelihood maximization to fine-tune the T2V model. When applied to CogVideoX-2B, the resulting model surpasses the larger CogVideoX-5B across all 16 metrics of the VBench benchmark.

🔍 关键信息

字段	内容
机构	Fudan University / Shanghai Academy of AI for Science / University of Adelaide
发表	2024-12-06
分类	cs.CV
链接	arXiv

📝 我的笔记

方法总览

核心问题/动机

现有视频生成模型仍存在伪影、语义不一致和不自然运动等问题。已有视频评估方法（如 T2VQA、VideoScore）存在两大局限：

1. 缺乏可解释性：仅学习评分数值，忽略评分背后的推理过程，无法捕获细腻的人类评判标准
2. 反馈指导缺失：利用视频人类反馈对齐 T2V 模型的方法尚属空白

LiFT 的核心论点：对齐 T2V 模型的关键在于构建评分 + 理由双信号的完整反馈流水线。

方法

阶段一：LiFT-HRA 数据集构建

• 规模：约 10K 人工标注样本（HuggingFace 上为 3,394 行 + 视频文件）
• 三个评估维度：
  • Semantic Consistency：视频与 prompt 的语义对齐程度
  • Motion Smoothness：运动连续性和帧间过渡流畅度
  • Video Fidelity：视觉质量、清晰度、无伪影
• 标注特色：每条标注不仅包含维度评分，还附带详细的评判理由（reasoning），增强模型的可解释性学习
• 视频分辨率至少 512×512，来源多样

阶段二：LiFT-Critic 奖励模型

• 基座：VILA（大规模多媒体模型），支持视频理解
• 模型规模：提供 13B 和 40B 两个版本（LoRA 微调）
• 训练目标：不仅预测评分，还学习生成评分理由，使模型捕获人类评判的深层逻辑
• 训练硬件：8×H100 (80GB)
• 与 VideoScore 的区别：VideoScore 仅学习数值评分，LiFT-Critic 同时学习 rating + reasoning，提升可解释性和鲁棒性

阶段三：T2V 模型对齐

使用奖励加权似然最大化（Reward-Weighted Likelihood Maximization）微调 T2V 模型：

LiFT-Critic 对生成视频评分后，以奖励值加权训练损失，使模型偏向生成高奖励样本。该方法与 RLHF 中的 RWR（Reward-Weighted Regression）思路一致：

$\mathcal{L}=\mathbb{E}\left[w(r)\cdot {\mathcal{L}}_{\text{gen}}(\theta )\right]$

其中 $w(r)$ 为基于奖励的权重函数，${\mathcal{L}}_{\text{gen}}$ 为生成模型的标准训练损失。

额外使用 VIDGEN-1M 数据集的 1K 子集进行补充训练。

关键结果

VBench 全面超越

微调后的 CogVideoX-2B 在 VBench 的全部 16 项指标上超越更大的 CogVideoX-5B：

对比	结果
CogVideoX-2B (原始)	基线
CogVideoX-5B	更大模型但对齐不足
CogVideoX-2B + LiFT	全部 16 项指标超越 5B

这一结果表明，通过人类反馈对齐，小模型可以全面超越大模型，验证了 alignment 的重要性。

总结

LiFT 的核心价值在于提出了评分 + 理由的双信号反馈范式。与 VideoScore 仅学习数值相比，LiFT-Critic 同时学习评判理由，理论上可以更好地泛化到新场景。但 10K 规模的数据集相对较小（VideoFeedback 37.6K，VisionReward 81K），且在 VideoAlign 的 benchmark 上 LiFT 仅达 39% 的偏好预测精度，说明在 pairwise 偏好判断上仍有提升空间。CogVideoX-2B 超越 5B 的结果虽亮眼，但缺乏与其他对齐方法（如 DPO）的直接对比。

🔗 相关论文

同方向： VideoScore, VisionReward, VideoAlign