長尺動画生成タスクにおけるメタ評価ベンチマーク

動画生成モデルの評価システム自体の性能をメタ評価するためのベンチマークSLVMEvalを提案する．SLVMEvalは合成的に構築された，高品質動画と低品質動画のペアからなる．これらの動画は平均約19分，最大約3時間の長尺動画となっている．評価システムは，与えられた動画ペアのどちらが高品質であるかを識別できる割合（正解率）によって評価される．実験の結果，既存の自動評価システムは10観点中9観点で人間の正解率に及ばず，特にプロンプトと動画の一貫性に関する観点で性能が著しく低いことを明らかにした．