長尺動画生成タスクにおけるメタ評価ベンチマーク

映画やテレビドラマなど，私たちが日常的に消費する動画コンテンツの多くは，数十分から数時間に及ぶ長尺なものである．一方で，近年のテキストからの動画生成（T2V）モデルの進展[1,2]は目覚ましいものの，その出力は依然として数秒から数十秒程度に限られている．これに対し，理論上任意の長さの動画を生成可能なT2Vモデル[3,4]も登場しており，テキストからの長尺動画生成（T2LV）モデルは次なるフロンティアとして注目されている．T2LVモデルの研究開発を進める上で，その性能を正しく測る自動評価システムの確立は不可欠である．既存研究では，VideoScore[5]などの自動評価指標が提案されている．しかし，これらは最大数十秒の短尺動画向けに設計されており，長尺動画に対する評価能力は未知数である．また，評価システム自体の性能を測るためのメタ評価用データセットも公開されている（VBench[6]，UVE[7]）．これらについても短尺動画のみを対象としており，文脈理解や時間的一貫性が重要となる長尺動画特有の観点についてメタ評価を行うことは困難である．本研究では，T2LVの評価システムをメタ評価するための新たなベンチマークSLVMEvalを提案する特定観点を合成劣化