動画生成モデルの評価システム自体の性能をメタ評価するためのベンチマークSLVMEvalを提案する．SLVMEvalは合成的に構築された，高品質動画と低品質動画のペアからなる．これらの動画は平均約19分，最大約3時間の長尺動画となっている．評価システムは，与えられた動画ペアのどちらが高品質であるかを識別できる割合（正解率）によって評価される．実験の結果，既存の自動評価システムは10観点中9観点で人間の正解率に及ばず，特にプロンプトと動画の一貫性に関する観点で性能が著しく低いことを明らかにした．

映画やテレビドラマなど，私たちが日常的に消費する動画コンテンツの多くは，数十分から数時間に及ぶ長尺なものである．一方で，近年のテキストからの動画生成（T2V）モデルの進展[1,2]は目覚ましいものの，その出力は依然として数秒から数十秒程度に限られている．これに対し，理論上任意の長さの動画を生成可能なT2Vモデル[3,4]も登場しており，テキストからの長尺動画生成（T2LV）モデルは次なるフロンティアとして注目されている．T2LVモデルの研究開発を進める上で，その性能を正しく測る自動評価システムの確立は不可欠である．既存研究では，VideoScore[5]などの自動評価指標が提案されている．しかし，これらは最大数十秒の短尺動画向けに設計されており，長尺動画に対する評価能力は未知数である．また，評価システム自体の性能を測るためのメタ評価用データセットも公開されている（VBench[6]，UVE[7]）．これらについても短尺動画のみを対象としており，文脈理解や時間的一貫性が重要となる長尺動画特有の観点についてメタ評価を行うことは困難である．本研究では，T2LVの評価システムをメタ評価するための新たなベンチマークSLVMEvalを提案する特定観点を合成劣化