動画理解において、複数のイベントが関わり合うことで形成される動画全体のストーリー構造を理解する能力は必要不可欠である。しかし、視覚言語モデル(VisionandLanguageModel:VLM)の動画理解能力を測るために提案されたVideoQuestion-Answering(VQA)ベンチマークは、単一のイベント区間に対する単純な質問が多く、VLMのストーリー理解能力を十分に評価できていない。本研究では、動画中のイベント間に成り立つ談話関係を手がかりとして、ストーリー構造中の因果関係などの論理構造とその根拠を問うVQAベンチマークデータセットを構築した。我々のVQAベンチマークを用いて、最新のVLMであるGemini2.5Pro、InternVL3.5-Instruct(8Bおよび14B)、Qwen3-VL-Instruct(8Bおよび32B)を評価した結果、動画ストーリー理解にまだ改善の余地が残されていることが明らかとなった。

近年、視覚言語モデル(VisionandLanguageModel:VLM)の急速な発展により、計算機による動画理解能力は著しく進歩している[1,2,3]。VLMの能力を客観的に測るためのVideoQuestion-Answering(VQA)ベンチマークデータセットが整備されている[4,5]。しかし、これらのベンチマークは、数秒程度の短いクリップに対し「画面に何が映っているか(物体の同定)」や「どのような動作が行われているか(動作認識)」といった、局所的かつ表層的な事実を問う単純な質問で構成される[6,7]。一方、人が観ることを前提とした動画コンテンツには、「何か」を伝えるためのストーリーがある。つまり、動画中のイベント(動画中の区間)は個々に独立しているのではなく、それらが関わりを持つことでストーリーを形成する。こうした動画のストーリーをVLMが捉えるEvent2Event14Event15…Event1Question:Howarethemashedanchovies,capers,andmustardusedinthefinalsalad?Answer:Theyarethebaseforthedressing.Evidence:Event3Event14Event4ことができているかを客観的に評価することこそ、今後のVLMの発展の方向性を決めるうえで重要である。しかし、先に述べた既存のVQAベンチマークは、ストーリー理解能力を測るという観点では適しているとはいえない。本研究では、動画ストーリー理解のための枠組みである動画談話構造[8]に着目したVQAベンチマークデータセットを整備する。動画談話構造では、動画内の各イベントを談話の最小構成素とし、それらの間に成立する因果や条件といった論理的な関係を談話関係と呼ぶ。そして、隣接するイベント(区間)を談話関係を用いて再帰的に結びつけることで動画全体の木(談話構造木)を構成する。これにより、時間的に離れていてもイベントの間にどのような談話関係が成り立つかがわかる。本研究では、この談話構造木に基づき、複数のイベントにまたがる関係を問うVQAベンチマークデータセットを整備する。なお、VLMが談話構造を正しく捉えているならば、質問に対する回答だけでなく、その導出元となったイベント(談話の最小構成素)も正確に特定できるはずである。そこで本研究では、テキストによる質問と回答だけでなく、回答の根拠となったイベントも同時に提示することで、VLMが動画のストーリー構造をどの程度理解できているのか、その推論プロセスを含めて評価する。我々のVQAタスThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).連続な複数区間の参照が必要か否かを、TimeLabelsは回答の根拠となるシーンの時間情報の有無を示す。DatasetAvg.Duration(s)Open-EndedMulti-SpansTimeLabelsMovieQA211.4NExT-QA44Video-MME1017.9NExT-GQA39.5Ours105.4のサラダのドレッシングとして使われていることを捉えることが要求される。3.2ベンチマークデータセットベンチマークデータセットを整備するためには、動画に対する談話構造のアノテーションが必要となる。そこで、YouTubeの数分程度の動画に対して談話構造のアノテーションを与えたデータセットであるVideoDiscourseTreeBank(VDTB)[8]に収録されている1,050件の動画を対象として、マルチモーダル大規模言語モデルであるGemini2.5Proを用いることで自動的に質問、回答、根拠を生成する。VDTBでは、動画内のイベントを談話の最小単位と定義し、それらイベント間の意味的な結びつきをRhetoricalStructureTheory(RST)[20]に基づく木構造として表現している。このデータセットでは、テキストのRSTと同様に、イベントとそのスパンの役割を核と衛星とし、核と衛星が対となって出現する際には、衛星から核への修飾関係を因果や補足などの単核関係、核が対となって出現する際にはリストや対比などの多核関係でイベント(スパン)の修辞関係を表す。修辞関係は9種あり、イベント(スパン)を核と衛星に分類しつつ、それらの間の修辞関係を決定する手続きを再帰的に行うことで、動画のストーリーを木構造として表現する。動画と修辞構造のアノテーションをともにGeminiに与えることで、質問、回答、根拠のタプルを得る。具体的には、動画とイベント区間の開始・終了タイムスタンプ、イベント間の談話関係をGeminiに与え、回答の根拠となるイベント集合が、談話構造木上で連結した部分木を形成することや、イベント間の因果・条件・順序関係といった論理的なストーリー構造に基づく推論を必須とすることをプロンプトで指示し、質問、回答、根拠のタプルを生成する。(プロンプトの詳細は付録Aを参照)1動画あたり3つの質問、回答、根拠のタプルを生成させ、合計で3,150件(1,050×3)のタプルを得る。既存のVQAベンチマークとの比較を表1にまとめる。動画長がやや短いものの、動画中の不連続な複数区間を対象とした自由回答形式のQAであり、回答根拠となる区間を答えるという点で既存のVQAベンチマークデータセットとは異なる。4談話構造の有効性動画中の不連続な複数区間を参照しなければならない質問、回答、根拠区間のタプルを得ること自体は談話構造を用いずとも可能である。そこで、談話構造を用いることで質の高いデータセットを構築できるかどうかを検証する。4.1生成される回答と根拠前節のデータセット作成時に談話構造を与えずに生成した質問、回答、根拠のタプル(これを𝐷baseと呼ぶ)と談話構造を与えて生成した質問、回答、根拠のタプル(これを𝐷treeと呼ぶ)の違いを調べた。各動画から得た𝐷treeの3つの質問と𝐷baseの3つの質問の間の類似度をBERTScore[21]を用いて計算した後、割当問題を解くことで類似度が最大となる1対1のアラインメントを決定する。そして、動画全体で平均した値で𝐷treeと𝐷baseの類似性を評価する。根拠についても同様にアラインメントを決定し、動画全体で平均した値で類似性を評価するが、テキスト間の類似性ではなく集合間の類似性なのでJaccard係数を用いる。その結果、質問間の類似性に関してはBERTScoreが0.911であった。高い類似性を示しているが、質問文は同じ動画に対して生成されたものであることからある程度似ていること、つまり、共通の単語あるいは似た単語が利用されたことが原因と考える。一方、根拠間の類似性についてはJaccard係数が0.524であり、𝐷treeと𝐷baseの根拠となるイベントは半数程度が一致するレベルであり高いとは言えない。これらの結果は談話構造を与えてデータセットを構築すると、それがない場合とは異なる質問、回答、根拠が生成されることを示している。4.2データセットの整合性動画に対する質問、回答、根拠タプルの質(整合性)を評価するために、Liuら[22]が提唱するVideo-and-LanguageInference(VIOLIN)の枠組みを採org/licenses/by/4.0/).用した。VIOLINは、動画クリップ(Premise)が、動画内容に関する自然言語テキスト(Hypothesis)を含意(Entailment)するか否かを判定するタスクである。𝐷treeからランダムに抽出した100件に対し、以下の手順で評価を行った。(1)大規模言語モデル(LLM)を用いて質問と回答のペアを単一の平叙文に変換し、これを仮説とする。(2)根拠として選択されたタイムスタンプに基づいて動画を切り出し、これを前提とする。(3)最後に、この前提となる動画クリップと仮説テキストをGemini2.5Proに入力し、動画の内容が仮説を支持(含意)しているか否かを判定させる。𝐷baseも同様の手順で評価を行った。実験の結果、「含意」と判定された割合は𝐷baseが83％に対し、𝐷treeは92％と高い値を示した。動画中の不連続な複数区間を参照しなければならない質問、回答、根拠のタプルは談話構造を用いずとも得ることができる。しかし、これらの実験結果より、談話構造を利用することで、それを用いない場合とは異なる質問、回答、根拠のタプルが得られ、なおかつ、それらの信頼性が高いことが示唆された。5実験我々のVQAベンチマークデータセットを用い、最先端のVLMのストーリー理解力を評価した。5.1実験設定プロプライエタリモデルとしてGemini2.5Proを、オープンウェイトモデルとしてInternVL3.5-Instruct(8Bおよび14B)、Qwen3-VL-Instruct(8Bおよび32B)を対象とし、動画、質問、および候補となる全イベント区間(ID付き)を入力し、回答テキスト(自由形式)と根拠となるイベントIDを出力するよう指示する。そして、Yaoら[23]に倣い、質疑応答ペアの妥当性を双方向の含意関係（TextualEntailment）に基づき評価する。具体的には、まずLLMを用いて質問と回答のペアを平叙文(𝑆GT,𝑆PR)へと変換する。次に予測文𝑆PRと正解文𝑆GTの間の含意関係を判定し、以下のカテゴリに分類する。•Superior(Sup.):𝑆PR→𝑆GTかつ𝑆GT̸→𝑆PRが成立する場合。予測回答が正解の情報を包含し、かつ情報量において正解を上回る状態を指す。•Equivalent(Equ.):𝑆PR↔𝑆GTが成立する場合。予測と正解が意味的に等価である状態を指す。•Inferior/Invalid:𝑆PR̸→𝑆GTとなる場合。正解の情報が不足している状態や、内容が誤っているQAAcc.EventGroundingSup.Equ.Prec.Rec.F1EM(/3150)Gemini2.5Pro.170.395.769.626.690589InternVL3.5-8B.077.172.398.432.41458InternVL3.5-14B.073.184.442.385.41257Qwen3-VL-8B.067.241.487.596.536181Qwen3-VL-32B.132.247.542.565.553266状態を指す。平叙文への変換および含意関係の判定にはLLMを用いる。また、根拠選択（EventGrounding）の評価には、正解のイベント集合𝐸GTと予測イベント集合𝐸PRのF1スコア、および全イベントが一致した割合であるExactMatch(EM)を用いる。5.2結果と考察GeminiのSup.とEqu.の合計は約57%であり、InternVL3.5とQwen3-VLのそれはそれぞれ約25%、35%に留まった。根拠特定のF値は、Geminiは約70%、InternVL3.5が約41%、Qwen3-VLが約55%であった。オープンウェイトモデルを比較すると、Qwen3-VLが明らかに良いが、高いスコアとは言えず、Geminiとの差も非常に大きい。つまり、これらのモデルが動画のストーリーを理解できているとは言い難い。一方、Geminiは根拠特定において比較的高いスコア(69%)を達成しているものの、回答の正解率が57%程度であることを考えると、まだまだ改善の余地が残っていることを示唆する。最先端のプロプライエタリモデルであっても我々のVQAでは決して高いスコアを達成できていないことは、現状のVLMの事前学習では、動画ストーリーを理解することが困難であることが示唆される。6おわりに本研究では、動画のストーリー理解を評価するためのVQAベンチマークデータセットを構築した。既存のデータセットであるVDTBの談話構造情報を活用し、高度な推論を要するQAおよび回答根拠(Evidence)の整備をした。実験の結果、最新のVLMであっても、回答精度および根拠特定において依然として課題があることが明らかになった。org/licenses/by/4.0/).