大規模視覚言語モデルを用いた日常生活動画からのイベント中心知識グラフ生成

動画理解は監視，HCI，医療，教育など幅広い分野で重要視されている[1,2]．動画には膨大な視覚・時間情報が含まれるが，生のデータ形式ではコンピュータによる高度な意味処理が困難である．そのため，人，物体，および行動の相互関係を構造的に表現する枠組みが求められている．動画情報を構造化することにより，対象の意図推定や因果関係の把握が可能となり，VideoQA，行動予測，動画検索などの高度なタスクへの応用が期待される．動画の構造的表現手法として，シーングラフ，知識グラフ（KnowledgeGraph,KG）が提案されている[3,4]．これらの手法は物体間の空間的な関係表現に優れる一方で，イベント間の時間的・因果的な関係を記述する能力には限界がある．特に，複数のイベントが連続的かつ並行的に発生する日常生活動画においては，イベント単位での関係抽出は依然として困難な課題である．一方，近年の大規模視覚言語モデル（LargeVision-LanguageModel,LVLM）の発展により，動画キャプション生成の精度が向上している[5,6,7]．その結果，自然言語による記述を基点とした知識グラフ構築は，実用可能な段階に達しつつある．本研究では，家庭シミュレータVirtualHome[8]から得られた日常生活動画を対象とし，LVLMと大規模言語モデル（LargeLanguageModel,LLM）を連携させ，イベント中心知識グラフを自動生成する手法を提案する．提案手法の有効性を検証するため，日常生活動画データセットVDAct[9]に含まれる1,000本の動画を対象に評価実験を実施する．