大規模視覚言語モデルを用いた日常生活動画からのイベント中心知識グラフ生成

【背景と目的】本研究では，大規模視覚言語モデル（LargeVision-LanguageModel,LVLM）と大規模言語モデル（LargeLanguageModel,LLM）を連携させ，日常生活動画からイベント中心知識グラフを自動生成する手法を提案する．【手法】まず，動画を短時間クリップに分割し，LVLMを用いて箇条書き形式のキャプションを生成する．次に，LLMを用いてキャプションからトリプルを抽出し，行動情報を構造化する．抽出したトリプルに対して，VirtualHomeの語彙に基づく語彙制約と埋め込み類似度により動作語・物体語を補正する．さらに，不自然行動や重複行動の削除などのルールベース処理，およびLLMにより時系列整合性を検証し，イベント列を洗練する．【結果と考察】VDActに含まれる1,000本の動画を対象に評価実験を実施した．その結果，提案手法はトリプル抽出精度，イベント順序整合性においてベースライン手法を上回り，その有効性が示された．