大規模言語モデルによるイベント知識グラフからのマルチターンfew-shot実況生成手法の検討

様々な自然言語処理タスクでの活用可能性から，大規模言語モデルに対する研究が盛んに取り組まれている[1,2,3,4,5,6,7,8]．特に最近では，一層の活用範囲拡大のため，自然言語テキスト以外の形式のデータを扱う能力を兼ね備えたマルチモーダル大規模言語モデルの開発が試みられている[9]．実世界にはソースコードのリポジトリやウェブページのDOMツリー，専門知識データベースといった，グラフ構造で表現される情報が多数存在する．高いグラフ理解能力を兼ね備えた大規模言語モデルの実現は，これらの情報の利活用のために重要である．言語モデルでグラフを扱う研究も取り組まれているものの，言語モデルに比べてグラフエンコーダーの学習データ規模が限られていたり[10]，グラフ構造を直接扱わず画像として解釈する[9]な1）https://kirt.airc.aist.go.jp/corpus/ja/VirtualHomeCommentaryど，未だ発展途上である．本研究ではグラフからのテキスト生成タスク手法の検討を行うことで，グラフ情報のより高度な理解能力を兼ね備えた大規模言語モデル実現への足掛かりとする．また我々は，仮想空間上でシミュレートされたCG動画と動画中に発生したイベントを表現するイベント知識グラフからなる既存データセット[11]に，動画内容を説明する実況音声とその文字起こしテキスト，並びにその動画の概要テキストを新たに付与することで，動画，グラフ，音声，テキストの4種の形式のデータを備えるマルチモーダル動画実況データセットを構成した．本研究ではこのうちイベント知識グラフと実況の文字起こしテキストを用いて，グラフからの実況テキスト生成タスクに取り組む．本研究ではグラフからの実況テキスト生成をマルチターン形式のタスクとして定義し，これを解くための大規模言語モデルによるマルチターン実況テキスト生成手法を提案する．言語モデルでのグラフ情報の利用のため，グラフをテキスト形式へ変形[12]し，few-shotプロンプトで入力を構成する．実験では与えるイベント情報の詳細化によりBLEUスコアの向上を確認した一方で，言語モデルの最大系列長制限からイベント知識グラフ中の一部の情報のみの利用に留めなければならず，オブジェクト間の位置関係のような，実況アノテーション上で言及されることがある情報を入力に含められなかった．