本研究ではイベント知識グラフからの実況テキスト生成に取り組む．タスク設定はシナリオの進行に合わせて実況を生成できるようマルチターン形式で定義する．グラフ情報はテキスト形式へ変形し，大規模言語モデルを用いてfew-shotプロンプトによる生成を行う．また，我々は既存のイベント知識グラフを備えた動画データセットに対して，日本語の実況音声とテキストを新たに付与することで4種のデータ形式を備える動画実況データセットを構成し実験に利用した．結果として，詳細なグラフ情報の利用によりBLEUスコアの向上を確認したものの，言語モデルの最大系列長制限のため正解実況で言及されることのある情報の一部は入力中に含められなかった．データセットは一般公開されている．1）

様々な自然言語処理タスクでの活用可能性から，大規模言語モデルに対する研究が盛んに取り組まれている[1,2,3,4,5,6,7,8]．特に最近では，一層の活用範囲拡大のため，自然言語テキスト以外の形式のデータを扱う能力を兼ね備えたマルチモーダル大規模言語モデルの開発が試みられている[9]．実世界にはソースコードのリポジトリやウェブページのDOMツリー，専門知識データベースといった，グラフ構造で表現される情報が多数存在する．高いグラフ理解能力を兼ね備えた大規模言語モデルの実現は，これらの情報の利活用のために重要である．言語モデルでグラフを扱う研究も取り組まれているものの，言語モデルに比べてグラフエンコーダーの学習データ規模が限られていたり[10]，グラフ構造を直接扱わず画像として解釈する[9]な1）https://kirt.airc.aist.go.jp/corpus/ja/VirtualHomeCommentaryど，未だ発展途上である．本研究ではグラフからのテキスト生成タスク手法の検討を行うことで，グラフ情報のより高度な理解能力を兼ね備えた大規模言語モデル実現への足掛かりとする．また我々は，仮想空間上でシミュレートされたCG動画と動画中に発生したイベントを表現するイベント知識グラフからなる既存データセット[11]に，動画内容を説明する実況音声とその文字起こしテキスト，並びにその動画の概要テキストを新たに付与することで，動画，グラフ，音声，テキストの4種の形式のデータを備えるマルチモーダル動画実況データセットを構成した．本研究ではこのうちイベント知識グラフと実況の文字起こしテキストを用いて，グラフからの実況テキスト生成タスクに取り組む．本研究ではグラフからの実況テキスト生成をマルチターン形式のタスクとして定義し，これを解くための大規模言語モデルによるマルチターン実況テキスト生成手法を提案する．言語モデルでのグラフ情報の利用のため，グラフをテキスト形式へ変形[12]し，few-shotプロンプトで入力を構成する．実験では与えるイベント情報の詳細化によりBLEUスコアの向上を確認した一方で，言語モデルの最大系列長制限からイベント知識グラフ中の一部の情報のみの利用に留めなければならず，オブジェクト間の位置関係のような，実況アノテーション上で言及されることがある情報を入力に含められなかった．