大規模言語モデルからの知識抽出に基づく画像からのスクリプト予測の検討

人とAIが共存する社会の実現にあたり，ロボットなどのエージェントが場の状況に応じて適切に振る舞うことは重要である．人はある場面に遭遇した際，その場面に対応したスクリプト（典型的なイベント系列）[1]を想起することで現在の状況をスムーズに理解し，適切に振る舞える．例えば，レストランでは一般に席に案内され，料理を注文し食事後会計をすることが期待できる．従来スクリプトは文章の論理構造を補完するものとして言語に閉じて扱われてきた[2]．しかし，家庭用ロボットなどへの応用を考えれば，状況が詳細に文章で与えられなくとも，視覚などの外界の入力から直接スクリプトを想起し行動に移せることが望ましい．本稿では，画像からその場面に対応するスクリプト[1]を予測する視覚スクリプトモデルの検討を行う（図1）．スクリプト知識は宣言的知識と比較して構造があいまいであり，「レストランで食事を取る」といった典型的な状況であっても場面により多様なバリエーションを持つ．そのため，モデルの訓練のために幅広い場面に対するスクリプト知識を人手で検証2主役PresenterゴールMakeapresentation場所：conferencecenterスクリプト検証1•Connectyourlaptop•Themoderatorintroducesthebiographies•giveapresentationusingamicrophone•answerquestionsfromthelisteners•Disconnectthelaptop•Leavetheplatform網羅的に収集するのは現実的でない．そこで，本研究では大規模言語モデル[3]（LargeLanguageModel;LLM）から知識を抽出する方法を検討する．LLMは様々な常識推論タスクに回答できることが報告されており，典型的な状況におけるスクリプト知識をかなりの程度獲得していると思われる．画像中の状況をテキストで説明する視覚言語モデルと大規模言語モデルを組み合わせることにより画像とスクリプトを結び付けられれば，スケーラブルな形で訓練用のデータを収集できることが期待できる．本稿では，画像からのスクリプト予測の初期検討として少数の画像にアノテーションを付与し，視覚スクリプトモデルの実現のための課題と要件を整理する．また，学習済みの視覚言語モデルと大規模言語モデルを組み合わせることによる素朴なベースラインモデルを構築し，(i)画像およびゴールからのスクリプト予測(ii)画像からのゴール予測の2種類のタスクに関する予測結果の評価を行う．.