大規模言語モデルからの知識抽出に基づく画像からのスクリプト予測の検討

画像からそれが示す場面で行われるスクリプト（典型的なイベント系列）を予測するタスクを提案する．画像が示す状況に対応したスクリプトを想起することにより，エージェントが状況に応じた適切な行動理解や支援を行うことが期待できる．本稿では，画像からのスクリプト予測の第一歩として少数の画像にアノテーションを付与し，その要件と課題の整理を行う．また，学習済みの視覚言語モデルと大規模言語モデルを組み合わせることによる画像からのスクリプト予測の可能性を検討する．