知識グラフの反復的な探索による画像の詳細な説明文の生成

大規模視覚言語モデル(LVLM)[1,2,3]は画像に基づく文章生成や視覚質問応答において高い性能を示しており[4,5,6]，その一つに，画像を詳細に説明する説明生成能力がある．このような場面において，LVLMは単に画像に含まれる人物や物体を認識するだけではなく，それを認識した対象の周辺知識と結びつけることが求められる．しかし，LVLMは認識した対象に関連するエンティティ間の事実関係を網羅的かつ正確に説明することが困難であることが指摘されている[7]．このようなLVLMの限界を補う実用的な手法として，外部知識を利用する検索拡張生成(RAG)[8]が挙げられる．この枠組みは，検索された信頼性の高い外部情報を手掛かりに回答を生成することで，幻覚を抑制し，モデルに詳細な知識を補完することを可能にする．特に，エンティティ間の複雑な事実関係を網羅的かつ正確に扱う上では，体系的な構造を持つ知識グラフを活用し，エンティティ間の事実関係を明示的に与える手法が有効である．追加学習を行わずにモデルの知識を拡張できる一方で，知識グラフを利用した既存の手法は探索の深さや反復回数を固定的に設定しており，探索が浅ければ情報不足に，深ければ探索コストの増加につながるというトレードオフが存在する[9]．そのため，有用な事実関係を効率的に検索し，説明生成に適切に利用するための汎用的な枠組みは十分に整理されていない．本研究では，LVLMによる画像の詳細な説明生成を目的として，生成回答に対する大規模言語モデル(LLM)[10,11,12,13]による正誤判定[14]を導入し，その判定に基づいて知識グラフを動的に探索し回答を再生成する反復RAG枠組みを提案する．加えて，主要な画像とそのエンティティが一対一に定まる芸術作品ドメインを対象とした，LVLMの知識を拡張するための知識グラフ（ExpArt-KG)を構築する．提案手法とExpArt-KGを用いた際のLVLMの説明生成能力を複数観点の評価尺度により評価した結果，回答生成の反復により知識グラフが効率的に探索され，説明文の詳細度が向上することを確認した．また，正誤判定に基づく反復制御により，固定回数の反復と同水準の生成品質を維持しつつ，外部知識の検索コストを削減できることを示した．