知識グラフの反復的な探索による画像の詳細な説明文の生成

大規模視覚言語モデル（LVLM）は，画像に基づく文章生成や視覚質問応答において高い性能を示している．しかし，画像に含まれる対象に関連する実体や概念（エンティティ）間の事実関係を網羅的かつ正確に記述することは依然として困難である．本研究では，LVLMによる詳細かつ正確な画像説明生成を目的として，知識グラフから検索拡張生成（RAG）を用いて事実情報を効率的に利用する枠組みを提案する．具体的には，回答生成と知識グラフ検索を反復的に行い，正誤判定に基づいて探索を制御することで，必要十分な事実情報を効率よく取得する．また，画像とエンティティの対応関係が明確な芸術作品を対象とした知識グラフ（ExpArt-KG）を構築した．提案手法を構築した知識グラフに適用して実験を行った結果，提案手法により芸術作品における説明文の詳細度が向上し，固定回数の反復と同水準の生成品質を維持しつつ，外部知識の検索コストを削減できることが示された．