大規模視覚言語モデル内部における

大規模視覚言語モデル（LVLM）は高いダイアグラム理解性能を示すが，ノードと有向エッジで表される要素間の関係理解には課題がある．この根本的な原因を探るため，本研究では有向グラフに基づく合成ダイアグラムデータセットを構築し，モデルの内部表現をプロービングした．その結果，ノードの情報と大域的な構造的特徴は，視覚エンコーダの単一の隠れ状態にすでに線形に表現される一方で，エッジの情報は言語モデルのテキスト部分で初めて線形に表現されることを明らかにした．この知見は，線形分離可能な表現の形成段階が視覚情報の種類ごとに異なることを示唆し，LVLMが要素間の関係理解に苦戦する理由を説明する一助になりうる．