ダイアグラム理解に向けた大規模視覚言語モデルの内部表現の分析

ダイアグラムとは，複雑な概念や関係を図形や線，記号により視覚的に表現したものである[1]．フローチャートや概念マップといったダイアグラムは，教育[1]やビジネス[2]などの多岐にわたる分野で，効率的な情報伝達のために活用されている．そのため，ダイアグラムを理解できるAIモデルの実現は，教育における学習支援やビジネスにおける情報処理の効率化といった応用に繋がる．大規模視覚言語モデル（LVLM）は画像理解タスクにおいて顕著な成果を上げているが，ダイアグラムのような抽象的かつ構造的な画像の理解には限界がある．LVLMは，画像から視覚情報を抽出する画像エンコーダと，言語での推論を行う大規模言語モ大規模視覚言語モデル(LVLM)分類可視化ノードAの色は？大規模言語モデル(LLM)層ごとの正解率赤𝑳𝒂𝒚𝒆𝒓=𝟑𝟐…どの層でも赤𝑳𝒂𝒚𝒆𝒓=𝒍正解率が高い…𝑳𝒂𝒚𝒆𝒓=𝟎緑パッチごとの正解率画像エンコーダ赤𝑳𝒂𝒚𝒆𝒓=𝟐𝟒…緑𝑳𝒂𝒚𝒆𝒓=𝒍…赤𝑳𝒂𝒚𝒆𝒓=𝟎ノードAと背景領域の⋯⋯正解率が高いLLMの隠れ状態をもとにダイアグラムの属性を分類するように学習した分類モデルの性能から，LVLMの内部表現にどのような属性情報が保持されているかを調べる．デル（LLM）の組み合わせにより，画像キャプション生成[3,4]や視覚的質問応答[5,6]などの画像理解タスクで高い性能を達成している．しかし，自然画像の理解においては優れた性能を示す一方で，ダイアグラムのような抽象的かつ構造的な画像の理解，特に要素間の関係の認識には限界がある[7]．本研究では，LVLMがダイアグラムのどのような視覚情報を認識しているか，またそれらの情報をどのように保持しているかを明らかにするため，画像エンコーダおよびLLMの隠れ状態を用いてプロービングを行った．具体的には，ダイアグラムを入力した際の画像エンコーダおよびLLMの隠れ状態をもとに，ノードの色やエッジの向きといったダイアグラムの属性を分類するモデルを学習し，その性能を評価した．その結果，ノードの色や形，エッジの色や有無の情報は，多くの層で10次元程度の低次元の線形部分空間に保持されていたが，エッジの向きの情報は10次元程度の低次元空間には保持されていなかった．また，ノードやエッジが描かれていない背景の隠れ状態に，複数のノードやエッジの情報が集約されていることを示唆する結果を得た．.