大規模視覚言語モデル内部における

ダイアグラムは視覚的な表現を通じて複雑な情報を伝達し，人々の理解を促すことから，学術研究[1,2]やビジネス[3,4]などの領域において重要なコミュニケーション媒体となっている．大規模視覚言語モデル（LVLM）[5,6,7]は高いダイアグラム理解性能を示している[8,9]が，先行研究では，LVLMが関係情報，特に矢印や線で示される要素間の接続の理解に依然として苦戦することが報告されている[10,11]．これらの関係情報の理解はダイアグラムの構造と意味を捉える上で重要であり，その認識の失敗がボトルネックになっている．この問題をより深く理解するため，本研究ではダイアグラム特有の視覚要素がLVLM内部でどのように認識されているかを調査する．具体的には，ノード，エッジ，および大域的構造に関する情報が，視覚エンコーダと言語モデルのどこで，いつアクセス可能になるかに焦点を当てる．自然画像を対象とした分析[12,13]とは対照的に，本研究では構造化さエッジの情報がエンコードBlue第"層線形分類器第!層言語モデル線形分類器射影層ノードの情報とグローバルな情報が第"層Aエンコード第!層視覚エンコーダ線形分類器AWhatcoloristheedgebetweennodeAandnodeB?線形分類器ABビングにより，LVLMの内部表現を分析する．ノード情報（例：ノードの色）と大域的情報（例：ノード数）は視覚エンコーダ内の単一の画像パッチに線形に表現されるが，エッジ情報（例：エッジの色）は言語モデル内の単一のテキストトークンに線形に表現されることを明らかにした．れた関係を表現するために記号的表現に依存するダイアグラムを対象とする．また制御された分析のために，合成ダイアグラムデータセットを構築し，プロービングによって，視覚エンコーダと言語モデル内部におけるノード，エッジ，および大域的な構造情報の線形分離可能性を検証する．プロービングの結果，ノードおよび大域的な構造情報は視覚エンコーダの単一の画像パッチにすでに線形に表現されているのに対し，エッジの情報は言語モデルの単一のテキストトークンで初めて線形に表現されることを示した．この知見は，LVLM内部で視覚情報がどのように処理，表現されているかを明らかにし，ダイアグラム理解システムの設計と分析に対する指針を提供する．