MultimodalLLMを用いた適応的階層分割と段階的統合による

MultimodalLLM（MLLM）の発展により，文書画像からの情報抽出や質疑応答が現実的になりつつある．ネットワーク構成図から資産情報を抽出する研究[1]や，科学図表の分析の高精度化[2]が進み，図面・ダイアグラムを解釈するニーズは高い．しかし，フローチャートやER図のように，多数のノードとエッジが複雑に入り組むダイアグラムでは，MLLMに画像をそのまま入力した場合，ノードやエッジの誤認識が発生する．これにより，実際には存在しない処理ステップやエンティティが検出されたり，本来接続していないノード間に誤った依存関係が導入されたりして，後段の質問応答などのタスクで誤った構造に基づく推論が行われてしまう．このようなダイアグラムでは，ノードは形状・大きさが多様で局所的に密集する一方，エッジは図全体にまたがる長距離の接続経路を含むため，局所的な詳細理解と大域的な接続関係の把握を同時に行うことが求められる．単一視点で一括認識を行うと，ノード密集領域と長距離エッジの双方を同時に高精度で扱うことが難しい．そこで本研究では，ノード密度に応じて領域を自動分割して局所的なノード・短距離エッジの認識を目的とする「適応的階層分割」と，分割で切断された長距離エッジや重複ノードを階層的に復元・統合する「段階的統合」を組み合わせることで，ノードとエッジの異質性を考慮したダイアグラム構造認識を目指す．実験では，ルールベースによる一律な画像分割との比較に加え，「階層全体を一括で認識させるフロー」と「階層ごとに段階的に統合するフロー」とを比較し，MLLMによる分割戦略および分割後の認識戦略がダイアグラム構造認識性能に与える影響を分析する．