ソフトウェア図表理解における視覚言語モデルの多言語性能評価

VLMはソフトウェア開発における図表理解への応用が期待されているが，多言語環境下での性能は十分に評価されていない．本研究では，ソフトウェア開発で使用される多様な図表に対するVLMの理解能力を評価するベンチマーク「ModelVista」を拡張し，本研究では，UML図やモックアップなど，ソフトウェア開発プロセス全体で使用される多様な図表に対するVLMの理解能力を評価するベンチマーク「ModelVista」を，多言語環境に対応させる．本研究では，これらの図表および質問を日本語・英語・韓国語の3言語に対応するよう拡張し，多言語条件下での評価を可能にした．主要なVLMを評価した結果，3言語のうち，日本語で最も高いスコアを示す傾向があることを確認した．本研究は，ソフトウェア図表理解におけるVLMの多言語特性を明らかにし，多言語環境を前提とした評価の重要性を示す．