VLMによるソフトウェア図表の理解に関する予備調査

近年，ソフトウェア開発においてLLMの活用が注目されている．しかし，視覚的な情報を扱えないLLMにテキストのみで開発における複雑な情報を正確に伝えるのは難しい．一方，ソフトウェア開発現場では，要件定義や設計を効率的に行うために，UMLダイアグラムなどの視覚的情報が広く利用されてきた．視覚的情報を活用することで，テキスト主体のLLMの限界を補い，より実用的な支援が期待できる．そのため，視覚的情報とテキストを統合理解するVLMの導入が求められる．しかし，現状のVLMがソフトウェア開発における図表をどの程度理解できるのかは不明である．本研究では，VLMのソフトウェア開発における図表理解能力の調査を目的として，これらの図表に特化したベンチマーク「JSWEMU」を開発した．本論文では，JSWEMUを用いた調査結果について述べる．