VLMによるソフトウェア図表の理解に関する予備調査

近年，ソフトウェア開発におけるLLM（LargeLanguageModel）の活用が進んでいる[1,2]．開発者はテキストで要件や仕様をLLMに伝え，それに基づいてLLMはコード生成[3]やバグ修正[4]を行う．しかし，テキストのみで開発における全体の構造や関係性，振る舞いなどをLLMに十分に伝えるのは難しい．一方で，従来のソフトウェア開発では，設計や仕様伝達，要件やタスクの整理のために視覚的な情報共有が不可欠であり，多様な図表が開発現場で活用されてきた．本論文では，これらの図表を「ソフトウェア図表」と表現する．ソフトウェア図表には，クラス図やシーケンス図など，13種類のUMLダイアグラムが含まれる．また，UML以外にも表やデータベース，業務フロー図，アーキテクチャ図といった図表も含まれる．このような視覚的情報を活用することで，テキスト情報のみを処理するLLMの限界を補い，より実用的な支援を実現できる可能性がある．そのため，視覚的情報とテキスト情報を統合的に理解できるVLM（VisionLanguageModel）の導入が必要である．しかし，現時点でVLMがソフトウェア図表をどの程度理解し，活用できるのかについては，明らかになっていない．本研究の目的は，VLMのソフトウェア図表理解能力について調査することである．そのために我々は，ソフトウェア図表理解に特化した日本語のベンチマークである「JSWEMU(SoftWareEngineeringMultimodalUnderstandingbenchmark)」を開発した．本論文では，JSWEMUによる調査の結果を示す．