llm-jp-eval-mm:日本語視覚言語モデルの自動評価基盤

視覚言語モデル（VLM）の研究は急速に進展しているが，日本語の視覚言語（V&L）タスクにおける評価環境は未だ十分に整備されていない．その結果，日本語評価データセットは散逸し，網羅的な性能評価をすることは困難な状態にあった．本研究では，日本語性能に関する複数のマルチモーダル課題を統一した環境で評価するためのツールキットllm-jp-eval-mmを提案する．本ツールキットは既存の6つの日本語マルチモーダル課題を統合し，モデル出力を複数の指標で一貫して評価するベンチマーク基盤である．本稿はllm-jp-eval-mmの構築と継続的な開発のための設計概要を述べ，公開されている13種類の日本語・多言語VLMを評価した結果を報告し，既存研究の知見に照らして議論する．