視覚言語モデル（VLM）の研究は急速に進展しているが，日本語の視覚言語（V&L）タスクにおける評価環境は未だ十分に整備されていない．その結果，日本語評価データセットは散逸し，網羅的な性能評価をすることは困難な状態にあった．本研究では，日本語性能に関する複数のマルチモーダル課題を統一した環境で評価するためのツールキットllm-jp-eval-mmを提案する．本ツールキットは既存の6つの日本語マルチモーダル課題を統合し，モデル出力を複数の指標で一貫して評価するベンチマーク基盤である．本稿はllm-jp-eval-mmの構築と継続的な開発のための設計概要を述べ，公開されている13種類の日本語・多言語VLMを評価した結果を報告し，既存研究の知見に照らして議論する．

言語モデル(LM)の開発において，複数のベンチマークを手軽に横断し，性能を一元的かつ再現可能な形で評価できるツールキットは，モデル改善のサイクルを大幅に短縮することに繋がる．実際，LMの日本語性能を評価する基盤[1]や視覚言語モデル(VLM)の評価環境[2,3]が整いつつあり，多様なモデルを同条件下で比較検証する土台が徐々に整備されている．しかし，こうした試みはVLMの日本語性能を評価する課題セットにおいては未だ進まず，モデル開発に伴って提案された小規模なベンチマーク[4,5]に依拠している．評価条件や指標が統一されない環境では，VLM開発者が公表する情報同士の直接的な比較ができず，得られる知見が断片的になる懸念がある．したがって，再現性の高い実験や効果的なモデル改良への道標として，日本語V&Lモデルを異なるデータセット上でも共通の基準で横∗2人の著者は本研究に等しく貢献した．断評価できる評価基盤の早急な整備が必要である．本研究では，日本語VLMに対する包括的な性能評価のために，llm-jp-eval-mmを提案する．llm-jp-eval-mmは複数の日本語V&Lタスク[4,5,6,7,8,9]の入出力フォーマットを統一し，一貫したプロトコル下でモデル性能を評価できる基盤である．タスク定義とスコア計算処理を独立したクラス構造で実装することで，新たなタスクやモデルへの拡張・適用が容易になる．また，推論部分をモデル開発者側に委ね，評価基盤そのものの保守性を担保した．llm-jp-eval-mmはApacheLicense2.0の上で公開されており，PyPI1）およびGitHub2）からインストールできる．本ツールキットは，日本語VLMの継続的な改良・評価の基盤となり，効率的なモデル開発や学術的知見の蓄積に寄与することが期待される．