llm-jp-eval-mm:日本語視覚言語モデルの自動評価基盤

言語モデル(LM)の開発において，複数のベンチマークを手軽に横断し，性能を一元的かつ再現可能な形で評価できるツールキットは，モデル改善のサイクルを大幅に短縮することに繋がる．実際，LMの日本語性能を評価する基盤[1]や視覚言語モデル(VLM)の評価環境[2,3]が整いつつあり，多様なモデルを同条件下で比較検証する土台が徐々に整備されている．しかし，こうした試みはVLMの日本語性能を評価する課題セットにおいては未だ進まず，モデル開発に伴って提案された小規模なベンチマーク[4,5]に依拠している．評価条件や指標が統一されない環境では，VLM開発者が公表する情報同士の直接的な比較ができず，得られる知見が断片的になる懸念がある．したがって，再現性の高い実験や効果的なモデル改良への道標として，日本語V&Lモデルを異なるデータセット上でも共通の基準で横∗2人の著者は本研究に等しく貢献した．断評価できる評価基盤の早急な整備が必要である．本研究では，日本語VLMに対する包括的な性能評価のために，llm-jp-eval-mmを提案する．llm-jp-eval-mmは複数の日本語V&Lタスク[4,5,6,7,8,9]の入出力フォーマットを統一し，一貫したプロトコル下でモデル性能を評価できる基盤である．タスク定義とスコア計算処理を独立したクラス構造で実装することで，新たなタスクやモデルへの拡張・適用が容易になる．また，推論部分をモデル開発者側に委ね，評価基盤そのものの保守性を担保した．llm-jp-eval-mmはApacheLicense2.0の上で公開されており，PyPI1）およびGitHub2）からインストールできる．本ツールキットは，日本語VLMの継続的な改良・評価の基盤となり，効率的なモデル開発や学術的知見の蓄積に寄与することが期待される．