視覚言語モデル（Vision-LanguageModel;VLM）は与えられた画像と指示文に基づいて文を生成できる能力を持つ。しかし、VLMの出力文を評価する既存手法は、文の総合的な品質を測定することのみに注力しているため、結果の解釈性が乏しいことに加え、必要な評価項目を網羅できていない可能性がある。本研究では、文の評価項目ごとの質を網羅的にスコア付けし、それらのスコアを元に総合スコアを決定する自動評価手法HarmonicEvalを提案する。構築した人手評価データセットMMHEにおける実験により、HarmonicEvalの人手評価との相関は既存手法を上回ることを示す1）。

画像キャプション生成や画像質問応答などの視覚言語タスクにおけるVLMの性能を測定する際、VLMが生成した文の自動評価が必要である[1,2]。これまでに、BLEU[3]やCIDEr[4]などの𝑛-gramベースの手法に加え、CLIPScore[1]やBERTScore[5]などの深層ニューラルモデルに基づく手法などが利用されてきた。しかし、これらの既存手法は文の品質を表す総合的なスコアのみを出力するように設計されており、スコアの解釈性に欠ける。例えば、結果からでは、文が曖昧・不自然であるという問題点が特定できない。近年ではスコアの理由を追加で生成する手法が提案されているが[2,6]、テキストによる説明では一貫した分析や定量的な比較が困難であり、評価項目毎に定量化することが望ましい。さらに、先行研究[7,8]で指摘されているように、既存手法は総合的な品質を測定する際に必要な評価項目を網羅できていない可能性がある。例えば、1）我々のコードとデータセットはhttps://github.com/stjohn2007/HarmonicEvalで公開されている。既存手法正確性スコア5総合評価スコア45完全性スコア