複数タスク・複数項目に跨ったマルチモーダル自動評価手法

画像キャプション生成や画像質問応答などの視覚言語タスクにおけるVLMの性能を測定する際、VLMが生成した文の自動評価が必要である[1,2]。これまでに、BLEU[3]やCIDEr[4]などの𝑛-gramベースの手法に加え、CLIPScore[1]やBERTScore[5]などの深層ニューラルモデルに基づく手法などが利用されてきた。しかし、これらの既存手法は文の品質を表す総合的なスコアのみを出力するように設計されており、スコアの解釈性に欠ける。例えば、結果からでは、文が曖昧・不自然であるという問題点が特定できない。近年ではスコアの理由を追加で生成する手法が提案されているが[2,6]、テキストによる説明では一貫した分析や定量的な比較が困難であり、評価項目毎に定量化することが望ましい。さらに、先行研究[7,8]で指摘されているように、既存手法は総合的な品質を測定する際に必要な評価項目を網羅できていない可能性がある。例えば、1）我々のコードとデータセットはhttps://github.com/stjohn2007/HarmonicEvalで公開されている。既存手法正確性スコア5総合評価スコア45完全性スコア