複数タスク・複数項目に跨ったマルチモーダル自動評価手法

視覚言語モデル（Vision-LanguageModel;VLM）は与えられた画像と指示文に基づいて文を生成できる能力を持つ。しかし、VLMの出力文を評価する既存手法は、文の総合的な品質を測定することのみに注力しているため、結果の解釈性が乏しいことに加え、必要な評価項目を網羅できていない可能性がある。本研究では、文の評価項目ごとの質を網羅的にスコア付けし、それらのスコアを元に総合スコアを決定する自動評価手法HarmonicEvalを提案する。構築した人手評価データセットMMHEにおける実験により、HarmonicEvalの人手評価との相関は既存手法を上回ることを示す1）。