視覚的文脈を利用した視覚言語モデルによる画像キャプション生成自動評価手法

既存の画像キャプション生成の品質自動評価は，画像に映る物体への言及を過大評価するほか，物体の特性や関係といった細かい言及の間違いを見過ごすなど，人間の判断に近い評価をするには未だ不十分である．本稿では，視覚言語モデル（VLM）を用いた画像キャプション生成の自動評価手法としてVisCE2を提案する．本手法は，VLMが持つ視覚理解能力によって，画像に写る物体の属性や関係を含めた視覚的文脈を明示的に言語化し，VLMの言語理解能力によって視覚的文脈を考慮した評価を可能にする．メタ評価実験を通じて，VisCE2は既存手法と同等以上の人手評価との相関を示し，視覚的文脈の追加が評価性能を向上させることを実証した．