視覚的文脈を利用した視覚言語モデルによる画像キャプション生成自動評価手法

画像キャプション生成の自動評価は，視覚的な情報を言語化する過程での正確さや自然さを効率的に判断する上で重要な役割を果たす．これまでに，事前に用意した参照文と生成したキャプションの𝑛-gramの重複を計測する手法[1,2]，視覚言語モデルから取得した画像とテキストの分散表現の類似度を計測する手法[3]などが提案され，画像キャプション生成の自動評価の品質は大きく向上したものの，未だに人手評価の品質と比べて大きな差が存在している．また，CLIP-S[3]視覚言語基盤モデルを用いた評価指標は，物体の属性や物体間の関係の誤りを見逃す傾向があると指摘されている[4]．この問題を解決するために，我々は評価プロセスに視覚的文脈の抽出を導入する．視覚的文脈は，背景や細かな物体，および推測される事実を含む，画像を詳述する周辺情報である．画像から視覚的文脈を抽出して評価に用いることで，画像内の物体に加え，その状態や相互作用，意図を正確に記述したかを識別し，より包括的な評価が可能になる．本研究では，視覚的文脈を活用した視覚言語モデルベースの画像キャプション生成の自動評価手法（VisionLanguageModel-basedCaptionEvaluationMethodleveragingVisualContextExtraction;VisCE2）を提案する．VisCE2は，VLMを用いて画像内の物体とその相互関係からなる視覚的文脈を明示的に言語化し，画像と言語化した視覚的文脈をもとに，生成したキャプション候補のスコアを計算することで，自動評価を行う．VLMの視覚理解能力と言語理解能力を用いて，視覚的文脈を考慮しながら言語および視覚の両観点から画像キャプション生成の評価を行うことで，評価品質の向上が期待できる．我々は人手評価を用いたメタ評価実験を行い，(i)VisCE2は人手評価と高い相関を示し，既存の手法と同等以上の評価性能を持つこと(ii)評価時に画像の視覚的文脈を構成的な表現で与えることが評価性能の向上につながることを実証した1）．