既存の画像キャプション生成の品質自動評価は，画像に映る物体への言及を過大評価するほか，物体の特性や関係といった細かい言及の間違いを見過ごすなど，人間の判断に近い評価をするには未だ不十分である．本稿では，視覚言語モデル（VLM）を用いた画像キャプション生成の自動評価手法としてVisCE2を提案する．本手法は，VLMが持つ視覚理解能力によって，画像に写る物体の属性や関係を含めた視覚的文脈を明示的に言語化し，VLMの言語理解能力によって視覚的文脈を考慮した評価を可能にする．メタ評価実験を通じて，VisCE2は既存手法と同等以上の人手評価との相関を示し，視覚的文脈の追加が評価性能を向上させることを実証した．

画像キャプション生成の自動評価は，視覚的な情報を言語化する過程での正確さや自然さを効率的に判断する上で重要な役割を果たす．これまでに，事前に用意した参照文と生成したキャプションの𝑛-gramの重複を計測する手法[1,2]，視覚言語モデルから取得した画像とテキストの分散表現の類似度を計測する手法[3]などが提案され，画像キャプション生成の自動評価の品質は大きく向上したものの，未だに人手評価の品質と比べて大きな差が存在している．また，CLIP-S[3]視覚言語基盤モデルを用いた評価指標は，物体の属性や物体間の関係の誤りを見逃す傾向があると指摘されている[4]．この問題を解決するために，我々は評価プロセスに視覚的文脈の抽出を導入する．視覚的文脈は，背景や細かな物体，および推測される事実を含む，画像を詳述する周辺情報である．画像から視覚的文脈を抽出して評価に用いることで，画像内の物体に加え，その状態や相互作用，意図を正確に記述したかを識別し，より包括的な評価が可能になる．本研究では，視覚的文脈を活用した視覚言語モデルベースの画像キャプション生成の自動評価手法（VisionLanguageModel-basedCaptionEvaluationMethodleveragingVisualContextExtraction;VisCE2）を提案する．VisCE2は，VLMを用いて画像内の物体とその相互関係からなる視覚的文脈を明示的に言語化し，画像と言語化した視覚的文脈をもとに，生成したキャプション候補のスコアを計算することで，自動評価を行う．VLMの視覚理解能力と言語理解能力を用いて，視覚的文脈を考慮しながら言語および視覚の両観点から画像キャプション生成の評価を行うことで，評価品質の向上が期待できる．我々は人手評価を用いたメタ評価実験を行い，(i)VisCE2は人手評価と高い相関を示し，既存の手法と同等以上の評価性能を持つこと(ii)評価時に画像の視覚的文脈を構成的な表現で与えることが評価性能の向上につながることを実証した1）．