本稿では、VisionLanguageModel(VLM)の出力が画像に捉えられている内容を根拠としているか推定する手法を提案する。VLMは画像とテキストを入力として受け取るが、内部的には言語モデルが支配的であり、画像を十分に活用せず言語知識の影響が強く表れる傾向がある。この問題を定量的に評価するため、本研究では、画像の有無による内部確信の変化を比較することで、VLMがその出力において、画像を活用しているかを定量的に推定する2つの指標を考案した。指標Iは、Perplexity(PPL)の原理に基づき、出力確率分布から内部確信を推定する新規手法である。指標IIは、既存研究で提案されたSelf-Consistency(SC)の原理を応用し、複数回の試行から一貫性を測定することで指標Iの妥当性を補完する。画像の有無によるVLMの振る舞いの変化を利用し、提案指標がVLMの内部確信を推定する指標になる可能性を確認した。

VLMは、画像とテキストを統合的に処理し、視覚的質問応答や画像説明生成などのタスクにおいて優れた性能を示しており、実社会での応用も進んでいる。しかし、VLMの実用化に伴い、その信頼性に関する懸念も高まっている。企業がAI導入において最も頻繁に経験するリスクとして「不正確さ」が報告されており、説明可能性などの信頼性に関わる課題が上位を占める[1]。実社会のアプリケーションにVLMが導入される際、その出力が画像に根拠を持つかを評価することは、タスクのパフォーマンスを測定することと同様に不可欠と言える[2]。本研究の主要な問題は、VLMの出力が画像を十分に活用せず、言語知識から受ける影響が大きい可能性を否定できないことにある。VLMは画像とテキストの両方に基づいて出力を生成することが期待されるが、実際には、その出力がテキストプロンプトや事前学習で獲得した知識に強く影響される場合がある。近年の研究により、VLMが画像の変更を見落とし、代わりに知識に基づいて誤答してしまう失敗は画像情報の不足ではなく、記憶された知識が視覚的分析を上書きすることに起因すると指摘される[3,4]。そこで本稿では、VLMの信頼性評価における新たな検証アプローチとして内部確信を推定する指標I、IIを提案する。画像の有無によるVLMの出力挙動に着目し、内部確信の変化量を算出することでVLMが画像を活用しているかを定量化する。実験では、着物画像、オープンモデルを対象とし、提案する両指標を扱った。プロンプト設計により、両指標間には相関が見られ、PPLの原理に基づくΔ𝑐𝑀が内部確信を捉える指標になる可能性が示された。