画像言語モデルは、与えられた画像と矛盾する出力を生成することが報告されている。この現象はハルシネーションと呼ばれ、画像言語モデルの信用を損ない、普及を阻害する要因となっている。しかし、ハルシネーションの発生と、画像言語モデルがテキスト生成時に画像の適切な領域へ注目しているかどうかは関連すると予想されるが、データでは示されていない。本研究では、ハルシネーションの有無に関する評価指標であるPOPEを用い、画像内に実際に写っている物体と写っていない物体を対象として、ハルシネーションの発生と画像内の注目領域との関係を検証する。

CLIP[1]やLLaVA[2]に代表される画像言語モデル（VLM;Vision-languageModel）は急速に発展し、注目を集めるようになった。画像言語モデルとは、画像エンコーダとテキストエンコーダを備え、画像情報とテキスト情報を同時に処理できるモデルである。これらのエンコーダによって、画像質問応答[3]や画像説明文生成[4]、画像検索[5]などのマルチモーダルタスクが実現され、自動運転[6]や医療診断[7]といった他分野へも応用が広がっている。しかし、応用範囲の拡大とともに、ハルシネーションの問題がいっそう顕在化してきた。ハルシネーションとは、入力画像と出力テキストの間に生じる矛盾である[8]。ハルシネーションの発生の有無を評価する手法としてPOPE[9]が提案され、広く用いられている。POPEとは、画像に含まれる、または含まれない物体について質問し、回答が正しいかを検証する手法である[9]。Promptingはハルシネーションを低減する手段のヒートマップVLM入力テキストVisualAttentionのヒートマッププレ出力正解セグメンテーション入力画像像言語モデルによって生成されたVisualAttentionのヒートマップは、正解セグメンテーションと比較され、MSE、Precision、Recall、IoUが計算されて精度が評価された。一つとして提案された[10]。とりわけ、画像に赤い丸[11]や矢印[12]などの印を付して対象物を強調するVisualPromptingは、ハルシネーションの抑制に寄与することが知られている[13]。なかでも、AttentionPromptingonImage（API）と呼ばれるVisualPromptingが提案され、画像に存在する物体に対するPOPEにおいて、正答率の改善を示した[14]。APIPromptingは、画像言語モデル内部のVisualAttentionを画像に重ね合わせる手法であり、従来の手作業によるVisualAttentionとは一線を画している。しかし、先行研究[14]では、実験は画像内に存在する物体のみを対象としており、存在しない物体を誤って「存在する」と判断する、ハルシネーションの重要な側面は検証されていない。またVisualAttentionに依存する手法であるが、VisualAttentionの精度に関係あると予想されるVisualAttentionを抽出する際の画像言語モデルの出力とVisualAttentionの精度との関係が十分に検証されていない。本研究の主な貢献は以下である。1.画像内に含まれる物体と含まれない物体において、APIの性能を評価する。