プロービングとアンサンブル学習による大規模視覚言語モデルのハルシネーション検出

大規模視覚言語モデル（VLM）は，多くのマルチモーダルタスクで高性能を示す一方，視覚的根拠に基づかない内容を生成するハルシネーションが課題である．本研究では，VLMの複数の内部表現を用いてハルシネーション検出器を学習し，それらをアンサンブルすることで視覚質問応答（VQA）におけるハルシネーションを検出する手法を提案する．実験の結果，提案手法は単一検出器や特徴量の単なる連結による検出手法を一貫して上回る性能を示し，内部表現ごとに検出器を学習してアンサンブルすることの有効性を確認した．さらに，注意機構に基づく検出器をアンサンブルすることで，未知ドメインに対する評価においても性能低下が緩和される傾向が確認された．