大規模視覚言語モデルは錯視を理解しているか

錯視画像は，その実際の特徴と見かけの特徴が異なるような画像である[1]．これまで，深層ニューラルネットワークを対象としてその錯視画像の認識能力を評価する研究が行われており，それらは人間と同様の騙され方をすると報告されている[2,3,4,5,6]．これに続いて近年，大規模視覚言語モデル(LargeVision-LanguageModel:LVLM)に関して，同様の評価の試みがある[7,8,9]．これらの研究の背後には，LVLMが錯視に騙されるのか否か，そして，錯視に騙される人間の指示を正しく理解する能力を持つかという問いに答えたいという動機がある[9]．例えば，図1のAについて，人間が「大きい方の赤い円」と述べたときに，どちらの円を指しているか理解できるか，といったことである．先行研究では，一方で，GPT-4V，GeminiProVision，Claude3，LLaVA-1.5などのLVLMは錯視に騙されやすいことや[7]，LLaVA-1.5やBLIPなどのモデルが，二つの赤い円は同じ大きさである．B:非抽象的な錯視画像．最も奥にある車が最も大きく見えるが，三台の車の幅と高さは画像上の同じ距離を占めている[8]．で，モデルサイズが大きいほど人間と同様の騙され方をすることが報告されている[9]．他方で，LVLMは錯視に騙されやすいものの，few-shotpromptingを用いると騙されにくくなるという報告もある[8]．しかし，先行研究の実験設定は錯視認識能力の正確な評価において2つの問題があり，実験結果に曖昧さが残る．第一に，先行研究は抽象的画像だけでなく非抽象的画像を評価対象の錯視に含めている．抽象的画像が二次元の抽象的な図形を表象するものであるのに対し，非抽象的画像は三次元空間中の対象を表象するものである（図1）．非抽象的画像に関する質問は常に二通りの仕方で解釈されうる．例えば，図1のBに関して，「どの車が最も大きいか」という質問について考えよう．もしこの質問が画像そのものについてのものであると解釈されたなら，正解は「全ての車は同じ大きさである」というものになる．実際，ある先行研究はこれを正解としている[8]．しかし，もし質問が画像によって表象されている対象，すなわち，現実の状況における車についてのものであると解釈されたなら，正解は「カメラから最も遠い車が最も大きい」というものになる．なぜな.ら，現実の状況において，観察者から遠い対象が近い対象と視野の同じ面積を占めている場合，遠い対象の方が大きいはずであるからである．それゆえ，いずれの回答も正解と解釈されうる．したがって，LVLMがどちらを答えたとしても，その錯視の認識能力を評価する上では曖昧さが残る．第二に，先行研究は画像の実際の特徴と見かけの特徴を区別していない[7,8,9]．実際の特徴とは画像が実際に持つ特徴のことであり，逆に，見かけの特徴とは画像が持つように見える特徴のことである．通常の画像において見かけの特徴は実際のそれと一致している．しかし，錯視画像においては両者は異なる．例えば，図1のAにおいて，左の赤い円は右の赤い円と同じ大きさである．それゆえ，「右の赤い円と同じ大きさである」は左の円が持つ実際の特徴である．しかし，左の円は右より大きく見える．それゆえ，「右の赤い円より大きい」は左の円が持つ見かけの特徴である．したがって，この区別を明示せずにLVLMに質問することはさらなる曖昧さを生じさせる．というのも，どちらの特徴にLVLMが着目しているかが明示されないからである．本研究では，可能な限り曖昧さを排した手法を提案し，それを用いてLVLMの錯視認識能力を評価する．具体的には，i)抽象的画像のみのデータセットを構築し，かつ，ii)実際の特徴と見かけの特徴を区別するプロンプトを用いた上で，通常の錯視画像だけでなく，見かけの特徴を改変した偽の錯視画像の認識を評価する．結果として，LVLMは一見して錯視を理解しているように思われるものの，実際には錯視に関する一般的な知識から回答しており，錯視を視覚的に正しく認識しているわけではないことが示唆される．また，本データセットは研究利用可能な形で公開予定である．