記述文選択タスクによる大規模視覚言語モデルのアモーダル補完能力の評価

大規模言語モデル開発の目標の一つは人間のマルチモーダルなタスクを補助するアシスタントを開発することにある.そのためには人間が自分の知覚経験を報告するテキストをLVLMが適切に理解できる必要がある.アモーダル補完(amodalcompletion:AC)は，遮蔽物や照明条件により対応する感覚刺激がないはずの物体や図形の一部が,それでもなお知覚されていると報告される現象である[1,2,3,4]．例えば図1を提示された被験者は二つの長方形が「見える」と報告することが知られている[1]。しかし,一方の長方形の隠れた部分に対応する刺激は網膜に届いていない.そこで,その隠れた部分は知覚の中で「補完」されているが,対応する感覚はないためその内容は「アモーダル」に補完されていると言われる[1].ACは主体の側の何らかの能力を前提としていると考えられ，その能力を本稿ではAC能力と呼ぶ．ACは日常生活で重要な役割を果たしており[5],ACに関連する報告は人間が自分の経験を報告する種類のテキストに頻繁に現れると予想される.ACに関連する画像とテキストに適切に応答する能力は優れたLVLMの開発に不可避であるだろう.AC能力は自動運転やロボットによる物体把握など,様々な応用上の意義を持つ．そのため近年，モデルがもつAC能力の評価が進んでいる[6]．しかし既存研究は主にモデルの画像処理能力の評価に焦点を当てており,ACに関連するテキストについてのLVLMの推論能力は自明ではない.そこで本研究ではAC現象を記述したテキストに関するLVLMの推論能力に着目する.具体的には多肢選択式タスクによるベンチマークVisualAmodalCompletionwithTexts(VACT)を構築しモデルの推論能力を評価した.本ベンチマークでは[7]が提案したBFOを利用して補完される対象の種類を分類することでモデルのAC能力の体系的な評価を試みた．実験の結果Claude3.5SonnetやGPT-4oモデルは.本研究には関わらないカテゴリ.BFOにはこの図に含まれていない持続者のカテゴリもある.BFO外のカテゴリにはブラケット([])をつけた.Mat:物質的存在者;Imm:非物質的存在者;Qua:性質;Rol:役割;Obj:オブジェクト;Part:オブジェクト部分;Bou:境界;Site:場所;NR:非関係的性質;R:関係的性質;2-D:2次元境界;Col:色;Sha:形.ACに関連する多肢選択式タスクで概ね高い正答率を出したが,人間の安定した成績と比べると補完する対象のカテゴリによって得手／不得手があることがわかった.さらにLLaVA-NeXTモデルでは基盤となる大規模言語モデル(LLM)のパラメータサイズが大きいほどベンチマークの成績が低下する現象が見られた.この結果は基盤となるLLMが大型であるほどマルチモーダルなタスクの遂行能力が向上するという一般的な傾向に反しており注目に値する.