大規模画像言語モデルは物体の裏側を認識できるか？物体の見えない部分の認識を問うタスクの提案

最近の大規模画像言語モデルの著しい進化[1,2,3]に伴い.モデルの能力を評価することの重要性も増している．これまでに，さまざまな観点からVLMの能力を評価するための包括的なベンチマークが提案されている．[4,5,6,7,8,9].これらのタスクはいずれも，物の見える部分を認識する能力を評価するために設計されている．一方，本研究の興味は，物の見えない側面を認識する能力である．最新のVLMがウェブスケールの大規模データで事前学習されていることを考えると，物の見えない部分を想像する能力をVLMに期待することは不思議ではない．見えない部分を分類すると，(𝑖)一部が他の物体に隠されている場合，(𝑖𝑖)物体の裏側や側面のように視覚的に無情報な場合，に大別できる．前者はアモーダル補完(Amodalcompletion)に関連しておりコンピュータビジョンの分野では勢力的に研究されている．代表的なタスクとしては，オクルージョンを伴う物体認識やセグメンテーションタスク[10,11,12]などがある．本研究が対象とするのは後者である．提案タスクに関連する先行研究には，PerspectiveTaking[13]やCLEVR-MRT[14]がある．これらのタスクは物の見えない部分に焦点は当てておらず，視点獲得[15,16]や心的回転[17,18]を重視している．そこで我々は，裏側や側面などの見えない部分に焦点を当てた二つのタスクを提案する．提案タスクの入出力の例を図1に示す．図1aの反対側予測タスクは，与えられた画像を反対側から見たときの見え方に対応する画像を選択するタスクである．の画像に関する視点の説明文の整合性を問う二値分類タスクである．本論文の主な貢献は以下の通りである．✓物体の見えない部分を認識する能力を評価する