人間は視覚的な情報と言語的な情報を受け取ると，それに関連する事前知識を用いて物事の“見えない部分”を想像するすることができる．物体の見えない部分を予測するタスクはコンピュータビジョンの分野では精力的に研究されているが，多くは対象物の一部が隠れた物体を対象とした物体認識であり，裏側や側面など見えない部分には焦点は当てられていない．そこで本研究では，物体の裏側や側面の認識能力を評価するためのタスクを提案し，線画と写実画像を用いてデータセットを構築した．実験では，提案タスクを用いて人間と代表的な大規模画像言語モデルの性能を比較した．その結果，人間にとって簡単なタスクであるにもかかわらず，最先端の商用モデルでも人間の性能には及ばないことを確認した．

最近の大規模画像言語モデルの著しい進化[1,2,3]に伴い.モデルの能力を評価することの重要性も増している．これまでに，さまざまな観点からVLMの能力を評価するための包括的なベンチマークが提案されている．[4,5,6,7,8,9].これらのタスクはいずれも，物の見える部分を認識する能力を評価するために設計されている．一方，本研究の興味は，物の見えない側面を認識する能力である．最新のVLMがウェブスケールの大規模データで事前学習されていることを考えると，物の見えない部分を想像する能力をVLMに期待することは不思議ではない．見えない部分を分類すると，(𝑖)一部が他の物体に隠されている場合，(𝑖𝑖)物体の裏側や側面のように視覚的に無情報な場合，に大別できる．前者はアモーダル補完(Amodalcompletion)に関連しておりコンピュータビジョンの分野では勢力的に研究されている．代表的なタスクとしては，オクルージョンを伴う物体認識やセグメンテーションタスク[10,11,12]などがある．本研究が対象とするのは後者である．提案タスクに関連する先行研究には，PerspectiveTaking[13]やCLEVR-MRT[14]がある．これらのタスクは物の見えない部分に焦点は当てておらず，視点獲得[15,16]や心的回転[17,18]を重視している．そこで我々は，裏側や側面などの見えない部分に焦点を当てた二つのタスクを提案する．提案タスクの入出力の例を図1に示す．図1aの反対側予測タスクは，与えられた画像を反対側から見たときの見え方に対応する画像を選択するタスクである．の画像に関する視点の説明文の整合性を問う二値分類タスクである．本論文の主な貢献は以下の通りである．✓物体の見えない部分を認識する能力を評価する