大規模画像言語モデルは物体の裏側を認識できるか？物体の見えない部分の認識を問うタスクの提案

人間は視覚的な情報と言語的な情報を受け取ると，それに関連する事前知識を用いて物事の“見えない部分”を想像するすることができる．物体の見えない部分を予測するタスクはコンピュータビジョンの分野では精力的に研究されているが，多くは対象物の一部が隠れた物体を対象とした物体認識であり，裏側や側面など見えない部分には焦点は当てられていない．そこで本研究では，物体の裏側や側面の認識能力を評価するためのタスクを提案し，線画と写実画像を用いてデータセットを構築した．実験では，提案タスクを用いて人間と代表的な大規模画像言語モデルの性能を比較した．その結果，人間にとって簡単なタスクであるにもかかわらず，最先端の商用モデルでも人間の性能には及ばないことを確認した．