ARKitSceneRefer:3D屋内シーンでの参照表現による小物の位置特定

3D参照表現理解は3Dシーン上でテキストが表す物体の位置を特定するタスクである．しかし，既存の屋内3D参照表現理解データセットは主にサイズが大きく，容易に位置特定できる物体を対象としており，ほとんど小物を扱っていなかった．そこで我々は多様で高解像度なARKitScenesを基とし，ARKitSceneReferを構築する．ARKitSceneReferは1,615シーン中の，32,300の屋内で使用する小物から構成され，それぞれ参照表現がアノテーションされている．さらに2Dと3Dのstate-of-the-artモデルを用いて実験を行い，その結果，ARKitSceneReferは挑戦的なタスク設定であることを報告する．