ARKitSceneRefer:3D屋内シーンでの参照表現による小物の位置特定

3D参照表現理解は3Dシーンを理解する上で重要なタスクであり，物探しロボットなどへの応用が期待される．代表的な3D参照表現理解データセットにScanRefer[1],ReferIt3D[2]が挙げられる．これらのデータセットは机，椅子，ソファーのような屋内の家具クラスなど，比較的に大きい物体を対象にクラスカテゴリが付与されている．しかし，家事などの応用を想定すると，より小さな物体を扱うことが多いと考えられる．例えば，物探しロボットに机の捜索を依頼する人はいない．また料理ロボットは食材や包丁などを扱うことが必要である．そこで本研究では，ARKitSceneReferという小物を主な対象とした新しい3D参照表現理解データセットを提案する．ARKitSceneReferは大規模な屋内3DデータセットであるARKitScenes[3]に基づいている．ARKitScenesはScanReferとReferIt3Dの基であるScanNet[4]より高解像度で，多様な3Dシーンデータセットである．ScanReferとReferIt3DではScanNetでアノテーションされている物体のみを対Query:awhiteprojectoronanightstandnexttoabedた動画フレームを示す．象としている．一方で，ARKitScenesには小物の位置がアノテーションされていないので，先行研究とは違い，以下のように小物の位置特定からデータセットを構築する．まず，動画フレームに対して2D物体検出を行うことで，小物を抽出する．次に，抽出された小物を，カメラ視点位置から3Dシーンへのレイキャスティングによる位置予測とクラスタリングを用いて3Dシーン上にマッピングすることで，3D上での小物の座標とクラスを得る．最後に，このデータに参照表現をアノテーションする．加えて，物体検出器から得られたクラスは誤っている可能性があるので，その場合はアノテーション時に修正する．最終的に，ARKitSceneReferは731クラスの物体を対象にし，1,615シーンに32,300の参照表現から構成される．図1にARKitSceneReferの例を示す．データセット評価のため，2Dと3Dのstate-of-the-artモデル[5,6,1,7]を用いた．実験の結果，ARKitSceneReferにおける小物の位置推定は，2Dモデル，3Dモデルともに挑戦的であることが示された．また，2Dモデルにおいては対象物が写っていない動画フレームに対する検出結果がノイズとなっており，うまく対象物が写っている動画フレームの.ARKitScenes物体検出2Dから3Dへのマッピング物体選択みを使用することができれば，精度の向上に繋がることも示された．