【手続補正書】
【提出日】平成29年4月14日(2017.4.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
単眼視覚同時局所化およびマッピングのための機械実行型の方法であって、
環境の三次元(3D)マップを受け取るステップであって、前記3Dマップが、
各キーフレームがパノラマキーフレームまたはレギュラーキーフレームである2つ以上のキーフレーム内で観察された有限深度を有する特徴と、
1つまたは複数のパノラマキーフレーム内で観察された無限深度を有する特徴であって、無限特徴が推定された深度を有さない特徴である特徴と
を備えるステップと、
カメラが6自由度(6DOF)移動から、マッピングされない場面領域へ向かうパノラマカメラ移動へ移行すると、基準パノラマキーフレームを選択するステップであって、前記パノラマカメラ移動が3自由度(3DOF)における回転カメラ移動であり、前記6DOF移動が、回転移動に加えた移動、または回転移動以外の移動を含むステップと、
前記基準パノラマキーフレームからの有限深度特徴観察および無限深度特徴観察を前記3Dマップに追加することにより、前記基準パノラマキーフレームを前記3Dマップの中に組み込むステップと、
入力画像フィードからの画像フレーム内で観察された前記3Dマップの有限深度特徴または無限深度特徴から6DOF移動でカメラを追跡するステップと
を含む機械実行型の方法。
【請求項２】
前記3Dマップ内に位置決めされた局所パノラママップを初期化するステップをさらに含み、前記3Dマップ内に位置決めされた前記局所パノラママップを初期化する前記ステップが、
前記基準パノラマキーフレームを前記局所パノラママップに割り当てるステップと、
前記基準パノラマキーフレームの6DOFポーズを使用して前記局所パノラママップを前記3Dマップ内に位置決めするステップと
を含む、請求項1に記載の方法。
【請求項３】
連続パノラマカメラ移動がマッピングされない場面領域へ向かうと、1つまたは複数の従属パノラマキーフレームを選択するステップであって、前記1つまたは複数の従属パノラマキーフレームが基準パノラマキーフレームに従属するステップと、
無限深度特徴観察を前記3Dマップに追加することにより、前記1つまたは複数の従属パノラマキーフレームを前記3Dマップの中に組み込むステップと、
前記1つまたは複数の従属パノラマキーフレームを局所パノラママップに追加することにより、前記局所パノラママップを拡張するステップと
をさらに含む、請求項1に記載の方法。
【請求項４】
前記3Dマップに対して前記1つまたは複数のパノラマキーフレームを局所化するステップをさらに含み、前記局所化するステップが、
前記1つまたは複数のパノラマキーフレーム内の前記有限深度特徴の二次元(2D)観察を見出すステップと、
前記3Dマップと前記有限深度特徴の前記2D観察との間の3D-2D符合を決定するステップと、
前記3D-2D符合を使用して前記1つまたは複数のパノラマキーフレームの6DOFカメラ位置および配向を推定するステップと
を含む、請求項1に記載の方法。
【請求項５】
無限深度特徴を第1の局所化パノラマキーフレームから前記3Dマップのための新しい有限深度特徴に変換するステップをさらに含み、前記変換するステップが、
第2の局所化キーフレーム内の前記無限深度特徴の2D観察を見出すステップであって、前記第2の局所化キーフレームが局所化されたパノラマキーフレームまたは局所化されたレギュラーキーフレームであるステップと、
前記第2の局所化キーフレームの前記2D観察から2D-2D符合を決定するステップと、
前記2D-2D符合ならびにキーフレーム対の6DOFカメラ位置および配向に基づいて前記新しい有限深度特徴を三角測量するステップと
を含む、請求項1に記載の方法。
【請求項６】
前記追跡するステップが、
前記3Dマップの前記有限深度特徴と前記無限深度特徴との間の符合、および入力画像フィードからの画像フレームを確立するステップと、
前記確立された符合に基づいて6DOFカメラ位置および配向を推定するステップと
をさらに含む、請求項1に記載の方法。
【請求項７】
前記追跡するステップが、
入力画像フィードからの画像フレーム内の無限深度特徴のみを観察すると、6DOFカメラ移動追跡からパノラマカメラ移動追跡に切り換えるステップと、
前記入力画像フィードからの前記画像フレーム内の有限深度特徴を観察すると、パノラマカメラ移動追跡から6DOFカメラ移動追跡に切り換えるステップと
をさらに含む、請求項1に記載の方法。
【請求項８】
実行されたとき、データ処理デバイスが請求項1乃至7の何れか1項に記載の方法を実行することになる実行可能プログラム命令を含んだ機械可読非一時的記憶媒体。
【請求項９】
単眼視覚同時局所化およびマッピングのための装置であって、
環境の三次元(3D)マップを受け取るための手段であって、前記3Dマップが、
各キーフレームがパノラマキーフレームまたはレギュラーキーフレームである2つ以上のキーフレーム内で観察された有限深度を有する特徴と、
1つまたは複数のパノラマキーフレーム内で観察された無限深度を有する特徴であって、無限特徴が推定された深度を有さない特徴である特徴と
を備える手段と、
カメラが6自由度(6DOF)移動から、マッピングされない場面領域へ向かうパノラマカメラ移動へ移行すると、基準パノラマキーフレームを選択するための手段であって、前記パノラマカメラ移動が3自由度(3DOF)における回転カメラ移動であり、前記6DOF移動が、回転移動に加えた移動、または回転移動以外の移動を含む手段と、
前記基準パノラマキーフレームからの有限深度特徴観察および無限深度特徴観察を前記3Dマップに追加することにより、前記基準パノラマキーフレームを前記3Dマップの中に組み込むための手段と、
入力画像フィードからの画像フレーム内で観察された前記3Dマップの有限深度特徴または無限深度特徴から6DOF移動でカメラを追跡するための手段と
を備える装置。
【請求項１０】
前記3Dマップ内に位置決めされた局所パノラママップを初期化するための手段をさらに備え、前記3Dマップ内に位置決めされた前記局所パノラママップを初期化するための前記手段が、
基準パノラマキーフレームを前記局所パノラママップに割り当てるための手段と、
前記基準パノラマキーフレームの6DOFポーズを使用して前記局所パノラママップを前記3Dマップ内に位置決めするための手段と
を備える、請求項9に記載の装置。
【請求項１１】
連続パノラマカメラ移動がマッピングされない場面領域へ向かうと、1つまたは複数の従属パノラマキーフレームを選択するための手段であって、前記1つまたは複数の従属パノラマキーフレームが基準パノラマキーフレームに従属する手段と、
無限深度特徴観察を前記3Dマップに追加することにより、前記1つまたは複数の従属パノラマキーフレームを前記3Dマップの中に組み込むための手段と、
前記1つまたは複数の従属パノラマキーフレームを局所パノラママップに追加することにより、前記局所パノラママップを拡張するための手段と
をさらに備える、請求項9に記載の装置。
【請求項１２】
前記3Dマップに対して前記1つまたは複数のパノラマキーフレームを局所化するための手段をさらに備え、前記局所化するための手段が、
前記1つまたは複数のパノラマキーフレーム内の前記有限深度特徴の二次元(2D)観察を見出すための手段と、
前記3Dマップと前記有限深度特徴の前記2D観察との間の3D-2D符合を決定するための手段と、
前記3D-2D符合を使用して前記1つまたは複数のパノラマキーフレームの6DOFカメラ位置および配向を推定するための手段と
を備える、請求項9に記載の装置。
【請求項１３】
無限深度特徴を第1の局所化パノラマキーフレームから前記3Dマップのための新しい有限深度特徴に変換するための手段をさらに備え、前記変換するための手段が、
第2の局所化キーフレーム内の前記無限深度特徴の2D観察を見出すための手段であって、前記第2の局所化キーフレームが局所化されたパノラマキーフレームまたは局所化されたレギュラーキーフレームである手段と、
前記第2の局所化キーフレームの前記2D観察から2D-2D符合を決定するための手段と、
前記2D-2D符合ならびにキーフレーム対の6DOFカメラ位置および配向に基づいて前記新しい有限深度特徴を三角測量するための手段と
を備える、請求項9に記載の装置。
【請求項１４】
前記追跡するための手段が、
前記3Dマップの前記有限深度特徴と前記無限深度特徴との間の符合、および入力画像フィードからの画像フレームを確立するための手段と
前記確立された符合に基づいて6DOFカメラ位置および配向を推定するための手段と
をさらに備える、請求項9に記載の装置。
【請求項１５】
前記追跡するための手段が、
入力画像フィードからの画像フレーム内の無限深度特徴のみを観察すると、6DOFカメラ移動追跡からパノラマカメラ移動追跡に切り換えるための手段と、
前記入力画像フィードからの前記画像フレーム内の有限深度特徴を観察すると、パノラマカメラ移動追跡から6DOFカメラ移動追跡に切り換えるための手段と
をさらに備える、請求項9に記載の装置。