(57)【要約】  ３Ｄ  ＣＮＮアーキテクチャを用いて２つの入力ポイントクラウド間の高密度な３次元幾何学対応を推定する方法を提示する。本方法は、訓練段階中、２つの入力ポイントクラウドを切頂距離関数ボクセルグリッド表示に変換し、結合重みを有する個々の特徴抽出層へ切頂距離関数ボクセルグリッド表示を供給し、第１の特徴抽出層から低レベル特徴を抽出し、第２の特徴抽出層から高レベル特徴を抽出し、抽出した低レベル特徴及び高レベル特徴を正規化して単位ベクトル特徴を取得し、第１及び第２の特徴抽出層の複数の対照損失及び複数のハードネガティブマイニングモジュールにディープスーパービジョンを適用する。さらに、本方法は、テスト段階中、高レベル意味情報をキャプチャする高レベル特徴を用いて、粗マッチング位置を取得し、精密マッチング位置を推定するための低レベル幾何学情報をキャプチャするために、低レベル特徴で粗マッチング位置を精緻化する。【選択図】図１
2021530030.tif 000002
【特許請求の範囲】
【請求項１】
３Ｄ畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを使用することで２つの入力ポイントクラウド間の高密度な３次元（３Ｄ）幾何学対応を推定するための、プロセッサで実行されるコンピュータ実装方法であって、
訓練段階（１００）において、
２つの入力ポイントクラウド（１１０、１２０）を切頂距離関数ボクセルグリッド表示（１１２、１２２）に変換することと、
結合重みを有する個々の特徴抽出層（１１４、１２４）へ切頂距離関数ボクセルグリッド表示を供給することと、
第１の特徴抽出層（１４０、１５０）から低レベル特徴を抽出することと、
第２の特徴抽出層（１４４、１５４）から高レベル特徴を抽出することと、
前記抽出した低レベル特徴及び高レベル特徴を正規化して（１１６、１２６）単位ベクトル特徴を取得することと、
前記第１及び第２の特徴抽出層における複数の対照損失及び複数のハードネガティブマイニングモジュール（１１８、１１８’）にディープスーパービジョンを適用することと、を有し、
テスト段階（２００）において、
高レベル意味情報をキャプチャする前記高レベル特徴を用いて、粗マッチング位置（２４０、２５０）を取得することと、
精密マッチング位置（２１０、２２０）を推定するための低レベル幾何学情報をキャプチャするために、前記低レベル特徴で粗マッチング位置を精緻化することと、を有する方法。
【請求項２】
複数の対照損失のディープスーパービジョンを、記述子学習のための
３Ｄ  ＣＮＮアーキテクチャの複数の層に適用することをさらに含む、請求項１に記載の方法。
【請求項３】
前記３Ｄ  ＣＮＮアーキテクチャのアクティベーションマップ内で階層的マッチング構想を用いて、前記高レベル意味情報と前記低レベル幾何学情報とを融合することをさらに含む、請求項１に記載の方法。
【請求項４】
前記高レベル意味情報が、少なくともオブジェクトクラス及びオブジェクト姿勢を含む、請求項３に記載の方法。
【請求項５】
前記低レベル幾何学情報が、少なくとも色及びエッジデータを含む、請求項３に記載の方法。
【請求項６】
前記３Ｄ幾何学対応が、剛体変換または非剛体変換のいずれかを計算するポイントクラウド登録装置（３４０）に供給される、請求項１に記載の方法。
【請求項７】
前記ポイントクラウド登録装置は、シーンのより大きな視野を提供する位置合わせされたポイントクラウド（３５０）を出力する、請求項６に記載の方法。
【請求項８】
３Ｄ畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを使用することで２つの入力ポイントクラウド間の高密度な３次元（３Ｄ）幾何学対応を推定するためのコンピュータで読み取り可能なプログラムを有する、非一時的なコンピュータで読み取り可能な記録媒体であって、
前記コンピュータで読み取り可能なプログラムがコンピュータで実行されると、
訓練段階（１００）において、
２つの入力ポイントクラウド（１１０、１２０）を切頂距離関数ボクセルグリッド表示（１１２、１２２）に変換することと、
結合重みを有する個々の特徴抽出層（１１４、１２４）へ切頂距離関数ボクセルグリッド表示を供給することと、
第１の特徴抽出層（１４０、１５０）から低レベル特徴を抽出することと、
第２の特徴抽出層（１４４、１５４）から高レベル特徴を抽出することと、
前記抽出した低レベル特徴及び高レベル特徴を正規化して（１１６、１２６）単位ベクトル特徴を取得することと、
前記第１及び第２の特徴抽出層における複数の対照損失及び複数のハードネガティブマイニングモジュール（１１８、１１８’）にディープスーパービジョンを適用することと、をコンピュータに実行させ、
テスト段階（２００）において、
高レベル意味情報をキャプチャする前記高レベル特徴を用いて、粗マッチング位置（２４０、２５０）を取得することと、
精密マッチング位置（２１０、２２０）を推定するための低レベル幾何学情報をキャプチャするために、前記低レベル特徴で粗マッチング位置を精緻化することと、をコンピュータに実行させる、非一時的なコンピュータで読み取り可能な記録媒体。
【請求項９】
複数の対照損失のディープスーパービジョンが、記述子学習のための３Ｄ  ＣＮＮアーキテクチャの複数の層に適用される、請求項８に記載の非一時的コンピュータで読み取り可能な記録媒体。
【請求項１０】
前記３Ｄ  ＣＮＮアーキテクチャのアクティベーションマップ内で階層的マッチング構想を用いて、前記高レベル意味情報と前記低レベル幾何学情報とを融合させる、請求項８に記載の非一時的コンピュータで読み取り可能な記録媒体。
【請求項１１】
前記高レベル意味情報が、少なくともオブジェクトクラスと、オブジェクト姿勢とを含む、請求項１０に記載の一時的でないコンピュータで読み取り可能な記録媒体。
【請求項１２】
前記低レベル幾何学情報が、少なくとも色及びエッジデータを含む、請求項１０に記載の非一時的コンピュータで読み取り可能な記録媒体。
【請求項１３】
前記３Ｄ幾何学対応が、剛体変換または非剛体変換のいずれかを計算するポイントクラウド登録装置（３４０）に供給される、請求項８に記載の非一時的コンピュータで読み取り可能な記録媒体。
【請求項１４】
前記ポイントクラウド登録デバイスは、シーンのより大きな視野を提供する位置合わせされたポイントクラウド（３５０）を出力する、請求項１３に記載の非一時的コンピュータで読み取り可能な記録媒体。
【請求項１５】
３次元畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを用いることにより、２つの入力ポイントクラウド間の高密度な３次元（３Ｄ）幾何学対応を推定するためのシステムであって、
２つの入力ポイントクラウド（１１０、１２０）を切頂距離関数ボクセルグリッド表示（１１２、１２２）に変換することと、
結合重みを有する個々の特徴抽出層（１１４、１２４）へ切頂距離関数ボクセルグリッド表示を供給することと、
第１の特徴抽出層（１４０、１５０）から低レベル特徴を抽出することと、
第２の特徴抽出層（１４４、１５４）から高レベル特徴を抽出することと、
前記抽出した低レベル特徴及び高レベル特徴を正規化して（１１６、１２６）単位ベクトル特徴を取得することと、
前記第１及び第２の特徴抽出層における複数の対照損失及び複数のハードネガティブマイニングモジュール（１１８、１１８’）にディープスーパービジョンを適用することと、を訓練するための訓練モジュール（１００）と、
高レベル意味情報をキャプチャする前記高レベル特徴を用いて、粗マッチング位置（２４０、２５０）を取得することと、
精密マッチング位置（２１０、２２０）を推定するための低レベル幾何学情報をキャプチャするために、前記低レベル特徴で粗マッチング位置を精緻化することと、テストするためのテストモジュール（２００）と、
を有する、システム。
【請求項１６】
複数の対照損失のディープスーパービジョンが、記述子学習のための３Ｄ  ＣＮＮアーキテクチャの複数の層に適用される、請求項１５に記載のシステム。
【請求項１７】
前記高レベル意味情報と前記低レベル幾何学情報とを融合させるために、前記３Ｄ  ＣＮＮアーキテクチャのアクティベーションマップ内で階層的マッチング構想が用いられる、請求項１５に記載のシステム。
【請求項１８】
前記高レベル意味情報が、少なくともオブジェクトクラスと、オブジェクト姿勢とを含み、前記低レベル幾何学情報が、少なくとも色及びエッジデータを含む、請求項１７に記載のシステム。
【請求項１９】
前記３Ｄ幾何学対応が、剛体変換または非剛体変換のいずれかを計算するポイントクラウド登録装置（３４０）に供給される、請求項１５に記載のシステム。
【請求項２０】
前記ポイントクラウド登録装置は、シーンのより大きな視野を提供する位置合わせされたポイントクラウド（３５０）を出力する、請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、２０１８年８月１７日に出願された米国仮特許出願第６２／７１９，１５４号及び２０１９年７月３０日に出願された米国特許出願第１６／５２６，３０６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０００２】
本発明は、ポイントクラウド等の３次元（３Ｄ）幾何学データに関して推論できる深層学習アーキテクチャに関し、より詳細にはマルチレベルメトリック学習及び階層マッチングを用いた高密度３Ｄ対応推定に関する。
【背景技術】
【０００３】
様々なコンピュータビジョンタスクは、ポイントクラウド間の３次元（３Ｄ）対応推定を用いてセンサの位置またはオブジェクトの位置等の環境内の要素またはオブジェクトを判定する。しかしながら、手作業の記述子を用いてこれらのタスクを実行することは、タスク固有に学習された記述子の性能と一致しない。さらに、３Ｄ畳み込みニューラルネットワーク（ＣＮＮ）における浅い特徴抽出及び深い特徴抽出は、性能においてトレードオフを有する。例えば、浅い特徴抽出は、ポイントクラウド内の局所構造に敏感であり、高精度タスクに適した、低レベル幾何学特徴をもたらす。一方、深い特徴抽出は、高い再現率につながる、ポイントクラウドの外観変化に対してロバストである高レベル意味特徴をもたらす。
【発明の概要】
【０００４】
３次元（３Ｄ）畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを用いて２つの入力ポイントクラウド間の高密度３Ｄ幾何学対応を推定するためのコンピュータ実装方法を提示する。本方法は、訓練段階において、２つの入力ポイントクラウドを切頂距離関数ボクセルグリッド表示に変換することと、結合重みを有する個々の特徴抽出層へ切頂距離関数ボクセルグリッド表示を供給することと、第１の特徴抽出層から低レベル特徴を抽出することと、第２の特徴抽出層から高レベル特徴を抽出することと、抽出した低レベル特徴及び高レベル特徴を正規化して単位ベクトル特徴を取得することと、第１及び第２の特徴抽出層における複数の対照損失及び複数のハードネガティブマイニングモジュールのディープスーパービジョン（deep supervision）を適用することと、を含む。本方法は、テスト段階において、高レベル特徴をキャプチャする高レベル意味情報を用いて粗マッチング位置を取得することと、低レベ精密マッチング位置を推定するための低レベル幾何学情報をキャプチャするために、低レベル特徴で粗マッチング位置を精緻化することをさらに含む。
【０００５】
３Ｄ畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを使用することで２つの入力ポイントクラウド間の高密度な３次元（３Ｄ）幾何学対応を推定するためのコンピュータで読み取り可能なプログラムを有する、非一時的な記録媒体を提示する。コンピュータで読み取り可能なプログラムは、訓練段階において、２つの入力ポイントクラウドを切頂距離関数ボクセルグリッド表示に変換することと、結合重みを有する個々の特徴抽出層へ切頂距離関数ボクセルグリッド表示を供給することと、第１の特徴抽出層から低レベル特徴を抽出することと、第２の特徴抽出層から高レベル特徴を抽出することと、抽出した低レベル特徴及び高レベル特徴を正規化して単位ベクトル特徴を取得することと、第１及び第２の特徴抽出層における複数の非損失及び複数のハードネガティブマイニングモジュールにディープスーパービジョンを適用することと、をコンピュータに実行させる。さらに、コンピュータで読み取り可能なプログラムは、テスト段階において、高レベル意味情報をキャプチャする前記高レベル特徴を用いて、粗マッチング位置を取得することと、精密マッチング位置を推定するための低レベル幾何学情報をキャプチャするために、低レベル特徴で粗マッチング位置を精緻化することと、をコンピュータに実行させる。
【０００６】
３次元（３Ｄ）畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャを用いて２つの入力ポイントクラウド間の高密度３Ｄ幾何学対応を推定するためのシステムを提示する。本システムは、２つの入力ポイントクラウドを切頂距離関数ボクセルグリッド表示に変換することと、結合重みを有する個々の特徴抽出層へ切頂距離関数ボクセルグリッド表示を供給することと、第１の特徴抽出層から低レベル特徴を抽出することと、第２の特徴抽出層から高レベル特徴を抽出することと、抽出した低レベル特徴及び高レベル特徴を正規化して単位ベクトル特徴を取得することと、第１及び第２の特徴抽出層における複数の対照損失及び複数のハードネガティブマイニングモジュールにディープスーパービジョンを適用することと、を訓練するための訓練モジュールを含む。本システムは、さらに、高レベル意味情報をキャプチャする高レベル特徴を用いて、粗マッチング位置を取得することと、精密マッチング位置を推定するための低レベル幾何学情報をキャプチャするために、低レベル特徴で粗マッチング位置を精緻化することと、テストするためのテストモジュールを含む。
【０００７】
これら及び他の特徴並びに利点は、以下の典型的な実施形態の詳細な説明を添付の図面と併せて読むことで明らかになるであろう。
【０００８】
本開示では、後述するように、以下の図面を参照しながら好ましい実施形態について詳細に説明する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明の実施形態による、訓練段階の３次元（３Ｄ）畳み込みニューラルネットワーク（ＣＮＮ）の複数層における複数の対照損失のディープスーパービジョンのブロック／フロー図である。
【００１０】
【図２】図２は、本発明の実施形態による、テスト段階中に高レベル意味特徴及び低レベル幾何学特徴の両方を融合するための、３Ｄ  ＣＮＮアクティベーションマップ内の階層的マッチング構想のブロック／フロー図である。
【００１１】
【図３】図３は、本発明の実施形態による、高密度な３Ｄ幾何学対応を生成する、一例の高密度な３Ｄ幾何学対応の推定方法のブロック／フロー図である。
【００１２】
【図４】図４は、本発明の実施形態による、位置合わせされたポイントクラウド出力を用いるための例示的な拡張現実アプリケーションのブロック／フロー図である。
【００１３】
【図５】図５は、本発明の実施形態による、拡張現実デバイスと通信する例示的な通信ネットワーク及び高密度な３Ｄ幾何学対応推定方法を用いる計算システムのブロック／フロー図である。
【００１４】
【図６】図６は、本発明の実施形態による、図５の拡張現実デバイスで採用された例示的な拡張現実センサのブロック／フロー図である。
【００１５】
【図７】図７は、本発明の実施形態による、３Ｄ  ＣＮＮアーキテクチャを採用することで、２つの入力ポイントクラウド間の高密度な３Ｄ幾何学対応を推定するための例示的な処理システムのブロック／フロー図である。
【００１６】
【図８】図８は、本発明の実施形態による、３Ｄ  ＣＮＮアーキテクチャを採用することで、２つの入力ポイントクラウド間の高密度な３Ｄ幾何学対応を推定するための例示的な方法のブロック／フロー図である。
【発明を実施するための形態】
【００１７】
本発明の実施形態は、高密度な記述子を抽出するための３次元（３Ｄ）畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）アーキテクチャを、高密度対応を推定するための３Ｄ  ＣＮＮアクティベーションマップ内の新しい階層的マッチング構想と共に実装する。
【００１８】
本発明の実施形態では、高密度な記述子学習のための３Ｄ  ＣＮＮアーキテクチャをさらに実装する。本実施形態は、より効果的な記述子学習のために、複数の対照損失のディープスーパービジョンを３Ｄ  ＣＮＮの複数層に適用する。さらに、ポイントクラウド登録等の他の幾何学マッチングタスクに関してより正確な対応推定及びより高い精度を導く、３Ｄ  ＣＮＮアクティベーションマップ内で高レベル意味特徴と低レベル幾何学特徴の両方を融合するための階層的マッチング構想を採用する。
【００１９】
図１は、本発明の実施形態による、訓練段階における３次元（３Ｄ）畳み込みニューラルネットワーク（ＣＮＮ）の複数層における複数の対照損失のディープスーパービジョンのブロック／フロー図である。
【００２０】
訓練モジュール１００において、２つの入力ポイントクラウド１１０、１２０は、まず切頂距離関数（ＴＤＦ：truncated distance function）ボクセルグリッド表示１１２、１２２に変換される。ＴＤＦボクセルグリッド１１２、１２２は、それぞれｃｏｎｖ−２層（１４０、１５０）及びｃｏｎｖ−８層（１４４、１５４）において低レベル特徴及び高レベル特徴を抽出するために、結合重みを有する個々の特徴抽出モジュール１１４、１１４’、１２４、１２４’を通過する。次に、Ｌ２正規化１１６、１１６’、１２６、１２６’を用いて特徴を正規化し、単位特徴ベクトルを取得する。本実施形態では、それぞれｃｏｎｖ−２及びｃｏｎｖ−８層（１４９、１５０）及び（１４４、１５４）における複数のハードネガティブマイニングモジュール１１８、１１８’を用いて、複数の対照損失１３０、１３０’のディープスーパービジョンを適用する。図１において、本実施形態では、２つの最も優れた特徴層、すなわちｃｏｎｖ−２層（１４０、１５０）及びｃｏｎｖ−８層（１４４、１５４）を用いる。特に、ｃｏｎｖ−２の特徴は、最良の精度をもたらし、ｃｏｎｖ−８の特徴は最良の再現率をもたらす。ｃｏｎｖ−３、ｃｏｎｖ−４、ｃｏｎｖ−５（１４２、１５２）等の中間層に中間スーパービジョンを追加することで性能がわずかに向上する。
【００２１】
ポイントクラウド１１０、１２０に関して、３Ｄポイントクラウドは、様々なコンピュータビジョンアプリケーションで用いられる。３Ｄポイントクラウドは、オブジェクトの外部表面を表す３Ｄ座標系におけるデータポイントのセットである。３Ｄポイントクラウドは、３Ｄスキャナ等の３Ｄキャプチャ装置によって取得されてもよい。オブジェクトの表面において多数の点を測定して得られたポイントクラウドはファイルに格納してもよい。
【００２２】
３Ｄポイントクラウドを取得するための種々の検出方法が開発されている。例えば、ＳＦＭ（Structure-From-Motion）法では、観察者及び／または観察対象のオブジェクトが互いに移動する２次元画像から３次元構造が推定される。ＬｉＤＡＲ（Light Detection And Ranging）法では、オブジェクトにレーザ光を照射し、その反射光を解析することで距離を測定する。測定データはポイントクラウドとして保存される。
【００２３】
図２は、本発明の実施形態による、テスト段階における高レベル意味特徴と低レベル幾何学特徴の両方を融合するための、３Ｄ  ＣＮＮアクティベーションマップ内の階層的マッチング構想のブロック／フロー図である。
【００２４】
テストモジュール２００において、本実施形態では、まず高レベル意味情報、例えばオブジェクトクラス及びオブジェクト姿勢をキャプチャする高レベル特徴（ｃｏｎｖ−８特徴)（１４４、１５４）を用いて粗マッチング位置２４０、２５０を取得する。粗マッチング位置２５０は、｛ｐｉ，ｑｉ｝として指定できる。粗マッチング位置２４０、２５０は、低レベル幾何学情報、例えば色及びエッジをキャプチャし、精密マッチング位置２１０、２２０を推定するのに良好である、低レベル特徴（ｃｏｎｖ−２特徴）（１４０、１５０）を用いて精微化される。精密マッチング位置２２０は、｛ｐｉ’，ｑｉ’｝で指定できる。図２では、本実施形態が２つの最良に機能する特徴層、すなわちｃｏｎｖ−２及びｃｏｎｖ−８を用いている。特に、ｃｏｎｖ−２特徴は最良の精度をもたらし、ｃｏｎｖ−８特徴は最良の再現率をもたらす。ｃｏｎｖ−３、ｃｏｎｖ−４、ｃｏｎｖ−５（１４２、１５２）等の中間層に中間マッチングを追加すると、性能がわずかに向上する。
【００２５】
図３は、本発明の実施形態による、高密度な３Ｄ幾何学対応を生成する高密度な３Ｄ幾何学対応推定方法の一例のブロック／フロー図である。
【００２６】
ポイントクラウド登録に対する高密度な３Ｄ幾何学対応推定法のアプリケーションを図３に示す。２つの入力ポイントクラウド１１０、１２０は、高密度な３Ｄ幾何学対応３２０、３３０を生成する、高密度な３Ｄ幾何学対応推定方法３１０（訓練モジュール１００及びテストモジュール２００を含む）に渡される。これらの高密度な３Ｄ幾何学対応３２０、３３０は、入力ポイントクラウド１１０、１２０を位置合わせするために用いられる、剛体変換（例えば、３Ｄ回転及び３Ｄ平行移動）または非剛体変換（例えば、３Ｄベクトルフィールド）を計算する、ポイントクラウド登録モジュール３４０に送られる。その出力は、シーンのより大きな視野を提供する、拡張現実アプリケーション３６０等のアプリケーションで使用される、位置合わせされたポイントクラウド３５０である。
【００２７】
図４は、本発明の実施形態による、位置合わせされたポイントクラウド出力を用いる拡張現実アプリケーションの一例を示すブロック／フロー図である。
【００２８】
本発明の実施形態は、任意の拡張現実アプリケーション３６０と共に使用できる。拡張現実アプリケーションの例をいくつか挙げると、医療訓練４０２、小売り４０４、修理及び保守４０６、デザイン及びモデル化４０８、ビジネスロジスティクス４１０、スポーツトレーニング４１２、観光業４１４、学校教育４１６、フィールドサービス４１８、娯楽産業４２０、公共安全４２２及びゲーム４２４が含まれる。
【００２９】
例えば、医療訓練４０２に関して、磁気共鳴イメージング（ＭＲＩ：magnetic resonance imaging）装置を操作することから複雑な手術を実行することまで、ＡＲ（augmented reality）技術は多くの分野における医療訓練の範囲及び有効性を高める可能性を保持している。
【００３０】
小売り４０４に関して、例えば今日の物理的な小売り環境において、買い物客は、自分で検索して製品の価格を比較したり、追加情報を調べたりするために、スマートフォンをこれまで以上に利用している。
【００３１】
修理及び保守４０６に関して、例えばＡＲの最大の工業上の使用事例の１つは、複雑な機器の修理及び保守である。自動車用モータやＭＲＩ装置にかかわらず、修理・保守スタッフはＡＲヘッドセット及びメガネを使用し始めており、その間に作業を行い、現場で有用な情報を提供し、潜在的な修正を提案し、潜在的なトラブル領域を指摘し始めている。
【００３２】
図５は、本発明の実施形態による、拡張現実デバイスと通信する例示的な通信ネットワーク及び高密度な３Ｄ幾何学対応推定方法を用いる計算システムのブロック／フロー図である。
【００３３】
拡張現実（ＡＲ：augmented reality）ヘッドマウントディスプレイ５１０は、通信ネットワーク５３０を介してネットワークにアクセス可能な計算システム５４０と通信できる。ネットワークにアクセス可能な計算システム５４０は、高密度な３Ｄ幾何学対応推定（訓練モジュール１００及びテストモジュール２００を含む）を用いる３Ｄ  ＣＮＮアーキテクチャ５４５を使用できる。
【００３４】
ＡＲヘッドマウントディスプレイ５１０は、例えばメガネ５１２及び／またはヘッドアップディスプレイ（ＨＵＤ）５１４を含むことができる。ＡＲメガネ５１２に関して、ＡＲディスプレイは、メガネに似た装置でレンダリングできる。バージョンには、実世界の視界をインターセプトし、ＡＲ画像がメガネレンズ片の表面を通して投影される、またはメガネレンズ片の表面から反射される装置を通して、その拡張視界を再表示するためにカメラを用いるメガネが含まれる。一方、ヘッドアップディスプレイ（ＨＵＤ）５１４は、通常の視点から視線を逸らすことを要求することなくユーザにデータを提示する透明ディスプレイである。ユーザが現実世界を見ている間に、データ、情報及び画像を示すことができるため、目の近くで使う拡張現実デバイスを、携帯型ヘッドアップディスプレイとして使用できる。
【００３５】
さらに、拡張現実（ＡＲ）携帯ディスプレイ５２０は、通信ネットワーク５３０を介してネットワークにアクセス可能な計算システム５４０と通信できる。ネットワークにアクセス可能な計算システム５４０は、高密度な３Ｄ幾何学対応推定（訓練モジュール１００及びテストモジュール２００を含む）を用いる３Ｄ  ＣＮＮアーキテクチャ５４５を使用できる。
【００３６】
ＡＲ携帯ディスプレイ５２０は、例えば、スマートフォン５２２及び／またはタブレット５２４を含むことができる。携帯ディスプレイは、ユーザの手にフィットする小型ディスプレイを使用する。全ての携帯ＡＲソリューションは、ビデオシースルー方式を選択する。当初、携帯ＡＲは、基準マーカ、後にディジタルコンパスや６自由度の加速度計（ジャイロスコープ）のような全地球測位システム（ＧＰＳ：global positioning system）ユニットや微小電気機械システム（ＭＥＭＳ：micro-electromechanical system）センサを採用していた。近年は、ＰＴＡＭ（parallel tracking and mapping）のようなＳＬＡＭ（simultaneous localization and mapping）マーカレストラッカが使用され始めている。携帯ディスプレイＡＲは、ＡＲ技術に関する最初の商業的成功であることを期待させる。携帯ＡＲの２つの主な利点は、携帯装置の携帯性とカメラ付き携帯電話のユビキタス性である。
【００３７】
図６は、本発明の実施形態による、図５の拡張現実デバイスで採用された例示的な拡張現実センサのブロック／フロー図である。
【００３８】
通信ネットワーク５３０は、例えば、装着可能な、埋め込み可能な、または摂取可能な電子装置及び拡張現実（ＡＲ）センサと通信できる。装着可能な、埋め込み可能な、または摂取可能な装置は、少なくとも健康及び健康監視装置、並びにフィットネス装置を含むことができる。装着可能な、埋め込み可能な、または摂取可能な装置は、少なくとも埋め込み可能な装置、スマートウォッチ、頭部装着型装置、セキュリティ及び防止装置、並びにゲーム及びライフスタイル装置をさらに含むことができる。ＡＲセンサは、少なくともホームオートメーションアプリケーション、自動車アプリケーション、ユーザインターフェースアプリケーション、ライフスタイル及び／または娯楽アプリケーション、都市及び／またはインフラストラクチャアプリケーション、玩具、ヘルスケア、フィットネス、小売りタグ及び／またはトラッカ、プラットフォーム及びコンポーネントなどに組み込むことができる。本明細書で説明される通信ネットワーク５３０は、任意のタイプの使用形態、アプリケーション、または動作のために、任意のタイプの電子デバイスと通信できる。
【００３９】
拡張現実は、センサ無しではその特徴を失う。ＡＲセンサは、ＡＲをデバイスの標準的な受動ネットワークから現実世界と統合が可能な能動システムに変換する定義機器として機能する。
【００４０】
ＡＲセンサ６１０は、連続的かつリアルタイムで情報／データを送信するために、通信ネットワーク５３０を介して接続できる。例示的なＡＲセンサ６１０としては、位置／存在／近接センサ６１２、運動／速度センサ６１４、加速度／傾斜センサ６１７等の変位センサ６１６、温度センサ６１８、湿気／湿度センサ６２０、並びに流量センサ６２１、音／音声／振動センサ６２２、化学／ガスセンサ６２４、力または負荷またはトルクまたは歪みまたは圧力センサ６２６、電気／磁気センサ６２８及び／または３Ｄ深度センサ６３０を含むことができるが、これらに限定されない。当業者は、データ／情報を収集し、さらなる処理のために通信ネットワーク５３０のモジュール１００、２００に入力するための、任意のセンサの組み合わせを使用することを検討できる。当業者は、磁力計、ジャイロスコープ、画像センサ、光センサ、ＲＦＩＤ（radio frequency identification）センサ及び／またはマイクロフローセンサ等の他のタイプのＡＲセンサを使用することを検討できるが、これらに限定されない。ＡＲセンサは、またエネルギーモジュール、電力管理モジュール、ＲＦモジュール及びセンシング・モジュールを含むことができる。ＲＦモジュールは、ＷｉＦｉ、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線トランシーバ、デュプレクサ等の信号処理を介して通信を管理する。
【００４１】
さらに、データ収集ソフトウェアを用いて、センシング、測定、光データフィルタリング、光データセキュリティ及びデータを集約して管理できる。データ収集ソフトウェアは、特定のプロトコルを用いて、ＡＲセンサがリアルタイムでマシンツーマシンネットワークと接続するのを助ける。データ収集ソフトウェアは、複数のデバイスからデータを収集し、それを設定に従って配布する。また、データ収集ソフトウェアは、デバイスを介してデータを配布することで、逆に働く。システムは、最終的に収集された全てのデータを、例えば中央サーバに送信できる。
【００４２】
図７は、本発明の実施形態による、３Ｄ  ＣＮＮアーキテクチャを採用することで、２つの入力ポイントクラウド間の高密度な３次元（３Ｄ）幾何学対応を推定するための例示的な処理システムのブロック／フロー図である。
【００４３】
本処理システムは、システムバス７０２を介して他の構成要素と動作可能に接続された少なくとも１つのプロセッサまたはプロセッサ装置７０４を含む。システムバス７０２には、キャッシュ７０６、リードオンリメモリ（ＲＯＭ）７０８、ランダムアクセスメモリ（ＲＡＭ）７１０、入力／出力（Ｉ／Ｏ）アダプタ７２０、ネットワークアダプタ７３０、ユーザインタフェースアダプタ７４０及びディスプレイアダプタ７５０が動作可能に接続されている。通信ネットワーク５３０はバス７０２に接続できる。通信ネットワーク５３０は、訓練モジュール１００及びテストモジュール２００２０含む高密度な３Ｄ幾何学対応５４５を有する３Ｄ  ＣＮＮアーキテクチャを採用することができる。
【００４４】
記憶装置７２２は、Ｉ／Ｏアダプタ７２０によってシステムバス７０２に動作可能に接続されている。記憶装置７２２は、ディスク記憶装置（例えば、磁気または光ディスク記憶装置）、固体磁気装置等のうちのいずれであってもよい。
【００４５】
トランシーバ７３２は、ネットワークアダプタ７３０によってシステムバス７０２に動作可能に接続されている。
【００４６】
ユーザ入力装置７４２は、ユーザインタフェースアダプタ７４０によってシステムバス７０２に動作可能に接続されている。ユーザ入力装置７４２は、キーボード、マウス、キーパッド、イメージキャプチャ装置、モーション感知装置、マイクロホン、あるいはこれらの装置のうちの少なくとも２つの装置の機能を組み込んだ装置等のいずれであってもよい。本原理の主旨を維持する限りにおいて、他のタイプの入力装置を使用することも可能である。ユーザ入力装置７４２は、同じタイプのユーザ入力装置であってもよく、異なるタイプのユーザ入力装置であってもよい。ユーザ入力装置７４２は、処理システムとの間で情報を入出力するために使用される。
【００４７】
ディスプレイデバイス７５２は、ディスプレイアダプタ７５０によってシステムバス７０２に動作可能に接続されている。
【００４８】
処理システムは、当業者であれば容易に思いつくような他の要素（図示せず）を含んでもよく、特定の要素を省略することも可能である。例えば、当業者であれば容易に理解できるが、処理システムには、その詳細な実装に応じて他の様々なタイプの入力装置及び／または出力装置を含むことができる。例えば、無線及び／または有線による様々な入力装置及び／または出力装置を使用できる。さらに、当業者であれば容易に理解できるが、様々な構成の追加プロセッサ、コントローラ、メモリ等を使用することも可能である。処理システムの上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。
【００４９】
図８は、本発明の実施形態による、３Ｄ  ＣＮＮアーキテクチャを採用することで、２つの入力ポイントクラウド間の高密度な３次元（３Ｄ）幾何学対応を推定するための例示的な方法のブロック／フロー図である。
【００５０】
ブロック８０１において、訓練段階では、２つの入力ポイントクラウドを切頂距離関数ボクセルグリッド表示に変換し、切頂距離関数ボクセルグリッド表示を、結合重みを有する個々の特徴抽出層に供給し、第１の特徴抽出層から低レベル特徴を抽出し、第２の特徴抽出層から高レベル特徴を抽出し、抽出された低レベル特徴及び高レベル特徴を正規化して単位ベクトル特徴を取得し、第１及び第２の特徴抽出層において複数の対照損失及び複数のハードネガティブマイニングモジュールのディープスーパービジョンを適用する。
【００５１】
ブロック８０３において、テスト段階では、高レベル特徴キャプチャ高レベル意味情報を用いて粗マッチング位置を取得し、低レベル特徴で粗マッチング位置を精微化して、精密マッチング位置を推定するための低レベル幾何学情報を取得する。
【００５２】
要約すると、３Ｄ  ＣＮＮの複数層における複数の対照損失のディープスーパービジョンが図１で示されている。さらに、高レベル意味特徴及び低レベル幾何学特徴の両方を融合するための３Ｄ  ＣＮＮアクティベーションマップ内の階層的マッチング構想が図２で示されており、高密度な３Ｄ幾何学対応推定を用いたポイントクラウド位置合わせが図３で示されている。
【００５３】
図１で示すような３Ｄ  ＣＮＮの複数層の複数の対照損失のディープスーパービジョンは、最も深い層のみを監視する従来の手法とは対照的に、より効果的な記述子学習を可能にする。図２で示すような高レベル意味特徴と低レベル幾何学特徴の両方を融合するための３Ｄ  ＣＮＮアクティベーションマップ内の階層的マッチング構想は、純粋に高レベル意味特徴に依存する以前のアプローチと比較して、より正確な対応推定をもたらす。また、図１及び図２で示すような高密度な３Ｄ幾何学対応推定によって、図３で示すように、より正確にポイントクラウド登録を行うことができる。
【００５４】
本明細書で使用される用語「データ」、「コンテンツ」、「情報」及び同様の用語は、様々な例示的な実施形態によって取得され、送信され、受信され、表示され、及び／または格納されることが可能なデータを示すために、交換可能に使用できる。したがって、これらの用語の使用は、開示の主旨及び範囲を制限するものと解釈されるべきではない。さらに、本明細書に別の計算デバイスからデータを受信するための計算デバイスが記載されている場合、データは、別の計算デバイスから直接受信してもよく、１つ以上の中間計算デバイス、例えば１つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局等を介して間接的に受信してもよい。同様に、本明細書にデータを別の計算デバイスに送信するための計算デバイスが記載されている場合、データは、別の計算データに直接送信してもよく、例えば、１つ以上のサーバ、リレー、ルータ、ネットワークアクセスポイント、基地局及び／または同様のもの等の１つ以上の中間計算デバイスを介して間接的に送信してもよい。
【００５５】
ユーザとのインタラクションを提供するための、本明細書に記載されている実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＣＲＴ（cathode ray tube）またはＬＣＤ（liquid crystal display）モニタ、キーボード、ユーザがコンピュータに入力できるポインティングデバイス、例えばマウスまたはトラックボールを有するコンピュータで実施できる。他の種類の装置もユーザとのインタラクションを提供するために使用することができる。例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば視覚フィードバック、聴覚フィードバックまたは触覚フィードバックとすることが可能であり、ユーザからの入力は、音響入力、音声入力または触覚入力を含む任意の形態で受信できる。
【００５６】
当業者であれば理解するように、本発明の態様は、システム、方法またはコンピュータプログラム製品として実施してもよい。したがって、本発明の態様は、全体としてハードウェアの実施形態であってもよく、全としてソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）であってもよく、本明細書において、一般に「回路」、「モジュール」、「計算機」、「装置」または「システム」と呼ぶことができる、ソフトウェアとハードウェアの態様を組み合わせた実施の形態を採用してもよい。さらに、本発明の態様は、コンピュータで読み取り可能なプログラムコードを有する、１つまたは複数のコンピュータで読み取り可能な媒体で具現化された、コンピュータプログラム製品の形態を採用してもよい。
【００５７】
１つまたは複数のコンピュータで読み取り可能な媒体の任意の組合せを用いてもよい。コンピュータで読み取り可能な媒体は、コンピュータで読み取り可能な信号媒体またはコンピュータで読み取り可能な記録媒体であってもよい。コンピュータで読み取り可能な記録媒体は、例えば、電子、磁気、光学、電磁気、赤外線または半導体システム、装置またはデバイス、あるいは前述の任意の適切な組合せとすることができるが、これらに限定されない。コンピュータで読み取り可能な記録媒体のより具体的な例（以下に限定されない）は、１つ以上のワイヤ、携帯用コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯用コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光データ記憶装置、磁気データ記憶装置または前述した任意の適切な組み合わせを含む。本文書のコンテキストにおいて、コンピュータで読み取り可能な記録媒体は、命令実行システム、装置またはデバイスによって、またはそれに関連して使用するためのプログラムを含む、またはそれを記憶できる、任意の有形媒体であってもよい。
【００５８】
コンピュータで読み取り可能な信号媒体には、例えば、ベースバンドで、または搬送波の一部として、コンピュータで読み取り可能なプログラムコードが具現化された伝搬データ信号を含むことができる。そのような伝播信号は、電磁、光学またはそれらの任意の適切な組み合わせを含むが、それらに限定されない、任意の様々な形態がある。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記録媒体ではなく、命令実行システム、装置または装置によって、またはそれに関連して使用するためにプログラムを通信、伝播、または移送できる、任意のコンピュータ読み取り可能な媒体であってもよい。
【００５９】
コンピュータで読み取り可能な媒体で具現化されるプログラムコードは、無線、有線、光ファイバケーブル、ＲＦ等、あるいは前述した任意の適切な組合せを含むが、これらに限定されない、任意の適切な媒体を用いて送信される。
【００６０】
本発明の態様に関する処理を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語または類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書くことができる。プログラムコードは、全体的にユーザのコンピュータで実行されてもよく、スタンドアロンソフトウェアパッケージとして部分的にユーザのコンピュータで実行されてもよく、部分的にユーザのコンピュータで実行され、かつ部分的にリモートコンピュータで実行されてもよく、全体的にリモートコンピュータまたはサーバで実行されてもよい。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータと接続されてもよく、（例えば、インターネットサービスプロバイダを利用したインターネットを介して）外部コンピュータと接続されてもよい。
【００６１】
本発明の態様について、本発明の実施形態による方法、装置（システム）、並びにコンピュータプログラム製品のフローチャート及び／またはブロック図を参照して以下で説明する。フローチャート及び／またはブロック図の各ブロック、並びにフローチャート及び／またはブロック図のブロックにおける組合せは、コンピュータプログラム命令によって実施できることを理解されたい。これらのコンピュータプログラム命令は、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを通して実行される命令が、フローチャート及び／またはブロック図の１つまたは複数のブロックまたはモジュールに指定される機能／動作を実施するための手段を作り出すようなマシンを生成するために、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供される。
【００６２】
これらのコンピュータプログラム命令は、コンピュータで読み取り可能な媒体に格納された命令が、フローチャート及び／またはブロック図の１つまたは複数のブロックまたはモジュールに指定された機能／動作を実装する命令を含む製品を生成するように、コンピュータ、他のプログラマブルデータ処理装置または他のデバイスに、特定の方法で機能するように指示できるコンピュータで読み取り可能な媒体に格納できる。
【００６３】
コンピュータプログラム命令は、またコンピュータ、他のプログラマブルデータ処理装置または他のデバイスにロードされて、一連の動作ステップがコンピュータ、他のプログラマブル装置または他のデバイスで実行され、コンピュータまたは他のプログラマブル装置で実行される命令が、フローチャート及び／またはブロック図のブロックまたはモジュールに指定された機能／動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成できる。
【００６４】
本明細書で使用する「プロセッサ」という用語は、例えばＣＰＵ（central processing unit）及び／または他の処理回路を含むもの等、任意の処理装置を含むことを意図しており、「プロセッサ」という用語は１つ以上の処理装置を指すことが可能であり、処理装置に関連する様々な要素は、他の処理装置によって共有されることも理解されたい。
【００６５】
本明細書で使用される「メモリ」という用語は、例えば、ＲＡＭ、ＲＯＭ、固定メモリデバイス（例えば、ハードドライブ）、リムーバブルメモリデバイス（例えば、ディスケット）、フラッシュメモリ等、プロセッサまたはＣＰＵに関連するメモリを含むことを意図している。このようなメモリは、コンピュータで読み取り可能な記録媒体と考えることができる。
【００６６】
さらに、本明細書で使用する「入力／出力装置」または「Ｉ／Ｏ装置」という用語は、例えば、処理ユニットにデータを入力するための１つまたは複数の入力装置（例えば、キーボード、マウス、スキャナ等）及び／または処理ユニットに関連する、結果を提示するための１つまたは複数の出力装置（例えば、スピーカ、ディスプレイ、プリンタなど）を含むことを意図している。
【００６７】
上記は、あらゆる観点において説明的かつ典型的であって限定的でないものと理解されるべきであり、本明細書で開示する本発明の範囲は、詳細な説明から決定されるべきではなく、特許法で認められた最大限の広さに基づいて解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、本発明の範囲及び主旨から逸脱することなく当業者は様々な変更を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。以上、本発明の態様について、特許法で要求される細部及び詳細な事項と共に説明したが、特許証で保護されることを要求する特許請求の範囲は、添付の特許請求の範囲に示されている。
【図１】
2021530030.tif 000003
【図２】
2021530030.tif 000004
【図３】
2021530030.tif 000005
【図４】
2021530030.tif 000006
【図５】
2021530030.tif 000007
【図６】
2021530030.tif 000008
【図７】
2021530030.tif 000009
【図８】
2021530030.tif 000010
【国際調査報告】
2021530030.tif 000011
2021530030.tif 000012