(57)【要約】画像捕捉デバイスの姿勢を判定する方法は、画像捕捉デバイスを使用して画像を捕捉するステップを含む。本方法はまた、捕捉された画像に対応するデータ構造を生成するステップを含む。本方法はさらに、データ構造と複数の既知のデータ構造を比較し、最も類似する既知のデータ構造を識別するステップを含む。さらに、本方法は、最も類似する既知のデータ構造に対応するメタデータを読み取り、画像捕捉デバイスの姿勢を判定するステップを含む。
2018536244.tif 000002
【特許請求の範囲】
【請求項１】
画像捕捉デバイスの姿勢を判定する方法であって、
画像捕捉デバイスを使用して画像を捕捉するステップと、
前記捕捉された画像に対応するデータ構造を生成するステップと、
前記データ構造と複数の既知のデータ構造を比較し、最も類似する既知のデータ構造を識別するステップと、
前記最も類似する既知のデータ構造に対応するメタデータを読み取り、前記画像捕捉デバイスの姿勢を判定するステップと、
を含む、方法。
【請求項２】
前記データ構造は、前記捕捉された画像のコンパクト表現である、請求項１に記載の方法。
【請求項３】
前記データ構造は、Ｎ次元ベクトルである、請求項２に記載の方法。
【請求項４】
前記捕捉された画像に対応するデータ構造を生成するステップは、ニューラルネットワークを使用して、前記捕捉された画像を前記Ｎ次元ベクトルにマッピングするステップを含む、請求項３に記載の方法。
【請求項５】
前記ニューラルネットワークは、畳み込みニューラルネットワークである、請求項４に記載の方法。
【請求項６】
前記データ構造は、１２８次元ベクトルである、請求項３に記載の方法。
【請求項７】
前記複数の既知のデータ構造のそれぞれは、Ｎ次元空間内の個別の既知のＮ次元ベクトルである、請求項１に記載の方法。
【請求項８】
前記データ構造は、Ｎ次元ベクトルであり、
前記データ構造と前記複数の既知のデータ構造とを比較し、前記最も類似する既知のデータ構造を識別するステップは、
前記Ｎ次元ベクトルと各個別の既知のＮ次元ベクトルとの間の個別のユークリッド距離を判定するステップと、
前記Ｎ次元ベクトルに対して最小距離を有する既知のＮ次元ベクトルを前記最も類似する既知のデータ構造として識別するステップと、
を含む、請求項７に記載の方法。
【請求項９】
前記複数の既知のデータ構造のそれぞれは、１２８次元空間内の個別の既知の１２８次元ベクトルである、請求項７に記載の方法。
【請求項１０】
複数の既知の画像を前記複数の既知のデータ構造にマッピングすることによって、ニューラルネットワークを訓練するステップをさらに含む、請求項１に記載の方法。
【請求項１１】
前記ニューラルネットワークは、畳み込みニューラルネットワークである、請求項１０に記載の方法。
【請求項１２】
前記ニューラルネットワークを訓練するステップは、前記複数のうちの一対の既知の画像を比較することに基づいて、前記ニューラルネットワークを修正するステップを含む、請求項１０に記載の方法。
【請求項１３】
前記ニューラルネットワークを訓練するステップは、前記複数のうちの既知の画像のトリプレットを比較することに基づいて、前記ニューラルネットワークを修正するステップを含む、請求項１０に記載の方法。
【請求項１４】
前記複数のうちの各既知の画像は、姿勢データを含む個別のメタデータを有し、
前記ニューラルネットワークを訓練するステップは、前記個別のメタデータで注釈が付けられた前記既知の画像のデータベースにアクセスするステップを含む、請求項１０に記載の方法。
【請求項１５】
前記姿勢データは、既知の画像に対応するカメラの平行移動および回転をエンコードする、請求項１４に記載の方法。
【請求項１６】
前記複数のうちの各既知のデータ構造は、Ｎ次元空間内の個別の既知のＮ次元ベクトルであり、
前記トリプレットの第１の既知の画像は、前記トリプレットの第２の既知の画像に関するマッチング画像であり、
前記トリプレットの第３の既知の画像は、前記トリプレットの第１の既知の画像に関する非マッチング画像である、
請求項１４に記載の方法。
【請求項１７】
前記マッチングする第１および第２の既知の画像に対応する個別の第１および第２の姿勢データ間の第１のユークリッド距離は、所定の閾値未満であり、
前記マッチングしない第１および第３の既知の画像に対応する個別の第１および第３の姿勢データ間の第２のユークリッド距離は、前記所定の閾値を上回る、
請求項１６に記載の方法。
【請求項１８】
前記ニューラルネットワークを訓練するステップは、
Ｎ次元空間内の前記マッチングする第１および第２の既知の画像にそれぞれ対応する第１および第２の既知のＮ次元ベクトル間の第１のユークリッド距離を減少させるステップと、
前記Ｎ次元空間内の前記マッチングしない第１および第３の既知の画像にそれぞれ対応する第１および第３の既知のＮ次元ベクトル間の第２のユークリッド距離を増加させるステップと、
を含む、請求項１６に記載の方法。
【請求項１９】
リアルタイムで、前記データ構造と前記複数の既知のデータ構造とを比較し、前記最も類似する既知のデータ構造を識別するステップをさらに含む、請求項１に記載の方法。
【請求項２０】
前記最も類似する既知のデータ構造に対応するメタデータは、前記最も類似する既知のデータ構造に対応する姿勢データを含む、請求項１に記載の方法。
【請求項２１】
前記最も類似する既知のデータ構造のメタデータ内の姿勢データから前記画像捕捉デバイスの姿勢を判定するステップをさらに含む、請求項２０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、米国仮特許出願第６２／２６３，５２９号、出願日２０１５年１２月４日、発明の名称  “ＲＥＬＯＣＡＬＩＺＡＴＩＯＮ  ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ”、代理人管理番号９５１２−３００６１．００  ＵＳに対する優先権を主張するものである。本願は、米国特許出願第１５／１５０，０４２号、出願日２０１６年５月９日、発明の名称“ＤＥＶＩＣＥＳ，  ＭＥＴＨＯＤＳ  ＡＮＤ  ＳＹＳＴＥＭＳ  ＦＯＲ  ＢＩＯＭＥＴＲＩＣ  ＵＳＥＲ  ＲＥＣＯＧＮＩＴＩＯＮ  ＵＴＩＬＩＺＩＮＧ  ＮＥＵＲＡＬ  ＮＥＴＷＯＲＫＳ”、代理人管理番号ＭＬ．２００２８．００．に記載されているものと類似した主題を含んでいる。上記特許出願の内容は、あたかも全体が開示されているように、それらの全体が参照により本明細書中に明示的にかつ完全に援用される。
【０００２】
本明細書中の主題は、種々のシステム（例えば、Ｍａｇｉｃ  Ｌｅａｐ，  Ｉｎｃ（Ｆｏｒｔ  Ｌａｕｄｅｒｄａｌｅ，  Ｆｌｏｒｉｄａ）等の組織によって設計されたウェアラブルコンピューティングシステムおよびその構成要素等）に採用され得る、かつ／または、そのような種々のシステムとともに利用され得る。以下のドキュメントは、あたかも全体が開示されているように、それらの全体が参照により本明細書中に明示的にかつ完全に援用される。米国特許出願第１４／６４１，３７６号；米国特許出願第１４／５５５，５８５号、米国特許出願第１４／２０５，１２６号、米国特許出願第１４／２１２，９６１号、米国特許出願第１４／６９０，４０１号、米国特許出願第１３／６６３，４６６号、および米国特許出願第１３／６８４，４８９号。
【０００３】
本開示は、姿勢に敏感なシステムの位置特定のためのデバイス、方法、およびシステムに関する。特に、本開示は、システムの姿勢を見失ったか、および／または未だ確立していないかのいずれかである、姿勢に敏感なシステムの再位置特定のためのデバイス、方法、およびシステムに関する。
【背景技術】
【０００４】
システムの数の増加は、システムが最適に機能するために、姿勢情報を要求する。最適性能のために姿勢情報を要求する、システムの実施例として、限定ではないが、ロボットおよび混合現実（ＭＲ）システム（すなわち、仮想現実（ＶＲ）および／または拡張現実（ＡＲ）システム）が挙げられる。そのようなシステムは、集合的に、「姿勢に敏感な」システムと称され得る。姿勢情報の一実施例は、３次元空間内の姿勢に敏感なシステムを位置特定および配向する、６自由度に沿った空間情報である。
【０００５】
姿勢に敏感なシステムは、種々のイベント後、「見失われ」得る（すなわち、システムの姿勢の追跡を見失う）。これらのイベントのうちのいくつかは、１．（例えば、スポーツ参加者によって装着されるＡＲシステム内の）高速カメラ運動、２．閉塞（例えば、人物が視野の中に歩いて入って来ることによって）、３．運動ぶれ（例えば、ＡＲシステムユーザによる高速頭部回転に伴う）、４．低光量（例えば、光の明滅）、５．突発的システム障害（例えば、停電）、および６．無特徴環境（例えば、平坦な壁を伴う部屋）を含む。これらのイベントのいずれかおよび多くのその他は、ロバストな追跡フロントエンドを伴う現在の同時位置特定およびマッピング（「ＳＬＡＭ」）システムによって採用されるもの等の特徴ベースの追跡に著しく影響を及ぼし、それによって、これらのシステムを見失わせ得る。
【０００６】
故に、再位置特定（すなわち、システムがマッピングされた空間内で「見失われた」とき、システムの姿勢をマップ内で見出すこと）が、困難であって、リアルタイム視覚追跡の重要な側面である。追跡の失敗は、ＳＬＡＭシステムにおける重大な問題であって、システムの復元（または再位置特定）能力は、以前に訪問した場所を正確に認識するその能力に依拠する。
【０００７】
ロボットにおける画像ベースの位置特定の問題は、一般に、見失われたロボット問題（または誘拐されたロボット問題）と称される。見失われたロボット問題はまた、ウェイクアップロボット問題およびループ閉鎖検出の両方にも関連する。ウェイクアップロボット問題は、システムが第１の時間にわたってオンにされることを伴う。ループ閉鎖検出は、システムが、正常に追跡し、以前に訪問した場所を再訪問することを伴う。ループ閉鎖検出では、画像位置特定システムは、システムが以前にその場所を訪問したことを認識しなければならない。そのようなループ閉鎖検出は、位置特定ドリフトを防止することに役立ち、大環境の３Ｄマップを構築するときに重要である。故に、姿勢に敏感なシステム位置特定は、見失われたシステムシナリオ以外の状況において有用である。
【０００８】
ＭＲシステム（例えば、ＡＲシステム）は、典型的ロボットシステムよりさらに高い位置特定要件を有する。本明細書に説明および請求される姿勢に敏感なシステムを位置特定するためのデバイス、方法、およびシステムは、全ての姿勢に敏感なシステムの最適機能を促進することができる。
【発明の概要】
【課題を解決するための手段】
【０００９】
一実施形態では、画像捕捉デバイスの姿勢を判定する方法を対象とし、本方法は、画像捕捉デバイスを使用して画像を捕捉するステップを含む。本方法はまた、捕捉された画像に対応するデータ構造を生成するステップを含む。本方法はさらに、データ構造と複数の既知のデータ構造を比較し、最も類似する既知のデータ構造を識別するステップを含む。さらに、本方法は、最も類似する既知のデータ構造に対応するメタデータを読み取り、画像捕捉デバイスの姿勢を判定するステップを含む。
【００１０】
１つまたはそれを上回る実施形態では、データ構造は、捕捉された画像のコンパクト表現である。データ構造は、Ｎ次元ベクトルであってもよい。データ構造は、１２８次元ベクトルであってもよい。
【００１１】
１つまたはそれを上回る実施形態では、捕捉された画像に対応するデータ構造を生成するステップは、ニューラルネットワークを使用して、捕捉された画像をＮ次元ベクトルにマッピングするステップを含む。ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。
【００１２】
１つまたはそれを上回る実施形態では、複数の既知のデータ構造はそれぞれ、Ｎ次元空間内の個別の既知のＮ次元ベクトルである。複数の既知のデータ構造はそれぞれ、１２８次元空間内の個別の既知の１２８次元ベクトルであってもよい。
【００１３】
データ構造は、Ｎ次元ベクトルであってもよい。データ構造と複数の既知のデータ構造を比較し、最も類似する既知のデータ構造を識別するステップは、Ｎ次元ベクトルと各個別の既知のＮ次元ベクトルとの間の個別のユークリッド距離を判定するステップとを含んでもよい。データ構造と複数の既知のデータ構造を比較し、最も類似する既知のデータ構造を識別するステップはまた、Ｎ次元ベクトルに対して最小距離を有する既知のＮ次元ベクトルを最も類似する既知のデータ構造として識別するステップを含んでもよい。
【００１４】
１つまたはそれを上回る実施形態では、本方法はまた、複数の既知の画像を複数の既知のデータ構造にマッピングすることによって、ニューラルネットワークを訓練するステップを含む。ニューラルネットワークは、畳み込みニューラルネットワークであってもよい。ニューラルネットワークを訓練するステップは、複数のうちの一対の既知の画像を比較することに基づいて、ニューラルネットワークを修正するステップを含んでもよい。
【００１５】
１つまたはそれを上回る実施形態では、ニューラルネットワークを訓練するステップは、複数のうちの既知の画像のトリプレットを比較することに基づいて、ニューラルネットワークを修正するステップを含む。複数のうちの各既知の画像は、姿勢データを含む、個別のメタデータを有してもよい。ニューラルネットワークを訓練するステップは、個別のメタデータで注釈が付けられた既知の画像のデータベースにアクセスするステップを含んでもよい。姿勢データは、既知の画像に対応するカメラの平行移動および回転をエンコードしてもよい。
【００１６】
１つまたはそれを上回る実施形態では、複数のうちの各既知のデータ構造は、Ｎ次元空間内の個別の既知のＮ次元ベクトルである。トリプレットの第１の既知の画像は、トリプレットの第２の既知の画像に関するマッチング画像であってもよい。トリプレットの第３の既知の画像は、トリプレットの第１の既知の画像に関する非マッチング画像であってもよい。マッチングする第１および第２の既知の画像に対応する個別の第１および第２の姿勢データ間の第１のユークリッド距離は、所定の閾値未満であってもよい。マッチングしない第１および第３の既知の画像に対応する個別の第１および第３の姿勢データ間の第２のユークリッド距離は、所定の閾値を上回ってもよい。
【００１７】
１つまたはそれを上回る実施形態では、ニューラルネットワークを訓練するステップは、それぞれ、Ｎ次元空間内のマッチングする第１および第２の既知の画像に対応する第１および第２の既知のＮ次元ベクトル間の第１のユークリッド距離を減少させるステップを含む。ニューラルネットワークを訓練するステップはまた、それぞれ、Ｎ次元空間内のマッチングしない第１および第３の既知の画像に対応する第１および第３の既知のＮ次元ベクトル間の第２のユークリッド距離を増加させるステップを含んでもよい。
【００１８】
１つまたはそれを上回る実施形態では、本方法はまた、リアルタイムで、データ構造と複数の既知のデータ構造を比較し、最も類似する既知のデータ構造を識別するステップを含む。最も類似する既知のデータ構造に対応するメタデータは、最も類似する既知のデータ構造に対応する姿勢データを含んでもよい。本方法はまた、最も類似する既知のデータ構造のメタデータ内の姿勢データから画像捕捉デバイスの姿勢を判定するステップを含んでもよい。
【図面の簡単な説明】
【００１９】
図面は、本発明の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点および目的を得る方法をより深く理解するために、上記に簡単に説明される本発明のより詳細な説明が、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるものではないことの理解の下、本発明は、付随の図面の使用を通して、付加的特異性および詳細とともに記載および説明されるであろう。
【００２０】
【図１】図１は、一実施形態による、位置特定／再位置特定システムのためのクエリ画像および６つの既知の画像の概略図である。
【図２】図２は、一実施形態による、データ構造への画像の埋込の概略図である。
【図３】図３は、一実施形態による、ニューラルネットワークを訓練するための方法の概略図である。
【図４】図４は、一実施形態による、姿勢に敏感なシステムを位置特定／再位置特定するための方法におけるデータフローの概略図である。
【図５】図５は、一実施形態による、姿勢に敏感なシステムを位置特定／再位置特定するための方法を描写する、フローチャートである。
【発明を実施するための形態】
【００２１】
本発明の種々の実施形態は、単一実施形態または複数の実施形態における、姿勢に敏感なシステム（例えば、拡張現実（ＡＲ）システム）を位置特定または再位置特定するための方法、システム、および製造品を対象とする。本発明の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。
【００２２】
種々の実施形態が、ここで、当業者が本発明を実践することを可能にするために本発明の例証的実施例として提供される、図面を参照して詳細に説明されるであろう。着目すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、部分的または完全に、公知のコンポーネント（または方法またはプロセス）を使用して実装され得る場合、本発明の理解のために必要なそのような公知のコンポーネント（または方法またはプロセス）の部分のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本発明を曖昧にしないように省略されるであろう。さらに、種々の実施形態は、本明細書に例証として言及されるコンポーネントの現在公知の均等物および将来的に公知になる均等物も包含する。
（位置特定／再位置特定システムおよび方法）
【００２３】
拡張現実ディスプレイシステムの種々の実施形態は、弁理士整理番号第ＭＬ−３００１１−ＵＳ号の下で２０１４年１１月２７日に出願され、「ＶＩＲＴＵＡＬ  ＡＮＤ  ＡＵＧＵＭＥＮＴＥＤ  ＲＥＡＬＩＴＹ  ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ」と題された共同所有の米国特許出願第１４／５５５，５８５号と、弁理士整理番号第ＭＬ３００１７．００号の下で２０１４年５月３０日に出願され、「ＭＥＴＨＯＤＳ  ＡＮＤ  ＳＹＳＴＥＭ  ＦＯＲ  ＣＲＥＡＴＩＮＧ  ＦＯＣＡＬ  ＰＬＡＮＥＳ  ＩＮ  ＶＩＲＴＵＡＬ  ＡＮＤ  ＡＵＧＵＭＥＮＴＥＤ  ＲＥＡＬＩＴＹ」と題された共同所有の米国仮特許出願第６２／００５，８３４号とにおいて議論されている（前述の米国特許出願の内容は、完全に記載される場合と同様に、参照することによって明示的かつ完全に本明細書に組み込まれる）。位置特定／再位置特定システムは、ＡＲシステムから独立して実装されてもよいが、以下の多くの実施形態は、例証目的のみのために、ＡＲシステムと関連して説明される。
【００２４】
開示されるのは、姿勢に敏感なシステムを位置特定／再位置特定するためのデバイス、方法、およびシステムである。一実施形態では、姿勢に敏感なシステムは、頭部搭載型ＡＲディスプレイシステムであってもよい。他の実施形態では、姿勢に敏感なシステムは、ロボットであってもよい。種々の実施形態は、頭部搭載型ＡＲシステムの位置特定／再位置特定に関して以下に説明されるであろうが、本明細書に開示される実施形態は、任意の既存および／または公知のＡＲシステムから独立して使用されてもよいことを理解されたい。
【００２５】
例えば、ＡＲシステムが、上記に説明される破壊的イベント（例えば、高速カメラ運動、閉塞、運動ぶれ、低光量、突発的システム障害、無特徴環境、および同等物）のうちの１つを被った後、その姿勢追跡を「見失う」と、ＡＲシステムは、一実施形態によると、再位置特定プロシージャを行い、最適システム性能のために必要とされる、システムの姿勢を再確立する。ＡＲシステムは、そこに結合される１つまたはそれを上回るカメラを使用して、１つまたはそれを上回る画像を捕捉することによって、再位置特定プロシージャを開始する。次に、ＡＲシステムは、捕捉された画像と複数の既知の画像を比較し、捕捉された画像との最近似マッチングである、既知の画像を識別する。次いで、ＡＲシステムは、姿勢データを含む、最近似のマッチングする既知の画像に関するメタデータにアクセスし、最近似のマッチングする既知の画像の姿勢データを使用して、システムの姿勢を再確立する。
【００２６】
図１は、見失われたＡＲシステムによって捕捉された画像を表す、クエリ画像１１０を描写する。図１はまた、複数（例えば、６つ）の既知の画像１１２ａ−１１２ｆを描写し、それに対して、クエリ画像１１０が、比較される。既知の画像１１２ａ−１１２ｆは、見失われたＡＲシステムによって直近で捕捉されたものであり得る。図１に描写される実施形態では、既知の画像１１２ａは、クエリ画像１１０との最近似のマッチングする既知の画像である。故に、ＡＲシステムは、既知の画像１１２ａと関連付けられた姿勢データを使用して、その姿勢を再確立するであろう。姿勢データは、最近似のマッチングする既知の画像１１２ａに対応するカメラの平行移動および回転をエンコードしてもよい。
【００２７】
しかしながら、ピクセル毎に多数（例えば、１０，０００を上回る）の画像ペアを比較することは、計算集約的である。本限定は、リアルタイム（例えば、６０またはそれを上回るフレーム／秒）の姿勢に敏感なシステムの再位置特定のために、ピクセル毎の比較を著しく非効率的にする。故に、図１は、システム再位置特定のための画像比較を図式的に描写するだけである。
【００２８】
一実施形態によると、クエリ画像（例えば、クエリ画像１１０）および複数の既知の画像（例えば、既知の画像１１２ａ−１１２ｆ）は、処理および比較がより容易であって、かつ記憶および編成がより容易である、データ構造に変換される。特に、各画像は、三角不等式が保存される、より低い次元の多様体に画像を投影することによって、「埋め込まれる」。三角不等式は、１つの線上にない任意の３つの点に関して、任意の２つの辺の和が第３の辺を上回る幾何学的性質である。
【００２９】
一実施形態では、より低い次元の多様体は、Ｎ次元ベクトルの形態におけるデータ構造である。特に、Ｎ次元ベクトルは、１２８次元ベクトルであってもよい。そのような１２８次元ベクトルは、データ構造のサイズとデータ構造によって表される画像を分析する能力との間の効果的平衡をとる。変動する画像ベースの位置特定／再位置特定方法のためのＮ次元ベクトルの次元数は、類似性メトリック算出およびエンドツーエンド訓練（以下に説明される）の速度に影響を及ぼし得る。全ての他の因子が等しい場合、最低次元表現が、好ましい。１２８次元ベクトルの使用は、画像ベースの位置特定／再位置特定方法のための無駄がなく、かつロバストな埋込をもたらす。そのようなベクトルは、畳み込みニューラルネットワークと併用され、位置特定／再位置特定システムを新しいデータを用いて改良可能にし、新しいデータセットにおいて効率的に機能することができる。
【００３０】
図２は、一連の分析／簡略化／縮小ステップ２１２を通した画像２１０の埋込を図式的に描写する。画像２１０は、１２０ピクセル×１６０ピクセル画像であってもよい。画像２１０に関するステップ２１２における動作の結果は、画像２１０を表す、Ｎ次元ベクトルである２１４（例えば、１２８次元）。本明細書に説明される実施形態は、１２８次元ベクトルをデータ構造として利用するが、異なる数の次元を伴うベクトルを含む、任意の他のデータ構造が、本明細書の実施形態によると、位置特定／再位置特定システムにおいて分析されることになる画像を表すことができる。
【００３１】
位置特定／再位置特定のために、画像の本コンパクト表現（すなわち、埋込）は、Ｎ次元ベクトル間のユークリッド距離を比較することによって、１つの場所と別の場所の類似性を比較するために使用されてもよい。屋内および屋外の両方の場所ベースのデータセット（以下に説明される）で訓練された既知の訓練画像に対応する、既知のＮ次元ベクトルのネットワークは、視覚的類似性（正の画像）および非類似性（負の画像）を学習するように構成されてもよい。本学習プロセスに基づいて、埋込は、具体的場所または面積に関する著しい程度の外観変化を比較的に小データ構造内に正常にエンコードし、位置特定／再位置特定システムにおける位置特定の効率的表現を成功させることを可能にする。
（ネットワーク訓練）
【００３２】
ネットワークは、画像をデータ構造の中に効率的に埋め込むために使用され得る前に、訓練されなければならない。図３は、一実施形態による、画像トリプレット３１０、３１２、３１４を使用して、ネットワーク３００を訓練するための方法を図式的に描写する。ネットワーク３００は、畳み込みニューラルネットワーク３００であってもよい。ネットワーク訓練システムは、訓練の１つのサイクルのために、クエリ画像３１２、正の（マッチング）画像３１０、および負の（非マッチング）画像３１４を使用する。図３におけるクエリおよび正の画像３１２、３１０はそれぞれ、おそらく、異なる視点からの同一オブジェクト（すなわち、人物）を描写する。図３におけるクエリおよび負の画像３１２、３１４は、異なるオブジェクト（すなわち、人々）を描写する。同一ネットワーク３１０は、画像３１０、３１２、３１４の全てを学習するが、２つのマッチング画像３１０、３１２のスコア３２０、３２２を可能な限り近づけ、非マッチング画像３１４のスコア３２４を２つのマッチング画像３１０、３１２のスコア３２０、３２２と可能な限り異ならせるように訓練される。本訓練プロセスは、大量の画像セットで繰り返される。
【００３３】
訓練が完了すると、ネットワーク３００は、同一画像の異なるビューをともに近づけ、異なる画像を離れるようにマッピングする。本ネットワークは、次いで、画像を最近傍近隣空間の中にエンコードするために使用されることができる。新しく捕捉された画像は、分析されると（上記に説明されるように）、エンコードされる（例えば、Ｎ次元ベクトルの中に）。次いで、位置特定／再位置特定システムは、捕捉された画像の最近傍の他のエンコードされた画像までの距離を判定することができる。いくつかのエンコードされた画像の近傍にある場合、その画像に対してマッチングしていると見なされる。いくつかのエンコードされた画像から遠隔にある場合、その画像に対して非マッチングしていると見なされる。本願で使用されるように、「近傍」および「遠隔」として、限定ではないが、２つの姿勢および／またはＮ次元ベクトル間の相対的ユークリッド距離が挙げられる。
【００３４】
ニューラルネットワーク（すなわち、訓練アルゴリズム）の加重を学習することは、複数の既知のデータ構造の既知のデータ構造のトリプレットを比較することを含む。トリプレットは、クエリ画像と、正の画像と、負の画像とから成る。クエリおよび正の画像に対応する、個別の第１および第２の姿勢データ間の第１のユークリッド距離は、所定の閾値未満であって、クエリおよび負の画像に対応する、個別の第１および第３の姿勢データ間の第２のユークリッド距離は、所定の閾値を上回る。ネットワークは、トリプレット内の画像毎に、１２８次元ベクトルを生成し、誤差項は、負の画像が正の画像よりクエリ画像に近い（ユークリッド距離の観点から）場合、非ゼロである。誤差は、ニューラルネットワーク逆伝播アルゴリズムを使用して、ネットワークを通して伝播される。ネットワークは、Ｎ次元空間内のクエリおよび正の画像に対応する第１および第２の１２８次元ベクトル間の第１のユークリッド距離を減少させ、それぞれ、Ｎ次元空間内のクエリおよび負の画像に対応する第１および第３の１２８次元ベクトル間の第２のユークリッド距離を増加させることによって、訓練されることができる。ネットワークの最終構成は、多数のトリプレットをネットワークを通して通過させた後に達成される。
【００３５】
外観ベースの再位置特定システムは、概して、視点、照明、およびスケールにおける変化に不変であることが望ましい。上記に説明される深層距離学習ネットワークは、外観不変再位置特定の問題を解法するために好適である。一実施形態では、トリプレット畳み込みニューラルネットワークモデルは、システムが画像間の有意義な距離を測定することができる、より低い次元空間の中に画像を埋め込む。アンカ−正の対の類似画像およびアンカ−負の対の非類似画像を形成する、３つの画像から成る、トリプレットの慎重な選択を通して、畳み込みニューラルネットワークは、可変場所を含む、種々の場所に関して訓練されることができる。
【００３６】
上記に説明される訓練実施形態は、画像のトリプレットを使用するが、ネットワーク訓練は、他の実施形態によると、他の複数の画像（例えば、対およびクワドラプレット）を利用してもよい。画像対訓練に関して、クエリ画像は、正のおよび負の画像と連続して対合されてもよい。画像クワドラプレット訓練に関して、クワドラプレットは、少なくとも、クエリ画像と、正の画像と、負の画像とを含むべきである。残りの画像は、ネットワークが訓練されている意図される用途に基づいて、付加的な正のまたは負の画像であってもよい。典型的には、マッチングより多くの非マッチングを伴う、位置特定／再位置特定に関して、クワドラプレット訓練における第４の画像は、負の画像であってもよい。
【００３７】
上記に説明される訓練実施形態は、単一畳み込みニューラルネットワークを使用するが、他の訓練実施形態は、複数の動作可能に結合されるネットワークを利用してもよい。さらに他の実施形態では、ネットワークは、逆伝播を伴う、他のタイプのニューラルネットワークであってもよい。
（例示的ネットワークアーキテクチャ）
【００３８】
一実施形態による、位置特定／再位置特定システムと併用するための例示的ニューラルネットワークは、３×３の畳み込みと、単一の完全に接続された層とを有する。本アーキテクチャは、システムが、一般的アーキテクチャのための新たなハードウェア加速と、ＩｍａｇｅＮｅｔ事前訓練加重から初期化する能力とを利用することを可能にする。本３×３の畳み込みアーキテクチャは、同一ネットワークアーキテクチャを用いて多様な問題を解法するために十分である。
【００３９】
本例示的ニューラルネットワークアーキテクチャは、８つの畳み込み層と、４つの最大プーリング層と、その後、サイズ１２８の単一の完全に接続された層とを含む。最大プーリング層は、２つの畳み込みブロック毎に配置され、ＲｅＬＵは、非線形性のために使用され、ＢａｔｃｈＮｏｒｍ層は、畳み込み毎に配置される。最終の完全に接続された層は、サイズ［８×１０×１２８］のブロブを１２８×１ベクトルにマッピングし、カスタム可微分Ｌ２−正規化は、最終埋込を提供する。
（位置特定／再位置特定システムおよび方法）
【００４０】
ここで、一実施形態による、畳み込みニューラルネットワークの訓練が、説明されたことを受けて、図４および５が、２つの実施形態による、姿勢に敏感なシステムを位置特定／再位置特定する２つの類似方法４００、５００を描写する。
【００４１】
図４は、ニューラルネットワーク４１２によって、対応するクエリデータ構造４１４の中に埋め込まれる、クエリ画像４１０を図式的に描写する。クエリ画像４１０は、再位置特定において使用するために、見失われた姿勢に敏感なシステムによって取得され得る。ニューラルネットワーク４１２は、訓練された畳み込みニューラルネットワーク（図３における３００参照）であってもよい。クエリデータ構造４１４は、１２８次元ベクトルであってもよい。
【００４２】
クエリ画像４１０に対応するクエリデータ構造４１４は、既知のデータ構造４１８ａ−４１８ｅのデータベース４１６と比較される。各既知のデータ構造４１８ａ−４１８ｅは、データベース４１６内において、既知のデータ構造４１８に対応する既知の画像を捕捉したシステムに関する姿勢データを含む、対応するメタデータ４２０ａ−４２０ｅと関連付けられる。比較の結果は、クエリ画像４１０に対応するクエリデータ構造４１４の最近傍近隣（すなわち、最良マッチング）の識別である。最近傍近隣は、クエリデータ構造４１４までの最短の相対的ユークリッド距離を有する、既知のデータ構造（例えば、既知のデータ構造４１８ｂ）である。
【００４３】
最近傍近隣の既知のデータ構造４１８ｂが、本実施形態において、識別された後、関連付けられたメタデータ４２０ｂが、システムに転送される。システムは、次いで、メタデータ４２０ｂ内の姿勢データを使用して、以前に見失われた姿勢に敏感なシステムを位置特定／再位置特定することができる。
【００４４】
図５は、画像ベースの位置特定／再位置特定の方法５００を描写する、フローチャートである。ステップ５０２では、姿勢情報を伴わない、姿勢に敏感なシステムが、画像を捕捉する。ステップ５０４では、システムは、捕捉された画像と複数の既知の画像を比較する。ステップ５０６では、システムは、捕捉された画像との最近似マッチングである、既知の画像を識別する。ステップ５０８では、システムは、最近似のマッチングする既知の画像に関する姿勢メタデータにアクセスする。ステップ５１０では、システムは、最近似のマッチングする既知の画像に関する姿勢メタデータから、それ自体に関する姿勢情報を生成する。
【００４５】
トリプレット畳み込みニューラルネットワークを使用する再位置特定は、正確度および効率の両方において、現在の再位置特定方法に優る。
（画像ベースのマッピング）
【００４６】
位置特定／再位置特定システムが、エンコードされた画像に基づいてマップを形成するために使用されるとき、システムは、場所の画像を得て、トリプレットネットワークを使用して、それらの写真をエンコードし、得られた画像の最近似画像に対応する場所に基づいて、システムをマップ上で位置特定する。
【００４７】
本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広くて適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを目的としている。
【００４８】
本発明は、主題のデバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、主題方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、および事象の記載された順番で実行されてもよい。
【００４９】
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって公知または理解され得る。一般的または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの実施形態に関して、同じことが当てはまり得る。
【００５０】
加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物（本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと）が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。
【００５１】
また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つまたはそれを上回るものと組み合わせて、記載および請求されてもよいことが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「１つの（「ａ」、「ａｎ」）」、「該（ｓａｉｄ）」、および「前記（ｔｈｅ）」という単数形は、特に規定がない限り、複数形の指示主題を含む。換言すれば、冠詞の使用は、上記の説明および本開示と関連付けられる請求項において、主題アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および同等物等の排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを目的としている。
【００５２】
そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の付加的な要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。
【００５３】
本発明の範疇は、提供される実施例および／または主題の仕様に限定されるものではなく、むしろ、本開示と関連付けられる請求項の言葉の範囲のみによって限定されるものである。
【００５４】
前述の明細書では、本発明が、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなく、本明細書に成され得ることは、明白となるであろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼさずに変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。
【図１】
2018536244.tif 000003
【図２】
2018536244.tif 000004
【図３】
2018536244.tif 000005
【図４】
2018536244.tif 000006
【図５】
2018536244.tif 000007
【国際調査報告】
2018536244.tif 000008