(57)【要約】拡張現実デバイスは、実世界オブジェクトの場所のレーダマップを発生させるレーダシステムを有する。慣性測定ユニットが、加速度、重力、および傾斜範囲等の測定値を検出する。測定ユニットからの値は、経時的にドリフトする。レーダマップは、フィンガプリントを決定するために処理され、フィンガプリントは、姿勢推定値を記憶するために測定ユニットからの値と組み合わせられる。異なる時間における姿勢推定値が、測定ユニットのドリフトを決定するために比較される。測定ユニットフィルタが、ドリフトを補正するために調節される。
2021525868.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実デバイスであって、
頭部搭載可能フレームと、
レーダシステムであって、前記レーダシステムは、第１および第２の時間におけるユーザに対する実世界オブジェクトの場所のレーダフィンガプリントの第１および第２のセットを発生させる、レーダシステムと、
測定ユニットであって、前記測定ユニットは、前記フレームに固着され、前記第１および第２の時間における第１および第２の測定値を検出し、各測定値は、前記測定ユニットの位置および移動のうちの少なくとも１つを示す、測定ユニットと、
前記測定ユニットに接続される測定ユニットフィルタと、
センサ融合モジュールであって、前記センサ融合モジュールは、前記レーダシステムおよび前記測定ユニットに接続され、（ｉ）第１および第２の姿勢推定値を決定することであって、前記第１の姿勢推定値は、前記第１の測定値に対する前記レーダフィンガプリントの第１のセットに基づき、前記第２の姿勢推定値は、前記第２の測定値に対する前記レーダフィンガプリントの第２のセットに基づく、ことと、（ｉｉ）前記第１の姿勢推定値を前記第２の姿勢推定値と比較することによって、前記測定ユニットのドリフトを決定することと、（ｉｉｉ）前記ドリフトを補正するために前記測定ユニットフィルタを調節することとを行うように動作可能である、センサ融合モジュールと、
レンダリングモジュールであって、前記レンダリングモジュールは、前記第２の姿勢に基づいて、レンダリングされるオブジェクトの所望の位置を決定する、レンダリングモジュールと、
前記フレームに固着される接眼レンズと、
プロジェクタであって、前記プロジェクタは、前記フレームに固着され、データを光に変換し、前記レンダリングされるオブジェクトを発生させ、前記接眼レンズを通して前記ユーザに前記所望の位置において前記レンダリングされるオブジェクトを表示するように動作可能である、プロジェクタと
を備える、拡張現実デバイス。
【請求項２】
前記レーダシステムは、
少なくとも第１のレーダデバイスであって、
第１のレーダ送信機であって、前記第１のレーダ送信機は、前記フレームに固着され、低速領域において第１および第２の時間に電波を伝送する、第１のレーダ送信機と、
第１のレーダ受信機であって、前記第１のレーダ受信機は、前記フレームに固着され、前記電波が、表面から反射された後、前記電波を検出する、第１のレーダ受信機と
を有する、少なくとも第１のレーダデバイスと、
レーダ追跡モジュールであって、前記レーダ追跡モジュールは、前記第１のレーダ受信機に接続され、それぞれ、前記電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定する、レーダ追跡モジュールと、
レーダマッピングモジュールであって、前記レーダマッピングモジュールは、前記レーダ追跡モジュールに接続され、少なくとも前記高速領域における前記個別の時間に基づいて、前記ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させる、レーダマッピングモジュールと、
画像処理モジュールであって、前記画像処理モジュールは、前記レーダマッピングモジュールに接続され、それぞれ、前記第１および第２のレーダマップ内の前記実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算する、画像処理モジュールと
を含む、請求項１に記載の拡張現実デバイス。
【請求項３】
前記レーダシステムは、
少なくとも第２のレーダデバイスであって、
第２のレーダ送信機であって、前記第２のレーダ送信機は、前記フレームに固着され、低速領域において第１および第２の時間に電波を伝送する、第２のレーダ送信機と、
第２のレーダ受信機であって、前記第２のレーダ受信機は、前記フレームに固着され、前記電波が、表面から反射された後、前記第２のレーダ送信機によって伝送された前記電波を検出し、前記レーダ追跡モジュールは、前記第２のレーダ受信機に接続され、前記第２のレーダ送信機によって伝送された前記個別の電波の伝送と検出との間の前記高速領域における第１および第２の時間間隔を決定する、第２のレーダ受信機と
を有する、少なくとも第２のレーダデバイス
を含む、請求項２に記載の拡張現実デバイス。
【請求項４】
前記レーダシステムは、
少なくとも第３のレーダデバイスであって、
第３のレーダ送信機であって、前記第３のレーダ送信機は、前記フレームに固着され、低速領域において第１および第２の時間に電波を伝送する、第３のレーダ送信機と、
第３のレーダ受信機であって、前記第３のレーダ受信機は、前記フレームに固着され、前記電波が、表面から反射された後、前記第３のレーダ送信機によって伝送された前記電波を検出し、前記レーダ追跡モジュールは、前記第３のレーダ受信機に接続され、前記第３のレーダ送信機によって伝送された前記個別の電波の伝送と検出との間の前記高速領域における第１および第２の時間間隔を決定する、第３のレーダ受信機と
を有する、少なくとも第３のレーダデバイス
を含む、請求項３に記載の拡張現実デバイス。
【請求項５】
前記第１のレーダ受信機は、前記表面からの後方散乱を検出し、前記画像処理モジュールは、前記後方散乱に基づいて、前記表面のテクスチャを計算する、請求項２に記載の拡張現実デバイス。
【請求項６】
視覚システムであって、
視覚カメラであって、前記視覚カメラは、前記実世界オブジェクトの第１および第２の視覚画像を捕捉するために、前記フレームに搭載される、視覚カメラと、
視覚追跡モジュールであって、前記視覚追跡モジュールは、前記視覚カメラに接続され、それぞれ、前記低速領域において前記第１および第２の時間における前記第１および第２の視覚画像を記憶する、視覚追跡モジュールと、
視覚マッピングモジュールであって、前記視覚マッピングモジュールは、前記視覚追跡モジュールに接続され、前記第１および第２の視覚画像に基づいて、前記ユーザに対する実世界オブジェクトの場所の第１および第２の視覚マップを発生させる、視覚マッピングモジュールと、
マップ合体および最適化モジュールであって、前記マップ合体および最適化モジュールは、それぞれ、前記第１および第２の視覚マップに基づいて、前記フィンガプリントの第１および第２のセットの場所を精緻化する、マップ合体および最適化モジュールと
を含む、視覚システム
をさらに備える、請求項１に記載の拡張現実デバイス。
【請求項７】
前記レーダシステムに接続されるレーダフィルタをさらに備え、前記センサ融合モジュールは、前記第２の姿勢推定値に基づいて、前記レーダフィルタを調節する、請求項１に記載の拡張現実デバイス。
【請求項８】
前記レンダリングモジュールは、前記オブジェクトが、前記所望の場所において表示された後、前記測定デバイスから測定値を受信することによって前記第２の姿勢の変化を追跡し、前記第２の姿勢の変化の追跡に応答して、前記レンダリングされるオブジェクトの所望の場所を更新する、請求項１に記載の拡張現実デバイス。
【請求項９】
前記センサ融合モジュールは、無線信号に基づいて、大まかな位置特定を実施する、請求項１に記載の拡張現実デバイス。
【請求項１０】
拡張現実デバイスであって、
頭部搭載可能フレームと、
レーダシステムであって、
少なくとも第１のレーダデバイスであって、
第１のレーダ送信機であって、前記第１のレーダ送信機は、前記フレームに固着され、低速領域において第１および第２の時間に電波を伝送する、第１のレーダ送信機と、
第１のレーダ受信機であって、前記第１のレーダ受信機は、前記フレームに固着され、前記電波が、表面から反射された後、前記電波を検出する、第１のレーダ受信機と
を有する、少なくとも第１のレーダデバイスと、
レーダ追跡モジュールであって、前記レーダ追跡モジュールは、前記第１のレーダ受信機に接続され、それぞれ、前記電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定する、レーダ追跡モジュールと、
レーダマッピングモジュールであって、前記レーダマッピングモジュールは、前記レーダ追跡モジュールに接続され、少なくとも前記高速領域における前記個別の時間に基づいて、前記ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させる、レーダマッピングモジュールと、
画像処理モジュールであって、前記画像処理モジュールは、前記レーダマッピングモジュールに接続され、それぞれ、前記第１および第２のレーダマップ内の前記実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算する、画像処理モジュールと
を含む、レーダシステムと、
測定ユニットであって、前記測定ユニットは、前記フレームに固着され、前記低速領域において前記第１および第２の時間における第１および第２の測定値を検出し、各測定値は、前記測定ユニットの位置および移動のうちの少なくとも１つを示す、測定ユニットと、
前記測定ユニットに接続される測定ユニットフィルタと、
センサ融合モジュールであって、前記センサ融合モジュールは、前記画像処理モジュールに接続され、（ｉ）第１および第２の姿勢推定値を決定することであって、前記第１の姿勢推定値は、前記第１の測定値に対する前記レーダフィンガプリントの第１のセットに基づき、前記第２の姿勢推定値は、前記第２の測定値に対する前記レーダフィンガプリントの第２のセットに基づく、ことと、（ｉｉ）前記第１の姿勢推定値を前記第２の姿勢推定値と比較することによって、前記測定ユニットのドリフトを決定することと、（ｉｉｉ）前記ドリフトを補正するために前記測定ユニットフィルタを調節することとを行うように動作可能である、センサ融合モジュールと、
レンダリングモジュールであって、前記レンダリングモジュールは、前記第２の姿勢に基づいて、レンダリングされるオブジェクトの所望の位置を決定する、レンダリングモジュールと、
前記フレームに固着される接眼レンズと、
プロジェクタであって、前記プロジェクタは、前記フレームに固着され、データを光に変換し、前記レンダリングされるオブジェクトを発生させ、前記接眼レンズを通して前記ユーザに前記所望の位置において前記レンダリングされるオブジェクトを表示するように動作可能である、プロジェクタと
を備える、拡張現実デバイス。
【請求項１１】
拡張現実デバイスであって、
頭部搭載可能フレームと、
前記フレームに固着されるレーダシステムであって、
レーダ送信機であって、前記レーダ送信機は、前記フレームに固着され、第１の電波を伝送することによって第１のレーダサイクルの実行を開始する、レーダ送信機と、
レーダ受信機であって、前記レーダ受信機は、前記フレームに固着され、前記第１の電波が、表面から反射された後、前記第１の電波を検出する、レーダ受信機と、
レーダ追跡モジュールであって、前記レーダ追跡モジュールは、前記レーダ受信機に接続され、前記第１の電波の伝送と検出との間の第１の時間を決定する、レーダ追跡モジュールと、
レーダマッピングモジュールであって、前記レーダマッピングモジュールは、前記レーダ追跡モジュールに接続され、少なくとも前記第１の電波の伝送と検出との間の前記第１の時間に基づいて、前記ユーザに対する実世界オブジェクトの場所の第１のレーダマップを発生させる、レーダマッピングモジュールと、
画像処理モジュールであって、前記画像処理モジュールは、前記レーダマッピングモジュールに接続され、前記第１のレーダマップ内の前記実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１のセットを計算し、前記第１のレーダサイクルを完了させる、画像処理モジュールと
を含む、レーダシステムと、
測定ユニットであって、前記測定ユニットは、前記フレームに固着され、前記フレームに固着される測定ユニットを伴う位置および移動のうちの少なくとも１つを示す第１の測定値を検出する、測定ユニットと、
センサ融合モジュールであって、前記センサ融合モジュールは、前記画像処理モジュールおよび前記測定ユニットに接続され、前記第１の測定値に対する前記レーダフィンガプリントの第１のセットの第１の姿勢推定値を決定し、
前記レーダシステムは、
第２の電波を伝送することと、
前記第２の電波が、前記表面から反射された後、前記第２の電波を検出することと、
前記第２の電波の伝送と検出との間の第２の時間を決定することと、
少なくとも前記第２の電波の伝送と検出との間の前記第２の時間に基づいて、前記ユーザに対する実世界オブジェクトの場所の第２のレーダマップを発生させることと、
前記第２のレーダマップ内の前記実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第２のセットを計算することと
を含む第２のレーダサイクルを実行し、
前記測定ユニットは、前記フレームに固着される前記測定ユニットを伴う位置および移動を示す第２の測定値を検出し、
前記センサ融合モジュールは、
前記第２の測定値に対する前記レーダフィンガプリントの第２のセットの第２の姿勢推定値を決定することと、
前記第１の姿勢推定値を前記第２の姿勢推定値と比較することによって、前記測定ユニットのドリフトを決定することと、
前記ドリフトを補正するために、前記測定ユニットに接続される測定ユニットフィルタを調節することと
を行う、センサ融合モジュールと、
レンダリングモジュールであって、前記レンダリングモジュールは、前記第２の姿勢に基づいて、レンダリングされるオブジェクトの所望の位置を決定する、レンダリングモジュールと、
前記フレームに固着される接眼レンズと、
プロジェクタであって、前記プロジェクタは、前記フレームに固着され、データを光に変換し、前記レンダリングされるオブジェクトを発生させ、前記接眼レンズを通して前記ユーザに前記所望の位置において前記レンダリングされるオブジェクトを表示するように動作可能である、プロジェクタと
を備える、拡張現実デバイス。
【請求項１２】
拡張現実デバイスであって、
頭部搭載可能フレームと、
レーダシステムであって、前記レーダシステムは、第１および第２の時間におけるユーザに対する実世界オブジェクトの場所の第１および第２のレーダフィンガプリントを発生させる、レーダシステムと、
視覚システムであって、
視覚カメラであって、前記視覚カメラは、前記実世界オブジェクトの第１および第２の視覚画像を捕捉するために、前記フレームに搭載される、視覚カメラと、
視覚追跡モジュールであって、前記視覚追跡モジュールは、前記視覚カメラに接続され、それぞれ、前記第１および第２の時間間隔における第１および第２の視覚画像を記憶する、視覚追跡モジュールと、
視覚マッピングモジュールであって、前記視覚マッピングモジュールは、前記視覚追跡モジュールに接続され、前記第１および第２の視覚画像に基づいて、前記ユーザに対する実世界オブジェクトの場所の第１および第２の視覚マップを発生させる、視覚マッピングモジュールと、
マップ合体および最適化モジュールであって、前記マップ合体および最適化モジュールは、それぞれ、前記第１および第２の視覚マップに基づいて、前記フィンガプリントの第１および第２のセットの場所を精緻化する、マップ合体および最適化モジュールと
を含む、視覚システムと、
レンダリングモジュールであって、前記レンダリングモジュールは、前記マップ合体および最適化モジュールによって精緻化されるような前記フィンガプリントの第１および第２のセットに基づいて、レンダリングされるオブジェクトの所望の位置を決定する、レンダリングモジュールと、
前記フレームに固着される接眼レンズと、
プロジェクタであって、前記プロジェクタは、前記フレームに固着され、データを光に変換し、前記レンダリングされるオブジェクトを発生させ、前記接眼レンズを通して前記ユーザに前記所望の位置において前記レンダリングされるオブジェクトを表示するように動作可能である、プロジェクタと
を備える、拡張現実デバイス。
【請求項１３】
レンダリングされるコンテンツを表示する方法であって、
頭部搭載可能フレームをユーザの頭部に取り付けることと、
低速領域において第１および第２の時間における前記ユーザに対する実世界オブジェクトの場所の第１および第２のレーダフィンガプリントを発生させるために、複数のレーダサイクルを実行することと、
前記低速領域において前記第１および第２の時間に第１および第２の測定値を検出することであって、各測定値は、前記フレームに固着される測定ユニットを伴う位置および移動のうちの少なくとも１つを示す、ことと、
第１および第２の姿勢推定値を決定することであって、前記第１の姿勢推定値は、前記第１の測定値に対する前記レーダフィンガプリントの第１のセットに基づき、前記第２の姿勢推定値は、前記第２の測定値に対する前記レーダフィンガプリントの第２のセットに基づく、ことと、
前記第１の姿勢推定値を前記第２の姿勢推定値と比較することによって、前記測定ユニットのドリフトを決定することと、
前記ドリフトを補正するために、前記測定ユニットに接続される測定ユニットフィルタを調節することと、
前記第２の姿勢推定値に基づいて、レンダリングされるオブジェクトの所望の位置を決定することと、
データを光に変換し、前記レンダリングされるオブジェクトを発生させることと、
前記頭部搭載可能フレームに固着される接眼レンズを通して前記ユーザに前記所望の位置において前記レンダリングされるオブジェクトを表示することと
を含む、方法。
【請求項１４】
前記低速領域において第１および第２の時間に電波を伝送することと、
前記電波が、表面から反射された後、前記電波を検出することと、
それぞれ、前記電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定することと、
少なくとも前記高速領域における前記個別の時間に基づいて、前記ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させることと、
それぞれ、前記第１および第２のレーダマップ内の前記実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算することと
をさらに含む、請求項１３に記載の方法。
【請求項１５】
前記表面から後方散乱を検出することと、
前記後方散乱に基づいて、前記表面のテクスチャを計算することと
をさらに含む、請求項１４に記載の方法。
【請求項１６】
前記レーダサイクルは、
前記低速領域において第１および第２の時間に電波を伝送することと、
前記電波が、表面から反射された後、前記電波を検出することと、
それぞれ、前記電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定することと、
少なくとも前記高速領域における前記個別の時間に基づいて、前記ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させることと、
それぞれ、前記第１および第２のレーダマップ内の前記実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算することと
を含む、請求項１３に記載の方法。
【請求項１７】
レンダリングされるコンテンツを表示する方法であって、
頭部搭載可能フレームをユーザの頭部に取り付けることと、
複数のレーダサイクルを実行することであって、前記複数のレーダサイクルは、
低速領域において第１および第２の時間に電波を伝送することと、
前記電波が、表面から反射された後、前記電波を検出することと、
それぞれ、前記電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定することと、
少なくとも前記高速領域における前記個別の時間に基づいて、前記ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させることと、
それぞれ、前記第１および第２のレーダマップ内の前記実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算することと、
を含む、ことと、
前記低速領域において前記第１および第２の時間における第１および第２の測定値を検出することであって、各測定値は、前記フレームに固着される測定ユニットを伴う位置および移動のうちの少なくとも１つを示す、ことと、
第１および第２の姿勢推定値を決定することであって、前記第１の姿勢推定値は、前記第１の測定値に対する前記レーダフィンガプリントの第１のセットに基づき、前記第２の姿勢推定値は、前記第２の測定値に対する前記レーダフィンガプリントの第２のセットに基づく、ことと、
前記第１の姿勢推定値を前記第２の姿勢推定値と比較することによって、前記測定ユニットのドリフトを決定することと、
前記ドリフトを補正するために、前記測定ユニットに接続される測定ユニットフィルタを調節することと、
前記第２の姿勢推定値に基づいて、レンダリングされるオブジェクトの所望の位置を決定することと、
データを光に変換し、前記レンダリングされるオブジェクトを発生させることと、
前記頭部搭載可能フレームに固着される接眼レンズを通して前記ユーザに前記所望の位置において前記レンダリングされるオブジェクトを表示することと
を含む、方法。
【請求項１８】
レンダリングされるコンテンツを表示する方法であって、
頭部搭載可能フレームをユーザの頭部に取り付けることと、
第１のレーダサイクルを実行することであって、前記第１のレーダサイクルは、
第１の電波を伝送することと、
前記第１の電波が、表面から反射された後、前記第１の電波を検出することと、
前記第１の電波の伝送と検出との間の第１の時間を決定することと、
少なくとも前記第１の電波の伝送と検出との間の前記第１の時間に基づいて、前記ユーザに対する実世界オブジェクトの場所の第１のレーダマップを発生させることと、
前記第１のレーダマップ内の前記実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１のセットを計算することと
を含む、ことと、
前記フレームに固着される測定ユニットを伴う位置および移動のうちの少なくとも１つを示す第１の測定値を検出することと、
前記第１の測定値に対する前記レーダフィンガプリントの第１のセットの第１の姿勢推定値を決定することと、
第２のレーダサイクルを実行することであって、前記第２のレーダサイクルは、
第２の電波を伝送することと、
前記第２の電波が、前記表面から反射された後、前記第２の電波を検出することと、
前記第２の電波の伝送と検出との間の第２の時間を決定することと、
少なくとも前記第２の電波の伝送と検出との間の前記第２の時間に基づいて、前記ユーザに対する実世界オブジェクトの場所の第２のレーダマップを発生させることと、
前記第２のレーダマップ内の前記実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第２のセットを計算することと
を含む、ことと、
前記フレームに固着される前記測定ユニットを伴う位置および移動を示す第２の測定値を検出することと、
前記第２の測定値に対する前記レーダフィンガプリントの第２のセットの第２の姿勢推定値を決定することと、
前記第１の姿勢推定値を前記第２の姿勢推定値と比較することによって、前記測定ユニットのドリフトを決定することと、
前記ドリフトを補正するために、前記測定ユニットに接続される測定ユニットフィルタを調節することと、
前記第２の姿勢推定値に基づいて、レンダリングされるオブジェクトの所望の位置を決定することと、
データを光に変換し、前記レンダリングされるオブジェクトを発生させることと、
前記頭部搭載可能フレームに固着される接眼レンズを通して前記ユーザに前記所望の位置において前記レンダリングされるオブジェクトを表示することと
を含む、方法。
【請求項１９】
レンダリングされるコンテンツを表示する方法であって、
頭部搭載可能フレームをユーザの頭部に取り付けることと、
低速領域において第１および第２の時間における前記ユーザに対する実世界オブジェクトの場所の第１および第２のレーダフィンガプリントを発生させるために、複数のレーダサイクルを実行することと、
前記フレームに搭載される視覚カメラを用いて、前記実世界オブジェクトの第１および第２の視覚画像を捕捉することと、
それぞれ、前記低速領域において前記第１および第２の時間における前記第１および第２の視覚画像を記憶することと、
前記第１および第２の視覚画像に基づいて、前記ユーザに対する実世界オブジェクトの場所の第１および第２の視覚マップを発生させることと、
それぞれ、前記第１および第２の視覚マップに基づいて、前記フィンガプリントの第１および第２のセットの場所を精緻化することと、
精緻化されるような前記フィンガプリントの第１および第２のセットに基づいて、レンダリングされるオブジェクトの所望の位置を決定することと、
データを光に変換し、前記レンダリングされるオブジェクトを発生させることと、
前記頭部搭載可能フレームに固着される接眼レンズを通して前記ユーザに前記所望の位置において前記レンダリングされるオブジェクトを表示することと
を含む、方法。
【請求項２０】
拡張現実デバイスであって、
頭部搭載可能フレームと、
レーダシステムであって、前記レーダシステムは、低速領域において第１および第２の時間におけるユーザに対する実世界オブジェクトの場所のレーダフィンガプリントの第１および第２のセットを発生させる、レーダシステムと、
測定ユニットであって、前記測定ユニットは、前記フレームに固着され、前記低速領域において前記第１および第２の時間に第１および第２の測定値を検出し、各測定値は、前記測定ユニットの位置および移動のうちの少なくとも１つを示す、測定ユニットと、
前記測定ユニットに接続される測定ユニットフィルタと、
プロセッサと、
前記プロセッサに接続されるコンピュータ可読媒体と、
命令のセットであって、前記命令のセットは、前記コンピュータ可読媒体上にあり、（ｉ）第１および第２の姿勢推定値を決定することであって、前記第１の姿勢推定値は、前記第１の測定値に対する前記レーダフィンガプリントの第１のセットに基づき、前記第２の姿勢推定値は、前記第２の測定値に対する前記レーダフィンガプリントの第２のセットに基づく、ことと、（ｉｉ）前記第１の姿勢推定値を前記第２の姿勢推定値と比較することによって、前記測定ユニットのドリフトを決定することと、（ｉｉｉ）前記ドリフトを補正するために前記測定ユニットフィルタを調節することと、（ｉｖ）前記第２の姿勢に基づいて、レンダリングされるオブジェクトの所望の位置を決定することとを行うように前記プロセッサによって実行可能である、命令のセットと、
前記フレームに固着される接眼レンズと、
プロジェクタであって、前記プロジェクタは、前記フレームに固着され、データを光に変換し、前記レンダリングされるオブジェクトを発生させ、前記接眼レンズを通して前記ユーザに前記所望の位置において前記レンダリングされるオブジェクトを表示するように動作可能である、プロジェクタと
を備える、拡張現実デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
１）発明の分野
本願は、その全てが、参照することによってその全体として本明細書に組み込まれる、２０１８年５月３１日に出願された、米国仮特許出願第６２／６７８，６２１号からの優先権を主張する。
【０００２】
２）関連技術の説明
本発明は、拡張現実デバイスおよびレンダリングされるコンテンツを表示する方法に関する。
【背景技術】
【０００３】
現代のコンピューティングおよびディスプレイ技術は、「仮想現実」視認デバイス等の視覚知覚デバイスの開発を促進している。仮想現実視認デバイスは、ユーザに２つの画像、すなわち、左眼に対するものおよび右眼に対するものを提示する、ウェアラブルデバイスであり得る。画像内のオブジェクトは、脳がオブジェクトを３次元オブジェクトとして処理することを可能にする様式で相互に異なり得る。画像が、絶えず変化するとき、３次元における移動が、シミュレートされることができる。仮想現実視認デバイスは、典型的には、他の実世界オブジェクトに対する透過性を伴わないデジタルまたは仮想画像情報の提示を伴う。
【０００４】
他の視覚知覚デバイス、いわゆる、「拡張現実」視認デバイスは、通常、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルおよび仮想画像情報の提示を可能にする技術を含む。拡張現実視認デバイスは、例えば、ユーザが接眼レンズの後方の実世界オブジェクトを見ることを可能にする１つ以上の透明接眼レンズを有し得る。そのような接眼レンズは、それを通してレーザ光がレーザプロジェクタからユーザの眼に向かって伝搬する、導波管としての役割を果たすことができる。プロジェクタによって生成されるレーザ光パターンは、眼の網膜上で可視状態になる。眼の網膜は、次いで、接眼レンズの後方の実世界オブジェクトからの光およびプロジェクタからのレーザ光を受光する。実世界オブジェクトは、したがって、ユーザの知覚において、プロジェクタからの画像データを用いて拡張される。
【０００５】
拡張現実デバイスは、多くの場合、ユーザが、自身の頭部を移動させるであろう場合であっても、ユーザによって知覚されるような実世界オブジェクトに対して定常位置にオブジェクトが留まることを可能にする技術を有する。ユーザが、例えば、自身の頭部を右に回転させるであろう場合、レンダリングされるオブジェクトは、実世界オブジェクトとともに、ユーザのビュー内で左に回転する必要性がある。拡張現実デバイスの移動は、オブジェクトの位置が、プロジェクタを介して調節され得るように、慣性測定ユニット（ＩＭＵ）等の測定デバイスを通して追跡され得る。
【発明の概要】
【課題を解決するための手段】
【０００６】
いくつかの実施形態では、本発明は、頭部搭載可能フレームと、レーダシステムと、測定ユニットと、測定ユニットフィルタと、センサ融合モジュールと、レンダリングモジュールと、接眼レンズと、プロジェクタとを含む、拡張現実デバイスを提供する。レーダシステムは、低速領域において第１および第２の時間におけるユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させる。測定ユニットは、フレームに固着されてもよく、低速領域において第１および第２の時間における第１および第２の測定値を検出し、各測定値は、測定ユニットの位置および移動を示す。測定ユニットフィルタは、測定ユニットに接続されてもよい。センサ融合モジュールは、画像処理モジュールに接続されてもよく、（ｉ）第１および第２の姿勢推定値を決定し、第１の姿勢推定値は、第１の測定値に対するレーダフィンガプリントの第１のセットに基づき、第２の姿勢推定値は、第２の測定値に対するレーダフィンガプリントの第２のセットに基づき、（ｉｉ）第１の姿勢推定値を第２の姿勢推定値と比較することによって、測定ユニットのドリフトを決定し、（ｉｉｉ）ドリフトを補正するために測定ユニットフィルタを調節するように動作可能であってもよい。レンダリングモジュールは、第２の姿勢に基づいて、レンダリングされるオブジェクトの所望の位置を決定する。接眼レンズは、フレームに固着されてもよい。プロジェクタは、フレームに固着されてもよく、データを光に変換し、レンダリングされるオブジェクトを発生させ、接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するように動作可能であってもよい。
【０００７】
いくつかの実施形態では、本発明はまた、頭部搭載可能フレームと、レーダシステムと、測定ユニットと、測定ユニットフィルタと、センサ融合モジュールと、レンダリングモジュールと、接眼レンズと、プロジェクタとを含む、別の拡張現実デバイスを提供する。レーダシステムは、フレームに固着され、低速領域において第１および第２の時間に電波を伝送する、第１のレーダ送信機と、フレームに固着され、電波が、表面から反射された後、電波を検出する、第１のレーダ受信機とを有する、少なくとも第１のレーダデバイスと、第１のレーダ受信機に接続され、それぞれ、電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定する、レーダ追跡モジュールと、レーダ追跡モジュールに接続され、少なくとも高速領域における個別の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させる、レーダマッピングモジュールと、レーダマッピングモジュールに接続され、それぞれ、第１および第２のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算する、画像処理モジュールとを含む。測定ユニットは、フレームに固着されてもよく、低速領域において第１および第２の時間における第１および第２の測定値を検出し、各測定値は、測定ユニットの位置および移動を示し、測定ユニットフィルタが、測定ユニットに接続されてもよい。センサ融合モジュールは、画像処理モジュールに接続されてもよく、（ｉ）第１および第２の姿勢推定値を決定し、第１の姿勢推定値は、第１の測定値に対するレーダフィンガプリントの第１のセットに基づき、第２の姿勢推定値は、第２の測定値に対するレーダフィンガプリントの第２のセットに基づき、（ｉｉ）第１の姿勢推定値を第２の姿勢推定値と比較することによって、測定ユニットのドリフトを決定し、（ｉｉｉ）ドリフトを補正するために測定ユニットフィルタを調節するように動作可能であってもよい。レンダリングモジュールは、第２の姿勢に基づいて、レンダリングされるオブジェクトの所望の位置を決定してもよい。接眼レンズは、フレームに固着されてもよい。プロジェクタは、フレームに固着されてもよく、データを光に変換し、レンダリングされるオブジェクトを発生させ、接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するように動作可能であってもよい。
【０００８】
いくつかの実施形態では、本発明はさらに、頭部搭載可能フレームと、レーダシステムと、測定ユニットと、測定ユニットフィルタと、センサ融合モジュールと、レンダリングモジュールと、接眼レンズと、プロジェクタとを含む、さらなる拡張現実デバイスを提供する。レーダシステムは、フレームに固着されてもよく、フレームに固着され、第１の電波を伝送することによって第１のレーダサイクルの実行を開始する、レーダ送信機と、フレームに固着され、第１の電波が、表面から反射され得た後、第１の電波を検出する、レーダ受信機と、レーダ受信機に接続され、第１の電波の伝送と検出との間の第１の時間を決定する、レーダ追跡モジュールと、レーダ追跡モジュールに接続され、少なくとも第１の電波の伝送と検出との間の第１の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第１のレーダマップを発生させる、レーダマッピングモジュールと、レーダマッピングモジュールに接続され、第１のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１のセットを計算し、第１のレーダサイクルを完了させる、画像処理モジュールとを含んでもよい。測定ユニットは、フレームに固着されてもよく、フレームに固着され得る測定ユニットを伴う位置および移動を示す第１の測定値を検出してもよい。センサ融合モジュールは、画像処理モジュールに接続される。測定ユニットは、第１の測定値に対するレーダフィンガプリントの第１のセットの第１の姿勢推定値を決定してもよい。レーダシステムは、第２の電波を伝送するステップと、第２の電波が、表面から反射された後、第２の電波を検出するステップと、第２の電波の伝送と検出との間の第２の時間を決定するステップと、少なくとも第２の電波の伝送と検出との間の第２の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第２のレーダマップを発生させるステップと、第２のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第２のセットを計算するステップとを含み得る、第２のレーダサイクルを実行する。測定ユニットは、フレームに固着される測定ユニットを伴う位置および移動を示す第２の測定値を検出する。センサ融合モジュールは、第２の測定値に対するレーダフィンガプリントの第２のセットの第２の姿勢推定値を決定してもよく、第１の姿勢推定値を第２の姿勢推定値と比較することによって、測定ユニットのドリフトを決定してもよく、ドリフトを補正するために、測定ユニットに接続され得る測定ユニットフィルタを調節する。レンダリングモジュールは、第２の姿勢に基づいて、レンダリングされるオブジェクトの所望の位置を決定してもよい。接眼レンズは、フレームに固着されてもよい。プロジェクタは、フレームに固着されてもよく、データを光に変換し、レンダリングされるオブジェクトを発生させ、接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するように動作可能であってもよい。
【０００９】
いくつかの実施形態では、本発明はまた、レンダリングされるコンテンツを表示する方法を提供する。頭部搭載可能フレームが、ユーザの頭部に取り付けられてもよい。複数のレーダサイクルが、低速領域において第１および第２の時間におけるユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させるために実行されてもよい。第１および第２の測定値が、低速領域において第１および第２の時間に検出され、各測定値は、フレームに固着される測定ユニットを伴う位置および移動を示してもよい。第１および第２の姿勢推定値が、決定され、第１の姿勢推定値は、第１の測定値に対するレーダフィンガプリントの第１のセットに基づき、第２の姿勢推定値は、第２の測定値に対するレーダフィンガプリントの第２のセットに基づいてもよい。測定ユニットのドリフトが、第１の姿勢推定値を第２の姿勢推定値と比較することによって決定されてもよい。測定ユニットに接続され得る測定ユニットフィルタが、ドリフトを補正するために調節されてもよい。レンダリングされるオブジェクトの所望の位置が、第２の姿勢推定値に基づいて決定されてもよい。データが、光に変換され、レンダリングされるオブジェクトを発生させてもよく、レンダリングされるオブジェクトは、頭部搭載可能フレームに固着される接眼レンズを通してユーザに所望の位置において表示されてもよい。
【００１０】
いくつかの実施形態では、本発明は、レンダリングされるコンテンツを表示する別の方法を提供する。頭部搭載可能フレームが、ユーザの頭部に取り付けられてもよい。低速領域において第１および第２の時間に電波を伝送するステップと、電波が、表面から反射された後、電波を検出するステップと、それぞれ、電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定するステップと、少なくとも高速領域における個別の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させるステップと、それぞれ、第１および第２のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算するステップとを含む、複数のレーダサイクルが、実行されてもよい。第１および第２の測定値が、低速領域において第１および第２の時間に検出され、各測定値は、フレームに固着される測定ユニットを伴う位置および移動を示してもよい。第１および第２の姿勢推定値が、決定され、第１の姿勢推定値は、第１の測定値に対するレーダフィンガプリントの第１のセットに基づき、第２の姿勢推定値は、第２の測定値に対するレーダフィンガプリントの第２のセットに基づいてもよい。測定ユニットのドリフトが、第１の姿勢推定値を第２の姿勢推定値と比較し、ドリフトを補正するために、測定ユニットに接続され得る測定ユニットフィルタを調節することによって決定されてもよい。レンダリングされるオブジェクトの所望の位置が、第２の姿勢推定値に基づいて決定されてもよい。データが、光に変換され、レンダリングされるオブジェクトを発生させてもよく、レンダリングされるオブジェクトは、頭部搭載可能フレームに固着される接眼レンズを通してユーザに所望の位置において表示されてもよい。
【００１１】
いくつかの実施形態では、本発明は、レンダリングされるコンテンツを表示するさらなる方法を提供する。頭部搭載可能フレームが、ユーザの頭部に取り付けられてもよい。第１の電波を伝送するステップと、第１の電波が、表面から反射された後、第１の電波を検出するステップと、第１の電波の伝送と検出との間の第１の時間を決定するステップと、少なくとも第１の電波の伝送と検出との間の第１の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第１のレーダマップを発生させるステップと、第１のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１のセットを計算するステップと、フレームに固着される測定ユニットを伴う位置および移動を示す第１の測定値を検出するステップとを含み得る、第１のレーダサイクルが、実行されてもよい。第１の測定値に対するレーダフィンガプリントの第１のセットの第１の姿勢推定値が、決定されてもよい。第２の電波を伝送するステップと、第２の電波が、表面から反射された後、第２の電波を検出するステップと、第２の電波の伝送と検出との間の第２の時間を決定するステップと、少なくとも第２の電波の伝送と検出との間の第２の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第２のレーダマップを発生させるステップと、第２のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第２のセットを計算するステップとを含み得る、第２のレーダサイクルが、実行されてもよい。フレームに固着される測定ユニットを伴う位置および移動を示す第２の測定値が、決定されてもよい。第２の測定値に対するレーダフィンガプリントの第２のセットの第２の姿勢推定値が、決定されてもよい。測定ユニットのドリフトが、第１の姿勢推定値を第２の姿勢推定値と比較することによって決定されてもよい。測定ユニットに接続され得る測定ユニットフィルタが、ドリフトを補正するために調節されてもよい。レンダリングされるオブジェクトの所望の位置が、第２の姿勢推定値に基づいて決定されてもよい。データが、光に変換され、レンダリングされるオブジェクトを発生させてもよく、レンダリングされるオブジェクトは、頭部搭載可能フレームに固着される接眼レンズを通してユーザに所望の位置において表示されてもよい。
【図面の簡単な説明】
【００１２】
本発明はさらに、付随の図面を参照して、実施例として説明される。
【００１３】
【図１】図１は、本発明のある実施形態による、拡張現実デバイスと、拡張現実デバイスを装着するユーザとの上面平面図である。
【００１４】
【図２】図２は、視覚マップを発生させる目的のための視覚データの捕捉を図示する、斜視図である。
【００１５】
【図３】図３は、拡張現実デバイスのさらなるコンポーネントのブロック図である。
【００１６】
【図４】図４は、拡張現実デバイスのレーダシステムが、拡張現実デバイスの測定ユニットのドリフトを補正するために使用される方法を図示する、フローチャートである。
【００１７】
【図５】図５は、拡張現実デバイスの周囲の表面を検出するためのレーダシステムの使用を図示する、斜視図である。
【００１８】
【図６】図６は、レーダマップが作成される方法を図示する、時間チャートである。
【００１９】
【図７】図７は、フィンガプリントを決定するために検出されるオブジェクトを図示する、レーダマップである。
【００２０】
【図８】図８は、測定ユニットデータおよびレーダセンサアレイデータの補正が行われる方法を図示する、ブロック図である。
【００２１】
【図９】図９は、拡張現実デバイスの開始プロセスを図示する、フローチャートである。
【００２２】
【図１０】図１０は、拡張現実デバイスを使用するユーザによって見られるようなレンダリングを図示する。
【００２３】
【図１１】図１１は、本発明の一実施形態による、本発明システムにおける用途を見出し得るコンピュータの形態における機械のブロック図である。
【発明を実施するための形態】
【００２４】
拡張現実デバイスは、実世界オブジェクトの場所のレーダマップを発生させるレーダシステムを有する。慣性測定ユニットが、加速度、重力、および傾斜範囲等の測定値を検出する。測定ユニットからの値は、経時的にドリフトする。レーダマップは、フィンガプリントを決定するために処理され、フィンガプリントは、姿勢推定値を記憶するために測定ユニットからの値と組み合わせられてもよい。異なる時間における姿勢推定値が、測定ユニットのドリフトを決定するために比較されてもよい。測定ユニットフィルタが、ドリフトを補正するために調節されてもよい。
【００２５】
「ｉｓ（〜である）」、「ａｒｅ（〜である）」、「ｈａｖｅ（〜を有する）」等の肯定用語が、「ｍａｙ  ｂｅ（〜であり得る）」または「ｍａｙ  ｈａｖｅ（〜を有し得る）」等の随意の用語と対照的に、本明細書では好まれる。肯定用語は、（ｉ）最良の形態を説明し、（ｉｉ）当業者が本発明を作製することを可能にする説明を提供し、（ｉｉｉ）実施例を提供するための要件に従うように使用される。しかしながら、肯定用語を使用して説明される具体的詳細は、請求項により広範に定義されるような本発明の範囲および精神から逸脱することなく修正され得ることを理解されたい。
【００２６】
図１は、本発明のある実施形態による、拡張現実デバイス１０と、ユーザ１２の頭部とを図示する。拡張現実デバイス１０は、頭部搭載可能フレーム１４と、レーダシステム１６と、測定ユニット１８と、第１および第２の接眼レンズ２０および２２と、第１および第２のプロジェクタ２４および２６と、フレーム１４に搭載され得る視覚カメラ２８とを含んでもよい。
【００２７】
レーダシステム１６は、第１、第２、および第３のレーダデバイス３０、３２、および３４を含んでもよい。各レーダデバイス３０、３２、および３４は、フレーム１４に搭載されてもよい。各レーダデバイス３０、３２、および３４は、レーダデバイス３０、３２、または３４が所望の方向において電波を伝送および受信することを可能にする特定の配向を有する。
【００２８】
レーダシステムは、信号を伝送および／または受信するための１つ以上のアンテナを備えてもよい。レーダシステムは、チップに固定される固定数のアンテナを伴うチップを有してもよい。所望の信号番号および／または指向性を取得するために、１つを上回るチップが、使用されてもよく、各チップは、所望の場所に信号を指向するために必要に応じて設置されてもよい。代替として、レーダシステムは、所望のレーダ信号を取得するために、異なる場所に設置され得、異なる方向を向く１つ以上のアンテナを伴う単一のチップを有してもよい。
【００２９】
測定ユニット１８は、慣性測定ユニット（ＩＭＵ）であってもよい。測定ユニット１８は、１つ以上の加速度計、ジャイロスコープ、および磁気計を含んでもよい。当業者によって一般的に理解されるであろうように、加速度計は、加速度を測定し、加速度は、速度を決定するために積分されてもよく、速度は、位置を決定するために積分されてもよい。ジャイロスコープは、角度配向の変化を決定してもよい。磁気計は、重力の方向を決定してもよく、重力の方向に対する測定ユニットの「傾角」を決定してもよい。
【００３０】
プロジェクタ２４および２６は、データを光（例えば、レーザ光またはＬＥＤ光）に変換し、レンダリングされるオブジェクトを発生させるように動作可能であってもよい。プロジェクタ２４および２６は、それぞれ、レーザ光を接眼レンズ２０および２２の中に指向するように配向されるレーザを有してもよい。接眼レンズ２０および２２は、同様に透明であり得る導波管であってもよい。
【００３１】
レーダデバイス３０、３２、または３４のうちの各１つは、約３０°の視野および０．１〜４メートルの動作範囲を有する。レーダデバイス３０、３２、および３４は、典型的には、電波を伝送および受信するように動作される。電波は、周波数変調連続波であってもよい。電波は、ミリ波レーダ（例えば、６０ＧＨｚ帯域内で動作する）であってもよい。各レーダデバイス３０、３２、および３４は、１つを上回る伝送（ＴＸ）チャネル（例えば、２つのＴＸチャネル）と、１つを上回る受信（ＲＸ）チャネル（例えば、４つのＲＸチャネル）とを有し、いくつかのチャネルは、冗長信号を測定してもよい。
【００３２】
視覚カメラ２８は、約６０Ｈｚにおいてグレースケール画像および深度マップを捕捉する。視覚カメラ２８は、約９０°の視野および約１〜４メートルの動作範囲を有する。
【００３３】
図２は、視覚システムの使用をより詳細に図示する。視覚システムは、オブジェクト３８を捕捉し、深度センサが、拡張現実デバイス１０からオブジェクト３８までの距離を決定してもよい。視覚カメラ２８は、実世界オブジェクト３８の画像を連続的に捕捉する。ユーザの頭部姿勢および位置は、同時位置特定およびマッピング（ＳＬＡＭ）および視覚オドメトリプロシージャを使用して、視覚システムからの画像を処理することによって決定されることができる。破線は、連続的な画像のさらなる処理を表す。画像のそのような連続的処理は、実世界オブジェクト３８に対する拡張現実デバイス１０の移動を示すデータを提供する。深度センサおよび重力センサは、重力に対する実世界オブジェクト３８の場所を決定し、視覚カメラ２８は、実世界オブジェクト３８に対する拡張現実デバイス１０の移動を検出するため、重力に対する拡張現実デバイス１０の移動もまた、計算されることができる。例えば、部屋内の定常位置に位置する１つ以上のカメラを使用する、３次元環境をマッピングする他の方法が、採用されてもよい。しかしながら、拡張現実デバイス１０内での深度センサおよび視覚システムの統合は、より移動性のある用途を提供する。
【００３４】
図３に示されるように、拡張現実デバイス１０は、オンデバイスソフトウェアスタック４０と、クラウドデータベース４２と、頭部搭載型デバイスハードウェア４４とを含んでもよい。
【００３５】
頭部搭載型デバイスハードウェア４４は、第１、第２、および第３のレーダデバイス３０、３２、および３４と、測定ユニット１８と、視覚カメラ２８とを含む。各レーダデバイス３０、３２、または３４は、個別のレーダ送信機４６と、個別のレーダ受信機４８とを有する。測定ユニット１８は、加速度計５０、ジャイロスコープ５２、および磁気計５４を含む、いくつかの測定デバイスを含んでもよい。
【００３６】
頭部搭載型デバイスハードウェア４４の全てのコンポーネントは、フレーム１４に直接または間接的に搭載され、したがって、フレーム１４に対して定常である。オンデバイスソフトウェアスタック４０は、ユーザインターフェース６０と、アプリケーションインターフェース６２と、レンダリングモジュール６４と、リアルタイム追跡モジュール６６と、マッピングおよびマップ管理モジュール６８と、センサ融合モジュール７０と、画像処理モジュール７２と、ハードウェア抽象化層（ＨＡＬ）７４とを含んでもよい。
【００３７】
リアルタイム追跡モジュール６６は、レーダ追跡モジュール７６と、レーダマッピングモジュール７８と、視覚追跡モジュール８０と、視覚マッピングモジュール８２とを含んでもよい。マッピングおよびマップ管理モジュール６８は、少なくとも１つのレーダマップ８４と、視覚マップ８６と、マップ合体および最適化モジュール８８とを含んでもよい。
【００３８】
オンデバイスソフトウェアスタック４０のコンポーネントは、別個のモジュールとして示される。しかしながら、モジュールは、コンピュータプログラム内の呼出およびサブルーチンの形態において相互に接続されてもよい。オンデバイスソフトウェアスタック４０のコンポーネントは、ハードウェア抽象化層７４を通して頭部搭載型デバイスハードウェア４４のコンポーネントに接続されてもよい。重要なこととして、レーダ追跡モジュール７６は、レーダデバイス３０、３２、および３４のレーダ送信機４６およびレーダ受信機４８に接続されてもよく、レーダマッピングモジュール７８は、レーダ追跡モジュール７６に接続されてもよい。また、重要なこととして、視覚追跡モジュール８０は、視覚カメラ２８に接続されてもよく、視覚マッピングモジュール８２は、視覚追跡モジュール８０に接続されてもよい。
【００３９】
レーダマッピングモジュール７８は、レーダマップ８４を作成し、視覚追跡モジュール８０は、視覚マップ８６を作成する。画像処理モジュール７２は、レーダマップ８４および視覚マップ８６を読み取り、マップ内の特徴を決定する。さらなるレーダマップ９０および視覚マップ９２が、クラウドデータベース４２内に位置してもよい。クラウドデータベース４２は、レーダマップ９０および視覚マップ９２が、クラウドデータベース４２内に記憶される、またはそれからダウンロードされ得るように、マッピングおよびマップ管理モジュール６８に接続されてもよい。センサ融合モジュール７０は、画像処理モジュール７２に、および測定ユニット１８の測定デバイスに接続されてもよい。
【００４０】
使用時、ユーザ１２は、フレーム１４を自身の頭部に固着させる。フレーム１４は、ユーザ１２の鼻の上に静置する、ブリッジ部分９６と、ユーザ１２の耳にわたって延在し、ユーザ１２の耳に固着する、またはユーザの頭部の後部の周囲に固着する、つる部分９８とを有する。接眼レンズ２０および２２は、ユーザ１２の眼の正面に位置してもよい。レーダシステム１６と、測定ユニット１８とを含む、フレーム１４に搭載される全てのコンポーネントは、ユーザ１２の頭部に対して定常であり、ユーザ１２が、自身の頭部を移動させると、ユーザ１２の頭部とともに移動してもよい。
【００４１】
視覚カメラ２８は、ユーザ１２の正面のオブジェクトのグレースケール画像を連続的に捕捉する。視覚追跡モジュール８０は、視覚カメラ２８を制御する。視覚マッピングモジュール８２は、視覚カメラ２８から受信されたグレースケール画像に基づいて、視覚マップ８６を発生させる。画像処理モジュール７２は、視覚マップ８６を処理し、視覚マップ８６内のオブジェクトを決定する。最新の視覚マップ８６は、マッピングおよびマップ管理モジュール６８内に視覚マップ８６として記憶されてもよく、以前のマップは、クラウドデータベース４２内に視覚マップ９２として記憶されてもよい。「視覚システム」は、したがって、視覚カメラ２８、視覚追跡モジュール８０、視覚マッピングモジュール８２、視覚マップ８６および９２、および画像処理モジュール７２によって提供されてもよい。
【００４２】
図４は、図１および３の拡張現実デバイス１０の後続機能を図示する。１１０において、世界が、ＴＸチャネルを介して照射されてもよい。図３を参照すると、レーダ送信機４６のうちの各１つは、電波を伝送する。電波は、１つ以上の表面から反射されてもよく、次いで、個別のレーダ受信機４８によって検出されてもよい。電波は、約６０ＧＨｚの周波数を有し、これは、表面または複数の表面までの非常に正確な距離測定を可能にする。加えて、複数の電波が、約１００Ｈｚ〜１０ｋＨｚの低速領域における周波数において伝送および検出されてもよい。低速領域における周波数は、距離測定の非常に高速なサンプリング速度を確実にするために十分に高くあり得る。
【００４３】
図１に示されるように、レーダデバイス３２は、ユーザ１２の正面の表面を検出するために、ユーザ１２の正面に指向されてもよい。レーダデバイス３０は、ユーザ１２の左に指向されてもよい。図１に明確に示されないが、レーダデバイス３４は、ユーザ１２の上方の天井の場所を検出するために、垂直方向に、すなわち、紙面外に指向されてもよい。所与の実施形態では、レーダデバイス３０、３２、および３４は全て、同一平面内に位置するが、別の実施形態では、それらは、異なる平面内に位置してもよい。別の実施形態は、探索複雑性を低減させるために、３つを上回るレーダデバイスを使用してもよいが、３つのレーダデバイスは、これが、設計における不必要な複雑性を伴わずに検出されるべき多数の自由度を提供するため、最適である。
【００４４】
レーダデバイス３０、３２、および３４は、レーダ追跡モジュール７６の制御下にあってもよい。レーダ追跡モジュール７６は、低速領域における周波数をレーダ送信機４６に提供する。レーダ追跡モジュール７６はまた、高速領域においてレーダ受信機４８を通して電波をサンプリングする。レーダ工学設計の分野において一般的に理解されるように、電波は、これが、より近接する表面からよりも遠く離れた表面から反射されるとき、伝送と受信との間でより長く時間がかかるであろう。伝送と受信との間の時間は、高速領域にあり得、それから電波が反射される表面の距離のインジケータであり得る。各レーダ受信機４８は、２次元面積にわたる表面までの距離を検出し得る検出器のアレイを有する。加えて、レーダ受信機４８は、後方散乱を検出する。異なるタイプの表面は、異なる後方散乱性質を有し、後方散乱は、したがって、表面のタイプ、例えば、表面粗度またはテクスチャの測度である。各表面の距離、２次元空間におけるその場所、そのサイズ、および表面のタイプは全て、最終的に、個々の表面および組み合わせた表面を含み得るフィンガプリントを提供するために使用される。
【００４５】
図５は、ユーザ１２によって装着され得る拡張現実デバイス１０の正面、左、および上方への電波の伝送および受信を図示する。各ＴＸチャネルは、個別のＴＸ信号を表す個別の電波１１０Ａを伝送してもよく、各ＲＸチャネルは、個別のＲＸ信号を表す個別の電波１１２Ａを受信してもよい。したがって、拡張現実デバイス１０の左および右の表面が、検出され、拡張現実デバイス１０の上方の天井までの距離が、検出される。
【００４６】
図４では、１１４において、全てのＩＭＵデータが、読み取られてもよい。図３のセンサ融合モジュール７０は、加速度計５０、ジャイロスコープ５２、および磁気計５４を含む、測定ユニット１８の出力を読み取る。図４の１１６において、本デバイスの３次元（３Ｄ）配向が、決定されてもよい。図３では、センサ融合モジュール７０は、加速度計５０、ジャイロスコープ５２、および磁気計５４からの読取値に基づいて、拡張現実デバイス１０の３Ｄ配向を計算する。
【００４７】
図４では、１１８において、正規化された範囲ドップラマップが、作成されてもよい。図３では、レーダマッピングモジュール７８は、レーダ追跡モジュール７６によって検出される全ての表面のマップを作成し、マップをレーダマップ８４として記憶する。レーダマップ８４は、表面、それらの場所、およびテクスチャを含み得る２次元マップであってもよい。ドップラマップは、測定ユニット１８からのデータに基づいて、運動（ユーザの、例えば、自己運動）を補償するために正規化されてもよい。
【００４８】
範囲ドップラマップは、当技術分野で周知であり、多くのレーダセンサシステムは、１つ以上の範囲ドップラマップを自動的に作成する。一般に、本システムは、１つ以上のＴＸ信号を発信し、１つ以上のオブジェクトが、戻るように信号を反射する（ＲＸ）。受信された信号は、低速時間／高速時間チャートへの変換、窓付き高速フーリエ変換（ＦＦＴ）、および背景減算を含む、１つ以上の操作を使用して範囲ドップラマップに変換されてもよい。範囲ドップラマップを作成する他の好適な方法が、標準形態が、ｙ軸上の範囲およびｘ軸上の測度である限り、使用されてもよい。
【００４９】
図６は、範囲ドップラマップが作成され得る方法を図示する。図５は、信号を送信（１１０Ａ）および受信（１１２Ａ）する３つのレーダセンサを示し、図６では、各ＴＸ信号（１１０Ａ）は、周波数領域グラフ１１３によって表されることができ、各ＲＸチャネル（１１２Ａ）は、時間領域グラフ１１５によって表されてもよい。周波数領域グラフ１１３は、個別のＴＸチャネルが、パルスによって表される一連の信号を伝送し得ることを示す。
【００５０】
時間領域グラフ１１５は、周波数領域グラフ１１３におけるパルスに応答して受信されるＲＸ信号を示す。より遠く離れたオブジェクトからの反射信号は、進行により長い時間がかかる。ＲＸ回路の設計に起因して、異なる電圧レベルは、異なる距離を示す。
【００５１】
ＲＸチャネルからの信号は、より小さいサンプルピースに分割される。ＲＸ信号のサンプルピースは、ＴＸ信号におけるパルスに従って、時間において分割される。
【００５２】
４つのマトリクスは、ＲＸ信号の後続処理を表す。第１のマトリクスは、時間領域グラフ１１５が、低速時間および高速時間に変換されることを示し、それぞれ、個別の軸上に表される。（ＴＸ信号のパルスの間の）ＲＸ信号の各サンプルは、マトリクス内のその独自の列に入力される。第２のマトリクスは、高速時間に沿った高速フーリエ変換の結果を示す。高速時間領域は、異なる表面の範囲に関するデータを提供する。第３のマトリクスにおける背景減算は、移動するオブジェクトが、識別され得るように、前景におけるオブジェクトが、分離されることを可能にする。第４のマトリクスは、異なる軸上で範囲および速度を示す範囲ドップラマップを作成するための低速時間に沿った高速フーリエ変換を示す。
【００５３】
範囲ドップラマップが、図６を参照して議論されるように計算された後、本システムは、次いで、ユーザ１２の移動に起因して、拡張現実デバイス１０を補償するための計算を実施する。自己運動に関する補正が、行われると、本システムは、ユーザ１２が、オブジェクトを過ぎて移動しているかどうか、またはオブジェクトが、ユーザ１２を過ぎて移動しているかどうかを決定することができる。
【００５４】
範囲ドップラマップは、オブジェクトの相対的場所の決定までしか行わない。例えば、範囲ドップラマップは、３フィート離れて壁が存在することを示し得る。壁は、自己運動に関する補正が、行われる場合、移動しないはずであり、すなわち、壁の速度は、ゼロであるはずである。自己補正を伴わないと、ユーザが、ある速度で壁に向かって歩行する場合、範囲ドップラマップからは、壁が移動しているように見えるであろう。いったん本システムが、自己運動を調節するための補正を行うと、壁は、範囲ドップラマップ内で定常のままであろう。図４の１１４において読み取られるＩＭＵデータは、ユーザ１２の速度を計算するために使用され、これは、ユーザの移動を補正するために使用される。
【００５５】
図４では、１２０において、レーダフィンガプリントが、計算されてもよい。図６および７は、レーダフィンガプリントが１つのチャネルに関して識別され得る様子を図示する。レーダフィンガプリンティングは、部屋内の所与の位置に関して特徴的であり得る値のセットをレンダリングするアプローチである。特に重要なものは、静的オブジェクトへの距離および角度である。レーダフィンガプリントは、範囲ドップラマップであり、範囲ドップラマップは、自己運動に関して補正される。レーダフィンガプリント内に含まれる唯一のオブジェクトは、ゼロ速度を伴うものである。実施例として、定常壁は、フィンガプリント内に含まれるが、ユーザ１２の手またはユーザ１２の移動に起因するいずれの効果も、含まれない。
【００５６】
図３では、画像処理モジュール７２は、フィンガプリントを計算するために使用されてもよい。レーダデバイス３０、３２、および３４と、レーダ追跡モジュール７６と、レーダマッピングモジュール７８と、レーダマップ８４および９０と、画像処理モジュール７２とを含み得る、レーダシステムが、したがって、提供される。
【００５７】
図４では、１１４において読み取られ得るＩＭＵデータおよび１２０において計算されるレーダフィンガプリントは、１２２において、姿勢推定値が決定されることを可能にする。姿勢は、幾何的誤差最小化を使用して決定されてもよいが、他の幾何的または他の誤差最小化方法が、使用されてもよい。姿勢推定値は、第１の時間ｔ１における第１の姿勢推定値である。ＩＭＵデータは、したがって、ｔ１におけるフィンガプリントに関連する。姿勢推定値は、低速領域における第２の時間ｔ２におけるＩＭＵデータの後の読出および後の補正のために記憶されてもよい。
【００５８】
図４では、１２４において、姿勢推定値は、随意に、視覚マップ８６に対してフィンガプリントを用いて精緻化されることができる。図３では、マップ合体および最適化モジュール８８は、レーダマップ８４内のフィンガプリントを視覚マップ８６内のフィンガプリントと比較する。レーダマップ８４内のフィンガプリントは、次いで、視覚マップ８６内のフィンガプリントを用いて更新される。最新のレーダマップは、マッピングおよびマップ管理モジュール６８内にレーダマップ８４として記憶されてもよく、以前のレーダマップは、クラウドデータベース４２内にレーダマップ９０として記憶されてもよい。クラウドデータベース４２内のレーダマップ９０は、付加的計算のために、例えば、予測計算のために使用されることができる。
【００５９】
再び図４を参照すると、１２６において、以前の姿勢推定値との合致が見出されるかどうかの決定が、行われてもよい。議論の目的のために、ｔ１において、いかなるさらなる姿勢推定値も、存在せず、本システムは、１２８および１３０に進まないが、代わりに、さらなるレーダデータを収集するために１３２に進むと仮定され得る。
【００６０】
図４を参照して本明細書に前述で説明されるシーケンスは、低速領域における第１の時間ｔ１における第１のサイクルを表す。各レーダデバイス３０、３２、および３４は、表面を捕捉しており、表面は、レーダフィンガプリントの第１のセットを決定するために使用されてもよく、第１の姿勢が、第１のフィンガプリントを測定ユニット１８からのデータと組み合わせることによって計算されてもよい。
【００６１】
低速領域における第２のｔ２において、本システムは、再び、１１０において、ＴＸチャネルを介して世界を照射するように進む。プロセスは、ＲＸチャネルが読み取られる１１２、ＩＭＵデータが読み取られ得る１１４、本デバイスの３Ｄ配向が決定され得る１１６、正規化された範囲ドップラマップが作成される１１８、レーダフィンガプリントが計算される１２０、姿勢推定値が決定され得る１２２、および姿勢推定値が視覚マップからのフィンガプリントを用いて精緻化され得る１２４を通して継続する。１２６において、レーダフィンガプリントの以前のセットが、利用可能であるかどうかの決定が、行われてもよい。本実施例では、レーダフィンガプリントの以前のセットは、以前にｔ１において計算された。本システムは、次いで、姿勢推定値を更新するために１２８に進む。測定ユニット１８によって提供される値は、経時的にドリフトし、不正確になる。ドリフトは、主として、位置を取得するための加速度の二重積分の結果である。ドリフトの量は、第１の姿勢推定値を第２の姿勢推定値と比較することによって決定されることができる。必要な調節が、次いで、ドリフトを補正するために行われる。調節は、したがって、更新された姿勢推定値を形成する。フィンガプリントは、ＩＭＵドリフトを補正するために十分な長さだけ記憶されてもよく、次いで、破棄されてもよい。フィンガプリントは、循環バッファまたは同等物内に記憶されてもよい。１つを上回るフィンガプリント、例えば、最後の５つのフィンガプリントが、ドリフトの経路が、計算され得るように、留保されることができる。５つ程度のフィンガプリントはまた、ＩＭＵデータドリフトの予測、タイムワーピングの計算、または外挿目的のために有用であり得る。
【００６２】
１３０において、レーダマップ８４が、更新される。レーダマップ８４は、これが、測定ユニット１８からの不正確なデータのセットに基づき得るため、更新を必要とし得る。フィンガプリントとマップとの比較は、本システムが絶対的位置特定を行うことを可能にする。「相対的位置特定」は、ユーザ１２が向かって歩行している壁に対するコンテンツの表示を調節することを指すように実施例として説明されることができる。「絶対的位置特定」は、ユーザが、自身の頭部を左から右に回転させるであろう場合であっても、および／または他人が、その自身の拡張現実デバイスを用いて体験を共有し得るときであっても関係なく、テーブル上のコンテンツの表示を保つことを指すように実施例として説明されることができる。
【００６３】
フィンガプリントの連続セットを調べることによって、部屋内の一意の３Ｄ姿勢が、取得されることができる。推定値の正確度は、測定ユニット１８およびレーダデバイス３０、３２、および３４の高時間周波数に起因して、経時的に迅速に収束する。図３では、センサ融合モジュール７０は、ｔ１における第１の姿勢推定値およびｔ２における第２の姿勢推定値を含む、各姿勢推定値を決定することに関与してもよい。センサ融合モジュール７０はまた、第１の姿勢推定値を第２の姿勢推定値と比較することによって、測定ユニット１８のドリフトを決定し、ドリフトを補正するための任意の必要な調節を行う。
【００６４】
図８は、測定ユニット１８およびレーダセンサアレイ１２１を図示する。レーダセンサアレイ１２１は、図１および３に図示される、レーダデバイス３０、３２、および３４を含んでもよい。測定ユニット１８によって得られた測定値は、測定ユニットフィルタ１３４を通過する。レーダセンサアレイ１２１によって得られた測定値は、レーダカルマンフィルタ１３６を通過する。測定ユニットフィルタ１３４からの推定値１３８およびレーダカルマンフィルタ１３６からの推定値１４０は、姿勢推定値１４２を計算するために組み合わせられる。１４４において、姿勢推定値１４２は、測定ユニットフィルタ１３４を調節するために使用されてもよい。調節は、測定ユニット１８におけるドリフトを補正する。１４４において行われ得る調節は、加速度バイアスおよびジャイロスコープドリフト補正、および位置、速度、および傾角補正を含む。
【００６５】
１４６において、姿勢推定値１３０は、レーダカルマンフィルタ１３６を調節するために使用されてもよい。測定ユニットフィルタ１３４において行われ得る調節は、位置、速度、および傾角補正を含む。
【００６６】
１４８において、姿勢推定値１４２からもたらされる姿勢および視覚マップ８６が、視覚マップ８６に対してフィンガプリントを用いて推定値を精緻化するために組み合わせられてもよい。精緻化は、視覚マップ８６によって提供される精緻化に起因して、姿勢推定値１４２よりも正確であり得る姿勢をもたらす。
【００６７】
測定ユニット１８、レーダセンサアレイ１２１、および視覚マップ８６による測定を含む、図４において行われる測定は全て、同時、例えば、ｔ２に行われる。後の時間ｔ３において、測定ユニット１８、レーダセンサアレイ１２１、および新しい視覚マップ８６からの測定の新しいセットを含む、測定の新しいセットが得られることができる。代替として、全ての測定は、厳密に同時に行われない場合がある。例えば、測定ユニット１８およびレーダセンサアレイ１２１は、わずかに異なる時間に測定を行ってもよい。補間アルゴリズムが、測定が同時に行われたはずの場合の測定値を表す測定値のセットを取得するために、測定値を修正するために使用されてもよい。さらに、視覚マップ８６は、測定ユニット１８およびレーダセンサアレイ１２１の測定よりも早い時間に得られ得る視覚マップであってもよい。例えば、視覚マップ８６は、ｔ１において得られてもよく、測定ユニット１８およびレーダセンサアレイ１２１からの測定は、ｔ２において行われてもよい。
【００６８】
図９は、拡張現実デバイス１０が、電源オンにされる、またはユーザ１２の頭部上に置かれ得るときに行われる初期化を図示する。１５０において、拡張現実デバイス１０は、大まかな位置特定を実行する。拡張現実デバイス１０は、デバイス１０の大まかなジオロケーションを実行するために、環境の全地球測位システム（ＧＰＳ）および／またはＷＩＦＩおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）を利用する。１５２において、デバイス１０は、視覚マップが、ローカルで利用可能であるか、またはクラウドデータベース４２から利用可能であり得るかを検索する。１５４において、本システムは、マップが、利用可能であるかどうかを決定する。いかなるマップも、利用可能ではない場合、デバイス１０は、新しいマップを作成するために、１５６に進む。
【００６９】
マップが、利用可能である場合、デバイス１０は、マップをロードするために、１５８に進む。デバイス１０は、次いで、再位置特定を開始するために、１６０に進む。再位置特定の間、デバイス１０は、大まかな位置特定を決定するために、レーダセンサおよびＩＭＵフィンガプリントの循環バッファを使用する。デバイス１０は、次いで、さらに、深度センサ入力を使用することによって、開始位置を精緻化する。１６２において、デバイス１０は、ＩＭＵデータを使用して、その移動の追跡を開始する。
【００７０】
再び図３を参照すると、レンダリングモジュール６４は、レンダリングされる必要性があるオブジェクトを表すコンピュータデータを受信する。レンダリングモジュール６４はまた、図８からもたらされる姿勢に基づいて、オブジェクトの場所を決定する。レンダリングモジュール６４は、次いで、姿勢に基づく画像およびその場所のデータを図１のプロジェクタ２４および２６に提供する。プロジェクタ２４および２６は、データをレーザまたは他の光に変換し、光を接眼レンズ２０および２２の中に挿入する。プロジェクタ２４および２６は、それぞれ、オブジェクトをレンダリングし、姿勢に対する特定の場所にオブジェクトをレンダリングするレーザ光のパターンを発生させる。レーザ光は、次いで、接眼レンズ２０および２２内で反射し、次いで、接眼レンズ２０および２２からユーザ１２に向かって出射する。レーザ光は、次いで、ユーザ１２の眼に入射し、ユーザは、自身の眼の網膜上でレーザ光を知覚する。ユーザ１２はまた、接眼レンズ２０および２２を見通すことができる。ユーザ１２は、したがって、接眼レンズ２０および２２の後方の実世界オブジェクトを見ることができ、実世界オブジェクトは、レンダリングされるオブジェクトを用いて拡張される。レンダリングされるオブジェクトは、実世界オブジェクトに対して定常オブジェクトであってもよい。ユーザ１２が、自身の頭部を移動させると、測定ユニット１８は、そのような移動を検出し、姿勢は、姿勢が実世界オブジェクトに対して修正されるように、更新されてもよい。レンダリングされるオブジェクトは、姿勢に対して定常のままであるため、レンダリングされるオブジェクトは、ユーザ１２のビュー内で実世界オブジェクトに対して定常のままである。代替実施形態では、レンダリングされるオブジェクトは、ユーザに対して定常であってもよい、またはレンダリングされるオブジェクトは、ユーザまたは実世界オブジェクトに対して移動してもよい。
【００７１】
図３では、ユーザインターフェース６０およびアプリケーションインターフェース６２は、ユーザ１２が、オンデバイスソフトウェアスタック４０の他のモジュールと相互作用することを可能にする。例えば、ユーザ１２は、視覚マップまたはレーダマップが作成され得る、またはＩＭＵデータが捕捉され得る周波数を修正してもよい。
【００７２】
図１０は、拡張現実デバイス１０を使用するユーザ１２によって見られるようなレンダリングを図示する。所与の実施例では、レンダリングされるオブジェクトは、地球儀１７０であり、その位置は、ユーザ１２が、自身の頭部を移動させるとき、実世界オブジェクト３８に対して固定されてもよい。図３では、レンダリングモジュール６４は、オブジェクトが、所望の場所に表示された後、測定ユニット１８から測定値を受信することによって第２の姿勢の変化を追跡し続け、第２の姿勢の変化の追跡に応答して、レンダリングされるオブジェクトの所望の場所を更新する。
【００７３】
上記に議論されるように、人物が、拡張現実デバイス１０を装着し得、拡張現実コンテンツが正しく表示されるために、拡張現実デバイス１０の場所は、把握されなければならない。ＩＭＵが、良好な短期位置推定を提供し得るが、経時的にドリフト問題に悩まされ得る。レーダデータは、長期においてより正確であり得（但し、短期においてそうではない）、したがって、長期および短期の両方に関する改良された位置データを生成するために、ＩＭＵデータと組み合わせられる。組み合わせられたデータは、相対的場所を決定するためにのみ正確である。組み合わせられたデータは、例えば、本デバイスが、壁から３フィート離れていると決定することができるが、本デバイスは、依然として、世界で壁またはユーザが存在する場所を把握していない。本デバイスの正確な絶対的位置データを提供するために、レーダフィンガプリントが、レーダおよびＩＭＵデータから作成されてもよく、外向きの視覚カメラからのデータと比較されてもよい。
【００７４】
図１１は、その中で機械に本明細書に議論される方法論のうちのいずれか１つ以上のものを実施させるための命令のセットが実行され得る、コンピュータシステム９００の例示的形態における機械の図表現を示す。代替実施形態では、機械は、スタンドアロンデバイスとして動作する、または他の機械に接続（例えば、ネットワーク化）されてもよい。さらに、単一の機械のみが、図示されるが、用語「機械」はまた、本明細書に議論される方法論のうちのいずれか１つ以上のものを実施するための命令のセット（または複数のセット）を個々に、または共同で実行する、機械の任意の集合を含むように解釈されるものとする。
【００７５】
例示的コンピュータシステム９００は、バス９０８を介して相互に通信する、プロセッサ９０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、または両方）、主要メモリ９０４（例えば、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ）またはラムバスＤＲＡＭ（ＲＤＲＡＭ）等のダイナミックランダムアクセスメモリ（ＤＲＡＭ）等）、およびスタティックメモリ９０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）等）、およびレーザドライバチップ９１２または他の光源ドライバを含む。
【００７６】
コンピュータシステム９００はさらに、ディスクドライブユニット９１６と、ネットワークインターフェースデバイス９２０とを含んでもよい。
【００７７】
ディスクドライブユニット９１６は、その上に本明細書に説明される方法論または機能のうちのいずれか１つ以上のものを具現化する命令９２４（例えば、ソフトウェア）の１つ以上のセットが記憶される、機械可読媒体９２２を含む。ソフトウェアはまた、完全に、または少なくとも部分的に、コンピュータシステム９００によるその実行の間に主要メモリ９０４内および／またはプロセッサ９０２内に常駐してもよく、主要メモリ９０およびプロセッサ９０２もまた、機械可読媒体を構成する。
【００７８】
ソフトウェアはさらに、ネットワークインターフェースデバイス９２０を介してネットワーク９２８を経由して伝送または受信されてもよい。
【００７９】
機械可読媒体９２４は、例示的実施形態において、単一の媒体であるように示されるが、用語「機械可読媒体」は、命令の１つ以上のセットを記憶する単一の媒体または複数の媒体（例えば、集中または分散データベース、および／または関連付けられるキャッシュおよびサーバ）を含むように解釈されるべきである。用語「機械可読媒体」はまた、機械による実行のための命令のセットを記憶、エンコード、または搬送することが可能であり、機械に本発明の方法論のうちのいずれか１つ以上のものを実施させる任意の媒体を含むように解釈されるものとする。用語「機械可読媒体」は、故に、限定ではないが、ソリッドステートメモリ、光学および磁気媒体、および搬送波信号を含むように解釈されるものとする。
【００８０】
レーザドライバチップ９１２は、データストア１６１と、その独自のプロセッサ１６２とを含む。データストア１６１は、レーザ源の動作に特有である命令およびデータ構造を記憶するために使用される。プロセッサ１６２は、データストアから命令を読出し、レーザ源が、レーザ光を発生させるようにレーザ源を駆動するルーチンを実行するためのデータ構造へのアクセスを有する。レーザ源は、ビデオデータ等のデータを受信するプロジェクタの一部を形成する。走査装置が、プロジェクタの一部を形成し、プロジェクタが、２次元面積にわたって、いくつかの事例では、３次元空間内でレーザ光を表示することを可能にし、プロジェクタによって作成される任意のパターン、色、彩度、および他の光品質は、ビデオデータ内の値に基づく。
【００８１】
レーザ源およびレーザドライバチップ９１２が、例証および議論されているが、他のディスプレイシステムを使用することも、可能であり得る。他のディスプレイシステムは、例えば、発光ダイオード（ＬＥＤ）技術、有機発光ダイオード（ＯＬＥＤ）技術、高輝度発光ダイオード（ＳＬＥＤ）、または同等物を利用するディスプレイを含んでもよい。
【００８２】
例示的実施形態
いくつかの実施形態では、本発明は、頭部搭載可能フレームと、第１および第２の時間におけるユーザに対する実世界オブジェクトの場所のレーダフィンガプリントの第１および第２のセットを発生させる、レーダシステムと、フレームに固着され、第１および第２の時間における第１および第２の測定値を検出する、測定ユニットであって、各測定値は、測定ユニットの位置および移動のうちの少なくとも１つを示す、測定ユニットと、測定ユニットに接続される、測定ユニットフィルタと、レーダシステムおよび測定ユニットに接続され、（ｉ）第１および第２の姿勢推定値を決定し、第１の姿勢推定値は、第１の測定値に対するレーダフィンガプリントの第１のセットに基づき、第２の姿勢推定値は、第２の測定値に対するレーダフィンガプリントの第２のセットに基づき、（ｉｉ）第１の姿勢推定値を第２の姿勢推定値と比較することによって、測定ユニットのドリフトを決定し、（ｉｉｉ）ドリフトを補正するために測定ユニットフィルタを調節するように動作可能である、センサ融合モジュールと、第２の姿勢に基づいて、レンダリングされるオブジェクトの所望の位置を決定するための、レンダリングモジュールと、フレームに固着される、接眼レンズと、フレームに固着され、データを光に変換し、レンダリングされるオブジェクトを発生させ、接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するように動作可能である、プロジェクタとを含む、拡張現実デバイスを提供する。
【００８３】
いくつかの実施形態では、拡張現実デバイスは、レーダシステムが、少なくとも第１のレーダデバイスであって、フレームに固着され、低速領域において第１および第２の時間に電波を伝送する、第１のレーダ送信機と、フレームに固着され、電波が、表面から反射された後、電波を検出する、第１のレーダ受信機とを有する、少なくとも第１のレーダデバイスと、第１のレーダ受信機に接続され、それぞれ、電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定する、レーダ追跡モジュールと、レーダ追跡モジュールに接続され、少なくとも高速領域における個別の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させる、レーダマッピングモジュールと、レーダマッピングモジュールに接続され、それぞれ、第１および第２のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算する、画像処理モジュールとを含むことを含んでもよい。
【００８４】
いくつかの実施形態では、拡張現実デバイスは、レーダシステムが、少なくとも第２のレーダデバイスであって、フレームに固着され、低速領域において第１および第２の時間に電波を伝送する、第２のレーダ送信機と、フレームに固着され、電波が、表面から反射された後、第２のレーダ送信機によって伝送された電波を検出する、第２のレーダ受信機であって、レーダ追跡モジュールは、第２のレーダ受信機に接続され、第２のレーダ送信機によって伝送された個別の電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定する、第２のレーダ受信機とを有する、少なくとも第２のレーダデバイスを含むことを含んでもよい。
【００８５】
いくつかの実施形態では、拡張現実デバイスは、レーダシステムが、少なくとも第３のレーダデバイスであって、フレームに固着され、低速領域において第１および第２の時間に電波を伝送する、第３のレーダ送信機と、フレームに固着され、電波が、表面から反射された後、第３のレーダ送信機によって伝送された電波を検出する、第３のレーダ受信機であって、レーダ追跡モジュールは、第３のレーダ受信機に接続され、第３のレーダ送信機によって伝送された個別の電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定する、第３のレーダ受信機とを有する、少なくとも第３のレーダデバイスを含むことを含んでもよい。
【００８６】
いくつかの実施形態では、拡張現実デバイスは、第１のレーダ受信機が、表面からの後方散乱を検出し、画像処理モジュールが、後方散乱に基づいて、表面のテクスチャを計算することを含んでもよい。
【００８７】
いくつかの実施形態では、拡張現実デバイスは、実世界オブジェクトの第１および第２の視覚画像を捕捉するために、フレームに搭載される、視覚カメラと、視覚カメラに接続され、それぞれ、低速領域において第１および第２の時間における第１および第２の視覚画像を記憶する、視覚追跡モジュールと、視覚追跡モジュールに接続され、第１および第２の視覚画像に基づいて、ユーザに対する実世界オブジェクトの場所の第１および第２の視覚マップを発生させる、視覚マッピングモジュールと、それぞれ、第１および第２の視覚マップに基づいて、フィンガプリントの第１および第２のセットの場所を精緻化する、マップ合体および最適化モジュールとを含む、視覚システムを含んでもよい。
【００８８】
いくつかの実施形態では、拡張現実デバイスは、レーダシステムに接続される、レーダフィルタを含んでもよく、センサ融合モジュールは、第２の姿勢推定値に基づいて、レーダフィルタを調節する。
【００８９】
いくつかの実施形態では、拡張現実デバイスは、レンダリングモジュールが、オブジェクトが、所望の場所において表示された後、測定デバイスから測定値を受信することによって第２の姿勢の変化を追跡し、第２の姿勢の変化の追跡に応答して、レンダリングされるオブジェクトの所望の場所を更新することを含んでもよい。
【００９０】
いくつかの実施形態では、拡張現実デバイスは、センサ融合モジュールが、無線信号に基づいて、大まかな位置特定を実施することを含んでもよい。
【００９１】
いくつかの実施形態では、本発明はまた、頭部搭載可能フレームと、レーダシステムであって、少なくとも第１のレーダデバイスであって、フレームに固着され、低速領域において第１および第２の時間に電波を伝送する、第１のレーダ送信機と、フレームに固着され、電波が、表面から反射された後、電波を検出する、第１のレーダ受信機とを有する、少なくとも第１のレーダデバイスと、第１のレーダ受信機に接続され、それぞれ、電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定する、レーダ追跡モジュールと、レーダ追跡モジュールに接続され、少なくとも高速領域における個別の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させる、レーダマッピングモジュールと、レーダマッピングモジュールに接続され、それぞれ、第１および第２のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算する、画像処理モジュールとを含む、レーダシステムと、フレームに固着され、低速領域において第１および第２の時間における第１および第２の測定値を検出する、測定ユニットであって、各測定値は、測定ユニットの位置および移動のうちの少なくとも１つを示す、測定ユニットと、測定ユニットに接続される、測定ユニットフィルタと、画像処理モジュールに接続され、（ｉ）第１および第２の姿勢推定値を決定し、第１の姿勢推定値は、第１の測定値に対するレーダフィンガプリントの第１のセットに基づき、第２の姿勢推定値は、第２の測定値に対するレーダフィンガプリントの第２のセットに基づき、（ｉｉ）第１の姿勢推定値を第２の姿勢推定値と比較することによって、測定ユニットのドリフトを決定し、（ｉｉｉ）ドリフトを補正するために測定ユニットフィルタを調節するように動作可能である、センサ融合モジュールと、第２の姿勢に基づいて、レンダリングされるオブジェクトの所望の位置を決定するための、レンダリングモジュールと、フレームに固着される、接眼レンズと、フレームに固着され、データを光に変換し、レンダリングされるオブジェクトを発生させ、接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するように動作可能である、プロジェクタとを含む、拡張現実デバイスを提供する。
【００９２】
いくつかの実施形態では、本発明はさらに、頭部搭載可能フレームと、フレームに固着される、レーダシステムであって、フレームに固着され、第１の電波を伝送することによって第１のレーダサイクルの実行を開始する、レーダ送信機と、フレームに固着され、第１の電波が、表面から反射された後、第１の電波を検出する、レーダ受信機と、レーダ受信機に接続され、第１の電波の伝送と検出との間の第１の時間を決定する、レーダ追跡モジュールと、レーダ追跡モジュールに接続され、少なくとも第１の電波の伝送と検出との間の第１の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第１のレーダマップを発生させる、レーダマッピングモジュールと、レーダマッピングモジュールに接続され、第１のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１のセットを計算し、第１のレーダサイクルを完了させる、画像処理モジュールとを含む、レーダシステムと、フレームに固着され、フレームに固着される測定ユニットを伴う位置および移動のうちの少なくとも１つを示す第１の測定値を検出する、測定ユニットと、画像処理モジュールおよび測定ユニットに接続され、第１の測定値に対するレーダフィンガプリントの第１のセットの第１の姿勢推定値を決定する、センサ融合モジュールとを含み、レーダシステムは、第２の電波を伝送するステップと、第２の電波が、表面から反射された後、第２の電波を検出するステップと、第２の電波の伝送と検出との間の第２の時間を決定するステップと、少なくとも第２の電波の伝送と検出との間の第２の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第２のレーダマップを発生させるステップと、第２のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第２のセットを計算するステップとを含む、第２のレーダサイクルを実行し、測定ユニットは、フレームに固着される測定ユニットを伴う位置および移動を示す第２の測定値を検出し、センサ融合モジュールは、第２の測定値に対するレーダフィンガプリントの第２のセットの第２の姿勢推定値を決定し、第１の姿勢推定値を第２の姿勢推定値と比較することによって、測定ユニットのドリフトを決定し、ドリフトを補正するために、測定ユニットに接続される測定ユニットフィルタを調節し、第２の姿勢に基づいて、レンダリングされるオブジェクトの所望の位置を決定するための、レンダリングモジュールと、フレームに固着される、接眼レンズと、フレームに固着され、データを光に変換し、レンダリングされるオブジェクトを発生させ、接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するように動作可能である、プロジェクタとを含む、拡張現実デバイスを提供する。
【００９３】
いくつかの実施形態では、本発明はまた、頭部搭載可能フレームと、第１および第２の時間におけるユーザに対する実世界オブジェクトの場所の第１および第２のレーダフィンガプリントを発生させる、レーダシステムと、視覚システムであって、実世界オブジェクトの第１および第２の視覚画像を捕捉するために、フレームに搭載される、視覚カメラと、視覚カメラに接続され、それぞれ、第１および第２の時間間隔における第１および第２の視覚画像を記憶する、視覚追跡モジュールと、視覚追跡モジュールに接続され、第１および第２の視覚画像に基づいて、ユーザに対する実世界オブジェクトの場所の第１および第２の視覚マップを発生させる、視覚マッピングモジュールと、それぞれ、第１および第２の視覚マップに基づいて、フィンガプリントの第１および第２のセットの場所を精緻化する、マップ合体および最適化モジュールとを含む、視覚システムと、マップ合体および最適化モジュールによって精緻化されるようなフィンガプリントの第１および第２のセットに基づいて、レンダリングされるオブジェクトの所望の位置を決定するための、レンダリングモジュールと、フレームに固着される、接眼レンズと、フレームに固着され、データを光に変換し、レンダリングされるオブジェクトを発生させ、接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するように動作可能である、プロジェクタとを含む、拡張現実デバイスを提供する。
【００９４】
いくつかの実施形態では、本発明はさらに、頭部搭載可能フレームをユーザの頭部に取り付けるステップと、低速領域において第１および第２の時間におけるユーザに対する実世界オブジェクトの場所の第１および第２のレーダフィンガプリントを発生させるために、複数のレーダサイクルを実行するステップと、低速領域において第１および第２の時間に第１および第２の測定値を検出するステップであって、各測定値は、フレームに固着される測定ユニットを伴う位置および移動のうちの少なくとも１つを示す、ステップと、第１および第２の姿勢推定値を決定するステップであって、第１の姿勢推定値は、第１の測定値に対するレーダフィンガプリントの第１のセットに基づき、第２の姿勢推定値は、第２の測定値に対するレーダフィンガプリントの第２のセットに基づく、ステップと、第１の姿勢推定値を第２の姿勢推定値と比較することによって、測定ユニットのドリフトを決定するステップと、ドリフトを補正するために、測定ユニットに接続される測定ユニットフィルタを調節するステップと、第２の姿勢推定値に基づいて、レンダリングされるオブジェクトの所望の位置を決定するステップと、データを光に変換し、レンダリングされるオブジェクトを発生させるステップと、頭部搭載可能フレームに固着される接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するステップとを含む、レンダリングされるコンテンツを表示する方法を提供する。
【００９５】
いくつかの実施形態では、本方法は、低速領域において第１および第２の時間に電波を伝送するステップと、電波が、表面から反射された後、電波を検出するステップと、それぞれ、電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定するステップと、少なくとも高速領域における個別の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させるステップと、それぞれ、第１および第２のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算するステップとを含んでもよい。
【００９６】
いくつかの実施形態では、本方法は、表面から後方散乱を検出するステップと、後方散乱に基づいて、表面のテクスチャを計算するステップとを含んでもよい。
【００９７】
いくつかの実施形態では、本方法は、レーダサイクルが、低速領域において第１および第２の時間に電波を伝送するステップと、電波が、表面から反射された後、電波を検出するステップと、それぞれ、電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定するステップと、少なくとも高速領域における個別の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させるステップと、それぞれ、第１および第２のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算するステップとを含むことを含んでもよい。
【００９８】
いくつかの実施形態では、本発明はまた、頭部搭載可能フレームをユーザの頭部に取り付けるステップと、複数のレーダサイクルを実行するステップであって、低速領域において第１および第２の時間に電波を伝送するステップと、電波が、表面から反射された後、電波を検出するステップと、それぞれ、電波の伝送と検出との間の高速領域における第１および第２の時間間隔を決定するステップと、少なくとも高速領域における個別の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第１および第２のレーダマップを発生させるステップと、それぞれ、第１および第２のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１および第２のセットを計算するステップとを含む、複数のレーダサイクルを実行するステップと、低速領域において第１および第２の時間における第１および第２の測定値を検出するステップであって、各測定値は、フレームに固着される測定ユニットを伴う位置および移動のうちの少なくとも１つを示す、ステップと、第１および第２の姿勢推定値を決定するステップであって、第１の姿勢推定値は、第１の測定値に対するレーダフィンガプリントの第１のセットに基づき、第２の姿勢推定値は、第２の測定値に対するレーダフィンガプリントの第２のセットに基づく、ステップと、第１の姿勢推定値を第２の姿勢推定値と比較することによって、測定ユニットのドリフトを決定するステップと、ドリフトを補正するために、測定ユニットに接続される測定ユニットフィルタを調節するステップと、第２の姿勢推定値に基づいて、レンダリングされるオブジェクトの所望の位置を決定するステップと、データを光に変換し、レンダリングされるオブジェクトを発生させるステップと、頭部搭載可能フレームに固着される接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するステップとを含む、レンダリングされるコンテンツを表示する方法を提供する。
【００９９】
いくつかの実施形態では、本発明はさらに、頭部搭載可能フレームをユーザの頭部に取り付けるステップと、第１のレーダサイクルを実行するステップであって、第１の電波を伝送するステップと、第１の電波が、表面から反射された後、第１の電波を検出するステップと、第１の電波の伝送と検出との間の第１の時間を決定するステップと、少なくとも第１の電波の伝送と検出との間の第１の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第１のレーダマップを発生させるステップと、第１のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第１のセットを計算するステップとを含む、第１のレーダサイクルを実行するステップと、フレームに固着される測定ユニットを伴う位置および移動のうちの少なくとも１つを示す第１の測定値を検出するステップと、第１の測定値に対するレーダフィンガプリントの第１のセットの第１の姿勢推定値を決定するステップと、第２のレーダサイクルを実行するステップであって、第２の電波を伝送するステップと、第２の電波が、表面から反射された後、第２の電波を検出するステップと、第２の電波の伝送と検出との間の第２の時間を決定するステップと、少なくとも第２の電波の伝送と検出との間の第２の時間に基づいて、ユーザに対する実世界オブジェクトの場所の第２のレーダマップを発生させるステップと、第２のレーダマップ内の実世界オブジェクトの場所に基づいて、レーダフィンガプリントの第２のセットを計算するステップとを含む、第２のレーダサイクルを実行するステップと、フレームに固着される測定ユニットを伴う位置および移動を示す第２の測定値を検出するステップと、第２の測定値に対するレーダフィンガプリントの第２のセットの第２の姿勢推定値を決定するステップと、第１の姿勢推定値を第２の姿勢推定値と比較することによって、測定ユニットのドリフトを決定するステップと、ドリフトを補正するために、測定ユニットに接続される測定ユニットフィルタを調節するステップと、第２の姿勢推定値に基づいて、レンダリングされるオブジェクトの所望の位置を決定するステップと、データを光に変換し、レンダリングされるオブジェクトを発生させるステップと、頭部搭載可能フレームに固着される接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するステップとを含む、レンダリングされるコンテンツを表示する方法を提供する。
【０１００】
いくつかの実施形態では、本発明はまた、頭部搭載可能フレームをユーザの頭部に取り付けるステップと、低速領域において第１および第２の時間におけるユーザに対する実世界オブジェクトの場所の第１および第２のレーダフィンガプリントを発生させるために、複数のレーダサイクルを実行するステップと、フレームに搭載される視覚カメラを用いて、実世界オブジェクトの第１および第２の視覚画像を捕捉するステップと、それぞれ、低速領域において第１および第２の時間における第１および第２の視覚画像を記憶するステップと、第１および第２の視覚画像に基づいて、ユーザに対する実世界オブジェクトの場所の第１および第２の視覚マップを発生させるステップと、それぞれ、第１および第２の視覚マップに基づいて、フィンガプリントの第１および第２のセットの場所を精緻化するステップと、精緻化されるようなフィンガプリントの第１および第２のセットに基づいて、レンダリングされるオブジェクトの所望の位置を決定するステップと、データを光に変換し、レンダリングされるオブジェクトを発生させるステップと、頭部搭載可能フレームに固着される接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するステップとを含む、レンダリングされるコンテンツを表示する方法を提供する。
【０１０１】
いくつかの実施形態では、本発明はさらに、頭部搭載可能フレームと、低速領域において第１および第２の時間におけるユーザに対する実世界オブジェクトの場所のレーダフィンガプリントの第１および第２のセットを発生させる、レーダシステムと、フレームに固着され、低速領域において第１および第２の時間に第１および第２の測定値を検出する、測定ユニットであって、各測定値は、測定ユニットの位置および移動のうちの少なくとも１つを示す、測定ユニットと、測定ユニットに接続される、測定ユニットフィルタと、プロセッサと、プロセッサに接続される、コンピュータ可読媒体と、コンピュータ可読媒体上にあり、（ｉ）第１および第２の姿勢推定値を決定し、第１の姿勢推定値は、第１の測定値に対するレーダフィンガプリントの第１のセットに基づき、第２の姿勢推定値は、第２の測定値に対するレーダフィンガプリントの第２のセットに基づき、（ｉｉ）第１の姿勢推定値を第２の姿勢推定値と比較することによって、測定ユニットのドリフトを決定し、（ｉｉｉ）ドリフトを補正するために測定ユニットフィルタを調節し、（ｉｖ）第２の姿勢に基づいて、レンダリングされるオブジェクトの所望の位置を決定するようにプロセッサによって実行可能である、命令のセットと、フレームに固着される、接眼レンズと、フレームに固着され、データを光に変換し、レンダリングされるオブジェクトを発生させ、接眼レンズを通してユーザに所望の位置においてレンダリングされるオブジェクトを表示するように動作可能である、プロジェクタとを含む、拡張現実デバイスを提供する。
【０１０２】
ある例示的実施形態が、説明され、付随の図面に示されたが、そのような実施形態は、単に、本発明の例証であり、制限ではなく、本発明は、修正が、当業者に想起され得るため、示され、説明される具体的構造および配列に制限されないことを理解されたい。
【図１】
2021525868.tif 000003
【図２】
2021525868.tif 000004
【図３】
2021525868.tif 000005
【図４】
2021525868.tif 000006
【図５】
2021525868.tif 000007
【図６】
2021525868.tif 000008
【図７】
2021525868.tif 000009
【図８】
2021525868.tif 000010
【図９】
2021525868.tif 000011
【図１０】
2021525868.tif 000012
【図１１】
2021525868.tif 000013
【国際調査報告】
2021525868.tif 000014