(57)【要約】複数の温度と、複数のホモグラフィ変換行列とを含む、較正セットが、記憶デバイス上に記憶され、各個別のホモグラフィ変換行列は、個別の温度に関するものである。温度が、検出される。ホモグラフィ変換行列の個別のものは、温度に合致する温度に関して選択される。幾何学的変化が、選択されたホモグラフィ関係に基づいて計算される。ローカルコンテンツを表すデータが、受信される。ローカルコンテンツのレンダリングが、幾何学的変化に基づいて生成され、ユーザに表示される。
2021527234.tif 000002
【特許請求の範囲】
【請求項１】
視認システムであって、
記憶デバイスと、
前記記憶デバイス上に記憶される較正セットであって、前記較正セットは、複数の温度と、複数のホモグラフィ変換行列とを含み、各個別のホモグラフィ変換行列は、個別の温度範囲に関するものである、較正セットと、
温度センサと、
前記温度センサによって検出された温度に対応する前記ホモグラフィ変換行列の個別のものを選択する行列選択器と、
前記選択されたホモグラフィ変換行列に基づいて、幾何学的変化を計算する幾何学的変化計算機と、
ローカルコンテンツを表すデータを受信するためのデータソースと、
レンダリングエンジンであって、前記レンダリングエンジンは、前記データを受信するためのデータソースに接続され、前記幾何学的変化を受信するための幾何学的変化計算機に接続され、前記幾何学的変化に基づいて、前記ローカルコンテンツをレンダリングする、レンダリングエンジンと、
前記レンダリングエンジンに接続され、前記レンダリングエンジンから受信されたレンダリングを表示するように適合されるディスプレイシステムと
を備える、視認システム。
【請求項２】
前記較正セットの各温度は、複数の色ホモグラフィ変換行列を有し、前記データは、複数の色チャネルを含み、前記行列選択器は、前記温度センサによって検出された温度に合致する複数の前記色ホモグラフィ変換行列を選択し、前記レンダリングエンジンは、複数の色レンダリングをレンダリングし、各色レンダリングは、前記選択された色ホモグラフィ変換行列の個別のものおよび前記色チャネルの個別のもののローカルコンテンツに基づく、請求項１に記載の視認システム。
【請求項３】
各ホモグラフィ変換行列は、アフィン変換行列であり、各アフィン変換行列（Ａ）は、２次元（２Ｄ）変換行列（［［Ａ００，Ａ０１，Ａ０２］，［Ａ１０，Ａ１１，Ａ１２］］）である、請求項２に記載の視認システム。
【請求項４】
Ａ００に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、請求項３に記載の視認システム。
【請求項５】
全ての色チャネルに関するＡ００は、温度の増加に伴って減少する、請求項３に記載の視認システム。
【請求項６】
Ａ０１に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、請求項３に記載の視認システム。
【請求項７】
少なくとも１つの色チャネルに関するＡ０１は、温度の増加に伴って減少し、温度の増加に伴って１つの色チャネルに関して増加する、請求項３に記載の視認システム。
【請求項８】
Ａ０２に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、請求項３に記載の視認システム。
【請求項９】
少なくとも１つの色チャネルに関するＡ０２は、温度の増加に伴って減少し、温度の増加に伴って１つの色チャネルに関して増加する、請求項３に記載の視認システム。
【請求項１０】
Ａ１０に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、請求項３に記載の視認システム。
【請求項１１】
少なくとも１つの色チャネルに関するＡ１０は、温度の増加に伴って減少し、温度の増加に伴って１つの色チャネルに関して増加する、請求項３に記載の視認システム。
【請求項１２】
Ａ１１に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、請求項３に記載の視認システム。
【請求項１３】
全ての色チャネルに関するＡ１１は、温度の増加に伴って減少する、請求項３に記載の視認システム。
【請求項１４】
Ａ２１に関する前記色チャネル間の色分離は、温度の増加に伴って増加する、請求項３に記載の視認システム。
【請求項１５】
少なくとも１つの色チャネルに関するＡ１２は、温度の増加に伴って減少し、温度の増加に伴って１つの色チャネルに関して増加する、請求項３に記載の視認システム。
【請求項１６】
前記較正セットは、複数の回転行列（Ｒ）を含み、各個別の回転行列は、個別の温度に関するものであり、
前記行列選択器は、前記温度センサによって検出された温度に合致する温度に関するものである前記回転行列の個別のものを選択し、前記幾何学的変化計算機は、前記回転行列に基づいて、幾何学的変化を計算し、前記レンダリングエンジンは、前記幾何学的変化を受信し、前記回転行列に基づく前記幾何学的変化に基づいて、前記ローカルコンテンツをレンダリングする、請求項１に記載の視認システム。
【請求項１７】
前記回転行列（Ｒ）は、３成分回転ベクトル（［Ｒｘ，  Ｒｙ，  Ｒｚ］）として表される、請求項１６に記載の視認システム。
【請求項１８】
Ｒｘは、温度の増加に伴って線形に増加する、請求項１７に記載の視認システム。
【請求項１９】
前記ディスプレイシステムは、左ディスプレイおよび右ディスプレイを有し、Ｒｙは、前記左ディスプレイに関して温度の増加に伴って線形に増加し、Ｒｙは、前記右ディスプレイに関して温度の増加に伴って線形に減少する、請求項１７に記載の視認システム。
【請求項２０】
頭部ユニット本体をさらに備え、前記ディスプレイシステムは、
少なくとも１つのディスプレイであって、
実世界環境からの光が前記頭部ユニット本体を装着しているユーザの眼を通して通過することを可能にする前記頭部ユニット本体に固着される透明導波管と、
前記ローカルコンテンツを表すデータを光に変換するプロジェクタであって、前記プロジェクタからの光は、入射瞳において前記導波管の中に入射し、射出瞳において前記導波管から前記ユーザの眼へと出射する、プロジェクタと
を有する、少なくとも１つのディスプレイ
を含む、請求項１に記載の視認システム。
【請求項２１】
視認方法であって、
複数の温度と、複数のホモグラフィ変換行列とを含む較正セットを記憶デバイス上に記憶することであって、各個別のホモグラフィ変換行列は、個別の温度に関するものである、ことと、
温度を検出することと、
前記温度に合致する温度に関するものである前記ホモグラフィ変換行列の個別のものを選択することと、
前記選択されたホモグラフィ関係に基づいて、幾何学的変化を計算することと、
ローカルコンテンツを表すデータを受信することと、
前記幾何学的変化に基づいて、前記ローカルコンテンツのレンダリングを生成することと、
前記レンダリングを表示することと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、その全てが、参照することによってその全体として本明細書に組み込まれる、２０１８年６月５日に出願された、米国仮特許出願第６２／６８１，０６３号の優先権を主張する。
【０００２】
（１．開示の分野）
本開示は、一般に、視認システムに関し、より具体的には、温度較正のためのホモグラフィ行列の使用に関する。
【背景技術】
【０００３】
（２．関連技術の説明）
現代のコンピューティングおよびディスプレイ技術は、「仮想現実」視認デバイス等の視知覚デバイスの開発を促進している。仮想現実視認デバイスは、ユーザに、左眼に１つおよび右眼に１つの２つの画像を提示する、ウェアラブルデバイスであり得る。画像内のオブジェクトは、脳がオブジェクトを３次元オブジェクトとして処理することを可能にする様式において、相互に異なり得る。画像が、常に変化するとき、３次元における移動が、シミュレートされ得る。仮想現実視認デバイスは、典型的には、他の実世界オブジェクトに対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。
【０００４】
他の視知覚デバイス、いわゆる「拡張現実」視認デバイスは、通常、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルおよび仮想画像情報の提示を可能にする、技術を含む。拡張現実視認デバイスは、例えば、ユーザに接眼レンズの背後の実世界オブジェクトが見えることを可能にする、１つまたはそれを上回る透明接眼レンズを有し得る。そのような接眼レンズは、それを通して光がプロジェクタからユーザの眼に向かって伝搬する、導波管としての役割を果たすことができる。プロジェクタによって作成された光パターンは、眼の網膜上で可視となる。眼の網膜は、次いで、接眼レンズの背後の実世界オブジェクトからの光およびプロジェクタからの光を受光する。実世界オブジェクトは、したがって、ユーザの知覚において、プロジェクタからの画像データで拡張される。
【０００５】
熱は、視認システムが非均一温度分布を有するほど、そのような視認システムのある面積内に凝集する傾向にある。加えて、種々の材料は、温度に伴って、異なる率で拡張／収縮する。これら等の視認システムは、典型的には、定常状態動作温度、例えば、４０℃で較正される。しかしながら、室温の「低温状態」から較正された温度に到達するまでの時間は、数十分間かかり、その間、ユーザが、視認システムをその較正プロファイル外で使用し得る、有意な時間周期を残し得る。色分離は、典型的には、始動時、最小限である。色分離の帯域は、典型的には、視認システムが加熱すると増加し、次いで、視認システムがその較正温度に到達すると、より小さい帯域に戻る。
【発明の概要】
【課題を解決するための手段】
【０００６】
本開示は、記憶デバイスと、１つまたはそれを上回る温度と、１つまたはそれを上回るホモグラフィ変換行列とを含む、記憶デバイス上に記憶される、較正セットであって、各個別のホモグラフィ変換行列は、個別の温度に関するものである、較正セットと、温度センサと、温度センサによって検出された温度に合致する温度に関するものである、ホモグラフィ変換行列の個別のものを選択する、行列選択器と、選択されたホモグラフィ関係に基づいて、幾何学的変化を計算する、幾何学的変化計算機と、ローカルコンテンツを表すデータを受信するためのデータソースと、データを受信するためのデータソースに接続され、幾何学的変化を受信するための幾何学的変化計算機に接続され、幾何学的変化に基づいて、ローカルコンテンツをレンダリングする、レンダリングエンジンと、レンダリングエンジンに接続され、レンダリングエンジンから受信されたレンダリングをユーザに表示するように適合される、ディスプレイシステムとを含む、視認システムを提供する。
【０００７】
本開示はまた、１つまたはそれを上回る温度と、複数のホモグラフィ変換行列とを含む、較正セットを記憶デバイス上に記憶するステップであって、各個別のホモグラフィ変換行列は、個別の温度に関するものである、ステップと、温度を検出するステップと、その温度に合致する温度に関するものである、ホモグラフィ変換行列の個別のものを選択するステップと、選択されたホモグラフィ関係に基づいて、幾何学的変化を計算するステップと、ローカルコンテンツを表すデータを受信するステップと、幾何学的変化に基づいて、ローカルコンテンツのレンダリングを生成するステップと、レンダリングをユーザに表示するステップとを含む、視認方法を提供する。
【０００８】
本開示はさらに、付随の図面を参照して、一例として説明される。
【図面の簡単な説明】
【０００９】
【図１】図１は、いくつかの実施形態による、視認システムと相互作用する、ビューアの斜視図である。
【００１０】
【図２】図２は、いくつかの実施形態による、視認システムの部分的上面図および部分的ブロック図である。
【００１１】
【図３】図３は、いくつかの実施形態による、視認システムの１つのディスプレイおよびユーザの片眼の斜視図である。
【００１２】
【図４】図４は、いくつかの実施形態による、２×３のアフィン変換行列および３成分回転ベクトルであって、温度の増加に伴う、視認システムの左ディスプレイのための色チャネル別の、アフィン変換行列およびベクトルの変化を図示する。
【００１３】
【図５】図５は、いくつかの実施形態による、２×３のアフィン変換行列および３成分回転ベクトルであって、温度の増加に伴う、視認システムの右ディスプレイのための色チャネル別の、アフィン変換行列およびベクトルの変化を図示する。
【００１４】
【図６】図６は、いくつかの実施形態による、ディスプレイ両眼照合誤差が低減されることを示す、グラフを図示する。
【００１５】
【図７】図７は、いくつかの実施形態による、単眼照合誤差が低減されることを示す、グラフを含む。
【００１６】
【図８】図８は、いくつかの実施形態による、左ディスプレイのアフィン変換行列および回転行列を含み、６つの視認システム間の温度係数を示す。
【００１７】
【図９】図９は、いくつかの実施形態による、右ディスプレイのアフィン変換行列および回転行列を含み、６つの視認システム間の温度係数を示す。
【００１８】
【図１０】図１０は、いくつかの実施形態による、開示されるシステム内で用途を見出し得る、コンピュータの形態における機械のブロック図である。
【発明を実施するための形態】
【００１９】
付随の図面の図１は、ユーザ１０と、視認システム１２と、テーブルの形態における実世界オブジェクト１４と、図示されるものの、図の視点から不可視であるが、ユーザ１０には可視である、マグカップの形態における仮想オブジェクト１６とを図示する。
【００２０】
視認システム１２は、頭部ユニット１８と、ベルトパック２０と、ネットワーク２２と、サーバ２４とを含む。
【００２１】
頭部ユニット１８は、頭部ユニット本体２６と、ディスプレイシステム２８とを含む。頭部ユニット本体２６は、ユーザの頭部１０にわたって適合する、形状を有する。ディスプレイシステム２８は、頭部ユニット本体２６に固着される。
【００２２】
ベルトパック２０は、プロセッサと、プロセッサに接続される、記憶デバイスとを有する。視覚アルゴリズムおよび温度フィードバックシステムが、記憶デバイス上に記憶され、プロセッサによって実行可能である。ベルトパック２０は、例えば、ケーブル接続３０を用いて、ディスプレイシステム２８に通信可能に接続される。ベルトパック２０はさらに、ベルトパック２０が、ネットワーク２２とのリンク３２を経由して、無線で接続することを可能にする、ネットワークインターフェースデバイスを含む。サーバ２４は、ネットワーク２２に接続される。
【００２３】
使用時、ユーザ１０は、頭部ユニット本体２６をその頭部に固着させる。ディスプレイシステム２８は、ユーザ１０に、導波管を通して、実世界オブジェクト１４が見え得るように、透明である、光学導波管（図示せず）を含む。
【００２４】
ベルトパック２０は、ネットワーク２２およびリンク３２を経由して、画像データをサーバ２４からダウンロードしてもよい。ベルトパック２０は、画像データを、例えば、ケーブル接続３０を通して、ディスプレイシステム２８に提供する。ディスプレイシステム２８は、画像データに基づいて光を作成する、１つまたはそれを上回るプロジェクタを有する。光は、１つまたはそれを上回る光学導波管を通して、ユーザの眼１０に伝搬する。各導波管は、眼にディスプレイシステム２８の背後のある距離において仮想オブジェクト１６が見えるように、光を個別の眼の網膜上の特定の焦点距離に作成する。眼には、したがって、仮想オブジェクト１６が３次元空間内で見える。加えて、若干異なる画像が、ユーザ１０の脳が仮想オブジェクト１６を３次元空間内で知覚するように、眼毎に作成される。ユーザ１０には、したがって、３次元空間内の仮想オブジェクト１６で拡張された実世界オブジェクト１４が見える。
【００２５】
図２は、視覚アルゴリズム３８とともに、ディスプレイシステム２８をさらに詳細に図示する。視覚アルゴリズム３８は、主に、図１におけるベルトパック２０内に常駐する。他の実施形態では、視覚アルゴリズム３８は、頭部ユニット内に全体的に常駐してもよい、または頭部ユニットとベルトパックとの間に分裂されてもよい。
【００２６】
図２はさらに、データソース４０を含む。本実施例では、データソース４０は、ベルトパック２０の記憶デバイス上に記憶される、画像データを含む。画像データは、例えば、仮想オブジェクト１６をレンダリングするために使用され得る、３次元画像データであってもよい。いくつかの実施形態では、画像データは、２または３次元で移動するビデオの作成を可能にする、時系列画像データであってもよく、実世界オブジェクト上に位置する、またはユーザがその頭部を移動させると、ユーザの正面の固定位置にあってもよい。
【００２７】
視覚アルゴリズム３８は、レンダリングエンジン４２と、立体視分析器４４と、ディスプレイ調節アルゴリズム４６と、同時位置特定およびマッピング（ＳＬＡＭ）システム４７とを含む。
【００２８】
レンダリングエンジン４２は、データソース４０およびディスプレイ調節アルゴリズム４６に接続される。レンダリングエンジン４２は、種々のシステム、本実施例では、ディスプレイ調節アルゴリズム４６からの入力を受信し、ディスプレイ調節アルゴリズム４６に基づいて、画像データをユーザ１０によって視認されることになるフレーム内に位置付けることが可能である。ディスプレイ調節アルゴリズム４６は、ＳＬＡＭシステム４７に接続される。ＳＬＡＭシステム４７は、画像データを受信し、画像データの画像内のオブジェクトを決定する目的のために、画像データを分析し、オブジェクトの場所を画像データ内に記録することが可能である。
【００２９】
立体視分析器４４は、レンダリングエンジン４２に接続される。立体視分析器４４は、レンダリングエンジン４２によって提供されるデータストリームから、左および右画像データセットを決定することが可能である。
【００３０】
ディスプレイシステム２８は、左および右プロジェクタ４８Ａおよび４８Ｂと、左および右導波管５０Ａおよび５０Ｂと、検出デバイス５２とを含む。左および右プロジェクタ４８Ａおよび４８Ｂは、電力供給源に接続される。各プロジェクタ４８Ａまたは４８Ｂは、画像データが個別のプロジェクタ４８Ａまたは４８Ｂに提供されるための個別の入力を有する。個別のプロジェクタ４８Ａまたは４８Ｂは、給電されると、光を２次元パターンで生成し、光をそこから発出する。左および右導波管５０Ａおよび５０Ｂは、それぞれ、左および右プロジェクタ４８Ａおよび４８Ｂからの光を受光するように位置付けられる。左および右導波管５０Ａおよび５０Ｂは、透明導波管である。
【００３１】
検出デバイス５２は、頭部ユニット慣性運動ユニット（ＩＭＵ）６０と、１つまたはそれを上回る頭部ユニットカメラ６２とを含む。頭部ユニットＩＭＵ６０は、１つまたはそれを上回るジャイロスコープと、１つまたはそれを上回る加速度計とを含む。ジャイロスコープおよび加速度計は、典型的には、半導体チップ内に形成され、３つの直交軸に沿った移動と、３つの直交軸を中心とする回転とを含む、頭部ユニットＩＭＵ６０および頭部ユニット本体２６の移動を検出することが可能である。
【００３２】
頭部ユニットカメラ６２は、画像を頭部ユニット本体２６の周囲の環境から継続的に捕捉する。画像は、相互に比較され、頭部ユニット本体２６およびユーザの頭部１０の移動を検出することができる。
【００３３】
ＳＬＡＭシステム４７は、頭部ユニットカメラ６２に接続される。ディスプレイ調節アルゴリズム４６は、頭部ユニットＩＭＵ６０に接続される。当業者は、検出デバイス５２と視覚アルゴリズム３８との間の接続が、ハードウェア、ファームウェア、およびソフトウェアの組み合わせを通して遂行されることを理解されるであろう。視覚アルゴリズム３８のコンポーネントは、サブルーチンまたはコールを通して相互にリンクされる。
【００３４】
使用時、ユーザ１０は、頭部ユニット本体２６をその頭部に搭載する。頭部ユニット本体２６のコンポーネントは、例えば、ユーザの頭部１０の背面の周囲に巻着する、ストラップ（図示せず）を含んでもよい。左および右導波管５０Ａおよび５０Ｂは、次いで、ユーザ１０の左および右眼１２０Ａおよび１２０Ｂの正面に位置する。
【００３５】
レンダリングエンジン４２は、画像データをデータソース４０から受信する。レンダリングエンジン４２は、画像データを立体視分析器４４の中に入力する。画像データは、図１における仮想オブジェクト１６の３次元画像データである。立体視分析器４４は、画像データを分析し、画像データに基づいて、左および右画像データセットを決定する。左および右画像データセットは、ユーザ１０に３次元レンダリングの知覚を与える目的のために、相互に若干異なる、２次元画像を表す、データセットである。本実施形態では、画像データは、経時的に変化しない、静的データセットである。
【００３６】
立体視分析器４４は、左および右画像データセットを左および右プロジェクタ４８Ａおよび４８Ｂの中に入力する。左および右プロジェクタ４８Ａおよび４８Ｂは、次いで、左および右光パターンを作成する。ディスプレイシステム２８のコンポーネントは、平面図に示されるが、左および右パターンは、正面立面図に示されるとき、２次元パターンであることを理解されたい。各光パターンは、複数のピクセルを含む。例証目的のために、ピクセルのうちの２つからの光線１２４Ａおよび１２６Ａが、左プロジェクタ４８Ａから出射し、左導波管５０Ａに入射するように示される。光線１２４Ａおよび１２６Ａは、左導波管５０Ａの側面から反射する。光線１２４Ａおよび１２６Ａは、左導波管５０Ａ内で左から右に内部反射を通して伝搬することが示されるが、光線１２４Ａおよび１２６Ａはまた、屈折性および反射性システムを使用して、紙面の向こう側への方向にも伝搬することを理解されたい。
【００３７】
光線１２４Ａおよび１２６Ａは、瞳孔１２８Ａを通して、左光導波管５０Ａから出射し、次いで、左眼１２０Ａの瞳孔１３０Ａを通して、左眼１２０Ａに入射する。光線１２４Ａおよび１２６Ａは、次いで、左眼１２０Ａの網膜１３２Ａに当たる。このように、左光パターンは、左眼１２０Ａの網膜１３２Ａに当たる。ユーザ１０は、網膜１３２Ａ上に形成されるピクセルが、ユーザ１０が左眼１２０Ａに対向する左導波管５０Ａの側のある距離にあると知覚する、ピクセル１３４Ａおよび１３６Ａであるという知覚を与えられる。深度知覚は、光の焦点距離を操作することによって作成される。
【００３８】
同様に、立体視分析器４４は、右画像データセットを右プロジェクタ４８Ｂの中に入力する。右プロジェクタ４８Ｂは、光線１２４Ｂおよび１２６Ｂの形態におけるピクセルによって表される、右光パターンを伝送する。光線１２４Ｂおよび１２６Ｂは、右導波管５０Ｂ内で反射し、瞳孔１２８Ｂを通して出射する。光線１２４Ｂおよび１２６Ｂは、次いで、右眼１２０Ｂの瞳孔１３０Ｂを通して入射し、右眼１２０Ｂの網膜１３２Ｂに当たる。光線１２４Ｂおよび１２６Ｂのピクセルは、右導波管５０Ｂの背後のピクセル１３４Ｂおよび１３６Ｂとして知覚される。
【００３９】
網膜１３２Ａおよび１３２Ｂ上に作成されたパターンは、左および右画像として個々に知覚される。左および右画像は、立体視分析器４４の機能に起因して、相互に若干異なる。左および右画像は、ユーザ１０の頭では、３次元レンダリングとして知覚される。
【００４０】
述べられたように、左および右導波管５０Ａおよび５０Ｂは、透明である。眼１２０Ａおよび１２０Ｂに対向する左および右導波管５０Ａおよび５０Ｂの側の実在のオブジェクトからの光は、左および右導波管５０Ａおよび５０Ｂを通して投影され、網膜１３２Ａおよび１３２Ｂに当たることができる。特に、図１における実世界オブジェクト１４からの光は、ユーザ１０に実世界オブジェクト１４が見え得るように、網膜１３２Ａおよび１３２Ｂに当たる。拡張現実が、作成され、実世界オブジェクト１４は、組み合わせてユーザ１０によって知覚される、左および右画像に起因して、ユーザ１０によって知覚される仮想オブジェクト１６の３次元レンダリングで拡張される。
【００４１】
頭部ユニットＩＭＵ６０は、ユーザ１０の頭部のあらゆる移動を検出する。ユーザ１０が、例えば、その頭部を反時計回りに移動させ、同時に、その身体をその頭部とともに右に向かって移動させる場合、そのような移動は、頭部ユニットＩＭＵ６０内のジャイロスコープおよび加速度計によって検出されるであろう。頭部ユニットＩＭＵ６０は、ジャイロスコープおよび加速度計からの測定値をディスプレイ調節アルゴリズム４６に提供する。ディスプレイ調節アルゴリズム４６は、設置値を計算し、設置値をレンダリングエンジン４２に提供する。レンダリングエンジン４２は、データソース４０から受信された画像データを修正し、ユーザ１０の頭部の移動を補償する。レンダリングエンジン４２は、ユーザ１０への表示のために、修正された画像データを立体視分析器４４に提供する。
【００４２】
頭部ユニットカメラ６２は、ユーザ１０がその頭部を移動させるにつれて、画像を継続的に捕捉する。ＳＬＡＭシステム４７は、画像を分析し、画像内のオブジェクトの画像を識別する。ＳＬＡＭシステム４７は、オブジェクトの移動を分析し、頭部ユニット本体２６の姿勢位置を決定する。ＳＬＡＭシステム４７は、姿勢位置をディスプレイ調節アルゴリズム４６に提供する。ディスプレイ調節アルゴリズム４６は、姿勢位置を使用して、ディスプレイ調節アルゴリズム４６がレンダリングエンジン４２に提供する、設置値をさらに精緻化する。レンダリングエンジン４２は、したがって、頭部ユニットＩＭＵ６０内の運動センサと頭部ユニットカメラ６２によって撮影された画像の組み合わせに基づいて、データソース４０から受信された画像データを修正する。実践的実施例として、ユーザ１０が、その頭部を右に回転させる場合、仮想オブジェクト１６の場所は、ユーザ１０の視野内で左に回転し、したがって、ユーザ１０に、仮想オブジェクト１６の場所が実世界オブジェクト１４に対して定常のままであるという印象を与える。
【００４３】
図３は、光線のうちの１つ、特定の場合として、光線１２４Ａが辿る、経路をさらに詳細に図示する。光線１２４Ａは、内部結合格子１４０を通して、左導波管５０Ａに入射する。光線１２４Ａは、左導波管５０Ａ上または内にあって、左プロジェクタ４８Ａとともに、左ディスプレイシステム１４６の一部を形成する、いくつかの回折光学要素、特に、内部結合格子１４０、直交瞳エクスパンダ１４２、および出射瞳エクスパンダ１４４に遭遇する。光線１２４Ａが、左導波管５０Ａを通して伝搬するにつれて、回折光学要素は、異なる方法において、光を再指向し、最終的に、左導波管５０Ａから出射瞳エクスパンダ１４４の複数の瞳を通して左眼１２０Ａに向かって出射する、画像光をもたらす。左眼１２０Ａは、次いで、画像光が、図１における仮想オブジェクト１６を知覚するように、図２における網膜１３２Ａに当たるように、瞳のうちの１つからの画像光に合焦し得る。
【００４４】
再び図２を参照すると、視認システム１２はさらに、温度センサ１４８と、温度フィードバックシステム１５０とを含む。
【００４５】
温度センサ１４８は、頭部ユニット本体２６に対して固定位置に搭載される。温度センサ１４８は、左または右導波管５０Ａまたは５０Ｂのうちの１つの十分に近くに位置し、左および右導波管５０Ａおよび５０Ｂの温度を検出する。いくつかの実施形態では、温度センサ１４８は、左および右導波管５０Ａと５０Ｂとの間にあってもよい。いくつかの実施形態では、複数の温度センサが存在してもよく、例えば、第１の温度センサは、左導波管５０Ａの十分に近くにあって、第２の温度センサは、右導波管５０Ｂの十分に近くにある。
【００４６】
温度フィードバックシステム１５０は、アフィン変換行列（Ａ）１５２と、回転行列（Ｒ）１５４とを含む、ホモグラフィ変換行列１５１と、行列選択器１５６と、幾何学的変化計算機１５８とを含む。ホモグラフィ変換行列１５１は、アフィン変換行列１５２と回転行列１５４の積として算出され得、回転行列１５４は、回転ベクトルによって定義される。いくつかの実施形態では、回転ベクトルは、Ｒｏｄｒｉｇｕｅｓのベクトルであってもよい。いくつかの実施形態では、行列選択器１５６は、温度センサ１４８とのハードウェアおよびソフトウェア接続を通して接続される、ソフトウェアルーチンである。温度センサ１４８は、信号を行列選択器１５６に提供する。温度センサ１４８によって行列選択器１５６に提供される信号は、温度センサ１４８によって感知される温度を表す、データを含む。
【００４７】
ホモグラフィ変換行列１５１は、１つまたはそれを上回る色チャネルの色チャネル毎に、個別のホモグラフィ変換行列を含む。加えて、ホモグラフィ変換行列１５１は、色チャネル毎に、温度によって変動する。各ホモグラフィ変換行列は、個別の温度に対応する。アフィン変換行列１５２は、１つまたはそれを上回る色チャネルの色チャネル毎に、個別のアフィン変換行列を含む。加えて、アフィン変換行列１５２は、色チャネル毎に、温度によって変動する。各アフィン変換行列は、個別の温度に対応する。いくつかの実施形態では、各変換行列（例えば、ホモグラフィ変換行列および／またはアフィン変換行列）は、個別の温度範囲に対応する。例えば、各変換行列は、特定の（絶対）温度のあるパーセンテージ（例えば、５％）以内の温度の範囲に対応してもよい。当業者は、温度の範囲が、例えば、摂氏等の温度単位に対する他の方法において定義されてもよいことを理解するであろう。回転行列１５４もまた、温度に従って変動する。各回転行列は、個別の温度に対応する。いくつかの実施形態では、各回転行列は、例えば、変換行列に関して上記に説明されるように、個別の温度範囲に対応する。
【００４８】
幾何学的変化計算機１５８は、行列選択器１５６に接続される。幾何学的変化計算機１５８は、出力をレンダリングエンジン４２に提供する。
【００４９】
使用時、温度センサ１４８は、視認システム１２の温度を継続的に測定する。行列選択器１５６は、温度を温度センサ１４８から受信する。いくつかの実施形態では、行列選択器１５６は、ホモグラフィ変換行列１５１からの温度に関して、全ての色チャネルに関するホモグラフィ変換行列を読み出す。いくつかの実施形態では、行列選択器１５６は、アフィン変換行列１５２からの温度に関して、全ての色チャネルに関するアフィン変換行列を読み出し、回転行列１５４からの温度に対応する、回転行列を読み出す。いくつかの実施形態では、回転行列１５４からの回転行列は、回転ベクトルとして表され得る。
【００５０】
いくつかの実施形態では、行列選択器１５６は、温度に関する選択されたホモグラフィ変換行列を幾何学的変化計算機１５８に提供する。いくつかの実施形態では、行列選択器１５６は、温度に関する選択されたアフィン変換行列および温度に関する選択された回転行列を幾何学的変化計算機１５８に提供する。いくつかの実施形態では、幾何学的変化計算機１５８は、次いで、選択されたホモグラフィ変換行列に基づいて、ホモグラフィ変換を計算する。いくつかの実施形態では、幾何学的変化計算機１５８は、次いで、選択されたアフィン変換行列および回転行列に基づいて、偏移および回転を計算する。いくつかの実施形態では、ホモグラフィ変換は、左および右導波管５０Ａおよび５０Ｂ内の各色チャネルの場所を確立する。いくつかの実施形態では、偏移および回転の組み合わせは、左および右導波管５０Ａおよび５０Ｂ内の各色チャネルの場所を確立する。いくつかの実施形態では、レンダリングエンジン４２は、ホモグラフィ変換を幾何学的変化計算機１５８から受信する。いくつかの実施形態では、レンダリングエンジン４２は、偏移および変換を幾何学的変化計算機１５８から受信する。補正は、任意の偏移または回転を補償するために行われないことに留意されたい。代わりに、レンダリングエンジン４２は、レンダリングエンジン４２によって作成されるレンダリングを種々の色チャネルの場所を基準とする。例えば、０．０５分弧の偏移が、生じた場合、レンダリングエンジン４２は、最初に、偏移された場所に表示される必要がある内容を決定し、次いで、偏移された場所に正しく表示されるように、仮想オブジェクト１６をレンダリングする。
【００５１】
着目すべきことは、ルックアップテーブルが、ディスプレイのピクセル毎に補正データを記憶するために使用されないことである。代わりに、はるかに小さいファイルコンポーネントが、使用される。いくつかの実施形態では、はるかに小さいファイルコンポーネントは、１つまたはそれを上回るホモグラフィ変換行列の形態にある。いくつかの実施形態では、はるかに小さいファイルコンポーネントは、１つまたはそれを上回るアフィン変換行列および１つまたはそれを上回る回転行列の形態にある。そのような変換行列および回転行列の処理は、高度にプロセッサ集約的技法である、ルックアップテーブルの使用と比較して、最小限である。加えて、アフィン変換行列および回転行列は、線形化され、メモリ内に記憶され、視認システムのプロセッサによって使用される、単純式によって表されてもよい。
【００５２】
図４および５は、それぞれ、左ディスプレイおよび右ディスプレイのための９つのディスプレイパラメータ対温度を示す。実線は、第１のデータ点を通した線形適合集合である。アフィン変換は、温度に伴う変化を説明するために使用される。
【化１】
2021527234.tif 000003
は、温度
【化２】
2021527234.tif 000004
における正規化された光線方向であって、
【化３】
2021527234.tif 000005
である。
【化４】
2021527234.tif 000006
は、温度Ｔにおける正規化された光線方向である。可能な限り近い全てのｉに関して
【化５】
2021527234.tif 000007
を満たす、２Ｄアフィン変換
【化６】
2021527234.tif 000008
を見出す。
【００５３】
図４および５におけるパラメータの傾きは、事前に算出されてもよい。オンライン補正は、工場較正データに基づいてもよい。例えば、表１の下線付き値は、４５．１６６６℃におけるピクセル（０，０）のルックアップテーブル値である。
【表１】
2021527234.tif 000009
次いで、測定された温度において、アフィン変換行列Ａのデルタが、ｄＡ＝ｄＴ＊Ａ＿ｓｌｏｐｅに従って計算される。表２では、下線付き値は、２６℃で計算されている。
【表２】
2021527234.tif 000010
正規化されたベクトルを求めるために、１が、（０，０）および（１，１）要素に追加され、表３内のアフィン変換行列Ａを求める。
【表３】
2021527234.tif 000011
次に、アフィン変換行列が、表１のステップにおける値に適用され、表４に示されるようなピクセル（０，０）に関する新しいルックアップテーブル値を求める。Ｒａｍａｋｒｉｓｈｎａｎ  ＭｕｋｕｎｄａｎによるＡｄｖａｎｃｅｄ  Ｍｅｔｈｏｄｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ：Ｗｉｔｈ  ｅｘａｍｐｌｅｓ  ｉｎ  ＯｐｅｎＧＬは、補正値をアフィン変換行列から決定するために使用される、式を説明する。
【表４】
2021527234.tif 000012
【００５４】
ディスプレイ回転の変化（付帯的）は、
【化７】
2021527234.tif 000013
として表され得、これは、３成分回転ベクトル
【化８】
2021527234.tif 000014
としてパラメータ化され得る。
【００５５】
以下の傾向が、観察され得る。
・Ａ００およびＡ１１は、温度に伴って線形に減少し、ルックアップテーブルが温度の増加に伴って「縮小」する、すなわち、仮想コンテンツが、温度が増加するにつれてより小さく現れるであろうことを示唆する。スケールダウン係数は、０．０５％／℃である。
・Ａ０２およびＡ１２は、温度に伴って線形に変動し、傾きは、チャネル依存である。これは、色が、分離され、深度平面横断整合が、温度が増加するにつれて劣化することを示唆する。色／深度分離は、０．５分弧／℃である。
・Ｒｘは、左および右ディスプレイの両方に関して、温度に伴って線形に増加する。仮想コンテンツが、０．４分弧／温度の増加℃ずつ上方に移動することを示唆する。
・Ｒｙは、左ディスプレイにおいて増加し、右ディスプレイにおいて減少し、仮想コンテンツが、０．００２ジオプタ／℃の率で、温度が増加するにつれて、より近くに現れることを示唆する。
【００５６】
当業者は、アフィン行列および回転行列の代わりに、単一ホモグラフィ行列Ａ＝［［Ａ００，Ａ０１，Ａ０２］，［Ａ１０，Ａ１１，Ａ１２］，［Ａ２０，Ａ２１，Ａ２２］］を使用することもできることを容易に認識するであろう。
【００５７】
温度差異に基づいて、これらの９つのパラメータを線形調節することによって、照合誤差が補正され得ることを示すために、以下の３つの場合におけるディスプレイ照合測定が、実施され得る。
・ｃｏｌｄｃａｌ＿ｈｏｔｖｅｒｉｆｙ：視認システムが、約５０℃であるが、約４０℃において取得された較正を使用して、照合を行う。
・ｃｏｒｒｅｃｔｅｄｃａｌ＿ｈｏｔｖｅｒｉｆｙ：視認システムが、約５０℃であるが、約４０℃において取得された較正を使用し、図４および５における上記に述べられた９つのパラメータを使用した較正ファイルを線形方法において補正する。
・ｈｏｔｃａｌ＿ｈｏｔｖｅｒｉｆｙ：視認システムが、約５０℃で較正および照合される。
【００５８】
補正された較正ファイルは、照合誤差の大部分を補正することが可能であることが明白である。図６は、ディスプレイ両眼照合（原位置）誤差が低減されることを示す。図７は、単眼照合誤差が低減されることを示す。
【００５９】
図８および９は、６つの視認システム間の左および右ディスプレイ温度係数を示す。データは、複数の温度における視認システム毎の較正が要求されることを示す。
【００６０】
図１０は、いくつかの実施形態による、その中で、機械に本明細書で議論される方法論のうちの任意の１つまたはそれを上回るものを実施させるための命令のセットが、実行され得る、コンピュータシステム９００の例示的形態における、機械の概略表現を示す。代替実施形態では、機械は、独立型視認システムとして動作する、または他の機械に接続（例えば、ネットワーク化）されてもよい。さらに、単一機械のみが、図示されるが、用語「機械」はまた、個々に、またはともに、本明細書で議論される方法論のうちの任意の１つまたはそれを上回るものを実施するための命令のセット（または複数のセット）を実行する、機械の任意の集合を含むものと捉えられるものとする。
【００６１】
例示的コンピュータシステム９００は、プロセッサ９０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、または両方）と、メインメモリ９０４（例えば、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ）またはＲａｍｂｕｓ  ＤＲＡＭ（ＲＤＲＡＭ）等の動的ランダムアクセスメモリ（ＤＲＡＭ）等）と、静的メモリ９０６（例えば、フラッシュメモリ、静的ランダムアクセスメモリ（ＳＲＡＭ）等）とを含み、これらは、バス９０８を介して相互に通信する。
【００６２】
コンピュータシステム９００はさらに、ディスクドライブユニット９１６と、ネットワークインターフェースデバイス９２０とを含んでもよい。
【００６３】
ディスクドライブユニット９１６は、その上に、本明細書に説明される方法論または機能のうちの任意の１つまたはそれを上回るものを具現化する、１つまたはそれを上回る命令９２４のセット（例えば、ソフトウェア）が記憶される、機械可読媒体９２２を含む。ソフトウェアはまた、完全または少なくとも部分的に、コンピュータシステム９００によるその実行の間、メインメモリ９０４および／またはプロセッサ９０２内に常駐してもよく、メインメモリ９０４およびプロセッサ９０２もまた、機械可読媒体を構成する。
【００６４】
ソフトウェアはさらに、ネットワーク９２８を経由して、ネットワークインターフェースデバイス９２０を介して伝送または受信されてもよい。
【００６５】
コンピュータシステム９００は、プロジェクタを駆動し、レーザ光を生成するために使用される、レーザドライバチップ９５０を含む。レーザドライバチップ９５０は、その独自のデータ記憶装置９６０と、その独自のプロセッサ９６２とを含む。
【００６６】
機械可読媒体９２２は、例示的実施形態では、単一媒体であるように示されるが、用語「機械可読媒体」は、１つまたはそれを上回る命令のセットを記憶する、単一媒体または複数の媒体（例えば、集中型または分散型データベースおよび／または関連付けられるキャッシュおよびサーバ）を含むものと捉えられるべきである。用語「機械可読媒体」はまた、機械による実行のための命令のセットを記憶、エンコーディング、または搬送することが可能であって、機械に本開示の方法論のうちの任意の１つまたはそれを上回るものを実施させる、任意の媒体を含むものと捉えられるものとする。用語「機械可読媒体」は、故に、限定ではないが、ソリッドステートメモリ、光学および磁気媒体、および搬送波信号を含むものと捉えられるものとする。
【００６７】
ある例示的実施形態が、説明され、付随の図面に示されたが、そのような実施形態は、単に、本開示の例証であって、制限ではなく、本開示は、修正が当業者に想起され得るため、図示および説明される具体的構造および配列に制限されないことを理解されたい。
【図１】
2021527234.tif 000015
【図２】
2021527234.tif 000016
【図３】
2021527234.tif 000017
【図４】
2021527234.tif 000018
【図５】
2021527234.tif 000019
【図６】
2021527234.tif 000020
【図７】
2021527234.tif 000021
【図８】
2021527234.tif 000022
【図９】
2021527234.tif 000023
【図１０】
2021527234.tif 000024
【国際調査報告】
2021527234.tif 000025