(57)【要約】ユーザの頭部姿勢を決定するために、結像デバイスを有する、頭部搭載型ディスプレイシステムは、頭部姿勢を決定するために使用されるであろう、顕著な点に対応する点を伴う、実世界環境の現在の画像を取得することができる。顕著な点は、パッチベースであって、前の画像から現在の画像上に投影されている第１の顕著な点を、現在の画像から抽出されている現在の画像内に含まれる第２の顕著な点とともに含む。各顕著な点は、続いて、実世界環境内の顕著な点の場所を示す、記述子ベースのマップ情報に基づいて、実世界点と合致される。結像デバイスの配向は、合致に基づいて、かつ現在の画像内で捕捉されたビュー内の顕著な点の相対的位置に基づいて、決定される。配向は、頭部搭載型ディスプレイシステムの装着者の頭部姿勢を外挿するために使用されてもよい。
2021509495.tif 000002
【特許請求の範囲】
【請求項１】
システムであって、
１つ以上の結像デバイスと、
１つ以上のプロセッサと、
１つ以上のコンピュータ記憶媒体であって、前記１つ以上のコンピュータ記憶媒体は、命令を記憶しており、前記命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
前記１つ以上の結像デバイスを介して、実世界環境の現在の画像を取得することであって、前記現在の画像は、姿勢を決定するための複数の点を含む、ことと、
前の画像からのパッチベースの第１の顕著な点を前記現在の画像内の前記複数の点のうちの対応するもの上に投影させることと、
第２の顕著な点を前記現在の画像から抽出することと、
前記顕著な点に関する個別の記述子を提供することと、
前記現在の画像と関連付けられた顕著な点と前記実世界環境の記述子ベースのマップ内に規定された実世界場所を合致させることと、
前記合致に基づいて、前記システムと関連付けられた姿勢を決定することであって、前記姿勢は、少なくとも、前記実世界環境内の前記１つ以上の結像デバイスの配向を示す、ことと
を含む動作を実施させる、１つ以上のコンピュータ記憶媒体と
を備える、システム。
【請求項２】
前記動作はさらに、前記現在の画像上の前記パッチベースの第１の顕著な点の位置を調節することを含み、前記位置を調節することは、
前記第１の顕著な点と関連付けられた第１のパッチを取得することであって、前記第１のパッチは、前記第１の顕著な点を包含する前記前の画像の一部と、前記第１の顕著な点の周囲の前記前の画像のエリアとを含む、ことと、
前記第１のパッチに類似する前記現在の画像内の第２のパッチを位置特定することであって、前記第１の顕著な点は、前記第２のパッチ内の前記第１のパッチと類似する場所に位置付けられる、ことと
を含む、請求項１に記載のシステム。
【請求項３】
前記第２のパッチを位置特定することは、前記前の画像内の前記第１のパッチと前記現在の画像内の前記第２のパッチとの間の差異を最小限にすることを含む、請求項２に記載のシステム。
【請求項４】
前記パッチベースの第１の顕著な点を前記現在の画像上に投影させることは、少なくとも部分的に、前記システムの慣性測定ユニットからの情報に基づく、請求項２に記載のシステム。
【請求項５】
前記第２の顕著な点を抽出することは、
前記現在の画像の画像エリアが、前記前の画像から投影された閾値数未満の顕著な点を有することを決定することと、
１つ以上の記述子ベースの顕著な点を前記画像エリアから抽出することであって、前記抽出された顕著な点は、前記第２の顕著な点を含む、ことと
を含む、請求項１に記載のシステム。
【請求項６】
前記画像エリアは、前記現在の画像の全体を備える、または、前記画像は、前記現在の画像のサブセットを備える、請求項５に記載のシステム。
【請求項７】
前記画像エリアは、前記現在の画像のサブセットを備え、前記システムは、処理制約または１つ以上の以前の決定された姿勢間の差異のうちの１つ以上のものに基づいて、前記サブセットと関連付けられたサイズを調節するように構成される、請求項５に記載のシステム。
【請求項８】
前記現在の画像と関連付けられた顕著な点と前記実世界環境のマップ内に規定された実世界場所を合致することは、
マップ情報にアクセスすることであって、前記マップ情報は、顕著な点の実世界場所と、関連付けられた記述子とを備える、ことと、
前記現在の画像の顕著な点に関する記述子と実世界場所における顕著な点に関する記述子とを合致させることと
を含む、請求項１に記載のシステム。
【請求項９】
前記動作はさらに、
前記マップ情報内に提供される顕著な点を前記現在の画像上に投影させることであって、前記投影は、慣性測定ユニット、拡張カルマンフィルタ、または視覚的慣性オドメトリのうちの１つ以上のものに基づく、こと
を含む、請求項７に記載のシステム。
【請求項１０】
前記システムは、少なくとも、前記１つ以上の結像デバイスを使用して、前記マップを生成するように構成される、請求項１に記載のシステム。
【請求項１１】
前記姿勢を決定することは、前記現在の画像内で捕捉されたビュー内の前記顕著な点の実世界場所および前記顕著な点の相対的位置に基づく、請求項１に記載のシステム。
【請求項１２】
前記動作はさらに、
前記現在の画像の後続画像に関して、前記パッチが、前記後続画像上に投影されるために利用可能な顕著な点を備えるように、前記現在の画像から抽出された個別の顕著な点と関連付けられたパッチを生成すること
を含む、請求項１に記載のシステム。
【請求項１３】
記述子を提供することは、前記顕著な点毎に記述子を生成することを含む、請求項１に記載のシステム。
【請求項１４】
拡張現実ディスプレイシステムであって、
１つ以上の結像デバイスと、
１つ以上のプロセッサであって、前記プロセッサは、
実世界環境の現在の画像を取得することと、
前の画像内に含まれるパッチベースの顕著な点が、前記現在の画像上に投影されるように、フレーム／フレーム追跡を前記現在の画像上で実施することと、
マップデータベース内に含まれる記述子ベースの顕著な点が、前記現在の画像の顕著な点と合致されるように、マップ／フレーム追跡を前記現在の画像上で実施することと、
前記ディスプレイデバイスと関連付けられた姿勢を決定することと
を行うように構成される、１つ以上のプロセッサと
を備える、拡張現実ディスプレイシステム。
【請求項１５】
方法であって、
１つ以上の結像デバイスを介して、実世界環境の現在の画像を取得することであって、前記現在の画像は、姿勢を決定するための複数の点を含む、ことと、
前の画像からのパッチベースの第１の顕著な点を前記現在の画像内の前記複数の点のうちの対応するもの上に投影させることと、
第２の顕著な点を前記現在の画像から抽出することと、
前記顕著な点に関する個別の記述子を提供することと、
前記現在の画像と関連付けられた顕著な点と前記実世界環境の記述子ベースのマップ内に規定された実世界場所を合致させることと、
前記合致に基づいて、ディスプレイデバイスと関連付けられた姿勢を決定することであって、前記姿勢は、少なくとも、前記実世界環境内の前記１つ以上の結像デバイスの配向を示す、ことと
を含む、方法。
【請求項１６】
前記現在の画像上の前記パッチベースの第１の顕著な点の位置を調節することをさらに含み、前記位置を調節することは、
前記第１の顕著な点と関連付けられた第１のパッチを取得することであって、前記第１のパッチは、前記第１の顕著な点を包含する前記前の画像の一部と、前記第１の顕著な点の周囲の前記前の画像のエリアとを含む、ことと、
前記第１のパッチに類似する前記現在の画像内の第２のパッチを位置特定することであって、前記第１の顕著な点は、前記第２のパッチ内の前記第１のパッチと類似する場所に位置付けられる、ことと
を含む、請求項１５に記載の方法。
【請求項１７】
前記第２のパッチを位置特定することは、前記第１のパッチとの最小差異を伴う前記現在の画像内のパッチを決定することを含む、請求項１６に記載の方法。
【請求項１８】
前記パッチベースの第１の顕著な点を前記現在の画像上に投影させることは、少なくとも部分的に、前記ディスプレイデバイスの慣性測定ユニットからの情報に基づく、請求項１６に記載の方法。
【請求項１９】
前記第２の顕著な点を抽出することは、
前記現在の画像の画像エリアが、前記前の画像から投影された閾値数未満の顕著な点を有することを決定することと、
１つ以上の記述子ベースの顕著な点を前記画像エリアから抽出することであって、前記抽出された顕著な点は、前記第２の顕著な点を含む、ことと
を含む、請求項１５に記載の方法。
【請求項２０】
前記画像エリアは、前記現在の画像の全体を備える、または、前記画像は、前記現在の画像のサブセットを備える、請求項１９に記載の方法。
【請求項２１】
前記画像エリアは、前記現在の画像のサブセットを備え、前記プロセッサは、処理制約または１つ以上の以前の決定された姿勢間の差異のうちの１つ以上のものに基づいて、前記サブセットと関連付けられたサイズを調節するように構成される、請求項１９に記載の方法。
【請求項２２】
前記現在の画像と関連付けられた顕著な点と前記実世界環境のマップ内に規定された実世界場所を合致することは、
マップ情報にアクセスすることであって、前記マップ情報は、顕著な点の実世界場所と、関連付けられた記述子とを備える、ことと、
前記現在の画像の顕著な点に関する記述子と実世界場所における顕著な点に関する記述子とを合致させることと
を含む、請求項１５に記載の方法。
【請求項２３】
前記マップ情報内に提供される顕著な点を前記現在の画像上に投影させることであって、前記投影は、慣性測定ユニット、拡張カルマンフィルタ、または視覚的慣性オドメトリのうちの１つ以上のものに基づく、こと
をさらに含む、請求項２２に記載の方法。
【請求項２４】
前記姿勢を決定することは、前記現在の画像内で捕捉されたビュー内の前記顕著な点の実世界場所および前記顕著な点の相対的位置に基づく、請求項１５に記載の方法。
【請求項２５】
前記現在の画像の後続画像に関して、前記パッチが、前記後続画像上に投影されるために利用可能な顕著な点を備えるように、前記現在の画像から抽出された個別の顕著な点と関連付けられたパッチを生成すること
をさらに含む、請求項１５に記載の方法。
【請求項２６】
記述子を提供することは、前記顕著な点毎に記述子を生成することを含む、請求項１５に記載の方法。
【請求項２７】
少なくとも、前記１つ以上の結像デバイスを使用して、前記マップを生成することをさらに含む、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１７年１２月１５日に出願された、米国仮出願第６２／５９９，６２０号、および２０１８年１月３０日に出願された、米国仮出願第６２／６２３，６０６号の優先権を主張する。これらの出願はそれぞれ、参照することによって全体として本明細書に組み込まれる。
【０００２】
本願はさらに、以下の特許出願のそれぞれの全体を参照することによって組み込む。２０１４年１１月２７日に出願され、２０１５年７月２３日に米国特許公開第２０１５／０２０５１２６号として公開された、米国特許出願第１４／５５５，５８５号、２０１５年４月１８日に出願され、２０１５年１０月２２日に米国特許公開第２０１５／０３０２６５２号として公開された、米国特許出願第１４／６９０，４０１号、２０１４年３月１４日に出願され、２０１６年８月１６日に発行された、現米国特許第９，４１７，４５２号である、米国特許出願第１４／２１２，９６１号、２０１４年７月１４日に出願され、２０１５年１０月２９日に米国特許公開第２０１５／０３０９２６３号として公開された、米国特許出願第１４／３３１，２１８号、２０１４年３月１１日に出願され、２０１４年１０月１６日に米国特許公開第２０１４／０３０６８６６号として公開された、米国特許出願第１４／２０５，１２６号、２０１７年５月１７日に出願された、米国特許出願第１５／５９７，６９４号、および２０１７年９月２７日に出願された、米国特許出願第１５／７１７７４７号。
【０００３】
（分野）
本開示は、ディスプレイシステムに関し、より具体的には、拡張現実ディスプレイシステムに関する。
【背景技術】
【０００４】
（関連技術の説明）
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴い、拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」シナリオは、一種のＡＲシナリオであって、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、ＭＲシナリオでは、ＡＲ画像コンテンツは実世界内のオブジェクトによってブロックされて見える、または別様にそれと相互作用するように知覚されてもよい。
【０００５】
図１を参照すると、拡張現実場面１０が、描写され、ＡＲ技術のユーザには、背景における人々、木々、建物を特徴とする実世界公園状設定２０と、コンクリートプラットフォーム３０とが見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、これらの要素４０、５０が実世界内に存在しないにもかかわらず、実世界プラットフォーム３０上に立っているロボット像４０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ５０等の「仮想コンテンツ」を「見ている」と知覚する。ヒトの視知覚系は、複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＡＲ技術の生成は、困難である。
【０００６】
本明細書に開示されるシステムおよび方法は、ＡＲまたはＶＲ技術に関連する種々の課題に対処する。
【発明の概要】
【課題を解決するための手段】
【０００７】
いくつかの非限定的実施形態は、１つ以上の結像デバイスと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、動作を実施させる、命令を記憶する、１つ以上のコンピュータ記憶媒体とを備える、システムを含む。動作は、１つ以上の結像デバイスを介して、実世界環境の現在の画像を取得するステップであって、現在の画像は、姿勢を決定するための複数の点を含む、ステップと、前の画像からのパッチベースの第１の顕著な点を現在の画像内の複数の点のうちの対応するもの上に投影させるステップと、第２の顕著な点を現在の画像から抽出するステップと、顕著な点に関する個別の記述子を提供するステップと、現在の画像と関連付けられた顕著な点と実世界環境の記述子ベースのマップ内に規定された実世界場所を合致させるステップと、合致に基づいて、システムと関連付けられた姿勢を決定するステップであって、姿勢は、少なくとも、実世界環境内の１つ以上の結像デバイスの配向を示す、ステップとを含む。
【０００８】
上記の実施形態では、動作はさらに、現在の画像上のパッチベースの第１の顕著な点の位置を調節するステップを含んでもよく、位置を調節するステップは、第１の顕著な点と関連付けられた第１のパッチを取得するステップであって、第１のパッチは、第１の顕著な点を包含する前の画像の一部と、第１の顕著な点の周囲の前の画像のエリアとを含む、ステップと、第１のパッチに類似する現在の画像内の第２のパッチを位置特定するステップであって、第１の顕著な点は、第２のパッチ内の第１のパッチと類似する場所に位置付けられる、ステップとを含む。第２のパッチを位置特定するステップは、前の画像内の第１のパッチと現在の画像内の第２のパッチとの間の差異を最小限にするステップを含んでもよい。パッチベースの第１の顕著な点を現在の画像上に投影させるステップは、少なくとも部分的に、本システムの慣性測定ユニットからの情報に基づいてもよい。第２の顕著な点を抽出するステップは、現在の画像の画像エリアが、前の画像から投影された閾値数未満の顕著な点を有することを決定するステップと、１つ以上の記述子ベースの顕著な点を画像エリアから抽出するステップであって、抽出された顕著な点は、第２の顕著な点を含む、ステップとを含んでもよい。画像エリアは、現在の画像の全体を備える、または画像は、現在の画像のサブセットを備えてもよい。画像エリアは、現在の画像のサブセットを備えてもよく、本システムは、処理制約または１つ以上の以前の決定された姿勢間の差異のうちの１つ以上のものに基づいて、サブセットと関連付けられたサイズを調節するように構成されてもよい。現在の画像と関連付けられた顕著な点と実世界環境のマップ内に規定された実世界場所を合致するステップは、マップ情報にアクセスするステップであって、マップ情報は、顕著な点の実世界場所と、関連付けられた記述子とを備える、ステップと、現在の画像の顕著な点に関する記述子と実世界場所における顕著な点に関する記述子を合致させるステップとを含んでもよい。動作はさらに、マップ情報内に提供される顕著な点を現在の画像上に投影させるステップであって、投影は、慣性測定ユニット、拡張カルマンフィルタ、または視覚的慣性オドメトリのうちの１つ以上のものに基づく、ステップを含んでもよい。本システムは、少なくとも、１つ以上の結像デバイスを使用して、マップを生成するように構成されてもよい。姿勢を決定するステップは、現在の画像内で捕捉されたビュー内の顕著な点の実世界場所および顕著な点の相対的位置に基づいてもよい。動作はさらに、現在の画像の後続画像のために、パッチが、後続画像上に投影されるために利用可能な顕著な点を備え得るように、現在の画像から抽出された個別の顕著な点と関連付けられたパッチを生成するステップを含んでもよい。記述子を提供するステップは、顕著な点毎に記述子を生成するステップを含んでもよい。
【０００９】
他の実施形態では、拡張現実ディスプレイシステムが、提供される。拡張現実ディスプレイデバイスは、１つ以上の結像デバイスと、１つ以上のプロセッサとを備える。プロセッサは、実世界環境の現在の画像を取得し、前の画像内に含まれるパッチベースの顕著な点が、現在の画像上に投影されるように、フレーム／フレーム追跡を現在の画像上で実施し、マップデータベース内に含まれる記述子ベースの顕著な点が、現在の画像の顕著な点と合致されるように、マップ／フレーム追跡を現在の画像上で実施し、ディスプレイデバイスと関連付けられた姿勢を決定するように構成される。
【００１０】
上記の実施形態では、フレーム／フレーム追跡はさらに、測光誤差最適化を使用して、投影されたパッチの場所を精緻化するステップを含んでもよい。マップ／フレーム追跡はさらに、パッチベースの顕著な点に関する記述子を決定するステップと、顕著な点に関する記述子とマップデータベース内の記述子ベースの顕著な点を合致させるステップを含んでもよい。１つ以上のプロセッサはさらに、少なくとも１つ以上の結像デバイスを使用して、マップデータベースを生成するように構成されてもよい。拡張現実ディスプレイシステムはさらに、異なる深度平面に対応する異なる波面発散を伴う光を出力するように構成される、複数の導波管を備えてもよく、出力光は、少なくとも部分的に、ディスプレイデバイスと関連付けられた姿勢に基づいて、位置する。
【００１１】
他の実施形態では、方法が、提供される。本方法は、１つ以上の結像デバイスを介して、現在の画像が姿勢を決定するための複数の点を含む、実世界環境の現在の画像を取得するステップと、前の画像からのパッチベースの第１の顕著な点を現在の画像内の複数の点のうちの対応するもの上に投影させるステップと、第２の顕著な点を現在の画像から抽出するステップと、顕著な点に関する個別の記述子を提供するステップと、現在の画像と関連付けられた顕著な点と実世界環境の記述子ベースのマップ内に規定された実世界場所を合致させるステップと、合致に基づいて、ディスプレイデバイスと関連付けられた姿勢を決定するステップであって、姿勢は、少なくとも、実世界環境内の１つ以上の結像デバイスの配向を示す、ステップとを含む。
【００１２】
これらの実施形態では、本方法はさらに、現在の画像上のパッチベースの第１の顕著な点の位置を調節するステップを含んでもよく、位置を調節するステップは、第１の顕著な点と関連付けられた第１のパッチを取得するステップであって、第１のパッチは、第１の顕著な点を包含する前の画像の一部と、第１の顕著な点の周囲の前の画像のエリアとを含む、ステップと、第１のパッチに類似する現在の画像内の第２のパッチを位置特定するステップであって、第１の顕著な点は、第２のパッチ内の第１のパッチと類似する場所に位置付けられる、ステップとを含む。第２のパッチを位置特定するステップは、第１のパッチとの最小差異を伴う現在の画像内のパッチを決定するステップを含んでもよい。パッチベースの第１の顕著な点を現在の画像上に投影させるステップは、少なくとも部分的に、ディスプレイデバイスの慣性測定ユニットからの情報に基づいてもよい。第２の顕著な点を抽出するステップは、現在の画像の画像エリアが、前の画像から投影された閾値数未満の顕著な点を有することを決定するステップと、１つ以上の記述子ベースの顕著な点を画像エリアから抽出するステップであって、抽出された顕著な点は、第２の顕著な点を含む、ステップとを含んでもよい。画像エリアは、現在の画像の全体を備えてもよい、または画像は、現在の画像のサブセットを備えてもよい。画像エリアは、現在の画像のサブセットを備えてもよく、プロセッサは、処理制約または１つ以上の以前の決定された姿勢間の差異のうちの１つ以上のものに基づいて、サブセットと関連付けられたサイズを調節するように構成されてもよい。現在の画像と関連付けられた顕著な点と実世界環境のマップ内に規定された実世界場所を合致するステップは、マップ情報にアクセスするステップであって、マップ情報は、顕著な点の実世界場所と、関連付けられた記述子とを備える、ステップと、現在の画像の顕著な点に関する記述子と実世界場所における顕著な点に関する記述子を合致させるステップとを含んでもよい。本方法はさらに、マップ情報内に提供される顕著な点を現在の画像上に投影させるステップであって、投影は、慣性測定ユニット、拡張カルマンフィルタ、または視覚的慣性オドメトリのうちの１つ以上のものに基づく、ステップを含んでもよい。姿勢を決定するステップは、現在の画像内で捕捉されたビュー内の顕著な点の実世界場所および顕著な点の相対的位置に基づいてもよい。本方法はさらに、現在の画像の後続画像に関して、パッチが、後続画像上に投影されるために利用可能な顕著な点を備えるように、現在の画像から抽出された個別の顕著な点と関連付けられたパッチを生成するステップを含んでもよい。記述子を提供するステップは、顕著な点毎に記述子を生成するステップを含んでもよい。本方法はさらに、少なくとも、１つ以上の結像デバイスを使用して、マップを生成するステップを含んでもよい。
【図面の簡単な説明】
【００１３】
【図１】図１は、ＡＲデバイスを通した拡張現実（ＡＲ）のユーザのビューを図示する。
【００１４】
【図２】図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。
【００１５】
【図３】図３Ａ−３Ｃは、曲率半径と焦点半径との間の関係を図示する。
【００１６】
【図４Ａ】図４Ａは、ヒト視覚系の遠近調節（ａｃｃｏｍｍｏｄａｔｉｏｎ）−輻輳・開散運動（ｖｅｒｇｅｎｃｅ）応答の表現を図示する。
【００１７】
【図４Ｂ】図４Ｂは、一対のユーザの眼の異なる遠近調節状態および輻輳・開散運動状態の実施例を図示する。
【００１８】
【図４Ｃ】図４Ｃは、ディスプレイシステムを介してコンテンツを視認しているユーザの上下図の表現の実施例を図示する。
【００１９】
【図４Ｄ】図４Ｄは、ディスプレイシステムを介してコンテンツを視認しているユーザの上下図の表現の別の実施例を図示する。
【００２０】
【図５】図５は、波面発散を修正することによって３次元画像をシミュレートするためのアプローチの側面を図示する。
【００２１】
【図６】図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。
【００２２】
【図７】図７は、導波管によって出力された出射ビームの実施例を図示する。
【００２３】
【図８】図８は、スタックされた導波管アセンブリの実施例を図示し、各深度平面は、複数の異なる原色を使用して形成される画像を含む。
【００２４】
【図９Ａ】図９Ａは、それぞれ、内部結合光学要素を含む、スタックされた導波管のセットの実施例の断面側面図を図示する。
【００２５】
【図９Ｂ】図９Ｂは、図９Ａの複数のスタックされた導波管の実施例の斜視図を図示する。
【００２６】
【図９Ｃ】図９Ｃは、図９Ａおよび９Ｂの複数のスタックされた導波管の実施例の上下平面図を図示する。
【００２７】
【図９Ｄ】図９Ｄは、ウェアラブルディスプレイシステムの実施例を図示する。
【００２８】
【図１０Ａ】図１０Ａは、ディスプレイシステムの姿勢およびユーザの頭部の姿勢を決定するための例示的プロセスのフローチャートを図示する。
【００２９】
【図１０Ｂ】図１０Ｂは、現在の画像の例示的画像エリアを図示する。
【００３０】
【図１１】図１１は、フレーム／フレーム追跡のための例示的プロセスのフローチャートを図示する。
【００３１】
【図１２Ａ】図１２Ａは、前の画像および現在の画像の実施例を図示する。
【００３２】
【図１２Ｂ】図１２Ｂは、図１２Ａの現在の画像上に投影されたパッチの実施例を図示する。
【００３３】
【図１３】図１３は、マップ／フレーム追跡のための例示的プロセスのフローチャートを図示する。
【００３４】
【図１４Ａ】図１４Ａは、前の画像および現在の画像の実施例を図示する。
【００３５】
【図１４Ｂ】図１４Ｂは、マップ／フレーム追跡後のフレーム／フレーム追跡の実施例を図示する。
【００３６】
【図１５】図１５は、頭部姿勢を決定するための例示的プロセスのフローチャートを図示する。
【発明を実施するための形態】
【００３７】
拡張現実（ＡＲ）または仮想現実（ＶＲ）ディスプレイシステム等のディスプレイシステムは、コンテンツをユーザ（または視認者）にユーザの視野の異なるエリアにおいて提示することができる。例えば、拡張現実ディスプレイシステムは、仮想コンテンツをユーザに提示してもよく、これは、ユーザに、実世界環境内に設置されたように現れることができる。別の実施例として、仮想現実ディスプレイシステムは、コンテンツが、ユーザに対して３次元であって、３次元環境内に設置されるように現れ得るように、ディスプレイを介して、コンテンツを提示することができる。例えば、ユーザに対する、本コンテンツの設置は、提示されるコンテンツと関連付けられた現実性、およびディスプレイシステムを装着しているユーザの快適性に、正または負の影響を及ぼし得る。コンテンツの設置は、ディスプレイシステムのユーザの頭部姿勢に依存し得るため、下記に説明されるであろうように、これらのディスプレイシステムは、頭部姿勢を決定するための正確なスキームの利用を介して向上されることができる。
【００３８】
ユーザの頭部の姿勢は、実世界環境に対する、例えば、実世界環境と関連付けられた座標系に対する、ユーザの頭部の配向（例えば、頭部のピッチ、ヨー、および／またはロール）であると理解され得る。いくつかの実施形態では、ディスプレイシステムはまた、実世界環境に対する、例えば、実世界環境と関連付けられた座標系に対する、ディスプレイシステム（例えば、ＡＲまたはＶＲディスプレイデバイス）またはディスプレイシステムの一部の特定の配向に対応する姿勢を有し得る。姿勢は、随意に、一般的に、座標系に対する実世界環境内の配向を表すことができる。例えば、ユーザが、その頭部上に搭載されるディスプレイシステムを回転させる（例えば、その頭部を回転させることによって）場合、ユーザの頭部およびディスプレイシステムの両方の姿勢が、回転に従って調節されることができる。したがって、ユーザに提示されているコンテンツは、ユーザの頭部の姿勢に基づいて調節されることができ、これはまた、ユーザの頭部上に搭載されるディスプレイシステムのディスプレイの姿勢を変化させ得る。いくつかの実施形態では、ディスプレイシステムの姿勢が、決定されてもよく、ユーザの頭部姿勢は、本ディスプレイシステム姿勢から外挿されてもよい。ユーザが実世界環境を動き回るにつれて、頭部姿勢を決定することによって、コンテンツは、ユーザの頭部の決定された姿勢に基づいて、場所および配向において現実的に調節されることができる。いくつかの実施例が、下記に説明される。
【００３９】
拡張現実（ＡＲ）および仮想現実（ＶＲ）ディスプレイシステムに関して、現実性は、ユーザが、提示される仮想コンテンツの周囲を動き回り得、提示される仮想コンテンツが、実質的に固定された実世界場所に留まっているように現れ得る場合、向上されることができる。例えば、図１に図示されるロボット４０像は、ユーザに提示される仮想コンテンツであり得る。ユーザが、ロボット４０に向かって、またはその周囲を歩くにつれて、拡張現実場面１０は、ロボット４０が、公園内の同一場所に留まるように現れる場合、より現実的にユーザに現れるであろう。したがって、ユーザは、ロボット４０の異なる目線、ロボット４０の異なる部分等を視認することができる。ロボット４０が、固定された現実的像として現れることを確実にするために、ディスプレイシステムは、仮想コンテンツをレンダリングするとき、決定された姿勢を利用することができる。例えば、ディスプレイシステムは、ユーザがその頭部を特定の角度で回転させたことを示す、情報を取得することができる。本回転は、ロボット４０が像として直立して立ったままであるように現れるであろうように、仮想コンテンツの設置を知らせることができる。
【００４０】
別の実施例として、ユーザは、ディスプレイシステムを装着している間、一人称ビデオゲームをプレーし得る。本実施例では、ユーザは、その頭部を急降下させ、またはその頭部を回転させ、ディスプレイシステムを介してユーザに提示されるような、ユーザに飛びかかって来る仮想敵オブジェクトをかわすように移動し得る。本移動（例えば、頭部の降下または回転）は、追跡されることができ、ユーザの頭部姿勢が、決定され得る。このように、ディスプレイシステムは、ユーザが敵オブジェクトの回避に成功したかどうかを決定することができる。
【００４１】
姿勢を決定するためのシステムは、複雑であり得る。頭部姿勢を決定するための例示的スキームは、光のセンサおよびエミッタを利用することができる。例えば、赤外線エミッタは、赤外線光のパルスを実世界環境内の固定場所から放出し得る（例えば、エミッタは、デバイスを囲繞する部屋内にあってもよい）。ユーザによって装着されるディスプレイデバイスは、これらのパルスを検出するためにセンサを含むことができる。ディスプレイデバイスは、したがって、固定されたエミッタに対するその配向を決定することができる。同様に、ディスプレイデバイスは、固定されたエミッタに基づいて、実世界環境内のその位置を決定することができる。別の実施例として、ディスプレイデバイスは、光（例えば、可視または赤外線光）の固定されたエミッタを含んでもよく、光の放出を追跡する、１つ以上のカメラが、実世界環境内に位置付けられてもよい。本実施例では、ディスプレイデバイスが、回転するにつれて、カメラは、光の放出が初期位置から回転していることを検出することができる。これらの例示的スキームは、したがって、ディスプレイデバイスの姿勢を決定するために、複雑なハードウェアを要求し得る。
【００４２】
本明細書に説明されるディスプレイシステム（例えば、図９Ｄに図示されるディスプレイシステム６０）は、光の固定されたエミッタの複雑性および剛性を伴わずに、正確な姿勢推定値を決定することができる。いくつかの実施形態では、ユーザによって装着されるディスプレイシステム（例えば、図９Ｄに図示されるように、フレーム８０に結合される、ディスプレイ７０）の姿勢が、決定されてもよい。ディスプレイシステム姿勢から、ユーザの頭部姿勢が、決定されてもよい。ディスプレイシステムは、ユーザが、複雑なハードウェアを部屋内に設定することを要求せずに、そしてユーザがその部屋内に留まることを要求せずに、その姿勢を決定することができる。説明されるであろうように、ディスプレイシステムは、ディスプレイシステム上の結像デバイス（例えば、カメラ等の光学結像デバイス）の使用を通して、その姿勢を決定することができる。結像デバイスは、実世界環境の画像を取得することができ、これらの画像に基づいて、ディスプレイシステムは、その姿勢を決定することができる。本明細書に説明される技法を介して、ディスプレイシステムは、有利には、処理およびメモリ要件を限定しながら、姿勢を決定することができる。このように、ＡＲおよびＭＲディスプレイシステム等の、限定されたメモリおよび算出予算を伴う、ディスプレイシステムは、姿勢推定値を効率的に決定し、ユーザのための現実性を増加させることができる。
【００４３】
姿勢を決定するために、ディスプレイシステムは、（１）ディスプレイシステムによって捕捉された環境の連続画像間の区別可能な点（例えば、画像の明確に異なる隔離された部分）のパッチベースの追跡（本明細書では、「フレーム／フレーム追跡」と称される）と、（２）現在の画像の着目点と対応する着目点の既知の実世界場所の記述子ベースのマップとの合致（例えば、本明細書では、「マップ／フレーム追跡」と称される）の両方を活用することができる。フレーム／フレーム追跡では、ディスプレイシステムは、実世界環境の捕捉された画像間の角等の特定の着目点（本明細書では、「顕著な点」と称される）を追跡することができる。例えば、ディスプレイシステムは、前の画像内に含まれていた（例えば、その中に位置していた）、現在の画像内の視覚的着目点の場所を識別することができる。本識別は、例えば、測光誤差最小限化プロセスを使用して、遂行されてもよい。マップ／フレーム追跡では、ディスプレイシステムは、着目点の実世界場所（例えば、３次元座標）を示す、マップ情報にアクセスし、現在の画像内に含まれる着目点をマップ情報に示される着目点に合致させることができる。着目点に関する情報は、記述子として、例えば、マップデータベース内に記憶されてもよい。ディスプレイシステムは、次いで、合致される視覚的特徴に基づいて、その姿勢を計算することができる。マップ情報を生成するステップは、図１０Ａに関して下記により詳細に説明されるであろう。本明細書で使用されるように、いくつかの実施形態では、点は、画像の離散ピクセルまたは画像のエリアに対応するピクセルのセットを指し得る。
【００４４】
上記に説明されるように、姿勢を決定するために、ディスプレイシステムは、本明細書では、「顕著な点」と称される、区別可能な視覚的特徴を利用することができる。本明細書では、顕著な点は、追跡され得る、実世界環境の任意の一意の部分に対応する。例えば、顕著な点は、角であることができる。角は、２つの線の略垂直交点を表すことができ、机上の傷、壁上のマーク、キーボード番号「７」等を含み得る。説明されるであろうように、角は、角検出スキームに従って、結像デバイスによって取得される画像から検出されることができる。例示的角検出スキームは、Ｈａｒｒｉｓ角検出、加速セグメント試験（ＦＡＳＴ）角検出からの特徴等を含むことができる。
【００４５】
フレーム／フレーム追跡に関して、ディスプレイシステムは、前の画像からの各追跡される顕著な点を現在の画像上に投影させることを介して、顕著な点を前の画像から現在の画像まで追跡することができる。例えば、ディスプレイシステムは、軌道予測を利用して、または随意に、慣性測定ユニットからの情報を利用して、現在の画像と前の画像との間のオプティカルフローを決定することができる。オプティカルフローは、前の画像が取得された時間から現在の画像が取得された時間までの、ユーザの移動を表すことができる。軌道予測は、それに対して前の画像内に含まれる顕著な点が対応する、現在の画像内の場所を知らせることができる。ディスプレイシステムは、次いで、本明細書では、「パッチ」として知られる、前の画像内の各顕著な点を囲繞する画像部分を取得し、現在の画像内の合致する画像部分を決定することができる。パッチは、例えば、前の画像内の各顕著な点を囲繞するＭ×Ｎピクセルエリアであることができ、ＭおよびＮは、正の整数である。前の画像からのパッチを現在の画像に合致させるために、ディスプレイシステムは、パッチと前の画像パッチとの間の測光誤差が低減された（例えば、最小限にされた）、現在の画像内のパッチを識別することができる。顕著な点は、パッチ内の特定の一貫した２次元画像位置に位置すると理解され得る。例えば、現在の画像内の合致するパッチの重心は、追跡される顕著な点に対応し得る。したがって、前の画像から現在の画像上への投影は、現在の画像内の顕著な点および関連付けられたパッチを大まかに測位し、その位置は、例えば、測光誤差最小限化を使用して精緻化され、パッチと現在の画像の特定のエリアとの間のピクセル強度差を最小限にする位置を決定し得る。
【００４６】
マップ／フレーム追跡に関して、ディスプレイシステムは、顕著な点を現在の画像から抽出することができる（例えば、新しい顕著な点に対応する現在の画像の場所を識別する）。例えば、ディスプレイは、追跡される顕著な点（例えば、フレーム／フレーム追跡から決定される）の閾値数未満を有する、顕著な点を現在の画像の画像エリアから抽出することができる。ディスプレイシステムは、次いで、記述子ベースのマップ情報に基づいて、現在の画像内の顕著な点（例えば、新しく抽出された顕著な点、追跡される顕著な点）を個別の実世界場所に合致させることができる。本明細書に説明されるように、ディスプレイシステムは、顕著な点毎に、顕著な点の（例えば、視覚的）属性を一意に説明する、記述子を生成することができる。マップ情報は同様に、実世界の顕著な点に関する記述子を記憶することができる。合致する記述子に基づいて、ディスプレイシステムは、現在の画像内に含まれる顕著な点の実世界場所を決定することができる。したがって、ディスプレイシステムは、実世界場所に対するその配向を決定し、その姿勢を決定することができ、これは、次いで、頭部姿勢を決定するために使用されることができる。
【００４７】
測光誤差最小限化スキームの使用は、例えば、上記に説明されるように、パッチの比較を通して、画像間の顕著な点の高度に正確な追跡を可能にし得ることを理解されたい。実際、前の画像と現在の画像との間の顕著な点を追跡するサブピクセル正確度が、達成されることができる。対照的に、記述子は、画像間の顕著な点を追跡する際、あまり正確ではあり得ないが、測光誤差最小限化のためのパッチより少ないメモリを利用するであろう。記述子は、画像間の顕著な点を追跡する際、あまり正確ではあり得ないため、決定された姿勢推定値は、測光誤差最小限化が使用される場合よりも変動し得る。正確ではあるが、パッチの使用は、顕著な点毎に、パッチを記憶することを要求し得る。記述子は、ヒストグラム等の、顕著な点および／または顕著な点の周囲の画像エリアの視覚的特性を説明する英数字値であり得るため、記述子は、パッチより１桁以上小さくあり得る。
【００４８】
したがって、本明細書に説明されるように、ディスプレイデバイスは、パッチベースの測光誤差最小限化および記述子の利点を利用して、ロバストかつメモリ効率的な姿勢決定プロセスを可能にしてもよい。例えば、フレーム／フレーム追跡は、パッチベースの測光誤差最小限化を利用して、画像間の顕著な点を正確に追跡することができる。このように、顕著な点は、例えば、サブピクセル正確度を伴って追跡され得る。しかしながら、経時的に（例えば、複数のフレームまたは画像を横断して）わずかな誤差が、閾値数の画像にわたって、顕著な点を追跡する際の累積誤差によって生じるドリフトが、明白となり得るほど導入され得る。本ドリフトは、姿勢決定の正確度を低減させ得る。したがって、いくつかの実施形態では、マップ／フレーム追跡が、各顕著な点を実世界場所にリンクさせるために利用されることができる。例えば、マップ／フレーム追跡では、顕著な点は、マップ情報内に記憶される顕著な点に合致される。したがって、各顕著な点の実世界座標が、識別されることができる。
【００４９】
測光誤差最小限化が、マップ／フレーム追跡のために利用される場合、マップ情報は、実世界環境内で識別された顕著な点毎に、パッチを記憶するであろう。マップ情報に示される、数千、数十万等個もの顕著な点が存在し得るため、メモリ要件は、膨大となるであろう。有利には、記述子を使用することは、マップ／フレーム追跡と関連付けられたメモリ要件を低減させることができる。例えば、マップ情報は、各顕著な点の実世界座標を、顕著な点に関する記述子とともに記憶することができる。いくつかの実施形態では、記述子は、サイズが少なくとも、パッチより１桁分小さくあり得るため、マップ情報は、大幅に低減されることができる。
【００５０】
下記に説明されるであろうように、ディスプレイシステムは、したがって、パッチベースのフレーム／フレーム追跡および記述子ベースのマップ／フレーム追跡の両方を活用することができる。例えば、ディスプレイシステムは、実世界環境の取得された連続画像間の顕著な点を追跡することができる。上記に説明されるように、顕著な点を追跡するステップは、前の画像からの顕著な点を現在の画像上に投影させるステップを含むことができる。パッチベースの測光誤差最小限化の使用を通して、追跡される顕著な点の場所が、高い正確度を伴って、現在の画像内で決定されることができる。ディスプレイシステムは、次いで、閾値測定値未満の追跡される顕著な点を含む、現在の画像の画像エリアを識別することができる。例えば、現在の画像は、異なる画像エリアに分離されることができ、各画像エリアは、現在の画像の１／４、１／８、１／１６、１／３２、ユーザ選択可能サイズ等である。別の実施例として、ディスプレイシステムは、追跡される顕著な点に対する現在の画像の疎度を分析することができる。本実施例では、ディスプレイシステムは、画像の任意のエリア（例えば、閾値サイズのエリア）が、閾値数未満の顕著な点または閾値未満の顕著な点の密度を含むかどうかを決定することができる。随意に、画像エリアは、ディスプレイシステムが、現在の画像の全体が閾値測定値未満の追跡される顕著な点を含むかどうかを識別し得るように、現在の画像全体であることができる。ディスプレイシステムは、次いで、新しい顕著な点を識別された画像エリアから抽出し、現在の画像の顕著な点（例えば、追跡される顕著な点および新しく抽出された顕著な点）毎に、記述子を生成することができる。各生成された記述子をマップ情報に示される顕著な点の記述子に合致させることを通して、現在の画像内の各顕著な点の実世界場所が、識別されることができる。したがって、ディスプレイシステムの姿勢が、決定されることができる。続いて、現在の画像内に含まれる顕著な点は、例えば、本明細書に説明されるように、後続画像内で追跡されることができる。
【００５１】
新しい顕著な点は、閾値測定値未満の追跡される顕著な点を伴う画像エリア内でのみ抽出され得るため、顕著な点追跡は、連続画像フレーム間の潜在的に大量の同一の追跡される顕著な点を利用し得る。上記に説明されるように、追跡は、測光誤差最小限化を介して実施され、画像間の顕著な点の高度に正確な位置特定を確実にすることができる。加えて、姿勢決定におけるジッタも、これらの同一の追跡される顕著な点が連続画像フレーム内のマップ情報に合致されるであろうため、低減されることができる。さらに、処理要件も、ディスプレイシステムが具体的画像エリア内の新しい顕著な点を抽出するためにのみ要求され得るため、低減されることができる。加えて、現在の画像内の顕著な点は、マップ情報に合致されるため、姿勢決定におけるドリフトは、低減されることができる。随意に、マップ／フレーム追跡は、いくつかの現在の画像に関しては要求されない場合がある。例えば、ユーザは、ディスプレイシステムが類似姿勢を維持し得るように、実質的に類似する実世界エリアを見ている場合がある。本実施例では、現在の画像は、閾値測定値未満の追跡される顕著な点を伴う、画像エリアを含まなくてもよい。したがって、フレーム／フレーム追跡のみが、ディスプレイシステムの姿勢を決定するために利用されることができる。随意に、マップ／フレーム追跡は、画像エリアが閾値数未満の追跡される顕著な点を含まない場合でも、利用されてもよい。例えば、記述子が、追跡される顕著な点に関して生成され、新しい顕著な点を抽出せずに、マップ情報と比較されることができる。このように、ディスプレイシステムは、より少ない処理を実施し、したがって、処理リソースを節約し、エネルギー消費を低減させることができる。
【００５２】
ここで、図を参照するが、同様の参照番号は、全体を通して同様の部分を指す。別様に具体的に示されない限り、図面は、概略であって、必ずしも、正確な縮尺で描かれていない。
【００５３】
図２は、ユーザのための３次元画像をシミュレートするための従来のディスプレイシステムを図示する。ユーザの眼は、離間されており、空間内の実オブジェクトを見ているとき、各眼は、オブジェクトの若干異なるビューを有し、オブジェクトの画像を各眼の網膜上の異なる場所に形成し得ることを理解されたい。これは、両眼視差と称され得、ヒト視覚系によって、深度の知覚を提供するために利用され得る。従来のディスプレイシステムは、仮想オブジェクトが所望の深度における実オブジェクトであるように各眼によって見えるであろう仮想オブジェクトのビューに対応する、眼２１０、２２０毎に１つの同一仮想オブジェクトの若干異なるビューを伴う２つの明確に異なる画像１９０、２００を提示することによって、両眼視差をシミュレートする。これらの画像は、ユーザの視覚系が深度の知覚を導出するように解釈し得る、両眼キューを提供する。
【００５４】
図２を継続して参照すると、画像１９０、２００は、ｚ−軸上で距離２３０だけ眼２１０、２２０から離間される。ｚ−軸は、その眼が視認者の直前の光学無限遠におけるオブジェクトを固視している状態の視認者の光学軸と平行である。画像１９０、２００は、平坦であって、眼２１０、２２０から固定距離にある。それぞれ、眼２１０、２２０に提示される画像内の仮想オブジェクトの若干異なるビューに基づいて、眼は、自然に、オブジェクトの画像が眼のそれぞれの網膜上の対応する点に来て、単一両眼視を維持するように回転し得る。本回転は、眼２１０、２２０のそれぞれの視線を仮想オブジェクトが存在するように知覚される空間内の点上に収束させ得る。その結果、３次元画像の提供は、従来、ユーザの眼２１０、２２０の輻輳・開散運動を操作し得、ヒト視覚系が深度の知覚を提供するように解釈する、両眼キューを提供することを伴う。
【００５５】
しかしながら、深度の現実的かつ快適な知覚の生成は、困難である。眼からの異なる距離におけるオブジェクトからの光は、異なる発散量を伴う波面を有することを理解されたい。図３Ａ−３Ｃは、距離と光線の発散との間の関係を図示する。オブジェクトと眼２１０との間の距離は、減少距離Ｒ１、Ｒ２、およびＲ３の順序で表される。図３Ａ−３Ｃに示されるように、光線は、オブジェクトまでの距離が減少するにつれてより発散する。逆に言えば、距離が増加するにつれて、光線は、よりコリメートされる。換言すると、点（オブジェクトまたはオブジェクトの一部）によって生成されるライトフィールドは、点がユーザの眼から離れている距離の関数である、球状波面曲率を有すると言え得る。曲率が増加すると、オブジェクトと眼２１０の間の距離が減少する。単眼２１０のみが、例証を明確にするために、図３Ａ−３Ｃおよび本明細書の種々の他の図に図示されるが、眼２１０に関する議論は、視認者の両眼２１０および２２０に適用され得る。
【００５６】
図３Ａ−３Ｃを継続して参照すると、視認者の眼が固視しているオブジェクトからの光は、異なる波面発散度を有し得る。異なる波面発散量に起因して、光は、眼の水晶体によって異なるように集束され得、これは、ひいては、水晶体に、異なる形状をとり、集束された画像を眼の網膜上に形成することを要求し得る。集束された画像が、網膜上に形成されない場合、結果として生じる網膜ぼけは、集束された画像が網膜上に形成されるまで、眼の水晶体の形状に変化を生じさせる、遠近調節のためのキューとして作用する。例えば、遠近調節のためのキューは、眼の水晶体を囲繞する毛様筋の弛緩または収縮をトリガし、それによって、レンズを保持する提靭帯に印加される力を変調し、したがって、固視されているオブジェクトの網膜ぼけが排除または最小限にされるまで、眼の水晶体の形状を変化させ、それによって、固視されているオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成し得る。眼の水晶体が形状を変化させるプロセスは、遠近調節と称され得、固視されているオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成するために要求される眼の水晶体の形状は、遠近調節状態と称され得る。
【００５７】
ここで図４Ａを参照すると、ヒト視覚系の遠近調節−輻輳・開散運動応答の表現が、図示される。オブジェクトを固視するための眼の移動は、眼にオブジェクトからの光を受信させ、光は、画像を眼の網膜のそれぞれ上に形成する。網膜上に形成される画像内の網膜ぼけの存在は、遠近調節のためのキューを提供し得、網膜上の画像の相対的場所は、輻輳・開散運動のためのキューを提供し得る。遠近調節するためのキューは、遠近調節を生じさせ、眼の水晶体がオブジェクトの集束された画像を眼の網膜（例えば、中心窩）上に形成する特定の遠近調節状態をとる結果をもたらす。一方、輻輳・開散運動のためのキューは、各眼の各網膜上に形成される画像が単一両眼視を維持する対応する網膜点にあるように、輻輳・開散運動移動（眼の回転）を生じさせる。これらの位置では、眼は、特定の輻輳・開散運動状態をとっていると言え得る。図４Ａを継続して参照すると、遠近調節は、眼が特定の遠近調節状態を達成するプロセスであると理解され得、輻輳・開散運動は、眼が特定の輻輳・開散運動状態を達成するプロセスであると理解され得る。図４Ａに示されるように、眼の遠近調節および輻輳・開散運動状態は、ユーザが別のオブジェクトを固視する場合、変化し得る。例えば、遠近調節された状態は、ユーザがｚ−軸上の異なる深度における新しいオブジェクトを固視する場合、変化し得る。
【００５８】
理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散運動および遠近調節の組み合わせに起因して、オブジェクトを「３次元」であると知覚し得ると考えられる。前述のように、２つの眼の相互に対する輻輳・開散運動移動（例えば、瞳孔が相互に向かって、またはそこから移動し、眼の視線を収束させ、オブジェクトを固視するような眼の回転）は、眼の水晶体の遠近調節と密接に関連付けられる。通常条件下では、眼の水晶体の形状を変化させ、１つのオブジェクトから異なる距離における別のオブジェクトに焦点を変化させることは、自動的に、「遠近調節−輻輳・開散運動反射」として知られる関係下、同一距離まで輻輳・開散運動における整合する変化を生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、水晶体形状における整合する変化をトリガするであろう。
【００５９】
ここで図４Ｂを参照すると、眼の異なる遠近調節および輻輳・開散運動状態の実施例が、図示される。対の眼２２２ａは、光学無限遠におけるオブジェクトを固視する一方、対の眼２２２ｂは、光学無限遠未満におけるオブジェクト２２１を固視する。着目すべきこととして、各対の眼の輻輳・開散運動状態は、異なり、対の眼２２２ａは、まっすぐ指向される一方、対の眼２２２は、オブジェクト２２１上に収束する。各対の眼２２２ａおよび２２２ｂを形成する眼の遠近調節状態もまた、水晶体２１０ａ、２２０ａの異なる形状によって表されるように異なる。
【００６０】
望ましくないことに、従来の「３−Ｄ」ディスプレイシステムの多くのユーザは、これらのディスプレイにおける遠近調節と輻輳・開散運動状態との間の不整合に起因して、そのような従来のシステムを不快であると見出す、または奥行感を全く知覚しない場合がある。前述のように、多くの立体視または「３−Ｄ」ディスプレイシステムは、若干異なる画像を各眼に提供することによって、場面を表示する。そのようなシステムは、それらが、とりわけ、単に、場面の異なる提示を提供し、眼の輻輳・開散運動状態に変化を生じさせるが、それらの眼の遠近調節状態に対応する変化を伴わないため、多くの視認者にとって不快である。むしろ、画像は、眼が全ての画像情報を単一遠近調節状態において視認するように、ディスプレイによって眼から固定距離に示される。そのような配列は、遠近調節状態における整合する変化を伴わずに輻輳・開散運動状態に変化を生じさせることによって、「遠近調節−輻輳・開散運動反射」に逆らう。本不整合は、視認者不快感を生じさせると考えられる。遠近調節と輻輳・開散運動との間のより良好な整合を提供する、ディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。
【００６１】
理論によって限定されるわけではないが、ヒトの眼は、典型的には、有限数の深度平面を解釈し、深度知覚を提供することができると考えられる。その結果、知覚された深度の高度に真実味のあるシミュレーションが、眼にこれらの限定数の深度平面のそれぞれに対応する画像の異なる提示を提供することによって達成され得る。いくつかの実施形態では、異なる提示は、輻輳・開散運動のためのキューおよび遠近調節するための整合するキューの両方を提供し、それによって、生理学的に正しい遠近調節−輻輳・開散運動整合を提供してもよい。
【００６２】
図４Ｂを継続して参照すると、眼２１０、２２０からの空間内の異なる距離に対応する、２つの深度平面２４０が、図示される。所与の深度平面２４０に関して、輻輳・開散運動キューが、眼２１０、２２０毎に適切に異なる視点の画像を表示することによって提供されてもよい。加えて、所与の深度平面２４０に関して、各眼２１０、２２０に提供される画像を形成する光は、その深度平面２４０の距離におけるある点によって生成されたライトフィールドに対応する波面発散を有してもよい。
【００６３】
図示される実施形態では、点２２１を含有する、深度平面２４０のｚ−軸に沿った距離は、１ｍである。本明細書で使用されるように、ｚ−軸に沿った距離または深度は、ユーザの眼の射出瞳に位置するゼロ点を用いて測定されてもよい。したがって、１ｍの深度に位置する深度平面２４０は、眼が光学無限遠に向かって指向された状態でそれらの眼の光学軸上のユーザの眼の射出瞳から１ｍ離れた距離に対応する。近似値として、ｚ−軸に沿った深度または距離は、ユーザの眼の正面のディスプレイ（例えば、導波管の表面）から測定され、デバイスとユーザの眼の射出瞳との間の距離に関する値が加えられてもよい。その値は、瞳距離と呼ばれ、ユーザの眼の射出瞳と眼の正面のユーザによって装着されるディスプレイとの間の距離に対応し得る。実際は、瞳距離に関する値は、概して、全ての視認者に関して使用される、正規化された値であってもよい。例えば、瞳距離は、２０ｍｍであると仮定され得、１ｍの深度における深度平面は、ディスプレイの正面の９８０ｍｍの距離にあり得る。
【００６４】
ここで図４Ｃおよび４Ｄを参照すると、整合遠近調節−輻輳・開散運動距離および不整合遠近調節−輻輳・開散運動距離の実施例が、それぞれ、図示される。図４Ｃに図示されるように、ディスプレイシステムは、仮想オブジェクトの画像を各眼２１０、２２０に提供してもよい。画像は、眼２１０、２２０に、眼が深度平面２４０上の点１５上に収束する、輻輳・開散運動状態をとらせ得る。加えて、画像は、その深度平面２４０における実オブジェクトに対応する波面曲率を有する光によって形成され得る。その結果、眼２１０、２２０は、画像がそれらの眼の網膜上に合焦する、遠近調節状態をとる。したがって、ユーザは、仮想オブジェクトを深度平面２４０上の点１５にあるように知覚し得る。
【００６５】
眼２１０、２２０の遠近調節および輻輳・開散運動状態はそれぞれ、ｚ−軸上の特定の距離と関連付けられることを理解されたい。例えば、眼２１０、２２０からの特定の距離におけるオブジェクトは、それらの眼に、オブジェクトの距離に基づいて、特定の遠近調節状態をとらせる。特定の遠近調節状態と関連付けられた距離は、遠近調節距離Ａｄと称され得る。同様に、特定の輻輳・開散運動状態における眼と関連付けられた特定の輻輳・開散運動距離Ｖｄまたは相互に対する位置が、存在する。遠近調節距離および輻輳・開散運動距離が整合する場合、遠近調節と輻輳・開散運動との間の関係は、生理学的に正しいと言える。これは、視認者に最も快適なシナリオであると見なされる。
【００６６】
しかしながら、立体視ディスプレイでは、遠近調節距離および輻輳・開散運動距離は、常時、整合しない場合がある。例えば、図４Ｄに図示されるように、眼２１０、２２０に表示される画像は、深度平面２４０に対応する波面発散を伴って表示され得、眼２１０、２２０は、その深度平面上の点１５ａ、１５ｂが合焦する、特定の遠近調節状態をとり得る。しかしながら、眼２１０、２２０に表示される画像は、眼２１０、２２０を深度平面２４０上に位置しない点１５上に収束させる、輻輳・開散運動のためのキューを提供し得る。その結果、遠近調節距離は、いくつかの実施形態では、眼２１０、２２０の射出瞳から深度平面２４０の距離に対応する一方、輻輳・開散運動距離は、眼２１０、２２０の射出瞳から点１５までのより大きい距離に対応する。遠近調節距離は、輻輳・開散運動距離と異なる。その結果、遠近調節−輻輳・開散運動不整合が存在する。そのような不整合は、望ましくないと見なされ、不快感をユーザに生じさせ得る。不整合は、距離（例えば、Ｖｄ−Ａｄ）に対応し、ジオプタを使用して特性評価され得ることを理解されたい。
【００６７】
いくつかの実施形態では、眼２１０、２２０の射出瞳以外の参照点も、同一参照点が遠近調節距離および輻輳・開散運動距離のために利用される限り、遠近調節−輻輳・開散運動不整合を決定するための距離を決定するために利用されてもよいことを理解されたい。例えば、距離は、角膜から深度平面、網膜から深度平面、接眼レンズ（例えば、ディスプレイデバイスの導波管）から深度平面等まで測定され得る。
【００６８】
理論によって限定されるわけではないが、ユーザは、不整合自体が有意な不快感を生じさせずに、依然として、最大約０．２５ジオプタ、最大約０．３３ジオプタ、および最大約０．５ジオプタの遠近調節−輻輳・開散運動不整合を生理学的に正しいと知覚し得ると考えられる。いくつかの実施形態では、本明細書に開示されるディスプレイシステム（例えば、ディスプレイシステム２５０、図６）は、約０．５ジオプタまたはそれ未満の遠近調節−輻輳・開散運動不整合を有する、画像を視認者に提示する。いくつかの他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節−輻輳・開散運動不整合は、約０．３３ジオプタまたはそれ未満である。さらに他の実施形態では、ディスプレイシステムによって提供される画像の遠近調節−輻輳・開散運動不整合は、約０．１ジオプタまたはそれ未満を含む、約０．２５ジオプタまたはそれ未満である。
【００６９】
図５は、波面発散を修正することによって、３次元画像をシミュレートするためのアプローチの側面を図示する。ディスプレイシステムは、画像情報でエンコードされた光７７０を受信し、その光をユーザの眼２１０に出力するように構成される、導波管２７０を含む。導波管２７０は、所望の深度平面２４０上のある点によって生成されたライトフィールドの波面発散に対応する定義された波面発散量を伴って光６５０を出力してもよい。いくつかの実施形態では、同一量の波面発散が、その深度平面上に提示される全てのオブジェクトのために提供される。加えて、ユーザの他方の眼は、類似導波管からの画像情報を提供され得るように図示されるであろう。
【００７０】
いくつかの実施形態では、単一導波管が、単一または限定数の深度平面に対応する設定された波面発散量を伴う光を出力するように構成されてもよく、および／または導波管は、限定された範囲の波長の光を出力するように構成されてもよい。その結果、いくつかの実施形態では、複数またはスタックの導波管が、異なる深度平面のための異なる波面発散量を提供し、および／または異なる範囲の波長の光を出力するために利用されてもよい。本明細書で使用されるように、深度平面は、平坦または湾曲表面の輪郭に追従し得ることが理解されるであろう。いくつかの実施形態では、有利には、便宜上、深度平面は、平坦表面の輪郭に追従し得る。
【００７１】
図６は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ディスプレイシステム２５０は、複数の導波管２７０、２８０、２９０、３００、３１０を使用して３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ２６０を含む。ディスプレイシステム２５０は、いくつかの実施形態では、ライトフィールドディスプレイと見なされてもよいことを理解されたい。加えて、導波管アセンブリ２６０はまた、接眼レンズとも称され得る。
【００７２】
いくつかの実施形態では、ディスプレイシステム２５０は、輻輳・開散運動するための実質的に連続キューおよび遠近調節するための複数の離散キューを提供するように構成されてもよい。輻輳・開散運動のためのキューは、異なる画像をユーザの眼のそれぞれに表示することによって提供されてもよく、遠近調節のためのキューは、選択可能な離散量の波面発散を伴う画像を形成する光を出力することによって提供されてもよい。換言すると、ディスプレイシステム２５０は、可変レベルの波面発散を伴う光を出力するように構成されてもよい。いくつかの実施形態では、波面発散の各離散レベルは、特定の深度平面に対応し、導波管２７０、２８０、２９０、３００、３１０のうちの特定の１つによって提供されてもよい。
【００７３】
図６を継続して参照すると、導波管アセンブリ２６０はまた、複数の特徴３２０、３３０、３４０、３５０を導波管間に含んでもよい。いくつかの実施形態では、特徴３２０、３３０、３４０、３５０は、１つ以上のレンズであってもよい。導波管２７０、２８０、２９０、３００、３１０および／または複数のレンズ３２０、３３０、３４０、３５０は、種々のレベルの波面曲率または光線発散を用いて画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス３６０、３７０、３８０、３９０、４００は、導波管のための光源として機能してもよく、画像情報を導波管２７０、２８０、２９０、３００、３１０の中に投入するために利用されてもよく、それぞれ、本明細書に説明されるように、眼２１０に向かって出力のために各個別の導波管を横断して入射光を分散させるように構成されてもよい。光は、画像投入デバイス３６０、３７０、３８０、３９０、４００の出力表面４１０、４２０、４３０、４４０、４５０から出射し、導波管２７０、２８０、２９０、３００、３１０の対応する入力表面４６０、４７０、４８０、４９０、５００の中に投入される。いくつかの実施形態では、入力表面４６０、４７０、４８０、４９０、５００はそれぞれ、対応する導波管の縁であってもよい、または対応する導波管の主要表面の一部（すなわち、世界５１０または視認者の眼２１０に直接面する導波管表面のうちの１つ）であってもよい。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、クローン化されたコリメートビームの全体場を出力してもよく、これは、特定の導波管と関連付けられた深度平面に対応する特定の角度（および発散量）において眼２１０に向かって指向される。いくつかの実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００のうちの単一の１つは、複数（例えば、３つ）の導波管２７０、２８０、２９０、３００、３１０と関連付けられ、その中に光を投入してもよい。
【００７４】
いくつかの実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００はそれぞれ、それぞれ対応する導波管２７０、２８０、２９０、３００、３１０の中への投入のために画像情報を生成する、離散ディスプレイである。いくつかの他の実施形態では、画像投入デバイス３６０、３７０、３８０、３９０、４００は、例えば、画像情報を１つ以上の光学導管（光ファイバケーブル等）を介して画像投入デバイス３６０、３７０、３８０、３９０、４００のそれぞれに送り得る、単一の多重化されたディスプレイの出力端である。画像投入デバイス３６０、３７０、３８０、３９０、４００によって提供される画像情報は、異なる波長または色（例えば、本明細書に議論されるように、異なる原色）の光を含んでもよいことを理解されたい。
【００７５】
いくつかの実施形態では、導波管２７０、２８０、２９０、３００、３１０の中に投入される光は、光プロジェクタシステム５２０によって提供され、これは、光モジュール５３０を備え、これは、発光ダイオード（ＬＥＤ）等の光エミッタを含んでもよい。光モジュール５３０からの光は、ビームスプリッタ５５０を介して、光変調器５４０、例えば、空間光変調器によって指向および修正されてもよい。光変調器５４０は、導波管２７０、２８０、２９０、３００、３１０の中に投入される光の知覚される強度を変化させ、光を画像情報でエンコードするように構成されてもよい。空間光変調器の実施例は、液晶ディスプレイ（ＬＣＤ）を含み、シリコン上液晶（ＬＣＯＳ）ディスプレイを含む。画像投入デバイス３６０、３７０、３８０、３９０、４００は、図式的に図示され、いくつかの実施形態では、これらの画像投入デバイスは、光を導波管２７０、２８０、２９０、３００、３１０の関連付けられたものの中に出力するように構成される、共通投影システム内の異なる光経路および場所を表し得ることを理解されたい。いくつかの実施形態では、導波管アセンブリ２６０の導波管は、導波管の中に投入された光をユーザの眼に中継しながら、理想的レンズとして機能し得る。本概念では、オブジェクトは、空間光変調器５４０であってもよく、画像は、深度平面上の画像であってもよい。
【００７６】
いくつかの実施形態では、ディスプレイシステム２５０は、光を種々のパターン（例えば、ラスタ走査、螺旋走査、リサジューパターン等）で１つ以上の導波管２７０、２８０、２９０、３００、３１０の中に、最終的には、視認者の眼２１０に投影するように構成される、１つ以上の走査ファイバを備える、走査ファイバディスプレイであってもよい。いくつかの実施形態では、図示される画像投入デバイス３６０、３７０、３８０、３９０、４００は、光を１つまたは複数の導波管２７０、２８０、２９０、３００、３１０の中に投入するように構成される、単一走査ファイバまたは走査ファイバの束を図式的に表し得る。いくつかの他の実施形態では、図示される画像投入デバイス３６０、３７０、３８０、３９０、４００は、複数の走査ファイバまたは走査ファイバの複数の束を図式的に表し得、それぞれ、光を導波管２７０、２８０、２９０、３００、３１０のうちの関連付けられた１つの中に投入するように構成される。１つ以上の光ファイバは、光を光モジュール５３０から１つ以上の導波管２７０、２８０、２９０、３００、３１０に透過するように構成されてもよいことを理解されたい。１つ以上の介在光学構造が、走査ファイバまたは複数のファイバと、１つ以上の導波管２７０、２８０、２９０、３００、３１０との間に提供され、例えば、走査ファイバから出射する光を１つ以上の導波管２７０、２８０、２９０、３００、３１０の中に再指向してもよいことを理解されたい。
【００７７】
コントローラ５６０は、画像投入デバイス３６０、３７０、３８０、３９０、４００、光源５３０、および光モジュール５４０の動作を含む、スタックされた導波管アセンブリ２６０のうちの１つ以上のものの動作を制御する。いくつかの実施形態では、コントローラ５６０は、ローカルデータ処理モジュール１４０の一部である。コントローラ５６０は、例えば、本明細書に開示される種々のスキームのいずれかに従って、導波管２７０、２８０、２９０、３００、３１０への画像情報のタイミングおよびプロビジョニングを調整する、プログラミング（例えば、非一過性媒体内の命令）を含む。いくつかの実施形態では、コントローラは、単一一体型デバイスであってもよい、または、有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ５６０は、いくつかの実施形態では、処理モジュール１４０または１５０（図２）の一部であってもよい。
【００７８】
図６を継続して参照すると、導波管２７０、２８０、２９０、３００、３１０は、全内部反射（ＴＩＲ）によって各個別の導波管内で光を伝搬するように構成されてもよい。導波管２７０、２８０、２９０、３００、３１０はそれぞれ、主要上部表面および主要底部表面およびそれらの主要上部表面と主要底部表面との間に延在する縁を伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管２７０、２８０、２９０、３００、３１０はそれぞれ、各個別の導波管内で伝搬する光を導波管から再指向し、画像情報を眼２１０に出力することによって、光を導波管から抽出するように構成される、外部結合光学要素５７０、５８０、５９０、６００、６１０を含んでもよい。抽出された光はまた、外部結合光と称され得、外部結合光学要素光はまた、光抽出光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内を伝搬する光が光抽出光学要素に衝打する場所において出力され得る。外部結合光学要素５７０、５８０、５９０、６００、６１０は、例えば、本明細書にさらに議論されるような回折光学特徴を含む、格子であってもよい。説明の容易性および図面の明確性のために、導波管２７０、２８０、２９０、３００、３１０の底部主要表面に配置されて図示されるが、いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、本明細書にさらに議論されるように、上部主要表面および／または底部主要表面に配置されてもよい、および／または導波管２７０、２８０、２９０、３００、３１０の容積内に直接配置されてもよい。いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、透明基板に取り付けられ、導波管２７０、２８０、２９０、３００、３１０を形成する、材料の層内に形成されてもよい。いくつかの他の実施形態では、導波管２７０、２８０、２９０、３００、３１０は、材料のモノリシック部品であってもよく、外部結合光学要素５７０、５８０、５９０、６００、６１０は、材料のその部品の表面上および／またはその内部に形成されてもよい。
【００７９】
図６を継続して参照すると、本明細書に議論されるように、各導波管２７０、２８０、２９０、３００、３１０は、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管２７０は、眼２１０にコリメートされた光（そのような導波管２７０の中に投入された）を送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の上方の導波管２８０は、眼２１０に到達し得る前に、第１のレンズ３５０（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。そのような第１のレンズ３５０は、眼／脳が、その次の上方の導波管２８０から生じる光を光学無限遠から眼２１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の上方の導波管２９０は、眼２１０に到達する前に、その出力光を第１のレンズ３５０および第２のレンズ３４０の両方を通して通過させる。第１のレンズ３５０および第２のレンズ３４０の組み合わせられた屈折力は、眼／脳が、第３の導波管２９０から生じる光が次の上方の導波管２８０からの光であったよりも光学無限遠から人物に向かって内向きにさらに近い第２の焦点面から生じるように解釈するように、別の漸増量の波面曲率を生成するように構成されてもよい。
【００８０】
他の導波管層３００、３１０およびレンズ３３０、３２０も同様に構成され、スタック内の最高導波管３１０は、人物に最も近い焦点面を表す集約焦点力のために、その出力をそれと眼との間のレンズの全てを通して送出する。スタックされた導波管アセンブリ２６０の他側の世界５１０から生じる光を視認／解釈するとき、レンズ３２０、３３０、３４０、３５０のスタックを補償するために、補償レンズ層６２０が、スタックの上部に配置され、下方のレンズスタック３２０、３３０、３４０、３５０の集約力を補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の外部結合光学要素およびレンズの集束側面は両方とも、静的であってもよい（すなわち、動的ではないまたは電気活性ではない）。いくつかの代替実施形態では、一方または両方とも、電気活性特徴を使用して動的であってもよい。
【００８１】
いくつかの実施形態では、導波管２７０、２８０、２９０、３００、３１０のうちの２つ以上のものは、同一の関連付けられた深度平面を有してもよい。例えば、複数の導波管２７０、２８０、２９０、３００、３１０が、同一深度平面に設定される画像を出力するように構成されてもよい、または導波管２７０、２８０、２９０、３００、３１０の複数のサブセットが、深度平面毎に１つのセットを伴う、同一の複数の深度平面に設定される画像を出力するように構成されてもよい。これは、それらの深度平面において拡張された視野を提供するようにタイル化された画像を形成する利点を提供し得る。
【００８２】
図６を継続して参照すると、外部結合光学要素５７０、５８０、５９０、６００、６１０は、導波管と関連付けられた特定の深度平面のために、光をその個別の導波管から再指向し、かつ本光を適切な量の発散またはコリメーションを伴って出力するように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、外部結合光学要素５７０、５８０、５９０、６００、６１０の異なる構成を有してもよく、これは、関連付けられた深度平面に応じて、異なる量の発散を伴う光を出力する。いくつかの実施形態では、光抽出光学要素５７０、５８０、５９０、６００、６１０は、体積特徴または表面特徴であってもよく、これは、具体的角度で光を出力するように構成されてもよい。例えば、光抽出光学要素５７０、５８０、５９０、６００、６１０は、体積ホログラム、表面ホログラム、および／または回折格子であってもよい。いくつかの実施形態では、特徴３２０、３３０、３４０、３５０は、レンズではなくてもよい。むしろ、それらは、単に、スペーサ（例えば、クラッディング層および／または空隙を形成するための構造）であってもよい。
【００８３】
いくつかの実施形態では、外部結合光学要素５７０、５８０、５９０、６００、６１０は、回折パターンを形成する回折特徴または「回折光学要素」（また、本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみがＤＯＥの各交差部で眼２１０に向かって偏向される一方、残りがＴＩＲを介して、導波管を通して移動し続けるように、十分に低回折効率を有する。画像情報を搬送する光は、したがって、様々な場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼２１０に向かって非常に均一パターンの出射放出となる。
【００８４】
いくつかの実施形態では、１つ以上のＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、ポリマー分散液晶の層を備えてもよく、その中で微小液滴は、ホスト媒体中に回折パターンを備え、微小液滴の屈折率は、ホスト材料の屈折率に実質的に整合するように切り替えられてもよい（その場合、パターンは、入射光を著しく回折させない）、または微小液滴は、ホスト媒体のものに整合しない屈折率に切り替えられてもよい（その場合、パターンは、入射光を能動的に回折させる）。
【００８５】
いくつかの実施形態では、カメラアセンブリ６３０（例えば、可視光および赤外線光カメラを含む、デジタルカメラ）が、眼２１０および／または眼２１０の周囲の組織の画像を捕捉し、例えば、ユーザ入力を検出する、および／またはユーザの生理学的状態を監視するために提供されてもよい。本明細書で使用されるように、カメラは、任意の画像捕捉デバイスであってもよい。いくつかの実施形態では、カメラアセンブリ６３０は、画像捕捉デバイスと、光（例えば、赤外線光）を眼に投影し、それが次いで、眼によって反射され、画像捕捉デバイスによって検出され得る、光源とを含んでもよい。いくつかの実施形態では、カメラアセンブリ６３０は、フレーム８０（図９Ｄ）に取り付けられてもよく、カメラアセンブリ６３０からの画像情報を処理し得る、処理モジュール１４０および／または１５０と電気通信してもよい。いくつかの実施形態では、１つのカメラアセンブリ６３０が、眼毎に利用され、各眼を別個に監視してもよい。
【００８６】
ここで図７を参照すると、導波管によって出力された出射ビームの実施例が、示される。１つの導波管が図示されるが、導波管アセンブリ２６０（図６）内の他の導波管も同様に機能し得、導波管アセンブリ２６０は、複数の導波管を含むことを理解されたい。光６４０が、導波管２７０の入力表面４６０において導波管２７０の中に投入され、ＴＩＲによって導波管２７０内を伝搬する。光６４０がＤＯＥ５７０上に衝突する点では、光の一部は、導波管から出射ビーム６５０として出射する。出射ビーム６５０は、略平行として図示されるが、本明細書に議論されるように、また、導波管２７０と関連付けられた深度平面に応じて、ある角度（例えば、発散出射ビーム形成）において眼２１０に伝搬するように再指向されてもよい。略平行出射ビームは、眼２１０からの遠距離（例えば、光学無限遠）における深度平面に設定されるように現れる画像を形成するように光を外部結合する、外部結合光学要素を伴う導波管を示し得ることを理解されたい。他の導波管または他の外部結合光学要素のセットは、より発散する、出射ビームパターンを出力してもよく、これは、眼２１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼２１０に近い距離からの光として脳によって解釈されるであろう。
【００８７】
いくつかの実施形態では、フルカラー画像が、原色、例えば、３つ以上の原色のそれぞれに画像をオーバーレイすることによって、各深度平面において形成されてもよい。図８は、スタックされた導波管アセンブリの実施例を図示し、各深度平面は、複数の異なる原色を使用して形成される画像を含む。図示される実施形態は、深度平面２４０ａ−２４０ｆを示すが、より多いまたはより少ない深度もまた、検討される。各深度平面は、第１の色Ｇの第１の画像、第２の色Ｒの第２の画像、および第３の色Ｂの第３の画像を含む、それと関連付けられた３つ以上の原色画像を有してもよい。異なる深度平面は、文字Ｇ、Ｒ、およびＢに続くジオプタ（ｄｐｔ）に関する異なる数字によって図に示される。単なる実施例として、これらの文字のそれぞれに続く数字は、ジオプタ（１／ｍ）、すなわち、視認者からの深度平面の逆距離を示し、図中の各ボックスは、個々の原色画像を表す。いくつかの実施形態では、異なる波長の光の眼の集束における差異を考慮するために、異なる原色に関する深度平面の正確な場所は、変動してもよい。例えば、所与の深度平面に関する異なる原色画像は、ユーザからの異なる距離に対応する深度平面上に設置されてもよい。そのような配列は、視力およびユーザ快適性を増加させ得、および／または色収差を減少させ得る。
【００８８】
いくつかの実施形態では、各原色の光は、単一専用導波管によって出力されてもよく、その結果、各深度平面は、それと関連付けられた複数の導波管を有してもよい。そのような実施形態では、文字Ｇ、Ｒ、またはＢを含む、図中の各ボックスは、個々の導波管を表すものと理解され得、３つの導波管は、深度平面毎に提供されてもよく、３つの原色画像が、深度平面毎に提供される。各深度平面と関連付けられた導波管は、本図面では、説明を容易にするために相互に隣接して示されるが、物理的デバイスでは、導波管は全て、レベル毎に１つの導波管を伴うスタックで配列されてもよいことを理解されたい。いくつかの他の実施形態では、複数の原色が、例えば、単一導波管のみが深度平面毎に提供され得るように、同一導波管によって出力されてもよい。
【００８９】
図８を継続して参照すると、いくつかの実施形態では、Ｇは、緑色であって、Ｒは、赤色であって、Ｂは、青色である。いくつかの他の実施形態では、マゼンタ色およびシアン色を含む、光の他の波長と関連付けられた他の色も、赤色、緑色、または青色のうちの１つ以上のものに加えて使用されてもよい、またはそれらに取って代わってもよい。
【００９０】
本開示全体を通した所与の光の色の言及は、視認者によってその所与の色であるように知覚される、光の波長の範囲内の１つ以上の波長の光を包含するものと理解されるであろうことを理解されたい。例えば、赤色光は、約６２０〜７８０ｎｍの範囲内の１つ以上の波長の光を含んでもよく、緑色光は、約４９２〜５７７ｎｍの範囲内の１つ以上の波長の光を含んでもよく、青色光は、約４３５〜４９３ｎｍの範囲内の１つ以上の波長の光を含んでもよい。
【００９１】
いくつかの実施形態では、光源５３０（図６）は、視認者の視覚的知覚範囲外の１つ以上の波長、例えば、赤外線および／または紫外線波長の光を放出するように構成されてもよい。加えて、ディスプレイ２５０の導波管の内部結合、外部結合、および他の光再指向構造は、例えば、結像および／またはユーザ刺激用途のために、本光をディスプレイからユーザの眼２１０に向かって指向および放出するように構成されてもよい。
【００９２】
ここで図９Ａを参照すると、いくつかの実施形態では、導波管に衝突する光は、その光を導波管の中に内部結合するために再指向される必要があり得る。内部結合光学要素が、光をその対応する導波管の中に再指向および内部結合するために使用されてもよい。図９Ａは、それぞれ、内部結合光学要素を含む、複数またはセット６６０のスタックされた導波管の実施例の断面側面図を図示する。導波管はそれぞれ、１つまたはそれを上回る異なる波長または１つまたはそれを上回る異なる波長範囲の光を出力するように構成されてもよい。スタック６６０は、スタック２６０（図６）に対応してもよく、スタック６６０の図示される導波管は、複数の導波管２７０、２８０、２９０、３００、３１０の一部に対応してもよいが、画像投入デバイス３６０、３７０、３８０、３９０、４００のうちの１つ以上のものからの光が、光が内部結合のために再指向されることを要求する位置から導波管の中に投入されることを理解されたい。
【００９３】
スタックされた導波管の図示されるセット６６０は、導波管６７０、６８０、および６９０を含む。各導波管は、関連付けられた内部結合光学要素（導波管上の光入力面積とも称され得る）を含み、例えば、内部結合光学要素７００は、導波管６７０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７１０は、導波管６８０の主要表面（例えば、上側主要表面）上に配置され、内部結合光学要素７２０は、導波管６９０の主要表面（例えば、上側主要表面）上に配置される。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０のうちの１つ以上のものは、個別の導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい（特に、１つ以上の内部結合光学要素は、反射性偏向光学要素である）。図示されるように、内部結合光学要素７００、７１０、７２０は、その個別の導波管６７０、６８０、６９０の上側主要表面（または次の下側導波管の上部）上に配置されてもよく、特に、それらの内部結合光学要素は、透過性偏向光学要素である。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０は、個別の導波管６７０、６８０、６９０の本体内に配置されてもよい。いくつかの実施形態では、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、他の光の波長を透過しながら、１つ以上の光の波長を選択的に再指向するような波長選択的である。その個別の導波管６７０、６８０、６９０の片側または角に図示されるが、内部結合光学要素７００、７１０、７２０は、いくつかの実施形態では、その個別の導波管６７０、６８０、６９０の他の面積内に配置されてもよいことを理解されたい。
【００９４】
図示されるように、内部結合光学要素７００、７１０、７２０は、相互から側方にオフセットされてもよい。いくつかの実施形態では、各内部結合光学要素は、その光が別の内部結合光学要素を通して通過せずに、光を受信するようにオフセットされてもよい。例えば、各内部結合光学要素７００、７１０、７２０は、図６に示されるように、光を異なる画像投入デバイス３６０、３７０、３８０、３９０、および４００から受信するように構成されてもよく、光を内部結合光学要素７００、７１０、７２０の他のものから実質的に受信しないように、他の内部結合光学要素７００、７１０、７２０から分離されてもよい（例えば、側方に離間される）。
【００９５】
各導波管はまた、関連付けられた光分散要素を含み、例えば、光分散要素７３０は、導波管６７０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７４０は、導波管６８０の主要表面（例えば、上部主要表面）上に配置され、光分散要素７５０は、導波管６９０の主要表面（例えば、上部主要表面）上に配置される。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられた導波管６７０、６８０、６９０の底部主要表面上に配置されてもよい。いくつかの他の実施形態では、光分散要素７３０、７４０、７５０は、それぞれ、関連付けられた導波管６７０、６８０、６９０の上部および底部両方の主要表面上に配置されてもよい、または光分散要素７３０、７４０、７５０は、それぞれ、異なる関連付けられた導波管６７０、６８０、６９０内の上部主要表面および底部主要表面の異なるもの上に配置されてもよい。
【００９６】
導波管６７０、６８０、６９０は、例えば、材料のガス、液体および／または固体層によって離間および分離されてもよい。例えば、図示されるように、層７６０ａは、導波管６７０および６８０を分離してもよく、層７６０ｂは、導波管６８０および６９０を分離してもよい。いくつかの実施形態では、層７６０ａおよび７６０ｂは、低屈折率材料（すなわち、導波管６７０、６８０、６９０の直近のものを形成する材料より低い屈折率を有する材料）から形成される。好ましくは、層７６０ａ、７６０ｂを形成する材料の屈折率は、導波管６７０、６８０、６９０を形成する材料の屈折率に対して０．０５またはそれを上回る、または０．１０またはそれを下回る。有利には、より低い屈折率層７６０ａ、７６０ｂは、導波管６７０、６８０、６９０を通して光の全内部反射（ＴＩＲ）（例えば、各導波管の上部主要表面および底部主要表面の間のＴＩＲ）を促進する、クラッディング層として機能してもよい。いくつかの実施形態では、層７６０ａ、７６０ｂは、空気から形成される。図示されないが、導波管の図示されるセット６６０の上部および底部は、直近クラッディング層を含んでもよいことを理解されたい。
【００９７】
好ましくは、製造および他の考慮点を容易にするために、導波管６７０、６８０、６９０を形成する材料は、類似または同一であって、層７６０ａ、７６０ｂを形成する材料は、類似または同一である。いくつかの実施形態では、導波管６７０、６８０、６９０を形成する材料は、１つ以上の導波管間で異なってもよい、および／または層７６０ａ、７６０ｂを形成する材料は、依然として、前述の種々の屈折率関係を保持しながら、異なってもよい。
【００９８】
図９Ａを継続して参照すると、光線７７０、７８０、７９０が、導波管のセット６６０に入射する。光線７７０、７８０、７９０は、１つ以上の画像投入デバイス３６０、３７０、３８０、３９０、４００（図６）によって導波管６７０、６８０、６９０の中に投入されてもよいことを理解されたい。
【００９９】
いくつかの実施形態では、光線７７０、７８０、７９０は、異なる色に対応し得る、異なる性質、例えば、異なる波長または異なる波長範囲を有する。内部結合光学要素７００、７１０、７２０はそれぞれ、光が、ＴＩＲによって、導波管６７０、６８０、６９０のうちの個別の１つを通して伝搬するように、入射光を偏向させる。いくつかの実施形態では、内部結合光学要素７００、７１０、７２０はそれぞれ、他の波長を下層導波管および関連付けられた内部結合光学要素に透過させながら、１つ以上の特定の光の波長を選択的に偏向させる。
【０１００】
例えば、内部結合光学要素７００は、それぞれ、異なる第２および第３の波長または波長範囲を有する、光線７８０および７９０を透過させながら、第１の波長または波長範囲を有する、光線７７０を偏向させるように構成されてもよい。透過された光線７８０は、第２の波長または波長範囲の光を偏向させるように構成される、内部結合光学要素７１０に衝突し、それによって偏向される。光線７９０は、第３の波長または波長範囲の光を選択的に偏向させるように構成される、内部結合光学要素７２０によって偏向される。
【０１０１】
図９Ａを継続して参照すると、偏向された光線７７０、７８０、７９０は、対応する導波管６７０、６８０、６９０を通して伝搬するように偏向される。すなわち、各導波管の内部結合光学要素７００、７１０、７２０は、光をその対応する導波管６７０、６８０、６９０の中に偏向させ、光を対応する導波管の中に内部結合する。光線７７０、７８０、７９０は、光をＴＩＲによって個別の導波管６７０、６８０、６９０を通して伝搬させる角度で偏向される。光線７７０、７８０、７９０は、導波管の対応する光分散要素７３０、７４０、７５０に衝突するまで、ＴＩＲによって個別の導波管６７０、６８０、６９０を通して伝搬する。
【０１０２】
ここで図９Ｂを参照すると、図９Ａの複数のスタックされた導波管の実施例の斜視図が、図示される。前述のように、内部結合された光線７７０、７８０、７９０は、それぞれ、内部結合光学要素７００、７１０、７２０によって偏向され、次いで、それぞれ、導波管６７０、６８０、６９０内でＴＩＲによって伝搬する。光線７７０、７８０、７９０は、次いで、それぞれ、光分散要素７３０、７４０、７５０に衝突する。光分散要素７３０、７４０、７５０は、それぞれ、外部結合光学要素８００、８１０、８２０に向かって伝搬するように、光線７７０、７８０、７９０を偏向させる。
【０１０３】
いくつかの実施形態では、光分散要素７３０、７４０、７５０は、直交瞳エクスパンダ（ＯＰＥ）である。いくつかの実施形態では、ＯＰＥは、光を外部結合光学要素８００、８１０、８２０に偏向または分散し、いくつかの実施形態では、また、外部結合光学要素に伝搬するにつれて、本光のビームまたはスポットサイズを増加させ得る。いくつかの実施形態では、光分散要素７３０、７４０、７５０は、省略されてもよく、内部結合光学要素７００、７１０、７２０は、光を直接外部結合光学要素８００、８１０、８２０に偏向させるように構成されてもよい。例えば、図９Ａを参照すると、光分散要素７３０、７４０、７５０は、それぞれ、外部結合光学要素８００、８１０、８２０と置換されてもよい。いくつかの実施形態では、外部結合光学要素８００、８１０、８２０は、光を視認者の眼２１０（図７）に指向させる、射出瞳（ＥＰ）または射出瞳エクスパンダ（ＥＰＥ）である。ＯＰＥは、少なくとも１つの軸においてアイボックスの寸法を増加させるように構成されてもよく、ＥＰＥは、ＯＰＥの軸と交差する、例えば、直交する軸においてアイボックスを増加させてもよいことを理解されたい。例えば、各ＯＰＥは、光の残りの部分が導波管を辿って伝搬し続けることを可能にしながら、ＯＰＥに衝打する光の一部を同一導波管のＥＰＥに再指向するように構成されてもよい。ＯＰＥへの衝突に応じて、再び、残りの光の別の部分は、ＥＰＥに再指向され、その部分の残りの部分は、導波管等を辿ってさらに伝搬し続ける。同様に、ＥＰＥへの衝打に応じて、衝突光の一部は、導波管からユーザに向かって指向され、その光の残りの部分は、ＥＰに再び衝打するまで、導波管を通して伝搬し続け、その時点で、衝突する光の別の部分は、導波管から指向される等となる。その結果、内部結合された光の単一ビームは、その光の一部がＯＰＥまたはＥＰＥによって再指向される度に、「複製」され、それによって、図６に示されるように、クローン化された光のビーム野を形成し得る。いくつかの実施形態では、ＯＰＥおよび／またはＥＰＥは、光のビームのサイズを修正するように構成されてもよい。
【０１０４】
故に、図９Ａおよび９Ｂを参照すると、いくつかの実施形態では、導波管のセット６６０は、原色毎に、導波管６７０、６８０、６９０と、内部結合光学要素７００、７１０、７２０と、光分散要素（例えば、ＯＰＥ）７３０、７４０、７５０と、外部結合光学要素（例えば、ＥＰ）８００、８１０、８２０とを含む。導波管６７０、６８０、６９０は、各１つの間に空隙／クラッディング層を伴ってスタックされてもよい。内部結合光学要素７００、７１０、７２０は、（異なる波長の光を受信する異なる内部結合光学要素を用いて）入射光をその導波管の中に再指向または偏向させる。光は、次いで、個別の導波管６７０、６８０、６９０内にＴＩＲをもたらすであろう角度で伝搬する。示される実施例では、光線７７０（例えば、青色光）は、前述の様式において、第１の内部結合光学要素７００によって偏光され、次いで、導波管を辿ってバウンスし続け、光分散要素（例えば、ＯＰＥ）７３０、次いで、外部結合光学要素（例えば、ＥＰ）８００と相互作用する。光線７８０および７９０（例えば、それぞれ、緑色および赤色光）は、導波管６７０を通して通過し、光線７８０は、内部結合光学要素７１０上に衝突し、それによって偏向される。光線７８０は、次いで、ＴＩＲを介して、導波管６８０を辿ってバウンスし、その光分散要素（例えば、ＯＰＥ）７４０、次いで、外部結合光学要素（例えば、ＥＰ）８１０に進むであろう。最後に、光線７９０（例えば、赤色光）は、導波管６９０を通して通過し、導波管６９０の光内部結合光学要素７２０に衝突する。光内部結合光学要素７２０は、光線が、ＴＩＲによって光分散要素（例えば、ＯＰＥ）７５０を伝搬し、次いで、ＴＩＲによって外部結合光学要素（例えば、ＥＰ）８２０に伝搬するように、光線７９０を偏向させる。外部結合光学要素８２０は、次いで、最後に、光線７９０を視認者に外部結合し、視認者はまた、他の導波管６７０、６８０からの外部結合した光も受信する。
【０１０５】
図９Ｃは、図９Ａおよび９Ｂの複数のスタックされた導波管の実施例の上下平面図を図示する。図示されるように、導波管６７０、６８０、６９０は、各導波管の関連付けられた光分散要素７３０、７４０、７５０および関連付けられた外部結合光学要素８００、８１０、８２０とともに、垂直に整合されてもよい。しかしながら、本明細書に議論されるように、内部結合光学要素７００、７１０、７２０は、垂直に整合されない。むしろ、内部結合光学要素は、好ましくは、非重複する（例えば、上下図に見られるように、側方に離間される）。本明細書でさらに議論されるように、本非重複空間配列は、１対１ベースで異なるリソースから異なる導波管の中への光の投入を促進し、それによって、具体的光源が具体的導波管に一意に結合されることを可能にする。いくつかの実施形態では、非重複の空間的に分離される内部結合光学要素を含む、配列は、偏移瞳システムと称され得、これらの配列内の内部結合光学要素は、サブ瞳に対応し得る。
【０１０６】
図９Ｄは、本明細書に開示される種々の導波管および関連システムが統合され得る、ウェアラブルディスプレイシステム６０の実施例を図示する。いくつかの実施形態では、ディスプレイシステム６０は、図６のシステム２５０であって、図６は、そのシステム６０のいくつかの部分をより詳細に図式的に示す。例えば、図６の導波管アセンブリ２６０は、ディスプレイ７０の一部であってもよい。
【０１０７】
図９Ｄを継続して参照すると、ディスプレイシステム６０は、ディスプレイ７０と、そのディスプレイ７０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ７０は、フレーム８０に結合されてもよく、これは、ディスプレイシステムユーザまたは視認者９０によって装着可能であって、ディスプレイ７０をユーザ９０の眼の正面に位置付けるように構成される。ディスプレイ７０は、いくつかの実施形態では、接眼レンズと見なされ得る。いくつかの実施形態では、スピーカ１００が、フレーム８０に結合され、ユーザ９０の外耳道に隣接して位置付けられるように構成される（いくつかの実施形態では、示されない別のスピーカも、随意に、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供してもよい）。ディスプレイシステム６０はまた、１つ以上のマイクロホン１１０または他のデバイスを含み、音を検出してもよい。いくつかの実施形態では、マイクロホンは、ユーザが入力またはコマンドをシステム６０に提供することを可能にするように構成され（例えば、音声メニューコマンドの選択、自然言語質問等）、および／または他の人物（例えば、類似ディスプレイシステムの他のユーザ）とのオーディオ通信を可能にしてもよい。マイクロホンはさらに、周辺センサとして構成され、オーディオデータ（例えば、ユーザおよび／または環境からの音）を収集してもよい。いくつかの実施形態では、ディスプレイシステム６０はさらに、ユーザの周囲の世界のオブジェクト、刺激、人々、動物、場所、または他の側面を検出するように構成される、１つ以上の外向きに指向される環境センサ１１２を含んでもよい。例えば、環境センサ１１２は、例えば、ユーザ９０の通常の視野の少なくとも一部に類似する画像を捕捉するように外向きを向いて位置し得る、１つ以上のカメラを含んでもよい。いくつかの実施形態では、ディスプレイシステムはまた、周辺センサ１２０ａを含んでもよく、これは、フレーム８０と別個であって、ユーザ９０の身体（例えば、ユーザ９０の頭部、胴体、四肢等）上に取り付けられてもよい。周辺センサ１２０ａは、いくつかの実施形態では、ユーザ９０の生理学的状態を特徴付けるデータを入手するように構成されてもよい。例えば、センサ１２０ａは、電極であってもよい。
【０１０８】
図９Ｄを継続して参照すると、ディスプレイ７０は、有線導線または無線コネクティビティ等の通信リンク１３０によって、ローカルデータ処理モジュール１４０に動作可能に結合され、これは、フレーム８０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホン内に埋設される、または別様にユーザ９０に除去可能に取り付けられる（例えば、リュック式構成、ベルト結合式構成において）等、種々の構成で搭載されてもよい。同様に、センサ１２０ａは、通信リンク１２０ｂ、例えば、有線導線または無線コネクティビティによって、ローカルプロセッサおよびデータモジュール１４０に動作可能に結合されてもよい。ローカル処理およびデータモジュール１４０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリまたはハードディスクドライブ）等のデジタルメモリを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。随意に、ローカル処理およびデータモジュール１４０は、１つ以上の中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含んでもよい。データは、ａ）センサ（例えば、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ、および／または本明細書に開示される他のセンサ（例えば、フレーム８０に動作可能に結合される、または別様にユーザ９０に取り付けられ得る））から捕捉されたデータ、および／またはｂ）可能性として処理または読出後にディスプレイ７０への通過のための遠隔処理モジュール１５０および／または遠隔データリポジトリ１６０（仮想コンテンツに関連するデータを含む）を使用して取得および／または処理されたデータを含んでもよい。ローカル処理およびデータモジュール１４０は、これらの遠隔モジュール１５０、１６０が相互に動作可能に結合され、ローカル処理およびデータモジュール１４０に対するリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク１７０、１８０によって、遠隔処理モジュール１５０および遠隔データリポジトリ１６０に動作可能に結合されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール１４０は、画像捕捉デバイス、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープのうちの１つ以上のものを含んでもよい。いくつかの他の実施形態では、これらのセンサのうちの１つまたはそれを上回るものは、フレーム８０に取り付けられてもよい、または有線または無線通信経路によってローカル処理およびデータモジュール１４０と通信する、独立構造であってもよい。
【０１０９】
図９Ｄを継続して参照すると、いくつかの実施形態では、遠隔処理モジュール１５０は、データおよび／または画像情報を分析および処理するように構成される、１つ以上のプロセッサを備えてもよく、例えば、１つ以上の中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、専用処理ハードウェア等を含んでもよい。いくつかの実施形態では、遠隔データリポジトリ１６０は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る、デジタルデータ記憶設備を備えてもよい。いくつかの実施形態では、遠隔データリポジトリ１６０は、１つ以上の遠隔サーバを含んでもよく、これは、情報、例えば、拡張現実コンテンツを生成するための情報をローカル処理およびデータモジュール１４０および／または遠隔処理モジュール１５０に提供する。いくつかの実施形態では、全てのデータが、記憶され、全ての計算は、ローカル処理およびデータモジュール内で行われ、遠隔モジュールからの完全に自律的使用を可能にする。随意に、ＣＰＵ、ＧＰＵ等を含む、外部システム（例えば、１つ以上のプロセッサ、１つ以上のコンピュータのシステム）が、処理（例えば、画像情報を生成する、データを処理する）の少なくとも一部を実施し、例えば、無線または有線接続を介して、情報をモジュール１４０、１５０、１６０に提供し、情報をそこから受信してもよい。
【０１１０】
（姿勢決定）
本明細書に説明されるように、ディスプレイデバイス（例えば、図９Ｄに説明される、ディスプレイシステム６０）は、仮想コンテンツをユーザ（例えば、フレーム８０に結合される、ディスプレイ７０を装着している等、ディスプレイデバイスを装着しているユーザ）に提示することができる。仮想コンテンツの提示の間、ディスプレイデバイスは、ディスプレイデバイスおよびユーザの頭部の姿勢を決定することができる。姿勢は、上記に説明されるように、ディスプレイデバイスおよび／またはユーザの頭部の配向、随意に、ディスプレイデバイスおよび／またはユーザの頭部の位置を識別することができる。例えば、ディスプレイデバイスは、仮想ドキュメントを実世界机上に備える、仮想コンテンツを提示することができる。ユーザが、その頭部をドキュメントを中心として回転させる、またはドキュメントにより近くにまたはそこからより離れるように移動するにつれて、ディスプレイデバイスは、その頭部姿勢を決定することができる。このように、ディスプレイデバイスは、仮想ドキュメントが現実的ドキュメントとして実世界机上に現れるように、提示される仮想コンテンツを調節することができる。本説明は、拡張現実等の仮想コンテンツを参照するが、ディスプレイデバイスは、仮想現実ディスプレイシステムであって、本明細書に説明される技法を利用してもよい。
【０１１１】
ディスプレイデバイスは、上記の図９Ｄに説明される環境センサ１１２等の結像デバイスを利用して、姿勢を決定することができる。結像デバイスは、例えば、ディスプレイデバイス上に固定される、外向きを向いたカメラであってもよい。結像デバイスは、したがって、実世界環境の画像を取得することができ、ディスプレイデバイスは、これらの画像を使用して、姿勢を決定することができる。結像デバイスは、時間の経過（例えば、１秒の１／１０、１／１５、１／３０、１／６０毎に）に応答して、またはディスプレイデバイスが閾値を上回る量で移動したことを検出することに応答して、画像を取得してもよい。例えば、結像デバイスは、実世界環境のライブ画像を取得することができる（例えば、カメラのセンサは、常時、画像情報を捕捉するように構成されてもよい）。本実施例では、ディスプレイデバイスは、入射画像情報が、閾値を上回る量で変化した、または閾値を上回る率で変化していることを決定することができる。別の実施例として、ディスプレイデバイスは、慣性測定ユニット内等のセンサ（例えば、磁力計、ジャイロスコープ等）を含んでもよく、ディスプレイデバイスは、これらのセンサを使用して、ディスプレイデバイスが閾値を上回る量で移動したかどうかを識別することができる。本実施例では、ディスプレイデバイスは、慣性測定ユニットによって検出された情報に基づいて、画像を取得することができる。現在の画像は、したがって、結像デバイスを介して、取得されてもよく、ユーザの移動に基づいて、前の画像と異なり得る。例えば、ユーザが、部屋を見回すにつれて、ディスプレイデバイスは、連続画像を取得することができる。
【０１１２】
本明細書に説明されるように、ディスプレイデバイスは、結像デバイスによって取得される連続画像間の顕著な点を追跡することができる。いくつかの実施形態では、ディスプレイデバイスは、パッチベースのフレーム／フレーム追跡プロセスを実施するように構成されることができる。顕著な点は、上記に説明されるように、角等の区別可能な視覚的点を表すことができる。顕著な点を前の画像から現在の画像まで追跡するために、ディスプレイデバイスは、前の画像内の顕著な点を囲繞するパッチを現在の画像上に投影することができる。本明細書に説明されるように、パッチは、顕著な点を囲繞するＭ×Ｎ画像エリアであることができる。例えば、顕著な点は、現在の画像内の２次元場所に対応し得、パッチは、２次元場所を囲繞するＭ×Ｎ画像エリアであることができる。ディスプレイデバイスは、次いで、投影されたパッチの場所を調節し、投影されたパッチと現在の画像内の対応する画像エリアとの間の誤差を最小限にする、またはピクセル強度における差異を集約することができる。例示的誤差最小限化プロセスは、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ、共役勾配等を含むことができる。一貫した、パッチ内の選択された場所、例えば、投影されたパッチの重心は、現在の画像内の追跡される顕著な点の場所であると理解され得る。このように、ディスプレイデバイスは、前のフレームから現在のフレームへの具体的視覚的着目点（例えば、角等の顕著な点）の移動を識別することができる。
【０１１３】
ディスプレイデバイスはまた、記述子ベースのマップ／フレーム追跡を利用するように構成されることができる。本明細書に説明されるように、マップ／フレーム追跡は、顕著な点の実世界場所（例えば、３次元場所）と、関連付けられた記述子とを示す、マップ情報を利用する。例えば、マップ情報は、実世界環境内の特定の角に関する３次元座標を示すことができる。特定の角が、ディスプレイデバイスによって、結像される、したがって、現在の画像内に表される場合、ディスプレイデバイスは、現在の画像内の表現をその対応する実世界場所に合致させることができる。マップ情報を生成するステップは、図１０Ａに関して下記により詳細に説明されるであろう。マップ／フレーム追跡では、新しい顕著な点は、閾値測定値未満（例えば、閾値数または閾値密度未満）の追跡される顕著な点を伴う現在の画像の画像エリアから抽出されることができる。記述子は、顕著な点毎に、生成され、記述子は、マップ情報に示される顕著な点の記述子に合致されることができる。本明細書で使用されるように、記述子は、顕著な点と関連付けられた視覚的な１つ以上の要素を説明することができる。例えば、記述子は、顕著な点の形状、色、テクスチャ等を示すことができる。加えて、記述子は、各顕著な点を囲繞するエリア（例えば、顕著な点を囲繞するＭ×Ｎピクセルエリア）を説明することができる。記述子は、例えば、顕著な点を囲繞するエリアのヒストグラム（例えば、ヒストグラムと関連付けられた英数字値）、エリアのハッシュ（例えば、Ｍ×Ｎピクセルエリア内の各ピクセルの値から算出された暗号化ハッシュ）等を表すことができる。
【０１１４】
生成された記述子に基づいて、ディスプレイデバイスは、したがって、顕著な点毎に生成された記述子とマップ情報に示される顕著な点の記述子を合致させることができる。このように、ディスプレイデバイスは、現在の画像内の各顕著な点に対応する、実世界場所（例えば、３Ｄ座標）を識別することができる。したがって、現在の画像内の顕著な点は、２Ｄ画像上への対応する３Ｄ実世界座標の投影を表すことができる。
【０１１５】
ディスプレイデバイスは、これらの合致に従って、その姿勢を決定することができる。例えば、ディスプレイデバイスは、ｎ点透視（ｐｎｐ）、効率的ｐｎｐ、ランダムサンプル共有項を伴うｐｎｐ等の例示的姿勢推定プロセスを実施することができる。続いて、ディスプレイデバイスは、後続画像内の顕著な点を追跡することができる。例えば、ディスプレイデバイスは、上記に説明されるように、現在の画像内の顕著な点を後続画像上に投影することができる。
【０１１６】
図１０Ａは、ディスプレイシステムの姿勢およびユーザの頭部の姿勢を決定するための例示的プロセス１０００のフローチャートを図示する。いくつかの実施形態では、プロセス１０００は、ディスプレイデバイス（例えば、処理ハードウェアおよびソフトウェアを含み得、随意に、情報を、処理するための１つ以上のコンピュータの外部システムに提供し、例えば、負荷処理を外部システムにオフロードし、外部システムからの情報を受信し得る、拡張現実ディスプレイシステム６０）によって実施されているように説明され得る。いくつかの実施形態では、ディスプレイデバイスは、１つ以上のプロセッサを備える、仮想現実ディスプレイデバイスであってもよい。
【０１１７】
ディスプレイデバイスは、実世界環境の現在の画像を取得する（ブロック１００２）。ディスプレイデバイスは、現在の画像を、ディスプレイデバイス上に固定される外向きを向いたカメラ等の結像デバイスから取得することができる。例えば、外向きを向いたカメラは、ディスプレイデバイスの正面に位置付けられ、ユーザによって見られるビュー（例えば、前向きのビュー）に類似するビューを取得することができる。図９Ｄに関して上記に説明されるように、ディスプレイデバイスは、ユーザによって装着されてもよい。ディスプレイデバイスは、随意に、２つ以上の結像デバイスを利用して、画像をそれぞれから同時（例えば、実質的に同時）に取得してもよい。結像デバイスは、したがって、実世界環境の立体画像を取得するように構成されてもよく、これは、画像内の場所の深度を決定するために利用されることができる。
【０１１８】
ディスプレイデバイスは、以前に取得された画像以降の閾値時間量経過に基づいて、結像デバイスをトリガする、または別様に、それに現在の画像を取得させることができる。結像デバイスは、したがって、１秒に１０回、１秒に１５回、１秒に３０回等の特定の頻度で画像を取得することができる。随意に、特定の頻度は、ディスプレイデバイスの処理作業量に基づいて、調節されることができる。例えば、特定の頻度は、ディスプレイデバイスのプロセッサが、１つ以上の閾値パーセンテージを上回って利用されている場合、適応的に低減されることができる。加えて、または代替として、ディスプレイデバイスは、ディスプレイデバイスの移動に基づいて、頻度を調節してもよい。例えば、ディスプレイデバイスは、閾値数の以前に決定された姿勢を示す情報を取得し、姿勢間の分散量を決定することができる。分散量に基づいて、ディスプレイデバイスは、例えば、中心傾向の測定値が特定の閾値を下回るまで、ディスプレイデバイスが画像を取得する頻度を増加させることができる。いくつかの実施形態では、ディスプレイデバイスは、慣性測定ユニット内に含まれるようなセンサを利用して、ユーザの推定される移動に従って、頻度を増加または減少させることができる。いくつかの実施形態では、閾値時間量経過に基づいて、現在の画像を取得することに加え、ディスプレイデバイスは、ユーザが閾値量（例えば、１つ以上の３次元軸を中心とした閾値距離）を上回って移動したことの推定に基づいて、現在の画像を取得することができる。例えば、ディスプレイデバイスは、慣性測定ユニットを利用して、ユーザの移動を推定することができる。いくつかの実施形態では、ディスプレイデバイスは、光、色分散量等を検出するセンサ等、１つ以上の他のセンサを利用して、センサによって検出された情報が閾値時間量内に閾値を上回って変化した（例えば、移動を示す）ことを決定することができる。
【０１１９】
現在の画像は、したがって、ユーザの現在のビューと関連付けられることができる。ディスプレイデバイスは、現在の画像を、処理するために、例えば、揮発性または不揮発性メモリ内に記憶することができる。加えて、ディスプレイデバイスは、現在の画像の前に取得された画像を記憶させることができる。説明されるであろうように、現在の画像は、前の画像と比較され、顕著な点が、前の画像から現在の画像まで追跡されることができる。したがって、ディスプレイデバイスは、前の画像内の各顕著な点と関連付けられた情報を記憶することができる。例えば、情報は、顕著な点毎のパッチと、随意に、その中にパッチが現れた前の画像内の場所（例えば、顕著な点のピクセル座標）とを含むことができる。いくつかの実施形態では、完全な前の画像を記憶する代わりに、ディスプレイデバイスは、前の画像内に含まれる顕著な点毎に、パッチを記憶することができる。
【０１２０】
上記に説明されるように、パッチは、顕著な点（例えば、結像されるような顕著な点）を囲繞するＭ×Ｎサイズの画像エリアを表すことができる。例えば、顕著な点は、パッチの重心であることができる。顕著な点は、角等の視覚的着目点であり得るため、角は、いくつかの実施形態では、単一ピクセルより大きくあり得る。パッチは、したがって、例えば、２つの線が交差する、視覚的着目点の場所を囲繞し得る（例えば、キーボード「７」上では、パッチは、水平線と傾けられた垂直線の交点を囲繞し得る）。例えば、ディスプレイデバイスは、特定のピクセルを顕著な点であるとして選択することができ、パッチは、本特定のピクセルを囲繞することができる。加えて、２つ以上のピクセルが、選択されてもよく、パッチは、これらの２つ以上のピクセルを囲繞することができる。下記に説明されるであろうように、前の画像のパッチは、現在の画像内の関連付けられた顕著な点を追跡するために利用されることができる。
【０１２１】
ディスプレイデバイスは、前の画像からの追跡される顕著な点を現在の画像に投影する（ブロック１００４）。上記に説明されるように、ディスプレイデバイスは、前の画像内に含まれる顕著な点と関連付けられた情報を記憶することができる。例示的情報は、顕著な点を囲繞するパッチを、前の画像内のパッチの場所を識別する情報とともに含むことができる。ディスプレイデバイスは、前の画像からの各顕著な点を現在の画像上に投影することができる。実施例として、前の画像と関連付けられた姿勢は、各顕著な点を現在の画像上に投影するために利用されることができる。下記に説明されるであろうように、オプティカルフロー等の姿勢推定値が、ディスプレイデバイスによって決定されることができる。本姿勢推定値は、前の画像に関して決定された姿勢を調節することができ、したがって、現在の画像上への追跡される顕著な点の初期投影が、取得されることができる。説明されるであろうように、本初期投影は、精緻化されることができる。
【０１２２】
ディスプレイデバイスは、軌道予測に基づいて（例えば、以前の決定された姿勢に基づいて）、および／または慣性測定ユニット、拡張カルマンフィルタ、視覚的慣性オドメトリ等に基づいて、時として、初期値とも称される、姿勢推定値を決定することができる。軌道予測に関して、ディスプレイデバイスは、ユーザが移動している可能性が高い方向を決定することができる。例えば、前の閾値数の姿勢決定が、ユーザがその頭部を特定の方法において下向きに回転させていることを示す場合、軌道予測は、本回転を延在させることができる。慣性測定ユニットに関して、ディスプレイデバイスは、慣性測定ユニットのセンサによって測定されるような配向および／または位置に対する調節を示す、情報を取得することができる。姿勢推定値は、したがって、現在の画像内の各追跡される顕著な点に対応する初期推定場所の決定を可能にすることができる。姿勢推定値に加え、ディスプレイデバイスは、マップ情報に示されるような各顕著な点の実世界場所を利用して、顕著な点を投影することができる。例えば、姿勢推定値は、前の画像内の２Ｄ場所から現在の画像内の２Ｄ場所への各顕著な点の推定される移動を知らせることができる。本新しい２Ｄ場所は、マップ情報と比較されることができ、顕著な点の推定される場所が、決定されることができる。
【０１２３】
前の画像内の顕著な点毎のパッチは、現在の画像の同一サイズＭ×Ｎピクセルエリアと比較されることができる。例えば、ディスプレイデバイスは、パッチとその上にパッチが投影された現在の画像の同一サイズＭ×Ｎピクセルエリアとの間の測光誤差が最小限にされる（例えば、局所または大域最小値またはユーザ選択可能閾値を下回る誤差等、実質的に最小限にされる）まで、現在の画像上に投影されたパッチの場所を調節することができる。いくつかの実施形態では、現在の画像のＭ×Ｎピクセルエリアの重心は、追跡される顕著な点に対応するように示されることができる。追跡される顕著な点を投影させるステップは、図１１−１２Ｂに関して下記により詳細に説明される。
【０１２４】
随意に、姿勢推定値を決定するために、ディスプレイデバイスは、現在の画像の姿勢を変動させることによって、全ての投影されたパッチの組み合わせられた測光コスト関数を最小限にすることができる。例えば、ディスプレイデバイスは、前の画像内の各顕著な点と関連付けられたパッチを現在の画像上に投影することができる（例えば、上記に説明されるように、初期姿勢推定値に基づいて）。ディスプレイデバイスは、次いで、測光コスト関数が最小限にされるまで、例えば、本初期姿勢推定値を修正することを介して、パッチを大域的に調節することができる。このように、より正確な精緻化された姿勢推定値が、取得され得る。下記に説明されるであろうように、本精緻化された姿勢推定値は、ディスプレイデバイスの姿勢を決定するとき、初期値、すなわち、正則化値として使用されることができる。例えば、精緻化された姿勢推定値は、精緻化された姿勢推定値からの逸脱が関連付けられたコストを有するように、コスト関数と関連付けられることができる。
【０１２５】
したがって、現在の画像は、前の画像から追跡された顕著な点を含むことができる。下記に説明されるであろうように、ディスプレイデバイスは、閾値測定値未満の追跡される顕著な点を伴う現在の画像の画像エリアを識別することができる。これは、例えば、ユーザがその頭部を実世界環境の新しい場所に移動させていることを表すことができる。このように、新しい場所を結像する、現在の画像の新しい画像エリアは、前の画像から追跡される顕著な点を含まなくてもよい。
【０１２６】
ディスプレイデバイスは、現在の画像の画像エリアが、閾値測定値未満の追跡される顕著な点を含むかどうかを決定する（ブロック１００６）。上記に説明されるように、ディスプレイデバイスは、パッチベースのフレーム／フレーム追跡に従って、例えば、連続画像上への追跡される顕著な点の投影を介して、随意に、マップ／フレーム追跡と組み合わせて、その姿勢を決定することができる。マップ／フレーム追跡は、現在の画像の１つ以上の画像エリアが、閾値測定値未満の追跡される顕著な点、例えば、閾値数の顕著な点または閾値密度の顕著な点を画像エリア内に含む場合、利用されることができる。
【０１２７】
図１０Ｂは、例示的な現在の画像の例示的画像エリアを図示する。図１０Ｂの実施例では、現在の画像１０２０Ａ、１０２０Ｂ、１０２０Ｃ、および１０２０Ｄが、図示される。これらの現在の画像は、ディスプレイデバイスを介して、例えば、ブロック１００２に関して上記に説明されるように、取得されてもよい。現在の画像１０２０Ａは、例示的画像エリア１０２２とともに図示される。上記に説明されるように、画像エリアは、現在の画像の全体を包含してもよい。したがって、ディスプレイデバイスは、現在の画像１０２０Ａが全体として閾値測定値未満の追跡される顕著な点を含むかどうかを決定することができる。
【０１２８】
いくつかの他の実施形態では、現在の画像は、明確に異なる部分に細分割されてもよい。例えば、図１０Ｂの実施例における現在の画像１０２０Ｂは、５×５グリッドに分離され、グリッドの各エリアは、明確に異なる部分を形成する。例示的画像エリア１０２４は、したがって、これらの部分のうちの１つである。ディスプレイデバイスは、これらの部分のいずれかが、閾値測定値未満の追跡される顕著な点を含むかどうかを決定することができる。このように、実世界環境の新しい場所が、現在の画像１０２０Ｂ内に含まれるため、部分のうちの１つ以上のものが、閾値測定値未満の追跡される顕著な点を含み得る。グリッドのサイズは、ユーザによって、および／またはディスプレイシステムによって、調節可能であってもよい。例えば、グリッドは、３×３、７×７、２×４等であるように選択されてもよい。随意に、グリッドは、ディスプレイシステムの動作の間、調節されてもよく、例えば、画像の種々の部分のサイズが、ユーザがディスプレイシステムを利用するにつれて変動する（例えば、処理制約、正確度閾値、画像間の姿勢推定値の差異等に従って、実質的にリアルタイムで）。
【０１２９】
現在の画像１０２０Ｃは、例示的な追跡される顕著な点とともに図示される。本実施例では、画像エリアは、追跡される顕著な点の疎度に従って決定されてもよい。例えば、画像エリア１０２６Ａおよび１０２６Ｂは、単一の追跡される顕著な点を囲繞するように図示される。画像エリアのサイズは、ユーザ選択可能または固定されるシステム決定サイズ（例えば、Ｍ×Ｎピクセルエリア）であってもよい。ディスプレイデバイスは、追跡される顕著な点を分析し、閾値未満の測定値を伴う画像エリアが現在の画像１０２０Ｃ内に位置し得るかどうかを決定することができる。例えば、画像エリア１０２６Ａおよび１０２６Ｂは、ディスプレイデバイスによって、閾値未満の測定値を含むものとして識別されている。随意に、ディスプレイデバイスは、閾値を上回る測定値を含む、画像エリアを識別し、残りの画像エリアを閾値未満の測定値を含むものとして識別することができる。例えば、画像エリア１０２８および１０３０は、閾値測定値を上回る追跡される顕著な点を含むものとして識別されている。したがって、本実施例では、ディスプレイデバイスは、画像１０２８および１０３０外の任意の場所を閾値測定値未満の追跡される顕著な点を有するものとして識別することができる。ディスプレイデバイスは、次いで、新しい顕著な点をこれらの外側画像エリア内で抽出することができる。随意に、ディスプレイデバイスは、現在の画像内の場所に関するクラスタリング測定値を決定することができる。例えば、クラスタリング測定値は、ある場所が追跡される顕著な点から生じる、平均距離を示すことができる。加えて、クラスタリング測定値は、場所の閾値距離内の追跡される顕著な点の平均数を示すことができる。クラスタリング測定値が、１つ以上の閾値を下回る場合、ディスプレイデバイスは、新しい顕著な点をこれらの場所において抽出することができる。随意に、ディスプレイデバイスは、新しい顕著な点を各場所を囲繞するＭ×Ｎエリア内で抽出することができる。
【０１３０】
現在の画像１０２０Ｄは、例示的画像エリア１０３２とともに図示される。本実施例では、画像エリア１０３２は、現在の画像１０２０Ｄの中心等の現在の画像１０２０Ｄの特定の場所内に設置されることができる。いくつかの実施形態では、例示的画像エリア１０３２は、ユーザの特定の視野を表すことができる。画像エリア１０３２は、円形、卵形、長方形等の特定の形状またはポリゴンであってもよい。いくつかの実施形態では、画像エリア１０３２は、結像デバイスのレンズと関連付けられた正確度に基づくことができる。例えば、画像エリア１０３２は、レンズの縁に導入される、実質的に歪曲がないレンズの中心を表すことができる。したがって、ディスプレイデバイスは、画像エリア１０３２が閾値測定値未満の追跡される顕著な点を含むかどうかを識別することができる。
【０１３１】
再び図１０Ａを参照すると、ディスプレイデバイスは、マップ／フレーム追跡を実施する（ブロック１００８）。ディスプレイデバイスは、現在の画像の任意の画像エリアが閾値測定値未満の追跡される顕著な点を含むかどうかを識別することができる。上記に説明されるように、ディスプレイデバイスは、新しい顕著な点を識別された画像エリア内で抽出することができる。例えば、ディスプレイデバイスは、画像エリア内の新しい顕著な点の２Ｄ場所を識別することができる。ディスプレイデバイスは、次いで、新しく抽出された顕著な点および既存の追跡される顕著な点に関する記述子を受信することができる。例えば、ディスプレイデバイスは、例えば、これらの記述子を生成することによって、新しく抽出され、追跡される、顕著な点に関する記述子を提供することができる。随意に、ディスプレイデバイスは、新しく抽出された顕著な点に関する記述子を生成することによって、かつ追跡される顕著な点に関する記述子を受信する（例えば、メモリから取得する）ことによって、記述子を提供することができる。実施例として、ディスプレイデバイスは、以前に生成された、追跡される顕著な点に関する記述子を利用することができる。例えば、記述子は、各追跡される顕著な点が画像から新しく抽出されたときに生成されている場合がある。これらの記述子は、ディスプレイデバイスによって、マップ情報内に記憶される記述子と合致されることができる。マップ情報は、顕著な点の実世界座標を記憶するため、ディスプレイデバイスは、現在の画像内で追跡される各顕著な点の実世界座標を識別することができる。マップ／フレーム追跡を実施するステップは、図１３に関して下記により詳細に説明されるであろう。
【０１３２】
マップ情報は、本明細書で利用されるように、ディスプレイデバイスによって生成されることができる。例えば、ディスプレイデバイスは、立体結像デバイス、深度センサ、ライダ等を利用して、実世界環境内の場所と関連付けられた深度情報を決定することができる。ディスプレイデバイスは、マップ情報を、周期的に、例えば、閾値数の秒または分毎に更新することができる。加えて、マップ情報は、例えば、立体結像デバイスから取得されるような現在の画像がキーフレームであることを識別することに基づいて、更新されることができる。これは、上記に説明されるように、時間に従って、随意に、現在の画像と前の（例えば、直近の）キーフレームとの間の差異に従って、識別されることができる。例えば、現在の画像が、閾値を上回って変化した場合、現在の画像は、キーフレームと識別されることができる。これらのキーフレームは、次いで、分析され、マップ情報を更新することができる。
【０１３３】
立体結像デバイスに関して、ディスプレイデバイスは、各立体画像内の顕著な点に関する記述子を生成することができる。既知の付帯較正情報、例えば、２つの結像デバイス間の相対的姿勢を使用して、深度情報が、識別されることができる。立体画像間の顕著な点を合致させる記述子と、深度情報とに基づいて、（例えば、座標基準フレームに対する）実世界座標が、顕著な点毎に、決定されることができる。合致される顕著な点毎に生成された記述子のうちの１つ以上のものは、次いで、記憶されることができる。したがって、マップ／フレーム追跡の間、実世界の顕著な点に関するこれらの記憶される記述子は、捕捉された画像（例えば、現在の画像）内に含まれる顕著な点の記述子に合致されることができる。実施例として、立体結像デバイスのうちの１つは、現在の画像を取得してもよい（例えば、ブロック１００２に説明されるように）。ディスプレイデバイスは、マップ情報にアクセスし、いくつかの実施形態では、本同一結像デバイスに関して生成された、記述子を、現在の画像内に含まれる顕著な点の記述子と合致させることができる。随意に、パッチベースの測光誤差最小限化が、立体画像間の顕著な点を合致させ、したがって、マップ情報内に記憶されるべき実世界座標を決定するために利用されてもよい。ディスプレイデバイスは、次いで、（例えば、立体画像のうちの１つ以上のものからの）顕著な点に関する個別の記述子を生成することができ、これらの記述子は、マップ／フレーム追跡を実施するために利用されることができる。マップ情報を生成するさらなる説明は、少なくとも、図１６および米国特許公開第２０１４／０３０６８６６号（参照することによってその全体として本明細書に組み込まれる）の関連説明に含まれる。
【０１３４】
図１０Ａを継続して参照すると、ディスプレイデバイスは、記述子合致に基づいて、姿勢を決定する（ブロック１０１２）。上記に説明されるように、ディスプレイデバイスは、現在の画像内に含まれる顕著な点毎に、実世界座標（例えば、特定の座標基準フレームに対する、例えば、３次元座標）を識別することができる。ディスプレイデバイスは、次いで、例えば、ｎ点透視アルゴリズムを利用して、その姿勢を決定することができる。固有のカメラパラメータ等の結像デバイスと関連付けられた情報が、姿勢を決定するために利用されることができる。したがって、ディスプレイデバイスによって決定された姿勢は、カメラ姿勢を表すことができる。ディスプレイデバイスは、本カメラ姿勢を調節して、ユーザの姿勢、ディスプレイデバイスの正面（例えば、中央）と関連付けられた姿勢等を決定することができる（例えば、ブロック１０１６）。例えば、ディスプレイデバイスは、ユーザからのカメラの既知の平行移動または回転オフセットに従って、カメラ姿勢を線形に変換することができる。
【０１３５】
いくつかの実施形態では、ディスプレイデバイスは、ＩＭＵから取得される情報を利用して、姿勢を決定することができる。例えば、情報は、初期値、すなわち、正則化値として利用され、姿勢を決定することができる。ディスプレイデバイスは、したがって、慣性測定ユニット情報を決定と関連付けられたコスト関数として使用することができる。実施例として、慣性測定ユニット情報からの発散量が、コストと関連付けられることができる。このように、慣性測定情報が、考慮されることができ、結果として生じる姿勢決定の正確度を改良することができる。同様に、ディスプレイデバイスは、拡張カルマンフィルタおよび／または視覚的慣性オドメトリと関連付けられた情報を利用してもよい。
【０１３６】
同様に、ディスプレイデバイスは、フレーム／フレーム追跡の間に取得される情報を、類似初期値、すなわち、正則化値として、利用することができる。上記に説明されるように、ディスプレイデバイスは、現在の画像の姿勢を変動させることによって、全てのパッチの組み合わせられた測光コスト関数を最小限にすることができる。このように、精緻化された姿勢推定値が、識別され得る。本精緻化された姿勢推定値は、初期値として、随意に、ＩＭＵ、拡張カルマンフィルタ、および／または視覚的慣性オドメトリと組み合わせて、利用されることができる。
【０１３７】
姿勢を決定することに続いて、ディスプレイデバイスは、現在の画像内に含まれる顕著な点毎に、パッチを生成することができる。例えば、ディスプレイデバイスは、現在の画像から新しく抽出された顕著な点に関するパッチと、また、前の画像から追跡される顕著な点に関するパッチとを生成することができる。パッチを生成するステップは、現在の画像内の各顕著な点を囲繞するＭ×Ｎピクセルエリアを取得するステップを含むことができる。随意に、前の画像から追跡される顕著な点に関して、ディスプレイデバイスは、前の画像と関連付けられたパッチを利用することができる。すなわち、顕著な点を後続画像内で追跡するとき、前の画像（例えば、現在の画像ではない）からのパッチが、フレーム／フレーム追跡において利用されることができる。ディスプレイデバイスは、次いで、後続画像を取得することができ、ブロック１００２−１０１６は、本後続画像に関して繰り返されることができる。
【０１３８】
図１０Ａを継続して参照すると、ディスプレイデバイスは、姿勢を追跡される顕著な点から決定する（ブロック１０１４）。現在の画像の画像エリアが、閾値測定値未満の追跡される顕著な点を含まない場合、ディスプレイデバイスは、随意に、追跡される顕著な点に基づいて、その姿勢を決定することができる。例えば、ディスプレイデバイスは、例えば、ｎ点透視アルゴリズムを利用して、その姿勢を決定することができる。随意に、ディスプレイデバイスは、ＩＭＵ、拡張カルマンフィルタ、視覚的慣性オドメトリ情報を、初期値または正則化値として利用することができる。随意に、ディスプレイデバイスは、画像エリアが、閾値測定値未満の追跡される顕著な点を含まない場合、ブロック１０１２を実施し、ブロック１０１４を実施しないことができる。
【０１３９】
ディスプレイデバイスは、ディスプレイデバイスユーザの姿勢を決定する（ブロック１０１６）。ディスプレイデバイスの姿勢は、カメラ姿勢、例えば、結像デバイスと関連付けられた姿勢を表すことができる。ディスプレイデバイスは、カメラからのユーザの既知のオフセットに基づいて、本姿勢を調節することができる。随意に、ディスプレイデバイスは、ユーザがディスプレイデバイスを装着するとき、初期訓練を実施し、例えば、適切なオフセットを決定することができる。本訓練は、結像デバイスに対するユーザの目線を知らせることができ、ディスプレイデバイスユーザの姿勢を決定するために利用されることができる。初期訓練を実施するための方法のいくつかの実施例は、２０１７年９月２７日に出願された米国特許出願第１５／７１７７４７号（参照することによってその全体として本明細書に組み込まれる）に見出され得る。
【０１４０】
図１１は、フレーム／フレーム追跡のための例示的プロセス１１００のフローチャートを図示する。いくつかの実施形態では、プロセス１１００は、ディスプレイデバイス（例えば、処理ハードウェアおよびソフトウェアを含み得、随意に、情報を、プロセスのために、１つ以上のコンピュータの外部システムに提供し、例えば、処理を外部システムにオフロードし、外部システムからの情報を受信し得る、ディスプレイシステム６０）によって実施されているように説明され得る。いくつかの実施形態では、ディスプレイデバイスは、１つ以上のプロセッサを備える、仮想現実ディスプレイデバイスであってもよい。
【０１４１】
ディスプレイデバイスは、各顕著な点と関連付けられたパッチを前の画像から取得する（ブロック１１０２）。図１０Ａに関して上記に説明されるように、ディスプレイデバイスは、追跡されている顕著な点毎に、パッチを記憶することができる。したがって、現在の画像が、取得されると、ディスプレイデバイスは、前の画像内に含まれる顕著な点と関連付けられたパッチ情報を取得することができる（例えば、記憶されたメモリから）。
【０１４２】
ディスプレイデバイスは、各取得されたパッチを現在の画像上に投影する（ブロック１１０４）。ここで、図１２Ａを参照する。図１２Ａは、前の画像（例えば、画像Ａ１２０２）および現在の画像（例えば、画像Ｂ１２０４）の実施例を図示する。各画像は、追跡されている顕著な点を含むものとして図示される。
【０１４３】
図１０Ａに関して上記に説明されるように、ディスプレイデバイスは、現在の画像Ｂ１２０４と関連付けられた姿勢推定値を決定することができる。加えて、前の画像Ａ１２０２内に含まれる各顕著な点は、既知の実世界場所または座標（例えば、本画像のために以前に実施されたマップ／フレーム追跡に基づく）を有する。したがって、これらの実世界場所、前の画像Ａ１２０２の姿勢、および姿勢推定値に基づいて、画像Ｂ１２０４上への顕著な点の投影が、決定されることができる。例えば、前の画像Ａ１２０２の姿勢は、姿勢推定値に従って、かつ画像Ａ１２０２内の顕著な点の実世界場所に基づいて、調節されることができ、顕著な点は、画像１２０４の２Ｄ場所において、画像Ｂ１２０４上に投影されることができる。図示されるように、追跡される顕著な点１２０８は、実世界場所１２０６と関連付けられる。本実世界場所１２０６に基づいて、ディスプレイデバイスは、顕著な点１２０８が初期推定２Ｄ場所において画像Ｂ１２０４内に位置すると決定した。上記に説明されるように、随意に、姿勢推定値は、慣性測定ユニットからの情報、拡張カルマンフィルタ、視覚的慣性オドメトリ等を介して、精緻化されることができる。
【０１４４】
図１２Ｂは、画像Ｂ１２０４上に投影されている顕著な点１２０８と関連付けられたパッチ１２１２を図示する。下記に説明されるであろうように、投影されたパッチ１２１２は、画像Ｂ１２０４上の場所において調節されることができる。調節は、投影されたパッチ１２１２および画像Ｂ１２０４の対応する画像エリアと関連付けられた誤差を低減させることに基づくことができる。誤差は、例えば、投影されたパッチ１２１２のピクセルと画像Ｂ１２０４の対応する画像エリア内のピクセルとの間のピクセル値（例えば、強度値）の差異であることができ、パッチ１２０８の位置は、値の差異を最小限にするように調節される。
【０１４５】
再び図１１および１２Ａを参照すると、ディスプレイデバイスは、投影されたパッチに合致する、現在の画像内の画像エリアを決定する（ブロック１１０６）。図１２Ｂに図示されるように、パッチ１２１２は、画像Ｂ１２０４上に投影されている。投影は、例えば、初期推定場所を表すことができる。ディスプレイデバイスは、次いで、画像Ｂ１２０４上の投影されたパッチ１２１２の場所を調節し、推定値を精緻化することができる。例えば、投影されたパッチ１２１２の場所は、１つ以上のピクセルずつ、初期推定場所から水平または垂直に移動されることができる。調節された場所毎に、ディスプレイデバイスは、投影されたパッチ１２１２と、その上にパッチ１２１２が位置する、画像Ｂ１２０４の同一Ｍ×Ｎ画像エリアとの間の差異を決定することができる。例えば、個別のピクセル値（例えば、強度値）の差異が、算出されることができる。ディスプレイデバイスは、測光誤差最適化に基づいて、パッチ１２１２を調節することができる。例えば、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ、共役勾配等が、局所誤差最小、大域誤差最小、閾値を下回る誤差等に達するために利用されてもよい。
【０１４６】
ディスプレイデバイスは、現在の画像内の追跡される顕著な点を識別する（ブロック１１０８）。例えば、追跡される顕著な点１２０８は、画像Ｂ１２０４上の調節されるパッチ１２１２の重心に対応する、２Ｄ場所を有すると識別されることができる。したがって、図示されるように、顕著な点１２０８は、画像Ａ１２０２から画像Ｂ１２０４まで追跡されている。
【０１４７】
図１３は、マップ／フレーム追跡のための例示的プロセス１３００のフローチャートを図示する。いくつかの実施形態では、プロセス１３００は、ディスプレイデバイス（例えば、処理ハードウェアおよびソフトウェアを含み得、随意に、情報を、プロセスのために、１つ以上のコンピュータの外部システムに提供し、例えば、処理を外部システムにオフロードし、外部システムからの情報を受信し得る、拡張現実ディスプレイシステム６０）によって実施されているように説明され得る。いくつかの実施形態では、ディスプレイデバイスは、１つ以上のプロセッサを備える、仮想現実ディスプレイデバイスであってもよい。
【０１４８】
ディスプレイデバイスは、新しい顕著な点を現在の画像から抽出する（ブロック１３０２）。図１０Ａに関して上記に説明されるように、ディスプレイデバイスは、閾値測定値未満の追跡される顕著な点を有する、現在の画像の画像エリアを識別することができる。例示的画像エリアは、図１０Ｂに図示される。これらの識別された画像エリアに関して、ディスプレイデバイスは、新しい顕著な点を抽出することができる（例えば、顕著な点を図示する現在の画像の場所を識別する）。例えば、角である顕著な点に関して、ディスプレイデバイスは、Ｈａｒｒｉｓ角検出、加速セグメント試験（ＦＡＳＴ）角検出からの特徴等を識別された画像エリア上で実施することができる。
【０１４９】
ディスプレイデバイスは、顕著な点毎に、記述子を生成する（ブロック１３０４）。ディスプレイデバイスは、（１）追跡される顕著な点（例えば、前の画像から追跡される顕著な点）と、（２）新しく抽出された顕著な点とに関する記述子を生成することができる。上記に説明されるように、記述子は、顕著な点の視覚的着目点（例えば、現在の画像内で結像されるように）、または顕著な点を囲繞するＭ×Ｎ画像エリアを説明するように生成されることができる。例えば、記述子は、顕著な点と関連付けられた形状、色、テクスチャ等を示すことができる。別の実施例として、記述子は、顕著な点と関連付けられたヒストグラム情報を示すことができる。
【０１５０】
ディスプレイデバイスは、顕著な点の実世界場所を現在の画像上に投影する（ブロック１３０６）。ここで、図１４Ａを参照する。図１４Ａは、新しく抽出された顕著な点（例えば、顕著な点１４０２）とともに、現在の画像Ｂ１２０４を図示する。例えば、ディスプレイデバイスは、画像Ｂ１２０４の下側部分が閾値測定値未満の追跡される顕著な点を含んでいると決定し、顕著な点を本下側部分から抽出した。したがって、図１４Ａの実施例では、画像Ｂ１２０４は、７つの顕著な点、すなわち、４つの追跡される顕著な点および３つの新しく抽出された顕著な点を含む。
【０１５１】
ディスプレイデバイスは、画像Ｂ１２０４内に含まれる顕著な点に対応する、実世界場所を識別する。本識別は、画像Ｂ１２０４内に含まれる顕著な点に関する実世界場所の初期推定値であることができる。説明されるであろうように、本推定値は、画像Ｂ１２０４内の顕著な点の各実世界場所が正確に決定され得るように、記述子合致に基づいて、精緻化されることができる。
【０１５２】
追跡される顕著な点１２０８に関して、ディスプレイデバイスは、追跡される顕著な点１２０８が実世界場所１２０６の閾値実世界距離内にある可能性が高いことを識別することができる。顕著な点１２０８は、前の画像Ａ１２０２（例えば、図１２Ａ−１２Ｂに図示される）から追跡されたため、ディスプレイデバイスは、顕著な点１２０８の実世界場所へのアクセスを有する。すなわち、マップ／フレーム追跡が、すでに、前の画像Ａ１２０２上で実施されており、したがって、実世界場所１２０６が、識別される。図１１−１２Ｂに説明されるように、顕著な点は、前の画像Ａ１２０２から現在の画像Ｂ１２０４まで正確に追跡されている。したがって、ディスプレイデバイスは、追跡される顕著な点１２０８が、前の画像Ａ１２０２内のその合致する顕著な点（例えば、図１２Ａに図示される顕著な点１２０８）と同一実世界場所１２０６に対応することを識別することができる。ディスプレイデバイスは、したがって、場所１２０６の閾値距離内の実世界の顕著な点の記述子と追跡される顕著な点１２０８に関して生成された記述子を比較することができる。このように、実世界の顕著な点は、追跡される顕著な点１２０８に合致されることができる。
【０１５３】
新しく抽出された顕著な点１４０２に関して、ディスプレイデバイスは、顕著な点１４０２が実世界場所１４０４の閾値実世界距離内にある可能性が高いことを識別することができる。例えば、ディスプレイデバイスは、マップ情報を、随意に、画像Ｂ１２０４に関する姿勢推定値とともに利用して、顕著な点の実世界場所１４０２に関する初期推定値を識別することができる。すなわち、ディスプレイデバイスは、前の画像Ａ１２０２の姿勢を示す、情報にアクセスし、姿勢推定値に従って、姿勢を調節することができる。随意に、姿勢推定値は、図１０Ａに説明される技法に従って、精緻化されることができる。ディスプレイデバイスは、次いで、調節される姿勢に基づいて、顕著な点１４０２の２Ｄ場所に対応する、実世界場所に関する初期推定値を決定することができる。下記に説明されるであろうように、記述子合致を介して、顕著な点１４０２に関する実世界場所が、決定されることができる。初期推定値（例えば、実世界場所１４０４）は、したがって、顕著な点１４０２に関する記述子とマップ情報に示される顕著な点の記述子との間の比較の回数の低減を可能にすることができる。
【０１５４】
再び図１４Ａを参照すると、ディスプレイデバイスは、顕著な点の記述子を合致させる（ブロック１３０８）。ディスプレイデバイスは、マップ情報に示される顕著な点の記述子と現在の画像内の顕著な点毎に生成された記述子を比較し（例えば、ブロック１３０４に説明されるように）、適切な合致を見出すことができる。
【０１５５】
上記に説明されるように、現在の画像上へのマップ情報に示される顕著な点の初期投影が、識別されることができる。実施例として、多数の実世界の顕著な点は、実世界場所１４０４に近接し得る。ディスプレイデバイスは、これらの多数の顕著な点に関する記述子と追跡される顕著な点１４０２に関して生成された記述子を比較することができる。したがって、初期投影は、ディスプレイデバイスが顕著な点１４０２の可能性が高い実世界場所を識別することを可能にするように実施される必要がある比較の低減を可能にすることができる。ディスプレイデバイスは、例えば、１つ以上の類似性測定値（例えば、ヒストグラム、形状、色、テクスチャ等の差異）に基づいて、大部分が類似する、記述子を合致させることができる。このように、ディスプレイデバイスは、現在の画像Ｂ１２０４内に含まれる各顕著な点に対応する実世界場所を決定することができる。
【０１５６】
ディスプレイデバイスは、次いで、図１０Ａに説明されるように、その姿勢を決定することができる。続いて、ディスプレイデバイスは、現在の画像Ｂ１２０４内に含まれる顕著な点毎に、パッチを生成することができる。これらの顕著な点は、後続画像内で追跡されるため、パッチは、上記に説明されるように、フレーム／フレーム追跡を実施するために利用されるであろう。
【０１５７】
例えば、図１４Ｂは、マップ／フレーム追跡後のフレーム／フレーム追跡を図示する。例示的例証では、画像Ｂ１２０４（例えば、図１２Ａ−Ｂおよび１４Ａ−Ｂにおける現在の画像）は、ここでは、前の画像を表し、画像Ｃ１４１０は、現在の画像を表す。本実施例では、顕著な点１４１２は、現在の画像Ｃ１４１０上に投影される。すなわち、例えば、ディスプレイデバイスが、上記に説明されるように、その姿勢を決定したことに続いて生成された、顕著な点１４１２と関連付けられたパッチは、現在の画像Ｃ１４１０上に投影されることができる。随意に、図１０Ａに説明されるように、顕著な点１４１２と関連付けられたパッチは、前の画像Ａ１２０２内で取得されるものと同一パッチであることができる。
【０１５８】
したがって、フレーム／フレーム追跡は、ディスプレイデバイスによって実施されることができる。上記の説明と同様に、現在の画像Ｃ１４１０は、次いで、分析されることができ、閾値測定値未満の追跡される顕著な点を伴う現在の画像Ｃ１４１０の任意の画像エリアが、識別されることができる。マップ／フレーム追跡が、次いで、実施され、新しい姿勢が、決定されることができる。
【０１５９】
図１５は、頭部姿勢を決定するための例示的プロセスのフローチャートを図示する。便宜上、プロセス１５００は、処理ハードウェアおよびソフトウェアを含み得、随意に、情報を、処理するための１つ以上のコンピュータの外部システムに提供し、例えば、処理を外部システムにオフロードし、外部システムからの情報を受信し得る、ディスプレイデバイス（例えば、ディスプレイシステム６０）によって実施されているように説明され得る。いくつかの実施形態では、ディスプレイデバイスは、１つ以上のプロセッサを備える、仮想現実ディスプレイデバイスであってもよい。
【０１６０】
ディスプレイデバイスは、ブロック１５０２において、追跡される顕著な点を現在の画像上に投影する。図１０Ａに関して上記に説明されるように、ディスプレイデバイスは、１つ以上の結像デバイスを介して取得される画像間の顕著な点の２次元画像場所を追跡することができる。例えば、特定の角が、第１の画像の特定の２次元（２Ｄ）場所（例えば、第１の画像の１つ以上のピクセル）において、第１の画像内に含まれ得る（例えば、図示される）。同様に、特定の角が、第２の画像の異なる２Ｄ場所において、第２の画像内に含まれ得る。上記に説明されるように、ディスプレイデバイスは、第１の画像の特定の２Ｄ場所が第２の画像の異なる２Ｄ場所に対応することを決定することができる。例えば、これらの異なる２Ｄ場所はそれぞれ、特定の角を図示し、特定の角は、したがって、第１の画像と第２の画像との間で追跡されている。第１の画像と第２の画像との間の対応は、これらの追跡される顕著な点に従って決定されることができる。
【０１６１】
図１５に図示されるように、その中で頭部姿勢が前の画像に関して算出される、ブロック１５１４の出力は、ブロック１５０２における利用のためのディスプレイデバイスによって取得される。加えて、合致される顕著な点は、ブロック１５０２における利用のためのディスプレイデバイスによって取得される。したがって、本実施例では、ディスプレイデバイスは、ユーザの以前の算出された頭部姿勢と、前の画像から現在の画像まで追跡されるべき顕著な点と関連付けられた情報とへのアクセスを有する。情報は、上記に説明されるように、顕著な点の実世界場所と、顕著な点と関連付けられた個別のパッチ（例えば、顕著な点を囲繞する前の画像のＭ×Ｎ画像エリア）とを含むことができる。説明されるであろうように、情報は、顕著な点を追跡するために利用されることができる。
【０１６２】
ブロック１５０２では、ディスプレイデバイスは、現在の画像を取得し（例えば、上記の図１０Ａに説明されるように）、前の画像内に含まれる（例えば、図示される）顕著な点を現在の画像上に投影する、または代替として、マップからの顕著な点を現在の画像に投影する。ディスプレイデバイスは、これに対して各顕著な点が対応する、現在の画像内の初期推定場所を識別することができる。例えば、図１４Ｂは、前の画像Ｂ１２０４の２Ｄ場所として表されている、例示的な顕著な点１４１２を図示する。本例示的な顕著な点１４１２は、次いで、現在の画像Ｃ１４１０上に投影される。例えば、ディスプレイデバイスは、前の画像に関して算出された姿勢（例えば、ブロック１５１４）、現在の画像に関する姿勢推定値、および前の画像内に含まれる（例えば、図示される）顕著な点の実世界場所を利用することができる。姿勢推定値は、上記に説明されるように、軌道予測および／または慣性測定ユニット（ＩＭＵ）情報に基づくことができる。ＩＭＵ情報は、随意であるが、いくつかの実施形態では、軌道予測に対する姿勢推定値または軌道予測そのものを改良し得る。いくつかの実施形態では、姿勢推定値は、前の画像から導出されるものと同一姿勢であり得る。ディスプレイデバイスは、姿勢推定値を利用して、前の画像に関して算出された姿勢を調節することができる。ディスプレイデバイスは、顕著な点の実世界場所へのアクセスを有するため、ディスプレイデバイスは、調節された姿勢に基づいて、これらの実世界場所を２次元の現在の画像上に投影することができる。
【０１６３】
したがって、ディスプレイデバイスは、個別の顕著な点に対応する、現在の画像の２Ｄ場所を推定することができる。上記に説明されるように、ディスプレイデバイスは、追跡されている顕著な点毎に、パッチを記憶することができる。パッチは、顕著な点を図示する画像の２Ｄ場所を囲繞する、Ｍ×Ｎ画像エリアであることができる。例えば、パッチは、顕著な点の２Ｄ場所から、画像の水平方向に沿って、設定数のピクセルだけ延在させることができる。同様に、パッチは、顕著な点の２Ｄ場所から、画像の垂直方向に沿って、設定数のピクセルだけ延在させることができる。ディスプレイデバイスは、各顕著な点と関連付けられたパッチ、例えば、各パッチを囲繞する前の画像のＭ×Ｎ画像エリアを取得することができる。各取得されたパッチは、次いで、現在の画像上に投影されることができる。実施例として、特定の顕著な点と関連付けられたパッチが、取得されてもよい。パッチは、特定の顕著な点の推定された２Ｄ場所を囲繞するように、現在の画像上に投影されることができる。上記に説明されるように、投影されたパッチの２Ｄ場所は、測光誤差最小限化に基づいて、調節されることができる。特定の顕著な点の実施例に関して、ディスプレイデバイスは、パッチとその上にパッチが投影された現在の画像のＭ×Ｎエリアとの間の誤差を決定することができる。ディスプレイデバイスは、次いで、本明細書に開示されるように、誤差が低減される（例えば、最小限にされる）まで、パッチの場所を調節することができる（例えば、垂直および／または水平方向に沿って）。
【０１６４】
ディスプレイデバイスは、随意に、ブロック１５０４において、姿勢推定値を精緻化してもよい。初期姿勢推定値が、上記に説明されるように、決定され得るが、随意に、ディスプレイデバイスは、姿勢推定値を精緻化してもよい。ディスプレイデバイスは、頭部姿勢を算出するとき、精緻化された姿勢推定値を初期値として利用されることができる（例えば、精緻化された姿勢推定値は、コスト関数と関連付けられてもよい）。
【０１６５】
図１０Ａに説明されるように、ディスプレイデバイスは、現在の画像の姿勢推定値を変動させることによって、全ての投影されたパッチの組み合わせられた測光コスト関数を最小限にすることができる。変動する姿勢推定値に起因して、個別の顕著な点に対応する、現在の画像の推定される２Ｄ場所が、調節されるであろう。したがって、現在の画像上に投影されたパッチは、変動する姿勢推定値に従って、大域的に調節されてもよい。ディスプレイデバイスは、投影されたパッチと対応する現在の画像の画像エリアとの間の最小の組み合わせられた誤差（例えば、大域または局所最小値、閾値未満の最小値等）が識別されるまで、姿勢推定値を変動させる。プロセス１５００に図示されるように、慣性測定ユニット情報、拡張カルマン情報（ＥＫＦ）、視覚的慣性オドメトリ（ＶＩＯ）情報等が、姿勢推定値を精緻化するとき、予測として利用されてもよい。
【０１６６】
ディスプレイデバイスは、ブロック１５０６において、投影された顕著な点の２Ｄ場所を精緻化する。上記に説明されるように、ディスプレイデバイスは、パッチ（例えば、顕著な点を囲繞する前の画像の画像エリア）を現在の画像上に投影することができる。ディスプレイデバイスは、次いで、（１）パッチと、（２）その上にパッチが投影された現在の画像のＭ×Ｎ画像エリアを比較することができる。最初に、ディスプレイデバイスは、顕著な点と関連付けられたパッチと顕著な点を囲繞する現在の画像のＭ×Ｎ画像エリアを比較することができる。続いて、ディスプレイデバイスは、垂直方向（例えば、現在の画像内の上向きまたは下向きに）および／または水平方向（例えば、現在の画像内の左または右に）に沿って、Ｍ×Ｎ画像エリアを調節することができる。調節毎に、パッチは、新しいＭ×Ｎ画像エリアと比較され、誤差が、決定されることができる。例えば、誤差は、パッチおよびＭ×Ｎ画像エリア内の対応するピクセル間のピクセル強度差の和（例えば、パッチの左上ピクセルと画像エリアの左上ピクセルとの間の差異が、算出され得る等と続く）を表すことができる。上記に説明されるように、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ等の誤差最小限化スキームに従って、ディスプレイデバイスは、パッチとの誤差を最小限にする、現在の画像のＭ×Ｎ画像エリアを識別することができる。識別されたＭ×Ｎ画像エリアによって囲繞される、現在の画像の２Ｄ場所は、パッチと関連付けられた顕著な点と識別されることができる。したがって、ディスプレイデバイスは、前の画像と現在の画像との間の顕著な点の２Ｄ場所を追跡することができる。
【０１６７】
ディスプレイデバイスは、ブロック１５０８において、閾値測定値未満の追跡される顕著な点を伴う画像エリア内の顕著な点を抽出する。図１０Ａ−１０Ｂに関して上記に説明されるように、ディスプレイデバイスは、新しい顕著な点が識別されるべき現在の画像の画像エリアを識別することができる。Ｈａｒｒｉｓ角検出等の抽出プロセスが、現在の画像に適用されることができ、新しい顕著な点に対応する、現在の画像の２Ｄ場所が、識別されることができる。
【０１６８】
ディスプレイデバイスは、続いて、ブロック１５１０において、現在の画像内に含まれる顕著な点に関する記述子を生成する。ディスプレイデバイスは、顕著な点に対応する、現在の画像の２Ｄ場所に基づいて、記述子を生成することができる。顕著な点は、前の画像から現在の画像まで追跡される顕著な点と、現在の画像内で新しく識別された顕著な点とを含む。実施例として、特定の顕著な点に関する記述子は、特定の顕著な点の２Ｄ場所と関連付けられたピクセルに基づいて、または２Ｄ場所を囲繞する画像エリアに基づいて、生成されることができる。
【０１６９】
ディスプレイデバイスは、ブロック１５１２において、マップ情報内に含まれる記述子を生成された記述子に合致させる。上記の図１３に説明されるように、ディスプレイデバイスは、マップ情報にアクセスし、マップ情報内に含まれる記述子を生成された記述子に合致させることができる。マップ情報は、顕著な点の実世界座標（例えば、３Ｄ座標）を、これらの実世界座標と関連付けられた記述子とともに、含むことができる。したがって、マップ情報記述子と生成された記述子との間の合致は、生成された記述子と関連付けられた顕著な点の実世界座標を示す。
【０１７０】
記述子を合致させるために、ディスプレイデバイスは、マップ情報内に含まれる記述子と現在の画像内に含まれる顕著な点に関して生成された各記述子を比較することができる。実施される比較の数を限定するために、ディスプレイデバイスは、現在の画像内に含まれる顕著な点の実世界場所を推定することができる。例えば、前の画像から現在の画像まで追跡される顕著な点は、既知の実世界座標を有する。別の実施例として、現在の画像内で新しく識別された顕著な点の実世界座標は、ディスプレイデバイスの姿勢推定値に従って、推定されることができる。したがって、ディスプレイデバイスは、これらの推定された実世界座標を使用して、その中に各顕著な点が含まれると推定される、実世界環境の部分を識別することができる。例えば、現在の画像内に含まれる特定の顕著な点は、推定される実世界座標を有すると決定されることができる。ディスプレイデバイスは、本特定の顕著な点に関して生成された記述子と、推定された実世界座標の閾値距離内の実世界座標と関連付けられたマップ情報内に含まれる記述子を比較することができる。したがって、ディスプレイデバイスが比較に焦点を当て得るため、マップ情報内に含まれる記述子と生成された記述子との間の比較の数は、低減されることができる。
【０１７１】
ディスプレイデバイスは、ブロック１５１４において、頭部姿勢を算出する。上記に説明されるように、ディスプレイデバイスは、現在の画像内に含まれる顕著な点の実世界座標と、現在の画像内のその対応する２Ｄ場所とに基づいて、頭部姿勢を算出することができる。例えば、ディスプレイデバイスは、結像デバイスのカメラ情報（例えば、固有のカメラパラメータ）を使用して、ｎ点透視アルゴリズムを実施することができる。このように、ディスプレイデバイスは、結像デバイスのカメラ姿勢を決定することができる。ディスプレイは、次いで、本カメラ姿勢を線形に変換し、ユーザの頭部姿勢を決定することができる。例えば、カメラ姿勢に対するユーザの頭部の平行移動および／または回転が、算出されることができる。ユーザの頭部姿勢は、次いで、ディスプレイデバイスによって、後続画像のために利用されることができ、例えば、頭部姿勢は、ブロック１５０２において利用されることができる。
【０１７２】
随意に、ディスプレイデバイスは、ブロック１５０４に説明されるように、コンピューティング頭部姿勢を算出するとき、精緻化された姿勢推定値を初期値として利用することができる。加えて、ディスプレイデバイスは、慣性測定ユニット情報、拡張カルマンフィルタ情報、慣性視覚的オドメトリ情報等を初期値として利用することができる。
【０１７３】
周囲環境内のオブジェクトを検出するためのコンピュータビジョン
上記に議論されるように、ディスプレイシステムは、ユーザを囲繞する環境内のオブジェクトまたはその性質を検出するように構成されてもよい。検出は、本明細書に議論されるように、種々の環境センサ（例えば、カメラ、オーディオセンサ、温度センサ等）を含む、種々の技法を使用して、遂行されてもよい。例えば、オブジェクトは、顕著な点（例えば、角）を表してもよい。
【０１７４】
いくつかの実施形態では、環境内に存在するオブジェクトは、コンピュータビジョン技法を使用して検出されてもよい。例えば、本明細書に開示されるように、ディスプレイシステムの正面に面したカメラは、周囲環境を結像するように構成されてもよく、ディスプレイシステムは、画像分析を画像上で実施し、周囲環境内のオブジェクトの存在を決定するように構成されてもよい。ディスプレイシステムは、外向きを向いた結像システムによって入手された画像を分析し、場面再構成、イベント検出、ビデオ追跡、オブジェクト認識、オブジェクト姿勢推定値、学習、インデックス化、運動推定、または画像復元等を実施してもよい。他の実施例として、ディスプレイシステムは、顔および／または眼認識を実施し、ユーザの視野内の顔および／またはヒト眼の存在および場所を決定するように構成されてもよい。１つ以上のコンピュータビジョンアルゴリズムが、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバスト特徴（ＳＵＲＦ）、配向ＦＡＳＴおよび回転ＢＲＩＥＦ（ＯＲＢ）、バイナリロバスト不変スケーラブルキー点（ＢＲＩＳＫ）、高速網膜キー点（ＦＲＥＡＫ）、Ｖｉｏｌａ−Ｊｏｎｅｓアルゴリズム、Ｅｉｇｅｎｆａｃｅｓアプローチ、Ｌｕｃａｓ−Ｋａｎａｄｅアルゴリズム、Ｈｏｒｎ−Ｓｃｈｕｎｋアルゴリズム、Ｍｅａｎ−ｓｈｉｆｔアルゴリズム、視覚的同時位置推定およびマッピング（ｖＳＬＡＭ）技法、シーケンシャルベイズ推定器（例えば、カルマンフィルタ、拡張カルマンフィルタ等）、バンドル調節、適応閾値化（および他の閾値化技法）、反復最近傍点（ＩＣＰ）、セミグローバルマッチング（ＳＧＭ）、セミグローバルブロックマッチング（ＳＧＢＭ）、特徴点ヒストグラム、種々の機械学習アルゴリズム（例えば、サポートベクトルマシン、ｋ最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク（畳み込みまたは深層ニューラルネットワークを含む）、または他の教師あり／教師なしモデル等）等を含む。
【０１７５】
これらのコンピュータビジョン技法のうちの１つ以上のものはまた、他の環境センサ（例えば、マイクロホン等）から入手されたデータと併用され、センサによって検出されたオブジェクトの種々の性質を検出および決定してもよい。
【０１７６】
本明細書に議論されるように、周囲環境内のオブジェクトが、１つ以上の基準に基づいて、検出されてもよい。コンピュータビジョンアルゴリズムを使用して、または１つ以上のセンサアセンブリ（ディスプレイシステムの一部であってもよい、またはそうではなくてもよい）から受信されたデータを使用して、ディスプレイシステムが、周囲環境内の基準の存在または不在を検出すると、ディスプレイシステムは、次いで、オブジェクトの存在を信号伝達してもよい。
【０１７７】
（機械学習）
種々の機械学習アルゴリズムが、周囲環境内のオブジェクトの存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、ディスプレイシステムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム（例えば、通常の最小２乗回帰等）、インスタンスベースのアルゴリズム（例えば、学習ベクトル量子化等）、決定ツリーアルゴリズム（例えば、分類および回帰ツリー等）、ベイズアルゴリズム（例えば、単純ベイズ等）、クラスタリングアルゴリズム（例えば、ｋ−平均クラスタリング等）、関連付けルール学習アルゴリズム（例えば、アプリオリアルゴリズム等）、人工ニューラルネットワークアルゴリズム（例えば、Ｐｅｒｃｅｐｔｒｏｎ等）、深層学習アルゴリズム（例えば、Ｄｅｅｐ  Ｂｏｌｔｚｍａｎｎ  Ｍａｃｈｉｎｅ、すなわち、深層ニューラルネットワーク等）、次元削減アルゴリズム（例えば、主成分分析等）、アンサンブルアルゴリズム（例えば、Ｓｔａｃｋｅｄ  Ｇｅｎｅｒａｌｉｚａｔｉｏｎ等）、および／または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされてもよい。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶してもよい。ベースモデルは、開始点として使用され、データタイプ（例えば、特定のユーザ）、データセット（例えば、取得される付加的画像のセット）、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、ディスプレイシステムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されてもよい。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
【０１７８】
オブジェクトを検出するための基準は、１つ以上の閾値条件を含んでもよい。環境センサによって入手されたデータの分析が、閾値条件に合格したことを示す場合、ディスプレイシステムは、周囲環境内のオブジェクトの存在の検出を示す信号を提供してもよい。閾値条件は、定量的および／または定質的測定を伴ってもよい。例えば、閾値条件は、オブジェクトが環境内に存在することの可能性と関連付けられたスコアまたはパーセンテージを含んでもよい。ディスプレイシステムは、環境センサのデータから計算されるスコアと閾値スコアを比較してもよい。スコアが、閾値レベルより高い場合、ディスプレイシステムは、反射および／またはオブジェクトの存在を検出し得る。いくつかの他の実施形態では、ディスプレイシステムは、スコアが閾値より低い場合、環境内のオブジェクトの存在を信号伝達してもよい。いくつかの実施形態では、閾値条件は、ユーザの感情状態および／または周囲環境とのユーザの相互作用に基づいて決定されてもよい。
【０１７９】
本明細書に説明される、および／または図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得ることを理解されたい。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
【０１８０】
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
【０１８１】
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール（１４０）、遠隔処理モジュール（１５０）、および遠隔データリポジトリ（１６０）のうちの１つ以上のものの一部であってもよい。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
【０１８２】
本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されてもよい。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実施形態においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
【０１８３】
前述の明細書は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなくそこに行われ得ることが明白となるであろう。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。
【０１８４】
実際、本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されないことを理解されたい。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。
【０１８５】
別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装されてもよい。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副次的組み合わせにおいて実装されてもよい。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、組み合わせから削除されてもよく、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。
【０１８６】
とりわけ、「〜できる（ｃａｎ）」、「〜し得る（ｃｏｕｌｄ）」、「〜し得る（ｍｉｇｈｔ）」、「〜し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図されることを理解されたい。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「〜を備える」、「〜を含む」、「〜を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つ以上の」または「少なくとも１つ」を意味するように解釈されるべきである。同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、図面は、フローチャートの形態で１つ以上の例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つ以上の付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。
【０１８７】
故に、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。
【図１】
2021509495.tif 000003
【図２】
2021509495.tif 000004
【図３Ａ】
2021509495.tif 000005
【図３Ｂ】
2021509495.tif 000006
【図３Ｃ】
2021509495.tif 000007
【図４Ａ】
2021509495.tif 000008
【図４Ｂ】
2021509495.tif 000009
【図４Ｃ】
2021509495.tif 000010
【図４Ｄ】
2021509495.tif 000011
【図５】
2021509495.tif 000012
【図６】
2021509495.tif 000013
【図７】
2021509495.tif 000014
【図８】
2021509495.tif 000015
【図９Ａ】
2021509495.tif 000016
【図９Ｂ】
2021509495.tif 000017
【図９Ｃ】
2021509495.tif 000018
【図９Ｄ】
2021509495.tif 000019
【図１０Ａ】
2021509495.tif 000020
【図１０Ｂ】
2021509495.tif 000021
【図１１】
2021509495.tif 000022
【図１２Ａ】
2021509495.tif 000023
【図１２Ｂ】
2021509495.tif 000024
【図１３】
2021509495.tif 000025
【図１４Ａ】
2021509495.tif 000026
【図１４Ｂ】
2021509495.tif 000027
【図１５】
2021509495.tif 000028
【国際調査報告】
2021509495.tif 000029