(57)【要約】デプスカメラ部品（ＤＣＡ）は、局所領域の深度情報を表すデータを取得する。デプスカメラ部品は、撮像デバイス、コントローラ、および照明源を含む。照明源は、単一の基板上に複数の放射体を含む。撮像デバイスは、照明源からの光で照明された局所領域の１つまたは複数の画像を取得する。コントローラは、１つまたは複数の画像を用いて局所領域内の対象物に関する深度情報を決定する。
2019526790.tif 000002
【特許請求の範囲】
【請求項１】
デプスカメラ部品（ＤＣＡ）であって、
単一の基板上に複数の放射体を含む照明源であって、前記複数の放射体のうちの１つまたは複数を用いて局所領域に光を投影するように構成される前記照明源と、
前記照明源からの光で照明された局所領域の１つまたは複数の画像を取得するように構成された撮像デバイスと、
前記１つまたは複数の画像を用いて局所領域内の対象物に関する深度情報を決定するように構成されたコントローラと、を備えるデプスカメラ部品。
【請求項２】
前記デプスカメラ部品は、ヘッドマウントディスプレイ（ＨＭＤ）の一部であり、
前記ヘッドマウントディスプレイは、
前記深度情報に部分的に基づいて仮想対象物を表示するように構成された電子ディスプレイ素子と、
前記電子ディスプレイ素子から前記ヘッドマウントディスプレイの射出瞳に光を案内するように構成された光学ブロックと、を含む、請求項１に記載されたデプスカメラ部品。
【請求項３】
前記複数の放射体のうちの隣接する放射体は、同じ距離だけ離れている、請求項１に記載のデプスカメラ部品。
【請求項４】
少なくとも１組の隣接する放射体は、前記複数の放射体のうちの別の組の隣接する放射体とは異なる距離だけ離れている、請求項１に記載のデプスカメラ部品。
【請求項５】
前記コントローラは、
前記複数の放射体のうちの第１の放射体を活性化して、第１の期間において、第１の回折光学素子を用いて前記局所領域内に第１の構造化光パターンを生成するように用いられる光を放射し、
前記複数の放射体のうちの第２の放射体を活性化して、前記第１の期間に続く第２の期間において光を放射するようにさらに構成され、放射される光は、第２の回折光学素子を用いて前記局所領域内に第２の構造化光パターンを生成するように用いられる、請求項１に記載のデプスカメラ部品。
【請求項６】
前記第１の回折光学素子は、前記第２の回折光学素子とは異なる構造化光パターンを生成する、請求項５に記載のデプスカメラ部品。
【請求項７】
前記第１の回折光学素子および前記第２の回折光学素子は、同じ回折光学素子である、請求項５に記載のデプスカメラ部品。
【請求項８】
前記コントローラは、
前記複数の放射体のうちの第１の放射体、および前記複数の放射体のうちの第２の放射体を活性化させて、一定期間に光を放射して１つ以上の構造化光パターンを生成するようにさらに構成される、請求項１に記載のデプスカメラ部品。
【請求項９】
各放射体は、１つまたは複数の特性によって表される光を放射し、
特性は、偏光、波長範囲、振幅、時間変調、放射された光を表す他の特徴、またはそれらの組合せからなる群から選択される、請求項１に記載のデプスカメラ部品。
【請求項１０】
前記複数の放射体の各々の放射された光の特性は同じである、請求項９に記載のデプスカメラ部品。
【請求項１１】
前記複数の放射体のうちの放射体から放射された光の特性のうちの少なくとも１つは、前記複数の放射体のうちの別の放射体の対応する特性とは異なる、請求項９に記載のデプスカメラ部品。
【請求項１２】
デプスカメラ部品（ＤＣＡ）であって、
単一の基板上に複数の放射体を含む照明源であって、前記複数の放射体のうちの１つまたは複数を用いて局所領域に光を投影するように構成される前記照明源と、
前記照明源からの光で照明された局所領域の１つまたは複数の画像を取得するように構成された撮像デバイスと、
仮想現実（ＶＲ）コンソールに前記１つまたは複数の画像を供給するように構成されたコントローラと、を備え、
前記仮想現実コンソールは、
前記１つまたは複数の画像に部分的に基づいて深度情報を決定し、前記深度情報に部分的に基づいて仮想対象物を生成するように構成される、デプスカメラ部品。
【請求項１３】
前記複数の放射体のうちの隣接する放射体は、同じ距離だけ離れている、請求項１２に記載のデプスカメラ部品。
【請求項１４】
少なくとも１組の隣接する放射体は、前記複数の放射体のうちの別の組の隣接する放射体とは異なる距離だけ離れている、請求項１２に記載のデプスカメラ部品。
【請求項１５】
前記コントローラは、
前記複数の放射体のうちの第１の放射体を活性化して、第１の期間において、第１の回折光学素子を用いて前記局所領域内に第１の構造化光パターンを生成するように用いられる光を放射し、
前記複数の放射体のうちの第２の放射体を活性化して、前記第１の期間に続く第２の期間において光を放射するようにさらに構成され、放射される光は、第２の回折光学素子を用いて前記局所領域内に第２の構造化光パターンを生成するように用いられる、請求項１２に記載のデプスカメラ部品。
【請求項１６】
前記第１の回折光学素子は、前記第２の回折光学素子とは異なる構造化光パターンを生成する、請求項１５に記載のデプスカメラ部品。
【請求項１７】
前記第１の回折光学素子および前記第２の回折光学素子は、同じ回折光学素子である、請求項１５に記載のデプスカメラ部品。
【請求項１８】
前記コントローラは、
前記複数の放射体のうちの第１の放射体、および前記複数の放射体のうちの第２の放射体を活性化させて、一定期間に光を放射して１つ以上の構造化光パターンを生成するようにさらに構成される、請求項１２に記載のデプスカメラ部品。
【請求項１９】
各放射体は、１つまたは複数の特性によって表される光を放射し、
特性は、偏光、波長範囲、振幅、時間変調、放射された光を表す他の特徴、またはそれらの組合せからなる群から選択される、請求項１２に記載のデプスカメラ部品。
【請求項２０】
前記複数の放射体の各々の放射された光の特性は同じである、請求項１９に記載のデプスカメラ部品。
【請求項２１】
前記複数の放射体のうちの放射体から放射された光の特性のうちの少なくとも１つは、前記複数の放射体のうちの別の放射体の対応する特性とは異なる、請求項１９に記載のデプスカメラ部品。
【請求項２２】
デプスカメラ部品（ＤＣＡ）であって、
単一の基板上に複数の放射体を含む照明源であって、前記複数の放射体は、異なる放射体から放射された光が共通の光学素子を介して伝達するように光学経路を共有し、前記複数の放射体のうちの１つまたは複数を用いて局所領域に光を投影するように構成される前記照明源と、
前記照明源からの光で照明された局所領域の１つまたは複数の画像を取得するように構成された撮像デバイスと、
前記１つまたは複数の画像を用いて局所領域内の対象物に関する深度情報を決定するように構成されたコントローラと、を備えるデプスカメラ部品。
【請求項２３】
デプスカメラ部品（ＤＣＡ）であって、
単一の基板上に複数の放射体を含む照明源であって、前記複数の放射体のうちの１つまたは複数を用いて局所領域に光を投影するように構成される前記照明源と、
前記照明源からの光で照明された局所領域の１つまたは複数の画像を取得するように構成された撮像デバイスと、
コントローラであって、
前記１つまたは複数の画像を用いて局所領域内の対象物に関する深度情報を決定すること、および
仮想現実（ＶＲ）コンソールに前記１つまたは複数の画像を供給することであって、前記１つまたは複数の画像に部分的に基づいて深度情報を決定し、前記深度情報に部分的に基づいて仮想対象物を生成するように構成される、前記１つまたは複数の画像を供給すること、を実行するように構成された前記コントローラと、を備えるデプスカメラ部品。
【請求項２４】
前記デプスカメラ部品は、ヘッドマウントディスプレイ（ＨＭＤ）の一部であり、
前記ヘッドマウントディスプレイは、
前記深度情報に部分的に基づいて仮想対象物を表示するように構成された電子ディスプレイ素子と、
前記電子ディスプレイ素子から前記ヘッドマウントディスプレイの射出瞳に光を案内するように構成された光学ブロックと、を含む、請求項２３に記載されたデプスカメラ部品。
【請求項２５】
前記複数の放射体のうちの隣接する放射体は、同じ距離だけ離れている、請求項２３または２４に記載のデプスカメラ部品。
【請求項２６】
少なくとも１組の隣接する放射体は、前記複数の放射体のうちの別の組の隣接する放射体とは異なる距離だけ離れている、請求項２３〜２５のいずれか１項に記載のデプスカメラ部品。
【請求項２７】
前記コントローラは、
前記複数の放射体のうちの第１の放射体を活性化して、第１の期間において、第１の回折光学素子を用いて前記局所領域内に第１の構造化光パターンを生成するように用いられる光を放射し、
前記複数の放射体のうちの第２の放射体を活性化して、前記第１の期間に続く第２の期間において光を放射するようにさらに構成され、放射される光は、第２の回折光学素子を用いて前記局所領域内に第２の構造化光パターンを生成するように用いられる、請求項２３〜２６のいずれか１項に記載のデプスカメラ部品。
【請求項２８】
前記第１の回折光学素子は、前記第２の回折光学素子とは異なる構造化光パターンを生成する、請求項２７に記載のデプスカメラ部品。
【請求項２９】
前記第１の回折光学素子および前記第２の回折光学素子は、同じ回折光学素子である、請求項２７または２８に記載のデプスカメラ部品。
【請求項３０】
前記コントローラは、
前記複数の放射体のうちの第１の放射体、および前記複数の放射体のうちの第２の放射体を活性化させて、一定期間に光を放射して１つ以上の構造化光パターンを生成するようにさらに構成される、請求項２３〜２９のいずれか１項に記載のデプスカメラ部品。
【請求項３１】
各放射体は、１つまたは複数の特性によって表される光を放射し、
特性は、偏光、波長範囲、振幅、時間変調、放射された光を表す他の特徴、またはそれらの組合せからなる群から選択される、請求項２３〜３０のいずれか１項に記載のデプスカメラ部品。
【請求項３２】
前記複数の放射体の各々の放射された光の特性は同じである、請求項３１に記載のデプスカメラ部品。
【請求項３３】
前記複数の放射体のうちの放射体から放射された光の特性のうちの少なくとも１つは、前記複数の放射体のうちの別の放射体の対応する特性とは異なる、請求項３１または３２に記載のデプスカメラ部品。
【請求項３４】
前記照明源は、異なる放射体から放射された光が共通の光学素子を介して伝達するように光学経路を共有する単一の基板上の複数の放射体を含む、請求項２３〜３３のいずれか１項に記載のデプスカメラ部品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、仮想現実システムまたは拡張現実システムに関し、より詳細には、局所領域の深度情報を決定するように用いられるデプスカメラ部品の複数の放射体を含む照明源に関する。
【背景技術】
【０００２】
仮想現実（ＶＲ）システム、または拡張現実（ＡＲ）システムは、３次元（３Ｄ）でユーザを取り囲む環境の捕捉を活用することができる。しかしながら、従来のデプスカメラ撮像アーキテクチャは、サイズが比較的大きく、重量があり、相当量の電力を消費する。シーンの３Ｄ情報を取得するための例示的な一般的なデプスカメラ撮像アーキテクチャには、例えば、ステレオビジョン、タイムオブフライト（time-of-flight : ToF）、および構造化光（structured light : ＳＬ）が含まれる。異なるデプスカメラ撮像アーキテクチャは、それぞれ異なる長所および短所を提供するので、特定のデプスカメラ撮像アーキテクチャは、異なる動作条件において他のものよりも優れた性能を提供することができる。例えば、ステレオビジョンアーキテクチャは周囲照明と良好に動作し、一方、アクティブ照明源を有するタイムオブフライト型アーキテクチャは周囲照明からの信号対雑音比の制限によって十分に機能を果たさない可能性がある。しかしながら、従来のデプスカメラ撮像アーキテクチャの比較的大きなサイズにより、デプスカメラを含む多くのシステムは、通常、特定の使用ケースのために構成された単一タイプのデプスカメラ撮像アーキテクチャを使用している。ヘッドマウントシステムは、様々な動作条件および動作環境においてより広範な機能を実行するように使用される傾向にあるので、ヘッドマウントシステムおよびユーザを取り囲む領域の深度情報を得るためにデプスカメラ撮像アーキテクチャを選択することは、同じ体積と重量の制限内でもしくは課される場合により多くの機能と柔軟性を用いる可能性がある。
【発明の概要】
【０００３】
デプスカメラ部品（depth camera assembly : DCA）は、該デプスカメラ部品を取り囲む局所領域内の深度情報を表すデータを取得する。ＤＣＡは、撮像デバイス、コントローラ、および照明源を含む。照明源は、単一の基板上に配置された複数の放射体を含む。撮像デバイスは、複数の放射体のうちの１つ以上からの光で照らされた局所領域の画像を捕捉する。画像は、例えば、ステレオビジョン、フォトメトリックステレオ、構造化光（structured light : ＳＬ）、およびタイムオブフライト（time-of-flight,）を含む様々な技法を用いて局所領域の深度情報を決定するために、コントローラおよび／または仮想現実コンソールによって使用され得る。コントローラおよび／または仮想現実コンソールは、画像を用いて局所領域内の対象物の深度情報を決定する。いくつかの実施形態では、ＤＣＡは、電子ディスプレイ要素と光学ブロックとを含むヘッドマウントディスプレイ（ＨＭＤ）の一部である。電子ディスプレイ要素は、深度情報に部分的に基づいて仮想対象物を表示し、光学ブロックは、電子ディスプレイ要素からの光をＨＭＤの射出瞳に案内する。
【０００４】
照明源は、各々が特定の特性を有する光を放射する複数の放射体を含む。特性は、放射体から放射された光を表す特徴である。特性は、例えば、偏光、波長範囲、振幅、時間変調、放射光の他の特性、またはそれらの組み合わせであり得る。いくつかの実施形態では、複数の放射体は同じ特性を有する。他の実施形態では、１つまたは複数の特性が複数の放射体のうちの少なくとも２つの間で異なる。
【０００５】
共通の基板は、照明源の一部として複数の放射体を保持するために使用される。したがって、各放射体の位置は、単一の基板上に複数の放射体を形成するために使用されるリソグラフィ（たとえば半導体製造）プロセスの極めて高い精度に部分的に基づいて決定され得る。さらに、複数の放射体は同じ基板上にあり、同じまたは類似の複数のプロセスステップで製造され、非常に接近しているため、温度変化（大きな温度変動を容易に較正できる）および環境のショック（shock）やインパクト（impact）に対して耐性がある。
【０００６】
さらに、いくつかの実施形態では、１つまたは複数の光学素子（たとえば、コリメータレンズおよび／または回折光学素子）が、複数の放射体のうちの１つまたは複数の放射体間で共有され得る。レンズが動くと、光学素子を共有するすべての放射体に線形効果が生じ、これは、放射体を対応する光学素子に個別に位置合わせするよりも簡単に修正される。いくつかの実施形態では、各放射体は、全体の電力において同程度であり、共通の光路を通って製造後の潜在的な未較正のずれに対するシステム較正の回復力を高める。いくつかの実施形態では、複数の放射体がコリメートされ、回折光学素子を介して（例えばＳＬ用途のために）送られ、パターンの原点に対して既知の安定したオフセットをもたらし、これは以下に説明するように深度情報検索を改善できる。
【０００７】
複数の放射体間の絶対位置ではなく、複数の放射体間の相対位置および絶対位置に依存することは、ＤＣＡが悪環境（adverse environment）でも機能するのに役立つ。このことは、特にエンドユーザとのそのライフタイムにわたって、より安定した較正を可能にする（深度検索の精度が、仮想か現実かにかかわらず放射体の位置の認識によって制限される）。（意図的および／または工学的許容範囲内であろうとなかろうと）複数の放射体間のわずかに異なる間隔は、例えば、生成されたＳＬパターンに既知のオフセットを生成する。
【０００８】
さらに、経時的に複数の放射体を交互にするかまたは使用することによって、複数の放射体間の相対的なパターンシフトは、深度情報（正確度、精度、および所与のシーンにおけるデータ検索の密度）の決定を改善することができる。さらに、複数の放射体を同時に動作させることによって、ＳＬ密度を高めることができる。さらに、このことは、より均一な照明がより優れている場合が多いときにはＴｏＦ（時間的モダリティ（temporal modality））に役立つ。さらに、複数の放射体のうちの１つまたは複数は、照明源内の１つまたは複数の他の放射体が故障した場合に作動させることができる「予備」放射体として機能するように構成することができる。
【０００９】
本発明によるさらなる実施形態は、システムおよび方法を対象とする添付の請求項で特に開示され、ある請求項のカテゴリ、例えば方法で述べられた任意の特徴は、別の請求項のカテゴリ、例えばシステム、記憶媒体またはコンピュータプログラム製品などでも同様に請求されることができる。添付の請求項の従属性または後方参照は、形式上の理由でのみ選択されている。しかし、任意の先行請求項への意図的な後方参照から生じる任意の主題（特に多項従属）は同様に請求されることができるので、添付の請求項で選ばれた従属性に関係なく、請求項およびその特徴の任意の組合せが開示され、請求されることができる。請求することのできる主題は、添付の請求項に記載される特徴の組合せだけでなく、請求項の特徴の任意の他の組合せも含み、請求項で述べられる各特徴は請求項の任意の他の特徴または他の特徴の組合せと組み合わせることができる。さらに、本明細書で記述または示される実施形態および特徴のいずれも、個別の請求項で、および／または、本明細書で記述もしくは示される任意の実施形態もしくは特徴または添付の請求項の特徴のいずれかとの任意の組合せで請求することができる。
【００１０】
本発明の一実施形態では、デプスカメラ部品（ＤＣＡ）は、
単一の基板上に複数の放射体を含む照明源であって、複数の放射体のうちの１つまたは複数を用いて局所領域に光を投影するように構成される照明源と、
照明源からの光で照明された局所領域の１つまたは複数の画像を取得するように構成された撮像デバイスと、
１つまたは複数の画像を用いて局所領域内の対象物に関する深度情報を決定するように構成されたコントローラと、を備える。
【００１１】
デプスカメラ部品は、ヘッドマウントディスプレイ（ＨＭＤ）の一部であり、
ヘッドマウントディスプレイは、
深度情報に部分的に基づいて仮想対象物を表示するように構成された電子ディスプレイ素子と、
電子ディスプレイ素子からヘッドマウントディスプレイの射出瞳に光を案内するように構成された光学ブロックと、を含み得る。
【００１２】
複数の放射体のうちの隣接する放射体は、同じ距離だけ離れていてもよい。
少なくとも１組の隣接する放射体は、複数の放射体のうちの別の組の隣接する放射体とは異なる距離だけ離れていいてもよい。
【００１３】
コントローラは、
複数の放射体のうちの第１の放射体を活性化して、第１の期間において、第１の回折光学素子を用いて局所領域内に第１の構造化光パターンを生成するように用いられる光を放射し、
複数の放射体のうちの第２の放射体を活性化して、第１の期間に続く第２の期間において光を放射するようにさらに構成され、放射される光は、第２の回折光学素子を用いて局所領域内に第２の構造化光パターンを生成するように用いられてもよい。
【００１４】
第１の回折光学素子は、第２の回折光学素子とは異なる構造化光パターンを生成してもよい。
第１の回折光学素子および第２の回折光学素子は、同じ回折光学素子でもよい。
【００１５】
コントローラは、
複数の放射体のうちの第１の放射体、および複数の放射体のうちの第２の放射体を活性化させて、一定期間に光を放射して１つ以上の構造化光パターンを生成するようにさらに構成されてもよい。
【００１６】
各放射体は、１つまたは複数の特性によって表される光を放射し、
特性は、偏光、波長範囲、振幅、時間変調、放射された光を表す他の特徴、またはそれらの組合せからなる群から選択されてもよい。
【００１７】
複数の放射体の各々の放射された光の特性は同じでもよい。
複数の放射体のうちの放射体から放射された光の特性のうちの少なくとも１つは、複数の放射体のうちの別の放射体の対応する特性とは異なってもよい。
【００１８】
本発明の一実施形態では、デプスカメラ部品（ＤＣＡ）は、
単一の基板上に複数の放射体を含む照明源であって、複数の放射体のうちの１つまたは複数を用いて局所領域に光を投影するように構成される照明源と、
照明源からの光で照明された局所領域の１つまたは複数の画像を取得するように構成された撮像デバイスと、
仮想現実（ＶＲ）コンソールに１つまたは複数の画像を供給するように構成されたコントローラと、を備え、
仮想現実コンソールは、
１つまたは複数の画像に部分的に基づいて深度情報を決定し、深度情報に部分的に基づいて仮想対象物を生成するように構成される。
【００１９】
複数の放射体のうちの隣接する放射体は、同じ距離だけ離れていてもよい。
少なくとも１組の隣接する放射体は、複数の放射体のうちの別の組の隣接する放射体とは異なる距離だけ離れていてもよい。
【００２０】
コントローラは、
複数の放射体のうちの第１の放射体を活性化して、第１の期間において、第１の回折光学素子を用いて局所領域内に第１の構造化光パターンを生成するように用いられる光を放射し、
複数の放射体のうちの第２の放射体を活性化して、第１の期間に続く第２の期間において光を放射するようにさらに構成され、放射される光は、第２の回折光学素子を用いて局所領域内に第２の構造化光パターンを生成するように用いられてもよい。
【００２１】
第１の回折光学素子は、第２の回折光学素子とは異なる構造化光パターンを生成してもよい。
第１の回折光学素子および第２の回折光学素子は、同じ回折光学素子でもよい。
【００２２】
コントローラは、
複数の放射体のうちの第１の放射体、および複数の放射体のうちの第２の放射体を活性化させて、一定期間に光を放射して１つ以上の構造化光パターンを生成するようにさらに構成されてもよい。
【００２３】
各放射体は、１つまたは複数の特性によって表される光を放射し、
特性は、偏光、波長範囲、振幅、時間変調、放射された光を表す他の特徴、またはそれらの組合せからなる群から選択されてもよい。
【００２４】
複数の放射体の各々の放射された光の特性は同じでもよい。
複数の放射体のうちの放射体から放射された光の特性のうちの少なくとも１つは、複数の放射体のうちの別の放射体の対応する特性とは異なってもよい。
【００２５】
本発明の一実施形態では、デプスカメラ部品（ＤＣＡ）は、
単一の基板上に複数の放射体を含む照明源であって、複数の放射体は、異なる放射体から放射された光が共通の光学素子を介して伝達するように光学経路を共有し、複数の放射体のうちの１つまたは複数を用いて局所領域に光を投影するように構成される照明源と、
照明源からの光で照明された局所領域の１つまたは複数の画像を取得するように構成された撮像デバイスと、
１つまたは複数の画像を用いて局所領域内の対象物に関する深度情報を決定するように構成されたコントローラと、を備える。
【００２６】
本発明の一実施形態では、デプスカメラ部品（ＤＣＡ）は、
単一の基板上に複数の放射体を含む照明源であって、複数の放射体のうちの１つまたは複数を用いて局所領域に光を投影するように構成される照明源と、
照明源からの光で照明された局所領域の１つまたは複数の画像を取得するように構成された撮像デバイスと、
コントローラであって、
１つまたは複数の画像を用いて局所領域内の対象物に関する深度情報を決定すること、および
仮想現実（ＶＲ）コンソールに１つまたは複数の画像を供給することであって、１つまたは複数の画像に部分的に基づいて深度情報を決定し、深度情報に部分的に基づいて仮想対象物を生成するように構成される、１つまたは複数の画像を供給すること、を実行するように構成されたコントローラと、を備える。
【００２７】
照明源は、異なる放射体から放射された光が共通の光学素子を介して伝達するように光学経路を共有する単一の基板上の複数の放射体を備えてもよい。
１つ以上のコンピュータ可読非一時的記憶媒体は、本発明または上述の実施形態のいずれかによる方法を実施するように実行されたときに動作可能なソフトウェアを具現化し得る。
【００２８】
本発明による一実施形態において、システムは、１つ以上のプロセッサと、プロセッサに結合されてプロセッサによって実行可能な命令を含む少なくとも１つのメモリと、を含み得、プロセッサは、本発明または上述の実施形態のいずれかによる方法を実施するための命令を実行するときに動作可能である。
【００２９】
本発明の一実施形態において、好ましくはコンピュータ可読非一時的記憶媒体を含むコンピュータプログラム製品は、本発明または上述の実施形態のいずれかによる方法を実施するためのデータ処理システム上で実行されるときに動作可能であり得る。
【図面の簡単な説明】
【００３０】
【図１】一実施形態による仮想現実システムを含むシステム環境のブロック図である。
【図２】一実施形態によるヘッドマウントディスプレイの図である。
【図３】一実施形態によるデプスカメラ部品を含むヘッドマウントディスプレイの前部剛体の断面図である。
【図４】一実施形態による照明源の断面図である。
【発明を実施するための形態】
【００３１】
図面は、例示のみを目的として本開示の実施形態を示す。当業者であれば、以下の説明から、本明細書で説明した構造および方法の代替の実施形態を、本明細書に記載の原理または利点から逸脱することなく用いることができることを容易に認識するであろう。
【００３２】
システム概要
図１は、ＶＲコンソール１１０が動作する仮想現実（VR : virtual reality）システム環境１００の一実施形態のブロック図である。なお、図１は、例示のためのＶＲシステム環境を示しており、本明細書に記載された構成要素および機能は、様々な実施形態における拡張現実（AR : augmented reality）システムまたは複合現実（mixed reality : MR）に含まれてもよい。本明細書で使用されるように、ＶＲシステム環境１００は、ユーザが対話することができる仮想環境をユーザに提示する仮想現実システム環境を含み得る。図１に示すＶＲシステム環境１００は、ＶＲコンソール１１０に接続されたヘッドマウントディスプレイ（head mounted display : HMD）１０５およびＶＲ入出力（Ｉ／Ｏ）インタフェース１１５を備える。なお、図１は、ＨＭＤ１０５および１つのＶＲ  Ｉ／Ｏインタフェース１１５を含む例示的なシステム１００を示しているが、他の実施形態では、任意の数のこれらの構成要素がＶＲシステム環境１００に含まれてもよい。例えば、ＨＭＤ１０５が設けられ、各ＨＭＤ１０５が関連するＶＲ  Ｉ／Ｏインタフェース１１５を有し、各ＨＭＤ１０５およびＶＲ  Ｉ／Ｏインタフェース１１５がＶＲコンソール１１０と通信してもよい。代替の構成では、異なる構成要素および／または追加の構成要素をＶＲシステム環境１００に含ませることができる。さらに、いくつかの実施形態において、図１に示される１つまたは複数の構成要素と関連して説明される機能が、図１に関連して説明したのとは異なる方法で複数の構成要素に分配されてもよい。例えば、ＶＲコンソール１１０の機能の一部または全部は、ＨＭＤ１０５によって提供される。
【００３３】
ＨＭＤ１０５は、コンピュータが生成した要素（例えば、２次元（２Ｄ）または３次元（３Ｄ）画像、２Ｄまたは３Ｄ動画、音声他）を用いて物理的な仮想世界環境および／または現実世界環境の拡大ビューを含むコンテンツをユーザに提示するヘッドマウントディスプレイである。いくつかの実施形態では、提示されるコンテンツは、ＨＭＤ１０５、ＶＲコンソール１１０、またはその両方からオーディオ情報を受信し、オーディオ情報に基づいてオーディオデータを提示する外部デバイス（例えば、スピーカおよび／またはヘッドフォン）を介して提示されるオーディオを含む。ＨＭＤ１０５は、ともに強固にまたは非剛性に結合され得る１つまたは複数の剛体を備え得る。剛体間の堅固な結合は、結合された剛体を単一の剛体として機能させる。対照的に、剛体間の非剛性結合は、剛体が互いに対して移動することを可能にする。
【００３４】
ＨＭＤ１０５は、デプスカメラ部品（depth camera assembly : DCA）１２０、電子ディスプレイ１２５、光学ブロック１３０、１つまたは複数の位置センサ１３５、および慣性測定ユニット（inertial measurement Unit IMU）１４０を含む。ＨＭＤ１０５のいくつかの実施形態は、図１に関連して説明されるものとは異なる構成要素を有する。さらに、図１に関連して説明した様々な構成要素によって提供される機能は、他の実施形態では、ＨＭＤ１０５の構成要素において異なるようにして分散されてもよい。
【００３５】
ＤＣＡ１２０は、ＨＭＤ１０５を取り囲む領域の深度情報を記述するデータを取得する。深度情報を記述するデータは、深度情報を決定するために使用される以下の技法のうちの１つまたはそれらの組合せに関連し得る：ステレオビジョン、フォトメトリックステレオ（photometric stereo）、ＳＬ、およびＴｏＦ。ＤＣＡ１２０は、データを使用して深度情報を計算することができ、あるいはＤＣＡ１２０は、ＤＣＡ１２０からのデータを使用して深度情報を決定することができるＶＲコンソール１１０などの別のデバイスにこの情報を送信することができる。
【００３６】
ＤＣＡ１２０は、照明源、撮像デバイス、およびコントローラを含む。照明源は、ＨＭＤを取り囲む領域に光を放射する。照明源は、単一の基板上に複数の放射体を含む。撮像デバイスは、周囲光と、複数の放射体のうちの１つまたは複数の放射体からの領域内の物体から反射された光とを取り込む。コントローラは、照明源がどのように光を放射するか、および撮像デバイスがどのように光を取り込むかを調整する。いくつかの実施形態では、コントローラは、取得された画像（image）を使用して局所領域に関連した深度情報を決定してもよい。
【００３７】
照明源は、それぞれ特定の特性（例えば、波長、偏光、コヒーレンス、時間的挙動など）を有する光を放射する複数の放射体を含む。特性は、複数の放射体間で同じでもまたは異なっていてもよく、複数の放射体は、同時にまたは個別に動作することができる。一実施形態では、複数の放射体は、垂直共振器型面発光レーザ（vertical-cavity surface-emitting laser : VCSEL）のアレイとすることができる。別の実施形態では、複数の放射体は、任意のシングルモードＶＣＳＥＬよりも桁違いに大きいパワーを出力することができるシングルモードエッジ（single-mode edge）放射体レーザのアレイとすることができる。共通の基板は、複数の放射体を照明源の一部として保持し、各放射体の位置の正確な決定を可能にする。各放射体の位置は既知であり、（Ｘ軸、Ｙ軸、および／またはＺ軸において）数十マイクロメートルから数千マイクロメートルの大きさの距離だけ、隣接する放射体からオフセット（offset）される。共通または個別の光学系の後方の異なる起点（origination point）にある各放射体は、例えば、生成される複数のＳＬパターン内に既知の複数のオフセットを生成する。複数のパターンのオフセットは、解像度、精度（accuracy）、および精度限界（precision limit）の向上など、深度情報の決定に有用である。さらに、複数の放射体は同じ基板上にあり、同じまたは類似の複数のプロセスステップで製造され、非常に接近しているため、温度変化（大きな温度変動を容易に較正できる）および環境のショック（shock）やインパクト（impact）に対して耐性がある。さらに、経時的に複数の放射体を交互にするかまたは使用することによって、複数の放射体間の相対的なパターンシフトは、深度情報の決定および回復力（resiliency）を改善することができる。さらに、複数の放射体を同時に動作させることによって、ＳＬ密度を高めることができる。このことは、より均一な照明がより優れている場合が多いときにはＴｏＦ（時間的モダリティ（temporal modality））に役立ち、シーン照明の構造が有用である場合には補助ステレオ方式（assisted stereo methods）に役立つ。さらに、複数の放射体のうちの１つまたは複数は、照明源内の１つまたは複数の他の放射体が故障した場合に作動させることができる「予備」放射体として機能するように構成することができる。ＤＣＡ１２０の動作に関するさらなる詳細は、図３に関して以下に説明される。
【００３８】
電子ディスプレイ１２５は、ＶＲコンソール１１０から受信したデータに従って２Ｄまたは３Ｄ画像をユーザに表示する。種々の実施形態において、電子ディスプレイ１２５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザの各眼に対するディスプレイ）を含む。例示的な電子ディスプレイ１２５は、液晶ディスプレイ（liquid crystal display : LCD）、有機発光ダイオード（organic light emitting diode : OLED）ディスプレイ、アクティブマトリクス有機発光ダイオードディスプレイ（active-matrix organic light-emitting diode : AMOLED）、その他のディスプレイ、またはそれらの組合せを含む。
【００３９】
光学ブロック１３０は、電子ディスプレイ１２５から受け取った画像光を拡大し、画像光に関連する光学誤差を補正し、かつ補正された画像光をＨＭＤ１０５のユーザに提示する。様々な実施形態において、光学ブロック１３０は、１つまたは複数の光学素子を含む。光学ブロック１３０に含まれる例示的な光学素子は、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または画像光に影響を与える他の任意の適切な光学素子を含む。さらに、光学ブロック１３０は、異なる光学素子の組合せを含み得る。いくつかの実施形態では、光学ブロック１３０内の１つまたは複数の光学素子は、部分反射または反射防止コーティングのような１つまたは複数のコーティングを有することができる。
【００４０】
光学ブロック１３０による画像光の拡大および集束は、より大きなディスプレイよりも電子ディスプレイ１２５を物理的に小さくし、重量を低減し、消費電力を低減することを可能にする。さらに、拡大は、電子ディスプレイ１２５によって提示されるコンテンツの視野を増加させる。例えば、表示されたコンテンツの視野は、表示されたコンテンツが、ユーザの視野のほぼすべて（例えば、約１１０度傾斜）、および場合によっては全部を使用して提示されるようになっている。さらにいくつかの実施形態では、光学素子を追加または除去することによって拡大の量を調整することができる。
【００４１】
いくつかの実施形態では、光学ブロック１３０は、１つまたは複数のタイプの光学誤差を補正するように構成されてもよい。光学誤差の例には、バレル歪み、ピンクッション歪み、軸上色収差、または横方向色収差が含まれる。他のタイプの光学誤差は、球面収差、色収差またはレンズ像面湾曲による誤差、非点収差、または他のタイプの光学誤差をさらに含み得る。いくつかの実施形態では、表示のために電子ディスプレイ１２５に提供されるコンテンツは予歪状態であり、光学ブロック１３０は、コンテンツに基づいて生成された電子ディスプレイ１２５から画像光を受け取るときに歪みを補正する。
【００４２】
ＩＭＵ１４０は、１つまたは複数の位置センサ１３５から受信した測定信号に基づいて、およびＤＣＡ１２０から受信した深度情報からＨＭＤ１０５の位置を示すデータを生成する電子デバイスである。位置センサ１３５は、ＨＭＤ１０５の動きに応答した１つまたは複数の測定信号を生成する。位置センサ１３５の例には、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動きを検出する別の適切なタイプのセンサ、ＩＭＵ１４０の誤差補正に使用されるあるタイプのセンサ、またはそれらの組合せが含まれる。位置センサ１３５は、ＩＭＵ１４０の外部に、ＩＭＵ１４０の内部に、またはそれらの位置の組合せに配置することができる。
【００４３】
ＩＭＵ１４０は、１つまたは複数の位置センサ１３５からの１つまたは複数の測定信号に基づいて、ＨＭＤ１０５の初期位置に対するＨＭＤ１０５の推定の現在位置を示すデータを生成する。例えば、位置センサ１３５は、並進運動（前後、上下、左右）を測定する複数の加速度計、および回転運動（例えば、ピッチ、ヨー、ロール）を測定する複数のジャイロスコープを含む。いくつかの実施形態では、ＩＭＵ１４０は測定信号を迅速にサンプリングし、サンプリングされたデータからＨＭＤ１０５の推定の現在位置を計算する。例えば、ＩＭＵ１４０は、加速度計から受信した測定信号を経時的に積分して速度ベクトルを推定し、速度ベクトルを経時的に積分して、ＨＭＤ１０５上の基準点の推定の現在位置を決定する。代替的に、ＩＭＵ１４０は、サンプリングされた測定信号をＶＲコンソール１１０に提供し、ＩＭＵ１４０は、データを解釈して誤差を低減する。基準点は、ＨＭＤ１０５の位置を表すために使用され得る点である。基準点は、一般に、ＨＭＤ１０５の向きおよび位置に関連する空間内の点または位置として定義され得る。
【００４４】
ＩＭＵ１４０は、ＶＲコンソール１１０から１つまたは複数のパラメータを受信する。以下でさらに説明するように、１つまたは複数のパラメータは、ＨＭＤ１０５の追跡を維持するために使用される。受信したパラメータに基づいて、ＩＭＵ１４０は、１つまたは複数のＩＭＵパラメータ（例えば、サンプルレート）を調整することができる。いくつかの実施形態では、特定のパラメータによって、ＩＭＵ１４０は、基準点の初期位置が基準点の次の位置に対応するように基準点の初期位置を更新する。基準点の次の較正された位置として基準点の初期位置を更新することは、ＩＭＵ１４０の推定の現在の位置に関連する累積誤差を低減するのに役立つ。累積誤差は、ドリフト誤差とも呼ばれ、推定の基準点の位置を基準点の実際の位置から経時的に「離脱」させる。ＨＭＤ１０５のいくつかの実施形態では、ＩＭＵ１４０は、専用ハードウェアコンポーネントであってもよい。他の実施形態では、ＩＭＵ１４０は、１つまたは複数のプロセッサに実装されたソフトウェアコンポーネントであってもよい。
【００４５】
ＶＲ  Ｉ／Ｏインタフェース１１５は、ユーザがアクション要求を送信し、ＶＲコンソール１１０から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、画像またはビデオデータの捕捉を開始または終了するための命令、またはアプリケーション内で特定のアクションを実行するための命令であってもよい。ＶＲ  Ｉ／Ｏインタフェース１１５は、１つまたは複数の入力デバイスを含むことができる。例示的な入力デバイスには、キーボード、マウス、ゲームコントローラ、またはアクション要求を受け取り、ＶＲコンソール１１０にアクション要求を伝達するための他の適切な装置が含まれる。ＶＲ  Ｉ／Ｏインタフェース１１５によって受信されたアクション要求は、アクション要求に対応するアクションを実行するＶＲコンソール１１０に伝達される。いくつかの実施形態では、ＶＲ  Ｉ／Ｏインタフェース１１５は、ＶＲ  Ｉ／Ｏインタフェース１１５の初期位置に対するＶＲ  Ｉ／Ｏインタフェース１１５の推定の位置を示す較正データを取得する上述したようなＩＭＵ  １４０をさらに含む。いくつかの実施形態では、ＶＲ  Ｉ／Ｏインタフェース１１５は、ＶＲコンソール１１０から受信した指示に従ってユーザに触覚フィードバックを提供することができる。例えば、アクション要求が受信されたときに触覚フィードバックが提供されるか、またはＶＲコンソール１１０がアクションを実行するときにＶＲコンソール１１０がＶＲ  Ｉ／Ｏインタフェース１１５に命令を送り、ＶＲ  Ｉ／Ｏインタフェース１１５に触覚フィードバックを生成させる。
【００４６】
ＶＲコンソール１１０は、ＤＣＡ１２０、ＨＭＤ１０５、およびＶＲ  Ｉ／Ｏインタフェース１１５のうちの１つまたは複数から受信した情報に従って処理するためにＨＭＤ１０５にコンテンツを提供する。図１に示すように、ＶＲコンソール１１０は、アプリケーションストア１５０、追跡モジュール１５５、およびＶＲエンジン１４５を含む。ＶＲコンソール１１０のいくつかの実施形態は、図１に関連して説明したものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機能は、図１と関連して説明したものとは異なる方法で、ＶＲコンソール１１０の複数の構成要素に分散されてもよい。
【００４７】
アプリケーションストア１５０は、ＶＲコンソール１１０による実行のための１つまたは複数のアプリケーションを格納する。アプリケーションは、プロセッサによる実行時に、ユーザに提示するためのコンテンツを生成する１つのグループの命令である。アプリケーションによって生成されるコンテンツは、ＨＭＤ１０５またはＶＲ  Ｉ／Ｏインタフェース１１５の動きによりユーザから受信した入力に応答したものであってもよい。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションが含まれる。
【００４８】
追跡モジュール１５５は、１つまたは複数の較正パラメータを使用してＶＲシステム環境１００を較正するとともに、１つまたは複数の較正パラメータを調整して、ＨＭＤ１０５またはＶＲ  Ｉ／Ｏインタフェース１１５の位置の決定における誤差を低減することができる。例えば、追跡モジュール１５５は、較正パラメータをＤＣＡ１２０に伝達してＤＣＡ１２０の焦点を調整し、ＤＣＡ１２０によって捕捉されるＳＬ要素の位置をより正確に決定する。追跡モジュール１５５によって実行される較正はまた、ＨＭＤ１０５内のＩＭＵ１４０および／またはＶＲ  Ｉ／Ｏインタフェース１１５に含まれるＩＭＵ１４０から受信した情報を考慮する。さらに、ＨＭＤ１０５の追跡を喪失した場合（例えば、ＤＣＡ１２０が少なくとも閾値数のＳＬ要素の照準線を喪失する）、追跡モジュール１４０は、ＶＲシステム環境１００の一部または全部を再較正することができる。
【００４９】
追跡モジュール１５５は、ＤＣＡ１２０、１つまたは複数の位置センサ１３５、ＩＭＵ１４０またはそれらのいくつかの組合せからの情報を使用してＨＭＤ１０５またはＶＲ  Ｉ／Ｏインタフェース１１５の動きを追跡する。例えば、追跡モジュール１５５は、ＨＭＤ１０５からの情報に基づいて局所領域のマッピングにおけるＨＭＤ１０５の基準点の位置を決定する。追跡モジュール１５５は、ＩＭＵ１４０からのＨＭＤ１０５の位置を示すデータを使用して、またはＶＲ  Ｉ／Ｏインタフェース１１５に含まれるＩＭＵ１４０からのＶＲ  Ｉ／Ｏインタフェース１１５の位置を示すデータを使用して、ＨＭＤ１０５の基準点の位置またはＶＲ  Ｉ／Ｏインタフェース１１５の基準点を決定する。さらに、いくつかの実施形態では、追跡モジュール１５５は、ＩＭＵ１４０からのＨＭＤ１０５の位置を示すデータの一部ならびにＤＣＡ１２０からの局所領域の表現を使用してＨＭＤ１０５の将来の位置を予測することができる。追跡モジュール１５５は、ＨＭＤ１０５またはＶＲ  Ｉ／Ｏインタフェース１１５の推定または予測した将来の位置をＶＲエンジン１４５に提供する。
【００５０】
ＶＲエンジン１４５は、ＨＭＤ１０５から受信した情報に基づいて、ＨＭＤ１０５を取り囲む領域（即ち、「局所領域」）の３Ｄマッピングを生成する。いくつかの実施形態では、ＶＲエンジン１４５は、ＤＣＡ１２０から受信した、深度を計算するのに使用される技法に関連する情報に基づいて、局所領域の３Ｄマッピングに関する深度情報を決定する。ＶＲエンジン１４５は、深度を計算する際に１つまたは複数の技法（たとえば、ステレオビジョン、フォトメトリックステレオ、ＳＬ、ＴｏＦ、またはそれらの何らかの組合せ）を使用して深度情報を計算することができる。様々な実施形態では、ＶＲエンジン１４５は、ＤＣＡ１２０によって決定された個々のタイプの情報、またはＤＣＡ１２０によって決定された組合せのタイプの情報を使用する。
【００５１】
ＶＲエンジン１４５はまた、ＶＲシステム環境１００内のアプリケーションを実行して、ＨＭＤ１０５の位置情報、加速度情報、速度情報、予測した将来の位置、またはそれらのいくつかの組合せを追跡モジュール１５５から受信する。受信した情報に基づいて、ＶＲエンジン１４５は、ユーザに提示するためにＨＭＤ１０５に提供するコンテンツを決定する。例えば、受信した情報が、ユーザが左方向を見たことを示している場合、ＶＲエンジン１４５は、バーチャル環境または追加のコンテンツで局所領域を拡張する環境においてユーザの動きを反映するＨＭＤ１０５に対するコンテンツを生成する。さらに、ＶＲエンジン１４５は、ＶＲ  Ｉ／Ｏインタフェース１１５から受信したアクション要求に応答してＶＲコンソール１１０上で実行中のアプリケーション内でアクションを実行し、アクションが実行されたことをユーザにフィードバックする。提供されるフィードバックは、ＨＭＤ１０５による視覚的または聴覚的なフィードバックまたはＶＲ  Ｉ／Ｏインタフェース１１５による触覚フィードバックであり得る。
【００５２】
図２は、一実施形態のＨＭＤ２００の線図である。ＨＭＤ２００は、ＨＭＤ１０５の一実施形態であり、前部剛体２０５、バンド２１０、基準点２１５、左側面２２０Ａ、上面２２０Ｂ、右側面２２０Ｃ、底面２２０Ｄ、および前面２２０Ｅを含む。図２に示されたＨＭＤ２００はまた、一実施形態のデプスカメラ部品（ＤＣＡ）１２０を含み、撮像開口部２２５および照明開口部２３０を示す。いくつかの実施形態のＤＣＡ１２０は、撮像デバイスと照明源とを含む。照明源は、照明開口部２３０を介して光を放射する。撮像デバイスは、撮像開口部２２５を介して照明源からの光と局所領域内の周囲光とを取り込む。前部剛体２０５は、電子ディスプレイ１２５の１つまたは複数の電子ディスプレイ要素（図示せず）、ＩＭＵ１３０、１つまたは複数の位置センサ１３５、および基準点２１５を含む。
【００５３】
図３は、一実施形態によるＨＭＤ３０５の断面図３００である。いくつかの実施形態では、ＨＭＤ３０５は、ＨＭＤ１０５の一実施形態である。他の実施形態では、ＨＭＤ３０５は、他のＨＭＤの一部分である。前部剛体３０７は、デプスカメラ部品（depth camera assembly : ＤＣＡ）１２０、電子ディスプレイ１２５、および光学ブロック１３０を含む。いくつかの実施形態のＨＭＤ３０５は、本明細書に記載したものとは異なる構成要素を有する。同様に、場合によっては、複数の機能は、本明細書で説明されているのとは異なる方法で構成要素間に分散させることができる。前部剛体３０７はまた、ユーザの眼３０９が位置する射出瞳３０８を含む。説明のために、図３は、単一の眼３０９による前部剛体３０７の断面を示す。図３は、眼３０９の中央断面がＤＣＡ１２０と同じ平面内にあるように描かれているが、眼３０９の中央断面とＤＣＡ１２０は同じ平面内にある必要はない。さらに、図３に示すものとは離れた別の電子ディスプレイ１２５および光学ブロック１３０が前部剛体３０７に含められ、局所領域３１０の拡張表現または仮想コンテンツなどのコンテンツをユーザの他の眼に提示することができる。
【００５４】
デプスカメラ部品（ＤＣＡ）１２０は、照明源３２０、撮像デバイス３２５、およびコントローラ３３０を含む。照明源３２０は、局所領域３１０を光で照明する。局所領域３１０は、ＨＭＤ１０５の周囲領域であり、撮像デバイス３２５の視野内の被写体を含む。照明源３２０は、局所領域３１０上に光を放射する単一基板上の複数の放射体を含む。一実施形態では、照明源３２０は、放射体３４２、放射体３４４、および放射体３４６を含む。典型的な放射体は、半導体製造プロセスによって製造されたレーザダイオードであり得る。複数のレーザダイオードは単一の基板上に製造され、製造時の配向で照明源３２０内に保持される（共通構造のキャリア、半導体／リソグラフィの精度を引き継ぐ）。一実施形態では、レーザダイオード間の間隔は、５０〜２５０ミクロンであり得る。他の実施形態では、レーザダイオードの間隔は、０．３ｍｍ〜１．５ｍｍの範囲である。照明源３２０内の隣接する複数の放射体は、等間隔に配置されてもよいし、いくつかの実施形態では不均等に配置されてもよい。例えば、一実施形態では、放射体３４２と放射体３４４との間の距離は、放射体３４４と放射体３４６との間の距離と同じである。しかしながら、別の実施形態では、放射体３４２と放射体３４４との間の距離は、放射体３４４と放射体３４６との間の距離とは異なる距離であり、例えば、それぞれ０．２ｍｍと１．０ｍｍである。複数の放射体が同じ基板上にあるので、温度変化、環境のショック、または環境のインパクトなどの事象による照明源の位置の複数のずれ（shift）は、複数の放射体に同様に影響を及ぼし得る。複数のずれは、照明源３２０内の各放射体からのパターンの取り込まれた複数の画像（retrieved images）の差に基づいて相関させることができ、深度検索精度は、照明源３２０の位置の変化を認識することによって改善することができる。さらに、各放射体は数マイクロメートルからミリメートルまで幾何学的に離されており、構造支持体（structural support）にはほとんどまたは全くインターフェース（interface）がないので、非線形で予測しにくい方法で性能に影響を及ぼし得るシステム内の任意の勾配（gradient）に対して回復力があり得る。
【００５５】
各放射体３４２、３４４、３４６は、特定の特性を有する光を放射する。特性は、放射体から放射された光を表す特徴である。例えば、特性は、偏光、波長範囲、振幅、時間変調、放射された光を表す他の特徴、またはそれらの組合せであり得る。いくつかの実施形態では、複数の放射体はすべて同じ特性を有する。他の実施形態では、１つまたは複数の特性は、照明源３２０内の他の放射体とは各放射体において異なり得る。波長範囲は、概して光の帯域の一部である。照明源３２０によって放射される光の例示的な帯域は、可視帯域（３８０ｎｍ〜７５０ｎｍ）、赤外線（ＩＲ）帯域（７５０ｎｍ〜１５００ｎｍ）、紫外線帯域（１００ｎｍ〜３８０ｎｍ）、電磁スペクトルの別の部分、またはそれらの組み合わせを含む。たとえば、いくつかの実施形態では、放射体３４２、放射体３４４、および放射体３４６はすべて、同じ波長範囲（たとえば、９５０ｎｍ付近）を放射する。別の実施形態では、放射体３４２は可視帯域で放射し、放射体３４４はＩＲ帯域の部分領域（例えば８５０ナノメートル）で放射し、放射体３４６はＩＲ帯域の他の部分（例えば９４０ナノメートル）で放射する。同様に、他の特性は、照明源３２０内の放射体間で異なるか、または同じである。例えば、放射体３４２および放射体３４４は、ＩＲ帯域の第１の部分で円偏光（circularly polarized light）を放射することができ、放射体３４６は、ＩＲ帯域の第２の部分で直線（垂直）偏光（linearly (vertically) polarized light）を放射することができる。
【００５６】
照明源３２０は、複数の放射体に共通の１つまたは複数の光学素子を含む光学素子ブロック３４８を含む。光学素子は、例えば、回折光学素子（diffractive optical element : ＤＯＥ）、コリメータレンズ、照明されたときにＳＬパターンを作り出すマスクなどであり得る。ＤＯＥは、例えば、フレネルレンズ（Fresnel lens）、回折格子、他のＤＯＥ、またはそれらの組み合わせであり得る。 
【００５７】
例えば、一実施形態では、１つまたは複数の光学素子は共通のコリメータレンズおよびＤＯＥを含み、放射体３４２、放射体３４４、および放射体３４６はＤＯＥを通して光を放射して構造化光を生成する（例えば、ＤＯＥは、放射体３４２、放射体３４４、および放射体３４６に対して共通である）。生成された構造化光は、対称または準ランダムドットパターン（quasi-random dot pattern）、グリッド、または水平バーなどの指定されたパターンである。視野の中心領域内では、追加の放射体が活性化されるにつれて、指定されたパターンの密度が増加する。さらに、出力パターンがコピーされ、ＤＯＥを通過した後に角度座標においてシフトされるように見えることがあるので、複数の放射体の間隔に基づいて、構造化光パターンの見かけの視野（apparent field）が増大する。例えば、一実施形態では、ＤＯＥはドットパターンを生成してもよい。放射体３４２が活性化されると、第１のドットパターンが生成される。放射体３４４が活性化されると、第１のドットパターンと同様に、第２のドットパターンが生成されるが、対応する局所領域３１０内の空間原点と投影角軸位置（projected angular axis location）の両方においてシフトされる。したがって、放射体３４２と放射体３４４の両方が同時に活性化されると、２つのドットパターンが生成され、ドットパターンが重なって単一の放射体によって生成されるドットパターンの密度（利用する場合）を約２倍にし、さもなければ、照明視野を広げる。
【００５８】
照明源３２０の光学素子ブロック３４８は、複数の放射体のうちの異なる放射体に対応する１つ以上の光学素子を含み得る。例えば、一実施形態では、放射体３４２は、第１のＤＯＥを介して光を放射して格子パターンを生成し、放射体３４４は、第２のＤＯＥを介して光を放射して水平バーパターンを生成する。
【００５９】
撮像デバイス３２５は、局所領域３１０を捕捉する。撮像デバイス３２５は、１つまたは複数の検出器および１つまたは複数の光学素子（例えば、１つまたは複数のレンズ、回折素子、波長フィルタ、偏光子（polarizer）、アパーチャ、またはそれらの何らかの組み合わせ）を含み得る。撮像デバイス３２５は、特定の帯域の光または特定の偏光を捕捉して記録することができる。例えば、撮像デバイス３２５は、可視帯域および赤外線帯域の光を含む画像を捕捉することができる。撮像デバイス３２５は、特定の偏光の光（例えば、円偏光、直線偏光）を含む画像を捕捉することができる。いくつかの実施形態において、撮像デバイス３２５は、撮像デバイス３２５の検出器の異なる領域にわたって局所領域の複数の画像を提示するレンズアレイを含み得る。
【００６０】
いくつかの実施形態では、コントローラ３３０は、１つまたは複数の画像を使用して局所領域３１０内の複数の対象物に関する深度情報を決定するように構成される。コントローラ３３０は、光がどのように照明源３２０から放射されるかおよび撮像デバイス３２５がどのように光を捕捉するかを制御する。例えば、コントローラ３３０は、照明源３２０内の１つまたは複数の放射体に光を放射するように命令する。このようにして、コントローラ３３０は、照明源３２０のタイミング、強度、波長範囲、偏光、視野限界、および密度（ＳＬの場合）などの特性を制御する。コントローラ３３０はまた、データが撮像デバイス３２５から収集されるタイミングを制御することもできる。したがって、コントローラ３３０は、撮像デバイス３２５によるデータの取り込みを、照明源３２０による光の放射に合わせて調整することができる。代替の実施形態では、他の装置（例えば、ＶＲコンソール１１０）が、局所領域の深度情報を決定する。
【００６１】
いくつかの実施形態では、コントローラ３３０は、深度情報を取得するために採用された技法に部分的に基づいて深度情報を決定するように構成される。例えば、深度情報は、ステレオビジョン、フォトメトリックステレオ、ＳＬ、およびＴｏＦの技術のうちの１つまたはそれらの組み合わせを使用することによって決定され得る。
【００６２】
コントローラはまた、（活性化または補助）ステレオビジョン技法を使用してＤＣＡ１２０に深度情報を取得させることができる。一実施形態では、コントローラ３３０は、局所領域３１０から反射された光を捕捉するために撮像デバイス３２５から２つ以上の検出器を制御する。撮像デバイス３２５の複数の検出器は互いに一定距離だけ離れて配置されており、深度情報を抽出するために使用される。各検出器は、局所領域３１０（例えば、局所領域３１０内の１つ以上の対象物）から反射される光を集める。代替の実施形態では、コントローラ３３０は、照明源３２０からの光の放射を、アレイ検出器３２５の２つ以上の検出器からの光の収集と合わせて調整する。異なる視点からのデータを含むコントローラ３３０によって収集されたデータは、深度情報を決定するために比較される。
【００６３】
コントローラ３３０はまた、フォトメトリックステレオ技法（photometric stereo technique）を使用してＤＣＡ１２０に深度情報を取得させることができる。コントローラ３３０は、複数の放射体のうちの２つ以上の放射体の光の放射を、撮像デバイス３２５からの光の収集と合わせて調整する。異なる照明条件を有するデータを含むコントローラによって収集されたデータは、局所領域３１０内の対象物の深度を決定するように用いられる。
【００６４】
コントローラ３３０はまた、ＳＬ技法を使用してＤＣＡ１２０に深度情報を取得させてもよい。一実施形態では、コントローラ３３０は、局所領域３１０上に特定のパターンを有するＳＬを放射するように照明源３２０を制御する。コントローラ３３０は、特定のパターンの密度、視野、またはベースライン（baseline）を増加させるために照明源３２０の１つまたは複数の放射体をオンにすることができる。例えば、局所領域３１０が細かい対象物を含む場合、コントローラは、より多くの放射体を起動させることができる。コントローラ３３０は、照明源３２０からのＳＬの放射を、撮像デバイス３２５による集光と合わせて調整する。ＳＬ情報を含むコントローラ３３０によって収集されたデータは、局所領域３１０内の対象物の深度を決定するように用いられる。コントローラ３３０はまた、異なる時間に各放射体を起動させ、撮像デバイス３２５を使用して複数の放射体について複数の画像を取得することができ、深度決定の精度を向上させる。
【００６５】
コントローラ３３０はまた、ＴｏＦ技術を使用してＤＣＡ１２０に深度情報を取得させることができる。一実施形態では、コントローラ３３０は、照明源３２０内で１つまたは複数の放射体が活性化される時間を制御し、放射光が局所領域３１０から反射されて撮像デバイス３２５によって検出されるのにかかる累積位相オフセット（accumulated phase offset）（時間差に相当）を効果的に測定する。ＴｏＦ情報を含むコントローラ３３０によって収集されたデータは、局所領域３１０内の対象物の深度を決定するように用いられる。
【００６６】
図４は、一実施形態による照明源３２０の断面図である。この実施形態では、放射体３４２、放射体３４４、および放射体３４６は放射体レーザのアレイ（emitter laser array）４０２の一部分であり、光学素子ブロック３４８はコリメータレンズ４１５およびレーザアレイに共通のＤＯＥ４２５を含む。放射体レーザのアレイ４０２の放射体３４２、放射体３４４、および放射体３４６は、起点４０４、起点４０６、および起点４０８で対応するレーザキャビティから出る光をそれぞれ放射する。この放射された光は次に共通コリメータレンズ４１５によってコリメートされ、共通ＤＯＥ４２５を通過してＳＬを生成する。
【００６７】
追加構成情報
本開示の実施形態の前述の説明は、例示の目的のために提示されており、網羅的であること、または、開示された正確な形態に本開示を限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして多くの修正および変形が可能であることを理解することができる。
【００６８】
本明細書の一部は、情報に関する動作のアルゴリズムおよびシンボリックな表現という観点から本開示の実施形態を説明している。データ処理分野の当業者は、これらのアルゴリズム的な説明および表現を一般的に使用して、当業者の仕事の重要な部分を他の当業者に効率的に伝達している。これらの動作は、機能的、算術的、または論理的に説明される一方、コンピュータプログラムまたは同等の電気回路、ミクロコード等により実施されると理解されたい。更に、普遍性を失わずに、これらの動作の構成をモジュールと言及することがときには便宜的であることが証明されている。説明された動作およびその関連するモジュールは、ソフトウエア、ファームウエア、ハードウェア、またはこれらの任意の組み合わせにおいて具現化されてもよい。
【００６９】
本明細書に記載の工程、動作、または処理のうち任意のものは、１つまたは２つ以上のハードウェアまたはソフトウェアモジュールを使用して、単独でまたは他の装置と組み合わせて実行または実施されてもよい。一実施形態では、ソフトウェアモジュールは、説明された工程、動作、または処理のうちいずれかまたは全てを実行するためのコンピュータプロセッサにより実行可能なコンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品を使用して実施される。
【００７０】
本開示の実施形態はまた、本明細書に記載の動作を実行するための装置に関する。この装置は、要求される目的のために特別に設計されてもよく、および／またはコンピュータに記憶されているコンピュータプログラムにより選択的に作動または再設定される汎用コンピューティング装置を含んでもよい。このようなコンピュータプログラムは、非一時的、有形コンピュータ可読型記憶媒体、またはコンピュータシステムバスに接続することができる、電子指示を記憶するために好適な任意のタイプの媒体に記憶されてもよい。更に、本明細書に言及される任意のコンピューティングシステムは、単一のプロセッサを含み、コンピューティング能力を高めるために複数のプロセッサの設計を用いるアーキテクチャであってもよい。
【００７１】
本開示の実施形態はまた、本明細書に記載のコンピューティング処理により生成される製品に関する。かかる製品は、コンピューティング処理に由来する情報であって、非一時的、有形コンピュータ可読型記憶媒体に記憶される情報であり、コンピュータプログラム製品または本明細書に記載の他のデータの組み合わせの任意の実施形態を含んでもよい。
【００７２】
最後に、本明細書で使用される言語は、主として読みやすさおよび説明を目的として選択されており、本発明の主題を線引きまたは画定するように選択されていない可能性がある。したがって、本開示の範囲は、この詳細な説明によってではなく、むしろ、これに基づいて本願について発行される任意の特許請求の範囲によって限定されるものである。したがって、特許権の範囲を例示することを意図しているが、以下の特許請求の範囲に規定される開示の範囲を限定するものではない。
【図１】
2019526790.tif 000003
【図２】
2019526790.tif 000004
【図３】
2019526790.tif 000005
【図４】
2019526790.tif 000006
【国際調査報告】
2019526790.tif 000007
2019526790.tif 000008