(57)【要約】  低レイテンシのマルチディスプレイデバイス上でイメージを表示することに関する実施形態が開示される。たとえば、開示された一実施形態は、第１のディスプレイおよび第２のディスプレイを含むディスプレイデバイス上で、第１のイメージを受信すること、処理すること、ならびに、第１のディスプレイを介して第１のイメージを表示すること、および第２のディスプレイを介して第１のイメージを表示しないことを含む、方法を提供する。方法は、第２のイメージを受信すること、第１のイメージを表示しながら第２のイメージを処理すること、ならびに、第２のディスプレイを介して第２のイメージを表示すること、および第１のディスプレイを介して第２のイメージを表示しないことを、さらに含む。
2016509245.tif 000002
【特許請求の範囲】
【請求項１】
第１のディスプレイおよび第２のディスプレイを備えるディスプレイデバイスにおいて、イメージを表示する方法であって、
第１のイメージを受信すること、
前記第１のイメージを処理すること、
前記第１のイメージを前記第１のディスプレイを介して表示し、前記第１のイメージを前記第２のディスプレイを介して表示しないこと、
第２のイメージを受信すること、
前記第１のイメージを表示しながら、前記第２のイメージを処理すること、
前記第２のイメージの表示が前記第１のイメージの表示から時間的にオフセットされるように、前記第２のイメージを前記第２のディスプレイを介して表示し、前記第２のイメージを前記第１のディスプレイを介して表示しないこと、
を含む、方法。
【請求項２】
前記第１のイメージを前記第１のディスプレイを介して表示することは、前記第１のイメージをカラーフィールド順に表示することを含み、前記第２のイメージを前記第２のディスプレイを介して表示することは、前記第２のイメージをカラーフィールド順に表示することを含む、請求項１に記載の方法。
【請求項３】
前記第１のイメージを前記第１のディスプレイを介して表示することは、前記第１のイメージをＲＧＢイメージとして表示することを含み、前記第２のイメージを前記第２のディスプレイを介して表示することは、前記第２のイメージをＲＧＢイメージとして表示することを含む、請求項１に記載の方法。
【請求項４】
前記第１のイメージを前記第１のディスプレイを介して表示し、前記第１のイメージを前記第２のディスプレイを介して表示しないことは、第１のイメージ生成要素および第２のイメージ生成要素を照明しながら、前記イメージを前記第２の生成要素ではなく前記第１のイメージ生成要素に送信することを含む、請求項１に記載の方法。
【請求項５】
前記ディスプレイデバイスはヘッドマウントディスプレイを備え、前記第１のイメージ生成要素は左目イメージ生成要素であり、前記第２のイメージ生成要素は右目イメージ生成要素である、請求項１に記載の方法。
【請求項６】
前記左目イメージおよび前記右目イメージは、拡張現実シースルーディスプレイに対するオーバーレイイメージを含む、請求項５に記載の方法。
【請求項７】
センサデータを介して視覚方向を決定することをさらに含み、前記第１のイメージを処理することおよび前記第２のイメージを処理することは、決定された前記視覚方向に基づいて前記第１のイメージおよび前記第２のイメージをレンダリングすることを含む、請求項１に記載の方法。
【請求項８】
前記第１のイメージを前記第１のディスプレイを介して表示し、前記第１のイメージを前記第２のディスプレイを介して表示しないことは、前記第１のイメージを第１のイメージ生成要素および第２のイメージ生成要素に提供すること、および、前記第１のイメージ生成要素に光を提供し、前記第２のイメージ生成要素に光を提供しないことを含む、請求項１に記載の方法。
【請求項９】
前記第１のイメージは１６ｍｓフレームの初めから表示され、第２のイメージは１６ｍｓフレーム内のその後から表示される、請求項１に記載の方法。
【請求項１０】
グラフィックスプロセッサと、
左目イメージ生成要素を備える左目ディスプレイと、
右目イメージ生成要素を備える右目ディスプレイと、
前記グラフィックスプロセッサを介して左目イメージを処理すること、
前記左目ディスプレイを介して前記左目イメージを表示し、前記右目ディスプレイを介して前記左目イメージを表示しないこと、
前記左目イメージを表示する間に、前記グラフィックスプロセッサを介して右目イメージを処理すること、および、
前記右目イメージの表示が前記左目イメージの表示から時間的にオフセットされるように、前記右目イメージを前記右目ディスプレイを介して表示し、前記右目イメージを前記左目ディスプレイを介して表示しないこと、
を実行可能な、その上に記憶された命令を備える、ストレージサブシステムと、
を備える、シースルーヘッドマウントディスプレイデバイス。
【発明の詳細な説明】
【背景技術】
【０００１】
ヘッドマウントディスプレイ（HMD）デバイスなどのディスプレイデバイスは、ディスプレイを通して閲覧可能である実世界背景の上に仮想イメージを表示することによって、拡張現実体験を提供するように構成され得る。シースルーディスプレイデバイスのユーザが使用環境内で位置および／または向きを変えると、デバイスはユーザの動きを検出し、それに応じて表示されるイメージを更新するように構成され得る。
【発明の概要】
【０００２】
低レイテンシのマルチディスプレイデバイス上でイメージを表示することに関する実施形態が開示される。たとえば、開示された一実施形態は、第１のディスプレイおよび第２のディスプレイを含むディスプレイデバイス上で、第１のイメージを受信すること、処理すること、ならびに、第１のディスプレイを介して第１のイメージを表示すること、および第２のディスプレイを介して第１のイメージを表示しないことを含む、方法を提供する。方法は、第２のイメージを受信すること、第１のイメージを表示しながら第２のイメージを処理すること、ならびに、第２のディスプレイを介して第２のイメージを表示すること、および第１のディスプレイを介して第２のイメージを表示しないことを、さらに含む。
【０００３】
本発明の概要は、以下の発明を実施するための形態で詳細に説明される、簡略形での概念の選択を紹介するために提供される。本発明の概要は、請求される主題の主要な特徴または不可欠な特徴を識別することを意図しておらず、請求される主題の範囲を限定するために使用することも意図していない。さらに請求される主題は、本開示のいずれの部分に示されるいずれのまたはすべての欠点を解決する実装形態にも限定されない。
【図面の簡単な説明】
【０００４】
【図１Ａ】複数のディスプレイを介してイメージを表示するように構成されたシースルーディスプレイデバイスの実施形態を示し、シースルーディスプレイデバイスによって表示されるイメージの例も示す、図である。
【図１Ｂ】複数のディスプレイを介してイメージを表示するように構成されたシースルーディスプレイデバイスの実施形態を示し、シースルーディスプレイデバイスによって表示されるイメージの例も示す、図である。
【図２】コンテンツプロデューサとコンテンツ消費者との間でのイメージデータの流れを示す概略図である。
【図３】複数のディスプレイを介して低レイテンシイメージを表示するための方法の実施形態を示すフロー図である。
【図４】複数のディスプレイを介して低レイテンシイメージを表示する方法の実施形態を示すタイミング図である。
【図５】複数のディスプレイを含むディスプレイデバイスの実施形態を示すブロック図である。
【図６】コンピューティングシステムの実施形態を示すブロック図である。
【発明を実施するための形態】
【０００５】
前述のように、シースルーディスプレイデバイスのユーザが使用環境内を移動すると、デバイスはその移動に応答して表示されるイメージを更新することができる。たとえばいくつかのイメージは、実世界背景（「ワールドロックイメージ」）に対して固定されたように構成され得る。ユーザがワールドロックイメージに対して移動すると、実世界のビューがディスプレイの背後で変化すると共に、異なる位置、異なる向き、異なる光のテクスチャリング、異なるサイズなどで、イメージをディスプレイ上に再レンダリングすることができる。
【０００６】
シースルーディスプレイデバイスは、シースルーディスプレイデバイス上の運動センサから受信したセンサ入力に応答して、表示されるイメージを更新することができる。たとえば以下でより詳細に説明するように、シースルーディスプレイデバイスは、ディスプレイを通して閲覧可能である背景環境のイメージデータを獲得する外側向きイメージセンサ、および／または、動きを検出する慣性運動センサを備えることができる。ユーザの動きはこうしたセンサによって獲得されたデータから検出することが可能であり、検出された動きを使用して表示されるイメージを更新することが可能である。
【０００７】
いくつかのヘッドマウントディスプレイデバイスなどのいくつかのシースルーディスプレイデバイスは、別々の左目および右目ディスプレイを使用して、たとえば立体イメージの表示を可能にするために左目および右目のイメージを表示することができる。したがってこうしたデバイスでは、ユーザの動きに応答して左目および右目のイメージを両方とも更新することができる。
【０００８】
ユーザが移動すると、背景シーンのユーザのビューが変化する速度（たとえばユーザが自分の頭を回転させる速さ）に比べて表示されるイメージが更新される速度が、ユーザ体験に影響を与える可能性がある。たとえばワールドロックイメージを用いると、イメージの再レンダリングが望ましくないほどの量のレイテンシを有する（すなわち、ユーザの動きより大幅に遅れる）場合、ユーザはそのイメージが運動に応答してディスプレイ上で再配置されるため、「ジッタしている」ものとして知覚する可能性がある。さらに、ワールドロックイメージまたはディスプレイロックイメージが、実世界のオブジェクトに関連し、その近くに（たとえばそれに重ねて）表示される場合、オブジェクトとイメージの状況リンクはレイテンシによって低下する可能性がある。
【０００９】
図１Ａ〜１Ｂは、ＨＭＤデバイス１００のユーザ１０２によって閲覧されているワールドロックイメージの例を示す。ユーザ１０２がレコードストアの形の実世界背景オブジェクト１０４を凝視すると、販売促進広告の形のストア特有の仮想オブジェクト１０６がストアの前に表示される。仮想オブジェクト１０６は実世界背景オブジェクト１０４に状況的にリンクされているため、ユーザが物理的環境内を動き回ったときにユーザの観点から広告がストアの前に残るように、仮想オブジェクト１０６は実世界背景オブジェクト１０４に位置的にロックされている。
【００１０】
仮想オブジェクト１０６のワールドロックビューを維持するために、ＨＭＤデバイス１００は、ユーザに対する実世界背景オブジェクト１０４の相対的位置を検出すること、および、実オブジェクトに関して固定されているように見えるように仮想オブジェクト１０６の表示を更新することを、実行するように構成され得る。しかしながら、更新されたイメージの生成と表示との間に望ましくない量のレイテンシが存在する場合、ユーザが移動すると仮想オブジェクト１０６がジッタおよび／または移動する可能性があるため、実世界背景オブジェクト１０１にしっかりとロックされているように見えない可能性がある。
【００１１】
こうしたレイテンシ問題を回避するために、シースルーディスプレイデバイスは、十分に速い速度でイメージを更新するように構成され得る。イメージの生成とイメージの表示との間のレイテンシは、イメージの作成および表示のために実行されるプロセスおよびプロセスごとの計算の数などの要因、ならびにこうした処理を実行するために使用可能な計算リソースにも依存する。
【００１２】
別々の左目および右目のディスプレイを備えるＨＭＤデバイスなどの、マルチディスプレイデバイスの場合、更新された位置に依存するイメージの生成から表示までの間の時間を減少させる可能な一方法は、許容可能な量のラグで同時に表示される右目および左目のイメージを更新するために、十分な計算リソースをデバイスに組み込むことであり得る。しかしながら、ディスプレイデバイスのコストおよび電力消費の特徴は、デバイス上に提供されるコンピューティングリソースの量に対応し得る。
【００１３】
したがって、低レイテンシが望ましいマルチディスプレイディスプレイデバイス上で、イメージを効率的に更新することに関する実施形態が開示される。簡単に言えば、開示される実施形態は、左目および右目のイメージを時間順に別々にレンダリングした後、イメージ内の望ましくないフリッカを回避するために、左目および右目のイメージを十分に高速なリフレッシュ速度で表示する。左目および右目のイメージの時間順表示は、こうしたイメージの同時表示に対して、各処理ステップで実行されることになる計算の数をおよそ半分まで削減できる可能性がある。これにより、イメージが両方の目に同時に表示される場合にかかる時間の約半分で、イメージをユーザの目のうちの１つに最初に表示できる可能性がある。したがってこれにより、システムの計算リソースを増加させることなくレイテンシを低減できる可能性がある。本明細書ではＨＭＤデバイスとの関連で説明されているが、開示される実施形態は、Ｚ方向に（たとえば、１つのディスプレイが別のシースルーディスプレイの背後に、かつこれを通して閲覧可能であるように、ユーザによって閲覧されるような距離だけ）オフセットされたディスプレイを含む、低レイテンシが望ましい任意の他の好適なマルチディスプレイシステムと共に使用可能であることを理解されよう。
【００１４】
前述のように、レイテンシは、検出された運動に応答してイメージを更新するために使用される処理ステップの数に応じたものである。処理ステップの数は、いくつかのデバイスにとって重要な可能性がある。したがって、各処理ステップによって使用される時間の量を削減することで、レイテンシを大幅に低減することができる。図２は、図１Ａ〜ＢのＨＭＤデバイスに関するイメージ処理パイプライン２００の例示の実施形態を示し、イメージを表示する前に実行可能ないくつかの処理ステップの例を示す。イメージ処理パイプライン２００は、表示のための仮想イメージを生成するアプリケーションなどの、コンテンツプロデューサ２０２から開始される。コンテンツプロデューサ２０２は、ＨＭＤデバイス上に常駐するか、あるいは、たとえば携帯電話、タブレットコンピュータ、ラップトップコンピュータ、ネットワークアクセス可能サーバ、または他の好適なコンピューティングシステムなどの、ＨＭＤデバイスと通信する別のデバイス上にリモートに常駐することができる。コンテンツプロデューサがリモートに常駐する場合、ネットワーク接続によって導入される追加のラグによって、レイテンシがより大きな問題を引き起こす可能性がある。
【００１５】
コンテンツプロデューサ２０２は、運動追跡モジュール２０６からも運動データを受信するグラフィックスプロセッサ２０４に、コンテンツイメージデータを提供する。運動追跡モジュール２０６は、１つまたは複数のカメラ２０８（たとえばデプスカメラおよび／または２次元イメージカメラ）から受信される環境イメージデータ、および／または慣性運動検出器ユニット（IMU）２１０からの慣性運動データを含むがこれらに限定されない、任意の好適な入力から、運動データを決定することができる。運動データは、グラフィックスプロセッサ２０４によって、コンテンツプロデューサ２０２からどのようにイメージを提示するかを決定するために使用される。
【００１６】
グラフィックスプロセッサからの処理済みイメージは、ディスプレイコントローラ２１２に提供された後、ディスプレイパネル２１４として示される１つまたは複数のイメージ生成要素に提供される。前述のように、シースルーディスプレイシステムは、別々の左目および右目のディスプレイを備える。したがってシースルーディスプレイシステムは、左目および右目のディスプレイ用の別々のイメージ生成要素を備えることができる。任意の好適な数のイメージ生成要素が使用可能である。たとえばいくつかの実施形態において、左目および右目のディスプレイそれぞれが、カラー順イメージを表示するように構成可能である。こうした実施形態では、各ディスプレイは、各イメージカラーについて単一のイメージ生成要素および光源を備えることができる。他の実施形態において、各ディスプレイは、ＲＧＢイメージを表示する（すなわち、すべてのカラーを時間順ではなく一緒に表示する）ように構成可能である。こうした実施形態では、各ディスプレイは各カラーについて別々のイメージ生成要素を備えることができる。
【００１７】
任意の好適なイメージ生成要素が使用可能である。例には、ＬＣＯＳ（liquid crystal on silicon）マイクロディスプレイパネル、および／または他の好適なディスプレイパネルが含まれるが、これらに限定されない。本明細書における考察では、「イメージ」という用語は、説明される処理パイプラインにおける任意のステップでのイメージデータ、ならびにデバイスによって表示されるエンドイメージを説明するために使用可能である。
【００１８】
図２に示されるように、コンテンツプロデューサからのイメージは、表示される前に各ハードウェア位置で複数の処理ステップを受ける。たとえばグラフィックスプロセッサ２０４で、イメージは、レンダリング、再投影（たとえば、観察された運動に基づく予測プロセスへの修正）、様々な変換、カラー処理、圧縮、暗号化、ならびに、他の可能なプロセスのうちのトランスポート層および物理層のネットワーク通信に関するプロセスを受けることができる。同様に、ディスプレイコントローラ２１２で、イメージは、復号、圧縮解除、カラー分割（たとえば、赤、緑、および青のデータの分離）、バッファリング、圧縮、フォーマット化、および物理／トランスポート層通信処理を受けることができる。イメージは、ディスプレイパネルに到達すると、圧縮解除、ローディング（たとえばデジタルアナログ変換、ピクセルアレイへの書き込み）の後、照明を受ける。
【００１９】
前述のように、これらのプロセスの各々によって使用される計算リソースは、処理されるデータ量に応じたものである。したがって、左目および右目のイメージの時間順表示によって、これらのステップの各々を、イメージ当たり全２表示データセットの半分のみで実行可能とすることができる。これにより、単一イメージに対する計算を、２つの同時に表示されるイメージに対して可能なよりも、かなり迅速に実行できるようにすることができる。こうした時間の節約は、ユーザ運動と運動に対する表示イメージの反応との間で知覚されるレイテンシを低減させるのを助けることができる。
【００２０】
より特定の例として、マルチディスプレイＨＭＤデバイスは、ユーザによってフリッカが知覚されないように、同時に表示される左目および右目のイメージを、６０Ｈｚまたはそれ以上のレートで更新するように構成可能である。時間順の左目および右目のイメージを表示するように適合されたデバイスは、各々の目が時間順イメージを６０Ｈｚレートで見るが、一方のイメージが６０Ｈｚサイクルの初めから表示され、他方のイメージが６０Ｈｚサイクル内のその後から表示されるように、６０Ｈｚサイクルの半分だけオフセットされるように、左目および右目のイメージを表示することができる。このように動作されると、第１の更新済みイメージは、左目および右目のイメージを同時に表示するためにかかる時間の半分の時間（たとえば、第１の６０Ｈｚサイクルの１／２）でユーザに表示することができる。これにより、費用および／または電力消費を増加させる可能性のある追加のコンピューティングリソース（たとえばオンチップメモリ）を追加することなく、望ましくない量のレイテンシのリスクを低減させるのを助けることができる。こうしたディスプレイデバイスに関連付けられたレイテンシは、人が知覚できるレイテンシとの境界上にあり得ることに留意されたい。したがって、レイテンシのわずかな低減であっても、ユーザ体験にとっては比較的大きな恩恵を与えることができる。
【００２１】
図３は、マルチディスプレイデバイス上で低レイテンシイメージを表示するための方法３００の実施形態を示すフロー図である。方法３００は、３０２で、グラフィックスプロセッサまたは他の好適な処理デバイスで第１のイメージを受信することを含み、第１のイメージはマルチディスプレイデバイスの第１のディスプレイ向けである。たとえばいくつかの実施形態において、３０４で示されるように、第１のイメージはＨＭＤデバイス向けの左目イメージを含むことができる。次に方法３００は、３０６で、第１のイメージを表示用にレンダリングおよび処理することを含む。いくつかの実施形態において、これは、１つまたは複数のイメージセンサおよび／または運動センサからの入力を介して決定された視覚方向データ（たとえば運動データおよび／またはイメージデータ）に基づいて、第１のイメージを処理することを含むことができる。こうした処理は、複数の異なるハードウェア位置で実行される多くの個別の処理ステップを含むことができることを理解されよう。
【００２２】
第１のイメージのレンダリングおよび処理の後、方法３００は、３０８で、第１のイメージを第２のディスプレイではなく第１のディスプレイを介して表示することを含む。前述のようにＨＭＤでは、３１０で示されるように、これは右目ディスプレイではなく左目ディスプレイを介して左目イメージを表示することを含むことができる。他の実施形態では、第１のイメージは任意の他の好適なタイプのディスプレイによって表示することができる。
【００２３】
左目イメージは、左目ディスプレイを介して任意の好適な方法で表示することができる。たとえばいくつかの実施形態において、３１２で示されるように、イメージは右目ディスプレイではなく左目ディスプレイに送信することが可能であり、３１４で示されるように、両方のディスプレイに光を提供することができる。他の実施形態において、左目イメージは左目および右目のディスプレイに送信することが可能であり、右目ディスプレイではなく左目ディスプレイに光を提供することができる。
【００２４】
いくつかの実施形態において、３１６で示されるように、別々の赤、緑、および青のカラーフィールドイメージがイメージに対して順番に表示されるように、第１のイメージをカラーフィールド順イメージとして表示することが可能である。左目および右目のイメージのカラーフィールド順、時間順の表示の例を、図４を参照しながら以下で詳細に説明する。さらに他の実施形態において、３１８で示されるように、左目イメージの赤、緑、および青のカラーフィールドが一緒に表示されるように、第１のイメージをＲＧＢイメージとして表示することが可能である。
【００２５】
さらに、シーンが複数の別々のオーバーレイ要素を有するなどのいくつかのインスタンスにおいて、３２０で示されるように、第２のオーバーレイ要素の前に第１のオーバーレイ要素を時間順に処理および表示することができる。これにより、第１のイメージ全体がまとめてレンダリングおよび表示されるよりも迅速に第１のイメージの少なくとも一部がディスプレイに到達できるため、明らかなラグをさらに低減させるのを助けることができる。
【００２６】
続いて方法３００は、次に、第２のイメージが、第１のイメージが表示されている間に処理され、その後、第１のイメージが第１のディスプレイを介して表示された後に第２のディスプレイ上に表示されるように、右目イメージなどの第２のイメージに対して同様のプロセスを実行することを含む。したがって方法３００は、３２２で、グラフィックスプロセッサまたは他の好適な処理デバイスで第２のイメージを受信すること、および、３２６で、表示用に第２のイメージを処理することを含む。第１のイメージについて上記で述べたように、こうした処理は、１つまたは複数のイメージセンサおよび／または運動センサからの入力を介して決定された視覚方向データ（たとえば運動データおよび／またはイメージデータ）に基づいて、実行することができる。
【００２７】
方法３００は、３２８で、第１のディスプレイではなく第２のディスプレイを介して第２のイメージを表示することをさらに含む。ＨＭＤデバイスにおいて、これは、３３０で、左目ディスプレイではなく右目ディスプレイを介してイメージを表示することを含むことができる。右目イメージは、任意の好適な様式で右目ディスプレイを介して表示することができる。たとえばいくつかの実施形態において、右目イメージは、３２２で示されるように、右目ディスプレイではなく左目ディスプレイに送信可能であり、３３４で示されるように、光は左目ディスプレイおよび右目ディスプレイに提供可能である。他の実施形態において、右目イメージは右目ディスプレイおよび左目ディスプレイに送信可能であるが、光は左目ディスプレイではなく右目ディスプレイに提供される。
【００２８】
第１のイメージについて上記で述べたように、第２のイメージは、３３６で示されるように、別々の赤、緑、および青のイメージが第２のイメージに対して順番に表示されるように、第２のイメージをカラーフィールド順イメージとして表示することが可能である。他の実施形態において、３３８で示されるように、左目イメージの赤、緑、および青の成分が一緒に表示されるように、第２のイメージをＲＧＢイメージとして表示することが可能である。同様に、前述のように、第１のイメージの第１のオーバーレイ要素および第２のオーバーレイ要素が時間順に表示されるように、第２のイメージを表示することができる。このように、ユーザに対して決定された現在の視覚方向と位置合わせされた拡張現実イメージを、低レイテンシで表示することができる。
【００２９】
図４は、左目および右目のイメージを時間順、カラーフィールド順に表示するための方法の例示の実施形態を示すタイミング図４００である。図４では、左目イメージ生成要素に関するタイミング図が「Ｌ」時間バーによって示され、右目イメージ生成要素に関するタイミング図が「Ｒ」時間バーによって示されている。各バーの平行線模様は、その時点で（たとえば以前に表示されたイメージを更新するために）イメージ生成要素にロードされる更新イメージを表し、テキストはその時点で印加される照明を表す。たとえばＲ（左）ブロック内の平行線模様は、左目イメージに対する赤色イメージがディスプレイパネル内にロードされ、赤色光で照明されることを示す。平行線模様無しは、以前にロードされたイメージがパネルに書き込まれたままであるか、またはパネルが別の方法で更新されないことを示す。
【００３０】
図４の実施形態において、以前に表示されたイメージを更新するために、新しい左目イメージの赤、緑、および青のカラーフィールドイメージが左目イメージ生成要素内に順番にロードされる。これらのカラーフィールドイメージは、各カラーフィールドが１６．６７ｍｓフレームの１／６で表示されるように、赤、緑、および青色光で順番に照明される。この間、以前にロードされた赤、緑、および青のフィールドは、それらのブロック内に平行線模様が無いことによって表されるように、右目イメージに対して順番に表示される。
【００３１】
次に、１６．６７ｍｓフレームの第２の半分について、新しい右目イメージおよび以前にロードされた左目イメージが表示されるように、右目イメージの赤、緑、および青のカラーフィールドを右目イメージ生成要素に順番に送信し、右目イメージ生成要素および左目イメージ生成要素を適切な色光順で照明することによって、右目イメージがカラー順に同様に表示される。図４のタイミング図は例示の目的で提示されたものであり、いかなる方法によっても限定することは意図されていないことを理解されよう。
【００３２】
前述のように、上記で説明した方法は、図１のヘッドマウントシースルーディスプレイデバイス１００を含むがこれに限定されない、任意の好適なシースルーディスプレイデバイスを介して実行可能である。図５は、シースルーディスプレイデバイス１００の例示の構成を示すブロック図である。
【００３３】
シースルーディスプレイデバイス１００は、左目ディスプレイ５０４および右目ディスプレイ５０６を有するシースルーディスプレイシステム５０２を備える。左目ディスプレイ５０４は、１つまたは複数の左目イメージ生成要素５０８を備える。たとえば左目ディスプレイ５０４が時間順、カラー順のイメージを表示するように構成される場合、左目ディスプレイ５０４は、単一イメージ生成要素、たとえば単一ＬＣＯＳパネルまたは他のマイクロディスプレイパネルを備えることができる。同様に、左目ディスプレイ５０４がＲＧＢイメージを表示するように構成される場合、左目ディスプレイは各カラーについてマイクロディスプレイを備えることができる。さらに左目ディスプレイ５０４は、イメージ生成要素が放射性でない場合、イメージ生成要素５０８を照明するように構成された１つまたは複数の光源５１０を備えることもできる。右目ディスプレイ５０６は、１つまたは複数の右目イメージ生成要素５１２も備え、１つまたは複数の光源５１４も備えることができる。
【００３４】
シースルーディスプレイデバイス１００は、ユーザによって閲覧されている背景シーンのイメージを獲得するように構成された、１つまたは複数の外側向きイメージセンサ５１６も備えることができる。イメージセンサからのイメージを使用してユーザの動きを検出することが可能であり、シースルーディスプレイデバイス１００の背景シーン内のオブジェクトを検出することも可能である。外側向きイメージセンサ５１６は、１つまたは複数のデプスセンサ（ステレオデプスイメージング配置構成を含むがこれに限定されない）および／または１つまたは複数の２次元イメージセンサを含むことができる。運動は、前述のように、１つまたは複数の慣性運動センサ、１つまたは複数の慣性運動センサ５１８を介しても検出可能である。シースルーディスプレイデバイス１００は、ユーザからの音声コマンドなどの音を検出するように構成された、１つまたは複数のマイクロフォン５２０も含むことができる。
【００３５】
続いて、シースルーディスプレイデバイス１００は、ユーザの各目の凝視の方向を検出するように構成された、凝視検出サブシステム５２２をさらに備えることができる。凝視検出サブシステム５２２は、いずれかの好適な方法でユーザの目の凝視方向を決定するように構成可能である。たとえば示された実施形態において、凝視検出サブシステム５２２は、ユーザの各々の目の角膜から赤外線光の閃光（「プルキンエ像」）を反射させるように構成された、赤外線光源などの１つまたは複数の閃光源５２４と、ユーザの１つまたは複数の目のイメージをキャプチャするように構成された１つまたは複数の内側向きイメージセンサ５２６とを備える。イメージセンサ５２６を介して集められたイメージデータから決定されるような閃光および瞳孔のイメージを使用して、各々の目の光軸を決定することができる。凝視検出サブシステム５２２は、任意の好適な数および配置構成の光源およびイメージセンサを有し得ることを理解されよう。
【００３６】
シースルーディスプレイデバイス１００は、追加のセンサをさらに備えることができる。たとえばシースルーディスプレイデバイス１００は、シースルーディスプレイデバイス１００の位置を決定できるようにするための全地球測位（GPS）サブシステム５２８を備えることができる。
【００３７】
シースルーディスプレイデバイス１００は、論理サブシステム５３２、ストレージサブシステム５３６、および通信サブシステム５３８を有する、コンピューティングデバイス５３０をさらに備える。論理サブシステム５３２は、前述のように、左目ディスプレイ５０４および右目ディスプレイ５０６によって時間順に表示するためにイメージを処理するように構成された、グラフィックス処理ユニット５３４を備えることができる。ストレージサブシステム５３６は、タスクのうちでもとりわけ、左目ディスプレイ５０４および右目ディスプレイ５０６によるイメージの表示を制御するために論理サブシステム５３２によって実行可能な、その上に記憶された命令を備えることができる。通信サブシステム５３８は、有線および／または無線のリンクによって他のコンピューティングデバイスと通信するように構成可能である。たとえば通信サブシステム５３８は、前述のように、シースルーディスプレイデバイスが、シースルーディスプレイデバイスからリモートに配置されたコンテンツプロデューサからイメージデータを取得できるようにすることが可能である。論理サブシステム５３２、ストレージサブシステム５３６、通信サブシステム５３８、および他の前述の構成要素のための例示のハードウェアに関する他の情報について、図６を参照しながら以下で説明する。
【００３８】
示されたシースルーディスプレイデバイス１００は例として与えられたものであり、限定的であることを意味しないことを理解されよう。したがって、ヘッドマウントデバイスは、本開示の範囲から逸脱することなく、示された以外の追加および／または代替のセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイスなどを含み得ることを理解されよう。ヘッドマウントディスプレイデバイスならびにその様々なセンサおよびサブコンポーネントの物理構成は、本開示の範囲から逸脱することなく、様々な異なる形を取ることができる。
【００３９】
さらに、複数のディスプレイを介して低レイテンシイメージを表示するように構成されたコンピューティングシステムは、ヘッドマウントディスプレイデバイス以外の任意の好適な形を取ることが可能であり、メインフレームコンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、ゲームデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス（たとえばスマートフォン）、他のウェアラブルコンピュータなどを含み得ることを理解されよう。前述の方法およびプロセスは、コンピュータアプリケーションプログラムまたはサービス、アプリケーションプログラミングインターフェース（API）、ライブラリ、および／または他のコンピュータプログラム製品として実装可能であることを、さらに理解されよう。
【００４０】
図６は、前述の方法およびプロセスのうちの１つまたは複数を実行可能な、コンピューティングシステム６００の非限定的実施形態を概略的に示す。コンピューティングシステム６００は簡略化された形で示されており、前述のように、ＨＭＤデバイス１００のコンピューティングデバイス５３０を含むがこれに限定されない、任意の好適なデバイスおよび／またはデバイスの組み合わせを表すことができる。
【００４１】
コンピューティングシステム６００は、論理サブシステム６０２およびストレージサブシステム６０４を含む。コンピューティングシステム６００は、任意選択により、ディスプレイサブシステム６０６、入力デバイスサブシステム６０８、通信サブシステム６１０、および／または図６に示されていない他の構成要素を含むことができる。コンピューティングシステム６００は、任意選択により、たとえばキーボード、マウス、ゲームコントローラ、カメラ（デプスおよび／または２次元）、マイクロフォン、および／またはタッチスクリーンなどの、１つまたは複数のユーザ入力デバイスを含むか、またはこれらとインターフェースすることもできる。こうしたユーザ入力デバイスは、入力デバイスサブシステム６０８の一部を形成するか、または入力デバイスサブシステム６０８とインターフェースすることができる。
【００４２】
論理サブシステム６０２は、命令を実行するように構成された１つまたは複数の物理デバイスを含む。たとえば論理サブシステムは、１つまたは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、構成要素、データ構造、または他の論理構成の一部である、命令を実行するように構成可能である。こうした命令は、タスクを実行するため、データ型を実装するため、１つまたは複数の構成要素の状態を変換するため、あるいは所望の結果に達するために、実装可能である。
【００４３】
論理サブシステム６０２は、ソフトウェア命令を実行するように構成された１つまたは複数のプロセッサを含むことができる。加えてまたは代替として、論理サブシステム６０２は、ハードウェアまたはファームウェア命令を実行するように構成された、１つまたは複数のハードウェアまたはファームウェア論理マシンを含むことができる。論理サブシステム６０２のプロセッサはシングルコアまたはマルチコアであってよく、その上で実行されるプログラムは、順次、並列、または分散型の処理用に構成可能である。論理サブシステム６０２は、任意選択により、調整された処理用にリモートに配置および／または構成可能な、２つまたはそれ以上のデバイス間で分散される個別の構成要素を含むことができる。論理サブシステムの態様は、クラウドコンピューティング構成で構成された、リモートにアクセス可能なネットワーク化コンピューティングデバイスによって、仮想化および実行可能である。
【００４４】
ストレージサブシステム６０４は、本明細書で説明される方法およびプロセスを実装するために論理サブシステムによって実行可能な、データおよび／または命令を保持するように構成された、１つまたは複数の物理的な持続性デバイスを含む。こうした方法およびプロセスが実装されるとき、ストレージサブシステム６０４の状態は、たとえば異なるデータを保持するように変換可能である。
【００４５】
ストレージサブシステム６０４は、取り外し可能媒体および／または組み込み型デバイスを含むことができる。ストレージサブシステム６０４は、光学メモリデバイス（たとえばCD、DVD、HD-DVD、ブルーレイディスクなど）、半導体メモリデバイス（たとえばRAM、EPROM、EEPROMなど）、および／または磁気メモリデバイス（たとえばハードディスクドライブ、フロッピィディスクドライブ、テープドライブ、MRAMなど）、その他を含むことができる。ストレージサブシステム６０４は、揮発性、不揮発性、動的、静的、読み取り／書き込み、読み取り専用、ランダムアクセス、順次アクセス、位置アドレス指定可能、ファイルアドレス指定可能、および／またはコンテンツアドレス指定可能な、デバイスを含むことができる。いくつかの実施形態において、論理サブシステム６０２およびストレージサブシステム６０４は、特定用途向け集積回路（ASIC）またはシステムオンチップなどの、１つまたは複数の単一デバイスに組み込むことができる。
【００４６】
ストレージサブシステム６０４は、１つまたは複数の物理的持続性デバイスを含むことを理解されよう。しかしながらいくつかの実施形態において、本明細書で説明する命令の態様は、有限の持続時間中、物理デバイスによって保持されない純信号（たとえば電磁信号、光信号など）によって、一時的に伝搬することができる。さらに、本開示に関係するデータおよび／または他の形の情報は、純信号によって伝搬することができる。
【００４７】
「プログラム」という用語は、特定の機能を実行するために実装されたコンピューティングシステム６００の態様を説明するために使用可能である。いくつかのケースでは、プログラムは、ストレージサブシステム６０４によって保持される命令を実行する論理サブシステム６０２を介してインスタンス化することができる。異なるプログラムを、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数などからインスタンス化できることを理解されよう。同様に、同じプログラムを、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、ＡＰＩ、関数などによってインスタンス化することができる。「プログラム」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベース記録などの、個々またはグループを包含することができる。
【００４８】
ディスプレイシステム６０６は、ストレージサブシステム６０４によって保持されるデータの視覚表現を提示するために使用可能である。本明細書で説明する方法およびプロセスは、ストレージサブシステムによって保持されるデータを変更し、ストレージサブシステムの状態を変換するため、ディスプレイサブシステム６０６の状態も同様に、下位のデータにおける変更を視覚的に表すように変換することができる。ディスプレイサブシステム６０６は、任意のタイプの技術を仮想的に使用する１つまたは複数のディスプレイデバイスを含むことができる。こうしたディスプレイデバイスは、共有エンクロージャ内の論理サブシステム６０２および／またはストレージサブシステム６０４と組み合わせることが可能であるか、あるいはこうしたディスプレイデバイスは周辺ディスプレイデバイスとすることが可能である。
【００４９】
通信サブシステム６１０は、コンピューティングシステム６００を１つまたは複数の他のコンピューティングデバイスと通信可能に結合するように構成可能である。通信サブシステム６１０は、１つまたは複数の異なる通信プロトコルと互換性のある、有線および／または無線の通信デバイスを含むことができる。非限定的な例として、通信サブシステムは、無線電話ネットワーク、あるいは有線または無線のローカルエリアまたはワイドエリアネットワークを介する通信用に、構成可能である。いくつかの実施形態において、通信サブシステムは、コンピューティングシステム６００が、インターネットなどのネットワークを介して、他のデバイスにおよび／または他のデバイスからメッセージを送信および／または受信できるようにすることが可能である。
【００５０】
本明細書で説明される構成および／または手法は、本来例示的なものであること、および、これらの特定の実施形態または例は、多数の変形が可能であるため、限定的であるものとみなされないことを、理解されよう。本明細書で説明される特定のルーチンまたは方法は、任意数の処理ストラテジのうちの１つまたは複数を表すことができる。したがって、図示および／または説明される様々な動作は、図示および／または説明される順序で、他の順序で、並列に、または省略して、実行可能である。同様に、前述のプロセスの順序は変更可能である。
【００５１】
本開示の主題は、本明細書で開示された、様々なプロセス、システムおよび構成、ならびに他の特徴、機能、動作、および／または特性、ならびにそれらの任意かつすべての等価物の、すべての新規かつ非自明の組み合わせおよび下位組み合わせを含む。
【図１Ａ】
2016509245.tif 000003
【図１Ｂ】
2016509245.tif 000004
【図２】
2016509245.tif 000005
【図３】
2016509245.tif 000006
【図４】
2016509245.tif 000007
【図５】
2016509245.tif 000008
【図６】
2016509245.tif 000009
【国際調査報告】
2016509245.tif 000010
2016509245.tif 000011