(57)【特許請求の範囲】
【請求項１】
イメージング構造であって、
環境の透視のために構成された導波路であって、前記環境が前記導波路を通して表示されるとき、前記環境において距離を置いて見える近表示オブジェクトとして生成される仮想イメージの光を伝送するようにさらに構成された導波路と、
前記環境の実物のオブジェクトに対して、前記環境内の前記イメージング構造の少なくとも位置および向きに関係する参照データを提供するように構成された、１つ又は複数のセンサと、
前記導波路に組み込まれ、かつ、表示領域内に構成された切替え可能回折素子と
を備え、
前記表示領域はベクトル調整されるものであって、前記ベクトル調整は、前記参照データの一部に基づいて、前記イメージング構造の前記位置および前記向きを構成し、かつ、前記環境において前記距離を置いて見える前記仮想イメージが、前記環境の前記実物のオブジェクトの視野角に関連する正確な視野角で生成されることを可能にし、
切替え可能回折素子は、前記環境において前記距離を置いて見える前記仮想イメージの正確な立体視ビューを補正するために有効に前記表示領域の各部分を個別にアクティブにするように切替え可能である、イメージング構造。
【請求項２】
前記仮想イメージの表現が、ユーザが右眼で見るための第１の表示領域で表示可能であり、前記仮想イメージの異なる表現が、前記ユーザが左眼で見るための第２の表示領域で表示可能である、請求項１に記載のイメージング構造。
【請求項３】
表示する前記仮想イメージを投射するために、前記表示領域のそれぞれにおける前記切替え可能回折素子を選択的にアクティブにするように制御可能である素子駆動回路をさらに備える、請求項１に記載のイメージング構造。
【請求項４】
表示領域における前記切替え可能回折素子が、前記イメージング構造からのユーザの眼の距離、ならびに前記イメージング構造の中心に対する右眼および左眼の視野角に基づいて、アクティブになるように構成される、請求項１に記載のイメージング構造。
【請求項５】
前記切替え可能回折素子は、積層素子のセット内に構成され、積層素子のセット内の各切替え可能回折素子は、異なる視野で前記仮想イメージの前記光を回折させるように構成
される、請求項１に記載のイメージング構造。
【請求項６】
前記積層素子のセット内の前記切替え可能回折素子の各々によって投射される前記異なる視野が、アクティブにされた表示領域にわたる連続的視野として組み合わさる、請求項５に記載のイメージング構造。
【請求項７】
前記切替え可能回折素子は、切替え可能ブラッグ格子を含む、請求項１に記載のイメージング構造。
【請求項８】
表示のための仮想イメージを生成するように構成されたイメージングシステムと、
シースルー型表示デバイスであって、裸眼立体拡張現実ディスプレイとして、前記シースルー型表示デバイスを通して可視である環境において距離を置いて見える近表示オブジェクトとして、前記仮想イメージを表示する、シースルー型表示デバイスと、
前記環境の実物のオブジェクトに対して、前記環境内の前記シースルー型表示デバイスの少なくとも位置および向きに関係する参照データを提供するように構成された、１つ又は複数のセンサと、
前記シースルー型表示デバイスの表示領域内に構成された切替え可能回折素子のアクティブ化を制御するように構成されたイメージングコントローラを実装する処理システムとを備え、
前記シースルー型表示デバイスの表示領域はベクトル調整されるものであって、前記ベクトル調整は、前記参照データの一部に基づいて、前記シースルー型表示デバイスの前記位置および前記向きを構成し、かつ、前記環境において前記距離を置いて見える前記仮想イメージが、前記環境の前記実物のオブジェクトの視野角に関連する正確な視野角で生成されることを可能にし、
前記表示領域の各部分が、前記環境において前記距離を置いて見える前記仮想イメージの正確な立体視ビューを補正するために有効に個別に制御可能であるコンピューティングデバイス。
【請求項９】
シースルー型表示デバイスに表示するための仮想イメージを生成すること、
前記シースルー型表示デバイスを通して可視である環境において距離を置いて見える近表示オブジェクトとして、前記仮想イメージを表示すること、
前記環境の実物のオブジェクトに対して、前記環境内の前記シースルー型表示デバイスの少なくとも位置および向きに関係する参照データを受け取ること、
前記シースルー型表示デバイスの表示領域内に構成された切替え可能回折素子のアクティブ化を制御すること
を含み、
前記シースルー型表示デバイスの前記表示領域はベクトル調整されるものであって、前記ベクトル調整は、前記参照データの一部に基づいて、前記シースルー型表示デバイスの前記位置および前記向きを構成し、かつ、前記環境において前記距離を置いて見える前記仮想イメージが、前記環境の前記実物のオブジェクトの視野角に関連する正確な視野角で生成されることを可能にし、
前記表示領域の各部分が、前記環境において前記距離を置いて見える前記仮想イメージの正確な立体視ビューを補正するために有効に個別に制御可能である、
方法。
【請求項１０】
ユーザの眼の位置を捕捉するデジタルイメージに基づいて、ユーザの左眼および右眼の瞳位置を追跡すること、
前記左眼および前記右眼から前記シースルー型表示デバイスまでの距離を決定すること、および、
前記シースルー型表示デバイスの中心に対する前記左眼および前記右眼の視野角を決定すること
をさらに含む、請求項９に記載の方法。
【請求項１１】
表示領域における前記切替え可能回折素子のアクティブ化は、前記左眼および前記右眼の前記瞳位置、前記左眼および前記右眼から前記シースルー型表示デバイスまでの前記距離、ならびに前記シースルー型表示デバイスの前記中心に対する前記左眼および前記右眼の前記視野角に基づいて制御される、請求項１０に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  タブレットや携帯電話のような種々のタイプのコンピューティング、エンターテイメント、および／またはモバイルデバイスが、デバイスのユーザがディスプレイを通して周囲環境を見ることが可能な透明または半透明ディスプレイを用いて実装することができる。さらに、拡張現実により、ユーザは、デバイスの透明または半透明ディスプレイを通して周囲環境を見るとともに、環境の一部として見えるように表示するために生成される仮想オブジェクトのイメージを見ることができるようになる。拡張現実は、オーディオおよび触覚入力など任意のタイプの入力、ならびに、ユーザが体験する環境を強化または拡張する仮想イメージ、グラフィックス、および映像を含むことができる。エマージングテクノロジーとして、拡張現実、特に、実環境で現実的に見えるように仮想オブジェクトおよびイメージをモバイルデバイスのディスプレイに表示することには、課題および設計制約がある。
【０００２】
[0002]  立体視は、人間が通常の両眼視により環境を見るときの奥行きの知覚である。人間の左眼および右眼に対する環境内のオブジェクトの角度が異なるので、通常、人間はそれぞれの眼で少し異なる環境のイメージを見ており、この違いが、奥行き知覚を決定する手がかりを与える。これは、視差とも呼ばれ、環境内でオブジェクトを見るときに人間の左眼および右眼からのように２つの異なる視線に沿って見られるオブジェクトの視位置（apparent position）の角度差である。遠視野オブジェクトに関しては、左眼および右眼により見られる表示デバイスと遠視野オブジェクトとの間は、通常はゼロ視差である。しかしながら、オブジェクトがより近いときは、左眼と右眼の間に視差がある。
【０００３】
[0003]  導波路ディスプレイは、拡張現実環境内の仮想イメージを表示するためのレンズとしてニアアイ（near-eye）ディスプレイパネルを有するヘッドマウントディスプレイ（HMD）眼鏡または他のウェラブル表示デバイスのような、シースルー型拡張現実表示デバイスのために利用することができる。ヘッドマウントディスプレイでは、近視野仮想オブジェクトを見るときに、適正な立体視の手がかりを与えるために、左眼および右眼に対する別個のディスプレイパネルを個別に調整することができる。しかしながら、立体視補正は、ＬＣＤシャッター眼鏡または偏光眼鏡のようなアイウェアの使用なしには、単一の一体型導波路ディスプレイを有するモバイルハンドヘルドデバイスで利用することができない。拡張現実ディスプレイを有するモバイルハンドヘルドデバイスを使用するときに、両眼視の補正のためにアイウェアを利用する必要があると、実用的なユーザ体験が与えられない。
【発明の概要】
【０００４】
[0004]  この発明の概要では、裸眼立体拡張現実ディスプレイの特徴および概念を導入するが、それらは、さらに下記発明を実施するための形態で説明され、および／または図面で示される。この発明の概要は、特許請求された主題の本質的特徴を説明するものとみなされるべきでなく、特許請求された主題の範囲を決めるまたは限定するために使用されるものとみなされるべきでもない。
【０００５】
[0005]  裸眼立体拡張現実ディスプレイを説明する。実施形態において、表示デバイスが、環境の透視のための導波路を含むイメージング構造を用いて実装される。また、導波路は、環境において距離を置いて見える近表示オブジェクト（near-display object）として生成される仮想イメージの光を伝送する。イメージング構造は、導波路に組み込まれ表示領域に構成される切替え可能回折素子を含む。切替え可能回折素子は、環境において距離を置いて見える仮想イメージの正確な立体視ビューを補正するために有効に表示領域を個別にアクティブにするように切替え可能である。
【０００６】
[0006]  実施形態において、携帯電話またはタブレットデバイスのようなコンピューティングデバイスは、裸眼立体拡張現実ディスプレイを用いて実装され、また、コンピューティングデバイスは、表示デバイスの表示領域における切替え可能回折素子のアクティブ化を個別に制御するためのイメージングコントローラを含む。表示デバイスの導波路に組み込まれた切替え可能回折素子は、仮想イメージを表示するために投射するようにオンに切り替えられる切替え可能ブラッグ格子（Switchable Bragg Gratings）として実装することができる。たとえば、仮想イメージの表現を、ユーザが右眼で見るための第１の表示領域に表示することができ、仮想イメージの異なる表現を、ユーザが左眼で見るための第２の表示領域に表示することができる。また、コンピューティングデバイスは、イメージングコントローラ入力に基づいて、表示デバイスの表示領域内の切替え可能回折素子を選択的にアクティブにするための素子駆動回路を含む。
【０００７】
[0007]  実施形態において、切替え可能回折素子は、表示デバイスに組み込まれた積層素子のセット内に構成することができる。積層素子のセット内の各切替え可能回折素子は、異なる視野で仮想イメージの光を回折させ、異なる視野は、アクティブにされた表示領域にわたる連続的視野として組み合わさる。また、コンピューティングデバイスは、コンピューティングデバイスのユーザの左眼および右眼のデジタルイメージを捕捉するためのカメラを含み、眼追跡システムが、デジタルイメージに基づいて、左眼および右眼の瞳位置を追跡する。眼追跡システムはまた、左眼および右眼から表示デバイスまでの距離を決定し、表示デバイスの中心に対する左眼および右眼の視野角を決定することができる。イメージングコントローラは、左眼および右眼の瞳位置、左眼および右眼から表示デバイスまでの距離、ならびに表示デバイスの中心に対する左眼および右眼の視野角に基づいて、表示領域における切替え可能回折素子のアクティブ化を制御するように実装される。
【０００８】
[0008]  以下の図面を参照して、裸眼立体拡張現実ディスプレイの実施形態を説明する。図面に示される同様の特徴および構成要素を参照するために、全体を通して同じ番号が使用され得る。
【図面の簡単な説明】
【０００９】
【図１】１つまたは複数の実施形態による、裸眼立体拡張現実ディスプレイを実装する例示的コンピューティングデバイスを示す図である。
【図２】１つまたは複数の実施形態による、裸眼立体拡張現実ディスプレイの例示的イメージング構造を示す図である。
【図３】裸眼立体拡張現実ディスプレイの実施形態を実装する例示的コンピューティングデバイスを示す図である。
【図４】１つまたは複数の実施形態による、裸眼立体拡張現実ディスプレイの例示的実装形態を示す図である。
【図５】１つまたは複数の実施形態による、裸眼立体拡張現実ディスプレイの例示的方法を示す図である。
【図６】裸眼立体拡張現実ディスプレイの実施形態を実装することができる例示的デバイスの種々の構成要素を示す図である。
【発明を実施するための形態】
【００１０】
[0009]  裸眼立体拡張現実ディスプレイの実施形態を説明する。表示デバイスは、切替え可能ブラッグ格子（SBG）などの組み込まれた切替え可能回折素子を含むシースルー導波路を用いて実装することができる。表示デバイスは、携帯電話、タブレット、または他のタイプのコンピューティングデバイスに実装することができ、拡張現実環境において距離を置いて見える近表示オブジェクトとして生成される仮想イメージの真の裸眼立体表示表現を提供する。仮想イメージの正確な立体視ビューは、追加のアイウェアを必要としない立体視のためにデバイスのユーザの左眼および右眼に提供される。ユーザの左眼および右眼へ投射される仮想イメージは、表示デバイスの個別に制御される表示領域に表示されるように異なっている。左眼および右眼に対する別個の表示が、単一のハンドヘルドデバイスディスプレイから生成される。
【００１１】
[0010]  ハンドヘルドモバイルデバイスを参照して概略的に説明しているが、裸眼立体拡張現実ディスプレイの実施形態は、車両ヘッドアップディスプレイのようなより大きいフォーマットのディスプレイ、もしくはより大きいアーキテクチャのディスプレイ、ならびに、任意のサイズの非シースルー型ディスプレイ、および／または見るために表示される仮想イメージの正確な立体視ビューのための構成のために実装され得る。
【００１２】
[0011]  裸眼立体拡張現実ディスプレイの特徴および概念は、いくつもの異なるデバイス、システム、環境、および／または構成で実装できるが、以下の例示的デバイス、システム、および方法の文脈で、裸眼立体拡張現実ディスプレイの実施形態を説明する。
【００１３】
[0012]  図１は表示デバイス１０４として参照される裸眼立体拡張現実ディスプレイの実施形態を実装するコンピューティングデバイス１０２の例１００を示す。例示的コンピューティングデバイスは、携帯電話、タブレット、コンピューティング、通信、エンターテイメント、ゲーム、メディア再生、および／または他のタイプのデバイスなど、有線または無線デバイスの任意の１つまたは組み合わせとすることができる。いずれのデバイスも、処理システムおよびメモリなど種々の構成要素、デジタルイメージを捕捉するための前方および後方の内蔵デジタルカメラ１０６、ならびに図３および図６に示される例示的デバイスを参照してさらに説明されるような任意の数および組み合わせの異なる構成要素を用いて実装することができる。
【００１４】
[0013]  この例では、表示デバイス１０４は、視点１１０から表示デバイスを通して環境１０８を見るときにユーザに知覚されるように、透明または半透明である。仮想イメージ１１２は、拡張現実ビューで環境において距離を置いて見えるように表示デバイス１０４によって表示される近表示オブジェクトとして、コンピューティングデバイス１０２によって生成することができる。たとえば、ワインボトルおよびグラスの仮想イメージが、環境の物理的に一部であるワイン樽の上に配置されているかのように見えるように生成され得る。
【００１５】
[0014]  環境１０８の一部として見えるように投射されている仮想イメージのような近表示オブジェクトに関して、コンピューティングデバイス１０２のユーザの左眼および右眼１１４に対する視野角１１６は異なる。前述のように、視差は、環境内で仮想イメージを見るときに人間の左眼および右眼からのように２つの異なる視線に沿って見られる仮想イメージの視位置の角度差である。しかしながら、奥行きの立体視知覚はユーザによって決定可能ではなく、その理由は、仮想イメージが実際には表示デバイス１０４上に表示される近表示オブジェクトであるからであり、これは、仮想イメージが投射された位置１１８で実際に環境の物理的に一部であるとした場合よりもユーザの左眼および右眼１１４に近い。
【００１６】
[0015]  図２を参照して説明すると、表示デバイス１０４は、裸眼立体視の拡張現実ディスプレイのためのイメージング構造を用いて実装することができ、追加のアイウェアを必要としない立体視のためにユーザの左眼および右眼１１４に提供される仮想イメージの正確な立体視ビューのために、仮想イメージ１１２を生成することができる。加えて、コンピューティングデバイス１０２は、環境１０８ならびに左眼および右眼１１４のデジタルイメージを捕捉するために利用できる内蔵デジタルカメラ１０６を含む。環境のデジタルイメージは、環境における仮想イメージと他の近表示オブジェクトとの適正な関係を決定するために利用することができる。ユーザの左眼および右眼のデジタルイメージは、仮想イメージ１１２などの近表示オブジェクトの表示位置との相互関係において眼の位置を追跡するために利用することができる。
【００１７】
[0016]  図２は、本明細書に記載の実施形態による、図１を参照して説明した表示デバイス１０４などの裸眼立体拡張現実ディスプレイを実装するために利用することができる例示的イメージング構造２００を示す。例示的イメージング構造２００は、切替え可能ブラッグ格子（SBG）を用いて実装されるような切替え可能回折素子２０４を含む、シースルー反射導波路２０２を用いて実装される。切替え可能ブラッグ格子は、ＳＢＧ  Ｌａｂｓにより製造されており、アクティブにされたときに高い回折効率を示し、また非アクティブにされたときに光透過性を示す、サブミリ秒の切替え速度を有するものとして説明される。ＳＢＧは、ホログラフィック高分子分散液晶を利用しており、オフに切り替えられると、液晶の屈折率が導波路の周囲のポリマーの屈折率とほぼ一致し、その結果ＳＢＧが表示光に実質的に透過的になる。ＳＢＧがオンに切り替えられると、液晶は導波管のポリマーと異なる屈折率を有し、仮想イメージの光が回折されて表示デバイスに表示される。
【００１８】
[0017]  シースルー反射導波路２０２は、コンピューティングデバイス１０２のイメージングユニットにより生成され（図１を参照して説明したように）ユーザに見られるように投射される仮想イメージ１１２の可視光２０６の内部反射のために実装される表示光学部品である。導波路はまた、ユーザが見るための周囲環境からの光を通す。２０８に示すように、表示デバイス１０４が、左眼２１２と右眼１２４の瞳の間の瞳孔間距離（IPD）２１０より広い場合、左眼用の表示領域２１８におけるα°〜θ°の視野２１６は、右眼用の表示領域２２２におけるα°〜θ°の視野２２０と同じである。これは、一般に両眼オーバーラップと呼ばれ、表示サイズ、および視距離の減少とともに（すなわちユーザへの表示が近づくほど）、増大する。左眼と右眼の間の光線追跡垂直二等分線２２４も示されており、垂直二等分線は、表示領域２１８を含む、左眼２１２により見られるディスプレイの左エリアを確定し、表示領域２２２を含む、右眼２１４により見られるディスプレイの右エリアを確定する。
【００１９】
[0018]  導波路２２２に組み込まれた切替え可能回折素子２０４（たとえばＳＢＧ）は、素子層間に電位を印加することによりオンに切り替えられ、電位を除去することによりオフに切り替えられる。イメージング構造２００は、切替え可能回折素子２０４を選択的にアクティブにするように制御可能な素子駆動回路２２６（部分的にのみ図示する）を含むことができる。素子駆動回路２２６は、表示デバイス１０４の表示領域として、個別の切替え可能回折素子および／またはグループの切替え可能回折素子を制御するように実装することができる。イメージング構造２００の導電層は、左眼表示領域２１８および右眼表示領域２２２のような表示領域において、切替え可能回折素子を制御するために選択的にアクティブにされる区画に分割され得る。
【００２０】
[0019]  実施形態において、イメージング構造２００の導波路２０２に組み込まれた切替え可能回折素子２０４は、２３０で複数の重なったＳＢＧの例で示されるように、積層素子２２８のセット内に構成されてよい。さらに２３２で示されるように、積層素子２２８のセット内の切替え可能回折素子２０４の各々が、異なる視野で仮想イメージの光を回折させる。積層素子のセット内の切替え可能回折素子の各々により投射される異なる視野は、表示デバイス１０４のアクティブにされた表示領域にわたる連続的視野全体として組み合わさることができる。イメージング構造２００の切替え可能回折素子２０４としてＳＢＧを含む実装形態では、各ＳＢＧが、表示デバイスと同期された小さな視野を投射し、連続的視野は、（たとえば、積層素子のセット内の）各ＳＢＧを連続的にオンに切り替えることによって生成される。切替え可能回折素子２０４は、人間が検知できるより速く切り替わり、視野が、別々の表示ではなく１つの連続する表示として知覚される。
【００２１】
[0020]  図３は、図１および２を参照して示し説明したコンピューティングデバイス１０２の例を示す。コンピューティングデバイスは、図２を参照して説明したように、イメージング構造２００を用いて実装される裸眼立体拡張現実ディスプレイ（たとえば、表示デバイス１０４）を含む。表示デバイス１０４は、イメージング構造の導波路２０２に組み込まれた切替え可能回折素子２０４の構成に基づいて、表示領域３００に区分される。表示デバイスの表示領域は、図１に示されるように、環境１０８において距離を置いて見える仮想イメージ１１２の正確な立体視ビューを補正するために有効に表示デバイスの表示領域を個別に制御可能である。表示デバイスのイメージング構造は、仮想イメージの表現を、ユーザが右眼で見るための第１の表示領域に表示し、仮想イメージの異なる表現を、ユーザが左眼で見るための第２の表示領域に表示するように制御され得る。
【００２２】
[0021]  コンピューティングデバイス１０２は、イメージングシステム３０２を含み、イメージングシステム３０２は、表示デバイスを通して可視である、環境１０８において距離を置いて見える近表示オブジェクトとして、表示デバイス１０４上に表示するための仮想イメージ１１２を生成する。イメージングシステム３０２は、仮想イメージ１１２の光２０６を表示デバイスのイメージング構造２００のシースルーおよび反射導波路２０２へ表示および投射するための、任意のタイプの光学要素、レンズ、マイクロ表示パネル、および／または反射素子を用いて実装することができる。
【００２３】
[0022]  また、コンピューティングデバイス１０２は、デバイスのユーザの左眼および右眼のデジタルイメージを捕捉するためのデジタルカメラ１０６を含む。図１を参照して示し説明したように、コンピューティングデバイス１０２は、前方と後方の両方の内蔵デジタルカメラ１０６を含むことができ、それらは、環境１０８のデジタルイメージ（たとえば、ビデオおよび／または静止イメージ）ならびにデバイスのユーザの左眼および右眼１１４のデジタルイメ−ジを捕捉するために利用できる。
【００２４】
[0023]  コンピューティングデバイス１０２は、デジタルイメージに基づいてユーザの左眼および右眼１１４の瞳位置を追跡するための眼追跡システム３０４を実装する。また、眼追跡システムは、左眼および右眼から表示デバイス１０４までの距離を決定し、表示デバイスの中心に対する左眼および右眼の視野角を決定するように実装される。眼追跡システムは、左眼および右眼が表示デバイスに対する異なる視平面上にあるかどうかを含めて、表示デバイスに対する左眼および右眼の位置を決定することができ、次いで、表示領域が、相対的な眼の位置に基づいてオンおよび／またはオフに切り替えられる。表示領域の切替えの例については、図４を参照してさらに説明する。
【００２５】
[0024]  また、コンピューティングデバイス１０２は、（たとえば、デジタルカメラで捕捉されたデジタルイメージに加えて、）環境内の実物のオブジェクトと表示デバイス１０４の位置合わせを可能にするための追加の参照データを提供する、種々のセンサ３０６を含むことができる。これらのセンサは、ＧＰＳ受信機および磁気センサ（たとえばコンパス）などの慣性ベースの追跡用の構成要素および／または測位システム構成要素を含み得る。種々のセンサは、さらに、温度センサ、ならびに、コンピューティングデバイスの位置、向き、および加速度を感知するためのＭＥＭＳジャイロおよび加速度センサを含む、慣性センサおよび／または姿勢センサの任意の１つまたは組み合わせを含んでよい。加えて、これらのセンサは、周囲環境からのオーディオデータを記録するためのマイクロホン、および拡張現実体験の一部としてのオーディオフィードバックのための出力を含んでよい。
【００２６】
[0025]  コンピューティングデバイス１０２は、イメージングコントローラ３０８を有し、イメージングコントローラ３０８は、ソフトウェアアプリケーションとして実装することができ、任意の適切なメモリデバイスまたは電子データストレージなどのコンピュータ可読記憶媒体に記憶される実行可能命令としてコンピューティングデバイス１０２で維持することができる。加えて、イメージングコントローラは、裸眼立体拡張現実ディスプレイの実施形態を実装するために、コンピューティングデバイスの処理システムによって実行することができる。さらに、コンピューティングデバイスは、処理システムおよびメモリなど種々の構成要素、ならびに図６に示される例示的デバイスを参照してさらに説明されるような任意の数および組み合わせの異なる構成要素を用いて実装され得る。
【００２７】
[0026]  また、イメージングコントローラ３０８が素子駆動回路２２６を制御し、素子駆動回路２２６は、イメージングコントローラの入力に基づいて、表示デバイス１０４のそれぞれの表示領域３００における切替え可能回折素子２０４を選択的にアクティブにする。表示領域は、眼追跡システム３０４により決定されるような左眼および右眼の位置および動きに基づいて、交互のフレームでオンおよびオフに切り替えることができる。実装形態において、表示デバイスのそれぞれの表示領域内の切替え可能回折素子のアクティブ化は、左眼および右眼の瞳位置、左眼および右眼から表示デバイスまでの距離、ならびに表示デバイスの中心に対する左眼および右眼の視野角に基づいて、制御される（たとえば、オンおよびオフに切り替えられる）。
【００２８】
[0027]  イメージングコントローラ３０８は、眼追跡システム３０４が表示デバイスに対する左眼および右眼の位置および動きを決定するにつれて、動的に表示デバイス１０４の左眼および右眼表示領域３００を決定するように実装される。表示領域は、同時に投射されないように能動的に切り替えられ、左眼および右眼に投射される交互の表示領域は、環境における近表示オブジェクトの適正な視野角に対応して配置される近表示オブジェクト（たとえば仮想イメージ１１２）を促進するための適切なベクトル調整を含む。
【００２９】
[0028]  イメージングコントローラ３０８は、図２を参照して示し説明したように、イメージング構造２００における切替え可能回折素子２０４から投射された視野ごとにユーザの左眼と右眼の間の光線追跡垂直二等分線２２４（単眼位置とも称される）を決定することができる。表示デバイス１０４は、切替え可能回折素子を用いて実装されるようにタイル状にされるため、各タイルは、新しい視野を表し、左眼および右眼に対する表示領域は、現在の二等分線の眼の位置に対するタイルごとに光線追跡二等分線２２４を計算することによって決定される。たとえば、切替え可能回折素子２０４が１０°の視野を有する場合、−５°〜＋５°の間の光線追跡二等分線が切替え可能回折素子ごとに０°であり、これが、左眼と右眼の間の単眼位置から表示デバイスの表示領域へプロットされる。各切替え可能回折素子の決定された視野に関して、左の表示領域セグメントは左眼について切替え可能であり、右の表示領域セグメントは右眼について切替え可能である。
【００３０】
[0029]  同様に、左眼および右眼のための表示領域３００は、切替え可能回折素子の他の視野に基づいて決定され得る。たとえば、−１５°〜−５°の左および右表示領域セグメントは、１０°の光線追跡二等分線に中心化され、これが、左眼と右眼の間の単眼位置から表示デバイスの表示領域へプロットされる。表示領域セグメントは、単眼位置からの光線追跡二等分線に応じて左および／または右にシフトすることができる。これらの表示領域セグメントは、眼追跡システム３０４により決定されるような左眼および右眼の位置および動きに応じて横にシフトすることができる。実装形態において、表示領域セグメントのサイズは、視距離に応じて変更することができる。より長い視距離では、特にユーザの眼の動きが速い場合、表示デバイスのイメージング構造から投射された光が右眼から左眼に交差する可能性が高い。加えて、速い左眼および右眼の動きが検出される場合、表示領域セグメントをより広く設定して、視野の損失の機会を減らすことができる。
【００３１】
[0030]  図４は、図１〜３を参照して説明した表示デバイス１０４のような裸眼立体拡張現実ディスプレイの例示的実装形態４００を示す。この例では、表示デバイス１０４は、図２を参照して説明したように、素子駆動回路２２６のそれぞれの電位Ｖ１〜Ｖ５により能動的に制御される５つの表示領域４０１〜４０５に区分される。コンピューティングデバイス１０２の眼追跡システム３０４が、ユーザの眼が位置４０６に位置付けられると決定すると、表示領域４０１、４０２、および４０４の切替え可能回折素子２０４がオンに切り替えられ、表示領域４０３および４０５がオフに切り替えられる。表示領域４０１および４０２はともに、表示領域の両方に近い位置のため、左眼のためにオンに切り替えられる。したがって、表示デバイスの約６０パーセント（６０％）のみが照明され、そうでなければディスプレイ全体を照明するために利用される電力のうちのおよそ４０パーセント（４０％）が節約される。
【００３２】
[0031]  同様に、眼追跡システム３０４が、ユーザの眼が位置４０８に位置付けられると決定すると、表示領域４０２、４０４、および４０５の切替え可能回折素子２０４がオンに切り替えられ、表示領域４０１および４０３がオフに切り替えられる。表示領域４０４および４０５はともに、表示領域の両方に近い位置のため、右眼のためにオンに切り替えられる。加えて、眼追跡システム３０４が、ユーザの眼が位置４１０に位置付けられると決定すると、表示領域４０２、４０３、および４０５の切替え可能回折素子２０４がオンに切り替えられ、表示領域４０１および４０４がオフに切り替えられる。表示領域４０２および４０３はともに、表示領域の両方に近い位置のため、左眼のためにオンに切り替えられる。
【００３３】
[0032]  裸眼立体拡張現実ディスプレイの１つまたは複数の実施形態による例示的方法５００について図５を参照して説明する。一般に、本明細書に記載のサービス、構成要素、モジュール、方法、および動作のいずれも、ソフトウェア、ファームウェア、ハードウェア（たとえば固定論理回路）、手動処理、またはこれらの任意の組み合わせを使用して実装されてよい。例示的方法は、コンピュータ処理システムに対してローカルおよび／またはリモートのコンピュータ可読記憶媒体に記憶された実行可能命令の一般的文脈で説明され得、実装形態はソフトウェアアプリケーション、プログラム、機能等を含んでよい。
【００３４】
[0033]  図５は、裸眼立体拡張現実ディスプレイの例示的方法５００を示す。方法が説明される順序は、限定として解釈されるものではなく、方法の動作の任意の数および組み合わせが、方法または代替方法を実装するために任意の順序で組み合わせられてよい。
【００３５】
[0034]  ５０２で、仮想イメージが、表示デバイスに表示するために生成される。たとえば、コンピューティングデバイス１０２で実装されたイメージングシステム３０２（図３）が、コンピューティングデバイス１０２で実装された裸眼立体拡張現実ディスプレイ（たとえば表示デバイス１０４）（図１）などでの表示のために、仮想イメージ１１２を生成する。仮想イメージは、拡張現実イメージングのための表示デバイスを通して可視である環境１０８において距離を置いて見える近表示オブジェクトとして生成される。
【００３６】
[0035]  ５０４で、ユーザの眼の位置を捕捉するデジタルイメージに基づいて、ユーザの左眼および右眼の瞳位置が追跡される。たとえば、コンピューティングデバイス１０２と一体化されたデジタルカメラ１０６が、コンピューティングデバイスのユーザの左眼および右眼１１４のデジタルイメージを捕捉し、眼追跡システム３０４が、デジタルイメージに基づいて左眼および右眼の瞳位置を追跡する。
【００３７】
[0036]  ５０６で、左眼および右眼から表示デバイスまでの距離が決定される。たとえば、コンピューティングデバイス１０２の眼追跡システム３０４が、デジタルカメラ１０６により捕捉されたデジタルイメージに基づいて、コンピューティングデバイスのユーザの左眼および右眼１１４から表示デバイス１０４までの距離を決定する。５０８で、表示デバイスの中心に対する左眼および右眼の視野角が決定される。たとえば、コンピューティングデバイス１０２の眼追跡システム３０４は、デジタルカメラにより捕捉されたデジタルイメージに基づいて、表示デバイス１０４の中心に対するユーザの左眼および右眼１１４の視野角１１６も決定する。
【００３８】
[0037]  ５１０で、表示デバイスの表示領域内に構成された切替え可能回折素子のアクティブ化が制御される。たとえば、コンピューティングデバイス１０２のイメージングコントローラ３０８が、表示デバイス１０４の表示領域３００内に構成された切替え可能回折素子２０４のアクティブ化を制御する。表示デバイスの表示領域は、環境１０８において距離を置いて見える仮想イメージ１１２の正確な立体視ビューを補正するために有効に個別に制御可能である。表示デバイスの表示領域内の切替え可能回折素子は、表示する仮想イメージを投射するために、イメージングコントローラ３０８からのイメージングコントローラ入力に基づいて選択的にアクティブにされる。さらに、表示ゾーン内の切替え可能回折素子のアクティブ化は、（５０４で決定された）左眼および右眼１１４の瞳位置、（５０６で決定された）左眼および右眼から表示デバイスまでの距離、ならびに（５０８で決定された）表示デバイスの中心に対する左眼および右眼の視野角１１６に基づいて制御される。
【００３９】
[0038]  ５１２で、アクティブにされた表示領域にわたる連続的視野が生成される。たとえば、コンピューティングデバイス１０２のイメージングコントローラ３０８は、素子駆動回路２２６を制御して積層素子２２８のセット内の切替え可能回折素子２０４を選択的にアクティブにし、積層素子のセット内の各切替え可能回折素子２０４が、異なる視野で仮想イメージ１１２の光を回折させる（図２の２３０および２３２で示されるように）。積層素子のセット内の切替え可能回折素子の各々により投射される異なる視野は、表示デバイスのアクティブにされた表示領域にわたる連続的視野を生成するように組み合わさる。
【００４０】
[0039]  ５１４で、仮想イメージは、表示デバイスを通して可視である環境において距離を置いて見える近表示オブジェクトとして表示される。たとえば、表示デバイス１０２で実装された裸眼立体拡張現実ディスプレイ（たとえば表示デバイス１０４）が、表示デバイスを通して可視である環境１０８において距離を置いて見える近表示オブジェクトとして、連続的視野上の仮想イメージ１１２を表示する。仮想イメージ１１２の表現を、ユーザが右眼２１４で見るための右眼表示領域２２２に表示することができ、仮想イメージの異なる表現を、ユーザが左眼２１２で見るための左眼表示領域２１８に表示することができる。
【００４１】
[0040]  図６は、裸眼立体拡張現実ディスプレイ１０４を実装するコンピューティングデバイス１０２のような、先の図１〜５を参照して説明したデバイスのいずれかとして実装され得る、例示的デバイス６００の種々の構成要素を示す。実施形態において、デバイス６００は、任意のタイプのクライアントデバイス、携帯電話、タブレット、コンピューティング、通信、エンターテイメント、ゲーム、メディア再生、および／または他のタイプのデバイスとして実装することができる。
【００４２】
[0041]  デバイス６００は、デバイスに記憶された仮想イメージデータ、ビデオおよびイメージデータ、および他のメディアコンテンツなどのデバイスデータ６０４の有線および／または無線通信を可能にする、通信デバイス６０２を含む。デバイスデータは、任意のタイプのオーディオ、ビデオ、および／またはイメージデータを含むことができる。また、通信デバイス６０２は、セルラー電話通信および／またはネットワークデータ通信のためのトランシーバを含むことができる。
【００４３】
[0042]  デバイス６００は、デバイス、データネットワーク、および他のデバイスの間の接続および／または通信リンクを提供する、データネットワークインターフェースのような入出力（I/O）インターフェース６０６も含む。Ｉ／Ｏインターフェースは、デバイス６００と一体化され得るデジタルカメラ６０８のような任意のタイプの構成要素、周辺機器、および／またはアクセサリデバイスにデバイスを結合するために使用することができる。Ｉ／Ｏインターフェースはデータ入力ポートも含み、データ入力ポートを介して、デバイスへのユーザ入力、ならびに任意のコンテンツおよび／またはデータソースから受信される任意のタイプのオーディオ、ビデオ、および／またはイメージデータなど、任意のタイプのデータ、メディアコンテンツ、および／または入力を受信することができる。
【００４４】
[0043]  Ｉ／Ｏインターフェース６０６は、ユーザがマウス、キーボード、リモートコントロールなどの入力デバイスによって課される人工的な制約から解放されて「自然な」方法でデバイスと対話することを可能にする任意のインターフェース技術のような、デバイス６００に対するナチュラルユーザインターフェース（NUI）入力もサポートする。ナチュラルユーザインターフェース入力の例は、音声認識、タッチおよびスタイラス認識、オンスクリーンのジェスチャ認識、デバイスに近接するモーションジェスチャ認識、頭、目および環境の認識および追跡、拡張現実および仮想現実システム、ならびにユーザ入力の意図を決定できる任意の他のタイプの可聴、視覚、タッチ、ジェスチャ、および／またはマシンインテリジェンスに依拠し得る。
【００４５】
[0044]  デバイス６００は、実行可能命令を処理する任意のタイプのマイクロプロセッサおよびコントローラなどのハードウェアで少なくとも部分的に実装され得る、処理システム６１０を含む。処理システムは、集積回路、プログラマブル論理デバイス、１つまたは複数の半導体を使用して形成される論理デバイス、ならびに、システムオンチップ（SoC）として実装されるプロセッサおよびメモリシステムのような他のシリコンおよび／またはハードウェアの実装形態の構成要素を含むことができる。代替または追加として、デバイスは、ソフトウェア、ハードウェア、ファームウェア、または処理および制御回路を用いて実装され得る固定論理回路の任意の１つまたは組み合わせで実装することができる。デバイス６００はさらに、デバイス内の種々の構成要素を結合する任意のタイプのシステムバスまたは他のデータおよびコマンド転送システムを含むことができる。システムバスは、異なるバス構造およびアーキテクチャならびに制御およびデータラインの任意の１つまたは組み合わせを含むことができる。
【００４６】
[0045]  デバイス６００は、コンピューティングデバイスによってアクセス可能で、データおよび実行可能命令（たとえば、ソフトウェアアプリケーション、プログラム、関数など）の持続的な記憶を実現するデータ記憶デバイスのようなコンピュータ可読記憶媒体６１２も含む。コンピュータ可読記憶媒体の例には、揮発性メモリおよび不揮発性メモリ、固定メディアデバイスおよび取外し可能メディアデバイス、ならびにコンピューティングデバイスのアクセスのためのデータを保持する任意の適切なメモリデバイスまたは電子データストレージが含まれる。コンピュータ読取可能記憶媒体は、種々の実装形態のランダムアクセスメモリ（RAM）、読取り専用メモリ（ROM）、フラッシュメモリ、および種々のメモリデバイス構成の他のタイプの記憶媒体を含むことができる。
【００４７】
[0046]  一般に、コンピュータ可読記憶媒体は、単なる信号伝送、搬送波、または信号それ自体と対照的に、データの持続的および／または非一時的な記憶を可能にする媒体および／またはデバイスを表す。コンピュータ可読信号媒体は、ネットワークを介するなどして命令を送信する信号担持媒体を指すことがある。信号媒体は、コンピュータ読取可能命令を、搬送波や他の伝送機構のような変調データ信号内のデータとして具現化することができる。
【００４８】
[0047]  コンピュータ可読記憶媒体６１２は、デバイスデータ６０４、デジタルカメラ６０８から捕捉されたイメージデータ６１４、および、コンピュータ可読記憶媒体によりソフトウェアアプリケーションとして保持され処理システム６１０により実行されるオペレーティングシステムなどの種々のデバイスアプリケーション６１６のストレージを提供する。この例では、デバイスアプリケーションは、例示的デバイス６００がコンピューティングデバイス１０２として実装されるときなどに、裸眼立体拡張現実ディスプレイの実施形態を実装するイメージングコントローラ６１８も含む。イメージングコントローラ６１８の例には、図３を参照して説明したようなコンピューティングデバイス１０２で実装されるイメージングコントローラ３０８が含まれる。デバイス６００は、ＧＰＳトランシーバなどの測位システム６２０、またはデバイスの全地球的またはナビゲーション位置を決定するために利用できる類似の測位システム構成要素を含むこともできる。
【００４９】
[0048]  デバイス６００は、オーディオデバイス６２４のためのオーディオデータ、および／または表示デバイス６２６のための表示データを生成するオーディオおよび／またはビデオシステム６２２も含む。実施形態において、表示デバイス６２６は、裸眼立体拡張現実ディスプレイとして実装することができる。オーディオデバイスおよび／または表示デバイスは、見るために表示される仮想イメージなどのオーディオ、ビデオ、表示、および／またはイメージデータを、処理、表示、および／または他の方法でレンダリングする任意のデバイスを含む。実装形態において、オーディオおよび／または表示デバイスは、例示的デバイス６００の一体化された構成要素である。あるいは、オーディオデバイスおよび／または表示デバイスは、例示的デバイスの外部の周辺構成要素である。
【００５０】
[0049]  裸眼立体拡張現実ディスプレイの実施形態は、特徴および／または方法に特有の言葉で説明されているが、添付の特許請求の範囲は、説明された具体的な特徴または方法に必ずしも限定されない。むしろ、それらの具体的な特徴および方法は、裸眼立体拡張現実ディスプレイの例示的実装形態として開示されている。
【図１】
0006433914.tif 000002
【図２】
0006433914.tif 000003
【図３】
0006433914.tif 000004
【図４】
0006433914.tif 000005
【図５】
0006433914.tif 000006
【図６】
0006433914.tif 000007