(57)【特許請求の範囲】
【請求項１】
ニアアイディスプレイシステム（１００）における方法であって、前記方法は、
前記ニアアイディスプレイシステム（１００）のアイトラッキングコンポーネント（１０６，１０８）を使用してユーザの眼（１３２）の第１の姿勢を決定することと、
前記ユーザの眼の前記第１の姿勢に基づき一体型ライトフィールドフレーム（１２０）を形成する要素画像のアレイ（１２２）のための所望の焦点を決定することと、
決定された前記所望の焦点に基づき小型レンズアレイ（１２４）から投影される光の焦点距離を変化させることと、
前記要素画像のアレイ（１２２）を前記一体型ライトフィールドフレーム（１２０）内の位置にレンダリングすることと、
前記一体型ライトフィールドフレームを前記ニアアイディスプレイシステム（１００）のディスプレイパネル（１１８）に表示することとを備え、
前記焦点距離を変化させることは、電圧を前記ディスプレイパネル（１１８）と前記小型レンズアレイ（１２４）との間に配置された可変屈折率材料（１５８）を構成する複数の領域の各々に個別に印加して、前記可変屈折率材料（１５８）の屈折率に変化を誘発することを備え、前記屈折率の前記変化は、前記小型レンズアレイ（１２４）に出入りする光の入射角を変化させる、方法。
【請求項２】
ニアアイディスプレイシステム（１００）における方法であって、前記方法は、
前記ニアアイディスプレイシステム（１００）のアイトラッキングコンポーネント（１０６，１０８）を使用してユーザの眼（１３２）の第１の姿勢を決定することと、
前記ユーザの眼の前記第１の姿勢に基づき一体型ライトフィールドフレーム（１２０）を形成する要素画像のアレイ（１２２）のための所望の焦点を決定することと、
決定された前記所望の焦点に基づき小型レンズアレイ（１２４）から投影される光の焦点距離を変化させることと、
前記要素画像のアレイ（１２２）を前記一体型ライトフィールドフレーム（１２０）内の位置にレンダリングすることと、
前記一体型ライトフィールドフレームを前記ニアアイディスプレイシステム（１００）のディスプレイパネル（１１８）に表示することとを備え、
前記焦点距離を変化させることは、電圧を、可変屈折率材料を備える前記小型レンズアレイ（１２４）内の複数の小型レンズ（１２６）の各々に個別に印加して、前記複数の小型レンズ（１２６）の屈折率の変化を誘発することを備え、前記屈折率の前記変化は、前記小型レンズアレイ（１２４）に出入りする光の出射角を変化させる、方法。
【請求項３】
ニアアイディスプレイシステム（１００）における方法であって、前記方法は、
前記ニアアイディスプレイシステム（１００）のアイトラッキングコンポーネント（１０６，１０８）を使用してユーザの眼（１３２）の第１の姿勢を決定することと、
前記ユーザの眼の前記第１の姿勢に基づき一体型ライトフィールドフレーム（１２０）を形成する要素画像のアレイ（１２２）のための所望の焦点を決定することと、
決定された前記所望の焦点に基づき小型レンズアレイ（１２４）から投影される光の焦点距離を変化させることと、
前記要素画像のアレイ（１２２）を前記一体型ライトフィールドフレーム（１２０）内の位置にレンダリングすることと、
前記一体型ライトフィールドフレームを前記ニアアイディスプレイシステム（１００）のディスプレイパネル（１１８）に表示することとを備え、
前記焦点距離を変化させることは、電圧を前記小型レンズアレイ（１２４）の第１の部分に備え付けられた可変屈折率材料を構成する複数の領域の各々に個別に印加して、前記可変屈折率材料の屈折率の変化を誘発することを備え、前記小型レンズアレイ（１２４）の前記第１の部分は、前記小型レンズアレイの第２の部分に対して独立にアドレス指定可能であり、さらに前記屈折率の前記変化は、前記小型レンズアレイの前記第２の部分に出入りする光の出射角を変化させることなく、前記第１の部分に出入りする光の出射角を変化させる、方法。
【請求項４】
前記ユーザの眼の前記第１の姿勢を決定することは、
前記ディスプレイパネル（１１８）と前記ディスプレイパネルに重畳する前記小型レンズアレイ（１２４）との間に配置された撮像カメラを使用して前記ユーザの眼（１３２）のイメージを捕捉することを備える、請求項１〜３のいずれかに記載の方法。
【請求項５】
前記要素画像のアレイのための前記所望の焦点を決定することは、
前記ユーザの眼（１３２）内の既存の屈折異常に基づくシフトを含むように、前記所望の焦点（２２２）を決定することを備える、請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記要素画像のアレイのための前記所望の焦点を決定することは、
前記ユーザの眼の前記第１の姿勢によって焦点を合わせられた対象物体（５０２）の仮想深度を、前記一体型ライトフィールドフレーム内の他の物体（５０４）の前記仮想深度に対して識別することを備える、請求項１から４のいずれか１項に記載の方法。
【請求項７】
ニアアイディスプレイシステムにおける方法であって、
第１に、前記ニアアイディスプレイシステム（１００）のアイトラッキングコンポーネント（１０６，１０８）を使用して前記ニアアイディスプレイシステム（１００）のディスプレイパネル（１１８）に対するユーザの眼（１３２）の第１の姿勢を決定することと、
要素画像のアレイ（１２２）を備える一体型ライトフィールドフレーム（１２０）をレンダリングすることと、
前記ユーザの眼の前記第１の姿勢に基づき、小型レンズアレイ（１２４）における前記眼（１３２）の焦点が合う範囲を、第１の調節範囲（５０６）に調節することと、
前記小型レンズアレイ（１２４）を使用して表示のための前記一体型ライトフィールドフレーム（１２０）を提示することとを備え、さらに、
第２に、前記アイトラッキングコンポーネント（１０６，１０８）を使用して前記ディスプレイパネルに対する前記ユーザの眼（１３２）の第２の姿勢を決定することとを備え、前記第２の姿勢は、前記第１の姿勢とは異なり、前記方法はさらに、
前記ユーザの眼の前記第２の姿勢に基づき前記小型レンズアレイの前記第１の調節範囲（５０６）を第２の調節範囲（５１２）へと調整し、前記小型レンズアレイ（１２４）を使用して表示のための前記一体型ライトフィールドフレーム（１２０）を提示することとを備え、前記第２の調節範囲（５１２）は、前記第１の調節範囲（５０６）とは異なり、
前記第１の調節範囲を前記第２の調節範囲に調整することは、電圧を前記ディスプレイパネル（１１８）と前記小型レンズアレイ（１２４）との間に配置された可変屈折率材料（１５８）を構成する複数の領域の各々に個別に印加して、前記可変屈折率材料（１５８）の屈折率の変化を誘発することを備え、前記屈折率の前記変化は、前記小型レンズアレイ（１２４）に出入りする光の入射角を変化させる、方法。
【請求項８】
ニアアイディスプレイシステムにおける方法であって、
第１に、前記ニアアイディスプレイシステム（１００）のアイトラッキングコンポーネント（１０６，１０８）を使用して前記ニアアイディスプレイシステム（１００）のディスプレイパネル（１１８）に対するユーザの眼（１３２）の第１の姿勢を決定することと、
要素画像のアレイ（１２２）を備える一体型ライトフィールドフレーム（１２０）をレンダリングすることと、
前記ユーザの眼の前記第１の姿勢に基づき、小型レンズアレイ（１２４）における前記眼（１３２）の焦点が合う範囲を、第１の調節範囲（５０６）に調節することと、
前記小型レンズアレイ（１２４）を使用して表示のための前記一体型ライトフィールドフレーム（１２０）を提示することとを備え、さらに、
第２に、前記アイトラッキングコンポーネント（１０６，１０８）を使用して前記ディスプレイパネルに対する前記ユーザの眼（１３２）の第２の姿勢を決定することとを備え、前記第２の姿勢は、前記第１の姿勢とは異なり、前記方法はさらに、
前記ユーザの眼の前記第２の姿勢に基づき前記小型レンズアレイの前記第１の調節範囲（５０６）を第２の調節範囲（５１２）へと調整し、前記小型レンズアレイ（１２４）を使用して表示のための前記一体型ライトフィールドフレーム（１２０）を提示することとを備え、前記第２の調節範囲（５１２）は、前記第１の調節範囲（５０６）とは異なり、
前記第１の調節範囲を前記第２の調節範囲に調整することは、電圧を、可変屈折率材料を備える前記小型レンズアレイ（１２４）内の複数の小型レンズ（１２６）の各々に個別に印加して、前記複数の小型レンズの屈折率の変化を誘発することを備え、前記屈折率の前記変化は、前記小型レンズアレイ（１２４）に出入りする光の出射角を変化させる、方法。
【請求項９】
ニアアイディスプレイシステムにおける方法であって、
第１に、前記ニアアイディスプレイシステム（１００）のアイトラッキングコンポーネント（１０６，１０８）を使用して前記ニアアイディスプレイシステム（１００）のディスプレイパネル（１１８）に対するユーザの眼（１３２）の第１の姿勢を決定することと、
要素画像のアレイ（１２２）を備える一体型ライトフィールドフレーム（１２０）をレンダリングすることと、
前記ユーザの眼の前記第１の姿勢に基づき、小型レンズアレイ（１２４）における前記眼（１３２）の焦点が合う範囲を、第１の調節範囲（５０６）に調節することと、
前記小型レンズアレイ（１２４）を使用して表示のための前記一体型ライトフィールドフレーム（１２０）を提示することとを備え、さらに、
第２に、前記アイトラッキングコンポーネント（１０６，１０８）を使用して前記ディスプレイパネルに対する前記ユーザの眼（１３２）の第２の姿勢を決定することとを備え、前記第２の姿勢は、前記第１の姿勢とは異なり、前記方法はさらに、
前記ユーザの眼の前記第２の姿勢に基づき前記小型レンズアレイの前記第１の調節範囲（５０６）を第２の調節範囲（５１２）へと調整し、前記小型レンズアレイ（１２４）を使用して表示のための前記一体型ライトフィールドフレーム（１２０）を提示することとを備え、前記第２の調節範囲（５１２）は、前記第１の調節範囲（５０６）とは異なり、
前記第１の調節範囲を前記第２の調節範囲に調整することは、電圧を前記小型レンズアレイ（１２４）の第１の部分に備え付けられた可変屈折率材料を構成する複数の領域の各々に個別に印加して前記可変屈折率材料の屈折率の変化を誘発することを備え、前記小型レンズアレイの前記第１の部分は、前記小型レンズアレイの第２の部分（１２４）に対して独立にアドレス指定可能であり、さらに前記屈折率の前記変化は、前記小型レンズアレイの前記第２の部分（１２４）に出入りする光の出射角を変化させることなく、前記第１の部分に出入りする光の出射角を変化させる、方法。
【請求項１０】
前記ユーザの眼の前記第１の姿勢によって焦点を合わせられた物体（５０２）の仮想深度を前記一体型ライトフィールドフレーム内の他の物体（５０４）の前記仮想深度に対して識別することと、
前記小型レンズアレイ（１２４）の屈折率が、前記第１の調節範囲内の仮想深度における他の物体に焦点を合わせて提示するように、前記第１の調節範囲（５０６）を計算することをさらに備える、請求項７から９のいずれか１項に記載の方法。
【請求項１１】
前記ユーザの眼の前記第１の姿勢によって焦点を合わせられた対象物体（５０２）の仮想深度を、前記一体型ライトフィールドフレーム内の他の物体（５０４）の前記仮想深度に対して識別することと、
前記ユーザの眼の視線が前記対象物体（５０２）に焦点を合わせたときに、前記小型レンズアレイ（１２４）の屈折率が、前記第１の調節範囲内の仮想深度における他の物体を焦点を外して提示するように前記第１の調節範囲（５０６）を計算することとをさらに備える、請求項７から９のいずれか１項に記載の方法。
【請求項１２】
ニアアイディスプレイシステムであって、
要素画像のアレイ（１２２）を備える一体型ライトフィールドフレーム（１２０）を表示するためのディスプレイパネル（１１８）と、
ユーザの眼（１３２）の姿勢を追跡するためのアイトラッキングコンポーネント（１０６，１０８）と、
前記一体型ライトフィールドフレーム（１２０）を前記ユーザの眼（１３２）に提示するための小型レンズアレイ（１２４）と、
小型レンズアレイ（１２４）から投影される光の焦点距離を変化させることにより、前記一体型ライトフィールドフレーム（１２０）内の前記要素画像のアレイのための焦点を調節するためのレンダリングコンポーネント（１０４）とを備え、
前記レンダリングコンポーネントは、
前記ユーザの眼の前記姿勢によって焦点を合わせられた対象物体（５０２）の仮想深度を前記一体型ライトフィールドフレーム内の他の物体（５０４）の前記仮想深度に対して識別することと、
電圧を前記小型レンズアレイ（１２４）に備え付けられた可変屈折率材料を構成する複数の領域の各々に個別に印加して、前記可変屈折率材料の前記屈折率の変化を誘発し、前記小型レンズアレイ（１２４）に出入りする光の出射角を変化させることによって、前記要素画像のアレイのための前記焦点を調節するためのものである、ニアアイディスプレイシステム。
【請求項１３】
ニアアイディスプレイシステムであって、
要素画像のアレイ（１２２）を備える一体型ライトフィールドフレーム（１２０）を表示するためのディスプレイパネル（１１８）と、
ユーザの眼（１３２）の姿勢を追跡するためのアイトラッキングコンポーネント（１０６，１０８）と、
前記一体型ライトフィールドフレーム（１２０）を前記ユーザの眼（１３２）に提示するための小型レンズアレイ（１２４）と、
小型レンズアレイ（１２４）から投影される光の焦点距離を変化させることにより、前記一体型ライトフィールドフレーム（１２０）内の前記要素画像のアレイのための焦点を調節するためのレンダリングコンポーネント（１０４）とを備え、
前記小型レンズアレイは、可変屈折率材料を備え、さらに前記レンダリングコンポーネントは、電圧を前記小型レンズアレイ（１２４）内の複数の小型レンズ（１２６）の各々に独立して印加して、前記複数の小型レンズ（１２６）の前記屈折率の変化を誘発し、前記小型レンズアレイ（１２４）に出入りする光の出射角を変化させることによって、前記要素画像のアレイのための前記焦点を調節するためのものである、ニアアイディスプレイシステム。
【請求項１４】
ニアアイディスプレイシステムであって、
要素画像のアレイ（１２２）を備える一体型ライトフィールドフレーム（１２０）を表示するためのディスプレイパネル（１１８）と、
ユーザの眼（１３２）の姿勢を追跡するためのアイトラッキングコンポーネント（１０６，１０８）と、
前記一体型ライトフィールドフレーム（１２０）を前記ユーザの眼（１３２）に提示するための小型レンズアレイ（１２４）と、
小型レンズアレイ（１２４）から投影される光の焦点距離を変化させることにより、前記一体型ライトフィールドフレーム（１２０）内の前記要素画像のアレイのための焦点を調節するためのレンダリングコンポーネント（１０４）とを備え、
前記ディスプレイパネル（１１８）と前記小型レンズアレイ（１２４）との間に配置された可変屈折率材料（１５８）をさらに備え、
前記可変屈折率材料（１５８）は、複数の領域により構成され、前記複数の領域の各々に個別に印加することにより、前記可変屈折率材料の前記屈折率の変化を誘発し、前記小型レンズアレイ（１２４）に出入りする光の入射角を変化させる、ニアアイディスプレイシステム。
【請求項１５】
前記アイトラッキングコンポーネントは、
光を前記ユーザの眼上へと投影するための１つまたは複数の赤外（ＩＲ）照明器の組と、
前記小型レンズアレイ（１２４）と前記ディスプレイパネル（１１８）との間に配置され、前記小型レンズアレイ（１２４）を通して前記ユーザの眼（１３２）に向かって配向された撮像カメラとを備える、請求項１２から１４のいずれか１項に記載のニアアイディスプレイシステム。
【請求項１６】
レンダリングシステムであって、
少なくとも１つのプロセッサ（１３６，１３８，１４０）と、
アイトラッキングコンポーネント（１０６，１０８）からのデータを受信するための入力とを備え、前記データは、ニアアイディスプレイパネル（１１８）に対するユーザの眼の姿勢を表し、前記レンダリングシステムはさらに、
実行可能な命令の組を格納するためのストレージコンポーネント（１４２）を備え、実行可能な命令の前記組は、前記少なくとも１つのプロセッサ（１３６，１３８，１４０）を操作して、要素画像のアレイ（１２２）を備える一体型ライトフィールドフレーム（１２０）をレンダリングさせるように構成され、実行可能な命令の前記組は、前記少なくとも１つのプロセッサ（１３６，１３８，１４０）を操作して、前記ユーザの眼（１３２）の前記姿勢に基づき前記一体型ライトフィールドフレーム（１２０）内の前記要素画像のアレイのための焦点を調節させるように構成され、
実行可能な命令の前記組は、前記少なくとも１つのプロセッサを操作して、
前記ユーザの眼（１３２）の前記姿勢によって焦点を合わせられた対象物体（５０２）の仮想深度を前記一体型ライトフィールドフレーム内の他の物体（５０４）の前記仮想深度に対して識別することと、
小型レンズアレイに備え付けられた可変屈折率材料を構成する複数の領域の各々に個別に印加されるべき電圧を計算し、前記可変屈折率材料の前記屈折率の変化を誘発して、前記小型レンズアレイ（１２４）に出入りする光の出射角を変化させることによって前記焦点を調節させることとにより構成される、レンダリングシステム。
【請求項１７】
請求項１から１１のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【背景技術】
【０００１】
背景
３次元（３Ｄ）グラフィクスの実行的なディスプレイを提供するために、ヘッドマウントディスプレイ（ＨＭＤ）および他のニアアイディスプレイシステムは、一体型ライトフィールドディスプレイまたは他のコンピュータ計算ディスプレイを利用することができる。一般に、一体型ライトフィールドディスプレイは、１つまたは複数のディスプレイパネルと、当該１つまたは複数のディスプレイパネルに重畳する、小型レンズ、ピンホール、または、他の光学系機構のアレイを用いる。レンダリングシステムは、要素画像のアレイをレンダリングし、各要素画像は、対応する視点または仮想カメラ位置からの対象物またはシーンの画像またはビューを表す。そのような一体型ライトフィールドディスプレイは、解像度が小型レンズの密度に比例するため、典型的に解像度と調節範囲との間のトレードオフを呈する。このため、満足のゆく解像度を提供するために、一体型ライトフィールドディスプレイを用いる従来のニアアイディスプレイシステムは、典型的に表示解像度を制限する低い密度の大きなサイズの小型レンズを有し、または調節範囲を制限する高い密度のより小さいサイズの小型レンズを有する。
【０００２】
図面の簡単な説明
本開示は、添付の図面を参照することによって、よりよく理解されることができ、その多数の特徴および利点は、当業者に明らかとなるであろう。異なる図面における同じ参照符号の使用は、類似のまたは同一の項目を示す。
【図面の簡単な説明】
【０００３】
【図１】いくつかの実施形態に従い動的焦点距離調整を提供するためにアイトラッキングおよび対応する要素画像シフトを用いるニアアイディスプレイシステムを示す図である。
【図２】いくつかの実施形態に従う図１のニアアイディスプレイシステム内の動的焦点距離調整の例を示す図である。
【図３】いくつかの実施形態に従う図１のニアアイディスプレイシステム内の動的焦点距離調整の追加的な例を示す図である。
【図４】いくつかの実施形態に従う図１のニアアイディスプレイシステム内の動的焦点距離調整のための方法を示すフロー図である。
【図５】いくつかの実施形態に従う図１のニアアイディスプレイシステム内の動的調節範囲調整の例である。
【図６】いくつかの実施形態に従う図１のニアアイディスプレイシステム内の動的焦点距離調整のための例示的可変焦点小型レンズアレイを示す図である。
【発明を実施するための形態】
【０００４】
詳細な説明
図１〜図６は、ニアアイディスプレイシステム内のユーザの眼の姿勢に基づく動的焦点距離および調節範囲調整のための例示的方法およびシステムを示す。少なくとも１つの実施形態では、ユーザに没入型の仮想現実（ＶＲ）または拡張現実（ＡＲ）エクスペリエンスを提供するために、ニアアイディスプレイシステムは、ユーザに対してイメージの一体型ライトフィールドフレームを表示するためのコンピュータ計算ディスプレイを用いる。各一体型ライトフィールドフレームは、要素画像のアレイで構成され、各要素画像は、異なる対応する視点からの対象物またはシーンのビューを表す。小型レンズのアレイは、ディスプレイパネルに重畳し、要素画像のアレイをユーザに単一のオートステレオスコピック画像として提示するために動作する。
【０００５】
コンピュータ計算ディスプレイの解像度が小型レンズ焦点距離に対する小型レンズの大きさの比に比例するので、大きい小型レンズを使用して解像度を増加させる試みは、一般に減少された焦点距離および調節範囲をもたらし、その逆も成立する。改善された解像度を調節範囲の対応する減少なく提供するために、少なくとも１つの実施形態では、ここで説明されるニアアイディスプレイシステムは、アイトラッキングコンポーネントがユーザの眼の現在の姿勢（位置および／または回転）を決定するために利用され、この現在の姿勢に基づき、可変屈折率材料に印加されるべき電圧を決定し、可変屈折率材料によって小型レンズから投影された光がそれらの焦点距離を変化させられ、これにより画像の部分がユーザの眼の現在の姿勢に基づきどのように焦点を合わされ知覚されるかを変化させる動的手法を使用する。例として、材料の屈折率は、第１の調節範囲を生成するように初期的に設定され得、この範囲内で物体が焦点の合った状態で知覚され得る。その後、材料の屈折率は、変化され、第２の調節範囲を生成し得、この範囲内で物体が焦点の合った状態で知覚され得る。ユーザの視線が変化する際に、材料の屈折率は、変化され、調節範囲を動的に調節し、この範囲内で物体が焦点の合った状態で知覚され得る。このため、ユーザの眼の姿勢の変化に応答して屈折率を動的に変化することおよび調節範囲をシフトすることは、ニアアイディスプレイシステムの解像度の対応する減少を要さずに大きい調節範囲を効果的に提供する。
【０００６】
図１は、少なくとも１つの実施形態に従い動的調節範囲調整を組み込むニアアイディスプレイシステム１００を示す。図示される例では、ニアアイディスプレイシステム１００は、コンピュータ計算ディスプレイサブシステム１０２と、レンダリングコンポーネント１０４と、ユーザの左眼を追跡するためのアイトラッキングコンポーネント１０６およびユーザの右眼を追跡するためのアイトラッキングコンポーネント１０８のうちの１つまたは両方といった１つまたは複数アイトラッキングコンポーネントと含む。コンピュータ計算ディスプレイサブシステム１０２は、装置１１４（たとえば、ゴーグル、眼鏡等）内に取り付けられる、左眼ディスプレイ１１０および右眼ディスプレイ１１２を含み、装置１１４は、ユーザの左眼と右眼それぞれの正面にディスプレイ１１０，１１２を配置する。
【０００７】
ビュー１１６に示されるように、各ディスプレイ１１０，１１２は、一体型ライトフィールドフレームのシーケンスまたは連続物（以降、参照の容易さのために「ライトフィールドフレーム」）を表示するために、少なくとも１つのディスプレイパネル１１８を含み、その各々は、要素画像１２２のアレイ１２０を備える。参照の容易さのために、要素画像１２２のアレイ１２０は、ここではライトフィールドフレームとも称され得る。ディスプレイ１１０，１１２の各々は、ディスプレイパネル１１８に重畳する（一般的に「マイクロレンズ」とも称される）小型レンズ１２６のアレイ１２４をさらに含む。典型的に、小型レンズアレイ１２４内の小型レンズ１２６の数は、アレイ１２０内の要素画像１２２の数に等しいが、他の実装においては、小型レンズ１２６の数は、要素画像１２２の数よりも多くても少なくてもよい。図１の例は、図示の容易さのために５×４の要素画像１２２のアレイおよび対応する５×４の小型レンズ１２６のアレイ１２０を図示するが、典型的な実装において、ライトフィールドフレーム１２０内の要素画像１２２の数および小型レンズアレイ１２４内の小型レンズ１２６の数は、典型的にはるかにより多いということに留意すべきである。さらに、いくつかの実施形態では、ディスプレイ１１０，１１２の各々に対して別個のディスプレイパネル１１８が実装され、他の実施形態では、左眼ディスプレイ１１０および右眼ディスプレイ１１２は、単一のディスプレイパネル１１８を共有し、ディスプレイパネル１１８の左半分は、左眼ディスプレイ１１０のために使用され、ディスプレイパネル１１８の右半分は、右眼ディスプレイ１１２のために使用される。
【０００８】
図１の断面図１２８は、ディスプレイパネル１１８に重畳する小型レンズアレイ１２４のＡ−Ａ線に沿う断面図を示し、小型レンズアレイ１２４は、小型レンズアレイ１２４がディスプレイ表面１３０とユーザの対応する眼１３２との間に配置されるようにディスプレイパネル１１８のディスプレイ表面１３０に重畳する。この構成では、各小型レンズ１２６は、ディスプレイ表面１３０の対応する領域を眼の瞳孔１３４上へと集束し、そのような各領域は、少なくとも部分的に１つまたは複数の隣接する領域と重畳する。このため、そのようなコンピュータ計算ディスプレイ構成では、要素画像１２２のアレイ１２０がディスプレイパネル１１８のディスプレイ表面１３０に表示され、小型レンズアレイ１２４を通して眼１３２によって視られると、ユーザは、要素画像１２２のアレイ１２０をシーンの単一の画像として知覚する。このため、ユーザの左眼および右眼の両方に対してその間に適切な視差が実装された状態でこの処理が並列に行われるときに、結果は、ユーザに対するオートステレオスコピック３次元（３Ｄ）イメージの提示である。
【０００９】
また図１に示されるように、レンダリングコンポーネント１０４は、図示される中央処理ユニット（ＣＰＵ）１３６およびグラフィックス処理ユニット（ＧＰＵ）１３８，１４０といった１つまたは複数のプロセッサの組、および１つまたは複数のプロセッサ１３６，１３８，１４０がここで説明される様々なタスクを行うよう操作するために、プロセッサ１３６，１３８，１４０によってアクセスされ実行されるソフトウェアプログラムまたは他の実行可能な命令を格納するための、システムメモリ１４２といった、１つまたは複数のストレージコンポーネントを含む。そのようなソフトウェアプログラムは、たとえば、以下に説明するような調節範囲調整処理ならびにアイトラッキング処理のための実行可能な命令並びにまた以下に説明するようなアイトラッキングプログラム１４６のための実行可能な命令を備える。
【００１０】
動作において、レンダリングコンポーネント１０４は、レンダリング情報１４８をローカルまたはリモートコンテンツソース１５０から受信し、レンダリング情報１４８は、対象物またはシーン、すなわちディスプレイサブシステム１０２においてレンダリングされ表示されるべき被写イメージを表す、グラフィクスデータ、ビデオデータ、または他のデータを表す。レンダリングプログラム１４４を実行するために、ＣＰＵ１３６は、レンダリング情報１４８を使用してＧＰＵ１３８，１４０への描画命令を送信し、次いで描画命令を利用して、任意の様々な既知のＶＲ／ＡＲコンピュータ計算／ライトフィールドレンダリング処理を使用し、左眼ディスプレイ１１０においてディスプレイするためのライトフィールドフレーム１５１のシリーズと右眼ディスプレイ１１２においてディスプレイするためのライトフィールドフレーム１５３のシリーズとを並列にレンダリングする。このレンダリング処理の一部として、ＣＰＵ１３６は、慣性管理ユニット（ＩＭＵ）１５４から姿勢情報１５０を受信してもよく、姿勢情報１５０は、ディスプレイサブシステム１０２の現在の姿勢を表し、ＣＰＵ１３６は、ライトフィールドフレーム１５１，１５３の１つまたは複数の対のレンダリングが現在の姿勢からの対象物またはシーンの視点を反映するように制御し得る。
【００１１】
以下に詳細に説明するように、レンダリングコンポーネント１０４は、アイトラッキングコンポーネント１０６，１０８のうちの１つのまたは両方からの眼の姿勢情報をさらに使用して、表示されるべきライトフィールドフレームのために要素画像１２２の投影の焦点距離を小型レンズアレイ１２４から眼１３２へとシフトし得、これによりそのように表示されるライトフィールドフレームのための１つまたは複数の要素画像１２２の焦点を調節する。この目的のため、アイトラッキングコンポーネント１０６，１０８の各々は、赤外（ＩＲ）光を用いて眼を照射するための（ここでは「ＩＲ照明器」とも称される）１つまたは複数のＩＲ光源と、対応する眼から反射されたＩＲ光を対応する眼の画像（眼の画像情報１５６）として捕捉するための対応する１つまたは複数の撮像カメラと、反射されたＩＲ光を撮像カメラに導くための１つまたは複数の鏡、導波管、ビームスプリッタ等と、アイトラッキングプログラム１４６を実行し、これにより捕捉された眼の画像からの対応する眼の現在位置、現在の配向、または両方（単独でまたは集合的にここでは「姿勢」とも称される）を決定するための１つまたは複数のプロセッサとを含み得る。任意のさまざまなよく知られたアイトラッキング装置および技法は、ユーザの１つまたは両方の眼を追跡するためのアイトラッキングコンポーネント１４６，１４８として用いられ得る。
【００１２】
従来のコンピュータ計算ディスプレイに基づくシステムでは、ディスプレイに重畳する小型レンズアレイの属性は、典型的に固定され（すなわち、小型レンズの物理寸法および／または材料構造は、固定され、しばしばすべての小型レンズに対して同一である）、ひいては小型レンズの光学属性が固定されることをもたらす。結果として、ユーザが表示されるイメージを知覚する焦点を変化させることは、小型レンズアレイをユーザの眼のより近くにまたはより遠くに物理的に動かすために、機械的な作動をしばしば含む。ニアアイディスプレイシステムでは、小型レンズの小さい焦点距離は、それらを小さいレンズ−ディスプレイ間隔公差にさらす。結果として、小型レンズアレイの初期的構造における任意の不正確さまたは動作中の機械的な遷移における任意の不正確さは、焦点の喪失または表示されるイメージ内のぼやけた物体といった、表示されるイメージのユーザの知覚への意図されない影響をもたらす可能性がある。
【００１３】
ここで説明されるように、少なくとも１つの実施形態では、ニアアイディスプレイシステム１００は、投影されたイメージの焦点距離がユーザの眼の現在の姿勢により近く整列するように調節するよう構成された可変焦点長の小型レンズアレイを実装することによって、表示されるイメージの焦点への調節の精度を改善する。これは、ユーザの１つのまたは両方の眼を追跡するためのアイトラッキングコンポーネント１０６，１０８を使用して、表示されるべき対応するライトフィールドフレームのための１つまたは両方の眼の現在の姿勢を決定することによって達成される。決定された現在の姿勢を用いて、レンダリングコンポーネント１０４はそして、小型レンズアレイ内の１つまたは複数の小型レンズ１２６から投影された光の焦点距離を電気的に調節し、ユーザの眼１３２に対してレンダリングされるライトフィールドフレーム内の１つまたは複数の要素画像１２２の焦点を変化させる。この焦点への変化は、ディスプレイパネル１１８によって表示される物体がユーザの知覚から焦点を合わせられ、または焦点を外されることをもたらす。このようにして、小型レンズ１２６の焦点距離（複数可）は、動的に調節され、ユーザの眼の現在の姿勢を調節し得る。
【００１４】
いくつかの実施形態では、小型レンズアレイ１２４は、ネマチック液晶セルから構築される小型レンズを含む。ネマチック液晶セルは、たとえば、電圧源（図示しない）を使用して電気的にアドレス指定可能である。小型レンズ１２６に印加された電圧の変化は、小型レンズの屈折率の変化を引き起こし、これによって小型レンズの焦点距離を変化させる。他の実施形態では、ネマチック液晶セルを使用して構築される小型レンズよりもむしろ、可変屈折率材料１５８の層（ネマチック液晶セルまたは可変焦点距離を有するように構成される他の可変焦点光学部品から構築されるものなど）は、ディスプレイパネル１１８と小型レンズアレイ１２４との間に配置されるように位置決めされる。
【００１５】
ここではネマチック液晶の文脈で記載されるが、当業者は、本開示の範囲から逸脱することなく、任意の可変屈折率材料および／または可変焦点光学部品が使用され得ることを認識するであろう。例えば、そのような光学部品は、変形可能なメンブレンミラー（ＤＭＭ）、流体レンズ、空間光変調器（ＳＬＭ）、電気光学ポリマーなどを含むことができるが、これらに限定されない。追加的に、いくつかの他の実施形態では、小型レンズアレイ１２４から投影された光の焦点距離は、小型レンズアレイ１２４、可変屈折率材料１５８の層、ディスプレイパネル１１８、および眼１３２の間の物理距離を変化させるために、可変屈折率材料の可変屈折小型レンズまたは層を機械的なアクチュエータ（図示しない）と組み合わせることによってさらに調節され得る。たとえば、そのような機械的アクチュエータは、圧電アクチュエータ、ボイスコイルアクチュエータ、または電気活性ポリマーアクチュエータを含み得る。
【００１６】
１つの実施形態では、電圧は、小型レンズアレイ１２４または可変屈折率材料１５８の層全体に印加される。従って、各個々の小型レンズ１２６または可変屈折率材料１５８の層全体は、その屈折率を調節するために同じ電圧を受信し、これによって小型レンズアレイ１２４全体から投影された光の焦点距離を変化させる。これは、小型レンズアレイ１２４を眼１３２のより近くにまたは遠くに機械的に作動し遷移させるのと同じ効果を達成し、さらに所望の焦点距離を達成する精度を改善する。他の実施形態では、小型レンズ１２６の各々は、個々にアドレス指定可能であり、互いに異なる電圧を受信することができる。同様に、可変屈折率材料１５８の層は、小型レンズアレイのものと一致する寸法を有してピクセル化され得、可変屈折率材料１５８の層のピクセル化された領域の各々は、個々にアドレス指定可能であり得る。これは、各小型レンズ１２６から投影された光の焦点距離についてより詳細に制御することを可能とする。従って、各小型レンズ１２６から投影された光は、モジュール化されることができ、要素画像１２２の各々は、画像内の物体に対して異なる視距離を有する画像の異なる部分を提示し得る。焦点についての制御のさらなる粒度を提供するために、いくつかの実施形態では、可変屈折率材料１５８の層は、各小型レンズ１２６に対応する各要素画像１２２の異なる部分が一意の焦点距離へと個々にアドレス指定され得るような寸法を有するサブ小型レンズレベルにおいて、ピクセル化され得る。
【００１７】
代替的に、焦点についての制御のさらなる粒度を提供するために、他の実施形態では、ニアアイディスプレイシステム１００は、ディスプレイパネル１１８と小型レンズアレイ１２４との間に配置されるように位置決めされる任意の位相マスク１６０を含む。たとえば、図１に示されるように、任意の位相マスク１６０は、ディスプレイ１１８からの（またはいくつかの実施形態では、可変屈折率材料１５８からの）到来光を受光し、出力される光ビームの位相を空間的に変調するピクセル化された空間光変調器（ＳＬＭ）である。従って、各小型レンズ１２６は、異なる光線に対して複数の空間的に変化する位相を有する入射ビームを受信し、これにより各々要素画像１２２の異なる部分は、異なる焦点距離に集束され得る。
【００１８】
他の実施形態では、小型レンズアレイ１２４または可変屈折率材料１５８の層は、２つ以上のパーティションへとセグメント化され得る。各パーティションは、同じ電圧を用いてアドレス指定され得、これによってそのパーティションのみに対して焦点距離を変化させる。たとえば、小型レンズアレイ１２４または可変屈折率材料１５８の層は、各々が異なる電圧信号を受信する４つの等しい象限へと、アドレス指定可能である個々の行へと、個々の列へと等、セグメント化され得る。当業者は、小型レンズアレイ１２４または可変屈折率材料１５８の層の空間的に可変のアドレス指定可能なパーティションへの任意のセグメント化は、本開示の範囲を逸脱すること無く使用され得るということを認識するだろう。
【００１９】
図示のために、図２は、可変屈折率小型レンズを使用するニアアイディスプレイシステム１００内で利用されるものといったコンピュータ計算ディスプレイの断面図２００を示す。この図に示されるように、小型レンズアレイ１２４の小型レンズ１２６の各々は、眼１３２上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、ディスプレイパネル１１８において表示される要素画像のアレイからの合成仮想画像２０２を形成する際に１つまたは複数の隣接するプロジェクタと重畳する。図示のために、小型レンズ１２６−１は、仮想画像２０２の領域２１０からの（領域２０４によって表された）対応する要素画像を投影し、小型レンズ１２６−２は、仮想画像２０２の領域２１２からの（領域２０６によって表された）対応する要素画像を投影し、小型レンズ１２６−３は、仮想画像２０２の領域２１４からの（領域２０８によって表された）対応する要素画像を投影する。図２によって示されるように、領域２１０および領域２１２は、サブ領域２１６において重畳し、領域２１２および領域２１４は、サブ領域２２０において重畳し、すべての３つの領域２１０，２１２，２１４は、サブ領域２１８において重畳する。
【００２０】
このため、この例では、ディスプレイパネル１１８の領域２０６において位置決めされる要素画像が第１の時間ｔ１において眼１３２によって焦点を合わせられると仮定すると、小型レンズ１２６−２の屈折率は、（たとえば、レンダリングコンポーネント１０４によって）計算され、電気的に変更され得、小型レンズ１２６−２からの画像データを含む光は、眼１３２の後方において第１の焦点２２２に集束される。従って、仮想画像２０２の領域２１２の部分は、第１の時間ｔ１において焦点が合っているように見える。その後、この例では、ユーザが第２の時間ｔ２において眼をそらし、ディスプレイパネル１１８の領域２０４に位置決めされる要素画像に焦点を合わせると仮定する。ユーザの眼に対する新たな姿勢への変化を説明するために、小型レンズ１２６−２の屈折率は、（たとえば、レンダリングコンポーネント１０４によって）計算され、電気的に変化され得、これにより小型レンズ１２６−２からの画像データを含む光は、ユーザの眼の調節範囲が画像のその部分に焦点を合わせることができないように第２の焦点２２４に集束される。従って、仮想画像２０２の領域２１２部分は、第２の時間ｔ２において焦点が合っていない（たとえば、ぼやけている）ように見える。
【００２１】
代替的な実施形態では、図３は、可変屈折率材料の層を使用するニアアイディスプレイシステム１００内で利用されるものといったコンピュータ計算ディスプレイの断面図３００を示す。この図に示されるように、小型レンズアレイ１２４の小型レンズ１２６の各々は、眼１３２上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、ディスプレイパネル１１８において表示される要素画像のアレイから合成仮想画像２０２を形成する際に、１つまたは複数の隣接するプロジェクタに重畳する。図示のために、小型レンズ１２６−１は、仮想画像３０２の領域３１０からの（領域３０４によって表される）対応する要素画像を投影し、小型レンズ１２６−２は、仮想画像３０２の領域３１２からの（領域３０６によって表された）対応する要素画像を投影し、小型レンズ１２６−３は、仮想画像３０２の領域３１４からの（領域３０８によって表された）対応する要素画像を投影する。図３によって示されるように、領域３１０および領域３１２は、サブ領域３１６において重畳し、領域３１２および領域３１４は、サブ領域３２０において重畳し、すべての３つの領域３１０，３１２，３１４は、サブ領域３１８において重畳する。図３において図示された実施形態では、（図１に対して以前に説明されたような）可変屈折率材料１５８の層は、その屈折率を変化させ、小型レンズ１２６上の光の入射を変化させ、ひいては小型レンズ１２６から投影された光の焦点距離を変化させる。
【００２２】
このため、この例では、ディスプレイパネル１１８の領域３０６において位置決めされる要素画像が眼１３２によって第１の時間ｔ１において焦点を合わせられると仮定すると、可変屈折率材料１５８の層の屈折率は、（たとえば、レンダリングコンポーネント１０４によって）計算され、電気的に変更され得、これにより小型レンズ１２６−２から投影された画像データを含む光は、眼１３２の後方において第１の焦点３２２に集束される。従って、仮想画像３０２の領域３１２の部分は、第１の時間ｔ１において焦点が合っているように見える。その後、この例では、ユーザが第２の時間ｔ２において眼をそらし、ディスプレイパネル１１８の領域３０４において位置決めされる要素画像上に焦点を合わせると仮定する。ユーザの眼に対する新たな姿勢への変化を説明するために、可変屈折率材料１５８の層の屈折率は、（たとえば、レンダリングコンポーネント１０４によって）計算され、電気的に変更され得、これにより小型レンズ１２６−２からの画像データを含む光は、ユーザの眼の調節範囲が画像のその部分に焦点を合わせることができないように第２の焦点３２４に集束される。従って、仮想画像３０２の領域３１２の部分は、第２の時間ｔ２において焦点が外れて（たとえば、ぼやけて）見える。
【００２３】
図４は、いくつかの実施形態に従い動的画像焦点調整を提供するために調節可能な焦点距離を有する小型レンズを使用してライトフィールドフレームをレンダリングするためのニアアイディスプレイシステム１００の動作の方法４００を示す。方法４００は、左眼ディスプレイ１１０または右眼ディスプレイ１１２のうちの１つのためのライトフィールドフレームのレンダリングおよび表示のための処理の１回の繰り返しを例示し、このため例示された処理は、ディスプレイ１１０，１１２の各々に対して反復して並列に行われ、異なる時点において各眼のためのライトフィールドフレームの異なるストリームまたはシーケンスを生成し表示し、このため３ＤのオートステレオスコピックＶＲまたはＡＲ体験をユーザに提供する。
【００２４】
ライトフィールドフレームが生成され表示されるために、方法４００は、ブロック４０２において開始し、レンダリングコンポーネント４０２は、ライトフィールドフレームとしてユーザの対応する眼に表示されるべき画像コンテンツを識別する。少なくとも１つの実施形態では、レンダリングコンポーネント１０４は、ジャイロスコープ、加速度計、磁力計、全地球測位システム（ＧＰＳ）センサ等といった姿勢に関連付けられた様々なセンサからのデータを表すＩＭＵ情報１５２を受信し、ＩＭＵ情報１５０からディスプレイ１１０，１１２をユーザの眼の近くに取り付けるために使用された装置１１４（たとえば、ＨＭＤ）の現在の姿勢を決定する。この現在の姿勢から、ＣＰＵ１３６は、レンダリングプログラム１４４を実行して、被写シーンまたは対象物の対応する現在の視点を決定することができ、この視点とレンダリング情報１４８として提供されるシーンまたは対象物のグラフィカルなおよび空間的な描写とから、現在の姿勢に対してレンダリングされるべきイメージを決定する。
【００２５】
ブロック４０４において、ＣＰＵ１３６は、アイトラッキングプログラム１４６を実行して、ユーザの対応する眼の現在の姿勢を決定する。ここに説明されるように、眼の現在の姿勢は、任意のさまざまなアイトラッキング技法を使用して決定され得る。一般に、そのような技法は、眼の瞳孔および角膜から反射されたＩＲ光の１つまたは複数の画像の捕捉を含む。アイトラッキングプログラム１４６はそして、ＣＰＵ１３６またはＧＰＵ１３８，１４０を操作して、画像を分析させ、瞳孔反射または角膜反射のうちの１つまたは両方の対応する位置に基づき眼の姿勢を決定し得る。さらに、次いで角膜に対する瞳孔の配向は、眼の配向（すなわち、眼の視線の方向）を決定するために使用され得る。ブロック４０４が図４においてブロック４０２に続いて示されるが、ブロック４０４の処理は、ブロック４０２の処理前に、処理中に、または処理後に行われ得るということが留意されるべきである。
【００２６】
ユーザの眼の現在の姿勢が決定されると、ブロック４０６においてレンダリングプログラム１４４は、ＣＰＵ１３６を操作して、ユーザの眼の現在の姿勢に基づき小型レンズアレイ１２４内の１つまたは複数の小型レンズ１２６のための（たとえば、所望の焦点または焦点面への）所望の焦点距離を計算する。上述のように、焦点距離は、小型レンズから投影された（画像データを伝播する）光を見るときに、最も鮮明な焦点が得られる距離を提示する。特に、所望の焦点距離は、ユーザの眼の視線が向けられた画像要素（たとえば、仮想画像内の物体、個人、シーン等）が、小型レンズ１２６を通した投影後に焦点が合った状態で知覚されることを可能とするよう意図される。すなわち、所望の焦点距離は、小型レンズから投影された光線が集まり眼の現在の姿勢に一致する距離を動的に調節するために機能し、これによって画像コンテンツの異なるビューが知覚される焦点を変化させる。
【００２７】
少なくとも１つの実施形態では、所望の焦点距離の計算は、ユーザがディスプレイパネル１１８に対するユーザの眼の現在の姿勢を使用して彼または彼女の視線を向けている仮想画像内の仮想物体の識別に少なくとも部分的に基づく。図示のために、図５の断面図５００によって示される例示的シナリオを参照して、仮想画像は、異なる深度において眼１３２によって知覚されることを意図されるいくつかの物体を含むことができる。たとえば、仮想画像は、仮想画像内の深度ｄ１およびｄ２それぞれにおいて位置決めされるココナツ５０２および木５０４を提示する画像データを含む。この例では、ブロック４０４において決定された眼の現在の姿勢が、ユーザの視線がココナツ５０２に焦点を合わせていると決定すると仮定し、所望の焦点距離は、計算され得、これにより小型レンズ１２６−３から投影されたココナツ５０２のための画像データを含む光は、眼１３２の後方において第１の焦点５０８に集束される。従って、仮想画像内のココナツ５０２は、焦点が合っているように見える。
【００２８】
いくつかの実施形態では、所望の焦点距離の計算は、仮想画像内の物体が焦点の合った状態で知覚される深度の範囲を一般に指す調節範囲の決定をさらに含む。調節範囲内で位置決めされる物体は、焦点の合った状態で知覚され得、調節範囲外に位置決めされる（すなわち、仮想深度において眼に近すぎるまたは眼から遠すぎる）物体は、眼の現在の姿勢がその調節範囲外の物体に直接的に視線を向けていても、焦点の合った状態で知覚されない。たとえば、再び図５を参照して、木５０４は、眼の現在の姿勢が木５０４に直接的に視線を向けていても、それが調節範囲５０６外に位置決めされるので、焦点の合った状態で知覚されない。
【００２９】
対照的に、調節範囲５１２が決定された場合、ココナツ５０２および木５０４の両方が眼１３２に対して焦点が合っているように見える。特に、この例では、ブロック４０４において決定された眼の現在の姿勢が、ユーザの視線が第１の時間ｔ１においてココナツ５０２に焦点を合わせていると決定すると仮定した場合、仮想画像内のココナツ５０２は、調節範囲５１２内に位置決めされるので、焦点が合っているように見える。いくつかの実施形態では、第１の時間ｔ１において、仮想画像内の木５０４は、調節範囲５１２内に位置決めされるが、眼の現在の姿勢がココナツ５０２に焦点を合わせているので、焦点が合って知覚されない。すなわち、調節範囲の決定は、調節範囲内に位置決めされるが、ユーザの視線によって焦点を合わせられない物体が、完全に焦点の合った状態で知覚されないような、１つまたは複数の所望の焦点距離を決定することをさらに含む。
【００３０】
焦点距離は、向けられた視線が物体を焦点の合った状態で知覚する１つまたは複数の焦点領域および焦点ずれしたぼやけが提供される１つまたは複数の焦点ずれ領域を提供するために決定されることができ、これによって網膜のぼやけの形態の調節手がかりを提供し、深度知覚の模倣を支援する。しかし、後の時間ｔ２において、ユーザの視線が変化され、木５０４上に焦点を合わせると、仮想画像内の木５０４は、調節範囲５１２内に位置決めされるので、焦点が合っているように見える。同様に、ココナツ５０２は、調節範囲５１２内に位置決めされるが、第２の時間ｔ２において眼の現在の姿勢が木５０４に焦点を合わせているので、焦点が合って知覚されない。
【００３１】
他の実施形態では、ブロック４０６において所望の焦点距離を計算することは、ユーザの眼内の既存の屈折異常（たとえば、近視、遠視）のための補償を任意に含むことができる。たとえば、平坦なシフトは、一体型ライトフィールドの各部分のための所望の焦点距離に適用され、ユーザの近視または遠視を修正し得、矯正レンズ（たとえば、眼鏡またはコンタクトレンズ）を通常着用しなければならないユーザがそのような矯正レンズを着用することなく画像を焦点の合った状態で見ることを可能とする。同様の補償はまた、製造からの環境条件またはアセンブリ公差による機械的な／熱的なドリフトを説明するために適用されることができる。
【００３２】
所望の焦点距離が決定されると、ブロック４０８においてレンダリングプログラム１４４は、ＣＰＵ１３６を操作して、可変屈折率材料に印加されるべき電圧を計算させる。この処理の一部として、ＣＰＵ１３６はまた、計算された電圧が可変屈折率材料の屈折率の変化を誘発するために印加されるように命令し、これは次いでここに説明された小型レンズに出入りする光の入射角を変化させる。たとえば、図１および図２を再度参照して、いくつかの実施形態は、可変屈折率材料から小型レンズを構築することを含む。従って、計算された電圧を小型レンズに印加することは、それらの屈折率および小型レンズアレイを出入りする光の入射角を直接的に変化させる。他の実施形態では、図３に対して説明されたように、可変屈折率材料は、ディスプレイパネル１１８と小型レンズアレイ１２４との間に配置された層として提供されることができる。そのような実施形態では、計算された電圧を可変屈折率材料１５８の層のみに印加することは、屈折率および可変屈折率材料１５８の層を出入りする光の入射角を直接的に変化させる。しかし、可変屈折率材料１５８の層を出入りする光の入射角への変化は、小型レンズアレイ１２４が受光する光の入射角の変化をもたらし、これによって小型レンズ１２６の焦点および長さを変化させる。ＧＰＵはその後、ライトフィールドフレームをブロック２１０においてレンダリングし、ブロック４０６およびブロック４０８の焦点距離への調整を有する、ユーザの眼１３２に表示するためのライトフィールドフレームを、対応するコンピュータ計算ディスプレイ１１０，１１２のうちの１つに提供する。ブロック４１０が図４において方法４００の最終ステップとして示されるが、ブロック４１０の処理はまた、ブロック４０２の処理前、処理中に、または処理後に行われ得るということにも留意されるべきである。
【００３３】
上述のように、ここで説明される動的調節範囲調整および焦点距離変更処理は、対応する眼の現在の姿勢を決定するためにアイトラッキングコンポーネント（たとえば、アイトラッキングコンポーネント１０６，１０８）を利用する。このアイトラッキングコンポーネントは、眼を照射するための１つまたは複数のＩＲ照明器、眼からのＩＲ反射のイメージを捕捉するための撮像カメラ、反射されたＩＲ光を眼から撮像カメラに導くための１つまたは複数のレンズ、導波管、または他の光学要素、およびソフトウェアプログラムを実行して捕捉されたイメージを分析する１つまたは複数のプロセッサを典型的に含む。
【００３４】
図５は、いくつかの実施形態に従い可変屈折率材料を使用して調節範囲を拡張するためのニアアイディスプレイシステム１００において利用されるものといった追加的な例示的コンピュータ計算ディスプレイを示す。断面図５００によって示されるように、この構成では、小型レンズアレイ１２４の小型レンズ１２６の各々は、眼１３２上への別個の「プロジェクタ」として機能し、各「プロジェクタ」は、ディスプレイパネル１１８において表示される要素画像のアレイから合成仮想画像を形成する際に、１つまたは複数の隣接するプロジェクタと重畳する。
【００３５】
図５００によって示されるように、仮想画像は、異なる深度において眼１３２によって知覚されることを意図されるいくつかの物体を含むことができる。たとえば、仮想画像は、仮想画像内の深度ｄ１およびｄ２それぞれにおいて位置決めされるココナツ５０２および木５０４を提示する画像データを含む。この例では、眼１３２の現在の姿勢が、ユーザの視線が第１の時間ｔ１においてココナツ５０２に焦点を合わせていると決定すると仮定した場合、可変屈折率材料１５８の層の屈折率は、（たとえば、レンダリングコンポーネント１０４によって）計算され、電気的に変更され得、これにより小型レンズから投影された画像データを含む光は、調節範囲５０６と関連付けられる。
【００３６】
小型レンズ１２６−３から投影されたココナツ５０２のための画像データは、眼１３２の後方において第１の焦点５０８に集束される。従って、仮想画像内のココナツ５０２は、第１の時間ｔ１において焦点が合っているように見える。しかし、第１の時間ｔ１における可変屈折率材料１５８の層の屈折率に基づき、小型レンズ１２６−１からの木５０４のための画像データを含む光は、第２の焦点５１０に集束される。換言すると、木５０４は、調節範囲５０６の外に位置決めされる。従って、仮想画像内の木５０４は、第１の時間ｔ１において焦点が外れて（たとえば、ぼやけて）見える。対照的に、可変屈折率材料１５８の層の屈折率が計算され、調節範囲５１２が生成されていた場合、ココナツ５０２および木５０４の両方は、眼１３２に対して焦点が合っているように見える。
【００３７】
図６は、いくつかの実施形態に従う図１のニアアイディスプレイシステム内の動的焦点距離調整のための例示的可変焦点小型レンズアレイを示す図である。上面図６００によって示されるように、この構成では、小型レンズアレイ１２４は、立方位相プレート６０４の第１のアレイ６０２および立方位相プレート６０４の第２のアレイ６０６を含む。図６に示されるように、立方位相プレート６０２の第１のアレイの立方位相プレート６０４の第２のアレイに対する、たとえば２つのアレイ間の横方向変位による空間的な遷移は、立方位相プレート６０４の焦点距離を変化させる。２つの重ねられた立方位相機能を遷移させることで、可変二次（すなわち、可変焦点）効果は、導入される。同様に、小型レンズアレイ１２４は、レンズ間の焦点距離がレンズ間の横方向の変位によって変化するローマン・アルバレス可変焦点レンズなどの自由形状位相プレートの２つのアレイを含むことができる。これは、良好に規定された表面関数を使用することにより、動的焦点距離調整を可能とする。いくつかの実施形態では、上述の技法のある局面は、ソフトウェアを実行する処理システムの１つまたは複数のプロセッサによって実装され得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に格納されるかそうでなければそこに有形に具現化された実行可能な命令の１つまたは複数のセットを備える。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に格納されるかそうでなければそこに有形に具現化された実行可能な命令の１つまたは複数の組を備える。ソフトウェアは、１つまたは複数のプロセッサによって実行されると、当該１つまたは複数のプロセッサに上述の技術の１つまたは複数の態様を行わせるように操作するための、命令および特定のデータを含むことができる。非一時的コンピュータ可読記憶媒体は、例えば、磁気または光ディスク記憶装置、フラッシュメモリなどの固体記憶装置、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、または他の１つまたは複数の不揮発性メモリ装置等を含むことができる。非一時的コンピュータ可読記憶媒体に記憶された実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つまたは複数のプロセッサによって解釈されるかそうでなければ実行可能である他の命令フォーマットであり得る。
【００３８】
コンピュータ可読記憶媒体は、命令および／またはデータをコンピュータシステムに提供するために、コンピュータシステムによって使用中にアクセス可能な任意の記憶媒体または記憶媒体の組み合わせを含むことができる。そのような記憶媒体は、光媒体（例えばコンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク）磁気媒体（例えばフロッピー（登録商標）ディスク、磁気テープ、または磁気ハードドライブ）揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）またはキャッシュ）不揮発性メモリ（例えば、読み出し専用メモリ（ＲＯＭ）またはフラッシュメモリ）、または微小電気機械システム（ＭＥＭＳ）ベースの記憶媒体を含むことができるが、これらに限定されない。コンピュータ可読記憶媒体は、コンピューティングシステムに埋め込まれるか（例えば、システムのＲＡＭまたはＲＯＭ）、コンピューティングシステムに固定的に取り付けられるか（例えば、磁気ハードドライブ）、コンピューティングシステムに取り外し可能に取り付けられるか（例えば、光ディスクまたはユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）、有線または無線ネットワークを介してコンピュータシステムに結合され（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ））てもよい。
【００３９】
一般的な説明において上述されたすべての動作または要素が必須とされるわけではなく、特定の動作またはデバイスの一部は必須ではなく、説明したものに加えて、１つ以上のさらに他の動作が実行され得、または１つ以上のさらに他の要素が含められる得る。さらにまた、動作が列挙される順序は、必ずしもそれらが実行される順序とは限らない。また、概念は、特定の実施形態を参照して説明された。しかし、当業者は、本開示の範囲から逸脱することなく、下記の特許請求の範囲に記載されるように、様々な修正および変更が可能であることを理解するであろう。したがって、本明細書および図面は、限定的な意味ではなく例示的な意味において考慮されるべきであり、そのような修正は、すべて本開示の範囲内に含まれることが意図される。
【００４０】
利益、他の利点、および問題に対する解決策は、特定の実施形態に関して上記で説明された。しかし、利益、利点、問題に対する解決策、および任意の利益、利点、解決策を生ずるかより顕著にし得る特徴は、任意のまたはすべての請求項の、決定的なまたは必須のまたは不可欠の機能の特徴として解釈されるべきではない。さらに、本明細書の教示の利益を享受する当業者にとって明らかなように、異なる均等の方法で本開示の主題を修正し実施することができるため、上記に開示した特定の実施形態は例示にすぎない。下記の特許請求の範囲に記載されているもの以外に、本明細書に示されている構造または設計の詳細に対する限定は意図されていない。したがって、上記に開示された特定の実施形態は、変更または変形されてもよく、そのような変形形態は、すべて開示された主題の範囲内にあると考えられることが明らかである。したがって、ここで求められる保護は、下記の特許請求の範囲に記載の通りである。
【図１】
0006952123.tif 000002
【図２】
0006952123.tif 000003
【図３】
0006952123.tif 000004
【図４】
0006952123.tif 000005
【図５】
0006952123.tif 000006
【図６】
0006952123.tif 000007