(57)【要約】【課題】一連の2D画像として3Dシーンをレンダリングする多焦点ディスプレイを提供する。【解決手段】一態様では、多焦点ディスプレイは、ディスプレイと、光学イメージング系と、屈折焦点アクチュエータと、コントローラとを含む。ディスプレイは2D画像をレンダリングする。光学イメージング系は、像側テレセントリックであり、ディスプレイの画像を生成する。屈折焦点アクチュエータは、光学イメージング系の瞳に位置する。従って、屈折焦点アクチュエータの調整は、ディスプレイの画像の位置を変更するが、画像のサイズを有意に変更することはない。コントローラは、ディスプレイ上の2D画像のレンダリングと、屈折焦点アクチュエータの調整とを協調させる。好ましくは、焦点アクチュエータを駆動する波形は、リンギング及びジッタの効果を低減するように設計される。【選択図】図１a
2016099631.tif 000002
【特許請求の範囲】
【請求項１】
一連の2D画像として3Dシーンをレンダリングする多焦点ディスプレイであって、
2D画像がレンダリングされるディスプレイと、
前記ディスプレイの画像を生成するように配置された光学イメージング系であり、当該光学イメージング系は像側テレセントリックであり、当該光学イメージング系は瞳を有する光学イメージング系と、
前記光学イメージング系の前記瞳に配置された屈折焦点アクチュエータであり、当該屈折焦点アクチュエータの調整は、前記ディスプレイの前記画像の位置を変更するが、前記画像のサイズを有意に変更しない屈折焦点アクチュエータと、
前記ディスプレイ上の前記2D画像のレンダリングと、前記屈折焦点アクチュエータの調整とを協調させるコントローラと
を有する多焦点ディスプレイ。
【請求項２】
前記ディスプレイの前記画像を見ることを可能にするように配置された接眼レンズを更に有する、請求項１に記載の多焦点ディスプレイ。
【請求項３】
拡張現実を実現するようにユーザの自然の視界に前記ディスプレイの前記画像を重ね合わせるように配置された光学結合器を更に有する、請求項２に記載の多焦点ディスプレイ。
【請求項４】
前記屈折焦点アクチュエータと前記接眼レンズとの間に位置する負フィールドレンズを更に有する、請求項２に記載の多焦点ディスプレイ。
【請求項５】
前記多焦点ディスプレイは、少なくとも30度の視野をカバーする、請求項２に記載の多焦点ディスプレイ。
【請求項６】
前記屈折焦点アクチュエータは、変形可能レンズである、請求項１に記載の多焦点ディスプレイ。
【請求項７】
前記コントローラは、前記画像の前記位置が、単調増加又は単調減少でない時間順に実現されるように、液体レンズを変形させる、請求項６に記載の多焦点ディスプレイ。
【請求項８】
前記コントローラは、前記画像の前記位置が、奇数の画像の位置では単調増加又は単調減少する時間順に実現され、偶数の画像の位置では単調減少又は単調増加する時間順に実現されるように、液体レンズを変形させる、請求項６に記載の多焦点ディスプレイ。
【請求項９】
前記コントローラは、液体レンズを変形させる駆動信号を生成し、前記駆動信号は、区分的に平坦な信号のフィルタリングされたものである、請求項６に記載の多焦点ディスプレイ。
【請求項１０】
前記コントローラは、液体レンズを変形させる駆動信号を生成し、前記駆動信号は、前記多焦点ディスプレイ上にレンダリングされる3Dシーンの画像品質メトリックを最適化する、請求項６に記載の多焦点ディスプレイ。
【請求項１１】
前記画像品質メトリックは、画像の焦点ぼけを考慮する、請求項１０に記載の多焦点ディスプレイ。
【請求項１２】
前記画像品質メトリックは、時間的品質を考慮する、請求項１０に記載の多焦点ディスプレイ。
【請求項１３】
前記コントローラは、液体レンズを変形させる駆動信号を生成し、前記駆動信号は、前記多焦点ディスプレイ上にレンダリングされる前記3Dシーンに対する3Dシーンの理想的なレンダリングの画像誤差メトリックを最適化する、請求項６に記載の多焦点ディスプレイ。
【請求項１４】
前記画像誤差メトリックは、前記多焦点ディスプレイ上にレンダリングされる前記3Dシーンにおける点の位置に対する前記理想的なレンダリングの3Dシーンの対応する点の位置の間の差である、請求項１３に記載の多焦点ディスプレイ。
【請求項１５】
液体レンズは、5ジオプターの範囲で調整可能である、請求項６に記載の多焦点ディスプレイ。
【請求項１６】
前記光学イメージング系内の調整可能な開口を更に有し、
前記コントローラは、前記屈折焦点アクチュエータの調整と、前記開口の調整とを協調させる、請求項１に記載の多焦点ディスプレイ。
【請求項１７】
前記光学イメージング系は、物体側テレセントリックでもある、請求項１に記載の多焦点ディスプレイ。
【請求項１８】
前記多焦点ディスプレイは、毎秒少なくとも60シーンのレートで3Dシーンをレンダリング可能である、請求項１に記載の多焦点ディスプレイ。
【請求項１９】
ディスプレイと、光学イメージング系と、屈折焦点アクチュエータとを有する多焦点ディスプレイ上に、一連の2D画像として3Dシーンをレンダリングする方法であって、
前記光学イメージング系がある位置において前記ディスプレイの画像を生成し、前記3Dシーンから導出された2D画像を前記ディスプレイ上にレンダリングするステップと、
前記ディスプレイの前記画像の前記位置を変更するように前記屈折焦点アクチュエータを調整するステップであり、前記屈折焦点アクチュエータの調整は、前記画像のサイズを有意に変更しないステップと、
前記ディスプレイ上の前記2D画像のレンダリングと、前記屈折焦点アクチュエータの調整とを協調させるステップと
を有する方法。
【請求項２０】
一連の2D画像として3Dシーンをレンダリングする多焦点ディスプレイで使用されるコントローラであり、前記多焦点ディスプレイは、ディスプレイと、像側テレセントリックである光学イメージング系と、屈折焦点アクチュエータとを有するコントローラであって、
前記ディスプレイ上の前記2D画像のレンダリングと、前記屈折焦点アクチュエータの調整とを協調させるコントローラ。
【発明の詳細な説明】
【技術分野】
【０００１】
この開示は、概して多焦点ディスプレイに関する。
【背景技術】
【０００２】
３次元（3D）又は立体ディスプレイは、医用画像処理、エンターテイメント、仮想プロトタイピング、及び科学的可視化のような多くの用途で重要になっている。従来では、立体ディスプレイは、一致しない輻輳（convergence）及び調節（accommodation）の指示を欠点としている。この競合は、視覚機能を妨げ、視覚疲労を引き起こしている。
【０００３】
多焦点ディスプレイは、輻輳・調節の競合に対処することを試みる１つの手法である。多焦点ディスプレイ（MFD：multifocal  display）は、典型的には3Dシーンをレンダリングするために、一連の２次元（2D）画像の迅速な時間及び焦点変調を使用する。この一連の画像は、典型的には、観察者から異なる不連続の距離に位置する平行面において焦点が合わされる。焦平面の数は、観察者の目の調節に直接影響を与え、表示されるシーンの3D知覚品質に直接影響を与える。しかし、多焦点ディスプレイは、高速の焦点アクチュエータを必要とする。更に、焦平面の移動する位置は、倍率における変化を生じ得る。この倍率の依存性は、入力画像を調整することにより、計算上では訂正可能であるが、このことはシステムの複雑性を増加させる。
【０００４】
従って、より良い多焦点ディスプレイのニーズが存在する。
【発明の概要】
【０００５】
この開示は、一連の2D画像として3Dシーンをレンダリングする多焦点ディスプレイを提供することにより、従来技術の制限を克服する。一態様では、多焦点ディスプレイは、ディスプレイと、光学イメージング（結像）系と、屈折焦点アクチュエータと、コントローラとを含む。ディスプレイは2D画像をレンダリングする。光学イメージング系は、像側テレセントリック（image-side  telecentric）であり、ディスプレイの画像を生成する。焦点アクチュエータは、光学イメージング系の瞳に位置する。従って、焦点アクチュエータは、ディスプレイの画像の位置を変更するが、画像のサイズを有意に変更することはない。コントローラは、ディスプレイ上の2D画像のレンダリングと、焦点アクチュエータの調整とを協調させる。或る実施例では、屈折焦点アクチュエータは、変形可能液体レンズであり、液体レンズを駆動する波形は、液体レンズのリンギング（ringing）を低減するように設計される。
【０００６】
他の態様は、前述のいずれかに関係する構成要素、デバイス、システム、改良、方法、処理、アプリケーション、コンピュータ読み取り可能媒体、及び他の技術を含む。
【図面の簡単な説明】
【０００７】
開示の実施例は、添付図面と共に取り上げられる以下の詳細な説明及び特許請求の範囲から容易に明らかになる他の利点及び特徴を有する。
【図１ａ】単眼用の拡張現実を実現する多焦点ディスプレイの概略図
【図１ｂ】図１ａの多焦点ディスプレイの光学規定の図
【図２ａ】変形可能液体レンズのZemaxモデルを示す図
【図２ｂ】１つの焦点距離における変形可能液体レンズのMTFプロットの図
【図３ａ】多焦点ディスプレイ内の光学イメージング系の概略図
【図３ｂ】液体レンズが変形するときの画像の位置の変化を示す図
【図４】負フィールドレンズの使用から生じる瞳距離の増加を示す図
【図５】変形可能液体レンズを駆動するために使用されるピラミッド型波形のタイミング図
【図６】図５の駆動波形のフィルタリングされたものを示す図
【発明を実施するための形態】
【０００８】
図面は、単なる例示目的で様々な実施例を示している。当業者は、以下の説明から、ここに記載の原理を逸脱することなく、ここに例示する構成及び方法の別の実施例が使用され得ることを容易に認識する。
【０００９】
図面及び以下の説明は、単なる例示による好ましい実施例に関する。以下の説明から、特許請求の範囲の原理を逸脱することなく使用され得る実現可能な代案として、ここに開示された構成及び方法の別の実施例が容易に認識される点に留意すべきである。
【００１０】
図１ａは、単眼用の拡張現実を実現する多焦点ディスプレイ100の概略図である。多焦点ディスプレイ100は、ディスプレイ110と、光学イメージング（結像）系120と、ディスプレイが両側テレセントリック（doubly  telecentric）になるように光学イメージング系の瞳面に位置する屈折焦点アクチュエータ130と、コントローラ140と、負フィールドレンズ160と、接眼レンズ150と、ビームスプリッタ170とを使用する。
【００１１】
以下に説明する例では、ディスプレイ110は、高速DLP（digital  light  processing）プロジェクタであるが、OLED及びLCDのような他のディスプレイも使用されてもよい。多焦点ディスプレイの主な中継系である光学イメージング系120は、4-f構成の高品質カメラレンズにより実現され、屈折焦点アクチュエータは、変形可能液体レンズである。液体レンズ130と組み合わせて、ディスプレイ110は、ディスプレイ110でのそれぞれ毎秒60フレーム（fps）の速度又は360fpsの合計速度で、0〜5ジオプターの距離の６個の焦平面を投影することができる。この例では、接眼レンズ150及びビームスプリッタ170は、31度の全視野で実世界が仮想コンテンツと共に見られることを可能にする。DLP110及び液体レンズ130は、コントローラ140により出力された信号と同期する。この例では、コントローラ140は、高速アナログI/Oデバイスである。この多焦点ディスプレイの動作原理については以下の段落で説明する。
【００１２】
以下は、多焦点ディスプレイの好ましい性能のリストである。
・ちらつきが知覚されないこと（焦平面毎に、好ましくは少なくとも60fpsの2D画像表示速度）
・深度の連続的な知覚（好ましくは少なくとも６個の焦平面数Nz）
・焦点のジッタがないこと（焦点アクチュエータの整定時間の低減）
・目の平均の瞳サイズにとっての視野の増加
・現実コンテンツ及び仮想コンテンツの双方のための調節による倍率の維持
・目の空間分解能との一致（<1分角の画素間隔を有する角度分解能）
・仮想コンテンツf/#と平均の目f/#との一致
・ダイナミックレンジ及び色精度の増加
・標準的使用にとって十分な瞳距離（>=12mm）及び射出瞳の直径（>4mm）の許容
＜光学設計＞
図１ｂは、図１ａの多焦点ディスプレイの光学規定である。人間の目から始めて、それぞれの構成要素を順に検討する。この例では、角膜、房水、虹彩、水晶体、硝子体及び網膜の曲率、厚み、直径及び屈折率を考慮した人間の目のモデルを使用する。モデルは、無限距離までの近点の間のどこかに焦点を合わせる目の光学性能を考慮する。多焦点ディスプレイにより生成される焦点の指示の知覚精度を決定するために、媒介調節モデル（intermediary  accommodation  model）が望ましい。
【００１３】
変形可能液体レンズ130は、Optotune  EL-6-18である。図２ａは、液体レンズ130の光学配置を示しており、図２ｂは、この焦点アクチュエータの変調伝達関数（MTF：modulation  transfer  function）を示している。液体レンズを瞳面に配置することで、複数の利点が生じる。第１に、この構成は、最大焦点移動範囲を生じる。第２に、レンズは、系の開口絞りに配置されることが可能になり、光学イメージング系120の像側テレセントリシティを生じる。前者は、変調速度及び整定時間にとって有利であり、後者は、一定倍率の画像表示にとって有利である。
【００１４】
図３ａは、多焦点ディスプレイ内の光学イメージング系の概略図であり、図３ｂは、液体レンズが変形するときの画像位置の変化を示している。多焦点ディスプレイの光学イメージング系120は、4-fイメージング系に構成された２つの35mmカメラレンズを使用する。この配置は、以下に詳細に説明する両側テレセントリック設計を提供する。図３ｂに示すように、液体レンズは、倍率における最小の変化で焦点変調が主画像の位置を変化させるように、２つのカメラレンズの間に配置される。
【００１５】
図１に戻り、接眼レンズ150は、視野及び網膜上の画像の品質、射出瞳のサイズ、並びに被写界深度に影響を与える。理想的には、射出瞳は目の全体の虹彩におよび、液体レンズにより与えられる更なる出力にもかかわらず、固定の軸方向のままになる。焦点距離feの接眼レンズを有する像側テレセントリック光学リレーの場合、射出瞳のサイズは以下の式により与えられる。
【数１】
2016099631.tif 000003
【００１６】
ここで、n、f及びDstopは、それぞれ屈折率、焦点距離及び開口絞りの直径を示しており、添え字e及びoは、それぞれ接眼レンズ及び対物レンズのパラメータを示している。射出瞳は、目の前房内に位置するため、neは房水内の屈折率により与えられ、これは約1.34である。
【００１７】
DLPから主像面までの像側テレセントリックリレー120を用いた単レンズの接眼レンズ150を使用する場合、射出瞳サイズと、焦点変調感度と、画像サイズとの間にトレードオフが存在する。図１に示す多焦点ディスプレイの例では、光学イメージング系120について25mmの接眼レンズ150、35mmの対物レンズを使用し、液体レンズ130は、6mmの開口直径を有する。これは、4.3mmの射出瞳を生じ、これは室内照明の目にうまく一致する。
【００１８】
f=-75mmの負フィールドレンズ160は、調整可能レンズ130と接眼レンズ150との間に位置する。このフィールドレンズ160は、ディスプレイのハードウェアと目との間の作動距離として定義される瞳距離を広げるために使用される。図４は、負フィールドレンズの使用から生じる瞳距離の増加を示している。図４の上部の光学縦列は、フィールドレンズ160のない設計を示しており、図４の下部の光学縦列は、フィールドレンズ160のある設計を示している。拡がった瞳距離は快適性を向上させ、度付き眼鏡をかけた観察者にとって有利である。12mmの瞳距離を使用すると、31度の全視野が得られる（少なくとも30度の視野をカバーする）。
【００１９】
非偏光プレート型ビームスプリッタ170（光学結合器）は、現実コンテンツと仮想コンテンツとを組み合わせるために使用される。ビームスプリッタ170は、50%を反射し、50%を透過する。比率は、多焦点ディスプレイの光処理量に基づいて最適化されてもよい。
【００２０】
TI  LightCrafter4500  DLPプロジェクタが、高速画像ディスプレイ110として使用される。これは、2.5msの最小露出期間で、400fpsのフレームレートにおいて6ビットのグレースケール画像を投影することができる。
【００２１】
液体レンズ130に加えて、システム100は、調整可能な開口のような他の能動素子を含んでもよい。電子的に調整可能な開口は、所与の焦平面についてf/#を変化させることができる。これは、画像コンテンツの被写界深度（焦点指示強度）に影響を与える。焦点制御及びf/#制御の双方は、所与の数の焦平面でシーンのレンダリングを最適化するために使用され得る。他の調整可能な素子は、各焦平面の明るさを調整するために使用され得る照明制御のための高速変調LED又はLCシャッターを含んでもよい。
【００２２】
＜コントローラの設計＞
前述のように、360fpsのフレームレートは、それぞれ60fpsの６個の焦平面を表示するために使用される。フレームレートは、アナログ電圧信号で変調される液体レンズ130と共に、プロジェクタディスプレイ110に適用する。この波形の選択は、レンズ130の反応時間τrにより影響を受ける。この例では、レンズ130の反応時間τrは、1〜3msのオーダーである（屈折入力ステップサイズに依存する）。理想的には、レンズは、各焦平面において露出期間の持続時間の間に静止しているべきである。実際には、液体レンズの整定時間は、反応時間の持続時間の5倍のオーダーである。従って、理想的な波形は、“起動時間”（反応時間と整定時間との和）を最小化する。起動時間は約6τrである。起動時間を最小化する役目をする２つの設計パラメータは、波形自体と、波形に適用されるいずれかのフィルタリングである。
【００２３】
焦平面が位置の順に（観察者から最も離れた方から最も近い方の順序、又は最も近い方から最も離れた方の順序）1〜6に番号が付けられている場合、１つの考えられる駆動信号は、焦平面1から焦平面6の順に焦平面を実現し、焦平面1にリセットする（すなわち、階段型波形）。しかし、焦平面6から焦平面1に戻るときに階段の終わりにおける大きな落ち込みは、オーバーシュートをもたらし、起動時間を増加させる可能性がある。これは、焦平面1（又は下りの階段では焦平面6）について不正確な焦点及びぼやけた画像を生じ得る。アーチファクトは、液体レンズの駆動機構により生じ、焦平面の間の屈折距離の増加と共に顕著になる。
【００２４】
図５は、変形可能液体レンズを駆動するために使用されるピラミッド型波形のタイミング図である。この波形は、1、3、5、6、4、2の順に焦平面を段階的に進む。言い換えると、奇数の焦平面は、単調増加（すなわち、焦平面1、3、5）する時間順に実現され、偶数の焦平面は、単調減少（すなわち、焦平面6、4、2）する時間順に実現される。当然に、奇数の焦平面について減少し、偶数の焦平面について増加するように、順序が逆になってもよい。波形を通じて電圧変化を分散させることにより、各焦平面において正確な深度位置を維持しつつ、液体レンズにより移動する有効焦点範囲が増加し得る。レンズのリンギングを低減したり、画像品質を増加させたりする焦平面の他の順序が使用されてもよい。
【００２５】
ピラミッド型波形であっても、整定時間は、依然として不安定な画像又は全ての面について“焦点のジッタ（focal  jitter）”を生じ得る。ジッタは、液体レンズのアンダーダンピング（underdamping）により生じ得る。平滑化された波形はジッタを低減することができる。しかし、平滑化しすぎると、オーバーダンピング（overdamping）を生じ、これも、液体レンズの起動時間を増加させる。これらの場合の双方は、仮想コンテンツの知覚アーチファクトを生じる。理想的には、駆動波形は、レンズ起動時間を非常に抑える。
【００２６】
１つの手法では、液体レンズに基づく多焦点ディスプレイにおけるアーチファクト低減方法は、液体レンズのステップ応答を考慮した像形成モデルを導出することにより展開される。多焦点ディスプレイが画像系列f(x,y,t)を投影することを仮定する。また、時間を部分区間Tk：(tk,tk+1)に分割することを仮定する。ここで、k=1,...,Nzであり、t1=0である。各区間Tk内において、ターゲットの画像データが時間で不変であることを仮定する。すなわち、以下のようになる。
【数２】
2016099631.tif 000004
【００２７】
また、Nzが利用可能な焦平面の数に等しいことを仮定する。すなわち、3Dシーン画像データは、Nz個の平面像に分割され、Nz個の深度面に表示される。この場合、Nz個の深度面における投影を得るために、区分的に不変の関数である電圧波形により液体レンズを駆動する。
【数３】
2016099631.tif 000005
【００２８】
ここで、u(t)は単位ステップ関数であり、Δk=v(tk)-v(tk-1)は、時間tkにおける電圧変化ステップ（正又は負の電圧変化）である。液体レンズのインパルス応答h(t)及び駆動電圧波形をv(t)とすると、液体レンズが画像を形成する深度zは、以下のようにモデル化され得る。
【数４】
2016099631.tif 000006
【００２９】
ここで、*は畳み込みを示し、αは電圧値から物理的な深度に変換する定数である。表記を簡単にするために、W(t)=(v*h)(t)を導入する。レンズの応答h(t)は、レンズの整定時間のため、リンギングを示す可能性がある。
【００３０】
波形W(t)とすると、従って、刺激（stimulus）fが表示される深度z(t)=αW(t)とすると、仮想多焦点ディスプレイのボリュームの距離zeに調節する目により知覚される画像は、以下により与えられる。
【数５】
2016099631.tif 000007
【００３１】
ここで、pはシステムの深度に依存した点拡がり関数（PSF：point  spread  function）である。このPSFは、光学表示系の特性と、人間の目の反応とを含む。収差のないPSFであるpを仮定する。これは、調節距離ze（すなわち、距離zeにおける目の焦点調節機能）毎に、PSFが同じであることを意味する。しかし、依然として、目の調節zeと異なる距離z(t)におけるシステムのPSF、すなわち、焦点がずれたPSFであるp(x,y,ze-z(t))=p(x,y,ze-αW(t))を検討する。
【００３２】
時間における積分を時間区間TkにおけるNz個の積分に分割すると、以下が得られる。
【数６】
2016099631.tif 000008
【００３３】
ここで、式(2)を使用している。簡単な再編成により、以下が得られる。
【数７】
2016099631.tif 000009
【００３４】
ここでpkは、区間Tkにおいて積分された焦点がずれたPSFであり、これは液体レンズのリンギングも考慮する。この積分されたPSFは、レンズを駆動する波形に依存する、すなわち、W(t)に依存することが分かる。電圧波形v(t)が、図５に示すように単に区分的に連続であり、急激な不連続性を含む場合、レンズ反応は、ギブズの効果によりリンギングを含む。この効果を低減し、網膜上で焦点の合った画像g(x’,y’,ze)を得るために、他の波形γ(t)でフィルタリングすることにより、駆動電圧波形v(t)を変更する。v(t)をγ(t)で畳み込むことにより、ギブズの効果を回避するようにv(t)を平滑化することができる。図６は、図５の駆動波形のフィルタリングされたものを示している。
【００３５】
数学的に、変更されたレンズ反応は以下のようになる。
【数８】
2016099631.tif 000010
【００３６】
前述の式は、畳み込みの交換性及び結合性によるものである。この新たなフィルタリングを用いて、調節された目の網膜で取得された画像は、以下のようになる。
【数９】
2016099631.tif 000011
【００３７】
最後に、目が多焦点ディスプレイのそれぞれ設計された深度面に調節された場合、網膜像の鮮鋭度を最大化したいと考える。これらの深度面の距離をzi,i=1,...,Nzとして示した場合、品質メトリックQは以下のように定義され得る。
【数１０】
2016099631.tif 000012
【００３８】
ここで、Ωは、鮮鋭度、例えば、MTF20、MTF30、又はコントラストの何らかの変化、空間周波数コンテンツ、又はエントロピーに基づく画像鮮鋭度メトリックのようないずれかの画像品質メトリックでもよい。従って、最適なフィルタγを見つけることは以下の最適化問題として提起され得る。
【数１１】
2016099631.tif 000013
【００３９】
或いは、投影された深度面誤差
【数１２】
2016099631.tif 000014
のような、γを最適化するために異なるメトリックを使用してもよい。ここで、
【数１３】
2016099631.tif 000015
は、設計上の焦平面距離を含むベクトルであり、
【数１４】
2016099631.tif 000016
は、システムにより実現される焦平面距離を含むベクトルである。この場合、最適化問題は以下のようになる。
【数１５】
2016099631.tif 000017
【００４０】
最後に、双方のメトリックの組み合わせを使用してもよい。
【数１６】
2016099631.tif 000018
【００４１】
ここで、γは、正確な深度で投影することに対する画像の鮮鋭度（第２の項）を最大化する重要度を重み付ける正規化パラメータである。鮮鋭度は、２つの理由で低減され得る点に留意すべきである。第１に、フィルタは、高周波数を非常に大きく減衰させ、オーバーダンピングを生じ、液体レンズは焦点面を通過し、焦点移動データのかすんだ現象をもたらす。第２に、フィルタは、高周波数を十分に減衰せず、アンダーダンピング及び強いリンギングを生じ、投影された深度スライスの統合が焦点が合ったりずれたりすることを生じる。
【００４２】
式(12)は大きい解空間を有するため、以下の形式のガウスフィルタのみを考慮することにより、解空間を狭める。
【数１７】
2016099631.tif 000019
【００４３】
ここで、σはフィルタの標準偏差である。式(12)からの最適化問題は以下のようになる。
【数１８】
2016099631.tif 000020
【００４４】
個々のビット面の投影による考えられる揺らぎは無視されている。ビット面の精度での投影は、ビット面の依存性を関数f及び光学反応の関数pに追加することにより、モデルに含まれてもよい。
【００４５】
１つの事例では、正確な波形W(t)は分からなくてもよい。この理由は、レンズの時間インパルス応答h(t)も未知である可能性があるからである。真の時間インパルス応答を推定することは、高速の光ダイオード又は高速カメラと同期し、全ての電圧変化について直接に応答時間を測定することを含む。このような推定又はWの別の認識が与えられると、考えられる波形フィルタの解空間は、フィルタ係数及びフィルタタップで最適化することにより、ガウスフィルタに加えて他のフィルタ、例えば、FIRフィルタを含めることにより拡大されてもよい。
【００４６】
Wが分からない場合、g(x’,y’zi)は、依然としてカメラによって人間の目の観察をシミュレーションすることにより測定され得る。σの解空間を検索することにより、鮮鋭度メトリックΩにより測定された最善の鮮鋭度を提供する
【数１９】
2016099631.tif 000021
が決定され得る。評価メトリックΩもまた、表示された画像の時間的な振る舞い（時間的品質）を測定してもよい。
【００４７】
詳細な説明は、多くの具体例を含むが、これらは本発明の範囲を限定するものとして解釈されるべきではなく、単に本発明の異なる例及び態様を示すものとして解釈されるべきである。本発明の範囲は、前述に詳細に説明していない他の実施例も含むことが分かる。例えば、鮮鋭度メトリックは、コントラスト、空間周波数コンテンツ又はエントロピーの形式として実現されてもよい。波形ステップサイズは、不均一な焦平面の位置及び間隔に適合するように最適化されてもよい。調整可能な開口サイズは、これらのメトリックに組み込まれてもよい。特許請求の範囲に記載の本発明の要旨及び範囲を逸脱することなく、ここに開示された本発明の方法及び装置の構成、動作及び詳細において、当業者に明らかになる様々な他の変更、変形及び変化が行われてもよい。従って、本発明の範囲は、特許請求の範囲及びこの法律上の均等物により決定されるべきである。
【００４８】
別の実施例では、本発明の態様（例えば、コントローラ）は、コンピュータハードウェア、ファームウェア、ソフトウェア及び／又はこれらの組み合わせで実現されてもよい。本発明の装置は、プログラム可能プロセッサにより実行される機械読み取り可能な記憶デバイスに具体的に具現されたコンピュータプログラムプロダクトに実現されてもよい。本発明の方法のステップは、入力データで動作して出力を生成することにより、本発明の機能を実行するように命令のプログラムを実行するプログラム可能プロセッサにより実行されてもよい。好適には、本発明は、データ記憶システムと少なくとも１つの入力デバイスと少なくとも１つの出力デバイスとからデータ及び命令を受信し、これらにデータ及び命令を送信するように結合された少なくとも１つのプログラム可能プロセッサを含むプログラム可能システムで実行可能な１つ以上のコンピュータプログラムに実現されてもよい。各コンピュータプログラムは、ハイレベルの手続き型プログラミング言語又はオブジェクト指向型プログラミング言語に実現されてもよく、所望の場合にはアセンブリ又は機械言語に実現されてもよい。何れの場合でも、言語はコンパイル済言語又はインタープリタ型言語でもよい。適切なプロセッサは、一例として、汎用及び特殊目的のマイクロプロセッサを含む。一般的に、プロセッサは、読み取り専用メモリ及び／又はランダムアクセスメモリから命令及びデータを受信する。一般的に、コンピュータは、データファイルを格納するための１つ以上の大容量記憶デバイスを含む。このようなデバイスは、内部ハードディスク及び取り外し可能ディスクのような磁気ディスクと、光磁気ディスクと、光ディスクとを含む。コンピュータプログラム命令及びデータを具体的に具現するのに適した記憶デバイスは、一例としてEPROM、EEPROM、フラッシュメモリデバイスのような半導体メモリデバイスを含む不揮発性メモリ、内部ハードディスク及び取り外し可能ディスクのような磁気ディスク、光磁気ディスク、並びにCD-ROMディスクの全ての形式を含む。前述のいずれかは、ASIC（application-specific  integrated  circuits）及び他の形式のハードウェアにより補われてもよく、これらに組み込まれてもよい。
【００４９】
“モジュール”という用語は、特定の物理的形式に限定されることを意味するものではない。特定の用途に応じて、モジュールは、ハードウェア、ファームウェア、ソフトウェア及び／又はこれらの組み合わせとして実現されてもよい。更に、異なるモジュールは、共通の構成要素を共有してもよく、同じ構成要素により実現されてもよい。異なるモジュールの間に明確な境界が存在してもよく、存在しなくてもよい。
［関連出願への相互参照］
この出願は、2014年11月25日に出願された米国仮特許出願第62/084,315号、“Design,  Assembly  and  Operation  of  a  Liquid  Lens-Based  Multifocal  Display  for  Augmented  Reality”の35  U.S.C.  §119(e)による優先権を主張する。前述の全ての対象物を援用する。
【符号の説明】
【００５０】
100  多焦点ディスプレイ
110  ディスプレイ
120  光学イメージング系
130  変形可能液体レンズ
140  コントローラ
150  接眼レンズ
160  負フィールドレンズ
170  ビームスプリッタ
【図１ａ】
2016099631.tif 000022
【図１ｂ】
2016099631.tif 000023
【図２ａ】
2016099631.tif 000024
【図２ｂ】
2016099631.tif 000025
【図３ａ】
2016099631.tif 000026
【図３ｂ】
2016099631.tif 000027
【図４】
2016099631.tif 000028
【図５】
2016099631.tif 000029
【図６】
2016099631.tif 000030