(57)【要約】  表示装置４０は、１組のピクセル４１Ｒ、４１Ｌを含む表示パネル４１であって、ピクセルは表示パネル上で空間的に分布され、各ピクセルは光出力を与えるためのものであり、１組のピクセルは複数の異なるピクセルサブセット４１Ｉを含み、各ピクセルサブセットは１組のピクセルの１つ又は複数のピクセルを含む、表示パネル４１と、ピクセルサブセットの１つ又は複数のピクセルを画像化し、ディスプレイの前の第１の距離に位置する仮想平面上の複数のビュー領域上にピクセル画像を形成するように構成される画像化ユニット４２であって、異なるピクセルサブセットのそれぞれの少なくとも１つのピクセル画像が複数のビュー領域の同じものの上で重なり合う状態で、複数のビュー領域は互いに重なり合わず、仮想平面は眼の瞳孔の直径を有する仮想円を含み、仮想円が複数のビュー領域の少なくとも２つの少なくとも一部を囲み、仮想円内に少なくとも部分的に囲まれる複数のビュー領域の少なくとも２つは、その中のピクセル画像の少なくとも１つに関して互いに異なる、画像化ユニット４２とを含む。本表示システムは、視聴者の専ら片眼用、両眼用、又はより多くの視聴者の更に多くの眼に対するものとすることができる。
2015505972.tif 000002
【特許請求の範囲】
【請求項１】
１組のピクセルを含む表示パネルであって、前記ピクセルは前記表示パネル上で空間的に分布され、各ピクセルは光出力を与えるためのものであり、前記１組のピクセルは複数の異なるピクセルサブセットを含み、各ピクセルサブセットは前記１組のピクセルの１つ又は複数のピクセルを含む、表示パネルと、
前記ピクセルサブセットの１つ又は複数のピクセルを画像化し、ディスプレイの前の第１の距離に位置する仮想平面上の複数のビュー領域上にピクセル画像を形成する画像化ユニットであって、前記異なるピクセルサブセットのそれぞれの少なくとも１つのピクセル画像が前記複数のビュー領域の同じものの上で重なり合う状態で、前記複数のビュー領域は互いに重なり合わず、前記仮想平面は眼の瞳孔の直径以下の直径を有する仮想円を含み、前記仮想円が前記複数のビュー領域の少なくとも２つの少なくとも一部を囲み、前記仮想円内に少なくとも部分的に囲まれる前記複数のビュー領域の前記少なくとも２つは、その中の前記ピクセル画像の少なくとも１つに関して互いに異なる、画像化ユニットと
を含む、表示装置。
【請求項２】
前記ピクセルサブセットの１つ又は複数のピクセルの第１のピクセルの前記光出力が、１／３０秒、１／４５秒、又は１／６０秒以下の再構成時間間隔内に、第１の光出力から前記第１の光出力と異なる第２の光出力に、及び／又はその逆に再構成可能であり、
前記画像化ユニットが、前記ピクセルサブセットの１つ又は複数のピクセルの第１のピクセルを第１の時間間隔内に前記ビュー領域の第１のものに画像化するように、及び前記第１のピクセルを前記第１の時間間隔とは異なる第２の時間間隔内に前記ビュー領域の第２のものに画像化するように再構成可能であり、前記第１の時間間隔及び前記第２の時間間隔は前記再構成時間間隔よりも短い、
請求項１に記載の表示装置。
【請求項３】
ピクセルサブセットが２つのピクセルを含み、それぞれのピクセルが前記複数のビュー領域の１つにしか画像化されない、請求項１に記載の表示装置。
【請求項４】
前記ピクセルサブセットの複数のピクセルがｓ列及びｔ行のピクセルアレイ状に配置され、ｓ及びｔは整数である、請求項３に記載の表示装置。
【請求項５】
前記複数のビュー領域が３つのビュー領域を含み、前記仮想円が前記３つのビュー領域の少なくとも一部を囲む、請求項１乃至４の何れか一項に記載の表示装置。
【請求項６】
前記３つのビュー領域が、前記仮想平面上に二次元パターンを形成するように配置される、請求項５に記載の表示装置。
【請求項７】
前記複数のビュー領域の少なくとも２つが前記仮想円によって完全に囲まれる、請求項１乃至６の何れか一項に記載の表示装置。
【請求項８】
ピクセルサブセットごとのピクセル数が、前記複数のビュー領域内のビュー領域の数と同じである、請求項３に記載の表示装置。
【請求項９】
前記画像化ユニットが、
それぞれ１つだけのピクセルサブセットの前記ピクセルの１つ又は複数の少なくとも一部を画像化するための複数の画像化サブユニットであって、各画像化サブユニットはレンズ、ミラー、及び／又はプリズムの形をとる光学要素を含む、画像化サブユニット
を含む、請求項１乃至８の何れか一項に記載の表示装置。
【請求項１０】
１つだけのピクセルサブセットの前記ピクセルの１つ又は複数の前記少なくとも一部を画像化するための複数の画像化サブユニットがある、請求項９に記載の表示装置。
【請求項１１】
前記画像化サブユニットが第１の光学要素及び第２の光学要素を含み、前記第１の光学要素が１つだけのピクセルサブセットの前記ピクセルの１つ又は複数の前記少なくとも一部の前記光出力を前記第２の光学要素に導くためのものであり、前記第２の光学要素が前記第１の光学要素から受け取られる前記光出力の少なくとも一部を前記仮想平面に導くためのものである、請求項９又は１０に記載の表示装置。
【請求項１２】
前記光学要素がレンズであり、前記画像化サブユニットが画像化サブユニットのアレイ状に配置される、請求項９乃至１１の何れか一項に記載の表示装置。
【請求項１３】
各ピクセルが互いに異なる色を有する複数のサブピクセルを含み、前記サブピクセルが、少なくとも部分的に重なり合うように前記表示パネル上で互いの上にスタックされる、請求項１乃至１２の何れか一項に記載の表示装置。
【請求項１４】
各ピクセルが互いに異なる色を有する複数のサブピクセルを含み、前記サブピクセルが重なり合わないように前記表示パネル上で空間的に分散される、請求項１乃至１３の何れか一項に記載の表示装置。
【請求項１５】
ピクセル内のサブピクセル数が、１つだけのピクセルサブセットの前記ピクセルの１つ又は複数の前記少なくとも一部を画像化する画像化サブユニットの数に等しい、請求項１４に記載の表示装置。
【請求項１６】
各ピクセル又はサブピクセルが、照明部分の一次元又は二次元アレイとして構成される複数の照明部分を含む、請求項１乃至１５の何れか一項に記載の表示装置。
【請求項１７】
ピクセルサブセット間の距離が、ピクセルサブセットのピクセル又はサブピクセル間の距離よりも大きい、請求項１乃至１６の何れか一項に記載の表示装置。
【請求項１８】
前記画像化ユニットが、前記ピクセルサブセットの１つ又は複数のピクセルを画像化し、前記仮想平面上の更なる複数のビュー領域上に更なるピクセル画像を形成するためのものでもあり、前記異なるピクセルサブセットのそれぞれの少なくとも１つの更なるピクセル画像が前記更なる複数のビュー領域の同じものの上で重なり合う状態で、前記更なる複数のビュー領域は互いに重なり合わず、前記仮想平面は眼の前記瞳孔の前記直径を有する更なる仮想円を含み、前記仮想円の中心と前記更なる仮想円の中心との間の距離は、視聴者の左眼の前記瞳孔の中心と右眼の前記瞳孔の中心との間の前記距離に対応し、前記更なる仮想円が前記更なる複数のビュー領域の少なくとも２つの少なくとも一部を囲み、前記更なる仮想円内に少なくとも部分的に囲まれる前記更なる複数のビュー領域の前記少なくとも２つは、その中の前記更なるピクセル画像の少なくとも１つに関して互いに異なる、請求項１乃至１７の何れか一項に記載の表示装置。
【請求項１９】
前記１組のピクセルが更なる複数の異なるピクセルサブセットを含み、前記更なる複数のピクセルサブセットの各ピクセルサブセットは、前記１組のピクセルの１つ又は複数のピクセルを含み、
前記画像化ユニットが、前記更なる複数のピクセルサブセットのうちの或るピクセルサブセットの前記１つ又は複数のピクセルを画像化し、前記仮想平面上の更なる複数のビュー領域上に更なるピクセル画像を形成するためのものでもあり、前記異なるピクセルサブセットのそれぞれの少なくとも１つの更なるピクセル画像が前記更なる複数のビュー領域の同じものの上で重なり合う状態で、前記更なる複数のビュー領域は互いに重なり合わず、前記仮想平面は眼の前記瞳孔の前記直径を有する更なる仮想円を含み、前記仮想円の中心と前記更なる仮想円の中心との間の前記距離は、視聴者の左眼の前記瞳孔の中心と右眼の前記瞳孔の中心との間の前記距離に対応し、前記更なる仮想円が前記更なる複数のビュー領域の少なくとも２つの少なくとも一部を囲み、前記更なる仮想円内に少なくとも部分的に囲まれる前記更なる複数のビュー領域の前記少なくとも２つは、その中の前記更なるピクセル画像の少なくとも１つに関して互いに異なる、請求項１乃至１７の何れか一項に記載の表示装置。
【請求項２０】
前記第１の仮想円の中心と前記第２の仮想円の中心との間に、ビュー領域が存在しない前記仮想平面上の領域がある、請求項１８又は１９に記載の表示装置。
【請求項２１】
前記表示装置が立体表示装置であり、前記仮想円内に少なくとも部分的に囲まれる前記複数のビュー領域の少なくとも２つと、前記更なる仮想円内に少なくとも部分的に囲まれる前記更なる複数のビュー領域の前記少なくとも２つとが、前記ピクセル及びその中の更なるピクセル画像の少なくとも１つに関して互いに異なる、請求項１９又は２０に記載の表示装置。
【請求項２２】
前記複数のピクセルサブセットがｋ行及びｌ列有するピクセルサブセットのアレイ状に配置され、ｋ及びｌは整数である、請求項１乃至２１の何れか一項に記載の表示装置。
【請求項２３】
前記複数のピクセルサブセット及び前記更なる複数のピクセルサブセットがｋ行及びｌ列有するピクセルサブセットのアレイ状に配置され、ｋ及びｌは整数であり、前記アレイの全体を通し、前記複数のピクセルサブセットの前記ピクセルサブセットは奇数ｌの列内にあり、前記更なる複数のピクセルサブセットの前記ピクセルサブセットは偶数ｌの列内にある、請求項２２に記載の表示装置。
【請求項２４】
前記画像化ユニットが、
前記ピクセルサブセットのピクセルを前記仮想円及び／又は前記更なる仮想円内の前記複数のビュー領域の異なるものに時系列的に画像化するように再構成可能であり、且つ／又は
前記複数のピクセルサブセット及び前記更なる複数のピクセルサブセットの前記ピクセルを前記複数のビュー領域及び前記更なる複数のビュー領域に時系列的に画像化するように再構成可能である、
請求項１乃至２３の何れか一項に記載の表示装置。
【請求項２５】
眼の瞳孔の位置を求めるための追跡システムと、
眼の前記瞳孔の前記位置に依存して前記画像化ユニットを制御するための画像化ユニット制御システムと
を含み、これにより、視聴者の前記眼の１つ又は複数の瞳孔と一致するときに前記仮想円及び／又は前記更なる仮想円が、前記瞳孔の１つ又は複数が位置を変えるときにこれらの瞳孔とほぼ一致させ続けられる、請求項１乃至２４の何れか一項に記載の表示装置。
【請求項２６】
前記表示装置が、前記表示パネルに画像データを与えるためのディスプレイコントローラを更に含み、前記画像データは複数の副画像を符号化し、前記複数の副画像の第１のものは３Ｄシーンの第１の視点に対応し、前記複数の副画像の第２のものは、眼の前記瞳孔の幅の差をつけて前記第１の視点に関係する前記３Ｄシーンの第２の視点に対応し、各ピクセルサブセットには前記第１の副画像の一部及び前記第２の副画像の一部が与えられる、請求項１乃至２５の何れか一項に記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴者にフリーフォーカスを提供する表示装置及び方法に関する。とりわけ本発明は、排他的にではないが立体表示装置及び方法に関する。
【背景技術】
【０００２】
今日入手可能な２Ｄディスプレイ（ＴＶ、コンピュータモニタ、及び携帯端末の表示画面）及び３Ｄ（自動）立体ディスプレイ（立体画像を知覚するために視聴者による支援を使用する必要のないディスプレイ）の大半は、現実の世界のシーンを目にするときのように、視聴者が自分で選んだ画像の一部に自然な方法で（再び）焦点を合わせることを可能にしない画像表示を視聴者に提供する。
【０００３】
特定の視点から見たとき、現実の世界のシーンでは一般に視聴者の近くに位置する物体と、視聴者から更に離れて位置する他の物体とがあり、即ちシーンには奥行きがある。例えば或るシーンでは、人物の形をとる近くの物体が、背景にある家の形をとる更に離れた物体の前に立っている場合がある。視聴者が近くの物体に焦点を合わせた場合、一定の限度の範囲内で、奥行きが異なる他方の物体の焦点が合わない。調節、即ち焦点の変化を生じさせるためにその人の眼の水晶体の屈折力を調整することにより、視聴者はそのシーンのどの物体に焦点を合わせるのかを選択することができ、従ってくっきりと見ることができる。現実の世界のシーンでは、視聴者はフリーフォーカスを利用できる。
【０００４】
前述のように、現在のディスプレイの大半は、このフリーフォーカスの任意選択肢を視聴者に与えない。結局のところ、現実の世界のシーンは通常、一定の奥行き距離を有する特定の物体の焦点が合っている一方で、シーンの他の物体の焦点が合っていないように捕捉（記録）され、表示される。従って、例えばこのシーンの例の人物は、焦点が合った状態で捕捉され表示され得る一方で、家はそうでない可能性がある。このコンテンツを表示するディスプレイの視聴者は、コンテンツをくっきりと知覚するために画面に焦点を合わせる必要があり、それにより、焦点が合った状態で記録された物体だけがその視聴者によってくっきりと知覚される。焦点が合っている物体と同じ奥行き位置を他の物体がシーン内で有さない場合、再調節を行っても他の物体の焦点が合うことはない。従って、視聴者はフリーフォーカスを利用できず、幾らか不完全な視聴体験を与えることになる。
【０００５】
（自動）立体ディスプレイにおいて、フリーフォーカスがないことは視聴者にとっての更なる問題の原因である。概して、立体ディスプレイ及び自動立体ディスプレイは、立体画像により奥行き情報を視聴者に与え、即ち視聴者の左眼と右眼とが、視聴者の眼の距離によって相互に関係する異なる視点から見られるシーンの像を認める。レンチキュラベースの自動立体ディスプレイの一例が、米国特許第６０６４４２４号の中で開示されている。
【０００６】
入手可能な異なる視点の情報は、異なる奥行きにあるシーンの物体が、例えば表示画面に位置すると感知されるだけでなく、表示画面の前後に位置すると感知される奥行き感を視聴者に与える。しかし、シーンを表す画像コンテンツ（物体）がそのようにして画面の前後に感知されるはずである一方で、画像内にフリーフォーカス情報がないことは、画像内の物体の実際の奥行き位置に焦点を合わせる必要があるにもかかわらず、ディスプレイの画面に焦点を合わせる（自身の眼の水晶体を調節する）ことを視聴者に強いる。このことは、視覚的な不快感を引き起こし得る所謂輻輳調節矛盾の原因となる。
【０００７】
両眼連動とは、視聴者の２つの眼の視軸が平行である程度であり、この軸は、視聴者により近い物体ではより集束する。人間の自然な視覚では、両眼連動量と、所与の距離にある物体をくっきりと見るのに必要とされる調節量との間に直接的関連がある。米国特許第６０６４４２４号の中にあるような従来の（自動）立体ディスプレイは、両眼連動を動的に変えながら固定面（表示画面）上の調節を保つことにより、この両眼連動と調節との間のつながりを切り離すことを視聴者に強いる。輻輳調節については、国際公開第２００６／０１７７７１号の中でより詳細に説明されている。
【０００８】
従って、表示するコンテンツに自由に焦点を合わせる能力を提供するディスプレイは、シーンのより自然な又はより完全な（２Ｄ又は３Ｄ）画像を提供するだけでなく、３Ｄディスプレイにおける輻輳調節問題によって引き起こされる不快感を減らすこともできる。無限遠に焦点を合わせ、無限遠におけるコンテンツはくっきりしているはずだが、画面の奥行きにおけるコンテンツはディスプレイベゼルと同程度にぼやけるはずである。
【０００９】
今日ではプレノプティックカメラが知られており、プレノプティックカメラは、生成される画像コンテンツ内に焦点情報があるように、シーンの２Ｄ画像を記録することができる。しかし、適切なソフトウェアを用いて２Ｄディスプレイ上でかかるコンテンツを表示することは、２Ｄ画像のどの奥行領域がくっきりと見られ得るのかについての選択を視聴者に与え得るが、これはソフトウェアによる表示画像の調整を用いて行われなければならず、他方では眼の水晶体の調節を用いては行うことができない。従って、本発明の文脈におけるフリーフォーカスは提供されない。国際公開第２００６／０１７７７１号は、様々な焦点距離を有する画像バウエル（image vowels）を用いて画像を生成するために可変焦点ミラー又はレンズを用いるシステムを提供することによってこの問題に対処しようと試みる３Ｄディスプレイを開示する。
【００１０】
ホログラフィックディスプレイもこの問題に対処する。ホログラフィは、光の中のシーンの完全な捕捉及び再現である。ホログラフィは電磁波の回折に基づく。ホログラフィックディスプレイは、高解像度、及び輝度だけでなく光の位相も制御する能力の両方を必要とする。
【００１１】
計算ホログラフィとは、仮想シーンの回折パターンの再現である。完全なホログラムを計算するには、ピクセル−ボクセルの各組合せが考慮に入れられなければならない。少なくともフルＨＤピクセルと同数のボクセルがあるべきであること、及び画面の解像度がフルＨＤ解像度の何倍もあることとすると、このことは計算の複雑性を驚異的なものにする。
【００１２】
SeeRealという企業は、視標追跡と共にビームステアリングを用いて瞳孔位置に対してのみ正しいホログラムを作り出すホログラフィックディスプレイを提供する、より実用的なホログラフィックディスプレイの解決策を開発した。この解決策は、Advances in Lasers and Electro Optics, pp. 683-710, ISBN 978-953-307-088-9, 2010内のS. Reichelt et al., “Holographic 3-D Displays - Electro-holography within the Grasp of Commercialization“の中で報告されている。
【００１３】
狭いビーム幅はより大きいピクセルピッチ（３０〜７０μｍ）を可能にし、製造の実現可能性を高めるだけでなく、計算コストを数桁減らしもする。しかし、必要とされる１兆浮動小数点演算／秒（１ＴＦＬＯＰ：1 trillion floating point operations per second）は依然として普通でないように思われる。
【００１４】
２５６ビューを構築するためにレンチキュラディスプレイのマルチプロジェクションを使用し、視聴者の眼の瞳孔ごとに２つのビューを提供する、２５６ビューのスーパーマルチビュー立体ディスプレイが、ASO Optics Express, vol/ 18, No. 9 page 8824 to 8835の中でYasuhiro Takaki及びNichiyo Nagoによって記載されている。このディスプレイは、１６個の別々のフラットパネル３Ｄディスプレイを必要とする。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明は、視聴者が表示画面に焦点を合わせるのではなく画像によって伝えられる奥行き（又はその近く）に焦点を合わせた状態で、更に、計算の複雑性が減らされた状態で表示画像が処理されることを可能にするやり方で、現実の奥行感覚を得させる表示装置に対する需要に対処する。
【００１６】
３Ｄディスプレイで使用されるとき、本発明は、輻輳調節問題の視覚的な不快感を減らすことも目指す。本発明は、比較的平らなフォームファクタを有する表示画面を用いてその狙いが達成されることを可能にする。
【課題を解決するための手段】
【００１７】
上記の目的は、本発明による表示装置及び方法によって実現される。本発明は独立請求項によって定められる。従属請求項は有利な実施形態を提供する。
【００１８】
ピクセルセットは、必須ではないが、好ましくはディスプレイの全ピクセルを含む。空間的に分散されたピクセルとは、ピクセルが表示パネル内で互いの上にではなく、隣同士に配置されることを意味する。
【００１９】
異なるピクセルサブセットとは、かかるピクセルサブセットが表示パネルの異なる領域上に位置することを意味する。好ましくは、或るピクセルサブセットのうちの１つ又は複数のピクセルが、１つのピクセルサブセットにしか属さず、そのため、全てのピクセルサブセットが互いに完全に異なり、表示パネル上で異なる空間的位置を有する。或いは、複数のピクセルサブセットに属する少なくとも１つのピクセルがある場合、これらのサブセットは互いに部分的にのみ重なり合うことができる。
【００２０】
画像化ユニットは、表示パネル上に、即ちピクセルと仮想平面との間に配置され得る。その場合、例えばＯＬＥＤやプラズマ表示パネルに見られるように、直接発光するピクセルが使用されても良い。或いは、例えばＬＣＤパネルの透過ピクセル等の透過ピクセルを有するパネルの場合、画像化ユニットがピクセルと照明ユニット（バックライト又はレーザシステム）との間に位置しても良い。
【００２１】
仮想平面は、表示システムの前の視野の範囲内にあり、表示システムの有効距離にある。
【００２２】
仮想円及び／又は更なる仮想円は、視聴者の眼の瞳孔を表すことができる。
【００２３】
画像化ユニットは、仮想平面上のビュー領域にピクセル画像を与える。ピクセル画像の領域は、ビュー領域とほぼ等しい。これらのビュー領域の２つの少なくとも一部が仮想円の範囲内にある。つまりこれらのピクセル画像は、眼を動かす必要なしに眼の瞳孔に入ることができる。
【００２４】
それらのビュー領域は、表示パネル上に表示されるシーンの副画像を構築するために使用され得る。このために、ピクセルサブセットのそれぞれの中に、複数のビュー領域の同じものに画像化される少なくとも１つのピクセルがあり、そのため、各ビュー領域は互いにほぼ完全に重なり合う複数のピクセル画像を含む。この複数のピクセル画像のそれぞれ（従って各ビュー領域）は、副画像を表すことができる。
【００２５】
１つのビュー領域のピクセル画像は仮想平面上で空間的に分解されないが、それらのピクセル画像は、表示パネル上の様々なピクセルサブセットのピクセルから生じ、即ちそれらのピクセル画像は様々な方向から仮想平面に到達する。その結果、仮想平面を通過した後、それらのピクセル画像は再び空間的に分解されるようになる。
【００２６】
従って、仮想平面が透明であると考え、表示パネルと仮想平面との間の距離よりも大きい距離表示パネルから隔てて投影平面を置くことで、複数のピクセル画像パターンが見られ得る。これらのピクセル画像パターンのそれぞれは、表示パネル上に表示される副画像を表すことができる。
【００２７】
副画像が或るシーンのビューだが異なる視点からのビューに対応する場合、仮想平面の位置において仮想円内に配置される（眼の）水晶体は、副画像内のそれらの物体の奥行き（副画像内の視差）に基づき、シーンの物体をその網膜上に選択的に合焦させることができる。従って、フリーフォーカスが有効にされる。
【００２８】
焦点を合わせ直す効果は、視聴者の眼の網膜及び水晶体の距離に匹敵する距離、仮想投影平面から離れた距離において投影平面が仮想平面の背後に配置されるときにピクセル画像パターンの焦点を合わせ、複数焦点状態にある視聴者の眼の強度に匹敵する強度を有するレンズを使用することにより、模倣され得る。すると、ピクセル画像パターンからの異なるピクセルの組をレンズの様々な焦点状態において重ね合わせることが可能になる。視聴者の眼の視覚能力を模倣する他の光学的構成も同じ目的で使用され得る。
【００２９】
（重なり合う）ピクセル画像を表すビュー領域は、好ましくは全て等しく及び／又は同じ形状を有する。形状は正方形、長方形、不等辺四辺形、三角形、又は円とすることができる。周囲のビュー領域は、隣接して間に隙間を残さない場合があるが、両方のビュー領域の一部が依然として第１の仮想円に含まれる限り、それらがフリーフォーカス効果に同時に寄与しなければならない場合、幾らかの隙間を間に残す場合もある。
【００３０】
本発明の一実施形態では、様々なビュー領域を時系列的に与えるために１つのピクセルサブセットが使用され得る。従って、仮想円で（少なくとも部分的に）囲まれるビュー領域内に少なくとも２つの異なるピクセル画像を全て１／３０秒以下、１／４５秒以下、又は１／６０秒以下の１つの再構成時間内で作成するために、ピクセルサブセットのピクセルの光出力が次から次へと変えられても良い。副画像が逐次的に眼に与えられるという事実にも関わらず、この時間は副画像から１つの画像を合成する機会を眼に与えるのに十分短い。ピクセルが複数のビュー領域にわたって分割される必要がないので、その間にも（副）像の解像度は高く保たれ得る。各ピクセルサブセットが１つのピクセルしか有さない場合、（副）像内の解像度は、１組のピクセルによって決定される元の解像度である最大値に保たれ得る。好ましくは、画像のちらつきを減らし且つ／又は眼のフリーフォーカス能力を最適化するために、再構成時間の間隔は可能な限り短い。従って、好ましくはこの間隔は１／４５秒未満、更には１／６０秒未満である。
【００３１】
第１の時間間隔及び第２の時間間隔は、好ましくは再構成時間間隔内の単一の連続した間隔である。
【００３２】
本発明の別の実施形態では、ピクセルサブセットが２つのピクセルを含み、それぞれのピクセルは複数のビュー領域の１つにしか画像化されない。この場合、ビュー領域の少なくとも２つが、ピクセルサブセット内の空間個別的なピクセルによって生成される。従って、ピクセルはビュー領域の数にわたり、即ちそれ故に、ピクセル画像パターン（副画像）にわたり少なくとも部分的に分割される必要がある。ピクセルサブセットのそれぞれに関するこれらの２つのピクセルの光出力は、様々なピクセル画像パターンを提供するために変えられる必要はない。このことは、ビューにわたりピクセルを分割することにより解像度が幾らか失われるという代償を払い、ピクセルのコンテンツ変化速度を緩和する。そのような表示装置では、固定された（再構成できない）画像化ユニットで十分である。そのような表示パネルの製造は、より容易又は安価であり得る。
【００３３】
ピクセルサブセット内に複数のピクセルを有するディスプレイでは、それらのピクセルがｓ列及びｔ行のピクセルアレイ状に配置されても良く、ｓ及びｔは整数である。このアレイはピクセルの二次元分布を有することができ、三角形、長方形、正方形、又は六角形のピクセル分布等が例として与えられる。好ましくは、分布は長方形又は正方形である。
【００３４】
整数ｓ及び／又はｔは、２、３、４、５、６、７、８、９、若しくは１０、又は１１以上とすることができる。整数ｓ及びｔは、等しくなくても良いが、複数の重複領域が例えば４、９、１６、２５、３６、４９、６４、８１、又は１００の重複領域を含むように等しいことが好ましい。より好ましくは、パターン（アレイ）の形状が長方形であり、更に好ましくは、列と行とが互いに９０度の角度を作り出す正方形である。
【００３５】
本発明のディスプレイでは、３つのビュー領域を含む複数のビュー領域があっても良く、その３つのビュー領域の少なくとも一部を仮想円が囲む。仮想円（眼の瞳孔）ごとにより少ないビュー領域を用いるよりも、更なる奥行きレベル及び／又は焦点の合わせ直し易さに関する改善されたフリーフォーカス効果が作り出され得る。好ましくは、３つのビュー領域は、仮想平面上に二次元パターンを形成するように配置される。そのようにすることは、画像内の２つの次元に沿ったフリーフォーカスを画像内の物体に与える。二次元パターンは、好ましくは規則的分布内の領域を含み、三角形、長方形、正方形、又は六角形の分布等が例として与えられる。より好ましくは、パターンが、重複領域の長方形又は正方形の分布を有する。好ましくは、この二次元パターンは、ｍ列及びｎ行の重複領域を有する重複領域のアレイ形式にあり、ｍ及びｎは整数である。整数ｍ及び／又はｎは、２、３、４、５、６、７、８、９、若しくは１０、又は１１以上とすることができる。整数ｍ及びｎは、等しくなくても良いが、複数の重複領域が例えば４、９、１６、２５、３６、４９、６４、８１、又は１００の重複領域を含むように等しいことが好ましい。より好ましくは、パターン（アレイ）の形状が長方形であり、列と行が互いに９０度の角度を作り出す正方形であればなお良い。
【００３６】
好ましくは、本発明の装置では、複数のビュー領域の少なくとも２つが仮想円によって完全に囲まれる。ピクセルの全ての光が円内に入り、従って視聴者の眼の瞳孔に入ることができるので、このことは表示システムの改善された輝度をもたらす。優れた画像輝度を相変わらず体験しながら、光出力のパワーを減らし又は最小限に抑えることができ、従って優れた画像輝度を有する電力効率の良い表示システムを実現する。好ましくは、複数の重複領域の３番目の領域も更には全てが仮想円内に完全にある。全てのビュー領域が仮想円内にある場合、このことは、（視聴者の眼の瞳孔の寸法を有する仮想円で囲まれる領域において）視聴者の眼にのみ自らの出力を与えることができる表示システムを提供する。従ってこの表示システムは、見ることが発生しない重複領域は提供せず、フリーフォーカス効果を作り出す用途のために出力パターンを使用する際に効率的である。
【００３７】
本発明の表示装置は、好ましくは全てのピクセルサブセットについて、複数のビュー領域内のビュー領域の数と同じ、幾つかのピクセルをピクセルサブセットごとに有する。このことは、均一のピクセル数を有する画像パターンをピクセルに与える。
【００３８】
表示装置の画像化ユニットは複数の画像化サブユニットを有することができ、各画像化サブユニットは、１つだけのピクセルサブセットのピクセルの１つ又は複数の少なくとも一部を画像化するためのものであり、各画像化サブユニットはレンズ、ミラー、及び／又はプリズムの形をとる光学要素を含む。
【００３９】
複数の画像化サブユニットは、好ましくは画像化サブユニットのアレイ状に配置される。このアレイは、表示パネル上のピクセルのサブユニットのアレイに対応する。
【００４０】
好ましくは、各画像化ユニットは、レンズを用いて画像化が行われ得る１つ又は複数のレンズを含む。レンズは、仮想円上に一次元のビュー領域パターンを与えるために円柱形とすることができ、及び／又は仮想平面上に例えば二次元のビュー領域パターンを与えるために球形でも良い。周囲のピクセルサブセットの光出力が互いの導光ユニットに入ることができないように、画像化ユニット及び／又は画像化サブユニットはピクセルの真上に位置することができる。或いは、或るピクセルサブセットからの光が、別の（ことによると周囲の）ピクセルサブセットの光出力を導くように意図される導光ユニットに入るのを防ぐために、周囲の導光ユニットとの間に１つ又は複数の遮光要素があっても良い。
【００４１】
或る代替形態では、導光ユニットの数がピクセルサブセットの数に等しい。従って、この実施形態では、各ピクセルサブセットが独自の画像化サブユニットを有する。
【００４２】
ピクセルサブセットごとに、複数の画像化サブユニットがあっても良い。ピクセルの１つ又は複数の少なくとも一部は、ピクセルがサブピクセルを有するカラーピクセルである場合１つ又は複数のサブピクセルを意味することができ、又はサブピクセルがあろうとなかろうとピクセル領域の一部を意味し得る。
【００４３】
より多くの画像化サブユニットを有することは、個々のピクセルサブセット又は個々のピクセルサブセットの一部を画像化するより多くの自由をもたらすことができる。
【００４４】
本発明のディスプレイの改変形態では、画像化サブユニットが第１の光学要素及び第２の光学要素を含み、第１の光学要素及び第２の光学要素は、第１の光学要素が１つだけのピクセルサブセットのピクセルの１つ又は複数の少なくとも一部の光出力を第２の光学要素に導くためのものであり、第２の光学要素が第１の光学要素から受け取られる光出力の少なくとも一部を仮想平面に導くためのものであるように構成される。画像化ユニットのこのセットアップは、表示装置の比較的平らなフォームファクタと共に正しい有効距離を作り出すのに有利である。
【００４５】
本発明の表示装置はピクセルを有することができ、各ピクセルは互いに異なる色を有する複数のサブピクセルを含み、サブピクセルは、少なくとも部分的に重なり合うように表示パネル上で互いの上にスタックされる。
【００４６】
好ましくは、サブピクセルが完全に重なり合う。ピクセル及びそのサブピクセルは、スタックされた有機発光デバイス（ＯＬＥＤ：Organic Light Emitting Device）ピクセルであり得る。このようにしてピクセルは、有色出力を依然として提供できるとき、表示パネル上で最小限のスペースしか取らない。従って、カラーピクセルの解像度は、１組のピクセルによって決定され得る。ピクセルの全てのサブピクセルがビュー領域上で重なり合って画像化されるので、画像化による色割れはない。従って、視聴者が焦点を合わせ直すことは、認められるカラーパターンの変化をもたらさない。このことは、視聴者の眼が焦点を合わせ直すときに改善された色の均一性をもたらす。
【００４７】
或いは、ピクセル、又は各ピクセルは、互いに異なる色を有する複数のサブピクセルを含み、それらのサブピクセルは表示パネル上で空間的に分散される。このことは、スタックピクセルを有する表示パネルと比べたとき、製造がより容易な表示パネルを実現する。この種の表示装置内では、ピクセル内のサブピクセル数が、好ましくは１つだけのピクセルサブセットのピクセルの１つ又は複数の少なくとも一部を画像化する画像化サブユニットの数に等しい。つまり、或るピクセルのサブピクセル画像の１つ又は複数を、１つに利用できる異なる画像化サブユニットによりビュー領域上で重ね合わせることができる。従って、視聴者が焦点を合わせ直すことは、認められるカラーパターンの変化をもたらさない。従ってこのことは、視聴者の眼が焦点を合わせ直すときに改善された色の均一性をもたらす。サブピクセルを空間的に分散させることには、例えばスタックサブピクセルの改変形態に比べ、表示パネルがより容易に製造でき且つ／又はアドレス指定等できるという利点もある。
【００４８】
本発明の表示システムでは、各ピクセル又はサブピクセルが、照明部分の一次元又は二次元アレイとして構成される複数の照明部分を含み得る。このことは、視標追跡及びビームステアリングの実施をより容易にする。好ましくは、隣接する照明部分間の間隔は、照明部分の同じ間隔方向に沿ったサイズよりも大きい。
【００４９】
添付の特許請求の範囲の何れか一項に記載の表示システムであり、ピクセルサブセット間の距離は、同じピクセルサブセットのピクセル間の距離よりも大きい。ピクセルのこの配置は、複数の画像化サブユニットを有する画像化ユニットを使用するとき有利とすることができ、かかる画像化サブユニットはピクセルサブセットにつき１つある。
【００５０】
視聴者の両眼に表示を行うことができる本発明のディスプレイでは、ピクセルサブセットが、時系列的態様で更なる仮想円にも画像化される。従って、仮想円に配置されるとき、それぞれの眼にフリーフォーカスが与えられる一方で、１組のピクセルによって決定される解像度は片眼の複数のビュー領域上でしか分割されない。
【００５１】
ビューパターンのピクセル画像が２つの仮想円間で異ならない場合、眼は同じ情報を受け取り得る。従ってその表示装置は、両眼のためのフリーフォーカスを有するモノディスプレイである。或いは、及び好ましくは、立体表示装置としての使用に適したものにするために、眼が異なる情報を受け取る。
【００５２】
再構成及びタイミングに関して言えば、異なる眼に対する出力は、ピクセル画像が片眼のビュー領域に時系列的に与えられるのと同様の態様で与えられ得る（請求項２に記載の裏付けを参照されたい）。時系列的な画像化を行うために、再構成可能な光学ユニットがこの種の表示装置に使用されても良い。
【００５３】
複数の眼のための表示装置の別の実施形態では、１組のピクセルが更なる複数の異なるピクセルサブセット（４１Ｉ）を含み、更なる複数のピクセルサブセットの各ピクセルサブセットは、１組のピクセルの１つ又は複数のピクセルを含み、画像化ユニット（４２）は、更なる複数のピクセルサブセットのうちの或るピクセルサブセットの１つ又は複数のピクセルを画像化し、仮想平面上の更なる複数のビュー領域上に更なるピクセル画像を形成するためのものであり、異なるピクセルサブセットのそれぞれの少なくとも１つの更なるピクセル画像が更なる複数のビュー領域の同じものの上で重なり合う状態で、更なる複数のビュー領域は互いに重なり合わず、仮想平面は眼の瞳孔の直径を有する更なる仮想円を含み、仮想円の中心と更なる仮想円の中心との間の距離は、視聴者の左眼の瞳孔の中心と右眼の瞳孔の中心との間の距離に対応し、更なる仮想円が更なる複数のビュー領域の少なくとも２つの少なくとも一部を囲み、更なる仮想円内に少なくとも部分的に囲まれる更なる複数のビュー領域の少なくとも２つは、その中の更なるピクセル画像の少なくとも１つに関して互いに異なる。
【００５４】
これは両眼用のディスプレイであり、それぞれの眼について複数の異なるピクセルサブセットがある。従って、１組のピクセルによって決定される解像度は、両眼にとって利用可能なピクセルの分割に基づき下げられる。焦点を合わせ直す効果を得るために、このディスプレイは、片眼に時系列的にパターンを与えることと組み合わせられても良い。
【００５５】
少なくとも２つの仮想円にビュー領域を与える表示装置では、第１の仮想円の中心と第２の仮想円の中心との間に、ビュー領域が存在しない仮想平面上の領域がある。従って、ピクセルの効率的使用が実施可能であり、その結果、視聴者の眼がない位置にビュー領域は提供されない。
【００５６】
少なくとも２つの仮想円にビュー領域を与える表示装置では、表示装置が立体表示装置でも良く、仮想円内に少なくとも部分的に囲まれる複数のビュー領域の少なくとも２つと、更なる仮想円内に少なくとも部分的に囲まれる更なる複数のビュー領域の少なくとも２つとが、ピクセル及びその中の更なるピクセル画像の少なくとも１つに関して互いに異なる。
【００５７】
本発明の表示装置では、複数のピクセルサブセットがｋ行及びｌ列有するピクセルサブセットのアレイ状に配置され、ｋ及びｌは整数である。更に、好ましくは、ピクセルサブセットが規則正しい態様で表示パネル上に分散される。好ましくは、それらのピクセルサブセットは、ピクセルサブセットの行及び列のアレイ状に配置される。好ましくは、各ピクセルサブセットが同数のピクセルを含む。
【００５８】
複数の仮想円にビューを与えるための複数のピクセルの組を有する表示パネルでは、複数のピクセルサブセット及び更なる複数のピクセルサブセットがｋ行及びｌ列のピクセルサブセットのアレイ状に配置され、ｋ及びｌは整数であり、アレイの全体を通し、複数のピクセルサブセットのピクセルサブセットは奇数ｌの列内にあり、更なる複数のピクセルサブセットのピクセルサブセットは偶数ｌの列内にある。
【００５９】
視聴者の左眼のための複数のパターン（副画像）及び右眼のための更なる複数のパターン（副画像）が、今では表示パネル上で均等且つ規則正しく分散される。
【００６０】
ディスプレイ及び／又は視聴者が互いに対して回転する場合、列が行で置換されても良い。これはディスプレイを横向きのビューから縦向きのビューに回転させる場合に有利であり得る。
【００６１】
この交替は、例えばＧＰＳ、慣性、ジャイロスコープ装置、又は視標追跡装置を使用して指示されるディスプレイの向きの変化によって与えられる任意の外部入力によって引き起こされ得る。
【００６２】
本発明の表示装置では、画像化ユニットは、ピクセルサブセットのピクセルを仮想円及び／又は更なる仮想円内の複数のビュー領域の異なるものに時系列的に画像化するように再構成可能であり、且つ／又は複数のピクセルサブセット及び更なる複数のピクセルサブセットのピクセルを複数のビュー領域及び更なる複数のビュー領域に時系列的に画像化するように再構成可能である。或る代替形態では、これが機械的に再構成可能な光学ユニットを使用して行われ得る。例えばそのユニットは、機械力を作用させることにより短くされ又は伸ばされ得る光学要素を含み得る。機械力は、圧電装置によって与えられても良い。別の代替形態では、光学要素が電気光学的に再構成可能であり得る。好ましくは、このために光学ユニットは、ＧＲＩＮ又はエレクトロウェッティングユニットとして機能する光学要素を含む。従って、１つ又は複数の光学要素は、ＧＲＩＮレンズ又はエレクトロウェッティングミラー若しくはレンズで作られ得る。
【００６３】
添付の特許請求の範囲の何れか一項に記載の表示装置は、眼の瞳孔の位置を求めるための追跡システムと、眼の瞳孔の位置に依存して画像化ユニットを制御するための画像化ユニット制御システム（７６）とを含み、それにより、視聴者の眼の１つ又は複数の瞳孔と一致するときに仮想円及び／又は更なる仮想円が、瞳孔の１つ又は複数が位置を変えるときにそれらの瞳孔とほぼ一致させ続けられる。
【００６４】
視標追跡は片眼の位置を追跡することができ、制御は、１つの仮想円を同じ眼の瞳孔の周縁と一致させ続けるためであり得る。位置とは、表示パネルまでの瞳孔の距離、並びに／又は表示パネルの前の水平位置及び／若しくは垂直位置までの瞳孔の距離、又はその３つの任意の組合せを意味し得る。
【００６５】
従って、仮想円が眼の瞳孔の周縁と一致するように第１の位置に配置される眼（の瞳孔）が更なる位置に動く場合、位置が変えられた瞳孔に光出力の向きが変えられる。視聴者は動かす自由を有する。
【００６６】
或いは、視標追跡は、少なくとも２つの眼の位置を追跡することができ、制御は、或る仮想円が或る眼の瞳孔から別の眼の瞳孔に移動するように出力光を移すためであり得る。この実施形態は、１人の視聴者及び／又は複数の視聴者の複数の瞳孔（眼）に同じ若しくは異なる出力を時系列的に与えるために有用である。
【００６７】
本発明の表示装置は、表示パネルに画像データを与えるためのディスプレイコントローラを有することができ、画像データは複数の副画像を符号化し、複数の副画像の第１のものは３Ｄシーンの第１の視点に対応し、複数の副画像の第２のものは、眼の瞳孔の幅の差をつけて第１の視点に関係する３Ｄシーンの第２の視点に対応し、各ピクセルサブセットには第１の副画像の一部及び第２の副画像の一部が与えられる。
【００６８】
表示装置は、この画像データを受け取るように適合される。言い換えれば、画像化ユニットにより瞳孔の同じ領域に一緒に画像化される異なるピクセルに、単一の視点から見られる３Ｄシーンに対応する画像データが与えられるように、ピクセルに画像データが与えられる。異なる視点から見られる３Ｄシーンの少なくとも２つの副画像が、１つの仮想円（或いは１つの瞳孔）に与えられる。複数の仮想円にビュー領域を与えるディスプレイでは、複数のピクセルサブセット、ピクセルサブセット、及び複数のビュー領域に関する従属請求項の特徴が、更なる複数のピクセルサブセット、更なる複数のビュー領域、並びに更なる仮想円にも等しく当てはまり得る。
【００６９】
Tokyoディスプレイと異なり、画像のビューは瞳孔の方向に送ることができ、それによりフリーフォーカス効果を実現するのに必要なビューの数を減らすことができる。本発明は、より多くのビューがレンダリングされなければならないという点でレンチキュラシステムよりも複雑なシステムを提供する。瞳孔追跡バージョンでは、瞳孔の追跡、ビームステアリングの面で更なる複雑さもある。しかし本システムは、計算上はリアルタイムホログラフィックシステムよりもはるかに単純であり、放射光の位相を制御する必要がない。
【００７０】
図面の全体を通して、同じ参照番号は同じ特徴を示す。図面は概略図を示し、相対寸法は事実通りに実際を表さない。
【図面の簡単な説明】
【００７１】
【図１Ａ】シーンを見るとき眼がどのように働くのかについての略図の側面図である。
【図１Ｂ】シーンを見るとき眼がどのように働くのかについての略図の平面図である。
【図２Ａ】通常の２Ｄディスプレイにより視聴者の１つ又は複数の眼の網膜に示される内容の概略的透視図である。
【図２Ｂ】通常の３Ｄ立体ディスプレイ又は自動立体ディスプレイにより、視聴者の２つの眼のそれぞれの網膜に示される内容の概略的透視図である。
【図３】眼の瞳孔ごとに３Ｄシーンの２つのビューしか使用せずに本発明によるフリーフォーカスを提供する２Ｄ又は３Ｄディスプレイにより、視聴者の片方の眼の網膜に示される内容の概略図である。
【図４Ａ】本発明による表示装置の概略的平面図であり、かかる装置がどのように動作できるかを示す。
【図４Ｂ】図４Ａのディスプレイのセットアップの概略的透視図であり、図４Ａのディスプレイの動作を示す。
【図４Ｃ】本発明による表示装置を概略的に示し、かかる装置が、ビューを生成するための各ピクセルサブセット内の１つのピクセルを使用して３Ｄシーン（画像）の２つのビュー（副画像）を眼の１つの瞳孔にどのように提供できるのか、これらのビューを様々なビュー領域にどのように時系列的に提供できるのかを示す。
【図４Ｄ】３Ｄシーン（画像）の複数のビュー（副画像）を視聴者の２つの眼に与えることができる本発明による表示装置を概略的に示し、異なる眼のビューは同じピクセルサブセットを用いて生成され、それぞれの眼はビューを時系列的に認める。
【図４Ｅ】３Ｄシーン（画像）の複数のビュー（副画像）を視聴者の２つの眼に与えることができる本発明による表示装置を概略的に示し、異なる眼のビューは異なるピクセルサブセットを用いて生成される。
【図５Ａ−Ｄ】例えば図４Ａ〜図４Ｅの表示装置等、本発明による表示装置のためにビューのレンダリング及び／又はピクセル割当がどのように行われ得るのかを概略的に示す。
【図６Ａ−Ｃ】本発明による表示装置を用いて眼の瞳孔に与えられ得る様々なビュー領域のパターンを示す。
【図７Ａ−Ｃ】本発明によるディスプレイの光学ユニットがどのように設計され且つ／又は動作され得るのかを概略的に示す。
【図７Ｄ−Ｅ】表示パネル上のピクセルの配列及び光学ユニットのあり得る設計を示す。
【図８Ａ−Ｇ】ピクセルがサブピクセルを有する、本発明によるディスプレイの表示パネル及び光学ユニットの一部の概略図、及びそれらのサブピクセルがビュー領域にどのように与えられ得るのかの概略図である。
【図９】光学ユニットの撮像ユニット、及びその撮像ユニットがどのように動作できるのかについての概略図である。
【図１０Ａ−Ｂ】サブピクセルを有するピクセルを伴う又は伴わない表示パネルを有する、図９による光学ユニットの実装形態を示す。
【図１１Ａ−Ｂ】ＧＲＩＮレンズがどのように動作でき、本発明によるディスプレイ内にどのように実装され得るのかを概略的な態様でそれぞれ示す。
【図１２Ａ−Ｂ】眼の瞳孔に与えられ得るビュー領域を示す。これらのビュー領域は、表示パネル上のピクセルサブセット内のピクセルパターンを表すこともできる。
【図１３Ａ−Ｂ】アドレス指定されるときに同じ出力を与える複数の照明部分に細分されるピクセル又はサブピクセルを示し、それが単純な電気接続によってどのように実現され得るのかを示す。
【図１４】追跡システム、ディスプレイコントローラ、及び光学ユニットコントローラも有する本発明による表示装置を示す。
【発明を実施するための形態】
【００７２】
本発明は、視聴者がフリーフォーカス効果を体験できる表示装置を提供する。
【００７３】
かかるディスプレイでは、光学ユニットにより瞳孔の或る所与のビュー領域に画像化されるピクセルの組合せの光出力が一緒になって、単一の視点から見られる３Ｄシーンの副画像を規定することができる。これは、このビュー領域上に画像化されるビューが、及びビュー領域の少なくとも一部を認めるように眼の瞳孔が位置する場合、眼の網膜上にそのビューから形成される副画像が、シーンに対して横方向に間隔が置かれた視点からの３Ｄシーンのビューに対応すること、又は３Ｄシーンに対する共通の視軸に沿った様々な奥行き位置からの３Ｄシーンのビューに対応することを意味する。「視点（ビューポイント）」という用語は、しかるべく理解されるべきである。
【００７４】
従って、瞳孔に与えられる光は、現実の世界で視聴者の片方の眼によって同時に見られ得る視点に関する３Ｄシーンの少なくとも２つのかかる副画像を含み得る。
【００７５】
それに加え、副画像によって表されるシーン内の異なる奥行きにある物体をくっきりと知覚するために、眼は再調節することにより、少なくとも２つの副画像の異なる部分を網膜上で重ね合わせる可能性を有する。このことは、２Ｄディスプレイ及び／又は３Ｄディスプレイによって表示される画像を見ることを向上させ得る。
【００７６】
本発明の手法の基礎を成す概念の一部は、プレノプティックカメラの概念に似ている。この主題に関する初期の論文の１つが、Adelson et. Al. “Single Lens Stereo with a Plenoptic Camera”, IEEE Transaction on Pattern Analysis and Machine Intelligence”, vol. 14, No. 2, Feb. 1992である。この研究が発展され、今やプレノプティックカメラは市販されている。
【００７７】
プレノプティックカメラでは、画像センサ面上にマイクロレンズアレイが設けられる。各マイクロレンズは１組のピクセルの上に重なる。マイクロレンズは、様々な方向から入ってくる光を、下にある１組のピクセルの様々なピクセルに導く。このようにして、各マイクロレンズの下の同じ位置の１組のピクセルが、特定の視野方向から見られるシーンの画像を一緒になってもたらす。様々な視野方向画像を画像処理することにより、奥行き情報が得られ得る。固定された視野方向からの単一画像ではなくシーンの部分的な３Ｄモデルが事実上得られるので、この追加情報は焦点を合わせ直す機能及び他の多くの画像操作を実行するために使用され得る。しかし、プレノプティックカメラによって記録される画像は、かかる画像を表示するディスプレイへの適切な適応なしではフリーフォーカス効果を与えない。
【００７８】
次に本発明をより詳細に説明する。そのために、図１〜図３を参照し、本発明が解決しようとする問題の一部及び本発明の概念の一部が最初に説明される。
【００７９】
図１Ａ及び図１Ｂは、現実の世界の（３Ｄ）シーンを見るときの人間の単一の眼の働きを側面及び上部のそれぞれから説明するために使用される。シーン１は、眼３から遠く離れておりシーンの右側にある小さく黒い矢印２、及び眼３により近くシーンの左側にある大きく白い矢印４を含む。これらの矢印はシーン内の異なる奥行きにある。眼３の瞳孔及び水晶体は１つの要素５として概略的に示されており、その結果、簡潔にするために、瞳孔の大きさは全水晶体が入射光にさらされる程大きいと仮定される。眼の網膜は、面６によって概略的に示されている。
【００８０】
眼の焦点は、大きく白い矢印４に合わされている。眼は１つしか描かれていないため、眼の両眼連動は図面内では考慮されていない。更に、眼の３Ｄシーンに対する共通の視軸（上記参照）に沿った眼の凝視も図示されていない。大きく白い矢印は、水晶体５により網膜６上にくっきりと画像化される。従って、矢印４の全ての箇所が瞳孔５の全域に光を反射し、それらの光線は眼により網膜上のくっきりと反転された像になって全て完全に画像化される。矢印４の上端及び下端の光線が、水晶体５の正反対の部分に導かれる実線として図示されている。矢印の端は、水晶体により網膜６上の個々の点７に焦点が合わせられる。視聴者は矢印４をくっきりと認める。
【００８１】
しかし、白い矢印４の焦点が合っているとき、小さく黒い矢印２の焦点は合っていない。矢印の底１０の２つの光線が点線で図示されている。これらの光線は、網膜６の前の点８において焦点が合っていることが見て取れる。黒い矢印は網膜６がある面に一意に画像化されないので、矢印の点１０が画像化される網膜の領域９がある。点ではなくこの領域は、小さく黒い矢印の焦点が合っておらず、視聴者によってくっきりと見られていないことを意味する。
【００８２】
視聴者は、小さく黒い矢印２が網膜上の１組の一意の点に画像化されるようにするために、焦点を合わせ直す（再調節する）必要がある。しかし視聴者が焦点を合わせ直すと、矢印４の焦点が合わなくなり、ぼやけて見える。但し、この状況は図示されていない。
【００８３】
図２Ａは、通常の２Ｄディスプレイにより視聴者の眼に示される内容を図示する。かかるディスプレイ上に表示される画像２０は、シーン１の矢印２及び矢印４を有し、この画像は図１Ａ及び図１Ｂの３Ｄシーン１の或るビューを表す（ビューの定義は上記を参照されたい）。実際、全ての視聴者がディスプレイの前の様々な位置から同じビューを見る。画像２０は、眼の水晶体５により網膜６上にくっきりと焦点が合わせられる。ここでも瞳孔の領域が水晶体の領域と同程度大きいと仮定される。全画像が全て視聴者の眼から同じ距離（視聴者の眼から表示画面までの視距離）で示されるので、網膜上でくっきりと再現される。
【００８４】
単一の奥行きを有する１つの平面像（シーンの１つのビュー）しかないので、矢印２や矢印４等の異なる奥行きの物体についてフリーフォーカス能力は提供されない。この原理は、任意の種類の通常の２Ｄディスプレイの場合における視聴者の両方の眼にも当てはまる。画像２０のコンテンツが作成され且つ／又は提示される態様は、画像のどの部分（物体）がくっきりと見られるのか、及びどの部分（物体）がぼやけて見えるのかを決定する。
【００８５】
図２Ｂは、米国特許第６０６４４２４号に記載のもの等、従来の立体ディスプレイ又は自動立体ディスプレイにより２つの眼に示される内容を図示する。図２Ａに関して記載されたのと同様の態様で左眼の網膜６Ｌ上に焦点が合わせられた画像２０Ｌを表示する形で、左眼の水晶体５Ｌにシーンの左ビューが与えられる。同時に、右眼の網膜６Ｒ上に焦点が合わせられた画像２０Ｒを表示する形で、右眼の水晶体５Ｒに同じシーン１の右ビューが与えられる。両方の画像が、視聴者の眼の異なる視点（人間では互いの距離が約６ｃｍである）に対応する同じシーン１の異なるビューを表すので、矢印２と矢印４との間等、画像２０Ｌ及び画像２０Ｒ内の物体間の（シーン１内の異なる奥行き位置に起因する）距離は異なり、即ち視差が作り出される。この視差から、視聴者は奥行きを知覚することができる。奥行きの知覚は、とりわけ２つの異なるビューを脳が解釈することから生じる。
【００８６】
図２Ｂのディスプレイの視聴者が自らの眺めをある物体から別の物体に（例えば矢印２から矢印４に）変えるとき、その人の眼の両眼連動もそれに応じて変化する。この変化から、視聴者は奥行きの変化を知覚する。しかし、現実の世界とは対照的に、図２Ａの２Ｄディスプレイの状況のように、全ての画像情報が依然として表示パネル上で眼ごとの１つのビュー内にくっきりと表示されているので、この両眼連動の変化は眼の水晶体の調節の変化に付随して起きることがない。図２Ａと図２Ｂとの状況の唯一の違いは、後者では両方の眼の画像が視差を有することである。
【００８７】
その結果、この場合も焦点を合わせ直すことができない。更に、人間の通常の立体視では両眼連動と眼の調節とが連結されるのに対し、図２Ｂのディスプレイではそれらが切り離されるので、今度は不自然な立体視体験もある。
【００８８】
図３は、本発明の単純な実装形態を用いて視聴者の眼に示される内容を図示する。図３の表示装置は、１つの眼にとっての２つの異なる視点から見られるシーンを表す、或るシーン（画像）の２つのビュー（副画像）を提供する。具体的には、副画像３０’は、眼の水晶体５の左の領域に与えられるシーン１の第１の副画像を表す。副画像３０’’は、眼の水晶体５の右の領域に与えられるシーン１の第２のビューを表す。左の水晶体の領域と右の水晶体の領域とは互いに重複しない。ここでも、瞳孔の領域が水晶体と同程度大きいと仮定される。例え副画像の全ピクセルの光が水晶体５の同一領域（側）を通してしか入らなくても、各ビュー（副画像）３０’又は３０’’の完全な像が水晶体により網膜上に形成される。眼の一定の調節が、２つの網膜像の一部をほぼ重ね合わせる。図２Ｂの（自動）立体の場合における左ビュー及び右ビューと同様に、第１のビュー（副画像）３０’及び第２のビュー３０’’は、それらのビューが向けられる眼の水晶体の２つの部分間の視点の差に応じて僅かに異なる。例えば、一方が瞳孔の左の部分の中央における点からの３Ｄシーン１のビューとして考えられても良く、他方が瞳孔の右の部分の中央における点からの３Ｄシーンのビューとして考えられても良い。これらのビューは、右眼及び左眼のビュー（副画像）が異なるのと同じように異なるが、その程度はより小さい。図３にビュー間の差（視差）が誇張して示されている。
【００８９】
視聴者の眺めが白い矢印４に向けられるとき、眼は白い矢印４に焦点を合わせることができ、焦点を合わせることになり（自然な習性）、このことは、水晶体５がビュー（副画像）３０’及び３０’’の白い矢印を例６’にあるように重なる態様で網膜上に画像化することを意味する。しかし、その結果、ビュー３０’及び３０’’の両方における矢印２と矢印４との間の視点に関する距離差（視差）が原因で、眼のこの焦点状態では、両方のビュー（副画像）３０’及び３０’’の黒い矢印２を重なり合うように網膜６に画像化することはできない。従って、２つの白い矢印が完璧に重なり合いくっきりとした眺めを与える一方で、小さい方の黒い矢印２は、シーン１を自然に見る際に生じるのと同じ焦点外れのぼやけを与え、その理由は、脳がそれらの二重像を２つの別々のくっきりとした物体ではなく単一のぼやけた物体として解釈できるからである（自然界と同様に、焦点が合っていない物体は１組の非整列像として網膜上に現れる）。視聴者の眺めが黒い方の矢印２に移るときに矢印２の焦点を合わせるには、副画像３０’及び３０’’内の２つの異なる矢印２が網膜の同じ点上にくっきりと画像化される（像が重なり合う）ように、眼が焦点を合わせ直す（再調節する）必要がある。今度は、大きく白い矢印４の焦点が合わなくなる。
【００９０】
眺めに応じて焦点を調整する可能性を有することは、２つの眼による人間の視覚に見られる両眼連動と調節との間の連結が、本発明によるディスプレイで使用され得ることを可能にする。
【００９１】
フリーフォーカス効果は、２Ｄ画像では１つの眼に有効だが、風景の２Ｄ又は３Ｄ視覚化では２つの眼にも有効である。上記では、（眼の瞳孔によって定められる）水晶体の開度が水晶体自体と同程度大きいと仮定された。現実の世界では、開度を決定するのは瞳孔の直径、即ち光が眼に入ることができる領域である。以下、瞳孔の開度が光条件によって変わり得ることを知り、瞳孔はその本来の意味で使用される。
【００９２】
本発明によるディスプレイによってもたらされるフリーフォーカス効果の原理についての上記の説明では、１つの瞳孔当たり２つのビューしか使用されず、即ち瞳孔は２（左右のピンホール）によって表されている。それぞれのピンホールはくっきりとした（ビューの）副画像を網膜上に生み出すが、それらの副画像は僅かに異なる視点に由来するので、副画像の一部の合焦又はぼやけが片方の眼の中で、眼の焦点に依存する形で引き起こされる。瞳孔がより多くの領域に分割されればされるほど、即ち１つの瞳孔当たりより多くのビュー（副画像）が与えられれば与えられるほど、本発明は自然界をより綿密に再現する。極端に言えば、瞳孔は、それぞれが一意の像を網膜に示す（無限の）ピンホールアレイと考えることができる。
【００９３】
現実的な観点から、瞳孔につき多数のビューを使用する必要なしに自然界を可能な限り上手く再現することが望ましい。結局のところ、各ビューにはディスプレイからの１組のピクセル出力が与えられる必要があり、ディスプレイの利用可能なピクセルをビューの数にわたって分散させることは、全体的に不所望の解像度の低下（利用可能なピクセル数の低下）をビューごとにもたらし得る。様々なビュー（副画像）を時系列的に表示することは空間的分散の減少を助け得るが、これはディスプレイ内の１組のピクセルにより様々なビュー（副画像）が与えられ得る速度に対して更なる制約を課す。本発明は、フリーフォーカス効果を有効にするのに必要な更なるビューの量を許容可能な数に保つことができながら、フリーフォーカス効果を与えるディスプレイを提供する。
【００９４】
図４Ａ及び図４Ｂは、図３に関して上記で説明された原理を実装する本発明による表示装置を示す。表示装置４０は、Ｎのピクセルサブセットに細分された１組のピクセルを有する表示パネル４１を含む。各ピクセルサブセットは、例えばピクセル４１ＩＲ（黒）及び４１ＩＬ（白）を含むサブセット４１Ｉ、並びにピクセル４１ＮＲ及び４１ＮＬを含む４１Ｎについて示されているように２つのピクセルを有する。この表示装置は、複数Ｎの画像化サブユニット（透明な長方形で示されている）を含む画像化ユニット４２を有し、そのうち２つが参照番号４２Ｉ及び４２Ｎで示されている。この場合では、画像化ユニットが表示パネル４１上に、及び視聴者と表示パネルとの間に配置されている。透過ピクセルがある場合、画像化ユニットは表示パネルの後ろにあっても良い。明瞭にするために、画像化ユニット４２は図４Ｂには示されていない。特定のピクセルサブユニットのピクセルを画像化するために、画像化サブユニットが１つだけある。
【００９５】
ディスプレイの前には、仮想円４８と共に仮想平面４７が示されている。仮想円の中心は、表示パネルに対する垂線上に置かれても良い。仮想円は、視聴者の眼の瞳孔を表し得る。
【００９６】
従って、各ピクセルサブセット４１Ｉ〜４１Ｎが、そのそれぞれの画像化サブユニット４２Ｉ〜４２Ｎにより、仮想円４８内の仮想平面４７上に画像化される。画像化サブユニット４２Ｉは、ピクセル４１Ｒを仮想円４８内の仮想平面４７上のビュー領域４５Ｌに画像化し、ピクセル４１Ｌを仮想円４８内の仮想平面４７上のビュー領域４５Ｒに画像化する。ビュー領域４１Ｌ及び４１Ｒは互いに重なり合わない。他のサブセットの２つのピクセルも、他の画像化サブユニットにより、これらのビュー領域４５Ｌ及び４５Ｒの何れか一方に類似した態様で導かれる。画像化ユニットの具体的な設計にもよるが、これらのビュー領域は仮想円の中で位置的に交替されても良い（例えば図５Ａ及び図５Ｂ並びに関係する説明を参照されたい）。
【００９７】
ディスプレイから仮想平面に進む際のビーム広がりは、表示装置の標準的有効距離にある仮想円（瞳孔）の領域に対応する大きさでピクセルサブセットが画像化されるように設計される。このために、各ピクセルによって発せられる光が平行にされても良い。例えば、ピクセル開口部は１〜１０ミクロンとすることができ、表示面から仮想平面までのデフォルトの距離は３ｍである。ビームは、瞳孔部の大きさに対応するサイズ、例えば０．５ｍｍ〜２．５ｍｍに広がる。ディスプレイは、設計された距離あたりの有効距離範囲を有する。例えば３ｍの設計では、放射光の角拡散は十分浅く、表示装置から約１．５ｍ〜５ｍの範囲内で効果を見ることができる。
【００９８】
画像化４２は、ピクセルの光を仮想円４８に向けて集束させ、表示パネルの面積は仮想円の面積よりも広い。これは、複数Ｎのピクセルサブセットのうち、各サブセットの１つのピクセルが同じビュー領域に向けられるような態様で行われ、即ち全ての左ピクセル４１Ｌ（図４Ａ及び図４Ｂでは白で示される）は、ビュー領域４５Ｒ上で互いに重なり合うように複数Ｎの画像化サブユニットによって画像化され（図４Ａ内の点線による光線を参照）、全ての右ピクセル４１Ｒ（図４Ａ及び図４Ｂでは黒で示される）は、ビュー領域４５Ｌ上で重なり合うように導かれる（図４Ａの実線による光線を参照）。
【００９９】
従ってビュー領域４５Ｌ及び４５Ｒのそれぞれは、パネル上に表示されるビュー（副画像）を一緒になって定めるピクセルの重複画像を含む。表示されるこれらのビュー（副画像）は、図３の画像３０’及び３０’’に対応し得る。
【０１００】
更なる投影スクリーン、例えば４６が仮想平面４７の後ろに配置される場合、そのスクリーン上で認められる画像パターン４１Ｌ’及び４１Ｒ’は、ビュー領域の空間的に分解されていないピクセル画像が、その平面を通過した後に再び空間的に分解され、表示されるビュー（副画像）を表すことを示す。更なる投影面が、瞳孔４３が仮想円４８の領域に重なる状態で水晶体を仮想平面４７の位置に有する眼４４の網膜である場合、これらの副画像４１Ｌ’及び４１Ｒ’は図３の画像６に対応する。個々のピクセル画像は表示パネル上に分散される異なるピクセルサブセットから生じるので、重なり合うピクセルが再び空間的に分解されるようになるのは、個々のピクセル画像がディスプレイにより様々な方向からビュー領域に送られていることに起因する。
【０１０１】
（仮想平面上の或るビュー領域内で重なり合う）ビュー又は副画像のピクセルは、単一の視点から見られる３Ｄシーンのビュー（副画像）を一緒になって定める。従って、異なる１つの視点から見られる３Ｄシーンの少なくとも２つのビューが仮想円（故に瞳孔）内に到達する。副画像３０’及び３０’’を表すパターン４１Ｌ’及び４１Ｒ’の特定のピクセルを重ね合わせて、図３に関して説明された状況６’又は６’’の何れかに到達するために眼の焦点状態が使用され得るので、それにより図４Ａ及び図４Ｂの表示装置は、図３に関して説明された原理によるフリーフォーカスを提供する。
【０１０２】
空間的に異なるパネルのピクセルを用いてピクセルサブセットごとに（瞳孔ごとに）複数のビューＭが生成される図４Ａ及び図４Ｂによるディスプレイでは、副画像の解像度は、因子Ｍによりピクセル一式の解像度から低下する。これはＭのビューを時系列的に生成することで避けられ得る。
【０１０３】
従って、図４Ｃの表示装置の例では、サブセット４１Ｉ〜４１Ｎのそれぞれについて、ピクセルサブセットごとに１つのピクセルがあり（Ｍ＝１）、１つのピクセルサブセットの出力が、画像化サブユニット４２Ｉ〜４２Ｎのうちの１つによってのみ画像化される。これは、第１の時間間隔内で第１のピクセル出力が仮想円４８内の仮想平面４７上のビュー領域４５Ｌに導かれ、第１の時間間隔の後に続く第２の時間間隔内で、第２のピクセル出力がもう一方の領域４５Ｒに導かれるような態様で行われる。従って、図４Ａ及び図４Ｂの表示装置に関して説明された様々なビュー、副画像が、今度は時系列的態様で仮想円４８内の仮想平面４７に、従って眼の瞳孔に与えられる。時間間隔が１／３０秒未満である場合、眼（脳）は同時に到達するものとして画像を解釈することができ、その結果フリーフォーカスをまた使用することができる。このディスプレイは、第１の出力及び第２の出力を仮想円上の様々なビュー領域に導くために十分速く再構成され得る、再構成可能な画像化ユニットを必要とする場合がある。そのような画像化ユニットを実装する態様が以下で説明される。
【０１０４】
このディスプレイの利点は、各副画像が今や表示パネルの本来の解像度を有することである。時間間隔内でのピクセルのリフレッシュを可能にする高速表示パネルが要求される。ＬＣＤタイプの表示パネルでも不可能ではないが、固有の速いピクセル応答時間のために、アクティブマトリクス及び多くの場合パッシブマトリクス有機発光ダイオード（ＯＬＥＤ）ピクセル表示パネルがより適切であり得る。
【０１０５】
例えば図４Ａ及び図４Ｃのもの等、本発明の表示パネルのピクセルでは副画像の解像度が画像部分の数に対応し、即ちディスプレイの本来の解像度は、副画像ごとに知覚される画像解像度よりもＫ×Ｍ倍高い必要があり、Ｍはピクセルサブセットごとのピクセル数であり（Ｍは眼ごとのビューの数を表す因子であり）、Ｋは画像コンテンツが同時に与えられる瞳孔の数である。因子Ｋは選択を表す。１つの眼に画像を与えるディスプレイが１つある場合があり、１つのディスプレイが画像を（１人の視聴者の）両眼に与える場合もあり、又はディスプレイ当たり複数の視聴者がいる場合は更に多くの眼に与える場合さえある。
【０１０６】
例えば図４Ｄに示されている表示装置では、フリーフォーカスが図４Ａ及び図４Ｂの表示装置について説明されたのと同じ態様で作り出される。しかしこれは、何れもフリーフォーカスを利用できる両眼のための完全な画像を構築するために、視聴者の眼の２つの瞳孔４４Ｌ及び４４Ｒに対応し得る、同じ仮想平面４７上の２つの異なる仮想円４８Ｌ及び４８Ｒ内で時系列的態様によって行われる。複数の仮想円がある場合、表示パネルに対する垂線が２つの仮想円の中心間の距離の中間を横断するようにそれらの仮想円は配置され得る。従って画像化ユニットは、ピクセルサブセットのピクセルをまず１つの仮想円４８Ｌ（瞳孔４４Ｌ）上に画像化し、次いでもう一方の仮想円４８Ｒ（瞳孔４４Ｒ）に画像化する。タイミング条件は、図４Ｃのディスプレイについて説明されたタイミング条件と事実上同じだが、今度はその条件が瞳孔ごとの画像の代わりに異なる眼の画像に当てはまる。このディスプレイは、第１の出力及び第２の出力を仮想円上の様々なビュー領域に導くために十分速く再構成され得る、再構成可能な画像化ユニットを必要とする場合がある。しかし、この設計では、方向制御を可能にするために画像化サブユニットの全てが一緒に制御され得る。ディスプレイがモノ画像を表示するためのものである（両眼が同じビューを見る）場合、ピクセルサブセットの出力は両方の眼について変更される必要がない。他方で、ディスプレイが立体表示装置として機能することを目的とする場合、左眼及び右眼（仮想円）の画像が異ならなければならず、即ち存在する眼の距離に対応する視差がなければならない。従って後者の場合、モノディスプレイとは対照的に、図４Ｃの時系列的ディスプレイの場合と同様に、ピクセルコンテンツがリフレッシュされて２つの眼のための立体的に異なる画像を生成する必要がある。図４Ａのディスプレイにあるように、フリーフォーカス効果はピクセルサブセットごとの異なるピクセルから作り出されるので、フリーフォーカス効果にリフレッシュは不要であることに留意されたい。従って、副画像の解像度は、元の解像度をピクセルサブセットごとのピクセル数Ｍで割ったものである。再構成可能な画像化ユニットを実装する態様が以下で説明される。
【０１０７】
不図示の更なる例では、図４Ｃに関して説明されたようにフリーフォーカスが両眼に時系列的に与えられる。従って、図４Ｄのディスプレイに関して説明されたように、左眼用の画像と右眼用の画像とがやはり時系列的態様で生成される。この例は、再構成可能な画像化ユニットを必要とする場合もある。全ての画像が時系列的態様で生成されるので、この例には、完全に元の表示パネルのピクセル解像度を視聴者に提供する利点がある。しかしその結果、脳がフレーム時間内に完全な画像を解釈するのに十分短い時間内に全ての画像が眼に運ばれなければならないので、この例は高速表示パネルを必要とし得る。ディスプレイがモノディスプレイか立体ディスプレイかに応じて、ピクセルデータのリフレッシュ時間が調整されなければならないことに留意されたい。平面ディスプレイは、左眼及び右眼のためのピクセルリフレッシュを必要とせず、ピクセルのリフレッシュ速度を緩和するのに対し、立体ディスプレイは速いリフレッシュ速度を必要とする。従って、立体ディスプレイは、１つの画像フレーム時間内に４つの異なるピクセル出力を生成する必要がある。
【０１０８】
表示装置は１人の視聴者用でも、複数の視聴者用でも良い。複数の視聴者では、視聴者が時系列的態様で処理され得る。時系列的態様で処理することは、当然ながら視聴者ごとの照明負荷サイクルを減らすが、直接発光する明るいピクセル（レーザ照明、ＯＬＥＤ、ＥＬピクセル等）では光効率がこれを可能にする。
【０１０９】
空間分解能と時間分解能との間でトレードオフが行われ得る。空間分解能はＮによって表されても良く、時間分解能はＭによって表されても良い。これは視聴者の数が前もって分からないＴＶ等の用途で特に重要である。表示装置は、視聴者（更には瞳孔）のそれぞれを個々に供給することができ（一度に１つの瞳孔ではＭ＝１、又は一度に１人の視聴者ではＭ＝２）、全ての利用者により低い解像度の画像を供給することができ（Ｍ＝２×視聴者の数）、又はそれらの２つの間のトレードオフを供給することができる。
【０１１０】
図４Ｅの例では、全てのビュー（副画像）が左の円４８Ｌ（左の瞳孔４４Ｌ）のビュー領域４５ＬＬ、４５ＬＲ、並びに右の円４８Ｒの４５ＲＬ及び４５ＲＲに与えられる（右の瞳孔４４Ｒはパネル上の異なるピクセルを使用して生成される）。複数のピクセルサブセットが２つあり（４９Ｌ及び４９Ｒ）、それぞれ複数のピクセルサブセットごとにＮのピクセルサブセットを含み、ピクセルサブセットごとにＭ＝２のピクセルを有する。従って副画像の解像度は因子Ｍ及びＮによって下げられるが、ピクセル出力のリフレッシュが全ての代替形態の中で最も遅い必要があるため、原則として再構成可能な光学ユニット及び／又は表示パネルを必要としないので、これは実装が最も簡単な画像化ユニットの例の１つを表し得る。
【０１１１】
本発明の上記のディスプレイは、画像を表示するときに視聴者にフリーフォーカスを与えることができる。しかしこのことは、システムによって表示されるコンテンツが眼ごとの所要の複数のビュー情報（視差を伴う副画像３０’及び３０’’）を有さなければならないことを必要とし、又はレンダリング技法を用いたかかるビュー情報の生成を可能にしなければならない。かかるコンテンツは、パネルのピクセルにその固有の光出力値（濃淡値及び／又は色等）が与えられることを可能にし、光出力値はこのビュー情報に基づくものである。従って、例えば図３のビュー３０’及び３０’’の情報が、図４Ａ及び図４Ｂのディスプレイ上で表示されても良い。その場合、ビュー３０’及び３０’’は、ピクセルパネル及び画像化ユニットの具体的な設計を考慮に入れ、パネル内のピクセルサブセットの或る一定の組にマップされなければならない。
【０１１２】
本発明のディスプレイに関するレンダリング及びピクセル割当は、自動立体ディスプレイでの画像のレンダリングと類似点がある。本質的に、ピクセルと光線が瞳孔に当たる位置との間の光線が再構築される。この光線をコンテンツ（画像＋奥行き、ボクセル、三角形等）に当たるまで追跡することにより、ピクセルは、追跡されているコンテンツの色及び／又は濃度を帯びるようになる。
【０１１３】
そのようなスクリーンで最も可能性が高い形式である画像プラス奥行きのコンテンツでは、このレンダリングは、奥行きマップに基づいて入力画像をワープさせることによって行われ得る。これは例えば表示システム内で既に実施されているが、代わりに表示システム及び／又は表示パネルの外側で行われても良い、非常に効率的なプロセスである。
【０１１４】
米国特許第６０６４４２４号に記載のもの等、レンチキュラ自動立体ディスプレイでは、レンダリングがビューごとに別々に行われ、その後出力が結合されて１つのビューマスク画像を形成する。レンチキュラディスプレイは、９〜４５程度のビューを有する。本発明のシステムは、瞳孔ごとのビューを表すためにピクセルサブセットごとに与えられるビューの数（例えば９、１６、又は２５）に基づく幾つかのビューを必要とし、必要に応じて、様々なルックアラウンド位置（即ち立体シーンの大域的視点の数）のそれぞれについて１組の異なるビューが求められる。瞳孔にとっての異なる視点は、局所的視点と見なされ得る。シーンの大域的視点の数は同じく９〜４５ビューとすることができる。レンチキュラ自動立体ディスプレイと比べた処理の複雑さは、本質的にサブセット内のピクセル数によって増加する。この更なる複雑さは、ホログラフィックディスプレイに関する複雑さの付加的要因よりもはるかに少なく、本発明で使用するために標準的なレンチキュラ実装を拡張することは容易である。
【０１１５】
瞳孔当たり２つのピクセル（ビュー）の例をとり、左のピクセルは、右のピクセルのための視点の３ｍｍ（程度）左の視点からの画像の一部と見なされ得る。この場合もやはり、（上記のように）瞳孔が横に並んだ２つのピンホールであると考えられる場合、システムは各ピンホールによって見られるビューを生成する必要がある。左右の眼（ここでは視点が６センチメートル程度離れている）のための画像を生成するために、３Ｄシーンからの同じ画像レンダリングが実施される。ぼやけ又は焦点外れは、如何なる個々の画像内にも存在せず、それは網膜の複数の領域に画像化されるシーン内の同じ物体についての脳の解釈である。それぞれの画像は、所与の位置からのシーンの平らな２Ｄビューに過ぎない。
【０１１６】
図５Ａは、このプロセスを幾らかより詳細に説明するのに役立つ。図５Ａ内の参照の一部は、図１〜図４の参照に関係する。図５Ａ内の光学ユニットは明瞭にするために図示されておらず、単純にするために、画像化ユニットの構造を詳しく述べることなしに、光線によって示されるようにピクセルを画像化すると仮定される。従って図５Ａでは、シーン１を視聴者の眼３によって見られる矢印２及び矢印４で表す。これらの矢印は、シーン１内の異なる奥行き５２及び５３にある。眼には、水晶体５及び網膜６がある。図４Ａ及び図４Ｂに関して説明されたディスプレイが、表示パネル４１で表されている。図面の便宜上、パネル４１は途切れているものとして描かれている。この途切れは、実際の例には当てはまらない。表示パネルはピクセルサブセットを有し、そのうちサブセット４１Ｉ、４１ＩＩ、及び４１ＩＩＩが示されている。サブセット４１Ｉ、４１ＩＩ、及び４１ＩＩＩのそれぞれは２つのピクセルを有し、一方のピクセルが白い長方形で示されており、もう一方のピクセルは黒い長方形で示されている。全てのサブセットの白いピクセルは、瞳孔に第１のビューを与え、黒いピクセルは他方を与える。
【０１１７】
眼に与えられるビュー内の奥行きを表すために、視差を有する副画像が作成され、ディスプレイ上に表示されても良い。光線追跡を使用し、シーンのコンテンツがピクセルにマップされても良い。従って、実線で描かれた共通軸５４及び５５は、矢印４がそこから見られ得る２つの方向（視点）に基づく、矢印４の左ビュー及び右ビューを画像化することを表す。これらの２つの方向は領域４５Ｒ及び４５Ｌの正しいものに導かれる必要があり、つまり左ビュー５５は領域４５Ｌに導かれる必要があり、右ビュー５４は領域４５Ｒに導かれる必要がある。従って、サブセット４１ＩＩＩの２つのピクセルは、矢印４の１つの物点の２つのビューを表し、これらのピクセルは、それらの物点を表す濃度及び妥当な場合は色を有するものとする。同様に、矢印２から生じ、この矢印２の２つのビューを表す光線が、やはり正しい領域４５Ｒ及び４５Ｌに行き着いていることが見て取れる。これらの光線は、サブセット４１Ｉの白いピクセル及びサブセット４１ＩＩの黒いピクセルのそれぞれに割り当てられる必要がある。従って矢印２の場合、矢印２の同じ物点に関する異なるビューの光出力が異なるピクセルサブセットから生じ、即ち矢印４の状況と比較し、同じシーンの像点の２つのビューが更なる２つのピクセルによって分けられる。これは、光線が矢印４の奥行きと異なる奥行きから発生することに起因する。少なくとも２つの奥行きについて、シーンの全ての物点に対してかかるマッピングが行われなければならない。
【０１１８】
図５Ａでは、視線方向が共通の視軸５０に沿って矢印４に向けられていると考えられたい（この視線による眼の水晶体の旋光度（rotation）は不図示である）。眼の水晶体５の焦点は矢印４に合っている。従って、矢印４の異なるビュー４５Ｒ及び４５Ｌの実線による光線５４及び５５は、サブセット４１ＩＩＩのピクセルが共通するように点７において焦点が合っており、そのため矢印４はくっきりと知覚される。しかし、眼のこの水晶体の焦点状態は、４１Ｉの白いピクセルと黒いピクセル４１ＩＩとが網膜上で重なり合わないことを意味する。その代わりに、それらのピクセルは網膜の前の点８において重なり合う一方で、網膜領域９において空間的に分解され、この領域内で網膜上に二重像を与える。脳はそれを焦点が合っていない矢印２として解釈する。
【０１１９】
上記の説明によれば、眼の水晶体は、線５１に沿って視線方向を矢印２に移すときに焦点を合わせ直すことができる。眼の水晶体５は、焦点を合わせ直し（水晶体の力を緩和し）、今度は矢印２がくっきりと見られるようにサブセット４１Ｉ及び４１ＩＩの所要のピクセルを網膜６上で重ね合わせる。その結果、サブセット４１ＩＩＩのピクセルは網膜６の後ろでのみ焦点が合い、両方のピクセルが空間的に分解される網膜上の領域を与える。今度は、矢印４がぼやけた焦点外れの矢印として知覚される。
【０１２０】
従って、眼が見ている奥行層に応じてかかるコンテンツを表示するとき、所望のフリーフォーカス効果がある。但し、或るシーン内の１つの奥行きにおける情報は、１つの瞳孔に当たる全てのビュー内にあることに留意されたい。眼は、シーンの特定の物点について瞳孔に運ばれる全てのビューのピクセルを重ね合わせることにより、或る特定の奥行きにおけるシーンの物体に焦点を合わせることに決める。別の奥行きにある物体については、眼は焦点を合わせ直し、特定の瞳孔に運ばれる全てのビューから生じる１組の別のピクセルを重ね合わせる。
【０１２１】
正確なピクセル割当は、画像化ユニットが機能する態様によって決まる。図４Ａのディスプレイを表す図５Ｂのディスプレイでは、ピクセルサブセット内の異なるピクセルの光が視聴者の瞳孔に当たる前に交差するように、画像化サブユニットがピクセル出力の向きを変える。具体的には、ビューピクセル４１Ｒ（例えば４１ＩＲ）の点線による光線によって表される出力が、同じピクセルサブセット４１Ｉ内にあるビューが設定されたピクセル４１Ｌ（例えば４１ＩＬ）の実線による光線によって表される出力と交差する。
【０１２２】
これには、ピクセルに対する正しい副画像の詳細なマッピングが必要である。
【０１２３】
図５Ｃでは、同一ピクセルサブセットのピクセルの光が瞳孔に当たる前に交差しないように、出力の向きを変えるように光学ユニットが構築される。従って、瞳孔の右の領域上で右ビュー情報を相変わらず得るために、ピクセルのマッピングがしかるべく変えられる必要がある。
【０１２４】
図３、図４、及び図５Ａに関して上記で説明されたディスプレイは、フリーフォーカス効果を作り出すために瞳孔当たり２つのビューしか与えないということに関して、本発明の最も単純な形態をとる。図５に見られるようなレンダリングでは、奥行層が２つしかない。図５Ａに記載されるようなディスプレイを用いて更に多くの奥行層が表され得るが、４７及び４８の奥行層の間の奥行層をカバーするピクセルが残っていないため、かかる追加の奥行層は奥行層４８の左側の領域に限定される。更に、層４７は近くのピクセルによって表され、より近い奥行きも表すことができない。追加の層は、図５Ａの矢印２についてのように、２つのビューのピクセルが一層離れることを必要とする。
【０１２５】
瞳孔当たりより多くのビューが使用される場合、更なる奥行きが作り出され得る。より多くのビューは、フリーフォーカス効果を得るために自然界をより上手く再現することになるので（上記参照）これは好ましいことである。図６Ａ〜図６Ｃは、瞳孔上の幾つかのあり得るビュー配置を非限定的に示す。これらのビュー配置は、パネル上の各ピクセルサブセット内でも表され得るが、瞳孔ごとのビューの時系列的提供が完全に又は部分的に使用される場合、それは必ずしも当てはまらなくても良い。
【０１２６】
図５Ｄは、４ピクセルのサブセットを成して配置されるピクセルを有する表示パネルを示す。ピクセルサブセットのそれぞれは、画像化サブユニット５９を有する。ピクセルサブセットと画像化サブユニットとは、ｎ行（ａ１〜ａｎまで）及びｍ列（ｂ１〜ｂｍまで）を成して配置される。このディスプレイは、図４Ａに関して説明されたように動作するとき、４つのビュー領域を仮想円（眼の瞳孔）に与えることができる。その場合の１つのビュー領域は、各ピクセルサブセットの同じ数字（例えば１の数）が重なり合う状態で全てのピクセルを有する。従って、それぞれがピクセル１、２、３、又は４を含む４つの副画像が眼に与えられる。１つの副画像のピクセルは、全てピクセルサブセット内の同じ相対位置から来る。従って、副画像内のピクセル分布は、全ての副画像について規則正しく同じになる。
【０１２７】
本発明の表示装置は、眼の瞳孔を模倣し得る仮想円領域内に少なくとも２つのビューを与える。一般に人間では、瞳孔は暗闇の中で開くが明かりの中では狭まる。狭いとき、直径は３ｍｍ〜５ｍｍである。暗闇の中では、瞳孔は開いた瞳孔の最大長４ｍｍ〜９ｍｍに達する。従って円の直径は、好ましくは９ｍｍ、８ｍｍ、７ｍｍ、６ｍｍ、５ｍｍ、又は４ｍｍから選択される任意の値とすることができる。より好ましくは、円の直径は３ｍｍ、４ｍｍ、及び５ｍｍから選択される任意の値である。明るい条件の中でさえ、沢山の視聴者がフリーフォーカス効果を体験することができる。更に好ましくは、値が３ｍｍ未満、例えば２ｍｍ更には１ｍｍであるように選択される。この場合、瞳孔の寸法に影響を与える如何なる照明条件にもかかわらず、ディスプレイのほぼ全ての視聴者がフリーフォーカス効果を体験することができる。
【０１２８】
ビューの重複領域は、仮想円（瞳孔）領域よりも大きくても良い。２つのビュー領域の少なくとも一部が円領域の中にある限り、ディスプレイはその効果を有する。これは図４〜図５のディスプレイに当てはまると描かれていたが、そのディスプレイのビューは、ビュー領域６２Ｉ及び６２ＩＩを含む投影領域６４が瞳孔６３よりも大きいように、図６Ｃにあるような形状を有していた可能性もある。このことは、１つ又は複数の瞳孔に光を導く制約をある程度緩和し、且つ／又はビューの境界線に沿った少なくとも１つの方向にディスプレイのフリーフォーカス効果を失うことなしに移動する幾らかの自由を視聴者に与える。しかし、瞳孔上の両方の種類のビュー領域についてピクセルごとの光出力パワーが変わらない場合、より少ない光が眼に入ることになる。従って、ビュー領域の少なくとも２つが仮想円（瞳孔）の寸法内にあることが好ましい。
【０１２９】
いずれにせよ、瞳孔ごとの異なるビュー（従って異なる重複領域）が互いに重なるとフリーフォーカス効果の低下を引き起こすので、瞳孔ごとの異なるビューは互いに重なり合ってはならず、結局、かかる効果は瞳孔上の異なるビューの異なるコンテンツに基づく。
【０１３０】
仮想円上のビュー又はビュー領域は、ビュー領域のアレイ形式のパターンを平面上に形成することができる。これは、一次元又は二次元のパターン／アレイであり得る。図６Ａは、水平Ｘ方向に瞳孔６３ごとに４つのビュー６２Ｉ、６２ＩＩ、６２ＩＩＩ、及び６２ＩＶを有する一次元のビュー配置を示す。或いは、３、５、６、７等の数のビューがＸ方向にあっても良い。複数のビューは、Ｘ方向ではなくＹ方向にあっても良い。瞳孔ごとにかかる数のビューを１つの方向（Ｘ又はＹ）にのみ有することは、その方向に沿ったビュー内の物体情報に基づくフリーフォーカス効果をもたらす。従って、焦点の合わせ直しは、行われる場合は全ての方向に対して始まるが（結局眼の水晶体は、眼筋によって動かされるときこれらの方向にほぼ左右対称的である）、焦点を合わせ直す誘因は、瞳孔ごとの複数のビューの１つの方向における制約からのみ生じ得る。これは、１つの方向に対照物を有さない物体（その方向に沿った１つの奥行きにある物体）に焦点を合わせるのが困難であることを意味する。そのような状況では、別の方向にも情報があることが好ましい場合がある。二次元パターンにおいて、全ての方向に効果を有し、最適な状態で焦点を合わせ直せるようにするために、独立したＸ方向及びＹ方向に沿って３つ以上のビューが瞳孔上に画像化されなければならない。従って、Ｘ方向に沿った瞳孔ごとのビュー数に加え、Ｙ方向に沿って瞳孔ごとに２、３、４、５、６、７等のビューがあっても良い。Ｘ方向及びＹ方向のビュー数の任意の組合せが、本明細書により明確に言及され可能である。好ましくは、Ｘ方向にあるのと同程度のビューがＹ方向にある。このことは、全ての方向に均等な焦点の合わせ直し効果を与える。この後者の状況が、瞳孔６３当たりそれぞれＸ方向及びＹ方向に４ビューあり、合計１６ビューを瞳孔ごとに与える例に関する図６Ｂによって表されている。同様に、Ｘ方向及びＹ方向に等しい数のビューがある状態で、瞳孔ごとに４、９、２５、３６、４９、６４等のビューがあっても良い。
【０１３１】
或いは、眼ごとのビューは、Ｘ軸又はＹ軸に対して０度〜１８０度の角度を作る軸上で与えられても良い。例えば、Ｘ軸に対して４５度の角度を作る軸に沿って複数のビューが与えられても良い。このことはＸ軸及びＹ軸の両方において焦点を合わせ直すことをもたらし得るが、この場合もやはり、眼ごとの異なるビューが軸に沿って与えられる当該軸に沿って方向付けられるシーンの物体についてはその限りでない。
【０１３２】
先に記載されたような本発明の表示システムは、カラーピクセルを有するカラー表示装置とすることができる。従って各ピクセルは、フルカラー表示を作成するのに必要な全ての色を表すことができ得る。かかる任意選択機能は、例えば互いの上にスタックされる赤緑青等のカラーサブピクセルを用いて実現され得る。このようにして、所謂スタックカラーＲＧＢピクセルが得られる。スタックピクセルは、ＯＬＥＤ等の直接発光素子を使って実現され得る。article on P1219: Highly efficient stacked OLED employing New Anode Cathode layer by J.X. Sun et. al. in the SID 95 Digest 799や、article of H. M. Zhang et. a.in J. Phys. D: Appl. Phys. 41, No 10, 5108 in 2008及びその中で引用される参考文献等、入手可能な数多くの参考文献からかかるピクセルの作成態様を当業者は知るので、本明細書ではかかるピクセルの詳細な説明は与えない。ピクセルのそれぞれをスタックピクセルで置換することにより、本発明ではスタックカラーピクセルが簡単な態様で実装され得る。カラーサブピクセルをアドレス指定するために必要なもの以外何も変える必要なしに、この実装形態は他の変更が加えられることを必要としない。従って、図３〜図５のディスプレイでは、ピクセルのそれぞれがスタックカラーピクセルであり得る。
【０１３３】
或いは、及び通常のディスプレイでしばしば使用されるように、カラーピクセルは空間的に分解された赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）のサブピクセルを含むことができる。これらの異なる色は互いの上にスタックされないが、ディスプレイ面上で隣同士に分布する。本発明では、これらが正規カラーピクセルと呼ばれる。
【０１３４】
スタックされる場合及びスタックされない場合の両方において、ピクセルのＲＧＢサブピクセルに加えて、他の又は同じ色を有する更なるサブピクセルがピクセル内で使用されても良い。具体的には、ＲＧＢＷ又はＲＧＢＹピクセルを作成するように、白（Ｗ）及び／又は黄（Ｙ）が追加されても良い。
【０１３５】
正規カラーピクセルの場合、カラーピクセル内のサブピクセルの配置は任意の適切なものであり得る。最も一般的な配置は、等しく大きく一緒になって正方形領域を形成する、長方形のＲ、Ｇ、及びＢ領域を含む。
【０１３６】
本発明のディスプレイでＲＧＢカラーピクセルを実装するやり方を示すために、図８Ａは、図４のディスプレイの一部である表示装置８０を示す。ディスプレイは、単一のカラーピクセル８３Ｒ及び８３Ｌを有する、ピクセル化された表示パネル８１を有する。別段の定めがない限り、これらは図８の全体について参照できる。
【０１３７】
レンズ８２は、画像化ユニットの画像化サブユニットを表す。この画像化サブユニットはレンズとして図示されているが、本明細書に記載の本発明による他の構造が代わりに使用されても良い。画像化サブユニット８２ごとに、ピクセル８３Ｒ及びピクセル８３Ｌのサブセット８３がある。ディスプレイ全体では、複数の図８Ａのユニット、即ち複数のピクセルサブセットがあるが、明瞭にするためにそれらは図示されていない。図８Ａのディスプレイは、図４Ａに関して説明された態様で視聴者の瞳孔に２つのビューを与え、一方のビューはピクセル８３Ｒによって与えられ、もう一方のビューはピクセル８３Ｌによって与えられる。図８Ａのディスプレイに色を取り入れるために、複数の任意選択肢が存在する。図８Ｂから図８Ｇに例が与えられている。
【０１３８】
第１の任意選択肢が図８Ｂのディスプレイによって示され、このディスプレイでは、ピクセル８３Ｒがサブピクセル赤８３ＲＲ、緑８３ＲＧ、青８３ＲＢに細分され、ピクセル８３Ｌがサブピクセル赤８３ＬＲ、緑８３ＬＧ、青８３ＬＢに細分されている。従って、ピクセル化された表示パネル４１は、交互に配置されるＲＧＢＲＧＢの連続カラー（フィルタ）配置を有し得る。この例は、図８Ｃに示されるように、並びに図４Ａ及び図５に関して説明された態様で仮想円（瞳孔８４）に与えられるビューパターンをもたらす。図８Ｃでは、ビュー８５Ｌが、複数のピクセルサブセットの対応する各ピクセルの空間的に分離された有色領域赤８５ＬＲ、緑８５ＬＧ、及び青８５ＬＢを含み、ビュー８５Ｒが、複数のサブピクセルの対応する各ピクセルの空間的に分離された有色領域赤８５ＲＲ、緑８５ＲＧ、及び青８５ＲＢを含む。従って、同色の全てのサブピクセルが重なり合う。これは本発明のディスプレイに色を取り入れる容易なやり方だが、シーンフィルタ内の物体の奥行きに応じて重なり合うように眼が全てのビューのピクセルのアンサンブルを選択する図４及び特に図５Ａに関して説明された原理に従い、眼の水晶体が網膜上で像を再構成することによる色割れが網膜上で起こる場合がある。空間的に分解されたピクセルを有する通常のカラーＴＶやモニタを見るときのように、網膜上の全てのピクセルは、その色に関して空間的に分解される。従って、十分に小さい場合、色割れが問題にならない場合もある。
【０１３９】
有色だが色割れが減らされた本発明のディスプレイ８０は、図８Ｅに示されるビューパターンを瞳孔上に作り出す場合、図８Ｄのディスプレイによって実現され得る。この場合、ピクセル化された表示パネル８１はＲＧＢＲＧＢのサブピクセル配置に関して言えば図８Ｂのパネルと同一だが、実際には画像化ユニット８２が今度はピクセルサブセットごとに３つの画像化サブユニットを含み、それぞれの画像化サブユニットは、各瞳孔にとっての２つのビューに２つのサブピクセルしか画像化されない。これらの画像化サブユニットは個々に設計／制御され得るので、図８Ｅに見られるように、サブピクセルがビュー領域上で３つずつ重なり合うようにされても良い。従って、より詳細には、３つの画像化サブユニット８２Ｉの１つによって画像化される２つのサブピクセルのそれぞれは、視聴者の瞳孔８４上の領域８５Ｌ又は８５Ｒの一方をもたらす。このようにして、サブピクセル赤８３ＬＲ、青８３ＬＢ、及び緑８３ＬＧの光が図８Ｅの８５Ｌをもたらす。同様に、サブピクセル赤８３ＲＲ、青８３ＲＢ、及び緑８３ＲＧの光が図８Ｅの８５Ｒをもたらす。重複するサブピクセルは、ビューのピクセルを形成することができ、そのようにして、ビュー上に分布する全ての重複ピクセルから眼の水晶体（瞳孔）８４が網膜画像を再構築するときピクセル内の色割れが生じない。
【０１４０】
図８Ｄからは、ピクセルのサブピクセルが、図８Ｂのディスプレイにあるように互いに隣り合うものとしてまとめられるのではなく、パネル４１上で分散されることも見て取れる。従って、特定のビューに対するサブピクセルの割当はしかるべくある必要があり、図８Ｂのディスプレイの割当とは異なる。ユニット８２Ｉも、図８Ｃの瞳孔上のパターンが再現されるように構成され又は制御され得ることを指摘しておく。
【０１４１】
図８Ｄのディスプレイの更なる修正形態が図８Ｆに示されている。この事例では、表示パネル内のサブピクセルの色の順序がＲＲＧＧＢＢに変えられている。図８Ｄのディスプレイのように、ピクセルのサブピクセルが分散され、図８Ｅによって表されるように１つのピクセルの３つの色が瞳孔に与えられるビューパターン内で重なり合う。従って、図８Ｄのディスプレイと比較して、ビューに異なるサブピクセルを割り当てることを犠牲にし、ディスプレイ内のカラーフィルタは幅が２倍広くても良く、より大きい形状を有することができ、その結果より容易に製造すること及びことによると関連するより安価に製造することを可能にする。
【０１４２】
図８Ｇは、有色だが色割れがない別のディスプレイを更に与える。この事例では、ピクセル化された表示パネルが図８ＤのパネルのようにＲＧＢＲＧＢのピクセルを有する。図８Ｄのディスプレイのように、図８Ｇのディスプレイは、ピクセルサブセットごとに３つの画像化サブユニット８２Ｉ、８２ＩＩ、及び８２ＩＩＩを有する画像化ユニットを有し、各ピクセルサブセットは４ピクセルを有する。従ってこのディスプレイは、視聴者の瞳孔に４つのビューを例えば図６Ａに示されるようなパターンで与える。従って、図８Ｇのパネル８１上のピクセルはこの場合もやはり分散され（そのピクセルのサブピクセルがパネル上で隣り合わない）、そのサブピクセルの出力が図８Ｅにあるように瞳孔上で重なり合うように瞳孔上のビュー領域にその出力を与えるが、今度は２つのビュー領域ではなく４つのビュー領域に与える。ここでも色割れがかくして回避される。しかし、図８Ｄのディスプレイに比べ、導光サブユニットがより大きい寸法を有するので、図８Ｇのディスプレイには製造がより容易であるという利点があり得る。
【０１４３】
概して、等しい数の独立に設計可能な又は制御可能な画像化サブユニット、及びピクセルごとのカラーサブピクセル数を使用するとき、色割れが回避され得ると定めることができる。ビューの数は、画像化サブユニットの１つによって画像化されるサブピクセルの数に対応することができる。
【０１４４】
本発明のディスプレイの画像化ユニットは、１つ又は複数の画像化サブユニットを有し得る。画像化ユニット及び／又は画像化サブユニットは、ミラー、プリズム、レンズ等の１つ又は複数の光学要素を概して含む。好ましくは、光学要素はレンズ及び／又はプリズムである。最も好ましいのはレンズである。これらのレンズは、凸の、凹の、円形の屈折面、及び／又は放物面の屈折面等、そのレンズ面に任意の種類の形状を有することができる。レンズ面は、部分的に若しくは完全に円柱形とすることができ、又は部分的に若しくは完全に球形でも良い。画像化ユニット内の隣り合うレンズの縁は直線とすることができ、互いに隣接し、画像化ユニットの面上で正方形様の、長方形の、又は六角形のレンズ外辺部を形成する。
【０１４５】
図３〜図５の表示装置等、本発明の表示装置では、画像化ユニットは、例えばそれぞれがレンズ等の光学要素を含む画像化サブユニットのアレイであり得る。画像化サブユニットのアレイとしてレンズのアレイを有するかかるディスプレイ７０が図７Ａに示されている。画像化ユニットは、表示パネル７１上にある。画像化ユニット７２’では、レンズのピッチ７４がピクセルサブセット７３のピッチ７５よりも小さい。このことは、概略的に図示されているように、ディスプレイの光が光線錐７６により瞳孔に向けて集束することをもたらす。表示装置の垂線７１によって示されているように、瞳孔４３を有する視聴者の眼４４は視界の中心にあり、そのため画像化ユニットが位置７２’にあるとき光錐を受け入れる。
【０１４６】
集束する光錐の向きは、画像化ユニットの位置を水平方向に動かすことによって変えられ得る。従って、例えば画像化ユニットを位置７２’’に置くことにより、光が円錐７７に一致して導かれる。位置を変えても集束量が同じままであるように、ピクセルサブセットのピッチに対するレンズのピッチを変えることなしに、画像化ユニットはまとめて移動される。
【０１４７】
視標追跡器が使用される場合、位置を変えることは瞳孔の位置に依存して行われても良く、これについては以下で説明される。
【０１４８】
ピクセルサブセットのピッチ７５に対してレンズのピッチを変えることは集束量、即ち円錐の方位角を変え、これにより、垂線に沿ってフリーフォーカス情報の位置を調整できるようにする。これも視標追跡器によって求められる瞳孔の位置情報に依存して行われ得る。
【０１４９】
ピッチの変更は、ピッチを変える方向に沿って光学ユニットを僅かに引っ張ることによって引き起こされ得る。位置を変えること及び／又はピッチを変えることは、例えばマイクロメカニカルマシンに基づく機械的制御装置を用いて機械的に行われても良い。かかる制御装置は、好ましくは画像化ユニットを位置変えし、又は引っ張るための圧電装置を有する。このような機械的に制御可能な画像化ユニットの例が、米国特許出願公開第２００５／０２７０６４５  Ａ１号に詳しく記載されている。これらは本発明のディスプレイに実装され得る。
【０１５０】
しかし、以下に記載されるように、レンズを電気的に位置変えすること、サイズ変更すること、及び／又は形状変更することも使用され得る。とりわけこの点において、所謂グレーデットインデックス、又はエレクトロウェッティングレンズ若しくはミラーが有用である。
【０１５１】
或るピクセルサブセットの光が、そのピクセルサブセット用ではない画像化サブユニットに入ること（これは例えば周囲のピクセルサブセット及び周囲の画像化サブユニットについて発生し得る）を防ぐために、複数の任意選択肢が存在する。１つの任意選択肢は、画像化ユニットをピクセルの真上に置くことである。もう１つの任意選択肢は、画像化サブユニットの間に遮光機構（トレンチや黒色面）を設けることである。更に別の任意選択肢は、ピクセルの光を与えないスペースをピクセルサブセットの周りに有すること（即ちピクセルサブセットの周りに暗領域を有するために）である。この一例が図７Ｂ及び図７Ｃに示されている。画像化ユニット７２を図７Ｂの位置７２’から図７Ｃの位置７２’’に変えるとき、「間違った」ピクセルサブセットの光がそれぞれの画像化サブユニットに入ることはない。
【０１５２】
より好ましい他の光学ユニットについて以下で説明される。
【０１５３】
ディスプレイ技術に関し、２つの基本的な既存の可能性がある。
【０１５４】
第１の可能性はレーザＴＶである。この場合、ピクセルパネルがレーザＴＶユニットで置換される。例えば米国特許第７３７５８８５号は、２ＤレーザＴＶの前に配置されたマイクロレンズアレイの使用を開示する。レーザは、レンチキュラをスキャンしながら規則的なパターンで全てのビューに行く。本発明のシステムで使用するためのこのディスプレイの実装形態は、好ましくは円柱レンズではなく球形レンズを有するように（光学ユニットである）マイクロレンズアレイを構成する。しかし、表示される画像コンテンツは異なる。視空間の小さな部分しか瞳孔でカバーされないので、レーザ照明は視野のごく一部でのみ活性状態にあれば良い。このために、スキャニングミラーが非直線運動で動く（即ち所要の位置に直接移動する）ことができ、又は合計スキャン時間のほんの一部にわたってのみレーザが変調されても良い。これらの手法の組合せが使用されても良い。
【０１５５】
第２の、及び好ましい任意選択肢は、例えばＯＬＥＤやＬＣＤ等の直接発光型及びバックライト付きディスプレイである。直接発光型ディスプレイは、とりわけ光出力が表示装置の視野のごく一部にしか導かれないので、本発明のディスプレイにおいて消費電力がより低いという利点を与える。更に、これらは表示装置を比較的平らなフォームファクタで製造する可能性を与える。
【０１５６】
先に記載され、特に図７Ａ〜図７Ｃに関して説明されたような本発明の表示システムに従い、図７Ｄは、球形レンズを含む画像化ユニットを有する前から見たディスプレイを示し、ピクセルサブセットごとに１つのレンズがあり、各ピクセルサブセットは１６ピクセル（Ｘ方向に４ピクセル、Ｙ方向に４ピクセル）を含む。従って、片眼に１６ビューが与えられ得る。表示パネル上にはピクセルがない領域もある。このパネルはピクセル化された表示パネル発光体システムであり、ＬＣＤ又はＯＬＥＤベースとすることができる。或いは、ディスプレイに追加されるこれらのレンズは、ピクセル当たり１つの発光体（ピクセル）及びレンズシステムを用いて設計されても良い。
【０１５７】
導光ユニットは、好ましくは１つ又は複数の導光要素（部品）を有し、そのうちの少なくとも１つはビームステアリングを可能にすることができ、これによりピクセルの光出力が、可能な視標追跡及び表示装置に対する眼の動きに応答して視聴者の瞳孔に効率的に導かれ得る。１つの例が、図８に関して上記で既に説明されている。本発明のディスプレイのピクセル画像化に使用され得る詳細なビームステアリングについて、機械的に制御可能な画像化ユニットに関する米国特許出願公開第２００５／０２７０６４５  Ａ１号の中で説明されている。原理は電気的に制御可能な画像化ユニットと同様であり、その場合はレンズが光学−電気的に動かされ得る。
【０１５８】
本発明のディスプレイのためのこのビームステアリングが、視聴者に対する所要の光強度及び所要の追跡範囲と共に、並びにクロストークを回避した状態で全て可能であることを実証するために、図９に示されるような画像化サブユニットを有するあり得る画像化ユニットの理論的概要が以下で示される。
【０１５９】
図９は、光学ユニットの導光ユニット９０を示し、ユニット９０は、発光体（Ｅ）（例えばディスプレイ又はピクセルサブセットのピクセル若しくはサブピクセル）９３の出力を瞳孔（Ｐ）９４に導くための２つのレンズ９１及び９２を含む。ここでも距離は縮尺通りではない。隣接する導光要素との間の光学的クロストークを阻止するために、黒いライニング（不図示）が設けられても良い。
【０１６０】
とりわけシミュレーション目的で、ビームステアリングのためにレンズの１つをもう一方のレンズに対して動かす能力を有する２レンズシステムが仮定される。この分析では、レンズ当たり１つの発光体が仮定され得るが、実際には更に多く使用されても良い。具体的には、ピクセルサブセットが発光体９３によって表されても良い。しかしこの事例では、分析目的で、レンズシステムは１ピクセルの１つのビュー（即ちピクセルサブセットのうちの１ピクセル）に関係する。
【０１６１】
発光体９３は、光学的方向付けユニットのピッチ（ｗΔ）９６よりもはるかに小さい幅（ｗＥ）９５を有する。ピッチ９６は、ピクセルサブセットのピッチである。但し、分析目的のこの事例では導光ユニット９０ごとに１ピクセル（発光体９３）しかないため、導光ユニットのピッチ９６はピクセルのピッチでもある。このレンズシステムは、指定された幅（ｗＰ）９７の人間の瞳孔上に、焦点が合い拡大された像を作り出すように設計される。システムの拡大率は、ｍ＝ｗＰ／ｗＥである。
【０１６２】
この理論的分析では、ビームステアリングの機械的態様が仮定される。他の態様については以下で説明される。例えばレンズ９１を破線に沿って動かすことにより、ビームがステアリングされ得る。異なる導光ユニットのレンズ９１は移動できると仮定される。レンズを動かすことは、単純化するために行われるが、唯一の実装形態ではない。代替的な解決策は、レンズが個々に動く必要がある場合に好ましいことがある、回転プリズム及びエレクトロウェッティングプリズムである。
【０１６３】
光学的特性を分析するために、光線転送行列が使用されることを可能にする近軸近似及び完璧なレンズを用いて単一のピクセルがモデル化される。このモデルでは、光線がベクトル（ｘ，θ）で表され、但しｘは位置でありθは光軸に対する角度である。近軸近似では、ｓｉｎθ≒θであり、そのためθは光線の傾斜であると見なされるべきである。
【０１６４】
焦点距離ｆを有するレンズの光線転送行列は以下の通りである。
【数１】
2015505972.tif 000003
【０１６５】
或る媒体内を距離ｄ進む光線は、以下の行列によって表される。
【数２】
2015505972.tif 000004
【０１６６】
光線が発光体９３からレンズ９１及びレンズ９２を介して瞳孔９４に当たるまで進む経路が、以下の単一行列Ｍによって表される。
【数３】
2015505972.tif 000005
【０１６７】
距離（ｄＡＢ）９８は、レンズ９１とレンズ９２との間の距離である。距離（ｄＢＰ）９９は、レンズ９２と瞳孔９４との間の距離であり、距離（ｄＥＡ）１００は発光体９３とレンズ９１との間の距離である。
【０１６８】
この光学システムは、瞳孔上に焦点が合わせられ、拡大率ｍを有するべきである。これは、ｍ１１＝ｍ及びｍ１２＝０により、２×２の行列Ｍを制限することによって実現される。焦点距離を消去し、この問題に対する最も一般的な解は以下の通りである。
【数４】
2015505972.tif 000006
【０１６９】
システムが有用であるために、ビームは大幅にステアリングされる必要があり、それはステアリングがディスプレイの視野角を決定するからである。実際には別の解決策が選択されても、この概念を証明するために、レンズ９１はレンズ９２の光軸（矢印９１）に対して動かされる。ｘＥにおいて発光体を離れる光線のための光線追跡公式は以下の通りであり、
【数５】
2015505972.tif 000007
ｕは変位である。
【０１７０】
ｘＥ＝０及びｕ＝ｗΔ／２を代入することで、以下のように最大ビームステアリングが得られる。
【数６】
2015505972.tif 000008
【０１７１】
最小ビームステアリング
【数７】
2015505972.tif 000009
を求めるためにＭを更に制限し、
Ａは開き角のタンジェントであり、３つの設計パラメータを制限する単一解が以下の通り見つかる。
【数８】
2015505972.tif 000010
【０１７２】
注目すべきことに、ｆＢはｄＥＡ１００に依存しない。ｆＢは、アプリケーション仕様にのみ依存する。ｗΔ９６と比較したときの高いｆＢは、作られるには強すぎるレンズをもたらすので、レンズ９２は最大視角を直接制限する。レンズのＦ値は
【数９】
2015505972.tif 000011
として定義され、Ｄはレンズの直径であり、ｆは焦点距離である。この場合、Ｄ＝ｗΔが成立する。レンズが実用的であるために、ｆＡ及びｆＢはレンズのＦ値を規定することによって設定される。このことは、システムを以下のように完全に規定する。
【数１０】
2015505972.tif 000012
【０１７３】
黒いライニングに当たる放射光は吸収され、ディスプレイの輝度に寄与しない。
【０１７４】
システムの効率を推定するために、このシステムが、幅ｗΔの露出したランバート発光体に対し、レンズ及び幅ｗＥの小さい発光体を有するシステムと比較される。瞳孔に当たらない光を「非効率」と見なし、幅ｗＰ上で距離ｄＢＰにおいて見られる幅ｗΔの露出した発光体の効率は以下の通りである。
【数１１】
2015505972.tif 000013
【０１７５】
目的とされる値を得るために、レンズ９１の開口部が光出力を限定することが確認され得る。従って、発光体の幅ｗＥ、及び距離ｄＥＡにおいて開口部ｗＡを有する画像化サブユニットを備えるシステムの効率は以下の通りである。
【数１２】
2015505972.tif 000014
【０１７６】
（１７）と（１８）とを組み合わせ、相対的効率は以下の通りである。
【数１３】
2015505972.tif 000015
【０１７７】
ｄＥＡを除き、全ての変数は応用によって規定され、ｄＥＡの値は効率を最大化するために最小化されるべきである。等式（１５）を通じて、これは残っている唯一の変数ψＡを最小化することに等しい。どちらのレンズも可能な限り強いものとする。
【０１７８】
相対的効率は、本システムの輝度（ｃｄ／ｍ２）を露出した発光体と比較する。消費電力を比較するために、光度（ｃｄ）が重要である。発光体はピクセルのピッチよりも小さく、効率性の違いについて補償が必要であり、そのため次式が成立する。
【数１４】
2015505972.tif 000016
【０１７９】
以下の表１は、２つの典型的だが異なる状況、つまりテレビと携帯電話との値の例を示す。
【０１８０】
どちらの場合も、視聴者によって見られる最終画像のFullHD解像度（１９２０×１０８０ピクセル）が、水平及び垂直に６×６に空間的に分割された３６ビューを含んで仮定される。従って、マイクロレンズごとに３６ピクセルある。各ピクセルは、或るシーンの画像の１つのビュー、即ちシーンピクセルを表す。この事例では、その各ピクセルが（スタックされた）赤緑青の発光体である。この事例では、発光体、サブピクセル、及びピクセルが正方形である。
【０１８１】
表１では、ｄＢＰはディスプレイと視聴者との間の距離であり、ｗＰは瞳孔上に投影されるサブピクセルの幅であり、ｗΔはピクセルのピッチであり、ｗＥは発光体の幅であり、ｍは光学倍率であり、ｆＡ及びｆＢは焦点距離であり、ｄＥＡは発光体と可動マイクロレンズ９１との間の距離であり、ｄＡＢはマイクロレンズ９１とマイクロレンズ９２との間の距離であり、Ｅｒｅｌは（幅ｗΔの露出した発光体と比較した）相対輝度であり、Ｉｒｅｌは相対光度であり、Ａは合計開き角である。
【０１８２】
【表１】
2015505972.tif 000017
【０１８３】
テレビの場合、典型的な値が、３ｍの最適視距離及びアスペクト比が１６：９であり４２”のディスプレイ対角線について仮定される。
【０１８４】
第１の副次的実験（ＴＶＩ）は、サブピクセルごとのレンズシステムによって計画される。
【０１８５】
従ってこの画面は、１１５２０×６４８０（７１ＭＰ−両方向にFullHD解像度の６倍）の固有の２Ｄ解像度、及び８１μｍのレンズピッチを有する。
【０１８６】
第２の実験（ＴＶＩＩ）は、共用レンズシステムと共にピクセルごとに発光体システムを有する。画面は同じサブピクセルの解像度を有するが、１９２０×１０８０のレンズ及び４８６μｍの対応するレンズピッチしか有さない。
【０１８７】
携帯電話の場合、典型的な値が、０．５メートルの最適視距離及び５０ｍｍ当たり１０００ピクセルに対応する５０μｍのピクセルピッチについて仮定される。
【０１８８】
適切なパラメータを用いて、本発明はどちらの応用でも実行可能である。
【０１８９】
「大きい」発光体のサイズでは、これらの用途でディスプレイがより厚くなる。これらの制約は携帯電話の場合に最も大きい影響を有し、携帯電話では、ディスプレイを組み込むかかる装置の許容可能な厚さに鑑みて狭い範囲の発光体のサイズしか許容できない。例えば最後の行は、２．５ｍｍの間隔ｄＥＡを必要とする。
【０１９０】
ＴＶの場合、トレードオフは、生産費と厚さとの間のトレードオフに影響される可能性が高い。
【０１９１】
このモデルを使用し、発光体に当たる光線の小部分を数値的に推定するために、光線が瞳孔から画面まで追跡されている。これらの実験は、ｆＡ＝１６２μｍ、ｆＢ＝８１μｍ、ｄＥＡ＝１２ｍｍ、及びｄＡＢ＝２４５μｍでＴＶＩの事例について行われている。結果は表２に示されており、画面に対する角度に比例して効率が低下することを示す。
【０１９２】
【表２】
2015505972.tif 000018
【０１９３】
視角に伴うこの効率の変化は補償され得る。ビームステアリングの角度に基づき、発光体の出力に関する自動利得が設定され得るように、発光体が優に１０倍明るくても良い。これは、（例えば選択線の電圧を操作することにより）ハードウェアによって、又はビューレンダリングプロセスを調整することによりソフトウェアによって実施され得る（これには高ダイナミックレンジのディスプレイが必要である）。
【０１９４】
最大視角の近くで、画面を突然（０利得）又は遷移と共に（最大利得又は利得曲線）黒くするように、利得が設定され得る。高ダイナミックレンジ（ＨＤＲ：high dynamic range）コンテンツでは、中心から外れた視聴について不十分な輝度が発生する可能性がある。出力される色が範囲外である場合、色誤差を防ぐために適切なクリッピング態様が適用されても良い。適切な（及び既知の）クリッピング態様の一例を以下に示す。
【数１５】
2015505972.tif 000019
【０１９５】
上記の解説は、システムの所要の光学性能が実現され得ることを実証する。
【０１９６】
図１０Ａ又は図１０Ｂに示されているように、かかる画像化ユニットを本発明のディスプレイ内に実装することが行われ得る。
【０１９７】
図１０Ａは、図７Ｂにあるような表示パネルを有する表示システム７０を示す。光学ユニット７２は、レンズ９１及びレンズ９２を有する図９に従って構築される。このシステムは、図７Ｂに関して説明されたように２つのビューを与える。
【０１９８】
図１０Ｂは、図８Ｇにあるような表示パネルを有する表示システム７０を示す。光学サブユニット８２は、レンズ９１及びレンズ９２を有する図９に従って構築される。このシステムは、図８Ｇに関して説明されたように４つのビューを与える。
【０１９９】
図１０のこれらのディスプレイで使用されるパネルは、ピクセルサブセットの間に黒い領域を有する図７Ｄにあるようなピクセル配置を有することができ、そのうちの２つが図示されている。図示のピクセルサブセット内のそれぞれの発光体は、ピクセル（白黒表示）又はサブピクセル（カラー表示）とすることができる。サブピクセルの数は、図８Ａ〜図８Ｇに関して説明された例の何れか１つに従って選択されても良い。レンズを動かすこと又は引っ張ることによるビームステアリングは、レンズ９１及びレンズ９２を相対的に動かすことにより、米国特許出願公開第２００５／０２７０６４５  Ａ１号に記載されているように行われても良い（その参考文献の中の図２、３、４、６等を参照されたい）。
【０２００】
同様のやり方で他のパネルが光学ユニットと共に実装されても良い。
【０２０１】
本発明の表示装置は、ビームステアリング及び／又は視標追跡なしに使用され得る（以下参照）。しかし好ましくは、ディスプレイに対する視聴者の移動を補正するために、ビームステアリング及び視標追跡が使用される。
【０２０２】
或る応用例では、離れた所から画面を見るために、本発明がビームステアリング及び視標追跡と共に実施される。任意選択的に、及び好ましくは、ビームステアリングの性能を改善するために、ビームステアリングと視標追跡との間でフィードバックが提供される。
【０２０３】
ビームステアリングの解決策については、P.F. McManamon, “A Review of Phased Array Steering for Narrow-Band Electrooptical Systems”, in Proceedings of the IEEE, vol. 97 (6), 2009の中で提示されている。光学ユニットに関する潜在的に適切な解決策は以下の通りである。
−  例えば固定されたレンズ間の、マイクロプリズム等のＭＥＭＳソリューション
−  エレクトロウェッティングマイクロプリズム
−  屈折率分布型レンズ
−  ステップモータ等の圧電駆動システム
【０２０４】
所要の移動量を有する適切な圧電駆動ソリューションが、例えば走査顕微鏡法及びＤＶＤ光学制御システムから知られている。
【０２０５】
全てのマイクロレンズが一度に１つの瞳孔にだけ画像を与えるためのものである場合、マイクロレンズアレイを単一ユニットとして扱うことが可能になる。そうすることで駆動機構を単純化することができ、例えば駆動機構は、マイクロレンズアレイ全体及び表示パネルのピクセルアレイの相対位置を制御するだけで良い。同様に、マイクロプリズム又は制御可能なレンズが使用される場合、放射ビームの方向への共通のシフト（common shift）を実施するために、これらは全て同時に制御され得る。この目的に適した１つの光学ユニットが、図７に関して説明されている。
【０２０６】
本発明のビームステアリングの好ましい実装形態では、全画面（又は画面の大部分）が一度に制御され得るように構築されるプリズムの圧電制御を使用する。
【０２０７】
別の好ましい実装形態では、エレクトロウェッティング又はＧＲＩＮに基づく、電気的に制御されるレンズ又はレンズ面を使用する。従って、図７の光学ユニットのレンズ、又は例えば図７若しくは図９の導光要素９０を有する光学ユニットのレンズ９１及び／又はレンズ９２は、ＧＲＩＮレンズで作られても良い。かかるレンズがどのように設計され、且つ／又は構築され得るのかについては、例えば国際公開第２００７／０７２２８９号及び国際公開第２００７／０７２３３０号の中で開示されている。かかるＧＲＩＮレンズは、J. Opt. Soc. Am. A, pp. 3467- 3477, 2007の中で開示されているように更に設計され得る。特に、MSc. Engineering Physics thesis Multi-electrode liquid-crystal-based gradient index lenses for 2D/3D switchable displays of June 2009 by Steven L. Nyaberoに記載の多重電極ＧＲＩＮレンズが、本発明の光学ユニット内のＧＲＩＮレンズに使用され得る。この論文内の図３．６は、本発明の光学ユニットに使用され得る単純な多重電極ＧＲＩＮレンズの概略的な一例を示す。本明細書に示される参考文献も、本発明の光学ユニットを制御するために使用され得るかかるレンズの動作について詳しく説明する。参考文献内のこれらの詳細な説明に鑑みて、ＧＲＩＮレンズの構造及び動作について本明細書では詳しくは繰り返さず、１つの例に関して簡潔に説明されるだけである。この説明は、他の種類のＧＲＩＮレンズの実装に関する手引きも与える。
【０２０８】
より詳細には、図１１Ａは、１枚のＧＲＩＮレンズの２つの図面を示す。このレンズは、ガラス層１１０の間に液晶材料１１１を含む。レンズの片側には（例えば酸化ケイ素で作られる）電気誘電体層１１２があり、独立にアドレス指定可能な複数の電極１１３が定められる。これらの電極に電気信号（電圧）を与えることにより、ＬＣ材料に自らの電気ディレクタ（ＬＣ層内の複数の小さい黒線で図示されているＬＣ分子の電気双極子）を再調整させることができる。左の図では、レンズが電極１１３ａと電極１１３ｎとの間のＬＣ層内で形成される。
【０２０９】
レンズの位置を調整することは、電極に沿ってレンズを形成するために与えられる電圧のパターンをずらすことによって行われ得る。従って、例えば右の図では、レンズを形成するための同じパターンが同数の電極に与えられるが、今度はレンズが電極１１３ａではなく電極１１３ｄから始まる。従って、左の図の状況に比べてレンズが右にずれている。レンズ機能を与える電極の数及び／又は電極ごとの電圧値に関してレンズごとのパターンが変えられる場合、例えば図７又は図９の画像化ユニットのステアリングに必要とされるビームステアリングを実現するために、レンズの大きさ及び形状も調整され得ることが明らかである。レンズ９１及びレンズ９２を相対的に動かすことによる、米国特許出願公開第２００５／０２７０６４５  Ａ１号に記載されているようなビームの方向変え（その参考文献の中の図２、３、４、６等を参照されたい）が、今度は固体レンズを機械的に動かすことなく行われ得る。
【０２１０】
先に述べたように、ＧＲＩＮレンズの詳細な構造はその論文内で、又は未公開の国際出願ＰＣＴ／１Ｂ２０１１／０５２１４９号、代理人内部整理番号２０１０ＰＦ０００７７の中で見つけることができる。後者の出願の中で記載されているレンズは、起こり得る回折効果を減らし又はなくす、電極を覆うキャッピング層も有する。例えばＰＣＴ／１Ｂ２０１１／０５２１４９号の図３内で与えられる例を参照されたい。
【０２１１】
図１１Ｂは、幾つかの光学効果を減らすための追加の接地電極層を有する、互いに積層された図１１Ｂの２つのレンズシステムから実質的に成る有利なＧＲＩＮレンズシステムを示す。図１１Ｂの要素は、Ｘ電極と接地電極との間に又はＹ電極と接地電極との間に挟まれるＬＣ層にそれぞれ基づく、２枚のレンチキュラレンズの積層を含む。殆どのＧＲＩＮの設計は、ＬＣの片面を覆う１つの大きい接地電極を有するので、この構造は有利であり得る。接地電極は、強いて言うならレンチキュラシート間で共用される。但し、必要に応じて独立したものが使用されても良い。Ｘ電極及びＹ電極の組は、マイクロアレイレンズを得るために互いに対して９０度回転される。
【０２１２】
２枚のレンチキュラＧＲＩＮレンズが組み合わせられることは必須ではない。代わりに、それらのレンズは、ガラス又は他の何らかの透明材によって隔てられても良い。更に、焦点を合わせるための従来のガラス製又はポリカーボネート製のマイクロアレイレンズを追加し、ＧＲＩＮレンズにステアリング可能なプリズム形状を使用することが可能である。
【０２１３】
図１１Ｂの光学ユニットでは、ＬＣ材料の近くのＸ電極及び／又はＹ電極（ＩＴＯ）が、例えばＰＣＴ／１Ｂ２０１１／０５２１４９号又は論文内で多重電極ＧＲＩＮレンズに関して説明されているように異なる電圧に設定される。ＬＣ材料内のイオンに起因する荷電効果を回避するために、極性が１００Ｈｚ〜１ｋＨｚの周波数で切り替えられる。電気に応じてＬＣ分子を配向する電極間に電界が生じる。液晶は複屈折であり、そのため屈折率は光の方向に対する分子の向きによって決まる。その結果、屈折率の勾配が形成される。光は屈折率によって曲げられる。曲がる量は、ＬＣの厚さに対して直線性を有する。電極に設定される電圧が適切な場合、ＬＣ材料内の分子の配向パターン、従って屈折率勾配がＬＣ材料のレンズ機能をもたらす。このようにして、光はＬＣ層を通過した後、或る距離において焦点が合わせられ得る。
【０２１４】
ビームステアリングを組み込むために、本発明でエレクトロウェッティングレンズが使用されても良い。エレクトロウェッティングレンズについては、例えば米国特許第７６１６７３７号の中で説明されており、本発明のディスプレイにそれらを組み込むことについて本明細書で更に詳しく説明されることはない。上記の説明は、レンズがピクセルに対してどのように配置されるべきか等についての手引きを与えるのに対し、参考文献は、かかるレンズを構築し使用するやり方の詳細を提供する。
【０２１５】
電極上の電気制御信号（電圧）のパターンを変えることにより、レンズ層の１つ又は複数の焦点距離を適合することに加え、ビームをステアリングするためにレンズ機能をオン／オフするだけでなく、ＧＲＩＮレンズ面を動かし且つ／又は非対称に歪ませることがここでも可能である。図９の装置等の装置において、例えばレンズの移動がどのようにこのビームステアリングを生じさせるのかについては、図９及び図７Ａに関して上記で説明されている。
【０２１６】
ディスプレイの前の１つ又は複数の瞳孔を追跡するために、視標追跡器が使用される。より多くのビューを有しそれらを瞳孔の周りに投影することと、より正確な視標追跡器を有することとの間にトレードオフがある。
【０２１７】
上記で参照された論文、“Holographic 3-D Displays - Electro-holography within the Grasp of Commercialization”の中にあるように、例え眼が追跡されても、表示コンテンツは光ビームの発生源及び方向にのみ依存し、眼の極僅かな動きはアーティファクトを引き起こさない。より大きい動きでは、ビームステアリングの調整が殆ど瞬時であるようにシステムのレイテンシがなるべきである。
【０２１８】
１ビデオフレーム（約２０ｍｓ）の時間内の反応が適切だと考えられる。時間的な不整合は、単に輝度の低下として知覚される可能性が高い。
【０２１９】
殆どの市販の視標追跡システムは、以下の構成要素を有する。
−  ＩＲカメラ
−  アクティブＩＲ照明
−  リアルタイム画像解析、及び
−  フィードバック
【０２２０】
視標追跡と組み合わせてビームステアリングの制御を支援するために、表示制御システム内で視覚フィードバックが使用され、視標追跡とビームステアリングとの間のつながりを自動的に修正しても良い。
【０２２１】
図１２は、瞳孔上に投影されるパターンを示す。中央のグリッド１２０は、光学ユニットからのピクセル化された出力を表す。例えば、かかるパターンを投影領域内に（瞳孔に）与えるために１組の７×７のサブピクセル（この例では７×７のサブアレイ）がマイクロレンズシステムの下にあり得る。角の周りにある４つのマーカ１２１は、視聴者の眼の領域上に投影されるＩＲパターンを表す。これは、例えば直接発光体ピクセルパネルの場合、パターン１２０を与えるのに、多くの場合瞳孔領域の小さな部分しか必要ないので可能である。従って、ＩＲビーム等の追加機能を提供する追加の発光体を表示パネル上に含めることが可能である。
【０２２２】
ＩＲマーカは、視標追跡システムのＩＲカメラによって追跡され、ビームステアリングプロセスにおける視覚制御ループを可能にする。ＩＲクロスは、常にオンとすることができ、又は例えば全ての行若しくは列をスキャンする、若しくはより入り組んだ（構造化された）パターンを有する構造化光として働いても良い。
【０２２３】
パターン内でＩＲクロスをオン／オフさせることにより、クロス群の寄与度を徐々に明らかにすることが可能になる。理想的な整列では、全てのクロスが互いの上に重なることになる。不整合がある場合、クロスのパターンを検討することにより、その不整合を補償するためにビームステアリングプロセスをどのように訂正するのか突き止めることが可能になる。
【０２２４】
構造化光の単純な形態は、全てのＩＲクロスを１つずつ点滅させることである。そうすることはディスプレイ全体では長い時間かかる。しかし、ＩＲクロス群（即ちまず画面の左側、次いで画面の右側）を点滅させる他のパターンも可能である。１つの任意選択肢は、Ｎフレームごとにグリッド内の全てのセルが点滅されるように画面をグリッドに分割することである。
【０２２５】
ＴＶの例では、発光体が、１００〜５００倍拡大されて５０ｍｍ〜２５０ｍｍの最大パターンサイズを与える、約０．５ｍｍのピクセルサイズを有する。あらゆる場合において、ＩＲクロスは眼を取り囲む皮膚上にパターンを作り出すのに十分大きいものとすることができる。
【０２２６】
上記の表１から見て取れるように、単一の瞳孔内に幾つかのビューが投影されることを可能にするために、発光体の好ましい大きさは数μｍ程度である。
【０２２７】
サブアレイのピクセル当たり単一の小さな発光体だけでは、ビューが視聴者の眼に完全に導かれるのは特に困難である。
【０２２８】
例えば図９に記載されている光学ユニットが使用される場合、開口部は小さくても良いので、表示パネル上のピクセル領域は、その領域の殆どを黒くすることができる（１つのピクセルパネル内に２つの（サブ）ピクセルクラスタが示されている図７Ｅを参照）。瞳孔ごとのビューのアレイ１２０の隣にサブピクセル及び任意選択を生成する例が図１２Ｂに示されている。黒い領域（又は１つの光学ユニットによって投影されるピクセルサブセットの周りの光を与えない領域）が追加のビューピクセル１２３で埋められても良い。ビューピクセル１２３は、フリーフォーカスの基礎を形成する、瞳孔ごとの複数のビューを与えるためのピクセルよりも広い面積を有することができる。より大きいビューピクセルを有することには、視聴者がディスプレイの前に移動するとき光学ユニットのステアリングが位置又は調整速度に関して正確でない場合、瞳孔ごとの複数のビューが失われる場合があっても、視聴者が見ていた画像を引き続き見るように、より大きいピクセルが眼に画像化されるという利点があり得る。従って視聴者はフリーフォーカス機能を（一時的に）失うが画像は失わず、このことは、ビューステアリングの不整合により全画像を失うことと比較した場合、はるかに邪魔にならない。
【０２２９】
更なる修正形態は、分散されるが同じサブピクセル情報を運ぶ、複数のより小さい領域に分割されるサブピクセルを使用する。
【０２３０】
この表示装置のピクセル内の発光領域の好ましい配置は非常に多くの発光体を使用し、発光体のサイズはピクセルのサイズよりもはるかに小さく、発光体は自らのサイズよりも大きい間隔で隔てられる。図１３Ａに２つの例が示されている。
【０２３１】
左側の第１の例は、両方の空間方向に瞳孔ごとの複数のビューを伴う２Ｄビームステアリングに適している。このピクセルは、規則正しい２Ｄグリッド内にサブピクセル１３０のアレイを含む。右側の第２の例は、一連の柱形の発光体１３２を有し、水平視差しか有さないシステムにより適している。
【０２３２】
複数の発光体は全て同じ情報を表示することができる。このようにして、幾つかの（同一の）ビューが作り出され様々な方向に投影され、このことは最適な（即ち視聴者の目に最も近い）サブピクセルを選択し、瞳孔内に投影するために水晶体の最小限の微調整しか行わないことにより、視覚（追跡）系を単純にする。
【０２３３】
ピクセル開口部は、利用可能な最大開口部を意図的にはるかに下回る。ピクセル開口部がより大きい場合よりも発光体の総面積ははるかに狭い一方で、発光体の輝度は従来のディスプレイの輝度を上回らないので（同じＣｄ／ｍ２）、そのようにすることは大幅な節電をもたらす。視聴者はディスプレイの輝度の違いに気付かない。ディスプレイが単純に視聴者がいない方向に光を送り出さないという点において、節電が示される。
【０２３４】
この概念の範囲内で他の多くの異なるピクセル配置が実現され得る。概して、異なるサブピクセル間の間隔は、サブピクセル自体のサイズを上回る。
【０２３５】
発光体のサイズは約１〜１０μｍであり、サブピクセルの間隔は、複数のサブピクセルが両眼に投影することを回避するのに十分であるべきである。この場合、発光体間の間隔は典型的には５０〜１００μｍ（眼間の間隔に対する瞳孔の大きさの約１０倍の比率によって定められる）を超えるべきである。
【０２３６】
ピクセルの設計は、ピクセルごとに非常に多くの二次発光体を必要とする一方で、これは必ずしもディスプレイのより複雑なアドレス指定をもたらすものではない。ディスプレイがＬＣＤベースのディスプレイ（左側）又はＯＬＥＤベースのディスプレイ（右側）である場合について、このことが図１３Ｂに示されている。何れの場合にも、ディスプレイは、ピクセル（列）当たり単一のデータ線しか使用せず、単一の選択線、及び選択トランジスタを使用するアクティブマトリクス方式でアドレス指定される。これは、アドレス指定トランジスタを介して全ての発光領域を同じデータ線に接続することによって実現される。
【０２３７】
好ましくは、発光体の電極が表示プロセス内の単一のマスク層の中で実現され、その理由は、そうすることが発光体の定義、間隔、及び整列をより信頼できるものにするからである。
【０２３８】
このシステムは、例えば３Ｄモデルからの画像レンダリングにより、複数の画像を生成できなければならない。
【０２３９】
５×５のサブアレイの例をとり、瞳孔のために生成される２５の異なる画像があり、この２５の画像の組は瞳孔の位置に基づく。
【０２４０】
図１４に本発明の表示システムが概略的に示されている。このシステムは、ピクセルアレイ１４０を有する表示パネルと、アレイ形式の画像化サブユニット１４１を有する画像化ユニット１４７とを含む。カメラ１４２が視標追跡を実施し、この情報を装置コントローラ１４３に供給する。この情報は、ディスプレイドライバ１４４内の画像レンダリングを制御するだけでなく、制御システム１４５によるビームステアリングを制御する。
【０２４１】
１人の視聴者１４６に対して動作するシステムの視野にわたる出力は、図７Ｅの図を用いて表され得る。図４Ｄ及び図４Ｅに関して説明されたように、２つの瞳孔への結像しか（同時に又は時系列的に）生成されない。各サブアレイの各サブピクセルは、単一の視野方向からの全画像（の少なくとも１色）を符号化する。画像は、平面ディスプレイ用又は立体ディスプレイ用とすることができる。これらは内部的にレンダリングされても、又は装置から外部的にレンダリングされ、その後装置に供給されても良い。
【０２４２】
上記のように、１つの瞳孔に対し、そのサブアレイ画像の組合せが１度に与えられ得る。更に、サブアレイ内のピクセルは必ずしも同時に照らされない。マイクロレンズの下にあるサブアレイのピクセルは、順にスキャンされ得る。これはスキャンレーザシステムに当てはまる。直接発光するピクセル（エレクトロルミネッセント（ＥＬ又はＯＬＥＤ）は、表示パネルのピクセルアレイのスキャニングを１行ずつ（即ち従来のやり方で）行わせる場合があり、この場合もサブアレイの全ピクセルの同時発光は引き起こさない。この場合、サブアレイのピクセルの１行のスキャンとサブアレイのピクセルの次の行のスキャンとの間に一時停止がある。しかしあらゆる場合において、眼による統合化は、サブアレイの様々なピクセルが、ディスプレイのフレーム周期で瞳孔の様々な領域に画像化されることが単純に必要とされることを意味する。
【０２４３】
図４〜図６に関して説明されたもの等、本発明のディスプレイは様々なシステムで使用され得る。１つのやり方は、片眼ゴーグルベースのシステム（これらは例えば軍隊で見受けられる）の一部分としてである。特に片眼システムでは、フリーフォーカスは、より少ない疲労及びより高速な画像詳細検出に関係する改善された視聴体験をもたらし得る。或いは、１つ又は複数のディスプレイが両眼ベースの表示システム（ゴーグル又はＴＶやモニタ等）の一部分であり得る。１つの表示装置が両眼に情報を与えても、２つの表示装置が片眼ずつ使用されても良い。その場合、システムは、１つ又は複数のディスプレイが両眼に同じ情報を与える２Ｄディスプレイになり得る。或いはこのシステムは、それぞれの眼に複数のビューを同時に与える３Ｄ表示システムでも良く、更にこれらの複数のビューの組は眼の視差に関しても異なる。このことは、片眼の網膜の様々な部分において見られる画像の差のレベルにおいて、それぞれの眼によって見られる入射光を（立体ディスプレイにおいて見られるように）大域的にも局所的にも再現し、その結果、それぞれの眼のフリーフォーカス効果が可能にされるだけでなく、３Ｄシーンを立体的に見ることができる。
【０２４４】
ゴーグルベースのシステムでは、眼は片眼ずつ２つの表示システムを容易に有することができる。
【０２４５】
このシステムは、上記の２Ｄの任意選択肢と３Ｄの任意選択肢との間で切替可能であり得る。特に、片眼につき１つのディスプレイを有するゴーグルでは、何れかのディスプレイに与えられる情報を選択することによりこの切替が容易に実施され、その情報は２Ｄでは同じであり又は３Ｄでは異なる。他のシステムでは、同じことを行うためにビューのレンダリング及び割当が調整され得る。
【０２４６】
他の文献及び記事へのあらゆる言及が、参照により本明細書に援用される。
【０２４７】
開示された実施形態の他の改変形態が、特許請求の範囲に記載の本発明を実施する際に、図面、本開示、及び添付の特許請求の範囲を検討することにより、当業者によって理解され果たされ得る。特許請求の範囲では、「含む」という語は他の要素又はステップを排除せず、不定冠詞「a」又は「an」は複数形を排除しない。或る手段が互いに異なる従属請求項の中で列挙されているという単なる事実は、これらの手段の組合せが有利に使用されてはならないことを示すものではない。特許請求の範囲の中の如何なる参照記号も、範囲を限定するものとして解釈されるべきではない。
【図１Ａ】
2015505972.tif 000020
【図１Ｂ】
2015505972.tif 000021
【図２Ａ】
2015505972.tif 000022
【図２Ｂ】
2015505972.tif 000023
【図３】
2015505972.tif 000024
【図４Ａ】
2015505972.tif 000025
【図４Ｂ】
2015505972.tif 000026
【図４Ｃ】
2015505972.tif 000027
【図４Ｄ】
2015505972.tif 000028
【図４Ｅ】
2015505972.tif 000029
【図５Ａ】
2015505972.tif 000030
【図５Ｂ】
2015505972.tif 000031
【図５Ｃ】
2015505972.tif 000032
【図５Ｄ】
2015505972.tif 000033
【図６Ａ】
2015505972.tif 000034
【図６Ｂ】
2015505972.tif 000035
【図６Ｃ】
2015505972.tif 000036
【図７Ａ】
2015505972.tif 000037
【図７Ｂ】
2015505972.tif 000038
【図７Ｃ】
2015505972.tif 000039
【図７Ｄ】
2015505972.tif 000040
【図７Ｅ】
2015505972.tif 000041
【図８Ａ】
2015505972.tif 000042
【図８Ｂ】
2015505972.tif 000043
【図８Ｃ】
2015505972.tif 000044
【図８Ｄ】
2015505972.tif 000045
【図８Ｅ】
2015505972.tif 000046
【図８Ｆ】
2015505972.tif 000047
【図８Ｇ】
2015505972.tif 000048
【図９】
2015505972.tif 000049
【図１０Ａ】
2015505972.tif 000050
【図１０Ｂ】
2015505972.tif 000051
【図１２Ａ】
2015505972.tif 000052
【図１２Ｂ】
2015505972.tif 000053
【図１３Ａ】
2015505972.tif 000054
【図１４】
2015505972.tif 000055
【図１１Ａ】
2015505972.tif 000056
【図１１Ｂ】
2015505972.tif 000057
【図１３Ｂ】
2015505972.tif 000058
【国際調査報告】
2015505972.tif 000059
2015505972.tif 000060