(57)【要約】    多層高ダイナミックレンジ・ヘッドマウントディスプレイ。  【選択図】      図１
2020521174.tif 000002
【特許請求の範囲】
【請求項１】
軸を有する表示システムであって、
第１および第２の表示層と、
前記第１および第２の表示層間の光学システムであって、当該光学システムは、前記第１の表示層の第１の事前画成された領域の光学画像を、前記第２の表示層の第２の事前画成された領域に形成するよう構成される、光学システムと
を有する表示システム。
【請求項２】
請求項１記載の表示システムにおいて、前記光学システムは、前記第２の領域の光学画像を前記第１の領域に形成するよう構成されるものである表示システム。
【請求項３】
請求項１および２のいずれか一項に記載の表示システムにおいて、前記第１および第２の層は、互いに光学的に共役である表示システム。
【請求項４】
請求項１記載の表示システムにおいて、前記第２の表示層は、前記第１の表示層の面と光学的に共役な面から離間されるものである表示システム。
【請求項５】
請求項１〜４のいずれか一項に記載の表示システムにおいて、前記光学システムは、前記第１および第２の領域間に一意の１対１の結像対応を確立するよう構成されるものである表示システム。
【請求項６】
請求項１〜５のいずれか一項に記載の表示システムにおいて、前記第１および第２の表示層のうち少なくとも１つは、ピクセル化された表示層である表示システム。
【請求項７】
請求項６記載の表示システムにおいて、前記第１の領域は、前記第１の表示層の第１のピクセルグループを含み、前記第２の領域は、前記第２の表示層の第２のピクセルグループを含み、第１および第２の領域は、互いに光学的に共役である表示システム。
【請求項８】
請求項７記載の表示システムにおいて、前記第１および第２のピクセルグループのうち少なくとも１つは、ただ１つのピクセルを含むものである表示システム。
【請求項９】
請求項１〜８のいずれか一項に記載の表示システムにおいて、前記第１の表示層は、第１のダイナミックレンジを有し、前記第２の表示層は、第２のダイナミックレンジを有し、当該表示システムは、システムダイナミックレンジを有し、その値は、前記第１および第２のダイナミックレンジの値の積である表示システム。
【請求項１０】
請求項１〜９のいずれか一項に記載の表示システムにおいて、前記光学システムは、横倍率１で、前記第１の領域を前記第２の領域に結像するよう構成されるものである表示システム。
【請求項１１】
請求項１〜１０のいずれか一項に記載の表示システムにおいて、前記第２の領域の各寸法と、前記第１の領域のそれぞれ対応する寸法との比は、実質的にｍに等しく、ここで、ｍは前記光学システムの横倍率である表示システム。
【請求項１２】
請求項１〜１１のいずれか一項に記載の表示システムにおいて、当該表示システムは、ヘッドマウントディスプレイである表示システム。
【請求項１３】
請求項１〜１２のいずれか一項に記載の表示システムにおいて、
前記第１の表示層と光学的に通信可能に設けられた光源を有し、前記第１の表示層は、前記光源から受け取られた光を変調するよう構成されるものである表示システム。
【請求項１４】
請求項１３記載の表示システムにおいて、前記第２の表示層は、前記第１の表示層から変調された光を受け取るよう構成され、かつ、前記受け取られた光を変調するよう構成され、かつ、前記第２の表示層から前記変調された光を受け取るアイピースを有するものである表示システム。
【請求項１５】
請求項１〜１４のいずれか一項に記載の表示システムにおいて、前記第１の表示層は、ＬＣｏＳを有するものである表示システム。
【請求項１６】
請求項１〜１５のいずれか一項に記載の表示システムにおいて、前記第２の表示層は、ＬＣｏＳを有するものである表示システム。
【請求項１７】
請求項１〜１５のいずれか一項に記載の表示システムにおいて、前記第２の表示層は、ＬＣＤを有するものである表示システム。
【請求項１８】
請求項１〜１７のいずれか一項に記載の表示システムにおいて、前記光学システムは、光中継システムを含むものである表示システム。
【請求項１９】
請求項１〜１８のいずれか一項に記載の表示システムにおいて、前記光学システムは、ビームスプリッタを含むものである表示システム。
【請求項２０】
請求項１〜１９のいずれか一項に記載の表示システムにおいて、前記光学システムは、偏光ビームスプリッタを含むものである表示システム。
【請求項２１】
請求項１〜２０のいずれか一項に記載の表示システムにおいて、前記光学システムは、前記第１の表示層においてテレセントリックである表示システム。
【請求項２２】
請求項１〜２０のいずれか一項に記載の表示システムにおいて、前記光学システムは、前記第２の表示層においてテレセントリックである表示システム。
【請求項２３】
請求項１〜２２のいずれか一項に記載の表示システムにおいて、前記第１および第２の表示層は、光を空間的に変調するよう構成されるものである表示システム。
【請求項２４】
請求項１〜２３のいずれか一項に記載の表示システムにおいて、前記第１の表示層は、反射型の空間光変調層を有するものである表示システム。
【請求項２５】
請求項１〜２３のいずれか一項に記載の表示システムにおいて、前記第１の表示層は、透過型の空間光変調層を有するものである表示システム。
【請求項２６】
請求項１〜２５のいずれか一項に記載の表示システムにおいて、前記第２の表示層は、反射型の空間光変調層を有するものである表示システム。
【請求項２７】
請求項１〜２６のいずれか一項に記載の表示システムにおいて、前記第２の表示層は、透過型の空間光変調層を有するものである表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１７年５月１８日付で出願された米国仮特許出願第６２／５０８，２０２号の優先権の利益を主張するものであり、この参照によりその全体が本明細書に組み込まれる。
【０００２】
本発明は光学システムに関し、特に、これに限定されるものではないが、ヘッドマウントディスプレイに関する。
【背景技術】
【０００３】
ヘッドマウントディスプレイ（ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ：ＨＭＤ）は、頭部またはその周囲に装着される表示装置である。ＨＭＤは、通常、観視者の正面に仮想像を形成するよう構成された何らかの光学システムを目（眼）の近くに実装している。単眼に使用するよう構成されたディスプレイは単眼ＨＭＤといい、両眼に使用するよう構成されたディスプレイは両眼ＨＭＤという。
【０００４】
ＨＭＤは、仮想現実（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ：ＶＲ）および拡張現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ：ＡＲ）システムの重要な実現技術の１つである。ＨＭＤは、幅広い用途に開発されてきている。例えば、軽量の光学シースルー型ヘッドマウントディスプレイ（ｏｐｔｉｃａｌ  ｓｅｅ−ｔｈｒｏｕｇｈ  ＨＭＤ：ＯＳＴ−ＨＭＤ）は、利用者の現実世界の直接的な視野に２次元（２Ｄ）または３次元（３Ｄ）のデジタル情報を光学的に重ね合わせ、ディスプレイを通して実視野を保つことを可能にする。ＯＳＴ−ＨＭＤは、我々の日常生活に不可欠なデジタル情報への新たなアクセス方法を実現するデジタル時代の変革技術と見なされている。近年、高性能ＨＭＤ製品の開発に著しい前進があり、いくつかのＨＭＤ製品が市場に投入された。
【０００５】
ＨＭＤ技術は進歩したものの、技術的現状の主な制約の１つにＨＭＤの低ダイナミックレンジ（ｌｏｗ  ｄｙｎａｍｉｃ  ｒａｎｇｅ：ＬＤＲ）がある。ディスプレイ（表示装置）または表示ユニットのダイナミックレンジは、一般にディスプレイがもたらせる最高輝度と最低輝度の比、または表示ユニットが生みだせる輝度の範囲と定義される。
【０００６】
最先端カラーディスプレイ（ＨＭＤを含む）の大部分は、色チャネルにつき８ビット深度、すなわち最高２５６の離散強度レベルの画像しかレンダリングできない。このような低ダイナミックレンジは、最高１４桁にも達する実世界シーンの広いダイナミックレンジよりはるかに低い。一方、人間の視覚システムで知覚可能な輝度差範囲は、順応なしで５桁を超えることが知られている。没入型ＶＲ用途の場合、ＬＤＲ  ＨＭＤにより生成され、またはそれに伴う画像は、コントラスト差が大きいレンダリングシーンよりも劣る。これにより、言うまでもなく、結果的に微小な構造的細部が損なわれ、および／または高い像忠実度が損なわれ、および／または利用者／観視者に関する限りにおいて没入感が損なわれる。光学シースルー型ＡＲ用途の場合、ＬＤＲ  ＨＭＤにより表示される仮想画像は、ＬＤＲ  ＨＭＤのダイナミックレンジよりはるかに広く場合により数桁大きいダイナミックレンジを含む可能性のある実世界シーンとマージすると、白飛びして空間的細部が非常に損なわれてしまうことがある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
高ダイナミックレンジ（ｈｉｇｈ  ｄｙｎａｍｉｃ  ｒａｎｇｅ：ＨＤＲ）画像を従来のＬＤＲディスプレイで表示する最も一般的な方法は、トーンマッピング技術を採用することであり、この技術はＨＤＲ画像を圧縮してＬＤＲ装置のダイナミックレンジ内に収めながら、画像の完全性を保つものである。トーンマッピング技術は、公称ダイナミックレンジの従来ディスプレイでＨＤＲ画像をアクセス可能にするが、そのようなアクセシビリティは画像コントラストの低下という代償を伴い（当該装置のダイナミックレンジの制約に左右される）、ＡＲディスプレイで表示される画像の白飛びも防止しない。
【０００８】
そのため、ＨＤＲ−ＨＭＤ技術用のハードウェアソリューションを開発することが、特にＡＲ用途でとても重要になる。  
【課題を解決するための手段】
【０００９】
上記を受け、本発明は、その態様の１つにおいて、軸を有する表示システムを提供することができ、当該表示システムは、第１および第２の表示層と、前記第１および第２の表示層間の光学システムとを有し、前記光学システムは、前記第１の表示層の第１の事前画成された領域の光学画像を、前記第２の表示層の第２の事前画成された領域に形成するよう構成される。この「前記第２の表示層の第２の事前画成された領域に」の文脈においては、前記光学システムは、前記第２の領域の光学画像を前記第１の領域に形成するよう構成されること、または前記第２の表示層は、前記第１の表示層の面と光学的に共役な面から離間されることを含むことができる。前記光学システムは、前記第１および第２の領域間に一意の１対１の結像対応を確立するよう構成できる。
【００１０】
前記第１および第２の表示層のうち少なくとも１つは、ピクセル化された表示層であってよく、前記第１の領域は、前記第１の表示層の第１のピクセルグループを含むことができ、前記第２の表示層の第２のピクセルグループを含むことができ、第１および第２の領域は、互いに光学的に共役であってよい。前記第１の表示層は、第１のダイナミックレンジを有することができ、前記第２の表示層は、第２のダイナミックレンジを有することができる。前記表示システムは、システムダイナミックレンジを有することができ、その値は、前記第１および第２のダイナミックレンジの値の積である。さらに、前記光学システムは、横倍率１で、前記第１の領域を前記第２の領域に結像するよう構成できる。
【００１１】
前記表示システムは、ヘッドマウントディスプレイであってよく、前記第１の表示層と光学的に通信可能に設けられた光源を有することができる。前記第１の表示層は、前記光源から受け取られた光を変調するよう構成でき、前記第２の表示層は、前記第１の表示層から変調された光を受け取るよう構成でき、前記第２の表示層は、前記受け取られた光をさらに変調するよう構成される。前記表示システムは、前記第２の表示層から前記変調された光を受け取るアイピースを含むこともできる。前記第１および第２の表示層の一方または双方は、反射型の空間光変調層、例えばＬＣｏＳを含むことができる。択一的または付加的に、前記第１および第２の表示層の一方または双方は、透過型の空間光変調層、例えばＬＣＤを含むことができる。さらに、前記光学システムは、前記第１の表示層および前記第２の表示層の一方または双方において、テレセントリックであってよい。通常、前記第１および第２の表示層間の前記光学システムは、光中継システムであってよい。
【図面の簡単な説明】
【００１２】
本発明の例示的な実施形態に関する以上の要約および以下の詳細な説明は、全体にわたり同様な要素が同様な参照符号で表されている添付の図面と併せて読むと、さらに理解が深まるであろう。
【図１】図１Ａ、１Ｂは、空間光変調器（ｓｐａｔｉａｌ  ｌｉｇｈｔ  ｍｏｄｕｌａｔｏｒｓ：ＳＬＭｓ）の層間に異なる間隙距離を伴った直視型デスクトップディスプレイを概略的に例示したものである。
【図２】図２Ａ、２Ａは、本発明に係るＨＤＲ−ＨＭＤ（高ダイナミックレンジのヘッドマウントディスプレイ）システムの例示的な構成を概略的に例示したものである。
【図３】図３は、本発明に係る２若しくはそれ以上のＳＬＭ層を備えたＨＤＲ表示エンジンの例示的な構成を概略的に例示したものである。
【図４Ａ−４Ｂ】図４Ａ〜４Ｃは、本発明に係るＬＣｏＳ−ＬＣＤ  ＨＤＲ−ＨＭＤ実施形態の例示的な構成配置を概略的に例示したものであり、図４Ｃは、図４Ａ、４Ｂの拡がった光路を示したものである。
【図４Ｃ】図４Ａ〜４Ｃは、本発明に係るＬＣｏＳ−ＬＣＤ  ＨＤＲ−ＨＭＤ実施形態の例示的な構成配置を概略的に例示したものであり、図４Ｃは、図４Ａ、４Ｂの拡がった光路を示したものである。
【図５Ａ】図５Ａ〜５Ｃは、本発明に係る２つのＬＣｏＳ層ベースのＨＤＲ−ＨＭＤ実施形態の例示的な構成配置を概略的に例示したものであり、図５Ｃは、図５Ａ、５Ｂの拡がった光路を示している。
【図５Ｂ−５Ｃ】図５Ａ〜５Ｃは、本発明に係る２つのＬＣｏＳ層ベースのＨＤＲ−ＨＭＤ実施形態の例示的な構成配置を概略的に例示したものであり、図５Ｃは、図５Ａ、５Ｂの拡がった光路を示している。
【図６Ａ−６Ｂ】図６Ａ〜６Ｃは、本発明に係る中継システムの導入前（図６Ａ）および導入後（図６Ｂ、６Ｃ）の光路の例示的な構成を概略的に例示したものである。
【図６Ｃ】図６Ａ〜６Ｃは、本発明に係る中継システムの導入前（図６Ａ）および導入後（図６Ｂ、６Ｃ）の光路の例示的な構成を概略的に例示したものである。
【図７Ａ】図７Ａ、７Ｂは、本発明に係る光中継器を備えたＬＣｏＳ−ＬＣＤ  ＨＤＲ  ＨＭＤの例示的な構成を概略的に例示したものである。
【図７Ｂ】図７Ａ、７Ｂは、本発明に係る光中継器を備えたＬＣｏＳ−ＬＣＤ  ＨＤＲ  ＨＭＤの例示的な構成を概略的に例示したものである。
【図８】図８、９は、本発明に係る像の中継を伴った２つのＬＣｏＳによる変調の例示的な構成を概略的に例示したものであり、図８は、光が中継システムを２回通過する構成を示し、図９は、１回通過中継器を示している。
【図９】図８、９は、本発明に係る像の中継を伴った２つのＬＣｏＳによる変調の例示的な構成を概略的に例示したものであり、図８は、光が中継システムを２回通過する構成を示し、図９は、１回通過中継器を示している。
【図１０】図１０は、本発明に係る別の小型ＨＤＲ表示エンジンを概略的に例示したものであり、２つのマイクロディスプレイ間に、ミラーおよび対物レンズが使用されている。
【図１１】図１１は、本発明に基づき提案された例示的なＨＤＲ  ＨＭＤシステムの１つを概略的に例示したものである。
【図１２】図１２は、ＬＣｏＳのＷＧＦ（ワイヤーグリッドフィルム）カバーの上面図を概略的に例示したものである。
【図１３】図１３は、キューブ型ＰＢＳを概略的に例示したものである。
【図１４Ａ】図１４Ａ〜１４Ｅは、図１１の提案された構成配置について最適化された結果を概略的に例示したものであり、図１４Ａは光学的構成配置を示し、図１４Ｂ〜１４Ｅは、大域的最適化後の光学システム性能を示している。
【図１４Ｂ】図１４Ａ〜１４Ｅは、図１１の提案された構成配置について最適化された結果を概略的に例示したものであり、図１４Ａは光学的構成配置を示し、図１４Ｂ〜１４Ｅは、大域的最適化後の光学システム性能を示している。
【図１４Ｃ】図１４Ａ〜１４Ｅは、図１１の提案された構成配置について最適化された結果を概略的に例示したものであり、図１４Ａは光学的構成配置を示し、図１４Ｂ〜１４Ｅは、大域的最適化後の光学システム性能を示している。
【図１４Ｄ】図１４Ａ〜１４Ｅは、図１１の提案された構成配置について最適化された結果を概略的に例示したものであり、図１４Ａは光学的構成配置を示し、図１４Ｂ〜１４Ｅは、大域的最適化後の光学システム性能を示している。
【図１４Ｅ】図１４Ａ〜１４Ｅは、図１１の提案された構成配置について最適化された結果を概略的に例示したものであり、図１４Ａは光学的構成配置を示し、図１４Ｂ〜１４Ｅは、大域的最適化後の光学システム性能を示している。
【図１５Ａ】図１５Ａ〜１５Ｇは、すべてのレンズが市販レンズと合わせられた図１４Ａのシステムの最適化された結果を概略的に例示したものであり、図１５Ａは光学的構成配置を示し、図１５Ｂ〜１５Ｇは光学システム性能を示している。
【図１５Ｂ】図１５Ａ〜１５Ｇは、すべてのレンズが市販レンズと合わせられた図１４Ａのシステムの最適化された結果を概略的に例示したものであり、図１５Ａは光学的構成配置を示し、図１５Ｂ〜１５Ｇは光学システム性能を示している。
【図１５Ｃ】図１５Ａ〜１５Ｇは、すべてのレンズが市販レンズと合わせられた図１４Ａのシステムの最適化された結果を概略的に例示したものであり、図１５Ａは光学的構成配置を示し、図１５Ｂ〜１５Ｇは光学システム性能を示している。
【図１５Ｄ】図１５Ａ〜１５Ｇは、すべてのレンズが市販レンズと合わせられた図１４Ａのシステムの最適化された結果を概略的に例示したものであり、図１５Ａは光学的構成配置を示し、図１５Ｂ〜１５Ｇは光学システム性能を示している。
【図１５Ｅ】図１５Ａ〜１５Ｇは、すべてのレンズが市販レンズと合わせられた図１４Ａのシステムの最適化された結果を概略的に例示したものであり、図１５Ａは光学的構成配置を示し、図１５Ｂ〜１５Ｇは光学システム性能を示している。
【図１５Ｆ】図１５Ａ〜１５Ｇは、すべてのレンズが市販レンズと合わせられた図１４Ａのシステムの最適化された結果を概略的に例示したものであり、図１５Ａは光学的構成配置を示し、図１５Ｂ〜１５Ｇは光学システム性能を示している。
【図１５Ｇ】図１５Ａ〜１５Ｇは、すべてのレンズが市販レンズと合わせられた図１４Ａのシステムの最適化された結果を概略的に例示したものであり、図１５Ａは光学的構成配置を示し、図１５Ｂ〜１５Ｇは光学システム性能を示している。
【図１６】図１６は、図１５ＡのＨＤＲ表示エンジン用に構築された試作品を例示した図である。
【図１７】図１７は、本発明に係るＨＤＲ−ＨＭＤの較正およびレンダリングアルゴリズムを概略的に例示したものである。
【図１８】図１８は、形成される各ＬＣｏＳ画像の光路を概略的に例示したものである。
【図１９】図１９は、本発明に係るＨＭＤの幾何学的較正の手順を概略的に例示したものである。
【図２０】図２０は、本発明に係る画像アライメントアルゴリズムのフローチャートを概略的に例示したものである。
【図２１】図２１は、図２０のアルゴリズムに係るＬＣｏＳ１画像Ｌ１およびＬＣｏＳ２画像Ｌ２の射影を概略的に例示したものである。
【図２２】図２２は、図２０のアルゴリズムがいかに各ＬＣｏＳ画像に作用するかの一例を概略的に例示したものである。
【図２３】図２３は、２つのディスプレイ上に処理後のＬＣｏＳ画像を同時に表示したときの、グリッド画像のアライメント結果を概略的に例示したものである。
【図２４Ａ−２４Ｂ】図２４Ａ〜２４Ｃは、残存アライメント誤差を概略的に例示したものであり、図２４Ａ、２４Ｂは、例示的な試験パターンを示し、図２４Ｃは、図２４Ｂに示した円形サンプリング位置に関する残存誤差のプロットを示している。
【図２４Ｃ】図２４Ａ〜２４Ｃは、残存アライメント誤差を概略的に例示したものであり、図２４Ａ、２４Ｂは、例示的な試験パターンを示し、図２４Ｃは、図２４Ｂに示した円形サンプリング位置に関する残存誤差のプロットを示している。
【図２５】図２５は、区分的三次多項式を使って内挿されたトーン応答曲線を示したものである。
【図２６】図２６は、本発明に係るＨＤＲ  ＨＭＤの放射輝度較正の手順を示したものである。
【図２７Ａ−２７Ｂ】図２７Ａ〜２７Ｄは、図２６の手順のさらに別の態様を示したものであり、図２７Ａは、捉えられたＨＭＤ画像の絶対輝度値を示し、図２７Ｂは、カメラ固有の放射輝度を示し、図２７Ｃは、ＨＭＤ固有の放射輝度を示し、図２７Ｄは、補正された均一性を示している。
【図２７Ｃ−２７Ｄ】図２７Ａ〜２７Ｄは、図２６の手順のさらに別の態様を示したものであり、図２７Ａは、捉えられたＨＭＤ画像の絶対輝度値を示し、図２７Ｂは、カメラ固有の放射輝度を示し、図２７Ｃは、ＨＭＤ固有の放射輝度を示し、図２７Ｄは、補正された均一性を示している。
【図２８】図２８Ａ、２８Ｂは、アライメントおよび放射輝度レンダリングアルゴリズムの双方を処理した後、ＬＣｏＳ１およびＬＣｏＳ２に表示された一対のレンダリング済み画像を示したものである。図２８Ｃは、背景の均一性補正の結果を示したものである。
【図２９】図２９は、本発明に係るＨＤＲ画像の放射輝度レンダリングアルゴリズムを示したものである。
【図３０】図３０は、本発明に係るＨＤＲ画像の放射輝度レンダリングアルゴリズムを使って計算されるトーン応答曲線を示したものである。
【図３１−１】図３１は、異なるローパスフィルターによるダウンサンプリング後のターゲット画像とその周波数領域を示したものである。
【図３１−２】図３１(続き)は、異なるローパスフィルターによるダウンサンプリング後のターゲット画像とその周波数領域を示したものである。
【図３１−３】図３１(続き)は、異なるローパスフィルターによるダウンサンプリング後のターゲット画像とその周波数領域を示したものである。
【図３１−４】図３１(続き)は、異なるローパスフィルターによるダウンサンプリング後のターゲット画像とその周波数領域を示したものである。
【図３１−５】図３１(続き)は、異なるローパスフィルターによるダウンサンプリング後のターゲット画像とその周波数領域を示したものである。
【図３２Ａ−３２Ｂ】図３２Ａ〜３２Ｄは、トーンマッピングした後の元のターゲットＨＤＲ画像（図３２Ａ）と、ＨＤＲおよびＬＤＲ画像の表示とを示したものである。
【図３２Ｃ−３２Ｄ】図３２Ａ〜３２Ｄは、トーンマッピングした後の元のターゲットＨＤＲ画像（図３２Ａ）と、ＨＤＲおよびＬＤＲ画像の表示とを示したものである。
【発明を実施するための形態】
【００１３】
本願発明者らは、直視型デスクトップ用途の高ダイナミックレンジ（ＨＤＲ）ディスプレイ分野の技術において、何らかのハードウェアソリューションが検討されており、可能性としてＨＤＲディスプレイ実現に向けた最も単純な方法は実用的に表示可能な最大輝度レベルの増加と、ディスプレイピクセルの色チャネルごとにアドレサブルなビット深度の増加とを試みることであろうことを認識している。ただし、本願発明者らは、このアプローチが高振幅、高解像度の駆動電子回路のほか高輝度を有する光源も要することを認識しており、どちらも実用的に妥当なコストで実装するのは容易ではないことを認識している。本発明によれば、別の方法が使用可能であり――２若しくはそれ以上の素子層を組み合わせて――例えば、空間光変調器（ｓｐａｔｉａｌ  ｌｉｇｈｔ  ｍｏｄｕｌａｔｏｒｓ：ＳＬＭｓ）の層――により、ピクセルの生成する光出力を同時に制御できる。このアプローチの要旨において、本願発明者らは、二層の空間光変調方式に基づく直視型デスクトップディスプレイ用のＨＤＲディスプレイ方式に関係した技術の使用を考案した。均一なバックライトを利用する従来の液晶ディスプレイ（ＬＣＤ）とは異なり、このソリューションでは、２つの８ビットＳＬＭによる二層変調および１６ビットダイナミックレンジを達成するため、プロジェクター（投影機）を使って、透過型ＬＣＤ用に空間変調した光源を提供する。また、このソリューションでは二層変調方式の代替実施態様が実証され、この場合、空間可変電気信号で駆動されるＬＥＤアレイを使って、プロジェクターユニットが置き換えられ、空間可変光源がＬＣＤに提供された。図１Ａおよび１Ｂは、前記実証された構成の概略図である。より最近では、ＨＤＲディスプレイ用に多層逓倍変調（ｍｕｌｔｉｐｌｉｃａｔｉｖｅ  ｍｏｄｕｌａｔｉｏｎ）および圧縮ライトフィールド因子分解法の使用が試行された。
【００１４】
特に直視型デスクトップディスプレイ用に開発された前述の多層変調方式は、ＨＤＲ−ＨＭＤシステムの設計に――例えば、２若しくはそれ以上の小型ＳＬＭ層を（バックライト光源およびアイピースとともに）直接スタックする（積み重ねる）ことにより――採用できると考えられるかもしれないが、本願発明者らは、これを説得力をもって実用的に試みる上で、そのような「多層ＳＬＭの直接的なスタッキング」は構造上および動作上の重大な欠点がいくつかあり、それによりＨＤＲ−ＨＭＤシステムが著しく制限され、そのように構成されたＨＤＲ−ＨＭＤシステムは実用的に意味をなさないことを見いだした。
【００１５】
関連技術に残る実用的な問題を例示する上で、本特許出願の教示内容を参照すると、当業者であれば、（図１Ａ、１Ｂを参照）ＨＤＲレンダリング用の個々のＳＬＭ層は互いに近づけて配置する必要があり、光源バックライトは順次連続した２つのＳＬＭにより連続的に変調されることが理解されるであろう。まず、一般的なＳＬＭパネルまたはユニット全体（複数の層、例えばＬＣＤを含む）の物理的構造上、ＳＬＭパネルの変調層は、必然的にパネルの物理的厚さに応じて、数ミリメートルもの間隙により分離される。図１Ａに示した直視型デスクトップディスプレイの場合、２つのＳＬＭ層間の数ミリメートルの間隙は、必ずしもダイナミックレンジの変調に大きな影響を及ぼさない。他方、ＨＭＤシステムでは、各ＳＬＭ層が（ＨＭＤアイピース構成要素の）大きな倍率で光学的に拡大され、ＳＬＭスタック内の１ミリメートルほどの小さい間隙であっても観視空間では大きな間隔につながり、可能であったとしても正確なダイナミックレンジ変調を極めて複雑にする。例えば、ＳＬＭスタック内の１ｍｍの間隙は、横倍率が５０倍のアイピースでは、軸方向に約２．５メートルの間隔につながる。第２に、透過型ＳＬＭは、傾向として低いダイナミックレンジと低い透過率を有する。そのため、スタックした二層での変調は、非常に低い光効率と限られたダイナミックレンジ拡張につながる。第３に、透過型ＳＬＭは、傾向として比較的低いフィルファクターを有し、ＨＭＤで利用されるマイクロディスプレイは通常、数ミクロンもの小さいピクセルを有する（直視型ディスプレイのピクセルサイズ約２００〜５００ミクロンよりはるかに小さい）。その結果、２層ＳＬＭスタックの光透過量は、必然的に深刻な回折作用の問題を抱え、アイピース透過時の倍率により画像の解像度が損なわれてしまう。ＬＥＤアレイのアプローチも著しく非実用的であると容易に理解されるが、これは層間の間隔によるだけでなく、ＬＥＤアレイの解像度の制約によるものでもある。ＨＭＤに使用される一般的なマイクロディスプレイは対角線長が１インチ未満（場合により、わずか数ミリメートル）であり、非常にピクセル密度が高いため、このサイズには数個のＬＥＤしか入らず、空間可変光源変調は非現実的である。
【００１６】
本発明の構想を実装すると、これらの欠点に対処でき、関連技術とは対照的に、ＨＤＲ−ＨＭＤシステムの多層構成を可能にできるだけでなく、機能的にも有利にできる。具体的にいうと、例えば、本発明はその種々の態様において以下に対処できるようになる。
【００１７】
−構成要素である表示層のダイナミックレンジの積により定義されそれと等しい放射照度または輝度のダイナミックレンジを既存の多層ＨＭＤで実現できないという問題は、多層ディスプレイに、光学イメージングシステムを含めることにより解決され、その光学イメージングシステムにおいて、表示層（その層間に前記光学イメージングシステムが設置される）は実質的にゼロの光学的距離により相互分離されるよう構成され、これらの層のうち１つの所与の点から放射される光は、それに一意に対応する別層の点から放射されるものとして観視者に知覚される。
【００１８】
−既存の多層ＨＭＤのダイナミックレンジの値を設定、選択、および／または制御できないという問題は、前記多層ＨＭＤの層間に設けられた光学イメージングシステムを使って、そのような層の１つの像を像面に形成し、別のそのような層を、前記像面自体において、またはそれから離れた分離距離においてのいずれかで設けることにより解決され、前記分離距離は、前記多層ＨＭＤのダイナミックレンジをそのダイナミックレンジの理論的な最大値に対して選択した量だけ低減するよう慎重に決定される。その結果。本発明の実施形態は、ダイナミックレンジの理論的な最大値（所与の多層ＨＭＤシステムで利用可能な）またはそのような理論的な最大値より小さい事前決定された値のどちらかに等しくなるよう選択されたダイナミックレンジ値を呈するよう構成されている。
【００１９】
−低い透過率と高回折アーチファクトの存在という問題は、関連技術の多層ＨＭＤに一般的であり、本発明の多層ディスプレイにおいて、ピクセルフィルファクターが高く反射率が高い反射型ＳＬＭを利用することにより解決される。本発明の一実施形態の隣接しあうＳＬＭ層は、反射性であり、それらの層の１つが別の層に対して実質的に光学的に共役な場合（前記隣接しあうＳＬＭ層間に配置された光学システムを通して）、実質的に光学的に共役な幾何学構造内で光源からの光を空間的に連続して変調するよう構成される。その結果、前記隣接しあうＳＬＭ層は、実質的にゼロの光学的距離だけ互いに分離されているかのように動作する。光源からの光に対し、そのように構成された連続変調は、高ダイナミックレンジ変調をもたらし、同時に、光効率を高く回折アーチファクトを低レベルに保つ。
【００２０】
以下の開示の便宜上、別段の断りがない限り、以下のとおりである。
【００２１】
−表示装置またはシステムが、互いに光学配列された複数の表示ユニットを含み、これらの表示ユニットの１つから放出され若しくはこれにより発せられた光が別の表示ユニットへ（当該他方の表示ユニットが利用者の観視面を画成するよう）伝達または中継されるよう構成されている場合、前記観視面を形成する機能性表示ユニットは、本明細書において「表示層」と呼ぶ。前記表示装置の残りの構成要素である機能性表示ユニット（前記ユニット配列内で前記表示層に先行する）は、変調層と呼ばれ、表示システム全体は、多層表示システムであると理解される。
【００２２】
−第１および第２の面は、前記第１の面上の第１の点が、（選択された光学システムを使うことにより）前記第２の面上の第２の点へと結像されるように前記第２の面がなっており、その逆も成り立つ場合、光学的共役面であると理解され、そのように呼ばれる――言い換えると、物体上の点と、当該物体の像の点とは、光学的に可換である。そのため、物体の領域内にある点と光学的共役面の像内にある点は、光学的共役点という。一例において、光学イメージングシステム（例えば、レンズ）により分離された第１および第２の２Ｄピクセルアレイは、これらのアレイのそれぞれの「物体」および「像」の２つのピクセル間に一意の光学的対応を確立するよう、前記第１のアレイの所与のピクセルが、前記光学システムを通じて、前記第２のアレイの所与のピクセルだけに精確に結像される場合、かつ、その逆が成り立つ場合、互いに光学的に共役であると見なされる。関連する例において、前記光学イメージングシステムにより分離された互いに光学的に共役な第１および第２の２Ｄピクセルアレイの前記前記光学イメージングシステムは、これら２つのアレイの「物体」および「像」の２つのピクセルグループ間に一意の光学的対応を確立するよう、前記第１のアレイの所与のピクセルを前記第２のアレイの識別されたピクセルグループ上に結像するよう構成される。
【００２３】
一般に、本発明の構想に係るＨＭＤ光学システム１０、１５の実装は、２つのサブシステムまたは部品――ＨＤＲ表示エンジン１２および（任意選択的な）ＨＭＤ観視光学系１４、１６（例えば、アイピースまたは光コンバイナ）を含む（図２Ａ、２Ｂ）。ＨＤＲ表示エンジン１２は、拡張コントラスト比でシーンまたは像を生成し提供するよう構成されたサブシステム実際には、前記ＨＤＲ表示エンジン１２は、前記ＨＤＲ表示システム１０、１５の内部または外部の名目像面で、最終的にＨＤＲ像を生成する。前記名目像の位置は、当該システム１０、１５が他の光学系、例えば図２Ａ、２Ｂのアイピース１４、１６と結合されている場合、「中間像」として示している。
【００２４】
前記ＨＤＲ表示エンジン１２は、異なるタイプおよび構成の観視光学系１４、１６と光結合することができる。通常のヘッドマウントディスプレイの分類に従うと、前記ＨＤＲ−ＨＭＤシステム１０、１５は、２つのタイプ、没入型（図２Ａ）およびシースルー型（図２Ｂ）に大別できる。前記没入型では、実世界シーンから来る光の経路を遮る一方、シースルー型光学系では、合成像を実世界のシーンと重ね合わせる。図２Ａ、２Ｂは、前記システムの一般的な構成配置の概略的な例を２つ示したものである。図２Ａは、観視用光学系として従来のアイピース１４を備えた没入型のＨＤＲ−ＨＭＤであり、図２Ｂは、シースルー型ＨＤＲ−ＨＭＤ（特定の自由曲面アイピースプリズム１６を備えた）を例示している。前記ＨＤＲ−ＨＭＤ１０、１５は、言うまでもなく、これら特定の構成に限定されないことを理解すべきである。
【００２５】
本開示全体にわたり、議論の便宜上および簡潔化のため、前記ＨＤＲ−ＨＭＤの（任意選択的な）観視光学系サブシステムは以降で単一レンズ素子として示すが、言うまでもなく種々の複雑な観視光学系構成が実装可能であることが意図されており、そのように理解すべきである。ＨＤＲ表示エンジン構成に実装される基本原理は、別の空間光変調器（ＳＬＭ）または層を変調する１つのＳＬＭまたは層を使用することである。  
【実施例１】
【００２６】
ＨＤＲ表示エンジン：透過型ＳＬＭのスタッキング
多層変調を同時に実現するための最も単純でわかりやすい考え方は、照明光、例えば図３に示すようにバックライト１３の正面に複数の透過型ＳＬＭ  １１（すなわちＬＣＤ１／ＬＣＤ２）をスタックすることである。スタックしたＳＬＭ  ＨＤＲエンジン１７、１９のバックライトは、輝度の高い照明をもたらすはずである。これは単色または多色にでき、透過型ディスプレイ背面のアレイ（ＳＬＭ１用）またはディスプレイ縁部に位置する一体の光源（ＬＥＤ、電球など）のどちらかを伴うことができる。第１のＳＬＭパネルＬＣＤ１は、第２のＳＬＭパネルＬＣＤ２の前に（すなわち、前記バックライト１３により近く）配置でき、光が前記第２のＳＬＭパネルＬＣＤ２に到達する前に、前記バックライト１３からの光を変調するために使用できる。前記中間像面は、像が最初に変調されるＬＣＤ１の位置にある。
【００２７】
図３の構成の利点は、その小型さにある。一般的なＴＦＴ  ＬＣＤパネルの液晶層は、厚さ約１〜約７ミクロンである。電極およびカバーガラスの厚さを考慮しても、ＬＣＤの全体的な厚さはわずか数ミリメートルである。図３の例示的なＨＤＲ表示エンジン１７、１９では単純にスタックされた複数の（最低でも―２つの）ＬＣＤを使用しているため、このＨＤＲエンジンの軌跡の全長は、非常に小さくなる。さらに、ＬＣＤを使うと、節電だけでなく熱発生量の点でも利点がある。
【００２８】
ただし、単純にスタックされたＬＣＤを使用する前記ＨＤＲ表示エンジン１７、１９には、明らかな制約がある。ＬＣＤの基本構造は、偏光フィルターを備えた２つのガラスプレート間に液晶層を含むことが知られている。ＬＣＤの光変調機序は、液晶分子の配向を電気的に駆動することにより、入射光に偏光ベクトルの回転を導入したのち、直線および／または円偏光子を使って一定の偏光状態により光をフィルタリングすることである。入射光は、必然的に、ＬＣＤを透過する際、フィルタリングおよび吸収される。偏光フィルターは、当該装置が「オン」状態（最大光透過率により特徴付けられる）でも、少なくとも入射光の半分を透過中に吸収し、光のスループットに著しい低下を生じる。アクティブマトリクスＬＣＤの一般的な光学的効率は、さらに小さく、１５％未満である。また、透過型ＬＣＤは、濃い、および非常に濃い「グレーレベル」を生成するのが難しいため、透過型ＬＣＤが実証できるコントラストの範囲が狭まってしまう。図３の設定は単独の単一層ＬＣＤよりも高いダイナミックレンジを実現できるが、表示エンジン全体のコントラスト比および照度を拡張する試みは、ＬＣパネルの透過特性により制限される。  
【実施例２】
【００２９】
ＨＤＲ表示エンジン：反射型ＳＬＭ−透過型ＳＬＭ
本発明に係る多層ＨＤＲ表示エンジンの光効率およびコントラスト比を高めるため、反射型ＳＬＭ、例えば液晶オンシリコン（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｏｎ  Ｓｉｌｉｃｏｎ：ＬＣｏＳ）パネルまたはデジタルミラーアレイ（ＤＭＰ）パネルは、透過型ＳＬＭ、例えばＬＣＤと組み合わせて使用できる。ＬＣｏＳは反射型のＬＣディスプレイで、駆動バックプレーンとしてシリコンウエハーを使用し、反射の光強度を調節する。具体的には、液晶材料を使ってシリコンＣＭＯＳチップのコーティングを形成でき、その場合、そのＣＭＯＳチップは、偏光子および液晶をその頂部被覆に備えた反射面として作用する。ＬＣｏＳベースのディスプレイには、透過型ＬＣＤベースのものに勝るいくつかの利点がある。まず、反射型のマイクロディスプレイは、光の透過中に効率を大部分失う透過型（ＬＣＤベース）と比べて、高い変調効率と高いコントラスト比を有する。第２に、基板背面における電子回路の密度がより高いため、ＬＣｏＳは、傾向として比較的高いフィルファクターを有し、通常、より小さいピクセルサイズ（わずか数ミクロンも可能）を有する。そのうえ、ＬＣｏＳはＬＣＤよりも製造が容易で廉価である。
【００３０】
反射型というＬＣｏＳの性質上、一体的にスタックしたＬＣｏＳベースのＳＬＭの構造はもはや実現可能ではない。実際、ＬＣｏＳは自ら発光するマイクロディスプレイ素子ではないため、この素子の高い効率と照度は動作に必要である。さらに、ＬＣｏＳを使った光変調は、液晶の配向を切り替えたのち光を偏光子でフィルタリングして光遅延特性を操作することにより達成される。より高い光効率およびコントラスト比を得るには、光源のすぐ後で偏光子を使って偏光された照明を得るべきである。入射光と反射光の分離は、もう１つの実用的な問題である。偏光ビームスプリッタ（ｐｏｌａｒｉｚｅｄ  ｂｅａｍ  ｓｐｌｉｔｔｅｒ：ＰＢＳ）は、この実施形態において、入力光と変調光を分割し、異なる経路に沿って方向転換させるために使用できる。
【００３１】
図４Ａ、４Ｂは、本発明に係るＬＣｏＳ−ＬＣＤ  ＨＤＲ−ＨＭＤ実施形態の構成配置を示したものである。光源偏光のベクトルの方向に応じ、表示エンジン１１０、１２０の２つの異なる構成が可能である（図４Ａのものと図４Ｂのもの）。光エンジン１１２は、キューブ型ＰＢＳ  １１３であってよい偏光ビームスプリッタ（ＰＢＳ）を通じて、均一な偏光照明をＬＣｏＳ  １１４に提供する。前記光源１１２からの光は、前記ＬＣｏＳ  １１４により変調および反射されて戻ったのち、ＬＣＤ  １１６を透過する。
【００３２】
図４Ａ、４Ｂの実施態様には光源の偏光方向によるわずかな違いがあるものの、拡がった光路は図４Ｃに示すように実質的に同じである。前記光エンジン１１０、１２０が前記ＬＣｏＳ  １１４の位置で均一な照明を提供すると仮定すると（図３の前記バックライト１３と同じ均一さ）、拡がる光路は図３のものと極めて同様になるが、前記エンジン１１０、１２０は、２つのＳＬＭ層１１４、１１６間のはるかに大きな間隔ｄにより特徴付けられる（図４Ｃ）。この距離ｄは、前記ＰＢＳ  １１３のサイズのほか、光線束の寸法に依存する。この大きな間隔のため、ＬＣｏＳ  １１４から出る光線束は、前記ＬＣＤ  １１６上に円状パターンで射影される。この場合、前記ＬＣｏＳ  １１４は、前記エンジン１１０、１２０により発せられる微細構造および／または高い空間周波数情報を伝達する一方、前記ＬＣＤ  １１６は、低い空間周波数情報を表示する。この設定により光効率および固有のコントラスト比の双方が高まるが、回折作用が全体的な結像性能劣化の主な原因の１つとなる。  
【実施例３】
【００３３】
ＨＤＲ表示エンジン：２つの反射型ＳＬＭベースの変調
本発明に係る多層表示ユニットにより得られる光効率およびコントラスト比をさらに高めるには、２つの反射型ＳＬＭ層、例えばＬＣｏＳまたはＤＭＤパネルを、単一のＨＤＲディスプレイで採用することができる。ダブルＬＣｏＳ構成の概略的な構成配置を、図５Ａ、５Ｂに示す。
【００３４】
図５ＡのＨＤＲ表示エンジン１３０を例にとると、ｐ偏光した照明光が光エンジン１１２により発せられたのち、ＬＣｏＳ１層１１４により変調される。偏光の配向は、前記ＬＣｏＳ１層１１４のＬＣによる操作で、ｓ偏光ベクトルへと回転される。そのｓ偏光は、ＰＢＳ  １１３の最大反射軸に一致する。前記ＰＢＳ  １１３により反射される前記ＬＣｏＳ１  １１４からの光線束は、次いでＬＣｏＳ２層１１５により変調され、最終的に観視光学系１３１を透過する。図５ＢのＨＤＲ表示エンジン１４０も同様で、違いとしては、前記光エンジン１１２によりｓ偏光した照明が提供される場合に対応するため、光エンジン１１２およびＬＣｏＳ２層１１５の位置が変化していることなどがある。図５Ｃは、図５Ａ、５Ｂの光トレーンの拡がった光路を示したものである。図４Ａ〜４Ｃの前記ＬＣｏＳ−ＬＣＤ  ＨＤＲ表示エンジン１１０、１２０（前記２つのＳＬＭ層間の分離間隔を延長しただけのもの）と比べて、前記観視光学系１３１と前記ＬＣｏＳ２層１１５間の距離は増している。図５Ａ〜５Ｃの前記ＨＤＲ表示エンジン１３０、１４０内の光路長は、前記ＬＣｏＳ−ＬＣＤタイプ（図４Ａ〜４Ｃ）の２倍であるため、前記観視光学系１３１は、より長い後部焦点距離を有する必要がある（図５Ｃ）。同様に、図４Ａ〜４Ｃの前記ＬＣｏＳ−ＬＣＤ設定の場合のように、この実施形態のＬＣｏＳ１層１１４も高い空間周波数で像を表示することができる一方、ＬＣｏＳ２層１１５は、空間解像度（空間分解能）が低い光だけを変調するよう構成される（点光源によりその上に生成される空間的に拡張された照明パターンに起因する。空間的に拡張された点拡がり関数応答）。
【００３５】
ＨＤＲ表示エンジン：介在する中継システムを伴った２つの変調層
上述の設定では８ビットに対応したダイナミックレンジを超えるダイナミックレンジで像を表示できるが、前記２つのＳＬＭ層間、例えばＬＣｏＳ  １１４／ＬＣＤ  １１６間、ＬＣｏＳ１  １１４／ＬＣｏＳ２  １１５間の有限な距離により、上記の設定では達成できる最大ダイナミックレンジ値に関する制限が生じてしまう。図６Ａを参照すると、２つのＳＬＭ層間の物理的および光学的な間隔ｄが示されており、当業者で図６Ａを見れば、第１のＳＬＭ層（ＳＬＭ１）のピクセルから発せられる光が、空間的に発散する光の円錐（円錐状の光線束）の形態で第２のＳＬＭ層（ＳＬＭ２）に当たり、その頂点が前記第１の層の発光ピクセルにあることが理解されるであろう。このような２表示層システム（表示層が２つあるシステム）では、当該システムの名目（中間）像面がＳＬＭ１にあると仮定すると、ＳＬＭ１の１つのピクセルから来る円錐状の光線束は、円状の領域（対象となる円錐状光線束の「フットプリント」（底面））をＳＬＭ２に形成し、その領域は、ＳＬＭ２層のピクセルを複数（例えば、いくつか若しくは数十）含みうる。グレースケール変調の場合は、そのような円状の「フットプリント」に含まれるＳＬＭ２の全ピクセルが、ＳＬＭ１の同じピクセルからの光出力を変調（に作用）する（任意選択で、同時に）。隣接しあうＳＬＭ１ピクセルから発せられる隣接しあう光線束の場合、ＳＬＭ２層上の各前記射影領域は必然的に互いに重なり合い、ＳＬＭ２に形成される最終的な（変調された）像にクロストーク、縁部の影、および／またはハロー（縁部の明部）を生じる。
【００３６】
本発明の構想によれば、上術の例の実施形態、例えば図４Ａ〜５Ｃのものに伴う問題に対処するため、ＨＤＲ表示エンジン２００の前記２つの隣接しあうＳＬＭ層であるＳＬＭ１、ＳＬＭ２間に光中継システム２１０が導入される。このような光中継器２１０の横倍率は、前記隣接しあう表示層のうちの第１の表示層ＳＬＭ１のピクセルと第２の表示層ＳＬＭ２のピクセルとの間で１対１の光学イメージング（光学的結像）および対応を実現するよう、慎重に選択される。例えば、図６Ｂを参照すると、前記表示層ＳＬＭ１およびＳＬＭ２が実質的に同一で、どちらも同サイズのピクセルからなる等寸法のアレイで表される場合、前記中継システム２１０の倍率は実質的に１になるよう選択され、これにより前記ＳＬＭ１、ＳＬＭ２のうち１つのピクセルは、これら２つのＳＬＭ層の他方のピクセルに結像される（１対１の対応で）。別の例において、前記ＳＬＭ２アレイの各ピクセルの各寸法がそれに対応する前記ＳＬＭ２アレイのピクセルの２倍である場合、前記光中継システム２１０は、実質的に２に等しい倍率で選択される。図６Ｂに示す中継器の構成配置は、複数の変調層に拡張できる。図６Ｃに例示するように、２つの変調層、ＳＬＭ１およびＳＬＭ２は、共有される中継システム２１０により結像可能で、前記表示層、例えばＳＬＭ３で、またはそれに隣接して、ＳＬＭ１およびＳＬＭ２に２つの共役像を生成する。その結果、それらの変調器層ＳＬＭ１、ＳＬＭ２は、連続して前記表示層ＳＬＭ３を変調し、さらに前記表示エンジン２０１のダイナミックレンジを拡張する。
【００３７】
表示層のＬＣの作用を最も効率的にするには、選択した光中継システムを像空間および物体空間の双方でテレセントリックにして――幾何学的近似を考慮し――ＳＬＭ１の点で発せられた光円錐がＳＬＭ２上の１点に収束し、その逆も成り立つようにして前記中継システム全体にわたりＳＬＭ１、ＳＬＭ２の相互結像を実現することが好ましい。その結果、前記表示層のピクセル間の１対１の空間的マッピングが達成されて変調クロストークが回避される。そのようなテレセントリック構成の作用の結果として、ＳＬＭ１として形成される「中間像」の画像がＳＬＭ１の面と光学的に共役な面へ光学的に中継される際、観視光学系に向かって、よりその近くでの「中間像」面の再配置が効果的になり、観視光学系に必要な背面焦点距離（ｂａｃｋ  ｆｏｃａｌ  ｄｉｓｔａｎｃｅ：ＢＦＤ）が短くなるという結果にもつながる。
【００３８】
前記ＳＬＭ２表示層の物理的な位置が前記ＳＬＭ１層と光学的に共役な面上になるよう選択される場合、上述した１対１対応ピクセル結像という条件下では、光中継システムにより分離されたこれらＳＬＭ１およびＳＬＭ２層を含む表示エンジンの全体的なダイナミックレンジは、最大化され、この場合に達成可能な最大ダイナミックレンジに等しくなる――すなわち、個々の前記ＳＬＭ１およびＳＬＭ２層のダイナミックレンジの積になる。
【００３９】
さらに図６Ｂを参照すると、前記ＳＬＭ２表示層の物理的な位置が前記ＳＬＭ１層と光学的に共役な面（ＳＬＭ１像）の位置から逸脱する（分離される）場合、ＳＬＭ１の所与のソースピクセルから発せられる光の一部は、前記ＳＬＭ１のソースピクセルに対応するＳＬＭ２のピクセルへだけでなく、何らかの隣接ピクセルへも中継されることが理解されるであろう（すなわち、前記中継システム２１０により第２の表示層ＳＬＭ２上に形成される前記第１の表示層ＳＬＭ１の所与のピクセルの像のフットプリントは、図６Ａに示した状況の類推により、対応する前記第２の表示層ＳＬＭ２のピクセルよりも大きい）。これが、達成可能な最大範囲に対する、当該システムの全体的な統合ダイナミックレンジの低下につながる。そのため、図６Ｂに概略的に示した当該装置の利用者は、前記統合ダイナミックレンジの決定値がどの程度、達成可能な最大値から変化するかを選択でき、また層ＳＬＭ１、ＳＬＭ２の位置を互いの面に光学的に共役にするかどうかを選択することができる。一般に、隣接しあう表示層を互いに分離および／または結像する光中継システムは、屈折光学式だけでなく、反射屈折式（カタディオプトリック）または反射光学式のものを選んでもよいことが理解されるであろう。  
【実施例４】
【００４０】
中継器を伴うＬＣｏＳ−ＬＣＤ表示エンジン
上記の図６Ｂ、６Ｃの構想（光中継システム２１０により、前記第１の表示層からの中間像を前記第２の表示層上に光学的に中継すること）は、前記ＬＣｏＳ−ＬＣＤシステムを使用して構成されたＨＤＲ表示エンジンに実装できる。図７Ａ、７Ｂは、２つの関連する実施態様を例示したものである。
【００４１】
例１に関して説明した光エンジンのように、例４の光エンジンにも、複雑な照明ユニットを含めて均一な照明を提供することができ、またはシステム能力、単純さ、低いエネルギー消費量、小サイズ、および長い耐用期間のために偏光子を伴うＬＥＤを１つだけ提供することもできる。本発明に係るＬＣｏＳ−ＬＣＤ  ＨＤＲエンジン１５０の場合、ＬＥＤが発する光１１２ａはｓ偏光するよう操作でき、照明光がＰＢＳ  １１３により反射されてＬＣｏＳ  １１４に入射するようにできる（図７Ａ）。前記ＬＣｏＳ  １１４は４分の１波長板とミラーの組み合わせとして作用するため、ｓ偏光した入射光をｐ偏光した反射光に変換し、次にそのｐ偏光した光は前記ＰＢＳ  １１３を透過する。前記ＬＣｏＳ  １１４で変調された像をＬＣＤ  １１６と結合するため、再帰反射器、例えばミラー１１１により光線束をコリメートおよび再帰反射できる。４分の１波長板（ｑｕａｒｔｅｒ  ｗａｖｅ  ｐｌａｔｅ：ＱＷＰ）をコリメータ１１７と前記ミラー１１１との間に挿入すると、前記４分の１波長板（ＱＷＰ）を２回通過させることにより、ｐ偏光した光を変換して、前記ＰＢＳ  １１３の高い反射軸に対応するｓ偏光に戻すようにできる。前記変調されたＬＣｏＳ  １１４の像は、最終的に前記ＬＣＤ  １１６の位置へ中継され、当該ＬＣＤ  １１６により変調される。図７Ｂの前記ＬＣｏＳ−ＬＣＤ  ＨＤＲエンジン１６０は図７Ａの構成と同様で、図７Ａとの違いは、透過中の光の偏光方向である。図７Ａ、７Ｂは、互いに偏光方向が真逆である。そのため、図７ＢでＬＥＤが発する光１１２ｂはｐ偏光している一方、図７ＢでＬＣＤ  １１６に入射する最終的な光線束はｓ偏光している。図７Ａと７Ｂのどちらの構成がより実現可能かは、具体的な実施形態における各構成要素の特徴、例えばＬＥＤの輝度、ＬＣＤ偏光フィルターの方向などに依存する。
【００４２】
光路を２回折り畳むことにより、反射型ＬＣｏＳ  １１４および透過型ＬＣＤ  １１６をＳＬＭとして備えた小型ＨＤＲ表示エンジン１５０、１６０が本発明に基づいて提供される。前記スタックされたＬＣＤ  ＨＤＲエンジン、例えば図３のものと比べ、反射型マイクロディスプレイ１１４の性質により、発光効率、最高の解像度、およびシステムコントラスト比が著しく改善される。さらに、図７Ａ、７Ｂの構成において、前記ＬＣｏＳの像は前記ＬＣＤ  １１６の位置へ中継された。２つのＳＬＭ間に必然的に小さい間隙を有する前記スタックされたＬＣＤと比べ、図７Ａ、７Ｂの構成は、２つのＳＬＭ（ＬＣｏＳ  １１４およびＬＣＤ  １１６）間に光学的にゼロの間隙を実現できた。同じ空間的位置で像を変調すると、理論的により正確なグレースケール操作をピクセルごとに実現でき、影、ハロー、またはハイライト・アーチファクトのないＨＤＲ像が得られる。
【００４３】
追加例：像の中継を伴う２つのＬＣｏＳによる変調
さらにシステム光効率を高めるため、二光路中継器アーキテクチャを備えた２つのＬＣｏＳパネルが本発明に基づいて提供され、図８、９は異なるシステム設定を示している。図８において、光は中継システム２１０を２回透過する。ＬＣｏＳ１  １１４がまず像を変調すると、その変調された像はＬＣｏＳ２  １１５の位置に中継され、ＬＣｏＳ２  １１５により再び変調される。ＬＣｏＳ１、ＬＣｏＳ２の像は、破線の枠１１９で示している。偏光状態は、最終的な像が左へ中継されてＨＤＲ表示エンジン１７０を出るよう、ＬＣｏＳ２  １１５による反射後に変化する。この構成において、ＬＣｏＳ２  １１５は高周波数成分を表示し、ＬＣｏＳ１  １１４は低周波数成分を表示する。ＬＣｏＳ２  １１５の各ピクセルは、再マッピング構造により、対応するＬＣｏＳ１  １１４のピクセルを変調できる。
【００４４】
この構成の利点は、アイピース設計用に長い背面焦点距離が不要なことであり、これは中間像が前記ＨＤＲ表示エンジン外の位置に中継されるためである。像と観視光学系間の距離は、数ミリメートルほどにも短くできる。それでも、この構成の観視光学系に関する要件は緩かったが、ＬＣｏＳ１  １１４の像は２回再結像する必要があり、それにより像の光路が２倍になって波面誤差が２回導入されるため、中継光学系は優れた性能を有する必要がある。以上のすべての設定と比べ、中間像の質は他の構成ほど良好にはならず、これはどちらのＳＬＭ像ももう１回中継され、さらなる波面変形が導入されるためである。前記中継光学系の性能が理想的でない場合、残存収差は観視光学系により補正しなければならなくなる。
【００４５】
図９は、１回通過中継器を備えたダブルＬＣｏＳ構成配置を示したものである。ＬＣｏＳ２は高周波数成分を表示し、ＬＣｏＳ１は低周波数成分を表示する。像中継器の前に像を変調する図８の構成とは異なり、光源はまずＬＣｏＳ１にマップされたのち、ＬＣｏＳ１により変調されてＬＣｏＳ２の位置へ中継される。図８のような中間像の再結像と比べて、この設定では、中継光学系の２回通過を回避し、中継システムにより導入される収差作用を低減した。
【００４６】
ただし、単一中継通過でシステム性能は向上するが、前記ＨＤＲエンジン内のＬＣｏＳ２に中間像があるため、観視光学系の背面焦点距離を長くする必要がある。背面焦点距離は、ＰＢＳの寸法だけでなくシステムＮＡに強く依存する。これにより、観視光学系の構成が制限され、観視光学系の設計難度が高まった。
【００４７】
図１０は、別の小型ＨＤＲ表示エンジンを示したものである。２つのマイクロディスプレイ間に中継システムを使う代わりに、この構成では、二つ折りにした中継システムとして扱えるミラーおよび対物レンズを使った。ＬＣｏＳ１は低解像度の像を表示し、ＬＣｏＳ２は高空間解像度の像を表示する。ＬＣｏＳ１は前記光エンジンにより照射され、その光エンジンの光路は別のＰＢＳ  ２１３により折り畳まれた。まず、光はＬＣｏＳ１に照射され、次にキューブ型ＰＢＳを透過して、前記対物レンズによりコリメートされた。次いで、前記ミラーからの反射後、前記ＰＢＳ  １１３により反射され、４分の１波長板を通過した。二つ折り中継システムを使って、ＬＣｏＳ１は、像が２つのＬＣｏＳによりそれぞれ２回変調されるようＬＣｏＳ２の位置へ中継された。
【００４８】
この設定の利点は、システムを著しく小型にできるということで、これは、前記キューブ型ＰＢＳにより光路を折り畳むだけでなく、当該中継システムを元の長さのわずか半分に短くしているためである。ただし、この双方の構成の欠点は、観視光学系（アイピース）に長い背面焦点距離を要することで、前述のように、より多くの難点が観視光学部品の設計に導入されてしまう。
【００４９】
表１は、種々のＨＤＲ表示エンジン設計の主な特徴を要約したものである。観視光学系ＢＦＤおよびＨＤＲエンジン光学系の性能間のトレードオフ（二律背反的な関係）を見ることができる。その理由は、光学系を導入すると中間像の位置を変えることになるが、収差も導入されてしまうということであった。光効率は、反射型ＳＬＭを導入することで有意に改善された。変調能力は、実際のコントラスト比拡張を表すが、それがアライメント精度により損なわれてしまった。これは、マイクロディスプレイの回折作用を最小化することで重複する回折領域が小さくなり、変調能力が改善できるためであったが、これにより、２つのＳＬＭの対応するピクセルとの高精度のアライメントも必要になった。全体的に、各設計は独自の利点と欠点を有する。特定のＨＭＤシステムに対するＨＤＲ表示エンジンの選択は、システムの小型さ、照明タイプ、ＦＯＶなど、全体的なシステム仕様に応じて行うべきである。
【表１】
2020521174.tif 000003
表１：種々のＨＤＲ  ＨＭＤタイプの比較  
2020521174.tif 000004
表１（続き）：種々のＨＤＲ  ＨＭＤタイプの比較
特定の実施形態の実装
本明細書に開示する本発明の一実施形態の例を詳しく示す前に、本発明がこの特定の応用および構成に限定されない旨を明記するのは価値あることであり、これは本発明が他の実施形態にも適用できるためである。
【００５０】
本明細書で使用するいくつかの用語の意味を示すことは有用であろう。
【００５１】
ＨＤＲ−ｈｉｇｈ  ｄｙｎａｍｉｃ  ｒａｎｇｅ：高ダイナミックレンジ
ＨＭＤ−ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ：ヘッドマウントディスプレイ
ＳＬＭ−ｓｐａｔｉａｌ  ｌｉｇｈｔ  ｍｏｄｕｌａｔｏｒ：空間光変調器
ＥＦＬ−ｅｆｆｅｃｔｉｖｅ  ｆｏｃａｌ  ｌｅｎｇｔｈ：有効焦点距離
ＦＯＶ−ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ：視野
ＮＡ−ｎｕｍｅｒｉｃａｌ  ａｐｅｒｔｕｒｅ：開口数、Ｆ／数値−ｆ値
ＬＣｏＳ−ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｏｎ  Ｓｉｌｉｃｏｎ：液晶オンシリコン、ＬＣＤ−ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ：液晶ディスプレイ
ＰＢＳ−ｐｏｌａｒｉｚｅｄ  ｂｅａｍ  ｓｐｌｉｔｔｅｒ：偏光ビームスプリッタ、ＡＲ−ｃｏａｔｉｎｇ−ａｎｔｉ−ｒｅｆｌｅｃｔ  ｃｏａｔｉｎｇ：反射防止コーティング
ＲＧＢ  ＬＥＤ−ＲＧＢ  ｌｉｇｈｔ  ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ：ＲＧＢ発光ダイオード、ＦＬＣ−Ｆｅｒｒｏｅｌｅｃｔｒｉｃ  ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ：強誘電性液晶
ＷＧＦ−ｗｉｒｅ  ｇｒｉｄ  ｆｉｌｍ：ワイヤーグリッドフィルム
ＯＰＤ−ｏｐｔｉｃａｌ  ｐａｔｈ  ｄｉｆｆｅｒｅｎｃｅ：光路差
ＭＴＦ−ｍｏｄｕｌａｔｉｏｎ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ：変調伝達関数
図１４は、本発明に基づき提案されたＨＤＲ  ＨＭＤシステムの１つの概略図である。上側の破線の枠内に示している構成要素は、ＨＤＲ表示エンジン部分であり、これを使ってＨＤＲ像を変調および生成する。この構成は図９に示したものと同様で、中継器の設計要件は中程度だが、アイピースに長い背面焦点距離を要する。この設計が図９のものよりも好ましい点は、光エンジン（バックライトとＷＧＦを備えた）がＬＣｏＳ１に内蔵されているため、光源経路を考慮する必要がなく、ＨＤＲエンジンをより小型にし、ＨＤＲ表示エンジンの照明設計に必要な考慮事項を低減していることである。下の破線枠は観視光学系を示しており、これは観視光学系の実施形態のいずれであってもよい。我々のシステムでは、２つのマイクロディスプレイにより変調された中間像を拡大できる市販のアイピースを使用した。
【表２】
2020521174.tif 000005
表２  
ＬＣｏＳの仕様
この特定の実施形態で使用されたＳＬＭはＦＬＣｏＳ（強誘電性ＬＣｏＳ）で、ＣＩＴＩＺＥＮ  ＦＩＮＥＤＥＶＩＣＥ  ＣＯ，ＬＴＤにより製造され、Ｑｕａｄ  ＶＧＡフォーマットの解像度１２８０×９６０を有する。パネルの有効面積は８．１２７×６．０９５ｍｍで、対角線長は１０．１６ｍｍである。ピクセルサイズは６．３５μｍである。前記強誘電性液晶には、切り替え時間の非常に短い強誘電特性を呈するキラルスメクティックＣ相を使用した。これにより、非常に高速なフレームレート（６０Ｈｚ）で忠実度の高いカラーシーケンシャル能力を有する。タイムシーケンシャルＲＧＢ  ＬＥＤをＦＬＣｏＳと同期してシーケンシャルな照明を提供した。ＷＧＦは、前記ＦＬＣｏＳパネルの頂部において一定の曲率で覆って、均一な照明を提供し、照明光と出射光を分離した。図１５は、ＬＣｏＳ１の頂部ＷＧＦカバーの図を示したものである。ＲＧＢ  ＬＥＤが頂部カバー内部にパッケージ化されている。このＨＤＲ表示エンジンでは、単一の照明光を変調する２つのＳＬＭを使用し、このシステムでは光源を１つだけ使用した。そのため、この設計において、ＬＣｏＳ２は、ＷＧＦカバーがはずされＲＧＢ  ＬＥＤが無効化された状態で使用され、ＬＣｏＳ１内では、前記ＷＧＦカバーおよびＲＧＢ  ＬＥＤ双方がシステム照明として保たれた。表２は、本発明で使用したＬＣｏＳ仕様の要約を示している。
【００５２】
前記設計ではキューブ型ＰＢＳが使用された。図１３は、キューブ型ＰＢＳの概略図を示したものである。このＰＢＳが使用されたのは、入射光の２つの偏光成分を別個に変調する必要があったためである。このＰＢＳは、２つの直角プリズムから構成された。誘電体ビームスプリッタコーティングは、入射光線を透過部分および反射部分に分離するために使用し、斜面にコーティングされた。このキューブ型ＰＢＳで、偏光光線を２つの直線・直交偏光成分、ｓ偏光およびｐ偏光した成分にそれぞれ分離することができた。ｓ偏光した光は入射光方向に対して９０度反射され、ｐ偏光した光は伝播方向が変化することなく透過した。反射面が２つあるためゴースト像が現れるプレート状のビームスプリッタと比べ、当該キューブ型ＰＢＳは、ＡＲコーティングを直角側に有し、ゴースト像を防げるほか、そのティップおよびティルトに起因する光路変位を最小化する能力を有する。この設計に使用したＰＢＳは、Ｎ−ＳＦ１基板を有し、寸法１２．７ｍｍであった。透過率と反射率はどちらも９０％を超え、消光比は４２０〜６８０ｎｍの波長範囲で１０００：１を超えるものであった。この設計にはキューブ型ＰＢＳを採用したが、他種のＰＢＳ、例えばワイヤーグリッドタイプのものも本発明に適用可能である。
【００５３】
光中継システムのテレセントリシティ
倍率１のダブルテレセントリック中継システムを、ＨＤＲ表示エンジンシステムにおいて設計した（図１１）。この中継システムを使って、２つのマイクロディスプレイ、ＬＣｏＳ１、ＬＣｏＳ２の名目像面を光学的にアライメントし、重ね合わせた。ダブルテレセントリックは、３つの理由からこのシステムに重要な要件である。第１に、テレセントリシティにより光円錐がＬＣｏＳ２の像面に垂直になる。ＬＣｏＳ２の像面位置において照明を均一にするには、テレセントリシティが必要である。第２に、ＬＣｏＳ１／ＬＣｏＳ２の性能は、その視角により制限されていた。すなわち、視覚的性能または変調効率が良好なのは、限られた観視円錐（ｖｉｅｗｉｎｇ  ｃｏｎｅ）内のみであった。各々の変調機能を最大限に活用するには、ＬＣｏＳ１からの入射光およびＬＣｏＳ２像面への放射光の双方をその観視円錐内に制限しなければならない。第３に、前記ＬＣｏＳパネルは、現実問題として正確に配置されないかもしれない。構築中、それぞれ設計された公称位置に対して、物理的位置がわずかにずれる可能性がある。前記ダブルテレセントリック中継システムでは、わずかな変位があっても、均一な倍率を保つことができた。
【００５４】
最適化の考慮事項
ＨＤＲ表示エンジン設計の仕様は、上述したすべての分析に基づいて決定された。ＬＣｏＳは、１０．１６ｍｍの対角線長を有し、これは全視野±５．０８ｍｍに対応する。最適化用の物体高さサンプルは、０ｍｍ、３．５ｍｍ、および５．０８ｍｍであった。ＬＣｏＳの視角は±１０°である。物体空間ＮＡは０．１２５に設定し、０．１７６まで拡大できる。システム倍率は、ダブルテレセントリック構成で‐１に設定した。歪曲収差は３．２％未満と設定し、残存する歪曲収差は後でデジタル補正できる。サンプリングした波長は656nm、587nm、および486nmで、加重係数は等しくした。表３は、システム設計仕様の要約を示したものである。また、この設計では市販のレンズが好適とされた。
【表３】
2020521174.tif 000006
【００５５】
図１４Ａ〜１４Ｅは、前記システムの最適化結果を示したものである。図１４Ａは、大域的最適化後のＨＤＲ表示エンジンの構成配置であった。図１４Ａでは、素子１が上記のＮ−ＳＦ１基板を伴うキューブ型ＰＢＳであった。初期試行では色収差が主な影響と見られ、この初期試行ではこれにより画質が損なわれた。システム色収差を補正するため、異なる波長について横方向および長手方向の焦点シフトのバランスをとるため、３つの市販ダブレット（図１４Ａ、ダブレット２、３、４）が絞りの両側に適切な配向で事前設定された。
【表４】
2020521174.tif 000007
【００５６】
収差をさらに低減するため、２つのメニスカス形状の市販シングレットも、前記ＰＢＳとダブレット２との間、および前記絞りとダブレット３との間にそれぞれ設けられた（表４を参照）。前記シングレットの形状、配向、および位置は、当該システムの奇数収差（ｏｄｄ  ａｂｅｒｒａｔｉｏｎｓ）、例えばコマ収差および歪曲収差を制御するため、開口絞りに対して略鏡面対称である。残り５つのシングレット素子は、表４に示したように形状、厚さ、および半径を変更できるよう設定された。ストックレンズ（市販レンズ）に合わせるため、これらの素子は、大域的最適化中、最も一般的な形状および材料を有するよう制約された。図１４Ｂ〜１４Ｅは、大域的最適化後のシステム性能を示したものである。図１４Ｂでは、前記３つのサンプリングフィールドのＯＰＤを示している。ＯＰＤは、最適化後、約１．２波長が残された。図１４Ｃは、最適化後、３．２％未満だった残存歪曲収差を示したものである。図１４Ｄ、１４Ｅは、それぞれスポットダイヤグラムおよびＭＴＦを示したものである。ＭＴＦは、カットオフ周波数７８．７ｃｙ／ｍｍで４０％を超えた。
【００５７】
図１５Ａ〜１５Ｇは、すべてのレンズ（図１５Ａの４０１、４０２、４０３）が市販レンズと合わせられた後の最終的な最適化結果を示したものである。前記ＲＧＢ  ＬＥＤの主放射波長と、人間の視覚特性の色覚とを合わせるため、サンプリングされるシステム波長として４７０ｎｍ、５５０ｎｍ、および６１０ｎｍを１：３：１の加重係数で設定した。図１５Ａの素子４０３は、ＷＧＦで覆われたＬＣｏＳ１に十分な作業距離を残すよう設定された。図１５Ｂ〜１５Ｇは、最適化後の最終的な性能を示したものである。ＯＰＤは非常にフラットで、全視野でわずかな色収差を伴うのみであった。歪曲収差は、図１５Ｃに示すように１．５２％未満であった。図１５Ｅは、システムＭＴＦを示したものである。ＭＴＦは、カットオフ周波数で２５％を超え、視野中心でのＭＴＦは７８．７ｃｙ／ｍｍで４５％を超えた。図１５Ｆは、焦点の色変化を示したものである。波長による焦点シフトは十分に補正されている。図１５Ｇは、フィールドに依存する相対照度を示したものである。この相対照度は、視野全体にわたり９４％を超えた。
【００５８】
本発明の一実施形態に基づき構成された前記ＨＤＲ表示エンジンの試作品
本発明では、前記ＨＤＲ表示エンジンの光学機械的な設計も提案された。機械的な部分における特定の設計は、開口絞りの位置にある調節可能なアパーチャであった。この部分は、溝（ｇｒｏｏｖｅ）から取っ手で容易に着脱可能であった。より小さい若しくは大きいアパーチャをこの素子に加えることにより、前記システムのＮＡは、システムのスループットと性能の最適なバランスを求めて０．１２５から０．１７６まで変えることができた。これらの機械部品は、次いで３Ｄプリンティング技術により製造された
図１６は、図１５Ａの市販レンズを用いた図１４Ａの設計に基づく前記ＨＤＲ表示エンジン用に構築された試作品を示したものである。２つのＬＣｏＳ（ＬＣｏＳ１、ＬＣｏＳ２）が各々の配向および方向を微調整するための２つのノブによる調整で、小型光学プラットフォーム上に固定された。前記２つのＬＣｏＳは、中継管をはさんで向かい合わせにセットされた。これら２つのＬＣｏＳおよび中継管は、光学レール上にアライメントされた。前記ＨＤＲ表示エンジンの性能を試験するため、前記ＰＢＳから反射された光線が通過する当該ＰＢＳの横の位置に市販アイピースが置かれた。焦点距離１６ｍｍのレンズを備えたマシンビジョンカメラが、性能評価のため当該システムのアイボックスに置かれた。
【００５９】
ＨＤＲ−ＨＭＤの較正およびレンダリングアルゴリズム
前記ＨＤＲ−ＨＭＤシステムの実装後、ＨＤＲ画像レンダリングアルゴリズムが開発され（図１７）、図１６の前記試作品を使って適用された。前記システム固有の機序を明らかにするには、提案されたこのＨＤＲ  ＨＭＤの幾何学的パラメータおよび放射パラメータの双方を較正しなければならない。幾何学的較正は、空間における２つの画像の相対位置だけでなく、個々の歪曲収差係数も最適化することを目的としている。ピクセルレベルで精細な画像変調を得るには、前記２つのＬＣｏＳの画像が完全に重なり合わなければならない。図１６の前記ＦＬＣｏＳはわずか０．４インチであったが、画像の歪みは、アイピースによる拡大後、目視可能になった。この場合、小さい変位でさえ、目視可能なゴースト像とアーチファクトを生じうる。ピクセルレベルのアライメントは、前記２つのＬＣｏＳの相対位置を手作業で調整するだけでは達成困難であり、アライメント誤差をデジタル補正するには、幾何学的較正により相対的な画像位置を得る必要があった。さらに、当該システム内の残存歪曲収差も較正しなければならない。前記２つのマイクロディスプレイの画像は異なる光路を経ているため、それら２つの画像の歪曲収差係数は異なるはずである。わずか数十ピクセルの歪曲収差誤差ではあったが、それらを合わせた画像性能は、２つのＬＣｏＳの対応しあうピクセル間の位置変化により、画像の縁部では著しく損なわれるおそれがある。
【００６０】
放射パラメータの較正およびレンダリングアルゴリズムは、適切な放射輝度分布およびピクセル値を求めるため実施される。ＨＤＲ画像は実際にはグレースケールレベルではなく絶対的な照度値を格納していたため、ディスプレイのトーンマッピング曲線を較正して適切に画像を表示する必要がある。さらに、光学系および照明の分布により、何らかの内在的に不均一な放射輝度分布があるかもしれず、それを先験的に測定して補正しなければならない。さらに重要なことは、前記ＨＤＲ画像の生データを、２つのＦＬＣｏＳに示される２つの個別の画像に分離しなければならないことである。図１６の試作品の構成分析に基づき、前記２つのＳＬＭは、システム構成により決定される異なる画像細部および空間周波数を含むはずである。望ましい画像を適切に表示および再構築するため、レンダリングアルゴリズムが以下のように導入された。
【００６１】
幾何学的な較正
図１６の前記試作品の２つのＬＣｏＳは、各々の位置と配向を微調整するための３次元変位ステージでティップ−ティルト・プラットフォームに固定されたが、前記ＬＣｏＳ１名目画像面内の各ピクセルをＬＣｏＳ２の位置と重ね合わせることは実用的に不可能であった。前記２つの画像面内の各ピクセル間の変位は、特に高い空間周波数の情報に、著しい画質劣化という結果を招く。前記２つのＬＣｏＳ画像面が完全に重なり合ったとしても、それら２つのＬＣｏＳの縁部ピクセルは依然として有意な変位を有する。これは、前記アイピースにより中間ＨＤＲ画像を拡大する前に、前記２つのＬＣｏＳ画像が異なる光路で生成されたためである。ＬＣｏＳ１の画像は、前記中継システムを透過し、２回再結像された。これにより、前記２つのＬＣｏＳ画像が前記名目画像面上で異なる歪曲収差係数を有することになり、画像のアライメントをいっそう困難にした。この場合、画質が損なわれるだけでなく、各ピクセルのコマンドレベルが、変調されたダイナミックレンジへと期待どおり適切に分配されなくなる。
【００６２】
画像がいかに歪曲および逸脱するかを完全に理解するには、まず、各ＬＣｏＳについて画像を形成する光路を決定しなければならない。図１８は、各ＬＣｏＳの画像形成の光路を示したものである。各光学素子を行列として単純化および記号化すると、光が１つの素子を通過するたび、その素子は入射画像に何らかの変化をもたらすため、前記行列を入射画像に乗算する。すると、各ＬＣｏＳ画像を形成する手続きは、次式で表すことができる。
【数１】
2020521174.tif 000008
【００６３】
式中、Ｌ１およびＬ２は歪みのない元の画像である。Ｄは、画像を形成する全光路中に導入された歪曲収差である。Ｒは反射である。前記反射は、画像がパリティ変化するため考慮する必要がある。Ｐは、３Ｄグローバル座標から２Ｄカメラフレームへの射影関係である。Ｃ１およびＣ２は、カメラにより捉えられる画像である。
【００６４】
Ｃ１およびＣ２を光学的に重ね合わせるには、上記２つの式を代数的に等価にしなければならない。反射に起因するパリティ変化を考慮することとは別に、前記２Ｄ射影と等価なものを得るため、各ＬＣｏＳの射影行列Ｐおよび歪曲収差係数Ｄを較正すべきであると結論付けることもできる。
【００６５】
この幾何学的な較正は、Ｌｅｅ  ＳおよびＨｕａ  Ｈ（Ｊｏｕｒｎａｌ  ｏｆ  Ｄｉｓｐｌａｙ  Ｔｅｃｈｎｏｌｏｇｙ，２０１５年，１１（１０）：８４５−８５３）のＨＭＤ較正法に基づくものであった。歪曲収差係数および中間画像位置は、観視者の目の位置でもあるべきアイピース出射瞳でのマシンビジョンカメラ配置に基づいて較正された。元の画像の点と、それに対応するＨＭＤ光学系により歪曲された点との間の関係を得るには、カメラにより導入される影響を取り除くため、カメラ固有のパラメータおよび歪曲収差をまず較正すべきである。これらのパラメータ較正は、Ｚｈａｎｇ  Ｚにより議論されたカメラ較正ツールボックスを使って行い（Ｆｌｅｘｉｂｌｅ  ｃａｍｅｒａ  ｃａｌｉｂｒａｔｉｏｎ  ｂｙ  ｖｉｅｗｉｎｇ  ａ  ｐｌａｎｅ  ｆｒｏｍ  ｕｎｋｎｏｗｎ  ｏｒｉｅｎｔａｔｉｏｎｓ（未知の配向から面を見ることによる柔軟なカメラ較正）［Ｃ］／／Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，１９９９年。Ｔｈｅ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｓｅｖｅｎｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ．ＩＥＥＥ，１９９９年，１：６６６−６７３）、一連の未知の配向チェッカーボードパターンにより、コーナー点の位置を抽出し、期待される値にフィッティングした。剛体変換は、カメラ歪曲作用の除外後、元のサンプリングされた画像と歪曲した画像との間で維持できるはずである。すると、歪曲収差係数および画像座標が、透視投影モデルに基づいて推定可能になる。前記ＨＤＲ  ＨＭＤの幾何学的な較正の工程を図１９に示す。ここで使用した目標とする画像は、１９＊１４の円形ドットパターンであり、視野全体にわたり等間隔で離間された画像をサンプリングしたものである。傾斜した画像がカメラにより捉えられたのち、前記ドットの各中心点がサンプリングフィールドとして抽出され、２つの名目画像面の距離、配向、放射方向および接線方向の歪曲収差係数が推定された。較正されたそれらのパラメータを前記アライメントアルゴリズム用に保存したものを、以下に示す。
【００６６】
画像のアライメントアルゴリズム
完全に重なり合った観視画像を取得するには、ＨＤＲ画像アライメントアルゴリズムを採用して、前記較正された結果に基づき、元の画像をデジタル的にプリワーピングしなければならない。前記アルゴリズムがいかに作用するかを示すフローチャートを図２０に示す。ＬＣｏＳ１画像については、この画像のアライメント工程中、ＬＣｏＳ２画像を参照画像面として使用した場合、２つの幾何学的な較正（図２０：（１）および（２））が必要とされた。ＬＣｏＳ１画像は、まずＬＣｏＳ２画像の位置に射影して、表示される双方の画像が射影中心に対して同じ配向で同じ位置に位置するように見えるようにすべきであり、前記射影中心は、図２１に原点として示すカメラの観視位置でもある。
【００６７】
前記射影位置の補正には、単純化のためピンホールカメラモデルを使用した。射影された画像をカメラ位置で重ね合わせるため、グローバル座標系の少なくとも４つの射影点に基づき、変換行列を導出した。ＬＣｏＳ２点（ｌ，ｎ，ｐ）ごとに、パラメトリック方程式により、ＬＣｏＳ１（ｘｇ，ｙｇ，ｚｇ）で対応する射影点が計算できる。
【数２】
2020521174.tif 000009
【００６８】
式中、（Ａ，Ｂ，Ｃ）は、カメラに対するＬＣｏＳ１の法線方向である。ｔは射影パラメータであった。
【００６９】
２Ｄ射影面では、元の位置と射影位置は、以下の射影変換行列Ｈにより関連付けられた。
【数３】
2020521174.tif 000010
【００７０】
なお、（ｘ，ｙ）および（ｘ′，ｙ′）は、射影面上のローカル座標である。次に、ホモグラフィの均一な解を求めるには、３×３変換行列Ｈの要素を次のように計算しなければならない。
【数４】
2020521174.tif 000011
【００７１】
式中、ｈ１１〜ｈ３２は要素変換行列であり、ｈ３３＝１である。（ｘ，ｙ）および（ｘ′，ｙ′）の下付き文字は、異なるサンプリング点を示した。これらは、すべて前記射影面でのローカル座標を示しており、各々の対応するグローバル座標からの座標変換により計算できる。変換マトリックスを使い、適切な内挿方法を採用すると、図２２の右列に示す画像として射影画像をレンダリングでき、ＬＣｏＳ１画像はホモグラフィによりＬＣｏＳ２の位置へ変換される。
【００７２】
第２のカメラベースの較正は、ホモグラフィ後に行われた（図２０：（２））。これは、ＬＣｏＳ１のカレント（現在の）射影画像位置について、放射方向および接線方向の歪曲収差係数を取得することを目的としている。次いで前記射影されたＬＣｏＳ１画像は、較正された歪曲収差係数により、そのＬＣｏＳ１画像の現在位置についてプリワーピングされる。アライメント精度を高めるには、残存誤差解析により何らかのローカルな調整を実行できる。
【００７３】
図１６のＬＣｏＳ２は観視参照画像面として設定されたため、歪曲収差の補正用として、前記較正およびアライメントアルゴリズムは、図２０：（３）に示すように、１つの較正およびプリワーピング工程だけでよく、単純でわかりやすかった。
【００７４】
図２２は、前記試作品の各ＬＣｏＳ画像について、いかにこのアルゴリズムが作用するか、一例を示したものである。前記アライメントの評価に使用した画像は、フィールド全体にわたるミスアライメントを観察するため等間隔で離間した均一なグリッドである（図２２の左列）。そのグリッドが前記２つのＬＣｏＳにそれぞれ示された際、カメラが図２２第２列の画像を捉えるに伴い、各マイクロディスプレイで著しく歪曲したグリッドを観測した。さらに、ＬＣｏＳ２画像が参照画像位置として設定されている場合、ＬＣｏＳ１画像は、前記カメラ観視位置へ射影すると、わずかな変位と傾きを示した。前記２つの画像を組み合わせると結果的に、カメラ観視では著しくぼやけて逸脱したＨＤＲ画像が得られ（図２２、第３列）、これはＨＤＲ画像アライメントアルゴリズムで処理したのちの処理後の画像を示している。前記ＬＣｏＳ１画像はその元の位置から逸脱していたが、どちらの画像も歪曲収差補正用にプリワーピングされていた。図２３は、前記試作品の２つのディスプレイ上に処理後の画像を同時に表示したときの、グリッド画像のアライメント結果を示したものである。ＨＤＲ画像アライメントアルゴリズムを採用することにより、カメラ観視用に射影される当該２つのグリッドは、わずかな可視誤差もほとんどなく重なり合うようにできる。
【００７５】
誤差解析
前記試作品の残存アライメント誤差は、解析してアライメント性能を評価すべきである。これを行うには、カメラ視野でローカル画像が射影された座標を適切にサンプリングし、比較用に抽出しなければならない。この実験では、図２４Ａおよび２４Ｂにそれぞれ示すように、前記チェッカーボードパターンまたは円形パターンのどちらかを誤差解析に使用できる。固定されたカメラ観視位置では、前記射影された画像としてＬＣｏＳ１とＬＣｏＳ２の双方が捉えられ、次に画像の後処理により前記コーナーの座標または前記重み付けした中心が抽出される。数値誤差もベクトル誤差も、前記抽出されたピクセル位置の相対変位に基づいて計算およびプロットできる。視野全体にわたり、チェッカーボードパターンには１５＊１１のサンプリング、円形パターンには１９＊１４のサンプリングを使用し、サンプリングしたターゲットはそれぞれ図２４Ａ、２４Ｂである。図２４Ｃは、図２４Ｂの円形サンプリング位置の残存誤差のプロットを示したものである。ベクトルは、Ｌ１サンプリング位置からＬ２へ向かうものであった。なお、図２４Ｃのベクトルは、絶対値ではなく、変位の相対的な大きさのみ示している。アライメント誤差の分布および方向を視野全体にわたって解析することにより、残存誤差解析に基づいて一部ローカルな改善を行える。
【００７６】
ＨＤＲ画像のソースおよび生成
ＨＤＲ  ＨＭＤ用の放射輝度の較正およびレンダリングアルゴリズムについて説明する前に、８ビット深度を伴う通常の画像フォーマットでは、もはや１６ビット深度で画像を再現する能力を有する前記提案したＨＤＲ  ＨＭＤのＨＤＲシーンをレンダリングするうえで十分な幅のダイナミックレンジを提供できないことに注意すべきである。そのため、前記ＨＤＲ結像技術は、１６ビット深度の生画像データを取得する場合に使用すべきである。ＨＤＲ画像を生成する一般的な方法の１つは、同じシーンに対して異なる露出時間または開口絞りで複数のＬＤＲ画像を捉えることである。次に、それらの画像により拡張ダイナミックレンジの写真を生成して、８ビット・コマンドレベルではなく絶対的な輝度値を格納するＨＤＲフォーマットで格納する。以下で使用するＨＤＲ画像は、この方法に基づいて生成されたものである。ＨＤＲ画像の生成手順は本発明の主要部分ではないため、より詳しくは説明しない。
【００７７】
放射輝度マップの較正
ＨＤＲ画像を望ましい輝度で表示するには、絶対輝度をピクセル値に変換するため、各マイクロディスプレイのトーン応答曲線を較正しなければならない。この工程では、スペクトルおよび輝度の双方を狭い入射角内で分析できる分光放射照度計が使用された。分光放射照度計は、各マイクロディスプレイ観視時の放射輝度を測定するため、アイピースの出射瞳の中央に設置された。各ＬＣｏＳの応答プロットを得るため、等しいグレースケール差を伴う一連の純粋な色の赤、緑、および青ターゲットが、サンプリングされた測定用グレースケール値として各マイクロディスプレイに表示された。各グレースケールの三刺激値ＸＹＺは分光放射照度計で較正でき、次にＲＧＢ値へと変換され、正規化されて、次式に基づき色ごとの応答曲線が得られた。
【数５】
2020521174.tif 000012
【００７８】
背景雑音の影響を取り除くには、［Ｒ  Ｇ  Ｂ］＝［０  ０  ０］に対応する三刺激値（Ｘ０，Ｙ０，Ｚ０）を較正し、式５のように各データから減算しなければならない。２つのＳＬＭの応答曲線は、試験用ＬＣｏＳではターゲット画像が示され、一方、他方では全反射（［Ｒ  Ｇ  Ｂ］＝［２５５  ２５５  ２５５］）を保った状態で、個別に較正された。次に、サンプリングされた値による区分的三次多項式を使って、図２５に示すように、トーン応答曲線が内挿された。表示応答に線形関係はなく、１を超えるガンマ指数関数的であったことが明らかに見られるであろう。
【００７９】
ＨＤＲ背景の均一性較正
望ましい画像グレースケールをレンダリングするために必要なもう１つの較正が、ＨＭＤ固有のフィールド依存輝度較正であった。光学系の口径食、カメラの感度（ｃａｍｅｒａ  ｓｅｎｓａｔｉｏｎ）、およびバックライト不均一性の影響により、画像の放射輝度は、視野全体にわたり均一に分布しない場合がある。マイクロディスプレイに均一な値を示すことさえ、それらの内部アーチファクトにより、ＦＯＶ全体にわたり均一な輝度を見ることは事実上不可能である。そのため、これら諸アーチファクトは、すべて画像のレンダリング手続き中に補正すべきである。
【００８０】
視野全体にわたり放射輝度を直接測定することは実現不可能であったが、これは分光放射照度計の受光角が狭く、その方向を測定中に正確に制御することが難しかったためである。そのため、カメラベースの視野依存性の放射輝度較正が採用された。この手順を図２６の工程（１）および（２）に示す。放射輝度分布を正確に較正するには、カメラ固有の影響を較正して最初に減算しなければならない。カメラ応答曲線は、図２６の破線内に示した手順について、すでに放射輝度マップを測定してあった標準的なモニターにより較正した。等しい放射差で一連の均一な背景シーンを捉えると、カメラトーン応答を正確に較正することができる。これがカメラのガンマデコーディングに使われ、次に捉えられたＨＭＤ画像の絶対輝度値が得られた（図２７Ａ）。視野全体にわたりカメラを飽和させてはならないことは知るべき重要な点である。不均一な画像放射輝度分布は、カメラ固有のもの（図２７Ｂ）、およびＨＭＤ固有のもの（図２７Ｃ）という２つの成分によるものであった。カメラ依存性を取り除くため、第２の較正（図２６：（２）、カメラ背景の均一性を測定する）が行われ、図２７Ｂに示すように、視野全体にわたり均一なコマンドレベル［２５５  ２５５  ２５５］を表示していた標準的なモニターが撮像された。各ピクセルの相対輝度を得るため、カメラ背景およびカメラにより捉えられたＨＭＤ背景の双方が、ＨＭＤフィールドが実際に覆われていた領域へとクロップされ、その領域は、図２７Ａ、２７Ｂの破線で示したような領域であった。次に図２７Ａ、２７Ｂの双方の領域は、図２７Ｃ、２７Ｄに示すように、ピクセル化した相対輝度解析用に表示解像度へと内挿された。元の輝度値マップ（図２７Ｃ）をカメラ視野依存マップ（図２７Ｄ）で除算することにより、ピクセル化したＨＭＤ相対輝度分布が得られた。
【００８１】
均一性補正の前に（図２７Ｄ）、まず視野全体にわたる最大輝度値に対する、ピクセル数（ｘ，ｙ）での輝度値の比として正規化係数ｆ（ｘ，ｙ）を定義する必要があった。背景補正は、トーン応答曲線を正規化係数で減じ、残りを１にスケーリングすることで達成された。図２７Ｄは、前記均一性補正後における、サンプリング点のトーン応答曲線をいくつか示したものである。視野全体にわたり同一の応答曲線を有する代わりに、均一性補正後のトーンマッピング曲線のほうが、放射の視野差についてデジタル補正されているため、ピクセル位置に強く依存する。
【００８２】
ただし、均一性補正は、視野中央のピクセルコマンドレベルを犠牲にしてＳＬＭパネル（またはパネルディスプレイ）での均一性を改善することに注意すべきである。前記ＨＤＲエンジンは、コマンドレベルが過度に切り詰められた場合、ある程度その有効性を失う可能性がある。そのため、前記アルゴリズムでは、クリッピング係数を提供して、利用者が均一性とシステムのダイナミックレンジ間で適切なトレードオフを選択するようにできる。
【００８３】
図２８Ｃは、背景の均一性補正の結果を示したものである。口径食と照明によりコーナーで失われた放射輝度を補正するための前記補正後に、視野中央がより暗くなることは容易に理解できた。図２８Ａ、２８Ｂは、アライメントおよび放射輝度レンダリングアルゴリズムの双方を処理した後、ＬＣｏＳ１およびＬＣｏＳ２に表示された一対のレンダリング済み画像を示したものである。図２８Ａに示すように、前記ＬＣｏＳ１画像では均一性が補正されている。図２８Ａの中央は、図２８Ｂの補正されていないシーンと比べ、影の領域を有する。背景の均一性補正が、むしろフィルターまたはマスクのようなものだったことがわかる。図２８Ｃが前記元の画像に適用され、それに組み込まれたガンマエンコーディング工程で、不均一に分布したバックライトを補正している。全体的な均一性補正工程の後、前記画像は、より均一で現実的なものになった。
【００８４】
ＨＤＲ画像の放射輝度レンダリングアルゴリズム
各ピクセル変調を２つのＳＬＭへと等しく分割するに伴い、前記２つのＬＣｏＳにおける各ピクセルのコマンドレベルを再計算する必要がある。ただし、２つのＳＬＭにピクセル値を等しく分布させることが望ましい場合でも、この工程は、単に元の画像の値の平方根を取るわけではない。前記マイクロディスプレイは、図２６とそれに関連する文章に示したように、較正時、非線形トーン応答曲線を有していた。これは、表示輝度エンコーディングのガンマ補正により前記コマンドレベルがその初期値の半分に落ちても、輝度が半分の値にはならないことを意味する。さらに、トーン応答はこの時点で視野依存性があり、これは望ましい輝度が同じであっても、各ピクセルに求められたコマンドレベルは同じではなくなったことを意味する。すべての問題の解を求める放射輝度のレンダリングアルゴリズムは、図２９に示す概略図のように開発された。各ＳＬＭの変調振幅は、その元の値の平方根をとることで得られる（図２９（１））。望ましい輝度値を得るには、それに対応したピクセル値を、各ＳＬＭの表示トーン応答曲線に基づいて計算しなければならない。図１６の試作品のＬＣｏＳ１は、低い空間周波数情報を伝達するものであった。そのダウンサンプリングは、後述するように、まず必要に応じ画像に対して行われた（図２９（２））。ダウンサンプリングされた画像は、次いで修正トーン応答曲線でエンコードされた。画像の背景不均一性を補正するには、前記ＬＣｏＳ１のトーン応答曲線を最大輝度分布により修正することができる。各ピクセルについて、各々の最大輝度比に応じ、異なる絶対値によりトーン応答曲線が切り詰められ抽出される。図３１は、トーン応答曲線に基づいて、対応するピクセル値をルックアップする方法の一例を示したもので、式中、ｇ１′．．．、ｇ１ｎおよびｇ２は、前記２つのＳＬＭトーン応答の逆関数を示し、ｎはピクセル数を表す。前記ＬＣｏＳ１トーン応答曲線はピクセルの位置に依存し、これは輝度の均一性補正によるものである。
【００８５】
前記ＬＣｏＳ２画像は、ＬＣｏＳ１画像への補正としてレンダリングしなければならない。２つのマイクロディスプレイパネルが物理的に分離されているため、前記ＬＣｏＳ１画像面は、図１６のＬＣｏＳ２の位置に設定されるシステム参照画像面に対し、何らかの変位を有する。この場合、回折効果を考慮すべきである。前記参照画像面における前記ＬＣｏＳ１の実際の画像は、実際には、収差のないインコヒーレントな点拡がり関数（ＰＳＦ）により、ぼやけてしまった。（Ｓｉｂａｒｉｔａ  Ｊ  Ｂ．Ｄｅｃｏｎｖｏｌｕｔｉｏｎ  ｍｉｃｒｏｓｃｏｐｙ（畳み込み顕微鏡法）［Ｍ］／／Ｍｉｃｒｏｓｃｏｐｙ  Ｔｅｃｈｎｉｑｕｅｓ（顕微鏡法の技術）．Ｓｐｒｉｎｇｅｒ  Ｂｅｒｌｉｎ  Ｈｅｉｄｅｌｂｅｒｇ，２００５年：２０１−２４３）
【数６】
2020521174.tif 000013
【００８６】
式中、  
【数７】
2020521174.tif 000014
は、ＬＣｏＳ１と参照画像位置間の変位である。ｒは放射方向の距離である。λは波長である。ρは出射瞳に関する正規化した積分変数である。αは回折円錐の半分の角度である。前記参照画像面における前記実際のデフォーカスされた（焦点が合っていない）ＬＣｏＳ１画像は、元の画像をその点拡がり関数で畳み込んだものとして扱うことができる（図２９（３））。次に、ぼやけたＬＣｏＳ１画像を合計輝度で除算することにより、ＬＣｏＳ２の望ましい輝度が計算された。次いでその画像をＬＣｏＳ２応答によりエンコードした。前記ＨＤＲ画像の放射輝度レンダリングアルゴリズムを使うと、各ＳＬＭ上の望ましいピクセル値Ｃ１ｎおよびＣ２を図３０のように計算でき、ＨＤＲ画像の輝度を十分に再現できた。
【００８７】
空間周波数の再分配−画像のダウンサンプリング
任意選択的なレンダリング手順を使用すると、画像の空間周波数を再分配させることができる。前記中継されるＨＤＲ  ＨＭＤシステムには必要なく、これは各ディスプレイ上のピクセルが１対１の結像対応を有するためである。ただし、異なる重み付けで２つのマイクロディスプレイに空間周波数を分配すると、アライメント許容範囲を高めることができる。さらに、１つのＳＬＭを名目画像面のより近くに有し、別のＳＬＭは前記名目画像面から離れて有する非中継ＨＤＲ表示エンジンの場合、前記画像面により近いマイクロディスプレイのより高い空間周波数情報に重み付けすると、全体的な画質が高まる可能性がある。図３１は、異なるローパスフィルターによるダウンサンプリング後のターゲット画像とその周波数領域を示したものである。ただし、これはアライメント許容範囲を高めるうえで良好な方法ではあるが、特に、２つのＳＬＭが一定の距離を有する場合には、ダウンサンプリングによっても若干のアーチファクトが導入され、それはグレースケールの段階が変化する境界でより明らかになりうる。
【００８８】
システム性能
図３２Ａは、８ビットにトーンマッピングした後の元のターゲットＨＤＲ画像を示したものである。この被検ＨＤＲ画像は、前記見出し「ＨＤＲ画像のソースおよび生成」の方法で生成されたもので、多重露出による画像をマージしている。この合成画像は、図２０、２９に関連して上記で見出し「放射輝度マップの較正」および「画像のアライメントアルゴリズム」で開示した前記放射輝度およびアライメントレンダリングアルゴリズムで処理されたのち、前記２つのＬＣｏＳに表示されたものである。白黒カメラを前記ＨＭＤアイボックスの中央に配置して、再構築されたシーンを捕捉した。前記カメラのビット深度がより低かったため、複数の画像が捉えられて１つのＨＤＲ画像へと合成され、単一画像より高いダイナミックレンジを実現して人間の目のダイナミックレンジへのアプローチを改善した。図３２Ｂは、ＨＤＲ  ＨＭＤシステム性能を示したものである。比較のため、図３２Ｃ、３２Ｄはトーンマッピングを示し、ＬＤＲ  ＨＭＤに示されるＨＤＲ画像が図３２Ｃで、およびＬＤＲ  ＨＭＤに示されるＬＤＲ画像が図３２Ｄである。８ビット深度画像しか示さない図３２Ｃ、３２ＤのＬＤＲ  ＨＭＤと比べ、前記提案されたＨＤＲ  ＨＭＤでは、暗い領域と明るい領域の双方でより多くの細部が見えるだけでなく、良好な画質を保って、より高い画像コントラストを示している。
【００８９】
本明細書には多数の特許および非特許文献が引用されており、この参照によりこれら各文献の全体が本明細書に組み込まれる。
【００９０】
以上に述べた本発明の利点等は、当業者であれば、本明細書の上記説明から明確に理解されるであろう。そのため、当業者であれば、本発明の広義の発明概念を逸脱しない範囲で上記の実施形態を変更または修正できることが理解されるであろう。したがって、本発明は本明細書に説明した特定の実施形態に限定されず、添付の請求項に記載した本発明の要旨に含まれるすべての変更形態を含むよう意図されていると理解すべきである。
【図１】
2020521174.tif 000015
【図２】
2020521174.tif 000016
【図３】
2020521174.tif 000017
【図４Ａ−４Ｂ】
2020521174.tif 000018
【図４Ｃ】
2020521174.tif 000019
【図５Ａ】
2020521174.tif 000020
【図５Ｂ−５Ｃ】
2020521174.tif 000021
【図６Ａ−６Ｂ】
2020521174.tif 000022
【図６Ｃ】
2020521174.tif 000023
【図７Ａ】
2020521174.tif 000024
【図７Ｂ】
2020521174.tif 000025
【図８】
2020521174.tif 000026
【図９】
2020521174.tif 000027
【図１０】
2020521174.tif 000028
【図１１】
2020521174.tif 000029
【図１２】
2020521174.tif 000030
【図１３】
2020521174.tif 000031
【図１４Ａ】
2020521174.tif 000032
【図１４Ｂ】
2020521174.tif 000033
【図１４Ｃ】
2020521174.tif 000034
【図１４Ｄ】
2020521174.tif 000035
【図１４Ｅ】
2020521174.tif 000036
【図１５Ａ】
2020521174.tif 000037
【図１５Ｂ】
2020521174.tif 000038
【図１５Ｃ】
2020521174.tif 000039
【図１５Ｄ】
2020521174.tif 000040
【図１５Ｅ】
2020521174.tif 000041
【図１５Ｆ】
2020521174.tif 000042
【図１５Ｇ】
2020521174.tif 000043
【図１６】
2020521174.tif 000044
【図１７】
2020521174.tif 000045
【図１８】
2020521174.tif 000046
【図１９】
2020521174.tif 000047
【図２０】
2020521174.tif 000048
【図２１】
2020521174.tif 000049
【図２２】
2020521174.tif 000050
【図２３】
2020521174.tif 000051
【図２４Ａ−２４Ｂ】
2020521174.tif 000052
【図２４Ｃ】
2020521174.tif 000053
【図２５】
2020521174.tif 000054
【図２６】
2020521174.tif 000055
【図２７Ａ−２７Ｂ】
2020521174.tif 000056
【図２７Ｃ−２７Ｄ】
2020521174.tif 000057
【図２８】
2020521174.tif 000058
【図２９】
2020521174.tif 000059
【図３０】
2020521174.tif 000060
【図３１−１】
2020521174.tif 000061
【図３１−２】
2020521174.tif 000062
【図３１−３】
2020521174.tif 000063
【図３１−４】
2020521174.tif 000064
【図３１−５】
2020521174.tif 000065
【図３２Ａ−３２Ｂ】
2020521174.tif 000066
【図３２Ｃ−３２Ｄ】
2020521174.tif 000067
【国際調査報告】
2020521174.tif 000068
2020521174.tif 000069