(57)【要約】  デジタル表示装置は、画像変調器及び複数の光変調器を備える。画像処理回路は、受信データストリームを処理し、処理したデータを画像変調器にスキャンし、光変調器を制御する。他のユーザ入力及びセンサも処理及び制御に影響する。処理データを画像変調器にスキャンするタイミングは、光変調器の強度及び波長に応じて制御される。表示装置は、空間的及び時間的な画像処理、デジタルシャッタ制御、ローリングシャッタ制御、シーケンシャルカラー出力、適応型の動的センサフィードバック、フレームレート整合、動き補償されたフィールド順次処理、及び高品質の表示出力を生成するための他の様々な技術を実装することができる。これにより得られる表示装置は、画像の一貫性が改善され、色域が拡大され、ダイナミックレンジが広くなり、動きの大きいコンテンツをより高画質に再生することができる。
2009518682.tif 000002
【特許請求の範囲】
【請求項１】
表示装置において、
当該表示装置の複数の位置に配置された複数の光源と、
上記複数の光源の明るさを動的に変更する光源制御器と、
画像変調器のスキャン期間の間、画素値がスキャンされる、個別に制御可能な画素のアレーを含む画像変調器と、
空間的に処理されたデータストリームの値を受信し、この値に基づいて、上記個別に制御可能な画素及び上記複数の位置における光源の値を制御し、明るさを変更する１つ以上のコントローラとを備え、
１つ以上の位置における上記複数の光源の値は、上記画像変調器のスキャン期間の一部の間、ゼロに設定されることを特徴とする表示装置。
【請求項２】
センサからのフィードバックに応答し、上記複数の光源のうちの１つ以上の明るさを補償する適応型の動的な明るさ補償手段を更に備える請求項１記載の表示装置。
【請求項３】
上記処理されたデータストリームに応答し、３つ以上の異なる波長のＬＥＤの明るさを制御することによって上記複数の光源のうちの１つ以上の色を変更する色変更手段を更に備える請求項１記載の表示装置。
【請求項４】
センサからのフィードバックに応答し、３つ以上の異なる波長のＬＥＤの明るさを制御することによって上記複数の光源のうちの１つ以上の色を変更する色変更手段を更に備える請求項１記載の表示装置。
【請求項５】
上記複数の光源は、２つ以上の平行なバンドに配置され、該複数の光源の値は、上記画像変調器のスキャン期間の一部の間、ゼロに設定されることを特徴とする請求項１記載の表示装置。
【請求項６】
上記画像変調器のスキャン期間は、上記処理されたデータストリームのフレームレートの倍数に基づく間隔を有することを特徴とする請求項１記載の表示装置。
【請求項７】
上記処理されたデータストリームは、フレームを含み、該フレームは、上記画像変調器によって順次スキャン及び表示される時間的なフィールドに分解され、上記明るさは、上記連続するフィールドの表示毎に変更されることを特徴とする請求項３記載の表示装置。
【請求項８】
上記複数の光源は、投写表示装置のマイクロディスプレイを照射し、当該表示装置は、複数のレンズレットレンズ系を更に備え、上記複数の光源の照射パスは、上記マイクロディスプレイの変調器の近接する画素に対応することを特徴とする請求項１記載の表示装置。
【請求項９】
表示装置において、
異なるそれぞれの波長を有する複数の光源本体と、当該表示装置の位置の関数として、該異なる波長の光源のそれぞれの明るさを動的に変更する同数の複数の光源制御器とを含む、当該表示装置の複数の位置に配置された３つ以上の光源と、
画像変調器のスキャン期間の間、フレームの一部を構成するデータのフィールドがスキャンされる個別に制御可能な画素のアレーを含む画像変調器と、
入力フレームの処理されたデータストリームの値を受信し、該値に基づいて、上記個別に制御可能な画素の値を制御し、上記複数の光源を制御して当該表示装置の複数の位置における上記異なる波長の光源の明るさを変更し、各入力フレームについて、上記データのフィールドの２つ以上を順次処理するコントローラとを備える表示装置。
【請求項１０】
センサからのフィードバックに応答し、上記複数の光源のうちの１つ以上の光の強度を補償する適応型の動的な光強度補償手段を更に備える請求項９記載の表示装置。
【請求項１１】
センサからのフィードバックに応答し、複数の異なる波長のＬＥＤの明るさを制御することによって上記複数の光源のうちの１つ以上の色を変更する色変更手段を更に備える請求項９記載の表示装置。
【請求項１２】
上記複数の光源の明るさは、上記各画像変調器のスキャン期間の一部の間、ゼロに設定されることを特徴とする請求項９記載の表示装置。
【請求項１３】
上記複数の光源の明るさは、上記フィールドの順次処理の期間の間に１回以上調整されることを特徴とする請求項９記載の表示装置。
【請求項１４】
上記画像変調器のスキャン期間は、上記処理されたデータストリームのフレームレートに基づいて変化する期間の間隔を有することを特徴とする請求項９記載の表示装置。
【請求項１５】
上記複数の光源は、投写表示装置を照射し、当該表示装置は、複数のレンズレットレンズ系を更に備え、上記複数の光源は、包括的に、上記画像変調器の画素の近接するグループに対応することを特徴とする請求項９記載の表示装置。
【請求項１６】
出力フレームレートが入力フレームレートの整数倍となるように、該入力フレームレートを用いて、上記表示フィールドの順次処理期間を正比例的に整合させることを特徴とする請求項９記載の表示装置。
【請求項１７】
上記画像変調器のスキャン期間は、上記処理されたデータストリーム内の１つ以上のオブジェクトの動きに基づいて変更される期間の間隔を有することを特徴とする請求項９記載の表示装置。
【請求項１８】
高画質、広色域及び広いダイナミックレンジの画像を表示し、及び高品質の動き再生を実現する表示方法において、
フルフレームからのリアルタイム表示データストリームを連続するフィールドに処理するステップと、
上記連続するフィールドに空間的処理を施すステップと、
上記空間的に処理された連続するフィールドを用いて、画像変調器の画素のグループに対応する複数の光源のうちの１つ以上の明るさを変調するステップと、
上記空間的に処理された連続するフィールドを用いて、個々の画素の明るさを変調して上記画像を形成するステップとを有する表示方法。
【請求項１９】
上記連続するフィールドは、上記リアルタイム表示データストリームの生来的なフレームレートの整数倍になるように整合されたフレームレートであることを特徴とする請求項１８記載の表示方法。
【請求項２０】
上記連続するフィールドのスキャンからのフィールド遷移の間、画像の画素の変調が表示されないように、上記連続するフィールドを用いて上記複数の光源のうちの１つ以上を変調するステップは、上記連続するフィールドを用いて画素を変調するステップと同期されることを特徴とする請求項１８記載の表示方法。
【請求項２１】
フィールドシーケンシャル方式の表示装置において、
当該表示装置の異なる位置に、それぞれが異なる色の少なくとも３つのＬＥＤを有する複数の光源と、
画像フレーム期間の複数のフィールド期間の１つにおいて画素値がスキャンされる個別に制御可能な画素を有する画像変調器と、
入力画像フレームの処理済のデータストリームの値を受信し、該受信した値に応じて、上記複数の光源を制御して、上記各フィールド期間の間、当該表示装置における位置の関数として、上記ＬＥＤの明るさを変更し、上記個別に制御可能な画素の光透過率を制御するコントローラとを備える表示装置。
【請求項２２】
フィールドシーケンシャル方式の表示装置において、
当該表示装置の異なる位置に、それぞれが異なる色の少なくとも３つのＬＥＤを有する複数の光源と、
画像フレーム期間の複数のフィールド期間の１つにおいて画素値がスキャンされる個別に制御可能な画素を有する画像変調器と、
入力画像フレームの処理済のデータストリームの値を受信し、該受信した値に応じて、上記複数の光源を制御して、上記各フィールド期間の間、異なる色の少なくとも２つのＬＥＤに光を発光させ、上記個別に制御可能な画素の光透過率を制御するコントローラとを備える表示装置。
【請求項２３】
フィールドシーケンシャル方式の表示装置において、
当該表示装置の異なる位置に、それぞれが異なる色の少なくとも３つのＬＥＤを有する複数の光源と、
画像フレーム期間の複数のフィールド期間の１つにおいて画素値がスキャンされる個別に制御可能な画素を有する画像変調器と、
入力画像フレームの処理済のデータストリームの値を受信し、該受信した値に応じて、上記複数の光源を制御して、上記各フィールド期間の間、上記ＬＥＤの明るさを変更し、上記各フィールド期間の間、上記個別に制御可能な画素の光透過率を制御するコントローラとを備え、
上記フィールド期間が異なる持続時間を有することを特徴とする表示装置。
【請求項２４】
フィールドシーケンシャル方式の表示装置において、
当該表示装置の異なる位置に、それぞれが異なる色の少なくとも３つのＬＥＤを有する複数の光源と、
画像フレーム期間の複数のフィールド期間の１つにおいて画素値がスキャンされる個別に制御可能な画素を有する画像変調器と、
入力画像フレームの処理済のデータストリームの値を受信し、該受信した値に応じて、上記複数の光源を制御して、上記各フィールド期間の間、上記ＬＥＤの明るさを変更し、上記各フィールド期間の間、上記個別に制御可能な画素の光透過率を制御するコントローラと、
センサフィードバックに応答して、上記複数の光源の少なくとも１つの光出力を動的に変更する変更手段とを備える表示装置。
【発明の詳細な説明】
【関連出願】
【０００１】
本出願は、２００５年６月２０日に出願された、米国特許出願番号第１１／１５８，４７６号の一部継続出願である、２００５年１０月２１日に出願された米国特許出願番号第１１／２５５，３５３号の一部継続出願である。
【技術分野】
【０００２】
本発明は、デジタル表示システムのための画像処理及び変調装置に関し、詳しくは、高度な画像処理と共にフィールドシーケンシャル方式の光源制御及び画像変調を実行して、高品質な出力画像を生成する表示装置及び表示方法に関する。
【背景技術】
【０００３】
薄膜トランジスタ（Thin Film Transistor：ＴＦＴ）ディスプレイとも呼ばれるアクティブマトリクス型液晶ディスプレイ（Active Matrix Liquid Crystal Display：ＡＭＬＣＤ）、シリコン反射型ＬＣＤ（silicon Reflective LCD：ｓｉ−ＲＬＣＤ）、反射型液晶デバイス（Liquid Crystal On Silicon：ＬＣＯＳ）、強誘電性のディスプレイ（ferroelectric display：ＦＬＣ）、電界放出ディスプレイ（Field Emission Display：ＦＥＤ）、カーボンナノチューブベースのナノ放出ディスプレイ（Nano Emissive Display：ＮＥＤ）、エレクトロルミネセンスディスプレイ（ElectroLuminescent Display：ＥＬＤ）、発光ダイオード（Light Emitting Diode：ＬＥＤ）、有機ＬＥＤ（Organic LED：ＯＬＥＤ）、プラズマディスプレイ、パッシブマトリクス液晶ディスプレイ（Passive matrix Liquid Crystal Display：ＬＣＤ）、薄膜トランジスタ（Thin Film Transistor：ＴＦＴ）、シリコンクリスタル反射型ディスプレイ（Silicon X-tal Reflective Display：ＳＸＲＤ）、デジタルミラーディスプレイ（Digital Mirror Display：ＤＭＤ）を含む多くの種類のフラットパネルディスプレイ（Flat Panel Display：ＦＰＤ）技術が知られている。
【０００４】
ＦＰＤの製造には、特別な処理が必要であり、多くの場合、表示装置の全体の領域に亘る一貫性に関して許容可能な視覚的品質を達成することは困難である。新型の表示装置は、歩留りの問題以外に、動作条件及び表示装置の使用期間によって、表示特性が変化するという問題もある。また、殆どのＦＰＤ技術は、表示画像を照射するために、例えば、蛍光ランプ、冷陰極蛍光ランプ、超高電力（Ultra High Power：ＵＨＰ）ランプ又は発光ダイオード（ＬＥＤ）等の光源を必要とする。ＬＥＤは、様々な材料から形成することができ、各材料は、それぞれの「色温度」特性を有することがある。１つ以上の白色又は有色のＬＥＤアレーと共に従来型のランプを用いるハイブリッド型の光源を使用するシステムもある。一具体例として、日本のシャープ株式会社は、３７インチ、５７インチのＬＣＤテレビジョン受像機のハイブリッドバックライトとして、赤色ＬＥＤと共に冷陰極蛍光ランプを用いている。
【０００５】
これらの技術の幾つかは、直接、ＦＰＤとみなすことができ、他の技術は、画像が投写され、ユーザが投写された画像を見るマイクロディスプレイデバイスとして用いられる。
【０００６】
投写表示方式では、投写型又は反射型の「マイクロディスプレイ」技術を用いることができる。所望の全色域を達成するために、マイクロディスプレイベースのパラレル色投写方式では、それぞれが赤色、緑色、青色（ＲＧＢ）成分のための３つの個別のマイクロディスプレイ画像変調器を用いることができる。空間的色フィルタ又は十分高いレートにおける連続する色フィールドによってＲ、Ｇ、Ｂを生成する単一のマイクロディスプレイ画像変調器は、低コストに実現できる。例えば、１つ、３つ又はこれ以上のイメージャと共に、異なる色のＬＥＤ及びレーザ等の他の光源を用いることもできる。有名なマイクロディスプレイ技術の他の具体例として、例えば、テキサスインスツルメンツのデジタルライトプロセッシング（Digital Light Processing：ＤＬＰ）等の反射型技術及び例えば、ＬＣＯＳイメージャ等の技術がある。ソニー株式会社は、幾つかの背面投写テレビジョン方式において、シリコンクリスタル反射型ディスプレイ（Silicon X-tal Reflective Display：ＳＸＲＤ）マイクロディスプレイを用いている。他にも、高温ポリシリコン（High Temperature Poly-Silicon：ＨＴＰＳ）技術、微小電子機械システム（Micro Electro-Mechanical System：ＭＥＭＳ）又はカーボンナノチューブベースの表示装置も提案されている。
【０００７】
投写型ディスプレイは、関連する更なる特性を有する投写パスを有する。例えば、平坦なスクリーンの中央より下にあるプロジェクタから画像を投写すると、画像の上辺が下辺より長い台形歪みが生じ、これは、「キーストーン」効果とも呼ばれる。画像が理想的な位置から、画像の放射軸に沿って遠ざかると、放射歪み（Radial distortion）が生じる。画像は、ディスプレイのコーナ部分で、最大画角を有するので、コーナ部分は、他の表示領域より、放射歪みの影響が強い。放射歪みには、画像の幅がコーナに向かって狭くなる樽型歪みと、画像の幅がコーナに向かって広くなる糸巻き型歪みとが含まれる。放射歪みを含むレンズに関連する歪みは、画像変形を引き起こす場合がある。また、平坦ではないスクリーン又は地球の磁場の影響で歪みが生じることもある。また、背面投写方式を薄型にするために、投写パスを短くすることも、歪みを大きくする原因となる。表示系の不均一な投写特性は、単一の画素又は画素のグループベースの「歪みマップ」によって表現することができる。
【０００８】
３次元双眼視表示装置には、アナグリフディスプレイ（anaglyph display）、フレームシーケンスディスプレイ（frame sequence display）、裸眼立体視ディスプレイ（autostereoscopic display）、シングル及びマルチターンのヘリクスディスプレイ（single and multi-turn helix display）等がある。これらは、通常、複数のカメラデータチャンネルを有する。アナグリフシステムでは、ユーザは、通常、左右の目が異なるビューを知覚するように、赤色及び緑色（又は赤色及び青色、又は赤色及びシアン）の眼鏡を掛ける必要がある。フレームシーケンシャル方式では、左右のビューを分離するためにシャッタガラスを使用する。裸眼立体視ディスプレイでは、レンチキュラレンズ及びホログラム光学素子を使用する。シングル又はマルチターンのヘリクスディスプレイでは、特別な眼鏡を装着することなく、複数の観察者が見ることができる複数の半透明の表示画面を用いる。
【０００９】
フレームの全体が表示できるようにするために、画像をアレーにロードするためには、有限の期間が必要である。ＴＦＴディスプレイは、通常、シリアルフレームデータストリームを捕捉し、各値をディスプレイアレーにスキャンするための列ドライバ及び行ドライバを備える。幾つかの表示装置では、ロード処理の間、イメージアレーを照射し、他の表示装置では、画像全体がロードされるまで、待機して、照射光を「フラッシュ」する。ＬＣＤ材料の生来的な応答特性のため、ＬＣＤベースの投写及び直視型表示装置は、それぞれが固有のフリッカ特性を有し、異なるモーションアーチファクトを示す。更に、画素の状態を変更するために、ＬＣＤの切換には、有限の期間がかかる。各ディスプレイ画素を制御する能動トランジスタを有するアクティブマトリクス薄膜トランジスタ（Thin Film Transistor：ＴＦＴ）ディスプレイでは、ＬＣＤ材料の組成及び厚さ及びスイッチング技術に関連するスイッチング期間が必要である。また、ある状態から他の状態への遷移は、必ずしも線形ではなく、画素値のシーケンスによって異なることがある。
【００１０】
画面上の各位置の各画素において、各色成分を正確に再現する能力も高画質の表示装置に望まれる機能の１つである。表示出力画素は、通常、三原色（赤、緑、青）又は他の組合せの色成分から構成されるため、各画素の各色成分は、通常、複数のサブ画素から構成される。なお、「画素」という用語は、３個１組のサブ画素を記述する場合にも用いられる。画面の画素にマッピングされた画素の各色成分は、一様にマッピングされない場合があり、幾つかの画素が明るすぎ、他の画素が十分に明るくないことがある。この不均一は、光路特性、鏡レンズ、光源又はこれらの任意の組合せの関数である場合がある。ＬＥＤバックライトＦＰＤと同様に、ＬＥＤの間隔及び位置によって、明度パターンが不均一になることがあり、この場合、ＬＥＤにより近い画像変調器の画素が、ＬＥＤから遠い画像変調器の画素より明るく見える。色付きのＬＥＤ又は色フィルタを有するＬＥＤの場合、変調器の画素は、明度の差だけではなく、色の不均一性が生じることがある。ＬＥＤの明るさは、様々なパルス幅変調（Pulse Width Modulation：ＰＷＭ）技術を用いて変調でき、又は電圧又は電流を調整することによって変化させることができる。ＬＥＤは、近接するグループ、色、任意の組合せによってまとめて制御でき、また、最も高度な場合、各ＬＥＤを個々に制御できる。
【００１１】
図１Ａは、複数のＬＥＤ１０４から構成されたＬＥＤアレー１０２ｆの正面図を示している。各ＬＥＤ１０４は、光源であり、白色ＬＥＤであってもよく、例えば、赤色、緑色又は青色等の様々な色の１つのＬＥＤであってもよい。また、他の色のＬＥＤを用いてもよく、色は、ＬＥＤ構造の一部であってもよく、各ＬＥＤ１０４の一部としての色フィルタであってもよく、ＬＥＤアレー１０２ｆに対するフィルタ機構であってもよい。ＬＥＤアレー１０２ｆは、画像変調器と協働して、表示色の全域を生成できる、制御可能で、一貫性がある光源を実現するための色のパターンに配置することができる。
【００１２】
図１Ｂは、投写システムで用いられる光源のサブシステム１００の側面図である。サブシステム１００は、複数のＬＥＤ１０４から構成されたＬＥＤアレー１０２ｓと、マルチレンズ系１０８、１１２と、様々な光変調技術を用いることができるマイクロディスプレイイメージャ、すなわち画像変調器１１０とを備える。ＬＥＤ１０４は、白色又はマルチカラーのＬＥＤであってもよく、また、サブシステム１００は、更なる色システム（図示せず）、例えばカラーホイールを備えていてもよい。一具体例においては、マルチレンズ系１０８は、マイクロディスプレイイメージャ１１０を介して光を集中させ、マルチレンズ系１１２は、光の投写を制御する。投写方式は、正面投写方式であっても背面投写方式であってもよく、他のレンズ及びミラー、ダイクロイック再結合器（dichroic recombiner）及びフィルタを用いて、スクリーン（図示せず）に画像を投写する。マイクロディスプレイイメージャ１１０は、各画素を介して、変調された光を透過させる透過型ディスプレイであってもよく、変調された光を反射させる反射型ディスプレイであってもよい。マイクロディスプレイイメージャ１１０の解像度は、通常、光源を構成する部品の解像度よりはるかに高い。カラーホイールを使用する投写方式、ＴＩ  ＤＬＰに基づく方式等では、画像の赤色フィールド、緑色フィールド及び青色フィールドを順次投写することができる。他の投写方式では、色成分毎に個別の画像変調器１１０を用いることができる。
【００１３】
図１Ｃは、ＬＣＤパネル方式のサブシステム１４０の側面図であり、バックライト１２２は、ＬＥＤのストリップ又はアレーの何れかから構成されている。ＬＣＤディスプレイ、すなわち画像変調器１３０の解像度は、通常、光源を構成する部品の解像度よりはるかに高い。例外として、ＯＬＥＤでは、各ＬＣＤ画素に、画素の一部として光源があり、したがって、光源の解像度は、ディスプレイ及びＮＥＤの解像度と同じであり、カーボンナノチューブは、適切に印加された電圧が、電子によって、各ナノチューブを励起し、画素又はサブピクセルの色付きの蛍光体を駆動し、「発光」させる。明るさ及び色の波長は、電子の量、使用される蛍光体及び他の様々な因子に依存する。
【００１４】
ＬＥＤバックライト付き表示装置の場合、表示装置の光の均一性を改善するために、オプションとして、様々なフィルタ、色及び光拡散フィルム（color and light diffusion gradient）、輝度上昇フィルム（Brightness Enhancement Film：ＢＥＦ）、拡散板（diffusion plates）、導光板（light guide）及び混合導光板（mixing light guides）１２６を用いることができる。また、幾つかのバックライト付き表示装置は、明るさ及び波長の変化を検出できる１つ以上の光センサ（図１には示していない。）を備えていてもよい（Hamamatsu product概要参照）。典型的なダイレクトビューシステムは、画像変調器のサブ画素に近接して揃えられている色フィルタ１３２を備える。色フィルタは、材料及び製造工程に応じて、Ｒ、Ｇ、Ｂストライプ、若しくは画像変調器の画面に「オーバレイ」又は「プリント」されるベイヤパターンと同様の他のブロック構成を有していてもよい。画像変調器は、各画素のＲ、Ｇ、Ｂのサブ画素成分を個別に制御するために３倍又は４倍のサブ画素サイトを有する。色フィルタは、通常、白色光源から波長をフィルタリングすることによって動作するので、色フィルタを用いることによって、ルーメン効率がある程度低下する。
【００１５】
殆どの画像変調器（１１０、１３０）は、ラスタスキャン方式を採用し、各画素は、それぞれの表示フレーム期間の間にリフレッシュされる。スキャン処理では、通常、行ドライバ及び列ドライバが使用され、最後のサイクルから画素の値が変化したか否かにかかわらず、全てのリフレッシュサイクルの間、全ての出力画素がディスプレイに書き込まれる。各Ｒ、Ｇ、Ｂ色成分は、通常、幾つかのビットによってデジタル的に表される異なる強さ（intensity value）を有する。例えば、各Ｒ、Ｇ、Ｂ色成分を８ビットで表す場合、各成分は、０〜２５５の範囲に亘る２８（＝２５６）個の強さを有する。理想的なデジタルデバイスにおいては、色成分の強さを、例えば、値Ｘから値Ｙに変更する場合、Ｙ値にかかわらず、同じ長さの期間が必要である。すなわち、理想的なシステムでは、色成分の値を２から３に変更するために必要な期間と、値を２から２００に変更するために必要な期間とは同じになるはずである。しかしながら、ＬＣＤ画像変調器の画素の性質のため、変調光の強さの遷移は、純粋にデジタル的ではなく、必ずしも線形ではない。マーガリス（Margulis）他による米国特許第６，３４０，９９４号には、前フレームの値及び表示変調システムの既知の伝達関数に基づいて、画像の時間関連の表現が可能な限り正確であることを保証し、所望のフレームの表示の間、出力を目標値に調整する時間的ガンマ処理（Temporal Gamma Processing：ＴＧＰ）が開示されている。
【００１６】
変調器ベースの表示装置の光源は、所望の明度を実現できない場合があり、又は、意図する色域を一様に正確に再生することができない場合がある。画面上の異なる変調器の画素位置は、光源によって異なる影響を受け、色及び明度の表示が不均一になる場合がある。更に、光源の出力特性は、時間の経過によって変化することがあり、これを補償する必要がある。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
したがって、上述した課題に鑑み、本発明の目的は、画像変調器及び色付きの光源の両方を制御することによって、表示品質を効果的に向上させ、より良い画像を提供する表示装置及び表示方法を提供することである。
【課題を解決するための手段】
【００１８】
本発明は、画像変調器及び色付きの光源の両方を制御して表示品質を向上させる画像処理を実行する表示装置及び表示方法を提供する。
【００１９】
画像処理システムは、ユーザ入力、システム構成及び設計情報、センサフィードバック、画素変調情報及び照明制御情報を考慮してディスプレイ環境の特性を判定する。そして、受信データストリームは、様々な表示特性について、空間的及び時間的に補償される。
【００２０】
変更された出力画素を生成することに加えて、画像処理システムは、ＬＥＤを用いた色付きの光源を制御し、若しくは光源のブロック又はモジュールを制御できる。光源は、表示装置内の照明素子を含み、更に、ディスプレイの周りの周囲光及び部屋全体の周辺に影響する光を含むことができる。各フレームは、フィールドに分割され、フィールドは、対応する色付きの光源の変調と慎重にタイミングを合わせながら画像変調器に順次スキャンされる。
【００２１】
例示的なフラットパネル表示装置は、バックライトとして、赤色ＬＥＤ、緑色ＬＥＤ及び青色ＬＥＤのパターン化されたアレーを備え、及び画像変調器としてＬＣＤパネルを備える。ＬＥＤは、個別に制御され、ＬＥＤの数より高い解像度を有するＬＣＤパネルを照射する。３個１組の各ＬＥＤの組は、パネル上の位置に応じて、ＬＣＤ画素のブロックに影響を与える。この例示的なシステムにおける表示出力処理（ＤＯＰ）は、画像変調器及び色付きの光源をフィールドシーケンシャル方式で処理する。これにより得られる表示装置は、画像の一貫性が改善され、色域が拡大され、ダイナミックレンジが広くなり、動きの大きいコンテンツをより高画質に再生することができる。
【発明を実施するための最良の形態】
【００２２】
本発明は、画像表示装置に使用される電子画像処理技術及び画像処理システムを改善する。本発明に基づく表示装置は、デジタル画像変調器と、画像変調器を照射する複数の光源との両方を制御する表示出力処理モジュールを備える。
【００２３】
図２は、画像処理システム２００を示しており、画像処理システム２００は、表示入力プロセッサ（Display Input Processor：ＤＩＰ）２１０と、表示出力プロセッサ（Display Output Processor：ＤＯＰ）２３０を含む表示装置２４０とを備え、ＤＩＰ２１０とＤＯＰ２３０は、共通のデータバス２５０によって接続されている。また、表示装置２４０は、表示画面２６０に接続され、及び画像変調器ドライバ２４２を介してＤＯＰ２３０に接続された画像変調器２４４（図１Ｂ及び図１Ｃの画像変調器１１０、１３０に相当する。）を備える。ＤＯＰ２３０は、表示光源制御器２５５への出力信号を生成し、表示光源制御器２５５は、表示光源２７０に接続され、様々なセンサ２４６から、パス２４８を介して表示センサフィードバック信号を受け取る。また、表示センサフィードバック信号は、他のサブシステム、例えば、表示光源制御器２５５、画像変調器ドライバ２４２、表示光源２７０又は画像変調器２４４によって処理してもよい。異なるセンサが異なるサブシステムにフィードバック信号を供給してもよい。他のサブシステム、例えば、表示光源２７０は、ローカルのセンサ（図示せず）を備えていてもよい。ＤＩＰ２１０は、好ましくは、ライン２０５０を介して画像データを受信し、画像を空間的及び時間的に再生（reconstruct）する。ＤＩＰ２１０の出力は、画像の視覚的品質を向上させ、表示装置固有の処理を実行するＤＯＰ２３０によって処理される。
【００２４】
画像変調器２４４は、ＴＦＴディスプレイ等のＬＣＤベースの直視型表示装置の一部であってもよく、この場合、表示画面２６０は、フラットパネル表示装置に組み込まれた部分であり、画像変調器ドライバ２４２は、表示画面２６０の画素を制御する。また、ＤＯＰ２３０は、フラットパネル表示装置のタイミング制御（Timing Control：ＴＣＯＮ）ブロックを含むことができる。画像変調器２４４が投写方式の一部である場合、画像変調器２４４は、投写され、表示画面（以下、表示スクリーンともいう）２６０に拡大される画像を形成する。投写方式では、画像変調器２４４は、比較的小さな（数インチの）マイクロディスプレイ素子であり、固定式であっても、可動式であってもよい。画像変調器ドライバ２４２は、比較的簡単なものであってもよく、ＭＥＭベースの変調器の場合は、マイクロディスプレイに固有の複雑な処理を行ってもよい。
【００２５】
ＦＰＤ直視型画面及び投写方式ベースのマイクロディスプレイの両方における照明素子の選択は、表示品質を高めるための主要な要素である。本発明に基づく制御可能な照明素子は、表示装置に全体的な明るさを与えることに加えて、画像変調技術と組み合わせて、表示結果を向上させる。高度な画像処理と、照明素子及び画像変調器の両方を制御することによって、広いダイナミックレンジ及び拡大された色域を有するデジタル表示装置を開発することができる。人間の目は、多くの場合、解像度の高さのみより、ダイナミックレンジの広さを明確に知覚でき、したがって、ダイナミックレンジを広げることによって、表示装置を明確に向上させることができる。ＬＣＤ材料は、非常に強い光を完全に遮断できるわけではなく、適切な黒レベルを実現することは、光源のインテリジェントな処理及び制御によって解決できる更なる課題である。
【００２６】
各走査に亘る異なるポイントで光量（light intensity）を調整する能力を有する走査型レーザを用いた投写方式は、ダイナミックレンジが改善された表示装置を実現できる。走査型レーザは、例えば各画素の全光量範囲に亘って光量を完全に変えることができないとしても、光量を低解像度で変化させるとともに、フル解像度のマイクロディスプレイを組み合わせることによって、ダイナミックレンジが広い投写方式を実現することができる。多波長走査型レーザは、異なる色成分を順次処理し、時間的に結合して、フル解像度の画像を生成できる。画素レベルでレーザ光量を変更する解像度が制御可能でない場合、レーザは、ダイナミックレンジが広い投写方式を実現するために、マイクロディスプレイと組み合わせることができ、また、色域を広げるために用いることもできる。また、レーザ光照明の走査パスをマイクロディスプレイ画像の走査に同調させて、動き描写を強化する制御を、走査型レーザの制御に含ませることができる。
【００２７】
照明成分の制御は非常に重要であるので、画像変調器２４４の画素を処理することに加えて、ＤＯＰ２３０は、表示光源２７０を制御する処理を実行する。好ましい実施の形態では、表示光源２７０は、複数の個々に制御される素子、例えばＬＥＤアレーを含み、ＤＯＰ２３０は、各ＬＥＤの輝度レベルを決定するために、大規模な処理を実行することができる。ＤＯＰ２３０が決定した輝度レベルに基づいて、表示光源制御器２５５は、ＬＥＤのグループ又は個々のＬＥＤの輝度信号を制御することができる。輝度は、アナログ電流又は電圧法、又はデジタルパルス幅変調（Pulse Width Modulation：ＰＷＭ）法によって、制御することができる。ＤＯＰ２３０の一部として、表示光源制御器２５５内で、表示光源２７０に緊密に関連する回路内で又は何らかの組合せによって、様々な形式の補償を実行できる。
【００２８】
一具体例においては、投写方式では、画像変調器２４４としてのＤＬＰマイクロディスプレイと組み合わせて、表示光源２７０として、個々に制御されたＬＥＤのアレーを用いることができる。ＬＥＤは、白色ＬＥＤであってもよく、カラーホイール又は他の色システムと共に用いてもよく、又はマルチカラーＬＥＤを用いてもよい。白色ＬＥＤは、１ワットあたりのルーメンが高く、したがって、より効率的である。しかしながら、白色ＬＥＤの波長は、通常、制御できず、白色ＬＥＤに用いられる発光体は、一様に揃えることが難しい。従来のＬＥＤ投写照明方式では、ＬＥＤのためのレンズ及びフィルタアセンブリは、画面全体に亘って、一貫して一様な照明光を生成するように設計される。このようなシステムでは、取捨選択によって慎重にＬＥＤを選択し、ＬＥＤの個体差が補償され、又は、フィルタ及びレンズの性質の組合せのために問題とならない場合、ＬＥＤをグループとして制御することができる。
【００２９】
好適なＬＥＤ投写照明方式では、ＬＥＤは、個別に制御され、レンズ系は、個々のＬＥＤが表示画面の対応する領域に特定の影響を与えるように設計される。ＬＥＤの制御と、領域毎の照射の組合せによって、表示装置のダイナミックレンジ及び色域を拡大することができる。様々な技術のレンズ設計を用いることによって、異なるオーバラップ特性及び異なるフォーカス及び「ロールオフ」特性を有する異なるパターン化領域を実現できる。なお、必要であれば、レンズが画面全体に亘って一様な明度を実現するように、ＬＥＤを制御できることが重要である。レンズ系は、様々な小さいレンズ（レンズレット又はマイクロレンズ）を含むことができ、これらのレンズは、それぞれ、光を投射し、光源を形成する１つ以上のＬＥＤと対応する。レンズレットは、個別の光学要素から形成でき、キャリヤによって、適切な場所に保持される。これに代えて、単一の光学素子を成形、エッチング、又はこの他のスキャロッピング（scalloped）によって形成し、キャリヤを有するマルチフォーカス型マイクロレンズを形成し、ＬＥＤ光源に対して適切な位置に維持してもよい。他のフレネルレンズ、屈折型マイクロレンズ又は他のフォーカス技術を用いて、ＬＥＤ光源を画面の特定の領域に向けてもよい。
【００３０】
また、投写方式又はダイレクトビュー方式のために、複数の光のプレーンから構成されるハイブリッド照明システムを設計してもよい。例えば、ＵＨＰランプを制御されたＬＥＤに組み合わせてもよく、又はＯＬＥＤ、ＮＥＤ又は他のＦＥＤベースのイメージングプレーンによって、ＬＥＤバックライト装置を更に強化してもよい。特定の位置に基づくシステム及びゲームマシンでは、異なる効果を達成するために投写系を他の光源に組み合わせることができる。様々な光源、例えば、レーザ光及びストロボ光の両方を表示装置内及び視聴環境内で組み合わせることによって、特別な環境を実現できる。
【００３１】
光センサ２４６は、様々な種類のものがあり、表示装置内の光レベル及び光波長を検出でき、また、周囲の外部照明条件を検出できる。光センサ２４６は、単一の波長に基づいていてもよく、又は人間の目の振る舞いをより正確に真似る三刺激値センサであってもよい。他の、より高度な光センサ装置として、例えば、投写系によって生成された画像を記録するカメラ等の撮像センサがある。カメラは、組み立てられた表示製品の一部であってもよく、製造時及びシステムの出荷時設定に使用され、製品の一部としては、出荷されなくてもよい。光センサ２４６は、アナログからデジタルへの変換等の様々な変換及び光センサ２４６のモジュール内、外部の処理モジュール（図示せず）又はＤＯＰ２３０内で実行できる他の信号処理を必要とする。センサフィードバックは、個々にパラメータ化してもよく、包括的な表示パラメータに組み入れてもよい。
【００３２】
ＤＩＰ２１０及びＤＯＰ２３０の両方は、それぞれの処理に用いることができるメモリバッファ、フレームバッファ、ラインバッファ又はキャッシュの１つ以上を備える。メモリバッファの使用は、システムの設計におけるコスト及び性能に影響するので、重要な検討事項である。特に、パイプライン動作を用いることによって、システムに亘る総合的なレーテンシーを減少させることができる。可能であれば、ラインバッファは、オンザフライ処理（on the fly processing）に使用され、フレームは、次フレームの処理のために保存される。現フレームの処理がそのフレームへの完全なアクセスを必要とする場合、フルフレームのレーテンシーが追加される。
【００３３】
画像変調器２４４の出力より内部の画像フォーマットの精度が低いと、様々な各画像処理ステップにおいて情報が失われる場合があるので、ＤＩＰ２１０及びＤＯＰ２３０は、高精度の内部フォーマットで画像データを処理し、詳細な画像情報を保存する。例えば、ＤＩＰ２１０及びＤＯＰ２３０は、画素解像度が、画像変調器２４４の空間的解像度出力の４倍（垂直方向及び水平方向に倍）の処理画像を生成し、維持できる。同様に、画像変調器２４４が１色成分あたり８ビットの制約を有していたとしても、画像処理の間、各色成分のための内部のフォーマットは、例えば、浮動小数値を含む３２ビット以上に維持できる。また、画素アドレス情報も、拡張された整数又は浮動小数点による表現を用いて、画像変調器２４４への最終的な出力より高精度に処理できる。必要な出力解像度及び画像変調器２４４のフォーマットに一致するように、後の処理ステップにおいて、高い内部解像度、色表現及び画素アドレス情報には、ディザ処理又はこの他の処理が施される。
【００３４】
図３は、図２のＤＩＰ２１０の構成を示すブロック図であり、ＤＩＰ２１０は、画像処理モジュールとして、アナログ入力制御モジュール３０２と、デジタル入力制御モジュール３０４と、圧縮入力制御モジュール３１２と、画像再生（Image Reconstruction：ＩＲ）モジュール３１８とを備え、これらは、全て、共通のデータバス３５０に接続されている。インタフェース３０６は、ＤＯＰ２３０からＤＩＰ２１０を分離することができ、所定の工業規格又は専用のフォーマットに従ったデータバス２５０を使用する。また、ＤＩＰ２１０は、１つ以上の入力データインタフェース３００を備える画像処理システム２００からライン２０５０を介して画像データ入力を受信する。画像データは、アナログビデオデータ、デジタルビデオデータ、選局されていないデータ（non-tuned data）、グラフィックデータ、又は圧縮データのうちの１つ以上を含むことができる。アナログビデオデータは、例えば、コンポジットビデオ、Ｓビデオ、又は何らかのコンポーネントＹＵＶ／ＹＣｒＣｂ等、システム固有のビデオフォーマットであってもよい。共通の搬送波上で複数のチャンネルを有することができる放送配信システムから受信される選局されていないデータは、チューナを必要とする場合があり、チューナは、ＤＩＰ２１０が備えていてもよく、ＤＩＰ２１０から独立していてもよく、このチューナによって、チャンネルから関連するデータを選局することができる。
【００３５】
デジタル入力データは、ＲＧＢデータフォーマットであってもよく、ＹＵＶベースのビデオフォーマットであってもよい。圧縮データは、ＭＰＥＧ−２、Ｈ．２６４を含むＭＰＥＧ−４、ウェーブレット符号化、又は他の圧縮フォーマットによって符号化されていてもよく、ビデオコンテンツ及びオーディオコンテンツを含んでいてもよい。圧縮フォーマットは、多解像度画像の入力画像フレームを含むサブバンド符号化されたデータを含むことができる。入力データは、様々な規格に基づいていてもよく、高精細度フィールド又はフレームベースのフォーマットであってもよく、このフォーマットは、入力画像のアスペクト比と異なっていてもよく、更に、入力画像のフレームレートと異なっていてもよい。ライン２０５０上の画像データは、セキュリティのために暗号化でき、この場合、ＤＩＰ２１０は、平文化を行う必要がある。
【００３６】
また、ＤＩＰ２１０は、画像データと共に、例えば、選択された入力、データタイプ、垂直帰線消去期間（Vertical Blanking Interval：ＶＢＩ）データ、オンスクリーン表示（On-Screen Display：ＯＳＤ）のオーバレイチャンネル情報を含む様々な制御データを受信し、この制御データをＤＯＰ２３０に供給する。各画像処理モジュール、すなわちアナログ入力制御モジュール３０２、デジタル入力制御モジュール３０４及び圧縮入力制御モジュール３１２は、好ましくは、入力データインタフェース３００から画像データを受信する。システムプロセッサ（図示せず）は、好ましくは、ユーザが選択した入力制御に基づき、画像データを選択し、この画像データは、アナログ入力制御モジュール３０２、デジタル入力制御モジュール３０４及び圧縮入力制御モジュール３１２のそれぞれによって、適切に処理された後、好ましくは、バッファメモリ３０８に保存される。また、システムプロセッサは、ユーザ入力コマンドを用いて、ピクチャインピクチャ表示、ＯＳＤ情報、他のシステムウィンドウ化機能のためのウィンドウを制御する。ＤＩＰ２１０は、好ましくは、ＹＵＶ又はＲＧＢフォーマットの何れかで画像を処理する。
【００３７】
アナログ入力制御モジュール３０２は、好ましくは、アナログデータ入力をサンプリングして、デジタルデータ出力を生成するアナログ／デジタル変換器（Analog-to-Digital Converter：Ａ／Ｄ変換器）３００２を備える。Ａ／Ｄ変換器３００２は、高画質を達成するために、サンプリングされたデータ点から画像を再生（reconstructed）することができるように、十分高い周波数及び精度で入力データをサンプリングする。アナログ入力信号からビデオデータを抽出するためには、副搬送波復調のための更なる従来の技術が用いられる。
【００３８】
デジタル入力制御モジュール３０４は、好ましくは、同期エンジン３０４０を備え、例えば、ＹＵＶビデオフォーマット又はデジタルＲＧＢフォーマットであるデジタルデータを処理する。データは、既にデジタルフォーマットであるので、デジタル入力制御モジュール３０４は、Ａ／Ｄ変換器を含んでいない。また、デジタル入力制御モジュール３０４は、高速デジタルデータ伝送技術を使用し、低電圧差動信号（Low Voltage Differential Signaling：ＬＶＤＳ）、デジタルビジュアルインタフェース（Digital Visual Interface：ＤＶＩ）、高精細度マルチメディアインタフェース（High Definition Multimedia Interface：ＨＤＭＩ）、ビデオエレクトロニクス規格制定委員会（Video Electronics Standards Association：ＶＥＳＡ）のDisplayPort又はシリアルデジタルビデオ出力（Serial Digital Video Output：ＳＤＶＯ）等の物理的又は電気的インタフェースを備えていてもよい。デジタル入力制御モジュール３０４がデジタル入力データを適切に受信することを保証するために、これらのインタフェースは、伝送路終端、電圧調整、データフォーマット化、位相ロックループ（ＰＬＬ）、及びデータ回復を含んでいてもよい。ＤＶＩ又はＨＤＭＩ入力において、他のパケットベースの入力、例えば、ＶＥＳＡデジタルパケットビデオリンク（Digital Packet Video Link：ＤＰＶＬ）、タイルベースの選択的更新技術をサポートしてもよい。ネットワーク入力において、他のパケット及び記述子ベースの入力をサポートしてもよい。
【００３９】
圧縮入力制御モジュール３１２は、例えば、１３９４Ａ、１３９４Ｂ又は他の１３９４フォーマットのバージョン、ユニバーサルシリアルバス（Universal Serial Bus：ＵＳＢ）、又は任意の種類のネットワークインタフェース等のインタフェース入力をサポートし、好ましくは、伸長エンジン３１２０と、ビットストリームエンジン３１２５とを備える。ネットワークインタフェースは、例えば、１０／１００イーサネット（登録商標）、ギガビットイーサネット、マルチメディアオーバコアックスアライアンス（Multimedia Over Coax Alliance：ＭｏＣＡ）、電話回線ネットワークアライアンス（Home Phone Network Alliance：ＨＰＮＡ）、様々な電力線ベースのネットワーク又は他の種類の有線インタフェース等の有線インタフェースを含んでいてもよい。無線ネットワークには、ＷｉＦｉ（また、Ａ、Ｂ、Ｇ、Ｎ、Ｉ及び他の様々なバリエーションを有する８０２．１１としても知られている。）、超広帯域（Ultra Wide Band：ＵＷＢ）、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は他の様々な無線インタフェースが含まれる。何れの場合も、ネットワークインタフェース（図示せず）は、ネットワークデータトラヒックを管理し、終了させ、デジタルビットストリームを入力データインタフェース３００に供給する。更に、ＤＩＰ２１０内又はＤＩＰ２１０の外でデータをフォーマットしてもよい。
【００４０】
圧縮データは、通常、オーディオ、ビデオ及びシステム情報を含む。システム情報は、ビットストリームのフォーマットを特定することができる。圧縮入力制御モジュール３１２は、更なる処理、例えば符号化入力のエラーチェックを実行することによって、データが適切に受信されたこと、及びデータがエラーを含んでいないことを確認する。データにエラーが含まれている場合、圧縮入力制御モジュール３１２は、エラーを訂正し、隠し、又は報告することができる。圧縮入力制御モジュール３１２は、一旦、正しくデータを受信すると、データをオーディオストリーム、ビデオストリーム及びシステムストリームに分離し、オーディオストリームを、デコード及び再生のためにオーディオサブシステム（図示せず）に供給する。圧縮入力制御モジュール３１２は、符号化ビットストリーム入力を伸長するが、更なる処理で使用するために、関連する動きベクトル情報を維持する。
【００４１】
ビットストリームエンジン３１２５を伸長エンジン３１２０に組み合わせて、圧縮入力ビットストリームの再生を拡張ビデオフレームに最適化してもよい。圧縮入力ビットストリームがサブバンド符号化を用いて符号化されている場合、再生処理は、符号化された各解像度において最高の画質のサブバンド画像を保存する。ビットストリーム情報は、規格に基づいてビデオ符号化されたビットストリーム、副情報を有するビットストリーム、ビデオのための階層符号化、及び規格に準拠するビットストリームに漏れた更なる詳細情報を有する特別なビットストリームを含んでいてもよい。下層符号化データは、オブジェクト形状及び画像を構成するブロックの拡張空間的及び時間的レンダリングに使用できる他の情報を表すことができる。伸長エンジン３１２０は、規格に準拠するビットストリームを復号フレームに復号する従来の処理を実行できる。
【００４２】
ビットストリームエンジン３１２５は、画像ブロック（又はマクロブロック）を含むＭＰＥＧ−２ビットストリームを処理する。シーケンス内の多くのビデオフレームは、非常に高い相関を有し、ビットストリームエンジン３１２５は、この相関を用いて、レンダリングを向上させる。また、ビットストリームエンジン３１２５は、画像フレームに亘る時間的処理技術として、動き補償予測に動き推定技術を用いる。ビットストリームエンジン３１２５は、動きを再推定し、又は第２のパスの符号化処理と同様にマクロブロックを生成することに代えて、ビットストリーム内のマクロブロックに属する予測ブロックによって指定されるビデオデータのフローを追跡できる。
【００４３】
従来のアナログマルチシンク表示装置は、様々なリフレッシュレートの表示モードをサポートできる。より近年のデジタルディスプレイは、全ての入力フレームレートを共通の表示出力フレームレートに変換するように設計されており、多くの場合、動きアーチファクトを生じる。固定フレームレートで動作する従来の表示装置とは異なり、本発明に基づく変調された光源及び画像変調器ベースの表示装置は、表示フレームレートの動的調整をサポートできる。圧縮入力制御モジュール３１２は、供給されるコンテンツソースのフレームレート情報を保存できる。これは、簡単なコンテンツフレームレート情報、例えば、フィルムソース検出に基づいて行ってもよく、又はコンテンツ自体内のオブジェクト追跡に基づいて行ってもよい。ＩＲ３１８は、オブジェクト追跡に基づいて、コンテンツに応じたフレームレート制御を実行できる。各手法において、ＤＯＰ２３０は、この情報を利用して、異なるフレームレートで動作する様々なコンテンツソースについて、より正確な動き描写を実行する。
【００４４】
ビットストリームエンジン３１２５は、複数のフレームに亘って予測ブロックを追跡し、ここで、予測ブロックの時間的なパスは、動きオブジェクトの粗い軌道を表す。この粗い軌道は、更なるサブブロックの動き推定及びビットストリームエンジン３１２５又は動き推定器３１８０によって実行されるビットストリーム処理によって、精度を高めることができる。ビットストリームエンジン３１２５は、動き補償時間フィルタリング及び他のフィルタリングに関連してＤＯＰ２３０の出力フレームを生成する際、及び色表現に関連する強調の際に、後の使用のために動きベクトル情報を保存する。また、符号化入力ストリームのポスト伸長フィルタリングのための特別なブロックフィルタを構成するために、情報を用いることができ、これにより、ＩＲ３１８は、ブロック境界のアーチファクトをフィルタリングすることができる。ビットストリームエンジン３１２５からの他の情報、例えば、マクロブロックの誤差項は、各ブロックについて、どのくらいの量子化が行われたかを示し、ＩＲ３１８の拡張処理では、雑音低減フィルタリング及び何らかの色強調処理のために、この情報を利用する。
【００４５】
各入力制御ブロックは、ローカル処理のために、自らのラインバッファ及びメモリを備えていてもよく、共通のバッファメモリ３０８を使用してもよい。バッファメモリ３０８は、アナログ入力制御モジュール３０２、デジタル入力制御モジュール３０４及び圧縮入力制御モジュール３１２からデータを受信し、画像再生モジュール３１８にデータを供給する。また、バッファメモリ３０８は、ＩＲ３１８の入力フレーム及び出力フレームを保存する。画像再生モジュール３１８は、インタフェース３０６を介してデータバス２５０にデータを出力してもよく、又はダイレクトメモリアクセス（Direct Memory Access：ＤＭＡ）エンジンを用いて、データバス２５０にデータを出力してもよい。データバス２５０を用いて、ライン２０５０を介してＤＩＰ２１０に入力された入力データのフォーマットとは異なる、ＤＩＰ２１０によって生成された、高められた解像度、拡大された色の範囲又は他の拡張フォーマットでＤＯＰ２３０にデータを供給することができる。ＩＲ３１８は、好ましくは、動き推定器３１８０を備え、アナログ入力制御モジュール３０２、デジタル入力制御モジュール３０４、圧縮入力制御モジュール３１２又はバッファメモリ３０８から画像データを受信する。ＩＲ３１８は、データタイプに基づいて、データを処理する。
【００４６】
例えば、ＹＵＶフォーマットのデータをＲＧＢ領域に変換する必要がある場合、ＩＲ３１８は、数学的演算又はルックアップテーブルによって、ＹＵＶ値をＲＧＢ色空間に変換し、３２ビットの整数又は浮動小数等、色成分の値の拡大された範囲を用いてもよい。更に、ＹＵＶデータは、多くの場合、サブサンプリングされ、すなわち、１つのＵＶ対が２つ又は４つのＹ値に対応してもよい。この結果、ＩＲ３１８は、ＵＶ値を用いて、ＲＧＢ画素を補間し、生成する。ＹＵＶデータがインタレースされている場合、ＩＲ３１８は、フィールド毎のデータ（連続する半分のフレーム）をフレーム毎のデータに変換する。ＩＲ３１８は、バッファメモリ３０８に各フィールドを保存し、フィールドをフィルタリングし、解析し、結合して、入力画像フレームを生成する。ＩＲ３１８は、好ましくは、フレーム及び動き情報がデジタルフォーマットである間に、処理画像フレーム及びＤＩＰ２１０によって生成された動き情報を使用する。ＩＲ３１８が、例えば、画像変調器２４４（図２）に関連するオーバレイ情報等のデータを処理する場合、ＩＲ３１８は、このようなデータを、後に画像データフレームに結合するために、ＤＯＰ２３０に供給する。ＩＲ３１８は、複数の受信データストリームをパラレルに処理してもよく、後に複数画像のピクチャインピクチャ画面を生成するために、このようなデータをＤＯＰ２３０に供給する。また、ＩＲ３１８は、入力ビットストリームに含まれているブロック境界情報に基づいて、ポスト伸長フィルタリングを実行する。
【００４７】
アナログビデオ入力については、ＩＲ３１８は、好ましくは、例えば、コンポジットビデオ、Ｓビデオ及びコンポーネント（Ｙ、Ｃｒ、Ｃｂ）を含む入力ビデオを抽出し、再生することができるファロージャ社（Faroudja Labs）の技術を使用してもよく、これらは、例えば、ＰＡＬ（Phase Alternative Line）方式又はＮＴＳＣ（National Television Standards Committee）方式等の工業規格の１つに準拠していてもよい。高画質フレームのための空間的フィルタリングのために、ＩＲ３１８は、好ましくは、例えば、再帰的フィルタ、メジアンフィルタ、タイムベース補正等の様々な雑音低減法を用いる。
【００４８】
本発明においては、ＩＲ３１８は、複数の入力画像を考慮に入れ、次に、それらの画像の解像度を高め、異なる入力フレームと共有されているデータを使用する超解像技術を用いて、画像を再生し、各出力フレームを生成する。この処理は、一度に１つの入力画像を個々に使用することによっては実現できない。すなわち、本発明は、超解像技術を用いて、ビデオシーケンスから高解像性静止画像を生成するが、リアルタイム出力フレームを生成できない従来のシステムより優れている。このマルチフレーム超解像技術は、より高い、通常２倍の入力データの解像度を有する入力画像を表す画像データのスーパーバンドを生成することができる。本発明によって使用される超解像技術は、フレーム間のデータの高い相関性に依存し、入力画像のサブ画素シフトを必要とし、これは、通常、ビデオ画像シーケンス内のオブジェクトの動きに基づいている。ＩＲ３１８は、画像を相関させて出力フレームを再生する際に、動き推定器３１８０が提供し、又は入力ビットストリームから保存された動きベクトルを使用する。ＩＲ３１８は、静止フレームを生成する間、例えば、凸射影法（Projections On Convex Set：ＰＯＣＳ）等の決定論的手法及びベイジアン強調（Bayesian enhancement）等の確率論的手法からの数学的な式を使用することができる。
【００４９】
画像が動きベクトルビットストリーム情報を含んでいない場合、動き推定器３１８０は、好ましくは、例えば、オプティカルフロー、ブロックマッチング又はペルリカーシブ等の技術を用いて、動きを推定し、画像オブジェクトの動きを時間的に追跡する。また、動き推定器３１８０は、ＭＰＥＧ−２動きベクトルビットストリーム情報に関して同じ動き推定技術を用いることができる。動き推定器３１８０は、１つの画像フィールドからの画素のグループを、後の及び先の画像フィールドの画素グループと比較し、オブジェクトの動きを相関させる。動き推定器３１８０は、検出された動きをフィールド位置に対して記録し、ＤＯＰ２３０は、入力フレーム情報及びＩＲ３１８の動き情報と共に、後に、動き補償画像フレームを生成することができる。圧縮方式のために、動き推定器３１８０は、フレーム間のベストマッチを発見し、ミスマッチを符号化する。動き推定器３１８０は、所定のレベルのマッチング基準に満たない動きベクトルをマスキングし、高レベルなマッチングを示す動きベクトルにタグ付けし、次に、より小さい画像ブロック又は個々の画素に関して実行されるより洗練された動き追跡処理にこれらのベクトルを用いることができる。このように、動き推定器３１８０は、ビデオ圧縮方式が、ビデオシーケンスを表現するために必要なビット数を圧縮するステップの１つとして、検出された動きを使用する従来の技術とは異なる。動き推定は、符号化された動きベクトル及びマクロブロックを用いて、単に、動き補償を実行する標準のデコーダでは、使用されていない。したがって、本発明は、動き推定器３１８０によって、従来の技術より優れた画質の画像を提供することができる。
【００５０】
動きの検出は、画像を復元する際に重要であるので、動き推定器３１８０（及び本発明に基づく他の処理モジュール）は、サブの（又はより小さい）ブロック毎に動きを追跡する。例えば、８×８（画素）ブロックに代えて、動き推定器３１８０は、２×２ブロックに関して、より細かい動きを追跡する。よい細かいサブブロックを追跡する必要性を低減するために、動き推定器３１８０は、粗いブロックマッチング差分を使用して、ブロックを予め評価し、マッチングレベルが低いブロックについては、より細かい追跡を実行しない。逆に、動き推定器３１８０は、マッチングレベルが高いブロックについては、より細かい追跡を実行する。
【００５１】
動き推定ベクトル、例えば、ＭＰＥＧデータストリーム又は他の時間的符号化方式において提供されている動き推定ベクトルを受け取ると、伸長エンジン３１２０は、適応性があるＭＰＥＧ復号のために、ベクトルの全てを使用する。そして、ＩＲ３１８は、ベクトルを用いて、複数のフレームを復元するために、細かい動きを解析する際に、より精度の高いブロックマッチングを行う。細かい動きを解析することによって、サブブロック画素サイズの動きベクトルを生成でき、これをマルチフレーム再生において用いることによって、高解像度出力フレームを好適に生成することができる。
【００５２】
ＩＲ３１８は、好ましくは、出力画像をビデオフィールド又はフレームに分離し、各フィールド（又はフレーム）の開始点へのポインタを生成する。実際のフィールド（又はフレーム）データ又はフィールド（又はフレーム）データへのポインタは、ＤＯＰ２３０への入力データとして機能できる。連続するフィールドを用いて、フィールドレートを高め、高分解能を達成することができる。出力フレームレートが既知の場合、ＩＲ３１８は、受信データストリームからのフレーム及びオブジェクトの様々な動きを関連付け、連続する出力のための高い相関性を有する動き補償されたフィールド又はフレームを生成できる。
【００５３】
本発明に基づいて再生されたＩＲ３１８の出力（及びＤＯＰ２３０の出力）は、標準入力解像度より高い解像度を有することができ、画像スーパーバンドとして保存できる。ＩＲ３１８出力は、バッファメモリ３０８、又は空間的なＲＧＢフレームバッファフォーマット及び画像オブジェクト、テクスチャ及び動きの意味的記述の両方の画像の記述を含むメタファイル内に保存できる。ＤＩＰ２１０のデジタル処理回路は、例えば、超解像等の技術を利用して、個々の入力画像より高い解像度を有する画像を生成する。ＤＩＰ２１０では、他のアナログの技術を超解像技術に組み合わせて使用し、画像の高解像内部表現を生成する。
【００５４】
また、ＩＲ３１８は、事前にサブバンド符号化されていない入力データから、先に構成された超高画質フレームの複数の低解像度画像を生成するサブバンド分割ブロック３１８５を備える。サブバンドは、通常、先のステップの半分の解像度のステップで構成される。サブバンドは、サブバンド符号化のために準備されていない圧縮データ入力から復号されたフレームを含む如何なる画像フレームからも生成することができる。ここに説明した画質を改善する様々な技術は、他のフィルタリングモードと共に、最高画質の画像サブバンドを構成するために使用にされる。これらのサブバンド画像は、より高い解像度で生成されたスーパーバンド画像に結合され、図４及び図５を参照して後に説明する表示出力処理（Display Output Processing：ＤＯＰ）ステップのための画像データを提供する。
【００５５】
入力として、画像データのウェーブレット符号化されたサブバンドを使用する先に説明した手法の他に、本発明では、階層符号化ビデオビットストリームの他の形式を含む入力データを処理するために、座標変換を用いることもできる。この座標変換は、ＤＯＰ２３０内の後述するＧＴ４０４の一部として実行してもよく、これに代えて、入力ビデオフレームを再生するための画像再生モジュール３１８の一部として座標変換モジュールを設けてもよい。画像フローを追跡するための１つの技術として、入力ビットストリームの係数データを比較して、時間軸に沿って同じパターンを発見する手法がある。同じパターンが発見された場合、これは、フレームに亘るオブジェクトのフローを表している可能性がある。この技術は、単一のカメラ又は多視点カメラシステムに適用できる。
【００５６】
階層符号化では、異なる層及び異なるカメラビューにおける画像フローの推測を検査し、推測を承認又は拒否するすることができる。階層ビデオ符号化は、例えば、より高い解像度が、低解像度伝送からのビットを利用する、多解像度画像のビデオビットストリームを伝送するスケーラビリティのための技術である。この符号化技術では、低解像度デコーダは、必要な解像度を生成するために必要なビットストリームの一部のみを利用することができる。より高い解像度を必要とするデコーダは、より高解像度の画像を生成するために、低解像度のビットストリームと、更なる層のビットストリームとを使用する。
【００５７】
階層符号化技術は、ベースレベルの伝送を向上させるために、例えばウェーブレットデータ等の他の種類の圧縮データを含むことできる。例えば、データの階層化されたストリームとして、ウェーブレットデータを含ませることができる。ウェーブレットデータは、ＭＰＥＧビデオデータの標準のビデオパートと同じ離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）圧縮技術を使用していない。ＭＰＥＧシンタクスの一部として、ウェーブレットデータは、プライベートビデオデータストリームとして符号化されてもよく、又はビデオプログラムストリームの一部であり、プログラムヘッダ情報において指示されていてもよい。ウェーブレット情報は、ＭＰＥＧフレームの幾つか又は全てについて、完全な又は部分的なフレームのより高解像度の画像を表す。対応するウェーブレット情報を有するＭＰＥＧフレームが復号される場合、ＩＲ３１８は、ＭＰＥＧデータをウェーブレットデータに結合する。ＤＣＴと、ウェーブレットベースの圧縮との異なる特性を用いているため、このような組合せを用いて、単一の高画質の出力フレームが生成される。
【００５８】
多視点カメラシステム（又は３Ｄコンテンツを生成するために設計された他のシステム）と、多次元再生方式との組合せも、階層符号化技術を利用できる。３Ｄ表示情報を含む既存のテレビジョン放送は、放送のベース層にこのような情報を含む。符号化された情報は、３Ｄ情報を利用するか否かの希望にかかわらず、ベース層の一部として、全ての観察者に表示される。例えば、アナグリフ３次元画像に基づくシステムは、３Ｄコンテンツを表示するために赤色／青色、赤色／緑色又は赤色／シアンの眼鏡を使用する。適切な眼鏡を掛けていない観察者は、３Ｄ符号化による不自然な効果を見ることになる。このような効果は、多色のゴーストとして見え、望ましくない。アナグリフ３次元画像は、ベース層に含まれているので、観察者が眼鏡を掛けることを望まなくても、これらをオフにすることはできない。他の３Ｄ表示方式は、アナグリフ符号化と同様に、左右の目のための固有の画像のビューを生成し、各目について、適切なビューを表示するために、色フィルタリング、シャッタ又は他の技術を使用する。
【００５９】
本発明の好ましい実施の形態では、階層符号化法を用いて、ベース層を、正常に見ることができる標準の高品質画像に復号することができるように、「３Ｄ表示」情報を符号化する。「３Ｄ表示」情報は、情報の追加的階層に含まれており、ＤＩＰ２１０は、追加的情報を保存及び処理し、ユーザが希望した場合、左右の目のための画像のビューを生成する。３次元画像を希望しないユーザについては、追加的階層は無視され、通常通り、ベース層が表示される。使用可能な幾つかの補足的情報符号化技術は、超高品質のベース層映像を含み、わずかな量の階層化された副次的情報から、左右の目のためのビューを生成することができるようにすることを目的とする。画像再生モジュール３１８を用いて、追加的階層の情報内のベース層映像を結合する処理を実行し、左右の目のためのビューを生成することができる。従来の２Ｄ表示装置の場合、左右の目のためのビューは、単一の符号化された３Ｄ表示可能な画像に結合される。特別な３Ｄ表示装置の場合、左右の目のためのビューを処理し、向上された３Ｄ表示のために、個別の画面に表示してもよい。
【００６０】
図４は、表示変調及び光源制御モジュールと共に投写表示装置の処理モジュールを含む図２のＤＯＰ２３０の構成を示すブロック図である。投写表示装置に固有な処理モジュールは、座標変換モジュール（Geometric Transformation：ＧＴ）４０４と、ポスト座標変換（ＧＴ）フィルタリングモジュール４０６とである。色、明るさ及び空間的ガンマ処理モジュール（color, intensity and Spatial Gamma Processing：ＳＧＰ）４０８と、時間的ガンマ処理モジュール（Temporal Gamma Processing ：ＴＧＰ）４１２と、表示変調及び光源制御モジュール（display Modulator and Light source Control：ＭＬＣ）４２０と、逆超解像（Reverse Super-ResolutionＲＳＲ）モジュール４１４とは、全て共通のデータバス４５０に接続されている。データバス４５０は、並列画像処理のためのシステム帯域幅及び同時並列要求条件を満たす。また、ＤＯＰ２３０は、各処理モジュール４０２、４０４、４０６、４０８、４１２、４１４、４２０によって使用されるデータフレーム及び画像サブバンドを保存するバッファメモリ４２４を備えるが、これらのモジュールのそれぞれが、ローカルメモリバッファ（図示せず）を備えていてもよい。
【００６１】
また、表示変調及び光源制御モジュール（image modulator and light source control block：ＭＬＣ）４２０も設けられており、表示変調及び光源制御モジュール４２０は、画像変調器ドライバ２４２を介して画像変調器２４４に及び後述する表示光量制御回路６０２〜６０８に接続されている。フラットパネル表示装置のために設計されたシステムの場合は、必ずしも、座標変換モジュール４０４又はポストＧＴフィルタリングモジュール４０６を備えている必要はない。投写表示装置及びフラットパネル表示装置は、何れも、通常、ディスプレイマップ（Display Map：ＤＭ）４０２を備えるが、ディスプレイマップ４０２内で保存及び使用される特定の情報は、表示装置の種類に応じて異なる。
【００６２】
ＤＭ４０２は、個々の画素及びＬＥＤ又はこれらのグループに基づいて、画素、ＬＥＤマッピング及び補償データを保存できる。ユーザ設定及びセンサフィードバックは、ＤＭ４０２のマッピング情報に影響を与えることがある。ディスプレイマップ４０２のために考慮される幾つかの補償データをメモリ４２４に保存してもよく、これに代えて、表示光源制御器２５５、画像変調器２４４、画像変調器ドライバ２４２又は光源１０２に関連する回路内に保存してもよい。また、システムは、画像変調器の画素及びＬＥＤについて、動的なガンマ補正をより特定的に実行するように設計された他の回路（図示せず）を含んでいてもよく、この回路は、ガンマ補正テーブルを保存する専用の不揮発性アナログ又はデジタルメモリを備えていてもよい。環境条件、例えば、周囲光及び周囲温度等のためのセンサは、異なる補償回路が共有してもよく、異なる補償回路毎に同様のセンサを設けてもよい。
【００６３】
ＤＯＰ２３０は、データバス２５０から直接、バッファメモリ３０８を介して、又はバッファメモリ４２４を介してＤＩＰ２１０の出力を受信する。データバス２５０を使用することによって、ＤＩＰ２１０とＤＯＰ２３０とを分離でき、ＤＩＰ２１０が表示装置の種類に関する特別な知識なしで様々な入力信号から画像を再生できる有益な回路分割（partitioning）を実現することができる。データバス２５０は、システムオンチップ（System-On-Chip：ＳＯＣ）内の内部バスとして実現してもよく、プリント回路基板（Printed Circuit Board：ＰＣＢ）上のチップ間のバスとして実現してもよく、ある種のサブシステム間のリボンケーブル又はコネクタとして実現してもよく、又は他の種類のインタフェースとして実現してもよい。ＤＯＰ２３０処理は、処理され、再生された入力画像から開始し、表示装置の仕様に応じて、特別な処理を画像に施してもよい。これに代えて、より集積度が高められたシステムでは、ＤＩＰ２１０の処理要素の幾つか又は全てをＤＯＰ２３０の処理要素の幾つか又は全てに結合し、ＤＩＰ２１０のバッファメモリ３０８をＤＯＰ２３０のバッファメモリ４２４に結合してもよい。また、ＤＯＰ２３０処理は、ＤＩＰ２１０の処理の間に、ウェーブレット変換又はサブバンド分割が行われた画像データを利用してもよい。
【００６４】
ＤＯＰ２３０は、（可能であれば）ポインタを用いて、ＤＩＰ２１０の出力データに直接アクセスすることができる。また、ＤＯＰ２３０は、複数のＤＩＰ２１０の出力画像を受信し、単一の画像出力フレームが２つ以上の処理済の入力ビデオフレームを含むように、ピクチャインピクチャ処理を実行することができる。ＤＯＰ２３０は、入力された符号化データ及び例えばシステムマイクロコントローラ（図示せず）が提供するユーザメニュー選択等の何らかのオンスクリーン表示（ＯＳＤ）情報の両方からのオーバーレイデータを結合する。ＤＯＰ２３０は、各Ｒ、Ｇ、Ｂ画像色成分について、ビデオ及びデータ出力及びデータ及び制御信号の両方の表示座標を含む入力画像及び出力画像データを処理する。
【００６５】
ＭＬＣ４２０は、様々なＬＥＤの光を順次処理し、及び画像変調器のスキャニングを制御するために使用される。処理の複雑さ又は他の回路分割の理由によって、単一のＤＯＰ２３０又はＭＬＣ４２０では、表示全体を完全に制御できない場合がある。このため、幾つかの表示装置は、それぞれが色平面の１つの制御を実行する複数のＤＯＰ２３０又はＭＬＣ４２０を備えるように設計することができる。他の回路分割として、ＭＬＣ４２０の光量制御機能をＤＯＰ２３０の残りから分離し、複数のＭＬＣ４２０を用いて異なる色平面を制御するようにしてもよい。このような構成では、画像変調器の制御は、ＤＯＰ２３０内の他のモジュール、ＭＬＣ４２０又は他のコントローラによって行ってもよい。また、ＤＯＰ２３０処理を空間的に分割してもよく、この場合、表示画面の異なる部分に複数のＤＯＰ２３０を用いてもよい。
【００６６】
様々なＤＯＰ２３０の機能ブロック、画像変調器ドライバ２４２、表示光源制御器２５５及び他の回路は、様々な手法で分割することができる。例えば、ＳＯＣ技術によって、様々な要素を様々なモノリシックＩＣの組合せに分割することができる。更に、マルチチップモジュール技術では、センサ２４６、表示光源２７０及び画像変調器２４４の要素と共に異なるモノリシックＩＣの組合せを用いることができる。
【００６７】
他の好ましい実施の形態では、シーケンシャルカラー方式には不向きであるが、ＤＯＰは、画像変調器及び表示光制御器について、完全に別個のパスを有していてもよい。画像変調器のパスは、表示光源２７０が変調されていることに影響を受けなくてもよい。例えば、標準のＬＣＤテレビジョン表示装置は、ＬＣＤイメージパネル又はパネルの制御を変更することなく、ＬＥＤバックライト装置によって改善することができる。同様に、ＤＬＰ投写型テレビジョン受像機は、光源をＬＥＤベースの光源に変更するだけで、既存のカラーホイール及びＤＬＰアセンブリを使用してもよい。このような受像機は、製造に関する柔軟性から、テレビジョン受像機の製造業者にとって好ましい。従来の一定の光源と共に動作し、又はより高度な光変調装置と共に動作する単一の表示装置及び画像変調器を設計及び製造できる。表示光源制御器２５５に基づく画像変調器２４４の制御のためのより高度な技術の幾つかは、別々のパスを有するシステムでは、実現できない場合があるが、製造に関する柔軟性は、重要な利点となる。
【００６８】
ＳＧＰ４０８は、ＹＵＶをＲＧＢ色空間に変換し、画像変調器、及び用いられていれば、色付きのＬＥＤの各Ｒ、Ｇ、Ｂ色成分の強さを決定する。画像が既にＲＧＢ色空間にある場合、色空間変換は、必要でないことは当業者にとって明らかである。ＳＧＰ４０８は、好ましくは、Ｒ、Ｇ、Ｂ色成分のそれぞれが色の強さに対応する値を有するルックアップテーブルを用いて、画像色を変換する。各Ｒ、Ｇ、Ｂの強さは、ルックアップテーブルへのインデクスを表し、ルックアップテーブルは、出力（又は「変換された」）値を提供する。ＳＧＰ４０８は、各Ｒ、Ｇ、Ｂ色成分を個々に処理し、個々のＲＧＢ値の組合せと、周囲の画素のＲＧＢ値との両方に基づいて、各色成分をマッピングする。ＳＧＰ４０８は、各フレーム出力について、それぞれが複数の色を用いる複数のフィールドが用いられている場合、画像変調器及びＬＥＤ値の両方について、フィールドシーケンシャル表示値を決定するために用いることができる。所定の配列の色フィルタのマトリクス（例えば、ベイヤパターン（Bayer pattern））を使用する画像変調器の場合、ＳＧＰ４０８は、高分解能表現から開始し、より高い解像度の表現を実現するために各画素出力を周囲の画素に関連付けてもよい。
【００６９】
幾つかの表示装置は、システムの設計のために、明るさ及び色が均一でないという問題を有する。例えば、複数のＬＥＤ光源が一定の光の強さを提供できない場合、表示の不均一を補償するために、ＳＧＰ４０８が特定の領域の画素及び隣接する領域の画素ＲＧＢ値を調整できるマッピングを生成してもよい。色、明るさ及び空間的ガンマ処理モジュール４０８は、数学的演算、色ルックアップテーブル（Color Look-Up Table：ＣＬＵＴ）又はこれらの２つの組合せを用いて、入力画素を所望の画像出力にマッピングするためのＲＧＢ値を提供する。ＳＧＰ４０８は、補償データ値を判定する際に、ＤＭ４０２からの情報を使用してもよい。また、ＳＧＰ４０８は、画像変調器及びＬＥＤパス内の他の補償回路と連携して、又は順次動作してもよい。
【００７０】
ガンマテーブルによって、フレーム又はフィールドの非線型マッピングを行うことができる。これにより、マッピング処理の間に、ＲＧＢ値で表現される入力色を調整（強調又は抑制）でき、これは、クロストークを抑制し、色較正を行い、周囲光条件の補正を行い、画像変調器２４４の色域の欠点を補うために有益である。他の具体例として、映画スクリーン又はＣＲＴベースのシステムのために生成された色は、ＬＣＤシステムで用いる際に所望のレベルを実現するために、更に強調する必要がある場合がある。ＳＧＰ４０８は、非線形を実現するために、データ入力ビットのビット数より大きいビット数で表された変換テーブルを用いる。例えば、８ビットが２８（＝２５６）個の色成分の強さを表す場合、色、明るさ及び空間的ガンマ処理４０８は、他の具体例として、２１０（＝１０２４）個の変換値を表す１０ビットを使用する。システムの製造業者は、２５６個の値を１０２４個の変換値にマッピングする。
【００７１】
非常に暗い黒及び非常に明るい色の両方を表示できる表示装置をコントラスト比が高い表示装置と呼ぶ。ＬＣＤ材料は、非常に暗い色を意図する表示画像において、非常に明るいバックライトから全ての光を遮断することが困難であるため、通常、ＬＣＤベースのフラットパネル表示装置で高コントラスト比を達成することは、難しい。更に、表示変調器は、非常に明るい色を意図する表示画像の光源を減衰させることがある。表示装置のフロントガラスに低反射コーティングを用いることは、より暗い黒色を実現することに役立つが、この場合、明るさ及び色が減衰し及び鈍くなる可能性がある。本発明の好ましい実施の形態では、画像変調器２４４の２４４個の値の画像データ処理を光の強さと組み合わせているので、得られる表示画像は、コントラスト比がより高く、色域が拡大する。色、明るさ、空間的ガンマ処理（ＳＧＰ）モジュール４０８は、画像変調器２４４の画素データだけではなく、光強さについても処理を施す。ＳＧＰ４０８は、画素毎に処理を行い、１画素あたりのガンマ処理は、各画素位置のパラメータに基づいて異なる。高コントラスト比の空間的な処理のための簡単な実施の形態では、明るさ及び暗さのコントラストは、黒色をより暗くし、白色をより明るくする制御によって、ダイナミックに高めることができ、黒色を暗くし、白色を明るく処理は、光源変調及び画像変調の両方を含む。
【００７２】
ＳＧＰ４０８を用いて、表示画面における位置及び他の構成情報に基づいて、ＲＧＢ成分のフィールド及びサブ画素値及び様々なＬＥＤの明度レベルを決定することができる。白色ＬＥＤを有するシステムでは、ＳＧＰ４０８は、サブ画素値を空間的に提供し、異なるレベルのＲ、Ｇ、Ｂの光によって「白色」ＬＥＤを補償して、正しい白色点又は色温度を実現することができる。ＳＧＰ４０８は、色フィルタを有さないフィールドシーケンシャルカラー方式（field sequential color system：色順次表示方式）のために更なる時間的処理を施してもよい。各フィールドは、画像変調と、そのフィールドの色付きのＬＥＤの明度の両方に影響されるので、ＳＧＰ４０８は、各フィールドについて画素単位の調整を行ってもよく、各フィールドの各ＬＥＤについて調整を行ってもよい。カラーホイールを用いる従来の順次方式では、各フィールドについてタイミング及び色が固定されいる。ＬＥＤシステムの連続する色フィールドは、Ｒ、Ｇ、Ｂを別個なものと考えることが最も簡単であるが、本発明の好ましい実施の形態では、表示品質を向上させるために、フィールド期間及び各フィールドのＬＥＤ色の配合を変更するための更なる柔軟性を実現する。図５及び図６を用いてシャッタ制御に関連して詳細に説明するように、ＬＥＤ色の全てについて、フレームを構成する複数のフィールドのそれぞれを最適化することによって、フィールドシーケンシャルカラー表示装置のフリッカ及び他のデューティサイクル制約条件の問題を回避することができる。
【００７３】
また、本発明では、単一のフレームの表示の異なる領域内で、及び異なる表示フレームの光レベルを制御することによって、コントラスト比だけではなく、広いダイナミックレンジ（High Dynamic Range：ＨＤＲ）を達成できる。通常、広いダイナミックレンジは、現実世界で観測できる輝度及び放射輝度の物理量に対応している。ＨＤＲ画像フォーマットは、デバイスを基準とするのではなく、シーンを基準とすると考えられることがあり、ＳＧＰ４０８、ＴＧＰ４１２及びＭＬＣ４２０は、ＨＤＲを維持するために、このようなＨＤＲコンテンツを異なるアルゴリズムで処理する。画像処理システム２００は、ライン２０５０を介して、又は他の種類の入力ストリームからこのような情報を推定する画像再生モジュール３１８によって、システムに供給された色情報を表す更なるビットを使用する。より新しいコンテンツソース、例えば、マイクロソフトウィンドウズ（登録商標）メディア、Ｈ．２６４又は他の符号化方式を使用する高精細度ＤＶＤプレーヤ（ＨＤ−ＤＶＤ）は、ＨＤＲコンテンツを提供するために色情報の更なるビットを含むことができる。
【００７４】
他の実施の形態においては、画像は、画像変調器が生来的にサポートできる解像度より高い解像度を有する。この画像は、ソース画像であってもよく、又はＩＲ３１８又は他のモジュールによって再生された画像であってもよい。フル解像度のソース画像を表示するために、ダイナミックレンジに関して空間的処理及び周囲の画素の処理を実行する。画像は、画像変調器にマッチするように低解像度画像にフィルタリングされる。表示のダイナミックレンジを拡大することにより、ユーザは、画像変調器及び標準のダイナミックレンジで感じる解像度より高い解像度の画像を見ていると感じる。他の好ましい手法として、各色フィールドが画像変調器の完全な解像度で連続して表示される場合、画像変調器の限定的な解像度を時間的に補償するために、画像色フィールドを順次表示するとよい。
【００７５】
時間的ガンマ処理モジュール４１２は、画像の時間に関連する表現ができるだけ正確であることを保証する。ＴＧＰ４１２は、前フレームの値及び表示変調システムの既知の伝達関数に基づいて、出力値を調整し、所望のフレームの間、所望の出力値を提供する。ＴＧＰ４１２は、連続するフレームを処理し、ＬＣＤ画像変調器２４４の性質のために純粋にデジタルでない遷移特性を変調することによって補償してもよい。また、ＴＧＰ４１２は、所望の出力をより迅速に生成できるように、必要な情報と共に、ＬＣＤ画像変調器２４４をオーバドライブしてＬＣＤ材料特性を補償するために、画像変調及び光源制御モジュール４２０のための情報を提供する。この結果、ＴＧＰ４１２は、表示出力の品質が劣っている従来のシステムの画質の制約を克服する。また、従来のシステムにおいて、より速い画像応答を実現する画像変調のために用いられる材料は、通常、高価であるため、ＴＧＰ４１２は、表示装置のコストを削減できる。ＳＧＰ４０８と同様に、ＴＧＰ４１２も画素ガンマ処理単位で動作してもよい。
【００７６】
また、時間的ガンマ処理モジュール４１２は、画像変調器２４４の制御を介する補償に加えて様々な光源に対する時間的処理を実行する。光源に対する時間的処理を使用することによって、画像変調器２４４の画素値の応答時間を改善できる。例えば、緑色のための画素値を３２から極大の２５５まで変化させる場合、既に最大値にあるため、その画素の緑色の値をオーバドライブできない。一方、その画素に作用する緑色ＬＥＤがあれば、イメージャにおける値は、まだ完全に２５５に移行していなくても、緑色ＬＥＤの強さを効果的に高めることによって、その位置に表示される画素値を直ちに２５５にすることができる。ＬＥＤは、変調器における２つ以上の画素に作用するので、総合的な画像のための正しい値を決定する際に、周囲の画素及び他のＬＥＤの両方のための他の補償を含ませる必要がある。色、明るさ、空間的ガンマ処理モジュール４０８は、時間的ガンマ処理モジュール４１２と連携して、画像変調器２４４及び表示光量制御回路６０２〜６０８の両方のために最適化された制御を実現する。
【００７７】
また、フレームを連続するフィールドに分解する方式において、時間的ガンマ処理モジュール４１２を用いることができる。フレームをどのようにフィールドに分解するかの判定は、色、解像度、コンテンツ又はフレーム特性の任意に組合せに基づいて行うことができる。ＴＧＰ４１２は、ＳＧＰ４０８に組み合わされ、各フィールドの画像変調器の画素値及び光源値を調整するために用いられる。ＴＧＰ４１２によって処理されたフィールドの連続的な表示は、高品質の表示順にフィールドを正確に再生するために使用される。フレームが時間的に一様に表示されないフィールドに分解される場合、ＴＧＰ４１２は、更なる処理として、時間ベースの重み付けを行う必要がある。
【００７８】
複数の色を介する表示の時間的な順次処理をサポートする方式の場合、ＴＧＰ４１２は、画像変調器の色に亘って遷移を追跡する必要がある場合がある。例えば、画像変調器の位置は、１つのフィールド又はフレームにおける赤色の画素の表示から開始し、次のフィールド又はフレームで緑色の画素を表示してもよい。このような場合には、光源が色を決定し、画像変調器は、通常、強度レベルを提供するだけである。このような場合、ＴＧＰ４１２は、画像変調器、光源又は両方の値と共に遷移する強度値を補償してもよい。また、ＴＧＰ４１２は、表示結果を最適化するために、帰線消去期間及び画像変調器及びＬＥＤの他のシーケンスタイミングを制御してもよい。この好ましい実施の形態については、図５を用いて後により詳細に説明する。
【００７９】
ＤＯＰ２３０が様々な画素における画像の動きの知識を有するシステムの場合、ＳＧＰ４０８及びＴＧＰ４１２は、実行される色強調の量を決定するために、各画素又は画素ブロックに関連する動き情報を使用することができる。この種の処理は、色情報を認識する目の能力に基づいており、画像解像度は、画像の動きの量に影響を受ける。動き情報及びこれに従う色強調基準は、元の動きベクトル、元の動きベクトルに関連する誤差項又は表示装置内の動き推定器が判定する動き情報の一部であってもよい。画素の動きを理解することによって、表示を最適化するために、色強調の量を増加又は減少させることができる。
【００８０】
逆超解像モジュール（ＲＳＲ）４１４は、異なる入力フレームと出力フレームレートとの間の変換のために、フレームレート変換処理の上位集合にあたる処理を実行し、意図する表示画像が、画像変調器２４４の画素数でサポートできる解像度より高い解像度を有する場合、画質を改善できる。ＲＳＲ４１４は、低解像度画像をより高いフレームレートで配列することによって、より高い解像度出力をシミュレートし、各低解像度画像は、僅かに異なる位置に配置される。このようにして、例えば、ＲＳＲ４１４は、Ｚ＝Ｘ×Ｙとして、ブロック毎に、Ｘフレーム／秒（ｆｐｓ）の伝送レートを有するビデオシーケンス内の１つのフレームを、Ｚフレーム／秒（ｆｐｓ）の伝送レートを有するＹ個のＲＳＲフレームに空間的にフィルタリングする。そして、ＲＳＲ４１４は、同じ画素（又は画素部分）に相当する量だけ、各ＲＳＲ画像ブロックを表す画素マトリクスをシフトさせる。例えば、この具体例では、Ｙ個のＲＳＲフレームがあるので、ＲＳＲ４１４は、各ＲＳＲフレーム毎に画素マトリクスブロックをＹ回シフトさせ、各シフトは、同じ画素（又は画素部分）に相当する量だけ行われる。シフトされる画素部分の数は、表示装置及び画像変調器２４４の物理的特性に依存する。システムが表示画像の位置を調整する場合、シフトされる画像部分は、表示画像の物理的な動きに対応する。表示画像に実際の動きが含まれていない場合、画素部分の調整は、例えば、画像変調器２４４のサイズに対する画素サイズ等の表示装置の物理的な性質及びシステムの投写特性に基づいて行われる。
【００８１】
そして、ＲＳＲ４１４は、動き補償され、重み付けフィルタリングされた中心に基づいて、各ＲＳＲフレームを生成し、このため、各ＲＳＲフレームの入力画像の中心が維持され、モーションアーチファクトが導入されない。画素マトリクスの重み付けフィルタリングされた中心は、フィルタ伝達関数内のフィルタの重みを考慮に入れた画素マトリクスの中心である。フィルタの重みは、フィルタ特性によって異なり、フィルタリングされた画像出力を生成するために入力画素値に結合される値である（通常、乗算及び加算が実行される）。フィルタ伝達関数は、フィルタの重みを用いて、入力画像を出力画像に変換する。出力画像画素は、伝達関数に基づいて、対応する画像をシフトさせるように調整できる。ＲＳＲ４１４は、好ましくは、８×８〜２５６×２５６の画素を有する画像ブロックを用い、各ブロックは、固有に処理された動き情報を有する。静止画像の場合、ＲＳＲ４１４は、入力フレームレートと出力フレームレートとの間の差分に基づいて、フレームレートが調整された出力フレームのシーケンスを生成する。動画の場合、ＲＳＲ４１４は、フレームを出力する時点で、画像の中間位置を描画し、画像の動きを補償する。これらの処理によって、各画素又はサブ画素は、固有に処理された動き情報を有することとなる。
【００８２】
本発明の変形例では、ＲＳＲ４１４は、複数の移動光源と共に、静止ディスプレイ（画像）変調器を使用し、ＲＳＲ４１４処理を用いて、照明パターンを決定する。照明成分は、例えば、ＬＥＤの１つ以上の回転カラーホイール等の機械的構造による指示に基づき、固定されたパターンで動いてもよい。これに代えて、例えば、ＦＥＤ又はＮＥＤベースのバックライトに適用される電界によって、照明成分を如何なるパターンで点灯してもよい。マルチカラーＬＥＤを含む投写方式では、レンズ設計及びスクリーン設計に組み合わせて、ＬＥＤの位置を僅かに異ならせることによって、ＲＳＲ４１４は、装置内に可動部を実際に設けることなく、色フィールドを相殺することができる。
【００８３】
ＲＳＲ処理は、フレーム表示内で照明の最適化を重複回数を実行し、表示のダイナミックレンジ及び知覚される解像度を向上させる。
【００８４】
ＤＩＰ２１０によって、座標変換の後に、従来のフィルタリング技術を用いることができるが、ＧＴ４０４は、ＤＩＰ２１０のスーパーバンド出力を画像変調器２４４にマッピングし、画像変調器２４４から表示スクリーン２６０への投写の間に生じる歪みを予め補償する能力を有する。同様に、ＧＴ４０４は、ＤＩＰ２１０のサブバンド出力を用いて、非線形フィルタリング及びスケーリングを実行し、光源のための輝度マッピングを生成することができる。光源の解像度は、通常、オリジナル画像の解像度よりも低いので、サブバンドデータから開始することによって、各光源値を決定するための演算の量を削減することができる。輝度マップを生成するフィルタリングでは、簡単な加重平均から、より複雑な逆畳込みフィルタリング、及び他の種類のフィルタリングを含む様々な技術を用いることができる。
【００８５】
本発明の他の実施の形態では、ＤＯＰ２３０による処理を用いて、３Ｄ表示のための表示装置を最適化することができる。ＲＳＲ４１４の処理が提供する微調整及び高いフレームレートを用いて、高いフレームレートで、観察者の左右の目に対応する高品質画像を生成してもよい。各目のビューは、機械的な微調整及び対応するフィルタを用いて、対応する色付き眼鏡のために画像をバイアスするために色照明システムを利用することによって、又は対応するシャッタリングされた観察者のために光レートの画像を順次処理することによって、管理できる。適切な設計では、３次元的特徴は、使用されていない場合、表示システムが３次元モードをサポートしたための不都合を生じさせることなく、従来型の２次元画像の表示を行えるように、オプションとして実現される。
【００８６】
図４に示す実施の形態では、ＤＭ４０２は、ＤＯＰ２３０が、イメージング装置に供給する前に画像データを予め補償するために使用するための様々な形式のシステム伝送情報を保存する。この情報は、表示装置の種類に応じて異なり、幾つのパラメータを有していてもよい。例えば、ＤＭデータは、選択された画素又は画面の位置における画像変調器２４４（図２）の特性に対応するデータの簡単な１対１のマップであってもよい。また、ＤＭ４０２は、適用可能であれば、各表示画素に対応するメモリ記述又は表示画素又は画素セクタのグループの共有された記述を保存する。このような記述は、アンカ画素と呼ばれる１つの画素については、完全な情報が存在し、周囲の画素のための情報は、アンカ画素からの差分であるデルタ又は差分フォーマットで保存でき、これにより、データ量を削減することができる。記述は、フレーム毎には変化しないので、ＤＭ４０２は、好ましくは、表示処理の間、一回だけ、この記述を読み出す。そして、ＤＯＰ２３０は、この記述情報を用いて、画像フレームを生成する。ＤＭ４０２は、データを読み出す場合、データブロックへの参照情報を提供する一組の制御レジスタ（図示せず）を用いる。
【００８７】
ＤＭ４０２のデータは、様々であり、例えば、製造業者に関する情報、システム構成に関する情報及びユーザデータ等を含む。製造業者に関する情報には、例えば、通常、組立時にコンパイルされる、欠陥を含む又は性能が劣る画素表示ビットの位置のマップ、理想的な放射歪みと光学的に歪んだ投写の相関データ、画像変調器２４４の位置合せ点の相関データ等が含まれる。システム構成に関する情報には、自動自己較正を介して、例えば、各Ｒ、Ｇ、Ｂ色成分の調整可能な強さを含む位置合せマップ、及び所定の位置における色成分画素オフセット等が含まれる。このような位置合せマップのためのフォーマットは、アンカ画素に基づくことができ、アンカ画素の周囲の画素については、差分情報だけが保存される。このような位置合せマップは、フラッシュメモリ又は他の種類の不揮発性メモリに保存できる。幾つかのシステムでは、画素のためにガンマ補正調整を実行するためのメモリは、外部の回路に設けてもよい。ＤＭ４０２は、動的なセンサフィードバックに基づいて、ガンマテーブルを管理でき、又は外部の回路が、ＤＭ４０２介入なしで管理を実行できる。
【００８８】
投写方式では、ＤＭ４０２は、適用可能であれば、好ましくは、例えば、ソナー距離測定、赤外線距離測定、レーザ距離測定又は既知のパターンを表示し、捕捉する光学技術等を含むセンサ技術を用いて、プロジェクタから、表示スクリーン（図示せず）の異なる部分への距離及び歪みを測定する。光学技術の好例として、画像センサ及び表示スクリーンからの画像の捕捉のためのデジタルカメラ技術の使用がある。既知のパターン投写に組み合わせて、異なる画素位置及び三角メッシュパターンのＸ、Ｙ、Ｚの変移を含む投写パスによって、高度なモデルを構成できる。そして、ＤＭ４０２は、これらの測定値を用いて、投写表示装置を数学的に特徴付け、モデル化する。このようにして、ＤＭ４０２は、表示スクリーンの数学的な概算位置に画像を投写することができる。ユーザデータは、例えば、設定シーケンスの間にユーザが入力した明度、カラーバランス及びピクチャ鮮鋭度等を始めとするユーザの嗜好情報を含む。
【００８９】
異なる具体例として、ＤＭ４０２は、投写表示装置の伝達特性を表すための三角メッシュを含む。三角メッシュは、不均一であってもよく、三角形のサイズ及び向きは、表示上に亘って異なる。三角メッシュは、表示の特定の領域における歪みの量に基づいて密度が変化する重要度マップから構成できる。適応型の等値面抽出（adaptive isosurface extraction）等の技術を用いて、三角メッシュを生成することができる。表示装置内及び表示装置外の両方のカメラを用いる光学技術を、既知の一連画像パターンに組み合わせて、三角メッシュ情報を判定することができる。また、三角メッシュを判定する際に、テクスチャマッピングハードウェアの特徴に関する情報を用いることもできる。また、三角メッシュを変更して、例えば、４：３の入力を１６：９のアスペクト比の表示出力解像度に一致させるフォーマット変換等、他のシステム機能を実行してもよい。
【００９０】
平面表示スクリーン及びカメラの両方は、２Ｄ（Ｘ及びＹ）の次元のみを含むが、投写歪みは、３Ｄの深さ（Ｚ）成分を含む。Ｚ値が無視されると、様々な種類の遠近歪みがシステムに導入される可能性がある。幾つかのシステムでは、このような歪みが許容されるが、より高画質な画像が望まれるシステムもある。投写のための既知なパターンを用いて、これらの画像を、捕捉された画像の表現と比較することによって、Ｚ値を判定できる。例えば、Ｘ方向及びＹ方向の変移と、Ｚ方向の変移の組合せは、全て、ラインをアーク状に歪ませること（ワーピング）に貢献するため、如何なるＺ値も含まれていないＸ及びＹ頂点に基づくラインの補間によって、遠近歪みを示すアークが現れる場合がある。入力パターンを変更しながら表示されるパターンを記録することによって、「曲線近似」アルゴリズムを用いて、投写パスの歪みを最もよく表すことができるテセレーションマップのための適切なＸ、Ｙ、Ｚ頂点値が求められることは当業者にとって明らかである。一旦、頂点のための適切なＸ、Ｙ、Ｚ値が使用されると、三角形に亘る補間を行って得られる直線は、アーク状に歪まない。後述するテクスチャマッピングモードの間、この適切な頂点値のテセレーションマップを使用する。
【００９１】
表示装置のテセレーションマップは、各三角形の頂点の位置情報を含み、更に同じ三角メッシュの一部として、又は別の三角メッシュにおける他の色及び強さ情報を含むことができる。より高度な設定手順を含むシステムでは、頂点情報は、各頂点について異なるＺ値（深さ）含む。完全な表示面上で色パスがどう異なるかを表すために、各色成分は、異なるマッピングを必要とする場合がある。三角メッシュは、独立した個別の三角形、三角形ストリップ、三角形ファン又は他の何らかの編成として配列することができる。また、Ｂスプライン（"B-Spline）等の他の数学的な表現を用いてもよい。ＤＭ４０２は、好ましくは、直接又はバッファメモリ４２４を介して座標変換モジュール４０４にデータを提供する。
【００９２】
本発明では、座標変換モジュール４０４は、表示されると、可能な限りの高画質を示す補償されたデジタル画像の画素点の間の空間的関係を好適に再定義する。ワーピングとも呼ばれる座標変換は、画像スケール変更、回転及び位置変更を含む。座標変換モジュール４０４は、データをリサンプリングして、図２の画像変調器２４４に容易にマッピングすることができる。なお、座標変換モジュール４０４の出力データ点は、スケール変更又はリサンプリングのために、画像変調器２４４のグリッドのデータ点に１対１に対応しない場合がある。このため、ＤＯＰ２３０は、座標変換モジュール４０４からの変換されたデータサンプルをフィルタリングし、画像変調器２４４の各データ点の出力画素値を生成するポスト座標変換フィルタリングモジュール４０６を含む。画像変調器２４４は、ＸＹ平面内に点を有する２Ｄデバイスであるので、変換は、何からの深さ情報を２Ｄデバイスにマッピングする処理を含む。ポスト座標変換フィルタリングモジュール４０６は、空間フィルタリング法を用いて、画像を滑らかにし、データサンプルをリサンプリングし、これにより、適切に区切る。
【００９３】
また、座標変換モジュール４０４は、画像変調器２４４及び表示装置に関連した表示画像特性を改善する。表示スクリーン２６０の画素より多くの画像変調器２４４の画素を有する画像変調器２４４のスクリーン領域については、座標変換モジュール４０４は、隣り合う画素値の差分を低減するために、空間フィルタリングによって、画素値を調整する。この結果、対応する画像は、滑らかになり、アーチファクトを含まない。表示スクリーン２６０の画素より少ない画像変調器２４４の画素を有するスクリーン領域については、座標変換モジュール４０４は、エッジ強調フィルタリングを用いて、隣り合う画素値の間の差分を増加させ、画像投写によって隣り合う画素が広がった際に導入される歪みを予め補償する。
【００９４】
座標変換モジュール４０４は、好ましくは、例えば、最近近接フィルタリング、バイリニアフィルタリング、トライリニアフィルタリング、異方性フィルタリング、３次畳込み、同期フィルタリング、又は３次スプライン補間等のフィルタリングアルゴリズムを用いて画像を処理し、正確に補間された画像画素値を生成する。更に、複数のフレームの再生が必要な場合、座標変換モジュール４０４は、凸射影法（Projections On Convex Set：ＰＯＣＳ）等の決定論的手法及びベイジアン強調（Bayesian enhancement）等の確率論的手法を含む時変マルチフレームフィルタリング法を用いる。座標変換モジュール４０４は、演算の複雑さに基づいて、適切なフィルタリング技術を選択する。異方性フィルタリングは、画像を明瞭にし、距離によって異なり、距離に応じて傾斜を有する場合がある表面上の画像テクスチャの画質を向上させる手法である。異方性フィルタリングは、バイリニア等の単一のテクスチャマップ又はトライリニア等の複数のテクスチャマップを用いることができ、異方性フィルタリングは、処理において、不鮮明さが導入されることが少なく、したがって、より詳細な情報を保存できるという更なる利点を有する。異なる方向で異なる量でスケーリングを行う場合、異方性スケーリングが行われる。具体例として、６４×６４のソース画素テクスチャを、１４×３０画素の出力矩形を覆うようにスケーリングする場合がある。
【００９５】
座標変換モジュール４０４は、表示スクリーン２６０の環境に関連する画像欠陥を改善できる。座標変換モジュール４０４は、通常、正面投写型のシアタシステムで用いられているように、画像を歪ませて曲面の表示スクリーン２６０を補償する空間的投写を実行し、次に、ビットストリーム情報を用いて、画質を向上させる。例えば、座標変換モジュール４０４、動くオブジェクトの深さに関する情報を取得することができる場合、曲面の表示スクリーン２６０の端における歪んだ動きを減少させることができる。座標変換モジュール４０４は、オブジェクト距離情報に従って、動くオブジェクトの最適なフローを構成する。そして、座標変換モジュール４０４は、動き適応型フィルタリングを用いて、時間領域において、オブジェクトを適切な空間座標に配置する出力フレームのシーケンスを組み立てる。座標変換モジュール４０４は、このようにして、曲面の表示スクリーン２６０への投写の間に、シーン内の全てのオブジェクトの正しい動きを伝える。また、座標変換モジュール４０４は、光学補正に関連して、プロジェクタ（図示せず）から表示スクリーン２６０の異なる部分への異なる焦点距離から生じる歪みを改善するように動作する。座標変換モジュール４０４は、表示スクリーン２６０の環境をモデル化する光ベースのパターン投写及び捕捉技術（上述）からの情報を使用し、次に、表示装置のテセレーションマップの形式のモデルを使用して、画像歪みを数学的に補償する。座標変換モジュール４０４は、光学系によって生成される反り歪み（warping distortion）を補正するために、同様の平面スクリーンの三角形ベースのディスプレイテセレーションマッピングを曲面のスクリーンに適用する。
【００９６】
画像変調器２４４から表示スクリーン２６０までのパスの伝達関数は、表示スクリーン２６０が曲面である場合、変化する。表示スクリーン上の曲線は、表示装置の伝達関数の一部になる。座標変換では、伝達関数に曲面の表示スクリーンの影響及びテセレーション三角メッシュ値を組み込み、これに応じて補償を行うことができる。伝達関数にスクリーンの湾曲を組み込む利点は、システム歪み及びスクリーンの湾曲の両方について、座標変換処理を一回だけ行えば済むようになるという点である。
【００９７】
座標変換モジュール４０４は、様々なヘッドマウントディスプレイ（Head-Mounted Display：ＨＭＤ）のために、曲面の表示画面２６０の処理と同様の空間的処理を用いる。ＨＭＤは、ユーザが装着するヘルメット又は眼鏡と組み合わされた表示装置であり、通常、左右の目のための２つの画像変調器２４４を含む。ＨＭＤは、１人の観察者に専用に使用され、物理的な領域が狭いため、通常、画素密度が高い高画質画像を表示する。
【００９８】
座標変換モジュール４０４は、動き適応型フィルタリングを考慮することなく、３Ｄグラフィクスのコンテキストにおいて、曲面の表示スクリーン２６０へのワーピングを有する画像の空間的な投写を扱う。座標変換モジュール４０４は、表示画像フレームを２Ｄテクスチャとみなし、曲面を３Ｄ表面とみなす。そして、座標変換モジュール４０４は、例えばビデオである２Ｄテクスチャを、曲面の表示スクリーン２６０の数学的な逆である表面にマッピングする。このようにして、座標変換モジュール４０４は、投写されると、マッピングされた画像から曲面の表示スクリーン２６０に関連する歪みが除去されるように、画像フレームを事前に補正する。
【００９９】
座標変換モジュール４０４は、好ましくは、例えば、異方性フィルタリング等の技術を用いて、出力画素を生成する際に最もよいテクスチャが使用されることを保証する（「Marc Olano, Shrijeet Mukherjee, Angus Dorbie, "Vertex-based Anisotropic Texturing," Proceedings of the 2001 SIGGRAPH/Eurographics Workshop on Graphics Hardware (Los Angeles, CA, August 12-13, 2001), ACM SIGGRAPH, New York, 2001」参照）。より簡単なバイリニアの単一テクスチャ解像度を用いることに代えて、トライリニアモードに関連する画像フレームの異なるサブバンド及びスーパーバンド表現からのテクスチャサンプルを用いることが最良である。異なる帯域を提供することによって、異方性フィルタリングは、異方性フィルタリングの追加的な処理により、トライリニアモードと同様にテクスチャの２つ以上の解像度からのテクスチャサンプルを利用できる。更に、座標変換モジュール４０４は、好ましくは、例えば、同期フィルタ、ウィナー逆畳込み（Wiener deconvolution）、ＰＯＣＳ及び／又は他のマルチパスフィルタリング技術等のフィルタリング技術を用いて、オフラインで画像をフィルタリングし、フィルタリングされた画像をフィルムレコーダに出力する。座標変換モジュール４０４は、単一の画像マップから、所望の画素の全てをサンプリングし、所望の出力を生成することもできるが、座標変換モジュール４０４は、画像処理パイプラインの異なる処理段で何度も実行する必要がある、幾つかの、より一般的な処理を容認してもよい。このような処理の段階化によって、例えば、異なるメモリアクセスについて、サブバンド化及びスーパーバンド化等の処理を最適化でき、これにより得られる画像帯域をＧＴ４０４によって再利用することができる。
【０１００】
例えば、入力画像の８ラインを保存するラインバッファを用いて、画像を半分の解像度にフィルタリングし、ライン毎に１２８画素及び８ラインを使用して、高度に最適化された半分の解像度の画像を生成してもよい。このような処理は、入力パス又はＩＲ３１８において実行でき、ＧＴ４０４は、フィルタリングされた半分の解像度の画像を、画像サブバンドとして使用できる。座標変換において、同等のスケール低減処理を実行するには、オリジナル画像からの１０２４個のテクスチャサンプルを使用する必要がある。ＧＴ４０４がメモリバッファ又はテクスチャサンプルキャッシュを含む場合、通常、これらと同じテクスチャサンプルは、他の座標変換処理に必要であるため、テクスチャサンプルのアクセスを含むことができる。ＧＴ４０４が十分なテクスチャサンプルへのアクセスを有し、且つ画像のスケーリングを含む完全な処理を実行する十分な演算スループットを有する場合、ＧＴ４０４は、テクスチャサンプルのために最も高い解像度の画像帯域を使用する。一方、テクスチャサンプルの数又は演算の量において、座標変換処理に制約がある場合、最も高い解像度の画像サブバンド及び他の特別にフィルタリングされ及びスケーリングされた画像サブバンドの両方からのテクスチャサンプルを用いることによって、優れた画像を生成することができる。異なる段階の処理を用いる場合であっても、ＧＴ４０４は、所望の処理を遂行するために、マルチパスを実行する必要があることが多い。
【０１０１】
座標変換モジュール４０４は、他の３次元テクスチャマッピングモードでもビデオデータを処理し、画像内の複数のテクスチャを含むシステムを用いることができる。例えば、座標変換モジュール４０４は、バンプマッピング、及び複数のテクスチャマップを画像に適用するディスプレースメントマッピング等の高画質のテクスチャリング技術を用いることができる。これらの複数のテクスチャマップモードは、テクスチャソースとして、画像データの異なるサブバンドを用いることもできる。他の具体例として、座標変換モジュール４０４は、写真フィルム特有のざらつき感（graininess）をモデル化し、マルチサーフィステクスチャリングを適用して、ビデオデータにフィルムにより近い質感を与える。座標変換モジュール４０４によって、ユーザは、例えば、オーディオ再生オプションにおける「ホール」、「スタジアム」等の残響効果の選択と同様に、設定操作の一部として、ざらつき感モデリング特性を選択することができる。また、座標変換モジュール４０４は、３次元システムにおける異なる照明モデルに関連する光源技術を用いて、色振幅の不一致を補正できる。
【０１０２】
表示歪みを特徴付ける「テセレーションマップ」は、歪みの度合いが高い部分で、より密度が高いメッシュを有する一様ではない複数の三角形から構成することができる。
【０１０３】
画像変調器は、パターン内で一様に区切られた固定された数の画素を有する。画像変調器から表示スクリーンに画像を投写する際に、画素間隔の均一性に変化が生じる。換言すれば、画素は、画像変調器のサブエリアと、表示スクリーンの対応するサブエリアとの間で、１対１の関係にはない。したがって、表示スクリーンの幾つかの表示領域は、表示スクリーンの画素より多くの画像変調器の画素を有し、表示スクリーンの他の表示領域は、表示スクリーンの画素より少ない画像変調器の画素を有する。
【０１０４】
システムの伝達関数へのテセレーションマップのフィッティングを判定するためのアルゴリズムは、様々な技術に基づくことができ、システムの特定の不均一性に応じて調整することができる。更に、テセレーションマッピングアルゴリズムが決定される時点で、座標変換モジュール４０４の処理及びテクスチャマッピング技術は、通常、既知であるので、これらの処理ステップの如何なる特定の特徴も、三角メッシュの判定の一部として、考慮に入れることができる。ユーザが動く都度、テセレーションマップが変化する対話型の３Ｄゲームとは異なり、投写パスは、通常、リアルタイムでは変化しないので、この種のシステムのテセレーションマップは、本質的に一定のまま持続する。位置ベースの娯楽システム又は３Ｄ仮想現実感システムをサポートするアプリケーションの場合、投写パスは、実際に、リアルタイムで調整できる。
【０１０５】
テセレーションマッピングアルゴリズム及びこれにより得られる三角メッシュは、システムの伝達関数を測定するために、様々なテスト入力を生成し、テスト画像を捕捉する手法を含む様々な手法によって生成することできる。テスト入力は、単一の画素又は単一ライン画像、表示画面の異なる部分に投写される異なる形状を含むことができ、また、色成分及び色の強さを変化させてもよい。リアルタイムビデオ画像を処理する能力は、複数の三角形頂点の組合せ、各頂点について実行される処理の量、各三角形の非頂点画素の処理のためのフィルレートによって制限してもよい。これは、小さい三角形が多すぎる様々な処理ステップは、実用的でないことがあるためである。更に、三角形が大きく、数が少なすぎる場合も、よい結果が得られない可能性がある。したがって、必要な部分で、より小さい三角形を利用できるようにする技術の開発は、三角形テセレーションにおける重要なステップである。
【０１０６】
通常は考慮されていないが、より高度なシステムにおいては、三角メッシュを決定する際にリアルタイム画像データを考慮してもよく、これにより、新たな動的なテセレーション技術が実現される。このような動的なテセレーション技術の利点は、アクティビティ及び高周波数成分が多い表示領域に、より細かい三角メッシュを動的に割り当てることができ、アクティビティ及び高周波数成分が少ない表示領域には、より粗い三角メッシュを動的に割り当てることができる点である。表示領域内の高周波成分及びアクティビティの量は、圧縮データストリームの場合、ビットストリームエンジン３１２５によって、又は画像再生モジュール３１８によって判定してもよい。この判定は、表示画面の異なる粗い四分円、適度のサイズのタイル、より小さいサイズの区域、又はコードブロックまでのあらゆる単位に基づいて行ってもよい。そして、動的なテセレーションは、リアルタイムのコンテンツ情報と共に、システムの伝送情報を用いて、所定の画像又は画像のシーケンスのために最良の三角メッシュをどのように選択するかを決定する。三角メッシュを選択する際に、システムで用いられるテクスチャマッピング技術に関する追加的情報を用いることもできる。
【０１０７】
座標変換モジュール４０４は、多視点カメラシステムからのデジタルデータを処理して、フォーカスを改善し、画像変調器２４４のために高画質画像を提供することができる。座標変換モジュール４０４は、複数のカメラビューの何れが、オブジェクトについて最良のフォーカスを提供しているかを評価し、適切な視野においてオブジェクトを再生する。そして、座標変換モジュール４０４は、領域毎又はオブジェクト毎に複数のカメラビューを結合し、出力画像を生成する。また、多視点カメラビューは、マルチフレーム画像の再生のためにも使用することができる。
【０１０８】
また、座標変換モジュール４０４は、画像データに含まれているマルチカメラビットストリーム情報を用いて、シーンのオブジェクト深さを判定し、動くオブジェクトの形状及び動きパターンの３次元モデルを構成することができる。そして、座標変換モジュール４０４は、同じビットストリーム情報を用いて、曲面の表示スクリーン２６０投写に関連する問題を解決し、表示スクリーン２６０全体に亘る適切なオブジェクトの動きを実現する。
【０１０９】
座標変換モジュール４０４は、出力フレームを生成する際に、受信データストリームの他の動き情報、例えば、ソースビデオのフレームレート又はビデオストリーム内のオブジェクトのフレームレートを用いてもよい。ビデオ及びオブジェクトのソースフレームレートを表示フレームレートに整合させる際に、ＭＬＣ４２０の制御と、適切な変調された光源及び画像変調器と組み合わせて、ＧＴ４０４を使用してもよい。供給されるビデオシーケンス内の様々なオブジェクトは、それぞれ独自の動きを有する。ＤＯＰ２３０の出力は、一度に１つのプライマリフレームレートをサポートする。異なるオブジェクトの独立した動きに対応するために、動き補償フィルタリングを用いて、出力フィールドの正しい位置に動くオブジェクトを位置決めしてもよい。
【０１１０】
また、座標変換モジュール４０４は、複数のカメラチャンネルが両眼視画像を提供し、観察者の両目のそれぞれがシーンの単眼のビューを見る自動立体３Ｄ表示装置を改良することができる。複数のカメラからのビデオ入力は、カメラ位置の知識に結合され、３Ｄ表示を生成することができる。表示処理の間、位置情報が使用され、観察者は、左右の適切な視点からカメラビューを見る。好ましい実施の形態では、立体的な３Ｄ情報を含んでいないビデオ情報のベース層は、ブロードキャストされ、通常通り、復号され、表示される。補足的な立体的３Ｄ情報を提供するためには、階層符号化法が使用される。他のシステムでは、階層符号化技術によって提供される追加的なビットストリーム情報がビデオ内のオブジェクトを明示的に示し、及びオブジェクトの深さ及び動きを示す。ＧＴ４０４は、明示的なオブジェクト情報と共にカメラ位置情報を用いて、表示出力データを変更することができる。座標変換モジュール４０４は、上述したフォーカス動き適応フィルタリング技術に基づいて各単眼ビューを生成することができる。
【０１１１】
観察者の位置情報と複数のカメラビューを一致させる技術は、複数の画面を有する娯楽システムに用いることができる。これらの娯楽システムは、移動する画面及び静止した画面と、移動する観察者又は静止した観察者との任意の組合せを含んでいてもよい。具体的なアプリケーションとして、テーマパークの乗り物では、観察者は、観察者が乗り物の移動経路に沿って移動しながら、複数の画面を見る。乗り物の移動経路は、予め決まっていてもよく、インタラクティブに決定できてもよい。
【０１１２】
複数のビデオ入力を有するシステムの場合、座標変換モジュール４０４を用いて、特殊効果及びビデオストリーム間のリアルタイムの遷移を実現し、ユーザインタフェースを向上させることができる。例えば、チャンネルを変更する場合、１つのチャンネルから他のチャンネルへの突然の変化ではなく、座標変換モジュール４０４は、１つのチャンネルを、新たなチャンネルと混合させながら、フェードアウトさせることができる。フェードイン／フェードアウト及び混合では、通常、ビデオ画素を現在の位置に維持し、画素値の大きさを増加又は減少させる重み付けを実行する。また、この手法は、例えば、オンラインプログラムガイド及びユーザ設定メニュー等のメニューオーバレイ機能にも用いられる。また、座標変換モジュール４０４は、ワイプ又はワープ等のより高度な遷移も実行できる。これらのより高度な遷移は、ビデオ画像の空間座標を変更することによって、ビデオ画像をワープさせることを含む。これらの効果を実行するための１つの技術として、ビデオをテクスチャマップとして使用し、ビデオテクスチャマップを変化するディスプレイマップにリアルタイムで適用してもよい。ＧＴ４０４を用いて、ＧＴ４０４が必要とする他の処理と共に、画像のスケールを縮小した場合の画質より高い画質で画像サブバンドが生成される場合、この画像サブバンドを利用することによって、様々な座標変換の質が向上する。
【０１１３】
投写表示装置のパラメータに基づいて、ＧＴ４０４は、画像変換を実行する。ＧＴ４０４の様々な処理段階において、オリジナル画像からの画像サブバンドを用いて、新たな画像出力フレームを処理し、生成することができる。幾つかの場合、ＤＩＰ２１０の出力に更なるサンプリング技術を用いて、ＤＯＰ２３０のためのデータを生成してもよい。デジタル画像の座標変換は、サンプリング処理であり、エイリアシングアーチファクトに影響されやすい。ポイントサンプリング法等の簡単なサンプリング技術は、エイリアシングを回避するために十分ではない。これに代えて、エリアサンプリング、スーパーサンプリング、適応型スーパーサンプリング、確率論的サンプリング、ポアソンサンプリング、ジッタサンプリング（jittered sampling）、ポイント拡散サンプリング（point diffusion sampling）及び適応型の確率論的サンプリング等の技術が必要である。また、サンプリングにおいて、他の、より高度な畳込み技術を用いてもよく、高度なサンプリングが使用された後でも、ポストサンプルフィルタリングが必要である。本発明では、好適に設計された全ての適応型アルゴリズムと同様に、特別なフィルタリングを用いて、同じ画像又は画像シーケンス内のアルゴリズムの突然の変化から生じるアーチファクトを抑制する。
【０１１４】
ＤＯＰ２３０の処理の一部として、ビデオフレームをグラフィックフレームに結合する必要がある場合があり、ここで、グラフィックフレームは、１つ以上のデジタル又はネットワークインタフェースを介してシステムに入力されるものであってもよく、ＤＯＰ２３０によって内部的に生成されるものであってもよい。何れの場合も、グラフィックフレームは、出力画像を適切に表示することを保証するために、事前補償処理を必要とする。この処理は、ビデオ画像に関連付けて実行してもよく、又は、ビデオ画像とは別個に実行した後、ビデオ画像にグラフィックフレーム結合してもよい。グラフィクス及びビデオを結合する簡単な処理として、各画素毎に、ビデオ情報又はグラフィック情報の何れかが表示されるマスキング又はオーバレイ処理を実行できる。ビデオ画像にグラフィクスを重ねるより高度な手法では、異なるレベルのトランスペアレント性を用いる。グラフィック画像を生成する際に、各画素をサブピクセルに分割するスーパーサンプリング又はマルチサンプリングの技術を用いて、アンチエイリアシングを実行する。エッジを滑らかにするアンチエイリアシングのために、グラフィック画像が独自に処理される場合でも、グラフィクス及びビデオの結合による作用から、グラフィクス画素及びビデオ画素が隣接する領域で望ましくない視覚的アーチファクトが生じる可能性がある。ビデオ及びグラフィックフレームを結合する改善された手法として、座標変換モジュール４０４は、テクスチャトランスペアレントモードに結合できるアンチエイリアシングを実行し、結合されたビデオ及びグラフィック画像の総合的な見栄えを改善する。アンチエイリアシング技術の機能は、結合された画像がより自然に見えるように、エッジにおいて、ビデオ画像データ及びグラフィック画像データを結合することである。
【０１１５】
画像変調器ＭＬＣ４２０の出力は、アナログ信号であってもよいが、好ましくは、６ビット、８ビット又はこれ以上のデジタル信号であり、独立したデータ及び各Ｒ、Ｇ、Ｂ色成分の制御信号を含む。列ドライバを含むＴＦＴディスプレイの場合、ＭＬＣ４２０の出力は、例えば、１つ又は２つの２４ビットデジタルバスであってもよく、１成分あたり８ビットで、ラスタスキャンを駆動する。これに代えて、ＭＬＣ４２０は、画像変調器２４４を駆動する出力として、電圧又は周波数変調技術を用いてもよい。ＭＬＣ４２０の出力は、フラットパネル表示装置の場合、行ドライバ及び列ドライバを含み、アクティブマトリクスＴＦＴ、パッシブマトリクスＬＣＤディスプレイ又はこれらを必要とする他の種類の表示装置の場合、電圧レベルの定義を含む。画像を変調する前に、ＭＬＣ４２０は、最も簡単な手法、周波数及び画像変調器２４４に書き込まれるデータを表す値を判定する。ＭＬＣ４２０は、画像変調器２４４のためのタイミング制御機能及び表示品質を改善するための変調制御機能を有するＴＧＰ４１２及びＲＳＲ４１４を用いる。
【０１１６】
ＭＬＣ４２０は、好ましくは、データバス４５０を介して、処理されたデータを受信し、画像変調器ドライバ２４２及び画像変調器２４４ｎ並びに表示光源制御器２５５に出力データ及び制御信号を供給する。ＭＬＣ４２０は、画像変調器及び表示光源制御器２５５の行ドライバ及び列ドライバの順次処理を実行するタイミング制御器（Timing Controller：ＴＣＯＮ）を含んでいてもよく、外部ＴＣＯＮをシステム内に含めてもよい。何れの場合も、ＴＣＯＮは、画像フレーム内のティアリングを防止し、動きを最良に再現するために用いてもよい。ＭＬＣ４２０によって用いられる技術の１つとして、表示光源２７０をオフにして、「帰線消去期間」の間、画像変調器２４４にデータのフレーム又はサブフレームをロードし、画像がロードされると、適切な表示光源２７０をオンにしてもよい。これは、シャッタ効果とも呼ばれ、色フィルタリング方式においては、帰線消去期間の間、マルチカラー画像全体を画像変調器２４４にロードしてもよい。
【０１１７】
図５は、画像変調器及び異なるフィールドシーケンシャルカラー光源の時間的な制御を示している。図５は、単一の画像変調器２４４と共に、フィールドシーケンシャルカラー光源２７０を用いる好ましい実施の形態に対応している。画像変調器２４４は、表示データの単一のフレームの解像度を有する。色フィルタを含む画像変調器２４４とは異なり、フィールドシーケンシャルカラー方式を用いる画像変調器２４４は、３倍（ＲＧＢ）又はより高い（ＲＧＢＸ）空間的解像度を必要としない。このような方式では、光源が画素色を提供するので、色フィルタは不要である。このため、色フィルタのコストが節減できるだけではなく、色フィルタリングによって生じる光の減衰の問題を回避することができる。
【０１１８】
色付きの光源は、連続する色フィールドのそれぞれについて、一様な強度が達成されるように、表示面全体に亘って分布していると考えられる。光の強度及び波長の一様性を保証するために、後述する補償技術を含む様々な技術が使用される。表示画面の対応する部分の強度を変更し、各色フィールドに亘って、より広いダイナミックレンジを実現するように、各色及び各ＬＥＤを個別に制御してもよい。この具体例におけるＬＥＤ色シーケンスは、赤色、緑色、青色及び白色であるが、他の色シーケンスを用いてもよい。白色フィールドは、赤色ＬＥＤ、緑色ＬＥＤ及び青色ＬＥＤの全てを一度に用いることによって生成してもよく、表示光源２７０の１つとして白色ＬＥＤを含ませてもよい。
【０１１９】
図５では、８個の期間Ｔ０〜Ｔ７に５００、５０６、５０８、５１０、５１２、５１４、５１６、５１８の符号を付し、これらをまとめて、フレーム期間５４０としている。フレーム期間５４０は、フル表示フレームの色成分を連続して表示するための完全な期間である。これらの期間は、同等な長さのように示しているが、必ずしも等しい長さでなくてもよい。具体的には、画像変調器ドライバ２４２を介する画像変調器２４４による画像スキャン期間５０２の速度は、色遷移の間で必要である「帰線消去期間」５０４を決定する。帰線消去期間５０４は、照明をオフにした状態で画像変調器２４４に完全な画像をロードできるシャッタと同様の効果を生じさせる。フレーム期間５４０は、表示装置のリフレッシュレートに反比例する。各色のための期間の長さは、通常、同じであるが、総合的な色値は、個々の色フィールドの期間によって定まる。他のより高度な制御方式では、供給されるビデオ又はオブジェクトフレームの動きを出力フレームレートに整合させるために、フレーム期間５４０を変更してもよい。
【０１２０】
Ｔ０  ５００では、何れのＬＥＤも照射せず、赤色画像５２０が画像変調器２４４にロードされる。Ｔ１  ５０６では、赤色画像５２０が完全にロードされ、赤色ＬＥＤ５２２が照射される。異なる赤色ＬＥＤ５２２の強度は、画面上の対応する位置における所望の光レベルに基づいて変更してもよい。Ｔ２  ５０８では、赤色ＬＥＤがオフにされ、画像変調器には、可能な限り速やかに、緑色画像５２４がロードされる。Ｔ３  ５１０において、一旦、緑色のイメージがロードされると、緑色ＬＥＤ５２６が照射され、緑色画像５２４が表示される。Ｔ４  ５１２では、緑色ＬＥＤ５２６がオフにされ、青色画像５２８が画像変調器２４４にロードされる。一旦、青色画像がロードされると、Ｔ５  ５１４の期間、青色ＬＥＤ５３０が照射される。Ｔ６  ５１６では、青色ＬＥＤ５３０がオフにされ、最終的な白色画像５３２が画像変調器２４４にロードされ、次に、Ｔ７  ５１８において、白色ＬＥＤ５３４が照射される。通常、独立した白色画像は、必ずしも必要ではないが、表示の明度を向上させるためには有用である。実際には、白色ＬＥＤは、赤色ＬＥＤ、緑色ＬＥＤ及び青色ＬＥＤから独立したＬＥＤであってもよく、これらの３つのＬＥＤの複合体であってもよい。
【０１２１】
図５の具体例では、所定の色フィールドのＬＥＤの全てが一度に循環的に制御される。従来の色フィルタリング方式では、画像全体をロードするために、１回の帰線消去期間だけが必要である。一方、フィールドシーケンシャルカラー方式では、４個のカラーフィールド画像を画像変調器にロードするために、４回の帰線消去期間が必要となることもある。通常、各表示フレームは、４つの完全な色フィールドの空間的解像度の４分の１であり、有効解像度は、更新の頻度を高めることによって、時間的に高められる。
【０１２２】
図６は、所定の色フィールドのＬＥＤの全てを一度に循環的に制御する必要がない他の好ましい実施の形態の構成を示している。この実施の形態は、ローリングシャッタ技術と共に、従来の色フィルタリング方式又はフィールドシーケンシャルカラー方式の何れにも用いることができる。マルチカラーＬＥＤと、色フィルタとを含むハイブリッド方式は、何らかのシャッタ技術を用いて実現してもよく、シャッタ技術を用いることなく実現してもよい。
【０１２３】
図６は、フラットパネル表示装置用の３色ＬＥＤバックライト装置６４０の構成を示すブロック図である。このバックライト装置６４０では、個々のＬＥＤがそれぞれのバス６２２〜６２８を介して制御されるＬＥＤ６１２〜６１８の４つの行を示している。ここでは、説明を明瞭にするために簡略化して示しているが、本発明の好ましい実施の形態では、ＬＥＤによって生成された光パターンを改善するために、千鳥状のパターン（staggered pattern）、六角形、八角形又は他の多角形グリッドでＬＥＤを配列してもよい。グリッド点は、個々のＬＥＤ又は各画素を構成するマルチカラーＬＥＤのクラスタの何れであってもよい。表示画面上に望ましくない色スポットが生じることを防止するために、側面発光型ＬＥＤ又は分流加減器を有するＬＥＤを用いてもよい。センサの配置は、ＬＥＤの特定の配置に基づいて異なるが、センサフィードバック及びＬＥＤ処理を行う包括的な概念は同じである。多角形ＬＥＤ構成の場合、センサを各多角形の中心に配置することができる。この構成は、赤色ＬＥＤ、緑色ＬＥＤ及び青色ＬＥＤだけを含むが、他の構成では、白色ＬＥＤ又は他の色のＬＥＤを含ませてもよい。通常、有色のＬＥＤを組み合わせて、連続する色間隔の間に時間的に、又は隣接している画素を使用して空間的に白色を生成することができる。
【０１２４】
好ましい実施の形態では、各ＬＥＤの明るさは、バス６２２、６２４、６２６、６２８を構成する個々の制御線により、表示光量制御回路、すなわち行ＬＥＤ制御回路６０２〜６０８によって個々に制御される。他のシステムとして、位置及び色の何らかの組合せに基づいて、グループ又はクラスタの何れかとしてＬＥＤを制御してもよい。行１〜４のＬＥＤ制御回路６０２〜６０８は、ＭＬＣ４２０からコマンドを受信し、ＬＥＤの種類に応じて、電圧、電流、パルス幅変調又はこれらの３つの任意の組合せに基づいて、輝度調節を行う。図６は、緑色（Ｇ）、青色（Ｂ）赤色（Ｒ）、緑色（Ｇ）の繰返しシーケンスを示しているが、異なるパターン及び異なる色を用いてもよく、ここでの目的は、完全な色域を表示する能力である。この具体例においては、現在の緑色ＬＥＤ技術では、赤色及び青色と同等の高出力が達成されていないので、緑色ＬＥＤの数を倍にしている。他のシステムとして、第２の緑色ＬＥＤに代えて、第４の色（波長）のＬＥＤを用いてもよい。
【０１２５】
図６に示すように、例えば、ＴＦＴパネル等の表示変調器が、照明システム上の所定の位置に配置されると、多くの表示変調器の画素が各ＬＥＤからの影響を受け、表示変調器の各画素は、複数のＬＥＤからの影響を受けることがある。ＬＥＤ、表示変調器の画素及び表示画面の間の関係は、点像分布関数（Point Spread Function：ＰＳＦ）によって記述できる。ＬＥＤ及び表示変調器の間には、通常、ＬＥＤからの明るいスポットの電位を低下させ、光源全体を均一化するための幾つかの種類の拡散フィルムがある。ＬＥＤは、通常、プリント回路基板（ＰＣＢ）に取り付けられており、ハーネスを補助すると共に、ＬＥＤ光をパネルに向けるために、ＰＣＢのＬＥＤ側には、幾つかの種類の反射型材料が配設されている。行１のＬＥＤ制御回路６０２、行２のＬＥＤ制御回路６０４、行３のＬＥＤ制御回路６０６、行４のＬＥＤ制御回路６０８及びセンサ回路６３８は、物理的に、ＬＥＤからＴＦＴパネルへの光路の外にある必要があり、ＰＣＢの背面側又は表示画面の枠の下に配置することができる。
【０１２６】
ＬＥＤバックライト装置６４０の一部として、様々なセンサ６３２ａ〜６３２ｆが設けられている。センサは、明度及び波長を検出してもよい。センサ６３２ａ〜６３２ｆは、表示装置内の様々な位置に配設することができ、ＬＥＤ光を直接検出してもよく、又はフラットパネル表示装置の一部である拡散フィルタを介して検出してもよい。本発明の一実施の形態においては、各ＬＥＤは、外部的に、ＬＥＤパッケージの一部として又はＬＥＤ組立体の一部として、センサを含むことができる。センサは、サンプリング及び変換回路を必要とすることがあり、この回路は、センサに組み込んでもよく、又はセンサ回路６３８等の独立した回路であってもよい。ディスプレイセンサフィードバックパス６３６は、ＤＯＰ２３０の一部であるセンサ入力４２６にセンサデータをフィードバックする。
【０１２７】
センサフィードバック情報は、明るさ及び色（波長）に関して、様々なＬＥＤ光源の特性を判定するために処理され、更なる処理によって、表示装置を較正する。ＬＥＤ特性は、電子部品が加熱するに伴って、温度によって変化することがあり、また、ＬＥＤの使用期間によって変化することもあり、これにより、ＰＳＦも変化する。光源の他の重要な側面は、所望の色温度に関して、様々な波長のＬＥＤのバランスを保ち、システムの適切なホワイトバランスを維持することである。センサのための処理回路は、共有してもよく、すなわち、複数のセンサが同じ期間に亘って回路を共有する。例えば、センサがアナログ信号を出力し、処理回路がアナログ／デジタル変換を実行してもよい。各ＬＥＤ毎にセンサがある場合でさえ、アナログ／デジタル変換のために回路を共有してもよい。通常、全てのＬＥＤを同時に較正する必要はないが、センサ回路の幾つかの組を設け、２以上の位置からのセンサ情報を用いて、所定の入力の組についてＬＥＤ特性を判定することは有益である。
【０１２８】
図６に示すように、センサが表示装置内の様々な位置に配置されており、１つのＬＥＤあたり１つのセンサがない場合、任意のＬＥＤの特性を判定することはより難しくなる。例えば、ＯＬＥＤ及びＮＥＤベースのシステム等、また、センサを含むことができる光源が各画素部品の一部として含まれている他のシステムでは、各画素部品毎にセンサを設けることができる。各画素部品のためのセンサは、単に感知素子を含んでいればよく、感知素子から使用可能なデータへの変換及びサンプリング（アナログ／デジタル変換等）は、画素部品素子間で共有される１つ以上のセンサ制御回路によって実行できる。以下の説明は、ＬＥＤを中心に行うが、この説明は、ＯＬＥＤ、ＦＥＤ、ＮＥＤ又は他の光源にも容易に適用できる。
【０１２９】
ＬＥＤの特性を判定する２つの手法として、診断モードと、実際の表示データが表示されている間に行うランタイムサンプリングとがある。診断モードでは、検査中のＬＥＤを除く全てのＬＥＤをオフにすることができる。検査中のＬＥＤを異なるレベルで順次制御し、センサは、各レベルで値を記録することができる。例えば、ＬＥＤが１６個の明度レベルを有する場合、ＬＥＤを明度レベル１に設定し、ＬＥＤの範囲内のセンサが色及び強さレベルを記録する。次に、明度をレベル２に変更し、レベル２のＬＥＤにおける色及び強さレベルを記録する。このような処理を１６個の全ての明度レベルに亘って繰り返し、ＬＥＤの応答テーブルを保存する。そして、このような手続きを、システムの各ＬＥＤ毎に繰り返す。この手法により、ＬＥＤ及びセンサの相対的位置に関する情報と組み合わせて、フラットパネル照明システムの完全な較正を実行できる。幾つかのシステムは、温度に基づいて表示装置を更に較正するための温度センサを備えていてもよい。また、他のシステムは、画面の見栄えに影響する周囲光条件を測定するセンサを備えていてもよい。
【０１３０】
工場において、又は表示装置のメインテナンスの間、診断モードを実行できる。しかしながら、通常の動作条件では、例えば、民生用テレビジョン受像機等の用途では、このような診断動作を常に実行できるわけではない。例えば、テレビジョンシステム等の民生用機器の用途では、テレビジョンの処理にこのような診断モードを隠すことができる。例えば、テレビジョン受像機が２時間以上オンにされている場合、ＬＥＤは、標準の運転温度で作動していると考えられる。ユーザがテレビジョン受像機をオフにすると、ＬＥＤ診断モードを実行できる。ＴＦＴ又はＬＣＤ画面がオフにされると、ユーザに煩わしい思いをさせることなく、このようなＬＥＤ診断モードを実行でき、部屋が消灯されない限り、ユーザは、このような較正が行われていることすら気付かない。
【０１３１】
しかしながら、幾つかの用途では、デジタル表示装置は、全くではないにしても、殆どオフにされることがなく、このような場合、通常の動作条件でこのような診断モードを実行することはできない。例えば、表示装置がホテル又は空港内の売店に設置されている場合、表示装置は、数ヶ月間又は数年間もオンのままにされることがある。このような場合には、表示処理の一部である動作的な刺激（operating stimulus）を用いて、ＬＥＤ特性判定を実行する必要がある。ＭＬＣ４２０は、如何なる出力が表示光量制御回路６０２〜６０８を駆動しているかを知り、駆動出力及び対応するセンサデータを追跡及び比較することができる。センサが光及び色を記録し、これらを相関させ、ＬＥＤが何に対して設定されたかにフィードバックさせるこのようなフィードバックシステムは、ＬＥＤ出力設定にかかわらず動作させることができる。これに代えて、表示装置は、表示処理の間に自然に発生する所定のＬＥＤ条件を検出し、この期間のセンサデータを記録するのみであってもよい。幾つかの用途、例えば、フライトスケジュールを常時表示する空港の売店の表示装置等では、表示される色の組は限定的であり、予め選択されたＬＥＤ条件が永久に満たされないこともある。したがって、所定のＬＥＤ条件を検出する技術に基づくシステムでは、ＬＥＤ設定が如何なる設定であろうと、センサ信号を記録するモードが必要となる場合もある。
【０１３２】
ＤＯＰ２３０は、ＤＭ４０２、ＳＧＰ４０８、ＴＧＰ４１２及びＭＬＣ４２０を含む様々な処理モジュールの機能の一部として、処理済のセンサデータを使用する。本発明の一実施の形態においては、センサデータを用いて、各画素について保存されているＤＭ４０２の情報を調整又は上書きすることができる。そして、ＳＧＰ４０８、ＴＧＰ４１２及びＭＬＣ４２０は、色及び強さに関する更新後のＤＭ４０２画素情報を用いて、表示変調制御回路及び光源制御回路の両方を調整する。他の実施の形態においては、センサ情報は、バッファメモリ４２４に保存され、各処理モジュールは、このセンサ情報を用いて様々な処理ステップを実行する。何れの場合も、ＬＥＤ及び表示変調器の空間的及び時間的な特性に関する情報は、ＳＧＰ４０８及びＴＧＰ４１２によって使用され、これにより、ＭＬＣ４２０は、ＬＥＤ及び表示変調器のアレーを適切な値で駆動できる。ＭＬＣ４２０は、ＬＥＤの組合せを用いて、結合した光の波長を変更してもよい。更に、画像コンテンツの処理と、表示変調器及びＬＥＤの駆動との組合せを用いて、より高画質な表示出力を生成することができる。本発明の好ましい実施の形態では、ＬＥＤを制御することによって拡大されたダイナミックレンジによって、単一の光源及び画像変調器で生成される画像より高画質な画像を実現することができる。
【０１３３】
ＬＥＤ制御のための処理は、空間的に及び時間的に実行される。空間的処理は、供給される表示データ及び他の表示特性に基づいて、ＬＥＤアレー及び表示変調器の画素の両方について実行される。ＬＥＤのＰＳＦの空間的な処理には、幾つかの手法がある。１つの手法として、表示画像をＬＥＤの概略的な解像度までフィルタリングし、ＬＥＤ明度レベルを決定するための基礎としてこれを用いる。画像が低解像度にフィルタリングされるウェーブレット分解と同様に、画像は、様々なフィルタリングアルゴリズムでフィルタリングすることができる。図６のＬＥＤアレーは、水平方向に６０、垂直方向に４の解像度を有するとみなすことができるが、行の間隔及び総合的なＰＳＦは、フィルタ設計の一部として考慮する必要がある。更に、最も明るい画素の必要な明度を実現するために、その画素に影響するＬＥＤを平均的な重み付けフィルタが算出するであろうレベルより高いレベルで点灯させる必要がある場合がある。最良のＬＥＤ値を決定するために、高度なフィルタリング技術を用いることもできる。
【０１３４】
例えば、表示変調器の画像を、元の表示解像度である１９２０×１２８０から、ＬＥＤの解像度に一致する画像の６０×４の表現にフィルタリングすることができる。ＬＥＤの色は、フィルタリングの前、フィルタリングの間に検討してもよく、又はフィルタリングの後に抽出してもよい。フィルタ係数を用いて、最高の明度を必要とする画素値への特定の重み付けによって、ＬＥＤが表示変調器に与える相対的な影響を概算することができる。表示変調器のある位置があるＬＥＤからの光に影響を受けない場合、そのＬＥＤの値を決定する表示変調器のその位置からの値を用いる点はないため、フィルタ範囲のカットオフは、非常に鋭い形状を有する。簡単なフィルタ設計では、ＬＥＤ又はＬＥＤのグループによって影響される画素の領域がスキャンされ、これらの画素の赤色、緑色、青色の最も高い値に基づいて、赤色、緑色、青色のＬＥＤの明るさレベルがこれに応じて設定される。他の種類のフィルタリング技術を用いてもよく、元の画像データからフィルタリングを開始してもよく、画像データのフィルタリングされたサブバンドからフィルタリングを開始してもよい。
【０１３５】
なお、ある種類の方式では、表示の所定の領域について、ＬＥＤ値を一回だけ決定すれば、これらの領域の画像変調器の画素の全ての値が決定される。画像処理システムは、選択によって、画像フレームデータに関してフルスクリーン解析を実行してもよく、ＬＥＤ明度設定を決定した後に画像変調器のデータ値を決定してもよく、領域毎に処理を実行するようにしてもよい。先のフレームからのデータは、メモリバッファに保存され、ＬＥＤ明度設定及び画像変調データ値の算出に用いることができるので、上述したステップに時間的処理を含ませることができる。フルスクリーン解析を実行すると、システムに１フレーム分のレーテンシーが加えられる。テレビジョン及び他の多くの種類のシステムでは、この１フレーム分のレーテンシーは、問題とならない。マルチフレームの時間的なガンマ補正を実行するシステムでは、更なるフレームのレーテンシーが加えられ、このため、フルスクリーンの空間的な処理の実行は、問題とならない。しかしながら、高いインタラクティブ性を要求する表示装置、例えば、幾つかのコンピュータアプリケーション、ゲーム機等では、フルスクリーンのレーテンシーの追加を許容できない場合もある。
【０１３６】
このようなレーテンシーに敏感なアプリケーションでは、フルスクリーン解析を実行することに代えて、スライスと呼ばれる限られた数の行に基づく解析を行ってもよい。ビデオ及び表示画面の走査線の性質のために、ここでは、行ベースの処理が用いられる。図６のＬＥＤ構成の場合、４行のＬＥＤがあり、ＬＥＤの第１の行は、通常、表示画面の上部１／３にない画素には影響しないため、最上列のＬＥＤの明るさの値を決定するための解析は、画面上部１／３からのデータ値のスライスに基づいて実行できる。ＬＥＤシステムのためのライトボックスは、１つのバンドからの如何なる光も他のバンドの画像変調器の画素に影響しないように、水平方向の光ブロック構造を有するように設計してもよい。４行のＬＥＤを有するシステムは、それぞれ１行のＬＥＤのみからの影響を受ける４個の水平に組まれた光源ボックスを備える。
【０１３７】
千鳥状の行又は六角形状のパターンで配置されたＬＥＤ又はＬＥＤのクラスタも、同様に、光源の表示画素に対する空間的分布に基づいて、表示データの行に影響する。これらのＬＥＤ値が一旦算出されると、画素変調器の値が画像変調器に走査出力されているときに、ＬＥＤのレベルを適切なレベルに上昇又は下降させることができる。ＬＥＤの第２、第３及び第４の行に対応する表示スライスに対しても、同様の処理を行い、パイプライン処理することによって、表示系に加えられる総合的なレーテンシーを、完全なフレームではなく、フレームの１／３とすることができる。より極端な手法として、より少ない表示データ行に基づいてＬＥＤ値を決定してもよく、この場合、レーテンシーを短縮できるが、ＬＥＤ及び画素変調器の最良値が僅かに犠牲になる。
【０１３８】
第１の実施の形態では、図６のＬＥＤ構成は、色フィルタを含む画像変調器２４４に組み合わされる。画像変調器は、通常、各色毎に１つの個別に制御可能なサブピクセルを有し、このため、１６００列の三原色（Ｒ、Ｇ、Ｂ）の画素は、実際には、ＤＯＰ２３０及び画像変調器ドライバ２４２によって制御される４８００個のサブピクセルを備える。画像変調器は、色フィルタを含んでいるので、白色光源のみがあればよい。白色光は、白色ＬＥＤによって提供してもよく、有色のＬＥＤ又は何らかの組合せによって提供してもよく、光の色の変化を用いて、色温度に影響を与えることができる。より高度なシステムでは、画像データを用いてＬＥＤを制御し、画像全体に亘って、又はサブ画素毎に、表示画像の画素色に影響を与えてもよい。ＬＥＤの個々の行は、一度に制御してもよく、画像変調器ドライバ２４２によって、上から下に画像変調器２４４にスキャンされる表示情報に一致するように、上から下に順次処理してもよい。
【０１３９】
ＬＥＤは、新たなフレームを画像変調器２４４にスキャンしている間、ＬＥＤをオフにしない「常時オン」モードで動作してもよい。これに代えて、新たな表示情報を画像変調器２４４にスキャンしている間は、ＬＥＤの全てをオフし、完全なフレームが使用可能な場合にのみＬＥＤをオンにするシャッタモードを用いてもよい。この手法は、表示の「フラッシュ」又は「ストロボ」とも呼ばれることがある。適切な明度を実現するために、ＬＥＤがオンにされる「デューティサイクル」がフレーム期間の大部分を占めるように、画像変調器へのスキャンは、比較的高速に行う必要がある。複数（４個）の行のＬＥＤを用いる場合、画面上の異なるバンドを対応する領域のスキャニングの間、オフにし、定常状態の間、オフにする循環的な処理を行う「ローリングシャッタ」モードを実現できる。スキャニングの速度及び他の表示特性に応じて、ＬＥＤを制御し、画像変調器をスキャンするための適切な技術が選択される。
【０１４０】
画像変調器２４４が色フィルタを含んでいない第２の実施の形態では、フィールドシーケンシャルカラーモードにおいて、図６のＬＥＤ構成を用いる。有効な表示画像は、３個（Ｒ、Ｇ、Ｂ）の連続する色画像フィールドによって決定する。画像変調器の解像度は、一度に１つの色のみをサポートすればよいので、通常、同等の色フィルタ方式の画像変調器の３分の１である。同様に、各色毎に画像変調器にスキャンする必要がある画素数は、合計の３分の１である。画像変調器２４４及び画像変調器ドライバ２４２の両方の処理速度及び構成に応じて、各色フィールド画像をスキャンする時間は、完全な画像をスキャンする時間より短い場合もあり、長い場合もある。色フィールドに亘る時間的ガンマ処理を用いて、より正確で、より速いスキャン速度を実現することができる。色割れ（color break-up）の問題を回避するために、フレーム内及びフレーム間の色フィールドのタイミングは、フラッシング間隔に応じて変更してもよい。更に、供給されるビデオのフレームレート及びビデオシーケンス内のオブジェクトの動きに基づいて、フィールドタイミング、フレームタイミング及び消去タイミングを変更してもよい。
【０１４１】
図５は、画像変調器と、異なる色が付されたＬＥＤの両方の時間軸に沿った制御を示しており、ここで、画像スキャン期間５０２は、必要とされる帰線消去期間５０４に影響し、したがって、デューティサイクル及び最終的にディスプレイの明度に影響するので、重要な検討事項である。図６に示す４行のＬＥＤ構成では、異なるバンドを個別に順次処理し、各色フィールド毎にローリングシャッタを実現することができる。フルシャッタと、ローリングシャッタとで、スキャン速度が同じだと仮定すると、ローリングシャッタでは、各バンドの帰線消去期間をフルシャッタ間隔の約２５％（４分の１）に短縮することができる。各バンドの帰線消去期間を短縮することによって、各色のＬＥＤの「オン」期間のデューティサイクルを増加させ、ディスプレイの明度を改善でき、又はより低コストな、より暗いＬＥＤの使用を許容することができる。より多くのバンドを用いることによって、ローリングシャッタのデューティサイクルの利点を更に向上させることができる。１つのバンドから他のバンドに光が漏洩しないようにバンド間を分離することによって、異なる帯域毎にローリングシャッタのタイミングを厳密に制御する能力を向上させる。
【０１４２】
本発明の好ましい実施の形態では、マルチカラーＬＥＤベースのバックライト方式は、異なる色フィールドを時間的に動的に変化させることができ、色フィールド自体の波長を変更することができる。画像データのソースに応じて、データは、映画フィルムに基づくコンテンツの場合、２４フレーム／秒であってもよく、元々映画フィルムに基づくコンテンツではない映像の場合、約３０フレーム／秒であってもよい。近年の映画用ではないカメラは、ＮＴＳＣ、ＰＡＬ、ＭＰＥＧ、ＤＶＩ又は他の規格に準拠し、これらの規格は、伝統的な映画フィルムの２４フレーム／秒より高いフレームレートを有する。マルチカラーＬＥＤベースのバックライト方式では、表示フィールドのタイミングをソースフィールドの倍数に一致させることができる。１秒あたり２４フレームの映画は、例えば、７２個の連続する色フィールドとして処理でき、この内訳は、それぞれが、１秒あたり２４回表示されるＲ、Ｇ、Ｂ色フィールドの繰返しパターンである。他の方式では、色フィールドレートを２倍又は３倍にし、同じＲ、Ｇ、Ｂ色フィールドを２回又は３回表示でき、この場合、各フィールドは、それぞれ１秒あたり４８回又は７２回表示され、すなわち、１秒あたり合計１４４個又は２１６個のフィールドが表示される。このようなフレームレート整合では、動き補償を伴うフレームレート変換のような複雑な処理を行うことなく、表示されるコンテンツの動きを著しく円滑にできる。
【０１４３】
ビデオストリーム内の動くオブジェクトに対して動き補償を実行することによって、「レインボー効果」又は「色割れ」の幾つかが低減される場合がある。色割れはフィールドシーケンシャルカラーの焦点が観察者の網膜上で移動することによって生じる。このような色割れを防止するために、本発明の好ましい実施の形態では、１つのフレームから次のフレームまで、オブジェクトの位置を追跡する。そして、各フレームを構成するフィールドは、動き補償を伴うオブジェクト追跡を利用し、表示されるフィールドのタイミングにとって、様々なオブジェクトが正しい位置にあるそれぞれの連続するフィールドを生成する。フィールドシーケンシャルカラー表示装置では、この動き補償を伴うオブジェクト追跡によって、色フィールドは、観察者の網膜上の同じ点に焦点が合わせられ、色割れが生じない。色によってフィールドを厳密に分離しないフィールドシーケンシャル表示装置では、動き補償を伴う追跡によって、動きの再生が向上し、動くオブジェクトの細部が知覚されるようになる。なお、ビデオストリーム内の様々なオブジェクトは、個別の速さで動くので、動き補償は、単一の出力フィールド内の全てのオブジェクトを相関させるために必要である。
【０１４４】
コンテンツの他のシーケンスは、連続する各フィールドの波長を変更してもよい。適切な色バランス、色温度及び色較正を保証するだけではなく、連続する色フィールドの間に２つ以上のＬＥＤを用いることによって、色域を拡張することができる。例えば、パルス幅変調（Pulse Width Modulation：ＰＷＭ）等の技術を用いることによって、ＬＥＤの明度を、１つの色フィールドから次の色フィールドに円滑に変更することができ、又はフィールド期間内で調整することができる。連続するフィールドを色によって表すことに代えて、他の好ましい実施の形態では、フィールド内でＬＥＤ色の混合を用いた連続するフィールドを用いる。各フィールドの表示期間を変更することによって、フィールドのシーケンスを更に最適化でき、この場合、フィールド間又はフィールド内で様々なＬＥＤを調整できる。例えば、連続するフィールドとして、ウェーブレット分解フレームを用いることができ、この場合、より重要度が高いフレームは、時間的により重く重み付けされ、フレーム期間内で、より長い割合で表示される。このような技術の１つの利点として、フィールドシーケンシャルカラー方式に比べて、フィールド間の変化が小さいため、フィールド間でＬＥＤ光をシャッタリングする必要がない。表示装置の一部として調節される表示光源２７０に加えてＤＯＰ２３０によって、表示装置の周囲光に影響する更なる光源を制御してもよい。周囲光は、観察者が表示画像をどう知覚するかに影響し、総合的な視体験を向上させることができる。観察者は、シーン間に生じる通常の輝度変化のために、眼精疲労を経験する。眼精疲労の原因となる同じ生理的影響によって、画像の細部及びダイナミックレンジを知覚する目の能力が低下する。周囲光が不足すると、観察者にとって、レインボー効果及び色割れが生じやすく、これは、フィールドシーケンシャルカラー方式の表示装置において、特に顕著である。これらの影響を弱めるために、表示装置２４０は、周囲光を生成でき、周囲光は、単一色であっても多色であってもよく、表示装置の周りの異なる領域について色を変化させてもよい。一実施の形態においては、表示光源２７０を周囲光生成に使用し、他の実施の形態では、専用の周囲光光源（図示せず）を使用する。
【０１４５】
投写型テレビジョンのためのマルチカラー照明方式では、ＬＥＤアレーの間隔を図６に示す構成より狭くする。間隔が狭くされたＬＥＤのアレーは、光学系と連携して画像変調器を介して光の焦点をより良好に合わせることができる。投写型表示装置のためのフィールドシーケンシャルカラー方式は、従来より、回転速度が固定され、色が固定され、各色が、１フレーム期間あたり１回以上カラーホイールに基づいて回転される。投写型表示に適用される本発明の好ましい実施の形態は、連続する各色フィールドが如何なる色の組合せであってもよく、各色フィールドの持続期間を変更できる高い柔軟性でＬＥＤ照明システムをサポートする。上述したＬＥＤベースのバックライトシステムの具体例と同様に、フレームレート整合を実行し、コンテンツのフレームレートを表示装置のフレームレートに正確に一致させることができる。適切であれば、改善された色処理のために、色フィールド間の色波長強調を用いることができる。
【０１４６】
図７は、モジュール７００として実現されたマルチカラーＬＥＤ光源の好ましい実施の形態を示している。モジュール７００は、複数の部品として形成された後、例えば、熱消散及び他の環境因子を慎重に考慮しながら、例えば、セラミック又はプラスチックのキャリヤであるハウジング内に組み立てることができる。システム構成に応じて、モジュール７００上にレンズ又は拡散層を設けてもよい。ボンドワイヤ、チップオンボード、バンプ処理されたアセンブリ又は他のパッケージング及び接続技術を用いて、様々な部品を電気的に接続してもよい。モジュールを区切り、ダイレクトビュー方式のフラットパネル表示装置の背後に位置させてもよく、この場合、モジュールは、影響を受ける画像変調器の画素が変調器からの距離によって決定するように配置してもよく、又は各モジュールが画像変調器の画素の所定の矩形領域に特別に影響するように、ライトボックスを設けてもよい。ライトボックスに亘ってより均一な明度を実現するために、様々な拡散フィルタを適用できる。投写型テレビジョン用の光源として用いる場合、モジュールは、より密接に配置され、この場合、各モジュールは、マイクロディスプレイ変調器の画素のグループに光を向けるための焦点調節レンズを備える。
【０１４７】
所定のモジュールのためのＬＥＤは、波長に基づいて取捨選択された（have been binned）ＬＥＤの特定の組合せを選ぶことによって選択することができる。製造時には、全ての青色ＬＥＤが同じ波長を有するわけではなく、緑色ＬＥＤ及び赤色ＬＥＤも同様に同じ波長を有するわけではない。取捨選択されたＬＥＤを組み合わせることによって、特定のモジュールについて、ホワイトバランスをより良好に制御することができる。図６に示すシステムについても、同様の取捨選択を行うことができる。白色ＬＥＤも蛍光体及び波長が一様ではないという同様の問題を有し、通常、取捨選択する必要がある。
【０１４８】
ここに示すモジュール７００は、赤色ＬＥＤ７１０、緑色ＬＥＤ７１２、青色ＬＥＤ７１４及び白色ＬＥＤ７１６を備えるが、他の構成として、白色ＬＥＤ７１６を設けなくてもよく、色を繰り返してもよく、原色ではない色を用いてもよい。またモジュール７００は、光センサ７３０と、サーミスタ７３２とも呼ばれる温度センサ７３２とを備え、これらのセンサのために、ローカル処理ブロックＳ１  ＣＴＬ７３４及びＳ２  ＣＴＬ７３６を設けてもよい。更に、モジュール７００は、各ＬＥＤに関連付けられた色制御ブロック７２８を備え、色制御ブロック７２８は、赤色制御器７２０、緑色制御器７２２、青色制御器７２４及び白色制御器７２６を備える。色制御ブロック７２８は、不揮発性メモリ（図示せず）を備えていてもよく、このメモリは、アナログベース及びデジタルベースの何れであってもよく、ブロック間で共有されてもよく、分離されていてもよい。色制御ブロック７２８は、様々な較正ステップ及び補償ステップを実行でき、適応型の動的ガンマ補正を実行してもよい。
【０１４９】
そして様々な部品は、１つ以上のバス構造体７０４を介して通信し、更にインタフェース７３４を介して、外部制御バス７０２に接続されている。ＬＥＤドライバ回路は、色制御ブロック７２８に組み込んでもよく、表示光源制御器２５５の一部として外部に設けてもよく、又は両方に回路を含むように配置してもよい。ＬＥＤドライバ回路をどこに組み込むかに応じて、外部制御バス７０２を、ＭＬＣ４２０、ＤＯＰ２３０内の他の制御ブロック、表示光源制御器２５５の１つに直接接続してもよく、又は新たな照明モジュール制御ブロック（図示せず）が、モジュール７００の全体を制御するように設計してもよい。
【０１５０】
色制御ブロック７２８の不揮発性メモリは、様々なルックアップテーブル、例えば、各ＬＥＤの値を調整するためのガンマテーブルを有していてもよい。インタフェース７３４及び外部制御バス７０２によって、センサ７３０、７３２を他のシステム構成要素に接続することができる。これは、ローカル処理ブロックＳ１  ＣＴＬ７３４及びローカル処理ブロックＳ２  ＣＴＬ７３６が生のセンサ情報を処理した後に実行してもよく、未処理のセンサデータをモジュール７００の外部で処理してもよい。センサ情報は、モジュール７００内及び外部の処理ハードウェアの両方で処理してもよく、処理されたデータは、システム内の異なる制御ブロックで使用してもよい。
【０１５１】
ＤＭ４０２に関して説明したように、周囲光条件、温度条件、製造工程又は経年変化に起因するＬＥＤ特性、及びユーザ設定の変化のためのガンマ調整は、全て、所望のＬＥＤ出力に動的に影響する。ユーザ設定又はアプリケーションソフトウェアによる変化は、ＤＭ４０２に容易に組み込むことができる。また、ユーザ設定による変化は、ガンマテーブルに影響することがある。例えば、ユーザは、異なる色温度を選択してもよく、色相、飽和度、明度、コントラスト又は色を調整してもよく、若しくは、プリセットモード、例えば、「映画」、「漫画」又は他の同様のコンテンツに関連するモードを設けてもよい。リアルタイムの環境の変化、例えば、周囲光、温度及びＬＥＤ特性の変化は、様々なセンサから読み出され、ＤＭ４０２に組み込まれるまでに時間がかかることがある。シリアルバス及び共有されたセンサ入力処理回路を用いることによって、集中型コントローラで実行される適応型の動的な変化の応答時間が制限されることがある。好ましい実施の形態では、リアルタイムの環境の変化をローカルで処理し、ＬＥＤ値の必要な全ての調整をモジュール７００内で実行する。
【０１５２】
動的なフィードバック補償の具体例としては、周囲温度の変化に基づく各ＬＥＤの調整、及び周囲光の変化に基づく各ＬＥＤの明度の調整等がある。他の調整は、１つの色だけではなく、複数の色制御ブロックに亘って行ってもよく、例えば、光センサ７３０は、白色ＬＥＤの波長値がシフトし、適切な色温度を維持するために更なる青色光が必要であることを検出する。この場合、白色光及び青色光のための色制御ブロックの両方がこのような条件を補償する必要がある。各モジュール７００内で実行できる適応型の動的なセンサベースの機能の他の具体例として、色較正がある。単純なオフセットから完全なガンマテーブルまでの様々なレベルの拡張機能を用いて、補償を追跡及び実行することができる。
【０１５３】
図８は、本発明の一実施の形態に基づく表示装置における、入力から、画像変調器及び光源の順次処理を介して、表示出力までの表示パスを示すフローチャートである。また、この図８には、初期画面設定と、この設定を調整するフィードバックパスを含む表示装置構成パスも示されている。表示装置設定ステップ８０８では、ディスプレイの設計及びテスト、ユーザ設定及びセンサからのフィードバックによるディスプレイの特性データに基づいて、表示装置の設定を行う。特性データの一部は、ＤＯＰ２３０の処理に使用できるように、例えば、フラッシュメモリ等の不揮発性メモリに保存できる。不揮発性メモリは、画像変調器２４４及び表示光源２７０に関連する任意の数のセンサ及び制御サブシステムの一部であってもよい。個々の制御システムのそれぞれ又はディスプレイマップ４０２（図４）処理ブロックは、適切であれば、ガンマテーブル及び補償値の更新を調整できる。特性データの一部は、より一時的で、一時メモリに保存され、これをフラッシュメモリのコンテンツに結合してもよい。図８に示すように、表示設定ステップ８０８は、センサ読出ステップ８２８及び表示制御ステップ８１２の両方からフィードバック情報を受け取る。ＤＭ４０２は、ディスプレイ制御出力及びセンサ信号の両方を取得することによって、ＬＥＤの明るさ及び波長のリアルタイム応答を相関させることができる。他のセンサ信号は、他の機能ブロックにフィードバックされ、ここで、補償は、画像変調器表示ステップ８１８及び光源照射ステップ８２０の一部としてローカルで実行される。
【０１５４】
以下では、各ビデオフレーム毎の処理ステップについて、最初から出力まで、ＤＩＰ２１０及びＤＯＰ２３０処理モジュールに関して説明するが、他のＣＰＵ、ＤＳＰ、ＧＰＵ又は他の処理モジュール等の組み合わされた構成によって、個々の機能を実行してもよい。ステップ８０４において、ＤＩＰ２１０は、適用可能であれば、好ましくは、所望のビデオ入力を選択する。通常、入力に関するユーザ選択に基づいて、マイクロコントローラは、１つ以上の入力接続を選択し、望ましい表示モードを判定する。ステップ８０６では、接続に関連付けられたビデオ入力制御によって、アナログ入力制御モジュール３０２、デジタル入力制御モジュール３０４、圧縮入力制御モジュール３１２の処理を実行する。アナログ入力制御モジュール３０２は、デジタル入力制御モジュール３０４、圧縮入力制御モジュール３１２及び画像再生モジュール３１８による更なる処理のために、信号をデジタル領域に変換し、入力画像を復元し、強調する。各制御モジュール３０４、３１２、３１８は、好ましくは、画像をフォーマットし、メモリ３０８に中間結果を保存する。
【０１５５】
ステップ８０６では、デジタル入力制御モジュール３０４及び同期エンジン３０４０による受信処理として、圧縮されていない入力ビデオストリームを電気的に受信するために必要なステップを実行する。ＨＤＭＩ入力の場合等、入力ストリームが暗号化によって保護されている場合、平文化ステップが必要である。圧縮入力制御モジュール３１２は、ビットストリームエンジン３１２５を介して、圧縮入力ストリームを解析し、解析及び処理のために１つ以上のピクチャストリームを選択する。高画質のピクチャ表示のために、ビットストリームエンジン３１２５は、画像再生モジュール３１８によって使用されるビットストリームからの動き情報及びフレームレート情報を記録する。伸長エンジン３１２０は、好ましくは、ＭＰＥＧ−２、ＭＰＥＧ−４又は他の伸長ステップを用いて、圧縮ビットストリームを、伸長され、復号されたピクチャに変換する。伸長エンジン３１２０は、高度なピクチャインピクチャ表示及び多視点カメラシステムを含む複数のピクチャを含む表示のために、２つ以上の圧縮ピクチャストリームを同時に伸長することができる。符号化情報のベースレイヤ及びエンハンスメントレイヤを有する階層符号化情報を含む入力データについては、伸長エンジン３１２０は、画像再生モジュール３１８による使用のために、両方のレイヤを復号することができる。画像サブバンド符号化を用いて符号化されたビットストリームの場合、ビットストリームエンジン３１２５及び伸長エンジン３１２０は、サブバンド情報を維持しながら、完全に復号された画像フレームを提供する。
【０１５６】
画像再生モジュール３１８は、入力処理ステップ８０６の一部として、空間的及び時間的に、各画像フレームをフィルタリングし、画像を再生する。空間フィルタリングは、フィルタリングされた画像が元の画像に含まれていなかったアーチファクトを含まないように、雑音低減のための様々な技術を含む。フィルタリングは、好ましくは、データ値に基づいて、入力画像の全体に亘って適用される。なお、フィルタリングでは、例えば、ＭＰＥＧデータが伸長エンジン３１２０によって伸長された場合等に、ビットストリームエンジン３１２５によって提供される復号されたマクロブロックの空間的な位置等の追加的情報を用いてもよい。この位置情報によって、フィルタは、画像の他の部分に関して従来の空間フィルタリングを実行しながら、復号されたマクロブロックの境界エッジにおけるアーチファクトを低減又は除去することができる。ビットストリームエンジン３１２５からの他の情報、例えば、マクロブロックの誤差項は、各ブロックについてどの程度の量子化が行われているかを示す。ＩＲ３１８による強調ステップでは、雑音低減フィルタリング及び何らかの色強調処理にこの情報を利用する。強調処理は、入力画像の色域及びダイナミックレンジの拡大と、適切であれば、解像度の向上を含む。
【０１５７】
ステップ８０６においても、画像再生モジュール３１８は、ビットストリームエンジン３１２５からの情報を用いて強調フィルタリングを実行し、圧縮アーチファクトを増幅することなく、入力画像の細部を強調することができる。また、画像再生モジュール３１８は、複数のシーンを用いて時間的な解析を実行し、画像をフィルタリングし、オブジェクトの動き情報を記録し、超解像マルチフレーム再生を実行する。各種類の入力データについて、超解像マルチフレーム再生を用いて、ベース入力画像より高い解像度を有する画像スーパーバンドを生成することができ、ここで、生成される解像度は、通常、元の解像度の２倍である。この画像データのスーパーバンドは、圧縮入力データ及び圧縮されていない入力データの何れかから生成してもよく、画像サブバンドデータと共に用いられて、複数の解像度に対応する画像マッピング能力が実現される。また、ステップ８０６では、更なる階層符号化情報、例えばアナグリフ３次元データの形式のステレオスコープ３Ｄ情報を用いてもよい。
【０１５８】
様々な画像サブバンド及び最高の画質の表現のために再生された画像スーパーバンドは、ＤＯＰ２３０で使用できるようにフォーマットされる。元の入力画像は、ダイナミックレンジが広いコンテンツ又はフル解像度のコンテンツを含んでいない場合であっても、ＤＩＰ２１０は、この情報を生成するために、入力データを拡張することができる。新たな入力画像を復元し、拡張する処理は、パス８３０を介して、システムモードが変更又は停止されるまで続けられる。システムがオフにされると、入力処理ステップ８０６は、終了する。動作モードでは、ＤＩＰ２１０の処理からの出力がＤＯＰ２３０に提供される。
【０１５９】
ステップ８１０では、ＤＯＰ２３０は、ステップ８０８からのディスプレイマップ４０２の情報と共にＤＩＰ２１０の出力を用いて、表示出力画像処理を実行する。投写表示装置では、ステップ８１０は、ＧＴ４０４の座標変換を実行する。座標変換によって、例えば、図１Ｂ、光源１０２、光源光学部品からなるマルチレンズ系１０８、マイクロディスプレイイメージャ、すなわち画像変調器１１０及び／又は表示光学部品からなるマルチレンズ系１１２によって導入される欠陥等、表示環境に関連した表示装置の欠陥を改善できる。また、座標変換処理では、例えば、不均一な光源、ヘッドマウント型ディスプレイ、パノラマ型ディスプレイ及びステレオスコープ表示装置等、特別な環境にとって適切な強調された出力画像を生成できる。ＧＴ４０４の空間フィルタリング技術は、例えば、テクスチャマッピング及び異方性フィルタリング等の従来のリアルタイム３Ｄグラフィクス技術を用いて、所望の画像処理を実現する。
【０１６０】
また、ステップ８１０では、ブロックＳＧＰ４０８及びＴＧＰ４１２の処理モジュールを用いて、画像変調器１１０、１３０と、光源１０２又はバックライト１２２との両方の表示出力画像処理を実行する。ＳＧＰ４０８は、処理済の表示設定ステップ８０８の設定に応じて、入力処理ステップ８０６から供給された処理済の表示フレームの各画素を処理し、各画素の強調された出力データを生成すると共に、その画素値のための適切な光源の値を決定する。表示出力画素は、通常、三原色（赤色、緑色、青色）又は他の組合せの色成分を含むので、各画素の各色成分は、サブ画素と呼ぶことができる。ＳＧＰ４０８及びＴＧＰ４１２は、画像変調器２４４及び表示光源２７０で用いられる色フィルタ方式に基づいて、及びフィールドシーケンシャルカラー処理の使用に基づいて、様々な画素及びサブ画素を処理できる。
【０１６１】
画像変調器の画素よりＬＥＤ光源が少ないＬＥＤバックライト装置の場合、ＳＧＰ４０８は、個々に強調された画像変調器の画素値と、複数の画像変調器の画素に基づくＬＥＤ値との両方を生成する。ＴＧＰ４１２は、ＳＧＰ４０８の処理と連携して、適切な強調のために、フレーム内で空間的な処理を行うだけではなく、２つ以上のフレームに亘って、画像処理を時間的にも拡張する。ＳＧＰ４０８及びＴＧＰ４１２の連携によって、複数のフレームが処理され、高画質な動画を実現するために、光源及び画像変調器の画素値を理想的に決定することができる。また、結合された処理は、フィールドシーケンシャルカラー方式の場合、複数の色フィールドに亘る時間的処理を実行する。
【０１６２】
入力処理ステップ８０６において、解像度が高められ又はダイナミックレンジが拡大された処理済の画像を生成できる場合、ＳＧＰ４０８は、ステップ８１０において、更に強調された出力を生成するための必要な表示出力画像処理を実行できる。ダイナミックレンジが広いコンテンツに対する人間の視覚の特性を利用して、ＳＧＰ４０８は、入力データを更に処理し、強調された光源の明るさの値及び変更された画像変調器の画素値を生成する。また、ＤＩＰ２１０は、主画像より解像度が低いが、光源の数より解像度が高い入力画像のサブバンドを提供でき、このサブバンドは、ＳＧＰ４０８によって更にフィルタリング及び処理され、各フレームのための所望の光源値が生成される。ＴＧＰ４１２は、複数のフレームの所望の光源値を用いて、総合的なディスプレイのリアルタイム応答を更に向上させる。
【０１６３】
入力処理ステップ８０６では、オブジェクトの動きに基づいて、ソースビデオコンテンツ又は様々なフレームの入力フレームレートを判定してもよい。適切であれば、ステップ８１０において、ＤＯＰ２３０は、入力フレームの基本的なフレームレートに整合された出力フレームを生成してもよい。例えば、フィルムベースのコンテンツは、生来的な２４フレーム毎秒のレートで出力してもよく、ビデオベースのコンテンツは、約３０フレーム毎秒のレートで出力してもよい。また、フレームレート変換された出力を含む他の高いフレームレート出力も可能であり、このような出力信号は、ソースで生成されたものであってもよく、階層符号化方式を用いて生成されたものであってもよく、動き補償フレームレート変換を実行するＤＯＰ２３０によって生成されたフレームであってもよい。
【０１６４】
ステレオスコープ３Ｄ入力データの場合、ＤＯＰ２３０は、単一のディスプレイ及び外部のアナグリフ又はシャッタベースの眼鏡を用いて３Ｄ効果を実現するシステムのために、２つの画像ビューを単一のディスプレイ出力に結合してもよい。ステレオスコープ３Ｄのためのデュアルディスプレイ、例えば、左右の目のための２つの表示画面を有するヘッドマウントディスプレイを含むシステムの場合、又は２つの画面への偏光された表示パスを用いるシステムの場合、ＤＯＰ２３０は、対応する画面毎に個別に各画像を処理し、出力してもよい。
【０１６５】
ＳＧＰ４０８及びＴＧＰ４１２の出力は、ステップ８１２において結合され、ここで、画像変調器及び光源制御器（ＭＬＣ）は、画像変調器２４４、画像変調器ドライバ２４２及び表示光源制御器２５５のための制御信号を生成する。順次処理及び特定の制御は、これらの要素の構成、及び所望の動作特性に応じて異なる。
【０１６６】
第１のケースは、色フィルタを組込み、完全なシャッタモードで動作する画像変調器２４４を備える表示システムである。ステップ８１６では、帰線消去期間を開始するために光源をオフにする。光源が一旦オフにされると、ステップ８１４において、所望のマルチカラーフレームが画像変調器２４４にスキャンされる。画像変調器２４４へのスキャンが完了すると、ステップ８１８における表示の準備が完了する。ステップ８２０では、様々な光源が発光され、ステップ８２４において、画像変調器２４４は、状況に応じて、オン状態に戻り、又は投写され、又はこの他の手法で表示される。画像変調器２４４は、各画素の色フィルタを介して３つのサブ画素を含むので、光源は、白色であってもよい。なお、色較正、色温度、周囲の色、周囲温度のための更なる最適化及び補償を実行するために、光源は、波長を調整できることが好ましい。ＬＥＤベースの光源方式の場合、白色ＬＥＤに代えて又は白色ＬＥＤに加えてマルチカラーＬＥＤを使用してもよい。各ＬＥＤの又はＬＥＤのグループの明度及び色は、ＬＥＤの近さに応じて調整してもよく、これにより、表示装置の色域及びダイナミックレンジを更に拡大することができる。
【０１６７】
第２のケースでは、第１のケースの表示装置に対して、ＬＥＤをバンドで管理し、ローリングシャッタを実現する追加的な最適化を施す。図６に示すように、ＬＥＤは、縞状に構成され、ＭＬＣ４２０は、ＬＥＤの個々の縞を個別に制御できる。ローリングシャッタを実現するために、ＬＥＤのバンドのタイミングは、画像変調器のスキャンを実行するタイミングに対して制御される。ステップ８１４では、画像変調器２４４のスキャンが開始される。ステップ８１６では、スキャンされている画像変調器の第１のバンドに対応するＬＥＤの１つのバンドに帰線消去期間を適用し、他のＬＥＤのバンドは、望ましい明度レベルで、オンのままにする。画像変調器のスキャンが第２のバンドに進むと、第２のバンドに対応するＬＥＤをオフにし、第１のバンドのＬＥＤを望ましい明度レベルでオンにする。この処理は、４つの全てのバンドに亘って続けられ、そして、データの次の画像フレームについて繰り返される。
【０１６８】
第３のケースでは、第１のケースの表示装置において、画像変調器２４４で色フィルタを用いることに代えて、色フィールドとしてマルチカラーＬＥＤを順次表示し、フルカラー及びフル解像度の出力を生成する。図６に示すように、赤色ＬＥＤ、緑色ＬＥＤ及び青色ＬＥＤがあり、これらを組み合わせて、全ての表示色を再生できる。したがって、画像変調器２４４は、色フィルタを有する必要はなく、ＬＥＤを用いて、色の波長が生成される。ステップ８１４及びステップ８１８は、表示される画像の赤色成分、緑色成分及び青色成分を構成する色フィールド毎に順次繰り返される。ステップ８１６及びステップ８２０は、ステップ８１４及びステップ８１８と連携し、適切な色フィールド画像が画面にスキャンされた後に、適切なＬＥＤ色が各位置において、正しい強度でオンにされる。連続する色の全てに関する処理は、フレーム期間内に完了する必要がある。
【０１６９】
第４のケースでは、第２のケースの表示装置のローリングシャッタと、第３のケースのフィールドシーケンシャル表示方式とを組み合わせる。マルチカラーＬＥＤは、フレーム期間内で循環的に順次処理する必要があるので、ローリングシャッタに起因するデューティサイクルの増加は、非常に望ましい。各色フィールド内では、変調器のスキャンに応じてバンドが「回転」し、ＬＥＤのバンドは、そのバンドの変調器のスキャンが完了するまで、望ましい強度にならない。色遷移間では、シャッタは、フルシャッタであってもよく、色遷移間で回転を継続してもよい。例えば、赤色フィールドの第４及び最後のバンドが照射された後、画像変調器のスキャンは、青色フィールドの第１のバンドについて開始される。この時点で、赤色フィールドの第２、第３、及び第４のバンドは、フルシャッタの一部としてオフにしてもよく、それらの赤色のバンドをローリングシャッタの一部として表示し続けてもよい。表示装置の特性及び表示されるコンテンツの種類に応じて、フルシャッタ又はローリングシャッタの何れかが使用される。
【０１７０】
何れのケースにおいても、フレーム期間を入力ビデオストリームのフレームレートに整合させる機会があり、非常に円滑な動きを表示することができる。更に、色付きＬＥＤを含むバックライトシステムの場合、ＬＥＤを表示の異なる色フィールドに混合する更なる機会がある。例えば、赤色フィールド、緑色フィールド及び青色フィールドを、対応する赤色ＬＥＤ光源、緑色ＬＥＤ光源及び青色ＬＥＤ光源によって循環的に順次処理することに代えて、マルチカラー光源を有する画像フィールドのシーケンスを用いてもよい。ＤＯＰは、ステップ８１０において、混合された色フィールド及びマルチカラー光源情報を提供し、これに応じて、ＭＬＣ４２０は、ステップ８１２において、画像変調器及びＬＥＤ光源を順次処理する。更に、混合された色画像変調器及びマルチカラーＬＥＤ光源のフィールド期間を変更してもよい。これらの技術は、色フィルタを有する又は有さない画像変調器と組み合わせてもよい。
【０１７１】
ステップ８１４における画像変調器のスキャンの制御は、画像変調器ドライバ２４２が行ってもよい。ステップ８２０では、ＬＥＤ制御回路６０２〜６０８は、ＬＥＤ又は他の光源の変化を制御し、そのフレームのために適切な明度を設定する。明るさは、光源の素子に応じて、制御信号の電圧又は電流の変更、振幅変調（Amplitude Modulation：ＡＭ）又はパルス幅変調（Pulse Width Modulation：ＰＷＭ）によって設定できる。光源の明るさを最もよく制御するためには、ＡＭ及びＰＷＭの組合せを用いることが好ましい。例えば、ＬＥＤの場合、白色点を設定するにはＡＭを用い、リアルタイム制御のためには、ＰＷＭを用いるとよい。画像変調器２４４及び表示光源制御器２５５の両方のための補償回路をシステムに含めてもよく、任意の数のユーザが定義したインジケータ、環境に関するインジケータ及び他のフィードバックインジケータについて、適応型の動的なガンマ補償を実行してもよい。明度を速やかに調整するために、ＰＷＭを用いてもよく、フィールド期間毎又はサブフィールド期間毎にＰＷＭを実行してもよい。
【０１７２】
ステップ８１８において、システムの通常の動作モードの間、検査及び構成モードの間にセンサ信号の読出を実行できる。ステップ８１８では、図６に示すセンサ６３２ａ〜ｆ、及びそれぞれのセンサ回路６３８、並びに他の光センサ７３０、環境センサ７３２及び画像センサ（カメラ）を用いて、ディスプレイセットアップステップ８０８で使用されるフィードバック情報をＤＯＰ２３０に提供する。上述したように、ディスプレイセットアップステップ８０８は、フィードバックパス８３２を介して、表示制御ステップ８１２からのデータを受信し、図４に示すセンサ入力４２６及びＤＭ４０２は、出力情報を記録したセンサ信号と相関させることによって、ディスプレイセットアップの何らかの調整が必要であるかを判定する。一時的な調整は、異なる処理ブロックによって、動的に処理することができ、より永続的な調整は、通常、ＤＭ４０２が処理し、ディスプレイマップのための不揮発性メモリに書き込まれる。他の色制御ブロック７２８は、ＤＯＰ２３０から独立して動作し、補償を実行してもよい。
【０１７３】
ある種のセンサ、例えば、温度センサは、光出力に対する温度の影響が周知であるなら、光源のためのＭＬＣ４２０の出力制御により直接的に影響を与えてもよい。測定された温度に基づいて、１つ以上の光源について、ＰＷＭを高めてもよい。マルチカラー光源の場合、光源の１つの値が既に最大値にある場合、総合的なディスプレイの適切なホワイトバランスを維持するために、他の光源の値を下げる必要がある場合もある。このように、不正確な色彩表現を表示するよりは、明度を犠牲にした方がよい場合が多い。
【０１７４】
また、ディスプレイがアクティブに使用されていない場合、検査又は較正モードの間、ステップ８２０を実行してもよい。較正モードでは、ディスプレイセットアップステップ８０８は、制御ステップ８１２に対し、生成する光源出力及び画像に関する指示を行う。光源較正処理は、各光源又は光源の組合せの異なる値を順次処理し、適切なセンサを用いて、明度及び波長を記録する。フレーム期間より短い間隔で、センサが明度及び波長を抽出することによって、光源の応答時間も同様に測定できる。ここでは、異なる出力値の間の遷移時間を測定及び記録することができる。センサの配置によっては、較正の間、光源を好適にブロックするために、画像変調器をオフにしてもよく、ＤＯＰ２３０は、光源較正処理を段階的に行う。
【０１７５】
同様に、ステップ８２８において、ＤＯＰ２３０は、センサ、例えば、デジタルカメラを用いて、ステップ８２４のディスプレイ出力を捕捉してもよい。フラットパネル表示装置の場合、このようなカメラは、表示装置の外部にある場合が多いが、投写表示装置の場合、カメラは、内部にあってもよく、又は投写表示装置に組み込んでもよい。画像変調器の較正処理では、画面上に様々な画像を表示しながら、デジタルカメラがこのような画像の表示結果を撮影する。捕捉された画像は、解析され、予測された値と比較され、これらに基づいて、ＤＯＰ２３０様々に調整することができる。図４を参照して説明したように、投写表示装置では、直接又はＤＭ４０２を介する座標変換モジュール４０４の調整が必要である場合がある。システムは、赤外線スペクトルにおける技術等、この他の不可視出力及び捕捉技術を用いて、光源又は画像の何れかを較正してもよい。これらの較正法を用いて、光源ディスプレイマッピング及び画像マッピング情報を判定し、これらの情報を不揮発性メモリ又は動的メモリに保存することができる。これらの値は、様々な手法で保存でき、データ容量を削減するための従来の幾つかの異なる技術を用いて、圧縮してもよい。
【０１７６】
以上、幾つかの実施の形態を用いて本発明を説明した。この開示に基づいて、他の実施の形態が想到できることも当業者には明らかである。例えば、画像処理システム２００は、表示システムを構成する複数の光学的及び電子的なサブシステムを制御するＤＩＰ２１０及びＤＯＰ２３０のための個別の電子システムによって実現してもよい。好ましい実施の形態に対するこれら及びこの他の変形例は、本発明に含まれ、本発明の範囲は、添付の特許請求の範囲によってのみ定義される。
【図面の簡単な説明】
【０１７７】
【図１Ａ】個々のＬＥＤ素子の従来のＬＥＤアレーの構成を示すブロック図である。
【図１Ｂ】従来の投写表示装置の光源、マイクロディスプレイイメージャ（画像変調器）及びレンズの側面図である。
【図１Ｃ】従来のフラットパネル表示装置の光源、フィルタ及び画像変調器の側面図である。
【図２】本発明に基づく、表示入力プロセッサ（ＤＩＰ）及び表示出力プロセッサ（ＤＯＰ）を含むシステムの一実施の形態のブロック図である。
【図３】本発明に基づく図２のＤＩＰ２１０の一実施の形態のブロック図である。
【図４】本発明に基づく図２のＤＯＰ２３０の一実施の形態のブロック図である。
【図５】画像変調器及び異なるシーケンシャルカラー方式の光源の時間ベースの制御を説明する図である。
【図６】フィードバックのための光センサを有するフラットパネル表示装置のためのＬＥＤベースのバックライトシステムのブロック図である。
【図７】ＬＥＤ、センサ、組み込まれた補償及び制御回路を含むクワッド光源モジュールのブロック図である。
【図８】本発明の一実施の形態に基づく画像処理のフローチャートである。
【図１Ａ】
2009518682.tif 000003
【図１Ｂ】
2009518682.tif 000004
【図１Ｃ】
2009518682.tif 000005
【図２】
2009518682.tif 000006
【図３】
2009518682.tif 000007
【図４】
2009518682.tif 000008
【図５】
2009518682.tif 000009
【図６】
2009518682.tif 000010
【図７】
2009518682.tif 000011
【図８】
2009518682.tif 000012
【国際調査報告】
2009518682.tif 000013