(57)【要約】【課題】コントラストを強調するためのビデオ信号処理を提供する。【解決手段】コントラストを強調するビデオ処理は、ディスプレイ上の環境光レベルを検出すること、処理されたビデオ信号を提供するために、検出された環境光に基づいて、輝度成分を強調するための局所的コントラスト強調処理を実行すること、および処理されたビデオ信号をディスプレイ上に表示することを含む。【選択図】図1
2006121713.tif 000002
【特許請求の範囲】
【請求項１】
環境光レベルを検出ステップと、
処理されたビデオ信号を提供するために、前記検出された環境光レベルに基づいて、ビデオ信号に局所的コントラスト強調処理を実行するステップと、
前記処理されたビデオ信号をディスプレイに表示するステップとを含む、
ディスプレイのためのビデオ信号の処理方法。
【請求項２】
局所的コントラスト強調が前記ビデオ信号の輝度成分について実行される、請求項1に記載の方法。
【請求項３】
前記輝度成分がオブジェクトの形状とテクスチャに関連する、請求項2に記載の方法。
【請求項４】
局所的コントラスト強調の実行がピクセル単位である、請求項1に記載の方法。
【請求項５】
前記局所的コントラスト強調が空間フィルタに基づいている、請求項1に記載の方法。
【請求項６】
前記空間フィルタが2次元の空間フィルタである、請求項5に記載の方法。
【請求項７】
前記空間フィルタが検出された環境光レベルに基づいて変化する、請求項5に記載の方法。
【請求項８】
前記局所的コントラスト強調が、前記ビデオ信号のオールパスフィルタリングとローパスフィルタリング、および高周波数成分を得るために前記オールパスフィルタされた成分から前記ローパスフィルタされた成分を減ずることを含む、請求項1に記載の方法。
【請求項９】
前記局所的コントラスト強調処理が、前記検出された環境光レベルに依存して、各々のピクセルに対する強調プロセッサを決定することをさらに含む、請求項1に記載の方法。
【請求項１０】
前記局所的コントラスト強調処理が、静的ゲインによって特徴付けられる、請求項9に記載の方法。
【請求項１１】
前記局所的コントラスト強調処理が、動的ゲインによって特徴付けられる、請求項9に記載の方法。
【請求項１２】
前記局所的コントラスト強調処理が、ピクセル画像輝度を前記検出された環境光レベルと比較することに依存して調整される、請求項9に記載の方法。
【請求項１３】
前記静的ゲインが、前記ピクセル内の前記画像輝度が前記検出された環境光レベル未満である場合に増加し、前記ピクセル内の前記画像輝度が前記検出された環境光レベルよりも上である場合に減少する、請求項10に記載の方法。
【請求項１４】
前記強調処理の前記調整が強調制御変数によって制御される、請求項12に記載の方法。
【請求項１５】
前記強調制御変数が、前記ピクセル内の前記画像輝度が前記検出された環境光レベル未満である場合に増加し、前記ピクセル内の前記画像輝度が前記検出された環境光レベルよりも上である場合に減少する値を伴う関数表現を有する、請求項14に記載の方法。
【請求項１６】
前記強調処理が、ローパス処理成分とハイパス処理成分をさらに含む、請求項9に記載の方法。
【請求項１７】
局所的コントラスト強調処理の実行が、ピクセル画像輝度を前記検出された環境光レベルと比較することに依存する輝度調整処理によって追随される、請求項1に記載の方法。
【請求項１８】
局所的コントラスト強調処理の実行が、ピクセル画像輝度を前記検出された環境光レベルと比較することに依存する輝度調整処理によって先行される、請求項1に記載の方法。
【請求項１９】
局所的コントラスト強調処理の実行が、ピクセル画像輝度を前記検出された環境光レベルと比較することに依存する2度の輝度調整処理によって先行されかつ追随される、請求項1に記載の方法。
【請求項２０】
前記2度の輝度調整処理が実質的に相補性である、請求項19に記載の方法。
【請求項２１】
前記輝度調整処理が、前記検出された環境光レベルに依存する入力/出力輝度写像テーブルに従って制御される、請求項17に記載の方法。
【請求項２２】
前記輝度調整処理が、前記検出された環境光レベルに依存する入力/出力輝度写像テーブルに従って制御される、請求項18に記載の方法。
【請求項２３】
前記輝度調整処理が、前記検出された環境光レベルに依存する入力/出力輝度写像テーブルに従って制御される、請求項19に記載の方法。
【請求項２４】
前記入力/出力輝度写像テーブルが関数表現によって生成される1組の写像曲線をさらに含む、請求項21に記載の方法。
【請求項２５】
前記関数表現がガンマ関数である、請求項24に記載の方法。
【請求項２６】
スクリーンの周囲の1つまたは複数の領域で光強度を測定するステップと、
前記測定された周囲の光強度と、前記1つまたは複数の領域内の測定された周囲の光強度と前記スクリーン上のそれとの比較による、前記測定された周囲の光強度と環境光レベルの間の関係とに基づいて、前記スクリーンに入射する前記環境光レベルを推定するステップとを含む、
画像を表示するためのスクリーンを伴うディスプレイデバイスを有するビデオ表示システムのための環境光レベルの推定方法。
【請求項２７】
前記関係がルックアップテーブルによって設定される、請求項26に記載の方法。
【請求項２８】
前記周囲の光強度が、前記ディスプレイデバイスがオフの時に測定される、請求項26に記載の方法。
【請求項２９】
スクリーン上の光強度をモニタリングするステップと、
ディスプレイデバイスによって生成された光から環境光を区別することにより、前記モニタリングされた光強度から前記環境光強度を分離するステップとを含む、
画像を表示するためのスクリーンを伴うディスプレイデバイスを有するビデオ表示システムのための環境光レベルの検出方法。
【請求項３０】
前記分離するステップが、前記ディスプレイデバイスによって生成された光の偏光角度を決定し、前記偏光角度に直角に偏光した光を感知することによって前記環境光強度を分離する光学的方法を用いる、請求項29に記載の方法。
【請求項３１】
前記分離するステップが、前記ディスプレイデバイスの色を判定して、前記モニタリングされた光強度から前記ディスプレイデバイスの色をブロックすることによって前記環境光強度を分離するスペクトルフィルタリング方法を用いる、請求項29に記載の方法。
【請求項３２】
スクリーンのある部分が黒であるときの時間間隔を特定するステップと、
前記スクリーンの前記ある部分の環境光強度を測定するステップとを含む、
ビデオ信号を含み、かつ画像を表示するためのスクリーンを伴うディスプレイデバイスを有するビデオ表示システムのための環境光レベルの検出方法。
【請求項３３】
前記時間間隔の特定が、前記スクリーンが黒であるときの前記時間間隔を前記スクリーンをモニタリングすることによって特定することである、請求項32に記載の方法。
【請求項３４】
前記時間間隔の特定が、前記ビデオ信号がブランキング信号から成るときの前記時間間隔を、前記ビデオ信号をモニタリングすることによって特定することである、請求項32に記載の方法。
【請求項３５】
前記部分が前記スクリーン全体である、請求項32に記載の方法。
【請求項３６】
ディスプレイデバイスの利用可能な輝度の強度範囲を表わす画像パターンを用いてスクリーンを駆動するステップと、
環境光レベルを検出するステップと、
前記範囲内の前記輝度強度レベルを、前記検出された環境光レベルに写像するステップとを含む、
ビデオ画像を表示するためのスクリーンを伴うディスプレイデバイスを有するビデオ表示システムのための環境光レベルと表示光レベルの間の関係を求める方法。
【請求項３７】
ディスプレイ上の環境光レベルを検出し、検出された環境光レベルの信号を供給するデバイスと、
前記検出された環境光レベルに応答可能な、ビデオ信号を処理するためのプロセッサであって、処理されたビデオ信号を提供するために、前記検出された環境光レベルに基づいて前記ビデオ信号にピクセル毎のコントラスト強調処理を実行するプロセッサと、
前記ディスプレイ上に前記処理されたビデオ信号を表示するためのアクティブスクリーン領域、および周囲の領域を有する表示デバイスとを含む、ディスプレイおよびビデオ信号を有するビデオ処理システム。
【請求項３８】
前記環境光レベルを検出するための前記デバイスが、前記ディスプレイデバイスの少なくとも1つのアクティブスクリーン領域と周囲の領域を撮像するカメラである、請求項37に記載のビデオ処理システム。
【請求項３９】
前記環境光レベルを検出するための前記デバイスが、前記ディスプレイデバイスの前記アクティブスクリーン領域付近に配置された1つまたは複数の光センサから成る、請求項37に記載のビデオ処理システム。
【請求項４０】
前記処理が2-Dハイパスフィルタを用いた処理をさらに含む、請求項37に記載のビデオ処理システム。
【請求項４１】
前記プロセッサがオールパスフィルタと2-Dローパスフィルタをさらに含む、請求項37に記載のビデオ処理システム。
【請求項４２】
前記プロセッサが前記検出された環境光信号に応答する2-Dローパスフィルタを含む、請求項41に記載のビデオ処理システム。
【請求項４３】
前記プロセッサが、前記ビデオ信号のピクセル輝度を前記検出された環境光レベルと比較し、前記比較に基づいてピクセルベースのコントラスト強調処理信号を提供するコンパレータをさらに含む、請求項37に記載のビデオ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ信号処理に関し、特にコントラストを強調するためのビデオ信号処理に関する。
【背景技術】
【０００２】
背景のために、米国特許第6634757号、6597410号、6460999号、4908876号、4720745号、4667304号への参照がなされる。
【特許文献１】米国特許第6634757号
【特許文献２】米国特許第6597410号
【特許文献３】米国特許第6460999号
【特許文献４】米国特許第4908876号
【特許文献５】米国特許第4720745号
【特許文献６】米国特許第4667304号
【発明の開示】
【課題を解決するための手段】
【０００３】
本発明によれば、ディスプレイのためのビデオ信号の処理は、環境光レベルを検出すること、処理されたビデオ信号を提供するために、検出された環境光レベルに基づいてビデオ信号に局所的コントラスト強調処理を実行すること、および処理されたビデオ信号をディスプレイに表示することを含む。局所的コントラスト強調は、ビデオ信号の輝度成分について実行されることができる。輝度成分は、オブジェクトの形状およびテクスチャに関連することができる。局所的コントラスト強調は、ピクセル単位であってもよく、または検出された環境光レベルに基づいて変化する2次元の空間フィルタである空間フィルタであってもよい。局所的コントラスト強調は、ビデオ信号のオールパスフィルタリングとローパスフィルタリング、および高周波数成分を得るためにオールパスフィルタリングされた成分からローパスフィルタリングされた成分を減ずることを含むことができる。局所的コントラスト強調処理は、検出された環境光レベルに依存して、各々のピクセルに対する強調プロセッサを決定することを含むことができる。局所的コントラスト強調処理は、静的ゲインおよび/または動的ゲインによって特徴付けられる。局所的コントラスト強調処理は、ピクセル画像輝度を検出された環境光レベルと比較することに依存して調整されることができる。静的ゲインは、ピクセル内の画像輝度が検出された環境光レベル未満である場合に増加し、ピクセル内の画像輝度が検出された環境光レベルよりも上である場合に減少することができる。強調処理の調整は、ピクセル内の画像輝度が検出された環境光レベル以下である場合に増加し、ピクセル内の画像輝度が検出された環境光レベル未満である場合に減少する値を伴う関数表現を有する強調制御変数により制御されることができる。局所的コントラスト強調処理は、ピクセル画像輝度を検出された環境光レベルと比較することに依存する2度の輝度調整処理によって先行されかつ追随されることができ、実質的に相補性であることができ、ガンマ関数であることがある関数表現によって生成された1組の写像曲線を含むことができる、検出された環境光レベルに依存する入力/出力輝度写像テーブルに従って制御されることができる。
【０００４】
ディスプレイデバイスは画像を表示するスクリーンであることができ、本発明は、スクリーンの周囲の1つまたは複数の領域で光強度を測定すること、ならびに測定された周囲の光強度と、1つまたは複数の領域内の測定された周囲の光強度と前記スクリーン上の光強度との比較による、測定された周囲の光強度と環境光レベルの間の関係とに基づいてスクリーンに入射する環境光レベルを推定することを含む。周囲の光強度は、ディスプレイデバイスがオフの時に測定されることができる。スクリーン上の光強度はモニタリングされ、環境光強度はディスプレイデバイスによって生成された光から環境光を区別することによってモニタリングされた光強度から分離され、これには、ディスプレイデバイスによって生成された光の偏光角度を決定し、偏光角度に対して直角または斜め（flaggingly）に偏光した光を感知することによって環境光強度を分離する光学的方法を用いることができ、かつ/またはディスプレイデバイスの色を判定し、モニタリングされた光強度からディスプレイデバイスの色をブロックすることによって環境光強度を分離するスペクトルフィルタリング方法を用いることもできる。スクリーンのある部分が黒であるときの時間間隔が特定され、その部分の環境光強度が測定される。ビデオ信号がブランキング信号から成る場合の時間間隔を特定するために、ビデオ信号がモニタリングされることができる。ディスプレイデバイスの利用可能な輝度強度範囲を表わす画像パターンを用いてスクリーンが駆動され、環境光レベルを検出し、かつ範囲内の輝度強度レベルを検出された環境光レベルに写像することができる。
【０００５】
ディスプレイおよびビデオ信号を有するビデオ処理システムは、ディスプレイ上の環境光レベルを検出し、検出された環境光レベル信号を供給するデバイスと、検出された環境光レベルに応答可能な、ビデオ信号を処理するためのプロセッサであって、処理されたビデオ信号を提供するために、検出された環境光レベルに基づいて、ビデオ信号にピクセル毎のコントラスト強調処理を実行するプロセッサと、ディスプレイ上に処理されたビデオ信号を表示するための、アクティブスクリーン領域を有する表示デバイスとを含むことができる。環境光レベルを検出するためのデバイスは、ディスプレイデバイスの少なくとも1つのアクティブスクリーン領域および周囲の領域を画像化するカメラであるか、ディスプレイデバイスのアクティブスクリーン領域付近に配置された1つまたは複数の光センサであることができる。処理は、検出された環境光レベルに応答する、2-Dハイパスフィルタおよび/またはオールパスフィルタと2-Dローパスフィルタを用いた処理をさらに含むことができる。プロセッサは、ビデオ信号のピクセル輝度を検出された環境光レベルと比較し、この比較に基づいてピクセルベースのコントラスト強調処理信号を提供するコンパレータをさらに含むことができる。
【０００６】
本発明の1つまたは複数の実施形態の詳細は、添付の図面および以下の記述に記載されている。本発明の、他の特徴、目的および利点は、当該の記述および図面、および特許請求の範囲から明らかとなるであろう。
【発明を実施するための最良の形態】
【０００７】
図1は、本発明による一実施形態の機能ブロック図100を示す図である。環境光に基づくビデオディスプレイスクリーンの輝度を検出するために、カメラ20などの検出デバイスが、ディスプレイスクリーン70および/またはスクリーンマスクなどのスクリーンを取り囲む領域を画像化する。次に、環境光に基づくディスプレイスクリーンの輝度が、ビデオ信号源10からのビデオ信号と共に検出デバイスからの信号を用いて、環境光レベル検出ブロック30で推定される。ブロック30で推定された環境光レベル信号は、ブロック50での輝度処理を制御する、ブロック40での1つまたは複数の、環境光レベル依存制御変数を決定するために用いられることができる。制御変数の関数と決定は、以下でより詳細に記述される。信号源10からのビデオ信号は、カラービデオ成分フォーマット、即ち1チャンネルの輝度情報Yおよび2チャンネルの色差情報Cb、Crを用いて表わされることができる。次に輝度処理ブロック50は、ビデオ信号から抽出されたオブジェクトの形状とテクスチャに関する輝度成分にコントラスト強調処理を提供する。この手法は、形状とテクスチャの認識につながる、画像の輝度成分を強調するためである。
【０００８】
視覚心理物理（visual psychophysics）は、画像の輝度の差異(例えばグレイスケールバーの境界)により画定される辺の検出に対して「調整」される。オブジェクトの形状とテクスチャに関する輝度成分は、あるビデオシーケンスの各々のフレームに対して空間ハイパスフィルタを適用することにより、ビデオ画像輝度信号から強調されることができる。空間ハイパスフィルタリングを達成するための多くの方法が知られており、ここではそれらのどれが用いられてもよい。一代替実施形態は、ローパスフィルタとオールパスフィルタを用いて、ハイパスフィルタの機能を生成する。空間ハイパスフィルタは、オールパスフィルタの出力からローパスフィルタの出力を減算することによって実施される。ハイパスフィルタリングは、水平と垂直のどちらか1つ、または好ましくは2次元で実行されることができる。コントラストの強調処理がなされた信号は、プロジェクタ60により投影され、ディスプレイスクリーン70上に表示される。ブロック50での輝度処理は、一般的にピクセル単位で達成される。
【０００９】
環境光に基づくディスプレイスクリーンの輝度は、種々の構成により検出されることができる。そのような構成のうち2つが、例としての目的で以下に記述される。1)スクリーンのアクティブな領域および/またはその周囲の領域を画像化するカメラ、これは前方投影型システムに対して特に好適である。2)アクティブスクリーン領域の近傍に配置された1つまたは複数の光センサ、これは直視型または後方投影型システムに対して特に好適である。
【００１０】
図2Aは、撮像カメラなどの検出デバイスを用いる、環境光の推定のための構成200である。カメラ220は、ビデオプロジェクタ210と共に配置される。環境光レベルは、アクティブスクリーン領域230の領域および/またはスクリーンマスク240などのアクティブスクリーンの外側領域を撮像することによって感知されることができる。この構成は、前方投影型システムに対して特に実用的である。
【００１１】
図2Bは、（複数の）光センサを用いる、環境光推定のための別の構成300である。1つまたは複数の光センサ320、330、340、および350が、アクティブスクリーン領域310の局所近傍およびその周囲の、スクリーンマスクなどの領域に搭載されている。この構成は、直視型または後方投影型システムに対して特に好適であるが、それはまた、好ましくはプロジェクタからのあらゆる直接光からシールドされた、またはビデオのブランキング期間のみに検出が起こるように限定された、センサを用いて前方投影型システムにも同様に用いることができる。
【００１２】
環境光のアクティブスクリーン領域の直接のモニタリング(例えば図2A)は、ディスプレイスクリーンによって放射(または再放射もしくは生成)された所望の光エネルギーから、アクティブスクリーン領域内の環境光エネルギーを区別することができる感知システムを一般的に含む。これは、1)これら2つの光源を光学的に分離する、またはその代わりに、2)投影された画像がモニタリングされることができ、完全なその画像またはその画像の一部が「黒」であるかどうかをビデオ処理が判定することができ、かつ環境光を推定するために、その画像の黒の部分に対応するスクリーンのそれらの部分を測定することを用いて達成することができる。第2の手法は、任意の表示の型式に対して互換性がある。
【００１３】
ディスプレイデバイスによって放射(または再放射もしくは生成)された所望の光から、環境光を分離することによる、環境光のアクティブスクリーン領域モニタリングの手順は、図3Aに示されている。この手法は、ディスプレイスクリーン上に画像を投影すること405、カメラまたはセンサで、アクティブディスプレイスクリーン領域上の光の強度をモニタリングすること410、およびディスプレイスクリーンによって生成された光から環境光を区別すること420により、モニタリングされた光から環境光を分離することを含んでいる。この分離は、複数の異なる方法を用いることによって実行されることができる。一光学的方法は、ディスプレイスクリーンよって放射(または再放射もしくは生成)された所望の光の偏光角度を決定し、所望の光の偏光角度に対して直角に偏光された光を感知することによって所望の光から環境光を分離する。別の方法は、所望の光のスペクトルのコンテントの事前の知識と共にスペクトルフィルタリングを用いる。スペクトルフィルタリングは、所望の光が存在する領域以外の周波数領域内の、ディスプレイスクリーンからの光をモニタリングするために用いられる。ディスプレイデバイスは、色の全範囲(CRTおよびLCDシステムは、赤、緑および青の3原色を用いる)を再現するために、3つまたはそれ以上のカラー光源を一般的に用いている。環境光が広帯域であると仮定すると、カメラなどの環境光感知デバイスには、ディスプレイシステムが駆動する色をブロックするフィルタが取り付けられる。環境光レベルはブロック430で求められる。環境光レベルは、ステップ432で連続的にモニタリングされることができる。図3Aは連続的なフローを示しているが、いくつかのステップが同時に起こり得ることが理解されるべきである。
【００１４】
環境光のアクティブスクリーン領域の直接のモニタリングについての、ディスプレイデバイスによって生成された光から環境光を分離しない代替の手順が図3Bに示されている。プロジェクタは、ディスプレイスクリーン上に画像を投影する455。次に、ディスプレイスクリーン全体またはその一部が黒にされる時間間隔がステップ460で決定される。代替案として、ディスプレイスクリーンがブランク(または黒)のときに、ビデオ信号中の利用可能なブランキング信号が用いられることができる。次に環境光の強度が、画像の黒の部分に対応する、スクリーンのそれらの部分を適切な期間中(即ちスクリーンの測定される部分が、黒のとき)に測定することによって求められる470。この手法は、カラーシーケンスの一部として「白」の光の照射を含む、マイクロミラー(DLP)ディスプレイなどのカラーシーケンシャルディスプレイシステムに好適であることがある。
【００１５】
オフスクリーンモニタリング(例えば図2B)のために、アクティブディスプレイスクリーン上に入射する環境光レベルと、スクリーンのアクティブ領域近傍の非アクティブ領域に入射する測定された光レベルとの間の関係が確立されて、ルックアップテーブルに記憶されることができる。次に、アクティブスクリーン領域上に入射する環境光のレベルが、ディスプレイスクリーン近傍の1つまたは複数の領域の光強度を測定することによって推定される。スクリーンに入射した環境光レベルを推定するために、ルックアップテーブルに対してオフスクリーンレベルが参照される。図3Cは、環境光のオフスクリーンモニタリングの手順を示している。プロジェクタは、ディスプレイスクリーン上に画像を投影され485、ディスプレイスクリーンを取り囲む1つまたは複数の領域の光強度が測定され490、アクティブディスプレイスクリーン上の環境光レベルと測定された光のレベルとの間の関係に基づいて、アクティブディスプレイスクリーン上に入射する環境光レベルが推定される495。あるルックアップ曲線により表わされる、アクティブディスプレイスクリーン上の環境光レベルと測定された光のレベルとの間の関係は、投影システムがアクティブスクリーン領域上になんらかの光を投影し始める前に、アクティブスクリーン領域の光レベルを選択された環境光検出領域と比較することによって較正手続きを「オンにする」ことで決定される。この比較は、オンにするまたはオフにするシーケンスの間、または表示された画像が均一な黒のフィールドである任意の期間に行われる。表示された画像が均一な黒のフィールドであるときにこの比較を行うことによって、均一な黒のフィールドは、システムが使用されている全期間にわたって条件の変化にシステムを適合させるようにする。
【００１６】
以下により詳細に記述されるように、コントラスト強調処理は、環境光と表示されるビデオ輝度信号との間の相対的な強度比較に基づいている。検出された環境光レベル信号を使用してコントラスト強調処理を調整することを容易にするために、アクティブスクリーン領域の環境光信号レベルが、等価なビデオ入力駆動レベル(表示されるビデオ輝度信号の数値)に写像される。例えば環境光レベルが、輝度駆動レベルの数値100に等しいとすると、大部分の処理は輝度レベルが100より下の画像の部分に適用され、100より上のレベルの領域にはより少ない。以下に記述される較正写像は、ディスプレイスクリーンの輝度レベルが如何に使用中のディスプレイデバイスのビデオ入力駆動レベルに関係するかの関係を提供するであろう。0から225までのある範囲の8ビットの数から生成されるディスプレイデバイスの利用可能な輝度レベルを用いる1つの写像によれば、アクティブスクリーンの直接のモニタリング、またはオフスクリーンのモニタリングのどちらかから上記のような検出された環境光レベル(ディスプレイスクリーン輝度レベルとして表わされる)は、等価なビデオ入力駆動レベルに写像されることができる。
【００１７】
図4Aを参照すると、暗い環境光の場合、ディスプレイデバイスの利用可能な輝度強度範囲を表わすビデオ画像パターンを用いてディスプレイスクリーンが駆動される505。一般的に投影システムは、ビデオ駆動レベルが8ビットレベルで表わされる、階段状の駆動レベル、即ちレベルが0、32、64、...255のグレイの全画面で駆動される。次に、アクティブディスプレイスクリーンの輝度強度レベルが測定され、その後較正曲線が得られ保存される510。次に、結果として得られたビデオ入力駆動レベル対ディスプレイ輝度レベルの関係は、ビデオ入力駆動に等価な環境光レベルを得るために用いられることができる。図4Bは、検出された環境光レベルが、如何に等価ビデオ入力駆動レベルに写像されるかを示す較正曲線の例である。検出された環境光レベルは、ここで8ビットのスケールに正規化される。図示されているように、検出された環境光レベル162.5は、ビデオ入力レベルの100と等しい。アレイ、テーブルまたは当業者に周知の他の手法などの開示された較正曲線以外の較正関係を表わす多くの異なる方法がある。
【００１８】
図1を再度参照すると、輝度処理ブロック50において、ビデオ信号源10からのビデオ輝度信号が、輝度情報を得るために最初に抽出される。図5は、ハイパスフィルタを含む、局所的コントラスト強調処理の一実施形態を示す。太い線は信号のフローに関連する2Dのビデオ画像を表わし、細い線はスカラー量である。三角形および四角形を通って描かれた曲がった矢印は、可変入力を表わす。ビデオ信号の輝度成分600は、2つの経路に分割され、1つは信号成分607を得るために2次元のローパスフィルタ610に供給され、他の1つは信号成分605を得るために、2Dのオールパスフィルタ602を通過する。ハイパスフィルタリングされた等価情報615を得るために、信号成分607は605から差し引かれる。この情報615は代替案として、上記のオールパスフィルタとローパスフィルタの組み合わせを用いることなく、ハイパスフィルタのみで求めてもよい。
【００１９】
この信号成分615は次に、可変ハイパスプロセッサ620を用いて、局所的なコントラスト強調を実行するために処理される。ローパス信号成分は、可変ローパスプロセッサ630を用いて、同様に処理されてもよい。プロセッサ620および630は、静的シンプルゲインの形式であることができ、または一次的なスムージングまたはヒステリシスを含むフィルタなどの適応可能なダイナミックシステムの形式であることもできる。これら2つの処理された信号は次に、ディスプレイスクリーン60上に投影された輝度を表わす輝度処理信号635を得るために組み合わせられる。ハイパスプロセッサ620およびローパスプロセッサ630は、環境光の関数として(および場合によっては他の変数としても)制御されることができる。またローパスフィルタ610は、環境光または他の変数に依存することができる。処理された信号の全体の輝度は、以下で詳細に説明される、バックグラウンドオフセット信号640(これも同様に、環境光およびピクセルまたは他の変数に依存することができる)を介してさらに調整されることができる。図5は、環境光に依存する可変のゲイン620および630が、2-Dフィルタ処理602および/または610に続いている実施形態を示している。環境光依存特性は、ゲイン620および/または630を環境光に依存しないままで、フィルタ602および/または610で実施することができる。
【００２０】
一実施形態では、局所的コントラスト強調処理は、輝度処理ブロック50の実施形態に依存して、環境光レベルに依存する種々の制御変数によって制御される。例えば、市場から入手可能である、カリフォルニア州サンディエゴのデジビジョン社製のHT70e輝度プロセッサは、ブロック50のコントラスト強調処理の一形態を達成するために用いられてもよい。デジビジョン社のHT70eに基づくシステムでは、2つの制御変数、コントラスト制御変数「c」とバックグラウンド制御変数「b」が輝度処理を制御する。特に、ハイパスプロセッサ620およびローパスプロセッサ630は、HPプロセッサ620がcを用いて、かつLPプロセッサ630が1-bを用いるように、環境光に依存する静的ゲインとして実施されている。処理される信号全体の輝度を調整するバックグラウンドオフセット信号640は、下限値FV640=b*Mを有する。ここでMは、均一な所望の平均輝度を表わすビデオフレームサイズに等しいサイズを有するもののマトリックスである。オフセット信号は、画像の低輝度部分を環境光レベルまで、またはそれよりも上にシフトするために用いられる。
【００２１】
輝度処理がされた信号Y(図5の635)は、以下の関係を用いて輝度入力信号X(図5の600)から求められる。
Y=c(Xap-Xbar)+(1-b)Xbar+bM
ここで、Xap605は全通過の場合の入力600、Xbarは入力600を可変ローパスフィルタ610に通すことによって形成されるローパスされた画像輝度(図5の607)、Xap-Xbarはハイパスされた等価画像輝度(図5の615)である。ローパスフィルタ610のコーナー周波数は、環境光レベルまたは入力信号特性の変動を調整するために変化させることができる。
【００２２】
環境光依存輝度処理は、一般的に以下の複数ステップを含む。ディスプレイスクリーン70上の環境光を動的にモニタリングして検出するステップ、局所コントラストの強調処理を実行するステップ、およびプロジェクタ60によってディスプレイスクリーン70上に処理された信号を投影するステップ。局所コントラスト強調は、ピクセル単位で実施される。
【００２３】
図示されたデジビジョン社のHT70eに基づく実施形態に対する、コントラスト制御変数「c」およびバックグラウンド制御変数「b」などの制御変数は、図6に示されるようなルックアップ曲線から求めることができる。図6の曲線は、コントラストに関する最良の心理・視覚効果を与える設定を求めることによって実験的に得ることができる。図6では、縦軸は制御変数値を表わし、横軸は検出された環境光レベル(図4Bから求めた)に等しいビデオ入力駆動レベルを表わす。デジビジョン社のHT70eとの使用のための示された変数値は、bおよびc変数に対して0と1の間の値を有するようにさらに正規化される。検出された環境光の等価なビデオ入力駆動レベルは、対応する制御変数値、即ちコントラスト制御変数「c」およびバックグラウンド制御変数「b」をルックアップするためのインデックスとして機能する。図示されているように、検出された環境光レベル75の場合、正規化された「c」は0.31であり、「b」は0.56である。
【００２４】
これまで記述されたコントラスト強調処理は、検出された全部の環境光レベルに基づいて、ビデオフレーム全体に均一な処理を適用する。局所的化された画像コントラストの強調量が、環境光の相対的な強度とピクセルの表示された画像強度に基づいてスケールされるように、各々のピクセルに局所的輝度情報を組み込むことによる、ハイパスおよび/またはローパスプロセッサなどのコントラスト強調処理の適応的調整によって追加の利点が導き出される。ピクセル画像輝度は、到来するビデオ信号によって決定される。この手法は、明るい画像領域と暗い画像領域の双方に、等しく同じ量の強調を加えて、画像の暗い領域が強調された場合に、画像の明るい領域が過度のコントラストを有するようになることを避ける。この手法は、複素動的リアルタイム適応的スキームまたは、下記のプロセッサを調整するために用いられるゲイン制御変数などの多くの技法によって達成されることができる。
【００２５】
図7は、適応的強調制御変数650を有する一実施形態を示している。この強調制御ブロック650は、ピクセル画像輝度を表わす、局所的画像ローパス輝度607を、検出された環境光レベル645と比較することから導出される0と1の間の値を有する変数であることができる。この強調制御変数は、ピクセル内の画像輝度(ローパスされた輝度、図5の607を経由して表わされる)が検出された環境光未満である場合に増加し、ピクセル内の画像輝度が検出された環境光よりも上である場合に減少する。強調制御変数は、ハイパスプロセッサ620および/またはローパスプロセッサ630を調整するために用いられることができる。
【００２６】
環境光レベルが、局所的なローパスされた画像輝度よりも高い場合に1の値を有し、画像レベルが環境光レベル付近またはそれよりも上に増加するにつれて減少し、環境光レベルが局所的なローパスされた画像輝度よりも低い場合には0に近づく特性を有する強調制御変数を決定する、可能な関数表現は数多くある。一例として、1つの関数表現は以下の通りである。
【００２７】
【数１】
2006121713.tif 000003
【００２８】
ここで、Egは強調制御変数、ALは環境光レベル645、ILはローパスされた局所的画像輝度607である。例えばILおよびALは、全てある画像フレームのサイズを有するマトリックスである。除算操作は、ピクセル単位で実行される。YとEgの間の関係は、
Y(m,n,)=X(m,n)+GhpEg(m,n)[X(m,n)-Xbar(m,n)]+GlpEg(m,n)X(m,n)+K
ここで、Y(m,n)は輝度処理された信号、Ghpはハイパスフィルタのゲイン、Eg(m,n)は強調制御変数、X(m,n)は輝度入力信号、Xbar(m,n)はローパスされた画像信号、Glpはローパスフィルタのゲイン、Kは付加定数である。添字m、nは、画像内のピクセル位置を表わす。この概念を実施する多くの可能な方法のうち、この実施形態では、この強調は主要な信号の流れX(m,n)(605から635へ)に対する修正の摂動として機能する。したがって、修正が不必要なとき(強調がゼロになる)は、絵柄は黒にならない。
【００２９】
図8Aは、ピークのディスプレイデバイス輝度レベルの25%に等しい環境光レベルの一例に対する、ローパスされたビデオ入力駆動レベル(図4Bのようなディスプレイ輝度レベルに校正済み)の関数として、対応する強調制御変数を示している。水平軸は、ディスプレイデバイス輝度レベルに正規化(0と1の間の値を有するために)されている。
【００３０】
代替の関数表現は、
【００３１】
【数２】
2006121713.tif 000004
【００３２】
ここでkは、正の定数である。
【００３３】
k=2であるこの関数表現を用いて、図8Bは、ディスプレイデバイス輝度レベルのピークの25%に等しい環境光レベルに対する、ローパスされたビデオ入力駆動レベルの関数として、対応する強調制御変数を示している。
【００３４】
開示された2つの関数表現は、ピクセル単位でハイパスプロセッサおよび/またはローパスプロセッサを制御するリアルタイムの強調制御変数を定義する。双方の関数は、等価な環境光レベルよりも上の輝度レベルの、ピクセルに適用されるコントラスト強調量を削減する。強調制御変数Egの一使用は、先に定義されたハイパスおよびローパスの静的ゲインを、ピクセル単位でEg倍にすることである。
【００３５】
ピクセルの輝度レベルが等価環境光レベルよりも上である画像領域において過剰なコントラスト強調処理を削減するための異なる手法は、局所コントラスト強調の前および/または後に、画像輝度信号を再写像することである。ビデオ画像輝度を再写像するために用いられる関数は、環境光レベルに依存する。多くの可能な実施形態の1つは、以下に定義されるガンマ曲線形などの適切な関数表現を用いることである。
Y(x)=Xγ
ここで、0<x<1、0<γ<1、xは正規化された(0と1の間の値を有するような正規化)ビデオ入力輝度レベルであり、Yは調整された出力輝度レベルである。
【００３６】
このガンマ曲線は、検出された環境光レベルに応じて変化する、輝度の予め定められた入力/出力写像を生成するために用いられることができる。低いレベルの環境光に対しては、この写像は、輝度データを変更することなく通過させるように構成されることができる。環境光レベルを増加させることにより、この曲線は、低い入力輝度レベルに対しては輝度写像の傾斜を増加させるように、かつ高い入力輝度レベルに対しては傾斜を減少させるように調整される。環境光レベルは、(放射された、または再放射もしくは生成された)等価表示駆動輝度レベルの範囲にディスプレイによって正規化される。
【００３７】
図9Aは、例としての1組のガンマ写像曲線を示している。図9Aに示された写像曲線は、以下で与えられる。
Y(x)=Xγ
ここで、0<x<1、
【００３８】
【数３】
2006121713.tif 000005
【００３９】
画像と推定された環境光レベルの双方が、利用可能なディスプレイデバイスの輝度強度範囲へと正規化される。図9Aは、環境光レベルがディスプレイデバイスの輝度レベルのピークの、それぞれ0%(0)、10%(0.1)、20%(0.2)、30%(0.3)、40%(0.4)、50%(0.5)に等しいときの、入力輝度レベルを出力輝度レベルに写像するために用いられる6つの曲線を示している。これらの写像曲線は、上記のように関数的に生成されることができ、または選択された1組の曲線が、予め計算され予め定められた環境光条件に適用されることができる。
【００４０】
図9Bは、局所的コントラスト強調後の適応的輝度調整のために、ガンマ写像曲線を用いた一実施形態を示している。図5を再度参照すると、局所的に強調された輝度信号635が、環境光レベル645には依存しないガンマ写像曲線643に基づいてさらに調整される。最終的に処理された輝度信号は、信号636として出力される。図7では、局所的コントラスト強調処理が適用される前に、信号の前処理が起こる(ハイパスプロセッサおよび/またはローパスプロセッサが、環境光とピクセル内に表示された画像の輝度の相対的強度レベルに基づいて、強調制御変数によって適応的に調整される)。図9Bでは、後処理、即ち環境光とピクセル内に表示された画像の輝度の相対的強度レベルに基づいた局所的輝度調整が、局所的コントラスト強調処理の後で実行される。
【００４１】
図9Cは、局所的コントラスト強調に先立つ、適応的輝度調整のためのガンマ写像曲線を用いた別の実施形態を示している。
【００４２】
追加の手法は、以下に示されるような補完的なまたは準補完的な2つのガンマ写像曲線を用いてもよい。図9Dに示されるように、局所的コントラスト強調に先立つ、上方にカーブしたガンマ写像は、効果的な局所的コントラスト強調を、画像の明るい領域に対しては減少させる一方で、暗い領域に対しては増加させる。第2のガンマ写像曲線は、全体の画像レベルを修復する。この手法は、画像の均一な領域に元の画像輝度を修復するために用いられることができる。
【００４３】
本発明の複数の実施形態が記述されてきた。しかしながら、本発明の精神と範囲から逸脱することなく、種々の変形がなされうることが理解されるであろう。したがって、他の実施形態も添付の請求項の範囲内である。
【図面の簡単な説明】
【００４４】
【図１】本発明による、一実施形態の機能ブロック図である。
【図２Ａ】カメラ画像を用いた、環境光の検出のための構成を示す図である。
【図２Ｂ】光センサを用いた、環境光の検出のための別の構成を示す図である。
【図３Ａ】環境光のアクティブスクリーン領域モニタリングの手順を示す図である。
【図３Ｂ】環境光のアクティブスクリーン領域モニタリングの他の手順を示す図である。
【図３Ｃ】環境光のオフスクリーンの推定モニタリングの手順を示す図である。
【図４Ａ】較正手順を示す図である。
【図４Ｂ】較正曲線の一例を示す図である。
【図５】ハイパスフィルタリングを含む輝度処理の一実施形態を示す図である。
【図６】環境光補償制御変数のルックアップ曲線を示す図である。
【図７】ハイパスフィルタリングの別の実施形態を示す図である。
【図８Ａ】画像レベルの関数としての強調制御変数を表すグラフである。
【図８Ｂ】画像レベルの関数としての強調制御変数を表すグラフである。
【図９Ａ】1組のガンマ写像曲線の例を示す図である。
【図９Ｂ】適応的輝度調整に対するガンマ写像の使用の実施形態を示す図である。
【図９Ｃ】適応的輝度調整に対するガンマ写像の使用の実施形態を示す図である。
【図９Ｄ】適用輝度調整に対する、2つの補完的または準補完的ガンマ写像曲線を用いた一実施形態を示す図である。
【符号の説明】
【００４５】
10  ビデオ信号源
20  カメラ
30  環境光レベル検出ブロック
40  ブロック
50  輝度処理ブロック
60  プロジェクタ
70  ディスプレイスクリーン
220  カメラ
210  ビデオプロジェクタ
230  アクティブスクリーン領域
240  スクリーンマスク
310  アクティブスクリーン領域
320、330、340、350  複数の光センサ
600  ビデオ信号の輝度成分
602  オールパスフィルタ
605  信号成分
607  局所的画像ローパス輝度、信号成分
610  ローパスフィルタ
615  等価情報
620  可変ハイパスプロセッサ
630  可変ローパスプロセッサ
635  輝度処理信号
636  信号
640  バックグラウンドオフセット信号
643  ガンマ写像曲線
645  環境光レベル
650  強調制御ブロック
【図１】
2006121713.tif 000006
【図２Ａ】
2006121713.tif 000007
【図２Ｂ】
2006121713.tif 000008
【図３Ａ】
2006121713.tif 000009
【図３Ｂ】
2006121713.tif 000010
【図３Ｃ】
2006121713.tif 000011
【図４Ａ】
2006121713.tif 000012
【図４Ｂ】
2006121713.tif 000013
【図５】
2006121713.tif 000014
【図６】
2006121713.tif 000015
【図７】
2006121713.tif 000016
【図８Ａ】
2006121713.tif 000017
【図８Ｂ】
2006121713.tif 000018
【図９Ａ】
2006121713.tif 000019
【図９Ｂ】
2006121713.tif 000020
【図９Ｃ】
2006121713.tif 000021
【図９Ｄ】
2006121713.tif 000022
【外国語明細書】
2006121713.tif 000023
2006121713.tif 000024
2006121713.tif 000025
2006121713.tif 000026
2006121713.tif 000027
2006121713.tif 000028
2006121713.tif 000029
2006121713.tif 000030
2006121713.tif 000031
2006121713.tif 000032
2006121713.tif 000033
2006121713.tif 000034
2006121713.tif 000035
2006121713.tif 000036
2006121713.tif 000037
2006121713.tif 000038
2006121713.tif 000039
2006121713.tif 000040
2006121713.tif 000041
2006121713.tif 000042
2006121713.tif 000043
2006121713.tif 000044
2006121713.tif 000045
2006121713.tif 000046
2006121713.tif 000047
2006121713.tif 000048
2006121713.tif 000049
2006121713.tif 000050
2006121713.tif 000051
2006121713.tif 000052
2006121713.tif 000053