(57)【要約】【課題】適応コントラスト向上のための伝達曲線を生成する方法を提供する。【解決手段】伝達曲線は、大部分暗い画像中の明るいピクセルを強調し、大部分明るい画像中の暗いピクセルを強調するように生成される。暗い画像については、画像の中輝度および低輝度領域における輝度を実質的に変えることなく、画像の高輝度領域における輝度を増すような伝達曲線が生成される。明るい画像については、画像の中輝度および高輝度領域における輝度を実質的に変えることなく、画像の暗い領域における輝度を減らすような伝達曲線が生成される。中程度に明るい画像については、画像の中輝度範囲における輝度を実質的に変えることなく、ヒストグラムの高輝度範囲における輝度を増し、低輝度範囲における輝度を減らすような伝達曲線が生成される。【選択図】図５
2006146178.tif 000002
【特許請求の範囲】
【請求項１】
画像の適応コントラスト向上のための方法であって、
前記画像が大部分において低輝度ピクセルを備えるかを決定し、
前記画像が大部分において低輝度ピクセルを備えるとき、前記画像中の高輝度ピクセルについて輝度レベルを増す
方法。
【請求項２】
請求項１に記載の方法であって、更に、前記画像が大部分において低輝度ピクセルを備えるかを示す前記画像についての輝度ヒストグラムを生成する方法。
【請求項３】
請求項１に記載の方法であって、更に、前記画像をディジタルまたはアナログ信号を介して受け取る方法。
【請求項４】
請求項１に記載の方法であって、更に、前記画像をディスプレイ上に表示する方法。
【請求項５】
請求項４に記載の方法であって、前記ディスプレイは、ＬＣＤスクリーン、ＯＬＥＤスクリーン、ＤＬＰスクリーン、ＣＲＴおよびプラズマパネルからなるグループから選択されている
方法。
【請求項６】
画像の適応コントラスト向上のための方法であって、
前記画像が大部分において高輝度ピクセルを備えるかを決定し、
前記画像が大部分において高輝度ピクセルを備えるとき、前記画像中の低輝度ピクセルについて輝度レベルを減らす
方法。
【請求項７】
請求項６に記載の方法であって、更に、前記画像についての輝度ヒストグラムであり、大部分において高輝度ピクセルを備えるかを判別するための輝度ヒストグラムを生成する方法。
【請求項８】
請求項６に記載の方法であって、更に、前記画像をディジタルまたはアナログ信号を介して受け取る方法。
【請求項９】
請求項６に記載の方法であって、更に、前記画像をディスプレイ上に表示する方法。
【請求項１０】
請求項９に記載の方法であって、前記ディスプレイは、ＬＣＤスクリーン、ＯＬＥＤスクリーン、ＤＬＰスクリーン、ＣＲＴおよびプラズマパネルからなるグループから選択されている
方法。
【請求項１１】
画像の適応コントラスト向上のための装置であって、
（ａ）画像を受け取る処理、
（ｂ）前記画像の輝度ヒストグラムに従って伝達曲線を選択する処理、および
（ｃ）前記伝達曲線に従って前記画像のコントラストを向上させる処理
を行なうコントローラを備え、
前記伝達曲線は、
ａ．前記画像が大部分、低輝度ピクセルを備えるとき、画像中の中輝度および低輝度ピクセルについての輝度レベルを実質的に変えることなく、高輝度ピクセルについての輝度レベルを増し、
ｂ．前記画像が大部分、高輝度ピクセルを備えるとき、画像中の中輝度および高輝度ピクセルについての輝度レベルを実質的に変えることなく、低輝度ピクセルについての輝度レベルを減らし、
ｃ．前記画像が大部分、中輝度ピクセルを備えるとき、中輝度ピクセルについての輝度レベルを実質的に変えることなく、前記画像中の高輝度ピクセルについての輝度レベルを増し、かつ低輝度ピクセルについての輝度レベルを減らす
特性を備えた装置。
【請求項１２】
請求項１１に記載の装置であって、前記コントローラは、更に、
（ｄ）前記画像の前記輝度ヒストグラムを生成する処理を行なう装置。
【請求項１３】
請求項１２に記載の装置であって、更に、前記画像を表示するディスプレイを備える装置。
【請求項１４】
請求項１３に記載の装置であって、前記ディスプレイは、ＬＣＤスクリーン、ＯＬＥＤスクリーン、ＤＬＰスクリーン、ＣＲＴおよびプラズマパネルからなるグループから選択されている装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にコントラスト向上に関し、より具体的には適応コントラスト向上のための伝達曲線の発生方法に関する。
【背景技術】
【０００２】
ディスプレイおよびＴＶにおける従来のコントラスト調節方法は、入力画像コンテンツを考慮に入れず、飽和またはクリッピングと共に意図しない平均輝度シフトを生む。例えば、既に良好なコントラストを有する画像に対してコントラストを増すとき、良くない結果が得られ、画像が大部分非常に明るいか、または非常に暗いピクセルを有するとき、良くないコントラストが得られる。同様に、非適応アプローチにおいてコントラストを下げると、既に良くないコントラストを有する画像を「黒つぶれ」にする。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、望まれるのは、入力画像コンテンツを考慮に入れ、上述の問題を避けるコントラスト向上方法である。
【課題を解決するための手段】
【０００４】
したがって提供されるのは、入力画像のコンテンツを考慮に入れ、ピクセル輝度を変える伝達曲線を用いる適応コントラスト向上の方法である。この方法は、大部分暗い画像中の明るいピクセルを強調し、大部分明るい画像中の暗いピクセルを強調する伝達曲線を生成する。
【０００５】
暗い画像については、画像の中輝度および低輝度領域における輝度を実質的に変えることなく、画像の高輝度領域における輝度を増すような伝達曲線が生成される。明るい画像については、画像の中輝度および高輝度領域における輝度を実質的に変えることなく、画像の暗い領域における輝度を減らすような伝達曲線が生成される。中程度に明るい画像については、画像の中輝度範囲における輝度を実質的に変えることなく、ヒストグラムの高輝度範囲における輝度を増し、低輝度範囲における輝度を減らすような伝達曲線が生成される。
【０００６】
本発明は添付の図面の図において例示的に示され、限定的には示されておらず、ここで同様の参照番号は同様の要素を参照する。
【発明を実施するための最良の形態】
【０００７】
本発明の特定の実施形態が詳細に参照され、その例が添付の図面に示される。本発明は、特定の実施形態について記載されるが、本発明を記載された実施形態に限定するよう意図されないことが理解されよう。逆に、添付の特許請求の範囲によって規定されるように、本発明の精神および範囲内に含まれえるよう代替物、改変物、および等価物を含むよう意図される。
【０００８】
液晶ディスプレイ（ＬＣＤ）ベースのディスプレイまたは陰極線管（ＣＲＴ）ベースのディスプレイのようなディジタルディスプレイ装置が入力画像を受け取るとき、見るために画像が表示される前に、入力画像のコントラストを向上させることが望ましい。適応コントラスト向上とは、出力画像のコントラストを向上させるために、入力画像の輝度スペクトルを分析し、特定の輝度範囲における輝度を増加または減少させる一般的なアプローチを指す。これを達成するために、まず、入力輝度範囲にわたって分布する輝度レベル（輝度スペクトル）に対応するピクセルの個数を数えることによって、その入力画像について輝度ヒストグラムが構築される。それから、出力輝度レベルが伝達曲線に従ってアサインされ、ここで伝達曲線は、入力輝度レベルおよび出力輝度レベル間のマッピングである。
【０００９】
適応コントラスト向上への一つのアプローチは、画像ヒストグラム中の最も数の多いビンに対応する画像ピクセルにおいて輝度を増す伝達曲線を生成することを含む。このアプローチを用いて、明るいピクセルは、大部分明るい画像において明るくされ、暗いピクセルは、大部分暗い画像において明るくされる。
【００１０】
適応コントラスト向上への新規なアプローチがここで開示される。基本的なアイディアは、大部分暗い画像中の明るいピクセルを明るくし、大部分明るい画像中の暗いピクセルを暗くする伝達曲線を生成することである。このアプローチは、画像ヒストグラム中で最も少ないビンが、概ね分散し、画像領域全体にわたって統計的に分布している小さい画像領域を表すという事実と共に、そのような領域への小さな輝度調整は人間の目には目障りにならないという事実を利用する。本発明の利点は、大きく改善された画像コントラスト、画像の目へのより明瞭な見え方、伝達関数を用いる結果として引き起こされるノイズおよび輪郭のアーティファクトの低減されたコスト、およびビデオストリーム中のフェードインおよびフェードアウトのあいだの不均一な明るさの強い低減を含む。
【００１１】
図１ａは、例示的な中間明るさの画像およびその画像のヒストグラムを示す。図１ｂは、例示的な暗い（低明度）画像およびその画像のヒストグラムを示す。示されるヒストグラムにおいて、水平軸は輝度値を表し、垂直軸は与えられた輝度値を有するピクセルの個数を表す。例えば、図１ｂにおける暗いシーンについては、輝度ヒストグラムは、ほとんどのピクセルが低い輝度を有し、一方、図１ａにおける中程度の明るさのシーンについては輝度スペクトルはより広く、多くのより明るいピクセルを示す。
【００１２】
以下の記載において、画像を分類するために３つの輝度範囲が用いられる。すなわち、低輝度、中輝度、および高輝度である。図１ｃは、本発明のある実施形態による３つの例示的輝度範囲１１、１２および１３を示す。輝度範囲群はユーザ定義可能であり、スムーズなコントラスト向上を図るために重複されえる。例として、０％から４０％の低輝度範囲、２０％から７０％の中輝度範囲、および６０％から１００％の高輝度範囲がうまく働くことが判った。輝度範囲群が具体的に選択されると、画像はそれから、もしその画像ピクセルの「ほとんど」が対応する輝度範囲に入るなら、低輝度（つまり低明度）、中輝度（つまり中間明度）、または高輝度（つまり高明度）として記述され、ここで「ほとんど」とは、所定のスレッショルドの割合によって定量化される。例として、約５０％から９５％の範囲にあるスレッショルドの割合がうまく働くと判った。例えば、０％から４０％の低輝度範囲、および７０％に設定されたスレッショルド割合が与えられると、そのピクセルの少なくとも７０％が０％から４０％の輝度範囲にある画像は、低輝度画像として認められる。実験により、改善されるべき特定の画像群の集合について、輝度範囲およびスレッショルド割合の最適化が可能になる。
【００１３】
本発明のある実施形態によれば、暗い画像のヒストグラムが図２ａに示され、そのような画像におけるコントラストを向上させる伝達曲線が図２ｂに示される。このヒストグラムは、ピクセルのほとんどが低輝度範囲にあることを示す。この伝達関数は、画像の中輝度および低輝度領域における輝度を実質的に変えることなく、画像の高輝度領域における輝度を増す。そのような輝度増加から生じる絵の明るい領域における細部の比較的小さなロスに対しては、ヒストグラム中の明るいピクセルの少ない個数によって示されるように、もしこれら領域が累積的に全体の画像のうちの比較的小さな部分にしかならないなら、目は敏感ではない。伝達曲線は、暗い領域の輝度を実質的に変化させないが、これは、（ａ）暗い領域における輝度を増すことは、「モヤ」がかかって見えるような画像を生み、これはコントラストが良くないことを示すからであり、（ｂ）暗い領域における輝度を減らすことは、これら領域における細部のロスにつながり、これは暗い画像においては許されないが、なぜならより暗いピクセルがしばしば関連する画像コンテンツの大部分を表すからであり、かつ（ｃ）より暗い領域における利得を増すことは、より暗いピクセルの比較的小さいピクセル値の擾乱（ほとんどの画像に存在する）を不必要に強調し、よって画像中の潜在的なノイズを拡大し、ノイズっぽく粒状性の粗い画像を生むからである。しかし、ＬＣＤまたはＤＬＰ（ディジタルライトプロセッサ）ベースのディスプレイのように、使用中のディスプレイがバックライトを備えるとき、低輝度領域における輝度を低減すること（図２ｂに示されるように）は、バックライトについて補償し、よりＣＲＴ的な画像を見せるために役立つ。ＣＲＴまたはプラズマベースのディスプレイのように、使用中のディスプレイがバックライトを備えないときは、低輝度領域における輝度を低減する必要は余りないが、これはそのようなディスプレイにおいては暗い領域は、光が存在しないことによるのであって、バックライト（ＬＣＤまたはＤＬＰのように）をブロックするプロセスによって作られるのではなく、そのようなプロセスにおいていくらかの光がリークしえるプロセスによって作られるのではないからである。
【００１４】
例として、図２ｃは、黒っぽいスーツと明るいシャツを着た２人の俳優を示す低輝度画像である。比較的少ない個数の明るいピクセル（累積的には画像全体のうちの少ない部分しか構成しない白い襟のような）の輝度を増すことによって、それら画像領域における細部（すなわち、襟の質感）がある程度失われるかもしれないが、その一方で、人間の目は、関連付けられた白の強調と共に、全体としての明度が低減されると、これを改善された画像コントラストと認識する。
【００１５】
本発明の他の実施形態によれば、明るい画像のヒストグラムが図３ａに示され、そのような画像におけるコントラストを向上させる伝達曲線が図３ｂに示される。このヒストグラムは、ピクセルのほとんどがヒストグラムの高輝度範囲にあることを示す。したがって、この伝達関数は、画像の中輝度および高輝度領域における輝度を実質的に変えることなく、画像の暗い領域における輝度を減らす。画像の暗い領域における細部の比較的小さなロスに対しては、ヒストグラム中の暗いピクセルの少ない個数によって示されるように、もしこれら領域が累積的に全体の画像のうちの比較的小さな部分にしかならないなら、目は敏感ではない。伝達曲線は、画像の明るい領域の輝度を変化させないが、これは、（ａ）明るい領域における輝度を減らすことは、全体的な画像の明るさを減らすことによって目にあまり訴えない画像につながるからであり、（ｂ）明るい領域における輝度を増すことは、クリッピングによるこれら領域における細部のロスにつながり、これは明るい画像においては許されないが、なぜならより明るいピクセルがしばしば関連する画像コンテンツの大部分を表すからであり、かつ（ｃ）より明るい領域における利得を増すことは、画像中の潜在的なノイズを増幅し、ノイズっぽく粒状性の粗い画像を生むからである。
【００１６】
例として、明るい画像は、暗い細部を持つユニフォームを着た選手がいる、氷上のスポーツイベント（ホッケーの試合のような）のシーンを描きえる。このような画像において、絵の暗い領域における細部（例えばユニフォームの質感）は、ゲームの動きおよび黒いパックの動きを追うことほどには、観察者には関心がない。このような明るい画像について、図３ｂに示されたもののような伝達関数は、比較的少ない個数の暗いピクセル（パック、選手のユニフォームの暗い細部、観客のような）の輝度を減らし、それによって観察者の注意を、動きを視覚的に追うためにより関連するシーンのそれら部分へと向ける。このようなコントラスト向上は、暗い領域における細部のある程度のロスにつながりえるが、その一方で、全体として人間の目は、これを改善された画像コントラストと認識する。
【００１７】
中程度に明るい画像については、この手法は、画像の中輝度範囲における輝度を実質的に変えることなく、画像の高輝度範囲における輝度を増し、低輝度範囲における輝度を減らす。中程度に明るい画像は、図４ａおよび４ｃの例示的ヒストグラムに示されるように、さまざまな種類の輝度分布を包含することに注意されたい。すなわち、図４ａのヒストグラムは、より大きい分散を有し、図４ｃのヒストグラムは、より小さい分散を有するが、両方とも中程度に明るい画像を表す。本発明は、好ましくはこのような分散の間で以下のような区別をする。
【００１８】
図４ｂは、本発明のある実施形態による、図４ａに示されるヒストグラムを有する画像のコントラストを向上させる伝達曲線である。図４ａのヒストグラムは、比較的狭い範囲にピクセル輝度の集中を示し、したがって暗いピクセルおよび明るいピクセルの全体はより狭い総領域しか占めないことを示すので、伝達曲線は、大部分のピクセルによって占められる輝度範囲において大まかには直線のままであり（すなわち、ほぼ１の傾斜を有し、恒等マッピングを表す）、一方で、伝達曲線のそれぞれの端部において「Ｓ字」形状の曲線を用いて、低輝度ピクセルの輝度を減少させ、かつ高輝度ピクセルの輝度を増加させる。その結果は、画像の全体的なコントラストおよびダイナミックレンジの向上である。
【００１９】
図４ｄは、本発明のある実施形態による、図４ｃに示されるヒストグラムを有する画像のコントラストを向上させる伝達曲線である。図４ａおよび４ｂで示される前の例と比較して、図４ｃのヒストグラムは、より広い輝度範囲にわたってのピクセル輝度の拡散を示し、したがって暗いピクセルおよび明るいピクセルの全体はより広い総領域を占めることを示す。したがって、前の場合と対照的に、伝達曲線は、伝達曲線のそれぞれの両端部において若干より細めの「Ｓ字」カーブを用いて、低輝度ピクセルの輝度を減少させ、かつ高輝度ピクセルの輝度を増加させ、２つの「Ｓ字」カーブ間の範囲においてはより平坦な傾斜の遷移部分を備える。その結果は、再び、画像の全体的なコントラストおよびダイナミックレンジの向上である。
【００２０】
図５は、本発明のある実施形態による画像のコントラストを適応的に向上させる方法を示すフローチャートである。まず、輝度ヒストグラムが入力画像について構築される（１０１）。もし大部分のピクセルが低輝度を有するとヒストグラムが示す（１０２）なら、図２ｂで示される伝達曲線のような、画像中の高輝度ピクセルの輝度を増し（１０３）、かつ画像中の中輝度および低輝度ピクセルを実質的に変えない伝達曲線が用いられる。そうでない場合、もし大部分のピクセルが高輝度を有するとヒストグラムが示す（１０４）なら、図３ｂで示される伝達曲線のような、画像中の低輝度ピクセルの輝度を減らし（１０５）、かつ画像中の高輝度および中輝度ピクセルを実質的に変えない伝達曲線が用いられる。そうでない場合、もし大部分のピクセルが中輝度を有するとヒストグラムが示す（１０６）なら、図４ｂで示される伝達曲線のような、高輝度ピクセルの輝度を増し（１０７）、低輝度ピクセルの輝度を減らし、かつ画像中の中輝度ピクセルの輝度を実質的に変えない伝達曲線が用いられる。もし入力画像が低輝度、高輝度または中輝度の３つのカテゴリーに入らないなら、入力画像ピクセルの輝度レベルは、変化されない（１０８）。
【００２１】
本発明のある有利な局面は、大きく改善された画像コントラストである。出力画像の平均明度は、わずかに低くなりえるが、出力画像は目にはより鮮明に映る。輝度を増すときに、大部分が暗い画像中の明るいピクセルに焦点を合わせることは、明るいピクセルの過補償を可能にする。これは、少数の明るいピクセルによって表される比較的小さい画像領域に限定された、細部のロスにつながりえるが、その結果は、改善されたコントラストを持つ画像となる。たいていの応用例において、特に動く画像（ビデオストリームのような）において、そのような細部のロスは目に付かないので、改善された画像コントラストとトレードオフにされえる。同様に、大部分が明るい画像中のより暗いピクセルの輝度レベルを減らすことは、暗いピクセルによって表される小さい領域に限定された、細部の小さなロスにつながりえるが、そのような暗いピクセルの抑圧は、改善された画像コントラストを生む。
【００２２】
本発明の他の有利な局面は、上述の伝達関数を用いた結果として伴うノイズおよび輪郭アーティファクトのコストが小さいことである。この手法はある程度、ノイズが増幅され輪郭アーティファクトにつながりえるが、そのような副作用は、この手法が最も多数を代表するピクセルグループの輝度、すなわち大部分が暗い画像における暗いピクセルの輝度および大部分が明るい画像における明るいピクセルの輝度を実質的に変化させないという事実によって、小さく維持される。
【００２３】
本発明の他の有利な局面は、ビデオストリーム中のフェードインおよびフェードアウトのあいだの不均一な明るさの変化を強く減らすことである。これも、この手法が、大部分が暗い画像における暗いピクセルの輝度レベルおよび大部分が明るい画像における明るいピクセルの輝度レベルを実質的に変化させないという事実による。
【００２４】
画像のシーケンス（ビデオストリームにおけるような）中のスムーズなコントラスト向上のために、伝達関数は、最近のフレームの画像コンテンツに基づいて適応的に適用されえる。この手法のある実現例は、フレーム群の最近のセットのヒストグラムを累積すること、およびそれらの平均をとることを含む。結果として生じる平均ヒストグラムに基づいて、適切な伝達関数がコントラスト向上のために選ばれる。このような平均化手法を実現するときは、５から１５フレームのバッファがうまく働くと判った。
【００２５】
本発明は、画像をディジタルディスプレイ装置上で表示するコンテキストで説明されてきた。同じ手法は、ディスプレイ中のある領域に適応コントラスト向上を制限するためにも用いられえる。例として、動画のための適応コントラスト向上は、ディスプレイにわたって水平に走る上部および下部の黒い帯状領域を除外しえる。他の例として、適応コントラスト向上は、ディスプレイのウィンドウまたは物理的領域のような、ディスプレイのうちのユーザ定義可能な領域に制限されえる。
【００２６】
本発明の上述の実施形態は、例示および説明として提供されている。これらは本発明を説明された全く同じ形態に制限するよう意図はされていない。他のバリエーションおよび実施形態が上述の教示に照らして可能であり、よって本発明の範囲は詳細な説明によってではなく、むしろ添付の特許請求の範囲によって限定されるべきだと意図される。
【図面の簡単な説明】
【００２７】
【図１ａ】本発明のある実施形態による、例示的な中間明るさの画像およびその画像のヒストグラムを示す説明図である。
【図１ｂ】本発明のある実施形態による、例示的な暗い（低明度）画像およびその画像のヒストグラムを示す説明図である。
【図１ｃ】本発明のある実施形態による、３つの例示的な輝度範囲を示す説明図である。
【図２ａ】暗い画像についてのヒストグラムを示す説明図である。
【図２ｂ】本発明のある実施形態による、前記画像におけるコントラストを向上させる伝達曲線を示すグラフである。
【図２ｃ】本発明のある実施形態による、暗いスーツおよび明るいシャツを着た２人の俳優を示す低輝度画像の例示図である。
【図３ａ】明るい画像についてのヒストグラムを示す説明図である。
【図３ｂ】本発明のある実施形態による、前記画像におけるコントラストを向上させる伝達曲線を示すグラフである。
【図４ａ】中程度の明るさの画像についてのヒストグラムを示す説明図である。
【図４ｂ】本発明のある実施形態による、前記画像におけるコントラストを向上させる対応する伝達曲線を示すグラフである。
【図４ｃ】中程度の明るさの画像についてのヒストグラムを示す説明図である。
【図４ｄ】本発明のある実施形態による、前記画像におけるコントラストを向上させる対応する伝達曲線を示すグラフである。
【図５】本発明のある実施形態による、画像のコントラストを適応的に向上させる方法を示すフローチャートである。
【図１ａ】
2006146178.tif 000003
【図１ｂ】
2006146178.tif 000004
【図１ｃ】
2006146178.tif 000005
【図２ａ】
2006146178.tif 000006
【図２ｂ】
2006146178.tif 000007
【図２ｃ】
2006146178.tif 000008
【図３ａ】
2006146178.tif 000009
【図３ｂ】
2006146178.tif 000010
【図４ａ】
2006146178.tif 000011
【図４ｂ】
2006146178.tif 000012
【図４ｃ】
2006146178.tif 000013
【図４ｄ】
2006146178.tif 000014
【図５】
2006146178.tif 000015
【外国語明細書】
1. TITLE OF THE INVENTION
METHOD OF GENERATING TRANSFER CURVES FOR ADAPTIVE CONTRAST ENHANCEMENT
2. DETAILED DESCRIPTION OF THE INVENTION
BACKGROUND OF THE INVENTION
[001]  The present invention relates generally to contrast enhancement and, more particularly, to a method for generating transfer curves for adaptive contrast enhancement.
[002]  Traditional contrast adjustment methods in displays and TVs do not take into account the input image content and result in unintended average brightness shifts as well as saturation or clipping.  For example, poor results are obtained when increasing the contrast on an image that already has good contrast, and poor contrast is obtained when the image has a large portion of very bright or very dark pixels.  Similarly, decreasing the contrast in a non-adaptive approach will "black out" images that already have poor contrast.
[003]  Therefore, what is desired is a contrast enhancement method that takes into account the input image content and avoids the above problems.
SUMMARY OF THE INVENTION
[004]  What is provided, therefore, is an adaptive contrast enhancement method that takes into account the content of the input image and uses transfer curves to alter pixel luminances.  The method generates transfer curves that enhance the bright pixels in mostly dark images and enhance the dark pixels in mostly bright images.
[005]  For a dark image, a transfer curve is generated which increases luminance in high-luminance regions of the image without substantially changing the luminance in the mid- and low-luminance regions of the image.  For a bright image, a transfer curve is generated which decreases the luminance in the dark areas of the image without substantially changing the luminance in the mid- and high-luminance regions of the image.  For a medium-bright image, a transfer curve is generated with increases the luminance in the high-luminance range and decreases the luminance in the low-luminance range of the histogram without substantially changing the luminance in the medium-luminance range of the image.
[006]  The present invention is illustrated by way of example, and not by way of limitation, in the figures of the accompanying drawings and in which like reference numerals refer to similar elements.
DETAILED DESCRIPTION OF THE INVENTION
[007]  Reference will now be made in detail to a particular embodiment of the invention examples of which are illustrated in the accompanying drawings.  While the invention will be described in conjunction with the particular embodiments, it will be understood that it is not intended to limit the invention to the described embodiments.  To the contrary, it is intended to cover alternatives, modifications, and equivalents as may be included within the spirit and scope of the invention as defined by the appended claims. 
[008]  When a digital display device, such as a liquid crystal display (LCD) based display or a cathode-ray tube (CRT) based display, receives an input image, it is desirable to enhance the contrast of the input image before the image is displayed for viewing.  Adaptive contrast enhancement refers to a general approach of analyzing the luminance spectrum of an input image and increasing or decreasing luminance in specific luminance ranges in order to enhance output image contrast.  To accomplish this, first a luminance histogram is constructed for the input image by counting the number of pixels corresponding to luminance levels ranging over the input luminance range (the luminance spectrum).  Then, output luminance levels are assigned according to a transfer curve, wherein a transfer curve is a mapping between input luminance levels and output luminance levels.
[009]  One approach to adaptive contrast enhancement comprises generating transfer curves that increase luminance in those image pixels that correspond to the most populated bins in the image histogram.  Using this approach, bright pixels are brightened in mostly bright images, and dark pixels are brightened in mostly dark images.
[0010]  A novel approach to adaptive contrast enhancement is disclosed herein.  The fundamental idea is to generate transfer curves that brighten the bright pixels in mostly dark images, and darken the dark pixels in mostly bright images.  This approach takes advantage of the fact that the least populated bins in the image histogram represent small image regions which are generally scattered and statistically distributed over the entire image area, as well as the fact that the human eye is not disturbed by small luminance adjustments to such regions.  Advantages of this invention include greatly improved image contrast, clearer appearance of images to the eye, reduced cost of noise and contouring artifacts incurred as a result of using transfer functions, and a strong reduction in non-uniform brightness changes during fade-ins and fade-outs in video streams.
[0011]  Fig. 1a shows an example medium-bright image and a histogram for the image.  Fig.1b shows an example dark (low-brightness) image and a histogram for the image.  In the shown histograms, the horizontal axis represents luminance values and the vertical axis represents the number of pixels having a given luminance value.  For example, for the dark scene in Fig. 1b, the luminance histogram indicates that most of the pixels have low luminance, while for the medium-bright scene in Fig. 1a the luminance spectrum is wider, indicating a larger number of brighter pixels.
[0012]  In the following description, three luminance ranges are used to classify images: low-luminance, medium-luminance and high-luminance.  Fig. 1c shows three example luminance ranges 11, 12 and 13, in accordance with an embodiment of the present invention.  The luminance ranges are user-definable and may be chosen to overlap in order to provide for smooth contrast enhancement.  By way of example, a low-luminance range of 0% to 40%, a medium-luminance range of 20% to 70%, and a high-luminance range of 60% to 100% luminance have been found to work well.  Given a particular choice of luminance ranges, an image is then described as low-luminance (or low-brightness), medium-luminance (or medium-brightness) or high-luminance (or high-brightness) if "most" of the image pixels fall within the corresponding luminance range, wherein "most" is quantified by a predefined threshold fraction.  By way of example, threshold fractions in the range of about 50% to 95% have been found to work well.  For example, given a low-luminance range of 0% to 40% and a threshold fraction set to 70%, an image having at least 70% of its pixels in the 0% to 40% luminance range qualifies as a low-luminance image.  Experimentation allows optimization of the luminance ranges and the threshold fraction for a particular universe of images to be enhanced.
[0013]  In accordance with one embodiment of the present invention, a histogram for a dark image is shown in Fig. 2a and a transfer curve for enhancing the contrast in such an image is shown in Fig. 2b.  The histogram indicates that most of the pixels are in the low-luminance range.  The transfer function increases luminance in the high-luminance regions of the image without substantially changing the luminance in the mid- and low-luminance regions of the image.  The eye is not sensitive to a relatively small loss in detail in the bright areas of the picture resulting from such a luminance increase if these areas cumulatively comprise a relatively small fraction of the entire image, as is indicated by the small number of bright pixels in the histogram.  The transfer curve does not substantially alter the luminance of the dark regions, since:
(a) Increasing the luminance in dark areas results in an image which would look as if observed through a "fog", indicating poor contrast;
(b) Decreasing the luminance in darker regions results in loss of detail in those regions, which is not acceptable in darker images, since the darker pixels often represent most of the relevant image content; and
(c) Increasing the gain in the darker regions unnecessarily emphasizes the relatively small pixel value disturbances of the darker pixels (present in most images), amplifying the inherent noise in the image and resulting in a noisy and grainy image.
However, when the display in use comprises a backlight, such as in an LCD or a DLP (Digital Light Processor) based display, decreasing the luminance in the low-luminance regions (as shown in Fig. 2b) helps compensate for the backlight and deliver a more CRT-like image.  When the display in use does not comprise backlight, such as in a CRT or plasma based display, there is less need for decreasing the luminance in the low-luminance regions, since in such displays dark regions are due to an absence of light and not created by a process which blocks the backlight (as in an LCD or DLP) and may leak some light in the process.
[0014]  By way of example, Fig. 2c is a low-luminance image showing two actors wearing dark suits and bright shirts.  Note that while increasing the luminance of the relatively small number of bright pixels (such as the white collars which cumulatively comprise a small fraction of the overall image) may cause some loss in detail in those image areas (i.e. in the texture of the collars), the human eye perceives the reduced overall brightness together with the associated white-stretching as enhanced image contrast.
[0015]  In accordance with another embodiment of the present invention, a histogram for a bright image is shown in Fig. 3a and a transfer curve for enhancing the contrast in such an image is shown in Fig. 3b.  The histogram indicates that most of the image content falls within the high-luminance range of the histogram.  Accordingly, the transfer function is set to decrease the luminance in the dark areas of the image without substantially changing the luminance in the mid- and high-luminance regions of the image.  The eye is not sensitive to a relatively small loss in detail in the dark areas of the image if these areas cumulatively comprise a relatively small fraction of the entire image, as is indicated by the small number of dark pixels in the histogram.  The transfer curve does not alter the luminance in the bright regions of the image, since:
(a) Decreasing the luminance is bright areas results in an image which is less appealing to the eye due to decreased overall image brightness;
(b) Increasing the luminance in bright areas results in loss of detail in those regions due to clipping, which is not acceptable in bright images, since the brighter pixels often represent most of the relevant image content; and
(c) Increasing the gain in the brighter regions amplifies the inherent noise in the image and results in a noisy and grainy image.
[0016]  By way of example, a bright image may depict a scene of a sporting event on ice (such as a hockey game) having players wearing uniforms with dark details.  In such an image, details in the dark areas of the picture (e.g. the texture of the uniforms) are not as relevant to a viewer as is following the action of the game and the movement of the black puck.  For such a bright image, a transfer function such as the one shown in Fig. 3b will decrease the luminance of the relatively small number of darker pixels (such as the puck, the dark details of the players' uniforms, the audience), thereby drawing the attention of the viewer towards those parts of the scene that are more relevant for visually following the movements.  While such contrast enhancement may result in some loss of detail in the dark areas, overall the human eye perceives an enhanced image contrast.
[0017]  For a medium-bright image, the technique is to increase the luminance in the high-luminance range and decrease the luminance in the low-luminance range of the image without substantially changing the luminance in the medium-luminance range of the image.  Note that medium-bright images encompass a wide variety of luminance distributions, as shown in the example histograms of Figs 4a and 4c: The histogram of Fig. 4a has a larger variance and the histogram of Fig. 4c a smaller variance, even though both indicate medium-bright images.  The present invention preferably distinguishes between such variances as follows.
[0018]  Fig. 4b is a transfer curve for enhancing the contrast of an image having a histogram as shown in Fig. 4a, according to an embodiment of the present invention.  Since the histogram of Fig. 4a shows a concentration of pixel luminances in a relatively narrow range and therefore indicates that the dark and bright pixels collectively occupy a smaller total area, the transfer curve remains generally linear (i.e. has a slope of about 1 and represents an identity mapping) in the luminance range occupied by most pixels, while decreasing the luminance of the low-luminance pixels and increasing the luminance of the high-luminance pixels using "S" shaped curves on each end of the transfer curve.  The result is an increase in the overall contrast and dynamic range of the image.
[0019]  Fig. 4d is a transfer curve for enhancing the contrast of an image having a histogram as shown in Fig. 4c, according to an embodiment of the present invention.  Compared to the previous case shown in Figs. 4a and 4b, the histogram of Fig. 4c shows a spread of pixel luminances over a wider luminance range and therefore indicates that the dark and bright pixels collectively occupy a larger total area.  Therefore, in contrast with the previous case, the transfer curve decreases the luminance of the low-luminance pixels and increases the luminance of the high-luminance pixels using slightly slimmer "S" curves at the ends of the transfer curve, and comprises a more even slope transition in the range between the two "S" curves.  The result again is an increase in the overall contrast and dynamic range of the image.
[0020]  Fig. 5 is a flowchart illustrating a method of adaptively enhancing the contrast of an image, in accordance with an embodiment of the present invention.  First, a luminance histogram is constructed 101 for an input image.  If the histogram indicates 102 that most of the pixels have low luminance, a transfer curve is used which increases 103 the luminance of high-luminance pixels in the image and does not substantially alter the mid- and low-luminance pixels in the image, such as the transfer curve shown in Fig. 2b.  Else, if the histogram indicates 104 most of the pixels have high luminance, a transfer curve is used which decreases 105 the luminance of low-luminance pixels in the image and does not substantially alter the high- and mid-luminance pixels in the image, such as the transfer curve shown in Fig. 3b.  Else, if the histogram indicates 106 that most of the pixels have a medium level of luminance, a transfer curve is used which increases 107 the luminance of high-luminance pixels, decreases the luminance of low-luminance pixels and does not substantially alter the luminance of the mid-luminance pixels in the image, such as the transfer curve shown in Fig. 4b.  If the input image does not fall into of the three categories of low-, high- or medium-luminance, then the luminance levels of the input image pixels are not altered 108.
[0021]  One advantageous aspect of the present invention is the greatly improved image contrast.  While the average brightness of the output image may be slightly lower, output images appear clearer to the eye.  Focusing on bright pixels in mostly dark images when increasing luminance allows for over-compensation of the bright pixels.  While this may lead to a small loss of detail, confined to a relatively small image area represented by the small number of bright pixels, the result is an image with improved contrast.  In most applications, and especially in moving images (such as a video stream), the loss of such detail is not noticeable to the eye and therefore can be traded off for improved image contrast.  Similarly, a decrease in the luminance levels of darker pixels in a mostly bright image may lead to a small loss of detail, confined to the small area represented by the dark pixels, but the suppression of such dark pixels results in improved image contrast.
[0022]  Another advantageous aspect of the present invention is the small cost of noise and contouring artifacts that are incurred as a result of using the above described transfer functions.  While the techniques may result in some noise amplification and contouring artifacts, such side-effects are kept small due to the fact that the technique does not substantially alter the luminance of the most significantly represented pixel groups, i.e. the luminance of dark pixels in mostly dark images and the luminance of bright pixels in mostly bright images.
[0023]  Another advantageous aspect of the present invention is a strong reduction in non-uniform brightness changes during fade-ins and fade-outs in video streams.  This also is due to the fact that the technique does not substantially alter the luminance levels of dark pixels in mostly dark images and the luminance levels of bright pixels in mostly bright images.
[0024]  For smooth contrast enhancement in a sequence of images (such as in a video stream), the transfer functions can be applied adaptively based on the image content of the most recent frames.  One implementation of this technique comprises accumulating the histograms of the most recent set of frames and computing their average.  Based on the resulting average histogram, an appropriate transfer function is chosen for contrast enhancement.  When implementing such an averaging technique, a buffer of 5 to 15 frames has been found to work well.
[0025]  The invention has been described in the context of displaying an image on a digital display device.  It should be appreciated that the same techniques can be used to limit the adaptive contrast enhancement to a region in the display.  By way of example, adaptive contrast enhancement for a movie may exclude the upper and lower black bands that run horizontally across the display.  By way of another example, adaptive contrast enhancement may be restricted to a user-definable region of the display, such as a window or a physical region of the display.
[0026]  Foregoing described embodiments of the invention are provided as illustrations and descriptions.  They are not intended to limit the invention to precise form described.  Other variations and embodiments are possible in light of above teachings, and it is thus intended that the scope of invention not be limited by this Detailed Description, but rather by Claims following.
3. BRIEF DESCRIPTION OF THE DRAWINGS
Fig. 1a shows an example medium-bright image and a histogram for the image, in accordance with an embodiment of the present invention.
Fig.1b shows an example dark (low-brightness) image and a histogram for the image, in accordance with an embodiment of the present invention.
Fig. 1c shows three example luminance ranges, in accordance with an embodiment of the present invention.
Fig. 2a shows a histogram for a dark image, and Fig. 2b shows a transfer curve for enhancing the contrast in such an image, in accordance with an embodiment of the present invention.
Fig. 2c is a low-luminance image showing two actors wearing dark suits and bright shirts, in accordance with an embodiment of the present invention.
Fig. 3a shows a histogram for a bright image, and Fig. 3b shows a transfer curve for enhancing the contrast in such an image, in accordance with an embodiment of the present invention.
Figs. 4a and 4c show histograms for medium-bright images, and Figs. 4b and 4d show corresponding transfer curves for enhancing the contrast in such images, in accordance with an embodiment of the present invention.
Fig. 5 is a flowchart illustrating a method of adaptively enhancing the contrast of an image, in accordance with an embodiment of the present invention.
1. A method for adaptive contrast enhancement of an image, comprising:
determining whether the image comprises mostly low-luminance pixels; and
increasing luminance levels for high-luminance pixels in the image when the image comprises mostly low-luminance pixels.
2. A method as recited in claim 1, further comprising generating a luminance histogram for the image to indicate whether the image comprises mostly low-luminance pixels.
3. A method as recited in claim 1, further comprising receiving the image via a digital or analog signal.
4. A method as recited in claim 1, further comprising displaying the image on a display.
5. A method as recited in claim 4, wherein the display is selected from the group consisting of an LCD screen, an OLED screen, a DLP screen, a CRT and a plasma panel.
6. A method for adaptive contrast enhancement of an image, comprising:
determining whether the image comprises mostly high-luminance pixels; and
decreasing luminance levels for low-luminance pixels in the image when the image comprises mostly high-luminance pixels.
7. A method as recited in claim 6, further comprising generating a luminance histogram for the image to indicate whether the image comprises mostly high-luminance pixels.
8. A method as recited in claim 6, further comprising receiving the image via a digital or analog signal.
9. A method as recited in claim 6, further comprising displaying the image on a display.
10. A method as recited in claim 9, wherein the display is selected from the group consisting of an LCD screen, an OLED screen, a DLP screen, a CRT and a plasma panel.
11. An apparatus for adaptive contrast enhancement, comprising:
a controller for:
(a)  receiving an image;
(b)  selecting a transfer curve according to a luminance histogram of the image; and
(c)  enhancing a contrast of the image according to the transfer curve, the transfer curve for
a.  increasing luminance levels for high-luminance pixels without substantially changing luminance levels for medium- and low-luminance pixels in the image when the image comprises mostly low-luminance pixels;
b.  decreasing luminance levels for low-luminance pixels without substantially changing luminance levels for medium- and high-luminance pixels in the image when the image comprises mostly high-luminance pixels; and
c.  increasing luminance levels for high-luminance pixels and decreasing luminance levels for low-luminance pixels in the image without substantially changing luminance levels for medium-luminance pixels when the image comprises mostly medium-luminance pixels.
12. An apparatus as recited in claim 11, the controller further for:
(d) generating the luminance histogram of the image.
13. An apparatus as recited in claim 12, further comprising a display for displaying the image.
14. An apparatus as recited in claim 13, wherein the display is selected from the group consisting of an LCD screen, an OLED screen, a DLP screen, a CRT and a plasma panel.
1. ABSTRACT
Disclosed is a method for generating transfer curves for adaptive contrast enhancement.  Transfer curves are generated so as to enhance the bright pixels in mostly dark images and the dark pixels in mostly bright images.  For a dark image, a transfer curve is generated which increases luminance in high-luminance regions of the image without substantially changing the luminance in the mid- and low-luminance regions of the image.  For a bright image, a transfer curve is generated which decreases the luminance in the dark areas of the image without substantially changing the luminance in the mid- and high-luminance regions of the image.  For a medium-bright image, a transfer curve is generated with increases the luminance in the high-luminance range and decreases the luminance in the low-luminance range of the histogram without substantially changing the luminance in the medium-luminance range of the image.
2. REPRESENTATIVE DRAWING
Fig. 5
2006146178.tif 000016
2006146178.tif 000017
2006146178.tif 000018
2006146178.tif 000019
2006146178.tif 000020
2006146178.tif 000021
2006146178.tif 000022
2006146178.tif 000023
2006146178.tif 000024
2006146178.tif 000025
2006146178.tif 000026
2006146178.tif 000027
2006146178.tif 000028