(57)【要約】【課題】適応コントラスト向上のための伝達曲線を生成する方法を提供する。【解決手段】入力画像が与えられると、所定の入力輝度範囲に基づいて、輝度ヒストグラムが生成される。それから輝度ヒストグラムが、所定の「基本」ヒストグラム群のセットの重み付けされた和として表現される。それぞれの基本ヒストグラムは、関連付けられるレファレンス伝達曲線を有する。最終的な伝達曲線は、関連付けられるレファレンス伝達曲線群の対応する重み付けされた和として作られる。それから画像輝度は、最終的な伝達曲線に従って調整されえ、向上された画像コントラストにつながる。開示された方法は、輝度範囲群の個数を増すことなく、利用可能なレファレンス伝達曲線の個数を増やすことを可能にする。【選択図】図６
2006140995.tif 000002
【特許請求の範囲】
【請求項１】
伝達関数を生成する方法であって、
基本ヒストグラム群のセットの第１重み付け和によって画像輝度ヒストグラムを近似することであって、それぞれの基本ヒストグラムは、レファレンス伝達関数のセットからの対応するレファレンス伝達関数と関連付けられる、近似すること、および
前記レファレンス関数の前記セットの第２重み付け和として表現された最終的な伝達関数を生成すること
を含み、
前記第２重み付け和における前記レファレンス関数は、前記第１重み付け和中の前記関連付けられる基本ヒストグラムに従って重み付けされる
方法。
【請求項２】
請求項１に記載の方法であって、
前記画像輝度ヒストグラムを入力画像に基づいて生成すること
をさらに含む方法。
【請求項３】
請求項１に記載の方法であって、前記レファレンス伝達関数のセットのそれぞれのレファレンス伝達関数は、前記レファレンス伝達関数に関連付けられる前記基本ヒストグラムに従って分散される輝度値を有する画像のコントラストを最適に向上するよう選ばれる方法。
【請求項４】
請求項１に記載の方法であって、前記レファレンス伝達関数のセットの第１レファレンス伝達関数は、中輝度および高輝度画像領域において輝度を実質的に変化させることなく、暗い画像領域で輝度を減少させ、前記第１レファレンス伝達関数は、主に明るい画像を示す基本ヒストグラムと関連付けられる方法。
【請求項５】
請求項１に記載の方法であって、前記レファレンス伝達関数のセットの第１レファレンス伝達関数は、中輝度および低輝度画像領域において輝度を実質的に変化させることなく、明るい画像領域で輝度を増加させ、前記第１レファレンス伝達関数は、主に暗い画像を示す基本ヒストグラムと関連付けられる方法。
【請求項６】
請求項１に記載の方法であって、前記第１重み付け和は、正の重みを持つ多くとも２つの基本ヒストグラムを含み、前記第２重み付け和は、正の重みを持つ多くとも２つのレファレンス伝達曲線を含む方法。
【請求項７】
請求項１に記載の方法であって、前記第１重み付け和は、正の重みを持つ多くとも３つの基本ヒストグラムを含み、前記第２重み付け和は、正の重みを持つ多くとも３つのレファレンス伝達曲線を含む方法。
【請求項８】
伝達関数を生成する装置であって、
（ａ）基本ヒストグラム群のセットの第１重み付け和によって画像輝度ヒストグラムを近似することであって、それぞれの基本ヒストグラムは、レファレンス伝達関数のセットからの対応するレファレンス伝達関数と関連付けられる、近似すること、および
（ｂ）前記レファレンス関数の前記セットの第２重み付け和として表現された最終的な伝達関数を生成すること
を行うコントローラを備え、
前記第２重み付け和における前記レファレンス関数は、前記第１重み付け和中の前記関連付けられる基本ヒストグラムに従って重み付けされる
装置。
【請求項９】
請求項８に記載の装置であって、前記コントローラは、
前記画像輝度ヒストグラムを入力画像に基づいて生成すること
をさらに行う装置。
【請求項１０】
請求項８に記載の装置であって、前記レファレンス伝達関数のセットのそれぞれのレファレンス伝達関数は、前記レファレンス伝達関数に関連付けられる前記基本ヒストグラムに従って分散される輝度値を有する画像のコントラストを最適に向上するよう選ばれる装置。
【請求項１１】
請求項８に記載の装置であって、前記レファレンス伝達関数のセットの第１レファレンス伝達関数は、中輝度および高輝度画像領域において輝度を実質的に変化させることなく、暗い画像領域で輝度を減少させ、前記第１レファレンス伝達関数は、主に明るい画像を示す基本ヒストグラムと関連付けられる装置。
【請求項１２】
請求項８に記載の装置であって、前記レファレンス伝達関数のセットの第１レファレンス伝達関数は、中輝度および低輝度画像領域において輝度を実質的に変化させることなく、明るい画像領域で輝度を増加させ、前記第１レファレンス伝達関数は、主に暗い画像を示す基本ヒストグラムと関連付けられる装置。
【請求項１３】
請求項８に記載の装置であって、前記第１重み付け和は、正の重みを持つ多くとも２つの基本ヒストグラムを含み、前記第２重み付け和は、正の重みを持つ多くとも２つのレファレンス伝達曲線を含む装置。
【請求項１４】
請求項８に記載の装置であって、前記第１重み付け和は、正の重みを持つ多くとも３つの基本ヒストグラムを含み、前記第２重み付け和は、正の重みを持つ多くとも３つのレファレンス伝達曲線を含む装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にコントラスト向上に関し、より具体的には、基本伝達曲線を用いて適応コントラスト向上のための伝達曲線を生成する方法に関する。
【背景技術】
【０００２】
ディスプレイおよびＴＶにおける従来のコントラスト調節方法は、入力画像のコンテンツを考慮に入れず、その結果、意図しない平均明度のシフトと共に、飽和またはクリッピングをきたしていた。例えば、既に良好なコントラストを有する画像に対してコントラストを増すとき、良くない結果が得られ、画像が非常に明るいか、または非常に暗いピクセルの大きな部分を有するとき、良くないコントラストが得られる。同様に、コントラストを減らすことは、典型的には既に良くないコントラストを有する画像を典型的には「黒つぶれさせて」しまう。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、改善されたコントラスト向上技術が望まれる。
【課題を解決するための手段】
【０００４】
したがって提供されるのは、輝度範囲群の個数を増すことなく、利用可能なレファレンス伝達曲線の個数を増やすことを可能にする適応コントラスト向上方法である。入力画像が与えられると、輝度ヒストグラムが生成される。それから輝度ヒストグラムが、所定の「基本」ヒストグラム群のセットの重み付けされた和として表現される。それぞれの基本ヒストグラムは、関連付けられるレファレンス伝達曲線を有する。最終的な伝達曲線は、関連付けられるレファレンス伝達曲線群の対応する重み付けされた和として作られる。それから画像輝度は、最終的な伝達曲線に従って調整されえ、向上された画像コントラストにつながる。
【０００５】
本発明は添付の図面の図において例示的に示され、限定的には示されておらず、ここで同様の参照番号は同様の要素を参照する。
【発明を実施するための最良の形態】
【０００６】
本発明の特定の実施形態が詳細に参照され、その例が添付の図面に示される。本発明は、特定の実施形態について記載されるが、本発明を記載された実施形態に限定するよう意図されないことが理解されよう。逆に、添付の特許請求の範囲によって規定されるように、本発明の精神および範囲内に含まれえるよう代替物、改変物、および等価物を含むよう意図される。
【０００７】
液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）スクリーン、ディジタルライトプロセッサ（ＤＬＰ）、陰極線管（ＣＲＴ）、プラズマパネルまたは他のディスプレイのようなディスプレイ上で例えば表示を行うために画像を用意するとき、ピクセル輝度レベルを調整することによって、その画像のコントラストを向上させることが望ましい。伝達曲線は、入力輝度レベルおよび出力輝度レベル間のマッピングを記述するのに用いられえる。異なる画像は異なる輝度ヒストグラムを有するので、手元にある特定の画像にこの伝達曲線を調節して最適なコントラスト向上を得ることが望まれる。
【０００８】
あるアプローチは、それぞれがレファレンス伝達曲線に関連付けられる多数の輝度範囲に輝度スペクトルを分割し、画像中のそれらの輝度範囲の表現に比例するレファレンス伝達曲線群の和をとり、画像輝度を処理するためにその和を伝達曲線として用いることである。このアプローチはうまく機能するが、利用可能なレファレンス伝達曲線の数を拡張することによってコントラスト向上を改良することは、輝度範囲群の個数の増加を必要とし、それによって境界の場合を増やし、フェードインおよびフェードアウト（例えばビデオストリームにおいて）のあいだに不均一なコントラスト向上を作ってしまう。したがって所定の輝度範囲群の個数を増すことなく、利用可能なレファレンス伝達曲線の個数を拡大することが望ましい。
【０００９】
したがって本発明は、輝度範囲群の個数を増すことなく、利用可能なレファレンス伝達曲線の個数を増やす。まず輝度ヒストグラムが手元にある画像について生成される。それから輝度ヒストグラムが、所定の「基本」ヒストグラム群のセットの重み付けされた和として表現される。基本ヒストグラム群の個数は、輝度範囲の個数より大きいが、適切に輝度ヒストグラムを近似するのに必要とされる基本ヒストグラムの個数は、利用可能な基本ヒストグラムの総数よりも一般に小さい。それぞれの基本ヒストグラムは、関連付けられるレファレンス伝達曲線を有する。最終的な伝達曲線は、関連付けられるレファレンス伝達曲線群の対応する重み付けされた和として作られる。それから画像輝度は、最終的な伝達曲線に従って処理され、向上された画像コントラストにつながる。
【００１０】
図１ａは、中程度の明るさの画像およびその画像についてのヒストグラムの例を示し、図１ｂは、暗い（低い明度）の画像およびその画像についてのヒストグラムの例を示す。ヒストグラムの水平軸は、輝度値を表現し、垂直軸は、与えられた輝度値を有するピクセルの個数を表現する。例えば、図１ｂにおける暗いシーンについて、輝度ヒストグラムは、ほとんどのピクセルが低い輝度を有することを示し、一方、図１ａにおける中程度の明るさのシーンについては、輝度ヒストグラムはより明るいピクセルの数がより多いことを示す。
【００１１】
本発明は、画像輝度スペクトルを分割する３つの輝度範囲群の例を用いて説明される。しかし以下の記載はもともと例示的であって、したがって本発明の範囲および意図のいずれをも限定するよう解釈されるべきではないことに注意されたい。
【００１２】
本説明において、３つの例示的輝度範囲群が用いられる。すなわち、低輝度範囲、中輝度範囲、および高輝度範囲である。図１ｃは、本発明のある実施形態による３つの例示的輝度範囲群１１、１２および１３を示す。輝度範囲群はユーザ定義可能であり、スムーズなコントラスト向上を提供するために重複するよう選択されえる。例として、０％から４０％の低輝度範囲、３０％から７０％の中輝度範囲、および６０％から１００％の高輝度範囲を持つ輝度がうまく働くことが判った。
【００１３】
いったん輝度範囲群が定義されると、本発明の目的のために輝度ヒストグラムを発生することは、それぞれの輝度範囲群中の画像ピクセルの個数を数えることに対応する。３つの輝度範囲の例の場合、そのようなヒストグラムは、３つのバーを有するように視覚化されえ、それぞれのバーは特定の輝度範囲における画像ピクセルの割合を表現する。図２ａは、例示的画像を示し、図２ｂは、３つの輝度範囲に基づいて生成された例示的画像についての輝度ヒストグラムを示す。画像輝度ヒストグラムの生成は、好ましくはハードウェアでなされるが、これは部分的に、または全体的にソフトウェアまたは他のコンピューティングレイヤで行われてもよいことが理解されよう。
【００１４】
入力画像についての輝度ヒストグラム（これからはソースヒストグラムと呼ばれる）を生成した後、ゴールは、ソースヒストグラムを、所定の基本ヒストグラム群のセットの重み付けされた和として表現することである。図３は、本発明のある実施形態による９つの基本ヒストグラムＨ1、…、Ｈ9のセットの例を示す。Ｈ1は単調に減少していく暗さを持つ暗い画像として記述されえ、Ｈ2は単調に増加していく明るさを持つ明るい画像として記述されえ、Ｈ3は均一に明るいとして記述されえ、Ｈ4ははっきりした明るい細部がない暗い画像として記述されえ、Ｈ5ははっきりした暗い細部がない明るい画像として記述されえ、Ｈ6ははっきりした明るい領域および暗い領域として記述されえ、Ｈ7は非常に暗いとして記述されえ、Ｈ8は中間の明るさとして記述されえ、Ｈ9は非常に明るいとして記述されえる。
【００１５】
ソースヒストグラムは、２つ以上の基本ヒストグラム群の重み付け（正の重み付けで）された和として表現されえる。この重み付けされた和は、ソースヒストグラムと正確には一致しないかもしれないが、ソースヒストグラムをかなりよく近似する。そのような重み付けされた和を生成するある貪欲なアルゴリズムは、最大の正の重み付けを用いて適切に重み付けされるときに、ソースヒストグラムとは最小の差しか残さない第１基本ヒストグラムを選択することである。ソースヒストグラムおよび第１の重み付けされた基本ヒストグラムの間の残りの差（もしあれば）は、最大の正の重み付けを用いて適切に重み付けされ、第１重み付けされた基本ヒストグラムに追加されるときに、重み付けされた和とソースヒストグラムとの間に最小の差しか残さない第２基本ヒストグラムを選択することによってそれから同様にして減らされる。
【００１６】
例として、上述のアルゴリズムにおける第１および第２基本ヒストグラムとして働くものとして、全ての基本ヒストグラムの中でＨ1およびＨ5が選択されたと仮定すると、それらの重み付けされた和は、ｗ1・Ｈ1＋ｗ2・Ｈ5として書くことができ、ここでｗ1およびｗ2は、適切に選ばれた正の重み付けを表現する。オプションとして、上述のアルゴリズムは、３つ以上の基本ヒストグラムの重み付けされた和を作るために、さらなる基本ヒストグラム群を含むように続けられてもよい。２つまたは３つの基本ヒストグラム群の重み付けされた和は、画像コントラストを高度に向上させることができるだけ充分にソースヒストグラムをよく近似すると考えられる。
【００１７】
画像のための基本ヒストグラムの重み付け和を生成する他の発見は、まず２つのビン（bins）だけを用いて画像のための基本ヒストグラムを生成することであり、第１ビンは輝度スペクトルの低い方の半分を表現し、第２ビンは輝度スペクトルの高い方の半分を表現する。それから基本ヒストグラムは、画像が低い輝度を有する（第１ビンが第２ビンよりもかなり多くのピクセルを含む）か、中間の輝度を有する（第１および第２ビンがほぼ同じ数のピクセルを含む）か、または高輝度を有する（第２ビンが第１ビンよりもかなり多くのピクセルを含む）かを示すために用いられる。このスレッショルドは、明示的に定義されえる。例えば、もしより少なく表現されたビンが４５％のピクセルを含むなら、その画像は中間輝度を有すると宣言され、そうでなければ、その画像は低輝度または高輝度だと宣言される。低輝度画像について、高輝度基本ヒストグラムＨ2およびＨ9は、重み付け和のための考慮からは除外される。高輝度画像について、低輝度基本ヒストグラムＨ1およびＨ7は除外される。中輝度画像について、低輝度および高輝度基本ヒストグラムＨ2、Ｈ9、Ｈ1およびＨ7は除外される。ソースヒストグラムは、それから上述の貪欲なアルゴリズムを用いて、除外されなかった基本ヒストグラム群の重み付けされた和として表現される。
【００１８】
基本ヒストグラム群は、改良されたパフォーマンスのためにファームウェアによって好ましくは選ばれ、追加されるが、これはソフトウェアまたは他のコンピューティングレイヤにおいて完全に、または部分的になされえることが理解されよう。
【００１９】
いったん基本ヒストグラム群の適切な重み付け和が得られると、最終的な伝達曲線が生成される。基本ヒストグラムＨ1，…，Ｈ9に対応するのは、ユーザ定義されたレファレンス伝達曲線ＴＦ1（ｘ），…，ＴＦ9（ｘ）であり、ここでＴＦi（ｘ）は、画像のコントラストを向上させるのに適切であるとして生成されたレファレンス伝達曲線を表し、そのヒストグラムは、基本ヒストグラムＨiに類似する。
【００２０】
例として、図５（ａ）、５（ｂ）および５（ｃ）は、本発明のある実施形態による基本ヒストグラムＨ7、Ｈ8およびＨ9に対応する３つのそのような例示的レファレンス伝達曲線ＴＦ7（ｘ）、ＴＦ8（ｘ）およびＴＦ9（ｘ）を示す。ＴＦ7（ｘ）は、中輝度および高輝度領域において輝度を実質的に変化させることなく、画像の暗い領域で輝度を減少させ、ＴＦ9（ｘ）は、中輝度および低輝度領域において輝度を実質的に変化させることなく、画像の明るい領域で輝度を増加させ、ＴＦ8（ｘ）は、画像の中輝度範囲における輝度を実質的に変化させることなく、高輝度領域における輝度を増加させ、低輝度領域における輝度を減少させることに注意されたい。
【００２１】
最終的な伝達曲線Ｔ（ｘ）は、対応するレファレンス伝達曲線の重み付けされた和として作られ、すなわち、Ｔ（ｘ）＝ｗ1・ＴＦ1（ｘ）＋ｗ2・ＴＦ5（ｘ）である。最終的な伝達曲線を作るのに用いられる重み群は、基本ヒストグラムのために用いられる重み群に対応する。最終的な伝達曲線Ｔ（ｘ）は、画像のピクセル輝度を調整するためにそれから用いられえ、それによって画像のコントラストを向上する。
【００２２】
一般に、重み付けされた和において用いられる基本ヒストグラムの個数、およびしたがって対応する重み付けされた和において用いられるレファレンス伝達曲線の個数は、重み付けされた和について２つまたは３つに制限されえる。しかし上述の例は説明目的のためだけである。基本ヒストグラムＨiおよび対応するレファレンス伝達曲線Ｔi（ｘ）の任意の個数の中から選ぶことができ、ソースヒストグラムを近似するために基本のヒストグラムの任意の個数のものが重み付けされた和
【数１】
2006140995.tif 000003
に含まれるように選ばれえ、レファレンス伝達曲線の任意の対応する個数が、最終的な伝達曲線Ｔ（ｘ）を表す重み付けされた和
【数２】
2006140995.tif 000004
に含まれるように選ばれえる。
【００２３】
図６は、本発明のある実施形態による画像のコントラストを適応的に向上する方法を示すフロー図である。入力画像が与えられると、ヒストグラムを発生し（１０１）、そのヒストグラムを基本ヒストグラム群の重み付けされた和として表現する（１０２）。それから、基本ヒストグラム群に関連付けられるレファレンス伝達曲線群の対応する重み付けされた和として最終的な伝達曲線を生成する（１０３）。いったん最終的な伝達曲線が生成されると、それに従って画像輝度が調整されえる（１０４）。
【００２４】
画像群のシーケンス中の（ビデオストリームの中のような）スムーズなコントラスト向上のために、最終的な伝達曲線は、最近のフレーム群の累積的画像コンテンツに基づいて生成されえる。この技術のある実現例は、最近のフレーム群のセットのヒストグラムを累積すること、およびそれらの平均を計算することを含む。結果として生じる平均ヒストグラムは、基本ヒストグラム群の重み付けされた和としてそれから表現され、上述のように最終的な伝達関数を作る。そのような平均化技術を実現するとき、５から１５フレームのバッファがうまく働くことが判った。
【００２５】
本発明のある利点は、レファレンス伝達曲線群のより速い開発である。与えられた基本ヒストグラムに対応する与えられたレファレンス伝達曲線は、与えられた基本ヒストグラムに似た輝度ヒストグラムを有する画像上で検証（verify）されるだけでよい。９つの基本ヒストグラムの上述の例のセットにおいて、９つの対応する伝達曲線だけが設計され、よって検証されればよい。これは劇的に開発時間を削減するが、それはレファレンス伝達曲線が、レファレンス伝達曲線の相互依存による副作用を発見するために多くの異なる基本ヒストグラムを含む材料の多数時間に対して、検証され、最適化される必要がないからである。
【００２６】
本発明の他の利点は、ハードウェアリソースのためのニーズが低減されたことである。たった３つの輝度ヒストグラム範囲（つまりヒストグラム「ビン（bins）」）を上述の例のように用いることによって、従来のコントラスト向上アプローチにおける８または１６ビンを用いることに匹敵するか、またはそれよりも良いコントラスト向上パフォーマンスを達成することが可能である。
【００２７】
本発明の他の利点は、画像の輝度解像度を犠牲にすることなく改良されたコントラストダイナミックレンジである。例として、入力オリジナル画像および関連付けられるヒストグラムが図４ａに示され、向上された出力画像および関連付けられるヒストグラムが図４ｂに示される。向上された画像の輝度ヒストグラムにおいて、暗いピクセルおよび明るいピクセルは、遠くへと分散され（すなわちダイナミックレンジが大きくされ）、一方、中間輝度ピクセルはほとんど影響を受けない。
【００２８】
本発明は、ディジタルディスプレイ装置上で画像を表示するコンテキストにおいて記載されてきたが、適応コントラスト向上がディスプレイの領域に限定される環境においても同じ技術が用いられえることが理解されよう。例として、動画のための適応コントラスト向上は、ディスプレイまたはスクリーンにわたって水平に走る上側および下側の黒い帯を除外しえる。他の例として、適応コントラスト向上は、ウィンドウまたはディスプレイの物理的領域のようなユーザ定義可能な領域に限定されえる。
【００２９】
本発明の上述の実施形態は、例示および説明として提供されている。これらは本発明を説明された全く同じ形態に制限するよう意図はされていない。他のバリエーションおよび実施形態が上述の教示に照らして可能であり、よって本発明の範囲は詳細な説明によってではなく、むしろ添付の特許請求の範囲によって限定されるべきだと意図される。
【図面の簡単な説明】
【００３０】
【図１ａ】本発明のある実施形態による、例示的な中程度の明るさの画像およびその画像についてのヒストグラムの例を示す図である。
【図１ｂ】本発明のある実施形態による、例示的な暗い（低明度）画像およびその画像についてのヒストグラムの例を示す図である。
【図１ｃ】本発明のある実施形態による、３つの例示的な輝度範囲を示す図である。
【図２ａ】例示的画像を示す図である。
【図２ｂ】３つの例示的輝度範囲に基づいて生成された例示的画像についての輝度ヒストグラムを示す図である。
【図３】本発明のある実施形態による９つの基本ヒストグラムＨ1、…、Ｈ9のセットの例を示す。
【図４ａ】入力オリジナル画像および関連付けられるヒストグラムを示す図である。
【図４ｂ】本発明のある実施形態による、コントラスト向上された画像および関連付けられるヒストグラムを示す図である。
【図５】本発明のある実施形態による、３つの基本ヒストグラムＨ7，Ｈ8，Ｈ9に対応する３つの例示的レファレンス伝達曲線ＴＦ7（ｘ），ＴＦ8（ｘ），ＴＦ9（ｘ）を示す図である。
【図６】本発明のある実施形態による画像のコントラストを適応的に向上する方法を示すフロー図である。
【図１ａ】
2006140995.tif 000005
【図１ｂ】
2006140995.tif 000006
【図１ｃ】
2006140995.tif 000007
【図２ａ】
2006140995.tif 000008
【図２ｂ】
2006140995.tif 000009
【図３】
2006140995.tif 000010
【図４ａ】
2006140995.tif 000011
【図４ｂ】
2006140995.tif 000012
【図５】
2006140995.tif 000013
【図６】
2006140995.tif 000014
【外国語明細書】
1. TITLE OF THE INVENTION
ADAPTIVE CONTRAST ENHANCEMENT
2. DETAILED DESCRIPTION OF THE INVENTION
BACKGROUND OF THE INVENTION
[001]  The present invention relates generally to contrast enhancement and, more particularly, to a method for using primitive transfer curves to generate transfer curves for adaptive contrast enhancement.
[002]  Traditional contrast adjustment methods in displays and TVs do not take into account the input image content and result in unintended average brightness shifts as well as saturation or clipping.  For example, poor results are obtained when increasing the contrast on an image which already has good contrast, and poor contrast is obtained when the image has a large portion of very bright or very dark pixels.  Similarly, decreasing the contrast will typically "black out" images that already have poor contrast.
[003]  Therefore, improved contrast enhancement techniques are desired.
SUMMARY OF THE INVENTION
[004]  What is provided, therefore, is an adaptive contrast enhancement method that allows expansion of the number of available reference transfer curves without increasing the number of luminance ranges.  Given an input image, a luminance histogram is generated.  The luminance histogram is then expressed as a weighted sum of a set of predefined "primitive" histograms.  Each primitive histogram has an associated reference transfer curve.  A final transfer curve is produced as a corresponding weighted sum of the associated reference transfer curves.  The image luminance can then be adjusted according the to the final transfer curve, resulting in enhanced image contrast.
[005]  The present invention is illustrated by way of example, and not by way of limitation, in the figures of the accompanying drawings and in which like reference numerals refer to similar elements.
DETAILED DESCRIPTION OF THE INVENTION
[006]  Reference will now be made in detail to a particular embodiment of the invention, examples of which are illustrated in the accompanying drawings.  While the invention will be described in conjunction with the particular embodiments, it will be understood that it is not intended to limit the invention to the described embodiments.  To the contrary, it is intended to cover alternatives, modifications, and equivalents as may be included within the spirit and scope of the invention as defined by the appended claims.
[007]  When preparing an image for presentation, for example on a display such as a Liquid Crystal Display (LCD), an Organic Light Emitting Diode (OLED) screen, a Digital Light Processor (DLP), a Cathode Ray Tube (CRT), a plasma panel or other type of display, it is desirable to enhance the contrast of the image by adjusting pixel luminance levels.  A transfer curve can be used for describing a mapping between input luminance levels and output luminance levels.  Since different images have different luminance histograms, it is desirable to tailor the transfer curve to the particular image at hand in order to obtain optimal contrast enhancement.
[008]  One approach is to divide the luminance spectrum into a number of luminance ranges each associated with a reference transfer curve, sum the reference transfer curves proportional to the representation of their luminance ranges in the image, and use the sum as a transfer curve for processing the image luminance.  While this approach works well, improving contrast enhancement by expanding the number of available reference transfer curves requires an increase in the number of luminance ranges, thereby adding boundary cases and producing uneven contrast enhancement during fade-ins and fade-outs (e.g. in a video stream).  It is therefore desirable to expand the number of available reference transfer curves without increasing the number of predefined luminance ranges.
[009]   Accordingly, the present invention expands the number of available reference transfer curves without increasing the number of luminance ranges.  First, a luminance histogram is generated for the image at hand.  Then, the luminance histogram is expressed as a weighted sum of a set of predefined "primitive" histograms.  The number of primitive histograms is larger than the number of luminance ranges, but the number of primitive histograms needed to adequately approximate the luminance histogram is generally smaller than the total number of available primitive histograms.  Each primitive histogram has an associated reference transfer curve.  A final transfer curve is produced as a corresponding weighted sum of the associated reference transfer curves.  The image luminance can then be processed according to the final transfer curve, resulting in enhanced image contrast.
[0010]  Fig. 1a shows an example medium-bright image and a histogram for the image, and Fig.1b shows an example dark (low-brightness) image and a histogram for the image.  The horizontal axes of the histograms represent luminance values and the vertical axes represent the number of pixels having a given luminance value.  For example, for the dark scene in Fig.1b, the luminance histogram indicates that most of the pixels have low luminance, while for the medium bright scene in Fig. 1a the luminance histogram indicates a larger number of brighter pixels.
[0011]  The invention will now be described using an example of three luminance ranges dividing the image luminance spectrum.  It should be noted, however, that the following description is exemplary in nature and should therefore not be construed as limiting either the scope or intent of the invention.
[0012]  In the present description, three example luminance ranges are used: a low luminance range, a medium-luminance range and a high-luminance range.  Fig. 1c shows three example luminance ranges 11, 12 and 13, in accordance with an embodiment of the present invention.  The luminance ranges are user-definable and may be chosen to overlap in order to provide for smooth contrast enhancement.  By way of example, a low luminance range of 0% to 40%, a medium-luminance range of 30% to 70%, and a high-luminance range of 60% to 100% luminance have been found to work well.
[0013]  Once the luminance ranges are defined, generating a luminance histogram for the purposes of the present invention corresponds to counting the number of image pixels in each of the luminance ranges.  In the example case of three luminance ranges, such a histogram can be visualized as having three bars, each bar representing the proportion of image pixels in a particular luminance range.  Fig. 2a shows an example image, and Fig.2b shows a luminance histogram for the example image generated based on the three luminance ranges.  The generation of image luminance histograms is preferably done in hardware, although it should be appreciated that this can also be done partially or entirely in software or other computing layer.
[0014]  After generating a luminance histogram (hereinafter referred to as the source histogram) for an input image, the goal is to express the source histogram as a weighted sum of a set of predefined primitive histograms.  Fig. 3 shows an example set of nine primitive histograms H1, ... , H9, in accordance with an embodiment of the present invention.  H1 can be described as dark with the darkness monotonically falling, H2 as bright with the brightness monotonically rising, H3 as uniformly bright, H4 as dark without distinct bright details, H5 as bright without distinct dark details, H6 as distinct dark and bright regions, H7 as very dark, H8 as medium bright, and H9 as very bright.
[0015]  The source histogram can be expressed as a weighted sum of two or more primitive histograms (with positive weights).  The weighted sum may not match the source histogram exactly, but it will closely resemble the source histogram.  One greedy algorithm for generating such a weighted sum is to choose a first primitive histogram which, when appropriately weighted using a maximal positive weight, leaves the smallest difference with the source histogram.  The remaining difference (if any) between the source histogram and the first weighted primitive histogram is then similarly diminished by choosing a second primitive histogram which, when appropriately weighted using a maximal positive weight and added to the first weighted primitive histogram, leaves the smallest difference between the weighted sum and the source histogram.
[0016]  By way of example, assuming that H1 and H5 were chosen among all the primitive histograms to serve as the first and second primitive histograms in the above algorithm, their weighted sum can be written as w1・H1 + w2・H5, with w1 and w2 representing the appropriately chosen positive weights.  Optionally, the above algorithm can be continued to include additional primitive histograms for producing a weighted sum of three or more primitive histograms.  It is contemplated that a weighted sum of two or three primitive histograms will approximate source histograms closely enough to enable a highly enhanced image contrast.
[0017]  Another heuristic for generating a weighted sum of primitive histograms for the image first generates a preliminary histogram for the image using only two bins, with the first bin representing the lower half of the luminance spectrum and the second bin representing the higher half.  The preliminary histogram is then used to indicate whether the image has low-luminance (first bin contains significantly more pixels than second bin), medium-luminance (first and second bins contain about the same number of pixels) or high-luminance (second bin contains significantly more pixels than second bin).  The threshold can be defined explicitly.  For example, if the less represented bin contains 45% of the pixels, the image is declared to have medium-luminance, else the image is declared low-luminance or high-luminance.  For a low-luminance image, the high-luminance primitive histograms H2 and H9 are excluded from consideration for the weighted sum.  For a high-luminance image, the low-luminance histograms H1 and H7 are excluded.  For a medium-luminance image, the low-luminance and high-luminance primitive histograms H2, H9, H1 and H7 are excluded.  The source histogram is then expressed as a weighted sum of the non-excluded primitive histograms using the above greedy algorithm.
[0018]  The primitive histograms are preferably chosen and added by firmware for improved performance, although it should be appreciated that this can also be done fully or partially in software or other computing layer.
[0019]  Once an appropriate weighted sum of primitive histograms is obtained, a final transfer curve is generated.  Corresponding to the primitive histograms H1,..., H9 are user-defined reference transfer curves TF1(x), ... , TF9(x), wherein TFi(x) represents a reference transfer curve generated to be suitable for enhancing the contrast of an image whose histogram resembles the primitive histogram Hi.
[0020]  By way of example, Figs. 5(a), 5(b) and 5(c) illustrate three such example reference transfer curves TF7(x), TF8(x) and TF9(x), corresponding to the primitive histograms H7, H8 and H9, in accordance with an embodiment of the present invention.  Note that TF7(x) decreases the luminance in the dark regions of the image without substantially changing the luminance in the medium- and high-luminance regions; TF9(x) increases luminance in the bright regions of the image without substantially changing the luminance in the medium- and low luminance regions; and TF8(x) increases the luminance in the high-luminance regions and decreases the luminance in the low luminance regions without substantially changing the luminance in the medium luminance range of the image.
[0021]  The final transfer curve T(x) is produced as a weighted sum of the corresponding reference transfer curves: T(x) = w1・TF1(x) + w2・TF5(x).  The weights used to produce the final transfer curve correspond to the weights used for the primitive histograms.  The final transfer curve T(x) can then be used to adjust the pixel luminances of the image, thereby enhancing the contrast of the image.
[0022]  In general, the number of primitive histograms used in a weighted sum, and therefore the number of reference transfer curves used in a corresponding weighted sum, can be limited to two or three per weighted sum.  However, the above examples are for illustration purposes only. There can be any number of primitive histograms Hi and corresponding reference transfer curves Ti(x) to choose from, any number of primitive histograms can be chosen for inclusion in the weighted sum
2006140995.tif 000015
for approximating the source histogram, and any corresponding number of reference transfer curves can be chosen for inclusion in the weighted sum
2006140995.tif 000016
representing the final transfer curve T(x).
[0023]  Fig. 6 is a flowchart illustrating a method for adaptively enhancing the contrast of an image, in accordance with an embodiment of the present invention.  Given an input image, generate 101 a histogram and express 102 the histogram as a weighted sum of primitive histograms.  Then generate 103 a final transfer curve as a corresponding weighted sum of the reference transfer curves associated with the primitive histograms.  Once the final transfer curve is generated, the image luminance can be adjusted 104 accordingly.
[0024]  For smooth contrast enhancement in a sequence of images (such as in a video stream), the final transfer function can be generated based on the cumulative image content of the most recent frames.  One implementation of this technique comprises accumulating the histograms of the most recent set of frames and computing their average.  The resulting average histogram is then expressed as a weighted sum of primitive histograms, producing a final transfer function as described above.  When implementing such an averaging technique, a buffer of 5 to 15 frames has been found to work well.
[0025]  One advantage of the present invention is faster development of the reference transfer curves.  A given reference transfer curve corresponding to a given primitive histogram needs only be verified on images that have luminance histograms similar to the given primitive histogram.  In the above example set of nine primitive histograms, only nine corresponding transfer curves need to be designed and thusly verified.  This dramatically cuts development time, since the reference transfer curves do not need to be verified and optimized against many hours of material encompassing many different primitive histograms in order to discover side effects due to interdependence of reference transfer curves.
[0026]  Another advantage of the present invention is a reduced need for hardware resources.  Using the above example of only 3 luminance histogram ranges (or histogram "bins"), it is possible to achieve contrast enhancement performance comparable to or better than using 8 or 16 bins in a traditional contrast enhancement approach.
[0027]  Another advantage of the present invention is improved contrast dynamic range without sacrificing the luminance resolution of the image.  By way of example, an input original image and associated histogram are shown in Fig. 4a, and the enhanced output image and associated histogram are shown in Fig. 4b.  Note that in the luminance histogram of the enhanced image, the dark and bright pixels are spread out further (i.e. increased dynamic range), whereas the medium-luminance pixels are mostly unaffected.
[0028]  While the invention has been described in the context of displaying an image on a digital display device, it should be appreciated that the same techniques can be used in an environment where the adaptive contrast enhancement is limited to a region in the display.  By way of example, adaptive contrast enhancement for a movie may exclude the upper and lower black bands that run horizontally across the display or screen.  By way of another example, adaptive contrast enhancement may be restricted to a user-definable region of the display, such as a window or a physical region of the display.
[0029]  Foregoing described embodiments of the invention are provided as illustrations and descriptions.  They are not intended to limit the invention to precise form described.  Other variations and embodiments are possible in light of above teachings, and it is thus intended that the scope of invention not be limited by this Detailed Description, but rather by Claims following.
3. BRIEF DESCRIPTION OF THE DRAWINGS
Fig. 1a shows an example medium-bright image and a histogram for the image, in accordance with an embodiment of the present invention.
Fig. 1b shows an example dark (low-brightness) image and a histogram for the image, in accordance with an embodiment of the present invention.
Fig. 1c shows three example luminance ranges, in accordance with an embodiment of the present invention.
Fig. 2a shows an example image.
Fig. 2b shows a luminance histogram for the example image generated based on the three example luminance ranges.
Fig. 3 shows an example set of nine primitive histograms H1, ... , H9, in accordance with an embodiment of the present invention.
Fig. 4a shows an example input image and associated histogram.
Fig. 4b shows a contrast enhanced version of the image and associated histogram, in accordance with an embodiment of present invention.
Figs. 5 illustrates three example reference transfer curves TF7(x), TF8(x) and TF9(x) corresponding to the three primitive histograms H7, H8 and H9, in accordance with an embodiment of the present invention.
Fig. 6 is a flowchart illustrating a method for adaptively enhancing the contrast of an image, in accordance with an embodiment of the present invention.
1. A method for generating a transfer function, comprising:
approximating an image luminance histogram by a first weighted sum of a set of primitive histograms, each primitive histogram associated with a corresponding reference transfer function from a set of reference transfer functions; and
generating a final transfer function expressed as a second weighted sum of the set of reference functions;
wherein the reference functions in the second weighted sum are weighted according to the associated primitive histograms in the first weighted sum.
2. A method as recited in claim 1, further comprising:
generating the image luminance histogram based on an input image.
3. A method as recited in claim 1, wherein each reference transfer function of the set of reference transfer functions is chosen to optimally enhance the contrast of images that have luminance values distributed according to the primitive histogram associated with the reference transfer function.
4. A method as recited in claim 1, wherein a first reference transfer function of the set of reference transfer functions decreases luminance in dark image regions without substantially altering luminance in medium-luminance and high luminance image regions, the first reference transfer function associated with a primitive histogram that indicates predominantly bright images.
5. A method as recited in claim 1, wherein a first reference transfer function of the set of reference transfer functions increases luminance in bright image regions without substantially altering luminance in medium-luminance and low luminance image regions, the first reference transfer function associated with a primitive histogram that indicates predominantly dark images.
6. A method as recited in claim 1, wherein the first weighted sum comprises at most two primitive histograms with positive weights, and the second weighted sum comprises at most two reference transfer curves with positive weights.
7. A method as recited in claim 1, wherein the first weighted sum comprises at most three primitive histograms with positive weights, and the second weighted sum comprises at most three reference transfer curves with positive weights.
8. An apparatus for generating a transfer function, comprising:
a controller for:
(a)  approximating an image luminance histogram by a first weighted sum of a set of primitive histograms, each primitive histogram associated with a corresponding reference transfer function from a set of reference transfer functions; and
(b)  generating a final transfer function expressed as a second weighted sum of the set of reference transfer functions;
wherein the reference transfer functions in the second weighted sum are weighted according to the associated primitive histograms in the first weighted sum.
9. An apparatus as recited in claim 8, the controller further for:
generating the image luminance histogram based on an input image.
10. An apparatus as recited in claim 8, wherein each reference transfer function of the set of reference transfer functions is chosen to optimally enhance the contrast of images that have luminance values distributed according to the primitive histogram associated with the reference transfer function.
11. An apparatus as recited in claim 8, wherein a first reference transfer function of the set of reference transfer functions decreases luminance in dark image regions without substantially altering luminance in medium-luminance and high luminance image regions, the first reference transfer function associated with a primitive histogram that indicates predominantly bright images.
12. An apparatus as recited in claim 8, wherein a first reference transfer function of the set of reference transfer functions increases luminance in bright image regions without substantially altering luminance in medium-luminance and low luminance image regions, the first reference transfer function associated with a primitive histogram that indicates predominantly dark images.
13. An apparatus as recited in claim 8, wherein the first weighted sum comprises at most two primitive histograms with positive weights, and the second weighted sum comprises at most two reference transfer curves with positive weights.
14. An apparatus as recited in claim 8, wherein the first weighted sum comprises at most three primitive histograms with positive weights, and the second weighted sum comprises at most three reference transfer curves with positive weights.
1. ABSTRACT
Disclosed is a method for generating transfer curves for adaptive contrast enhancement.  Given an input image, a luminance histogram is generated based on a set of predefined input luminance ranges.  The luminance histogram is then expressed as a weighted sum of a set of predefined "primitive" histograms.  Each primitive histogram has an associated reference transfer curve.  A final transfer curve is produced as a corresponding weighted sum of the associated reference transfer curves.  The image luminance can then be adjusted according the to the final transfer curve, resulting in enhanced image contrast.  The disclosed method enables expansion of the number of available reference transfer curves without increasing the number of luminance ranges.
2. REPRESENTATIVE DRAWING
Fig. 6
2006140995.tif 000017
2006140995.tif 000018
2006140995.tif 000019
2006140995.tif 000020
2006140995.tif 000021
2006140995.tif 000022
2006140995.tif 000023
2006140995.tif 000024
2006140995.tif 000025
2006140995.tif 000026