(57)【特許請求の範囲】
【請求項１】
伝達関数を生成する方法であって、
基本ヒストグラム群の所定のセットからのヒストグラムの第１重み付け和によって画像輝度ヒストグラムを近似することであって、それぞれの所定の基本ヒストグラムは、レファレンス伝達関数のセットからの対応するレファレンス伝達関数と関連付けられる、近似すること、および
前記レファレンス関数の前記セットの第２重み付け和として表現された最終的な伝達関数を生成すること
を含み、
前記第２重み付け和における前記レファレンス関数は、前記第１重み付け和中の前記関連付けられる基本ヒストグラムに従って重み付けされる
方法。
【請求項２】
請求項１に記載の方法であって、
前記画像輝度ヒストグラムを入力画像に基づいて生成すること
をさらに含む方法。
【請求項３】
請求項１に記載の方法であって、前記レファレンス伝達関数のセットのそれぞれのレファレンス伝達関数は、前記レファレンス伝達関数に関連付けられる前記基本ヒストグラムに従って分散される輝度値を有する画像のコントラストを最適に向上するよう選ばれる方法。
【請求項４】
請求項１に記載の方法であって、前記レファレンス伝達関数のセットの第１レファレンス伝達関数は、中輝度および高輝度画像領域において輝度を実質的に変化させることなく、暗い画像領域で輝度を減少させ、前記第１レファレンス伝達関数は、主に明るい画像を示す基本ヒストグラムと関連付けられる方法。
【請求項５】
請求項１に記載の方法であって、前記レファレンス伝達関数のセットの第１レファレンス伝達関数は、中輝度および低輝度画像領域において輝度を実質的に変化させることなく、明るい画像領域で輝度を増加させ、前記第１レファレンス伝達関数は、主に暗い画像を示す基本ヒストグラムと関連付けられる方法。
【請求項６】
請求項１に記載の方法であって、前記第１重み付け和は、正の重みを持つ多くとも２つの基本ヒストグラムを含み、前記第２重み付け和は、正の重みを持つ多くとも２つのレファレンス伝達曲線を含む方法。
【請求項７】
請求項１に記載の方法であって、前記第１重み付け和は、正の重みを持つ多くとも３つの基本ヒストグラムを含み、前記第２重み付け和は、正の重みを持つ多くとも３つのレファレンス伝達曲線を含む方法。
【請求項８】
伝達関数を生成する装置であって、
（ａ）基本ヒストグラム群の所定のセットからのヒストグラムの第１重み付け和によって画像輝度ヒストグラムを近似することであって、それぞれの所定の基本ヒストグラムは、レファレンス伝達関数のセットからの対応するレファレンス伝達関数と関連付けられる、近似すること、および
（ｂ）前記レファレンス関数の前記セットの第２重み付け和として表現された最終的な伝達関数を生成すること
を行うコントローラを備え、
前記第２重み付け和における前記レファレンス関数は、前記第１重み付け和中の前記関連付けられる基本ヒストグラムに従って重み付けされる
装置。
【請求項９】
請求項８に記載の装置であって、前記コントローラは、
前記画像輝度ヒストグラムを入力画像に基づいて生成すること
をさらに行う装置。
【請求項１０】
請求項８に記載の装置であって、前記レファレンス伝達関数のセットのそれぞれのレファレンス伝達関数は、前記レファレンス伝達関数に関連付けられる前記基本ヒストグラムに従って分散される輝度値を有する画像のコントラストを最適に向上するよう選ばれる装置。
【請求項１１】
請求項８に記載の装置であって、前記レファレンス伝達関数のセットの第１レファレンス伝達関数は、中輝度および高輝度画像領域において輝度を実質的に変化させることなく、暗い画像領域で輝度を減少させ、前記第１レファレンス伝達関数は、主に明るい画像を示す基本ヒストグラムと関連付けられる装置。
【請求項１２】
請求項８に記載の装置であって、前記レファレンス伝達関数のセットの第１レファレンス伝達関数は、中輝度および低輝度画像領域において輝度を実質的に変化させることなく、明るい画像領域で輝度を増加させ、前記第１レファレンス伝達関数は、主に暗い画像を示す基本ヒストグラムと関連付けられる装置。
【請求項１３】
請求項８に記載の装置であって、前記第１重み付け和は、正の重みを持つ多くとも２つの基本ヒストグラムを含み、前記第２重み付け和は、正の重みを持つ多くとも２つのレファレンス伝達曲線を含む装置。
【請求項１４】
請求項８に記載の装置であって、前記第１重み付け和は、正の重みを持つ多くとも３つの基本ヒストグラムを含み、前記第２重み付け和は、正の重みを持つ多くとも３つのレファレンス伝達曲線を含む装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にコントラスト向上に関し、より具体的には、基本伝達曲線を用いて適応コントラスト向上のための伝達曲線を生成する方法に関する。
【背景技術】
【０００２】
ディスプレイおよびＴＶにおける従来のコントラスト調節方法は、入力画像のコンテンツを考慮に入れず、その結果、意図しない平均明度のシフトと共に、飽和またはクリッピングをきたしていた。例えば、既に良好なコントラストを有する画像に対してコントラストを増すとき、良くない結果が得られ、画像が非常に明るいか、または非常に暗いピクセルの大きな部分を有するとき、良くないコントラストが得られる。同様に、コントラストを減らすことは、典型的には既に良くないコントラストを有する画像を典型的には「黒つぶれさせて」しまう。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、改善されたコントラスト向上技術が望まれる。
【課題を解決するための手段】
【０００４】
したがって提供されるのは、輝度範囲群の個数を増すことなく、利用可能なレファレンス伝達曲線の個数を増やすことを可能にする適応コントラスト向上方法である。入力画像が与えられると、輝度ヒストグラムが生成される。それから輝度ヒストグラムが、所定の「基本」ヒストグラム群のセットの重み付けされた和として表現される。それぞれの基本ヒストグラムは、関連付けられるレファレンス伝達曲線を有する。最終的な伝達曲線は、関連付けられるレファレンス伝達曲線群の対応する重み付けされた和として作られる。それから画像輝度は、最終的な伝達曲線に従って調整されえ、向上された画像コントラストにつながる。
【０００５】
本発明は添付の図面の図において例示的に示され、限定的には示されておらず、ここで同様の参照番号は同様の要素を参照する。
【発明を実施するための最良の形態】
【０００６】
本発明の特定の実施形態が詳細に参照され、その例が添付の図面に示される。本発明は、特定の実施形態について記載されるが、本発明を記載された実施形態に限定するよう意図されないことが理解されよう。逆に、添付の特許請求の範囲によって規定されるように、本発明の精神および範囲内に含まれえるよう代替物、改変物、および等価物を含むよう意図される。
【０００７】
液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）スクリーン、ディジタルライトプロセッサ（ＤＬＰ）、陰極線管（ＣＲＴ）、プラズマパネルまたは他のディスプレイのようなディスプレイ上で例えば表示を行うために画像を用意するとき、ピクセル輝度レベルを調整することによって、その画像のコントラストを向上させることが望ましい。伝達曲線は、入力輝度レベルおよび出力輝度レベル間のマッピングを記述するのに用いられえる。異なる画像は異なる輝度ヒストグラムを有するので、手元にある特定の画像にこの伝達曲線を調節して最適なコントラスト向上を得ることが望まれる。
【０００８】
あるアプローチは、それぞれがレファレンス伝達曲線に関連付けられる多数の輝度範囲に輝度スペクトルを分割し、画像中のそれらの輝度範囲の表現に比例するレファレンス伝達曲線群の和をとり、画像輝度を処理するためにその和を伝達曲線として用いることである。このアプローチはうまく機能するが、利用可能なレファレンス伝達曲線の数を拡張することによってコントラスト向上を改良することは、輝度範囲群の個数の増加を必要とし、それによって境界の場合を増やし、フェードインおよびフェードアウト（例えばビデオストリームにおいて）のあいだに不均一なコントラスト向上を作ってしまう。したがって所定の輝度範囲群の個数を増すことなく、利用可能なレファレンス伝達曲線の個数を拡大することが望ましい。
【０００９】
したがって本発明は、輝度範囲群の個数を増すことなく、利用可能なレファレンス伝達曲線の個数を増やす。まず輝度ヒストグラムが手元にある画像について生成される。それから輝度ヒストグラムが、所定の「基本」ヒストグラム群のセットの重み付けされた和として表現される。基本ヒストグラム群の個数は、輝度範囲の個数より大きいが、適切に輝度ヒストグラムを近似するのに必要とされる基本ヒストグラムの個数は、利用可能な基本ヒストグラムの総数よりも一般に小さい。それぞれの基本ヒストグラムは、関連付けられるレファレンス伝達曲線を有する。最終的な伝達曲線は、関連付けられるレファレンス伝達曲線群の対応する重み付けされた和として作られる。それから画像輝度は、最終的な伝達曲線に従って処理され、向上された画像コントラストにつながる。
【００１０】
図１ａは、中程度の明るさの画像およびその画像についてのヒストグラムの例を示し、図１ｂは、暗い（低い明度）の画像およびその画像についてのヒストグラムの例を示す。ヒストグラムの水平軸は、輝度値を表現し、垂直軸は、与えられた輝度値を有するピクセルの個数を表現する。例えば、図１ｂにおける暗いシーンについて、輝度ヒストグラムは、ほとんどのピクセルが低い輝度を有することを示し、一方、図１ａにおける中程度の明るさのシーンについては、輝度ヒストグラムはより明るいピクセルの数がより多いことを示す。
【００１１】
本発明は、画像輝度スペクトルを分割する３つの輝度範囲群の例を用いて説明される。しかし以下の記載はもともと例示的であって、したがって本発明の範囲および意図のいずれをも限定するよう解釈されるべきではないことに注意されたい。
【００１２】
本説明において、３つの例示的輝度範囲群が用いられる。すなわち、低輝度範囲、中輝度範囲、および高輝度範囲である。図１ｃは、本発明のある実施形態による３つの例示的輝度範囲群１１、１２および１３を示す。輝度範囲群はユーザ定義可能であり、スムーズなコントラスト向上を提供するために重複するよう選択されえる。例として、０％から４０％の低輝度範囲、３０％から７０％の中輝度範囲、および６０％から１００％の高輝度範囲を持つ輝度がうまく働くことが判った。
【００１３】
いったん輝度範囲群が定義されると、本発明の目的のために輝度ヒストグラムを発生することは、それぞれの輝度範囲群中の画像ピクセルの個数を数えることに対応する。３つの輝度範囲の例の場合、そのようなヒストグラムは、３つのバーを有するように視覚化されえ、それぞれのバーは特定の輝度範囲における画像ピクセルの割合を表現する。図２ａは、例示的画像を示し、図２ｂは、３つの輝度範囲に基づいて生成された例示的画像についての輝度ヒストグラムを示す。画像輝度ヒストグラムの生成は、好ましくはハードウェアでなされるが、これは部分的に、または全体的にソフトウェアまたは他のコンピューティングレイヤで行われてもよいことが理解されよう。
【００１４】
入力画像についての輝度ヒストグラム（これからはソースヒストグラムと呼ばれる）を生成した後、ゴールは、ソースヒストグラムを、所定の基本ヒストグラム群のセットの重み付けされた和として表現することである。図３は、本発明のある実施形態による９つの基本ヒストグラムＨ1、…、Ｈ9のセットの例を示す。Ｈ1は単調に減少していく暗さを持つ暗い画像として記述されえ、Ｈ2は単調に増加していく明るさを持つ明るい画像として記述されえ、Ｈ3は均一に明るいとして記述されえ、Ｈ4ははっきりした明るい細部がない暗い画像として記述されえ、Ｈ5ははっきりした暗い細部がない明るい画像として記述されえ、Ｈ6ははっきりした明るい領域および暗い領域として記述されえ、Ｈ7は非常に暗いとして記述されえ、Ｈ8は中間の明るさとして記述されえ、Ｈ9は非常に明るいとして記述されえる。
【００１５】
ソースヒストグラムは、２つ以上の基本ヒストグラム群の重み付け（正の重み付けで）された和として表現されえる。この重み付けされた和は、ソースヒストグラムと正確には一致しないかもしれないが、ソースヒストグラムをかなりよく近似する。そのような重み付けされた和を生成するある貪欲なアルゴリズムは、最大の正の重み付けを用いて適切に重み付けされるときに、ソースヒストグラムとは最小の差しか残さない第１基本ヒストグラムを選択することである。ソースヒストグラムおよび第１の重み付けされた基本ヒストグラムの間の残りの差（もしあれば）は、最大の正の重み付けを用いて適切に重み付けされ、第１重み付けされた基本ヒストグラムに追加されるときに、重み付けされた和とソースヒストグラムとの間に最小の差しか残さない第２基本ヒストグラムを選択することによってそれから同様にして減らされる。
【００１６】
例として、上述のアルゴリズムにおける第１および第２基本ヒストグラムとして働くものとして、全ての基本ヒストグラムの中でＨ1およびＨ5が選択されたと仮定すると、それらの重み付けされた和は、ｗ1・Ｈ1＋ｗ2・Ｈ5として書くことができ、ここでｗ1およびｗ2は、適切に選ばれた正の重み付けを表現する。オプションとして、上述のアルゴリズムは、３つ以上の基本ヒストグラムの重み付けされた和を作るために、さらなる基本ヒストグラム群を含むように続けられてもよい。２つまたは３つの基本ヒストグラム群の重み付けされた和は、画像コントラストを高度に向上させることができるだけ充分にソースヒストグラムをよく近似すると考えられる。
【００１７】
画像のための基本ヒストグラムの重み付け和を生成する他の発見は、まず２つのビン（bins）だけを用いて画像のための基本ヒストグラムを生成することであり、第１ビンは輝度スペクトルの低い方の半分を表現し、第２ビンは輝度スペクトルの高い方の半分を表現する。それから基本ヒストグラムは、画像が低い輝度を有する（第１ビンが第２ビンよりもかなり多くのピクセルを含む）か、中間の輝度を有する（第１および第２ビンがほぼ同じ数のピクセルを含む）か、または高輝度を有する（第２ビンが第１ビンよりもかなり多くのピクセルを含む）かを示すために用いられる。このスレッショルドは、明示的に定義されえる。例えば、もしより少なく表現されたビンが４５％のピクセルを含むなら、その画像は中間輝度を有すると宣言され、そうでなければ、その画像は低輝度または高輝度だと宣言される。低輝度画像について、高輝度基本ヒストグラムＨ2およびＨ9は、重み付け和のための考慮からは除外される。高輝度画像について、低輝度基本ヒストグラムＨ1およびＨ7は除外される。中輝度画像について、低輝度および高輝度基本ヒストグラムＨ2、Ｈ9、Ｈ1およびＨ7は除外される。ソースヒストグラムは、それから上述の貪欲なアルゴリズムを用いて、除外されなかった基本ヒストグラム群の重み付けされた和として表現される。
【００１８】
基本ヒストグラム群は、改良されたパフォーマンスのためにファームウェアによって好ましくは選ばれ、追加されるが、これはソフトウェアまたは他のコンピューティングレイヤにおいて完全に、または部分的になされえることが理解されよう。
【００１９】
いったん基本ヒストグラム群の適切な重み付け和が得られると、最終的な伝達曲線が生成される。基本ヒストグラムＨ1，…，Ｈ9に対応するのは、ユーザ定義されたレファレンス伝達曲線ＴＦ1（ｘ），…，ＴＦ9（ｘ）であり、ここでＴＦi（ｘ）は、画像のコントラストを向上させるのに適切であるとして生成されたレファレンス伝達曲線を表し、そのヒストグラムは、基本ヒストグラムＨiに類似する。
【００２０】
例として、図５（ａ）、５（ｂ）および５（ｃ）は、本発明のある実施形態による基本ヒストグラムＨ7、Ｈ8およびＨ9に対応する３つのそのような例示的レファレンス伝達曲線ＴＦ7（ｘ）、ＴＦ8（ｘ）およびＴＦ9（ｘ）を示す。ＴＦ7（ｘ）は、中輝度および高輝度領域において輝度を実質的に変化させることなく、画像の暗い領域で輝度を減少させ、ＴＦ9（ｘ）は、中輝度および低輝度領域において輝度を実質的に変化させることなく、画像の明るい領域で輝度を増加させ、ＴＦ8（ｘ）は、画像の中輝度範囲における輝度を実質的に変化させることなく、高輝度領域における輝度を増加させ、低輝度領域における輝度を減少させることに注意されたい。
【００２１】
最終的な伝達曲線Ｔ（ｘ）は、対応するレファレンス伝達曲線の重み付けされた和として作られ、すなわち、Ｔ（ｘ）＝ｗ1・ＴＦ1（ｘ）＋ｗ2・ＴＦ5（ｘ）である。最終的な伝達曲線を作るのに用いられる重み群は、基本ヒストグラムのために用いられる重み群に対応する。最終的な伝達曲線Ｔ（ｘ）は、画像のピクセル輝度を調整するためにそれから用いられえ、それによって画像のコントラストを向上する。
【００２２】
一般に、重み付けされた和において用いられる基本ヒストグラムの個数、およびしたがって対応する重み付けされた和において用いられるレファレンス伝達曲線の個数は、重み付けされた和について２つまたは３つに制限されえる。しかし上述の例は説明目的のためだけである。基本ヒストグラムＨiおよび対応するレファレンス伝達曲線Ｔi（ｘ）の任意の個数の中から選ぶことができ、ソースヒストグラムを近似するために基本のヒストグラムの任意の個数のものが重み付けされた和
【数１】
0004616749.tif 000002
に含まれるように選ばれえ、レファレンス伝達曲線の任意の対応する個数が、最終的な伝達曲線Ｔ（ｘ）を表す重み付けされた和
【数２】
0004616749.tif 000003
に含まれるように選ばれえる。
【００２３】
図６は、本発明のある実施形態による画像のコントラストを適応的に向上する方法を示すフロー図である。入力画像が与えられると、ヒストグラムを発生し（１０１）、そのヒストグラムを基本ヒストグラム群の重み付けされた和として表現する（１０２）。それから、基本ヒストグラム群に関連付けられるレファレンス伝達曲線群の対応する重み付けされた和として最終的な伝達曲線を生成する（１０３）。いったん最終的な伝達曲線が生成されると、それに従って画像輝度が調整されえる（１０４）。
【００２４】
画像群のシーケンス中の（ビデオストリームの中のような）スムーズなコントラスト向上のために、最終的な伝達曲線は、最近のフレーム群の累積的画像コンテンツに基づいて生成されえる。この技術のある実現例は、最近のフレーム群のセットのヒストグラムを累積すること、およびそれらの平均を計算することを含む。結果として生じる平均ヒストグラムは、基本ヒストグラム群の重み付けされた和としてそれから表現され、上述のように最終的な伝達関数を作る。そのような平均化技術を実現するとき、５から１５フレームのバッファがうまく働くことが判った。
【００２５】
本発明のある利点は、レファレンス伝達曲線群のより速い開発である。与えられた基本ヒストグラムに対応する与えられたレファレンス伝達曲線は、与えられた基本ヒストグラムに似た輝度ヒストグラムを有する画像上で検証（verify）されるだけでよい。９つの基本ヒストグラムの上述の例のセットにおいて、９つの対応する伝達曲線だけが設計され、よって検証されればよい。これは劇的に開発時間を削減するが、それはレファレンス伝達曲線が、レファレンス伝達曲線の相互依存による副作用を発見するために多くの異なる基本ヒストグラムを含む材料の多数時間に対して、検証され、最適化される必要がないからである。
【００２６】
本発明の他の利点は、ハードウェアリソースのためのニーズが低減されたことである。たった３つの輝度ヒストグラム範囲（つまりヒストグラム「ビン（bins）」）を上述の例のように用いることによって、従来のコントラスト向上アプローチにおける８または１６ビンを用いることに匹敵するか、またはそれよりも良いコントラスト向上パフォーマンスを達成することが可能である。
【００２７】
本発明の他の利点は、画像の輝度解像度を犠牲にすることなく改良されたコントラストダイナミックレンジである。例として、入力オリジナル画像および関連付けられるヒストグラムが図４ａに示され、向上された出力画像および関連付けられるヒストグラムが図４ｂに示される。向上された画像の輝度ヒストグラムにおいて、暗いピクセルおよび明るいピクセルは、遠くへと分散され（すなわちダイナミックレンジが大きくされ）、一方、中間輝度ピクセルはほとんど影響を受けない。
【００２８】
本発明は、ディジタルディスプレイ装置上で画像を表示するコンテキストにおいて記載されてきたが、適応コントラスト向上がディスプレイの領域に限定される環境においても同じ技術が用いられえることが理解されよう。例として、動画のための適応コントラスト向上は、ディスプレイまたはスクリーンにわたって水平に走る上側および下側の黒い帯を除外しえる。他の例として、適応コントラスト向上は、ウィンドウまたはディスプレイの物理的領域のようなユーザ定義可能な領域に限定されえる。
【００２９】
本発明の上述の実施形態は、例示および説明として提供されている。これらは本発明を説明された全く同じ形態に制限するよう意図はされていない。他のバリエーションおよび実施形態が上述の教示に照らして可能であり、よって本発明の範囲は詳細な説明によってではなく、むしろ添付の特許請求の範囲によって限定されるべきだと意図される。
【図面の簡単な説明】
【００３０】
【図１ａ】本発明のある実施形態による、例示的な中程度の明るさの画像およびその画像についてのヒストグラムの例を示す図である。
【図１ｂ】本発明のある実施形態による、例示的な暗い（低明度）画像およびその画像についてのヒストグラムの例を示す図である。
【図１ｃ】本発明のある実施形態による、３つの例示的な輝度範囲を示す図である。
【図２ａ】例示的画像を示す図である。
【図２ｂ】３つの例示的輝度範囲に基づいて生成された例示的画像についての輝度ヒストグラムを示す図である。
【図３】本発明のある実施形態による９つの基本ヒストグラムＨ1、…、Ｈ9のセットの例を示す。
【図４ａ】入力オリジナル画像および関連付けられるヒストグラムを示す図である。
【図４ｂ】本発明のある実施形態による、コントラスト向上された画像および関連付けられるヒストグラムを示す図である。
【図５】本発明のある実施形態による、３つの基本ヒストグラムＨ7，Ｈ8，Ｈ9に対応する３つの例示的レファレンス伝達曲線ＴＦ7（ｘ），ＴＦ8（ｘ），ＴＦ9（ｘ）を示す図である。
【図６】本発明のある実施形態による画像のコントラストを適応的に向上する方法を示すフロー図である。
【図１ａ】
0004616749.tif 000004
【図１ｂ】
0004616749.tif 000005
【図１ｃ】
0004616749.tif 000006
【図２ａ】
0004616749.tif 000007
【図２ｂ】
0004616749.tif 000008
【図３】
0004616749.tif 000009
【図４ａ】
0004616749.tif 000010
【図４ｂ】
0004616749.tif 000011
【図５】
0004616749.tif 000012
【図６】
0004616749.tif 000013