(57)【要約】【課題】見た目に不自然な補正結果を生じさせることなく、画像全体に対してコントラスト強調処理を行うことが可能な画像処理装置を提供する。【解決手段】画像データから、画像データの輝度値のヒストグラムを検出するヒストグラム検出回路３０１と、画像データの輝度値に対して下限値と上限値とを設定し、下限値から上限値までの等化範囲内において、検出したヒストグラムに基づいた等化処理により、画像データの階調の再配分を行うヒストグラム等化回路３０２と、階調の再配分が行われた画像データを構成する画素の輝度値の輝度レベルを補正する補正ゲインを、等化範囲内において、上下限値に近づくにつれて減衰するように変化させて、上下限値で規定される所定値に収束させることによって、各画素の輝度値の輝度レベルを補正する輝度レベル補正回路３０５とを備える。【選択図】  図６
2011077797.tif 000002
【特許請求の範囲】
【請求項１】
画像データから、該画像データの輝度値のヒストグラムを検出するヒストグラム検出部と、
上記画像データの輝度値に対して下限値と上限値とを設定し、該下限値から該上限値までの等化範囲内において、上記ヒストグラム検出部により検出したヒストグラムに基づいた等化処理により、上記画像データの階調の再配分を行うヒストグラム等化部と、
上記ヒストグラム等化部により階調の再配分が行われた画像データを構成する画素の輝度値の輝度レベルを補正する補正ゲインを、上記等化範囲内において、上記下限値及び上記上限値に近づくにつれて減衰するように変化させて、該上限値及び該下限値で規定される所定値に収束させることによって、各画素の輝度値の輝度レベルを補正する輝度レベル補正部とを備える画像処理装置。
【請求項２】
上記等化範囲内において、上記下限値以上で第１の閾値以下の低輝度領域と、該第１の閾値よりも高い第２の閾値以上で上記上限値以下の高輝度領域とを設定し、上記ヒストグラム等化部により階調の再配分が行われた画像データの総画素数に対して、上記低輝度領域及び上記高輝度領域に該当する画素数の割合をそれぞれ算出し、算出した割合の大きさに応じて、上記等化処理された画素の輝度値を、階調の再配分を行う前の画像データの値に近づくように抑制して出力する等化抑制部を更に備え、
上記輝度レベル補正部は、上記等化抑制部から出力された画像データを構成する画素の輝度値の輝度レベルを補正する請求項１記載の画像処理装置。
【請求項３】
上記等化抑制部は、上記低輝度領域及び上記高輝度領域に該当する画素数の割合の大きさに応じて階調の再配分を行う前の画像データの値に近づくように、各補正方向毎に個別に設定した抑制ゲインを、上記等化処理前後の輝度レベルの差分値にそれぞれ乗算して出力する請求項２記載の画像処理装置。
【請求項４】
被写体を撮像して画像データを生成する撮像部と、
上記撮像部から生成された画像データから、該画像データの輝度値のヒストグラムを検出するヒストグラム検出部と、
上記画像データの輝度値に対して下限値と上限値とを設定し、該下限値から該上限値までの等化範囲内において、上記ヒストグラム検出部により検出したヒストグラムに基づいた等化処理により、上記画像データの階調の再配分を行うヒストグラム等化部と、
上記ヒストグラム等化部により階調の再配分が行われた画像データを構成する画素の輝度値の輝度レベルを補正する補正ゲインを、上記等化範囲内において、上記下限値及び上記上限値に近づくにつれて減衰するように変化させて、該上限値及び該下限値で規定される所定値に収束させることによって、各画素の輝度値の輝度レベルを補正する輝度レベル補正部とを備える撮像装置。
【請求項５】
画像データから、該画像データの輝度値のヒストグラムを検出するヒストグラム検出工程と、
上記画像データの輝度値に対して下限値と上限値とを設定し、該下限値から該上限値までの等化範囲内において、上記ヒストグラム検出工程により検出したヒストグラムに基づいた等化処理により、上記画像データの階調の再配分を行うヒストグラム等化工程と、
上記ヒストグラム等化工程により階調の再配分が行われた画像データを構成する画素の輝度値の輝度レベルを補正する補正ゲインを、上記等化範囲内において、上記下限値及び上記上限値に近づくにつれて減衰するように変化させて、該上限値及び該下限値で規定される所定値に収束させることによって、各画素の輝度値の輝度レベルを補正する輝度レベル補正工程とを有する画像処理方法。
【請求項６】
画像データから、該画像データの輝度値のヒストグラムを検出するヒストグラム検出工程と、
上記画像データの輝度値に対して下限値と上限値とを設定し、該下限値から該上限値までの等化範囲内において、上記ヒストグラム検出工程により検出したヒストグラムに基づいた等化処理により、上記画像データの階調の再配分を行うヒストグラム等化工程と、
上記ヒストグラム等化工程により階調の再配分が行われた画像データを構成する画素の輝度値の輝度レベルを補正する補正ゲインを、上記等化範囲内において、上記下限値及び上記上限値に近づくにつれて減衰するように変化させて、該上限値及び該下限値で規定される所定値に収束させることによって、各画素の輝度値の輝度レベルを補正する輝度レベル補正工程とを有する画像処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを構成する画素の輝度値に対して等化処理を施すことによって階調補正を行う画像処理装置、撮像装置、画像処理方法、及び、プログラムに関するものである。
【背景技術】
【０００２】
画像のコントラストを補正するために、対象画像のヒストグラムに基づき階調再配分を行うヒストグラム等化法がある。
【０００３】
このヒストグラム等化法では、低輝度値の画素が多数を占める画像に対して補正処理を行う場合に、低輝度値の画素の輝度値に対する輝度レベルのゲインアップを抑制できないため、ノイズが強調されたり、映像信号のとり得る最小値である黒色の輝度値が変動したりするなど、見た目に不自然な補正結果を生じる場合がある。
【０００４】
このような問題に対して、特許文献１には、補正適用レベルを制限することによって、低輝度値の画素に対して補正を行わないという画像処理の発明が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２８９４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された発明では、補正適用レベルの境界の前後で、補正されるものと補正されないものとの間に不連続性が生じる、すなわち、輝度値の段差が生じる場合がある。また、補正適用レベルを制限することは、割り当て可能な階調の幅を制限することであり、本来の目的であるコントラスト強調効果を得にくい状態となる。このため、通常よりも強く補正をかけることが望ましいが、それは局所的に過補正を生じる可能性がある。
【０００７】
本発明は、この実情に鑑みて提案されたもので、見た目に不自然な補正結果を生じさせることなく、画像全体に対してコントラスト強調処理を行うことが可能な画像処理装置を提供することを目的とする。
【０００８】
また、本発明は、見た目に不自然な補正結果を生じさせることなく、画像全体に対してコントラスト強調処理を行うことが可能な撮像装置、画像処理方法、及び、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するため、本発明にかかる画像処理装置は、画像データから、画像データの輝度値のヒストグラムを検出するヒストグラム検出部と、画像データの輝度値に対して下限値と上限値とを設定し、下限値から上限値までの等化範囲内において、ヒストグラム検出部により検出したヒストグラムに基づいた等化処理により、画像データの階調の再配分を行うヒストグラム等化部と、ヒストグラム等化部により階調の再配分が行われた画像データを構成する画素の輝度値の輝度レベルを補正する補正ゲインを、等化範囲内において、下限値及び上限値に近づくにつれて減衰するように変化させて、上限値及び下限値で規定される所定値に収束させることによって、各画素の輝度値の輝度レベルを補正する輝度レベル補正部とを備える。
【００１０】
また、本発明に係る撮像装置は、被写体を撮像して画像データを生成する撮像部と、撮像部から生成された画像データから、画像データの輝度値のヒストグラムを検出するヒストグラム検出部と、画像データの輝度値に対して下限値と上限値とを設定し、下限値から上限値までの等化範囲内において、ヒストグラム検出部により検出したヒストグラムに基づいた等化処理により、画像データの階調の再配分を行うヒストグラム等化部と、ヒストグラム等化部により階調の再配分が行われた画像データを構成する画素の輝度値の輝度レベルを補正する補正ゲインを、等化範囲内において、下限値及び上限値に近づくにつれて減衰するように変化させて、上限値及び下限値で規定される所定値に収束させることによって、各画素の輝度値の輝度レベルを補正する輝度レベル補正部とを備える。
【００１１】
また、本発明に係る画像処理方法は、画像データから、画像データの輝度値のヒストグラムを検出するヒストグラム検出工程と、画像データの輝度値に対して下限値と上限値とを設定し、下限値から上限値までの等化範囲内において、ヒストグラム検出工程により検出したヒストグラムに基づいた等化処理により、画像データの階調の再配分を行うヒストグラム等化工程と、ヒストグラム等化工程により階調の再配分が行われた画像データを構成する画素の輝度値の輝度レベルを補正する補正ゲインを、等化範囲内において、下限値及び上限値に近づくにつれて減衰するように変化させて、上限値及び下限値で規定される所定値に収束させることによって、各画素の輝度値の輝度レベルを補正する輝度レベル補正工程とを有する。
【００１２】
また、本発明に係るプログラムは、画像データから、画像データの輝度値のヒストグラムを検出するヒストグラム検出工程と、画像データの輝度値に対して下限値と上限値とを設定し、下限値から上限値までの等化範囲内において、ヒストグラム検出工程により検出したヒストグラムに基づいた等化処理により、画像データの階調の再配分を行うヒストグラム等化工程と、ヒストグラム等化工程により階調の再配分が行われた画像データを構成する画素の輝度値の輝度レベルを補正する補正ゲインを、等化範囲内において、下限値及び上限値に近づくにつれて減衰するように変化させて、上限値及び下限値で規定される所定値に収束させることによって、各画素の輝度値の輝度レベルを補正する輝度レベル補正工程とを有する画像処理をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１３】
本発明は、階調の再配分が行われた画像データを構成する画素の輝度値の輝度レベルを補正する補正ゲインを、等化範囲内において、下限値及び上限値に近づくにつれて減衰するように変化させて、上限値及び下限値で規定される所定値に収束させる。このようにして、本発明は、各画素の輝度値の輝度レベルを補正することで、階調補正処理を適用する適用範囲の境界付近での不連続性を抑制する。したがって、本発明は、階調補正処理を適用する適用範囲の境界付近での不連続性を抑制して、見た目に不自然な補正結果を生じさせることなくコントラスト強調処理を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明が適用された撮像装置の構成を示す図である。
【図２】ゲイン調整部に組み込まれた階調補正部の構成を示す図である。
【図３】等化処理部による等化処理の具体的な動作について説明するためのフローチャートである。
【図４】レベルディペンドゲインの特性について説明するための図である。
【図５】抑制ゲインを用いた補正処理による入出力特性の変化について説明する為の図である。
【図６】本実施形態に係る等化処理部の機能を実現するハードウェア構成について説明するための図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
【００１６】
本発明が適用された画像処理装置は、画像データを構成する画素の輝度値に対して等化処理を施すことによって階調補正を行う装置である。このような画像処理装置は、例えば図１に示すような撮像装置１００に組み込まれて使用される。なお、説明を以下の順序で行う。
１．全体構成
２．階調補正処理
＜１．全体構成＞
撮像装置１００は、本発明に係る撮像装置に対応する装置であって、撮像部１０１と、画像処理系として、撮像系補正部１０２と、ゲイン調整部１０３と、ニー補正部１０４と、ガンマ補正部１０５と、出力信号生成部１０６とを備える。なお、図１中に示す「Ｒ」、「Ｇ」、「Ｂ」は、それぞれ赤色信号、緑色信号、青色信号を示し、図中の各処理部は、ＲＧＢ色空間で定義される色信号に対して、下記の入出力処理を並列して行うものとする。
【００１７】
撮像部１０１は、被写体を撮像して画像データを生成する。すなわち、撮像部１０１は、被写体からの光を受光素子で受光して光電変換を行い、光電変換した電気信号に対してアナログデジタル変換処理を施して量子化された画像データを生成する。そして、撮像部１０１は、生成した画像データを撮像系補正部１０２に供給する。
【００１８】
撮像系補正部１０２は、撮像部１０１から供給された画像データに対して、画素欠陥補正等の撮像系補正処理を施して、当該補正処理を施した画像データをゲイン調整部１０３に供給する。
【００１９】
ゲイン調整部１０３は、撮像系補正部１０２から供給された画像データに対して、所定のゲイン調整処理を施して、当該調整処理を施した画像データをニー補正部１０４に供給する。
【００２０】
ニー補正部１０４は、ゲイン調整部１０３から供給された画像データに対して、輝度値を信号規格に納めるためにニー補正処理を施して、ニー補正処理を施した画像データをガンマ補正部１０５に供給する。
【００２１】
ガンマ補正部１０５は、ニー補正部１０４から供給された画像データに対して、出力先の表示装置のガンマ特性に対応させるためにガンマ補正処理を施して、ガンマ補正処理を施した画像データを記憶媒体や表示装置に出力する。
【００２２】
以上のような構成からなる撮像装置１００において、以下では、画像データを構成する画素の輝度値に対して等化処理を施すことによって画像全体の階調補正を行う階調補正処理系に注目して具体的に説明する。ここで、当該階調補正処理系は、例えば、ゲイン調整部１０３に組み込まれる。なお、当該階調補正処理系は、ニー補正処理やガンマ補正処理など、画像データに対して非線形処理を施す処理系の前段であれば、上述したようにゲイン調整部１０３に拘わらず、他の処理部に組み込むようにしてもよい。
【００２３】
＜２．階調補正処理＞
図２は、ゲイン調整部１０３に組み込まれた階調補正部２００の構成を示す図である。階調補正部２００は、図２に示すように、輝度変換部２０１と、ローパスフィルタ２０２と、等化処理部２０３と、除算部２０４と、乗算部２０５とを備える。
【００２４】
輝度変換部２０１は、ＲＧＢ空間の３チャンネルの色信号からなる画像データから、当該画像データを構成する各画素の輝度値を算出する。そして、輝度変換部２０１は、算出した各画素の輝度値をローパスフィルタ２０２に供給する。
【００２５】
ローパスフィルタ２０２は、輝度変換部２０１から供給された各画素の輝度値に対して低域透過処理を施して、画像全体の大局的な輝度値の変化を示す画像データを求める。そして、ローパスフィルタ２０２は、低域透過処理を施した画像データを、等化処理部２０３と除算部２０４にそれぞれ供給する。
【００２６】
等化処理部２０３は、具体的には後述するような等化処理を施して、処理結果を除算部２０４に供給する。
【００２７】
除算部２０４は、等化処理部２０３による等化処理された画像データを、ローパスフィルタ２０２から供給された画像データで除して、当該除算結果から得られる補正ゲインを乗算部２０５に供給する。
【００２８】
乗算部２０５は、輝度変換部２０１に入力されるＲＧＢ空間の３チャンネルの色信号からなる画像データが供給され、各色信号に除算部２０４から供給される補正ゲインを乗じて出力する。
【００２９】
このようにして、階調補正部２００は、等化処理部２０３の入力と出力との比を補正ゲインとして，ＲＧＢ空間の画像データの各色信号に対してゲイン調整したものを、階調補正結果として出力する。
【００３０】
次に、等化処理部２０３による等化処理の具体的な動作について、図３に示すフローチャートに従って説明する。
【００３１】
ステップＳ１において、等化処理部２０３は、ローパスフィルタ２０２から供給された画像データから、当該画像データの輝度値のヒストグラムを検出する。具体的に等化処理部２０３は、輝度値の変化に伴ってヒストグラムを累積した累積密度関数ＣＤＦを算出して、その後ステップＳ３に進む。
【００３２】
ここで、等化処理部２０３は、算出した累積密度関数ＣＤＦを用いてステップＳ３の処理を行ってもよいが、例えば、ＩＩＲ型のローパスフィルタ処理など、現在の検出値に過去の検出値を重み付けする処理を累積密度関数ＣＤＦに対して施すことが望ましい。このようにして、等化処理部２０３は、等化処理部２０３は、特に、ヒストグラムが急激に変化しようとする、又は、微小時間だけ変化するような場合に、その変化を、階調補正後の画像に直接反映させることを防止して、自然な動画像を生成することができる。なお、等化処理部２０３は、検出したヒストグラムに対してＩＩＲ型のローパスフィルタ処理を行ってから、累積密度関数ＣＤＦを算出するようにしてもよい。
【００３３】
ステップＳ２において、等化処理部２０３は、処理対象画素の輝度値が、適用レベル範囲に含まれているか否かを判定し、適用レベル範囲内のときステップＳ３、Ｓ８に進み、適用レベル範囲外のときステップＳ１１に進む。この適用レベル範囲は、本発明の等化範囲に対応し、その下限値及び上限値はそれぞれ、画像データが取りうる最小値である黒レベル、及び、最大値とする。
【００３４】
ステップＳ３において、等化処理部２０３は、ステップＳ１の処理で得られたヒストグラムを用いて、処理対象画素の画素値に対して下記の式１に示すレベル変換を行い、その後ステップＳ４に進む。
【００３５】
【数１】
2011077797.tif 000003
【００３６】
ここで、式１において、ＣＤＦ（ｄ）は、輝度レベルｄにおける累積密度関数ＣＤＦを表す。
【００３７】
ステップＳ４において、等化処理部２０３は、ステップＳ３により等化処理された処理対象画素の輝度値を示す等化後レベルから、等化処理前の輝度値を示す元レベルを減算することによって、差分輝度レベルを算出する。そして、等化処理部２０３は、差分輝度レベルの極性が正のときステップＳ７ａに進み、この正極が負のときステップＳ７ｂに進む。
【００３８】
ステップＳ５において、等化処理部２０３は、等化処理部２０３は、上述した適用レベル範囲において低輝度領域と高輝度領域とをそれぞれ設定し、現在処理対象の画像データから、低輝度領域及び高輝度領域に該当する画素数Ｌ、Ｈをカウントして、ステップＳ６の処理に進む。ここで、低輝度領域とは、適用レベル範囲の下限値以上で第１の閾値以下の低輝度領域であり、高輝度領域とは、第１の閾値よりも高い第２の閾値以上で、適用レベル範囲の上限値以下の高輝度領域である。
【００３９】
等化処理部２０３は、低輝度領域に該当する画素数Ｌと高輝度領域に該当する画素数Ｈとを直接用いて、ステップＳ６の処理を行う。特に、等化処理部２０３は、低輝度領域に該当する画素数Ｌと高輝度領域に該当する画素数Ｈに対して、例えば、ＩＩＲ型のローパスフィルタ処理などの現在の検出値に過去の検出値を重み付けする処理を、画素数Ｌ、Ｈに対して行うことが望ましい。この処理により、等化処理部２０３は、画素数Ｌ、Ｈが急激に変化しようとする、又は、微小時間だけ変化するような場合に，その変化を、階調補正後の画像に直接反映させることを防止して、自然な動画像を生成することができる。
【００４０】
ステップＳ６において、等化処理部２０３は、画像データの総画素数に対する画素数Ｌ、Ｈのそれぞれ割合の大きさを算出する。そして、等化処理部２０３は、この割合に応じて、等化処理された画素の輝度値を、階調の再配分を行う前の画像データの値に近づくように抑制する抑制ゲインを算出する。
【００４１】
具体的に、等化処理部２０３は、等化処理により正方向へ補正される画素、すなわち、等化後レベルが元レベルより大きい画素の輝度値に対して、階調の再配分を行う前の画像データの値に近づくように抑制する正方向抑制ゲインを下記の式２に従って算出してステップＳ７ａに進む。
【００４２】
【数２】
2011077797.tif 000004
【００４３】
式２中において、ＭＩＸ（ａ，ｂ）はａとｂとを配合した値を出力する関数を表す。ここで配合比率は任意とするが、例えば、簡易的に１：１、すなわちａとｂとの平均を用いる。
【００４４】
また、等化処理部２０３は、等化処理により負方向へ補正される画素、すなわち、等化後レベルが元レベルよりも小さい画素の輝度値に対して、階調の再配分を行う前の画像データの値に近づくように抑制する負方向抑制ゲインを下記の式３に従って算出してステップＳ７ｂに進む。
【００４５】
【数３】
2011077797.tif 000005
【００４６】
式３中において、式２と同様に、ＭＩＸ（ａ，ｂ）はａとｂとを配合した値を出力する関数を表す。ここで配合比率は任意とするが、例えば簡易的に１：１、すなわちａとｂとの平均を用いる。
【００４７】
ステップＳ７ａにおいて、等化処理部２０３は、処理対象画素に対する負方向への過補正を抑制するべく、ステップＳ４で算出した差分輝度レベルに、ステップＳ６で算出した負方向抑制ゲインを乗じて、ステップＳ９ａに進む。
【００４８】
ステップＳ７ｂにおいて、等化処理部２０３は、処理対象画素に対する正方向への過補正を抑制するべく、ステップＳ４で算出した差分輝度レベルに、ステップＳ６で算出した正方向抑制ゲインを乗じて、ステップＳ９ｂに進む。
【００４９】
ステップＳ８において、等化処理部２０３は、図４に示すように、適用範囲内において、上下限値に近づくにつれて減衰するように変化させて、上下限値それぞれで規定される所定値に収束させるレベルディペンドゲインを生成する。その後、等化処理部２０３は、ステップＳ９ａ、Ｓ９ｂに進む。
【００５０】
ここで、レベルディペンドゲインは、適用レベルの下限値を始点として、輝度レベルの増加に伴って一定の傾きで立ち上がり、適用レベルの上限値を終点として、一定の傾きで立ち下がる特性を有する。また、レベルディペンドゲインは、ゲイン処理の結果が１．０を超える場合は１．０でクリップさせるため，中間層では１．０で一定となる。また、レベルディペンドゲインは、立ち上がり前、及び、立ち上がり後に収束するクリップレベルをそれぞれ設定し、例えば，上限値側では減衰しないように設定してもよい。
【００５１】
ステップＳ９ａにおいて、等化処理部２０３は、ステップＳ７ａにより算出された差分輝度レベルに、ステップＳ８で生成したレベルディペンドゲインを乗じて、ステップＳ１０に進む。
【００５２】
ステップＳ９ｂにおいて、等化処理部２０３は、ステップＳ７ｂにより算出された差分輝度レベルに、ステップＳ８で生成したレベルディペンドゲインを乗じて、ステップＳ１０に進む。
【００５３】
ステップＳ１０において、等化処理部２０３は、ステップＳ９ａ、Ｓ９ｂにより演算処理が施された差分輝度レベルに、等化処理前の輝度値を示す元レベルを加えて出力する。
【００５４】
ステップＳ１１において、等化処理部２０３は、等化処理を行わずに、処理対象画素の輝度値を示す元レベルをそのまま処理対象画素の輝度値として出力する。このように、処理対象画素の輝度値が適用範囲外の場合、ヒストグラム等化回路３０２は、等化処理を行わずに元レベルの入力輝度値をそのまま出力して適用レベルを制限することにより、ノイズや黒レベル以下の信号に対する補正を回避することができる。
【００５５】
以上のように、階調補正部２００では、ヒストグラム等化回路３０２により、階調の再配分が行われた画像データに対してレベルディペンドゲインを用いて輝度レベルを補正して、適用範囲の境界付近での不連続性を抑制する。このようにして、階調補正部２００では、階調補正処理を適用する適用範囲の境界付近での不連続性を抑制して、見た目に不自然な補正結果を生じさせることなくコントラスト強調処理を行うことができる。
【００５６】
また、図５に示すような輝度レベルの入出力特性を参照して、抑制ゲインを用いた補正処理による入出力特性の変化について説明する。図５中において、ラインＬ１は元レベルに対応する写像、すなわち、入力レベルと出力レベルとの比が１：１の写像であり、ラインＬ２はステップＳ３で得られる等化後レベルであり、Ｌ３はステップＳ７ａ、Ｓ７ｂによる抑制ゲイン処理が施され、元レベルが加算された輝度レベルである。図５に示すように、等化処理部２０３は、等化処理された画素の輝度値に対して上述した抑制ゲイン処理を施すことで、過度の等化処理を抑制することができる。特に、等化処理部２０３は、正方向及び負方向に補正される画素の輝度値に対して、それぞれ独立して抑制ゲイン処理を施すことで、片方向の過補正を抑制しながらコントラスト強調などの補正強度を強めることができる。
【００５７】
ここで、単に不自然な補正結果を生じさせないという観点では、本実施形態に係るコントラスト補正処理の代わりに、スプライン曲線などを用いて等化結果を補正することも可能であるが、演算処理量の増加を抑える点も考慮すると、本実施形態の処理が好ましい。
【００５８】
特に、撮像装置などでは演算処理量をできるだけ抑制してリアルタイムでヒストグラム等化処理を行うことが要求され、本実施形態に係る等化処理部２０３では、図６に示すようなハードウェア構成とすることで、このような要求を満たすことが可能である。
【００５９】
図６は、ハードウェアによって等化処理部２０３を実現した具体的な構成を示す図である。
【００６０】
等化処理部２０３は、図６に示すように、ヒストグラム検出回路３０１と、ヒストグラム等化回路３０２と、高低カウンタ回路３０３と、抑制ゲイン処理回路３０４と、輝度レベル補正回路３０５とを備える。また、等化処理部２０３は、加算器ａｃｃと、減算器ｓｕｂと、２つの乗算器ｍｕｌｔ１、ｍｕｌｔ２と、２つのセレクタｓｅｃ１、ｓｅｃ２とを備える。
【００６１】
ヒストグラム検出回路３０１は、ローパスフィルタ２０２から供給された画像データから、当該画像データの輝度値のヒストグラムを検出する。具体的にヒストグラム検出回路３０１は、輝度値の変化に伴ってヒストグラムを累積した累積密度関数ＣＤＦを算出して、算出した累積密度関数ＣＤＦをヒストグラム等化回路３０２に供給する。
【００６２】
ここで、ヒストグラム検出回路３０１には、算出した累積密度関数ＣＤＦに対して、ＩＩＲ型のローパスフィルタ処理を施してヒストグラム等化回路３０２に出力するローパスフィルタ３０２ａが設けられている。このようにして、ヒストグラム検出回路３０１は、ローパスフィルタ３０２ａにより、現在の累積密度関数ＣＤＦに対して過去の検出値を重み付けする。このため、ヒストグラム検出回路３０１は、特に、ヒストグラムが急激に変化しようとする、又は、微小時間だけ変化するような場合に、その変化を、階調補正後の画像に直接反映させることを防止して、自然な動画像を生成することができる。なお、ヒストグラム検出回路３０１は、検出したヒストグラムに対してＩＩＲ型のローパスフィルタ処理を行ってから、累積密度関数ＣＤＦを算出するようにしてもよい。
【００６３】
ヒストグラム等化回路３０２は、ローパスフィルタ２０２から供給された画像データを構成する各画素に対して、次のような輝度レベルを変換する等化処理を行い、等化処理後の処理対象画素の輝度値を減算器ｓｕｂへ出力する。
【００６４】
まず、ヒストグラム等化回路３０２は、処理対象画素の輝度値が適用レベル範囲に含まれていることを判定する。
【００６５】
処理対象画素の輝度値が適用範囲外の場合、ヒストグラム等化回路３０２は、等化処理を行わずに元レベルのまま出力するため、適用範囲外を示す制御信号を後述するセレクタｓｅｃ２へ出力する。このようにして、ヒストグラム等化回路３０２は、適用レベルを制限することにより、ノイズや黒レベル以下の信号に対する補正を回避することができる。
【００６６】
処理対象画素の輝度値が適用範囲内の場合、ヒストグラム等化回路３０２は、ヒストグラム検出回路３０１により検出したヒストグラムを用いて、処理対象画素の輝度値に対して、上記の式１に示すレベル変換を行う。
【００６７】
高低カウンタ回路３０３は、上述した適用レベル範囲において低輝度領域と高輝度領域とをそれぞれ設定し、現在処理対象の画像データから、低輝度領域及び高輝度領域に該当する画素数Ｌ、Ｈをカウントする。
【００６８】
高低カウンタ回路３０３には、画素数Ｌ、Ｈに対してＩＩＲ型の低域透過フィルタ処理を行ってから抑制ゲイン処理回路３０４に出力するローパスフィルタ３０３ａが設けられている。このようにして、高低カウンタ回路３０３は、ローパスフィルタ３０３ａにより、画素数Ｌ、Ｈに対して過去の検出値を重み付けする。このため、高低カウンタ回路３０３は、特に、ヒストグラムが急激に変化しようとする、又は、微小時間だけ変化するような場合に、その変化を、階調補正後の画像に直接反映させることを防止して、自然な動画像を生成することができる。
【００６９】
抑制ゲイン処理回路３０４は、処理対象画像データの総画素数に対する画素数Ｌ、Ｈのそれぞれ割合を算出する。そして、抑制ゲイン処理回路３０４は、算出した割合の大きさに応じて、等化処理された画素の輝度値を、階調の再配分を行う前の画像データの値に近づくように抑制する抑制ゲインを算出する。
【００７０】
具体的に、抑制ゲイン処理回路３０４は、等化処理により正方向へ補正される画素、すなわち、等化後レベルが元レベルより大きい画素の輝度値に対して、階調の再配分を行う前の画像データの値に近づくように抑制する正方向抑制ゲインを上記の式２に従って算出する。
【００７１】
また、抑制ゲイン処理回路３０４は、等化処理により負方向へ補正される画素、すなわち、等化後レベルが元レベルより小さい画素の輝度値に対して、階調の再配分を行う前の画像データの値に近づくように抑制する負方向抑制ゲインを上記の式３に従って算出する。
【００７２】
等化処理部２０３では、抑制ゲイン処理回路３０４により算出された抑制ゲインを用いて、ヒストグラム等化回路３０２の等化結果に対して抑制ゲイン処理を施すため、次のような演算処理を行う。
【００７３】
すなわち、等化処理部２０３では、まず、減算器ｓｕｂにより、ヒストグラム等化回路３０２により等化処理された処理対象画素の輝度値から、等化処理前の輝度値を減算して、差分輝度レベルをセレクタｓｅｃ１、ｓｅｃ２、乗算器ｍｕｌｔ１へそれぞれ出力する。
【００７４】
等化処理部２０３では、セレクタｓｅｃ１で減算器ｓｕｂから出力される差分輝度レベルの極性を判断して、極性が負の場合は、処理対象画素に対する負方向への過補正を抑制するべく、負方向抑制ゲインを乗算器ｍｕｌｔ１に出力する。また、この極性が正の場合は、等化処理部２０３では、処理対象画素に対する正方向への過補正を抑制するべく、正方向抑制ゲインを乗算器ｍｕｌｔ１に出力する。
【００７５】
等化処理部２０３では、乗算器ｍｕｌｔ１が、減算器ｓｕｂから出力された輝度値の差分値に対して、その極性に応じて正方向抑制ゲイン又は負方向抑制ゲインを乗じて、乗算結果を乗算器ｍｕｌｔ２に出力する。
【００７６】
このようにして、等化処理部２０３では、低輝度及び高輝度領域に該当する画素の輝度値に対して、それぞれ独立した抑制ゲイン処理を施すことで、片方向の過補正を抑制しながらコントラスト強調などの補正強度を強めることができる。
【００７７】
更に、等化処理部２０３では、上述した抑制ゲイン処理を施した処理結果に対して、輝度レベル補正回路３０５により算出されるレベルディペンドゲインを乗じることで、階調補正処理を適用する適用範囲の境界付近での不連続性を抑制する。
【００７８】
輝度レベル補正回路３０５は、上述したレベルディペンドゲインを乗算器ｍｕｌｔ２に出力する。すなわち、輝度レベル補正回路３０５は、処理対象画素の輝度値に対応するレベルディペンドゲインの値を乗算器ｍｕｌｔ２に出力する。
【００７９】
等化処理部２０３では、乗算器ｍｕｌｔ２により、乗算器ｍｕｌｔ１からの出力値に対して、輝度レベル補正回路３０５から出力されたレベルディペンドゲインを乗じて、乗算結果を加算器ａｃｃに出力する。続いて、等化処理部２０３では、加算器ａｃｃが、乗算器ｍｕｌｔ２からの出力値に対して、等化処理前の処理対象画素の元レベルを加算してセレクタｓｅｃ２に出力する。続いて、等化処理部２０３では、セレクタｓｅｃ２が、ヒストグラム等化回路３０２からの制御信号に基づき、適用範囲内のとき加算器ａｃｃからの出力値を外部に出力し、適用範囲外のとき等化処理前の処理対象画素の輝度値を出力する。
【００８０】
以上のように、階調補正部２００のヒストグラム等化回路３０２では、階調の再配分が行われた画像データに対して、輝度レベル補正回路３０５が、上述したレベルディペンドゲインを用いて輝度レベルを補正して、適用範囲の境界付近での不連続性を抑制する。このようにして、階調補正部２００では、階調補正処理を適用する適用範囲の境界付近での不連続性を抑制して、演算処理量の増大を抑制しながら、見た目に不自然な補正結果を生じさせることなくコントラスト強調処理を行うことができる。
【００８１】
なお、本実施形態に係る等化処理部２０３は、図６に示すようなハードウェア構成に限定されず、図４に示す処理内容に対応するプログラムをメインメモリに読み出して汎用的な演算処理プロセッサにより実行するコンピュータにより実現してもよい。また、このプログラムは、インターネットなどの電気通信回線を通じて拡布することが可能であって、当該電気通信回線からダウンロードされたコンピュータにより実行することも可能である。
【符号の説明】
【００８２】
１００  撮像装置、１０１  撮像部、１０２  撮像系補正部、１０３  ゲイン調整部、１０４  ニー補正部、１０５  ガンマ補正部、１０６  出力信号生成部、２００  階調補正部、２０１  輝度変換部、２０２  ローパスフィルタ、２０３  等化処理部、２０４  除算部、２０５  乗算部、３０１  ヒストグラム検出回路、３０２  ヒストグラム等化回路、３０２ａ  ローパスフィルタ、３０３  高低カウンタ回路、３０３ａ  ローパスフィルタ、３０４  抑制ゲイン処理回路、３０５  輝度レベル補正回路、ａｃｃ  加算器、ｍｕｌｔ１、ｍｕｌｔ２  乗算器、ｓｅｃ１、ｓｅｃ２  セレクタ、ｓｕｂ  減算器
【図１】
2011077797.tif 000006
【図２】
2011077797.tif 000007
【図３】
2011077797.tif 000008
【図４】
2011077797.tif 000009
【図５】
2011077797.tif 000010
【図６】
2011077797.tif 000011