(57)【要約】【課題】色味が自然で階調感、コントラスト感の高い高画質な画像を生成できる画像処理装置を提供する。【解決手段】入力画像を明るさ成分画像と色味成分画像とに分離し、明るさ成分画像に平滑化フィルタを重畳して平滑化画像を生成し、平滑化画像のレベル変換を行い、補正平滑化画像を生成し、補正平滑化画像と明るさ成分画像から、色味成分画像を補正するための補正係数を算出し、補正係数を用いて色味成分画像を補正し、補正色味成分画像を生成する。【選択図】      図１
2010063059.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像を、明るさを示す明るさ成分画像と色味を示す色味成分画像とに分離する分離部と、
前記明るさ成分画像を平滑化して平滑化画像を生成するフィルタと、
前記明るさ成分画像と前記平滑化画像から、前記入力画像のコントラスト成分画像を算出するコントラスト算出部と、
前記平滑化画像に対して、コントラストが補正するようにレベルの変換を行い、補正平滑化画像を生成する画像補正部と、
前記補正平滑化画像と前記コントラスト成分画像を乗算して、補正明るさ成分画像を生成する明るさ補正部と、
前記補正平滑化画像と前記明るさ成分画像の変化率に基づいて、前記色味成分画像を補正するための補正係数を算出する係数算出部と、
前記補正係数を用いて前記色味成分画像を補正して、補正色味成分画像を生成する色味補正部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記コントラスト成分画像に対して、コントラストが補正するようにレベルの変換を行い、補正コントラスト成分画像を生成して、前記明るさ補正部に出力するコントラスト補正部をさらに有する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記補正明るさ成分画像と前記補正色味成分画像を乗算して出力する出力部をさらに有する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記フィルタは、低周波成分を抽出する平滑化フィルタである、
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記フィルタは、ガウシアンフィルタ、平均値フィルタ、エッジ保存型の非線形低域通過フィルタ、又は、イプシロンフィルタである、
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記分離部、前記フィルタ、前記コントラスト算出部、前記画像補正部、前記明るさ補正部、前記係数算出部、及び、前記色味補正部は、前記画像の画素毎に処理を行う、
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】
入力された画像を、明るさを示す明るさ成分画像と色味を示す色味成分画像とに分離する分離ステップと、
前記明るさ成分画像を平滑化して平滑化画像を生成するフィルタと、
前記明るさ成分画像と前記平滑化画像から、前記入力画像のコントラスト成分画像を算出するコントラスト算出ステップと、
前記平滑化画像に対して、コントラストが補正するようにレベルの変換を行い、補正平滑化画像を生成する画像補正ステップと、
前記補正平滑化画像と前記コントラスト成分画像を乗算して、補正明るさ成分画像を生成する明るさ補正ステップと、
前記補正平滑化画像と前記明るさ成分画像の変化率に基づいて、前記色味成分画像を補正するための補正係数を算出する係数算出ステップと、
前記補正係数を用いて前記色味成分画像を補正して、補正色味成分画像を生成する色味補正ステップと、
を有することを特徴とする画像処理方法。
【請求項８】
入力された画像を、明るさを示す明るさ成分画像と色味を示す色味成分画像とに分離する分離機能と、
前記明るさ成分画像を平滑化して平滑化画像を生成するフィルタと、
前記明るさ成分画像と前記平滑化画像から、前記入力画像のコントラスト成分画像を算出するコントラスト算出機能と、
前記平滑化画像に対して、コントラストが補正するようにレベルの変換を行い、補正平滑化画像を生成する画像補正機能と、
前記補正平滑化画像と前記コントラスト成分画像を乗算して、補正明るさ成分画像を生成する明るさ補正機能と、
前記補正平滑化画像と前記明るさ成分画像の変化率に基づいて、前記色味成分画像を補正するための補正係数を算出する係数算出機能と、
前記補正係数を用いて前記色味成分画像を補正して、補正色味成分画像を生成する色味補正機能と、
をコンピュータで実現させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高画質な画像を生成する画像処理装置及びその方法に関する。
【背景技術】
【０００２】
最近のテレビ、携帯電話、デジタルカメラなど画像データを扱う様々な機種では、画像データをより高画質なものとするために高画質化処理を実行することが一般的となっている。このような階調補正処理のことをガンマ補正処理（γ補正処理）と称することもある。
【０００３】
そして、テレビの場合、上記のような階調補正処理が行われた画像信号に対して彩度を強調する彩度強調処理も行う。
【０００４】
しかし、階調補正処理による黒伸長を行うことで画像の暗部（低輝度部）の彩度が特に上昇した画像データに対し、さらに上記彩度強調処理を加えると、暗部が高彩度になり過ぎ、ノイズを含んだ画像データとなってしまう問題点がある。
【０００５】
この問題点は、携帯電話の画像の高画質化処理、デジタルカメラの画像処理などにも発生する。
【０００６】
特許文献１には、低輝度領域における色ノイズを低減するため、彩度変調特性、すなわち、輝度レベルに対して彩度レベルのゲインを定めた特性を的確に決定するための技術が開示されている。
【特許文献１】特開２００３−２３５０５５公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１においては、低輝度領域における彩度の周波数特性を考慮していない。そのために、彩度変調特性によって特定の周波数以上のものを全てカットしてしまい、必要以上に低輝度領域のテクスチャの色あいがなくなってしまうという問題点がある。
【０００８】
そこで本発明は、上記問題点に鑑みてなされたものであって、色味が自然で階調感、コントラスト感の高い高画質な画像を生成できる画像処理装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、入力された画像を、明るさを示す明るさ成分画像と色味を示す色味成分画像とに分離する分離部と、前記明るさ成分画像を平滑化して平滑化画像を生成するフィルタと、前記明るさ成分画像と前記平滑化画像から、前記入力画像のコントラスト成分画像を算出するコントラスト算出部と、前記平滑化画像に対して、コントラストが補正するようにレベルの変換を行い、補正平滑化画像を生成する画像補正部と、前記補正平滑化画像と前記コントラスト成分画像を乗算して、補正明るさ成分画像を生成する明るさ補正部と、前記補正平滑化画像と前記明るさ成分画像の変化率に基づいて、前記色味成分画像を補正するための補正係数を算出する係数算出部と、前記補正係数を用いて前記色味成分画像を補正して、補正色味成分画像を生成する色味補正部と、を有することを特徴とする画像処理装置である。
【発明の効果】
【００１０】
本発明によれば、色味が自然で階調感、コントラスト感の高い高画質な画像を生成することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施形態の画像処理装置１について図１に基づいて説明する。
【００１２】
（１）画像処理装置１の構成
図１は、本実施形態の画像処理装置１の構成を示すブロック図である。
【００１３】
画像処理装置１は、分離部１０、フィルタ２０、コントラスト算出部３０、コントラスト補正部４０、画像補正部５０、明るさ補正部６０、係数算出部７０、色味補正部８０、出力部９０を有する。
【００１４】
なお、この画像処理装置１は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、分離部１０、フィルタ２０、コントラスト算出部３０、コントラスト補正部４０、画像補正部５０、明るさ補正部６０、係数算出部７０、色味補正部８０、出力部９０は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像処理装置１は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
【００１５】
分離部１０では、入力画像に関して、画素毎に明るさ成分画像Ｙと色味成分画像ＵＶとに分離する。
【００１６】
フィルタ２０では、画素毎に明るさ成分画像Ｙに平滑化フィルタを重畳して平滑化画像ＬＰＦ＿Ｐ１を生成する。
【００１７】
コントラスト算出部３０では、画素毎に明るさ成分画像Ｙを平滑化画像ＬＰＦ＿Ｐ１で除算することにより、明るさ成分画像Ｙのコントラスト成分画像ＣＰを生成する。
【００１８】
コントラスト補正部４０では、画素毎にコントラスト成分画像ＣＰのレベル変換を行い、補正コントラスト成分画像Ｔ＿ＣＰを生成する。
【００１９】
画像補正部５０では、画素毎に平滑化画像ＬＰＦ＿Ｐ１のレベル変換を行い、補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を生成する。
【００２０】
明るさ補正部６０では、画素毎に補正コントラスト成分画像Ｔ＿ＣＰと補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を乗算して、補正明るさ成分画像を生成する。
【００２１】
係数算出部７０では、画素毎に前記補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１と前記明るさ成分画像Ｙから、色味成分画像ＵＶを補正するための補正係数Ｈを算出する。
【００２２】
色味補正部８０では、画素毎に前記補正係数Ｈを用いて色味成分画像ＵＶを補正し、補正色味成分画像を生成し、出力部９０から出力する。
【００２３】
以下では分離部１０、フィルタ２０、コントラスト算出部３０、コントラスト補正部４０、画像補正部５０、明るさ補正部６０、係数算出部７０、色味補正部８０、出力部９０について詳しく説明する。
【００２４】
（２）分離部１０
まず、分離部１０について述べる。
【００２５】
分離部１０では、入力画像の画素毎に、明るさ成分画像Ｙと色味成分画像ＵＶとに分離する。
【００２６】
例えば、入力画像がＹＵＶ形式で入力された場合は、Ｙ信号が明るさ成分画像、Ｕ信号とＶ信号が色味成分画像となる。ＹＣｂＣｒなどの場合も同様にＹ信号が明るさ成分画像、Ｃｂ信号とＣｒ信号が色味成分画像となる。また、ＲＧＢで入力された場合は一般に知られている信号変換によりＹＵＶやＹＣｂＣｒなどに変換して成分分離を行う。
【００２７】
ＲＧＢ入力であれば、例えば、下記の（１）式に基づいて変換して、明るさ成分画像と色味成分画像に分離を行う。
【数１】
2010063059.tif 000003
【００２８】
その他の入力形式の場合も同様である。
【００２９】
ここで説明のために、処理を行う画像の左上すみに原点を設定し、横方向にｘ軸、縦方向にｙ軸を設定する。これ以降では座標（ｘ，ｙ）における画素の明るさ成分画像の値をＰ０（ｘ，ｙ）、色味成分画像の値をそれぞれＵ０（ｘ，ｙ）、Ｖ０（ｘ，ｙ）と表すことにする。
【００３０】
（３）フィルタ２０
次に、フィルタ２０について述べる。
【００３１】
フィルタ２０は、画素毎に明るさ成分画像Ｙに平滑化フィルタを重畳して、平滑化画像ＬＰＦ＿Ｐ１を生成する。
【００３２】
フィルタ２０で用いられる平滑化フィルタは、例えば、ガウシアンフィルタ、平均値フィルタ、エッジ保存型の非線形低域通過フィルタ、イプシロンフィルタなどである。
【００３３】
すなわち、フィルタ２０で用いられるフィルタは、少なくとも低周波成分を抽出できるものであればよい。また、必要であれば特定の周波数を通すように設計してもよい。上記したイプシロンフィルタなどはその例である。
【００３４】
これらのフィルタを用いて生成された平滑化画像ＬＰＦ＿Ｐ１の座標（ｘ，ｙ）での値をＰＬＰＦ＿Ｐ１（ｘ，ｙ）と表すことにする。
【００３５】
（４）コントラスト算出部３０
次に、コントラスト算出部３０について述べる。
【００３６】
コントラスト算出部３０は、各画素で明るさ成分画像Ｙを平滑化画像ＬＰＦ＿Ｐ１で除算することにより、コントラスト成分画像ＣＰを生成する。すなわち、コントラスト成分画像ＣＰの座標（ｘ，ｙ）での値ＰＣＰ（ｘ，ｙ）は、下記の（２）式で求めることができる。
【数２】
2010063059.tif 000004
【００３７】
（５）コントラスト補正部４０
次に、コントラスト補正部４０について述べる。
【００３８】
コントラスト補正部４０では、画素毎にコントラスト成分画像ＣＰのレベル変換をすることによって、画像のコントラストの伸張、又は、圧縮を行う。コントラスト成分画像の変換方法はいろいろあるが、例えば、下記の（３）式の方法を用いる。
【数３】
2010063059.tif 000005
【００３９】
（３）式のγの値が、１よりも大きくなるとコントラスト成分は伸張される。因みにγが１よりも小さくなるとコントラスト成分は圧縮される。
【００４０】
（６）画像補正部５０
次に、画像補正部５０について述べる。
【００４１】
画像補正部５０では、画素毎に平滑化画像ＬＰＦ＿Ｐ１のコントラストを伸張するように、レベル変換を行い、補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を生成する。
【００４２】
平滑化画像ＬＰＦ＿Ｐ１のコントラストを補正する方法は、様々な方法が考えられるが、その方法は一般に知られている方法を利用すればよい。例えば、ヒストグラム均等化、べき乗によるレベル変換などである。
【００４３】
累積ヒストグラムを利用した変換では、下記の（４）式のようになる。
【数４】
2010063059.tif 000006
【００４４】
（４）式で、ＨＥ（ｋ）は、累積ヒストグラムを［出力の最小値、出力の最大値］に正規化したものである。この（４）式によればαの値が大きいほどそのコントラストは伸張される。因みに、αが負になると圧縮が行われる。
【００４５】
（７）明るさ補正部６０
次に、明るさ補正部６０について述べる。
【００４６】
明るさ補正部６０では、画素毎に補正コントラスト成分画像Ｔ＿ＣＰと補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を乗算して、補正明るさ成分画像を生成する。
【００４７】
明るさ補正部６０では、補正コントラスト成分画像Ｔ＿ＣＰと補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を各画素同士で乗算して補正明るさ成分画像を生成する。補正明るさ成分画像の座標（ｘ，ｙ）での値ＰＯＵＴ（ｘ，ｙ）は、下記の（５）式で求めることができる。
【数５】
2010063059.tif 000007
【００４８】
（８）係数算出部７０
次に、係数算出部７０について述べる。
【００４９】
係数算出部７０では、前記補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１と前記明るさ成分画像Ｙから、色味成分画像ＵＶを補正するための補正係数Ｈを算出する。補正係数Ｈは各画素単位で算出する。補正係数Ｈは明るさ成分画像Ｙと補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１の変化率に応じて画素毎に決定する。座標（ｘ，ｙ）における補正係数Ｈ（ｘ，ｙ）は、下記の（６）式で求める。
【数６】
2010063059.tif 000008
【００５０】
この補正係数Ｈ（ｘ，ｙ）は、明るさ成分画像の最終出力ＰＯＵＴ（ｘ，ｙ）の低周波成分と、入力明るさ画像成分Ｙの変化率を示している。補正係数Ｈ（ｘ，ｙ）を色味成分の補正に使うことによって、高周波に乗っている色ノイズを抑制し、かつ、低周波成分の色味があせてしまうのを抑制することができる。
【００５１】
（９）色味補正部８０
次に、色味補正部８０について述べる。
【００５２】
色味補正部８０では、前記補正係数Ｈ（ｘ，ｙ）を用いて色味成分画像を補正して、補正色味成分画像を生成する。座標（ｘ，ｙ）における補正された色味成分画像の画素の値をＵｏｕｔ（ｘ，ｙ）、Ｖｏｕｔ（ｘ，ｙ）とする。
【００５３】
Ｕｏｕｔ（ｘ，ｙ）、Ｖｏｕｔ（ｘ，ｙ）は、下記の（７）式で求める。
【数７】
2010063059.tif 000009
【００５４】
この（７）式によって補正されたＵｏｕｔ、Ｖｏｕｔが設定値を超えてしまった場合は、その設定値によって出力とする。
【００５５】
（１０）出力部９０
最後に、出力部９０は、画像出力の求められる形によって異なる。例えば、ＹＵＶなどの出力形式が求められる場合は、出力部９０は、ＰＯＵＴ、Ｕｏｕｔ（ｘ，ｙ）、Ｖｏｕｔ（ｘ，ｙ）のまま出力すればよい。
【００５６】
また、ＲＧＢなどの出力形式が求められる場合には、出力部９０は、分離部１０で行った変換の逆変換を行って出力する。上記実施形態による変換の場合は、出力をＲ’Ｇ’Ｂ’とすれば、例えば、下記の（８）式で求められる。
【数８】
2010063059.tif 000010
【００５７】
（１１）変更例
本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【００５８】
例えば、上記実施形態の画像処理装置１では、コントラスト補正部４０を設けたが、これを設けず、明るさ補正部６０は、コントラスト成分画像ＣＰと補正平滑化画像Ｔ＿ＬＰＦ＿Ｐ１を乗算して、補正明るさ成分画像を生成してもよい。この場合でも、色味が自然で階調感、コントラスト感の高い高画質な画像を生成することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の一実施形態の画像処理装置の構成を示すブロック図である。
【符号の説明】
【００６０】
１    画像処理装置
１０    分離部
２０    フィルタ
３０    コントラスト算出部
４０    コントラスト補正部
５０    画像補正部
６０    明るさ補正部
７０    係数算出部
８０    色味補正部
９０    出力部
【図１】
2010063059.tif 000011