(57)【要約】【課題】階調変換処理された画像のノイズ低減の度合いを、画像の特性及び／又は階調変換特性、画像の輝度情報並びにエッジ情報に基づいて制御すること。【解決手段】入力画像を複数の領域に分割し、この領域毎に第１の階調変換特性を算出する階調変換特性算出部１０４と、階調変換特性算出部１０４により算出された第１の階調変換特性を用いて、領域毎に階調変換処理を行う階調変換処理部１０５と、階調変換特性算出部１０４によって算出された第１の階調変換特性及び／又は画像の特性に基づいてノイズ低減処理の度合いを調整するためのノイズ低減制御特性を算出するノイズ低減制御特性算出部１０６と、階調変換処理部１０５によって処理された入力画像に対し、ノイズ低減制御特性に基づいてノイズを低減する処理を行うノイズ低減処理部１０７とを備える。【選択図】図１
2010193384.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数の領域に分割し、該領域毎に第１の階調変換特性を算出する階調変換特性算出手段と、
該階調変換特性算出手段により算出された第１の階調変換特性を用いて、前記領域毎に階調変換処理を行う階調変換処理手段と、
前記階調変換特性算出手段によって算出された前記第１の階調変換特性及び／又は画像の特性に基づいてノイズ低減処理の度合いを調整するためのノイズ低減制御特性を算出するノイズ低減制御特性算出手段と、
前記階調変換処理手段によって処理された前記入力画像に対し、前記ノイズ低減制御特性に基づいてノイズを低減する処理を行うノイズ低減処理手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
第１の階調変換特性が所定の閾値より大きい場合のノイズ低減制御特性を、第１の階調変換特性が所定の閾値より小さい場合のノイズ低減制御特性よりも、大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ低減制御特性算出手段は、前記第１の階調変換特性と第１のゲインとが対応付けられた第１情報を保有しており、該領域に対応する第１のゲインを該第１情報から取得し、取得した該第１のゲインを該階調変換特性に乗算することによってノイズ低減制御特性を算出し、
前記第１の階調変換特性が所定の閾値以上の場合の前記第１のゲインは、前記第１の階調変換特性が所定の閾値より小さい場合の第１のゲインよりも大きな値に設定される
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
画像の輝度が所定の閾値より低い領域のノイズ低減制御特性を、画像の輝度が所定の閾値より高い領域のノイズ低減制御特性よりも大きくすることを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記ノイズ低減制御特性算出手段は、画像の平均輝度と第２のゲインとが対応付けられた第２情報を保有しており、該領域の平均輝度に対応する第２のゲインを該第２情報から取得し、取得した該第２のゲインを該階調変換特性に乗算することによってノイズ低減制御特性を算出し、
前記平均輝度が所定の閾値以下の場合の前記第２のゲインは、前記平均輝度が所定の閾値より大きい場合の第２のゲインよりも大きな値に設定される
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
画像の処理対象の領域が、エッジ情報を算出するエッジ情報算出手段を備え、
非エッジ領域のノイズ低減制御特性を、エッジ領域のノイズ低減制御特性より大きくすることを特徴とする請求項１から請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記ノイズ低減制御特性算出手段は、前記エッジ情報と第３のゲインとが対応付けられた第３情報を保有しており、該領域のエッジ情報に対応する第３のゲインを該第３情報から取得し、取得した該第３のゲインを該階調変換特性に乗算することによってノイズ低減制御特性を算出し、
前記画像のエッジ情報が非エッジ領域である場合の前記第３のゲインは、前記画像のエッジ情報がエッジ領域である場合の第３のゲインよりも大きな値に設定される
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
ノイズ低減制御特性算出手段は、
前記階調変換特性と第１のゲインとが対応付けられた第１情報を保有しており、前記領域に対応する第１のゲインを該第１情報から取得する第１ゲイン取得手段と、
前記平均輝度と第２のゲインとが対応付けられた第２情報を保有しており、前記平均輝度に対応する第２のゲインを該第２情報から取得する第２ゲイン取得手段と、
エッジ情報と第３のゲインとが対応付けられた第３情報を保有しており、前記エッジ情報に対応する第３のゲインを該第３情報から取得する第３ゲイン取得手段と
のうち、少なくともいずれか２つを具備し、具備するそれぞれの手段によって決定したゲインを用いて最終的なゲインを求め、該最終的なゲインを該階調変換特性に乗算することによってノイズ低減制御特性を算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
入力画像を複数の領域に分割し、該領域毎に第１の階調変換特性を算出する第１過程と、
該第１過程により算出された第１の階調変換特性を用いて、前記領域毎に階調変換処理を行う第２過程と、
前記第１過程によって算出された前記第１の階調変換特性及び／又は画像の特性に基づいてノイズ低減処理の度合いを調整するためのノイズ低減制御特性を算出する第３過程と、
前記第２過程によって処理された前記入力画像に対し、前記ノイズ低減制御特性に基づいてノイズを低減する処理を行う第４過程と、
を有することを特徴とする画像処理方法。
【請求項１０】
入力画像を複数の領域に分割し、該領域毎に第１の階調変換特性を算出する第１処理と、
該第１処理により算出された第１の階調変換特性を用いて、前記領域毎に階調変換処理を行う第２処理と、
前記第１処理によって算出された前記第１の階調変換特性及び／又は画像の特性に基づいてノイズ低減処理の度合いを調整するためのノイズ低減制御特性を算出する第３処理と、
前記第２処理によって処理された前記入力画像に対し、前記ノイズ低減制御特性に基づいてノイズを低減する処理を行う第４処理と、
をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に画像を分割した各領域において特性の異なる階調変換処理が行われた画像に対するノイズ低減処理を行う画像処理装置及び方法並びにプログラムに関する。
【背景技術】
【０００２】
従来、入力画像のダイナミックレンジを広くするために入力画像の領域ごとに階調変換特性を変えるスペースバリアントな階調変換処理が行われている。図１８は従来のスペースバリアントな階調変換特性を用いたノイズ低減処理のブロック図を示す。図１８において、画像は階調変換処理部に入力されると、入力画像から算出したスペースバリアントな階調変換特性に基づいて階調変換処理が行われる。また、スペースバリアントな階調変換処理が施された画像は、スペースバリアントな階調変換特性をそのまま用いてノイズ低減処理される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１２３３１号公報
【特許文献２】特開２００６−５００４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、スペースバリアントな階調変換特性をそのまま用いてノイズ低減処理を行う従来の方法では、画像全体を一様の強さでノイズ低減するために、画像の領域毎のノイズ低減を行うことができないという問題があった。例えば、ノイズが目立つ画像の輝度が低い領域で、かつ、階調変換処理によってノイズが大きく増幅した領域のみを、他の領域より強くノイズ低減するといった、特定の領域のみを大幅にノイズ低減する調整を行うことができない。
【０００５】
したがって、ノイズ低減効果を高めることを優先した場合は、画像全体に対して強めのノイズ低減処理を一様に施すこととなり、画像全体としての解像感が劣化してしまうという問題があった。一方、画像全体で解像感を保持することを優先した場合は、画像全体にノイズが残ってしまうという問題があった。
【０００６】
図１９は、従来のスペースバリアントな階調変換特性をそのまま用いるノイズ低減処理方法を概念的に示した図である。図１９では、スペースバリアントな階調変換後の画像に対して、解像感を保持することを優先したノイズ低減処理を行っている。このため、スペースバリアントな階調変換及びノイズ低減処理後の画像である図１９のイメージ４において、画像全体にわたってノイズを含む領域であることを示す白点が存在し、画像全体にノイズが残留していることがわかる。
【０００７】
本発明は、上記問題を解決するためになされたもので、ノイズが目立つ領域は大幅にノイズ低減を行い、ノイズが目立たない領域は解像感を保持することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は以下の手段を採用する。
【０００９】
本発明の第１の態様は、入力画像を複数の領域に分割し、該領域毎に第１の階調変換特性を算出する階調変換特性算出手段と、該階調変換特性算出手段により算出された第１の階調変換特性を用いて、前記領域毎に階調変換処理を行う階調変換処理手段と、前記階調変換特性算出手段によって算出された前記第１の階調変換特性及び／又は画像の特性に基づいてノイズ低減処理の度合いを調整するためのノイズ低減制御特性を算出するノイズ低減制御特性算出手段と、前記階調変換処理手段によって処理された前記入力画像に対し、前記ノイズ低減制御特性に基づいてノイズを低減する処理を行うノイズ低減処理手段とを具備することを特徴とする画像処理装置である。
なお、領域は、一つ以上の画素を含む領域である。
【００１０】
このような構成によれば、入力画像が複数の領域に分割され、該領域毎に階調変換特性が算出され、算出されたそれぞれの階調変換特性及び／又は画像の特性に基づいて各領域のノイズ低減処理の度合いが調整されることとなる。これにより、階調変換特性をそのままノイズ低減処理に用いる場合よりも、画像の特性に合わせたノイズ低減処理が可能となる。
【００１１】
本発明の第２の態様は、入力画像を複数の領域に分割し、該領域毎に第１の階調変換特性を算出する第１過程と、該第１過程により算出された第１の階調変換特性を用いて、前記領域毎に階調変換処理を行う第２過程と、前記第１過程によって算出された前記第１の階調変換特性及び／又は画像の特性に基づいてノイズ低減処理の度合いを調整するためのノイズ低減制御特性を算出する第３過程と、前記第２過程によって処理された前記入力画像に対し、前記ノイズ低減制御特性に基づいてノイズを低減する処理を行う第４過程と、を有することを特徴とする画像処理方法である。
【００１２】
本発明の第３の態様は、入力画像を複数の領域に分割し、該領域毎に第１の階調変換特性を算出する第１処理と、該第１処理により算出された第１の階調変換特性を用いて、前記領域毎に階調変換処理を行う第２処理と、前記第１処理によって算出された前記第１の階調変換特性及び／又は画像の特性に基づいてノイズ低減処理の度合いを調整するためのノイズ低減制御特性を算出する第３処理と、前記第２処理によって処理された前記入力画像に対し、前記ノイズ低減制御特性に基づいてノイズを低減する処理を行う第４処理と、をコンピュータに実行させる画像処理プログラムである。
【発明の効果】
【００１３】
本発明によれば、スペースバリアントな階調変換処理された画像のノイズ低減の度合いを、スペースバリアントな階調変換特性、画像の輝度情報及びエッジ情報に基づいて制御することができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係る画像処理装置の構成例を示した図である。
【図２】本発明の第１の実施形態に係るノイズ低減処理方法を概念的に示した図である。
【図３】本発明の第１の実施形態に係る第１情報の一例を示した図である。
【図４】本発明の第１の実施形態に係る第１情報の一例を示した図である。
【図５】本発明の第２の実施形態に係る画像処理装置の構成例を示した図である。
【図６】本発明の第２の実施形態に係るノイズ低減処理方法を概念的に示した図である。
【図７】本発明の第２の実施形態に係る第２情報の一例を示した図である。
【図８】本発明の第２の実施形態に係る第２情報の一例を示した図である。
【図９】本発明の第３の実施形態に係る画像処理装置の構成例を示した図である。
【図１０】エッジ情報を算出するための画素領域の一例を示した図である。
【図１１】本発明の第３の実施形態に係る第３情報の一例を示した図である。
【図１２】本発明の第３の実施形態に係る第３情報の一例を示した図である。
【図１３】本発明の第３の実施形態に係るノイズ低減処理方法を概念的に示した図である。
【図１４】本発明の第４の実施形態に係る画像処理装置の構成例を示した図である。
【図１５】本発明の第４の実施形態にかかる処理の動作フローを示した図である。
【図１６】本発明の第４の実施形態にかかる処理の動作フローを示した図である。
【図１７】本発明の第４の実施形態に係るノイズ低減処理方法を概念的に示した図である。
【図１８】従来のノイズ低減処理方法を概念的に示した図である。
【図１９】従来の画像処理装置の構成例を示した図である。
【発明を実施するための形態】
【００１５】
以下に、本発明に係る画像処理装置の実施形態について、図面を参照して詳細に説明する。
【００１６】
〔第１の実施形態〕
図１は、本実施形態に係る画像処理装置の概略構成を示したブロック図である。
図１において、本実施形態の画像処理装置は、例えば、デジタルカメラであり、撮像部２０と、画像処理装置１０とを備えている。
【００１７】
撮像部２０は、例えば、被写体像を結像するための光学系１０１と、この光学系１０１により結像される光学的な被写体像を光電変換し、電気的な画像信号（以下、この画像信号に対応する画像を「入力画像」という。）を出力する撮像系１０２とを備えている。
画像処理装置１０は、撮像系から取得した入力画像に対し、スペースバリアントな階調変換処理を含む画像処理を行い、処理後の画像を出力する。
この撮像部２０と、画像処理装置１０とは接続されている。
【００１８】
画像処理装置１０は、画像処理部１０３、階調変換特性算出部（階調変換特性算出手段）１０４、階調変換処理部（階調変換処理手段）１０５、ノイズ低減制御特性算出部（ノイズ低減制御特性算出手段）１０６、ノイズ低減処理部（ノイズ低減処理手段）１０７、及び画像圧縮部１０８を備えて構成されている。
【００１９】
画像処理部１０３は、撮像系１０２から取得したアナログの入力画像信号をデジタル信号に変換する等の各種画像処理を行い、各種画像処理後の入力画像信号を階調変換特性算出部１０４に出力する。
【００２０】
階調変換特性算出部１０４は、画像処理部１０３より取得した入力画像を複数の領域に分割し、この領域毎に第１の階調変換特性を算出する。階調変換特性算出部１０４は、算出した第１の階調変換特性を階調変換処理部１０５及びノイズ低減制御特性算出部１０６に出力する。
【００２１】
階調変換処理部１０５は、階調変換特性算出部１０４で算出された第１の階調変換特性を用いて、分割した領域毎に階調変換処理を行う。具体的には、階調変換処理部１０５は、入力画像の領域毎に、階調変換特性算出部１０４で算出された各領域の階調変換特性をそれぞれ乗算することにより、入力画像にスペースバリアントな階調変換を施す。階調変換処理部１０５は、スペースバリアントな階調変換を施した画像をノイズ低減処理部１０７に出力する。
【００２２】
例えば、図２に示すように、入力画像イメージ１が入力されると、領域毎に階調変換特性が算出され、人物の顔の領域と背景の領域を明るくするイメージ２に示すようなゲイン分布を持つ階調変換特性が算出される。この階調変換特性を用いて、イメージ１に対し、スペースバリアントな階調変換処理を実行すると、イメージ３に示す人物の顔の領域と背景の領域を明るくする画像が得られる。同時に、明るくなった人物の顔の領域と背景の領域は、ノイズも増幅される。
【００２３】
ノイズ低減制御特性算出部１０６は、階調変換特性算出部１０４によって算出された第１の階調変換特性及び／又は画像の特性に基づいて、ノイズ低減の度合いを調整するためのノイズ低減制御特性を算出する。具体的には、ノイズ低減制御特性算出部１０６は、第１の階調変換特性と第１のゲインとが対応付けられた第１情報を保有しており、各領域に対応する第１のゲインを第１情報からそれぞれ取得し、取得した第１のゲインを階調変換特性に乗算することによってノイズ低減制御特性を算出する。第１の階調変換特性が所定の閾値より大きい場合のノイズ低減制御特性は、第１の階調変換特性が所定の閾値より小さい場合のノイズ低減制御特性よりも、大きくするとよい。
【００２４】
図３に上記第１情報の一例を示す。図３において、横軸は階調変換特性、縦軸は第１のゲインを示している。図３に示すように、第１の階調変換特性が所定の閾値Ｔｈ１以上の場合の第１のゲインは、第１の階調変換特性が所定の閾値Ｔｈ１より小さい場合の第１のゲインよりも大きな値に設定される。この例では、閾値Ｔｈ１を１．５と設定し、階調変換特性が閾値１．５を超えた場合に与える第１のゲインを２とし、階調変換特性が閾値１．５を超えない場合には第１のゲインを１としている。より具体的には、ノイズ低減制御特性は、階調変換特性が閾値Ｔｈ１が１．５を超えない範囲においては階調変換特性と同じであり、閾値Ｔｈ１が１．５を超える範囲においては階調変換特性の２倍とする特性とする。
【００２５】
続いて、上述の内容を図を用いて説明する。図２のイメージ２において、所定の閾値以上の階調変換特性を持つ領域が人物の顔の領域と背景の領域である場合について説明する。ノイズ低減制御特性算出部１０６は、上記人物の顔の領域と背景の領域は大幅にノイズ低減するような第１のゲインを設定し（そのときのゲイン分布はイメージ４の通りである）、人物の顔の領域と背景の領域以外の部分は、そのままのゲインを与えることとする。
【００２６】
ノイズ低減制御特性算出部１０６は、算出したノイズ低減制御特性をノイズ低減処理部１０７に出力する。
【００２７】
ノイズ低減処理部１０７は、階調変換処理部１０５によって処理された入力画像に対し、ノイズ低減制御特性に基づいてノイズを低減する処理を行う。ノイズ低減処理部１０７にてノイズ低減処理された画像は、画像圧縮部１０８に入力される。画像圧縮部１０８は、ノイズ低減処理部１０７から供給された画像信号を、例えば、ＪＰＥＧ形式等に圧縮し、メモリカード等の記録メディア１０９に保存する。
【００２８】
続いて、本実施形態に係る画像処理装置の作用について説明する。
まず、光学系１０１により結像された被写体像は、撮像系１０２により光学被写体から電気信号に変換され、出力される。撮像系１０２から出力された入力画像は、画像処理部１０３に供給される。画像処理部１０３では各種画像処理が施され、この入力画像は、階調変換特性算出部１０４に供給される。階調変換特性算出部１０４では、入力画像の各領域に応じた階調変換特性が算出される。階調変換処理部１０５では、算出された階調変換特性に基づいて、入力画像信号に対し、スペースバリアントな階調変換処理が施される。
【００２９】
続いて、ノイズ低減制御特性算出部１０６では、階調変換特性算出部１０４によって算出されたスペースバリアントな階調変換特性を用いて、ノイズ低減制御特性を算出する。ノイズ低減処理部１０７では、階調変換された入力画像信号に対し、ノイズ低減制御特性に基づいて、ノイズ低減が実行される。このように、領域毎に階調変換処理が施された入力画像の画像信号は、画像圧縮部１０８に供給されることにより、所定のフォーマットに基づいて圧縮され、メモリカード等の記録メディア１０９に記録される。
【００３０】
以上説明してきたように、本実施形態に係る画像処理装置によれば、入力画像に対し、スペースバリアントな階調変換処理を行うとともに、スペースバリアントな階調変換特性に基づいてノイズ低減処理の度合いを調整する。この場合において、階調変換特性が所定の閾値以上の場合のゲインは、階調変換特性が所定の閾値より小さい場合のゲインよりも大きな値に設定されるので、スペースバリアントな階調変換処理によってノイズが大きく増幅した領域のノイズを、大幅に低減させることができるとともに、スペースバリアントな階調変換特性が小さくノイズの増幅が小さい領域、かつ、ノイズが目立たない領域には、ノイズ低減を弱くかけて入力画像の解像感を保持することが可能となる。
【００３１】
なお、上述した実施形態では、画像処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、各センサからの出力信号に基づいて別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００３２】
なお、第１の実施形態においては最も簡単なノイズ低減特性算出方法を示しているが、この方法に限られない。例えば、第１の実施形態で示したノイズ低減特性算出方法は、閾値前後で急激に特性が変化し、その領域で信号の歪みとなるアーチファクトが起こる可能性がある。このため、アーチファクトを軽減するために、図４に示すように閾値前後で徐々に大きなゲインを与えることとしてもよい。
【００３３】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る画像処理装置について図を参照して説明する。
本実施形態の画像処理装置が第１の実施形態と異なる点は、ノイズ低減制御特性算出部がノイズ低減制御特性を算出する場合に、画像の輝度情報を考慮することにある。以下、本実施形態の画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００３４】
図５は、本発明の第２の実施形態に係る画像処理装置の一構成例を示したブロック図である。図５に示すように、本実施形態に係る画像処理装置では、上述した第１の実施形態に係るノイズ低減制御特性算出部１０６（図１参照）に代えて、ノイズ低減制御特性算出部１２６を備え、輝度情報算出部１４０が追加されている。
【００３５】
輝度情報算出部１４０は、階調変換特性算出部１０４により分割された領域毎に平均輝度を算出し、算出した領域毎の平均輝度の情報を、ノイズ低減制御特性算出部１２６に出力する。
【００３６】
ノイズ低減制御特性算出部１２６は、輝度情報算出部１４０によって算出された、領域毎の平均輝度に基づいて、ノイズ低減制御特性を算出する。具体的には、ノイズ低減制御特性算出部１２６は、画像の平均輝度と第２のゲインとが対応付けられた第２情報を保有しており、領域の平均輝度に対応する第２のゲインを第２情報から取得し、取得した第２のゲインを階調変換特性に乗算することにより、ノイズ低減制御特性を算出する。また、画像の輝度が所定の閾値より低い領域のノイズ低減制御特性は、画像の輝度が所定の閾値より高い領域のノイズ低減制御特性よりも大きくするとよい。
【００３７】
図７に上記第２情報の一例を示す。図７において、横軸は画像の輝度情報、縦軸は階調変換特性に与える第２のゲインを示している。図７に示すように、平均輝度が所定の閾値Ｔｈ２以下の場合の第２のゲインは、平均輝度が所定の閾値Ｔｈ２より大きい場合の第２のゲインよりも大きな値に設定するとよい。本実施形態では、各領域の輝度情報が閾値Ｔｈ２以下の場合に第２のゲインを２倍、閾値Ｔｈ２を超える場合に第２のゲインを１倍にする。
【００３８】
より具体的には、平均輝度が閾値Ｔｈ２を超えない低輝度の場合には、階調変換特性全体を２倍にした値をノイズ低減制御特性とするため、画像の平均輝度が所定の閾値より暗い範囲では、ノイズ低減処理を大幅に行う。一方、画像の平均輝度の閾値Ｔｈ２をより高輝度の明るい範囲では、階調変換特性の値を、そのままノイズ低減制御特性として、ノイズ低減処理を実行する。
【００３９】
より具体的には、図６のイメージ２の人物の顔の領域と人物の胴体の領域において、画像の輝度が、所定の閾値より小さい低輝度な領域である場合、この領域に対してノイズ低減を大幅に実行するようなノイズ低減制御特性が算出される（イメージ４は低輝度領域にゲインを高く設定するようなゲイン分布の概念図を示している）。このように、算出されたノイズ低減制御特性を用いてノイズ低減処理の度合いを調整するため、人物の顔の領域と人物の胴体の領域のノイズを大幅に低減し、その他の領域（光源周辺の領域および背景の領域）の解像感は保持される。
【００４０】
以上説明してきたように、本実施形態に係る画像処理装置によれば、スペースバリアントな階調変換特性を施した画像において、画像の輝度情報を用いてノイズ低減処理の度合いを調整し、画像の輝度が低い領域のノイズ低減制御特性を大きくする。これにより、ノイズが目立つ画像の低輝度領域のみを大幅にノイズ低減し、その他の領域の解像感は保持することが可能となる。
【００４１】
なお、本実施形態におけるノイズ低減制御特性を算出するための輝度情報と第２のゲインとが対応付けられた第２情報は、最も簡単な方法を示しているが、これに限られない。例えば、図７では閾値前後で急激に特性が変化するため、その領域でアーチファクトが起こる可能性がある。このため、アーチファクトを軽減するために図８に示すように閾値前後で徐々にゲインを小さくすることとしてもよい。
【００４２】
〔第３の実施形態〕
次に、本発明の第３の実施形態に係る画像処理装置について図を参照して説明する。
本実施形態の画像処理装置が第１、第２の実施形態と異なる点は、ノイズ低減制御特性算出部がノイズ低減制御特性を算出する場合に、画像のエッジ情報を考慮することにある。以下、本実施形態の画像処理装置について、第１、第２の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４３】
図９は、本発明の第３の実施形態に係る画像処理装置の一構成例を示したブロック図である。図９に示すように、本実施形態に係る画像処理装置では、上述した第１の実施形態に係るノイズ低減制御特性算出部１０６（図１参照）に代えて、ノイズ低減制御特性算出部１３６を備え、エッジ情報算出部１４１が追加されている。
【００４４】
エッジ情報算出部１４１は、階調変換特性算出部１０４により分割された所定の領域毎にエッジ情報を算出し、得られたエッジ情報に応じてエッジ領域であるかエッジでない領域（非エッジ領域）かを判定し、この判定結果をノイズ低減制御特性算出部１３６に出力する。
【００４５】
エッジ情報算出部１４１は、図１０に示すように処理対象とする所定の領域をｐ２２として、ｐ２２を囲む周辺の３×３の領域から、エッジ情報を算出する。水平方向、垂直方向、右上がりの斜め方向、右下がりの斜め方向のエッジ量をそれぞれＤｈ、Ｄｖ、Ｄｚ、Ｄｎとし、これらエッジ量から最も大きい値をｐ２２のエッジ情報として算出する。エッジ量Ｄｈ、Ｄｖ、Ｄｚ、Ｄｎは、以下の式で表わされる。ここで、ｐ２１、ｐ２３、ｐ１２、ｐ３２、ｐ１３、ｐ３１、ｐ１１、ｐ３３は、ｐ２２を囲む３×３の周辺領域である。
Ｄｈ＝｜ｐ２１−ｐ２２｜＋｜ｐ２３−ｐ２２｜
Ｄｖ＝｜ｐ１２−ｐ２２｜＋｜ｐ３２−ｐ２２｜
Ｄｚ＝｜ｐ１３−ｐ２２｜＋｜ｐ３１−ｐ２２｜
Ｄｎ＝｜ｐ１１−ｐ２２｜＋｜ｐ３３−ｐ２２｜
【００４６】
ノイズ低減制御特性算出部１３６は、エッジ情報算出部１４１によって算出された、エッジ情報に基づいて、ノイズ低減制御特性を算出する。具体的には、算出されたｐ２２のエッジ情報が所定の閾値Ｔｈ３と比較され、所定の閾値Ｔｈ３以上である場合は、処理対象領域ｐ２２と隣接領域との差分が大きいことを示し、処理対象領域ｐ２２はエッジ領域に属すると判定される。一方、ｐ２２のエッジ情報が所定の閾値Ｔｈ３より小さい場合は、処理対象領域ｐ２２と隣接領域との差分が小さいことを示し、処理対象領域ｐ２２は非エッジ領域に属すると判定される。非エッジ領域のノイズ低減制御特性は、エッジ領域のノイズ低減制御特性より大きくするとよい。
【００４７】
より具体的には、ノイズ低減制御特性算出部１３６は、エッジ情報と第３のゲインとが対応付けられた第３情報を保有しており、エッジ情報に対応する第３のゲインを該第３情報から取得し、取得した該第３のゲインを該階調変換特性に乗算することによってノイズ低減制御特性を算出する。
【００４８】
画像のエッジ情報とは、分割された各領域がエッジ領域に属するか否かを示す指標である。
【００４９】
図１１に上記第３情報の一例を示す。図１１において、横軸は画像のエッジ情報、縦軸は階調変換特性に与える第３のゲインを示している。画像のエッジ情報が非エッジ領域（閾値Ｔｈ３以下の領域）である場合の第３のゲインは、画像のエッジ情報がエッジ領域（閾値Ｔｈ３より大きい領域）である場合の第３のゲインよりも大きな値に設定するとよい。
【００５０】
処理対象とする領域のエッジ情報が閾値Ｔｈ３以下の場合には、処理対象の領域が非エッジ領域であるため、該領域の階調変換特性を２倍としたものを、ノイズ低減制御特性とする。一方、処理対象とする領域のエッジ情報が所定の閾値Ｔｈ３を超える場合には、エッジ領域であると判定され、該領域の階調変換特性をそのままノイズ低減制御特性とする。換言すると、領域がエッジ領域でなく、ノイズの目立つ領域を大幅にノイズ低減する。
【００５１】
図１３は、第３の実施形態のノイズ低減処理方法を概念的に示した図である。図１３では人物の顔の領域と背景領域が画像のエッジ情報が非エッジ領域であり、その領域の値が大きくなるようなノイズ低減制御特性が算出されている。入力画像は、このノイズ低減制御特性を用いてノイズ低減処理されたため、人物の顔の領域と背景領域のノイズを大幅に低減し、その他の領域(光源周辺の領域および人物の胴体の領域)の解像感は保持されている。
【００５２】
以上説明してきたように、本実施形態に係る画像処理装置によれば、スペースバリアントな階調特性を施した画像において、画像のエッジ情報を用いてノイズ低減処理の度合いを調整し、画像の非エッジ領域のノイズ低減制御特性を大きくする。これにより、入力画像におけるノイズが目立つ領域のみを大幅にノイズ低減し、その他の領域の解像感は保持することが可能となる。
【００５３】
なお、本実施形態におけるノイズ低減制御特性を算出するためのエッジ情報と第３のゲインとが対応付けられた第３情報は、最も簡単な方法を示しているが、これに限られない。例えば、図１１では閾値前後で急激に特性が変化するため、その領域でアーチファクトが起こる可能性がある。このため、アーチファクトを軽減するために図１２に示すように閾値前後で徐々にゲインを小さくすることとしてもよい。
【００５４】
〔第４の実施形態〕
次に、本発明の第４の実施形態に係る画像処理装置について図を参照して説明する。
本実施形態の画像処理装置が第１、第２、第３の実施形態と異なる点は、ノイズ低減制御特性算出部がノイズ低減制御特性を算出する方法が異なる点である。以下、本実施形態の画像処理装置について、第１、第２、第３の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５５】
図１４は、本発明の第４の実施形態に係る画像処理装置の一構成例を示したブロック図である。図１４に示すように、本実施形態に係る画像処理装置では、輝度情報算出部１４０及びエッジ情報算出部１４１を備えるとともに、上述した第１の実施形態に係るノイズ低減制御特性算出部１０６（図１参照）に代えて、ノイズ低減制御特性算出部１４６が備えられている。
【００５６】
ノイズ低減制御特性算出部１４６によるノイズ低減制御特性の算出方法を、図１５および図１６を用いて処理の動作フローを説明する。
スペースバリアントな階調変換特性、画像の輝度情報、画像のエッジ情報が入力される（図１５のステップＳＡ１）。続いて、処理対象の領域のスペースバリアントな階調変換特性を、所定の閾値Ｔｈ１と比較する（図１５のステップＳＡ２）。比較の結果、Ｔｈ１を超えている場合には、ゲインを２倍とし（図１６のステップＳＡ３−２）、Ｔｈ１を超えていない場合には、ゲインを１倍とする（図１５のステップＳＡ３−１）。ステップＳＡ３−１及びステップＳＡ３−２において与えられるゲインをゲインＡとする。
【００５７】
ステップＳＡ３−１及びステップＳＡ３−２のどちらの処理に進んだ場合であっても、続いて画像の輝度情報を算出し、輝度情報が所定の閾値Ｔｈ２を超えているか否かを判定する（図１５のステップＳＡ４−１、図１６のステップＳＡ４−２）。輝度情報が閾値Ｔｈ２を超えていない場合には、前段で算出されたゲインＡの２倍をゲインＢとして算出し（図１５のステップＳＡ５−１、図１６のステップＳＡ５−３）、輝度情報が閾値Ｔｈ２を超えている場合には、ゲインＡの値をそのままゲインＢとする（図１５のステップＳＡ５−２から図１６のステップＳＡ５−４）。
【００５８】
ステップＳＡ６−１からステップＳＡ６−４のいずれかの処理に進んだ場合であっても、続いて画像のエッジ情報を算出し、エッジ情報が所定の閾値Ｔｈ３を超えているか否かを判定する（図１５のステップＳＡ７−１から図１６のステップＳＡ７−８）。エッジ情報が閾値Ｔｈ３以下の場合には、所定の領域を非エッジ領域と判定し、前段で算出されたゲインＢの２倍をゲインＣとして算出する。一方、エッジ情報が閾値Ｔｈ３を超えている場合には、所定の領域をエッジ領域として判定しゲインＢの値を、そのままゲインＣとして算出する。
【００５９】
上記のように算出されたゲインＣを、処理対象の領域の階調変換特性に乗算することで、ノイズ低減制御特性を算出し（図１５のステップＳＡ８）、本処理を終了する。
【００６０】
図１７は、第４の実施形態におけるノイズ低減処理方法を概念的に示した図である。図１７は、人物の顔の領域と背景の領域のスペースバリアントな階調変換特性が所定の閾値Ｔｈ１より大きい値である。また、人物の顔の領域と人物の胴体の領域が画像の輝度情報が任意の閾値Ｔｈ２より小さい低輝度領域、人物の顔の領域と背景領域が所定の閾値Ｔｈ３より小さい非エッジ領域を示している。
【００６１】
ここで、スペースバリアントな階調変換特性が所定の閾値Ｔｈ１より大きい値、かつ、低輝度、かつ、非エッジ領域である領域は人物の顔の領域である。本実施形態においては、スペースバリアントな階調変換特性より大きく、かつ低輝度、かつ、非エッジ領域である領域は、値が大きくなるようなノイズ低減制御特性が算出されるため、このノイズ低減制御特性を用いてノイズ低減処理を実行すると、人物の顔の領域のノイズを大幅にノイズ低減されることとなる。一方、光源周辺の領域、人物の胴体の領域および背景の領域であるその他の領域の解像感は保持されることを示している。
【００６２】
以上説明してきたように、本実施形態に係る画像処理装置においては、画像の特性及び／又はスペースバリアントな階調変換特性、画像の輝度情報及びエッジ情報を用い、それぞれの情報によって取得される最終的なゲインを求め、この最終的なゲインを用いてノイズ低減処理を行う。本実施形態では、スペースバリアントな階調特性が所定の閾値より大きい場合、かつ、スペースバリアントな階調特性を画像の輝度が低い領域、かつ、非エッジ領域にノイズ低減制御値を大きくするように、ノイズ低減処理の度合いを調整する。これにより、第１、第２、第３の実施形態に比べて、ノイズが目立つ領域を絞り込むことができ、該領域に対して大幅にノイズ低減を行うとともに、その他のノイズが目立たない領域は、解像感を保持することが可能となる。
【００６３】
具体的には、第１の実施形態では、スペースバリアントな階調変換でノイズは大きく増大するが、画像の輝度が高輝度でノイズが目立たない領域（例えば、図２の背景の領域）を大幅にノイズ低減するため、その領域の解像感は劣化することとなる。同様に、第２の実施形態では、画像の輝度が低輝度の領域は、ノイズが目立つ領域ではあるが、スペースバリアントな階調変換によってノイズが大きく増大していない領域、換言すると、ノイズ低減を大幅に行わなくて良い領域（例えば、図６の人物の胴体の領域）を、大幅にノイズ低減するため、その領域の解像感は劣化してしまう。
【００６４】
一方、第４の実施形態では、スペースバリアントな階調特性が任意の閾値より大きく、かつ、画像の輝度が低い領域、かつ、非エッジ領域、つまりノイズが目立つ領域（例えば、図１７の人物の顔の領域）のみを大幅にノイズ低減し、その他の領域の解像感を保つことが可能となるので、より画像の特性に応じたノイズ低減処理を行うことが可能となる。
【００６５】
なお、第１、第２、第３の実施形態の画像処理装置は、放送用据え置き型カメラ、ＥＮＧカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に搭載されることとしてもよい。さらに、動画を扱う画像信号補正プログラム（ＣＧプログラム）、画像編集装置などにも用いてもよい。
【００６６】
なお、本実施形態にかかる画像処理装置においては、ノイズ低減制御特性算出部１４６において、階調変換特性、画像の輝度情報、及びエッジ情報の３つの情報からゲインを求め、求められたゲインを階調変換特性に乗算していたが、これに限られない。例えば、ノイズ低減制御特性算出部１４６は、階調変換特性と第１のゲインとが対応付けられた第１情報を保有しており、各領域に対応する第１のゲインを第１情報から取得する第１ゲイン取得部（図示略）と、平均輝度と第２のゲインとが対応付けられた第２情報を保有しており、平均輝度に対応する第２のゲインを第２情報から取得する第２ゲイン取得部（図示略）と、エッジ情報と第３のゲインとが対応付けられた第３情報を保有しており、エッジ情報に対応する第３のゲインを該第３情報から取得する第３ゲイン取得部（図示略）とのうち、少なくともいずれか２つを備え、それぞれの取得部によって決定したゲインを用いて最終的なゲインを求め、この最終的なゲインを階調変換特性に乗算することによってノイズ低減制御特性を算出することとしてもよい。
【符号の説明】
【００６７】
１０４  階調変換特性算出部
１０５  階調変換処理部
１０６、１２６、１３６、１４６  ノイズ低減制御特性算出部
１０７  ノイズ低減処理部
１４０  輝度情報算出部
１４１  エッジ情報算出部
【図１】
2010193384.tif 000003
【図２】
2010193384.tif 000004
【図３】
2010193384.tif 000005
【図４】
2010193384.tif 000006
【図５】
2010193384.tif 000007
【図６】
2010193384.tif 000008
【図７】
2010193384.tif 000009
【図８】
2010193384.tif 000010
【図９】
2010193384.tif 000011
【図１０】
2010193384.tif 000012
【図１１】
2010193384.tif 000013
【図１２】
2010193384.tif 000014
【図１３】
2010193384.tif 000015
【図１４】
2010193384.tif 000016
【図１５】
2010193384.tif 000017
【図１６】
2010193384.tif 000018
【図１７】
2010193384.tif 000019
【図１８】
2010193384.tif 000020
【図１９】
2010193384.tif 000021