(57)【要約】【課題】階層ノイズ低減処理および色抑圧処理を行う場合において、ノイズレベルが大きくなったとしても精度よく色抑圧処理を行えるようにすることを課題とする。【解決手段】画像処理装置は、入力画像から周波数帯域の異なる複数の階層画像を生成する生成手段（３０１）と、前記複数の階層画像の合成比率を決定する比率決定手段（３０７〜３０９）と、前記入力画像よりも低い周波数帯域となされた階層画像を基に色抑圧係数を決定する係数決定手段（３０５，３０６）と、前記合成比率を基に、前記複数の階層画像を合成する合成手段（３１０）と、前記色抑圧係数を基に、前記階層画像の合成後の画像に対して色抑圧を行う色抑圧手段（３１１）と、を有する。【選択図】図３
2020010131.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から周波数帯域の異なる複数の階層画像を生成する生成手段と、
前記複数の階層画像の合成比率を決定する比率決定手段と、
前記入力画像よりも低い周波数帯域となされた階層画像を基に色抑圧係数を決定する係数決定手段と、
前記合成比率を基に、前記複数の階層画像を合成する合成手段と、
前記色抑圧係数を基に、前記階層画像の合成後の画像に対して色抑圧を行う色抑圧手段と、
を有することを特徴とする画像処理装置。
【請求項２】
入力画像から周波数帯域の異なる複数の階層画像を生成する生成手段と、
前記複数の階層画像の合成比率を決定する比率決定手段と、
前記入力画像よりも低い周波数帯域となされた階層画像を基に色抑圧係数を決定する係数決定手段と、
前記色抑圧係数を基に、前記複数の階層画像ごとに色抑圧を行う色抑圧手段と、
前記合成比率を基に、前記色抑圧された後の前記複数の階層画像を合成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項３】
入力画像から周波数帯域の異なる複数の階層画像を生成する生成手段と、
前記複数の階層画像の合成比率を決定する比率決定手段と、
前記入力画像よりも低い周波数帯域となされた階層画像を基に色抑圧係数を決定する係数決定手段と、
前記色抑圧係数を基に、前記合成比率を制御する制御手段と、
前記制御された合成比率を基に、前記複数の階層画像を合成する合成手段と、
を有することを特徴とする画像処理装置。
【請求項４】
前記制御手段は、前記色抑圧係数が小さくなるほど、より高周波成分を含まない階層画像が優先的に出力されるように前記合成比率を制御することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記制御手段は、前記色抑圧係数が小さくなるほど小さい値になる０以上１以下の補正項を、前記合成比率に乗算することで、前記合成比率の制御を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記制御手段は、前記入力画像の合成比率に前記補正項の値を乗算した後の合成比率を、前記入力画像の合成比率から差し引いた差分の値を、より高周波成分を含まない階層画像に対する合成比率に加算するような前記合成比率の制御を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記制御手段は、前記入力画像の合成比率に前記補正項の値を乗算した後の合成比率を、前記入力画像の合成比率から差し引いた差分の値を、それぞれの階層画像に対する合成比率に対し、所定の比率で分配するような前記合成比率の制御を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記複数の階層画像に対してノイズ低減処理を行う低減処理手段を有し、
前記係数決定手段は、前記ノイズ低減処理がなされた後の前記階層画像を基に前記色抑圧係数を決定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記比率決定手段は、前記複数の階層画像に対する前記ノイズ低減処理で参照する範囲より狭い範囲を参照したノイズ低減処理を行った後の入力画像を基に、前記合成比率を決定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記入力画像のノイズレベルに応じて、前記色抑圧係数の決定に用いる前記階層画像を選択する選択手段を有することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記選択手段は、前記ノイズレベルが高くなるほど、より高周波成分を含まない階層画像を選択することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記選択手段は、前記入力画像が撮影された際の撮影感度に応じて前記ノイズレベルを判断することを特徴とする請求項１０または１１に記載の画像処理装置。
【請求項１３】
画像処理装置が実行する画像処理方法であって、
入力画像から周波数帯域の異なる複数の階層画像を生成する生成工程と、
前記複数の階層画像の合成比率を決定する比率決定工程と、
前記入力画像よりも低い周波数帯域となされた階層画像を基に色抑圧係数を決定する係数決定工程と、
前記合成比率を基に、前記複数の階層画像を合成する合成工程と、
前記色抑圧係数を基に、前記階層画像の合成後の画像に対して色抑圧を行う色抑圧工程と、
を有することを特徴とする画像処理方法。
【請求項１４】
画像処理装置が実行する画像処理方法であって、
入力画像から周波数帯域の異なる複数の階層画像を生成する生成工程と、
前記複数の階層画像の合成比率を決定する比率決定工程と、
前記入力画像よりも低い周波数帯域となされた階層画像を基に色抑圧係数を決定する係数決定工程と、
前記色抑圧係数を基に、前記複数の階層画像ごとに色抑圧を行う色抑圧工程と、
前記合成比率を基に、前記色抑圧された後の前記複数の階層画像を合成する合成工程と、
を有することを特徴とする画像処理方法。
【請求項１５】
画像処理装置が実行する画像処理方法であって、
入力画像から周波数帯域の異なる複数の階層画像を生成する生成工程と、
前記複数の階層画像の合成比率を決定する比率決定工程と、
前記入力画像よりも低い周波数帯域となされた階層画像を基に色抑圧係数を決定する係数決定工程と、
前記色抑圧係数を基に、前記合成比率を制御する制御工程と、
前記制御された合成比率を基に、前記複数の階層画像を合成する合成工程と、
を有することを特徴とする画像処理方法。
【請求項１６】
コンピュータを、請求項１から１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像の色ノイズ低減処理後の色抑圧処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像画像に対する画像処理において、色ノイズを抑圧するためには、一般的に平均値フィルタ等のフィルタ処理が用いられる。しかしながら、特に高感度での撮影時に色ノイズの振幅が大きくなった場合、フィルタ処理で抑圧しきれない低周波の色ノイズ成分が残留して画質を劣化させる一因となる。以下、この残留ノイズを、低周波色ノイズと呼称する。
また、このような低周波色ノイズに対する色抑圧技術も存在している。例えば特許文献１には、本来の画像情報に好ましくない影響を及ぼさずに色抑圧を行う技術として、着目画素を含む周辺領域の画素信号の平均値から彩度評価値を求め、低彩度領域の場合は色を抑圧する技術が開示されている。
一方、従来から、画像の平坦部とテクスチャ部にそれぞれ最適なノイズ低減処理を行うための技術の一例として、階層ノイズ低減技術が知られている。この階層ノイズ低減技術では、入力画像を周波数帯域の異なる複数の階層画像に分割し、階層画像のそれぞれに対してノイズ低減処理を行い、それらノイズ低減処理後の階層画像を合成して出力画像を得るようになされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２３９６０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、前述した階層ノイズ低減処理を行うシステムにおいて、例えばノイズレベルが大きくなった場合にも精度よく色抑圧処理を行うことができる技術については、現時点では開示なされていない。
ここで、階層ノイズ低減処理および色抑圧処理を行うことを想定した場合、例えば、階層画像のそれぞれに色抑圧処理を行うような方法が考えられる。しかし、この方法の場合、周波数帯域が高い階層においては、ノイズの振幅が大きく、色抑圧を行うことが困難である。さらに、振幅の高い色ノイズがテクスチャと誤判定されて、周波数帯域が高い階層が出力されることが想定され、この場合、色抑圧を行うことができなくなる。
他にも、例えば、階層ノイズ低減処理後の画像に色抑圧処理を行う方法も考えられる。しかしながら、この処理を回路で実現する場合、色抑圧判定の際に周辺画素を参照するため、画像の垂直方向に対応したディレイラインが必要となり、各ディレイラインに対し階層ノイズ低減処理を行うことが必要になる。このため、回路規模が非常に大きくなってしまいコストも上昇してしまう。
【０００５】
そこで、本発明は、階層ノイズ低減処理および色抑圧処理を行う場合において、ノイズレベルが大きくなったとしても精度よく色抑圧処理を行えるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、入力画像から周波数帯域の異なる複数の階層画像を生成する生成手段と、前記複数の階層画像の合成比率を決定する比率決定手段と、前記入力画像よりも低い周波数帯域となされた階層画像を基に色抑圧係数を決定する係数決定手段と、前記合成比率を基に、前記複数の階層画像を合成する合成手段と、前記色抑圧係数を基に、前記階層画像の合成後の画像に対して色抑圧を行う色抑圧手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、階層ノイズ低減処理および色抑圧処理を行う場合において、ノイズレベルが大きくなったとしても精度よく色抑圧処理を行えるようになる。
【図面の簡単な説明】
【０００８】
【図１】実施形態の撮像装置の構成例を示す図である。
【図２】第１実施形態のノイズ低減処理部のフローチャートである。
【図３】第１実施形態のノイズ低減処理部の構成例を示す図である。
【図４】階層生成部の動作説明に用いる図である。
【図５】彩度評価値から色抑圧係数を決定する一例のグラフを示す図である。
【図６】色抑圧部の処理の説明に用いる図である。
【図７】第２実施形態のノイズ低減処理部のフローチャートである。
【図８】第２実施形態のノイズ低減処理部の構成例を示す図である。
【図９】撮影感度による色抑圧係数検出階層の切り替え処理の一例を示す図である。
【図１０】第３実施形態のノイズ低減処理部のフローチャートである。
【図１１】第３実施形態のノイズ低減処理部の構成例を示す図である。
【図１２】比率修正部の処理の説明に用いる図である。
【発明を実施するための形態】
【０００９】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本発明に係る実施形態の画像処理装置の一適用例である撮像装置１００の概略的な構成例を示したブロック図である。なお、図１には本実施形態に係る主要な構成のみを示しており、一般的なデジタルカメラ等の撮像装置が備えている様々な構成の図示は省略している。
【００１０】
システム制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックの制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行することにより撮像装置１００の各ブロックの動作を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、撮像装置１００の各ブロックの制御プログラムに加え、各ブロックの動作に必要な各種パラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００の各ブロックの動作により生成されたデータの一時的な記憶領域として用いられる。
【００１１】
光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群、絞り、シャッター等を有して構成される。光学系１０４は、被写体等の光学像を撮像部１０５の撮像面上に結像させる。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子（撮像センサ）であり、光学系１０４により撮像面上に結像された光学像を光電変換し、その光電変換により得られたアナログ画像信号を順次Ａ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換し、その画像データをＲＡＭ１０３に出力する。これによりＲＡＭ１０３は、Ａ／Ｄ変換部１０６から供給された画像データを一時的に記憶する。
【００１２】
画像処理部１０７は、ＲＡＭ１０３に一時的に記憶された画像データに対して、ホワイトバランス調整、色補間、ガンマ処理、電子ズーム処理など、様々な画像処理を行う。また詳細については後述するが、本実施形態の画像処理部１０７は、撮像画像のノイズを低減する階層ノイズ低減処理、および色ノイズを抑圧する色抑圧処理に係る各画像処理をも行う。
【００１３】
表示部１０８は、液晶ディスプレイ（ＬＣＤ）等の表示デバイスである。表示部１０８の画面上には、ＲＡＭ１０３や後述する記録部１０９に記録された画像、撮影者（ユーザ）からの指示を受け付けるためのユーザーイン操作ターフェイス画像等が表示される。また、表示部１０８には、撮像部１０５により撮像されているライブビュー画像の表示も行われる。
【００１４】
＜第１実施形態＞
図２は、第１実施形態における色抑圧処理を含む階層ノイズ低減処理の処理フローチャートである。このフローチャートの処理は、図３に示すノイズ低減処理部３００により実行される。ノイズ低減処理部３００は、画像処理部１０７に含まれ、図３に示すような各機能を有する。以下、図２および図３を用いて、第１実施形態における色抑圧処理を含む階層ノイズ低減処理について詳細な説明を行う。なお、以下の説明では、図２のフローチャートの各処理ステップＳ２０１〜Ｓ２０７をＳ２０１〜Ｓ２０７と略記し、このことは後述する他のフローチャートでも同様とする。
【００１５】
先ず、Ｓ２０１において、ノイズ低減処理部３００は、入力画像を受け付ける。ここで、入力画像は、図３に示すように、図１の撮像部１０５で撮像されたＲＡＷ画像に対して前段処理が施された画像である。前段処理とは、例えば種々のセンサ補正処理や光学収差の補正処理等が挙げられる。前段処理は、画像処理部１０７により行われてもよいし、別途設けられた不図示の前段処理部等により行われてもよい。
【００１６】
次に、Ｓ２０２において、ノイズ低減処理部３００の階層生成部３０１は、Ｓ２０１で受け付けられた入力画像を、それぞれ周波数帯域の異なる複数の階層画像に分割する階層画像生成処理を行う。
図４は、階層生成部３０１における階層画像生成処理の機能説明に用いる図である。本実施形態では、図４に示すように、入力画像から三つの階層画像を生成する例を挙げて説明する。図４に示すように、入力画像４００は、いわゆるベイヤー配列に対応したＲＡＷ画像（以下、ベイヤーＲＡＷ画像とする。）であり、例えば周波数情報４３０で表されるような撮像センサのナイキスト周波数ｆｎまでの周波数成分を有する画像であるとする。入力画像４００は、色差変換部４１１と帯域制限部４０１と帯域制限部４０２とにそれぞれ送られる。
【００１７】
色差変換部４１１は、入力画像４００に対して色差変換処理を行う。色差変換処理は、例えばベイヤーＲＡＷ画像に対してデモザイキング処理を行い、色差信号を生成する既知の処理である。この色差変換部４１１により入力画像４００を色差変換処理した画像は、第１階層画像４２１として階層生成部３０１から出力される。第１階層画像４２１は、周波数情報４３１で表されるような周波数成分、つまり入力画像４００と同じ周波数成分を含む画像である。
【００１８】
帯域制限部４０１は、入力画像４００に対して、所定周波数以上の高周波成分をカットする帯域制限処理を行い、その帯域制限処理後の画像を色差変換部４１２に出力する。色差変換部４１２は、帯域制限部４０１による帯域制限処理後の画像に対し、デモザイキング処理を行って色差信号を生成する。色差変換部４１２により色差変換処理された画像は、第２階層画像４２２として階層生成部３０１から出力される。第２階層画像４２２は、周波数情報４３２で表されるように高周波成分がカットされた画像である。
【００１９】
帯域制限部４０２は、入力画像４００に対して、帯域制限部４０１における所定周波数よりも低い所定周波数以上の高周波成分をカットする帯域制限処理を行い、その帯域制限処理後の画像を色差変換部４１３に出力する。色差変換部４１３は、帯域制限部４０２による帯域制限処理後の画像に対し、デモザイキング処理を行って色差信号を生成する。色差変換部４１３により色差変換処理された画像は、第３階層画像４２３として階層生成部３０１から出力される。第３階層画像４２３は、周波数情報４３３で表されるように、第２階層画像４２２よりもさらに低い周波数までの高周波成分がカットされた画像である。
【００２０】
前述したように、第２階層画像４２２は、第１階層画像４２１と比べて高周波成分がカットされた画像として生成され、第３階層画像４２３は、第２階層画像４２２と比べてさらに低い周波数までの高周波成分がカットされた画像として生成される。これら第１〜第３階層画像４２１〜４２３において、第１階層画像４２１は最も細かいテクスチャまで含まれた画像であり、一方、第３階層画像４２３が最も暈けた画像となり、第２階層画像４２２はそれらの中間の画像となる。また、階層生成部３０１において、入力画像４００はベイヤーＲＡＷ画像であるが、出力される各階層画像は色差信号Ｃｂ，Ｃｒによる色差画像となっている。
【００２１】
図２と図３に説明を戻す。Ｓ２０２の次のＳ２０３において、ノイズ低減処理部３００は、第１〜第３階層画像に対しそれぞれノイズ低減処理を行う。
Ｓ２０３において、階層生成部３０１により生成された第１階層画像はノイズ低減部３０２および簡易ノイズ低減部３０７に送られ、一方、第２階層画像はノイズ低減部３０３に、第３階層画像はノイズ低減部３０４に送られる。ノイズ低減部３０２〜３０４は、それぞれ入力された階層画像に対してノイズ低減処理を行う。ノイズ低減処理は、既存のエッジ保存型のフィルタ処理であり、例えば、着目画素から所定の参照範囲内の各参照画素に対し、参照画素値と着目画素値の差分値が所定値以内となる各画素の平均値を求める処理である。簡易ノイズ低減部３０７については後述する。
【００２２】
次にＳ２０４において、ノイズ低減処理部３００は色抑圧係数を決定する。色抑圧係数を決定する処理は、ノイズ低減部３０４によるノイズ低減後の第３階層画像を用いて、彩度評価値算出部３０５とその次段の係数算出部３０６とにより行われる。以下、色抑圧係数決定処理について説明する。
【００２３】
先ず、彩度評価値算出部３０５は、着目画素位置ごとに彩度評価値を算出する処理を行う。ここでは、着目画素の彩度値Ｓ(i,j)を、彩度評価値として用いる。なお、(i,j)は２次元画像上の画素位置を示している。彩度値Ｓ(i,j)は、色差信号値Ｃｂ(i,j)，Ｃｒ(i,j)を用いて、下記の式（１）により算出される。
【００２４】
Ｓ(i,j)＝√（Ｃｂ(i,j)2＋Ｃｒ(i,j)2）        式（１）
【００２５】
次に、係数算出部３０６は、彩度評価値から色抑圧係数を算出するような係数決定処理を行う。ここで、色抑圧係数は、後述する色抑圧処理時に色差信号に乗じるゲインである。したがって、色抑圧係数の変域としては、０以上１以下の範囲を取り得る。
【００２６】
図５は、彩度評価値から色抑圧係数を算出する際に用いられる、彩度評価値と色抑圧係数との対応関係の一例を表したグラフである。図５に示すように、色抑圧係数は、彩度評価値が所定値よりも低い領域では１よりも小さい値に決定され、彩度評価値の値が小さくなるほど色抑圧係数の値も小さくなされる。一方、彩度評価値が所定値以上の領域では色抑圧係数は１に決定される。この理由としては、彩度が高い領域に色抑圧処理を行うと、色抜けの弊害が目立ってしまうため、高彩度領域に対しては色抑圧処理を行わない方がよいと考えられるからである。
以上が、Ｓ２０４の処理内容である。
【００２７】
次に、Ｓ２０５において、ノイズ低減処理部３００は、階層合成比率を決定する合成比率決定処理を行う。階層合成比率の決定処理は、階層生成部３０１からの第１階層画像を用いて、簡易ノイズ低減部３０７からエッジ評価値算出部３０８、さらに比率算出部３０９までの構成により行われる。以下、階層合成比率決定処理について説明する。
【００２８】
先ず、簡易ノイズ低減部３０７は、第１階層画像に対し、簡易的なノイズ低減処理を行う。ここで、簡易的なノイズ低減処理というのは、例えば前述したノイズ低減部３０２〜３０４によるノイズ低減処理と比べて、着目画素からの参照範囲を狭めた処理である。簡易的なノイズ低減処理を行う理由は、後段のエッジ評価値算出部３０８で周辺画素を参照する処理が行われ、その回路処理には垂直のディレイラインが必要となり、前段の本処理を簡易的にすることで、エッジ評価値算出処理の回路規模を削減できるからである。
【００２９】
次に、エッジ評価値算出部３０８では、簡易的なノイズ低減処理後の第１階層画像について、各画素のエッジ評価値を算出する。ここで、エッジ評価値の算出方法としては、例えば既知のエッジ抽出フィルタを施した時の出力値を利用するような方法を用いることができる。
【００３０】
次に、比率算出部３０９では、エッジ評価値を基に階層合成比率を算出するような合成比率決定処理を行う。ここで、合成比率は、例えば既知の階層ノイズ低減処理と同様の方法で算出されたものを利用することができる。
以上が、Ｓ２０５の処理内容である。
【００３１】
次に、Ｓ２０６において、ノイズ低減処理部３００は、階層合成処理を行う。階層合成処理は、合成部３１０により行われる。階層合成処理は、前述したＳ２０５により決定された合成比率を基に、第１階層画像〜第３階層画像の各階層画像のそれぞれ対応した位置の各画素値を線形合成する処理である。ここで、第１階層画像の合成比率をｒ１(i,j)とし、同様に第２階層画像の合成比率をｒ２(i,j)、第３階層画像の合成比率をｒ３(i,j)とする。また、第１階層画像の着目位置における画素値をＮ１(i,j)とし、同様に第２階層画像の着目位置の画素値をＮ２(i,j)、第３階層画像の着目位置の画素値をｎ３(i,j)とする。この場合、階層合成処理後の画素値Ｎ(i,j)は、以下の式（２）で表される。
【００３２】
Ｎ(i,j)＝（ｒ１(i,j)＊Ｎ１(i,j)＋ｒ２(i,j)＊Ｎ２(i,j)＋ｒ３(i,j)＊Ｎ３(i,j)）／（ｒ１(i,j)＋ｒ２(i,j)＋ｒ３(i,j)）          式（２）
【００３３】
次に、Ｓ２０７において、ノイズ低減処理部３００は、階層合成処理後の画像に対して色抑圧処理を行う。色抑圧処理は、色抑圧部３１１により行われる。
図６は、色抑圧部３１１で行われる色抑圧処理の機能の説明に用いる図である。色抑圧処理は、Ｓ２０５で決定された色抑圧係数を、階層合成後の色差信号Ｃｂ，Ｃｒに乗じる処理である。すなわち色抑圧部３１１では、図６に示すように、乗算部６１１により階層合成後の色差信号Ｃｂに色抑圧係数を乗算する処理が行われ、乗算部６１２により階層合成後の色差信号Ｃｒに色抑圧係数を乗算する処理が行われる。そして、前述した図５に示したように、色抑圧を行う対象領域には１より小さい色抑圧係数が設定されるため、その色抑圧係数を乗算することで当該対象領域の色抑圧がなされることになる。
【００３４】
その後、ノイズ低減処理部３００は、出力画像を後段処理に送る。ここで、後段処理としては、画像処理部１０７における例えば色調整処理などの種々の画像処理が挙げられる。
【００３５】
以上が、第１実施形態に係る処理内容である。第１実施形態においては、色抑圧係数の算出を、第３階層画像すなわち最も暈けた画像に対してノイズ抑圧を施した画像を用いて行っている。すなわち、色抑圧係数は、局所的な高振幅ゲインの影響を殆ど受けていない係数として求められる。また第１実施形態では、階層合成後に色抑圧処理を行っているため、例えば合成比率が高振幅ノイズの影響を受けて所望外の値となった場合でも、色抑圧処理を行うことができる。また、第１実施形態の処理では、階層ノイズ低減処理における低周波階層を利用して色抑圧係数の算出を行っているため、ディレイラインが小さくてよく、回路規模の増大を抑制することができる。したがって、第１実施形態によれば、階層ノイズ低減処理を行うシステムにおいて、ノイズレベルが大きくなった場合にも精度よく色抑圧処理を行う事ができる。
【００３６】
＜第２実施形態＞
図７は、第２実施形態における色抑圧処理を含む階層ノイズ低減処理のフローチャートである。このフローチャートの処理は、図８に示すノイズ低減処理部８００により実行される。ノイズ低減処理部８００は、図１の画像処理部１０７に含まれ、図８に示すような各機能を有する。以下、図７および図８を用いて、第２実施形態における色抑圧処理を含む階層ノイズ低減処理について詳細な説明を行う。
【００３７】
図７のフローチャートにおいて、Ｓ７０１〜Ｓ７０５までの各処理は図２のＳ２０１〜Ｓ２０５までの各処理と同じであるため、それらの説明は省略する。また図８に示したノイズ低減処理部８００において、階層生成部８０１〜比率算出部８０９の各構成は、図３の階層生成部３０１〜比率算出部３０９の各構成とそれぞれ同じであるため、それらの説明についても省略する。
【００３８】
第２実施形態において第１実施形態と異なる点は、Ｓ７０７で階層合成処理を行う前に、Ｓ７０６で各階層画像に対する色抑圧処理を行うことである。
Ｓ７０６の色抑圧処理は、図８の色抑圧部８１０〜８１２において行われる。色抑圧部８１０にはノイズ低減部８０２によるノイズ低減処理後の第１階層画像と、係数算出部８０６にて決定された色抑圧係数とが入力される。また色抑圧部８１１にはノイズ低減部８０３によるノイズ低減処理後の第２階層画像と、係数算出部８０６からの色抑圧係数とが入力される。また色抑圧部８１２には、ノイズ低減部８０４によるノイズ低減処理後の第３階層画像と、係数算出部８０６からの色抑圧係数とが入力される。色抑圧部８１０〜８１２でそれぞれ行われる色抑圧処理は、第１実施形態で説明したのと同様の処理である。色抑圧部８１０で行われる色抑圧処理は以下の式（３）で表され、同様に、色抑圧部８１１で行われる色抑圧処理は式（４）、色抑圧部８１２で行われる色抑圧処理は式（５）で表される。なおこれら式中のＣｂ１(i,j)は第１階層画像における色抑圧処理前の色差信号の信号値であり、同様に、Ｃｂ２(i,j)は第２階層画像の、Ｃｂ３(i,j)は第３階層画像の、それぞれ色抑圧処理前の色差信号の信号値である。また、Ｃｂ１(i,j)'は第１階層画像の色抑圧処理後の色差信号の信号値であり、同様に、Ｃｂ２(i,j)'は第２階層画像の、Ｃｂ３(i,j)'は第３階層画像の、それぞれ色抑圧処理後の色差信号の信号値である。また、式中のＫは色抑圧係数である。
【００３９】
Ｃｂ１(i,j)'＝Ｋ(i,j)×Ｃｂ１(i,j)        式（３）
Ｃｂ２(i,j)'＝Ｋ(i,j)×Ｃｂ２(i,j)        式（４）
Ｃｂ３(i,j)'＝Ｋ(i,j)×Ｃｂ３(i,j)        式（５）
【００４０】
これら式（３）〜式（５）で示したように、各階層画像に対する色抑圧処理では、共通の色抑圧係数Ｋが用いられる。なお、式（３）〜式（５）では色差信号Ｃｂに対する色抑圧処理のみを示しているが、色差信号Ｃｒに対しても同様の式により色抑圧処理が行われる。
【００４１】
そして、次のＳ７０７において、合成部８１３は、色抑圧部８１０〜８１２で色抑圧処理がなされた後の各階層画像を、Ｓ７０５で決定された合成比率を基に合成する。Ｓ７０７における階層合成処理は、前述したＳ２０６で説明した処理と同様である。その後、ノイズ低減処理部８００は、階層合成処理後の出力画像を、前述した第１実施形態の場合と同様の後段処理に送る。
【００４２】
第２実施形態においても、第１実施形態と同様に、色抑圧係数は第３階層画像（最も暈けた画像）に対しノイズ抑圧処理した画像を用いて求められている。そして、第２実施形態の場合、その決定した色抑圧係数を用いて、階層合成前の各階層画像に対して色抑圧処理を行うようになされている。第２実施形態によれば、各階層画像で事前に色抑圧処理を行っているため、合成比率が高振幅ノイズの影響を受けて所望外の値となった場合でも、前述した第１実施形態と同等の効果を得ることができる。
【００４３】
また、第２実施形態において、色抑圧係数を求めるための構成（彩度評価値算出部および色抑圧係数算出部）を、第１階層画像のノイズ低減後、および第２階層画像のノイズ低減後にも設けて、色抑圧係数を算出する階層を適応的に選択してもよい。このように、色抑圧係数を、より高周波成分を含む階層からも算出可能にすることのメリットは、例えばエッジに沿った色抑圧係数の検出が可能になるという点である。ただしこの場合、デメリットとして、算出される色抑圧係数がノイズの影響を受ける可能性があるため、色抑圧係数を算出する階層は、入力画像のノイズレベルによって切り替えるようにすることが望ましい。なお、入力画像のノイズレベルは、その画像を撮影した際の撮影感度（ＩＳＯ感度）が高くなるほど増加する傾向にあり、撮影時に設定された撮影感度を基にノイズレベルを判断して色抑圧係数を算出する階層を選択（切り替える）することができる。
【００４４】
図９は、各階層において色抑圧係数を算出し、入力画像の撮影感度（ＩＳＯ感度）に応じて、いずれの階層から算出した色抑圧係数を選択して用いるかを切り替える係数切り替え処理の一例を説明する図である。つまり、図９は、入力画像の撮影感度が高くなるほど、高周波成分がカットされて少なくなっている階層画像から算出した色抑圧係数を選択するような係数切り替え処理の例を表している。このように階層毎に色抑圧係数を算出し、入力画像の撮影感度（つまりノイズレベル）に応じて、選択する色抑圧係数（つまり色抑圧係数を算出する階層）を切り替えることは、前述した第１実施形態や後述する第３実施形態についても適用可能である。
【００４５】
＜第３実施形態＞
前述の第１，第２実施形態では、第３階層画像から色抑圧係数を算出して、階層合成後の画像もしくは階層合成前の各階層画像に対し色抑圧処理を行う構成を説明した。第３実施形態では、色抑圧係数を用いて合成比率を制御する処理について説明する。
【００４６】
図１０は、第３実施形態における色抑圧処理を含む階層ノイズ低減処理のフローチャートである。このフローチャートの処理は、図１１に示すノイズ低減処理部１１００により実行される。ノイズ低減処理部１１００は、図１の画像処理部１０７に含まれ、図１１に示すような各機能を有する。以下、図１０および図１１を用いて、第３実施形態における色抑圧処理を含む階層ノイズ低減処理について詳細な説明を行う。
【００４７】
図１０のフローチャートにおいて、Ｓ１１０１〜Ｓ１１０５までの各処理は図２のＳ２０１〜Ｓ２０５までの各処理と同じであるため、それらの説明は省略する。また図１１に示したノイズ低減処理部１１００において、階層生成部１１０１〜比率算出部１１０９の各構成は、図３の階層生成部３０１〜比率算出部３０９の各構成とそれぞれ同じであるため、それらの説明についても省略する。
【００４８】
第３実施形態において第１実施形態と異なる点は、Ｓ１００６の階層合成比率修正処理が行われること、および、色抑圧処理が行われないことである。第３実施形態において、Ｓ１００６の階層合成比率修正処理は、図１１の比率修正部１１１０により行われる。比率修正部１１１０には、比率算出部１１０９により求められた合成比率と、係数算出部１１０６により求められた色抑圧係数とが入力される。
【００４９】
図１２は、比率修正部１１１０による合成比率修正処理に用いられる、色抑圧係数と合成比率補正項ｋとの対応関係の一例を表すグラフである。合成比率修正処理では、先ず、図１２のグラフを基に、色抑圧係数から合成比率補正項ｋを決定する。ここで、合成比率補正項ｋの変域は０≦ｋ≦１である。図１２に示すように、合成比率補正項ｋは、色抑圧係数が所定の第１係数値以下では１より小さい一定の値となされ、一方、色抑圧係数が第１係数値より大きい第２係数値以上では１となされる。また、色抑圧係数が第１係数値より大きく第２係数値未満である場合、合成比率補正項ｋは、色抑圧係数が小さくなるほど小さい値になる。
【００５０】
そして、比率修正部１１１０は、その合成比率補正項ｋを用いて、合成比率を修正、すなわちＳ１００６で決定された合成比率を制御する。比率修正部１１１０による合成比率修正処理は、下記の式（６）〜式（８）により表される。式（６）〜式（８）において、ｒ１(i,j)は第１階層における修正前の合成比率を表し、同様に、ｒ２(i,j)は第２階層の修正前の合成比率、ｒ３(i,j)は第３階層の修正前の合成比率を表す。また式中のＲ１(i,j)は第１階層の修正後の合成比率を表し、Ｒ２(i,j)は第２階層の修正後の合成比率、Ｒ３(i,j)は第３階層の修正後の合成比率を表し、ｋ(i,j)は合成比率補正項である。
【００５１】
Ｒ１(i,j)＝ｋ(i,j)＊ｒ１(i,j)                     式（６）
Ｒ２(i,j)＝ｒ２(i,j)                              式（７）
Ｒ３(i,j)＝ｒ３(i,j)＋（ｒ１(i,j)−Ｒ１(i,j)）    式（８）
【００５２】
これら式（６）〜式（８）から判るように、第１階層の合成比率Ｒ１は、修正前の合成比率ｒ１に０以上１以下の補正項が乗算されるため、修正前より小さくなる。また、第３階層の合成比率Ｒ３は、第１階層の修正前の合成比率（ｒ１）から修正後の合成比率（Ｒ１）を差し引いた差分（ｒ１−Ｒ１）を、第３階層の修正前の合成比率ｒ３に加算して算出されるため、修正前より大きくなる。つまり、色抑圧係数が小さい場合に、第１階層の合成比率Ｒ１はより小さくなり、第３階層の合成比率Ｒ３が大きくなる。したがって、合成比率が局所的な高振幅ノイズの影響を受け、第１階層の比重が高くなった場合でも、色抑圧係数が小さくなる領域であれば低周波画像が優先的に出力され、これにより合成比率の誤判定による影響を低減できる。
【００５３】
第３実施形態においては、合成比率を色抑圧係数によって制御するという、第１実施形態および第２実施形態とは異なるアプローチで、前述した課題としていた現象の低減を行うことができる。
なお、第３実施形態では、第１階層の修正前後の合成比率の差分を第３階層の修正前の合成比率に加算していたが、第２階層の合成比率に加算してもよいし、各階層に所定比率で分配して加算してもよい。
【００５４】
第１〜第３実施形態の前述したノイズ低減処理部の処理は、ハードウェア構成のみで実現されてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェア構成によって実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ソフトウェア構成のためのプログラムは、予めＲＯＭ等の用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。
【００５５】
また、前述の例では撮像装置としてデジタルカメラを想定したが、本実施形態はデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、監視カメラ、工業用カメラ、車載カメラ、医療用カメラ等にも適用可能である。
【００５６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。
【００５７】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５８】
１０１：システム制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：光学系、１０５：撮像部、１０６：Ａ／Ｄ変換部、１０７：画像処理部、１０８：表示部、１０９：記録部、３００，９００，１１００：ノイズ低減処理部
【図１】
2020010131.tif 000003
【図２】
2020010131.tif 000004
【図３】
2020010131.tif 000005
【図４】
2020010131.tif 000006
【図５】
2020010131.tif 000007
【図６】
2020010131.tif 000008
【図７】
2020010131.tif 000009
【図８】
2020010131.tif 000010
【図９】
2020010131.tif 000011
【図１０】
2020010131.tif 000012
【図１１】
2020010131.tif 000013
【図１２】
2020010131.tif 000014