(57)【要約】【課題】高性能なノイズ除去処理が可能な画像処理装置を提供する。【解決手段】画像処理装置は、第１画素と第２画素との輝度差の絶対値が第１閾値以下であって、かつ、第１画素と第２画素との彩度差の絶対値が第２閾値以下であるか否かを判定する判定手段と、輝度差の絶対値が第１閾値以下であって、かつ、彩度差の絶対値が第２閾値以下である場合、第１画素および第２画素の色差信号に対して平滑化処理を行う処理手段と、第１画素と第１画素の近傍画素との間の輝度値の変化に応じて第１閾値を変更可能に設定する設定手段とを有する。【選択図】図２
2015179951.tif 000002
【特許請求の範囲】
【請求項１】
第１画素と第２画素との輝度差の絶対値が第１閾値以下であって、かつ、該第１画素と該第２画素との彩度差の絶対値が第２閾値以下であるか否かを判定する判定手段と、
前記輝度差の絶対値が前記第１閾値以下であって、かつ、前記彩度差の絶対値が前記第２閾値以下である場合、前記第１画素および前記第２画素の色差信号に対して平滑化処理を行う処理手段と、
前記第１画素と該第１画素の近傍画素との間の輝度値の変化に応じて前記第１閾値を変更可能に設定する設定手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記設定手段は、前記第１画素と前記近傍画素との間の前記輝度値の変化が大きいほど前記第１閾値を大きくするように設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、
前記第１画素と前記近傍画素との間の前記輝度値の変化量が第１変化量よりも小さい場合、前記第１閾値として第１の値を設定し、
前記第１画素と前記近傍画素との間の前記輝度値の変化量が第２変化量よりも大きい場合、前記第１閾値として前記第１の値よりも大きい第２の値を設定する、ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記設定手段は、前記第１画素と前記近傍画素との間の前記輝度値の変化量が前記第１変化量と前記第２変化量との間の第３変化量である場合、前記第１閾値として前記第１の値と前記第２の値との間の第３の値を設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１画素は、着目画素であり、
前記第２画素は、前記着目画素の複数の周辺画素のうち少なくとも一つの画素であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記近傍画素は、前記第１画素の隣接画素であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記設定手段は、前記第１画素と前記近傍画素との間の前記輝度値の変化が大きいほど前記第２閾値を大きくするように設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
第１画像データおよび該第１画像データよりも解像度の低い第２画像データを生成する生成手段と、
前記第１画像データと前記第２画像データを合成する合成手段と、を更に有し、
前記設定手段は、前記第１画像データおよび前記第２画像データのそれぞれに関して、前記第１画素と前記近傍画素との間の前記輝度値の変化が大きいほど前記第１閾値を大きくするように設定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記設定手段は、
前記第１画像データに関し、前記第１画素と前記近傍画素との間の前記輝度値の変化量が第１変化量よりも小さい場合、前記第１閾値として第１の値を設定し、
前記第２画像データに関し、前記第１画素と前記近傍画素との間の前記輝度値の変化量が第３変化量よりも小さい場合、前記第１閾値として前記第３の値を設定し、
前記第３変化量は前記第１変化量よりも小さいこと、および、前記第３の値は前記第１の値よりも大きいことの少なくともいずれかを満たすことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記設定手段は、
前記第１画像データに関し、前記第１画素と前記近傍画素との間の前記輝度値の変化量が第２変化量よりも大きい場合、前記第１閾値として前記第１の値よりも大きい第２の値を設定し、
前記第２画像データに関し、前記第１画素と前記近傍画素との間の前記輝度値の変化量が第４変化量よりも大きい場合、前記第１閾値として前記第３の値よりも大きい第４の値を設定し、
前記第４変化量は前記第２変化量よりも小さいこと、および、および、前記第４の値は前記第２の値よりも大きいことの少なくともいずれかを満たすことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
撮像部と、
前記撮像部からの出力信号に基づいて画像処理を行うように構成された、請求項１乃至１０のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
【請求項１２】
第１画素と該第１画素の近傍画素との間の輝度値の変化に応じて第１閾値を設定するステップと、
前記第１画素と第２画素との輝度差の絶対値が前記第１閾値以下であって、かつ、該第１画素と該第２画素との彩度差の絶対値が第２閾値以下であるか否かを判定するステップと、
前記輝度差の絶対値が前記第１閾値以下であって、かつ、前記彩度差の絶対値が前記第２閾値以下である場合、前記第１画素および前記第２画素の色差信号に対して平滑化処理を行うステップと、を有することを特徴とする画像処理方法。
【請求項１３】
コンピュータに、請求項１２に記載の画像処理方法を実行させるように構成されていることを特徴とするプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズ成分を除去する画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置では、高感度化や高画素化の要求により、ノイズ成分を高精度に除去することが求められている。特許文献１には、着目画素と他の画素の輝度信号の差を表す輝度差分信号、および、着目画素と他の画素の彩度信号の差を表す色差分信号を取得し、これらの差分信号と予め定められた閾値とを比較してノイズ成分の除去量を決定する撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１０９４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の撮像装置では、高輝度エッジに発生する色つきを除去しようとする場合、輝度差分信号に対する閾値を大きくしてノイズ処理の効果を得る必要がある。しかし、このとき、色つき被写体のエッジ部において、色のエッジの解像感が消失しやすい。
【０００５】
そこで本発明は、高性能なノイズ除去処理を実行可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００６】
本発明の一側面としての画像処理装置は、第１画素と第２画素との輝度差の絶対値が第１閾値以下であって、かつ、該第１画素と該第２画素との彩度差の絶対値が第２閾値以下であるか否かを判定する判定手段と、前記輝度差の絶対値が前記第１閾値以下であって、かつ、前記彩度差の絶対値が前記第２閾値以下である場合、前記第１画素および前記第２画素の色差信号に対して平滑化処理を行う処理手段と、前記第１画素と該第１画素の近傍画素との間の輝度値の変化に応じて前記第１閾値を変更可能に設定する設定手段とを有する。
【０００７】
本発明の他の側面としての撮像装置は、撮像部と、撮像部からの出力信号に基づいて画像処理を行うように構成された前記画像処理装置とを有する。
【０００８】
本発明の他の側面としての画像処理方法は、第１画素と該第１画素の近傍画素との間の輝度値の変化に応じて第１閾値を設定するステップと、前記第１画素と第２画素との輝度差の絶対値が前記第１閾値以下であって、かつ、該第１画素と該第２画素との彩度差の絶対値が第２閾値以下であるか否かを判定するステップと、前記輝度差の絶対値が前記第１閾値以下であって、かつ、前記彩度差の絶対値が前記第２閾値以下である場合、前記第１画素および前記第２画素の色差信号に対して平滑化処理を行うステップとを有する。
【０００９】
本発明の他の側面としてのプログラムは、コンピュータに、前記画像処理方法を実行させるように構成されている。
【００１０】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１１】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１２】
本発明によれば、高性能なノイズ除去処理を実行可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態における撮像装置のブロック図である。
【図２】第１の実施形態における輝度平滑化処理閾値の設定動作を示すフローチャートである。
【図３】第１の実施形態における色ＮＲ部の動作を示すフローチャートである。
【図４】第１の実施形態における平滑化処理の説明図である。
【図５】第１の実施形態における輝度平滑化処理閾値の説明図である。
【図６】第１の実施形態における輝度平滑化処理閾値の説明図である。
【図７】第１の実施形態において、輝度の傾きと輝度平滑化処理閾値との関係図である。
【図８】第２の実施形態における撮像装置のブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１５】
（第１の実施形態）
まず、図１を参照して、本発明の第１の実施形態における撮像装置の構成について説明する。図１は、本実施形態における撮像装置１００のブロック図である。図１の撮像装置１００は、撮像部１０００、および、画像処理装置を構成するその他の要素を備えている。画像処理装置は、撮像部１０００からの出力信号に基づいて画像処理を行うように構成されている。
【００１６】
撮像部１０００は、撮影レンズ（撮影光学系）及び撮像素子を含み、光学像（被写体像）を光電変換して画像信号（アナログ信号）を出力する。撮像部１０００から出力されたアナログ信号は、Ａ／Ｄ変換部１００１に入力される。Ａ／Ｄ変換部１００１は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部１００１によりデジタル信号に変換された画像信号（デジタル画像信号）は、ＷＢ部１００２（ホワイトバランス部）に入力される。ＷＢ部１００２は、デジタル画像信号に対して、公知のホワイトバランス調整を行う。
【００１７】
ＷＢ部１００２から出力された画像信号（輝度信号）は、輝度ＮＲ部１００３（輝度ノイズリダクション部）に入力される。輝度ＮＲ部１００３は、ＷＢ部１００２から出力された画像信号に対して、輝度ＮＲ処理（輝度ノイズリダクション処理）を行う。輝度ＮＲ処理としては、画像に含まれるエッジ成分の方向を検出し、検出したエッジ成分の方向に沿った低域通過フィルタを用いた平滑化処理によりノイズを低減する公知の方法を用いることができる。ただし、本実施形態はこれに限定されるものではなく、他の方法を用いてもよい。輝度ＮＲ部１００３で補正された（輝度ＮＲ処理が行われた）輝度信号は、輝度信号処理部１００４に入力される。輝度信号処理部１００４は、輝度信号に対して、公知のガンマ補正などの輝度信号処理を行う。
【００１８】
また、ＷＢ部１００２から出力された画像信号は、色補間部１００５に入力される。色補間部１００５は、画像信号に対して公知の色補間処理を行い、画像信号を色差信号Ｖ（Ｒ−Ｙ）、Ｕ（Ｂ−Ｙ）などに変換する。色補間部１００５から出力された色差信号は、色ＮＲ部１００６（色ノイズリダクション部）に入力される。色ＮＲ部１００６は、色差信号に対して色ＮＲ処理（補正処理）を行う。なお、この詳細については後述する。色ＮＲ部１００６は、Ｖ方向ＮＲ処理部１００７（垂直方向ＮＲ処理部）およびＨ方向ＮＲ処理部１００８（水平方向ＮＲ処理部）を備えて構成される。Ｖ方向ＮＲ処理部１００７は垂直方向に色ＮＲ処理を行い、その後、Ｈ方向ＮＲ処理部１００８は水平方向に色ＮＲ処理を行う。本実施形態において、Ｖ方向ＮＲ処理部１００７は、判定手段１０７１、処理手段１０７２、および、設定手段１０７３を備えている。好ましくは、Ｈ方向ＮＲ処理部１００８にも同様の各手段が設けられている。なお、これらの各手段の動作については後述する。
【００１９】
色ＮＲ部１００６で処理（補正）されて得られた色信号は、色信号処理部１００９に入力される。色信号処理部１００９は、色信号（色差信号）に対して、公知の色変換マトリックス処理や色抑圧処理などの色補正処理を行う。本実施形態において、色ＮＲ部１００６は、色差信号に含まれるエッジ信号を保存しつつ、エッジとしては振幅が小さいレベルの信号をノイズとして除去する。続いて図３を参照して、色ＮＲ部１００６の動作の一例について説明する。
【００２０】
図３は、色ＮＲ部１００６の動作を示すフローチャートである。ここでは、Ｖ方向ＮＲ処理部１００７の動作について、輝度成分信号（輝度信号）をＹ、色成分信号（色信号、色差信号）をＵＶとして説明する。まずステップＳ１０１において、Ｖ方向ＮＲ処理部１００７は、着目画素における色成分信号用の閾値である色平滑化処理閾値Ｔｈ＿ｃを設定する。そしてステップＳ１０２において、Ｖ方向ＮＲ処理部１００７（設定手段１０７３）は、着目画素における輝度成分信号用の閾値である輝度平滑化処理閾値Ｔｈ＿ｙを設定する。
【００２１】
続いてステップＳ１０３において、Ｖ方向ＮＲ処理部１００７は、画素ごとに色成分信号（色差信号）から以下の式（１）に基づいて彩度信号Ｃを生成する。
【００２２】
【数１】
2015179951.tif 000003
【００２３】
次に、ステップＳ１０４において、Ｖ方向ＮＲ処理部１００７は、着目画素の彩度信号Ｃｃと周辺画素の彩度信号Ｃｉとの差分絶対値ＤＩＦＦ＿Ｃ（ＡＢＳ（Ｃｃ−Ｃｉ））を算出する。続いてステップＳ１０５において、Ｖ方向ＮＲ処理部１００７は、着目画素の輝度信号Ｙｃと周辺画素の輝度信号Ｙｉとの差分絶対値ＤＩＦＦ＿Ｙ（ＡＢＳ（Ｙｃ−Ｙｉ））を算出する。なお、処理を簡略化するため、輝度信号Ｙの代わりにＧ画素の値を用いる（すなわち、Ｙ＝Ｇとする）ものとして説明を行う。
【００２４】
次に、ステップＳ１０６において、Ｖ方向ＮＲ処理部１００７（判定手段１０７１）は、差分絶対値ＤＩＦＦ＿Ｃが色平滑化処理閾値Ｔｈ＿ｃ以下であって、かつ、差分絶対値ＤＩＦＦ＿Ｙが輝度平滑化処理閾値Ｔｈ＿ｙ以下であるか否かを判定する。ＤＩＦＦ＿Ｃ≦Ｔｈ＿ｃかつＤＩＦＦ＿Ｙ≦Ｔｈ＿ｙが成立する場合、ステップＳ１０７に進み、周辺画素を平滑化の対象画素とするフラグを立てる。一方、ステップＳ１０６の判定条件（ＤＩＦＦ＿Ｃ≦Ｔｈ＿ｃかつＤＩＦＦ＿Ｙ≦Ｔｈ＿ｙ）が成立しない場合、ステップＳ１０８に進む。
【００２５】
ステップＳ１０８において、Ｖ方向ＮＲ処理部１００７は、演算対象となる周辺画素が存在するか否かを判定する。演算対象となる周辺画素が存在する場合、ステップＳ１０３に戻り、ステップＳ１０３〜Ｓ１０８を繰り返す。一方、ステップＳ１０８にて演算対象となる周辺画素が存在しない場合、ステップＳ１０９に進む。
【００２６】
ステップＳ１０９において、Ｖ方向ＮＲ処理部１００７（処理手段１０７２）は、平滑化の対象となるフラグを立てた画素（周辺画素）について、平滑化処理を行う。図４は、平滑化処理の説明図である。図４に示されるように、Ｖ方向ＮＲ処理部１００７は、着目画素を中心とする５つの画素に対して平滑化処理を行う。そしてＶ方向ＮＲ処理部１００７は、例えば着目画素およびｉ＝０、３の周辺画素が平滑化処理の対象となる場合、平滑化処理後の色差信号Ｕ＿ｏｕｔ、Ｖ＿ｏｕｔは、以下の式（２）、（３）のようにそれぞれ表現される。
【００２７】
Ｕ＿ｏｕｔ＝（Ｕ０＋Ｕｃ＋Ｕ３）／３  …  （２）
Ｖ＿ｏｕｔ＝（Ｖ０＋Ｖｃ＋Ｖ３）／３  …  （３）
ここで、図５および図６を参照して、ステップＳ１０２における輝度平滑化処理閾値Ｔｈ＿ｙの設定について詳述する。図５は、白黒のエッジ領域で発生している色つきを除去すべき領域を示し、図６は緑色のエッジで、エッジの色を残すべき領域を示している。
【００２８】
図５（ａ）および図６（ａ）は、画素位置と画素値との関係図であり、横軸は画素位置、縦軸は画素値をそれぞれ示している。図５（ａ）において、画素位置ｘ（ｘ＝０、１、ｃ、２、３）のＲ画素の値をＲ［ｘ］、Ｇ画素の値をＧ［ｘ］とする。このとき、Ｇ［０］＝Ｇ［１］＝Ｒ［０］＝Ｒ［１］＝Ｓ１、Ｇ［ｃ］＝Ｓ２、Ｒ［ｃ］＝Ｓ３、Ｒ［２］＝Ｇ［２］＝Ｒ［３］＝Ｇ［３］＝Ｓ４と表現される。また、画素位置ｘの色差信号の値をＲ−Ｙ［ｘ］とする。このとき、画素位置ｘ＝ｃにおいてＲ−Ｙ［ｃ］＝Ｓ３−Ｓ２、他の画素位置ｘ＝０、１、２、３のそれぞれにおいてＲ−Ｙ［ｘ］＝０となり、画素位置ｃにおいて色つきが発生する。このように、無彩色の輝度のエッジに色つきが発生しやすくなる。
【００２９】
また、図５（ｂ）および図６（ｂ）は、画素位置と差分絶対値ＤＩＦＦ＿Ｙ（着目画素ｃの輝度Ｙｃと周辺画素ｉの輝度Ｙｉ）との関係図であり、横軸は画素位置を示し、縦軸は差分絶対値ＤＩＦＦ＿Ｙ（｜Ｇ［ｃ］−Ｇ［ｘ］｜）を示す。図５（ｂ）において、絶対差分値ＤＩＦＦ＿Ｙは、周辺画素ｉ＝０、１、２、３で大きくなり、これらの位置おける周辺画素は、平滑化処理の対象画素とならない。そのため、これらの周辺画素に対しては平滑化処理が行われず、画素位置ｃのエッジの色つきがそのまま残留する。絶対差分値ＤＩＦＦ＿Ｙの閾値を大きくして、平滑化処理の対象画素となるようにすると、図６（ｂ）に示される緑のエッジ付近で画素位置０が平滑化処理の対象画素となり、色のエッジがぼけてしまう。
【００３０】
そこで本実施形態では、着目位置ｃの輝度Ｙｃが急峻なエッジであるか否か、すなわち着目画素（着目画素と近傍画素との間）の輝度の傾き（輝度の変化）を判定する。具体的には、例えば、着目画素の両側に位置する画素の値から得られる輝度の傾きＧｒａｄＹ＝Ｇ［２］−Ｇ［１］を利用して算出を行う。図５（ａ）の輝度エッジでは、ＧｒａｄＹ＝Ｓ４−Ｓ１となり、図６（ａ）の緑のエッジ付近では、ＧｒａｄＹ＝Ｓ３−Ｓ２となる。このため、着目画素の輝度の傾きＧｒａｄＹが大きいと判定された場合にのみ、平滑化処理の対象となる絶対差分値ＤＩＦＦ＿Ｙの閾値が大きくなるように設定する。これにより、色エッジのぼけを低減しつつ、エッジの色つきを軽減することが可能となる。
【００３１】
次に、図２を参照して、輝度平滑化処理閾値Ｔｈ＿ｙの設定方法について説明する。図２は、輝度平滑化処理閾値Ｔｈ＿ｙの設定動作（ステップＳ１０２）を示すフローチャートである。まずステップＳ２０１において、色ＮＲ部１００６（Ｖ方向ＮＲ処理部１００７）は、着目画素の輝度の傾きＧｒａｄＹを算出する。続いてステップＳ２０２において、Ｖ方向ＮＲ処理部１００７は、着目画素の輝度の傾きＧｒａｄＹと閾値ＭＩＮとを比較する。着目画素の輝度の傾きＧｒａｄＹが閾値ＭＩＮよりも小さい場合、ステップＳ２０６に進む。ステップＳ２０６において、Ｖ方向ＮＲ処理部１００７は、平滑化処理閾値Ｔｈ＿ｙをＴｈ＿ｙ１に設定する。
【００３２】
一方、ステップＳ２０２にて着目画素の輝度の傾きＧｒａｄＹが閾値ＭＩＮ以上である場合、ステップＳ２０３に進む。ステップＳ２０３において、Ｖ方向ＮＲ処理部１００７は、着目画素の輝度の傾きＧｒａｄＹと閾値ＭＡＸ（閾値ＭＡＸ＞閾値ＭＩＮ）とを比較する。着目画素の輝度の傾きＧｒａｄＹが閾値ＭＡＸよりも大きい場合、Ｖ方向ＮＲ処理部１００７は、輝度平滑化処理閾値Ｔｈ＿ｙをＴｈ＿ｙ２に設定する。一方、ステップＳ２０３にて着目画素の輝度の傾きＧｒａｄＹが閾値ＭＡＸ以下である場合、ステップＳ２０４に進む。ステップＳ２０４において、Ｖ方向ＮＲ処理部１００７は、輝度平滑化処理閾値Ｔｈ＿ｙを、線形補間を用いて、Ｔｈ＿ｙ１とＴｈ＿ｙ２との間の値に設定する。
【００３３】
図７は、着目画素の輝度の傾きＧｒａｄＹと輝度平滑化処理閾値Ｔｈ＿ｙとの関係図であり、横軸は着目画素の輝度の傾きＧｒａｄＹを示し、縦軸は輝度平滑化処理閾値Ｔｈ＿ｙを示す。図７に示されるように、着目画素の輝度の傾きＧｒａｄＹが閾値ＭＩＮより小さい場合、輝度平滑化処理閾値Ｔｈ＿ｙはＴｈ＿ｙ１に設定される。また、着目画素の輝度の傾きＧｒａｄＹが閾値ＭＡＸよりも大きい場合、輝度平滑化処理閾値Ｔｈ＿ｙはＴｈ＿ｙ２に設定される。また、着目画素の輝度の傾きＧｒａｄＹが閾値ＭＩＮと閾値ＭＡＸとの間の値である場合、以下の式（４）で表されるように設定される。
【００３４】
【数２】
2015179951.tif 000004
【００３５】
このように本実施形態では、Ｖ方向ＮＲ処理部１００７は、着目画素付近の輝度エッジを検出する。輝度エッジが大きい場合、Ｖ方向ＮＲ処理部１００７は、輝度平滑化処理閾値Ｔｈ＿ｙが大きくなるように設定する。輝度平滑化処理閾値Ｔｈ＿ｙが大きい場合、平滑化処理の対象となる画素がより多くなる。このため、エッジ画素に対してのみ平滑化処理の効果を大きくすることができる。このような構成により、輝度エッジ周辺部の色の解像度の劣化を低減しつつ、輝度エッジの画素の色つきの影響を軽減することが可能となる。なお本実施形態では、Ｖ方向ＮＲ処理部１００７の動作について説明したが、これに限定されるものではなく、Ｈ方向ＮＲ処理部１００８の動作についても、対象となる画素が異なることを除いてＶ方向ＮＲ処理部１００７と同等である。
【００３６】
本実施形態において、輝度信号ＹとしてＧ信号（緑色信号）を用いるものとして説明したが、これに限定されるものではない。例えば、公知の輝度構成比Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂなどの信号を用いて輝度信号Ｙを生成してもよい。
【００３７】
また本実施形態において、輝度平滑化処理閾値Ｔｈ＿ｙを着目画素に隣接する隣接画素の輝度の傾きＧｒａｄＹに応じて変更しているが、これに限定されるものではない。例えば、隣接画素に代えて、着目画素の近傍画素を利用して輝度の傾きＧｒａｄＹを算出してもよい。また、色の平滑化処理の閾値Ｔｈ＿ｃに関しても、隣接画素の輝度の傾きＧｒａｄＹに応じて変更するように構成してもよい。
【００３８】
また本実施形態において、輝度の傾きＧｒａｄＹをＧｒａｄＹ＝Ｇ［２］−Ｇ［１］に基づいて算出しているが、これに限定されるものではない。例えば、Ｇ［２］−Ｇ［ｃ］とＧ［ｃ］−Ｇ［１］の２つの傾きを比較して、これらの傾きのうち大きい方や小さい方を輝度の傾きＧｒａｄＹとして選択してもよい。
【００３９】
このように本実施形態において、判定手段１０７１は、第１画素と第２画素との輝度差の絶対値が第１閾値以下であって、かつ、第１画素と第２画素との彩度差の絶対値が第２閾値以下であるか否かを判定する。処理手段１０７２は、輝度差の絶対値が第１閾値以下であって、かつ、彩度差の絶対値が第２閾値以下である場合、第１画素および第２画素の色差信号に対して平滑化処理を行う。設定手段１０７３は、第１画素と第１画素の近傍画素との間の輝度値の変化（輝度の傾き）に応じて第１閾値を変更可能に設定する。好ましくは、第１画素は着目画素ｃであり、第２画素は着目画素ｃの周囲に配置された複数の周辺画素ｉ（例えばｉ＝０〜３であるが、これに限定されるものではない）のうち少なくとも一つの画素である。
【００４０】
好ましくは、設定手段１０７３は、第１画素と近傍画素との間の輝度値の変化が大きいほど第１閾値（輝度平滑化処理閾値Ｔｈ＿ｙ）を大きくするように設定する。また好ましくは、設定手段１０７３は、第１画素と近傍画素との間の輝度値の変化が大きいほど第２閾値（色平滑化処理閾値Ｔｈ＿ｃ）を大きくするように設定する。より好ましくは、近傍画素は、第１画素の隣接画素である。
【００４１】
好ましくは、設定手段１０７３は、第１画素と近傍画素との間の輝度値の変化量（輝度の傾きＧｒａｄＹ）が第１変化量（閾値ＭＩＮ）よりも小さい場合、第１閾値（輝度平滑化処理閾値Ｔｈ＿ｙ）として第１の値（Ｔｈ＿ｙ１）を設定する（Ｓ２０６）。また設定手段１０７３は、第１画素と近傍画素との間の輝度値の変化量が第２変化量（閾値ＭＡＸ）よりも大きい場合、第１閾値として第１の値よりも大きい第２の値（Ｔｈ＿ｙ２）を設定する（Ｓ２０５）。より好ましくは、設定手段１０７３は、第１画素と近傍画素との間の輝度値の変化量が第１変化量と第２変化量との間の第３変化量である場合、第１閾値として第１の値と第２の値との間の第３の値（Ｔｈ１＿ｙ１＜Ｔｈ＿ｙ＜Ｔｈ＿ｙ２）を設定する（Ｓ２０４）。
【００４２】
（第２の実施形態）
次に、図８を参照して、本発明の第２の実施形態について説明する。図８は、本実施形態における撮像装置２００のブロック図である。本実施形態の撮像装置２００は、通常画像（第１画像データ）および縮小画像（第２画像データ）を使用してＮＲ処理を行う点で、第１の実施形態の撮像装置１００とは異なる。以下、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４３】
本実施形態において、撮像部２０００、Ａ／Ｄ変換部２００１、および、ＷＢ部２００２は、図１を参照して説明した第１の実施形態の撮像部１０００、Ａ／Ｄ変換部１００１、および、ＷＢ部１００２とそれぞれ同一である。このため、それらの説明については省略する。ＷＢ部２００２からのデータ（画像信号）は、輝度ＮＲ部２００３および色補間部２００４に出力される。なお、輝度ＮＲ部２００３、色補間部２００４、および、色ＮＲ部２００５は、輝度ＮＲ部１００３、色補間部１００５、および、色ＮＲ部１００６とそれぞれ同一である。このため、それらの詳細な説明は省略する。また、ＷＢ部２００２からのデータは、エッジ検出部２００６に入力される。エッジ検出部２００６は、例えば公知のエッジ検出用フィルタを備え、入力信号にエッジ検出用フィルタを適用し、その出力をエッジ強度出力信号として出力する。
【００４４】
また、ＷＢ部２００２から出力されたデータは、ＬＰＦ２１０１（ローパスフィルタ）およびＤＳ部２１０２（ダウンサンプリング部）に入力される。ＬＰＦ２１０１はＬＰＦ処理を行い、ＤＳ部２１０２はダウンサンプリング処理を行う。これにより、同時化された低解像度画像データが生成される。ＤＳ部２１０２から出力された、同時化されたデータは、輝度ＮＲ部２１０３に入力される。輝度ＮＲ部２１０３は、輝度ＮＲ処理を行う。輝度ＮＲ部２１０３の動作は、輝度ＮＲ部２００３と同様であるため、その説明については省略する。
【００４５】
輝度ＮＲ部２１０３にて補正（処理）された輝度信号は、ＵＳ部２１０４（アップサンプリング部）に入力される。ＵＳ部２１０４は、輝度信号に対してアップサンプリング処理を行い、処理後の輝度信号を合成部２００７（合成手段）に出力する。また、ＤＳ部２１０２から出力されたデータは、色補間部２１０５に入力される。色補間部２１０５は、ＤＳ部２１０２からのデータに対して色補間処理を行う。色補間部２１０５にて色補間処理された色信号（色差信号）は、後述の色ＮＲ部２１０６に出力される。色ＮＲ部２１０６は、色信号を補正し、補正後の色信号はＵＳ部２１０７に出力される。ＵＳ部２１０７は、色ＮＲ部２１０６から入力された色信号に対してアップサンプリング処理を行い、処理後の色信号を合成部２００７に出力する。
【００４６】
合成部２００７は、エッジ検出部２００６からのエッジ強度出力信号に応じて、輝度信号および色信号（色差信号）の合成比率を決定する。また合成部２００７は、決定した輝度信号の合成比率に応じて、輝度ＮＲ部２００３から出力された輝度信号（高解像度輝度信号）と、ＵＳ部２１０４から出力された輝度信号（低解像度輝度信号）とを合成する。同様に、合成部２００７は、色信号の合成比率に応じて、色ＮＲ部２００５からの色信号（高解像度色信号）と、ＵＳ部２１０７からの色信号（低解像度色信号）とを合成する。高解像度輝度信号および高解像度色信号は、第１画像データに基づいて得られた信号である。低解像度輝度信号および低解像度色信号は、第１画像データよりも解像度の低い第２画像データに基づいて得られた信号である。合成部２００７は、合成した輝度信号を輝度信号処理部２００８に出力する。また合成部２００７は、合成した色信号を色信号処理部２００９に出力する。輝度信号処理部２００８および色信号処理部２００９の動作は、いずれも実施例１と同様であるため、それらの詳細な説明は省略する。
【００４７】
次に、本実施形態における色ＮＲ部２１０６の動作について説明する。色ＮＲ部２１０６は、パラメータの設定方法が異なることを除いて、図１を参照して説明した第１の実施形態の色ＮＲ部１００６と同様である。このため、ここでは色ＮＲ部２１０６におけるパラメータの設定方法についてのみ説明する。
【００４８】
色ＮＲ部２１０６において高輝度エッジでの色つきが残留した場合、ＵＳ部２１０７において残留した色つきは拡大される。このため、色ＮＲ部２１０６で設定される閾値は、色ＮＲ部２００５で設定される閾値と比較して、値が大きくなるように設定される。色ＮＲ部２１０６では平滑化処理がより強めに行われるように設定され、より高輝度エッジでの色つきが残留しにくいように制御される。具体的には、図５に示される輝度の傾きＧｒａdＹが第１変化量（閾値ＭＩＮ）よりも小さい場合に設定される第１閾値（Ｔｈ＿ｙ）として、第１の値（Ｔｈ＿ｙ１）よりも大きな第３の値（Ｔｈ＿ｙ３）を設定する。また、輝度の傾きＧｒａdＹが第２変化量（閾値ＭＡＸ）よりも大きな場合に設定される第１閾値として、第２の値（Ｔｈ＿ｙ２）よりも大きな第４の値（Ｔｈ＿ｙ４）を設定する。あるいは、図５に示される輝度の傾きＧｒａｄＹに応じて、平滑化処理の閾値Ｔｈ＿ｙを決定する際に用いられる閾値ＭＡＸおよび閾値ＭＩＮを、色ＮＲ部２１０６に対する値のほうが色ＮＲ部２００５に対する値よりも小さな値となるように制御する。このように本実施形態では、縮小された画像から平滑化処理を行う場合、縮小前の画像よりも平滑化処理が行われやすくなるように制御する。
【００４９】
このように本実施形態において、画像処理装置は、生成手段（ＷＢ部２００２、ＬＰＦ２１０１、および、ＤＳ部２１０２）および合成手段（合成部２００７）を備えている。生成手段は、第１画像データおよび第１画像データよりも解像度の低い第２画像データを生成する。合成手段は、第１画像データと第２画像データを合成する。設定手段（色ＮＲ部２００５、２１０６）は、第１画像データおよび第２画像データのそれぞれに関して、第１画素と近傍画素との間の輝度値の変化が大きいほど第１閾値を大きくするように設定する。
【００５０】
好ましくは、設定手段は、第１画像データに関し、第１画素と近傍画素との間の輝度値の変化量が第１変化量（閾値ＭＩＮ）よりも小さい場合、第１閾値（Ｔｈ＿ｙ）として第１の値（Ｔｈ＿ｙ１）を設定する。また設定手段は、第２画像データに関し、第１画素と近傍画素との間の輝度値の変化量が第３変化量よりも小さい場合、第１閾値として第３の値（Ｔｈ＿ｙ３）を設定する。ここで、第３変化量（閾値）は第１変化量よりも小さいこと、および、第３の値は第１の値よりも大きいことの少なくともいずれかを満たすことが好ましい。
【００５１】
また好ましくは、設定手段は、第１画像データに関し、第１画素と近傍画素との間の輝度値の変化量が第２変化量（閾値ＭＡＸ）よりも大きい場合、第１閾値として第１の値よりも大きい第２の値（Ｔｈ＿ｙ２）を設定する。また設定手段は、第２画像データに関し、第１画素と近傍画素との間の輝度値の変化量が第４変化量よりも大きい場合、第１閾値として第４の値（Ｔｈ＿ｙ４）を設定する。ここで、第４変化量（閾値）は第２変化量よりも小さいこと、および、第４の値は第２の値よりも大きいことの少なくともいずれかを満たすことが好ましい。
【００５２】
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
【００５３】
各実施形態によれば、色解像度を維持しつつ、高輝度エッジ部に発生する色つきを低減したノイズ除去処理が可能となる。このため各実施形態によれば、高性能なノイズ除去処理を実行可能な画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体を提供することができる。
【００５４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５５】
１０７１  判定手段
１０７２  処理手段
１０７３  設定手段
【図２】
2015179951.tif 000005
【図３】
2015179951.tif 000006
【図４】
2015179951.tif 000007
【図５】
2015179951.tif 000008
【図６】
2015179951.tif 000009
【図７】
2015179951.tif 000010
【図１】
2015179951.tif 000011
【図８】
2015179951.tif 000012