(57)【特許請求の範囲】
【請求項１】
入力されたホワイトバランス補正処理前の線形特性を有する画像データの色成分毎のホワイトバランスゲインを算出し、前記算出されたホワイトバランスゲインを前記画像データに乗算するホワイトバランス補正部と、
前記ホワイトバランスゲインが乗算された線形特性を有する画像データの色成分毎についての色差データを算出し、色ノイズが目立つと判定される第１の色差範囲内の前記色差データを小さくする色ノイズ低減処理を線形な処理により行う色ノイズ低減処理部と、
前記色ノイズ低減処理がなされた線形特性を有する画像データに対して、入力画像データを非線形特性を有する画像データに変換するガンマ変換処理を少なくとも含む非線形画像処理を行う非線形画像処理部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記色ノイズ低減処理部は、任意に指定された輝度範囲での前記色ノイズ低減処理が必要か否かを判断する処理要否判断部を有し、
前記色ノイズ低減処理は、前記処理要否判断部により、前記色ノイズ低減処理が必要であると判断された場合、前記輝度範囲での前記色ノイズ低減処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記処理要否判断部は、前記輝度範囲内の前記色差データが前記第１の色差範囲内である場合に、前記指定された輝度範囲での色ノイズ低減処理が必要であると判断することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記輝度範囲は、複数指定され、
前記処理要否判断部は、それぞれ指定された前記輝度範囲毎に前記輝度範囲での色ノイズ低減処理が必要であるか否かを判断し、
前記色ノイズ低減処理は、前記処理要否判断部により、前記色ノイズ低減処理が必要であると判断されたそれぞれの前記輝度範囲で前記色ノイズ低減処理を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記色ノイズ低減処理部は、前記第１の色差範囲内の前記色差データの値が小さいほど前記色ノイズ低減処理の効果を大きくすることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記色ノイズ低減処理部は、前記色差データに低減係数を乗じたデータを前記ホワイトバランスゲインが乗算された前記画像データに加算することによって、前記色ノイズ低減処理を行い、
前記第１の色差範囲内の前記色差データの値が小さいほど、前記低減係数を最大値に近づけることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記低減係数は、前記色差データの値に従って線形に増加又は減少することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記低減係数は、前記色差データの値に従って非線形に増加又は減少することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記色ノイズ低減処理部は、前記色差データに低減係数を乗じたデータを前記ホワイトバランスゲインが乗算された前記画像データに加算することによって、前記色ノイズ低減処理を行い、
前記低減係数が一定値であることを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記第１の色差範囲内にさらに第２の色差範囲が設定され、
前記色ノイズ低減処理部は、前記色差データに低減係数を乗じたデータを前記ホワイトバランスゲインが乗算された前記画像データに加算することによって、前記色ノイズ低減処理を行い、
前記色差データが前記第２の色差範囲内である場合には、前記低減係数が最大値で一定であり、前記色差データが前記第１の色差範囲内であって前記第２の色差範囲外である場合には、前記低減係数が前記色差データの値に従って増加又は減少することを特徴とする請求項５に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色ノイズ低減処理機能を有する画像処理装置に関する。
【背景技術】
【０００２】
近年、画像データにおける色ノイズを低減する色ノイズ低減処理についての各種の提案がなされている。色ノイズは、画像データにおける色に関するノイズである。この色ノイズが発生すると、画像データには、本来の被写体には存在しない色情報が含まれてしまう。したがって、このような色ノイズを含む画像データを再生すると、存在すべきではない色情報までもが再生されてしまい、ユーザに違和感を与えることとなる。
【０００３】
色ノイズ低減処理に関する提案の１つとして、例えば特許文献１は、撮像素子の温度や色差信号に乗ずるゲイン等を考慮して色ノイズ低減処理を行うことにより、高品位の色ノイズ低減処理を実現している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９３４５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像データを処理する過程で各種のゲインアップによってノイズが増幅することが知られている。例えばホワイトバランス補正処理は、画像データにおける各色成分にホワイトバランスゲインを乗ずる処理である。したがって、ホワイトバランス補正前の画像データに色ノイズが重畳されていると、この色ノイズ成分にもホワイトバランスゲインが乗じられて色ノイズが増幅される。一方で、色ノイズ低減処理として、ホワイトバランスゲインを小さくするように補正する処理を行うと、色バランスが崩れてしまい、色かぶりした画像になってしまう。
【０００６】
本発明は、前記の事情に鑑みてなされたもので、色バランスを崩さずに画像データの色ノイズを低減可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記の目的を達成するために、本発明の一態様の画像処理装置は、入力されたホワイトバランス補正処理前の線形特性を有する画像データの色成分毎のホワイトバランスゲインを算出し、前記算出されたホワイトバランスゲインを前記画像データに乗算するホワイトバランス補正部と、前記ホワイトバランスゲインが乗算された線形特性を有する画像データの色成分毎についての色差データを算出し、色ノイズが目立つと判定される第１の色差範囲内の前記色差データを小さくする色ノイズ低減処理を線形な処理により行う色ノイズ低減処理部と、前記色ノイズ低減処理がなされた線形特性を有する画像データに対して、入力画像データを非線形特性を有する画像データに変換するガンマ変換処理を少なくとも含む非線形画像処理を行う非線形画像処理部と、を具備することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ホワイトバランスを崩さずに画像データの色ノイズを低減可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図２】画像処理部の構成の一例を示すブロック図である。
【図３】画像処理について示すフローチャートである。
【図４】色ノイズ低減処理について示すフローチャートである。
【図５】低減係数の特性の一例を示す図である。
【図６】３つの条件の全てを満足する画素のデータの例を示す図である。
【図７】３つの条件の少なくとも何れかを満足しない画素のデータの例について示す図である。
【図８】低減係数を１とする色差データの範囲を広げた変形例を示す図である。
【図９】色差データに対して低減係数を非線形に変化させる変形例を示す図である。
【図１０】輝度範囲を複数設定する変形例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ１は、レンズ１０２と、レンズ駆動部１０４と、レンズ駆動制御回路１０６と、撮像素子１０８と、撮像回路１１０と、アナログ/デジタル（Ａ/Ｄ）変換部１１２と、バス１１４と、ＳＤＲＡＭ１１６と、画像処理部１１８と、表示ドライバ１２０と、表示部１２２と、画像圧縮伸張処理部１２４と、メモリインターフェイス（Ｉ/Ｆ）１２６と、記録媒体１２８と、マイクロコンピュータ１３０と、操作部１３２と、Ｆｌａｓｈメモリ１３４と、を有している。
【００１１】
レンズ１０２は、図示しない被写体からの光束を撮像素子１０８に集光するための光学系である。このレンズ１０２は、フォーカスレンズ及びズームレンズ等の複数のレンズを有していても良い。
【００１２】
レンズ駆動部１０４は、レンズ１０２をその光軸方向に駆動するための駆動機構と、駆動機構を駆動するためのドライバ等を有している。レンズ駆動制御回路１０６は、マイクロコンピュータ１３０の制御に従って、レンズ駆動部１０４のドライバの動作を制御する。
【００１３】
撮像素子１０８は、レンズ１０２を介して集光された被写体からの光束が結像される光電変換面を有している。光電変換面は、複数の画素が２次元状に配置されて構成されている。また、光電変換面の光入射側には、カラーフィルタが設けられている。このような撮像素子１０８は、光電変換面に結像された光束に対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換して出力する。
【００１４】
ここで、撮像素子１０８は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子１０８の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。
【００１５】
撮像回路１１０は、撮像素子１０８により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。Ａ/Ｄ変換部１１２は、撮像回路１１０においてアナログ処理された画像信号をデジタル信号（以下、画像データという）に変換する。
【００１６】
バス１１４は、カメラ１の内部で発生した各種のデータを転送するための転送路である。ＳＤＲＡＭ１１６は、カメラ１の内部で発生した各種のデータを一時的に記憶するための記憶部である。このＳＤＲＡＭ１１６は、画像処理部１１８における画像処理の際のバッファメモリとしても使用される。
【００１７】
本実施形態における画像処理装置の一例としての画像処理部１１８は、画像データに対する各種の画像処理を行う。画像処理部１１８は、例えば図２に示すような複数の画像処理ブロックを有している。画像処理部１１８は、処理ブロックとして例えばオプティカルブラック（ＯＢ）減算部１１８１と、ホワイトバランス補正部１１８２と、同時化処理部１１８３と、色ノイズ低減処理部１１８４と、色マトリクス演算部１１８５と、ガンマ変換部１１８６と、を有している。  
ＯＢ減算部１１８１は、画像データにおける暗電流成分（オプティカルブラック成分）を減算して除去するＯＢ減算処理を行う。  
ホワイトバランス補正部１１８２は、画像データに所定のホワイトバランスゲインを乗じることによって、画像データの色バランスを補正するホワイトバランス補正処理を行う。  
同時化処理部１１８３は、例えば撮像素子１０８のカラーフィルタ配列がベイヤ配列である場合等に得られる、１つの画素が１つの色成分に対応している画像データを、１つの画素が複数の色成分に対応している画像データに変換する同時化処理を行う。  
色ノイズ低減処理部１１８４は、画像データにおける色ノイズを低減する色ノイズ低減処理を行う。また、色ノイズ低減処理部１１８４は、処理要否判断部１１８４ａを有している。処理要否判断部１１８４ａは、画像データに対して色ノイズの低減処理を行う必要があるか否かを画像データを構成する画素毎に判断する。  
色マトリクス演算部１１８５は、画像データに対してホワイトバランス補正の結果に応じたカラーマトリクス演算を行うことによって、画像データを特定の色空間上にマッピングする色マトリクス演算処理を行う。  
ガンマ変換部１１８６は、画像データの階調特性を所定の特性に変換するガンマ変換処理を行う。
【００１８】
ここで、本実施形態では、処理後の画像データを、処理前の画像データに対して線形に変化させる処理ブロックを「線形処理部」と言い、処理後の画像データを、処理前の画像データに対して非線形に変化させる処理ブロックを「非線形処理部」と言う。例えば、ＯＢ減算部１１８１は、入力された画像データからＯＢ成分を減算する処理を行う線形処理部である。この他、ホワイトバランス補正部１１８２、同時化処理部１１８３、色マトリクス演算部１１８５も線形処理部である。一方、ガンマ変換部１１８６は、線形の入力画像データを、表示部１２２の表示特性等に応じた非線形特性を有する画像データに変換する非線形処理部である。
【００１９】
表示ドライバ１２０は、画像処理部１１８で得られた画像データ又は画像圧縮伸張処理部１２４で伸張された画像データを映像信号に変換して表示部１２２に出力する。表示部１２２は、例えば液晶ディスプレイ（ＬＣＤ）である。この表示部１２２は、表示ドライバ１２０から入力された映像信号に基づく画像を表示する。
【００２０】
画像圧縮伸張処理部１２４は、画像の記録時においては、画像処理部１１８における画像処理によって得られた画像データに対してＪＰＥＧ形式やＴＩＦＦ形式等の静止画圧縮処理又はＭＰＥＧ形式やＨ．２６４形式等の動画圧縮処理を施す。また、画像圧縮伸張処理部１２４は、画像の再生時においては、圧縮処理が施された画像データに対して伸張処理を施す。
【００２１】
メモリＩ/Ｆ１２６は、マイクロコンピュータ１３０等が記録媒体１２８にアクセスするためのインターフェイスである。記録媒体１２８は、カメラ１に対して着脱自在になされたメモリカードである。この記録媒体１２８は、画像ファイル等を記録する。画像ファイルは、画像圧縮伸張処理部１２４によって圧縮された画像データに、ヘッダ情報が付加されてなるファイルである。
【００２２】
マイクロコンピュータ１３０は、レンズ駆動制御回路１０６、撮像素子１０８、表示ドライバ１２０といったデジタルカメラ１の各部の動作を統括的に制御する。
【００２３】
操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２を構成する操作部材と同等の機能をタッチパネルによって実現しても良い。
【００２４】
Ｆｌａｓｈメモリ１３４は、例えばホワイトバランス補正用のホワイトバランスゲイン、カラーマトリクス演算用のカラーマトリクス係数、ガンマ変換用のガンマテーブルといった画像処理部１１８の動作に必要なパラメータ等の、カメラ１の動作に必要な各種のパラメータを記憶している。また、本実施形態におけるＦｌａｓｈメモリ１３４は、色ノイズ低減処理の要否を判断するための各種の閾値を記憶している。さらに、本実施形態におけるＦｌａｓｈメモリ１３４は、色ノイズ低減処理の際の低減係数の特性データも記憶している。また、Ｆｌａｓｈメモリ１３４は、マイクロコンピュータ１３０が実行する種々のプログラムも記憶している。
【００２５】
以下、本実施形態に係る画像処理装置の一例としての画像処理部１１８の動作について説明する。画像処理部１１８は、例えばライブビュー表示時や撮影時に動作する。以下、ライブビュー表示動作及び撮影動作について簡単に説明する。
【００２６】
ライブビュー表示動作は、撮像素子１０８で得られた画像信号に対応した画像を表示部１２２にリアルタイム表示する動作である。このライブビュー表示動作において、マイクロコンピュータ１３０は、撮像素子１０８の露光動作を実行させる。このときの撮像素子１０８の露光時間は、例えば固定の時間である。撮像素子１０８で得られた画像信号は、撮像回路１１０においてアナログ処理が施され、Ａ／Ｄ変換部１１２においてデジタル信号に変換され、バス１１４を介してＳＤＲＡＭ１１６に記憶される。露光動作の結果としてＳＤＲＡＭ１１６に記憶された画像データは、画像処理部１１８において画像処理が施される。画像処理の後、画像処理の結果としてＳＤＲＡＭ１１６に記憶された画像データが表示ドライバ１２０によって読み出される。表示ドライバ１２０は、ＳＤＲＡＭ１１６から読み出した画像データを映像信号に変換して表示部１２２に出力する。これにより、表示部１２２には、撮像素子１０８で得られた画像信号に対応した画像が表示される。この露光動作から表示動作までの一連の動作を繰り返すことにより、撮像素子１０８で得られた画像信号に対応した画像が表示部１２２にリアルタイム表示される。このようなライブビュー表示動作により、ユーザは、表示部１２２を用いて構図の確認等を行うことができる。
【００２７】
撮影動作は、撮像素子１０８で得られた画像信号に対応した画像ファイルを記録媒体１２８に記録する動作である。この撮影動作において、マイクロコンピュータ１３０は、必要に応じてレンズ駆動制御回路１０６を制御してレンズ１０２を合焦位置まで駆動させる。そして、マイクロコンピュータ１３０は、撮像素子１０８の露光動作を実行させる。このときの撮像素子１０８の露光時間は、例えば被写体の輝度に応じて決定する。撮像素子１０８で得られた画像信号は、ライブビュー表示動作時と同様にしてデジタル信号に変換され、バス１１４を介してＳＤＲＡＭ１１６に記憶される。露光動作の結果としてＳＤＲＡＭ１１６に記憶された画像データは、画像処理部１１８において画像処理が施される。画像処理の後、画像処理の結果としてＳＤＲＡＭ１１６に記憶された画像データが画像圧縮伸張処理部１２４によって読み出される。画像圧縮伸張処理部１２４は、静止画の撮影時には、読み出した画像データに対して静止画圧縮処理を施し、動画の撮影時には、読み出した画像データに対して動画圧縮処理を施す。圧縮処理の後、マイクロコンピュータ１３０は、圧縮処理の結果としてＳＤＲＡＭ１１６に記憶された画像データに所定のヘッダ情報を付加して画像ファイルを生成し、生成した画像ファイルをメモリＩ/Ｆ１２６を介して記録媒体１２８に記録する。
【００２８】
次に、画像処理部１１８における画像処理について説明する。図３は、画像処理について示すフローチャートである。  
図３において、画像処理部１１８は、ＯＢ減算部１１８１により、ＯＢ減算処理を行う（ステップＳ１）。ＯＢ減算処理において、ＯＢ減算部１１８１は、入力された画像データからオプティカルブラック（ＯＢ）値を減算することで画像データにおける暗電流成分を除去する。
【００２９】
ＯＢ減算の後、画像処理部１１８は、ホワイトバランス補正部１１８２により、ホワイトバランス補正処理を行う（ステップＳ２）。ホワイトバランス補正処理において、ホワイトバランス補正部１１８２は、入力された画像データの色成分毎に、例えばマイクロコンピュータ１３０によって設定されたホワイトバランスゲインを乗じることで画像データの色バランスを補正する。
【００３０】
ホワイトバランス補正処理の後、画像処理部１１８は、同時化処理部１１８３により、同時化処理を行う（ステップＳ３）。同時化処理において、同時化処理部１１８３は、入力された画像データを、補間処理を用いて同時化する。例えば、撮像素子１０８のカラーフィルタ配列がベイヤ配列の場合、Ｒ（赤）画素、Ｇｒ（緑）画素、Ｇｂ（緑）画素、及びＢ（青）画素からなる水平２画素×垂直２画素の計４画素を１つの単位として補間処理を行う。例えば、同時化処理後のＲ画素のデータ及びＢ画素のデータは、同時化処理前のＲ画素のデータ及びＢ画素のデータを利用する。また、同時化処理後のＧ画素のデータは、同時化処理前のＧｒ画素とＧｂ画素の平均のデータを利用する。
【００３１】
同時化処理の後、画像処理部１１８は、色ノイズ低減処理部１１８４により、色ノイズ低減処理を行う（ステップＳ４）。色ノイズ低減処理の詳細については後述する。
【００３２】
色ノイズ低減処理の後、画像処理部１１８は、色マトリクス演算部１１８５により、色マトリクス演算処理を行う（ステップＳ５）。色マトリクス演算処理において、色マトリクス演算部１１８５は、入力された画像データの各画素に色マトリクス係数を乗じることで画像データの色を変換する。
【００３３】
色マトリクス演算処理の後、画像処理部１１８は、ガンマ変換部１１８６により、ガンマ変換処理を行う（ステップＳ６）。ガンマ変換処理において、ガンマ変換部１１８６は、入力された画像データを、例えばマイクロコンピュータ１３０によって設定されたガンマテーブルに従って変換する。
【００３４】
ガンマ変換処理の後、画像処理部１１８は、画像処理を終了させ、処理された画像データをＳＤＲＡＭ１１６に記憶させる。
【００３５】
ここで、図３で示した画像処理の順序は一例であって変更することが可能である。例えば、同時化処理をホワイトバランス補正処理の前に行うようにしても良いし、また色ノイズ低減処理を色マトリクス演算処理の後に行うようにしても良い。ただし、色ノイズ低減処理は、非線形処理としてのガンマ変換処理の前に行うことが望ましい。
【００３６】
次に、図４を参照して色ノイズ低減処理について説明する。図４は、色ノイズ低減処理について示すフローチャートである。なお、図４の例は、ホワイトバランス処理及び同時化処理後の画像データに対して色ノイズ低減処理を施す例を示している。したがって、画像データの各画素は、複数色成分のデータを有している。以下の説明においては、ベイヤ配列の画像データに対して同時化処理をしたものとする。また、入力された画像データのＲ成分のデータをRin(i)、Ｇ成分のデータをGin(i)、Ｂ成分のデータをBin(i)と記す。括弧の中のｉは、同時化処理後の画像データにおける画素位置を示し、１からＮまでの間で変化する整数である。また、Ｎは、画素数に対応している。例えば、ｉが１である場合には左上の画素のデータであることを示し、ｉがＮ（最大値）である場合には右下の画素のデータであることを示す。
【００３７】
図４において、色ノイズ低減処理部１１８４は、同時化処理後の画像データの画素毎の色差データを算出する（ステップＳ１１）。本実施形態における色差データは、例えばＧデータに対する他の色の差分を示すデータとする。したがって、Ｒデータに対応した色差データdR(i)とＢデータに対応した色差データdB(i)は、それぞれ以下の（式１）に従って算出される。  
dR(i)＝Gin(i)−Rin(i)  
dB(i)＝Gin(i)−Bin(i)                                          （式１）
【００３８】
画素毎の色差データの算出後、色ノイズ低減処理部１１８４は、ｉを初期値１にセットする（ステップ１２）。
【００３９】
続いて、色ノイズ低減処理部１１８４は、処理要否判断部１１８４ａにより、dR(i)が、以下の（条件１）を満足するか否かを判断する（ステップＳ１３）。  
-TH_dR＜dR(i)＜TH_dR                                          （条件１）
【００４０】
（条件１）における閾値-TH_dR及びTH_dRは、ｉ番目の画素のＲデータにおける色ノイズによる色付きが目立ち易い色差範囲（第１の色差範囲）に対応した閾値であって、Ｆｌａｓｈメモリ１３４に記憶されている閾値である。ここで、これらの閾値は、Ｇデータに対するＲデータの差分の閾値である。したがって、（条件１）を満足する場合、ＲデータとＧデータとの色差が小さい、即ち被写体の赤みが少ないことを意味している。また、これらの閾値は、例えばデジタルカメラ１の製造時に実測によって予め設定しておく。例えば、無彩色（例えばグレー）の被写体の画像データを複数取得し、取得した画像データ毎に色差dRを変化させながら表示部１２２に表示させる。この画像を目視確認し、被写体の赤みが感じられたときの色差dRを閾値-TH_dR及びTH_dRとする。なお、このような閾値の決定手法は一例であって、この他の手法によって閾値を決定しても良い。
【００４１】
ステップＳ１２において、（条件１）を満足すると処理要否判断部１１８４ａが判断した場合、色ノイズ低減処理部１１８４は、処理要否判断部１１８４ａにより、dB(i)が、以下の（条件２）を満足するか否かを判断する（ステップＳ１４）。  
-TH_dB＜dB(i)＜TH_dB                                          （条件２）
【００４２】
（条件２）における閾値-TH_dB及びTH_dBは、ｉ番目の画素のＢ成分のデータにおける色ノイズによる色付きが目立ち易い色差範囲に対応した閾値であって、Ｆｌａｓｈメモリ１３４に記憶されている閾値である。ここで、これらの閾値は、Ｇデータに対するＢデータの差分の閾値である。したがって、（条件２）を満足する場合、ＢデータとＧデータとの色差が小さい、即ち被写体の青みが少ないことを意味している。また、これらの閾値は、例えばデジタルカメラ１の製造時に実測によって予め設定しておく。例えば、無彩色（例えばグレー）の被写体の画像データを複数取得し、取得した画像データ毎に色差dBを変化させながら表示部１２２に表示させる。この画像を目視確認し、被写体の青みが感じられたときの色差dBを閾値-TH_dB及びTH_dBとする。なお、このような閾値の決定手法は一例であって、この他の手法によって閾値を決定しても良い。
【００４３】
ステップＳ１３において、（条件２）を満足すると処理要否判断部１１８４ａが判断した場合、色ノイズ低減処理部１１８４は、処理要否判断部１１８４ａにより、Gin(i)が、以下の（条件３）を満足するか否かを判断する（ステップＳ１５）。  
Lg≦Gin(i)≦Ug                                              （条件３）
【００４４】
（条件３）におけるLg及びUgは、色ノイズ低減処理を行う輝度範囲を指定するための閾値であって、例えばデジタルカメラ１の製造時において任意に指定できる閾値である。これらのLg及びUgも、Ｆｌａｓｈメモリ１３４に記憶されている閾値である。ここで、（条件３）においては、輝度データの代わりにＧデータを用いている。輝度データを算出して（条件３）の判断を行うようにしても良い。
【００４５】
ステップＳ１５において、（条件３）を満足すると処理要否判断部１１８４ａが判断した場合、色ノイズ低減処理部１１８４は、色ノイズ低減処理を行う。即ち、本実施形態においては、（条件１）、（条件２）、（条件３）の全てを満足する場合に色ノイズ低減処理を行う。このとき、色ノイズ低減処理部１１８４は、色ノイズの低減係数を算出する（ステップＳ１６）。色ノイズの低減係数を算出した後、色ノイズ低減処理部１１８４は、ｉ番目の画素のデータに対して色ノイズ低減処理を施す（ステップＳ１７）。また、（条件１）、（条件２）、（条件３）の全てを満足しないと処理要否判断部１１８４ａが判断した場合、色ノイズ低減処理部１１８４は、ステップＳ１６及びステップＳ１７の処理をスキップする。
【００４６】
以下、色ノイズ低減処理について説明する。本実施形態では、色ノイズ低減処理の例として以下の（式２）に従ってノイズ低減処理を行う。  
Rout(i)＝Rin(i)＋（Kr×dR(i)）  
Bout(i)＝Bin(i)＋（Kb×dB(i)）  
Gout(i)＝Gin(i)                                                （式２）
【００４７】
ここで、Rout(i)、Bout(i)、Gout(i)は、それぞれ、色ノイズ低減処理部１１８４から出力される画像データにおけるＲデータ、Ｇデータ、Ｂデータを示している。また、Krは、Ｒデータに対するノイズ低減処理の効果の大きさを設定するための低減係数であり、Kbは、Ｂデータに対するノイズ低減処理の効果の大きさを設定するための低減係数である。
【００４８】
ステップＳ１６においては、（式２）で示したKr及びKbを算出する。Krは、最大値が１、最小値が０であって、dR(i)の値によって決定する。Krは、dR(i)の値が小さいほど、値を大きくする。同様に、Kbは、最大値が１、最小値が０であって、dB(i)の値によって決定する。Kbは、dB(i)の値が小さいほど、値を大きくする。実際には、Kr及びKbは、Ｆｌａｓｈメモリ１３４に記憶された低減係数の特性データに応じて決定する。
【００４９】
図５は、低減係数の特性の一例を示す図である。  
図５（ａ）は、Krの特性を示す。図５（ａ）の例のKrは、dR(i)が０のときに最大値である１となる。また、Krは、-TH_dR＜dR(i)≦０の範囲では、以下の（式４）で示すように、dR(i)の変化に伴って線形に増加する。また、Krは、０＜dR(i)＜TH_dRの範囲では、dR(i)の変化に伴って以下の（式３）で示すように、dR(i)の変化に伴って線形に減少する。  
Kr＝（-1/TH_dR）×dR(i)＋１                                  （式３）  
Kr＝(1/TH_dR)×dR(i)＋１                                     （式４）
【００５０】
また、図５（ｂ）は、Kbの特性を示す。図５（ｂ）の例のKbは、図５（ａ）で示したKrと同様の特性を有しているので、詳細については説明を省略する。
【００５１】
（式２）からも分るように、図５で示した特性の低減係数を用いてノイズ低減処理を行う場合、色差データの値が小さい場合には低減係数が１に近づくので、Rin(i)及びBin(i)に対するデータ補正量が大きくなる。したがって、色差データの値が小さい場合には、Ｇデータに対する色差がより小さくなるようにＲデータ又はＢデータが補正される。例えば、画素の色がグレー（ＲデータとＧデータとＢデータの値が等しい状態）からわずかにずれている場合には、その画素の色がグレーとなるように補正される。このようにして色ノイズによる画像の色付きが補正される。また、Ｒデータ、Ｇデータ、Ｂデータの差を小さくするように補正することにより、色ノイズの発生により色のバランスが崩れていたとしても、この色のバランスの補正を行うことが可能である。
【００５２】
色ノイズ低減処理を行った後又は色ノイズ低減処理を行わなかった場合に、色ノイズ低減処理部１１８４は、ｉがＮになったか否かを判定する（ステップＳ１８）。ステップＳ１８において、ｉがＮになっていない、即ち全画素に対する色ノイズ低減処理が終了していないと判定した場合に、色ノイズ低減処理部１１８４は、ｉに１を加える（ステップＳ１９）。そして、色ノイズ低減処理部１１８４は、処理をステップＳ１３に戻し、次の画素に対する色ノイズ低減処理の要否を処理要否判断部１１８４ａにおいて判断する。
【００５３】
また、ステップＳ１８において、ｉがＮになったと判定した場合に、色ノイズ低減処理部１１８４は、図４の処理を終了させる。
【００５４】
以下、具体例を用いて本実施形態におけるノイズ低減処理について説明する。  
図６は、図４のステップＳ１３〜Ｓ１５で示した３つの条件の全てを満足する画素のデータの例について示す図である。ここで、図６（ａ）及び図６（ｂ）ともに、左側が本実施形態における色ノイズ低減処理前のデータを示し、右側が本実施形態における色ノイズ低減処理後のデータを示す。
【００５５】
図６（ａ）に示す例は、Ｇデータの値が（条件３）で示す輝度範囲内であり、dRとdBの値が小さい場合の例である。dRとdBの値がともに小さい場合、ｉ番目の画素の本来の色は無彩色（dR=0且つdB=0。例えばグレー）であると考えることができる。本実施形態では、図６（ａ）のような場合には、ＲデータにおけるdRに相当する分とＢデータにおけるdBに相当する分とがそれぞれ色ノイズであると考える。図５の特性データに従えば、図６（ａ）のような場合には、KrとKbがともにほぼ１となって、ノイズ低減処理の効果が高くなるので、画素の色はほぼ無彩色となる。これによって色ノイズの低減と色バランス（グレーバランス）の補正を行う。
【００５６】
図６（ｂ）に示す例は、Ｇデータの値が（条件３）で示す輝度範囲内であり、dRの値が（条件１）で示す色差範囲内であるが、図６（ａ）の例に比べれば大きい場合の例である。この場合、ＢデータにおけるdBに相当する分は、色ノイズによるものであると考えることができるが、ＲデータにおけるdRに相当する分は、色ノイズによるものだけではなく、本来の被写体の色に赤みによるものであるとも考えることができる。図５の特性データに従えば、図６（ｂ）のような場合には、Kbはほぼ１となるが、Krは１よりも小さくなる。このため、色ノイズの低減と色バランスの補正とを行いつつ、また被写体の本来の色に赤みがあった場合であっても、その赤みが失われることがない。
【００５７】
図７は、図４のステップＳ１３〜Ｓ１５で示した３つの条件の少なくとも何れかを満足しない画素のデータの例について示す図である。
【００５８】
図７（ａ）に示す例は、Ｇデータの値が（条件３）で示す輝度範囲内であり、dRの値が（条件１）で示す色差範囲外となる場合の例である。本実施形態では、図７（ａ）のような場合には、ＲデータにおけるdRに相当する分が、本来の被写体の色に赤みによって色付いたものであると考える。したがって、図７（ａ）に示すような場合には、色の再現を重視して色ノイズ低減処理を行わないようにする。
【００５９】
図７（ｂ）に示す例は、Ｇデータの値が（条件３）で示す輝度範囲外となる場合の例である。Ｇデータの値が大きい場合には、被写体が高輝度である。一般に、高輝度の場合には、色ノイズによる色付きの影響が相対的に小さくなることが知られている。したがって、図７（ｂ）に示すような場合も、色の再現を重視して色ノイズ低減処理を行わないようにする。
【００６０】
以上説明したように、本実施形態によれば、画素毎に色差データを算出し、色ノイズが目立つと判定される色差範囲の色差データを有する画素について、色差データの値がさらに小さくなるように低減係数に応じた補正値を加減算することにより色ノイズ低減処理を行っている。これにより、画像データの色バランスを崩さずに色ノイズを低減することが可能である。また、色差データの値が小さいほど色ノイズ低減処理の効果を大きくすることにより、被写体の本来の色に応じた適切な色ノイズ低減処理を行うことが可能である。
【００６１】
また、本実施形態では、色ノイズ低減処理を行うのに先立って、色ノイズ低減処理の要否を画素毎に判断するようにしている。これにより、不要な色ノイズ低減処理を行わないようにすることが可能である。
【００６２】
さらに、本実施形態では、色ノイズ低減処理を非線形画像処理としてのガンマ変換処理の前に行うようにしている。非線形画像処理の前に色ノイズ低減処理を行うことにより、色ノイズ低減処理を簡単な演算で行うことが可能である。
【００６３】
以下、本実施形態の変形例について説明する。  
［変形例１］  
前述した実施形態においては、輝度範囲を決定するための閾値Lg及びUgを任意に指定できるとしている。輝度範囲を適宜指定することにより、任意の輝度範囲における色ノイズの低減と色バランスの補正とを行うことができる。例えば、輝度範囲を低輝度側に指定しておけば、色ノイズが特に目立ちやすい暗部における色ノイズの低減と色バランスの補正とを行うことができる。
【００６４】
［変形例２］  
また、前述した実施形態においては、低減係数の特性を、色差データの値の変化に対して線形に増減する特性としている。これに対し、低減係数を色差データの値によらない固定値としても良い。この場合、低減係数の算出が不要である。
【００６５】
［変形例３］  
また、低減係数を１とする色差データの範囲を広げるようにしても良い。図８（ａ）及び図８（ｂ）に例を示す。図８（ａ）及び図８（ｂ）の例は、Kr及びKbの値を台形状に変化させる例である。  
図８（ａ）は、Krの特性を示す。図８（ａ）の例では、正負２つずつ、計４つの色差データの閾値-TH_dR2、-TH_dR1、TH_dR1、TH_dR2を設定している。そして、Krは、-TH_dR2＜dR(i)≦-TH_dR1の範囲では、以下の（式５）で示すように、dR(i)の変化に伴って線形に増加し、-TH_dR1＜dR(i)≦TH_dR2の範囲（第２の色差範囲）では、以下の（式６）で示すように、最大値である１であり、-TH_dR1＜dR(i)≦TH_dR2の範囲では、以下の（式７）で示すように、dR(i)の変化に伴って線形に減少する。  
Kr=((dR(i)−TH_dR1)/(TH_dR1−TH_dR2))＋１                     （式５）  
Kr＝１                                                        （式６）  
Kr＝−((dR(i)−TH_dR1)/(TH_dR2−TH_dR1))＋１                  （式７）
【００６６】
また、図８（ｂ）は、Kbの特性を示す。図８（ｂ）の例のKbは、図８（ａ）で示したKrと同様の特性を有しているので、詳細については説明を省略する。
【００６７】
図８で示した特性では、図５で示した特性よりも、色ノイズ低減効果を最大とする色差データの範囲が拡大される。したがって、例えば暗部における色ノイズを確実に除去したい場合に有効である。
【００６８】
［変形例４］  
前述の実施形態及び変形例では、低減係数を線形に変化させているが、非線形に変化させるようにしても良い。図９（ａ）及び図９（ｂ）に例を示す。  
図９（ａ）は、Krの特性を示す。図９（ａ）の例のKrは、dR(i)が０のときに最大値である１となる。また、Krは、-TH_dR＜dR(i)≦０の範囲では、以下の（式９）で示すように、dR(i)の変化に伴って非線形に増加する。また、Krは、０＜dR(i)＜TH_dRの範囲では、dR(i)の変化に伴って以下の（式８）で示すように、dR(i)の変化に伴って非線形に減少する。  
Kr＝1/(TH_dR)2×(dR(i)−TH_dR)2                                （式８）  
Kr＝1/(TH_dR)2×(dR(i)＋TH_dR)2                                （式９）
【００６９】
また、図９（ｂ）は、Kbの特性を示す。図９（ｂ）の例のKbは、図９（ａ）で示したKrと同様の特性を有しているので、詳細については説明を省略する。
【００７０】
［変形例５］
前述の実施形態及び変形例では、輝度範囲を１つ設定し、この１つの輝度範囲内で色ノイズ低減処理を行うようにしている。これに対し、輝度範囲を複数設定し、複数の輝度範囲内で個別に色ノイズ低減処理を行うようにしても良い。図１０は、３種類の輝度範囲Area1、Area2、Area3を設定し、それぞれの輝度範囲につき、異なる色差範囲の閾値、異なる低減係数の特性で色ノイズ低減処理を行う例である。なお、図１０は、３種類の輝度範囲を設定した例を示しているが、輝度範囲の数は３種類に限るものではないことは言うまでもない。
【００７１】
［その他の変形例］
上述した本実施形態及び変形例では、色差データをＧデータとＲデータとの差分及びＧデータとＢデータとの差分としているが、これは、撮像素子１０８のカラーフィルタの配列が原色系のベイヤ配列の例である。本実施形態の技術は、原色系ベイヤ配列以外の、例えば補色系ベイヤ配列、及びＲ、Ｇ、Ｂ以外の色（例えば透明（白））を含む配列等、各種の配列のカラーフィルタを有する撮像素子１０８に対して適用可能である。また、カラーフィルタの配列によっては必ずしも同時化処理は行わなくとも良い。
【００７２】
また、上述した本実施形態及び変形例においては、色ノイズ低減処理の要否の判断と色ノイズ低減処理とを画素毎に行う例を示している。これに対し、複数の画素からなる領域単位で色ノイズ低減処理の要否を判断し、領域単位で色ノイズ低減処理を行うようにしても良い。
【００７３】
また、上述した実施形態及び変形例における画像処理部１１８による各処理は、デジタルカメラ１とは別体の画像処理装置（例えばパーソナルコンピュータ）において実行するようにしても良い。さらには、上述した実施形態及び変形例における画像処理部１１８による各処理は、何れもマイクロコンピュータ１３０に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、マイクロコンピュータ１３０は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【００７４】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００７５】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００７６】
１０２…レンズ、１０４…レンズ駆動部、１０６…レンズ駆動制御回路、１０８…撮像素子、１１０…撮像回路、１１２…アナログ/デジタル（Ａ/Ｄ）変換部、１１４…バス、１１６…ＳＤＲＡＭ、１１８…画像処理部、１２０…表示ドライバ、１２２…表示部、１２４…画像圧縮伸張処理部、１２６…メモリインターフェイス（Ｉ/Ｆ）、１２８…記録媒体、１３０…マイクロコンピュータ、１３２…操作部、１３４…Ｆｌａｓｈメモリ、１１８１…オプティカルブラック（ＯＢ）減算部、１１８２…ホワイトバランス補正部、１１８３…同時化処理部、１１８４…色ノイズ低減処理部、１１８４ａ…処理要否判断部、１１８５…色マトリクス演算部、１１８６…ガンマ変換部
【図１】
0005977565.tif 000002
【図２】
0005977565.tif 000003
【図３】
0005977565.tif 000004
【図４】
0005977565.tif 000005
【図５】
0005977565.tif 000006
【図６】
0005977565.tif 000007
【図７】
0005977565.tif 000008
【図８】
0005977565.tif 000009
【図９】
0005977565.tif 000010
【図１０】
0005977565.tif 000011