(57)【要約】【課題】色の鮮鋭性を維持しつつエッジ付近の色ノイズを十分に低減することを目的とする。【解決手段】画像処理装置であって、入力画像データに対し縮小処理を行って、解像度を低くした複数の階層の縮小画像データを生成する縮小処理手段と、前記入力画像データ及び前記縮小画像データにおける注目画素の画素値を、色ノイズが低減された値に補正する補正手段と、前記補正が施された画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、他の階層の画像データとの合成比率を導出する合成比率導出手段と、前記補正が施された各画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、前記補正による色ノイズ低減度を画素毎に算出する色ノイズ低減度算出手段と、前記合成比率と前記色ノイズ低減度とに基づいて、前記補正が施された画像データのうち注目する画像データとその一つ下の階層の画像データとを合成する合成手段と、を備えたことを特徴とする。【選択図】図８
2018160026.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データに対し縮小処理を行って、解像度を低くした複数の階層の縮小画像データを生成する縮小処理手段と、
前記入力画像データ及び前記縮小画像データにおける注目画素の画素値を、色ノイズが低減された値に補正する補正手段と、
前記補正が施された画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、他の階層の画像データとの合成比率を導出する合成比率導出手段と、
前記補正が施された各画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、前記補正による色ノイズ低減度を画素毎に算出する色ノイズ低減度算出手段と、
前記合成比率と前記色ノイズ低減度とに基づいて、前記補正が施された画像データのうち注目する画像データとその一つ下の階層の画像データとを合成する合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記合成手段は、
画像データを拡大する拡大処理手段と、
注目する画像データとその一つ下の階層の画像データとを合成する際に、優先的に前記一つ下の階層の画像データを使用するかどうかを、前記色ノイズ低減度に基づいて判定し、優先的に前記一つ下の階層の画像データを使用すると判定した場合に、当該一つ下の階層の画像データの重みを大きくするように前記合成比率を変更する優先使用判定手段と、
前記注目する画像データの画素値と、その一つ下の階層の画像データであって前記拡大処理手段により前記注目する画像データと同じ解像度に拡大された画像データの画素値とを、前記合成比率に基づいて合成する画素値合成手段と、
を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記優先使用判定手段は、上位階層側の画像データについて算出された前記色ノイズ低減度が所定の閾値よりも小さい場合、優先的に前記一つ下の階層の画像データを使用すると判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記所定の閾値は、前記階層が下であるほど小さな値、前記階層が上であるほど大きな値が設定されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記優先使用判定手段は、前記注目画素が無彩色であるときのみ、前記判定を行うことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記注目する画像データの注目画素の色差信号と、その一つ下の階層の画像データであって前記拡大処理により当該注目する画像データと同じ解像度に拡大された画像データの注目画素の色差信号との色の類似性を判定する色類似性判定手段をさらに備え、
前記優先使用判定手段は、前記色ノイズ低減度が前記所定の閾値より小さく、かつ、前記色類似性判定手段で色が類似すると判定された場合に、優先的に前記一つ下の階層の画像データを使用すると判定する
ことを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記色類似性判定手段は、下位階層側及び上位階層側の色差信号の色空間を極座標変換した結果が、下位階層側と上位階層側とで同じ特定の範囲内にある場合に色が類似すると判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記色類似性判定手段は、下位階層側及び上位階層側の色差信号の色空間を極座標変換した結果、下位階層側と上位階層側との距離が所定の閾値以内にある場合に色が類似すると判定することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記色類似性判定手段は、前記一つ下の階層の色差信号の値が所定の値以下の場合、前記色の類似性の判定を行わないことを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記補正手段における前記補正は、前記注目画素を囲む隣接画素からなる参照領域を用いた平滑化処理であり、
前記色ノイズ低減度算出手段で算出される前記色ノイズ低減度は、前記参照領域を構成する画素のうち前記平滑化処理で実際に参照された画素の数を、前記参照領域を構成する全画素数で除して得られた比率である
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記入力画像データはＲＧＢの色成分を持つ画像データであり、
前記補正手段は、前記注目画素の色信号の値を、式（１）〜式（３）を用いて色成分毎に補正し、
【数１】
2018160026.tif 000017
【数２】
2018160026.tif 000018
【数３】
2018160026.tif 000019
前記式（１）〜（３）において、Ｒ[i]とＧ[i]とＢ[i]は前記注目画素に対する前記参照領域内で式（４）を満たす画素を表し、Ｍは前記注目画素に対する前記参照領域において式（４）を満たす画素数を表し、
【数４】
2018160026.tif 000020
前記式（４）において、∧は論理積（AND）を表し、ThrはＲ信号に対する閾値、ThgはＧ信号に対する閾値、ThbはＢ信号に対する閾値をそれぞれ表し、Ｒdiff、Ｇdiff、Ｂdiffは前記参照領域内の各画素値と比較する画素値との差を表す、
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記画素値合成手段は、以下の式（５）を用いて合成後の画素値を求め、
【数５】
2018160026.tif 000021
前記式（５）において、Ｉpostは合成後の画素値を、Ｉdownは下位階層側の画像データの画素値を、Ｉupは上位階層側の画素値をそれぞれ表し、ｕは上位階層側の画像データをどれだけ使用するかを表す前記合成比率としての係数を表す、
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
入力画像データに対し縮小処理を行って、解像度を低くした複数の階層の縮小画像データを生成するステップと、
前記入力画像データ及び前記縮小画像データにおける注目画素の画素値を、色ノイズが低減された値に補正するステップと、
前記補正が施された画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、他の階層の画像データとの合成比率を導出するステップと、
前記補正が施された各画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、前記補正による色ノイズ低減度を画素毎に算出するステップと、
前記合成比率と前記色ノイズ低減度とに基づいて、前記補正が施された画像データのうち注目する画像データとその一つ下の階層の画像データとを合成するステップと、
を含むことを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色ノイズを低減する画像処理技術に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置には高画質な撮影画像が望まれるが、暗い場所や夜間のように十分なS／N比が得られない環境下では、低周波のランダムノイズである色成分のノイズ（色ノイズ）によって画質が大きく低下してしまう。特に近年は高感度撮影に対する要求が高く、暗所や夜間においてもノイズが少なく、高画質な撮影画像が得られることが望まれている。そこで、色ノイズを抑制するために、平均化フィルタ、ガウシアンフィルタ等を用いた平滑化処理やメディアンフィルタのような順序統計フィルタを用いた色ノイズ低減処理が行われている。しかしながら、平滑化処理や順序統計フィルタを用いた場合、大きな範囲のノイズ（低周波ノイズ）を十分に低減するためには、フィルタのタップ数を大きく設計する必要があり、回路規模の増大を引き起こしてしまう。この点、入力画像を縮小してからフィルタ処理を行うことで、タップ数を増やさずに同等の効果を得る手法が提案されている（特許文献１を参照）。この特許文献１の手法では、まず、入力画像から解像度を段階的に低くした複数の低解像度画像を生成し、入力画像と低解像度画像の各々について色ノイズの抑圧処理を行う。その後、低解像度画像については解像度を戻し、合成比率係数に基づいて重み付け合成していく。この際の合成比率係数は、注目する画素が色変化の少ない領域に属する画素であると判断される場合には、下位階層からの画像の合成比率が高くなるように決定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２-１０４９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１の手法の場合、エッジ付近の色ノイズが残留してしまうことがある。例えば、高コントラストエッジ部では、注目画素の周辺に、注目画素値と近い画素値を持つ画素が少ないため、フィルタのタップ数を大きくしても、色ノイズを十分に低減することができない。そして、このようなエッジ付近の領域に対して出来るだけ平滑化効果を高めるようにチューニングすると、今度は色抜けや色の解像感の劣化（エッジがボケる）といった問題が生じてしまう。そこで、本発明は、色の鮮鋭性を維持しつつエッジ付近の色ノイズを十分に低減することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、入力画像データに対し縮小処理を行って、解像度を低くした複数の階層の縮小画像データを生成する縮小処理手段と、前記入力画像データ及び前記縮小画像データにおける注目画素の画素値を、色ノイズが低減された値に補正する補正手段と、前記補正が施された画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、他の階層の画像データとの合成比率を導出する合成比率導出手段と、前記補正が施された各画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、前記補正による色ノイズ低減度を画素毎に算出する色ノイズ低減度算出手段と、前記合成比率と前記色ノイズ低減度とに基づいて、前記補正が施された画像データのうち注目する画像データとその一つ下の階層の画像データとを合成する合成手段と、を備えたことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、色の鮮鋭性を維持しつつ、エッジ付近の色ノイズを十分に低減することが可能になる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置のハードウェア構成の一例を示す図である。
【図２】（ａ）は画像処理装置のノイズ低減処理に係る論理構成の一例を示すブロック図、（ｂ）は色ノイズ低減処理部の内部構成を示すブロック図である。
【図３】図２（ｂ）で示す論理構成によって実現される処理全体の流れを示したシーケンス図である。
【図４】ローパスフィルタ処理に用いるフィルタの具体例を示す図である。
【図５】注目画素に対するローパスフィルタの掛け方の具体例を示す図である。
【図６】色ノイズ低減処理における各処理の流れを示すフローチャートである。
【図７】解像度縮小処理の流れを示すフローチャートである。
【図８】実施例１に係る、拡大合成処理の流れを示すフローチャートである。
【図９】実施例２における色ノイズ低減処理部の内部構成を示すブロック図である。
【図１０】式（１１）を用いた色相の類似性判定を説明する図である。
【図１１】実施例２に係る、拡大合成処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【実施例１】
【０００９】
図１は、本実施例に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、例えばＰＣ等であり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。そして、汎用Ｉ／Ｆ１０４によって、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続される。
【００１０】
ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで、以下のような各種処理を実現する。まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動して、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で取得された画像データ、入力装置１０６からのユーザ指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータが、ＣＰＵ１０１からの指令に基づき演算処理される。演算処理の結果は、モニタ１０８に表示されたり、ＨＤＤ１０３または外部メモリ１０７に格納されたりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。
【００１１】
本実施例では、上記のような構成を備える画像処理装置１００に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力して色ノイズを低減した画像データを出力する態様について説明するものとする。
【００１２】
（画像処理装置の論理構成）
図２（ａ）は、画像処理装置１００のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置１００は、信号分配部２０１、色ノイズ低減処理部２０２、輝度ノイズ低減処理部２０３、信号変換処理部２０４とで構成される。
【００１３】
撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力されるカラー画像データの色信号（ＲＧＢ色空間で表される色信号）は、まず信号変換処理部２０１に入力される。ここで、入力されるカラー画像データは、撮像装置１０５において生成される中間画像データでもよい。例えば、撮像素子よって撮像された画像がデジタル化されたオリジナルの画像データであるＲＡＷ画像データや、欠陥画素を補正した欠陥画素補正後のＲＡＷ画像データでもよい。さらには、偽色抑制等の各種補正処理やローパスフィルタ処理がなされた後のＲＡＷ画像データでもよい。ＲＡＷ画像データの色信号を入力する際には、公知のデモザイク技術を用いてＲＧＢ色信号を生成すればよい。また、ベイヤー配列のＲＡＷ画像データであれば、２×２画素（ＲＧＧＢ）を１画素として扱う方法も考えられる。なお、本実施例におけるカラー画像データはＲＧＢ色空間であることを前提に説明を行なうが、これに限らず、例えばL*a*b*色空間に変換した上で実施してもよい。
【００１４】
信号変換処理部２０１は、入力されたカラー画像データのＲＧＢ色信号から、公知の変換式によって、輝度成分（Ｙ）を表す輝度信号と色差成分（Ｃｒ及びＣｂ）を表す色差信号を生成する。ここで、輝度信号のノイズ（以降、輝度ノイズ）の空間周波数と色差信号のノイズ（以降、色ノイズ）の空間周波数は互いに異なり、色差信号のノイズの空間周波数の方が低い。本処理によって、入力されたカラー画像データに係るＲＧＢ色信号からＹＣｒＣｂ色信号を生成することで、輝度成分を表す輝度信号と色差成分を表す色差信号のそれぞれに対して最適なノイズ低減処理を行なうことができる。入力ＲＧＢ色信号と、信号変換処理によって生成されたＹＣｒＣｂ色信号は、色ノイズ低減処理部２０２と輝度ノイズ低減処理部２０３に送られる。
【００１５】
色ノイズ低減処理部２０２は、ＲＧＢ色信号とＹＣｒＣｂ色信号とに基づいて、色差信号のノイズを低減する処理を行なう。色ノイズ低減処理の詳細については後述する。輝度ノイズ低減処理部２０３は、輝度信号のノイズを低減する処理を行なう。輝度ノイズ低減処理部２０３おいては、一般的なノイズ低減処理を用いればよい。
【００１６】
信号統合処理部２０４は、色ノイズ低減処理部２０２によって色ノイズが低減された色信号と、輝度ノイズ低減処理部２０３によって輝度ノイズが低減された色信号とを統合する処理を行う。信号統合処理部２０４は、信号統合処理の結果生成される、色ノイズと輝度ノイズの両方が低減されたカラー画像データを出力する。統合後のカラー画像データは、モニタ１０８やＨＤＤ１０３などに出力される。そのほか、例えば汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７、不図示の外部サーバ、プリンタなどに出力しても構わない。
【００１７】
（色ノイズ低減処理部の詳細）
続いて、色ノイズ低減処理部２０２について詳しく説明する。図２（ｂ）は、本実施例に係る、色ノイズ低減処理部２０２の内部構成を示すブロック図である。図２（ｂ）に示すように、色ノイズ低減処理部２０２は、縮小処理部２１０、補正部２２０、合成比率導出部２３０、色ノイズ低減度算出部２４０、及び拡大合成処理部２５０で構成される。そして、図３は、図２（ｂ）で示す論理構成によって実現される処理全体の流れを示したシーケンス図である。以下、図２（ｂ）及び図３を参照しつつ、色ノイズ低減処理部２０２の各部について説明する。
【００１８】
＜縮小処理部＞
縮小処理部２１０は、入力された画像データに対し解像度を低減する処理（図３における縮小処理３０２ａ〜３０２ｄ）を行なって、縮小画像データを生成する。図３に示す例
では、入力画像の解像度をそれぞれ、１／２倍にする縮小処理３０２ａ、１／４倍にする縮小処理３０２ｂ、１／８倍にする縮小処理３０２ｃ、１／１６倍にする縮小処理３０２ｄを行なって、解像度の異なる４種類の縮小画像データを生成する。縮小画像データの種類はこの例に限るものではなく、１／８倍で留めてもよいし、さらに１／３２倍まで縮小してもよい。一般に画像データを縮小する際、ローパスフィルタ処理を行わないと折り返し雑音が発生してしまい、その折り返し雑音のパターンが、最終的に出力される画像データに現れてしまう。したがって、縮小処理を行う際には、例えば平均画素法やその他のローパスフィルタ処理を含んだアルゴリズムを用いるか、事前にローパスフィルタ処理を行った上でバイリニア法などを適用する。ローパスフィルタ処理に用いるフィルタは、縮小倍率に基づいて決定され、例えば、縮小倍率が１/２のときには、図４に示すようなフィルタが用いられる。なお、フィルタの大きさや係数は図４に示すフィルタに限られるものではない。以下では、入力画像データと当該入力画像データから生成された複数の縮小画像データとをまとめて「多重解像度画像データ」と呼ぶこととする。縮小処理によって生成された縮小画像データは、後述の補正処理で用いるためにＲＡＭ１０２に記憶される。
【００１９】
＜補正部＞
補正部２２０は、上述の多重解像度画像データに対し、予め設定された補正パラメータに基づいて、色ノイズが低減するように注目画素の色信号を補正する処理（図３における補正処理３０３ａ〜３０３ｅ）を行なう。ここで、補正パラメータとは、注目画素についての所定の参照領域と、平均化するか否かを判定するための各閾値とを意味する。これらは、ノイズ量に応じて適切な値に変更することが望ましい。したがって、例えば撮影感度に応じて予め決めておいたり、注目画素とその周辺画素の情報に基づいて適応的に決定する。補正処理では、入力カラー画像データの注目画素の色信号（ここではＲＧＢ信号）の値が、例えば以下の式（１）〜式（３）を用いて色成分毎に補正される。
【００２０】
【数１】
2018160026.tif 000003
【００２１】
【数２】
2018160026.tif 000004
【００２２】
【数３】
2018160026.tif 000005
【００２３】
上記式（１）〜（３）において、Ｒ[i]とＧ[i]とＢ[i]は、注目画素に対する所定の参照領域内で以下の式（４）を満たす画素を表している。つまり、注目画素について、所定の参照領域において以下の式（４）の条件を満たした画素のみを用いて平滑化処理が実施されることになる。所定の参照領域は、注目画素とそれを囲む隣接画素からなり、例えば、３×３画素の領域であったり、さらに大きな１０×１０画素の領域であったりする。この参照領域の決め方については、色ノイズ低減度算出部２４０の説明において触れる。また、Ｍは、注目画素に対する参照領域において以下の式（４）を満たす画素数である。なお、注目画素自身は必ず含まれるので、Ｍ≧１となる。
【００２４】
【数４】
2018160026.tif 000006
【００２５】
上記式（４）において、∧は論理積（AND）を表し（以下、同じ）、ThrはＲ信号に対する閾値、ThgはＧ信号に対する閾値、ThbはＢ信号に対する閾値をそれぞれ表している。そして、Ｒdiff、Ｇdiff、Ｂdiffは参照領域内の各画素値と比較する画素値との差を表し、それぞれ以下の式（５）〜式（７）で表される。
【００２６】
【数５】
2018160026.tif 000007
【００２７】
【数６】
2018160026.tif 000008
【００２８】
【数７】
2018160026.tif 000009
【００２９】
上記式（５）〜式（７）における、比較する画素値Ｒcomp、Ｇcomp、Ｂcompは、注目画素の画素値をそのまま用いればよい。或いは、注目画素の画素値にローパスフィルタを掛けた結果を注目画素の画素値としてもよい。図５は、注目画素に対するローパスフィルタの掛け方の具体例を示す図である。図５の例では、注目画素とその上下左右方向に隣接する４画素を用いて、「比較する画素値Ｒcomp、Ｇcomp、Ｂcomp」としての「注目画素の画素値にローパスフィルタを掛けた結果」が導出される。なお、ローパスフィルタと同様の効果があれば、その重み付けや使用する隣接画素の数は自由に決定してよい。
【００３０】
なお、ここに示した補正処理は一例であり、色ノイズが低減するように色信号値を補正する手法であれば他のどのような方法でもよい。補正処理によって色ノイズが低減された多重解像度画像データは、後述の合成比率導出処理及び色ノイズ低減度算出処理で用いるため、ＲＡＭ１０２に記憶される。
【００３１】
＜合成比率導出部＞
合成比率導出部２３０は、補正処理によって色ノイズが低減された多重解像度画像データに含まれる各画像データに対し、下位階層画像データとの合成比率を導出する処理（図３における合成比率導出処理３０４ａ〜３０４ｄ）を行なう。ただし、図３のシーケンス図から明らかなように、最下位階層の画像データ（本実施例では１／１６倍に縮小処理された縮小画像データ）は、自己よりも下位の画像データが存在しないため本処理の対象外である。ここで、合成比率は色信号の急峻な変化の度合いに応じて決定される。本実施例の場合、注目画素のＲＧＢ信号を入力としてエッジ検出することで合成比率を導出可能である。具体的には、例えばフィルタ係数[−1,２,−１]を有する空間フィルタを用い、水平方向と垂直方向にフィルタを適用した結果のうち、色エッジの度合いが高いと考えられる方を、予め定めた関数によって０〜１の間の係数Ｋにマッピングする。色エッジの度合いが高いと考えられるフィルタ適用結果ほど１に近い値の係数Ｋが、色エッジの度合いが低いと考えられるフィルタ適用結果ほど０に近い値の係数Ｋが出力される。そして、この係数Ｋが合成比率となる。
【００３２】
なお、エッジ検出には輝度信号や色差信号を用いてもよい。また、フィルタ係数や判定方法は上述したものに限らない。色エッジの度合いが高いと考えられるときに大きな値の合成比率、色エッジの度合いが低いと考えられるときに小さな値の合成比率が得られれば、どのように導出してもよい。導出された合成比率のデータは、後述の拡大合成処理で用いるため、ＲＡＭ１０２に記憶される。
【００３３】
＜色ノイズ低減度算出部＞
色ノイズ低減度算出部２４０は、補正部２２０で処理された多重解像度画像データのうち、最下位階層を除く各画像データに対し、色ノイズ低減度を画素毎に算出する処理（図３における色ノイズ低減度算出処理３０５ａ〜３０５ｄ）を行なう。色ノイズ低減度は、補正処理（平滑化処理）で実際に参照された画素の数を、当該補正処理時の参照領域を構成する全画素数で除して得られた比率であり、以下の式（８）を用いて画素毎に求められる。この場合において、平滑化処理で実際に参照された画素とは、前述の式（４）の条件を満たす画素であり、以下「実参照画素」と呼ぶこととする。
【００３４】
【数８】
2018160026.tif 000010
【００３５】
ここで、上記式（８）で算出される色ノイズ低減度は、純粋な色ノイズの低減量を示すものではない。どのくらい色ノイズを低減したいかという狙いに対する、色ノイズ低減の結果（色ノイズ低減効果）を表したものである。すなわち、各注目画素についての、補正処理で使用された参照領域が「狙い」に相当し、実参照画素数が「ノイズ低減効果」に相当する。したがって、上記式（８）で求める色ノイズ低減度は、参照領域をどのように設定しているかによって結果が大きく変わる。例えば、注目画素がエッジ部に属する画素であった場合に、色抜けやボケの弊害を防ぐために参照領域をエッジ領域に限定して設定していたとする。この場合、参照領域のサイズは小さくなるので当該参照領域に含まれる画素数は少ない。よって、実参照画素数が少なくても、分母も小さいので、算出される色ノイズ低減度は高くなる。一方で、エッジ部の残留ノイズをできるだけ低減するために、参照領域を出来るだけ大きく設定していたとする。この場合、参照領域のサイズは大きくなるので当該参照領域に含まれる画素数は多い。よって、実参照画素数が多くても、分母も大きい分だけ算出される色ノイズ低減度は低くなる。このように、実参照画素数が仮に同じであっても、参照領域のサイズによって、算出される色ノイズ低減度は変化することになる。上記式（８）に基づく色ノイズ低減度は、残留色ノイズを可能な限り低減したい場面では低くなり、色抜けを可能な限り防ぎたい場面では高くなるという傾向がある。
【００３６】
なお、本実施例では、低減したい色ノイズの狙いに対して得られる効果を表した指標を色ノイズ低減度として用いているが、純粋なノイズ低減量を示す指標を用いてもよい。算出された色ノイズ低減度の情報は、後述の優先使用判定処理で用いるため、ＲＡＭ１０２に記憶される。
【００３７】
＜拡大合成処理部＞
拡大合成処理部２５０は、補正部２２０で処理された多重解像度画像データのうち解像度が異なる２種類の画像データを、合成比率導出部２３０で導出された合成比率と色ノイズ低減度算出部２４０で導出された色ノイズ低減度とに基づいて、合成する処理を行う。拡大合成処理部２５０は、さらに、拡大処理部２５１、優先使用判定部２５２、及び画素値合成部２５３とで構成される。以下、拡大合成処理部２５０を構成する各部について説明する。
【００３８】
≪拡大処理部≫
拡大処理部２５１は、多重解像度画像データにおける最上位階層の画像データ（入力画像データそのもの。図３における入力画像３０１を除いた各階層の画像データを例えばバイリニア法によって２倍に拡大する処理（図３における拡大処理３０６ａ〜３０６ｄ）を行なう。このとき拡大処理の対象となるのは、最下位階層では補正部２２０で処理された画像データであり、その他の下位階層では、後述の画素値合成処理による合成後の画像データである。図３のシーケンス図の例では、拡大処理３０６ａの対象は補正処理３０３ｅが施された最下位階層の画像データとなっている。また、拡大処理３０６ｂの対象は後述の画素値合成処理３０８ａが施された合成後の画像データとなっている。また、拡大処理３０６ｃの対象は後述の画素値合成処理３０８ｂが施された合成後の画像データとなっている。そして、拡大処理３０６ｄの対象は後述の画素値合成処理３０８ｃが施された合成後の画像データとなっている。なお、拡大処理の方法は、バイリニア法に限らず、例えばニアレストネイバー法、バイキュービック法、Lanczos法などを用いてもよい。
【００３９】
≪優先使用判定部≫
優先使用判定部２５２は、着目する画像データとその一つ下の階層の画像データとを合成する際に、優先的に下の階層の画像データを使用するかどうかを判定する処理（図３における優先使用判定処理３０７a〜３０７ｄ）を行なう。本実施例における優先使用判定は、色ノイズ低減度算出部２４０で導出された色ノイズ低減度に基づいてなされる。ここで、「一つ下の階層の画像データ」とは、着目画像データよりも１段階解像度が低い画像データであって、当該着目する画像データと同じ解像度に上記拡大処理部２５１によって拡大処理された画像データを指す。図３のシーケンス図の例で説明する。
【００４０】
優先使用判定処理３０７ａでは、入力画像データの１／８の解像度に縮小処理された画像データと、入力画像データの１／１６の解像度に縮小処理されていた（拡大処理によって同じ解像度になった）画像データとの合成を行う際の判定がなされる。そして、優先使用判定処理３０７ｂでは、入力画像データの１／４の解像度に縮小処理された画像データと、入力画像データの１／８の解像度に縮小処理されていた（拡大処理によって同じ解像度になった）画像データとの合成を行う際の判定がなされる。そして、優先使用判定処理３０７ｃでは、入力画像データの１／２の解像度に縮小処理された画像データと、入力画像データの１／４の解像度に縮小処理されていた（拡大処理によって同じ解像度になった）画像データとの合成を行う際の判定がなされる。そして、優先使用判定処理３０７ｄでは、入力画像データそのものと、入力画像データの１／２の解像度に縮小処理されていた（拡大処理によって同じ解像度になった）画像データとの合成を行う際の判定がなされる。
【００４１】
そして、この優先使用判定処理は、前述の式（８）で算出された色ノイズ低減度のうち上位階層側の結果を、画素単位で、以下の式（９）に当て嵌めて行う。
【００４２】
【数９】
2018160026.tif 000011
【００４３】
上記式（９）において、thdegはノイズ量に応じて設定する閾値である。ノイズ量は階層や撮影感度によって変わるため、階層が下であるほど又は撮影感度が小さいほど小さな値に、反対に階層が上であるほど又は撮影感度が高いほど大きな値に、閾値thdegを設定する。そして、上記式（９）の条件を満たしたとき、すなわち、上位階層側の色ノイズ低減度が閾値thdegよりも小さければ、優先的に下の階層の画像データを使用すると判定される。そして、このように判定された場合は、画像合成時の下位階層側の比率を大きく（例えば下階層の画像データを100％採用）するように合成比率が変更される。変更された合成比率のデータはＲＡＭ１０２に記憶される。
【００４４】
なお、注目画素が無彩色であるときのみ、上記式（９）に従った合成比率の変更を行ってもよい。その際のthdegは、通常より大きめの値に設定し、下位階層側の画像データがより優先的に使用されるように設計することが望ましい。これには二つの理由がある。一つは、無彩色領域は特に残留色ノイズが目立つため、出来るだけ下位階層側の画像データを使うことが望ましいからである。もう一つは、上位階層側で無彩色と判定されている領域は、下位階層側の画像データを使用しても色抜けの弊害が発生しにくいためである。このように、無彩色とみなせる領域でのみ、残留色ノイズを低減するようにしてもよい。
【００４５】
≪画素値合成部≫
画素値合成部２５３は、着目する画像データの画素値と、その一つ下の階層の画像データを拡大処理した後の画像データ（着目する画像データと同じ解像度）の画素値とを、各段階の合成比率導出処理によって導出された合成比率に基づいて合成する処理を行なう。図３においては、画素値合成処理３０８ａ〜３０８ｄがこれに対応する。具体的には、下位階層側の画素値をＩdown、上位階層側の画素値をＩup、合成比率をｕとしたときの合成後の画素値Ｉpostが、以下の式（１０）を用いて求められる。
【００４６】
【数１０】
2018160026.tif 000012
【００４７】
例えば、合成比率ｕ＝0.1、下位階層側画素値Ｉdown＝3405、上位階層側画素値Ｉup＝3621であったとき、合成後の画素値Ｉpostは上記式（１０）より“3427”となる。なお、ここでの画素値はどのようなフォーマットでもよく、ＹｃｒＣｂ値でもよいし、ＲＧＢ値でもよい。
【００４８】
上述の通り合成比率ｕは、上位階層側の画像データをどれだけ使用するかを表す係数であり、基本的には合成比率導出部２３０で導出され、優先使用判定処理の結果によって適宜変更されることになる。本実施例の場合、画素値合成処理３０８ａ〜３０８ｃの結果である合成後のカラー画像データはＲＡＭ１０２に一旦記憶されて拡大処理３０６ｂ〜３０６ｄにそれぞれ供される。一方、画素値合成処理３０８ｄの結果である合成後の画像データについてはそのまま出力される（図３のシーケンス図を参照）。この際の出力の態様には、例えば、モニタ１０８への表示、ＨＤＤ１０３保存、汎用Ｉ／Ｆ１０４を介した外部メモリ１０７や外部サーバ（不図示）への保存、プリンタ（不図示）での印刷といったものがある。
【００４９】
（色ノイズ低減処理のフロー）
次に、色ノイズ低減処理部２０２における各処理の大まかな流れについて説明する。図６は、色ノイズ低減処理における各処理の流れを示すフローチャートである。この一連の処理は、ＣＰＵ１０１が、ＨＤＤ１３０に格納されているプログラムをＲＡＭ１０２にロードし、実行することで実現される。
【００５０】
色ノイズ低減処理部２０２に画像データが入力されると、ステップ６０１において、縮小処理部２１０は、取得された入力画像データに対し前述の縮小処理を行い、多重解像度画像データを生成する。縮小処理の詳細については後述する。
【００５１】
ステップ６０２において、補正部２２０は、生成された多重解像度画像データにおける各階層の画像データに対し、色ノイズが低減するように注目画素の色信号を補正する補正処理を行なう。
【００５２】
ステップ６０３において、合成比率導出部２３０は、補正処理によって色ノイズが低減された多重解像度画像データのうち、最下位階層を除く各画像データに対し、下位階層の画像データとの合成比率を導出する処理を行なう。
【００５３】
ステップ６０４において、色ノイズ低減度算出部２４０は、補正処理によって色ノイズが低減された多重解像度画像データのうち、最下位階層を除く各画像データに対し、色ノイズ低減度を算出する処理を行なう。
【００５４】
ステップ６０５において、拡大合成処理部２５０は、補正処理によって色ノイズが低減された多重解像度画像データに対し、ステップ６０３で導出された合成比率とステップ６０４で算出された色ノイズ低減度とに基づいて、前述の拡大合成処理を行う。拡大合成処理の詳細については後述する。
【００５５】
以上が、色ノイズ低減処理部２０２における各処理の大まかな流れである。
【００５６】
（縮小処理フロー）
続いて、上述した図６のフローにおける縮小処理（ステップ６０１）の詳細について説明する。図７は、縮小処理の流れを示すフローチャートである。
【００５７】
ステップ７０１において、縮小処理部２１０は、縮小処理パラメータを取得する。縮小処理パラメータには、多重解像度の階層の深さ、最小の解像度が入力画像データに対して何分の１（２の倍数）になるかの情報が含まれる。そして、このような縮小処理パラメータが予め設定されて、ＨＤＤ１０３等に保存される。本実施例の場合、全５階層（１倍、１／２倍、１／４倍、１／８倍、１／１６倍）で、最小の解像度が入力画像データの１６分の１になるという内容の縮小処理パラメータが予め設定・保存され、それがＨＤＤ１０３等から読み込むことで取得される。
【００５８】
ステップ７０２において、縮小処理部２１０は、ステップ７０１で取得した縮小処理パラメータに基づき、縮小処理に適用する倍率を決定する。縮小処理パラメータの内容が、全５階層で、最小の解像度が入力画像データの１６分の１という本実施例の場合は、１／２、１／４、１／８、１／１６という４種類の倍率が順次決定されることになる。
【００５９】
ステップ７０３において、縮小処理部２１０は、処理対象の画像データに対して、ステップ７０２で決定された倍率に縮小する処理を行う。
【００６０】
ステップ７０４において、縮小処理部２１０は、ステップ７０１で取得した縮小処理パラメータに基づく縮小処理が全て完了したかどうかを判定する。本実施例の場合は、１／２、１／４、１／８、１／１６という４種類の倍率についての縮小処理がすべて完了しているかどうかが判定される。判定の結果、取得した縮小処理パラメータに対応する全ての縮小処理が完了している場合は本処理を終える。一方、未処理の倍率があればステップ７０２に戻って次の倍率を決定して縮小処理を続行する。
【００６１】
（拡大合成処理フロー）
次に、上述した図６のフローにおける拡大合成処理（ステップ６０５）の詳細について説明する。図８は、本実施例に係る、拡大合成処理の流れを示すフローチャートである。
【００６２】
ステップ８０１において、拡大合成処理部２５０は、前述のステップ６０２の補正処理によって色ノイズが低減された全ての画像データ（多重解像度画像データ）を取得する。
【００６３】
ステップ８０２において、拡大合成処理部２５０は、前述の縮小処理パラメータ及び合成処理パラメータを取得する。ここで、合成処理パラメータとは、前述のステップ６０３で導出された合成比率及び前述のステップ６０４で算出された色ノイズ低減度を意味する。
【００６４】
ステップ８０３において、拡大合成処理部２５０の拡大処理部２５１は、ステップ８０１で取得した複数の画像データの中で最も下位階層（解像度が小さい）の画像データに対し、前述の拡大処理（本実施例では２倍）を行なう。
【００６５】
ステップ８０４において、拡大合成処理部２５０は、ステップ８０１で取得した複数の画像データのうち未処理の画像データの中で最小解像度の画像データを、画素値合成処理の対象となる一方の画像データとして選択する。この場合において、上記未処理の画像データには、最下位階層の画像データは含まれない。
【００６６】
ステップ８０５において、拡大合成処理部２５０の画素値合成部２５３は、画素値合成処理の対象となる画素を選択する。具体的には、最初のルーチンの場合は、ステップ８０３で拡大処理された画像データと当該拡大処理された画像データと同じ解像度のステップ８０４で選択された画像データとについて、画素値合成処理の対象となる画素が選択される。また、２回目以降のルーチンの場合は、後述のステップ８１１で拡大処理された画像データと、当該拡大処理された画像データと同じ解像度のステップ８０４で選択された画像データとについて、画素値合成処理の対象となる画素が選択される。
【００６７】
続くステップ８０６〜ステップ８０７では、拡大合成処理部２５０の優先使用判定部２５２において、ステップ８０５で選択した画素についての前述した優先使用判定処理がなされる。すなわち、画素値合成処理対象の２つの画像データのうち拡大処理された方の画像データ（下位階層側の画像データ）を優先的に使用するかどうかの判定処理がなされる。
【００６８】
ステップ８０６では、下位階層側の画像データを優先的に使用するかどうかが、前述の式（９）を用いて判定される。判定の結果、上位階層側の色ノイズ低減度が閾値thdegよりも小さい場合は、下位階層側の画像データを優先的に使用するべく、ステップ８０７に進む。一方、上位階層側の色ノイズ低減度が閾値thdeg以上である場合は、ステップ８０８に進む。
【００６９】
ステップ８０７では、合成比率導出処理（前述のステップ６０３）で得られた合成比率が、下位階層側の画像データの画素値を例えば100％採用するような合成比率に変更される。
【００７０】
ステップ８０８において、拡大合成処理部２５０の画素値合成部２５３は、現在設定されている合成比率に基づいて、前述の画素値合成処理を行なう。これにより、２つの画像データにおける選択された画素値を合成した画素値Ｉpostが得られる。
【００７１】
ステップ８０９において、拡大合成処理部２５０は、全画素に対する合成処理が完了したかどうかを判定する。全画素についての処理が完了していれば、ステップ８１０に進む。一方、未処理の画素があれば、ステップ８０５に戻って次の画素を処理対象の画素に選択して処理を続行する。
【００７２】
ステップ８１０において、拡大合成処理部２５０は、多重解像度画像データのうち最上位階層の画像データ以外の全ての画像データ（すなわち、入力画像データを除く全ての縮小画像データ）についての拡大処理がなされたかどうかを判定する。判定の結果、拡大処理がなされていない縮小画像データがある場合は、ステップ８１１に進む。一方、全ての縮小画像データに対して拡大処理を行っていれば、本処理を終える。
【００７３】
ステップ８１１において、拡大合成処理部２５０の拡大処理部２５１は、ステップ８０８で得られた合成処理後の画像データに対して、前述の拡大処理（本実施例では２倍）を行なう。拡大処理の実行後は、ステップ８０４に移行する。
【００７４】
以上が、本実施例に係る、拡大合成処理の内容である。
【００７５】
以上述べたとおり、本実施例によれば、色の鮮鋭性を維持しつつ、エッジ付近の残留色ノイズを効果的に低減することができる。
【実施例２】
【００７６】
実施例１では、色ノイズ低減度が所定の閾値より低い箇所について、下位階層側の画像データの重みが大きくなるよう合成比率を変更することで、色の解像感を維持しながら、残留色ノイズを十分に低減した画像を得ることができる。しかしながら、色ノイズ低減度が低い箇所全てにおいて下位階層側の画像データの重みを大きくしてしまうと、色変化や色抜けといった弊害が発生してしまうことがある。そこで、上位階層と下位階層との間での色の類似性を評価することにより、上述の弊害を出来るだけ発生させない様態について、実施例２として説明する。
【００７７】
ところで、実施例１の構成においても、注目画素が無彩色であるときのみ合成比率の変更を行うように適用対象を限定することで、上述の弊害の発生を防ぐことは可能である。ただし、この場合は当然のことながら、色ノイズ低減処理によって得られる効果が無彩色の領域に限定されてしまう。本実施例では、有彩色の領域においても色ノイズ低減の効果を得られることができるというメリットがある。なお、以下の説明では、本実施例の特徴的構成について詳しく述べ、実施例１との共通部分については説明を省略ないしは簡略化するものとする。
【００７８】
（色ノイズ低減処理部の詳細）
図９は、本実施例に係る、色ノイズ低減処理部２０２’の内部構成を示すブロック図である。色ノイズ低減処理部２０２’は、縮小処理部２１０、補正部２２０、合成比率導出部２３０、色ノイズ低減度算出部２４０、拡大合成処理部２５０’及び色類似性判定部９００で構成される。
【００７９】
本実施例の拡大合成処理部２５０’は、補正部２２０で処理された多重解像度画像データのうち解像度が異なる２種類の画像データを、合成比率と色ノイズ低減度に加え、上述の色類似性判定部９００における判定結果をも考慮して合成する処理を行う。
【００８０】
本実施例の優先使用判定部２５２’は、実施例１と同様、注目する画像データとその一つ下の階層の画像データとを合成する際に、優先的に下の階層の画像データを使用するかどうかを判定する処理（図３における下位階層優先判定処理３０７a〜３０７ｄ）を行なう。実施例１との違いは、色ノイズ低減度算出部２４０で導出された色ノイズ低減度と色類似性判定部９００での判定結果の双方に基づいて優先使用判定処理がなされる点である。
【００８１】
≪色類似性判定部≫
色類似性判定部９００は、まず、補正部２２０で色ノイズが低減された画像データのＲＧＢ色信号から色差信号を生成する。色差信号の生成は、着目する画像データとその一つ下の階層の画像データであって拡大処理により当該着目する画像データと同じ解像度に拡大された画像データと、について行う。色差信号（Ｃｒ及びＣｂ）は、前述の通り公知の変換式によって生成することができる。また、ＣｒはＲ−Ｇで、ＣｂはＢ−Ｇでそれぞれ求めてもよい。生成された色差信号は、ＲＡＭ１０２に記憶される。
【００８２】
次に、色類似性判定部９００は、着目する画像データの色差信号とその一つ下の階層の画像データであって当該着目する画像データと同じ解像度に拡大された画像データの色差信号に基づいて、注目画素について上位階層側と下位階層側の色の類似性を判定する。この判定では、大まかな色の類似性を評価する。その理由は、厳密に評価してしまうと、残留色ノイズを低減したい箇所が判定されなくなる一方で、まったく評価しないと色抜け等の弊害が発生してしまうためである。具体的には、例えば以下の式（１１）を用いて行う。
【００８３】
【数１１】
2018160026.tif 000013
【００８４】
上記式（１１）において、ＣｒdownとＣｂdownは下位階層側の色差信号、ＣｂupとＣｒupは上位階層側の色差信号を表している。そして、この式（１１）は、色差信号の色空間を極座標変換した結果が、下位階層側と上位階層側とで同じ特定の範囲内にあるかどうかで、色の類似性を評価している。すなわち、ＣｒとＣｂをｘｙ座標平面のベクトルとみなしたときに、上位階層側の変換結果が属する象限と下位階層側の変換結果が属する象限とが一致するかどうかを評価している（図１０を参照）。これにより、上位階層側と下位階層側との間での色信号の色相の大まかな類似性を判定することができる。
【００８５】
或いは、上記式（１１）に代えて、以下の式（１２）〜（１４）を用いて行ってもよい。
【００８６】
【数１２】
2018160026.tif 000014
【００８７】
【数１３】
2018160026.tif 000015
【００８８】
【数１４】
2018160026.tif 000016
【００８９】
上記式（１２）及び式（１３）は、下位階層側の各色差信号の値が０に近い所定の値以下のときはコアリングすることを意味しており、コアリングした結果をＣｒdownCMP、ＣｂdownCMPで表している。これにより、ノイズの影響により誤判定が生じやすい信号値がゼロ付近の場合は、上記式（１４）に基づく色の類似性の判定を行う対象から例外的に除外する狙いがある。
【００９０】
なお、下位階層側の色信号と上位階層側の色信号の色相の類似性を評価するものであればよく、判定手法はこれらの例に限定されない。例えば、下位階層側の変換結果と上位階層側の変換結果との距離が所定の閾値以内かどうかで類似性を判定してもよい。この判定手法の場合、色差信号の色空間を極座標変換した結果がＣｒ軸とＣｂ軸の交点１０００付近に位置し、下位階層側と上位階層側とで象限が不一致となるケースであっても、両者の距離が近ければ、類似すると判定され得ることになる。こうして得られた色類似性の判定結果は、優先使用判定部２５２’での優先使用判定処理で用いるため、ＲＡＭ１０２に記憶される。
【００９１】
≪優先使用判定処理≫
優先使用判定部２５２’は、優先的に下位階層の画像データを使用するかどうかを、色ノイズ低減度算出部２４０で導出された色ノイズ低減度と、上述した色類似性判定部９００における色類似性判定の結果とに基づいて判定する。具体的には、まず、実施例１の場合と同様、上位階層側の色ノイズ低減度と所定の閾値thdegとの比較処理を行う。閾値比較処理の結果、上位階層側の色ノイズ低減度が閾値thdegよりも小さければ、次に、上述の色類似性判定の結果を参照し、上位階層側と下位階層側の色が類似していれば、画像合成時の下位階層側の比率を大きくするように合成比率が変更される。
【００９２】
このように色類似性の条件を加えることにより、下位階層側と上位階層側とで、ある程度色が類似している箇所に限定して、下位階層側の合成比率を高めることが可能となる。変更された合成比率のデータはＲＡＭ１０２に記憶される。
【００９３】
（拡大合成処理フロー）
次に、本実施例の拡大合成処理（ステップ６０５）の詳細について説明する。図１１は、本実施例に係る、拡大合成処理の流れを示すフローチャートである。
【００９４】
ステップ１１０１〜ステップ１１０６は、実施例１の図８のフローのステップ８０１〜ステップ８０６にそれぞれ対応する。すなわち、色ノイズが低減された多重解像度画像データが取得され（ステップ１１０１）、続いて、縮小処理パラメータと合成処理パラメータが取得される（ステップ１１０２）。この場合において、本実施例の合成処理パラメータには、合成比率と色ノイズ低減度に加え、色類似性判定の結果も含まれる。そして、取得した多重解像度画像データ中の最下位階層の画像データに対し拡大処理が実行される（ステップ１１０３）。続いて、取得した多重解像度画像データのうち未処理の画像データの中で最小解像度の画像データが、画素値合成処理の対象となる一方の画像データとして選択される（ステップ１１０４）。画像データが選択されると、画素値合成処理の対象となる画素が選択される（ステップ１１０５）。
【００９５】
続くステップ１１０６〜ステップ１１０８では、拡大合成処理部２５０’の優先使用判定部２５２’において、ステップ１１０５で選択した画素についての前述した優先使用判定処理がなされる。
【００９６】
まず、ステップ１１０６では、前述の式（９）を満たすかどうかが判定される。判定の結果、上位階層側の色ノイズ低減度が閾値thdegよりも小さい場合は、ステップ１１０７に進む。一方、上位階層側の色ノイズ低減度が閾値thdeg以上である場合は、ステップ１１０９に進む。
【００９７】
ステップ１１０７において、優先使用判定部２５２’は、ステップ１１０２で取得した合成処理パラメータに含まれる色類似性判定の結果を参照し、処理の切り分けを行う。具体的には、上位階層側と下位階層側との間で色の類似性ありとの判定結果であれば、下位階層側の画像データを優先的に使用するべく、ステップ１１０８に進む。一方、色の類似性がないとの判定結果であれば、ステップ１１０９に進む。そして、ステップ１１０８において、合成比率導出処理（前述のステップ６０３）で得られた合成比率が、下位階層側の画像データの画素値を例えば100％採用するような合成比率に変更される。
【００９８】
以降のステップ１１０９〜ステップ１１１２の各ステップは、図８のフローのステップ８０８〜ステップ８１１にそれぞれ相当し、異なるところはないので説明を省く。
【００９９】
以上が、本実施例に係る拡大合成処理の内容である。なお、ここでは色類似性判定部９００を独立の構成要素とし、その判定結果を優先使用判定部２５２’で参照するようにしていたが、本実施例はこれに限定されるものではない。例えば、色類似性判定部９００の機能を、優先使用判定部２５２’の中に組み込んでもよい。
【０１００】
以上述べたとおり、本実施例では、下位階層側と上位階層側である程度色が類似している箇所に限定して、下位階層側の合成比率を高めることができる。これにより、色変化や色抜けといった弊害を抑えながら、色の鮮鋭性を維持しつつエッジ付近の残留色ノイズを効果的に低減することが可能となる。また、注目画素が無彩色の場合には実施例１を適用し、それ以外の場合には実施例２を適用することによって、色変化や色抜けの弊害を抑えつつ、特に残留色ノイズの目立つ無彩色領域のノイズ低減効果を高めることが可能となる。
【０１０１】
＜その他の実施例＞
実施例１〜２では、画像処理アプリケーションで処理を行う例を説明したが、これらは撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。
【０１０２】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2018160026.tif 000022
【図２】
2018160026.tif 000023
【図３】
2018160026.tif 000024
【図４】
2018160026.tif 000025
【図５】
2018160026.tif 000026
【図６】
2018160026.tif 000027
【図７】
2018160026.tif 000028
【図８】
2018160026.tif 000029
【図９】
2018160026.tif 000030
【図１０】
2018160026.tif 000031
【図１１】
2018160026.tif 000032