(57)【要約】【課題】  画像を複数の周波数帯域に分離し、再合成することによってノイズを低減する画像処理装置およびその制御方法において、合成時の画質劣化を抑制しつつ、良好なノイズ抑圧を実現する。【解決手段】  入力画像を構成する輝度信号および色信号のそれぞれを複数の帯域に分割した複数の帯域のそれぞれにおいて、輝度信号と色信号とにノイズ抑圧処理を適用してそれぞれ合成した輝度信号と合成した色信号とを、ノイズ抑圧後の入力画像の輝度信号および色信号として出力する。色信号は複数の帯域が共通する重複を有するように分割し、輝度信号は複数の帯域に共通する重複を有さないように分割してノイズ抑圧処理および合成処理を行う。【選択図】  図２
2014119997.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の輝度信号および色信号のそれぞれを複数の帯域に分割する分割手段と、
前記分割手段が分割した複数の帯域のそれぞれにおいて、輝度信号と色信号とにノイズ抑圧処理を適用するノイズ抑圧手段と、
前記ノイズ抑圧手段がノイズ抑圧処理を適用した輝度信号と色信号をそれぞれ合成し、合成した輝度信号と合成した色信号とを、ノイズ抑圧後の入力画像の輝度信号および色信号として出力する合成手段と、を有し、
前記分割手段が、前記色信号は前記複数の帯域が共通する重複を有するように分割し、前記輝度信号は前記複数の帯域に共通する重複を有さないように分割することを特徴とする画像処理装置。
【請求項２】
前記分割手段が、前記色信号を、前記複数の帯域がいずれも直流成分を有するように分割することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記分割手段が、前記輝度信号は前記複数の帯域のそれぞれが重複を有さないように分割することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記分割手段が、前記輝度信号は前記複数の帯域のうち、最も高い帯域から所定数の帯域については共通する重複を有さないように分割することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
前記分割手段が、ガウシアンピラミッドを構成するように前記色信号の帯域を分割し、ラプラシアンピラミッドを構成するように前記輝度信号の帯域を分割することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
入力画像から縮小率の異なる複数の縮小画像を生成する生成手段と、
前記入力画像および前記複数の縮小画像の各々についてノイズ抑圧処理を適用し、ノイズ抑圧処理結果を合成して出力するノイズ抑圧手段とを有する画像処理装置であって、
前記ノイズ抑圧手段は、画像の輝度信号と色信号とにそれぞれノイズ抑圧処理を適用するとともに、前記輝度信号については、縮小率が最も大きな縮小画像以外の、少なくとも前記入力画像に対する前記ノイズ抑圧処理結果として、画像から抽出した高域成分に対して前記ノイズ抑圧処理を適用した結果を生成することを特徴とする画像処理装置。
【請求項７】
前記ノイズ抑圧手段は、ある縮小画像に対するノイズ抑圧処理結果と、該縮小画像よりも縮小率が一段階小さい縮小画像に対するノイズ抑圧処理結果との合成を順次行い、前記ノイズ抑圧処理が適用された色信号については、前記縮小率が一段階小さい縮小画像に対するノイズ抑圧処理結果におけるエッジ量に応じた合成比率で合成を行うことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記ノイズ抑圧手段は、前記ノイズ抑圧処理が適用された輝度信号については、前記縮小率が一段階小さい縮小画像に対するノイズ抑圧処理結果が、画像から抽出した高域成分に対して前記ノイズ抑圧処理を適用した結果である場合には加算によって合成を行い、画像から抽出した高域成分に対して前記ノイズ抑圧処理を適用した結果でない場合には前記色信号と同様に合成を行うことを特徴とする請求項７記載の画像処理装置。
【請求項９】
画像処理装置の制御方法であって、
分割手段が、入力画像の輝度信号および色信号のそれぞれを複数の帯域に分割する分割工程と、
ノイズ抑圧手段が、前記分割工程において分割された複数の帯域のそれぞれにおいて、輝度信号と色信号とにノイズ抑圧処理を適用するノイズ抑圧工程と、
合成手段が、前記ノイズ抑圧工程でノイズ抑圧処理が適用された輝度信号と色信号をそれぞれ合成し、合成した輝度信号と合成した色信号とを、ノイズ抑圧後の入力画像の輝度信号および色信号として出力する合成工程と、を有し、
前記分割工程において前記分割手段が、前記色信号は前記複数の帯域が共通する重複を有するように分割し、前記輝度信号は前記複数の帯域に共通する重複を有さないように分割することを特徴とする画像処理装置の制御方法。
【請求項１０】
画像処理装置の制御方法であって、
生成手段が、入力画像から縮小率の異なる複数の縮小画像を生成する生成工程と、
ノイズ抑圧手段が、前記入力画像および前記複数の縮小画像の各々についてノイズ抑圧処理を適用し、ノイズ抑圧処理結果を合成して出力するノイズ抑圧工程とを有し、
前記ノイズ抑圧工程において前記ノイズ抑圧手段は、画像の輝度信号と色信号とにそれぞれノイズ抑圧処理を適用するとともに、前記輝度信号については、縮小率が最も大きな縮小画像以外の、少なくとも前記入力画像に対する前記ノイズ抑圧処理結果として、画像から抽出した高域成分に対して前記ノイズ抑圧処理を適用した結果を生成することを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１から５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１２】
コンピュータを、請求項６から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびその制御方法に関し、特に画像のノイズを抑圧可能な画像処理装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、画素の微小化に起因して、撮像素子から得られる画像信号に含まれるノイズ成分が増加する傾向にある。そして、マルチレート信号処理を利用して、画像信号に含まれるノイズ成分を抑圧する方法が知られている。
【０００３】
特許文献１には、画像信号をウェーブレット変換やラプラシアンピラミッドなどの手法により複数の周波数成分に分離し、それぞれの周波数成分でノイズを抑圧してから再合成する方法が開示されている。例えば、ラプラシアンピラミッドを利用する場合、原画像から縮小処理を施して低域画像を得るとともに、低域画像を拡大した画像と原画像との差分により高域画像を得る。低域画像の縮小処理と、原画像との差分による広域画像の生成を繰り返すことで、階層的な周波数成分に分離する。
【０００４】
各階層で得られる周波数帯域は図６（ａ）の斜線部のようになり、帯域の重複はないと見なせる。これらの、実質的に重複のない周波数帯域を有する複数の画像のそれぞれのノイズを抑圧した後、画像を再合成する。再合成は、縮小画像を拡大して一つ上の階層の差分画像と加算する合成処理の繰り返しによって実現できる。
【０００５】
このように、周波数帯域が重複しないように分離した画像を処理する場合、再合成処理は単純であるため、再合成に起因する合成ムラは少ないという特徴がある。一方で、分離したすべての画像を合成するため、それぞれの帯域分離画像でノイズ抑圧後も残留しているノイズは再合成画像にも残留する。特に、視覚的に好ましくない高域の色ノイズが再合成画像に残留すると、再合成画像の画質劣化の原因となる。
【０００６】
一方で、特許文献２に開示されるように、周波数帯域が重複するように画像を周波数分離する方法も知られている。例えば、ガウシアンピラミッドを利用する場合、原画像から縮小率の異なる複数の縮小画像を生成する。各縮小画像の周波数帯域は図６（ｂ）の斜線部のようになり、各画像の帯域に重複部分が存在する。また、ガウシアンピラミッドを利用した場合、すべての帯域画像に直流成分が存在する。それぞれの縮小画像に対してノイズ抑圧処理を行うとともに、抽出したエッジ信号に基づいて求めた合成比率を用いて帯域画像を合成し、再合成画像を得る。
【０００７】
特許文献２に開示されるでは、エッジ信号の検出精度が低下すると、再合成画像のエッジ部分に合成ムラが発生するという課題がある。一方、合成比率を調整することにより、例えば、画像の平坦部には低域に帯域制限された画像を多く用いるようにすることで高域の色ノイズなどを効果的に削減するなど、ノイズ量を比較的容易にコントロール可能であるという利点もある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−２９３４２５号公報
【特許文献２】特開２００９−１９９１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
このように、ラプラシアンピラミッド等により、画像を重複しない複数の帯域に分離し、各分離画像でノイズを抑圧してから再合成する方法は、合成比率を求めないため合成ムラが発生しにくい一方、全帯域の画像が再合成されるためノイズ抑圧効果を高めにくい。また、ガウシアンピラミッド等により、画像を重複を持つ複数の帯域に分離し、各分離画像でノイズを抑圧し、エッジ信号などにより求めた合成比率に応じて各分離画像を合成する方法では、ノイズ量のコントロールが可能な反面、合成比率の精度が画質に影響する。
【００１０】
本発明は、このような従来技術の課題に鑑みてなされたものである。本発明は、画像を複数の周波数帯域に分離し、再合成することによってノイズを低減する画像処理装置およびその制御方法において、合成時の画質劣化を抑制しつつ、良好なノイズ抑圧を実現することを目的とする。
【課題を解決するための手段】
【００１１】
上述の目的は、入力画像の輝度信号および色信号のそれぞれを複数の帯域に分割する分割手段と、分割手段が分割した複数の帯域のそれぞれにおいて、輝度信号と色信号とにノイズ抑圧処理を適用するノイズ抑圧手段と、ノイズ抑圧手段がノイズ抑圧処理を適用した輝度信号と色信号をそれぞれ合成し、合成した輝度信号と合成した色信号とを、ノイズ抑圧後の入力画像の輝度信号および色信号として出力する合成手段と、を有し、分割手段が、色信号は複数の帯域が共通する重複を有するように分割し、輝度信号は複数の帯域に共通する重複を有さないように分割することを特徴とする画像処理装置によって達成される。
【発明の効果】
【００１２】
このような構成により、本発明によれば、画像を複数の周波数帯域に分離し、再合成することによってノイズを低減する画像処理装置およびその制御方法において、合成時の画質劣化を抑制しつつ、良好なノイズ抑圧を実現することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る画像処理装置の適用例としてのデジタルカメラの機能構成例を示すブロック図
【図２】本発明の第１の実施形態における画像処理回路１０５の構成例を示すブロック図
【図３】本発明の実施形態における帯域別ノイズ抑圧処理を説明するためのフローチャート
【図４】本発明の実施形態における合成部が用いるエッジ量と合成比率の関係例を示す図
【図５】本発明の第２の実施形態における画像処理回路１０５の構成例を示すブロック図
【図６】帯域分割画像が有する帯域のイメージを説明する図
【発明を実施するための形態】
【００１４】
（第１の実施形態）
図１は、本発明の実施形態に係る画像処理装置の適用例としてのデジタルカメラの機能構成例を示すブロック図である。なお、本発明に係る画像処理装置は、デジタルカメラに限らず、デジタルビデオカメラ、コンピュータ（ノート型、デスクトップ型、タブレット端末など）はもちろん、画像処理の実施が可能な任意の電子機器に利用可能である。このような電子機器には、携帯情報端末(PDA)、電話機、ゲーム機、メディアプレーヤ、ナビゲーションシステム、家電製品、車両などが含まれる。
【００１５】
図１において、便宜上１枚のレンズで示した光学系１０１は、ズームレンズやフォーカスレンズを含むレンズ群、絞り、および、シャッターを備えている。この光学系１０１は、撮像素子１０２の撮像面に形成する被写体像の倍率、ピント位置、光量などを調整している。撮像素子１０２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の光電変換素子である。撮像素子１０２は、撮像面に形成された被写体像を電気信号に変換して画像信号を生成する。本実施形態では撮像素子１０２はＣＣＤで構成されているものとする。
【００１６】
前置処理回路１０３は、ＣＤＳ（Correllated Double Sampling）回路や増幅回路を備えている。ＣＤＳ回路は撮像素子１０２で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はＣＤＳ回路から出力された画像信号を増幅する。Ａ／Ｄ変換器１０４は、前置処理回路１０３から出力された画像信号をデジタルの画像信号に変換する。
【００１７】
画像処理回路１０５は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調補正処理などを行い、画像信号を輝度信号Ｙおよび色差信号Ｕ、Ｖとして出力する。また、画像処理回路１０５は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。画像処理回路１０５はＡ／Ｄ変換器１０４から出力された画像信号のみでなく、記録媒体１０９から読み出した画像信号に対しても同様の画像処理を行うことができる。
【００１８】
制御回路１０６は例えばＣＰＵやＭＰＵ等のプログラマブルプロセッサを含み、ＲＯＭに記憶されたプログラムをＲＡＭに展開して実行することにより、デジタルカメラを構成する各部を制御して、デジタルカメラの動作を統括する。制御回路１０６はまた、画像処理回路１０５で得られる被写体の輝度値や合焦値、操作部材１１０から入力された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。
【００１９】
表示メモリ１０７は、表示装置１０８で表示する画像の元になる画像信号を一時的に記憶する。表示装置１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像素子１０２で生成された画像信号や、記録媒体１０９から読み出した画像信号を用いて画像を表示する。撮像素子１０２から読み出される連続した画像信号を、随時更新して表示装置１０８に表示することで、表示装置１０８は電子的なビューファインダーとして機能する。表示装置１０８は画像だけではなく、デジタルカメラの状態、ユーザーが選択あるいはカメラが決定したシャッター速度、絞り値、あるいは、感度情報などの文字情報、画像処理回路１０５で測定した輝度分布を示すグラフ等も表示することが可能である。
【００２０】
記録媒体１０９は、例えば画像データを記録するために用いられる。記録媒体１０９はデジタルカメラに着脱可能に構成されたものであっても、デジタルカメラに内蔵されたものであってもよい。記録媒体１０９に対するデータの読み書きは、例えば制御回路１０６によって制御される。
【００２１】
操作部材１１０は、ユーザーがデジタルカメラに指示を与えるために操作する部材であり、スイッチやボタンといった入力機器が含まれる。指示の入力には、スイッチやボタンの操作に限らず、音声認識などが用いられてもよい。バス１１１は、画像処理回路１０５、制御回路１０６、表示メモリ１０７、および、記録媒体１０９を通信可能に接続する。
【００２２】
次に、本実施形態におけるデジタルカメラの撮影時の動作の一例について説明する。
ユーザーによって操作部材１１０が操作され、撮影準備を開始する指示が送られると、制御回路１０６がそれぞれの回路の動作の制御を開始する。この指示は例えばシャッターボタンの半押しである。
【００２３】
撮像素子１０２が光学系１０１を透過した被写体像を光電変換してアナログの画像信号を生成し、Ａ／Ｄ変換器１０４が前置処理回路１０３によって処理されたアナログの画像信号をデジタル化する。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行う。
【００２４】
画像処理回路１０５で処理された画像信号は、表示メモリ１０７を介して、表示装置１０８で画像として表示される。上述したように、撮像素子１０２で連続的に画像信号を生成し、表示装置１０８が読み出される連続した画像信号を用いて、被写体の画像をリアルタイムで更新して表示することで、表示装置１０８を電子的なビューファインダーとして機能させることができる。
【００２５】
操作部材１１０に対し、撮影を開始する指示（例えばシャッターボタンの全押し）を与える操作がなされるまで、これらの処理を繰り返す。撮影開始指示が入力されると、制御回路１０６は画像処理回路１０５で得られた輝度値や合焦値に基づいて光学系１０１の動作を再調整して静止画の撮影を行う。画像処理回路１０５が、この静止画の画像信号に対して後述するノイズ抑圧処理を含む種々の画像処理を行う。そして、制御回路１０６は、画像処理回路１０５から出力された画像信号を記録媒体１０９に記録する。
【００２６】
次に、画像処理回路１０５で実施するノイズ抑圧処理の詳細について説明する。図２は、画像処理回路１０５が有するノイズ抑圧部２００の機能構成例を示すブロック図である。なお、ノイズ抑圧部２００は、ソフトウェア、ハードウェア、またはそれらの組み合わせによって実現されうる。
【００２７】
本実施形態において、ノイズ抑圧部２００は、帯域制限画像生成部２０１、メモリ２０４、中上位階層処理部２０５、下位階層処理部２１７から構成される。
帯域制限画像生成部２０１は、縮小部２０２および２０３から構成される。中上位階層処理部２０５は、輝度生成部２０６、色変換部２０７、縮小部２０８、拡大部２０９、減算部２１０、輝度ノイズ抑圧部２１１、色ノイズ抑圧部２１２、拡大部２１３、２１４、加算部２１５、合成部２１６から構成される。下位階層処理部２１７は、輝度生成部２０６、色変換部２０７、輝度ノイズ抑圧部２１１、色ノイズ抑圧部２１２から構成される。
【００２８】
ノイズ抑圧部２００の動作について、図３に示したフローチャートを用いて説明する。なお、ここでは、撮像素子１０２がＲ，Ｇ１，Ｇ２，およびＢ画素が規則的に配列された備える原色ベイヤーフィルタを備え、また、画像処理回路１０５内で既にホワイトバランスゲインが適用された画像信号に対してノイズ抑圧処理を行う場合について説明する。なお、Ｇ１画素およびＧ２画素はいずれも緑色画素であるが、以下の説明における色ごとの処理では、Ｇ１画素とＧ２画素とは別の色として取り扱う。
【００２９】
Ｓ１で、帯域制限画像生成部２０１において、周波数帯域の異なる複数の画像を生成する。本実施形態において帯域制限画像生成部２０１は、入力画像以外に２種類の画像を生成する。上述の通り、入力画像から異なる縮小率の画像を生成することにより、周波数帯域の異なる画像を生成することができる。なお、本明細書において「縮小率」は、大きい（高い）ほど、縮小後の画像が縮小前の画像（原画像）に対して小さくなることを意味する。例えば、水平および垂直方向に８０％の縮小率で縮小した画像は、原画像の１／２５の大きさとなる（１／５×１／５）。
【００３０】
まず、帯域制限画像生成部２０１は、等倍画像として入力画像をそのままメモリ２０４に出力する。また、縮小部２０２において、入力画像から同色画素を分離した画像を生成し、それぞれに対し水平および垂直方向にプレフィルタを適用した後、水平および垂直に１／２サイズに縮小し、４つの１／２画像をメモリ２０４および縮小部２０３に出力する。さらに、縮小部２０３において、４つの１／２画像に対してプレフィルタを適用し、水平および垂直に１／２サイズに縮小して４色の１／４画像を生成し、メモリ２０４に出力する。縮小画像をメモリ２０４に出力するのは、ハードウェアで本処理を実現する場合に各階層の時刻合わせや各階層の参照タップ数を考慮した場合に、回路規模の削減を行えるためである。
【００３１】
Ｓ２で、下位階層処理部２１７において、縮小率が最も大きな１／４画像から輝度信号および色信号を生成して、ノイズ抑圧処理を行う。輝度信号Ｙは輝度生成部２０６において生成され、例えば、
Ｙ  ＝  ０．３×Ｒ＋０．３×Ｇ１＋０．３×Ｇ２＋０．１×Ｂ  ・・・（式１）
のように求めることができる。
色信号Ｕ、Ｖは色変換部２０７において生成され、例えば、
Ｕ  ＝  Ｂ−Ｙ  ・・・（式２）
Ｖ  ＝  Ｒ−Ｙ  ・・・（式３）
のように求めることができる。
【００３２】
次に、輝度ノイズ抑圧部２１１において輝度信号のノイズを抑圧する。ノイズの抑圧は例えば、注目画素の値との差が所定値以内である近傍画素の値を平均し、注目画素の値と置き換える演算を、注目画素を変えながら順次行うことにより実施可能である。色信号についても、同様の演算を、色ノイズ抑圧部２１２においてＵおよびＶ信号に対して適用することで、ノイズ抑圧処理を行うことができる。
【００３３】
Ｓ３〜Ｓ６では、中上位階層処理部２０５で、１／２サイズの画像に対してノイズ抑圧処理を行う。
Ｓ３で、輝度生成部２０６および色変換部２０７において、輝度信号および色信号を生成する。生成方法は（式１）〜（式３）と同様でよい。
【００３４】
Ｓ４で、輝度信号から高域成分を抽出しノイズ抑圧する。まず、縮小部２０８において、縮小部２０２と同様にプレフィルタを適用してから水平および垂直方向に１／２サイズ（＝水平および垂直方向で１／４サイズ）に縮小する。次に、拡大部２０９で、１／２サイズの縮小画像を水平および垂直方向に２倍に拡大する（＝水平および垂直方向で１／２サイズ）。拡大処理は例えばバイリニア拡大処理でよい。減算部２１０において、入力輝度信号（１／２サイズ）から拡大画像（１／２サイズ）を減算することにより、差分画像を生成する。縮小画像を拡大した画像は、低域画像であるため、差分画像は高域成分となる。そして、輝度ノイズ抑圧部２１１において、差分画像に対しノイズ抑圧処理を行う。
【００３５】
縮小率が最も大きな縮小画像以外（ここでは１／４画像以外）については、輝度信号の高域成分を抽出してノイズ抑圧処理を適用するため、輝度信号については、ラプラシアンピラミッドを用いた場合と同様に、階層間で重複がない帯域分離が行われる。従って、ノイズ抑圧処理結果も加算による合成が行われる。
【００３６】
Ｓ５で、色ノイズ抑圧部２１２において、色信号に対してノイズ抑圧処理を行う。色信号に対するノイズ抑圧処理は、輝度信号に対するものと同様の処理を、ＵおよびＶ信号に対して適用すればよい。
【００３７】
Ｓ６で、下位階層処理部２１７が生成した１／４画像との合成処理を行う。拡大部２１３において、下階層から入力された輝度信号を水平および垂直方向にそれぞれ２倍拡大し、１／２サイズとする。また、拡大部２１４において下階層から入力された色信号を同様に拡大する。さらに、加算部２１５において、１／２サイズの差分輝度信号と拡大された輝度信号の加算を行う。また、色信号の合成のため、合成部２１６において、色ノイズ抑圧部２１２が出力するノイズ抑圧後の色信号からエッジ成分を生成し、合成時における色ノイズ抑圧部２１２の出力信号の割合（合成比率）を画素位置ごとに求める。
【００３８】
合成比率は、色ノイズ抑圧部２１２の出力信号に対し、例えば、以下の３×３の空間フィルタを各画素位置で適用することにより得られる値をエッジ量として、図４に示すような関係に基づいて求めることができる。
［−１  −１  −１
−１    ８  −１
−１  −１  −１］
図４の関係から分かるように、色ノイズ抑圧部２１２の出力信号で得られるエッジ量が多いほど１／２サイズの（エッジ量を検出した帯域の）色信号を多く使用し、少ないほど１／４サイズの（下の帯域の）色信号を拡大した信号を多く使用する。図４における閾値ＴＨ１およびＴＨ２は、例えば実験的に決定することができる。
【００３９】
このように、色信号については、ガウシアンピラミッドを用いた場合と同様に、それぞれの縮小画像に対してノイズ抑圧処理を行うため、直流成分が各画像に重複するように帯域分割される。そして、ある縮小画像についてのノイズ抑圧処理結果から抽出したエッジ信号に基づいて求めた合成比率を用いて、このノイズ抑圧処理結果と、縮小率が一段階小さい縮小画像についてのノイズ抑圧処理結果とを合成する処理を繰り返す。
【００４０】
Ｓ７〜Ｓ１０において、中上位階層処理部２０５で、等倍サイズの画像に対してノイズ抑圧処理が行われる。Ｓ３〜Ｓ６とは入力画像のサイズが異なるがほぼ同様の処理が行われるため、異なる部分のみ説明する。
【００４１】
異なる部分は輝度生成部２０６および色変換部２０７で行われる処理である。等倍画像はベイヤー画像であるため、Ｒ，Ｇ１，Ｇ２，Ｂ画素に分離したのち、色成分ごとにＹ、Ｕ、Ｖの各信号を生成する。
【００４２】
以上説明したように、本実施形態によれば、画像信号を複数の周波数帯域に分割し、周波数帯域ごとにノイズ抑圧を行った後に再合成するマルチレート処理によるノイズ低減処理を行う。そして、輝度信号に対しては各周波数帯域内で抽出した高域成分に対してノイズ抑圧処理を行った結果を加算して再合成するため、ラプラシアンピラミッドを構成していることになり、合成ムラは発生しにくい。一方、色信号に対しては、エッジ量に応じた合成比率で下位帯域の画像の拡大画素と順次合成するため、ガウシアンピラミッドを構成していることになる。エッジ量が少ない部分ではより低域でノイズ抑圧された画像を多く使用するため、特に高域の色ノイズの抑圧効果を高めることができる。また、色信号は輝度信号に対して視覚的に目立ちにくいため、エッジ検出に基づく合成比率を用いることによる色信号の合成ムラが画質に与える影響は少ない。また、ラプラシアンピラミッドとガウシアンピラミッドの両方をメモリに出力する必要がないため、メモリ量を削減することが可能である。
【００４３】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態の全体の構成は第１の実施形態と同じでよいため、共通部分については説明を省略する。本実施形態が第１の実施形態と異なるのは、輝度信号のノイズ抑圧に利用する帯域分割の方法であり、ノイズ抑圧部の構成である。
【００４４】
図５は、本実施形態に係るデジタルカメラの画像処理回路１０５が有するノイズ抑圧部３００の機能構成例を示すブロック図であり、図２と同じ構成要素には同じ参照数字を付している。第１の実施形態では、最低帯域画像以外の帯域画像に対するノイズ抑圧は、基本的に同じ構成の中上位階層処理部２０５を用いて行っていた。これに対し、本実施形態では、中間の帯域画像のノイズ抑圧を行う構成が、入力画像に対してノイズ抑圧を行う構成と異なる、中階層処理部３０１に変わっている。
【００４５】
中上位階層処理部２０５と中階層処理部３０１との動作の違いは、図３に示したフローチャートにおいて、Ｓ４の代わりにＳ４’を、Ｓ６の代わりにＳ６’を実行する点である。つまり、第１の実施形態では輝度信号の高域成分に対してノイズ抑圧処理を行っていたが、本実施形態のＳ４’では、高域成分を抽出せずに、輝度生成部２０６の出力する輝度信号に対して輝度ノイズ抑圧部２１１がノイズ抑圧処理を適用する。
また、Ｓ６’では、輝度信号についても色信号と同様に、合成部２１６において、１／２輝度信号のエッジ量に応じた合成比率で１／４輝度信号の拡大信号と合成する。
【００４６】
本実施形態の構成によれば、第１の実施形態の効果に加え、１／２サイズの画像の輝度信号についても、エッジ量に応じた比率で下位帯域の輝度信号を拡大した信号と合成するため、画像のエッジをより保存することが可能となる。
【００４７】
（他の実施形態）
上述の実施形態では説明および理解を容易にするため、画像を低、中、高の３つの帯域に分割するマルチレート処理について述べた。しかし、帯域の分割数は３に限定されず、任意の複数を採用しうる。
【００４８】
例えば帯域の分割数がｍ（ｍ≧４）の場合、第１の実施形態では画像処理回路１０５のノイズ抑圧部２００における中上位階層処理部２０５の数が（ｍ−１）になることを除き、変更点はない。
【００４９】
また、第２の実施形態では、最下位階層（最低帯域）以外のノイズ抑圧について、中階層処理部３０１と中上位階層処理部２０５とを、目的や処理する画像の特性などに応じた数で行うようにすればよい。例えば、最も高い階層（帯域）から所定数の階層までは中上位階層処理部２０５を、それ以下の階層（帯域）については中階層処理部３０１とすればよい。これにより、合成ムラの目立つ上位階層（帯域）については効果的に合成ムラを抑え、下位階層（帯域）についてはエッジの保存を優先してノイズ抑圧することが可能となり、より柔軟なノイズ抑圧を実現することが可能となる。
【００５０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014119997.tif 000003
【図２】
2014119997.tif 000004
【図３】
2014119997.tif 000005
【図４】
2014119997.tif 000006
【図５】
2014119997.tif 000007
【図６】
2014119997.tif 000008