(57)【要約】【課題】階層に分けてノイズ抑圧処理を行い、合成してノイズ抑圧画像を得る場合に、より解像感の高いノイズ抑圧画像を得ることができる画像処理装置を提供する。【解決手段】入力画像に対して、階層分けを行わずにノイズ抑圧処理を行う第１のノイズ抑圧処理部と、入力画像に対して、縮小画像を使用して階層分けを行いながらノイズ抑圧処理を行う第２のノイズ抑圧処理部と、入力画像のエッジ信号に応じて、第１のノイズ抑圧処理部の出力画像と、第２のノイズ抑圧処理部の出力画像を合成するための第１の合成比率を算出する第１の算出処理部と、第１の合成比率に基づいて、第１のノイズ抑圧処理部の出力画像と、第２のノイズ抑圧処理部の出力画像とを合成する第１の合成処理部と、を備える。【選択図】図２
2019067267.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して、階層分けを行わずにノイズ抑圧処理を行う第１のノイズ抑圧処理手段と、
前記入力画像に対して、縮小画像を使用して階層分けを行いながらノイズ抑圧処理を行う第２のノイズ抑圧処理手段と、
前記入力画像のエッジ信号に応じて、前記第１のノイズ抑圧処理手段の出力画像と前記第２のノイズ抑圧処理手段の出力画像とを合成するための第１の合成比率を算出する第１の算出処理手段と、
前記第１の合成比率に基づいて、前記第１のノイズ抑圧処理手段の出力画像と、前記第２のノイズ抑圧処理手段の出力画像とを合成する第１の合成処理手段と、
を備え、
前記第２のノイズ抑圧処理手段は、前記入力画像を縮小せずに前記第１のノイズ抑圧処理手段が行うノイズ抑圧処理とは異なるノイズ抑圧処理を行う第３のノイズ抑圧処理手段と、前記入力画像を縮小してノイズ抑圧処理を行う第４のノイズ抑圧処理手段と、前記第３のノイズ抑圧処理手段の出力画像と前記第４のノイズ抑圧処理手段の出力画像に対して拡大処理を行って得られた出力画像とを合成する第２の合成処理手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の算出処理手段は、前記入力画像のエッジ信号の値が第２の値であるときは、前記入力画像のエッジ信号の値が前記第２の値よりも小さい第１の値であるときよりも、前記第１のノイズ抑圧処理手段の出力画像の合成比率を大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２のノイズ抑圧処理手段は、少なくとも前記入力画像のエッジ信号に応じて、前記第３のノイズ抑圧処理手段の出力画像と、前記第４のノイズ抑圧処理手段の出力画像に対して拡大処理を行って得られた出力画像とを前記第２の合成処理手段で合成するための第２の合成比率を算出する第２の算出処理手段を備えることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２のノイズ抑圧処理手段は、前記入力画像のエッジ信号が第４の値であるときは、前記入力画像のエッジ信号の値が前記第４の値よりも小さい第３の値であるときよりも、前記第３のノイズ抑圧処理手段の出力画像の比率が大きくなるように前記第２の合成比率を算出し、前記入力画像のエッジ信号が前記第４の値より大きい第６の値であるときは、前記入力画像のエッジ信号の値が前記第４の値より大きく前記第６の値よりも小さい第５の値であるときよりも、前記第３のノイズ抑圧処理手段の出力画像の比率が小さくなるように前記第２の合成比率を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第２のノイズ抑圧処理手段は、前記入力画像のエッジ信号と前記入力画像を縮小した縮小画像のエッジ信号を加算して得られた加算後のエッジ信号が第４の値であるときは、前記入力画像のエッジ信号の値が前記第４の値よりも小さい第３の値であるときよりも、前記第３のノイズ抑圧処理手段の出力画像の比率が大きくなるように前記第２の合成比率を算出し、前記加算後のエッジ信号が前記第４の値より大きい第６の値であるときは、前記入力画像のエッジ信号の値が前記第４の値より大きく前記第６の値よりも小さい第５の値であるときよりも、前記第３のノイズ抑圧処理手段の出力画像の比率が小さくなるように前記第２の合成比率を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記第１のノイズ抑圧処理手段の出力画像は、前記第２のノイズ抑圧処理手段の出力画像よりも解像度が高いことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第１のノイズ抑圧処理手段は、補正の対象となる画素の周辺画素を参照してエッジの方向を検出し、検出したエッジの方向に沿ってノイズ抑圧処理を行い、前記第２のノイズ抑圧処理手段は、前記補正の対象となる画素の周辺画素の値のうち、前記補正の対象となる画素の値との差分が閾値以内の画素の値を用いてノイズ抑圧処理を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第１のノイズ抑圧処理手段は、補正の対象となる画素の周辺画素に対して、前記補正の対象となる画素を含む画素群との類似度に応じた重みを求め、前記重みを設定した周辺画素の値を用いてノイズ抑圧処理を行い、前記第２のノイズ抑圧処理手段は、前記補正の対象となる画素の周辺画素のうち、前記補正の対象となる画素の値との差分が閾値以内の画素の値を用いてノイズ抑圧処理を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
入力画像に対して、階層分けを行わずにノイズ抑圧処理を行う第１のノイズ抑圧処理工程と、
前記入力画像に対して、縮小画像を使用して階層分けを行いながらノイズ抑圧処理を行う第２のノイズ抑圧処理工程と、
前記入力画像のエッジ信号に応じて、前記第１のノイズ抑圧処理工程の出力画像と前記第２のノイズ抑圧処理工程の出力画像とを合成するための第１の合成比率を算出する第１の算出処理工程と、
前記第１の合成比率に基づいて、前記第１のノイズ抑圧処理工程の出力画像と、前記第２のノイズ抑圧処理工程の出力画像とを合成する第１の合成処理工程と、
を有し、
前記第２のノイズ抑圧処理工程は、
前記入力画像を縮小せずに前記第１のノイズ抑圧処理工程で行うノイズ抑圧処理とは異なるノイズ抑圧処理を行う第３のノイズ抑圧処理工程と、前記入力画像を縮小してノイズ抑圧処理を行う第４のノイズ抑圧処理工程と、前記第３のノイズ抑圧処理工程の出力画像と前記第４のノイズ抑圧処理工程の出力画像に対して拡大処理を行って得られた出力画像とを合成する第２の合成処理工程と、を有することを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項９に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号のノイズ補正を行う技術に関するものである。
【背景技術】
【０００２】
近年、撮像素子の多画素化が進んでおり、画素が微小化する傾向がある。この画素の微小化に起因して、撮像素子から得られる画像信号のノイズが増加する。そこで、このノイズを信号処理により抑圧する方法として、マルチレート信号処理を利用する方法が知られている。
【０００３】
例えば、画像信号を複数の周波数に分割し、それぞれの分割画像のノイズを抑圧してから再合成する方法が知られている（特許文献１参照）。特許文献１では、画像信号が周波数帯域毎に分割され、それぞれの分割画像にノイズ抑圧処理が行われる。周波数成分の分割方法は様々な方法があるが、例えば、低域画像を生成するには、元画像にプレフィルタをかけてからサイズを半分に間引くことにより得られる。また、高域画像を生成するには、低域画像を元画像と同じサイズになるように拡大処理した後、元画像から拡大処理した画像を減算することにより得られる。
【０００４】
このように周波数成分に分割することによって、それぞれの分割画像に対して、その周波数成分に適したノイズ抑圧の適用量を設定することが可能である。また、各画像のサイズを小さくすることにより、少ないフィルタ長でノイズを低減させることが可能となる。なお、高域のノイズはノイズの粒状感が細かいため視覚的に目立ちにくい。一方、低域のノイズは大きい粒状感となり視覚的に目立ちやすい。そのため、高域のノイズよりも低域のノイズを強めに除去することが望ましい。
【０００５】
また、周波数成分に分割された分割画像を合成する処理では、低域画像を拡大して高域画像に加算するといった単純な演算で行うことが可能である。しかしながら、合成処理の演算方法から明らかなように、分割された画像がノイズ抑圧処理によってぼやけてしまった場合、合成処理後の画像も対応する周波数帯域のボケがそのまま残留してしまう。そのため、周波数帯域に分割してノイズを抑圧する方法では、周波数帯域毎に異なるノイズ抑圧を行うことが可能であるが、それぞれの周波数帯域において、ボケが許容できる程度にノイズ抑圧効果を抑える必要があるという課題がある。
【０００６】
そこで、他のノイズ抑圧方法として、まず、画像信号から複数の縮小画像を生成し、複数の縮小画像に対してノイズ抑圧処理を行うと共に、エッジ信号を抽出してエッジ信号に基づいて各画像の合成比率を求める。そして、合成比率に基づいて複数の画像信号を合成する方法が知られている（特許文献２参照）。
【０００７】
例えば、水平および垂直方向のサイズをそれぞれ１／２にした画像と１／４にした画像とを生成する。そして、各画像に対してノイズ抑圧処理を行うととともに、縮小画像からエッジ信号を抽出する。画像を合成する際は、エッジ信号を元サイズまで拡大処理し、拡大されたエッジ信号に基づいて合成割合を決定する。つまり、エッジ信号の強い部分はより大きなサイズの画像を用い、エッジ信号の弱い部分は縮小された画像を元のサイズまで拡大したものを用いるように構成する。
【０００８】
このように構成することによって、合成後の画像のエッジ部分は元サイズの画像が多く使用され、逆に縮小画像はあまり使用されない。このため、ノイズ抑圧処理を縮小画像に適用してエッジ部分がぼやけていても最終画像には影響しない。したがって、縮小画像に対して強いノイズ抑圧処理をかけることが可能となり、合成後の画像としてはエッジをぼかすことなく低域成分のノイズ抑圧効果を高めた画像を得ることが可能となる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１５７４１号公報
【特許文献２】特開２００９−１９９１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献２に開示された方法は、入力画像と縮小画像を合成することが前提である。そのため、複数画像の合成をしないノイズ抑圧処理に比べて、ノイズの抑圧効果は高いが、エッジの解像度が低下しやすいという課題がある。
【００１１】
本発明は上述した課題に鑑みてなされたものであり、その目的は、階層に分けてノイズ抑圧処理を行い、合成してノイズ抑圧画像を得る場合に、より解像感の高いノイズ抑圧画像を得ることができる画像処理装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明に係わる画像処理装置は、入力画像に対して、階層分けを行わずにノイズ抑圧処理を行う第１のノイズ抑圧処理手段と、前記入力画像に対して、縮小画像を使用して階層分けを行いながらノイズ抑圧処理を行う第２のノイズ抑圧処理手段と、前記入力画像のエッジ信号に応じて、前記第１のノイズ抑圧処理手段の出力画像と前記第２のノイズ抑圧処理手段の出力画像とを合成するための第１の合成比率を算出する第１の算出処理手段と、前記第１の合成比率に基づいて、前記第１のノイズ抑圧処理手段の出力画像と、前記第２のノイズ抑圧処理手段の出力画像とを合成する第１の合成処理手段と、を備え、前記第２のノイズ抑圧処理手段は、前記入力画像を縮小せずに前記第１のノイズ抑圧処理手段が行うノイズ抑圧処理とは異なるノイズ抑圧処理を行う第３のノイズ抑圧処理手段と、前記入力画像を縮小してノイズ抑圧処理を行う第４のノイズ抑圧処理手段と、前記第３のノイズ抑圧処理手段の出力画像と前記第４のノイズ抑圧処理手段の出力画像に対して拡大処理を行って得られた出力画像とを合成する第２の合成処理手段と、を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、階層に分けてノイズ抑圧処理を行い、合成してノイズ抑圧画像を得る場合に、より解像感の高いノイズ抑圧画像を得ることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態におけるデジタルカメラの概略構成を示すブロック図。
【図２】画像処理回路に含まれるノイズ抑圧処理部の構成を示すブロック図。
【図３】ノイズ抑圧処理部による処理手順を示すフローチャート。
【図４】着目画素と参照領域とを示す図。
【図５】エッジ量と階層合成比率の関係を示す図。
【図６】エッジの方向判定のパターンを示す図。
【図７】画素群を用いた着目画素と参照画素の類似度の求め方を説明するための図。
【図８】エッジ量と合成比率の関係を示す図。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。
【００１６】
図１は、本発明の一実施形態であるデジタルカメラ１００の概略構成を示すブロック図である。なお、本発明は、デジタルカメラに限らず、画像信号に対して画像処理を施すことができる装置であれば、デジタルビデオカメラやパーソナルコンピュータなどでも実現可能である。
【００１７】
図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り装置、シャッター装置を備えている。この光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは光量を調整している。撮像素子１０２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の光電変換素子であり、被写体像を電気信号に変換して画像信号を生成する。
【００１８】
前置処理回路１０３は、ＣＤＳ（Correllated Double Sampling）回路および増幅回路を備えている。ＣＤＳ回路は、撮像素子１０２で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はＣＤＳ回路から出力された画像信号を増幅する。Ａ／Ｄ変換器１０４は、前置処理回路１０３から出力された画像信号をデジタルの画像信号に変換する。
【００１９】
画像処理回路１０５は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調補正処理などを行い、画像信号を輝度信号Ｙおよび色差信号Ｕ，Ｖとして出力する。また、画像処理回路１０５は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。なお、画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号のみでなく、記録媒体１０９から読み出した画像信号に対しても同様の画像処理を行うことが出来る。
【００２０】
制御回路１０６は、本実施形態のデジタルカメラ１００を構成する各回路を制御して、デジタルカメラ１００の動作を統括する。制御回路１０６は、画像処理回路１０５で処理された画像信号から得られる輝度値や操作部材１１０から入力された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。
【００２１】
表示メモリ１０７は、表示装置１０８に表示する画像の元になる画像信号を一時的に記憶するメモリである。表示装置１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像素子１０２で生成された画像信号や、記録媒体１０９から読み出した画像信号に係る画像を表示する。撮像素子１０２から読み出される連続した画像信号を、随時更新して表示することにより、電子的なビューファインダーとして機能することが可能である。また、表示装置１０８は、デジタルカメラ１００の状態表示、ユーザー側またはデジタルカメラ１００側で決定したシャッター速度、絞り値、感度情報などの文字情報、画像処理回路１０５において測定した輝度分布を示すグラフ等も表示することが可能である。
【００２２】
記録媒体１０９は、このデジタルカメラ１００に着脱可能に構成されたものであっても、デジタルカメラ１００に内蔵されたものであってもよい。操作部材１１０は、ユーザーがデジタルカメラ１００に指示を入力するために操作する部材である。バス１１１は、画像処理回路１０５、制御回路１０６、表示メモリ１０７、および記録媒体１０９の間で画像信号や指示信号などをやり取りするために用いられる。
【００２３】
次に、本実施形態におけるデジタルカメラ１００の撮影時の動作について説明する。ユーザーによって操作部材１１０が操作され、撮影準備を開始する指示が入力されると、制御回路１０６がそれぞれの回路の動作の制御を開始する。
【００２４】
まず、撮像素子１０２は、光学系１０１を透過した被写体像を光電変換してアナログの画像信号を生成し、Ａ／Ｄ変換器１０４が前置処理回路１０３によって処理されたアナログの画像信号をデジタル化する。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行う。
【００２５】
画像処理回路１０５で処理された画像信号は、表示メモリ１０７を介して、表示装置１０８に画像として表示される。上述したように、撮像素子１０２で連続的に画像信号を生成し、読み出される連続した画像信号をリアルタイムに更新して表示装置１０８に表示することにより、表示装置１０８は電子的なビューファインダーとして機能する。
【００２６】
そして、ユーザーが操作部材１１０に含まれるシャッターボタンを操作するまで、これらの処理を繰り返す。ユーザーがシャッターボタンを操作すると、制御回路１０６は画像処理回路１０５で得られた輝度値や合焦値に基づいて光学系１０１の動作を再調整して静止画の撮影を行う。画像処理回路１０５が、この静止画の画像信号に対してノイズ抑圧処理を含む種々の画像処理を施す。そして、記録媒体１０９には画像処理回路１０５から出力された画像信号が記録される。
【００２７】
ここで、画像処理回路１０５におけるノイズ抑圧処理について詳細に説明する。図２は、画像処理回路１０５に含まれるノイズ抑圧処理回路２３０の詳細な構成を示すブロック図である。
【００２８】
本実施形態のノイズ抑圧処理回路２３０は、帯域別ノイズ抑圧処理部２００、単階層ノイズ抑圧処理部２２１、合成比率算出処理部２２２、画像合成処理部２２３を備える。さらに、帯域別ノイズ抑圧処理部２００は、縮小処理部２０１、ノイズ抑圧処理部２０２、エッジ信号検出処理部２０３、ノイズ抑圧処理部２０４、エッジ信号検出処理部２０５、拡大処理部２０６、拡大処理部２０７を備える。さらに、帯域別ノイズ抑圧処理部２００は、縮小処理部２０８、ノイズ抑圧処理部２０９、エッジ信号検出処理部２１０、拡大処理部２１１、拡大処理部２１２を備える。さらに、帯域別ノイズ抑圧処理部２００は、縮小処理部２１３、ノイズ抑圧処理部２１４、拡大処理部２１５、合成比率算出処理部２１６、画像合成処理部２１７を備える。単階層ノイズ抑圧処理部２２１は、入力画像に対して、階層分けを行わずにノイズ抑圧処理を行う処理部であり、帯域別ノイズ抑圧処理部２００は、入力画像に対して、縮小画像を使用して階層分けを行いながらノイズ抑圧処理を行う処理部である。
【００２９】
図３は、ノイズ抑圧処理回路２３０による処理手順を示すフローチャートである。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号を受け取ると、画素の色補間処理を行った後、ノイズ抑圧処理回路２３０において、色ごとに図３に示す処理を行う。なお、ホワイトバランス処理や色変換処理、階調変換処理などは公知の技術を適用すればよく、また本実施形態の主旨と関係しないため、説明を省略する。
【００３０】
まず、ステップＳ３０１において、縮小処理部２０１は、入力画像信号に対してプレフィルタをかけてから水平および垂直方向にそれぞれ１／２のサイズに画素を間引きして、縮小画像を生成する。プレフィルタとしては、水平、垂直ともに[１  ２  １]の係数を適用する。これは着目画素に対する重み付けと、着目画素の両隣に隣接する各画素に対する重み付けを２対１の割合に平均化するための係数である。同様に、縮小処理部２０８および縮小処理部２１３は、それぞれ入力画像に対して１／４、１／８のサイズとなる縮小画像を生成する。
【００３１】
次に、ステップＳ３０２において、ノイズ抑圧処理部２０２は、入力画像に対してノイズ抑圧処理を行う。ノイズ抑圧処理では、図４に示すように、着目画素の周辺に例えば７×７画素の参照領域を設定し、参照領域の各画素の値について、着目画素の値との差分を算出する。そして、差分が閾値以内の画素のみの値で平均値を算出し、その平均値を着目画素の値として出力する。画素ごとに上記の処理を行うことによって、画像全体に対してノイズの抑圧された出力画像を得ることができる。閾値は各画像で変更することが望ましく、さらにはセンサーの光ショットノイズを考慮して、信号レベルに応じて閾値を変更してもよい。
【００３２】
次に、ステップＳ３０３において、エッジ信号検出処理部２０３は、入力信号に対してエッジ信号の検出を行う。エッジ信号の検出は、入力画像に対して式（１）に示すラプラシアンフィルタを適用し、エッジ信号を検出する。ここでは３×３画素の参照領域を設定する例をあげるが、参照領域の広さは５×５画素でも７×７画素でも構わない。
【００３３】
【数１】
2019067267.tif 000003
【００３４】
次に、ステップＳ３０４において、ノイズ抑圧処理部２０４、ノイズ抑圧処理部２０９およびノイズ抑圧処理部２１４は、それぞれのサイズに縮小された入力画像に対して、ノイズ抑圧処理を行う。ノイズ抑圧処理の方法は、ノイズ抑圧処理部２０２の処理内容と同様である。
【００３５】
次に、ステップＳ３０５において、エッジ信号検出処理部２０５およびエッジ信号検出処理部２１０は、それぞれのサイズに縮小された入力画像に対して、エッジ信号の検出を行う。エッジ信号の検出方法は、エッジ信号検出処理部２０３の処理内容と同様である。
【００３６】
次に、ステップＳ３０６において、拡大処理部２０６、拡大処理部２１１および拡大処理部２１５は、ノイズが抑圧された縮小画像に対して、入力画像と同じサイズになるようにバイリニア補間により拡大処理を行う。
【００３７】
次に、ステップＳ３０７において、拡大処理部２０７および拡大処理部２１２は、算出された縮小画像のエッジ信号に対して、入力画像と同じサイズになるようにバイリニア補間により拡大処理を行う。
【００３８】
次に、ステップＳ３０８において、合成比率算出処理部２１６は、入力画像からエッジ信号を検出したエッジ信号検出処理部２０３の出力と、縮小画像から検出したエッジ信号に対して拡大処理を行った拡大処理部２０７および拡大処理部２１２のそれぞれの出力信号とから、画像合成処理部２１７で使用する画像合成のための合成比率の算出処理を行う。合成比率算出処理部２１６は、図５（ａ）に示すように、拡大処理部２１２で得られたエッジ信号が大きいほど、拡大処理部２１５の出力信号よりも拡大処理部２１１の出力信号の合成比率を大きく設定する。具体的には、拡大処理部２１５の出力信号と拡大処理部２１１の出力信号の間において、拡大処理部２１２で得られたエッジ信号と、閾値ＴＨ１、ＴＨ２とを比較する。そして、エッジ信号が閾値ＴＨ１より小さければ、拡大処理部２１１の出力信号の合成比率を０とし、閾値ＴＨ２よりも大きければ１とする。閾値ＴＨ１、ＴＨ２の間は、線形的に合成比率を算出する。つまり、エッジ信号の値が大きいほど、高周波帯域を多く含む拡大処理部２１１の出力信号を優先して合成比率を大きくする。同様に、合成比率算出処理部２１６は、拡大処理部２０７で得られたエッジ信号が大きいほど、拡大処理部２１１の出力信号よりも拡大処理部２０６の合成比率を大きく設定する。
【００３９】
さらに、合成比率算出処理部２１６は、エッジ信号検出処理部２０３で得られたエッジ信号の大きさに応じて、拡大処理部２１１の出力信号とノイズ抑圧処理部２０２の出力信号の比率を設定する。ただし、ここでは図５（ｂ）に示すように、エッジ信号検出処理部２０３で得られたエッジ信号が閾値ＴＨ３より小さければ、ノイズ抑圧処理部２０２の出力信号の合成比率を０とする。エッジ信号検出処理部２０３で得られたエッジ信号が閾値ＴＨ３以上かつ閾値ＴＨ４未満であれば、エッジ信号が大きいほどノイズ抑圧処理部２０２の出力信号の合成比率を大きく設定する。そして、エッジ信号検出処理部２０３で得られたエッジ信号が閾値ＴＨ４以上であれば、エッジ信号が大きいほどノイズ抑圧処理部２０２の出力信号の合成比率を小さく設定する。あるいは、合成比率算出処理部２１６は、拡大処理部２０７とエッジ信号検出処理部２０３のそれぞれで得られたエッジ信号を加算し、その加算後のエッジ信号を閾値ＴＨ３、ＴＨ４と比較する。入力画像におけるエッジ信号が大きければ、プレフィルタを適用してから縮小した画像においてもある程度のエッジ信号は残る。そこで、加算により得られたエッジ信号が閾値ＴＨ４より小さければ、エッジ信号が大きくなるほどノイズ抑圧処理部２０２の出力信号の合成比率を大きくし、エッジ信号がＴＨ４以上であれば、エッジ信号が大きくなるほどノイズ抑圧処理部２０２の出力信号の合成比率を小さくする。
【００４０】
そして、拡大処理部２１２、拡大処理部２０７、および、エッジ信号検出処理部２０３のそれぞれで得られたエッジ信号に基づいて設定した各合成比率を統合して、画素ごとに各画像の最終的な合成比率を設定する。
【００４１】
ここで、エッジ信号が閾値ＴＨ４以上である場合に、エッジ信号が大きくなるほどノイズ抑圧処理部２０２の出力信号の合成比率を小さくする理由について説明する。
【００４２】
エッジ信号を検出するためには、ステップＳ３０３で説明したように、エッジ信号を求める対象の画素の周辺画素の値も参照する。そのため、周辺画素にエッジが含まれていると、対象の画素にエッジが含まれていなくとも、対象の画素のエッジ信号として求めた値が大きくなることがある。そのため、エッジの近傍の画素では、エッジが存在しないにも関わらず、エッジが存在する場合と同様に、解像度の高い画像の合成比率が高くなってしまうことがある。ゆえに、エッジの近傍であるか否かによって、同じ平坦部であるにも関わらず、ノイズ感に差が生じてしまう。
【００４３】
そこで、本実施形態の帯域別ノイズ抑圧処理部２００は、エッジ信号が予め定めた閾値より大きい画素や領域では、敢えて解像度の高い画像の合成比率を低くすることにより、エッジの近傍でノイズが多く残存してしまうことを抑制している。ただし、これだけではエッジもぼけてしまうため、後述するように、画像合成処理部２２３が、帯域別ノイズ抑圧処理部２００で生成された画像と単階層ノイズ抑圧処理部２２１で生成された画像とを合成する。
【００４４】
次に、ステップＳ３０９において、画像合成処理部２１７は、ノイズ抑圧処理部２０２、拡大処理部２０６、拡大処理部２１１、および、拡大処理部２１５の出力信号を、合成比率算出処理部２１６の出力信号に応じて合成し、帯域別ノイズ抑圧処理部２００の出力信号を生成する。画像合成処理では、ノイズ抑圧処理部２０２、拡大処理部２０６、拡大処理部２１１、および、拡大処理部２１５の出力信号を、合成比率算出処理部２１６の出力信号である合成比率に応じて、画素ごとに加重加算することによって出力画像を生成する。上記合成比率によって、エッジ量の少ないところは拡大処理部２０６の出力信号の使用比率が高いためノイズ抑圧効果が高い合成画像を取得することが出来る。
【００４５】
次に、ステップＳ３１０において、単階層ノイズ抑圧処理部２２１は、入力画像に対してノイズ抑圧処理を行う。単階層ノイズ抑圧処理部２２１の入力画像と、帯域別ノイズ抑圧処理部２００の入力画像は同じ画像であり、その解像度と画像サイズは等しい。単階層ノイズ抑圧処理部２２１では、入力画像からエッジの方向およびエッジの強度を検出し、ノイズ抑圧の結果画像と、エッジ強度を出力する。この単階層ノイズ抑圧処理部２２１が行うノイズ抑圧処理は、帯域別ノイズ抑圧処理部２００のノイズ抑圧処理部２０２が行うノイズ抑圧処理よりも、エッジの解像度を高く維持できる。
【００４６】
エッジの方向判定およびエッジの強度検出は、例えば着目画素ごとに図６に示すパターン（７ｔａｐ）を用いたパターンマッチングで行う。図６（ａ）〜図６（ｈ）で示す各参照領域に対して、着目画素とサーチ領域に含まれる各画素の差分絶対値和を算出する。次に算出した８つの差分絶対値和が最小となるパターンをその着目画素のエッジ方向とし、エッジ方向のパターンに直交するパターンの差分絶対値和をエッジ信号として出力する。例えば、図６（ａ）のパターンでの差分絶対値和が最小となる場合は、水平方向にエッジがのびていると判断して水平方向をエッジ方向とし、これに直交する垂直方向（図６（ｂ））のパターンを用いた差分絶対値和を、着目画素のエッジ信号とする。この検出されたエッジ方向に従って、ノイズ抑圧処理を行う。ノイズ抑圧処理では、検出されたエッジ方向の参照領域の各画素について、着目画素との差分を取る。そして、差分が閾値以内の画素のみで平均値を演算し、平均値を着目画素の値として出力する。画素ごとに上記処理を行うことによって、画像全体に対してエッジの解像感の高いノイズの抑圧された出力画像を得ることができる。閾値は各画素で変更することが望ましく、さらにはセンサーの光ショットノイズを考慮して、信号レベルに応じて閾値を変更してもよい。
【００４７】
あるいは、単階層ノイズ抑圧処理部２２１は、次に説明するノイズ抑圧処理を行うようにしてもよい。図７は、単階層ノイズ抑圧処理部２２１による別のノイズ抑圧処理を説明するための図である。図７（ａ）は、入力画像７０１を示す。入力画像７０１において左上の画素を（０，０）として、各画素の画素の値をＩ（ｘ，ｙ）と表す。ここでは、画素７０２を着目画素とすると、着目画素の画素の値はＩ（４，４）である。着目画素は、参照画素と参照画素に対応する重みとの重み付き平均により、ノイズ低減処理後の画素の値が決定される。重み付き平均に用いられる参照画素の画素数をＮＳ、参照画素の画素値をＩｊ（ｊ＝１〜ＮＳ）、参照画素に対応する重みをｗｊ（ｊ＝１〜ＮＳ）とすると、ノイズ低減処理後の着目画素の画素の値Ｉｎｅｗは次式になる。
【００４８】
【数２】
2019067267.tif 000004
【００４９】
参照画素に対応する重みは、着目画素に対する参照画素の類似度によって算出される。着目画素と参照画素との類似度を、着目画素を含む領域と参照画素を含む領域とを用いて決定する。なお類似度を決定するために用いられる領域をマッチング領域とする。図７（ａ）が示す入力画像７０１を例に説明する。着目画素７０２を含む５画素×５画素の矩形範囲７０４を参照画素群とし、参照画素群に含まれる２５画素それぞれを参照画素として設定するとする。また、マッチング領域には３×３の領域が設定されているとする。設定されたマッチング領域により、着目画素と参照画素との類似度を算出する。ここで画素７０６を参照画素とすると、着目画素７０２と参照画素７０６との類似度は、着目画素７０２を含む画素群７０３（以下、着目領域７０３）と参照画素７０６を含む画素群７０５（以下、参照領域７０５）とを比較することにより決定される。具体的には、着目領域７０３に含まれる各画素と参照領域７０５に含まれる各画素とについて、対応する画素の画素値の差分の二乗の総和に基づいて類似度とする。図７（ｂ）が示すように、着目領域７０３における画素をｂｓ（ｐ，ｑ）、参照領域７０５における画素をｂｊ（ｐ，ｑ）（ｊ＝１〜ＮＳ）とすると、類似度Ｃｊは式（３）になる。
【００５０】
【数３】
2019067267.tif 000005
【００５１】
類似度Ｃｊは値が小さいほど着目画素と参照画素とが類似していることを示す。なおここでは、着目領域と参照領域において対応する画素間の値の差分二乗和を類似度Ｃｊとして算出している。しかしながら、差分二乗和以外にも差分の絶対値の合計や評価関数を用いてもよい。
【００５２】
次に、類似度に応じて参照画素に対する重みが導出される。類似度Ｃｊが小さいほど重みが大きく、類似度Ｃｊが大きいほど重みが小さくなるように決定すればよく、例えば式（４）により定まる。
【００５３】
Ｗｊ＝ｅｘｐ（−Ｃｊ／ｈ2）          （４）
ここで、ｈは重みの大きさを制御するための変数である。変数ｈを大きくするとノイズ低減効果が高くなるが、画像データのエッジがぼける。以上のように、参照画素群７０４に含まれる全ての画素を参照画素として設定し、各参照画素に対する重みを決定する。なお、着目画素自身も参照画素として設定する。
【００５４】
次に、ステップＳ３１１において、合成比率算出処理部２２２は、単階層ノイズ抑圧処理部２２１で検出されたエッジ信号から、画像合成処理部２２３で使用する画像合成のための合成比率の算出処理を行う。合成比率算出処理部２２２では、入力されたエッジ強度信号から図８に示す関係に従って、合成比率を算出する。すなわち、エッジ信号と、閾値ＴＨ５、ＴＨ６とを比較する。そして、エッジ信号が閾値ＴＨ５より小さければ、合成の対象とする２つの画像のうち、単階層ノイズ抑圧処理部２２１の出力信号の合成比率を０とし、閾値ＴＨ６よりも大きければ１とする。閾値ＴＨ５、ＴＨ６の間は、線形的に合成比率を算出する。なお、図８における閾値ＴＨ５、ＴＨ６は、それぞれ図５における閾値ＴＨ１、ＴＨ２と同じ値にしてもよいし、異なる値にしてもよい。つまり、エッジ信号の値が大きいほど、高周波帯域を多く含む単階層ノイズ抑圧処理部２２１の出力信号を優先して合成比率を大きくする。
【００５５】
次に、ステップＳ３１２において、画像合成処理部２２３は、単階層ノイズ抑圧処理部２２１の出力信号と、帯域別ノイズ抑圧処理部２００の出力信号とを、合成比率算出処理部２２２の出力信号に応じて合成し、最終的なノイズ抑圧結果画像を出力する。画像合成処理では、単階層ノイズ抑圧処理部２２１の出力信号と帯域別ノイズ抑圧処理部２００の出力信号とを、合成比率算出処理部２２２の出力信号である合成比率に応じて、画素ごとに加重加算することによって出力画像を生成する。上記合成比率によって、エッジ量の多いところは単階層ノイズ抑圧処理部２２１の出力信号の使用比率が高いため解像感が維持され、エッジ量の少ないところは帯域別ノイズ抑圧処理部２００の出力信号の使用比率が高いためノイズ抑圧効果が高い合成画像を取得することが出来る。
【００５６】
以上説明したように、本実施形態によれば、帯域別ノイズ抑圧処理の出力結果と、単階層ノイズ抑圧処理の出力結果をエッジ強度に応じて合成処理することにより、より解像感の高いノイズ低減処理を実現することが可能となる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５７】
１００：デジタルカメラ、１０１：光学系、１０２：撮像素子、１０３：前置処理回路、１０４：Ａ／Ｄ変換器、１０５：画像処理回路、１０６：制御回路、１０７：表示メモリ、１０８：表示装置、１０９：記録媒体、１１０：操作部材、１１１：バス
【図１】
2019067267.tif 000006
【図２】
2019067267.tif 000007
【図３】
2019067267.tif 000008
【図４】
2019067267.tif 000009
【図５】
2019067267.tif 000010
【図６】
2019067267.tif 000011
【図７】
2019067267.tif 000012
【図８】
2019067267.tif 000013