(57)【要約】【課題】入力画像のなかの異なる被写体の境界部分などであっても、類似した画像領域の抽出個数を増やして補正効果を向上させる。【解決手段】画像処理装置（ノイズ低減処理部）は、画像の着目領域に類似する類似領域をその着目領域の周囲の画像領域から抽出する処理（Ｓ５０３）と、着目領域に含まれる画素の値と類似領域に含まれる画素の値とに基づいて、着目領域の画素の値を補正する第１の補正処理（Ｓ５０４）とを行い、抽出する処理（Ｓ５０３）を行う際には、着目領域の被写体情報に基づいて、着目領域の各画素に重みを設定（Ｓ５０２）し、その重みを基に抽出処理（Ｓ５０３）を行う。【選択図】図５
2020102106.tif 000002
【特許請求の範囲】
【請求項１】
画像の着目領域に類似する類似領域を前記着目領域の周囲の画像領域から抽出する抽出手段と、
前記着目領域に含まれる画素の値と前記類似領域に含まれる画素の値とに基づいて、前記着目領域の画素の値を補正する第１の補正手段と、を有し、
前記抽出手段は、前記着目領域の被写体情報に基づいて、前記着目領域の各画素に重みを設定または前記着目領域の形状を調整して、前記抽出を行うことを特徴とする画像処理装置。
【請求項２】
前記抽出手段は、前記着目領域の各画素に重みを設定する場合、前記着目領域のなかの対象画素について、当該着目領域のなかの基準画素と前記対象画素との間の画素の値の差分が小さいほど、前記対象画素の重みを大きく設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、前記着目領域のなかの基準画素と前記対象画素との間の画素の値の差分が閾値より大きい場合には、前記対象画素に重みを設定しないことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記抽出手段は、前記着目領域の形状を調整する場合、前記着目領域のなかの対象画素について、当該着目領域のなかの基準画素と前記対象画素との間の画素の値の差分が所定の閾値より小さい場合に、前記着目領域から当該対象画素を除外するように前記形状の調整を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記抽出手段は、前記着目領域の形状が所定の形状サイズより小さくなる場合には前記着目領域の形状を変更しないことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１の補正手段は、前記着目領域に含まれる画素の値と前記類似領域に含まれる画素の値とに基づいて、前記類似領域の画素の値をも補正することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記着目領域として前記第１の補正手段による補正が行われた画素の値と、前記類似領域として前記第１の補正手段による補正が行われた画素の値との少なくともいずれかを用いて、前記画素の値を補正する第２の補正手段を有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第２の補正手段は、前記着目領域として前記第１の補正手段による補正が行われた画素の値と、前記類似領域として前記第１の補正手段による補正が行われた画素の値を平均化することで、前記補正を行うことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記被写体情報は、前記着目領域について、輝度の情報と、色の情報と、被写体に応じた意味的領域の分割結果の情報と、被写体までの距離情報との、少なくともいずれかを含むことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記抽出手段は、前記画像のなかで前記着目領域の位置を移動させる更新が行われるごとに、前記画像から前記着目領域に類似した前記類似領域を抽出する処理を行うことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
画像処理装置が実行する画像処理方法であって、
画像の着目領域に類似する類似領域を前記着目領域の周囲の画像領域から抽出する抽出工程と、
前記着目領域に含まれる画素の値と前記類似領域に含まれる画素の値とに基づいて、前記着目領域の画素の値を補正する第１の補正工程と、を有し、
前記抽出工程では、前記着目領域の被写体情報に基づいて、前記着目領域の各画素に重みを設定または前記着目領域の形状を調整して、前記抽出を行うことを特徴とする画像処理方法。
【請求項１２】
コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影等された画像のノイズを低減する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の画像処理装置では、ノイズ低減処理等の各種補正処理の高性能化が進んでいる。ノイズ低減処理において、ある着目画素のノイズを充分に低減するためには、その着目画素の周辺の広い範囲の画素情報を用いた処理を行う必要がある。またノイズ低減処理では、ノイズを低減しつつ、画像内のテクスチャの情報が失われないようにする必要がある。
【０００３】
特許文献１には、入力画像から、類似した画像領域を抽出した画像パッチの集合を生成し、その集合に属する全ての画像パッチに対して、画像パッチごとに異なるパラメータのノイズ低減処理を行い、そのデノイズ後の画像パッチを合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−０２６６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、入力画像のなかの異なる被写体の境界部分などにおいて、類似した画像領域の抽出個数が少なくなってしまい、ノイズ低減などの充分な補正効果が得られなくなる場合がある。
【０００６】
そこで、本発明は、入力画像のなかの異なる被写体の境界部分などであっても、類似した画像領域の抽出個数を増やして補正効果を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像の着目領域に類似する類似領域を前記着目領域の周囲の画像領域から抽出する抽出手段と、前記着目領域に含まれる画素の値と前記類似領域に含まれる画素の値とに基づいて、前記着目領域の画素の値を補正する第１の補正手段と、を有し、前記抽出手段は、前記着目領域の被写体情報に基づいて、前記着目領域の各画素に重みを設定または前記着目領域の形状を調整して、前記抽出を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、入力画像のなかの異なる被写体の境界部分などであっても、類似した画像領域の抽出個数を増やして補正効果を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態の画像処理装置の概略構成例を示す図である。
【図２】画像処理部の構成例を示す図である。
【図３】ノイズ低減処理のフローチャートである。
【図４】ベイヤー画像からの色毎の分離を示す図である。
【図５】第１の実施形態に係るノイズ低減処理の詳細なフローチャートである。
【図６】着目領域と類似度判定領域の説明図である。
【図７】ノイズ低減処理が行われた着目領域と類似領域の説明図である。
【図８】差分絶対値と重みの関係例を示す図である。
【図９】輝度値と重みの例を示す図である。
【図１０】第２の実施形態に係るノイズ低減処理の詳細なフローチャートである。
【図１１】輝度値と着目領域の変形の例を示す図である。
【図１２】境界部分で抽出される類似領域の個数が少なくなる例の説明図である。
【発明を実施するための形態】
【００１０】
以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態の画像処理装置の一適用例としての撮像装置１００の概略構成を示したブロック図である。
制御部１０１は、例えばＣＰＵであり、動作プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行することにより、撮像装置１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、制御部１０１のＣＰＵが実行する動作プログラムに加え、撮像装置１００の各ブロックにおける動作に必要なパラメータ等をも記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００の各ブロックの動作の結果や動作途中のデータの一時的な記憶領域として用いられる。
【００１１】
光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体等の光学像を後述の撮像部１０５の撮像面上に結像させる。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子を有し、光学系１０４によって撮像部１０５に結像された光学像を光電変換し、その光電変換で得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。なお、本実施形態の撮像素子は、原色ＲＧＢの各フィルタ素子がいわゆるベイヤー配列と呼ばれる順番で配されたカラーフィルタを備えているとする。Ａ／Ｄ変換部１０６は、撮像部１０５から入力されたアナログ画像信号をデジタル画像信号（以下、画像信号とする。）に変換し、その画像信号をＲＡＭ１０３に出力する。
【００１２】
画像処理部１０７は、ＲＡＭ１０３に記憶されている画像信号に対して、ホワイトバランス調整、ノイズ低減、色補間（ディベイヤー）、ガンマ処理など、様々な画像処理を適用する。画像処理部１０７の構成の詳細は後述する。
記録部１０８は、着脱可能なメモリカード等の記録媒体を備えている。画像処理部１０７で処理された画像信号は、ＲＡＭ１０３を介し、記録画像信号として記録部１０８の記録媒体に記録される。
表示部１０９は、ＬＣＤ等の表示デバイスを備えている。表示部１０９は、ＲＡＭ１０３または記録部１０８に記録した画像や、ユーザーからの指示を受け付けるための操作ユーザーインターフェイス画像等を、表示デバイスに表示させる。
【００１３】
図２は、画像処理部１０７の構成を示すブロック図である。本実施形態において、画像処理部１０７は、ホワイトバランス調整部２０１、ノイズ低減処理部２０２、現像処理部２０３を備えている。
ホワイトバランス調整部２０１は、ＲＡＭ１０３から前述したベイヤー配列の画像信号を受け取り、ＲＧＢそれぞれの色信号に対して、ホワイトバランスを調整するためのゲインをかける。
ノイズ低減処理部２０２は、ホワイトバランス調整部２０１によるホワイトバランス調整後の画像信号に対してノイズ低減処理を行う。このノイズ低減処理については、後に詳細に説明する。
現像処理部２０３は、ノイズ低減処理部２０２によるノイズ低減処理後の画像信号に対して、色補間（ディベイヤー）処理、ガンマ処理、マトリクス処理、圧縮処理などを行い、最終的な記録画像信号を作成する。この記録画像信号は、ＲＡＭ１０３を介し、記録部１０８の記録媒体に記録される。
【００１４】
＜第１の実施形態＞
以下、画像処理部１０７が備えているノイズ低減処理部２０２の動作について説明する。図３は、ノイズ低減処理部２０２における処理を簡易的に示すフローチャートである。なお、以下の説明では、図３のフローチャートの各処理ステップＳ３０１〜Ｓ３０３をＳ３０１〜Ｓ３０３と略記し、このことは後述する他のフローチャートでも同様とする。
【００１５】
ノイズ低減処理部２０２には、図４（ａ）に示すようなベイヤー配列の画像信号が入力される。なお図４（ａ）は撮像装置１００により撮像された画像の一部を示しているもものとする。
ノイズ低減処理部２０２は、まずＳ３０１の処理として、図４（ａ）に示したベイヤー配列の入力信号を、図４（ｂ）に示すようにＲ，Ｇｒ，Ｇｂ，Ｂの各色別の信号に分離する。
次に、Ｓ３０２の処理として、ノイズ低減処理部２０２は、Ｓ３０１にて分離したＲ，Ｇｒ，Ｇｂ，Ｂの四つの色信号のそれぞれに対してノイズ低減処理を行う。
その後、Ｓ３０３の処理として、ノイズ低減処理部２０２は、Ｓ３０２におけるノイズ低減処理後の四つの色信号を、ベイヤー配列の画像信号に戻し、ノイズ低減処理後の画像信号を作成する。なお、後段の処理において色ごとのデータが必要となるならば、Ｓ３０３の処理は必ずしも必要ではない。
【００１６】
次に、Ｓ３０２におけるノイズ低減処理について詳細に説明する。
図５は、Ｓ３０２で行われるノイズ低減処理の詳細なフローチャートである。以下の説明では、ノイズ低減処理部２０２に入力される画像信号を入力画像と呼ぶことにする。
ノイズ低減処理部２０２は、まずＳ５０１の処理として、入力画像内で着目する画像領域（以下、着目領域とする。）の位置を更新する。着目領域の詳細については後述する。図６（ａ）〜図６（ｅ）は入力画像の例えば左上の一部分を表した図であり、図中の小正方形はそれぞれ画素を表しているとする。図６（ａ）は、入力画像内の着目領域６０１の初期位置の例を表した図である。この図６（ａ）の例で示すように、着目領域６０１の初期位置は、入力画像の例えば左上端の領域であるとする。ノイズ低減処理部２０２は、初期位置から水平方向に１画素ずつ右に移動し、画像の右端まで処理が終わったならば、垂直方向に１画素分だけ下にずらし、同様に画像の左端から右端に向かって水平方向に移動させるようにして、着目領域６０１の位置を更新する。例えば図６（ｂ）の例は、着目領域６０１の位置を、画像の左上の初期位置から右方向に３画素分でかつ下方向に３画素分だけ移動させた場合を示している。
【００１７】
次にＳ５０２の処理として、ノイズ低減処理部２０２は、着目領域に含まれる被写体情報に基づいて、その着目領域の各画素に対して設定する重みを算出する。そして、ノイズ低減処理部２０２は、着目領域の各画素の重みに基づいて、後述する類似領域の抽出処理を行う。
【００１８】
ここで、本実施形態において重みを算出するのは、着目領域が異なる被写体の境界付近に設定された場合に、その着目領域に類似した領域として抽出される類似領域の個数が少なくなることを防ぐためである。例えば、図１２（ａ）に示すように、斜線パターンで表される被写体１２１１と斜線パターン無しで表される被写体１２１２との境界付近に着目領域１２０１が設定される場合について考える。着目領域１０２１がこれら二つの被写体１２１１，１２１２の境界付近に設定される場合、本実施形態のような重みを付けずに類似領域の抽出を行うと、図１２（ｂ）に示すように境界付近でしか類似領域が抽出されなくなる。図１２（ｂ）では、着目領域１２０１に類似した領域として類似領域１２２１，１２２２が抽出された例を示している。そして、図１２（ｂ）のように抽出される類似領域の個数が少なくなると、充分なノイズ低減効果が得られなくなってしまう。このため、本実施形態において、ノイズ低減処理部２０２は、着目領域の各画素の重みを算出し、その重みに基づいて類似領域の抽出処理を行う。
【００１９】
以下、ノイズ低減処理部２０２において、着目領域に含まれる被写体情報の一例としての各画素の輝度値を基に、着目領域の各画素の重みを算出する例について説明する。具体的には、ノイズ低減処理部２０２は、着目領域内の対象画素について、当該着目領域内の基準画素の輝度値とその対象画素の輝度値との差分絶対値を算出し、差分絶対値が小さいほど、その対象画素の重みを大きく設定する。なおこの例では着目領域の中心の画素を基準画素として説明するが、これに限らず例えば着目領域の左上の画素を基準画素としても良い。
【００２０】
重みの設定方法として、本実施形態では、基準画素と対象画素との輝度値の差分が小さいほど、その対象画素は、基準画素が含まれる被写体と同一の被写体に含まれる画素であるとして重みを大きく設定する。反対に、基準画素と対象画素との輝度値の差分が大きいほど、その対象画素は、基準画素が含まれる被写体とは異なる被写体に含まれる画素であるとして重みを小さく設定する。具体的には、例えば図８に示すように、差分絶対値が０の時には重みを１にし、差分絶対値が２０までは線形に重みを減らし、差分絶対値が閾値としての２０を超える場合には重みを設定しない（つまり重みを０に設定する）。図９（ａ）には例えば３×３画素の着目領域例を示しており、図中の小正方形がそれぞれ画素を表し、各画素内の数値が輝度値を表し、画素９０１が基準画素であるとする。この図９（ａ）の例の場合、各画素の重みの値は図９（ｂ）に示すような値として算出される。なお基準画素９０１の重みについては差分絶対値が０となされるために１となる。また重みの算出方法はこれに限らず適宜変更して良い。
【００２１】
Ｓ５０２の後、Ｓ５０３の処理に進むと、ノイズ低減処理部２０２は、入力画像から、着目領域と類似している類似領域の抽出を行う。類似領域の詳細については後述する。ここでは、Ｓ５０１において例えば図６（ｂ）に示すように着目領域６０１の位置が更新されたとする。この時のノイズ低減処理部２０２は、図６（ｃ）に示すように、着目領域６０１の基準画素６０２を中心とし、その基準画素６０２の周囲に、類似領域を探索するための探索範囲６０３を設定する。図６（ｃ）は、着目領域６０１の基準画素６０２を中心とした９×９画素の範囲が探索範囲６０３に設定された例を示している。
【００２２】
さらにノイズ低減処理部２０２は、探索範囲６０３のなかで、Ｓ５０２で算出した重みを考慮して、着目領域６０１との類似度が高い類似領域を抽出する。この時のノイズ低減処理部２０２は、まず図６（ｄ）に示すように、探索範囲６０３のなかに着目領域６０１と同じサイズの判定領域６０４を設定する。判定領域６０４には、着目領域６０１と同様に、基準画素６０５が設定される。次にノイズ低減処理部２０２は、類似領域の探索範囲６０３内において、下記の式（１）のように、着目領域６０１と判定領域６０４との間で重みを考慮した差分絶対値和を算出する。なお式（１）中のＤは差分絶対値和であり、Ｎは着目領域の画素数（判定領域の画素数もＮ）、Ｙｉは着目領域内の各画素値、Ｙｓは判定領域内の各画素値であり、Ｗnは各画素の重みである。なお、ＹｉnとＹｓnは着目領域と判定領域における同位置の画素値を示している。すなわちノイズ低減処理部２０２は、着目領域と判定領域の各々対応した画素位置について重みをかけた差分絶対値を算出し、それら重みをかけた画素位置毎の差分絶対値の総和を、着目領域と判定領域との間の類似度を表す値として取得する。
【００２３】
【数１】
2020102106.tif 000003
【００２４】
差分絶対値和Ｄは、着目領域と判定領域との間の類似性を簡易的に表す値として用いることができ、この差分絶対値和Ｄが小さいほど、それら着目領域と判定領域との間の類似性が高いことになる。つまり、差分絶対値和Ｄが小さいほど、それら着目領域と判定領域とは同一の被写体に含まれる領域である可能性が高いことになる。本実施形態の場合、ノイズ低減処理部２０２は、類似度判定用の所定の閾値より小さい値の差分絶対値和Ｄが算出された判定領域を、着目領域との類似度が高い類似領域として抽出する。また、ノイズ低減処理部２０２は、探索範囲６０３内において類似領域と判定された領域の個数を、例えばＲＡＭ１０３内のデータ領域に記憶する。なお本実施形態では、差分絶対値和Ｄを用いた簡易的な類似領域判定処理を例に挙げたが、二つの領域間の類似性を評価できる他の手法によって類似領域の判定を行っても良い。
【００２５】
ノイズ低減処理部２０２は、図６（ｄ）のように着目領域６０１と判定領域６０４との間で類似領域判定処理を行った後、図６（ｅ）のように、探索範囲６０３のなかで判定領域６０４を順次移動させながら前述同様に類似領域判定処理を行う。本実施形態では、探索範囲６０３が９×９画素、着目領域６０１と判定領域６０４がそれぞれ３×３画素のサイズを例に挙げている。したがってこの例の場合、ノイズ低減処理部２０２は、探索範囲６０３内において、判定領域６０４の基準画素６０５を、着目領域６０１の基準画素６０２を中心とした７×７画素の範囲内で動かすことになる。つまりノイズ低減処理部２０２は、探索範囲６０３内で、判定領域６０４の基準画素６０５の位置を、着目領域６０１の基準画素６０２を除いた７×７−１の合計４８個分の各画素位置に順に移動させ、それら４８個分の位置で順に類似領域判定処理を行う。言い換えると、ノイズ低減処理部２０２は、Ｓ５０１で着目領域の位置が更新される毎に、４８回の類似領域判定処理を行うことになる。
【００２６】
次にＳ５０４の処理として、ノイズ低減処理部２０２は、着目領域と、当該着目領域について設定された探索範囲内で抽出された全ての類似領域とに対して、それぞれ画素の値を補正する補正処理としてのノイズ低減処理を行う。Ｓ５０４のノイズ低減処理は、例えば式（２）のように、着目領域および探索範囲内の全ての類似領域の、各々対応した画素位置の画素値の平均値を算出し、その算出した平均値を、着目領域および各類似領域の各々対応した画素位置の画素値とする処理である。なお式（２）中のＹNRはノイズ低減処理後の画素値、Ｍは探索範囲内の類似領域の個数である。また式（２）中のＹｉは着目領域の画素値、Ｙｓは類似領域の画素値であって着目領域の画素と対応した位置の画素値であり、Ｙｓmは探索範囲内の各類似領域内における同位置の画素値を示している。つまりノイズ低減処理部２０２は、着目領域および探索範囲内の全類似領域の同位置の画素値を加算して、類似領域の個数Ｍに着目領域の個数１を足した数で除算して得られる平均値を、ノイズ低減処理後の同位置の画素値として算出する。
【００２７】
【数２】
2020102106.tif 000004
【００２８】
そして、ノイズ低減処理部２０２は、着目領域と探索範囲内の全ての類似領域のそれぞれ画素値を、前述のように各々対応した画素位置について算出した画素値により置き換える。このように、ノイズ低減処理部２０２は、式（２）の平均値算出処理で得られた画素値による置き換えを行うことで、着目領域および探索範囲内の各類似領域に対するノイズ低減処理を行っている。なお、着目領域および探索範囲内の全類似領域に対するノイズ低減処理は、それら領域の画素値を用いた他の手法により行われても良い。
【００２９】
次にＳ５０５の処理として、ノイズ低減処理部２０２は、前述のように画素位置毎に置き換えた各画素値を、ＲＡＭ１０３内の入力画像用の画像メモリ領域とは別の画像メモリ領域に蓄積する。以下、本実施形態では、入力画像用の画像メモリ領域とは別の画像メモリ領域に蓄積される画像を、蓄積画像と呼ぶことにする。
【００３０】
図７（ａ）は入力画像の例えば左上の一部分を表した図であり、図中の小正方形は図６の例と同様にそれぞれ画素を表しているとする。図７（ａ）の例では、着目領域７０１に対して設定された探索範囲７０３のなかで類似領域７１１，７１２，７１３が抽出された例を示している。ここで、着目領域７０１と類似領域７１１とは一部の画素位置が重なっており、同じく着目領域７０１と類似領域７１２とは一部の画素位置が重なっているとする。このように着目領域と類似領域とで画素位置が重なっている場合、ノイズ低減処理後の各画素値が蓄積される蓄積画像では、それら重なった画素位置において画素値が加算される。そして、ノイズ低減処理部２０２は、蓄積画像の各画素位置においてノイズ低減処理後の画素値が算出された回数をカウントし、その回数を示す値を、それぞれの各画素位置に対応させて例えばＲＡＭ１０３に記憶する。
【００３１】
図７（ｂ）は、図７（ａ）に示した着目領域７０１と探索範囲７０３および類似領域７１１〜７１３の例の場合に、蓄積画像上でノイズ低減処理後の画素値が算出された回数を画素位置毎に表した図である。この図７（ｂ）の例では、着目領域７０１と類似領域７１１とで重なっている画素位置の算出回数が「２」となり、同じく着目領域７０１と類似領域７１２とで重なっている画素位置の算出回数が「２」となっている。また着目領域７０１および類似領域７１１〜７１３で重なっていない画素位置では算出回数は「１」となる。
【００３２】
図７（ｃ）は図７（ａ）同様に入力画像の左上の一部分を表した図であるが、Ｓ５０１における着目領域位置の更新により、例えば図７（ａ）の着目領域７０１の位置から水平方向に１画素分だけ移動した位置が着目領域７２１となった例を示している。このとき着目領域７２１に対して設定された探索範囲７２３のなかでは類似領域７３１，７３２が抽出されており、また着目領域７２１と類似領域７３２とは一部の画素位置が重なっているとする。
【００３３】
図７（ｄ）は、図７（ｃ）に示した着目領域７２１と探索範囲７２３および類似領域７３１〜７３２の例の場合に、蓄積画像上でノイズ低減処理後の画素値が算出された回数を画素位置毎に表した図である。すなわち、図７（ｄ）の場合、前述した図７（ｂ）で求められた算出回数に、さらに図７（ｃ）の例に応じた算出回数が加えられることになる。
【００３４】
このように、本実施形態のノイズ低減処理部２０２は、着目領域の位置を順に移動させて更新しつつ順次ノイズ低減処理を行い、さらに蓄積画像の各画素位置においてノイズ低減処理後の画素値が算出された回数を、画素位置毎に記憶させるようにしている。
【００３５】
次にＳ５０６に進むと、ノイズ低減処理部２０２は、着目領域の位置を移動させる更新処理が完了したか否かを判定する。すなわちノイズ低減処理部２０２は、着目領域の位置が入力画像の左下端部に達していてこれ以上移動できない場合、着目領域の位置更新が完了したと判定してＳ５０７に処理を進める。一方、ノイズ低減処理部２０２は、着目領域の位置が入力画像の左下端部に達していない場合には、Ｓ５０１に処理を戻して、Ｓ５０１〜Ｓ５０５の一連の処理を繰り返すような処理の実行制御を行う。
【００３６】
Ｓ５０７に進むと、ノイズ低減処理部２０２は、前述した蓄積画像のなかの対象画素の蓄積画素値を、その対象画素に対応した画素位置の前述した算出回数により除算する。言い換えると、重なっていることで画素値が加算された画素については重みをつけずに平均化して、当該対象画素における最終的なノイズ低減処理後の画像値を生成する。すなわちノイズ低減処理部２０２は、Ｓ５０４によるノイズ低減処理の後、さらにＳ５０５で画素値を蓄積し、Ｓ５０７で蓄積画像の画素値を算出回数により除算することで、最終的なノイズ低減処理後の画像値を生成する。そして、ノイズ低減処理部２０２は、その最終的なノイズ低減処理後の画素値によって、前述した入力画像内の該当する対象画素の画素値を置き換える。これにより、最終的なノイズ低減処理後の入力画像が生成される。その後、ノイズ低減処理部２０２は、Ｓ５０７の処理で最終的に生成されたノイズ低減処理後の入力画像信号を、現像処理部２０３へ出力する。
【００３７】
以上説明したように、本実施形態のノイズ低減処理部２０２は、着目領域の各画素に重みを設定することによって、着目領域内において基準画素を含む被写体とは異なる被写体が含まれる場合でも、その影響を抑えて類似領域の抽出を行うことができる。これにより、本実施形態によれば、抽出できる類似領域の個数を増やしてノイズ低減の効果を向上させることができる。
【００３８】
なお、前述した説明では、図４に示したようにベイヤー配列の画像をＲ，Ｇｒ，Ｇｂ，Ｂの色毎に分離し、それら色毎の画像に対してそれぞれ独立にノイズ低減処理を行ったが、ベイヤー配列の画像に着目領域を設定して前述同様のノイズ低減処理を行っても良い。
また前述の例では、着目領域を３×３画素、探索範囲を９×９画素の大きさとしたが、これ以外の大きさに設定してノイズ低減処理を行っても良いし、着目領域や探索範囲は正方形の領域でなくても良い。
また前述の例では、Ｓ５０５において画素毎にノイズ低減処理後の画素値への置き換えを行ったが、Ｓ５０２で算出した重みが所定の値よりも小さい画素は、画素値を置き換えなくても良い。
また前述の例では、Ｓ５０５において着目領域と類似領域の画素毎にノイズ低減処理値の画素値への置き換えを行ったが、着目領域に対してのみ置き換える処理を実施しても良い。
【００３９】
また前述の例では、Ｓ５０２において被写体情報として輝度値を用い、その輝度値を基に着目領域内の各画素が基準画素と同じ被写体領域に属するかを判定して重みを算出したが、これには限定されない。重みの算出に用いる指標としての被写体情報は、輝度値の他に、例えば各画素のＲＧＢなどの色情報を用いても良いし、被写体までの画素毎の距離情報や、意味的領域の分割結果の情報などの別の指標を用いてもよい。なお、意味的領域の分割とは、画像を人物の領域、自動車の領域、道路の領域、建物の領域、空の領域など、被写体における意味的な領域ごとに分割する処理である。このような意味的領域の分割結果の情報を基に、基準画素と他の画素が同じ被写体領域に属するか否かを判定して重みを算出しても良い。また距離情報は、撮像装置１００から被写体までの距離を画素毎に検出して、撮像画像の各画素位置に対応するように配置した距離マップの情報である。距離マップの各画素が有する距離の値により、基準画素と他の画素が同じ被写体領域に属するか否かを判定して重みを算出する。これら輝度値、色情報、意味的領域の分割の結果情報、距離情報は、それぞれ個別に用いる場合だけでなく、それらを組み合わせて用いて重みを算出しても良い。
【００４０】
＜第２の実施形態＞
以下、第２の実施形態として、着目領域の形状を調整して類似領域の抽出を行う例について説明する。すなわち第２の実施形態では、着目領域の形状を調整して類似領域の抽出処理を行うことで、前述した図１２（ａ）で述べたような異なる被写体の境界付近に着目領域が設定された場合でも、抽出される類似領域の個数が少なくなることを防ぐようにする。第２の実施形態において、第１の実施形態と異なる処理は図３のＳ３０２の処理であるため第１の実施形態と同様の処理についての説明は省略し、以下、Ｓ３０２の処理について詳細に説明する。
【００４１】
図１０は、第２の実施形態のＳ３０２において行われるノイズ低減処理の流れを示すフローチャートである。なおＳ１００１およびＳ１００４〜Ｓ１００７の処理に関しては、第１の実施形態の図５におけるＳ５０１およびＳ５０４〜Ｓ５０７と同じ処理であるため、ここでの説明は割愛する。以下、Ｓ１００２、１００３の処理について説明する。
【００４２】
Ｓ１００１の後、Ｓ１００２に進むと、ノイズ低減処理部２０２は、着目領域の形状の調整を行う。
ここでは、着目領域の被写体情報の一例としての各画素の輝度値を基に、着目領域の形状を調整する例について説明する。具体的には、ノイズ低減処理部２０２は、着目領域内において基準画素の輝度値とその他の各画素の輝度値との差分絶対値を算出し、その差分絶対値が所定の閾値より大きい場合、その画素を着目領域から除外する。例えば所定の閾値として１０が設定されているとすると、差分絶対値が１０を超える場合に、その画素を着目領域から除外する。図１１（ａ）は前述した図９（ａ）の例と同様の３×３画素の着目領域を示しており、画素１１０１が基準画素であるとする。この図１１（ａ）の例の場合、差分絶対値が１０を超える画素として図１１（ａ）の着目画素１１０１の上と左上の二つの画素が除外されることになる。したがって、それら２画素を除外する形状調整処理後の着目領域は、図１１（ｂ）に示すような形状の着目領域１１１０となる。なお、着目領域の形状の調整方法はこれに限らず適宜変更しても良い。
【００４３】
次にＳ１００３に進むと、ノイズ低減処理部２０２は、Ｓ１００２で形状を調整した着目領域と類似した類似領域の抽出を行う。Ｓ１００３でノイズ低減処理部２０２が行う処理は、基本的には前述したＳ５０３と同様の処理であるが、以下の処理が異なる。前述のＳ５０３では３×３画素の着目領域に対して各画素の重みを考慮して差分絶対値和を算出するが、Ｓ１００３では、Ｓ１００２で形状を調整した着目領域に対して差分絶対値和を計算する処理が行われる。
【００４４】
このように、第２の実施形態においては、着目領域の形状を調整することによって、着目領域内において基準画素を含む被写体とは異なる被写体が含まれる場合でも、その影響を抑えて類似領域の抽出を行うことができる。これにより、第２の実施形態においても、抽出できる類似領域の抽出個数を増やしてノイズ低減効果を向上させることができる。
【００４５】
なお第２の実施形態では、画素を除外することで着目領域の形状を調整する例を説明したが、画素の除外によって例えば１×１画素のように着目領域の形状が所定の形状サイズよりも小さくなり過ぎる場合には、着目領域の形状を調整しなくても良い。すなわち、画素を除外する形状調整を行わないようにする。これは、１×１画素など形状を小さくし過ぎると、類似度の低い領域を類似領域として抽出してしまい、ノイズ低減効果が下がってしまうためである。
【００４６】
また第２の実施形態においても、被写体情報は輝度値に限定されず、各画素のＲＧＢなどの色情報を用いても良いし、画素間の距離の情報や、意味的領域の分割結果の情報などの別の指標を用いてもよい。これらの被写体情報により、基準画素と他の画素が同じ被写体領域に属するか否かを判定し、同じ被写体領域に属さないと判定される場合にはその画素を除外するようにして着目領域の形状を調整する。
【００４７】
以上説明したように、本発明の実施形態によれば、被写体に応じて、着目領域内の各画素に重み付けたり、着目領域の形状を調整したりすることにより、着目領域に類似した類似領域の抽出個数を増やしてノイズ低減効果を高めることができる。
【００４８】
本発明は前述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行ってもよい。
第１、第２の実施形態のノイズ低減処理部における処理は、ハードウェア構成のみで実現されてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェア構成によって実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ソフトウェア構成のためのプログラムは、予めＲＯＭ等の用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。
【００４９】
また、前述の例では撮像装置１００としてデジタルカメラを想定したが、本実施形態はデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末等の各種携帯端末、監視カメラ、工業用カメラ、車載カメラ、医療用カメラ等にも適用可能である。
【００５０】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。
【００５１】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５２】
１００：撮像装置、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０７：画像処理部、２０１：ホワイトバランス調整部、２０２：ノイズ低減処理部、２０３：現像処理部
【図１】
2020102106.tif 000005
【図２】
2020102106.tif 000006
【図３】
2020102106.tif 000007
【図４】
2020102106.tif 000008
【図５】
2020102106.tif 000009
【図６】
2020102106.tif 000010
【図７】
2020102106.tif 000011
【図８】
2020102106.tif 000012
【図９】
2020102106.tif 000013
【図１０】
2020102106.tif 000014
【図１１】
2020102106.tif 000015
【図１２】
2020102106.tif 000016