(57)【要約】【課題】画像データを補正するときの処理時間を短縮できるようにすることを目的とする。【解決手段】画像処理装置は、画像データの着目領域に類似する類似領域を抽出する抽出手段と、着目領域の位置を第１の更新法則にしたがって更新し、更新した着目領域の位置ごとに抽出手段により抽出される類似領域の画素の補正と、更新した位置における着目領域の画素の補正とを行う第１の補正手段と、第１の補正手段による補正が終了した後に第１の更新法則を、第１の補正手段による補正を補う第２の更新法則に変更する変更手段と、変更手段により変更された前記第２の更新法則にしたがって再度、第１の補正手段による補正を行う反復手段と、変更手段により更新法則が変更される前に行われた第１の補正手段による補正および反復手段における第１の補正手段による補正に基づいて、画像データの画素を補正する第２の補正手段と、を有する。【選択図】図５
2020047223.tif 000002
【特許請求の範囲】
【請求項１】
画像データの着目領域に類似する類似領域を抽出する抽出手段と、
着目領域の位置を第１の更新法則にしたがって更新し、更新した着目領域の位置ごとに前記抽出手段により抽出される類似領域の画素の補正と、更新した位置における着目領域の画素の補正とを行う第１の補正手段と、
前記第１の補正手段による補正が終了した後に前記第１の更新法則を、前記第１の補正手段による補正を補う第２の更新法則に変更する変更手段と、
前記変更手段により変更された前記第２の更新法則にしたがって再度、前記第１の補正手段による補正を行う反復手段と、
前記変更手段により更新法則が変更される前に行われた前記第１の補正手段による補正および前記反復手段における前記第１の補正手段による補正に基づいて、前記画像データの画素を補正する第２の補正手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記第２の更新法則は、
前記変更手段により更新法則が変更される前に行われた前記第１の補正手段による補正の度合いに基づいた更新法則であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の更新法則は、
前記変更手段により更新法則が変更される前に行われた前記第１の補正手段による補正において、補正の回数が閾値よりも少ない回数の画素に、着目領域の位置を更新する更新法則であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第２の更新法則は、
前記変更手段により更新法則が変更される前に行われた前記第１の補正手段による補正において、前記着目領域の基準となる画素として更新されなかった画素に、着目領域の位置を更新する更新法則であることを特徴とする請求項１ないし３の何れか１項に記載の画像処理装置。
【請求項５】
前記第１の更新法則は、
所定の画素間隔ごとに、着目領域の位置を更新する更新法則であることを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
【請求項６】
前記所定の画素間隔は、着目領域の大きさ、および、類似領域を抽出するときの範囲の大きさの少なくとも何れか一つに基づいた間隔であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記所定の画素間隔は、着目領域の大きさ、または、類似領域を抽出するときの範囲の大きさよりも小さいことを特徴とする請求項５または６に記載の画像処理装置。
【請求項８】
前記変更手段は、
前記第２の更新法則にしたがって前記第１の補正手段による補正が終了した後に、前記第２の更新法則を、いままでに行った前記第１の補正手段による補正を補う第３の更新法則に変更し、
前記反復手段は、
前記変更手段により変更された前記第３の更新法則にしたがって再度、前記第１の補正手段による補正を行うことを特徴とする請求項１ないし７の何れか１項に記載の画像処理装置。
【請求項９】
前記変更手段は、
前記第１の補正手段による補正が終了するごとに、更新法則を、いままでに行った前記第１の補正手段による補正を補う更新法則に変更し、
前記反復手段は、
前記変更手段により更新法則が変更されるごとに再度、前記第１の補正手段による補正を行うことを特徴とする請求項１ないし８の何れか１項に記載の画像処理装置。
【請求項１０】
前記変更手段は、
前記第１の補正手段による補正において、前記着目領域の基準となる画素として更新されなかった画素のうち、補正の回数が閾値よりも少ない回数の画素がなくなるまで更新法則を変更することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
画像データのノイズレベルに応じて前記閾値を設定する設定手段を有することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記第１の補正手段による補正の度合いに基づいて、更新法則を変更するか否かを判定する判定手段を有することを特徴とする請求項１ないし１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記第２の補正手段は、
前記判定手段により更新法則を変更しないことが判定された場合、いままでに行った前記第１の補正手段による補正に基づいて、前記画像データの画素を補正することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
画像データの着目領域に類似する類似領域を抽出する抽出ステップと、
着目領域の位置を第１の更新法則にしたがって更新し、更新した着目領域の位置ごとに前記抽出ステップにより抽出される類似領域の画素の補正と、更新した位置における着目領域の画素の補正とを行う第１の補正ステップと、
前記第１の補正ステップによる補正が終了した後に前記第１の更新法則を、前記第１の補正ステップによる補正を補う第２の更新法則に変更する変更ステップと、
前記変更ステップにより変更された前記第２の更新法則にしたがって再度、前記第１の補正ステップによる補正を行う反復ステップと、
前記変更ステップにより更新法則が変更される前に行われた前記第１の補正ステップによる補正および前記反復ステップにおける前記第１の補正ステップによる補正に基づいて、前記画像データの画素を補正する第２の補正ステップと、を有することを特徴とする画像処理方法。
【請求項１５】
コンピュータを、請求項１ないし１３の何れか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関するものである。特に、画像データを補正する技術に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ等の画像処理装置において、ノイズ低減処理の高性能化が進んでいる。ある着目画素のノイズを十分に低減させるように補正するには、その着目画素周辺の広い範囲の画素情報も用いて処理を行う必要がある。また、ノイズを低減しつつテクスチャの情報を失わないようにする必要があり、これらに関して様々な手法が提案されている。
【０００３】
特許文献１は、画像領域を抽出した画像パッチの集合を生成し、その集合に属する全ての画像パッチに対して、画像パッチ毎に異なるパラメータのノイズ低減処理を行い、デノイズ後の画像パッチを合成することにより、デノイズされた画像を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２６６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、各画像パッチ集合に属する全ての画像パッチに対して平均ベクトルや分散共分散行列、分散共分散行列の固有ベクトル等の算出処理を行う必要があり、計算量が膨大になってしまい、処理時間を要してしまうという問題がある。
本発明は、上述したような問題点に鑑み、画像データを補正するときの処理時間を短縮できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、画像データの着目領域に類似する類似領域を抽出する抽出手段と、着目領域の位置を第１の更新法則にしたがって更新し、更新した着目領域の位置ごとに前記抽出手段により抽出される類似領域の画素の補正と、更新した位置における着目領域の画素の補正とを行う第１の補正手段と、前記第１の補正手段による補正が終了した後に前記第１の更新法則を、前記第１の補正手段による補正を補う第２の更新法則に変更する変更手段と、前記変更手段により変更された前記第２の更新法則にしたがって再度、前記第１の補正手段による補正を行う反復手段と、前記変更手段により更新法則が変更される前に行われた前記第１の補正手段による補正および前記反復手段における前記第１の補正手段による補正に基づいて、前記画像データの画素を補正する第２の補正手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、画像データを補正するときの処理時間を短縮させることができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成の一例を示す図である。
【図２】画像処理部の機能構成の一例を示す図である。
【図３】ノイズ低減処理部の動作の一例を示すフローチャートである。
【図４】ベイヤー画像信号を色ごとに分離した状態の一例を示す図である。
【図５】ノイズ低減処理部の詳細な動作の一例を示すフローチャートである。
【図６】着目領域と類似度判定領域の一例を示す図である。
【図７】着目領域と類似領域の一例を示す図である。
【図８】着目領域の更新方法の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の好適な実施形態について説明する。
＜第１の実施形態＞
本実施形態では、画像処理装置がカメラ等の撮像装置である場合について説明する。
図１は、撮像装置１００の構成の一例を示すブロック図である。
撮像装置１００は、制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、光学系１０４、撮像部１０５、Ａ／Ｄ変換部１０６、画像処理部１０７、記録部１０８、表示部１０９等により構成される。
【００１０】
制御部１０１は、例えばＣＰＵであり、撮像装置１００全体を制御する。制御部１０１が、撮像装置１００の上述した各構成部を動作させるプログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することにより撮像装置１００全体を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリである。ＲＯＭ１０２は、撮像装置１００の各構成部を動作させるプログラムに加えて、各構成部を動作させるのに必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリである。ＲＡＭ１０３は、撮像装置１００の各構成部が動作することで出力されたデータの一時的な記憶領域として用いられる。
【００１１】
光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を撮像部１０５に結像する。撮像部１０５は、例えば、ＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０５は、光学系１０４によって結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。本実施形態の撮像素子は原色ＲＧＢのベイヤー配列であるものとする。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。
【００１２】
画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、ノイズ低減、色補間（ディベイヤー）、ガンマ処理等の様々な画像処理を適用する。
記録部１０８は着脱可能なメモリカード等であり、画像処理部１０７で処理された画像がＲＡＭ１０３を介して記録画像として記録される。
表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３および記録部１０８に記録した画像やユーザからの指示を受け付けるためのユーザインターフェイスを表示する。
【００１３】
図２は、画像処理部１０７の機能構成の一例を示すブロック図である。
画像処理部１０７は、ホワイトバランス処理部２０１、ノイズ低減処理部２０２、現像処理部２０３等を有する。画像処理部１０７の機能構成は、制御部１０１が例えばＲＯＭに記録されたプログラムを実行することにより構成される。
ホワイトバランス処理部２０１は、ＲＡＭ１０３からベイヤー画像信号を受け取り、ＲＧＢそれぞれの色信号に対してホワイトバランスのゲインをかける。
ノイズ低減処理部２０２は、ホワイトバランス処理部２０１から出力されたベイヤー画像信号に対して、補正処理としてのノイズ低減処理を行う。ノイズ低減処理については後述する。
現像処理部２０３は、ノイズ低減処理部２０２から出力されたベイヤー画像信号に対して、色補間処理、ガンマ処理、マトリクス処理、圧縮処理等を行い、最終的な記録画像を生成する。生成された記録画像はＲＡＭ１０３を介して記録部１０８に記録される。
【００１４】
次に、本実施形態のノイズ低減処理部２０２の動作について説明する。
図３は、ノイズ低減処理部２０２の動作の一例を示すフローチャートである。図３のフローチャートは、制御部１０１が例えばＲＯＭ１０２に記録されたプログラムを実行することにより実現される。
Ｓ３０１では、ノイズ低減処理部２０２は入力されたベイヤー画像信号をＲ、Ｇｒ、Ｇｂ、Ｂの色ごとの画像信号に分離する。ここで、図４（ａ）は、ノイズ低減処理部２０２に入力されたベイヤー画像信号の一例を示す図である。図４（ｂ）は、色ごとに分離した画像信号の一例を示す図である。
Ｓ３０２では、ノイズ低減処理部２０２は分離した４つの画像信号それぞれに対して、ノイズ低減処理を行う。
Ｓ３０３では、ノイズ低減処理部２０２はノイズ低減処理後の４つの画像信号をベイヤー配列の画像信号に戻して、ノイズ低減処理後のベイヤー画像信号を生成する。
【００１５】
次に、上述したＳ３０２でのノイズ低減処理について詳細に説明する。
図５は、Ｓ３０２でのノイズ低減処理の動作の一例を示すフローチャートである。
Ｓ５０１では、ノイズ低減処理部２０２は着目領域の位置を移動して更新するときの更新方法（更新規則）を決定する。本実施形態では、Ｓ５０１〜Ｓ５０７までの処理を周回（ループ）して繰り返す場合に、着目領域の更新方法を動的に変更することを特徴とする。最初（１周目）にＳ５０１に進む場合には、ノイズ低減処理部２０２は着目領域の更新方法として、水平、垂直にそれぞれ３画素おきに着目領域の位置を移動して更新する更新方法を決定する。
【００１６】
Ｓ５０２では、ノイズ低減処理部２０２は着目領域の位置を更新する。なお、着目領域の初期位置は、例えば画像データの左上画素に設定する。初期位置以降、ノイズ低減処理部２０２はＳ５０２に進む度に着目領域の更新方法に基づいて、着目領域の位置を水平に３画素おきに右に移動して更新する。なお、着目領域の位置が画像の右端まで到ると、次にＳ５０２に進んだときにノイズ低減処理部２０２は着目領域の位置を垂直に３画素下に移動して更新し、次にＳ５０２に進む度に同様に着目領域の位置を水平に３画素おきに右に移動して更新する。
【００１７】
Ｓ５０３では、ノイズ低減処理部２０２は着目領域に類似する類似領域を抽出する。この処理は、抽出手段による処理の一例に対応する。ここで、Ｓ５０２において図６（ａ）に示す位置に着目領域を更新したとする。ノイズ低減処理部２０２は着目領域の基準画素を中心に、類似領域の探索範囲を設定する。図６（ｂ）では着目領域の基準画素を中心として、９×９の範囲に類似領域の探索範囲が設定されている。
ノイズ低減処理部２０２は類似領域の探索範囲内で着目領域と類似度の高い領域を抽出する。具体的に、ノイズ低減処理部２０２は図６（ｃ）に示すように、探索範囲内に着目領域と同じサイズの類似度判定領域を設定する。次に、ノイズ低減処理部２０２は例えば、下記の式（１）を用いて着目領域と類似度判定領域との差分絶対値和を算出する。ここで、式（１）のＤは差分絶対値和であり、Ｎは着目領域および類似度判定領域の画素数であり、Ｙｉは着目領域の画素値であり、Ｙｓは類似度判定領域の画素値である。差分絶対値和が小さいほど着目領域と類似度判定領域との間の類似度が高いことになる。
【００１８】
【数１】
2020047223.tif 000003
【００１９】
ここで、ノイズ低減処理部２０２は差分絶対値和Ｄの値が所定の閾値より小さい類似度判定領域を類似領域として抽出する。なお、本実施形態では、簡易的に差分絶対値和を用いて類似領域を判定しているが、領域間の類似度を評価できる他の手法を用いて類似領域を判定してもよい。
ノイズ低減処理部２０２は着目領域と類似度判定領域との類似度を判定した後、図６（ｄ）に示す類似領域の探索範囲内で類似度判定領域を移動させながら、着目領域と類似度判定領域との類似度を判定していく。本実施形態のように、類似領域の探索範囲が９×９の画素サイズ、着目領域および類似度判定領域が３×３の画素サイズの場合には、類似度判定領域の基準画素が７×７の範囲で移動することになる。結果として、ノイズ低減処理部２０２は着目領域を除いた計４８回（７×７−１）の類似度を判定することになる。
【００２０】
Ｓ５０４では、ノイズ低減処理部２０２は着目領域と類似領域に対してノイズ低減処理を行う。具体的に、ノイズ低減処理部２０２は例えば、下記の式（２）を用いて着目領域とＳ５０３において抽出した類似領域との画素の平均値を算出する。ここで、式（２）のＹNRはノイズ低減処理後の画素値であり、Ｍは類似領域と判定された領域の個数であり、Ｙｉは着目領域の画素値であり、Ｙｓは類似領域の画素値である。平均値を算出する処理は、着目領域と類似領域との位置が対応する画素ごとに行われる。
【００２１】
【数２】
2020047223.tif 000004
【００２２】
なお、本実施形態では、平均値を算出する処理を用いて簡易的なノイズ低減処理を行っているが、着目領域と類似領域の画素値を用いた他の手法を用いて低減処理を行ってもよい。
Ｓ５０５では、ノイズ低減処理部２０２は着目領域と類似領域の画素値をノイズ低減処理後の画素値に置き換える。ノイズ低減処理部２０２は置き換えた画素値を入力画像とは別の蓄積画像として記憶する。ここで、図７（ａ）に示すように、着目領域に対して３つの類似領域１〜類似領域３が抽出され、類似領域１および類似領域２の画素の一部が着目領域に重なっている場合について説明する。ノイズ低減処理部２０２は着目領域と類似領域が重なっている画素では、重なっている枚数分の画素値を加算して蓄積画像を生成する。また、ノイズ低減処理部２０２は図７（ｂ）に示すように、画素の位置ごとにノイズ低減処理後の画素値が加算された回数を記憶する。
【００２３】
Ｓ５０６では、ノイズ低減処理部２０２はＳ５０１で決定した更新方法による着目領域の位置の更新が、画像全体に亘って完了したか否かを判定する。完了していない場合にはＳ５０２に戻り、ノイズ低減処理部２０２は着目領域の位置を更新して、Ｓ５０３〜Ｓ５０５の処理を繰り返す。この処理は、第１の補正手段による処理の一例に対応する。
図７（ｃ）は、Ｓ５０２に戻り着目領域の位置を水平方向に３画素右方向に移動して更新し、Ｓ５０３において２つの類似領域が抽出されている状態を示している。また、図７（ｄ）は、抽出された類似領域および着目領域の画素の位置ごとにノイズ低減処理後の画素値が加算された回数を、図７（ｂ）の回数に加算した結果を示している。
このように着目領域の位置を更新して、ノイズ低減処理を繰り返し行うことにより、各画素位置にノイズ低減処理後の画素値が加算されて蓄積画像が更新されると共に、画素値を加算した回数が更新される。
【００２４】
上述したＳ５０６においてノイズ低減処理部２０２はＳ５０１で決定した更新方法による着目領域の位置の更新が画像全体に亘って完了した場合にはＳ５０７に進む。
Ｓ５０７では、ノイズ低減処理部２０２はノイズ低減処理を行った度合いに基づいて、更新方法を変更するか否かを判定する。この処理は、判定手段による処理の一例に対応する。具体的には、ノイズ低減処理部２０２は画像内で着目領域の基準画素として選ばれていない画素で、かつ、ノイズ低減処理後の画素値を加算した回数が閾値よりも少ない画素があるか否かを判定する。すなわち、Ｓ５０７ではノイズ低減処理の効果が小さい画素が残っているか否かが判定される。
【００２５】
Ｓ５０７において着目領域の基準画素として選ばれていない画素で、かつ、画素値を加算した回数が閾値よりも少ない画素がない場合にはＳ５０８に進む。ここで、Ｓ５０８に進む場合とは、画像全体に亘ってノイズ低減処理が施され画像のノイズ低減の効果が図られたと想定される状態である。
Ｓ５０８では、ノイズ低減処理部２０２は加算した画素値を、加算した回数で除算することで最終的なノイズ低減処理後の画像信号を生成する。この処理は、第２の補正手段による処理の一例に対応する。
【００２６】
一方、Ｓ５０７において着目領域の基準画素として選ばれていない画素で、かつ、画素値を加算した回数が閾値よりも少ない画素がある場合にはＳ５０１に戻る。ここで、Ｓ５０１に戻る場合には、画像全体に亘ってノイズ低減処理が施されずに、画像のノイズ低減の効果が十分ではないと想定される状態である。
２周目以降においてＳ５０１に進む場合、ノイズ低減処理部２０２は着目領域の更新方法をいままでのノイズ低減処理を補う更新方法に決定する。ここでは、２周目以降の着目領域の更新方法として、ノイズ低減処理部２０２はノイズ低減処理が施された度合いが低い画素を優先して、着目領域の位置を更新する更新方法に変更する。この処理は、変更手段による処理の一例に対応する。ノイズ低減処理部２０２は着目領域の更新方法を変更した後に再度、Ｓ５０２〜Ｓ５０６を経てノイズ低減処理を行う。この処理は、反復手段により処理の一例に対応する。
【００２７】
図８は、Ｓ５０１からＳ５０７の処理を周回（ループ）するときの、周回ごとの更新方法の一例を示す図である。図８に示す更新方法は、予め例えばＲＯＭ１０２に記憶されている。
１周目は、上述したように、水平、垂直にそれぞれ３画素おきに着目領域の位置を移動して更新する更新方法である。この更新方法は、第１の更新法則の一例に対応する。
２周目以降の更新方法は、いままでＳ５０１〜Ｓ５０７を経て行ったノイズ低減処理を補う更新方法である。
２周目は、１周目で着目領域の基準画素として選ばれていない画素で、かつ、ノイズ低減処理後の画素値を加算した回数が１回よりも少ない、つまり０回の画素を着目領域の基準画素とするように、着目領域の位置を更新する更新方法である。この更新方法は、第２の更新方法の一例に対応する。その後、２周目のＳ５０５に進むと、ノイズ低減処理部２０２はノイズ低減処理を行った結果である、ノイズ低減処理後の画素値および加算した回数を、１周目のノイズ低減処理の結果にそれぞれ加算する。
【００２８】
３周目は、２周目までに着目領域の基準画素として選ばれていない画素で、かつ、ノイズ低減処理後の画素値を加算した回数が２回よりも少ない、つまり１回の画素を着目領域の基準画素とするように、着目領域の位置を更新する更新方法である。この更新方法は、第３の更新方法の一例に対応する。その後、３周目のＳ５０５に進むと、ノイズ低減処理部２０２はノイズ低減処理を行った結果である、ノイズ低減処理後の画素値および加算した回数を、２周目までのノイズ低減処理の結果にそれぞれ加算する。
同様に、４回目以降の着目領域の更新方法についても、ノイズ低減処理部２０２は加算した回数を変えた更新方法に変更する。このように、着目領域の位置を更新するときの更新方法を変更することにより、ノイズ低減処理後の画素値を加算した回数が少なくノイズ低減の効果が低い画素が減少する。
【００２９】
ノイズ低減処理部２０２は、着目領域の基準画素に選ばれたことがない画素で、かつ、ノイズ低減処理後の画素値を加算した回数が閾値よりも少ない画素がなくなるまで、着目領域の位置を更新する更新方法を変更する。なお、ノイズ低減処理部２０２は入力された画像信号のノイズレベルによって閾値を設定することができる。この処理は、設定手段による処理の一例に対応する。例えば、ノイズ低減処理部２０２は入力された画像のノイズレベルが高い場合にはノイズレベルが低い場合に比べて閾値を大きな回数に設定する。
【００３０】
また、ユーザがノイズ低減処理の効果を大きくしたい場合や小さくしたい場合を選択できるように構成してもよい。この場合、ノイズ低減処理部２０２はユーザの選択に応じて閾値を設定することができる。ノイズ低減処理部２０２は、ユーザによりノイズ低減処理の効果を大きくしたいことが選択された場合にはノイズ低減処理の効果を小さくしたいことが選択された場合に比べて閾値を大きな回数に設定する。
ノイズ低減処理後の画素値を加算した回数が閾値よりも少ない画素がなくなることで、ノイズ低減処理部２０２は画素ごとに加算した画素値を、いままで加算した回数で除算して、画像データのノイズ低減処理が完了する。
【００３１】
以上のように、本実施形態によれば、１周目の補正処理であるノイズ低減処理が終了した後、着目領域の位置を更新する更新方法を、１周目の補正処理を補う第２の更新法則に変更し、２周目の補正処理であるノイズ低減処理を行う。したがって、１周目の補正処理を行うときに、着目領域の位置を画像データ全体に亘って大まかに更新するような更新方法を適用でき、その後に１周目の補正処理を補うような更新方法を適用して２周目の補正処理を行うことができる。このように、大まかに更新するような更新方法を適用できることで画像データを補正するときの処理時間を短縮させることができる。また、１周目の補正処理を補うような更新方法を適用して２周目の補正処理を行うことで補正処理の効果を高く保つことができる。
【００３２】
具体的には、図６および図７に示すように、１周目のノイズ低減処理において、水平、垂直３画素おきに着目領域の位置を更新する更新方法を適用することができ、１画素ずつ着目領域を動かした場合に対して１／９の計算量でノイズ低減処理を行うことができる。また、１周目のノイズ低減処理の結果でノイズ低減の効果が低い画素については、２周目以降の着目領域の位置を更新する更新方法において、優先的に着目領域の基準画素とされることでノイズ低減処理の効果を高くすることができる。
【００３３】
また、本実施形態によれば、１周目の補正処理であるノイズ低減処理が終了した後、１周目のノイズ低減処理による度合いに基づいた更新方法、具体的には各画素においてノイズ低減処理が行われた回数に基づいた更新方法に変更する。したがって、ノイズ低減処理による度合いが低い画素に、着目領域の位置を優先的に更新する更新方法を適用することができ、より補正処理の効果を図ることができる。なお、各画素においてノイズ低減処理が行われた回数は、ノイズ低減処理が行われた際の画素の情報の一例に相当する。
【００３４】
＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは記録媒体を介してシステムまたは装置に供給し、システムまたは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラムおよびそのプログラムを記憶した記録媒体は本発明を構成することになる。
【００３５】
以上のように、本発明を好適な実施形態に基づいて説明したが、本発明は上述した特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した実施形態は本発明の一実施形態を示すものにすぎず、適宜変更することが可能である。
上述した実施形態では、ベイヤー画像信号を図４に示すようにＲ、Ｇｒ、Ｇｂ、Ｂの色ごとの信号に分離して、それぞれの信号に対して独立にノイズ低減処理を行う場合について説明したが、この場合に限られない。例えば、ベイヤー画像信号の配列のまま着目領域を設定して、同様のノイズ低減処理を行ってもよい。
また、上述した実施形態では、着目領域を３×３の画素サイズ、探索範囲を９×９の画素サイズである場合について説明したが、この場合に限られず、異なる大きさに設定してノイズ低減処理を行ってもよい。また、着目領域の形状または探索範囲の形状は正方形である場合に限られず、異なる形状に設定してノイズ低減処理を行ってもよい。
【００３６】
また、上述した実施形態では、１周目の着目領域の位置を更新する更新方法として、水平、垂直３画素おきに着目領域を更新する場合について説明したが、３画素より大きい画素間隔で着目領域の位置を更新してもよい。
なお、ノイズ低減処理部２０２は第１の更新方法による画素間隔を、着目領域の大きさ、および、類似領域を抽出するときの範囲（類似領域の探索範囲）の大きさの少なくとも何れか一つに基づいて設定してもよい。例えば、着目領域が３×３の画素サイズの場合には上述したように水平、垂直３画素おきに着目領域の位置を更新すれば、必ず各画素が着目領域に含まれることになる。また、類似領域の探索範囲が９×９の画素サイズの場合、９画素おきに着目領域の位置を更新すれば、１周目のノイズ低減処理で各画素が必ず着目領域か類似度判定領域に含まれることになる。
なお、１周目のノイズ低減処理において処理時間をより短縮させたい場合には、ノイズ低減処理部２０２は大きい画素間隔で着目領域の更新を行うように第１の更新方法を設定する。この場合でも、画素間隔は類似領域を抽出するときの範囲の大きさよりも小さくすることが好ましい。一方、ノイズ低減の効果をより大きくしたい場合には、ノイズ低減処理部２０２は小さい画素間隔で着目領域の更新を行うように第１の更新方法を設定する。この場合、画素間隔は着目領域の大きさよりも小さくすることが好ましい。
【００３７】
また、上述した実施形態では、１つの着目領域の更新方法で画像全体に対してノイズ低減処理を行った後に着目領域の更新方法を変更する場合について説明したが、この場合に限られない。例えば、ノイズ低減処理部２０２は画像を部分領域に分けて、その部分領域内で着目領域の位置の更新が完了したか否かを判定し、完了した場合に着目領域の更新方法を変更してもよい。
【００３８】
また、本実施形態では、本発明を撮像装置に適用する場合を例にして説明したが、この場合に限定されず画像処理できる装置であれば適用可能である。すなわち、本発明は、パーソナルコンピュータ、ＰＤＡ、スマートフォン、タブレット端末、携帯電話端末、携帯型の画像ビューワ、デジタルフォトフレーム、ゲーム機、電子ブックリーダ等に適用可能である。
【符号の説明】
【００３９】
１００：撮像装置（画像処理装置）  １０１：制御部  １０２：ＲＯＭ  １０３：ＲＡＭ  １０４：光学系  １０５：撮像部  １０６：Ａ／Ｄ変換部  １０７：画像処理部  １０８：記録部  １０９：表示部  ２０１：ホワイトバランス調整部  ２０２：ノイズ低減処理部  ２０３：現像処理部
【図１】
2020047223.tif 000005
【図２】
2020047223.tif 000006
【図３】
2020047223.tif 000007
【図４】
2020047223.tif 000008
【図５】
2020047223.tif 000009
【図６】
2020047223.tif 000010
【図７】
2020047223.tif 000011
【図８】
2020047223.tif 000012