(57)【要約】【課題】ノイズ低減効果を向上させることを目的とする。【解決手段】画像処理装置は、第１画像から周波数帯域の異なる第２画像を生成する生成手段と、前記第１画像の着目画素に対応する前記第２画像の対応画素に基づいて、前記対応画素に類似する画素を前記第２画像から抽出する第１の抽出手段と、前記第１画像の着目画素を補正するときに参照する参照画素を、前記第１の抽出手段によって前記第２画像から抽出された画素に基づいて前記第１画像から決定する決定手段と、前記決定手段により決定された参照画素を参照して前記第１画像の着目画素を補正する補正手段と、を有することを特徴とする。【選択図】図４
2020064456.tif 000002
【特許請求の範囲】
【請求項１】
第１画像から周波数帯域の異なる第２画像を生成する生成手段と、
前記第１画像の着目画素に対応する前記第２画像の対応画素に基づいて、前記対応画素に類似する画素を前記第２画像から抽出する第１の抽出手段と、
前記第１画像の着目画素を補正するときに参照する参照画素を、前記第１の抽出手段によって前記第２画像から抽出された画素に基づいて前記第１画像から決定する決定手段と、
前記決定手段により決定された参照画素を参照して前記第１画像の着目画素を補正する補正手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記第１画像の着目画素に類似する類似画素を前記第１画像から抽出する第２の抽出手段を有し、
前記決定手段は、
前記第２の抽出手段により抽出された類似画素の数が所定数以上である場合、
前記第１画像の着目画素を補正するときに参照する参照画素を、前記第１の抽出手段によって前記第２画像から抽出された画素に基づいて前記第１画像から決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、
前記第２の抽出手段により抽出された類似画素の数が所定数よりも小さい場合、
前記第１の抽出手段によって前記第２画像から抽出された画素に基づくことなく、前記第２の抽出手段によって前記第１画像から抽出された類似画素を、前記第１画像の着目画素を補正するときに参照する参照画素に決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の抽出手段により類似画素を抽出するときに、前記第１画像の探索範囲を設定する設定手段と、
前記第１の抽出手段は、
前記設定手段により設定された前記第１画像の探索範囲に対応する前記第２画像の対応範囲から、前記対応画素に類似する画素を抽出することを特徴とする請求項１ないし３の何れか１項に記載の画像処理装置。
【請求項５】
前記第１の抽出手段によって前記第２画像から抽出された画素の位置を前記第１画像の相当する位置に置き換える置換手段を有し、
前記決定手段は、
前記置換手段により置き換えられた位置の画素を、前記第１画像の着目画素を補正するときに参照する参照画素に決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第１画像の着目画素に類似する類似画素を前記第１画像から抽出する第２の抽出手段を有し、
前記決定手段は、
前記第２の抽出手段により抽出された類似画素の数が所定数以下である場合、
前記第１画像の着目画素を補正するときに用いる参照画素を、前記第１の抽出手段によって前記第２画像から抽出された画素に基づいて前記第１画像から決定することを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記決定手段は、
前記第２の抽出手段により抽出された類似画素の数が所定数よりも大きい場合、
前記第１の抽出手段によって前記第２画像から抽出された画素に基づくことなく、前記第２の抽出手段によって前記第１画像から抽出された類似画素を、前記第１画像の着目画素を補正するときに用いる参照画素に決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第２の抽出手段により類似画素を抽出するときに、前記第１画像の探索範囲を前記第１画像の全範囲よりも小さい範囲に設定する設定手段と、
前記第１の抽出手段は、
前記設定手段により設定された前記第１画像の探索範囲よりも広い範囲に対応する前記第２画像の対応範囲から、前記対応画素に類似する画素を抽出することを特徴とする請求項１、６または７に記載の画像処理装置。
【請求項９】
前記第１の抽出手段によって前記第２画像から抽出された画素の位置を前記第１画像の相当する位置に置き換える置換手段を有し、
前記決定手段は、
前記置換手段により置き換えられた位置の画素が前記第１画像の着目画素に類似する場合に、前記置換手段により置き換えられた位置の画素を参照画素に決定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記決定手段は、
前記第１画像の探索範囲において前記第２の抽出手段によって抽出された類似画素を参照画素に決定すると共に、
前記第１画像の探索範囲外において前記置換手段により置き換えられた位置の画素を参照画素に決定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第１の抽出手段は、前記第２画像の対応画素を含む領域に類似する領域をブロックマッチングすることにより前記対応画素に類似する画素を前記第２画像から抽出することを特徴とする請求項１ないし１０の何れか１項に記載の画像処理装置。
【請求項１２】
第１画像から周波数帯域の異なる第２画像を生成する生成ステップと、
前記第１画像の着目画素に対応する前記第２画像の対応画素に基づいて、前記対応画素に類似する画素を前記第２画像から抽出する第１の抽出ステップと、
前記第１画像の着目画素を補正するときに参照する参照画素を、前記第１の抽出ステップによって前記第２画像から抽出された画素に基づいて前記第１画像から決定する決定ステップと、
前記決定ステップにより決定された参照画素を参照して前記第１画像の着目画素を補正する補正ステップと、を有することを特徴とする画像処理方法。
【請求項１３】
コンピュータを、請求項１ないし１１の何れか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関するものである。特に、画像データを補正する技術に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラ等の画像処理装置において、ノイズ低減処理の高性能化が進んでいる。ある着目画素のノイズを十分に低減させるように補正するには、その着目画素周辺の広い範囲の画素情報も用いて処理を行う必要がある。また、ノイズを低減しつつテクスチャの情報を失わないようにする必要があり、これらに関して様々な手法が提案されている。
【０００３】
特許文献１は、画像領域を抽出した画像パッチの集合を生成し、その集合に属する全ての画像パッチに対して、画像パッチ毎に異なるパラメータのノイズ低減処理を行い、デノイズ後の画像パッチを合成することにより、デノイズされた画像を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２６６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、低コントラストの被写体であるためにノイズと被写体の区別がつきにくい画像の場合や細線のような被写体が画像の場合には、ノイズを十分に低減できないという問題がある。
本発明は、上述したような問題点に鑑み、ノイズ低減効果を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、第１画像から周波数帯域の異なる第２画像を生成する生成手段と、前記第１画像の着目画素に対応する前記第２画像の対応画素に基づいて、前記対応画素に類似する画素を前記第２画像から抽出する第１の抽出手段と、前記第１画像の着目画素を補正するときに参照する参照画素を、前記第１の抽出手段によって前記第２画像から抽出された画素に基づいて前記第１画像から決定する決定手段と、前記決定手段により決定された参照画素を参照して前記第１画像の着目画素を補正する補正手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ノイズ低減効果を向上させることができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成の一例を示す図である。
【図２】ノイズ低減理部の機能構成の一例を示す図である。
【図３】第１の実施形態のノイズ低減処理部の処理を示すフローチャートである。
【図４】第１の実施形態のノイズ低減処理部の処理を説明するための図である。
【図５】ブロックマッチング処理を説明するための図である。
【図６】拡大処理を説明するための概念図である。
【図７】第２の実施形態のノイズ低減処理部の処理を示すフローチャートである。
【図８】第２の実施形態のノイズ低減処理部の処理を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の好適な実施形態について説明する。
＜第１の実施形態＞
本実施形態では、画像処理装置がデジタルカメラ等の撮像装置である場合について説明する。
図１は、撮像装置の構成の一例を示すブロック図である。
撮像装置１００は、光学系１０１、撮像素子１０２、前置処理回路１０３、Ａ／Ｄ変換器１０４、画像処理回路１０５、制御回路１０６、表示メモリ１０７、表示部１０８、記録媒体１０９、操作部１１０等により構成される。
【００１０】
光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り、シャッター等を備える。光学系１０１は、撮像素子１０２に結像する被写体像の倍率、ピント位置または光量を調整する。
撮像素子１０２は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）センサ等の光電変換素子であり、被写体像を電気信号に変換して画像信号を生成する。
前置処理回路１０３は、ＣＤＳ（Correllated  Double  Sampling）回路および増幅回路を備える。ＣＤＳ回路は撮像素子１０２で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はＣＤＳ回路から出力された画像信号を増幅する。
【００１１】
Ａ／Ｄ変換器１０４は、前置処理回路１０３から出力された画像信号をデジタルの画像信号に変換する。
画像処理回路１０５は、画像信号に対して、ホワイトバランス処理、ノイズ低減処理、階調変換処理、エッジ強調補正処理等を行い、画像信号を輝度信号Ｙおよび色差信号Ｕ、Ｖとして出力する。また、画像処理回路１０５は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。なお、画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号に限られず、記録媒体１０９から読み出した画像信号に対しても同様の画像処理を行うことができる。
制御回路１０６は、撮像装置１００を構成する各回路を制御して、撮像装置１００全体の動作を統括する。また、制御回路１０６は、画像処理回路１０５で処理された画像信号から得られる輝度値や操作部１１０から入力された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。
【００１２】
表示メモリ１０７は、表示部１０８に表示する画像の元になる画像信号を一時的に記憶するメモリである。
表示部１０８は、例えば、液晶ディスプレイや有機ＥＬ（Electro  Luminescence）ディスプレイであり、撮像素子１０２で生成された画像信号や、記録媒体１０９から読み出した画像信号に基づいて画像を表示する。撮像素子１０２から読み出される連続した画像信号を、随時更新して表示することにより電子的なビューファインダーとして機能する。また、表示部１０８は、撮像装置１００の状態表示、ユーザ側または撮像装置１００側で決定したシャッター速度、絞り値、感度情報等の文字情報や、画像処理回路１０５にて測定した輝度分布を示すグラフ等も表示することが可能である。
記録媒体１０９は、撮像装置１００に着脱可能であっても、撮像装置１００に内蔵されていてもよい。
操作部１１０は、ユーザが撮像装置１００に対して指示するための部材である。
バス１１１は、画像処理回路１０５、制御回路１０６、表示メモリ１０７および記録媒体１０９の間で画像信号を送受信するために用いられる。
【００１３】
次に、撮影時における撮像装置１００の動作の一例について説明する。
ユーザによって操作部１１０が操作され、撮影準備を開始する指示が入力されると、制御回路１０６が各回路の動作の制御を開始する。
まず、撮像素子１０２は、光学系１０１を透過した被写体像を光電変換してアナログの画像信号を生成し、Ａ／Ｄ変換器１０４が前置処理回路１０３によって処理されたアナログの画像信号をデジタル化する。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号に対して、ホワイトバランス処理、ノイズ低減処理、階調変換処理、輪郭補正処理等を行う。
【００１４】
画像処理回路１０５で処理された画像信号は、表示メモリ１０７を介して、表示部１０８に画像として表示される。なお、撮像素子１０２で連続的に画像信号を生成し、読み出される連続した画像信号を用いて、被写体の画像をリアルタイムで更新して表示部１０８に表示することにより表示部１０８は電子的なビューファインダーとして機能する。
ユーザが操作部１１０に含まれるシャッターボタンを操作するまで、上述した処理を繰り返す。ユーザがシャッターボタンを操作することで、制御回路１０６は画像処理回路１０５で得られた輝度値や合焦値に基づいて光学系１０１の動作を再調整して静止画の撮影を行う。画像処理回路１０５は、静止画の画像信号に対してノイズ低減処理を含む種々の画像処理を行う。画像処理回路１０５から出力された画像信号が記録媒体１０９に記録される。
【００１５】
次に、画像処理回路１０５におけるノイズ低減処理について詳細に説明する。
図２は、画像処理回路１０５に含まれるノイズ低減処理部２００の機能構成の一例を示すブロック図である。
ノイズ低減処理部２００は、縮小処理部２０１、第１ブロックマッチング処理部２０２、拡大処理部２０３、第２ブロックマッチング処理部２０４、参照画素決定部２０５、補正処理部２０６等を備える。
図３は、ノイズ低減処理部２００による処理の一例を示すフローチャートである。本実施形態のノイズ低減処理部２００による処理は、例えばノイズが多く含まれることで、補正対象の画素に類似する類似画素が多く抽出されてしまうような入力画像についてノイズ低減する場合に好適である。
画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号を受け取ると、画素の色補間処理を行った後、ノイズ低減処理部２００において、色ごとに図３に示すフローチャートの処理を行う。なお、ホワイトバランス処理、色変換処理、階調変換処理等についての処理は省略する。
【００１６】
Ｓ３０１では、縮小処理部２０１は入力画像を縮小させた縮小画像を生成する。この処理は周波数帯域の異なる画像を生成する生成手段による処理の一例に対応する。具体的には、縮小処理部２０１は、入力画像に対してプレフィルタをかけてから水平および垂直方向にそれぞれ１／２サイズに画素を間引きすることで縮小画像を生成する。プレフィルタとしては、水平、垂直ともに［１  ２  １］の係数を適用する。この係数は、１つの着目画素に対する重み付けと、この着目画素の両隣に隣接する各画素に対する重み付けを２対１の割合にして平均化を行うための係数である。
【００１７】
Ｓ３０２では、第２ブロックマッチング処理部２０４は入力画像のうち補正対象の画素を着目画素として設定する。なお、図３のフローチャートではＳ３０２からＳ３０９までの処理を繰り返す。第２ブロックマッチング処理部２０４はＳ３０２に進む度に着目画素を例えば１画素ずつ異なる位置に設定する。
Ｓ３０３では、第２ブロックマッチング処理部２０４は着目画素に類似する類似画素を抽出するときの探索範囲を設定する。この処理は設定手段による処理の一例に対応する。探索範囲は、ブロックマッチング処理の処理時間を短縮させるために入力画像の全範囲よりも小さい範囲に設定される。探索範囲は、例えば記録媒体１０９に予め記憶される。
図４（ａ）は、入力画像の一例を示す図である。ここでは、入力画像が１０×１０画素であるものとする。また、着目画素が入力画像の略中心に設定されている。また、探索範囲が、着目画素を中心とした７×７画素の範囲に設定されている。
【００１８】
Ｓ３０４では、第２ブロックマッチング処理部２０４は入力画像に対してブロックマッチング処理を行い、着目画素に類似する類似画素を抽出する。この処理は第２の抽出手段による処理の一例に対応する。
図５は、ブロックマッチング処理を説明するための図である。
まず、第２ブロックマッチング処理部２０４は着目画素を中心とした着目領域を設定する。図５では、着目画素を中心とした３×３画素の範囲に着目領域が設定されている。
次に、第２ブロックマッチング処理部２０４は着目領域と類似度の高い類似領域を判定する。具体的には、図５に示すように、第２ブロックマッチング処理部２０４は、着目領域と同じ形状の判定領域を設定し、判定領域の中心画素が探索範囲内に含まれるように配置して、以下の式（１）を用いて着目領域と判定領域の差分絶対値和を算出する。
【００１９】
【数１】
2020064456.tif 000003
【００２０】
ここで、式（１）のＤは差分絶対値和であり、Ｎは着目領域および判定領域の画素数であり、Ｙｉは着目領域の画素値であり、Ｙｓは判定領域の画素値である。差分絶対値和が小さいほど着目領域と判定領域との間の類似度が高いことになる。
第２ブロックマッチング処理部２０４は差分絶対値和Ｄの値が所定の閾値より小さい判定領域の中心画素を類似画素として抽出する。第２ブロックマッチング処理部２０４は着目領域と判定領域との類似度を判定した後、判定領域を１画素ずつ移動させながら、判定領域の中心画素が探索範囲の全範囲を移動するまで、着目領域と判定領域との類似度を判定する。なお、本実施形態では、簡易的に差分絶対値和を用いて類似度を判定しているが、領域間の類似度を評価できる他の手法を用いて類似度を判定してもよい。
ここで、図４（ａ）では、ブロックマッチング処理により抽出された類似画素をグレーで着色している。
【００２１】
Ｓ３０５では、第２ブロックマッチング処理部２０４は抽出した類似画素の数が所定数Ｎ1以上であるか否かを判定する。所定数は、例えば記録媒体１０９に予め記憶される。ここで、類似画素の数が所定数以上である場合とは、入力画像にノイズが多く含まれている場合に相当する。類似画素の数が所定数以上である場合にはＳ３０６に進み、入力画像に含まれるノイズの影響を抑制させるようにした上で、着目画素を補正するときに参照する参照画素を決定する。一方、類似画素の数が所定数よりも小さい場合にはＳ３０８に進む。
【００２２】
Ｓ３０６では、第１ブロックマッチング処理部２０２は縮小画像に対してブロックマッチング処理を行い、入力画像の着目画素に対応する対応画素に類似する画素を抽出する。この処理は第１の抽出手段による処理の一例に対応する。
具体的には、第１ブロックマッチング処理部２０２はＳ３０２で設定した着目画素に対応する対応画素を、Ｓ３０１で生成した縮小画像に対して設定する。図４（ｂ）は、縮小画像の一例を示す図である。ここでは、入力画像に対して１／２に縮小されていることから、入力画像の２×２の４画素分が縮小画像の１画素分に相当するために、縮小画像の全体は５×５画素である。ここでは、入力画像の４画素分のうち左上画素を基準で間引き処理されているものとする。なお、図４（ｂ）では理解を容易にするために１画素の大きさを２倍に拡大し、図４（ａ）と座標の位置関係を揃えて図示している。図４（ｂ）に示すように、入力画像の着目画素に対応する位置に、縮小画像の対応画素が設定されている。
【００２３】
次に、第１ブロックマッチング処理部２０２はＳ３０３で設定した探索範囲に対応する対応範囲を、縮小画像に対して設定する。図４（ｂ）に示すように、入力画像の探索範囲に対応する位置に、縮小画像の対応範囲が設定されている。
次に、第１ブロックマッチング処理部２０２はブロックマッチング処理を行い、対応画素に類似する類似画素を対応範囲から抽出する。なお、第１ブロックマッチング処理部２０２は、図５で説明した処理と同様に、ブロックマッチング処理により差分絶対値和を用いて領域間の類似度を判定することで、対応画素に類似する類似画素を判定することができる。図４（ｂ）では、ブロックマッチング処理により抽出された類似画素をグレーで着色している。
このように、縮小画像でブロックマッチング処理を行うことでノイズの影響を抑制させた状態で、着目画素に対応する対応画素に類似する類似画素を抽出することができる。
【００２４】
Ｓ３０７では、拡大処理部２０３は縮小画像でブロックマッチング処理した結果を拡大処理する。具体的には、拡大処理部２０３は縮小画像において抽出した類似画素の位置を拡大する。この処理は置換手段による処理の一例に対応する。
図６は、ブロックマッチング処理した結果の拡大処理を説明するための概念図である。
ブロックマッチング処理により抽出される類似画素は、各着目画素の位置に対して最大で対応範囲内に設定した判定領域の数だけ存在する。したがって、対応画素の位置に対して抽出された類似画素の位置を全て拡大する必要がある。
【００２５】
図６（ａ）では、対応範囲が対応画素に対して３×３画素の範囲に設定された例を示している。このとき、対応画素の位置は必ず類似画素となるために、拡大処理するときに対応画素の情報としては不要となる。
各画素位置に対して、ａからｈまでの記号を割り振った場合、ａからｈまでを各１ｂｉｔのデータと考え、下位から順番にｂｉｔを積み上げた８ｂｉｔのデータを作成する。
図６（ｂ）では、類似画素としてｂ，ｄ，ｅ，ｈが抽出されたとする。ここで、類似画素として抽出された画素位置を１、抽出されていない画素位置を０として、ａからｈまで順番にｂｉｔを積み上げる。
図６（ｃ）は、ｂｉｔを積み上げた例を示している。ここでは、２進数で１００１１０１０、１０進数で１５４がこの対応画素位置でのブロックマッチング処理の結果となる。
【００２６】
拡大処理部２０３は、ブロックマッチング処理の結果を入力画像と同じサイズになるように前置補間により拡大処理を行う。
図４（ｃ）は、ブロックマッチング処理の結果を拡大処理することによって、第１ブロックマッチング処理部２０２により抽出された類似画素の位置を、入力画像の画素に置き換えた状態を示している。図４（ｃ）では、入力画像に置き換えられた画素を置換画素として、ハッチングで示している。なお、第１ブロックマッチング処理部２０２は入力画像の探索範囲に対応する対応範囲内で類似画素を抽出していることから、類似画素の位置を拡大処理した場合には置換画素は入力画像の探索範囲内に位置する。
【００２７】
Ｓ３０８では、参照画素決定部２０５は第１ブロックマッチング処理部２０２と第２ブロックマッチング処理部２０４とのブロックマッチング処理に基づいて、補正処理部２０６で参照する参照画素を決定する。この処理は決定手段による処理の一例に対応する。
具体的には、Ｓ３０５において類似画素の数が所定数よりも小さいためにＳ３０６、Ｓ３０７を経由せずにＳ３０８に進んだ場合、参照画素決定部２０５はＳ３０４において抽出された類似画素をそのまま参照画素として決定する。すなわち、Ｓ３０５において類似画素の数が所定数よりも小さい場合には、入力画像に含まれるノイズは少ないものとして、着目画素に類似する類似画素を参照画素とする。
【００２８】
一方、Ｓ３０５において類似画素の数が所定数以上であるためにＳ３０６、Ｓ３０７を経由してＳ３０８に進んだ場合には、参照画素決定部２０５はＳ３０７において拡大処理されることで導出された置換画素をそのまま参照画素として決定する。すなわち、Ｓ３０５において類似画素の数が所定数以上の場合には、入力画像に含まれるノイズが多いためにノイズの影響を抑制させるようにした状態で抽出した類似画素に基づいて参照画素を決定する。したがって、Ｓ３０５において類似画素の数が所定数以上であるためにＳ３０６、Ｓ３０７を経由してＳ３０８に進んだ場合には、第２ブロックマッチング処理部２０２によるブロックマッチング処理の結果を用いずに参照画素が決定される。
図４（ｄ）では、着目画素を補正するときに参照する参照画素を網掛けで示している。図４（ｄ）では、図４（ｃ）に示す置換画素がそのまま参照画素となっている。
【００２９】
Ｓ３０９では、補正処理部２０６は参照画素の画素値に基づいて着目画素を補正する。この処理は補正手段による処理の一例に対応する。具体的には、補正処理部２０６は入力画像から参照画素の画素値を取得して、取得した画素値の平均値を算出し、算出した平均値を着目画素の画素値とする。
Ｓ３１０では、補正処理部２０６は入力画像全体で補正が完了したか否かを判定する。具体的には、入力画像の画素の全てを着目画素として設定した場合には入力画像全体で補正が完了したとしてＳ３１１に進む。一方、入力画像の画素のうち着目画素して設定していない画素がある場合には入力画像全体で補正が完了していないとしてＳ３０２に戻る。Ｓ３０２では、第２ブロックマッチング処理部２０４は前回の着目画素から例えば１画素ずらした位置の画素を着目画素として設定して、Ｓ３０２からＳ３１０の処理を繰り返す。
Ｓ３１１では、補正処理部２０６はＳ３０９において補正した画素値に基づいて画像を生成する。したがって、入力画像に含まれるノイズが低減された画像が出力される。
【００３０】
このように、本実施形態によれば、入力画像の着目画素を補正するときに参照する参照画素を決定する場合、縮小画像において着目画素に対応する対応画素に類似する画素を抽出することにより行う。縮小画像ではノイズの影響を抑制させることができることから、良好な参照画素を決定することができる。このような参照画素を用いて着目画素を補正することで、ノイズ低減効果を向上させることができる。例えば、入力画像に低コントラスト被写体が含まれている場合、入力画像のままでは低コントラスト被写体とノイズとの区別が困難であっても、縮小画像にすることでノイズの影響を抑制でき低コントラスト被写体のボケを低減させた画像を取得することができる。
【００３１】
＜第２の実施形態＞
本実施形態では、ノイズ低減処理部２００による処理が第１実施形態と異なる。なお、撮像装置１００の構成およびノイズ低減処理部２００の機能構成については第１の実施形態と同様であり、説明を省略する。
図７は、ノイズ低減処理部２００による処理の一例を示すフローチャートである。本実施形態のノイズ低減処理部２００による処理は、例えば被写体が細線であるために、補正対象の画素に類似する類似画素の数が少ないような入力画像についてノイズ低減する場合に好適である。
【００３２】
Ｓ７０１では、縮小処理部２０１は入力画像を縮小させた縮小画像を生成する。この処理はＳ３０１と同様の処理である。
Ｓ７０２では、第２ブロックマッチング処理部２０４は入力画像のうち補正対象の画素を着目画素として設定する。この処理はＳ３０２と同様の処理である。
【００３３】
Ｓ７０３では、第２ブロックマッチング処理部２０４は着目画素に類似する類似画素を抽出するときの探索範囲を設定する。この処理はＳ３０３と同様の処理である。
図８（ａ）は、入力画像の一例を示す図である。ここでは、入力画像が１４×１４画素であるものとする。また、着目画素が入力画像の略中心に設定されている。また、探索範囲が、着目画素を中心とした７×７画素の範囲に設定されている。
【００３４】
Ｓ７０４では、第１ブロックマッチング処理部２０４は入力画像に対してブロックマッチング処理を行い、着目画素に類似する類似画素を抽出する。この処理はＳ３０４と同様の処理である。
Ｓ７０５では、第２ブロックマッチング処理部２０４は抽出した類似画素の数が所定数Ｎ2以下であるか否かを判定する。所定数は、例えば記録媒体１０９に予め記憶される。なお、所定数Ｎ2と、上述したＳ３０５の所定数Ｎ1とは、Ｎ1＞Ｎ2の関係である。ここで、類似画素の数が所定数以下である場合とは、着目画素が例えば細線の一部であり、類似画素の数が少ない場合に相当する。類似画素の数が所定数以下である場合にはＳ７０６に進み、探索範囲よりも広い範囲で類似画素を抽出した上で、着目画素を補正するときに参照する参照画素を決定する。一方、類似画素の数が所定数よりも大きい場合にはＳ７０８に進む。
【００３５】
Ｓ７０６では、第１ブロックマッチング処理部２０２は縮小画像に対してブロックマッチング処理を行い、入力画像の着目画素に対応する対応画素に類似する画素を抽出する。
具体的には、第１ブロックマッチング処理部２０２はＳ７０２で設定した着目画素に対応する対応画素を、Ｓ７０１で生成した縮小画像に対して設定する。図８（ｂ）は、縮小画像の一例を示す図である。ここでは、入力画像に対して１／２に縮小されていることから、入力画像の２×２の４画素分が縮小画像の１画素分に相当するために、縮小画像の全体は７×７画素である。ここでは、入力画像の４画素分のうち左上画素を基準で間引き処理されているものとする。なお、図８（ｂ）では理解を容易にするために１画素の大きさを２倍に拡大し、図８（ａ）と座標の位置関係を揃えて図示している。図８（ｂ）に示すように、入力画像の着目画素に対応する位置に、縮小画像の対応画素が設定される。
【００３６】
次に、第１ブロックマッチング処理部２０２はＳ３０３で設定した探索範囲よりも広い範囲に対応する対応範囲を、縮小画像に対して設定する。図８（ｂ）では、縮小画像の全範囲に対応範囲が設定されている。
次に、第１ブロックマッチング処理部２０２はブロックマッチング処理を行い、対応画素に類似する類似画素を対応範囲から抽出する。なお、第１ブロックマッチング処理部２０２は図５で説明した処理と同様に、ブロックマッチング処理により差分絶対値和を用いて領域間の類似度を判定することで、対応画素に類似する類似画素を判定することができる。図８（ｂ）では、ブロックマッチング処理により抽出された類似画素をグレーで着色している。
このように、縮小画像の全範囲でブロックマッチング処理を行うことで、着目画素に対応する対応画素に類似する類似画素を、探索範囲よりも広い範囲で抽出することができる。したがって、着目画素が例えば細線の一部であっても細線が延びている方向等、細線の全体的な形状を捉えることができる。
【００３７】
Ｓ７０７では、拡大処理部２０３は縮小画像でブロックマッチング処理した結果を拡大処理する。具体的には、拡大処理部２０３は縮小画像において抽出した類似画素の位置を拡大する。この処理はＳ３０７と同様の処理である。
拡大処理部２０３は、ブロックマッチング処理の結果を入力画像と同じサイズになるように前置補間により拡大処理を行う。
図８（ｃ）は、ブロックマッチング処理の結果を拡大処理することによって、第１ブロックマッチング処理部２０２により抽出された類似画素の位置を、入力画像の相当する位置に置き換えた状態を示している。図８（ｃ）では、入力画像に置き換えられた画素を置換画素として、ハッチングで示している。なお、ここでは後述するように探索範囲を拡張することが目的であるために、入力画像のうち探索範囲外のみの画素が置き換えられる。したがって、置換画素は入力画像の探索範囲外のみに位置する。
【００３８】
Ｓ７０８では、参照画素決定部２０５は第１ブロックマッチング処理部２０２と第２ブロックマッチング処理部２０４とのブロックマッチング処理に基づいて補正処理部２０６で参照する参照画素を決定する。
具体的には、Ｓ７０５において類似画素の数が所定数よりも大きいためにＳ７０６、Ｓ７０７を経由せずにＳ７０８に進んだ場合、参照画素決定部２０５はＳ７０４において抽出された類似画素をそのまま参照画素として決定する。すなわち、Ｓ７０５において類似画素の数が所定数よりも大きい場合には、類似画素が適度に存在することから、着目画素を良好に補正できるものとして、着目画素に類似する類似画素を参照画素とする。
【００３９】
一方、Ｓ７０５において類似画素の数が所定数以下であるためにＳ７０６、Ｓ７０７を経由してＳ７０８に進んだ場合、参照画素決定部２０５はＳ７０７において拡大処理されることで導出された置換画素に基づいて探索範囲を拡張する。そして、参照画素決定部２０５は拡張した探索範囲で抽出した類似画素を参照画素として決定する。
具体的に、参照画素決定部２０５は置換画素の領域を拡張探索範囲として設定する。次に、参照画素決定部２０５は拡張探索範囲においてブロックマッチング処理を行い、着目画素に類似する類似画素を追加で抽出する。このとき、Ｓ７０３において設定した探索範囲でのブロックマッチング処理は再度行う必要はなく、拡張探索範囲のみで行う。また、ブロックマッチング処理は、置換画素が中心画素になるように判定領域を設定する。次に、参照画素決定部２０５は、Ｓ７０４において抽出した類似画素と、拡張探索範囲で抽出した類似画素との両方を参照画素として決定する。
【００４０】
図８（ｄ）では、着目画素を補正するときに用いる参照画素を網掛けで示している。図８（ｄ）では、図８（ｃ）に示す置換画素のうち、いくつかの画素が参照画素となっている。すなわち、Ｓ７０５において類似画素の数が所定数以下の場合には、類似画素の数が少なすぎてしまい着目画素を良好に補正できない虞があり、探索範囲を拡張して類似画素を抽出する。ここでは、置換画素に基づいて探索範囲を拡張することから、拡張される探索範囲を抑制でき、処理速度が著しく低下することを防ぐことができる。
【００４１】
Ｓ７０９では、補正処理部２０６は参照画素の画素値に基づいて着目画素を補正する。この処理はＳ３０９と同様の処理である。
Ｓ７１０では、補正処理部２０６は入力画像全体で補正が完了したか否かを判定する。この処理はＳ３１０と同様の処理である。
Ｓ７１１では、補正処理部２０６はＳ７１０において補正した画素値に基づいて画像を生成する。したがって、入力画像に含まれるノイズが低減された画像が出力される。
【００４２】
このように、本実施形態によれば、入力画像の着目画素を補正するときに参照する参照画素を決定する場合、縮小画像において着目画素に対応する対応画素に類似する画素を抽出することにより行う。縮小画像では広い範囲で被写体の形状を捉えることができることから、良好な参照画素を決定することができる。このような参照画素を用いて着目画素を補正することで、ノイズ低減効果を向上させることができる。例えば、細線のような被写体であっても、縮小画像では細線が延びている方向等を把握できる。また、追加で類似画素を抽出するときの探索範囲は、置換画素に基づいて探索範囲を拡張することから、拡張される探索範囲を抑制でき、処理速度が著しく低下することを防ぐことができる。
【００４３】
＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の処理を実現するプログラムをネットワークまたは記録媒体を介してシステムまたは装置に供給し、システムまたは装置のコンピュータ（ＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラムおよびそのプログラムを記憶した記録媒体は本発明を構成することになる。
【００４４】
以上のように、本発明を好適な実施形態に基づいて説明したが、本発明は上述した特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述した実施形態は本発明の一実施形態を示すものにすぎず、適宜変更したり、各実施形態を組み合せたりすることができる。
また、上述した実施形態のＳ３０２およびＳ７０２において、入力画像のうち端の画素を着目画素として設定する場合には、Ｓ３０３〜Ｓ３０９あるいはＳ７０３〜Ｓ７０９の処理を行わない等、適宜、処理を変更することができる。
【００４５】
本実施形態では、本発明を撮像装置に適用する場合を例にして説明したが、この場合に限定されず画像処理できる装置であれば適用可能である。すなわち、本発明は、デジタルビデオカメラ、パーソナルコンピュータ、ＰＤＡ、スマートフォン、タブレット端末、携帯電話端末、携帯型の画像ビューワ、デジタルフォトフレーム、ゲーム機、電子ブックリーダ等に適用可能である。
【符号の説明】
【００４６】
１００：撮像装置（画像処理装置）  １０５：画像処理回路  ２００：ノイズ低減処理部  ２０１：縮小処理部  ２０２：第１ブロックマッチング処理部  ２０３：拡大処理部２０３  ２０４：第２ブロックマッチング処理部  ２０５：参照画素決定部  ２０６：補正処理部
【図１】
2020064456.tif 000004
【図２】
2020064456.tif 000005
【図３】
2020064456.tif 000006
【図４】
2020064456.tif 000007
【図５】
2020064456.tif 000008
【図６】
2020064456.tif 000009
【図７】
2020064456.tif 000010
【図８】
2020064456.tif 000011