(57)【要約】      （修正有）【課題】ノイズ低減後の画像中の主に平坦な領域においてノイズのパターンが強調されてしまうことを防止する。【解決手段】複数の画像データから、リファレンス画像データ生成部２０２において、リファレンス画像データを生成する。生成されたリファレンス画像データと、その複数の画像データとの類似度に基づいて、合成値導出部２０７はその複数の画像データにおける各画素の画素値をそれぞれ重み付け加算した合成値として導出する。そして、導出された合成値により構成される画像データを出力する。【選択図】図２
2015177529.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像データを入力する入力手段と、
前記入力手段で入力された複数の画像データの少なくとも一部の画像データからリファレンス画像データを生成する生成手段と、
前記リファレンス画像データと、前記入力手段で入力された複数の画像データとの類似度に基づいて、前記複数の画像データにおける各画素の画素値をそれぞれ重み付け加算した合成値を導出する導出手段と、
前記導出手段で導出された合成値により構成される画像データを出力する出力手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記少なくとも一部の画像データの各画素の平均値で構成されるリファレンス画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記少なくとも一部の画像データの各画素の中間値で構成されるリファレンス画像データを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記導出手段は、ノイズ低減対象の処理画素に対応する参照画素を前記複数の画像データにそれぞれ設定し、前記処理画素に対応する着目領域を前記リファレンス画像データに設定し、該着目領域と前記参照画素に対応する参照領域との類似度に基づいて前記合成値を導出することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記導出手段は、前記着目領域と前記参照画素に対応する参照領域との類似度に基づいて該参照画素の重みを決定し、決定した重みと該参照画素の画素値とに基づいて前記処理画素に対応する合成値を導出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記導出手段は、前記着目領域を構成する各画素と前記参照領域を構成する各画素との差分に基づいて前記類似度を決定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記導出手段は、前記差分が小さい場合に、前記差分が高い場合よりも大きな重みを決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記導出手段は、前記複数の画像データの撮像タイミングに応じた係数を用いて、前記導出された合成値を補正することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記入力手段は、同じ被写体を連続して撮像して得られた複数の画像データを入力することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記入力手段は、連続フレームの画像データを前記複数の画像データとして入力することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１１】
前記入力手段で入力された複数の画像データにおける位置ずれを画素毎に判定する判定手段をさらに有し、
前記導出手段は、位置ずれがないと判定された画素については、
前記リファレンス画像データと、前記入力手段で入力された画像データとの類似度に基づいて前記合成値を導出し、
位置ずれがないと判定された画素については、
前記入力手段で入力された画像データ間の類似度に基づいて前記複数の画像データの各画素の合成値を導出することを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記判定手段は、前記複数の画像データにおける画素ごとの類似度に基づいて位置ずれを判定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記判定手段は、前記複数の画像データにおける画素群ごとの類似度に基づいて位置ずれを判定する請求項１１または１２に記載の画像処理装置。
【請求項１４】
複数の画像データ毎の位置を補正する補正手段をさらに備え、
前記入力手段は位置補正後の複数の画像データを入力することを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
【請求項１５】
複数の画像データ毎の位置を補正する補正手段をさらに備え、
前記入力手段は位置補正後の複数の画像データを入力し、
前記判定手段は、前記補正手段で補正した位置補正の結果に基づいて位置補正後の画像データにおける位置ずれを判定することを特徴とする請求項１１から１３のいずれか一項に記載の画像処理装置。
【請求項１６】
複数の画像データを入力する入力ステップと、
前記入力ステップで入力された複数の画像データの少なくとも一部の画像データからリファレンス画像データを生成する生成ステップと、
前記リファレンス画像データと、前記入力ステップで入力された複数の画像データとの類似度に基づいて、前記複数の画像データにおける各画素の画素値をそれぞれ重み付け加算した合成値を導出する導出ステップと、
前記導出ステップで導出された合成値により構成される画像データを出力する出力ステップと
を有することを特徴とする画像処理方法。
【請求項１７】
コンピュータを請求項１乃至請求項１５のいずれか１項に記載の画像処理装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像データを合成することで、画像データに含まれるノイズを低減する画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置が広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。
【０００３】
デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、ショットノイズなどが発生し、デジタル画像データにノイズが混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ノイズが目立ちやすくなっており、特に撮影感度を高くした場合などはノイズが顕著に発生し、画質劣化の大きな要因になっている。
【０００４】
画像処理の分野においては、空間方向或いは時間方向に画素値を加重平均することにより画像データに含まれるノイズを低減する手法が知られている。空間方向のノイズ低減処理は、ノイズ低減対象の画像データにおける処理対象の画素近傍の画素値を加重平均することでノイズを低減する。また、時間方向のノイズ低減処理は、連続撮影した画像間や動画撮影したフレーム間で、処理対象の画素と同じ位置の画素値を加重平均することでノイズを低減する。さらには、空間方向及び時間方向のノイズ低減処理を組み合わせた手法も提案されている。画素値を加重平均する際の各画素の重みを決定する手法は多様である。例えばＮｏｎＬｏｃａｌＭｅａｎｓ法として知られるブロックマッチングを用いて決定する手法（特許文献１）が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１２６５３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、特許文献１の方法では、ノイズを含む画像を基準としたブロックマッチングを行うため、ノイズ低減後の画像中の主に平坦な領域においてノイズのパターンが強調され、それがノイズムラとして目立つという課題がある。
【課題を解決するための手段】
【０００７】
本発明にかかる画像処理装置は、複数の画像データを入力する入力手段と、前記入力手段で入力された複数の画像データの少なくとも一部の画像データからリファレンス画像データを生成する生成手段と、前記リファレンス画像データと、前記入力手段で入力された複数の画像データとの類似度に基づいて、前記複数の画像データにおける各画素の画素値をそれぞれ重み付け加算した合成値を導出する導出手段と、前記導出手段で導出された合成値により構成される画像データを出力する出力手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明により、複数の入力画像データを利用して、ノイズのパターンの発生を抑えた合成画像データを生成することが可能な効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】実施例に係る画像処理装置のハードウェア構成を示すブロック図である。
【図２】実施例１の画像処理装置の論理構成を示すブロック図である。
【図３】実施例に係る画像処理の流れを示すフローチャート図である。
【図４】実施例１の合成処理の流れを示すフローチャート図である。
【図５】実施例１の画像処理装置の論理構成を示すブロック図である。
【図６】実施例２の合成処理の流れを示すフローチャート図である。
【図７】ノイズ低減方法を説明する模式図である。
【図８】参照画素の重みを説明する模式図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明を好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
【実施例１】
【００１１】
本実施例における画像処理装置の構成について、図１を参照して説明する。図１において、画像処理装置はＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、メインバス１０９を備える。汎用Ｉ／Ｆ１０４はカメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、メモリーカードなどの外部メモリ１０７をメインバス１０９に接続する。
【００１２】
以下では、ＣＰＵ１０１がＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。
【００１３】
まず、ＣＰＵ１０１はＨＤＤ１０３に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で撮影された画像データ、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されている画像データに対してＣＰＵ１０１からの指令に基づき各種演算が行われる。演算結果はモニタ１０８に表示したり、ＨＤＤ１０３、外部メモリ１０７に格納したりする。
【００１４】
上記の構成に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力してノイズ低減画像データを生成し、出力する処理の詳細について説明する。
【００１５】
（ＮｏｎＬｏｃａｌＭｅａｎｓ）
まず、本実施例で説明するノイズ低減処理について説明しておく。本実施例では、Ｎｏｎ  Ｌｏｃａｌ  Ｍｅａｎｓと呼ばれる手法を用いる。この手法は、ノイズ低減対象となる着目画素を含む、着目画素の周辺に存在する複数の参照画素の画素値に適応的な重みを掛け、その結果を全て加算した結果で着目画素の画素値を置き換える事でノイズを低減する手法である。参照画素の画素数をＮＳ、参照画素の画素値をＩｊ（ｊ＝１〜ＮＳ）、参照画素の重みをｗｊ（ｊ＝１〜ＮＳ）とすると、ノイズ低減処理後の着目画素の画素値Ｉnewは次式になる。
【００１６】
【数１】
2015177529.tif 000003
【００１７】
次に、参照画素の重みの導出方法について、図７及び図８を参照して説明する。図７（ａ）は画像データ７０１の例を示しており、左上の画素を原点として各画素の画素値をＩ（ｘ、ｙ）と表すものとする。ここで、ノイズ低減処理対象である着目画素７０２の画素値はＩ（４、４）である。着目領域７０３は、着目画素７０２を中心とした３×３画素の矩形領域である。参照画素７０４は、着目画素７０２を含む５×５画素（ＮＳ＝２５）の矩形領域内の画素である。参照領域７０５は、参照画素Ｉ（２，２）の参照領域であり、Ｉ（２，２）を中心とする、着目領域と同じサイズである３×３画素の矩形領域である。尚、参照領域は参照画素毎に存在するが、ここでは参照画素Ｉ（２，２）の参照領域だけ示している。
【００１８】
参照画素Ｉ（２、２）の重みを求めるために、まず、着目領域７０３と参照領域７０５とを比較して類似度を導出する。尚、類似度は所望の方法で求めてよい。例えば、図７（ｂ）のように、着目領域７０２の画素をｂｓ（ｐ，ｑ）、参照領域の画素をｂｊ（ｐ，ｑ）（ｊ＝１〜ＮＳ）とする。そして、着目領域７０３と参照領域７０５との空間的に対応する画素の差を類似度とすると、類似度Ｃjは次式になる。
【００１９】
【数２】
2015177529.tif 000004
【００２０】
類似度Ｃｊは値が小さいほど着目領域と参照領域の類似度が高くなる。そこで、類似度に応じて、重みを決定する。重みは図８に示す関数のようにＣｊが小さいほど重みが大きく、Ｃｊが大きいほど重みが小さくなるように決定すればよく、例えば次式で定まる。
【００２１】
【数３】
2015177529.tif 000005
【００２２】
ここで、ｈは重みの大きさを制御する変数であり、ｈを大きくするとノイズ低減効果が高くなるが、エッジがぼける。
【００２３】
以下同様に、着目領域７０３と各参照画素の参照領域とを順次比較していくことで、各参照画素の重みが得られる。そして、前述のように、得られた各参照画素の重みと各参照画素の画素値とを用いて着目画素の画素値を決定する。
【００２４】
尚、着目領域及び参照領域の設定方法はこれに限られるものではなく、着目画素、参照画素の類似度が導出可能であれば任意に設定して構わない。また、ここでは、空間方向のノイズ低減処理について説明したが、参照画素を時間方向に異なる画像データに設定することで時間方向及び空間方向のノイズ低減処理として利用可能である。
【００２５】
（画像処理装置の論理構成）
以下では、本実施例における画像処理について図２と図３を参照して説明する。図２は本実施例の画像処理装置の論理構成を示す模式図であり、入力部２０１、リファレンス画像データ生成部２０２、合成部２０３、出力部２０４を備える。さらに、合成部２０３は、基準画像データ選択部２０５、類似度導出部２０６、合成値導出部２０７を備える。
【００２６】
入力部２０１は、ＣＰＵ１０１からの指示に基づいて複数の入力画像データを入力する。入力する複数の画像データは、スチルカメラで連続撮影した画像データや、ビデオカメラで撮影した連続フレーム画像データである。入力する複数の画像データは撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力される。勿論、撮像装置１０５で撮影して得られる画像データをＨＤＤ１０３などの記憶装置に一旦記憶した後で入力してもかまわない。また、入力した複数の画像データはＲＡＭ１０２やＨＤＤ１０３に記憶される。
【００２７】
リファレンス画像データ生成部２０２は、ＣＰＵ１０１からの指示に基づいて、入力した複数の画像データからリファレンス画像データを生成する。複数の画像データはＲＡＭ１０２やＨＤＤ１０３から取得すればよい。また、生成したリファレンス画像データはＲＡＭ１０２やＨＤＤ１０３に記憶される。尚、リファレンス画像の生成方法の詳細は後述する。
【００２８】
合成部２０３は、ＣＰＵ１０１からの指示に基づいて複数の入力画像データ及びリファレンス画像データを取得して、ノイズ低減処理を適用した合成画像データを生成する。合成部２０３においてはまず、基準画像データ選択部２０５が、入力した複数の画像データからノイズ低減対象となる基準画像データを１つ選択する。次に、類似度導出部２０６が、リファレンス画像データと入力した複数の画像データとから類似度を導出する。このように、本実施例においては、類似度の導出処理においてノイズ低減対象となる基準画像データと入力した複数の画像データとから類似度を算出するのではなく、リファレンス画像データと入力した複数の画像データとから類似度を導出する。次に、合成値導出部２０７が、類似度導出部２０６で導出した類似度に基づいて合成値を導出することで合成画像データを生成する。この合成画像データは、基準画像データ選択部２０５で選択された基準画像データのノイズ低減画像データとなる。尚、合成画像データの生成方法の詳細は後述する。合成部２０３が取得する複数の入力画像データ及びリファレンス画像データはＲＡＭ１０２やＨＤＤ１０３から取得すればよい。また、生成した合成画像データはＲＡＭ１０２やＨＤＤ１０３に記憶される。
【００２９】
出力部２０４は、ＣＰＵ１０１からの指示に基づいて合成画像データをモニタ１０８に出力する。尚、出力先はこれに限られるものではなく、例えば、汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７に出力してもよいし、プリンタなどを接続して出力しても構わない。
【００３０】
（メイン処理フロー）
以下では、図２で説明した画像処理装置の論理構成において、複数の画像データを入力してノイズ低減した合成画像を出力する画像処理の詳細について、図３のフローチャートを参照して説明する。
【００３１】
ステップＳ３０１において入力部２０１は、複数の画像データを入力する。ここで入力する画像データは２以上であればよい。以下では、時間的に連続して同一被写体を撮影した３つの画像データを入力するとして説明する。
【００３２】
ステップＳ３０２においてリファレンス画像データ生成部２０２は、リファレンス画像データを生成する。リファレンス画像データはステップＳ３０１で入力した複数の画像データから生成される画像データであり、入力画像データの持つノイズのムラを低減することができればよい。例えば、平均画像を表す画像データや、中間値画像を表す画像データなどが利用可能である。平均画像の場合、画像中の画素位置をx,y、i番目の入力画像データにおける画素値をIiで示すとすると、リファレンス画像データの画素値Iref(ｘ、ｙ)は次式になる。
【００３３】
【数４】
2015177529.tif 000006
【００３４】
なお、ここでは、入力画像データの全てを用いてリファレンス画像データを生成する例を説明したが、必ずしも入力画像データの全てを用いなくてもよい。入力画像データの持つノイズのムラを低減することができればよいので、複数の入力画像データ（例えば３個）のうち、一部の入力画像データ（例えば２個）を用いてリファレンス画像データを生成してもよい。
【００３５】
ステップＳ３０３において合成部２０３は、ステップＳ３０２で生成したリファレンス画像データに基づき、ステップＳ３０１で入力した複数の画像データを合成し、合成画像データを生成する。尚、合成処理の詳細は後述する。
【００３６】
ステップＳ３０４において出力部２０４は、ステップＳ３０３で生成した合成画像データを出力する。
【００３７】
（合成処理）
以下では、図３で説明したステップＳ３０３における合成処理の詳細について図４のフローチャート図を参照して説明する。
【００３８】
ステップＳ４０１において基準画像データ選択部２０５は、ステップＳ３０１で入力した複数の画像データの中から基準画像データを決定する。以下では、１番目の画像データ（I1）を基準画像データとして説明する。
【００３９】
ステップＳ４０２において合成部２０３は、ステップＳ４０１で決定した基準画像データにおいてノイズ低減処理する画素I1(ｘ、ｙ)を決定する。以下、このノイズ低減処理する対象の画素のことを処理画素と称する。
【００４０】
ステップＳ４０３において合成部２０３は、ステップＳ４０２で決定した処理画素に画素位置が対応する、リファレンス画像データにおける画素（第１の画素）を基準として、リファレンス画像に着目領域を決定する。つまり、基準画像ではなく、リファレンス画像に着目領域を設定する。前述のようにリファレンス画像はノイズのムラが入力画像よりも低減された画像である。後述するように、このリファレンス画像と各入力画像との類似度を求めることで、基準画像のノイズパターンが強調されてしまうことを防止することができる。ここで、処理画素I1(ｘ、ｙ)に対応するリファレンス画像の画素はIref(ｘ、ｙ)である。以下では、着目領域は図７で示したようにIref(ｘ、ｙ)を中心とする３×３画素の矩形領域とする。勿論、着目領域の決定方法はこれに限られるものではなく、Iref(ｘ、ｙ)を含む領域として決定すればよい。
【００４１】
ステップＳ４０４において合成部２０３は、ステップＳ３０１で入力した複数の画像データの中から処理対象の画像データ（Ii）を選択する。処理対象の画像データとは、リファレンス画像データとの類似度の導出処理が行なわれる画像データのことである。ここで選択される画像データはステップＳ４０１で決定した基準画像データを含む３つの画像データのうちのいずれか１つの画像データである。すなわち、基準画像データも処理対象の画像データとして選択される。
【００４２】
ステップＳ４０５において合成部２０３は、ステップＳ４０２で決定した処理画素に対応する参照画素（第２の画素）を、ステップＳ４０４で選択した処理対象画像データにおける画素の中から決定する。処理画素I1(ｘ、ｙ)に対応するi番目の入力画像データにおける参照画素はIi(ｘ、ｙ)である。尚、参照画素はIi(ｘ、ｙ)を含む複数の画素を決定しても良く、図７（a）で示したように、Ii(ｘ、ｙ)を中心とする５×５画素（ＮＳ＝２５）の矩形領域内の画素を参照画素として決定することも可能である。参照画素を複数決定することで、入力画像の数よりも多くの画素をノイズ低減処理に利用可能となるため、平均画像よりも高いノイズ低減効果を得ることができる。尚、各参照画素に対応する参照領域はステップＳ４０３で決定した着目領域に応じて決定される。
【００４３】
ステップＳ４０６において類似度導出部２０６は、ステップＳ４０５で決定した各参照画素とステップＳ４０２で決定された処理画素との類似度を導出する。例えば、処理画素に対応するリファレンス画像データにおける着目領域と処理対象の画像データにおける各参照画素に対応する各参照領域との類似度を導出する。そして、導出した類似度から処理対象の画像データにおける各参照画素の重みを求めて、ノイズ低減処理を実行する。具体的には式（１）〜（３）を適用すればよい。このような処理を画像データごとに繰り返し行なうことにより、リファレンス画像データと各入力画像データとの類似度に基づくノイズ低減結果がそれぞれ得られる。このノイズ低減結果は、入力画像データと同サイズの画素の画素値で表される。
【００４４】
ステップＳ４０７において合成部２０３は、ステップＳ３０１で入力した全画像データで処理が終了したかどうか判定する。終了していればステップＳ４０８に移行し、終了していなければステップＳ４０４に移行して処理を継続する。
【００４５】
ステップＳ４０８において合成値導出部２０７は、ステップＳ４０４からステップＳ４０６で処理した各入力画像データについて行なわれたノイズ低減処理結果を画素毎に合成して合成値を導出する。この合成値は、ノイズ低減処理が行なわれた画像データ（基準画像データ）の各画素の画素値となる。各入力画像データについて行なわれたノイズ低減処理結果をIi’(ｘ、ｙ)とすると、合成値Ｉ１new(ｘ、ｙ)は次式になる。
【００４６】
【数５】
2015177529.tif 000007
【００４７】
ここで、各ノイズ低減処理結果にかかる係数ｋiは、一定でも良いし、撮像タイミングに応じて変更してもよく、基準画像からの時間差が大きい画像ほど小さくなるようにしてもよい。例えば、基準画像I1’の係数はk1=1.0、次フレームのI2’の係数はk2=0.5、次次フレームのI3’の係数はk3=0.25のようになる。尚、本実施例では、ステップＳ４０４からステップＳ４０６において、画像データ毎にノイズ低減処理結果を導出して、ステップＳ４０８で結果を合成する例を説明した。しかしながら、必ずしも画像データ毎に処理する必要はなく、式（３）と式（５）を組み合わせて直接合成値を導出しても構わない。
【００４８】
ステップＳ４０９において合成部２０３は、全画素の合成値の導出が終了したかどうか判定する。終了していれば合成処理を終了し、終了していなければステップＳ４０２に移行して処理を継続する。
【００４９】
以上の処理により、本実施例では、入力した複数の画像データからリファレンス画像データを生成する。そしてこの生成したリファレンス画像データを参照して導出した類似度に基づいて複数の画像データのノイズ低減処理結果を合成する。かかる処理により、ノイズパターンの残留を抑えたノイズ低減画像データを生成することが可能になる。
【００５０】
なお、本実施例では、基準画像データの各画素値を合成値に置き換えることでノイズ低減処理がされた画像データを生成する例を説明した。しかしながら、基準画像データの各画素値を置き換えるのではなく、新たに基準画像データと同サイズの画像データを生成する形態であってもよい。
【実施例２】
【００５１】
実施例１では、入力した複数の画像データから生成したリファレンス画像データを参照して、リファレンス画像データと各入力画像データとの間で類似度を導出する方法について説明した。しかしながら、入力画像データに局所的な移動物体が存在する場合、リファレンス画像データの移動物体の像が多重になるため、合成画像にも多重像が発生する場合がある。そこで、本実施例では、入力した複数の画像データに局所的な移動物体が存在する場合でも多重像を生じさせることなく合成画像を生成することが可能な方法について説明する。尚、実施例１と同様の処理は説明を省略し、差異のみ説明する。
【００５２】
図５は本実施例の画像処理装置の論理構成を示す模式図であり、入力部５０１、リファレンス画像データ生成部５０２、合成部５０３、出力部５０４を備える。さらに、合成部５０３は、基準画像データ選択部５０５、類似度導出部５０６、合成値導出部５０７、位置ずれ判定部５０８を備える。以下では、実施例１との差異がある合成部５０３のみ説明する。
【００５３】
合成部５０３は、ＣＰＵ１０１からの指示に基づいて複数の入力画像データ及びリファレンス画像データを取得して、ノイズ低減処理を適用した合成画像データを生成する。合成部５０３において、基準画像データ選択部５０５は、入力した複数の画像データからノイズ低減対象となる基準画像データを１つ選択する。
【００５４】
位置ずれ判定部５０８は、入力した複数の画像データにおいて局所的な動体が存在する画素を判定する。類似度導出部５０６は、位置ずれ判定部５０８の画素毎の判定結果に応じて、リファレンス画像データと入力画像データとから類似度を導出するか、基準画像データと入力画像データとから類似度を導出するかを切り替えながら類似度を導出する。合成値導出部２０７は、導出した類似度に基づいて合成値を導出し、合成画像データを生成する。合成部５０３が取得する複数の入力画像データ及びリファレンス画像データはＲＡＭ１０２やＨＤＤ１０３から取得すればよい。また、生成した合成画像データはＲＡＭ１０２やＨＤＤ１０３に記憶される。
【００５５】
（実施例２の合成処理）
図５で説明した画像処理装置の論理構成において、複数の画像データを入力してノイズ低減した合成画像を出力する画像処理の詳細は実施例１とほぼ同様である。以下では、実施例１と差異があるステップＳ３０３の合成処理について、図６のフローチャート図を参照して説明する。
【００５６】
ステップＳ６０１において基準画像データ選択部５０５は、ステップＳ３０１で入力した複数の画像データの中から基準画像データを決定する。以下では、１番目の画像データ（I1）を基準画像データとして決定したとして説明する。
【００５７】
ステップＳ６０２において合成部５０３は、ステップＳ６０１で決定した基準画像データから処理画素（第３の画素）を決定する。処理画素はノイズ低減処理の対象画素であり、I1(ｘ、ｙ)とする。
【００５８】
ステップＳ６０３において合成部５０３は、ステップＳ３０１で入力した複数の画像データの中から処理対象の画像データ（Ii）を選択する。ここで選択される画像データはステップＳ６０１で決定した基準画像データを含む３つの画像データのうちのいずれか１つの画像データである。
【００５９】
ステップＳ６０４において位置ずれ判定部５０８は、ステップＳ６０２で決定した処理画素の位置ずれの有無を判定する。具体的には、基準画像データにおける処理画素I1(ｘ、ｙ)及び処理画素に画素位置が対応する処理対象の画像データにおける画素Ii(ｘ、ｙ)が同じ被写体を示している場合は位置ずれなしと判定する。異なる被写体を示している場合は位置ずれありと判定する。即ち、基準画像データにおける処理画素或いは処理対象の画像データにおける処理画素に対応する画素のいずれかに局所的な移動物体が含まれる場合は位置ずれありと判定される。ここで、処理画素及び処理画素に対応する画素が同じ被写体を示している場合、ノイズを除けば同じ画素値のはずである。そこで、次式のように、画素値の差分絶対値が所望の閾値T以下であるか否かで位置ずれがあるか否かを判定可能である。
【００６０】
【数６】
2015177529.tif 000008
【００６１】
ここで、差分絶対値がT以下であれば位置ずれなしと判定され、Tより大きければ位置ずれありと判定される。同様に、基準画像データにおける処理画素を含む近傍の画素値の分布と、処理対象の画像データにおける処理画素に対応する画素を含む近傍の画素値の分布は同じ被写体を示している場合、類似するはずである。従って、基準画像データにおける処理画素近傍の画素群の画素値と処理対象の画像データにおける処理画素に対応する画素近傍の画素群の画素値との平均値や分散などの差分絶対値が所望の閾値以下であるかを求めても判定可能である。つまり、処理画素I1(ｘ、ｙ)及び処理画素に対応する画素Ii(ｘ、ｙ)の類似度、或いは、I1(ｘ、ｙ)を含む複数の画素群と、Ii(ｘ、ｙ)を含む複数の画素群との間の類似度に基づいて位置ずれを判定可能である。勿論、判定方法はこれに限られるものでなく、所望の方法を用いて構わない。
【００６２】
ステップＳ６０５において合成部５０３は、ステップＳ６０４の判定処理において、位置ずれなしと判定された場合はステップＳ６０６に移行し、位置ずれありと判定された場合はステップＳ６０７に移行する。
【００６３】
ステップＳ６０６の処理は、ステップＳ４０３と同様であるため説明は省略する。
【００６４】
ステップＳ６０７において合成部５０３は、ステップＳ６０１で決定した基準画像データに着目領域を決定する。つまり、リファレンス画像データを用いずに、入力された画像データ間での類似度を求める。着目領域は図７で示したように着目画素I1(ｘ、ｙ)を中心とする３×３画素の矩形領域として決定すればよい。勿論、着目領域の決定方法はこれに限られるものではなく、I1(ｘ、ｙ)を含む領域として決定すれば任意に設定して構わない。
【００６５】
ステップＳ６０８からステップＳ６１２は、ステップＳ４０５からステップＳ４０９とそれぞれ同様の処理であるため説明は省略する。
【００６６】
以上の処理により、入力した複数の画像データの位置ずれに応じて、着目領域を設定する画像データを切り替えることで、入力画像データに局所的な移動物体が含まれる場合でも、ノイズムラを抑えた合成画像を生成することが可能になる。
【００６７】
＜その他の実施例＞
手持ちで撮影した静止画や動画を元にした入力画像データの場合などは、画像全体が位置ずれを含むためにリファレンス画像データがぼけるため、合成画像もぼける場合がある。そこで、画像全体の位置ずれを補正した位置補正後の複数の画像データを入力画像データとしてもよい。また、この際、局所的な移動物体による画素毎の位置ずれ判定結果もあらかじめ求めることが可能であるため、位置ずれ判定結果も入力データとして入力することも可能である。
【００６８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００６９】
また、本実施形態の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。
【図１】
2015177529.tif 000009
【図２】
2015177529.tif 000010
【図３】
2015177529.tif 000011
【図４】
2015177529.tif 000012
【図５】
2015177529.tif 000013
【図６】
2015177529.tif 000014
【図７】
2015177529.tif 000015
【図８】
2015177529.tif 000016