(57)【要約】【課題】電子ぶれ補正技術において、ぼけや２重像等のアーティファクトを軽減することを目的とする。【解決手段】複数枚の画像のうち少なくとも１枚の画像について、ノイズレベル推定部２０１により画素毎または複数画素からなる所定領域毎のノイズレベルを推定し、合成比率決定部２０２により、前記ノイズレベルに基づいて前記複数枚の画像の画素または領域の合成比率をそれぞれ決定し、前記合成比率に基づいて加重平均化処理部２０３により前記複数枚の画像から合成画像を生成する。【選択図】図３
2010200179.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して該被写体の複数枚の画像を取得し、取得した複数枚の画像を合成して合成画像を生成する画像処理装置において、
前記複数枚の画像のうち少なくとも１枚の画像について、画素毎または複数画素からなる所定領域毎のノイズレベルを推定するノイズレベル推定手段と、
前記複数枚の画像のうちいずれか１枚を基準画像とし、他の画像を対象画像とした場合の該基準画像に対する該対象画像の合成比率を、前記ノイズレベルに基づいて、該画素毎または該領域毎に決定する合成比率決定手段と、
前記合成比率に基づいて前記複数枚の画像を合成することにより、合成画像を生成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成比率決定手段は、前記ノイズレベル推定手段により推定されたノイズレベルが大きい場合に合成比率を高く設定し、ノイズレベルが小さい場合には合成比率を低く設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成比率決定手段は、前記基準画像を１．０とした場合の前記対象画像の合成割合を合成比率とし、前記ノイズレベル推定手段により推定されたノイズレベルが所定値未満の場合に、前記合成比率を０．０とし、所定値以上の場合に、該合成比率を１．０とすることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記複数枚の画像間の動き情報を取得する動き情報取得手段と、
前記動き情報に基づいて前記複数枚の画像を補正する補正手段と、を備え、
前記ノイズレベル推定手段は、前記動き情報に基づいて補正された画像の画素毎または複数画素からなる所定領域毎のノイズレベルを推定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記基準画像と少なくとも１枚の該対象画像との間の相関量を画素毎または所定領域毎に演算する相関量計算手段を備え、
前記合成比率決定手段は、前記ノイズレベルに応じて閾値を定め、該閾値と前記相関量とを比較し、前記相関量が前記該閾値よりも小さくなるにつれて、前記合成比率を小さく設定することを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
前記ノイズレベル推定手段は、撮像素子の特性と階調変換特性の少なくとも１つから得られる画素値と該画素に含まれるノイズ量との関係を利用してノイズレベルを推定することを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記のノイズレベル推定手段は、合成に使用する複数枚の画像間で対応関係にある各画素または各領域のノイズレベルを推定し、推定したノイズレベルのうち最大値、最小値あるいは加重平均値のいずれかを前記画素または前記領域の最終的なノイズレベルとすることを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記のノイズレベル推定手段は、合成に使用する複数枚の画像間で対応関係にある各画素または各領域に対し、各画素または各領域のうちの１個の画素値、最大値、最小値、あるいは加重平均値のいずれかを代表値とし、該代表値に基づきノイズレベルを推定することを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
複数枚の画像を取得し、取得した複数枚の画像を合成して合成画像を生成するための画像処理方法であって、
前記複数枚の画像のうち少なくとも１枚の画像について、画素毎または複数画素からなる所定領域毎のノイズレベルを推定するノイズレベル推定ステップと、
前記複数枚の画像のうちいずれか１枚を基準画像とし、他の画像を対象画像とした場合の該基準画像に対する該対象画像の合成比率を、前記ノイズレベルに基づいて、該画素毎または該領域毎にそれぞれ決定する合成比率決定ステップと、
前記合成比率に基づいて前記複数枚の画像を合成することにより合成画像を生成する合成ステップと
を備えることを特徴とする画像処理方法。
【請求項１０】
複数枚の画像を取得し、取得した複数枚の画像を合成して合成画像を生成するための画像処理プログラムであって、
前記複数枚の画像のうち少なくとも１枚の画像について、画素毎または複数画素からなる所定領域毎のノイズレベルを推定するノイズレベル推定ステップと、
前記複数枚の画像のうちいずれか１枚を基準画像とし、他の画像を対象画像とした場合の該基準画像に対する該対象画像の合成比率を、前記ノイズレベルに基づいて、該画素毎または該領域毎にそれぞれ決定する合成比率決定ステップと、
前記合成比率に基づいて前記複数枚の画像を合成することにより合成画像を生成する合成ステップと
を備える画像処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１１】
請求項１０に記載のプログラムが格納されたプログラム記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納された記憶媒体に関し、特に時系列に撮影した複数枚の画像を用いて画像を合成する画像処理装置、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において静止画を撮影する際に、ノイズの少ない画像を得るためには、十分な露光時間を確保することが有効である。しかしながら露光時間を長くすると、手ぶれによるカメラの動きや、被写体の動きにより画像にぶれが生じ不鮮明になるという問題がある。
【０００３】
このようなぶれに対処する方式として、電子ぶれ補正方式が提案されている。例えば、特開平９−２６１５２６号公報（特許文献１）では、ぶれの少ない短い露光時間での撮影を連続して複数回実施し、得られた複数枚の画像間の動きがキャンセルされるように位置合わせ処理をした後、合成処理をすることにより、ぶれの無い良好な画像を得る発明が開示されている。
【０００４】
しかしながら、特許文献１に開示されている発明では、合成処理を複数の画像の単純な加算処理としているため、これらの複数枚の画像の位置合わせ処理が失敗した領域において、画像のぼけや、２重像等のアーティファクトが発生するという問題が生じる。
【０００５】
このアーティファクトを軽減するため、特開２００２−２９０８１７号公報（特許文献２）では、合成処理による加算処理（平均化処理）の前に、対応する画素間の差分値を計算し、この差分値が閾値以上の場合には位置合わせ処理が失敗したと判断して合成処理を行わない発明が開示されている。また、特開２００８−９９２６０号公報（特許文献３）では、対応する画素間の差分値を基に、合成処理における加重平均処理の重みを調整する発明が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−２６１５２６号公報
【特許文献２】特開２００２−２９０８１７号公報
【特許文献３】特開２００８−９９２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ぼけや２重像等のアーティファクトは極力抑える必要があり、特許文献１〜３に開示された発明のみで十分とは言えない。
【０００８】
一方、撮像素子が出力する画素に含まれるノイズ量と画素値との間には一定の関係があり、画素値からノイズ量が推定できることが知られている。また、撮像素子が出力する画素値は、後の画像処理において階調変換処理等がなされる場合が多く、典型的には暗部を持ち上げ明部をつぶすようなガンマ特性の階調変換処理がなされる。この結果、画像処理後の画像は、画素値に応じて異なるレベルのノイズを含むこととなる。電子ぶれ補正において複数枚の画像を合成する理由は、ノイズを低減することにあると考えれば、合成に使用する適正な画像数は、ノイズ量に応じて決定されるべきである。  特許文献１〜特許文献３に開示された発明では、画像の合成処理に際し、画素値にかかわらず一定数の画像を一律に使用するため、ノイズの少ない領域であっても過度の合成数を使用し、これにより却ってアーティファクトを増大させているという問題があった。
【０００９】
本発明は、上記問題に鑑みてなされたものであって、複数枚の画像を位置合わせ処理した後、合成処理することにより、ぶれを低減する電子ぶれ補正技術において、ぼけや２重像等のアーティファクトを軽減することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は以下の手段を採用する。
【００１１】
本発明は、被写体を撮影して該被写体の複数枚の画像を取得し、取得した複数枚の画像を合成して合成画像を生成する画像処理装置において、前記複数枚の画像のうち少なくとも１枚の画像について、画素毎または複数画素からなる所定領域毎のノイズレベルを推定するノイズレベル推定手段と、前記複数枚の画像のうちいずれか１枚を基準画像とし、他の画像を対象画像とした場合の該基準画像に対する該対象画像の合成比率を、前記ノイズレベルに基づいて、該画素毎または該領域毎にそれぞれ決定する合成比率決定手段と、前記合成比率に基づいて前記複数枚の画像を合成することにより、合成画像を生成する合成手段と、を備えることを特徴とする画像処理装置を提供する。
【００１２】
本発明は、複数枚の画像を取得し、取得した複数枚の画像を合成して合成画像を生成するための画像処理方法であって、前記複数枚の画像のうち少なくとも１枚の画像について、画素毎または複数画素からなる所定領域毎のノイズレベルを推定するノイズレベル推定ステップと、前記複数枚の画像のうちいずれか１枚を基準画像とし、他の画像を対象画像とした場合の該基準画像に対する該対象画像の合成比率を、前記ノイズレベルに基づいて、該画素毎または該領域毎にそれぞれ決定する合成比率決定ステップと、前記合成比率に基づいて前記複数枚の画像を合成することにより合成画像を生成する合成ステップと、を備えることを特徴とする画像処理方法を提供する。
【００１３】
本発明は、複数枚の画像を取得し、取得した複数枚の画像を合成して合成画像を生成するための画像処理プログラムであって、前記複数枚の画像のうち少なくとも１枚の画像について、画素毎または複数画素からなる所定領域毎のノイズレベルを推定するノイズレベル推定ステップと、前記複数枚の画像のうちいずれか１枚を基準画像とし、他の画像を対象画像とした場合の該基準画像に対する該対象画像の合成比率を、前記ノイズレベルに基づいて、該画素毎または該領域毎にそれぞれ決定する合成比率決定ステップと、前記合成比率に基づいて前記複数枚の画像を合成することにより合成画像を生成する合成ステップと、を備える画像処理をコンピュータに実行させることを特徴とするプログラムと、このプログラムが格納されたプログラム記憶媒体を提供する。
【発明の効果】
【００１４】
本発明によれば、ノイズの少ない画素または領域に対して過度の合成処理を行うことによるぼけや２重像の発生等アーティファクトを抑制することができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態における画像処理装置の概略を示すブロック図である。
【図２】４枚の画像から１枚の画像を合成する場合の流れを説明する模式図である。
【図３】本発明の第１の実施形態にかかる合成処理部の概略を示すブロック図である。
【図４】撮像素子出力の画素値とノイズ量の関係を説明する図である。
【図５】階調変換処理がなされた後の画素値とノイズ量の関係を説明する図である。
【図６】本発明の第１の実施形態にかかるノイズレベル推定部の概略を示すブロック図である。
【図７】本発明の第１の実施形態にかかるノイズレベル推定部の他の構成例を示すブロック図である。
【図８】ノイズレベルと合成比率の関係を説明する図である。
【図９】本発明の第２の実施形態における合成処理部の概略を示すブロック図である。
【図１０】本発明の第２の実施形態におけるノイズレベルと合成比率の関係を説明するである。
【図１１】本発明の第２の実施形態におけるノイズレベルと合成比率の関係を説明する図である。
【図１２】本発明の第３の実施形態における合成処理部の概略を示すブロック図である。
【図１３】本発明の第３の実施形態における合成処理部の画素の差分絶対値と合成比率並びに閾値との関係を説明する図である。
【発明を実施するための形態】
【００１６】
以下に、本発明に係る画像処理装置の実施形態について、図面を参照して説明する。図１は、本発明の第１の実施形態に係る画像処理装置の概略構成を示したブロック図である。
【００１７】
本実施形態にかかる画像処理装置は、図１に示すように、光学系１００、撮像素子１０１、画像処理部１０２、フレームメモリ１０３、動き情報取得部１０４、合成処理部１０５を備えている。
【００１８】
光学系１００はレンズ等からなり被写体の像を結像するものであり、撮像素子１０１上に像を結像するように配置されている。撮像素子１０１は、光学系１００により結像された被写体の像に基づいて電気的な画像情報である撮像信号を生成し、この撮像信号を画像処理部１０２に出力する。画像処理部１０２は、撮像素子１０１から入力された撮像信号に対して色処理や階調変換処理等の画像処理を行う。フレームメモリ１０３は、画像処理部１０２により所定の処理が施された画像を格納する。
【００１９】
動き情報取得部１０４（動き情報取得手段）は、フレームメモリ１０３に格納された複数枚の画像間の動きを動き情報として出力する。動き情報取得部１０４は、フレームメモリ１０３に格納された複数枚の画像のうち、いずれか一の画像を画像合成処理を行う際に基準となる基準画像とし、この基準画像との比較対象であり画像合成処理の対象となる対象画像と定義づける。そして、基準画像に対する対象画像の動きを水平方向移動量と垂直方向移動量とからなる１つのベクトル情報をその対象画像の動き情報として出力する。なお、動き情報は、１枚の画像につき１つのベクトル情報とするだけでなく、例えば、画像を複数の領域に分割し、分割された夫々の領域におけるベクトル情報を計算することも、画素毎にベクトル情報を計算することもできる。また、回転による移動量や拡大縮小による変化量を動き情報としてもよい。さらに、動き情報は計算によって算出するだけでなく、装置内にジャイロ等のセンサを設け、このセンサにより動き情報を取得してもよい。
【００２０】
合成処理部１０５は、動き情報取得部１０４で取得された動き情報に基づいて、フレームメモリ１０３に格納された対象画像を補正した後、基準画像に補正後の対象画像を合成して合成画像として出力する。
【００２１】
以下、合成処理部１０５の構成について説明する。図３は合成処理部１０５の構成を示すブロック図である。図３に示すように、合成処理部１０５は、画像補正部２００、ノイズレベル推定部２０１（ノイズレベル推定手段）、合成比率決定部２０２（合成比率決定手段）および加重平均化処理部２０３（合成処理手段）を備えている。
【００２２】
画像補正部２００は、動き情報取得部１０４が出力する動き情報に基づいて、対象画像を補正する。本実施形態においては、水平方向移動量と垂直方向移動量からなるベクトル情報により、対象画像の位置をシフトして対象画像と基準画像との位置を合わせる。基準画像の画素値及び位置合わせされた対象画像の画素値は、ノイズレベル推定部２０１に出力される。なお、動き情報に、例えば回転や拡大縮小に関する情報が含まれる場合は、画像補正部２００にて回転や拡大縮小に相当する補正処理を行い、基準画像と対象画像の位置合わせを行う。
【００２３】
ノイズレベル推定部２０１は、図６に示すように、基準画像のノイズレベルを計算するノイズレベル計算部３００と、対象画像のノイズレベルを計算するノイズレベル計算部３０１および最大値計算部３０２とを備え、合成処理の対象画素に含まれるノイズの強度（ノイズレベル）を推定する。
【００２４】
一般に、撮像素子が出力する画素に含まれるノイズ量と画素値との間には一定の関係があり、画素値からノイズ量が推定できることが知られている。図４に撮像素子が出力する画素値とノイズ量の典型的関係を示す。図４における横軸は撮像素子が出力する画素の画素値、縦軸はその画素に含まれるノイズ量（ノイズの標準偏差等）である。典型的には、撮像素子が出力する画素値が大きくなるにつれて、含まれるノイズ量は増える傾向にある。
【００２５】
また、通常、撮像素子により撮影された画像は、階調変換等の画像処理がなされることが多く、階調変換処理においては、典型的には暗部を持ち上げ明部をつぶすようなガンマ特性の階調変換処理がなされる。図５に階調変換処理後の画像の画素値とノイズ量の典型的関係を示す。画素値が小さい領域においては、階調変換処理によりノイズが増幅され、画素値が大きい領域においてはノイズがつぶされる結果、典型的には図５に示すような関係になる。
【００２６】
このため、ノイズレベル計算部３００、３０１は、図５に示す画素値とノイズ量の関係を示す情報を有している。そして、ノイズレベル計算部３００では、図５の画素値とノイズ量の関係と、画像補正部２００から入力された基準画像の画素値に基づいて、基準画像の各画素のノイズレベルを計算する。同様に、ノイズレベル計算部３０１では、図５の画素値とノイズ量の関係と、画像補正部２００から入力された位置合わせ後の対象画像の画素値に基づいて、位置合わせ後の対象画像の各画素のノイズレベルをそれぞれ計算する。
【００２７】
なお、画素値とノイズ量の関係を示す情報は、例えば、折れ線近似によるものや、テーブル化等の手法により得られたものを用いることができる。また、ノイズレベルの計算は基準画像または対象画像の全画素に対して行ってもよいし、所定領域毎に行ってもよい。
【００２８】
最大値計算部３０２では、ノイズレベル計算部３００、３０１で計算されたノイズレベルに基づいて、ノイズレベルの最大値を計算する。
【００２９】
基準画像と対象画像の位置合わせが成功している画素においては、基準画像の画素値と対象画像の画素値に大きな差はなく、計算されるノイズレベルにも大きな違いは生じない。しかし、位置合わせが失敗している画素においてはこれらに違いが生ずる可能性が高く、最大値計算部３０２にて最大値を選択することで、これを当該画素のノイズレベルとする。
【００３０】
本実施形態においては、最大値計算部３０２において、基準画像のノイズレベルおよび対象画像のノイズレベルのうち最大値をノイズレベルとしたが、この他にも、基準画像のノイズレベルと対象画像のノイズレベルの加重平均値をノイズレベルとし、例えば基準画像の画素に重みをつけてノイズレベルを推定することも可能である。
【００３１】
合成比率決定部２０２は、ノイズレベル推定部２０１が出力するノイズレベルに応じて基準画像の画素に対する対象画像の画素の合成比率を決定して加重平均化処理部２０３に出力する。合成比率は、折れ線近似やテーブル化等の手法によりあらかじめ定義された図８で示すようなノイズレベルと合成比率との関係を示す情報に基づいて決定される。ここで、合成比率は、基準画像を１．０とした際の対象画像の合成割合を０．０から１．０で表すものとする。図８に示す例では、ノイズレベルの大きさに比例して合成比率を設定する。すなわち、ノイズレベルが大きい画素においては、合成によるノイズ低減の必要性が高いことから合成比率を１．０に近づけ、ノイズレベルが小さい画素においては、合成によるノイズ低減の必要性が低いので合成比率を０．５程度に抑えることでアーティファクト発生の危険性を抑える設定となっている。なお、例えば、合成によるノイズ低減の必要性がより低い場合には、合成比率を０．５未満とすることもでき、合成比率を下限値である０．０とした場合には、結果的に対象画像の画素について合成処理を行わないこととなる。
【００３２】
なお、ノイズレベル計算部３００、３０１で使用する関係と図８で示した関係とを統合した関係を折れ線近似、あるいはテーブル化することにより、ノイズレベル推定部２０１への入力である画素値から直接的に合成比率を導き出しても良い。
【００３３】
加重平均化処理部２０３は、合成比率決定部２０２が出力する合成比率に基づいて、基準画像の画素と対象画像の画素との間で加重平均処理を行い、これを合成画像の画素とする。
【００３４】
次に、上記の構成からなる画像処理装置による画像処理方法について説明する。
【００３５】
本実施形態では、１度の撮影で４回の分割露光、すなわち４回の撮像処理が行われ、最大４つの画像を合成処理の対象として、２つの画像から１つの合成画像を生成するという基本処理を３回繰り返すことで１つの合成画像を生成する例を説明する。
【００３６】
被写体の撮影が行われると光学系１００により被写体の像が撮像素子１０１により撮像信号に変換され、画像処理部１０２に出力される。画像処理部１０２では、入力された撮像信号に対して色処理、諧調変換処理等所定の画像処理が行われ、合成処理部１０５にて合成処理が可能な画像データとしてフレームメモリ３に出力される。上記した光学系１００、撮像素子１０１及び画像処理部１０２による撮像処理は４回繰り返され、所定の画像処理済みの４つの画像データ（フレーム１〜フレーム４）がフレームメモリ１０３に格納される。
【００３７】
図２に示すように、フレーム１とフレーム２とから合成画像１、フレーム３とフレーム４とから合成画像２とが生成され、合成画像１と合成画像２とから最終的に１つの合成画像が生成される。
【００３８】
まず、フレーム１を基準画像、フレーム２を対象画像として、フレーム１とフレーム２とを合成し合成画像１を生成する処理について説明する。
【００３９】
基準画像であるフレーム１と対象画像であるフレーム２とは、動き情報取得部１０４で比較され、両者の間の水平方向移動量及び垂直方向移動量から、フレーム１とフレーム２との間の動き情報が演算される。動き情報は合成処理部１０５の画像補正部２００へ出力される。画像補正部２００には、動き情報取得部１０４から入力された動き情報とともに、フレームメモリ１０３からフレーム１およびフレーム２が入力される。
【００４０】
そして、画像補正部２００では、動き情報取得部１０４から入力された動き情報に基づいて、フレーム２の位置をシフトすることにより、フレーム２とフレーム１との位置合わせを行う。フレーム１、位置合わせされたフレーム２はノイズレベル推定部２０１のノイズレベル計算部３００、３０１にそれぞれ出力される。
【００４１】
ノイズレベル計算部３００では、予め定義された画素値とノイズ量との関係に基づいて、フレーム１の画素のノイズレベルを演算する。同様にノイズレベル計算部３０１では、位置合わせされたフレーム２の画素のノイズレベルを演算する。ノイズレベル計算部３００，３０１における演算結果はいずれも最大値計算部３０２へ出力される。
【００４２】
最大値計算部３０２では、フレーム１の各画素のノイズレベルと位置合わせ後のフレーム２の各画素のノイズレベルとを比較し、ノイズレベルの差異によりフレーム２のフレーム１に対する位置合わせが成功したか否かを判断し、ノイズレベルを推定する。すなわち、フレーム２の位置合わせが成功している画素には、２つのノイズレベルに差異が生じないが、位置合わせが失敗している画素にはノイズレベルに差異が生じる可能性が高く、この場合にいずれか大きいほうのノイズレベルを選択することで、これをその画素のノイズレベルと決定する。決定されたノイズレベルは、合成比率決定部２０２へ出力される。
【００４３】
合成比率決定部２０２では、ノイズレベル計算部３００、３０１から入力されたノイズレベルと、あらかじめ定義されたノイズレベルと合成比率との関係に基づいて、フレーム１の画素に対するフレーム２の画素の合成比率を決定する。決定された合成比率は、加重平均化処理部２０３へ出力される。加重平均化処理部２０３では、入力された合成比率に基づいてフレーム１とフレーム２との間で加重平均処理を行い、合成画像１を生成する。
【００４４】
フレーム３とフレーム４に対しても同様に合成処理を行う。すなわちフレーム３を基準画像、フレーム４を対象画像として画像を合成し、合成画像２を生成する。続いて、フレーム１とフレーム２とから生成された合成画像１を基準画像とし、フレーム３とフレーム４とから生成された合成画像２を対象画像として合成画像３を生成する。
【００４５】
以上、本実施形態のように、ノイズレベル推定部２０１にて合成処理対象画素のノイズレベルを推定し、推定されたノイズレベルに応じて合成比率を制御することで、ノイズの少ない画素、あるいは、領域に対して過度の合成処理を行うことによるぼけや２重像の発生等のアーティファクトを抑えることが可能となり、良好な合成結果をえることができる。また、ノイズレベルの推定を、基準画像の画素、対象画像の画素それぞれにおいて推定し、それらの結果から最終的なノイズレベルを計算することで、より精密にノイズレベルを推定することが可能となる。
【００４６】
なお、本実施形態においては動き情報取得部１０４により画像間の位置合わせ処理を行う形態について示したが、撮像時のフレームレートが十分高ければ、画像間の変化量は小さいため位置合わせ処理を省く構成とすることも可能である。また、本実施形態においては、ノイズレベルの推定、合成比率の決定は、画素単位で行っているが、演算量削減のため、複数枚の画素からなる領域につき１回のノイズレベルの推定処理と合成比率の決定処理を行う構成にしても良い。
【００４７】
さらに、ノイズレベル計算部３００、３０１を複数動作させるのが演算量の観点から望ましくない場合には、図７に示すように、基準画像の画素と対象画像の画素のうち画素値の最小値を最小値計算部３１０で計算し、この最小値に基づいてノイズレベル計算部３００でノイズレベルを計算して、これを最終的なノイズレベルとしても良い。この場合、画素値が小さい場合にノイズ量が大きく、画素値が大きくなるにしたがってノイズ量が小さくなるような特性の場合には、図６における構成とほぼ同等の結果を得ることができる。図７においては、最小値計算部３１０で最小値を選択したが、これに変えて特性に応じて、最大値や加重平均値を計算して、これを代表値とし、この代表値でノイズレベル計算部３００の計算を行っても良い。このように、ノイズレベルの推定を、基準画像の画素、対象画像の画素それぞれにおいて推定するのではなく、特性に応じて代表値を計算し、代表値からノイズレベルを推定することで、ノイズレベル推定に要する演算量を削減することが可能となる。
【００４８】
さらにまた、複数枚の画像の合成処理はこれに限られることはなく、例えば図２における合成画像１とフレーム３を合成し、この合成結果とフレーム４を合成してもよい。また、合成の基本処理を基準画像と対象画像各１枚の計２枚の画像の合成処理とするのではなく、動き情報取得部１０４と合成処理部１０５を拡張することで、例えば、基準画像１枚と対象画像３枚の計４枚の画像を合成することも容易に可能である。さらに、本実施形態においては、４枚の画像から最終的に１枚の合成画像を生成したが、これに限られることはなく、４枚未満もしくは４枚以上の画像から合成画像を生成してもよい。さらにまた、基準画像の定め方については、先に撮像した画像とする他にも、後に撮像された画像とする方法や、基本処理のたびに先後を変えることで、中間的な時刻に撮像された画像を基準にすることも可能である。
【００４９】
続いて、本発明の第２の実施形態について説明する。第２の実施形態は、第１の実施形態における合成処理部１０５の構成に変更が加えられた構成であり、その他の構成は第１の実施形態と同様であるため、その説明を省略する。図９に第２の実施形態における合成処理部４００の概略をしめすブロック図を示す。
【００５０】
第２の実施形態における合成処理部４００は、第１の実施形態の合成処理部１０５中の加重平均化処理部の構成が異なり、合成比率決定部２０２において対象画像の合成比率が０．０となる際に加重平均化処理を行わないことによって演算量を削減する形態である。
【００５１】
図１０に示すように、ノイズレベルが小さい領域では合成比率を０．０とするような関係が合成比率決定部２０２において用いられる場合、加重平均化処理部４０１は、当該処理画素においては加重平均化処理を行わずに基準画像の画素をそのまま合成画像の画素とする。これにより演算量が削減される。
【００５２】
さらに、図１１に示すように、合成比率決定部２０２において用いる合成比率を０．０と１．０の２値に固定する構成にすることも可能である。この場合、合成比率決定部２０２では、所定のノイズレベルを境に合成比率が０．０または１．０のいずれかに定める。この結果、加重平均化処理部４０１は、合成比率が１．０の場合にのみ基準画像の画素と対象画像の画素の加重平均化処理を行うが、合成比率が０．０の場合にはその画素について加重平均化処理を行わないこととなる。
【００５３】
以上、本実施形態のように、合成比率が０．０の場合に、加重平均化処理を行わない構成とすることで、演算量を削減することが可能である。さらに、合成比率を０．０と１．０の２値に固定する構成にすることで、画素ごと、あるいは、領域ごとのノイズレベルに応じて合成枚数のみが可変となる構成にすることができ、演算量をさらに削減することが可能である。
【００５４】
さらに、本発明の第３の実施形態について説明する。第３の実施形態は、第１の実施形態における合成処理部１０５の構成に変更が加えられた構成である。図１２に第３の実施形態における合成処理部５００の構成図を示す。
【００５５】
第３の実施形態は、第１の実施形態における合成処理部内に画像間相関計算部５０１が追加され、合成比率部５０２における合成比率をノイズレベルと画像間の相関により決定することにより、ぼけや２重像等のアーティファクトをより確実に抑える形態である。その他の構成は第１の実施形態と同様であるため、その説明を省略する。
【００５６】
画像間相関計算部５０１は、基準画像と画像補正部２００で位置合わせされた対象画像との間の相関値として差分絶対値を画素毎に計算する。一般に、位置合わせが成功している場合には差分絶対値は小さくなり、位置合わせが失敗している場合には差分絶対値は大きくなるので、この結果を合成比率決定部５０２での合成比率の制御に利用して、位置合わせ失敗に起因するぼけや２重像等のアーティファクトを抑える。
【００５７】
なお、相関値として本実施形態では画素間の差分絶対値を用いているが、この他にもより安定した相関値を計算するために、注目画素の周辺画素からなるブロックについて、ブロック間の差分絶対値和（ＳＡＤ）を相関値としても良い。また、演算量を削減するために、画素毎に相関値を計算するのではなく、複数の画素からなる領域につき１つの相関値を計算する構成にしても良い。
【００５８】
合成比率決定部５０２は、ノイズレベル推定部２０１で計算されるノイズレベルと、画像間相関計算部５０１で計算される差分絶対値に基づいて、基準画像と対象画像の合成比率を決定する。図１３に合成比率決定部５０２での合成比率の決定方法を説明する図を示す。合成比率は、基準画像を１．０とした際の対象画像の合成割合を０．０から１．０で表すものとする。
【００５９】
まず、画素の差分絶対値の大小で合成比率を制御する。差分絶対値が小さい場合には、位置合わせが成功している可能性が高いので合成比率は大きくする。差分絶対値が大きい場合には、位置合わせが失敗している可能性が高いのでアーティファクトを抑えるため合成比率を小さくする。図１３の例では、閾値１と閾値２を定め、差分絶対値が閾値１より小さい場合には合成比率を１．０に、差分絶対値が閾値２より大きい場合には合成比率を０．０にし、閾値１から閾値２へは直線的に合成比率を遷移させている。
【００６０】
ここで、閾値１と閾値２とは、ノイズレベルに応じて定まるものであり、閾値１および閾値２を制御することにより、第１の実施形態と同様に、ノイズレベルに応じた合成比率の制御を行う。ノイズレベルが大きい画素においては、合成によるノイズ低減の必要性が高いことから、合成比率を大きくするために、閾値１と閾値２を大きくする。具体的には、ノイズレベルに所定の定数を乗算した値を、閾値１と閾値２にそれぞれ加算する等とすればよい。ノイズレベルが小さい画素においては、合成によるノイズ低減の必要性が低いので、合成比率を低くするために、閾値１と閾値２を小さくする。具体的には、ノイズレベルに所定の定数を乗算した値を、閾値１と閾値２からそれぞれ減算する等とすればよい。合成比率決定部５０２には、このような関係をテーブル化等の手法で用意しておいてもよいし、数式計算で計算するようにしてもよい。
【００６１】
加重平均化処理部２０３は、第１の実施形態と同様に、合成比率決定部５０２が出力する合成比率に応じて、基準画像と対象画像の画素の加重平均処理を行い、合成画像の画素とする。
【００６２】
以上、本実施形態のように、画像間相関計算部で画像間の画素の差分絶対値を計算し、ノイズレベル推定部にて処理対象画素のノイズレベルを推定し、両者を用いて合成比率を制御することで、位置合わせ処理の失敗に起因するアーティファクトを押さえつつ、ノイズの少ない画素、あるいは、領域に対して過度の合成処理を行うことによるぼけや２重像の発生等のアーティファクトをさらに抑えることが可能となり、良好な合成結果をえることができる。
【００６３】
なお、上述した合成画像を生成する一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることも可能である。この場合には、あらかじめ、この一連の画像処理をソフトウェアとして実行させるプログラムを記録媒体に格納しておき、記録媒体から、所定のハードウェアに組み込まれているコンピュータや、汎用のパーソナルコンピュータ等の各種プログラムをインストールすることで所定の処理を実行することができる。
【符号の説明】
【００６４】
１００  光学系
１０１  撮像素子
１０２  画像処理部
１０３  フレームメモリ
１０４  動き情報取得部
１０５  合成処理部
２００  画像補正部
２０１  ノイズレベル推定部
２０２  合成比率決定部
２０３  加重平均化処理部
３００  ノイズレベル計算部
３０１  ノイズレベル計算部
３０２  最大値計算部
３１０  最小値計算部
４０１  加重平均化処理部
５００  画像合成部
５０１  画像間相関計算部
５０２  合成比率決定部
【図１】
2010200179.tif 000003
【図２】
2010200179.tif 000004
【図３】
2010200179.tif 000005
【図４】
2010200179.tif 000006
【図５】
2010200179.tif 000007
【図６】
2010200179.tif 000008
【図７】
2010200179.tif 000009
【図８】
2010200179.tif 000010
【図９】
2010200179.tif 000011
【図１０】
2010200179.tif 000012
【図１１】
2010200179.tif 000013
【図１２】
2010200179.tif 000014
【図１３】
2010200179.tif 000015