(57)【要約】【課題】複数枚の画像を位置合わせ処理した後、合成処理することにより、ぶれを低減する電子ぶれ補正技術において、ノイズ低減効果を維持しつつ、ぼけや２重像等のアーティファクトを軽減することを目的とする。【解決手段】周波数分解手段２００，２０１により、複数の画像を、それぞれ複数の周波数帯域に分解し、複数の周波数帯域毎の帯域画像を生成し、合成比率決定手段により、複数の画像のうち何れか１つを基準画像とし、他の画像を対象画像とした場合に、基準画像の帯域画像に対する対象画像の帯域画像の合成比率を周波数帯域毎に決定し、帯域画像合成手段２０２，２０３，２０４により、帯域画像を、合成比率に基づいて周波数帯域毎に合成し、周波数帯域毎にそれぞれ合成帯域画像を生成し、画像合成手段２０５により、複数の合成帯域画像を合成して合成画像を生成する。【選択図】図３
2011055259.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を取得し、該複数の画像を合成して合成画像を生成する画像処理装置であって、
各前記画像を、それぞれ複数の周波数帯域に分解し、該周波数帯域毎の帯域画像を生成する周波数分解手段と、
前記複数の画像のうち何れか１つを基準画像とし、他の画像を対象画像とした場合に、前記基準画像の帯域画像に対する前記対象画像の帯域画像の合成比率を周波数帯域毎に決定する合成比率決定手段と、
前記対象画像の帯域画像を前記基準画像の帯域画像に対して、前記合成比率に基づいて周波数帯域毎に合成し、該周波数帯域毎にそれぞれ合成帯域画像を生成する帯域画像合成手段と、
前記複数の合成帯域画像を合成して合成画像を生成する画像合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記複数の画像間の動き量を検出する動き検出手段を備え、
前記画像合成手段による合成画像の生成に先立って、前記動き量に基づいて、前記複数の画像に対して補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記基準画像の帯域画像に対する前記対象画像の帯域画像の相関性を示す相関値を、周波数帯域毎に画素単位又は複数画素からなる所定の領域単位で計算する相関計算手段を備え、
前記合成比率決定手段は、予め定めた閾値と前記相関値とを比較し、前記相関値が前記該閾値よりも小さくなるにつれて、前記合成比率を小さく設定することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記複数枚の画像のうち少なくとも１枚の画像の帯域画像について、周波数帯域毎に画素単位又は複数画素からなる所定の領域単位でノイズレベルを推定するノイズレベル推定手段を備え、
前記ノイズレベルに基づいて前記閾値を定めることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記帯域画像間の動き量を、周波数帯域毎に検出する帯域画像動き検出手段を備え、
前記画像合成手段による合成画像の生成に先立って、前記帯域画像の動き量に基づいて、前記帯域画像に対して補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記複数の画像間の動き量を検出する動き検出手段と、前記帯域画像間の動き量を、周波数帯域毎に検出する帯域画像動き検出手段と、を備え、
前記周波数分解手段による帯域画像の生成に先立って、前記動き量に基づいて前記複数の画像に対して補正処理を行い、前記画像合成手段による合成画像の生成に先立って、前記帯域画像の動き量に基づいて、前記帯域画像に対して補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記帯域画像動き検出手段は、前記帯域画像における動き情報検索範囲を、低周波数帯域の動き情報を用いて決定することを特徴とする請求項５又は請求項６に記載の画像処理装置。
【請求項８】
複数の画像を取得し、該複数の画像を合成して合成画像を生成する画像処理方法であって、
各前記画像を、それぞれ複数の周波数帯域に分解し、該周波数帯域毎の帯域画像を生成する周波数分解ステップと、
前記複数の画像のうち何れか１つを基準画像とし、他の画像を対象画像とした場合に、前記基準画像の帯域画像に対する前記対象画像の帯域画像の合成比率を周波数帯域毎に決定する合成比率決定ステップと、
前記対象画像の帯域画像を前記基準画像の帯域画像に対して、前記合成比率に基づいて周波数帯域毎に合成し、該周波数帯域毎にそれぞれ合成帯域画像を生成する帯域画像合成ステップと、
前記複数の合成帯域画像を合成して合成画像を生成する画像合成ステップと、
を備えたことを特徴とする画像処理方法。
【請求項９】
複数の画像を取得し、該複数の画像を合成して合成画像を生成する画像処理プログラムであって、
各前記画像を、それぞれ複数の周波数帯域に分解し、該周波数帯域毎の帯域画像を生成する周波数分解ステップと、
前記複数の画像のうち何れか１つを基準画像とし、他の画像を対象画像とした場合に、前記基準画像の帯域画像に対する前記対象画像の帯域画像の合成比率を周波数帯域毎に決定する合成比率決定ステップと、
前記対象画像の帯域画像を前記基準画像の帯域画像に対して、前記合成比率に基づいて周波数帯域毎に合成し、該周波数帯域毎にそれぞれ合成帯域画像を生成する帯域画像合成ステップと、
前記複数の合成帯域画像を合成して合成画像を生成する画像合成ステップと、
を備える画像処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１０】
請求項９に記載のプログラムが格納されたプログラム記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体に関し、特に時系列に撮影した複数枚の画像を用いて画像を合成する画像処理装置、画像処理プログラムおよび画像処理プログラムが格納されたプログラム記憶媒体に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において静止画を撮影する際に、ノイズの少ない画像を得るためには、十分な露光時間を確保することが有効である。しかしながら露光時間を長くすると、手ぶれによるカメラの動きや、被写体の動きにより画像にぶれが生じ不鮮明になるという問題がある。
【０００３】
このようなぶれに対処する方式として、電子ぶれ補正方式が提案されている。例えば、特開平９−２６１５２６号公報（特許文献１）では、ぶれの少ない短い露光時間での撮影を連続して複数回実施し、得られた複数枚の画像間の動きがキャンセルされるように位置合わせ処理をした後、合成処理をすることにより、ぶれの無い良好な画像を得る発明が開示されている。
【０００４】
しかしながら、特許文献１に開示されている発明では、合成処理を複数の画像の単純な加算処理としているため、これらの複数枚の画像の位置合わせ処理が失敗した領域において、画像のぼけや、２重像等のアーティファクトが発生するという問題が生じる。
【０００５】
このアーティファクトを軽減するため、特開２００２−２９０８１７号公報（特許文献２）では、合成処理による加算処理（平均化処理）の前に、対応する画素間の差分値を計算し、この差分値が閾値以上の場合には位置合わせ処理が失敗したと判断して合成処理を行わない発明が開示されている。また、特開２００８−９９２６０号公報（特許文献３）では、対応する画素間の差分値に基づいて、合成処理における加重平均処理の重みを調整する発明が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−２６１５２６号公報
【特許文献２】特開２００２−２９０８１７号公報
【特許文献３】特開２００８−９９２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献２及び特許文献３に記載の発明では、複数枚の画像の位置合わせ処理における誤差や、被写体の移動により数画素でもずれが生じると、合成画像を生成した場合にノイズ低減の効果が低下するという問題があった。
【０００８】
本発明は、上記問題に鑑みてなされたものであって、複数枚の画像を位置合わせ処理した後、合成処理することにより、ぶれを低減する電子ぶれ補正技術において、ノイズ低減効果を維持しつつ、ぼけや２重像等のアーティファクトを軽減することが可能な画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、複数の画像を取得し、該複数の画像を合成して合成画像を生成する画像処理装置であって、各前記画像を、それぞれ複数の周波数帯域に分解し、該周波数帯域毎の帯域画像を生成する周波数分解手段と、前記複数の画像のうち何れか１つを基準画像とし、他の画像を対象画像とした場合に、前記基準画像の帯域画像に対する前記対象画像の帯域画像の合成比率を周波数帯域毎に決定する合成比率決定手段と、前記対象画像の帯域画像を前記基準画像の帯域画像に対して、前記合成比率に基づいて周波数帯域毎に合成し、該周波数帯域毎にそれぞれ合成帯域画像を生成する帯域画像合成手段と、前記複数の合成帯域画像を合成して合成画像を生成する画像合成手段と、を備えたことを特徴とする画像処理装置を提供する。
【００１０】
また、本発明は、複数の画像を取得し、該複数の画像を合成して合成画像を生成する画像処理方法であって、各前記画像を、それぞれ複数の周波数帯域に分解し、該周波数帯域毎の帯域画像を生成する周波数分解ステップと、前記複数の画像のうち何れか１つを基準画像とし、他の画像を対象画像とした場合に、前記基準画像の帯域画像に対する前記対象画像の帯域画像の合成比率を周波数帯域毎に決定する合成比率決定ステップと、前記対象画像の帯域画像を前記基準画像の帯域画像に対して、前記合成比率に基づいて周波数帯域毎に合成し、該周波数帯域毎にそれぞれ合成帯域画像を生成する帯域画像合成ステップと、前記複数の合成帯域画像を合成して合成画像を生成する画像合成ステップと、を備えたことを特徴とする画像処理方法を提供する。
【００１１】
さらに、本発明は、複数の画像を取得し、該複数の画像を合成して合成画像を生成する画像処理プログラムであって、各前記画像を、それぞれ複数の周波数帯域に分解し、該周波数帯域毎の帯域画像を生成する周波数分解ステップと、前記複数の画像のうち何れか１つを基準画像とし、他の画像を対象画像とした場合に、前記基準画像の帯域画像に対する前記対象画像の帯域画像の合成比率を周波数帯域毎に決定する合成比率決定ステップと、前記対象画像の帯域画像を前記基準画像の帯域画像に対して、前記合成比率に基づいて周波数帯域毎に合成し、該周波数帯域毎にそれぞれ合成帯域画像を生成する帯域画像合成ステップと、前記複数の合成帯域画像を合成して合成画像を生成する画像合成ステップと、を備える画像処理をコンピュータに実行させることを特徴とする画像処理プログラムを提供する。
【発明の効果】
【００１２】
このように、本発明によれば、画像を複数の周波数帯域に周波数分解し、各周波数帯域における帯域画像を、周波数帯域毎に合成比率を決定し、周波数帯域ごとに合成処理を行うので、各周波数帯域それぞれに適した合成を行うことができ、周波数分解せずに合成を行う場合と比較して、合成失敗によるアーティファクトの発生を抑制しつつ、合成によるノイズ低減の効果を十分に得ることができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態にかかる画像処理装置の概略構成を示すブロック図である。
【図２】本発明の第１の実施形態にかかる画像処理装置において、画像を合成する場合の手順の例を示す参考図である。
【図３】本発明の第１の実施形態にかかる画像処理装置における合成処理部の概略構成を示すブロック図である。
【図４】本発明の第１の実施形態にかかる画像処理装置における周波数分解部の概略構成を示すブロック図である。
【図５】本発明の第１の実施形態にかかる画像処理装置における高周波帯域画像合成部の概略構成を示すブロック図である。
【図６】本発明の第１の実施形態にかかる画像処理装置における周波数合成部の概略構成を示すブロック図である。
【図７】本発明の第２の実施形態にかかる画像処理装置における高周波帯域画像合成部の概略構成を示すブロック図である。
【図８】本発明の第２の実施形態にかかる画像処理装置における合成比率決定部で決定される合成比率と画像の差分絶対値との関係を示す参考図である。
【図９】本発明の第３の実施形態にかかる画像処理装置における高周波帯域画像合成部の概略構成を示すブロック図である。
【図１０】撮像素子の出力画素値とノイズ量の典型的関係を示す参考図である。
【図１１】階調変換処理後の画素値とノイズ量の典型的関係を示す参考図である。
【図１２】本発明の第３の実施形態にかかる画像処理装置におけるノイズレベル推定部の概略構成を示すブロック図である。
【図１３】本発明の第３の実施形態にかかる画像処理装置における合成比率決定部で決定される合成比率と画像の差分絶対値との関係を示す参考図である。
【図１４】本発明の第４の実施形態にかかる画像処理装置における高周波帯域画像合成部の概略構成を示すブロック図である。
【図１５】本発明の第５の実施形態にかかる画像処理装置における高周波帯域画像合成部の概略構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下に、本発明に係る画像処理装置の実施形態について、図面を参照して説明する。
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理装置の概略構成を示すブロック図である。本実施形態にかかる画像処理装置は、図１に示すように、光学系１００、撮像素子１０１、画像処理部１０２、フレームメモリ１０３、動き情報取得部１０４、画像補正部１０５及び合成処理部１０６を備えている。
【００１５】
光学系１００はレンズ等からなり被写体の像を結像するものであり、撮像素子１０１上に像を結像するように配置されている。撮像素子１０１は、光学系１００により結像された被写体の像に基づいて電気的な画像情報である撮像信号を生成し、この撮像信号を画像処理部１０２に出力する。画像処理部１０２は、撮像素子１０１から入力された撮像信号に対して色処理や階調変換処理等の画像処理を行う。フレームメモリ１０３は、画像処理部１０２により所定の処理が施された画像を格納する。
【００１６】
図２に４枚の画像から１枚の画像を合成する例を示す。４枚の画像をフレームＦ１からフレームＦ４とし、合成は２枚から１枚を合成するという基本処理を３回行うことで、最終的に４枚の画像から１枚の合成画像を得る。最初に、フレームＦ１とフレームＦ２を合成し合成画像１を生成する。合成の際には一方を基準画像、他方を対象画像と定義するものとする。次にフレームＦ３を基準画像、フレームＦ４を対象画像として合成し合成画像２を生成する。最後に、合成画像１を基準画像、合成画像２を対象画像として合成し、最終結果である合成画像３を生成する。なお、複数枚の合成手法はこれに限られることはなく、例えば図２における合成画像１とフレームＦ３を合成し、この合成結果とフレームＦ４を合成する方式でもよい。
【００１７】
また、合成の基本処理を基準画像と対象画像１枚の計２枚の合成処理とするのではなく、基準画像と対象画像３枚の計４枚とすることも、後述する動き情報取得部１０４、画像補正部１０５及び合成処理部１０６を拡張することにより容易に可能である。また、基準画像の定め方については、先に撮像した画像とする他にも、後に撮像された画像とする方法や、基本処理のたびに先後を変えることで、中間的な時刻に撮像された画像を基準にすることも可能である。
【００１８】
動き情報取得部１０４は、フレームメモリ１０３に格納された複数枚の画像間の動きを動き情報として出力する。すなわち、動き情報取得部１０４は、フレームメモリ１０３に格納された複数枚の画像のうち、いずれか一の画像を、画像合成処理を行う際に基準となる基準画像とし、この基準画像との比較対象であり画像合成処理の対象となる対象画像と定義づける。そして、基準画像に対する対象画像の動きを水平方向移動量と垂直方向移動量とからなる１つのベクトル情報で表し、このベクトル情報をその対象画像の動き情報として出力する。
【００１９】
なお、動き情報は、１枚の画像につき１つのベクトル情報とするだけでなく、例えば、画像を複数の領域に分割し、分割された夫々の領域におけるベクトル情報を計算することも、画素毎にベクトル情報を計算することもできる。また、回転による移動量や拡大縮小による変化量を動き情報としてもよい。さらに、動き情報は計算によって算出するだけでなく、画像処理装置内にジャイロ等のセンサを設け、このセンサにより動き情報を取得してもよい。
【００２０】
画像補正部１０５は、動き情報取得部１０４で取得された動き情報に基づいて、フレームメモリ１０３に格納された対象画像を補正する。本実施形態においては、動き情報取得部１０４から出力されたベクトル情報に基づいて、対象画像の位置をシフトすることにより、基準画像との位置を合わせる。なお、動き情報に例えば回転や拡大縮小に関する情報が含まれる構成例においては、画像補正部１０５にて回転や拡大縮小に相当する補正処理を行い、基準画像と対象画像の位置合わせを行う。
【００２１】
合成処理部１０６は、画像補正部１０５で位置合わせ処理がなされた対象画像と基準画像とを合成して合成画像を生成し、生成した合成画像を出力するものであり、図３に示すように、周波数分解部２００，２０１、高周波帯域画像合成部２０２、中周波帯域画像合成部２０３、低周波帯域画像合成部２０４、及び周波数合成部２０５を備えている。
【００２２】
周波数分解部２００，２０１は、基準画像及び対象画像をそれぞれ所定の帯域の画像に分割するものであり（周波数分解ステップ）、本実施形態では、高周波帯域画像、中周波帯域画像、低周波帯域画像の３つの帯域の画像に分割するものとする。周波数分解部２００，２０１における分解は、公知の方式を用いればよく、フィルタバンク、ウェーブレット変換、ラプラシアンピラミッドなどを用いることができる。本実施形態においては、ラプラシアンピラミッドにより、周波数分解を行うものとする。
【００２３】
図４は、ラプラシアンピラミッドを用いた周波数分解部２００，２０１の構成を示すブロック図であり、図４に示すように、周波数分解部２００，２０１は、フィルタ処理・縮小処理部３０１，３０４、拡大処理部３０２，３０５及び減算器３０３，３０６を備えている。以下、説明の便宜上、周波数分解部２００，２０１に入力される基準画像又は対象画像を入力画像３００として説明する。入力画像３００は、フィルタ処理・縮小処理部３０１にてローパスフィルタ処理後に縮小される。この処理により、入力画像３００の画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、拡大処理部３０２にて元の画像サイズに拡大された後、減算器３０３にて高周波帯域画像３０７が作成される。高周波帯域画像３０７の帯域画像信号は、フィルタ処理・縮小処理部３０１で用いられたローパスフィルタ特性により遮断された高周波成分に相当する。
【００２４】
フィルタ処理・縮小処理部３０１の出力は、次段のフィルタ処理・縮小処理部３０４に供給されさらに縮小される。縮小された画像は拡大処理部３０５で拡大され、減算器３０６により、中周波帯域画像３０８が生成される。また、フィルタ処理・縮小処理部３０４の出力は、低周波帯域画像３０９として出力される。以上の処理により、入力画像３００は、高周波帯域画像３０７、中周波帯域画像３０８、低周波帯域画像３０９に分解されることとなる。各帯域に分解された高周波帯域画像３０７、中周波帯域画像３０８及び低周波帯域画像３０９は、高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４にそれぞれ送信される。
【００２５】
高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４は、周波数分解部２００，２０１で各周波帯域に分解された基準画像と対象画像を、それぞれの帯域において合成する。すなわち、高周波帯域画像合成部２０２は、基準画像の高周波帯域画像と対象画像の高周波帯域画像とを合成し、同様に、中周波帯域画像合成部２０３では、基準画像の中周波帯域画像と対象画像の中周波帯域画像とを、低周波帯域画像合成部２０４では、基準画像の低周波帯域画像と対象画像の低周波帯域画像とを合成し、それぞれ合成高周波帯域画像３１０、合成中周波帯域画像３１１及び合成低周波帯域画像３１２を生成する。
【００２６】
以下、高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４について説明する。高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４の構成は共通するので、説明の便宜上、高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４を代表して、高周波帯域画像合成部についてのみ説明する。図５に示すように、高周波帯域画像合成部２０２は加重平均化処理部４０４及び合成比率決定部４１０を備えている。
【００２７】
高周波帯域画像合成部２０２には、周波数分解部２００，２０１によって帯域分割された基準画像の高周波帯域画像４００と、帯域分割された対象画像の高周波帯域画像４０１が入力される。合成比率決定部４１０は、基準画像の高周波帯域画像４００と対象画像の高周波帯域画像４０１対象画像の合成比率を決定する（合成比率決定ステップ）。合成比率は、基準画像の高周波帯域画像４００を１．０とした際の対象画像の高周波帯域画像４０１の合成割合を０．０から１．０で表すものとする。
【００２８】
合成比率決定部４１０が決定する合成比率は、事前に各帯域において固定値として決定しておいてもよいし、動き情報取得部１０４の結果に応じて動的に変更してもよい。例えば、撮影した画像のＩＳＯ感度が高く多くのノイズが含まれる場合には、位置合わせの精度が低いことが予想されるため、高周波帯域において正確な位置合わせがなされていない可能性が高い。このような場合には、高周波帯域においては合成比率を小さくすることで、位置合わせの誤差によるアーティファクトを抑え、低周波帯域においては合成比率を大きくすることで、ノイズ低減の効果を維持するといった構成とすることが可能である。
【００２９】
あるいは、動き情報取得部１０４で得られた動きベクトルが大きい場合には、位置合わせ誤差が大きい可能性が高いため高周波帯域において合成比率を小さくし、動きベクトルが小さい場合には、位置合わせ誤差が小さいことが期待できるので、高周波帯域においても合成比率を大きくするといった構成も可能である。更に、基準画像と対象画像間の相関を画素ごと、あるいは、所定の領域ごとに計算し、相関が小さい画素や領域については位置合わせの精度が低いと判断して、高周波帯域における合成比率を小さくすることも可能である。
【００３０】
加重平均化処理部４０４は、合成比率決定部４１０が出力する合成比率に応じて、基準画像の高周波帯域画像４００の画素と対象画像の高周波帯域画像４０１の画素の加重平均処理を行い、合成高周波帯域画像３１０を生成する。中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４においても、上記の手順により、合成中周波帯域画像３１１及び合成低周波帯域画像３１２を生成する（帯域画像合成ステップ）。高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４は、それぞれ生成した合成高周波帯域画像３１０、合成中周波帯域画像３１１及び合成低周波帯域画像３１２を周波数合成部２０５に送信する。
【００３１】
周波数合成部２０５は、高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４から送信された各帯域の合成画像をさらに合成するものである（画像合成ステップ）。周波数合成部２０５における周波数合成は、周波数分解部２００、２０１と同様に公知の方式を用いればよく、フィルタバンク、ウェーブレット変換、ラプラシアンピラミッドなどを用いることができる。本実施形態においては、ラプラシアンピラミッドにより、周波数合成を行うものとする。図６は、ラプラシアンピラミッドを用いた周波数合成部２０５の概略構成を示すブロック図であり、周波数合成部２０５は、拡大処理部３１４，３１５及び加算器３１３，３１５を備えている。
【００３２】
周波数合成部２０５には、高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４から高周波帯域画像３１０、中周波帯域画像３１１及び低周波帯域画像３１２が入力される。低周波帯域画像３１２は拡大処理部３１６で中周波帯域画像３１１と同じサイズに拡大された後、加算器３１５で加算される。次いで、拡大処理部３１４にて高周波帯域画像３１０と同じサイズに拡大された後、加算器３１３で加算されて出力画像３１７となる。これにより出力画像３１７は、高周波帯域画像３１０、中周波帯域画像３１１、低周波帯域画像３１２が有する周波数成分を全て含む画像として合成されることとなる。
【００３３】
このように、画像を周波数分解し、各帯域において合成処理を制御することによって、各帯域において適した合成をすることが可能となり、合成失敗によるアーティファクトの発生を抑えつつ、合成によるノイズ低減の効果を得ることが可能となる。
【００３４】
〔第２の実施形態〕
次に、本発明の第２の実施形態について、図７、８を用いて説明する。本実施形態の画像処理装置が第１の実施形態と異なる点は、高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４が、相関計算部４０２をさらに備えた点である。以下、本実施形態の画像処理装置について、第１の実施形態と共通する点については説明を省略し、異なる点について説明する。
【００３５】
高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４は、周波数分解部２００、２０１で各周波帯域に分解された基準画像と対象画像を、それぞれの帯域において合成するものであり、その構成は共通するので説明の便宜上、高周波帯域画像合成部２０２について説明する。図７は、高周波帯域画像合成部２０２の概略構成を示すブロック図である。図７に示すように、高周波帯域画像合成部２０２は、相関計算部４０２、合成比率決定部４０３及び加重平均化処理部４０４を備えている。
【００３６】
高周波帯域画像合成部２０２には、周波数分解部２００，２０１により帯域分割された基準画像の高周波帯域画像４００と、帯域分割された対象画像の高周波帯域画像４０１が入力される。相関計算部４０２は、基準画像の高周波帯域画像４００と対象画像の高周波帯域画像４０１との間の相関値として差分絶対値を画素毎に計算する。一般に、基準画像と対象画像との位置合わせが成功している場合には差分絶対値は小さくなり、位置合わせが失敗している場合には差分絶対値は大きくなる。従って、この結果を合成比率決定部４０３における合成比率の制御に利用して、位置合わせ失敗に起因するぼけや２重像等のアーティファクトを抑える。
【００３７】
なお、相関値として本実施形態では画素間の差分絶対値を用いているが、この他にもより安定した相関値を計算するために、注目画素の周辺画素からなるブロックについて、ブロック間の差分絶対値和（ＳＡＤ）を相関値としても良い。また、演算量を削減するために、画素毎に相関値を計算するのではなく、複数の画素からなる領域につき１つの相関値を計算する構成にしても良い。
【００３８】
合成比率決定部４０３は、相関計算部４０２で計算される差分絶対値に基づいて、基準画像の高周波帯域画像４００と対象画像の高周波帯域画像４０１の合成比率を決定する。合成比率は、基準画像の高周波帯域画像４００を１．０とした際の対象画像の高周波帯域画像４０１の合成割合を０．０から１．０で表すものとする。画素の差分絶対値の大小で合成比率を制御する。すなわち、例えば、図８に示すように、差分絶対値が小さい場合には、位置合わせが成功している可能性が高いので合成比率は大きくし、差分絶対値が大きい場合には、位置合わせが失敗している可能性が高いのでアーティファクトを抑えるため合成比率を小さくする。図８に示す例では、差分絶対値が閾値１より小さい場合には合成比率を１．０に、差分絶対値が閾値２より大きい場合には合成比率を０．０にし、閾値１から閾値２へは直線的に合成比率を遷移させている。
【００３９】
加重平均化処理部４０４は、合成比率決定部４０３が出力する合成比率に応じて、高周波帯域画像４００と高周波帯域画像４０１の加重平均処理を行い、合成高周波帯域画像３１０を生成する。中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４においても、上記の手順により、合成中周波帯域画像３１１及び合成低周波帯域画像３１２を生成する。
【００４０】
このように、画像を周波数分解し、各帯域において合成処理を制御することによって、微小な位置ずれにより全ての帯域において合成の効果を弱めるような処理がされてしまうことを防ぎ、アーティファクトの発生を抑える上で必要最小限な帯域でのみ合成の効果を弱めるような処理を適用することが可能となる。これによりアーティファクトの発生を抑えつつ、合成によるノイズ低減の効果を得ることが可能となる。また、各帯域における合成比率を、各帯域の画像毎にそれぞれの相関値に基づいて変化させることにより、帯域を分割せずに合成比率を変化させる場合に比較して、画像上での合成効果の変動をさらに抑制する効果を得ることができ、合成画像の画質を向上することが可能となる。
【００４１】
なお、本実施形態においては合成比率を０．０から１．０の間で連続的に変化させる構成としているが、これを０．０と１．０の２値とし、加重平均化処理部４０４を単純な平均化処理に置き換えることで、演算量を削減する構成も可能である。
【００４２】
〔第３の実施形態〕
次に、本発明の第３の実施形態について、図９〜１３を用いて説明する。本実施形態の画像処理装置が第２の実施形態と異なる点は、高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４が、ノイズレベル推定部５０２をさらに備えた点であり、合成比率決定部５０３における合成比率をノイズレベル推定部５０２によって推定されたノイズレベルと画像間の相関により決定する。以下、本実施形態の画像処理装置について、第１の実施形態及び第２の実施形態と共通する点については説明を省略し、異なる点について説明する。
【００４３】
高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４は、周波数分解部２００、２０１で各周波帯域に分解された基準画像と対象画像を、それぞれの帯域において合成するものであり、その構成は共通するので説明の便宜上、高周波帯域画像合成部２０２について説明する。図９は、高周波帯域画像合成部２０２の概略構成を示すブロック図である。図９に示すように、高周波帯域画像合成部２０２は、相関計算部４０２、ノイズレベル推定部５０２、合成比率決定部５０３及び加重平均化処理部４０４を備えている。
【００４４】
高周波帯域画像合成部２０２には、周波数分解部２００，２０１により帯域分割された基準画像の高周波帯域画像４００と帯域分割された対象画像の高周波帯域画像４０１のほかに、基準画像及び対象画像からそれぞれ作成されるノイズレベル推定用画像５００，５０１が入力される。そして、相関計算部４０２において、基準画像の高周波帯域画像４００及び対象画像の高周波帯域画像４０１の相関値が計算される。ここで、相関値としては、上述した第２の実施形態と同様に差分絶対値や、注目画素の周辺画素からなるブロックにかかるブロック間の差分絶対値和（ＳＡＤ）を用いることができる。また、ノイズレベル推定部５０２において、ノイズレベル推定用画像５００，５０１に基づいて処理対象画素に含まれるノイズ量の推定値を算出する。
【００４５】
一般に、撮像素子が出力する画素に含まれるノイズ量と画素値との間には一定の関係があり、画素値からノイズ量が推定できることが知られている。図１０に撮像素子が出力する画素値とノイズ量の典型的関係を示す。図１０における横軸は撮像素子が出力する画素の画素値、縦軸はその画素に含まれるノイズ量（ノイズの標準偏差等）である。典型的には、撮像素子が出力する画素値が大きくなるにつれて、含まれるノイズ量は増える傾向にある。撮像素子から出力された画素は、画像処理部１０２により階調変換等の画像処理がなされた後にフレームメモリ１０３に格納される。階調変換処理においては、典型的には暗部を持ち上げ明部をつぶすようなガンマ特性の階調変換処理がなされる。図１１に階調変換処理がなされた後の画素値とノイズ量の典型的関係を示す。画素値が小さい領域においては、階調変換処理によりノイズが増幅され、画素値が大きい領域においてはノイズがつぶされる結果、典型的には図１１に示すような関係になる。本発明のように画像を周波数分割する場合には、画像に含まれるノイズは各帯域に分割され、画素値と各帯域におけるノイズ量の関係も図１１に示すような関係になる。
【００４６】
上記したようにノイズ量は画素値と関連があり、各帯域におけるノイズ量を推定するには、処理対象画素の直流成分を含んだ画素値が必要となる。基準画像又は対象画像から周波数分解された各周波数帯域の画像（すなわち、図４における高周波帯域画像３０７、中周波帯域画像３０８、低周波帯域画像３０９）は、必ずしも直流成分を含まないため、ノイズ量の推定に使用するには適さない。したがって、ノイズレベル推定用画像５００、５０１は、基準画像および対象画像から作成される画像の内、直流成分を含む画像を使用する。
【００４７】
本実施形態においては、高周波帯域におけるノイズレベル推定用画像５００、５０１は、図４に示したラプラシアンピラミッドによる周波数分解部における拡大処理部３０２の出力画像を使用するものとする。入力画像３００も直流成分を含んでいるため使用可能ではあるが、ローパスフィルタ処理がなされた後の画像の方が安定したノイズレベル推定を期待できるという利点がある。同様に、中周波帯域におけるノイズレベル推定用画像５００、５０１は、拡大処理部３０５の出力画像を使用する。低周波帯域においては、帯域画像そのものが直流成分を含んでいるため、ノイズレベル推定用画像５００、５０１としては低周波帯域画像３０９を使用すればよい。
【００４８】
次にノイズレベル推定部５０２の構成について説明する。図１２は、ノイズレベル推定部５０２の概略構成を示すブロック図である。ノイズレベル推定部５０２は、処理対象画素に含まれるノイズの強度（ノイズレベル）を推定するものであり、図１２に示すように、ノイズレベル計算部６００，６０１及び最大値計算部６０２を備えている。ノイズレベル計算部６００、６０１は、図１１に示すような画素値とノイズ量の関係を事前に折れ線近似、あるいは、テーブル化等の手法により用意しておき、高周波帯域画像４００の画素（基準画像）、あるいは、高周波帯域画像４０１（対象画像）の画素のノイズレベルをそれぞれ計算する。
【００４９】
基準画像と対象画像の位置合わせが成功している画素においては、基準画像の画素値と対象画像の画素値に大きな差はなく、計算されるノイズレベルにも大きな違いは生じない。しかし、位置合わせが失敗している画素においてはこれらに違いが生ずる可能性が高く、当該画素のノイズレベルとしては最大値計算部６０２にて最大値を選択することで、これをノイズレベルとする。本実施形態においては、最大値計算部６０２にて最大値を計算しこれをノイズレベルとしたが、この他にも、基準画像のノイズレベルと対象画像のノイズレベルの加重平均値とし、例えば基準画像の画素に重みをつけてノイズレベルを推定することも可能である。またノイズレベル計算部６００、６０１を複数動作させるのが演算量の観点から望ましくない場合には、ノイズレベル計算部６００のみを動作させ、この出力をノイズレベルとしても良い。
【００５０】
合成比率決定部５０３は、ノイズレベル推定部５０２で計算されるノイズレベルと、相関計算部４０２で計算される差分絶対値に基づいて、基準画像の高周波帯域画像４００と対象画像の高周波帯域画像４０１の合成比率を決定する。図１３に合成比率決定部５０３での合成比率の決定方法を説明する図を示す。合成比率は、基準画像を１．０とした際の対象画像の合成割合を０．０から１．０で表すものとする。まず、画素の差分絶対値の大小で合成比率を制御する。差分絶対値が小さい場合には、位置合わせが成功している可能性が高いので合成比率は大きくする。差分絶対値が大きい場合には、位置合わせが失敗している可能性が高いのでアーティファクトを抑えるため合成比率を小さくする。図１３の例では、差分絶対値が閾値１より小さい場合には合成比率を１．０に、差分絶対値が閾値２より大きい場合には合成比率を０．０にし、閾値１から閾値２へは直線的に合成比率を遷移させている。
【００５１】
これに加えてノイズレベルに応じて閾値１と閾値２を制御することにより、ノイズレベルに応じた合成比率の制御を行う。ノイズレベルが大きい画素においては、合成によるノイズ低減の必要性が高いことから、合成比率を大きくするために、閾値１と閾値２を大きくする。具体的には、ノイズレベルに所定の定数を乗算した値を、閾値１と閾値２にそれぞれ加算する等とすればよい。ノイズレベルが小さい画素においては、合成によるノイズ低減の必要性が低いので、合成比率を低くするために、閾値１と閾値２を小さくする。具体的には、ノイズレベルに所定の定数を乗算した値を、閾値１と閾値２からそれぞれ減算する等とすればよい。合成比率決定部５０３は、このような関係をテーブル化等の手法で用意しておいてもよいし、数式計算で計算するようにしてもよい。
【００５２】
加重平均化処理部４０４は、第２の実施形態と同様に、合成比率決定部５０３が出力する合成比率に応じて、基準画像の高周波帯域画像４００と対象画像の高周波帯域画像４０１の画素の加重平均処理を行い、合成高周波帯域画像３１０を生成する。中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４においても、上記の手順により、合成中周波帯域画像３１１及び合成低周波帯域画像３１２を生成する。
【００５３】
以上、本実施形態のように、画像を周波数分解し、各帯域において合成処理を制御することによって、微小な位置ずれにより全ての帯域において合成の効果を弱めるような処理がされてしまうことを防ぎ、アーティファクトの発生を抑える上で必要最小限な帯域でのみ合成の効果を弱めるような処理を適用することが可能となる。これによりアーティファクトの発生を抑えつつ、合成によるノイズ低減の効果を得ることが可能となる。また、各帯域で合成比率を変化させることにより、帯域を分割せずに合成比率を変化させる場合に比較して、画像上での合成効果の変動を抑制する効果を得ることができ、合成画像の画質を向上することが可能となる。さらに、ノイズレベル推定部にて処理対象画素のノイズレベルを推定し、画像間の相関と併せて合成比率の制御に用いることで、位置合わせ処理の失敗に起因するアーティファクトを抑えつつ、ノイズの少ない画素、あるいは、領域に対して過度の合成処理を行うことによるぼけや２重像の発生等のアーティファクトを精度良く確実に抑えることが可能となり、良好な合成結果をえることができる。
【００５４】
〔第４の実施形態〕
次に、本発明の第４の実施形態について、図１４を用いて説明する。本実施形態の画像処理装置が第２の実施形態と異なる点は、高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４が、帯域画像動き情報取得部７００及び帯域画像補正部７０２をさらに備えた点であり、高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４において、各帯域画像間の位置合わせ処理を行う。以下、本実施形態の画像処理装置について、第１〜第３の実施形態と共通する点については説明を省略し、異なる点について説明する。
【００５５】
高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４は、周波数分解部２００、２０１で各周波帯域に分解された基準画像と対象画像を、それぞれの帯域において合成するものであり、その構成は共通するので説明の便宜上、高周波帯域画像合成部２０２について説明する。図１４は、高周波帯域画像合成部２０２の概略構成を示すブロック図である。図１４に示すように、高周波帯域画像合成部２０２は、相関計算部４０２、合成比率決定部４０３、加重平均化処理部４０４、帯域画像動き情報取得部７００及び帯域画像補正部７０２を備えている。
【００５６】
高周波帯域画像合成部２０２には、周波数分解部２００，２０１により帯域分割された基準画像の高周波帯域画像４００と帯域分割された対象画像の高周波帯域画像４０１が入力される。帯域画像動き情報取得部７００では、基準画像の高周波帯域画像４００と帯域分割された対象画像の高周波帯域画像４０１との間のずれ量を計算し、帯域画像動き情報７０１として帯域画像補正部７０２に出力する。帯域画像補正部７０２は、この動き情報７０１に応じて対象画像の高周波帯域画像４０１を補正する。相関計算部４０２、合成比率決定部４０３、加重平均化処理部４０４については、上記した第２の実施形態と共通するのでその説明を省略する。
【００５７】
通常は、動き情報取得部１０４と画像補正部１０５により基準画像に対する対象画像の位置合わせ処理がなされていれば、基準画像の高周波帯域画像４００と対象画像の高周波帯域画像４０１の間のずれ量も小さいため、新たに帯域画像動き情報７０１を取得する必要はない。しかし、動き情報取得部１０４と画像補正部１０５による位置合わせ処理の性能が低い場合や、これら位置合わせ処理自体が行われない場合には、画像の全ての場所においてずれ量を小さくすることはできない。特に、被写体が動いた場所等で大きい位置ずれが発生する。このような局所的な位置ずれに対処するためには、画像全体の位置合わせ処理に加えて、画素単位あるいは領域単位での局所的位置合わせ処理を行うことが望ましい。
【００５８】
しかしながら、通常、位置合わせ処理には大きな演算量が必要とされるという問題がある。本実施形態によれば、各帯域において局所的位置合わせ処理を行うことで、比較的小さい演算量でも効果を得ることが可能となる。つまり、帯域画像動き情報取得部７００で計算する動き情報を１個の動きベクトル（水平方向移動量と垂直方向移動量）とし、その動きベクトルの最大値（演算量を決定する探索範囲）を小さい値とする。動きベクトルの最大値が小さい場合には、位置合わせが不可能な場合も発生するが、本実施形態においては、各帯域において位置合わせを行うので、例えば、高周波帯域で位置合わせが不可能だとしても、画像が縮小された低周波帯域では実質的に探索範囲が大きくなるため、位置合わせが可能となる場合があり、このような場合には低周波帯域における合成精度が高くなるため、全体の精度を向上させる効果を得ることができる。
【００５９】
なお、上述の精度向上の効果は、画像を帯域分割して各帯域において位置合わせ処理を行うことにより得ることができるが、本実施形態のように合成処理部において帯域分割し各帯域において合成する場合に、各帯域において同時に位置合わせを行うことで、周波数分解処理および周波数合成処理を合成処理と位置合わせ処理で共通化することが可能となり、演算量削減の効果を得ることが可能となる。
【００６０】
以上、本実施形態のように、画像を周波数分解し、各帯域において合成処理を制御することによって、微小な位置ずれにより全ての帯域において合成の効果を弱めるような処理がされてしまうことを防ぎ、アーティファクトの発生を抑える上で必要最小限な帯域でのみ合成の効果を弱めるような処理を適用することが可能となる。これによりアーティファクトの発生を抑えつつ、合成によるノイズ低減の効果を得ることが可能となる。また、各帯域で合成比率を変化させることにより、帯域を分割せずに合成比率を変化させる場合に比較して、画像上での合成効果の変動を抑制する効果を得ることができ、合成画像の画質を向上することが可能となる。さらに、分解された各帯域において位置合わせ処理を行うことで、新たに周波数分解処理、周波数合成処理をすることなく、各帯域における位置合わせ処理を行うことが可能となり、低演算量で精度の高い位置合わせ処理が可能となる。
【００６１】
〔第５の実施形態〕
次に、本発明の第５の実施形態について、図１５を用いて説明する。本実施形態の画像処理装置が第４の実施形態と異なる点は、高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４が、帯域画像間の位置合わせ処理を行う際に、低周波帯域における位置合わせ結果を高周波帯域側での位置合わせ処理における探索初期位置として使用する点である。即ち、本実施形態では、上述した第４の実施形態における帯域画像合成部において、帯域画像間の位置合わせ処理を行う際に、低周波帯域における位置合わせ結果を高周波帯域側での位置合わせ処理における探索初期位置として使用する。この探索初期位置の周辺に比較的狭い動き情報探索範囲を設定して位置合わせ処理を行うことにより、高周波帯域においても低演算量で実質的な探索範囲の広い位置合わせ処理を行う。以下、本実施形態の画像処理装置について、第１〜第４の実施形態と共通する点については説明を省略し、異なる点について説明する。
【００６２】
高周波帯域画像合成部２０２、中周波帯域画像合成部２０３及び低周波帯域画像合成部２０４は、周波数分解部２００、２０１で各周波帯域に分解された基準画像と対象画像を、それぞれの帯域において合成するものであり、その構成は共通するので説明の便宜上、高周波帯域画像合成部２０２について説明する。図１５は、高周波帯域画像合成部２０２の概略構成を示すブロック図である。図１５に示すように、高周波帯域画像合成部２０２は、相関計算部４０２、合成比率決定部４０３、加重平均化処理部４０４、帯域画像動き情報取得部７００及び帯域画像補正部７０２を備えている。
【００６３】
高周波帯域画像合成部２０２には、周波数分解部２００，２０１により帯域分割された基準画像の高周波帯域画像４００と帯域分割された対象画像の高周波帯域画像４０１が入力される。帯域画像動き情報取得部７００では、基準画像の高周波帯域画像４００と帯域分割された対象画像の高周波帯域画像４０１との間のずれ量を計算するが、このとき、帯域画像動き情報取得部７００は、帯域画像動き情報初期値７０３を低周波帯域から入力して、該初期値周辺のずれ量を候補ベクトルとして位置探索を行う。ただし、一番低い帯域における帯域画像動き情報初期値７０３は０ベクトルとする。帯域画像動き情報取得部７００は、探索結果である帯域画像動き情報７０１を帯域画像補正部７０２に出力する。
【００６４】
帯域画像補正部７０２は、この動き情報７０１に応じて対象画像の高周波帯域画像４０１を補正する。相関計算部４０２、合成比率決定部４０３、加重平均化処理部４０４については、上記した第２及び第３の実施形態と共通するのでその説明を省略する。
【００６５】
本実施形態のように、分割した各帯域において位置合わせ処理をし、かつ、高周波帯域での位置合わせ処理を低周波帯域での位置合わせ処理の結果を利用して行うことにより、すなわち、探索初期位置の周辺に比較的狭い動き情報探索範囲を設定して位置合わせ処理を行うことにより、高周波帯域においても低演算量で実質的な探索範囲の広い位置合わせ処理が可能となる。
【００６６】
なお、上述の効果は、画像を帯域分割して各帯域において位置合わせ処理を行うことにより得ることができるが、本実施形態のように合成処理部において帯域分割し各帯域において合成する場合に、各帯域において同時に位置合わせを行うことで、周波数分解処理および周波数合成処理を合成処理と位置合わせ処理で共通化することが可能となり、演算量削減の効果を得ることが可能となる。
【００６７】
以上、本実施形態のように、画像を周波数分解し、各帯域において合成処理を制御することによって、微小な位置ずれにより全ての帯域において合成の効果を弱めるような処理がされてしまうことを防ぎ、アーティファクトの発生を抑える上で必要最小限な帯域でのみ合成の効果を弱めるような処理を適用することが可能となる。これによりアーティファクトの発生を抑えつつ、合成によるノイズ低減の効果を得ることが可能となる。また、各帯域で合成比率を変化させることにより、帯域を分割せずに合成比率を変化させる場合に比較して、画像上での合成効果の変動を抑制する効果を得ることができ、合成画像の画質を向上することが可能となる。さらに、分解された各帯域において位置合わせ処理を行い、低周波帯域での位置合わせ結果を高周波帯域での位置合わせに使用することによって、新たに周波数分解処理、周波数合成処理をすることなく、各帯域における位置合わせ処理を行うことが可能となり、低演算量で探索範囲の広く精度の高い位置合わせ処理が可能となる。
【００６８】
なお、上述した実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、汎用又は専用のコンピュータを用いて実現することができる。このようなコンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の故障診断装置と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【００６９】
なお、上述した実施形態は、画像処理装置が光学系及び撮像素子を備える構成としたが、必ずしもこれらを備える必要はない。この場合、画像処理装置による画像の取得は、画像処理装置への画像の入力を意味する。
【符号の説明】
【００７０】
１００  光学系
１０１  撮像素子
１０２  画像処理部
１０３  フレームメモリ
１０４  動き情報取得部
１０５  画像補正部
１０６  合成処理部
２００，２０１  周波数分解部（周波数分解手段）
２０２  高周波帯域画像合成部（帯域画像合成手段）
２０３  中周波帯域画像合成部（帯域画像合成手段）
２０４  低周波帯域画像合成部（帯域画像合成手段）
２０５  周波数合成部（画像合成手段）
３００  入力画像
３０１，３０４  フィルタ処理・縮小処理部
３０２，３０５，３１４，３１６  拡大処理部
３０３，３０６  減算器
３０７  高周波帯域画像
３０８  中周波帯域画像
３０９  低周波帯域画像
３１０  合成高周波帯域画像
３１１  合成中周波帯域画像
３１２  合成低周波帯域画像
３１３，３１５  加算器
３１７  出力画像
４００  基準画像の高周波帯域画像
４０１  対象画像の高周波帯域画像
４０２  相関計算部
４０３，４１０，５０３  合成比率決定部
４０４  加重平均化処理部
５００  基準画像のノイズレベル推定用画像
５０１  対象画像のノイズレベル推定用画像
５０２  ノイズレベル推定部
６００，６０１  ノイズレベル計算部
６０２  最大値計算部
７００  帯域画像動き情報取得部
７０１  帯域画像動き情報
７０２  帯域画像補正部
７０３  帯域画像動き情報初期値
【図１】
2011055259.tif 000003
【図２】
2011055259.tif 000004
【図３】
2011055259.tif 000005
【図４】
2011055259.tif 000006
【図５】
2011055259.tif 000007
【図６】
2011055259.tif 000008
【図７】
2011055259.tif 000009
【図８】
2011055259.tif 000010
【図９】
2011055259.tif 000011
【図１０】
2011055259.tif 000012
【図１１】
2011055259.tif 000013
【図１２】
2011055259.tif 000014
【図１３】
2011055259.tif 000015
【図１４】
2011055259.tif 000016
【図１５】
2011055259.tif 000017