(57)【要約】【課題】複数の画像を合成する場合に、精度が高く、ノイズなどの影響を受けにくい画像処理装置を提供する。【解決手段】撮像素子によって取得した複数枚の画像から、画像間の動きベクトルを取得し、処理対象画素周辺の局所領域に対応する第１の動きベクトル候補を第１の動きベクトル候補算出部２００によって算出し、局所領域よりも大きい大域領域に対応する第２の動きベクトル候補を第２の動きベクトル候補算出部２０１によって算出し、第１の動きベクトル候補または第２の動きベクトル候補に基づいて補正した画像を用いて画像の合成を行う。【選択図】図４
2012049603.tif 000002
【特許請求の範囲】
【請求項１】
複数枚の画像を取得する画像取得部と、
前記複数枚の画像間の動き情報を取得する動き情報取得部と、
前記複数枚の画像のうち少なくとも１枚の画像を前記動き情報により補正し、補正した画像と前記画像取得部によって取得した他の少なくとも１枚の画像を合成する合成部とを備え、
前記合成部は、
単一画素、あるいは複数画素からなる単位領域毎に、前記単位領域近傍の局所領域に対応する第１の動きベクトル候補を算出する第１の動きベクトル候補算出部と、
前記単位領域毎に、前記単位領域近傍であり、前記局所領域よりも大きい大域領域に対応する第２の動きベクトル候補を算出する第２の動きベクトル候補算出部とを備え、
前記合成部は、前記複数枚の画像のうち少なくとも１枚の画像を、前記第１の動きベクトル候補と前記第２の動きベクトル候補のうち少なくとも一方に基づいて補正し、前記補正した画像と前記画像取得部によって取得した他の少なくとも１枚の画像とを合成することを特徴とする画像処理装置。
【請求項２】
前記動き情報取得部は、画像中の複数の領域における動きベクトルを、前記単位領域毎に算出し、
前記第１の動きベクトル候補算出部は、前記単位領域近傍のＮ個（Ｎは自然数）の動きベクトルから前記第１の動きベクトル候補を算出し、
前記第２の動きベクトル候補算出部は、前記単位領域近傍のＭ個（ＭはＮよりも大きい自然数）の動きベクトルから第２の動きベクトル候補を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成部は、前記第１の動きベクトル候補に基づいて補正した画像と、前記第２の動きベクトル候補に基づいて補正した画像との合成比率を画素位置に応じて決定する合成比率決定部を備え、
前記合成部は、前記合成比率に基づいて、前記補正した画像と前記画像取得部によって取得した他の少なくとも１枚の画像とを合成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記合成比率決定部は、前記画素位置に応じた撮像光学系の歪み量に基づいて前記合成比率を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成部は、前記第１の動きベクトル候補に基づいて補正した画像と、前記第２の動きベクトル候補に基づいて補正した画像との合成比率を前記動き情報の信頼性に基づいて決定する合成比率決定部を備え、
前記合成部は、前記合成比率に基づいて、前記補正した画像と前記画像取得部によって取得した他の少なくとも１枚の画像とを合成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
撮像した画像をコンピュータで処理するための画像処理プログラムであって、前記コンピュータに、
複数枚の画像を取得する画像取得手順と、
前記複数枚の画像間の動き情報を取得する動き情報取得手順と、
前記複数枚の画像のうち少なくとも１枚の画像を前記動き情報により補正し、補正した画像と前記画像取得手順によって取得した他の少なくとも１枚の画像を合成する合成手順とを実行させ、
前記合成手順では、
単一画素、あるいは複数画素からなる単位領域毎に、前記単位領域近傍の局所領域に対応する第１の動きベクトル候補を算出する第１の動きベクトル候補算出手順と、
前記単位領域毎に、前記単位領域近傍であり、前記局所領域よりも大きい大域領域に対応する第２の動きベクトル候補を算出する第２の動きベクトル候補算出手順とをさらに実行させ、
前記複数枚の画像のうち少なくとも１枚の画像を、前記第１の動きベクトル候補と前記第２の動きベクトル候補のうち少なくとも一方に基づいて補正し、前記補正した画像と前記画像取得手順によって取得した他の少なくとも１枚の画像とを合成することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および画像処理プログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において静止画を撮影する際に、ノイズの少ない画像を得るためには、十分な露光時間を確保することが有効である。しかしながら露光時間を長くすると、手ぶれによるカメラの動きや、被写体の動きにより画像にぶれが生じ、画像が不鮮明になるという問題がある。このようなぶれに対処する方式として、電子ぶれ補正方式が提案されている。
【０００３】
例えば、特許文献１では、ぶれの少ない短い露光時間での撮影を連続して複数回実施し、得られた複数枚の画像間の動きがキャンセルされるようにグローバル動きベクトル（画像全体の移動量を表す動きベクトル）により位置合わせ処理をした後、複数枚の画像を合成処理することにより、ぶれの無い良好な画像を得る方式が開示されている。
【０００４】
また、画像に対して1個のグローバル動きベクトルを求めるのではなく、画像中の場所に応じて異なる局所的な動きベクトルを利用して位置合わせ処理と合成処理を行う方式も存在する。
【０００５】
例えば特許文献２では、動きベクトルを求めるターゲットブロックの数を増やすことで、画像中に複数の方向に移動する被写体が存在した場合でも対応可能な方式が開示されている。また、特許文献２では、移動体や被写体を検出し、検出した移動体や被写体を含む領域において動きベクトルを検出し、これら複数の動きベクトルから画像の各場所において適した動きベクトルを選択する方式が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４１７８４８１号公報
【特許文献２】特開２００７−３６７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１で開示されているようなグローバル動きベクトルを用いる方式は、画像全体の情報を用いてグローバル動きベクトルを算出するため、ノイズ等の影響を受けにくい安定した位置合わせが可能である。
【０００８】
しかし、画像中に複数の移動する被写体が存在する場合や、画像が光学系の歪みの影響を受けている場合等には、画像全体にわたって精度の高い位置合わせを行うことができないという問題がある。
【０００９】
また、特許文献２で開示されているような画像中の局所的な動きベクトルを用いる方式は、複数の移動する被写体が存在する場合や、画像に光学系の歪みが含まれ、グローバル動きベクトルでは位置合わせが高精度にできない場合においても、画像全体にわたって精度の高い位置合わせを行うことが可能である。
【００１０】
しかし、局所的な動きベクトルを用いる方式は、画像中のノイズの影響を受けやすい等、安定性に欠けるという問題がある。
【００１１】
本発明は、上記問題に鑑みてなされたもので、複数枚の画像を位置合わせ処理した後、合成処理することにより、ぶれを低減する電子ぶれ補正技術に関して、画像全体にわたる精度の高い位置合わせと、ノイズ等の影響を受けにくい安定した位置合わせを両立することを目的とする。
【課題を解決するための手段】
【００１２】
本発明のある態様に係る画像処理装置は、複数枚の画像を取得する画像取得部と、複数枚の画像間の動き情報を取得する動き情報取得部と、複数枚の画像のうち少なくとも１枚の画像を動き情報により補正し、補正した画像と画像取得部によって取得した他の少なくとも１枚の画像を合成する合成部とを備え、合成部は、単一画素、あるいは複数画素からなる単位領域毎に、単位領域近傍の局所領域に対応する第１の動きベクトル候補を算出する第１の動きベクトル候補算出部と、単位領域毎に、単位領域近傍であり、局所領域よりも大きい大域領域に対応する第２の動きベクトル候補を算出する第２の動きベクトル候補算出部とを備え、合成部は、複数枚の画像のうち少なくとも１枚の画像を、第１の動きベクトル候補と第２の動きベクトル候補のうち少なくとも一方に基づいて補正し、補正した画像と画像取得部によって取得した他の少なくとも１枚の画像とを合成する。
【００１３】
本発明の別の態様に係る画像処理プログラムは、撮像した画像をコンピュータで処理するための画像処理プログラムであって、コンピュータに、複数枚の画像を取得する画像取得手順と、複数枚の画像間の動き情報を取得する動き情報取得手順と、複数枚の画像のうち少なくとも１枚の画像を動き情報により補正し、補正した画像と画像取得手順によって取得した他の少なくとも１枚の画像を合成する合成手順とを実行させ、合成手順では、単一画素、あるいは複数画素からなる単位領域毎に、単位領域近傍の局所領域に対応する第１の動きベクトル候補を算出する第１の動きベクトル候補算出手順と、単位領域毎に、単位領域近傍であり、局所領域よりも大きい大域領域に対応する第２の動きベクトル候補を算出する第２の動きベクトル候補算出手順とをさらに実行させ、複数枚の画像のうち少なくとも１枚の画像を、第１の動きベクトル候補と第２の動きベクトル候補のうち少なくとも一方に基づいて補正し、補正した画像と画像取得手順によって取得した他の少なくとも１枚の画像とを合成する。
【発明の効果】
【００１４】
本発明によると、画像全体にわたる精度の高い位置合わせと、ノイズ等の影響を受けにくい安定した位置合わせを両立することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態における画像処理装置を示す概略構成図である。
【図２】第１実施形態において画像を合成する手順を示す図である。
【図３】ブロックマッチング法を説明するための図である。
【図４】第１実施形態における合成処理部を示す概略構成図である。
【図５】動きベクトル候補の算出方法を説明する図である。
【図６】第１実施形態における合成比率の決定方法を示す図である。
【図７】第１実施形態において合成比率の他の決定方法を示す図である。
【図８】本発明の第２実施形態における合成処理部を示す概略構成図である。
【図９】第２実施形態における合成比率の決定方法を示す図である。
【図１０】本発明の第３実施形態における合成処理部を示す概略構成図である。
【図１１】第３実施形態における合成比率の決定方法を示す図である。
【発明を実施するための形態】
【００１６】
本発明の第１実施形態における画像処理装置について図１を用いて説明する。図１は、第１実施形態の画像処理装置の概略構成図である。
【００１７】
本実施形態における画像処理装置は、光学系１００と、撮像素子（画像取得部）１０１と、画像処理部１０２と、フレームメモリ１０３と、動き情報取得部１０４と、合成処理部（合成部）１０５とを備える。
【００１８】
撮像素子１０１は、レンズなどで構成される光学系１００を通して受光面に入射される光に応じた電気信号を所定のタイミングで出力する。画像処理部１０２は出力された電気信号に対して色処理や階調変換処理等の画像処理を施した後の画像信号をフレームメモリ１０３に出力する。画像信号は画像データとしてフレームメモリ１０３に格納される。
【００１９】
以上の撮像処理を所定枚数分繰り返すことで、画像処理が行われた複数の画像データはフレームメモリ１０３に格納される。本実施形態においては、最大４枚の画像に対応した画像データを合成処理の対象とするものとし、４回の撮像処理により得られた画像データがフレームメモリ１０３に格納されるものとする。以下において、１枚の画像に対応する画像データを、単に画像として扱うものとする。
【００２０】
図２に４枚の画像から１枚の画像を合成する例を示す。図２においては４枚の画像をフレーム１からフレーム４とし、２枚から１枚を合成するという基本処理が３回行われ、最終的に４枚の画像から１枚の合成画像が得られる。
【００２１】
最初に、フレーム１とフレーム２とを合成し合成画像１を生成する。合成の際には一方を基準画像、他方を対象画像と定義するものとする。ここでは、フレーム１を基準画像とし、フレーム２を対象画像とする。次にフレーム３を基準画像、フレーム４を対象画像として合成し合成画像２を生成する。最後に、合成画像１を基準画像、合成画像２を対象画像として合成し、最終結果である合成画像３を生成する。
【００２２】
なお、複数枚の合成手法はこれに限られることはなく、例えば図２における合成画像１とフレーム３を合成し、合成によって得られた合成画像とフレーム４を合成する方式でもよい。また、合成の基本処理を１枚の基準画像と１枚の対象画像との計２枚によって合成処理とするのではなく、１枚の基準画像と３枚の対象画像の計４枚とすることも、動き情報取得部１０４と合成処理部１０５を拡張することにより容易に可能である。また、基準画像は、先に撮像した画像を基準画像として定める他にも、後に撮像された画像を基準画像として定めても良い。また、基本処理のたびに先後を変えることで、中間的な時刻に撮像された画像を基準にすることも可能である。
【００２３】
以下、動き情報取得部１０４と合成処理部１０５の動作を、基準画像と対象画像の２枚の画像を処理の対象とするものとして説明する。
【００２４】
動き情報取得部１０４は、フレームメモリ１０３に格納された基準画像と対象画像との間の動きを動き情報として取得する。本実施形態においては、動き情報取得部１０４はブロックマッチング法を用いて画像中に設定された複数の場所における動きベクトルを出力するものとする。図３にブロックマッチング法を説明する図を示す。まず、基準画像中にターゲットブロックを複数個設定する。図３の例では、水平方向４個、垂直方向４個、計１６個のターゲットブロック（ＴＢ１１〜ＴＢ４４）が設定されている。これら各ターゲットブロックに対して、対象画像中に動きベクトル探索領域を設定し、ベクトル探索領域中でＳＡＤ値（ブロック内の差分絶対値和）が最小となる動きベクトルを検出し、合成処理部１０５に出力する（ＭＶ１１〜ＭＶ４４）。
【００２５】
合成処理部１０５は、動き情報取得部１０４が出力する動き情報（ターゲットブロック数に応じた動きベクトル）に基づき、基準画像と対象画像の合成を実施する。図４に合成処理部１０５の構成図を示す。
【００２６】
合成処理部１０５は、第１の動きベクトル候補決定部２００と、第２の動きベクトル候補決定部２０１と、第１の画像補正部２０２と、第２の画像補正部２０３と、第１の相関計算部２０４と、第２の相関計算部２０５と、合成比率決定部２０６と、加重平均化処理部２０７とを備える。
【００２７】
第１の動きベクトル候補決定部２００は、動き情報取得部１０４が出力するＮ個の動き情報（動きベクトル）から処理対象画素の第１の動きベクトル候補を算出する。「Ｎ」は、自然数である。この際、参照する動き情報は、処理対象画素周辺の狭い局所領域における動き情報（動きベクトル）とする。
【００２８】
第２の動きベクトル候補決定部２０１は、動き情報取得部１０４が出力するＭ個の動き情報（動きベクトル）から処理対象画素の第２の動きベクトル候補を算出する。「Ｍ」は、Ｎよりも大きい自然数である。この際、参照する動き情報は、処理対象画素周辺の広い大域領域における動き情報（動きベクトル）とする。大域領域は局所領域よりも大きい領域である。
【００２９】
この様子を説明する図を図５に示す。処理対象画素の周辺に、動き情報取得部１０４が検出した動きベクトルが存在する（図５中のＭＶ１１〜ＭＶ４４）。第１の動きベクトル候補決定部２００は、処理対象画素近傍の４個の動きベクトル（ＭＶ２２、ＭＶ３２、ＭＶ２３、ＭＶ３３）に基づき、処理対象画素位置における第１の動きベクトル候補を算出する。算出方法は、４個のベクトルの平均値としてもよいし、処理対象画素位置と各動きベクトル位置との距離を考慮した加重平均処理としても良い。このようにすることで、第１の動きベクトル候補決定部２００が決定する第１の動きベクトル候補は、狭い範囲の局所的な動きを強く反映した精度の高い動きベクトルであることが期待できる半面、ノイズ等の影響を受けやすい不安定な動きベクトルとなる恐れがある。
【００３０】
一方、第２の動きベクトル候補決定部２０１は、処理対象画素近傍の１６個の動きベクトル（ＭＶ１１〜ＭＶ４４）に基づき、処理対象画素位置における第２の動きベクトル候補を算出する。算出方法は、１６個のベクトルの平均値や加重平均値としてもよいし、これら動きベクトルをヒストグラム処理し、発生頻度の最も高い動きベクトルを採用しても良い。このようにすることで、第２の動きベクトル候補決定部２０１が決定する第２の動きベクトル候補は、広い範囲の大域的な動きを反映するものの局所的な動きを反映できない精度の低い動きベクトルとなる恐れがある半面、ノイズ等の影響を受けにくい安定な動きベクトルとなることが期待できる。
【００３１】
なお、図５においては、第１の動きベクトル候補決定部２００は、４個の動きベクトルに基づいて処理対象画素位置における第１の動きベクトル候補を算出し、第２の動きベクトル候補決定部２０１は、１６個の動きベクトルに基づき処理対象画素位置における第２の動きベクトル候補を算出したが、これは一例であり、これに限られることはない。
【００３２】
第１の画像補正部２０２は、第１の動きベクトル候補決定部２００が算出した第１の動きベクトル候補に基づき、対象画像を変形する。また、第２の画像補正部２０３は、第２の動きベクトル候補決定部２０１が算出した第２の動きベクトル候補に基づき、対象画像を変形する。具体的には、第１の画像補正部２０２と第２の画像補正部２０３とは、基準画像における処理対象画素位置に対応する対象画像の画素位置をそれぞれの動きベクトルから算出し画素値を得る。
【００３３】
第１の相関計算部２０４は、基準画像の処理対象画素と第１の画像補正部２０２が対応づけた画素との相関値を計算する。また、第２の相関計算部２０５は、基準画像の処理対象画素と第２の画像補正部２０３が対応づけた画素との相関値を計算する。具体的には、相関値は画素値の差分の絶対値等である。この差分の絶対値が小さい場合（相関が大きい場合）には、動きベクトルが適正である可能性が高く合成処理に用いることができ、この差分の絶対値が大きい場合（相関が小さい場合）には、動きベクトルが適正でない可能性があり合成処理に用いることができないと判断する。なお、相関値としては画素値の差分絶対値ではなく、小ブロック（３×３画素や５×５画素）の差分絶対値和としても良い。この際には、用いる基準画像の画素値は、処理対象画像周辺の小ブロックの画素値となり、対象画像の画素値は、対象画像を各動きベクトルによって補正した後の画像において対応する小ブロックの画素値となる。
【００３４】
合成比率決定部２０６は、第１の相関計算部２０４、第２の相関計算部２０５によって計算された相関値（差分絶対値）に応じて、加重平均化処理部２０７における重み（合成比率）を決定する。図６に合成比率の決定方法の例を示す。図６（ａ）は、相関値の差と第１合成比率との関係を示す図である。図６（ｂ）は、相関値の差と第２合成比率との関係を示す図である。
【００３５】
図６（ａ）中の第１合成比率は、基準画像の画素値の重みを１．０とした場合の、第１の画像補正部２０２の出力画素値の重みであり、図６（ｂ）中の第２合成比率は、第２の画像補正部２０３の出力画素値の重みである。また、図６中の相関値の差とは、第２の相関計算部２０５によって計算された相関値（差分絶対値）から第１の相関計算部２０４によって計算された相関値（差分絶対値）を引いた値である。この相関値の差が正の値の場合には、第１の画像補正部２０２の出力画素値が基準画像の画素値と相関が高く、負の値の場合には、第２の画像補正部２０３の出力画素値が基準画像の画素値と相関が高いことを意味する。図６に示す例では、第１の画像補正部２０２の出力画素値と第２の画像補正部２０３の出力画素値の内、基準画像の画素値と相関の高い方の画素値のみを加重平均化処理部２０７で合成に用いる。
【００３６】
この他にも、図７に示す例のように、合成比率を０．０から１．０にゆるやかに遷移させることで、相関値の差の絶対値が小さい場合には双方の画素値を合成に用いる構成とすることも可能である。図７（ａ）は、相関値の差と第１合成比率との関係を示す図である。図７（ｂ）は、相関値の差と第２合成比率との関係を示す図である。
【００３７】
また、第１の相関計算部２０４、第２の相関計算部２０５が計算する相関値がともに所定の閾値よりも小さい場合（画素値の差分絶対値がともに所定の閾値よりも大きい場合）には、どちらの動きベクトル候補も適正でないと判断して、双方の画素をともに合成に使用しないように第１合成比率、第２合成比率を０．０にすることも可能である。
【００３８】
加重平均化処理部２０７は、合成比率決定部２０６が出力する合成比率に基づき、基準画像の画素、第１の画像補正部２０２の出力画素と第２の画像補正部２０３の出力画素との間で加重平均処理を行い、これを合成画像の画素とする。
【００３９】
以上のような処理を画像中の全画素に対して行い合成画像を得る。
【００４０】
なお、本実施形態においては、画像中の全画素において、１つの画素からかる単位領域毎に、第１の動きベクトル候補決定部２００と第２の動きベクトル候補決定部２０１とで各動きベクトル候補の計算をする例を示したが、複数の画素からなる単位領域毎に計算することも可能である。例えば単位領域を１６×１６画素のブロックとし、当該ブロック内では同一の動きベクトル候補を使用する。このようにすることで、動きベクトル候補決定に必要な演算量を削減することが可能である。また、第２の動きベクトル候補決定部で決定する第２の動きベクトル候補をグローバル動きベクトル（画像全体を代表する１個の動きベクトル）とすることも可能である。このようにすることで、第２の動きベクトル候補決定部２０１の演算量をさらに削減することが可能である。
【００４１】
なお、本実施形態においては、動きベクトル候補を２個算出する構成を示したが、これを３個以上とする構成も可能である。
【００４２】
本発明の第１実施形態の効果について説明する。
【００４３】
本実施形態のように、第１の動きベクトル候補決定部２００で処理対象画素近傍の局所領域を参照して第１の動きベクトル候補を決定し、第２の動きベクトル候補決定部２０１で処理対象画素近傍の大域領域を参照して第２の動きベクトル候補を決定し、これらを用いて合成処理をすることで、画像全体にわたる精度の高い位置合わせと、ノイズ等の影響を受けにくい安定した位置合わせを両立した画像合成が可能となる。
【００４４】
さらに、本実施形態のように、動き情報取得部１０４で計算された動き情報（複数の動きベクトル）から、第１の動きベクトル候補決定部２００と第２の動きベクトル候補決定部２０１で特性の異なる複数の動きベクトル候補を算出することにより、膨大な演算量が必要なブロックマッチング処理を繰り返すことなく、特性の異なる複数の動きベクトル候補を得ることが可能となる。
【００４５】
次に本発明の第２実施形態について図８を用いて説明する。図８は第２実施形態の合成処理部３００を示す概略構成図である。
【００４６】
第２実施形態では合成処理部３００における合成比率決定部３０１が、第１実施形態と異なっており、第２実施形態については第１実施形態と異なる部分を中心に説明する。図８において、第１実施形態と同じ構成については、第１実施形態と同じ符号を付し、ここでの説明は省略する。
【００４７】
第１実施形態においては、処理対象画素近傍の局所領域を参照して決定した第１の動きベクトル候補と、処理対象画素近傍の大域領域を参照して決定した第２の動きベクトル候補とを算出し、相関値の差に基づいて第１合成比率および第２合成比率を決定している。その際の第１合成比率および第２合成比率の決定は、画像中のどの画素位置においても同一の評価尺度で行っている。つまり、画素位置に応じて第１合成比率および第２合成比率を変更するものではない。本実施形態では、画像中の画素位置に応じて合成比率を変更する。
【００４８】
撮像した画像に光学系１００に起因する歪みが強く存在する場合、画面端に近い画素においては、この歪みの影響を強く受ける。このため画面端に近い画素においては、第２の動きベクトル候補決定部２０１が決定する大域領域を参照して決定した第２の動きベクトル候補よりも、第１の動きベクトル候補決定部２００が決定する局所領域を参照して決定した第１の動きベクトル候補によって補正された画像を用いて合成が行われやすくすることが望ましい。
【００４９】
このような特性を実現するために、本実施形態においては合成比率決定部３０１を図９に示すように動作させる。図９（ａ）は、相関値の差と第１合成比率との関係を示す図である。図９（ｂ）は、相関値の差と第２合成比率との関係を示す図である。
【００５０】
第１合成比率決定部３０１には、事前に光学系１００の歪み情報を設定しておく。画素位置と歪み情報から、処理対象画素位置における歪み量を算出する。歪み量が大きくなるにしたがって、第１合成比率が１．０、第２合成比率が０．０となりやすいようにするために、図９に示すように画素位置に応じて相関値の差と合成比率の関係を変更する。具体的には、算出した歪量に応じたオフセット値をテーブル化等の手法により設定しておき、第１合成比率が０．０から１．０に変位する相関値の差を当該オフセット分ずらすことで、歪み量が大きい領域においては第１合成比率が１．０となりやすいようにし、局所領域を参照した第１の動きベクトル候補を用いて補正した画像によって画像合成が行われるようにする。
【００５１】
本発明の第２実施形態の効果について説明する。
【００５２】
本実施形態のように、画素位置に応じて合成比率を可変とすることで、第１の実施の形態における効果に加えて、画素位置に起因した位置合わせ精度の劣化を抑えることが可能となる。例えば、光学系１００の歪み量が大きい領域においては、局所領域を参照して決定した第１の動きベクトル候補によって補正された画像を用いて画像合成が行われやすくすることで、光学系１００の歪みに起因した位置合わせ精度の劣化を押さえることができる。
【００５３】
次に本発明の第３実施形態について図１０を用いて説明する。図１０は第３実施形態の合成処理部４００を示すブロック図である。
【００５４】
第３実施形態では合成処理部４００における、第１の動きベクトル候補決定部４０１と合成比率決定部４０２とが、第１実施形態と異なっており、第３実施形態については第１実施形態と異なる部分を中心に説明する。図１０において、第１実施形態と同じ構成については、第１実施形態と同じ符号を付し、ここでの説明は省略する。
【００５５】
動き情報取得部１０４が計算する各動きベクトルは、ノイズ等の影響で不安定となる問題以外にも、画像の内容がブロックマッチングに適さない場合にも不安定となる。例えば、画像中に平坦な低コントラスト領域があった場合、ブロックマッチングで動きベクトルを探索するとＳＡＤ値が小さい動きベクトルが大量に発生し、その中から最小のＳＡＤ値を示すものを動きベクトルと決定してもその信頼性は低くなる。あるいは、画像中に繰り返しパターンが存在する場合には、繰り返しの周期でＳＡＤ値が小さい動きベクトルが発生するため、低コントラスト領域と同様に信頼性が低くなる。このような現象はブロックマッチング処理の過程で算出されるＳＡＤ値を解析することにより予測することが可能である。例えば、探索した動きベクトルの中で、最小値を示したＳＡＤ値と次に小さい値を示したＳＡＤ値の差が所定の閾値以下であった場合には、最小値を示した動きベクトルの信頼性は低いと判断することが可能である。
【００５６】
本実施形態においては、動き情報取得部１０４におけるブロックマッチング処理において、画像の各場所における動きベクトルに加えて信頼性情報を算出し、これらを動き情報とする。
【００５７】
合成処理部４００では、信頼性情報を参照して、信頼性が低い動きベクトルが近傍に存在する場合には、第１の動きベクトル候補決定部４０１における局所領域を参照した第１の動きベクトル候補よりも、第２の動きベクトル候補決定部２０１における大域領域を参照した第２の動きベクトル候補を用いて補正した画像によって画像合成が行われやすくなる。
【００５８】
信頼性情報と動きベクトル情報からなる動き情報は、第１の動きベクトル候補決定部４０１に入力される。
【００５９】
第１の動きベクトル候補決定部４０１は、第１実施形態における第１の動きベクトル候補決定部２００と同様に近傍局所領域を参照した第１の動きベクトル候補を算出するとともに、同領域中に含まれる信頼性の低い動きベクトル数をカウントし、合成比率決定部４０２に出力する。例えば図５において、ＭＶ２２、ＭＶ３２、ＭＶ２３、ＭＶ３３の内、ＭＶ２２とＭＶ３２が信頼性の低い動きベクトルだった場合には、これらをカウントし２個という値を合成比率決定部４０２に出力する。
【００６０】
合成比率決定部４０２は、第１実施形態における合成比率決定部２０６と同様に合成比率を決定するが、信頼性が低い動きベクトル数が多くなるにしたがって、第１合成比率が０．０、第２合成比率が１．０となりやすいようにするために、図１１に示すように動きベクトルの信頼性に基づいて相関値の差と合成比率の関係を変更する。図１１（ａ）は、相関値の差と第１合成比率との関係を示す図である。図１１（ｂ）は、相関値の差と第２合成比率との関係を示す図である。具体的には、信頼性が低い動きベクトル数に応じたオフセット値をテーブル化等の手法により設定しておき、第１合成比率が０．０から１．０に変位する相関値の差を当該オフセット分ずらすことで、信頼性が低い動きベクトルの数が多い領域においては第１合成比率が０．０となりやすいようにし、大域領域を参照した第２の動きベクトル候補によって補正された画像を用いて画像合成が行われるようにする。
【００６１】
本発明の第３実施形態の効果について説明する。
【００６２】
本実施形態のように、動きベクトルの信頼性に基づいて合成比率を可変とすることで、第１の実施の形態における効果に加えて、さらに位置合わせの安定性が向上するという効果を得ることが可能となる。
【００６３】
なお、第２実施形態と第３実施形態とを組み合わせることも可能である。
【００６４】
上述した実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。
【００６５】
この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読取り可能な記憶媒体を備える。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上記ハードウェアによる画像処理装置と同様の処理を実現させる。
【００６６】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００６７】
本発明は上記した実施形態に限定されるものではなく、その技術的思想の範囲内でなしうるさまざまな変更、改良が含まれることは言うまでもない。
【符号の説明】
【００６８】
１０１  撮像素子（画像取得部）
１０２  画像処理部
１０３  フレームメモリ
１０４  動き情報取得部
１０５、３００、４００  合成処理部（合成部）
２００、４０１  第１の動きベクトル候補決定部
２０１  第２の動きベクトル候補決定部
２０６、３０１、４０２  合成比率決定部
２０７  加重平均化処理部
【図１】
2012049603.tif 000003
【図２】
2012049603.tif 000004
【図３】
2012049603.tif 000005
【図４】
2012049603.tif 000006
【図５】
2012049603.tif 000007
【図６】
2012049603.tif 000008
【図７】
2012049603.tif 000009
【図８】
2012049603.tif 000010
【図１０】
2012049603.tif 000011
【図９】
2012049603.tif 000012
【図１１】
2012049603.tif 000013