(57)【要約】【課題】位置ずれ量を求める際に、計算スピードや計算量の面で問題がある。【解決手段】複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置は、複数枚の画像を縮小することにより、位置合わせ用の画像を生成し、位置合わせ用の画像において、動きベクトルを測定するための動きベクトル測定領域を設定し、設定した動きベクトル測定領域を用いて、位置合わせ用画像における画素精度の動きベクトルを求め、求めた画素精度の動きベクトルに対して、サブピクセル精度の動きベクトルを求める。そして、求めたサブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の位置合わせ用の画像を縮小前の複数枚の画像に変換する際の変換率で変換することにより、複数枚の画像間の位置ずれ量を求める。【選択図】図１
2009230537.tif 000002
【特許請求の範囲】
【請求項１】
複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、
前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成する位置合わせ用画像生成部と、
前記位置合わせ用の画像において、動きベクトルを測定するための動きベクトル測定領域を設定する動きベクトル測定領域設定部と、
前記動きベクトル測定領域を用いて、前記位置合わせ用の画像における画素精度の動きベクトルを求める画素精度動きベクトル演算部と、
前記画素精度の動きベクトルに対して、サブピクセル精度の動きベクトルを求めるサブピクセル精度動きベクトル演算部と、
前記サブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記動きベクトル測定領域設定部は、前記位置合わせ用の画像において、前記動きベクトル測定領域を複数設定し、
前記画素精度動きベクトル演算部は、前記複数の動きベクトル測定領域の各々において、前記位置合わせ用の画像における画素精度の動きベクトルを求め、
前記サブピクセル精度動きベクトル演算部は、前記複数の動きベクトル測定領域の各々において求められた複数の画素精度の動きベクトルのうち、最も数が多い動きベクトルを選択し、選択した最も数が多い動きベクトルに対して、前記サブピクセル精度の動きベクトルを求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記サブピクセル精度動きベクトル演算部は、
前記複数の動きベクトル測定領域の各々において求められた画素精度の動きベクトルの信頼度を算出する動きベクトル信頼度算出部と、
前記動きベクトルの信頼度に基づいて、前記画素精度の動きベクトルのうち信頼度の高い動きベクトルを選択する高信頼度動きベクトル選択部と、
を備え、
前記サブピクセル精度動きベクトル演算部は、前記信頼度の高い複数の動きベクトルの中から最も数が多い動きベクトルを選択し、選択した最も数が多い動きベクトルに対して、前記サブピクセル精度の動きベクトルを求めることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記サブピクセル精度動きベクトル演算部は、前記選択した最も数が多い動きベクトルのそれぞれに対して、複数のサブピクセル精度の動きベクトルを求めるものであり、
前記代表ベクトルは、前記複数のサブピクセル精度の動きベクトルに基づいて求められる平均ベクトルであることを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記位置ずれ量算出部は、
縮小後の前記位置合わせ用の画像を、縮小前の前記複数枚の画像に変換する際の変換率を算出する変換率算出部と、
前記求めた代表ベクトルを前記変換率で変換したときの動きベクトルが画素精度になるように、前記求めた代表ベクトルを更新する代表ベクトル更新部と、
を備え、
前記位置ずれ量算出部は、前記更新した代表ベクトルを前記変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求めることを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記位置ずれ量算出部は、
縮小後の前記位置合わせ用の画像を、縮小前の前記複数枚の画像に変換する際の変換率を算出する変換率算出部を備え、
前記位置ずれ量算出部は、前記求めた代表ベクトルを前記変換率で直接変換することを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。
【請求項７】
前記サブピクセル精度動きベクトル演算部は、前記最も数が多い動きベクトルの数が所定のしきい値以上の場合に、前記サブピクセル精度の動きベクトルを求めることを特徴とする請求項２から請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記サブピクセル精度動きベクトル演算部は、前記最も数が多い動きベクトルが位置する画素位置の近傍範囲内において、前記サブピクセル精度の動きベクトルを求めることを特徴とする請求項２から請求項７のいずれか一項に記載の画像処理装置。
【請求項９】
前記画素精度動きベクトル演算部は、
前記位置合わせ用の画像上において前記動きベクトル測定領域を画素ごとに移動させる移動部と、
前記動きベクトル測定領域の画像上の位置を示す位置情報と、その動きベクトル測定領域に含まれる画素の画素値に応じた一致指標値との対応関係情報を格納する格納部と、
前記動きベクトル測定領域を画素ごとに移動させる度に前記動きベクトル測定領域の一致指標値を取得し、その取得した一致指標値が前記格納部に格納されている一致指標値よりも、一致度合いが大きいことを示す一致指標値である場合に、前記格納部に格納された対応関係情報を、前記取得した一致指標値とその一致指標値に対応する動きベクトル測定領域の位置情報との対応関係情報に更新する更新部と、
を備え、
前記画素精度動きベクトル演算部は、前記動きベクトル測定領域の移動が終了した時点における前記格納部内に格納された位置情報を参照し、その位置情報が示す画像上の位置を前記画素精度の動きベクトルが位置する画素位置として定めることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記サブピクセル精度動きベクトル演算部は、前記画素精度の動きベクトルが位置する画素位置の近傍範囲内において、前記サブピクセル精度の動きベクトルを求めることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
位置ずれが生じた画像を前記位置ずれ量に基づいてシフトさせ、前記シフトさせた後の画像を、基準となる画像に加算する加算部をさらに備えることを特徴とする請求項１から請求項１０のいずれか一項に記載の画像処理装置。
【請求項１２】
位置ずれが生じた画像を前記位置ずれ量に基づいてシフトさせるシフト部をさらに備えることを特徴とする請求項１から請求項１０のいずれか一項に記載の画像処理装置。
【請求項１３】
複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、
前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成する位置合わせ用画像生成部と、
前記位置合わせ用の画像において、動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定部と、
前記複数の動きベクトル測定領域の各々において、前記位置合わせ用画像における画素精度の動きベクトルとともに、サブピクセル精度の動きベクトルを求める動きベクトル演算部と、
前記複数の動きベクトル測定領域の各々において求められた画素精度の動きベクトルのうち、最も数が多い動きベクトルを選択する最多動きベクトル選択部と、
前記サブピクセル精度の動きベクトルのうち、前記最も数が多い動きベクトルのそれぞれに対応するサブピクセル精度の動きベクトルを選択するサブピクセル精度動きベクトル選択部と、
前記選択されたサブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、
を備えることを特徴とする画像処理装置。
【請求項１４】
請求項１から請求項１３のいずれか一項に記載の画像処理装置を有することを特徴とする電子機器。
【請求項１５】
複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、
前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成するステップと、
前記位置合わせ用の画像において、動きベクトルを測定するための動きベクトル測定領域を設定するステップと、
前記動きベクトル測定領域を用いて、前記位置合わせ用画像における画素精度の動きベクトルを求めるステップと、
前記画素精度の動きベクトルに対して、サブピクセル精度の動きベクトルを求めるステップと、
前記サブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求めるステップと、
を備えることを特徴とする画像処理プログラム。
【請求項１６】
複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、
前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成するステップと、
前記位置合わせ用の画像において、動きベクトルを測定するための複数の動きベクトル測定領域を設定するステップと、
前記複数の動きベクトル測定領域の各々において、前記位置合わせ用画像における画素精度の動きベクトルとともに、サブピクセル精度の動きベクトルを求めるステップと、
前記複数の動きベクトル測定領域の各々において求められた画素精度の動きベクトルのうち、最も数が多い動きベクトルを選択するステップと、
前記サブピクセル精度の動きベクトルのうち、前記最も数が多い動きベクトルのそれぞれに対応するサブピクセル精度の動きベクトルを選択するステップと、
前記選択されたサブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求めるステップと、
を備えることを特徴とする画像処理プログラム。
【請求項１７】
複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、
前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成するステップと、
前記位置合わせ用の画像において、動きベクトルを測定するための動きベクトル測定領域を設定するステップと、
前記動きベクトル測定領域を用いて、前記位置合わせ用画像における画素精度の動きベクトルを求めるステップと、
前記画素精度の動きベクトルに対して、サブピクセル精度の動きベクトルを求めるステップと、
前記サブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求めるステップと、
を備えることを特徴とする画像処理方法。
【請求項１８】
複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、
前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成するステップと、
前記位置合わせ用の画像において、動きベクトルを測定するための複数の動きベクトル測定領域を設定するステップと、
前記複数の動きベクトル測定領域の各々において、前記位置合わせ用画像における画素精度の動きベクトルとともに、サブピクセル精度の動きベクトルを求めるステップと、
前記複数の動きベクトル測定領域の各々において求められた画素精度の動きベクトルのうち、最も数が多い動きベクトルを選択するステップと、
前記サブピクセル精度の動きベクトルのうち、前記最も数が多い動きベクトルのそれぞれに対応するサブピクセル精度の動きベクトルを選択するステップと、
前記選択されたサブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求めるステップと、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像間の重ね合わせ技術や、画像間のブレ補正技術など、複数枚画像の位置合わせ技術に関する。
【背景技術】
【０００２】
デジタルカメラなどの電子撮像機器において、シャッタ速度が遅くなると手ブレや被写体ブレに起因する像ブレが発生しやすくなることが知られている。手ブレによる像ブレを抑制する方法として、機械式手ブレ補正と電子式手ブレ補正がある。機械手ブレ補正は、ジャイロセンサなどを用いて変位量を測定し、撮像光軸を偏心させる補正光学系を駆動することにより像ブレ補正を行うレンズシフト方式と、撮像素子を移動することにより像ブレ補正を行うセンサシフト方式がある。電子式手ブレ補正は、高速に複数フレーム（複数枚画像）を撮像し、それらフレーム間の位置ずれ量を、センサもしくは画像処理手法を用いて測定し、位置ずれ量を補償したうえでフレーム積算することで画像を生成する手法である。
【０００３】
フレーム間の位置ずれ量を求める技術としてブロックマッチング法が一般的に知られている。ブロックマッチング法は、基準フレームにおいて適当な大きさのブロック（例えば８画素×８ライン）を定義し、比較対象フレームの該当箇所から一定範囲において一致指標値を計算し、その一致指標値が最も大きくなる（または小さくなる）フレーム間の相対的ずれ量を計算する手法である。
【０００４】
一致指標値としては、画素値の差分の自乗和である誤差自乗和ＳＳＤ(Sum of Squared intensity Difference)、画素値の差分の絶対値和である誤差絶対値和ＳＡＤ(Sum of Absolute intensity Difference)などがある。ＳＳＤ、ＳＡＤが小さいほど、一致度が高いと判断する。マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'において、画素位置ｐ∈Ｉおよび、ｑ∈Ｉ'(ｐ，ｑは２次元の値を持つ量で、Ｉ，Ｉ'は２次元の領域、ｐ∈Ｉは座標ｐが領域Ｉに含まれていることを示す)の画素値をそれぞれＬｐ、Ｌｑとすると、ＳＳＤ、ＳＡＤは、それぞれ次式（１）、（２）で表される。
【０００５】
【数１】
2009230537.tif 000003
【０００６】
【数２】
2009230537.tif 000004
【０００７】
その他に、正規化相互相関ＮＣＣ(Normalized Cross-Correlation)を用いる方法がある。ゼロ平均相関は、マッチングの基準ブロック領域Ｉおよび対象とするブロック領域Ｉ'の各々に含まれる画素ｐ∈Ｉおよび、ｑ∈Ｉ'の平均値Ａｖｅ（Ｌｐ）、Ａｖｅ（Ｌｑ）を算出し、各ブロックに含まれる画素値との差分を次式（３）、（４）により計算する。
【０００８】
【数３】
2009230537.tif 000005
【０００９】
【数４】
2009230537.tif 000006
【００１０】
続いて、正規化相互相関ＮＣＣを次式（５）により計算する。
【００１１】
【数５】
2009230537.tif 000007
【００１２】
正規化相互相関ＮＣＣの大きいブロックを一致度の高い（相関の高い）ブロックと判断し、最も一致度の高いブロックＩ'とＩの間の相対的ズレ量を求める。
【００１３】
ブロックマッチングは、一般的に探索範囲内の全ての位置ずれ量に対してＳＳＤ、ＳＡＤ、ＮＣＣなどを演算するため計算量が多く、高速処理の阻害要因となっている。そのため、ピラミッドマッチングが用いられることがある。
【００１４】
ピラミッドマッチングでは、基準フレームと比較対象フレームのフレーム対について、それぞれ縮小率を変えた複数の画像セットを用意する。まず、縮小率の大きな（画像サイズが小さな）フレーム対で位置ずれ量を求め、その位置ずれ量をもとに縮小率の小さな（画像サイズが大きな）フレーム対で位置ずれ量を求めることで、位置ずれ量の探索範囲を縮小する（特許文献１）。
【特許文献１】特開２００４−３４３４８３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかし、特許文献１に開示された上記ピラミッドサーチを用いた電子ブレ補正技術では、縮小率の最も大きな最下層の画像（サイズが最小の画像）から最上層の原画像（サイズが最大の画像）に移行するに従って順次、それぞれ縮小率が異なる複数のフレームについて位置ずれ量の計算を何度も繰り返し行う必要があり、計算スピードや計算量の面で問題がある。
【００１６】
本発明は上記の課題に鑑みてなされたものであり、その目的は、位置ずれ量の計算コストを削減し、高速度な画像フレームの位置合わせを実現することである。
【課題を解決するための手段】
【００１７】
本発明のある態様に係る画像処理装置は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成する位置合わせ用画像生成部と、前記位置合わせ用の画像において、動きベクトルを測定するための動きベクトル測定領域を設定する動きベクトル測定領域設定部と、前記動きベクトル測定領域を用いて、前記位置合わせ用画像における画素精度の動きベクトルを求める画素精度動きベクトル演算部と、前記画素精度の動きベクトルに対して、サブピクセル精度の動きベクトルを求めるサブピクセル精度動きベクトル演算部と、前記サブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、を備えることを特徴とする。
【００１８】
本発明の別の態様に係る画像処理装置は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理装置であって、前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成する位置合わせ用画像生成部と、前記位置合わせ用の画像において、動きベクトルを測定するための複数の動きベクトル測定領域を設定する動きベクトル測定領域設定部と、前記複数の動きベクトル測定領域の各々において、前記位置合わせ用画像における画素精度の動きベクトルとともに、サブピクセル精度の動きベクトルを求める動きベクトル演算部と、前記複数の動きベクトル測定領域の各々において求められた画素精度の動きベクトルのうち、最も数が多い動きベクトルを選択する最多動きベクトル選択部と、前記サブピクセル精度の動きベクトルのうち、前記最も数が多い動きベクトルのそれぞれに対応するサブピクセル精度の動きベクトルを選択するサブピクセル精度動きベクトル選択部と、前記選択されたサブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求める位置ずれ量算出部と、を備えることを特徴とする。
【００１９】
本発明のさらに別の態様に係る画像処理プログラムは、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成するステップと、前記位置合わせ用の画像において、動きベクトルを測定するための動きベクトル測定領域を設定するステップと、前記動きベクトル測定領域を用いて、前記位置合わせ用画像における画素精度の動きベクトルを求めるステップと、前記画素精度の動きベクトルに対して、サブピクセル精度の動きベクトルを求めるステップと、前記サブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。
【００２０】
本発明のさらに別の態様に係る画像処理プログラムは、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理をコンピュータに実行させるための画像処理プログラムであって、前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成するステップと、前記位置合わせ用の画像において、動きベクトルを測定するための複数の動きベクトル測定領域を設定するステップと、前記複数の動きベクトル測定領域の各々において、前記位置合わせ用画像における画素精度の動きベクトルとともに、サブピクセル精度の動きベクトルを求めるステップと、前記複数の動きベクトル測定領域の各々において求められた画素精度の動きベクトルのうち、最も数が多い動きベクトルを選択するステップと、前記サブピクセル精度の動きベクトルのうち、前記最も数が多い動きベクトルのそれぞれに対応するサブピクセル精度の動きベクトルを選択するステップと、前記選択されたサブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。
【００２１】
本発明のさらに別の態様に係る画像処理方法は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成するステップと、前記位置合わせ用の画像において、動きベクトルを測定するための動きベクトル測定領域を設定するステップと、前記動きベクトル測定領域を用いて、前記位置合わせ用画像における画素精度の動きベクトルを求めるステップと、前記画素精度の動きベクトルに対して、サブピクセル精度の動きベクトルを求めるステップと、前記サブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。
【００２２】
本発明のさらに別の態様に係る画像処理方法は、複数枚の画像間の位置ずれ量を用いて複数枚の画像の位置合わせ処理を行う画像処理方法であって、前記複数枚の画像を縮小することにより、位置合わせ用の画像を生成するステップと、前記位置合わせ用の画像において、動きベクトルを測定するための複数の動きベクトル測定領域を設定するステップと、前記複数の動きベクトル測定領域の各々において、前記位置合わせ用画像における画素精度の動きベクトルとともに、サブピクセル精度の動きベクトルを求めるステップと、前記複数の動きベクトル測定領域の各々において求められた画素精度の動きベクトルのうち、最も数が多い動きベクトルを選択するステップと、前記サブピクセル精度の動きベクトルのうち、前記最も数が多い動きベクトルのそれぞれに対応するサブピクセル精度の動きベクトルを選択するステップと、前記選択されたサブピクセル精度の動きベクトルに基づいて代表ベクトルを求め、その求めた代表ベクトルを、縮小後の前記位置合わせ用の画像を縮小前の前記複数枚の画像に変換する際の変換率で変換することにより、前記複数枚の画像間の位置ずれ量を求めるステップと、を備えることを特徴とする。
【００２３】
これら態様によれば、例えば、特許文献１に開示されているように、縮小率が異なる複数のフレームについて繰り返し位置ずれ量の計算を行う必要がないので、高速度に複数枚の画像間の位置合わせを行うことができる。
【発明の効果】
【００２４】
本発明によれば、高速度に複数枚の画像間の位置合わせ処理を行うことができる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００２６】
−第１の実施の形態−
図１は、第１の実施の形態の電子ブレ補正を行う画像処理装置の構成を示すブロック図である。図中、点線は制御信号、細線は信頼度や位置ずれ量等のデータの流れ、太線は画像データの流れを表している。この実施の形態に係る画像処理装置は電子機器に搭載される。電子機器とは、正しく作動するために電流または電磁界に依存する装置であって、例えば、電子計算機、デジタルカメラ、デジタルビデオカメラ、内視鏡などの装置を指す。
【００２７】
メインコントローラ１０１は、装置全体の動作制御を行うプロセッサであり、各処理ブロックへのコマンド生成やステータス管理を行う。
【００２８】
撮像部１０２によって撮影された複数フレームの画像は、フレームメモリ１０３に格納される。フレームメモリ１０３に格納された複数のフレームデータには、位置合わせの基準となるフレーム（以下、基準フレームと呼ぶ）のデータと、基準フレームに対して位置合わせを行うフレーム（以下、対象フレームと呼ぶ）のデータとがある。
【００２９】
位置合わせ用画像生成部１０４は、基準フレームと対象フレームのそれぞれについて、位置合わせに適した画像への変換を行い、位置合わせ用画像（基準フレーム）および位置合わせ用画像（対象フレーム）を生成する。位置合わせ用画像（基準フレーム）は、基準フレームの画像から生成された画像であり、位置合わせ用画像（対象フレーム）は、対象フレームの画像から生成された画像である。位置合わせ用画像（基準フレーム）および位置合わせ用画像（対象フレーム）の詳細については、後述する。
【００３０】
動きベクトル測定領域設定部１０５は、位置合わせ用画像において、動きベクトルを測定するための複数の動きベクトル測定領域を設定する。より具体的には、位置合わせ用画像（基準フレーム）および位置合わせ用画像（対象フレーム）に基づいて、位置合わせの基準領域であるテンプレート領域と、位置合わせ範囲である探索範囲とを設定する。テンプレート領域および探索範囲の詳細については、後述する。
【００３１】
動きベクトル演算部１０６は、複数の動きベクトル測定領域の各々において、位置合わせ用画像における画素精度の動きベクトルを求める。より具体的には、フレームメモリ１０３に格納されている位置合わせ用画像（基準フレーム）および位置合わせ用画像（対象フレーム）と、動きベクトル測定領域設定部１０５で設定したテンプレート領域および探索範囲を用いて、対象フレームから基準フレームへの写像を表す動きベクトル（画素精度）を算出する。動きベクトルを算出する方法については後述する。
【００３２】
動きベクトル信頼度算出部１０７は、動きベクトル演算部１０６で算出された各動きベクトル（画素精度）について、処理結果の信頼性を表す信頼度を算出する。信頼度の算出方法については後述する。
【００３３】
動きベクトル統合処理部１０８は、動きベクトルの信頼度に基づいて、信頼度の高い動きベクトルを複数選択し、選択した複数の信頼度の高い動きベクトルのうち、最も数の多い動きベクトルを選択し、選択した最も数の多い動きベクトルに対して、サブピクセル精度の動きベクトルを求める。そして、求めたサブピクセル精度の動きベクトルに基づいて代表ベクトルを求めて、縮小後の位置合わせ用画像を縮小前の複数枚の画像に変換する際の変換率で直接変換することにより、画像間の位置ずれ量を求める。動きベクトル統合処理部１０８で行われる処理の詳細については、後述する。
【００３４】
フレーム加算部１０９は、基準フレーム、対象フレーム、画像間の位置ずれ量に基づいて、対象フレームをシフトし、所定のフレームメモリへ加算する。
【００３５】
図２は、第１の実施の形態における画像処理装置によって行われる処理の処理手順を示すフローチャートである。ステップＳ２００において、位置合わせ用画像生成部１０４は、フレームメモリ１０３に格納されている基準フレームと対象フレームのそれぞれについて、位置合わせ用の画像である位置合わせ用画像（基準フレーム）と位置合わせ用画像（対象フレーム）を生成する。位置合わせ用画像（基準フレーム）および位置合わせ用画像（対象フレーム）は、基準フレームおよび対象フレームをそれぞれ縮小した画像である。
【００３６】
ステップＳ２１０において、動きベクトル測定領域設定部１０５は、位置合わせ用画像において動きベクトルの測定領域を格子状に設定する。
【００３７】
図３（ａ）は、位置合わせ用画像（対象フレーム）において設定された、位置合わせの基準領域であるテンプレート領域３０１、すなわち、動きベクトル測定領域を示す図である。図３（ａ）に示すように、テンプレート領域３０１は、所定の大きさの矩形領域であり、後述する動きベクトル測定（動きベクトル検出）に用いられる。
【００３８】
図３（ｂ）は、位置合わせ用画像（基準フレーム）において設定された探索領域３０２を示す図である。探索領域３０２は、位置合わせ用画像（基準フレーム）において、テンプレート領域３０１の相当する座標近傍に、テンプレート領域より広い範囲で設定される。
【００３９】
なお、位置合わせ用画像（基準フレーム）において、動きベクトル測定に用いるテンプレート領域３０１を、位置合わせ用画像（対象フレーム）において、テンプレート領域３０１の相当する座標近傍に探索領域３０２を配置してもよい。
【００４０】
ステップＳ２２０において、動きベクトル演算部１０６は、フレームメモリ１０３に格納されている位置合わせ用画像（基準フレーム）と位置合わせ用画像（対象フレーム）、テンプレート領域３０１、探索領域３０２に関する情報を用いて、動きベクトル演算を行う。動きベクトル演算では、位置合わせ用画像（対象フレーム）のテンプレート領域３０１を、位置合わせ用画像（基準フレーム）の探索領域３０２内において位置合わせを行うことにより、画素精度での動きベクトルを求める。この位置合わせは、ＳＡＤ、ＳＳＤ、ＮＣＣ等の一致指標値を演算するブロックマッチング手法を用いて行うことができる。
【００４１】
また、ブロックマッチングの代わりに、オプティカルフローに置き換えてもよい。なお、画素精度での動きベクトルは、テンプレート領域３０１の各々に対して求める。
【００４２】
ステップＳ２３０において、動きベクトル信頼度算出部１０７は、ステップＳ２２０で算出された画素精度における各動きベクトルの信頼度を算出する。動きベクトルの信頼度は、例えば、動きベクトル演算において求められた一致指標値のヒストグラムの最も一致度が高いところの一致指標値および平均値の偏差を用いて判定する。例えば、一致指標値にＳＳＤを用いた場合、ＳＳＤの最小値と平均値との偏差を用いる。簡単には、ＳＳＤの最小値と平均値との偏差を信頼度とする。
【００４３】
なお、ＳＳＤの統計性に基づく信頼度は、領域の構造特徴と以下の（ｉ）〜（ｉｉｉ）の概念で対応付けられる。
（ｉ）エッジ構造が鮮鋭な領域の場合、動きベクトルの信頼性が高い。このため、ＳＳＤの最小値を示す位置の誤差は少なく、ＳＳＤのヒストグラムをとった場合に、最小値を示す位置付近に小さな差分値が集中する。従って、ＳＳＤの最小値と平均値の差が大きい。
（ｉｉ）テクスチャや平坦な構造の場合、差分値のヒストグラムが平坦になる。このため、最小値と平均値の差は小さく、信頼度は低い。
（ｉｉｉ）繰り返し構造の場合、差分の最小値と最大値を示す位置が近く、差分が小さい値を示す位置が分散している。このため、最小値と平均値の差は小さく、信頼度は低い。
【００４４】
なお、信頼性に関しては、各ブロックのエッジの量に応じて判定することもできる。
【００４５】
ステップＳ２４０〜ステップＳ２８０の処理は、動きベクトル統合処理部１０８により行われる。ステップＳ２４０では、各動きベクトルの信頼度に基づいて、信頼度の高い動きベクトルを選択する。
【００４６】
図４（ａ）は、各テンプレート領域３０１において求められた動きベクトルの一例を示す図、図４（ｂ）は、信頼度の低い動きベクトルを除外して、信頼度の高い動きベクトルを選択した様子の一例を示す図である。図４（ｂ）に示す例では、信頼度の低い動きベクトル（例えば、信頼度が所定のしきい値より低い動きベクトル）を除外するためのフィルタリング処理を行うことにより、信頼度の高い動きベクトルを選択している。
【００４７】
ステップＳ２５０では、ステップＳ２４０の選択処理で選択した複数の動きベクトルに対して投票処理を行い、最も頻度の高い動きベクトル、すなわち、最も数の多い同一の動きベクトルを選択する。図５は、選択した動きベクトルに対して行われた投票処理結果の一例を示す図である。選択処理で選択した動きベクトルを、Ｘ方向のずれ量およびＹ方向のずれ量に分解して投票処理を行うことにより、最も頻度の多い動きベクトルを求める。
【００４８】
ステップＳ２６０では、ステップＳ２４０およびステップＳ２５０の処理で残った画素精度の動きベクトルについて、その個数（最頻位置ずれ量の投票数）と所定のしきい値とを比較することにより、フレーム加算可否を判定する。投票数が所定のしきい値を下回る場合、フレーム加算は行わず次フレームの処理に移るため、ステップＳ２００に戻る。投票数がしきい値以上の場合、フレーム加算を行うために、ステップＳ２７０に進む。
【００４９】
ステップＳ２７０では、最頻度の動きベクトルについて、画素精度よりも細かい精度であるサブピクセル精度の動きベクトルを求める。このため、まず、最頻度の動きベクトル（画素精度）の画素位置を中心とする上下左右の４近傍の画素位置において、再度、一致指標値を求める。最頻度の動きベクトルの画素位置とは、例えば、一致指標値としてＳＳＤを求めた場合には、ＳＳＤが最小となる画素位置である。
【００５０】
図６は、最頻度の動きベクトルの画素位置を中心とする上下左右の４近傍の画素位置を示す図である。最頻度の動きベクトルの画素位置を黒丸で、上下左右の４近傍の画素位置を白丸でそれぞれ示している。
【００５１】
続いて、上下左右の４近傍の画素位置において求めた一致指標値をフィッティングし、一致指標値のピーク位置を求めることでサブピクセル精度の動きベクトル（シフト量）を求める。フィッティングとしては、等角直線フィッティングや、パラボラフィッティング等の既知の方法を用いることができる。
【００５２】
図７（ａ）は、等角直線フィッティングを用いてサブピクセル精度の動きベクトルを求める方法を示す図である。例えば、画素単位の一致指標値が最高となる画素位置における一致指標値をＲ（０）とし、一致指標値が最高となる画素位置の左隣および右隣の画素位置の一致指標値をそれぞれＲ（−１）、Ｒ（１）とすると、Ｘ方向のサブピクセル精度のずれ量ｄは、次式（６）で表される。
【００５３】
【数６】
2009230537.tif 000008
【００５４】
同様に、上隣および下隣の画素位置の一致指標値をそれぞれＲ（１）、Ｒ（−１）として、式（６）よりＹ方向のサブピクセル精度のずれ量を求めることにより、サブピクセル精度の動きベクトルを求める。
【００５５】
図７（ｂ）は、パラボラフィッティングを用いてサブピクセル精度の動きベクトルを求める方法を示す図である。この場合、サブピクセル精度のずれ量ｄは、次式（７）で表される。
【００５６】
【数７】
2009230537.tif 000009
【００５７】
この場合も、式（７）に基づいて、Ｘ方向およびＹ方向のサブピクセル精度のずれ量を求めることにより、サブピクセル精度の動きベクトルを求める。
【００５８】
サブピクセル精度の動きベクトルを求める処理は、ステップＳ２５０で求めた最頻度の動きベクトル全てを対象に行う。
【００５９】
ステップＳ２８０では、代表位置ずれ量を求める。このため、まず、代表ベクトルとして、ステップＳ２７０で求めた複数のサブピクセル精度の動きベクトルの平均ベクトルを求める。位置合わせ用画像（基準フレーム）および位置合わせ用画像（対象フレーム）は、基準フレームおよび対象フレームをそれぞれ縮小した画像であるため、求めた平均ベクトルを、縮小前の入力フレームの倍率、すなわち、縮小後の位置合わせ用の画像を縮小前の複数枚の画像に変換する際の変換率で変換することで、代表位置ずれ量を求める。縮小後の位置合わせ用の画像を縮小前の複数枚の画像に変換する際の変換率は、基準フレームおよび対象フレームから位置合わせ用画像（基準フレーム）および位置合わせ用画像（対象フレーム）を生成する際の縮小率の逆数として算出する。例えば、基準フレームおよび対象フレームをそれぞれ４分の１に縮小して、位置合わせ用画像（基準フレーム）および位置合わせ用画像（対象フレーム）を生成した場合には、求めた平均ベクトルを４倍することにより、代表位置ずれ量を求める。
【００６０】
このとき、平均ベクトルを任意の分解能に量子化してから倍率変換することで、代表位置ずれ量の精度、すなわち、フレーム加算における位置ずれの精度を任意の精度に切り替えることができる。特に、求めた代表位置ずれ量が画素精度になるように、平均ベクトルを更新することが好ましい。例えば、平均ベクトルが（2.2，2.6）で、変換率が４倍の場合、単純に４倍すると、（8.8，10.4）となり、画素精度にはならない。従って、平均ベクトルを（2.0，2.5）に更新してから４倍することにより、画素精度の代表位置ずれ量（8，10）を得ることができる。
【００６１】
なお、変形例として、画素精度の動きベクトルが最頻度となる動きベクトル群について、サブピクセル精度の動きベクトルを求め、それぞれのサブピクセル精度の動きベクトルについて、一定の分解能で再投票を行うことにより、サブピクセル精度における最頻度の動きベクトルを求め、これを入力フレームの倍率へ変換することで、代表位置ずれ量を求めるようにしてもよい（図５と同様の概念）。この場合、再投票時の分解能によって、画像位置合わせ精度を任意に切り替えることができる。
【００６２】
ステップＳ２９０では、ステップＳ２８０で求めた代表位置ずれ量を用いて対象フレームをシフトし、所定のフレームメモリへ加算することで、対象フレームと基準フレームとの加算を行う。
【００６３】
ステップＳ３００では、規定フレームを全て処理し終えたか否かを判定する。規定フレームを全て処理し終えればフローチャートの処理を終了し、未処理フレームが残っていれば、ステップＳ２００に戻って、上記処理を繰り返す。
【００６４】
ところで、従来では、例えば、特許文献１に開示された上記ピラミッドサーチを用いた電子ブレ補正技術では、基準フレームと比較対象フレームのフレーム対をいったん画像サイズが小さいフレーム対に縮小し、その縮小したフレーム対において位置ずれ量を求めているものの、その求めた位置ずれ量は依然として画素単位のままであり、位置ずれ量の精度が高いとはいえない。
【００６５】
それに対し、第１の実施の形態における画像処理装置によれば、縮小画像で画素レベルの位置合わせを行った後、その位置合わせの一致指標値からサブピクセル精度の位置ずれ量を推定し、それを元画像の倍率に換算して位置合わせを行う。このように、この装置によれば、画素精度ではなく、サブピクセル精度の位置ずれ量をもとに複数枚の画像間の位置合わせを行うため、位置合わせの結果が高精度になる。さらに、この装置によれば、例えば、特許文献１に開示されているように、縮小率が異なる複数のフレームについて繰り返し位置ずれ量の計算を行う必要がないので、従来のブレ補正や位置合わせに比べ、高速度にブレ補正や位置合わせを行うことが可能となる。
【００６６】
また、第１の実施の形態における画像処理装置によれば、サブピクセル精度の位置ずれ量の計算は、画素精度の位置ずれ量近傍においてのみ一致指標値を計算するため、サブピクセル精度の動きベクトルを求めるための計算コストは全体の計算コストに対して少なく、処理時間に与える影響は少ない。従って、計算コストを大きく変動させることなく、任意の位置合わせ精度のフレーム加算を実現することができる。これにより、従来のブレ補正や位置合わせに比べ、少ない処理時間でブレ補正や位置合わせを行うことが可能となる。
【００６７】
−第２の実施の形態−
図８は、第２の実施の形態における電子ブレ補正を行う画像処理装置の構成を示すブロック図である。図１に示す第１の実施の形態における画像処理装置の構成要素と同一の構成要素については、同一の符号を付して詳しい説明は省略する。
【００６８】
図１に示す第１の実施の形態における画像処理装置に対する相違点は、動きベクトル演算部１０６Ａにおいて、画素精度の動きベクトルとサブピクセル精度の動きベクトルの両方を演算する点である。そのため、動きベクトル演算部１０６Ａでは、位置合わせ用画像（基準フレーム）、位置合わせ用画像（対象フレーム）、テンプレート領域３０１、探索範囲３０２に基づいて、画素精度の動きベクトルおよびサブピクセル精度の動きベクトルを求める。
【００６９】
動きベクトル統合処理部１０８Ａは、動きベクトル演算部１０６Ａで算出した画素精度の動きベクトルおよびサブピクセル精度の動きベクトルと、動きベクトル信頼度算出部１０７Ａで算出した画素精度の動きベクトルの信頼度とに基づいて、動きベクトルの統合を行い、フレーム間の動きを表す代表位置ずれ量を算出する。
【００７０】
図９は、第２の実施の形態における画像処理装置によって行われる処理の処理手順を示すフローチャートである。図２に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明は省略し、異なる処理を中心に説明する。
【００７１】
ステップＳ２２０、および、ステップＳ９００の処理は、動きベクトル演算部１０６Ａによって行われる。ステップＳ９００では、ステップＳ２２０で画素精度の動きベクトルを求める際に演算した一致指標値のうち、最も一致度が高い一致指標値を示す画素位置を中心とする上下左右の４近傍の画素位置において、再度、一致指標値を求めることにより、サブピクセル精度の動きベクトルを求める。サブピクセル精度の動きベクトルを求める方法は、第１の実施の形態で説明したので、ここでは詳しい説明は省略する。
【００７２】
すなわち、動きベクトル演算部１０６Ａは、各テンプレート領域３０１を対象として、画素精度の動きベクトルとともに、サブピクセル精度の動きベクトルを求める。
【００７３】
ステップＳ２４０〜Ｓ２６０、および、ステップＳ２８０の処理は、動きベクトル統合処理部１０８Ａで行われる。ステップＳ２６０において最も頻度の多い動きベクトル（画素精度）の投票数が所定のしきい値以上であると判定すると、ステップＳ２８０に進む。
【００７４】
ステップＳ２８０では、代表位置ずれ量を求める。このため、まず、ステップＳ９００で求めた複数のサブピクセル精度の動きベクトルのうち、ステップＳ２５０で求めた画素精度の動きベクトルが最頻度となる複数の動きベクトルにそれぞれ対応する複数のサブピクセル精度の動きベクトルを選択し、選択した複数のサブピクセル精度の動きベクトルの平均ベクトルを求める。そして、求めた平均ベクトルを、縮小前の入力フレームの倍率へ変換することで、代表位置ずれ量を求める。
【００７５】
第２の実施の形態における画像処理装置においても、第１の実施の形態における画像処理装置と同様に、計算コストを大きく変動させることなく、任意の位置合わせ精度のフレーム加算を実現することができる。これにより、従来のブレ補正に比べ、少ない処理時間で高精度なブレ補正を行うことが可能となる。
【００７６】
−第３の実施の形態−
上述した第１および第２の実施の形態では、フレーム加算の例を示したが、動きベクトル代表値をもとに、基準フレームに対する対象フレームの画像シフトを行う動画ブレ補正を行っても良い。
【００７７】
図１０は、第３の実施の形態における画像処理装置の構成を示すブロック図である。第３の実施の形態における画像処理装置は、図１に示す第１の実施の形態における画像処理装置の構成に対して、フレーム加算部１０９の代わりに、フレーム動き補正部１１０を備えている。
【００７８】
フレーム動き補正部１１０は、動きベクトル統合処理部１０８で求められた代表位置ずれ量に基づいて、対象フレームを基準フレームに対してブレの少なくなるように補正する処理を行う。補正後のデータは、図示しない表示装置、あるいは図示しない記憶装置に転送する。
【００７９】
なお、上述した第１〜第３の実施の形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像圧縮装置と同様の処理を実現させる。
【００８０】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００８１】
本発明は、上述した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。そうした変形例のいくつかを以下に挙げる。
【００８２】
実施の形態では、複数のサブピクセル精度の動きベクトルの平均ベクトルを代表（変換基準）ベクトルとして求めたが、これに限られず、変形例として、動きベクトル統合処理部１０８が、複数のサブピクセル精度の動きベクトルのうち一の動きベクトルを選び、その選んだ一の動きベクトルを代表ベクトルとしてもよい。選び方にはさまざまな方法があるが、一つの例として、画像中のコントラストが高い箇所に位置する動きベクトルを代表ベクトルとして選んでもよい。
【００８３】
画素精度の動きベクトルを以下のような手順で求めることもできる。まず、位置合わせ用の画像において、動きベクトルを測定するための動きベクトル測定領域を１つ設定し、位置合わせ用の画像上において動きベクトル測定領域であるテンプレート領域３０１を画素ごとに移動させる。この移動の際に、動きベクトル測定領域の画像上の位置を示す位置情報と、その動きベクトル測定領域に含まれる画素の画素値に応じた一致指標値との対応関係情報を格納しておく。一致指標値としては、上述したＳＳＤやＳＡＣ、ＮＣＣ等の指標値を用いる。そして、動きベクトル測定領域を画素ごとに移動させる度に動きベクトル測定領域の一致度合いを示す一致指標値を取得し、その取得した一致指標値が既に格納している一致指標値よりも、一致度が大きいことを示す一致指標値である場合に、既に格納している対応関係情報を、新たに取得した一致指標値とその一致指標値に対応する動きベクトル測定領域の位置情報との対応関係情報に更新する。動きベクトル測定領域の移動が終了した時点において格納されている位置情報を参照し、その位置情報が示す画像上の位置を画素精度の動きベクトルが位置する画素位置とする。この方法によれば、第１の実施の形態で説明した方法のように、初めに、複数の動きベクトル測定領域の各々において画素精度の動きベクトルを求め、次に、求めた複数の画素精度の動きベクトルの中から、最も数が多い同一の動きベクトルを選択するという２つの処理手順を行う必要がない。
【００８４】
なお、上述した手順により画素精度の動きベクトルを求める場合、動きベクトル演算部は、位置合わせ用の画像上において動きベクトル測定領域を画素ごとに移動させる移動部、動きベクトル測定領域の画像上の位置を示す位置情報と、その動きベクトル測定領域に含まれる画素の画素値に応じた一致指標値との対応関係情報を格納する格納部、および、動きベクトル測定領域を画素ごとに移動させる度に動きベクトル測定領域の一致指標値を取得し、その取得した一致指標値が格納部に格納されている一致指標値よりも、一致度が大きいことを示す一致指標値である場合に、格納部に格納された対応関係情報を、取得した一致指標値とその一致指標値に対応する動きベクトル測定領域の位置情報との対応関係情報に更新する更新部を備えることになる。  また、上述した手順によって画素精度の動きベクトルが位置する画素位置を求めた場合、画素精度の動きベクトルは１つだけ求められることになる。この場合、求めた動きベクトルが位置する画素位置の近傍範囲内において、サブピクセル精度の動きベクトルを求め、求めたサブピクセル精度動きベクトルが代表ベクトルとなる。従って、この代表ベクトルを、縮小後の位置合わせ用の画像を縮小前の複数枚の画像に変換する際の変換率で変換することで、複数枚の画像間の代表位置ずれ量を求めることができる。
【図面の簡単な説明】
【００８５】
【図１】本発明の第１の実施の形態における画像処理装置の構成を示すブロック図である。
【図２】第１の実施の形態における処理フローを示す図である。
【図３】第１の実施の形態における動きベクトル測定領域を示す図である。
【図４】第１の実施の形態における低信頼性動きベクトルのフィルタリング処理を示す図である。
【図５】第１の実施の形態における位置ずれ量の投票処理を示す図である。
【図６】第１の実施の形態におけるサブピクセル精度の動きベクトル演算方法を示す図である。
【図７】第１の実施の形態におけるサブピクセル精度の動きベクトル演算方法を示す図である。
【図８】本発明の第２の実施における画像処理装置の構成を示すブロック図である。
【図９】第２の実施の形態における処理フローを示す図である。
【図１０】本発明の第３の実施における画像処理装置の構成を示すブロック図である。
【符号の説明】
【００８６】
１０１…メインコントローラ
１０２…撮像部
１０３…フレームメモリ
１０４…位置合わせ用画像生成部
１０５…動きベクトル測定領域設定部
１０６…動きベクトル演算部
１０７…動きベクトル信頼度算出部
１０８…動きベクトル統合処理部
１０９…フレーム加算部
１１０…フレーム動き補正部
【図１】
2009230537.tif 000010
【図２】
2009230537.tif 000011
【図３】
2009230537.tif 000012
【図４】
2009230537.tif 000013
【図８】
2009230537.tif 000014
【図９】
2009230537.tif 000015
【図１０】
2009230537.tif 000016
【図５】
2009230537.tif 000017
【図６】
2009230537.tif 000018
【図７】
2009230537.tif 000019