(57)【要約】【課題】高い計算実行効率を保ちながら、局所的な動被写体や照度変化などにロバストなグローバル動き探索（ＭＥ）を行うことができる画像処理装置、画像処理方法、撮像装置、およびプログラムを提供する。【解決手段】現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行し、２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する。【選択図】図３
2011233039.tif 000002
【特許請求の範囲】
【請求項１】
現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索装置を有し、
上記グローバル動き探索装置は、
現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行する機能を有する動き探索処理部を含み、
上記動き探索処理部は、
１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、
２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する
画像処理装置。
【請求項２】
上記２回目の動き探索における画素ごとに、加算するか否かの判断を設定条件は、少なくとも、
当該画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、
１回目の動き探索で求めた水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値、および動きベクトル、並びに、
設定される閾値パラメータ、
のいずれかである
請求項１記載の画像処理装置。
【請求項３】
上記グローバル動き探索装置は、
上記１回目の動き探索結果が有効であるか無効であるかを判定する判定部を含み、
上記判定部は、
グローバル動き探索の難易度が高いと判断される場合は、１回目の動き探索は無効とする
請求項１または２記載の画像処理装置。
【請求項４】
上記判定部が上記１回目の動き探索結果が有効であるか無効であるかを判定する条件は、少なくとも、
１回目の動き探索で求めた水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値、および動きベクトル、並びに、
設定される閾値パラメータ、
のいずれかである
請求項３記載の画像処理装置。
【請求項５】
上記判定部は、
判定する条件としての画面全体にわたる水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の加算値を採用し、
ＬＫ法における誤差関数値の画面全体にわたる分布の標準偏差を求め
当該標準偏差が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき１回目の動き探索を無効とする
請求項４記載の画像処理装置。
【請求項６】
上記判定部は、
判定する条件としての時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
１画素あたりの時間方向の画素値変化の絶対値を求め、
当該絶対値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき１回目の動く探索を無効とする
請求項４または５記載の画像処理装置。
【請求項７】
上記グローバル動き探索装置は、
１回目の動き探索が無効の場合、２回目の動き探索を行わない
請求項４から７のいずれか一に記載の画像処理装置。
【請求項８】
上記動き探索処理部は、
２回目の動き探索において、水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
ＬＫ法における誤差関数値の画面全体にわたる分布の平均と標準偏差を求め、
求めた平均と標準偏差に基づいて、各画素における誤差関数値から外れ値度合いを求め、求めた外れ度合い値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき該当画素を動きベクトルの計算にいれない
請求項１から７のいずれか一に記載の画像処理装置。
【請求項９】
上記動き探索処理部は、
２回目の動き探索において、時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
ＬＫ法における画素値変化の画面全体にわたる分布の平均と標準偏差を求め、
求めた平均と標準偏差に基づいて、各画素における誤差関数値から外れ値度合いを求め、求めた外れ度合い値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき該当画素を動きベクトルの計算にいれない
請求項１から８のいずれか一に記載の画像処理装置。
【請求項１０】
前段信号処理で縮小および平滑化された画素値信号を上記グローバル動き探索装置に出力する前段信号処理部と、
上記グローバル動き探索装置の動きベクトル出力の時系列にディジタルフィルタをかけて補正ベクトルとし、補正ベクトルで示された位置に従って、元の入力画像から一定の割合の大きさの部分を切り出しする後段信号処理部と、を有する
請求項１から９のいずれか一に記載の画像処理装置。
【請求項１１】
現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索を行う際に、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行し、
１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、
２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する
画像処理方法。
【請求項１２】
上記２回目の動き探索における画素ごとに、加算するか否かの判断を設定条件は、少なくとも、
当該画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、
１回目の動き探索で求めた水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値、および動きベクトル、並びに
設定される閾値パラメータ、
のいずれかである
請求項１１記載の画像処理方法。
【請求項１３】
上記１回目の動き探索結果が有効であるか無効であるかを判定し、
グローバル動き探索の難易度が高いと判断される場合は、１回目の動き探索は無効とする
請求項１１または１２記載の画像処理方法。
【請求項１４】
上記１回目の動き探索結果が有効であるか無効であるかを判定する条件は、少なくとも、
１回目の動き探索で求めた水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値、および動きベクトル、並びに、
設定される閾値パラメータ、
のいずれかである
請求項１３記載の画像処理方法。
【請求項１５】
判定する条件としての画面全体にわたる水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の加算値を採用し、
ＬＫ法における誤差関数値の画面全体にわたる分布の標準偏差を求め
当該標準偏差が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき１回目の動き探索を無効とする
請求項１４記載の画像処理方法。
【請求項１６】
判定する条件としての時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
１画素あたりの時間方向の画素値変化の絶対値を求め、
当該絶対値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき１回目の動く探索を無効とする
請求項１４または１５記載の画像処理方法。
【請求項１７】
２回目の動き探索において、水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
ＬＫ法における誤差関数値の画面全体にわたる分布の平均と標準偏差を求め、
求めた平均と標準偏差に基づいて、各画素における誤差関数値から外れ値度合いを求め、求めた外れ度合い値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき該当画素を動きベクトルの計算にいれない
請求項１１から１６のいずれか一に記載の画像処理方法。
【請求項１８】
２回目の動き探索において、時間方向の画素値変化量に関する情報の画面全体にわたる加算値を採用し、
ＬＫ法における画素値変化の画面全体にわたる分布の平均と標準偏差を求め、
求めた平均と標準偏差に基づいて、各画素における誤差関数値から外れ値度合いを求め、求めた外れ度合い値が設定される閾値を上回っているかどうかを上記の条件のひとつとし、当該条件が成立するとき該当画素を動きベクトルの計算にいれない
請求項１１から１７のいずれか一に記載の画像処理方法。
【請求項１９】
固体撮像素子と、
上記固体撮像素子に被写体像を結像する光学系と、
上記固体撮像素子による画像に対する画像処理を行う画像処理装置と、を有し、
現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索装置を含み、
上記グローバル動き探索装置は、
現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行する機能を有する動き探索処理部を含み、
上記動き探索処理部は、
１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、
２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する
撮像装置。
【請求項２０】
現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索を行う際に、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行し、
１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、
２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する
画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像シーケンスのうち２枚の画像間のグローバルな動き量を推定する動きベクトル探索(ME: Motion Estimation)を行う画像処理装置、画像処理方法、撮像装置、およびプログラムに関するものである。
【背景技術】
【０００２】
動き推定を行うのに最もよく使用する手法として、ブロックマッチングがある。
ブロックマッチングで画像間のグローバル動きを推定するには、基本的には、分割したブロックごとに生成される動きベクトル（ＭＶ：ローカルＭＶ）の画面全体にわたる重み付き平均をとる。
その際、ローカルＭＶが信頼できないブロックの重みを小さくして、ロバスト性を高めることができる（たとえば特許文献１，２参照）。
【０００３】
他の動き推定手法としてLucas-Kanade法（ＬＫ法）が知られている（非特許文献１参照）。
特に全画面にわたるＬＫ法を用いると、ブロックマッチングと比較して、大幅に計算実行効率のよいグローバルＭＥを行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−２８９１５９号公報
【特許文献２】特開２００６−２２２９３３号公報
【非特許文献】
【０００５】
【非特許文献１】[1] An Iterative Image Registration Technique with an Application to Stereo Vision, B. D. Lucas, T. Kanade, Intl. Joint Conf. on AI, pp.674-679, 1981
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１，２に開示された技術では、ブロックごとにＭＶを求める必要があるブロックマッチングは計算資源が多く必要で、一般的に実行効率の悪い処理である。
【０００７】
ＬＫ法は、ブロックマッチングと比較して、大幅に計算実行効率のよいグローバルＭＥを行うことができる一方で、全画面にわたるＬＫ法はローカルＭＶを算出しないため、上記特許文献１，２と同じ手法でロバスト性を向上させることはできない。
【０００８】
本発明は、高い計算実行効率を保ちながら、局所的な動被写体や照度変化などにロバストなグローバル動き探索（ＭＥ）を行うことができる画像処理装置、画像処理方法、撮像装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点の画像処理装置は、現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索装置を有し、上記グローバル動き探索装置は、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行する機能を有する動き探索処理部を含み、上記動き探索処理部は、１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する。
【００１０】
本発明の第２の観点の画像処理方法は、現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索を行う際に、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行し、１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する。
【００１１】
本発明の第３の観点の撮像装置は、上記固体撮像素子に被写体像を結像する光学系と、上記固体撮像素子による画像に対する画像処理を行う画像処理装置と、を有し、現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索装置を含み、上記グローバル動き探索装置は、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行する機能を有する動き探索処理部を含み、上記動き探索処理部は、１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する。
【００１２】
本発明の第４の観点は、現画像と参照画像に対してグローバル動き探索(ＭＥ）を行って動きベクトル（ＭＶ）を出力するグローバル動き探索を行う際に、現画像と参照画像間のグローバル動き探索を行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、２回以上実行し、１回目の動き探索では、少なくとも、画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報に基づいて一組の動きベクトルを求め、２回目の動き探索では、ＬＫ法で動きベクトルを求めるために必要な、少なくとも画素における水平方向の画素値変化量、垂直方向の画素値変化量、および時間方向の画素値変化量に関する情報、および水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算した情報を求める際に、画素ごとに、加算するか否かの判断を設定条件に従って行い、条件を満足する場合に、２回目のＬＫ法の結果として新たに一組の動きベクトルを求めなおして、出力する画像処理をコンピュータに実行させるプログラムである。
【発明の効果】
【００１３】
本発明によれば、高い計算実行効率を保ちながら、局所的な動被写体や照度変化などにロバストなグローバル動き探索（ＭＥ）を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る画像処理装置に含まれるグローバル動き探索装置を示す図である。
【図２】図１のグローバル動き探索装置の基本的な機能ブロック図である。
【図３】本実施形態に係るグローバルＭＥ処理手順の概要を示すフローチャートである。
【図４】本実施形態に係る１回目のＭＥの手順を示すフローチャートである。
【図５】図４のステップＳＴ１０５の偏微分計算例を示す図である。
【図６】本実施形態に係るＭＥ有効無効判定の手順を示すフローチャートである。
【図７】本実施形態に係る２回目のＭＥの手順を示すフローチャートである。
【図８】本発明の実施形態に係る画像処理装置を採用した撮像装置(カメラシステム)の構成例を示す図である。
【図９】本発明の実施形態に係るグローバルＭＥ装置を画揺れ補正（ＤＩＳ：Digital Image Stabilizer）機能を含む画像処理装置に適用した場合の構成例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．画像処理装置としてのグローバル動き探索（ＭＥ）装置
２．グローバルＭＥ装置の具体的な処理
３．撮像装置（カメラシステム）の構成例
【００１６】
＜１．画像処理装置としてのグローバル動き探索（ＭＥ）装置＞
図１は、本発明の実施形態に係る画像処理装置に含まれるグローバル動き探索装置を示す図である。
図２は、図１のグローバル動き探索装置の基本的な機能ブロック図である。
【００１７】
本実施形態に係る画像処理装置１はグローバル動き探索(または動き推定：ＭＥ）装置１０を有する。
グローバルＭＥ装置１０は、基本的に、図１に示すように、現画像ＣＩＭと参照画像ＲＩＭの２枚の画像を入力して１組の動きベクトル（ＭＶ）を出力するグローバルＭＥ処理を行う。
【００１８】
グローバルＭＥ装置１０は、基本的に機能ブロックとして、図２に示すように、第１ＭＥ処理部１１、ＭＥ判定部１２、第２ＭＥ処理部１３、およびメモリ１４を有する。
【００１９】
本実施形態において、グローバルＭＥ装置１０は、画像シーケンスＩ（ｘ，ｙ，ｔ）のうち２枚の画像間のグローバルＭＥを行うために、画面全体にわたるLucas-Kanade法（以下ＬＫ法）を、以下のように２回以上実行する機能を有している。
【００２０】
［１回目のＭＥ］
１回目はＬＫ法でＭＶを求めるために必要なΣ（Ｉｘ）２，Σ(Ｉｙ)２，ΣＩｘＩｙ，ΣＩｘＩｔ，ΣＩｙＩｔの他にも、Ｉｘ，Ｉｙ，Ｉｔからなる項の加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）を特定の数（ｎ個）だけ変数としてメモリ１４に保持しておく。
そして、第１ＭＥ処理部１１で１回目のＬＫ法の結果として一組のＭＶ（ｖｘ,ｖｙ）を計算する。
【００２１】
［ＭＥ結果の有効無効判定］
ＭＥ判定部１２で第１ＭＥ処理部１１によるＭＥが有効であるか無効であるかを判定する。
ＭＥ判定部１２で有効であると判定されると第２ＭＥ処理部１３による２回目のＭＥを行う。無効である場合、後述するようにＭＶは０として出力する。
【００２２】
［２回目のＭＥ］
２回目はＬＫ法でＭＶを求めるために必要な、Σ（Ｉ´ｘ）２，Σ(Ｉ´ｙ)２，ΣＩ´ｘＩ´ｙ，ΣＩ´ｘＩ´ｔ，ΣＩ´ｙＩ´ｔを求める際に、画素ごとに、加算するかどうか判断を行う。
ここで、条件判断には、以下の変数からなる条件式を用いる：
第１は、その画素におけるＩ´ｘ，Ｉ´ｙ，Ｉ´ｔである。
第２は、１回目で求めたΣ（Ｉｘ）２，Σ(Ｉｙ)２，ΣＩｘＩｙ，ΣＩｘＩｔ，ΣＩｙＩｔとＭＶ（ｖｘ,ｖｙ）である。
第３は、１回目で求めた加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）である。
第４に、閾値パラメータである。
２回目のＬＫ法の結果として新たに一組のＭＶ（ｖ´ｘ,ｖ´ｙ）を計算しなおし、出力する。
【００２３】
上記において、Ｉｘ，Ｉｙ，Ｉｔはそれぞれ当該画素における「水平方向の画素値変化量」「垂直方向の画素値変化量」「時間方向の画素値変化量」を指す。Σは「画面全体にわたって加算したもの」を指す。
したがって、ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）は「水平方向の画素値変化量と垂直方向の画素値変化量と時間方向の画素値変化量からなる任意の計算式の計算結果を、画面全体にわたって加算したもの」と表すことができる。
１回目の計算と２回目の計算を区別するため、２回目で読み込む画像には記号Ｉ´をつけているが、同じ画像ペアに対して２回のＬＫ法を実行するだけなので、実際にはＩ＝Ｉ´である。ただし（ｖｘ,ｖｙ）と（ｖ´ｘ,ｖ´ｙ）は異なる値になる。
【００２４】
［ＭＥ結果の有効無効判定の具体例］
ＭＥ判定部１２は、第１ＭＥ処理部１１によるＭＶ（ｖｘ,ｖｙ）を受けて、グローバルＭＥの難易度が高いと判断される場合は、ＭＥ無効（ＭＶはゼロ）とする。
この場合、第２ＭＥ処理部１３による２回目のＬＫ法を実行する必要はない。
ここで、条件判断には、以下の変数からなる条件式を用いる。
第１は、１回目で求めたΣ（Ｉｘ）２，Σ(Ｉｙ)２，ΣＩｘＩｙ，ΣＩｘＩｔ，ΣＩｙＩｔとＭＶ（ｖｘ,ｖｙ）である。
第２は、１回目で求めた加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）である。
第３に、閾値パラメータである。
【００２５】
ここで、加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）として、ΣＩｘ，ΣＩｙ，ΣＩｔ，Σ（Ｉｔ）２の４つを導入して、ＬＫ法における誤差関数値の画面全体にわたる分布の標準偏差を計算する。
そして、その計算結果がある閾値を上回っているかどうかを上記の条件式のひとつとし、これが成立するときＭＥ無効とする。
【００２６】
また、加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）として、ΣＩｔを導入して、１画素あたりの時間方向の画素値変化の絶対値を計算し、その計算結果がある閾値を上回っているかどうかを上記の条件式のひとつとし、これが成立するときＭＥ無効とする。
【００２７】
また、上記第２ＭＥ処理においては、次の処理を行うことも可能である。
加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）として、ΣＩｘ，ΣＩｙ，ΣＩｔ，Σ（Ｉｔ）２の４つを導入して、ＬＫ法における誤差関数値の画面全体にわたる分布の平均と標準偏差を計算する。
そして、その平均と標準偏差に基づいて、各画素における誤差関数値から外れ値度合いを計算し、それがある閾値を上回っているかどうかを上記の条件式のひとつとし、これが成立するとき該当画素をＭＶの計算にいれない。
【００２８】
また、上記第２ＭＥ処理においては、次の処理を行うことも可能である。
加算値ΣＦｎ（Ｉｘ，Ｉｙ，Ｉｔ）として、ΣＩｔ，Σ（Ｉｔ）２の２つを導入して、時間方向の画素値変化の画面全体にわたる分布の平均と標準偏差を計算する。
そして、その平均と標準偏差に基づいて、各画素における画素値変化から外れ値度合いを計算し、それがある閾値を上回っているかどうかを上記の条件式のひとつとし、これが成立するとき該当画素をＭＶの計算にいれない。
【００２９】
＜２．グローバルＭＥ装置の具体的な処理＞
以下、グローバルＭＥ装置１０の具体的な処理について、図３から図７に関連付けて説明する。
【００３０】
図３は、本実施形態に係るグローバルＭＥ処理手順の全体の概要を示すフローチャートである。
【００３１】
［ステップＳＴ１］
まず、ステップＳＴ１において、１回目のＭＥを行う。
【００３２】
［ステップＳＴ２，ＳＴ３］
ステップＳＴ２およびＳＴ３において、１回目ＭＥの結果からグローバルＭＥの難易度や信頼性を判定し、ＭＥが有効か無効どうか判定する。
【００３３】
［ステップＳＴ４］
ステップＳＴ３において、ＭＥ無効の場合は分岐し、ＭＶをゼロとして出力、終了する。ＭＥ有効の場合は、ステップＳＴ４で２回目のＭＥを行い、その結果のＭＶを出力して終了する。
【００３４】
ＭＥ無効のときに２回目のＭＥを行わないようにすることで、望ましくないＭＶを誤って使用することを防ぐとともに、処理量を削減することができる。
【００３５】
図４は、本実施形態に係る１回目のＭＥの手順を示すフローチャートである。
【００３６】
図４のＭＥ処理は、ＬＫ（Lucas-Kanade）法を増補したものであり、基本的には、次式に従ってＭＶを求めている。
【００３７】
【数１】
2011233039.tif 000003
【００３８】
上式でΣは画面全体にわたる総和を示している。またＩｘ，Ｉｙ，Ｉｔは上述したように画像シーケンスＩ（ｘ，ｙ，ｔ）の水平・垂直・時間方向の偏微分値であり、様々な計算方法があるが、一例として図５のフローチャートに示すように計算する。
途中の計算結果であるΣ（Ｉｘ）２，Σ(Ｉｙ)２，ΣＩｘＩｙ，ΣＩｘＩｔ，ΣＩｙＩｔは、以降のＭＥ無効判定や２回目のＭＥで使用するため、任意の記憶領域に保存しておく（図４のＡｘｘ,Ａｙｙ,Ａｘｙ,Ａｘｔ,Ａｙｔ）。
また、本来ＬＫ法で必要としないΣＩｘ，ΣＩｙ，ΣＩｔ，Σ（Ｉｔ）２も同様に計算し、保存しておく（図４のＡｘ,Ａｙ,Ａｔ,Ａｔｔ）。
【００３９】
［ステップＳＴ１０１］
ステップＳＴ１０１において、現画像配列Ｉと参照画像配列Ｊを入力し、画像の幅Ｗおよび画像の高さＨを得る。
【００４０】
［ステップＳＴ１０２］
ステップＳＴ１０２において、Σ（Ｉｘ）２，Σ(Ｉｙ)２，ΣＩｘＩｙ，ΣＩｘＩｔ，ΣＩｙＩｔに相当するパラメータＡｘｘ,Ａｙｙ,Ａｘｙ,Ａｘｔ,Ａｙｔを初期値０に設定する。
【００４１】
［ステップＳＴ１０３］
ステップＳＴ１０３において、ΣＩｘ，ΣＩｙ，ΣＩｔ，Σ（Ｉｔ）２に相当するパラメータＡｘ,Ａｙ,Ａｔ,Ａｔｔを初期値０に設定する。
【００４２】
［ステップＳＴ１０４］
ステップＳＴ１０４において、座標ｘを０〜Ｗ−２、座標ｙを０〜Ｈ−２として２次元ループを開始する。
【００４３】
［ステップＳＴ１０５］
ステップＳＴ１０５において、座標（ｘ，ｙ）における現画像Ｉと参照画像Ｊの偏微分Ｉｘ，Ｉｙ，Ｉｔを求める。
【００４４】
図５は、図４のステップＳＴ１０５の偏微分計算例を示す図である。
座標（ｘ，ｙ）における現画像Ｉと参照画像Ｊを得（ＳＴ１０５１）、その偏微分Ｉｘ，Ｉｙ，Ｉｔを求める（ＳＴ１０５２）。
この場合、Ｉｘ＝Ｉ［ｙ］［ｘ＋１］−Ｉ［ｙ］［ｘ］となる。
Ｉｙ＝Ｉ［ｙ＋１］［ｘ］−Ｉ［ｙ］［ｘ］となる。
Ｉｔ＝Ｉ［ｙ］［ｘ］−Ｉ［ｙ］［ｘ］となる。
【００４５】
［ステップＳＴ１０６］
ステップＳＴ１０６において、Σ（Ｉｘ）２に相当するパラメータＡｘｘ＝Ａｘｘ＋Ｉｘ＊Ｉｘとして求める。
Σ（Ｉｙ）２に相当するパラメータＡｙｙ＝Ａｙｙ＋Ｉｙ＊Ｉｙとして求める。
ΣＩｘＩｙに相当するパラメータＡｘｙ＝Ａｘｙ＋Ｉｘ＊Ｉｙとして求める。
ΣＩｘＩｔに相当するパラメータＡｘｔ＝Ａｘｔ＋Ｉｘ＊Ｉｔとして求める。
ΣＩｙＩｔに相当するパラメータＡｙｔ＝Ａｙｔ＋Ｉｙ＊Ｉｔとして求める。
【００４６】
［ステップＳＴ１０７］
ステップＳＴ１０７において、ΣＩｘに相当するパラメータＡｘ＝Ａｘ＋Ｉｘとして求める。
ΣＩｙに相当するパラメータＡｙ＝Ａｙ＋Ｉｙとして求める。
ΣＩｔに相当するパラメータＡｔ＝Ａｔ＋Ｉｔとして求める。
Σ（Ｉｔ）２に相当するパラメータＡｔｔ＝Ａｔｔ＋Ｉｔ＊Ｉｔとして求める。
【００４７】
［ステップＳＴ１０８］
ステップＳＴ１０８において、ｘ，ｙループが終了したか否かを判定し、終了していない場合にはステップＳＴ１０４に戻り、終了した場合にはステップＳＴ１０９の処理に移行する。
【００４８】
［ステップＳＴ１０９］
ステップＳＴ１０９において、ＭＶ（ｖｘ,ｖｙ）を求め、ＭＥ判定部１２に出力する。
このとき、ｖｘ＝（Ａｘｙ＋Ａｙｔ−Ａｙｙ＊Ａｘｔ）／ｄｉｖでＭＶ（ｖｘ）が求まる。
ｖｙ＝（Ａｘｙ＋Ａｘｔ−Ａｘｘ＊Ａｙｔ）／ｄｉｖでＭＶ（ｖｙ）が求まる。
ただし、ｄｉｖ＝Ａｘｘ＊Ａｘｔ−Ａｘｘ＊Ａｘｙである。
【００４９】
図６は、本実施形態に係るＭＥ有効無効判定の手順を示すフローチャートである。
【００５０】
［ステップＳＴ２０１］
ステップＳＴ２０１において、画像の幅Ｗおよび画像の高さＨの情報を得る。
【００５１】
［ステップＳＴ２０２］
ステップＳＴ２０２において、１回目のＭＥによるＭＶ（ｖｘ,ｖｙ）、１回目のＭＥのパラメータ値Ａｘｔ（ΣＩｘＩｔ），Ａｙｔ（ΣＩｙＩｔ），Ａｘ（ΣＩｘ），Ａｙ（ΣＩｙ），Ａｔ（ΣＩｔ），Ａｔｔ（Σ（Ｉｔ）２）のアキュムレート値を取得する。
【００５２】
［ステップＳＴ２０３］
ステップＳＴ２０３において、以上の１回目のＭＥ処理結果を用いて、標準偏差σｅ（Ｓｅ）および絶対値δ（Ｄ）を求める。
なお、σｅはＬＫ法における誤差関数値の画面全体にわたる分布の標準偏差を示し、絶対値δ（Ｄ）は１画素あたりの時間方向の画素値変化の絶対値を示している。
【００５３】
［ステップＳＴ２０４］
ステップＳＴ２０４において、標準偏差σｅ（Ｓｅ）に対するあらかじめ設定された閾値パラメータで閾値判定を行う。
【００５４】
［ステップＳＴ２０５］
ステップＳＴ２０５において、閾値判定の結果、閾値より高いと判定された場合はＭＥ無効として終了する。
【００５５】
［ステップＳＴ２０６］
ステップＳＴ２０６において、閾値より低い場合は、絶対値δ（Ｄ）に対するあらかじめ設定された閾値パラメータで閾値判定を行う。
【００５６】
［ステップＳＴ２０７］
ステップＳＴ２０７において、閾値判定の結果、閾値より高いと判定された場合はＭＥ無効として終了する。
閾値より低い場合は、１回目のＭＥは有効であると判定する。
【００５７】
標準偏差σｅ（Ｓｅ）の閾値判定により、画面内のローカル動きが大きすぎるときに出やすい望ましくないＭＶを誤って使用することを防ぐことができる。
同様に、絶対値δ（Ｄ）の閾値判定により、画面の照度変化が大きすぎるときに出やすい望ましくないＭＶを誤って使用することを防ぐことができる。
【００５８】
なお、閾値判定する際に、過去の標準偏差σｅ（Ｓｅ）（絶対値δ（Ｄ）についても同様）も用いて平均化フィルタをかけたあとに閾値比較するとより望ましい結果が得られる。さらに、ヒステリシス性をもった閾値比較をするとより望ましい結果が得られる。
【００５９】
図７は、本実施形態に係る２回目のＭＥの手順を示すフローチャートである。
【００６０】
１回目のＭＥと同様ＬＫ（Lucas−Kanade）法を増補したものであり、基本的にはＭＶ（ｖｘ,ｖｙ）を求める処理であるが、特定の画素においてΣ、すなわち、「画面全体にわたって加算」をとらないという点が異なる。
その計算に入れない特定の画素を判断するために、まず１回目のＭＥの結果（ｖｘ,ｖｙ）、ΣＩｘ，ΣＩｙ，ΣＩｔ，Σ（Ｉｔ）２）を使用して、以下を求めておく（ＳＴ４０３）。
ＬＫ法における誤差関数値の画面全体にわたる分布の平均μｅ（Ｍｅ）、ＬＫ法における誤差関数値の画面全体にわたる分布の標準偏差σｅ（Ｓｅ）を求める。さらに、時間方向の画素値変化の画面全体にわたる分布の平均μｉ（Ｍｉ）、時間方向の画素値変化の画面全体にわたる分布の標準偏差Ｓｉを求める。
【００６１】
そして、新たにΣ（Ｉ´ｘ）２，Σ(Ｉ´ｙ)２，ΣＩ´ｘＩ´ｙ，ΣＩ´ｘＩ´ｔ，ΣＩ´ｙＩ´ｔを求め直すループ（ＳＴ４０５〜ＳＴ４１０）で、以下の条件式を評価する条件分岐を導入する（ＳＴ４０７,ＳＴ４０８）。
偏微分計算後、分布の平均μｅ（Ｍｅ）と標準偏差σｅ（Ｓｅ）に基づいて、各画素における誤差関数値から外れ値度合いを計算する。
そして、その計算結果がある閾値を上回っているかどうかを判断する。
また、分布の平均μｉ（Ｍｉ）と分布の標準偏差Ｓｉに基づいて、各画素における画素値変化から外れ値度合いを計算する。
そして、その計算結果がある閾値を上回っているかどうかを判断する。
ここでＩ´ｘ，Ｉ´ｙ，Ｉ´ｔは１回目のＭＥのものではなく、２回目ＭＥのループ内のステップＳＴ４０６で求める各画素における偏微分値である。
ただし同じ画像ペアに対して２回のＬＫ法を実行するだけなので、実際にはＩ＝Ｉ´である。
ステップＳＴ４０７、ＳＴ４０８に示すように、どちらか一方あるいは両方が成立した場合はΣをとらずに次の画素に進む。
このようにすることで、ある程度のローカル動きやノイズ的な輝度変化を除去し、グローバルＭＶとして望ましい結果を得ることができる。
【００６２】
なお、以下は容易に想像可能なバリエーションであり、本発明に含まれるものとする。
ＭＥの繰り返し回数を２回に限定しているが、繰り返し数をさらに増やしても適用可能である。
並進移動成分のみのＭＶ推定だけではなく、回転拡大を含めたアフィンパラメータ推定あるいは射影変換行列推定に適用したバージョンも適用可能である。
【００６３】
以上説明したように、本実施形態によれば、ＬＫ（Lucas-Kanade）法の高い計算実行効率を保ちながら、局所的な動被写体や照度変化などにロバストなグローバルＭＥを行うことができる。
特に，ＤＩＳに適用する場合、入力画像の縮小画像だけでグローバルＭＥが可能なので、より少ない計算資源で実現可能である。
ブロックマッチング手法をとる場合、通常は専用のハードウェアをもつことが多いが、本手法であれば、一般的な画像縮小回路と汎用メモリとプロセッサがあれば十分である。
【００６４】
このような効果を有する固体撮像素子は、デジタルカメラやビデオカメラの撮像デバイスとして適用することができる。
【００６５】
＜３．撮像装置（カメラシステム）の構成例＞
図８は、本発明の実施形態に係る画像処理装置を採用した撮像装置(カメラシステム)の構成例を示す図である。
【００６６】
本撮像装置１００は、本実施形態に係るグローバルＭＥ装置１１０が適用されている。
さらに、撮像装置１００は、ＣＭＯＳイメージセンサ等の撮像デバイス１２０の画素領域に入射光を導く（被写体像を結像する）光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ２３０を有する。
撮像装置１００は、さらに、前段信号処理装置１４０および後段信号処理装置１５０を有する。
【００６７】
撮像装置１００においては、レンズ系１３０、撮像デバイス１２０により撮影された画像信号は、前段信号処理装置１４０で信号処理して２系統の画素値信号を生成する。
前段信号処理装置１４０において、ひとつの画素値信号からは逐次現画像と参照画像がグローバルＭＥ装置１１０に与えられて動きベクトルを出力する。他方の画素値信号は、その動きベクトルを使用して後段信号処理装置１５０で信号処理し、映像信号として出力する。
【００６８】
図９は、本発明の実施形態に係るグローバルＭＥ装置を画揺れ補正（ＤＩＳ：Digital Image Stabilizer）機能を含む画像処理装置に適用した場合の構成例を示す図である。
【００６９】
本画像処理装置１Ａは、グローバルＭＥ装置１０に加えて、前段信号処理装置２０および後段信号処理装置３０を有する。
前段信号処理装置２０は、メモリ２１，２２、縮小および平滑化回路２３を有する。
後段信号処理装置３０は、動きベクトル（ＭＶ）フィルタ３１および切り出し部３２を有する。
【００７０】
画像処理装置１Ａにおいて、まず、入力端子Ｔ１１から画像シーケンスを取得する。
画像は一枚ずつ入力し、一方の経路ではそのままメモリ２１に格納する。
これは主にＭＥ経路の時間遅れと出力の同期をとるためである。もう一方の経路では縮小および平滑化回路２３で縮小と平滑化処理を行ってからメモリ２２に格納する。
縮小することによりグローバルＭＥの計算量が減り、かつ平滑化と組み合わせることでノイズに強く精度の良いＭＶを得ることができる。
そして、メモリ２２から最新入力画像の縮小平滑化画像（現画像）と一つ過去の画像の縮小平滑化画像（参照画像）を取り出し、上述したグローバルＭＥ装置１０に入力する。
グローバルＭＥの結果得られるＭＶは動きベクトルフィルタ３１を通して補正ベクトルに変換する。
フィルタ３１として最も単純なケースでは積分フィルタ（入力されたＭＶの系列を順次加算していくだけ）を行う。
最終的に、最新入力画像をメモリ２１から取り出し、補正ベクトルに従って切り出し部３２で切り出し拡大（あるいは単に切り出し）を行うことで、画揺れ補正が施された安定化画像シーケンスを生成し、端子Ｔ１２から出力する。
【００７１】
なお、本発明は図９の様式で、ＤＩＳ以外にも画面全体の動き推定・位置合わせを行うようなもの全てに適用できる。
たとえば、ステレオ視マッチング、超解像、３次元ノイズリダクション、パノラマスティッチング、流し撮り（動物体のスチル化）、動画像符号化などに適用可能である。
【００７２】
上述した本実施の形態に限らず、本発明の要旨を逸脱しない限り、適宜、変更しうることはいうまでもない。
【００７３】
また、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【符号の説明】
【００７４】
１，１Ａ・・・画像処理装置、１０・・・グローバルＭＥ装置、１１・・・第１ＭＥ処理部、１２・・・ＭＥ判定部、１３・・・第２ＭＥ処理部、２０・・・前段信号処理装置、３０・・・後段信号処理装置、１００・・・撮像装置、１１０・・・グローバルＭＥ装置、１２０・・・撮像デバイス、１３０・・・光学系（レンズ系）、１４０・・・前段信号処理装置、１５０・・・後段信号処理装置。
【図１】
2011233039.tif 000004
【図２】
2011233039.tif 000005
【図３】
2011233039.tif 000006
【図４】
2011233039.tif 000007
【図５】
2011233039.tif 000008
【図６】
2011233039.tif 000009
【図７】
2011233039.tif 000010
【図８】
2011233039.tif 000011
【図９】
2011233039.tif 000012