(57)【要約】【課題】本発明は、フレーム画像間の動きを適切に表現することができる。【解決手段】６パラベクトル場検出部２は、複数のフレーム画像からなる動画像データにおいて、フレーム画像の一方向をＸ方向、当該一方向と直交する方向をＹ方向とする。このとき６パラベクトル場検出部２は、１フレーム前の基準画像から処理対象となる参照画像までの動きをＸ方向の動き（Ｘベクトル場）及びＹ方向の動き（Ｙベクトル場）に分離する。６パラベクトル場検出部２は、当該Ｘベクトル場及び当該Ｙベクトル場を、Ｘ方向及びＹ方向の位置に拘らず同一の大きさ及び方向でなる並進成分と、Ｘ方向の位置に応じて一次的に変化するＸ依存成分と、Ｙ方向の位置に応じて一次的に変化するＹ依存成分からなるベクトル場としてそれぞれ表す。６パラベクトル場検出部２は、表されたＸ方向及びＹ方向に対応する並進成分、Ｘ依存成分及びＹ依存成分をそれぞれ算出するようにする。【選択図】図１
2010250611.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーム画像からなる動画像データにおいて、上記フレーム画像の一方向をＸ方向、当該一方向と直交する方向をＹ方向とするとき、処理対象となる参照画像よりも１フレーム前の基準画像から当該参照画像までの動きを上記Ｘ方向の動き及び上記Ｙ方向の動きに分離し、当該Ｘ方向の動き及び当該Ｙ方向の動きを、上記Ｘ方向及び上記Ｙ方向の位置に拘らず同一の大きさ及び方向でなる並進成分と、上記Ｘ方向の位置に応じて一次的に変化するＸ依存成分と、上記Ｙ方向の位置に応じて一次的に変化するＹ依存成分からなるベクトル場としてそれぞれ表すモデル化部と、
上記モデル化部によって表された上記Ｘ方向及びＹ方向に対応する上記並進成分、上記Ｘ依存成分及び上記Ｙ依存成分をそれぞれ算出する算出部と
を有する画像処理装置。
【請求項２】
上記モデル化部は、
上記フレーム画像の中心を原点とする上記Ｘ方向の位置をｘ、上記Ｙ方向の位置をｙとするとき、上記Ｘ方向の並進成分を並進パラメータ要素ｕ０、上記Ｘ方向の動きにおけるＸ依存成分をＸ依存パラメータ要素ｕｘ及びｘの乗算値、上記Ｘ方向の動きにおけるＹ依存成分をＹ依存パラメータ要素ｕｙ及びｙの乗算値、上記Ｙ方向の動きにおける並進成分を並進パラメータ要素ｖ０、上記Ｙ方向の動きにおけるＸ依存成分をＸ依存パラメータ要素ｖｘ及びｘの乗算値、上記Ｙ方向の動きにおけるＹ依存成分をＹ依存パラメータ要素ｖｙ及びｙの乗算値として表す
請求項１に記載の画像処理装置。
【請求項３】
上記ベクトル場を（ｕ（ｘ,ｙ）,ｖ（ｘ,ｙ））とするとき、次式に従って上記ベクトル場をモデル化する
【数１】
2010250611.tif 000014
請求項２に記載の画像処理装置。
【請求項４】
上記算出部は、
上記並進パラメータ要素ｕ０及びｖ０、上記Ｘ依存パラメータ要素ｕｘ及びｖｘ、並びに上記Ｙ依存パラメータ要素ｕｙ及びｖｙからなる６つのパラメータ要素のうち少なくとも１つ以上を探索増減値ずつ変更しながら最適な解を探索する局所探索により、上記６つのパラメータ要素をそれぞれ算出する
請求項３に記載の画像処理装置。
【請求項５】
上記算出部は、
上記基準画像の画素における画素値から、上記基準画像の画素を上記ベクトル場に従って移動させた位置に対応する上記参照画像の画素値を減算することにより、上記フレーム画像全体における差分値を算出し、当該差分値が最小となるときを上記最適な解とする
請求項４に記載の画像処理装置。
【請求項６】
上記算出部は、
上記基準画像における座標を（ｘ,ｙ）とし、座標（ｘ,ｙ）における上記基準画像の画素値をＩｔ（ｘ,ｙ）とし、参照画像における画素値をＩｔ＋１とするとき、次式に従って、上記差分値を算出する
【数２】
2010250611.tif 000015
請求項５に記載の画像処理装置。
【請求項７】
上記算出部は、
上記６つのパラメータ要素のうち、探索対象となる探索対象パラメータ要素を順次変更しながら、上記差分値が最小に近づくよう上記探索対象パラメータ要素における現在の値を変更し、上記６つのパラメータ要素の全てをそれぞれ上記探索増減値ずつ変更したときの上記差分値よりも、変更前の６つのパラメータ要素における上記差分値が小さくなるときの当該変更前の６つのパラメータ要素の値を上記最適な解とする
請求項６に記載の画像処理装置。
【請求項８】
上記算出部は、
上記６つのパラメータ要素のうち、上記探索対象パラメータ要素を現在の値から探索増減値ずつ変更し、変更前の探索対象パラメータ要素、及び上記上下に変更された探索対象パラメータ要素を用いて上記差分値を算出し、上記差分値が最小となるときの探索対象パラメータ要素の値を現在の値とすることにより上記局所探索を実行するパラメータ更新部と、
上記６つのパラメータ要素の全てに対して上記パラメータ更新部による上記局所探索が実行され、上記６つのパラメータ要素のいずれにおいても上記現在の値が更新されなかった場合に、上記現在の値を上記最適な解とし、
上記６つのパラメータ要素の全てに対して上記パラメータ更新部による上記局所探索が実行され、上記６つのパラメータ要素のいずれかにおいて上記現在の値が更新された場合に、上記パラメータ更新部に対して上記局所探索を継続させる収束判定部と
を有する請求項７に記載の画像処理装置。
【請求項９】
上記算出部は、
上記探索増減値を大きく設定することにより粗く上記最適な解を見積もり、
上記探索増減値を小さく変更することにより、上記見積もられた最適な解を起点として、上記最適な解を決定する
請求項４に記載の画像処理装置。
【請求項１０】
上記算出部は、
上記最適な解が見積もられたときの上記探索増減値の値が十分に小さい場合に、当該見積もられた最適な解を上記最適な解として決定する
請求項９に記載の画像処理装置。
【請求項１１】
上記算出部は、
複数の初期値候補から選択された初期パラメータを起点として、上記局所探索を行う
請求項４に記載の画像処理装置。
【請求項１２】
上記算出部は、
上記参照画像よりも２フレーム前のフレーム画像から基準画像までの動きを表すベクトル場を参照して上記初期値候補を決定する
請求項１１に記載の画像処理装置。
【請求項１３】
上記算出部は、
上記参照画像よりも２フレーム前のフレーム画像から基準画像までの動きを表すベクトル場における上記６つのパラメータ要素を上記初期値候補とする
請求項１２に記載の画像処理装置。
【請求項１４】
上記算出部は、
基準画像から参照画像までの上記フレーム画像全体の動きを単一のベクトルとして表す全画面ベクトルを参照して決定する
請求項１１に記載の画像処理装置。
【請求項１５】
上記算出部は、
上記全画面ベクトルのＸ方向成分及びＹ方向成分の値を、それぞれ上記並進パラメータ要素ｕ０及びｖ０の値とし、上記Ｘ依存パラメータ要素ｕｘ及びｖｘ、並びに上記Ｙ依存パラメータ要素ｕｙ及びｖｙの値をそれぞれ０としたものを上記初期値候補とする
請求項１４に記載の画像処理装置。
【請求項１６】
上記算出部は、
上記６つのパラメータ要素の値をそれぞれ０としたものを上記初期値候補とする
請求項１１に記載の画像処理装置。
【請求項１７】
上記算出部は、
複数の初期値候補から選択された初期パラメータを起点として、上記局所探索を行う際、上記複数の初期値候補を用いて上記ベクトル場を表したときに、上記差分値が最小となる初期値候補を、上記初期パラメータとする
請求項５に記載の画像処理装置。
【請求項１８】
上記算出部は、
６つのパラメータ要素の全ての値を同時に上記探索増減値ずつ変更しながら最適な解を探索することにより、上記６つのパラメータ要素をそれぞれ算出する
請求項４に記載の画像処理装置。
【請求項１９】
複数のフレーム画像からなる動画像データにおいて、上記フレーム画像の一方向をＸ方向、当該一方向と直交する方向をＹ方向とするとき、処理対象となる参照画像よりも１フレーム前の基準画像から当該参照画像までの動きを上記Ｘ方向の動き及び上記Ｙ方向の動きに分離し、当該Ｘ方向の動き及び当該Ｙ方向の動きを、上記Ｘ方向及び上記Ｙ方向の位置に拘らず同一の大きさ及び方向でなる並進成分と、上記Ｘ方向の位置に応じて一次的に変化するＸ依存成分と、上記Ｙ方向の位置に応じて一次的に変化するＹ依存成分からなるベクトル場としてそれぞれ表すモデル化ステップと、
上記モデル化ステップにおいて表された上記Ｘ方向及びＹ方向に対応する上記並進成分、上記Ｘ依存成分及び上記Ｙ依存成分をそれぞれ算出する算出ステップと
を有する画像処理方法。
【請求項２０】
コンピュータに対して、
複数のフレーム画像からなる動画像データにおいて、上記フレーム画像の一方向をＸ方向、当該一方向と直交する方向をＹ方向とするとき、処理対象となる参照画像よりも１フレーム前の基準画像から当該参照画像までの動きを上記Ｘ方向の動き及び上記Ｙ方向の動きに分離し、当該Ｘ方向の動き及び当該Ｙ方向の動きを、上記Ｘ方向及び上記Ｙ方向の位置に拘らず同一の大きさ及び方向でなる並進成分と、上記Ｘ方向の位置に応じて一次的に変化するＸ依存成分と、上記Ｙ方向の位置に応じて一次的に変化するＹ依存成分からなるベクトル場としてそれぞれ表すモデル化ステップと、
上記モデル化ステップにおいて表された上記Ｘ方向及びＹ方向に対応する上記並進成分、上記Ｘ依存成分及び上記Ｙ依存成分をそれぞれ算出する算出ステップと
を実行させる画像処理プログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び記録媒体に関し、例えば動画像データを処理する画像処理装置に適用して好適なものである。
【背景技術】
【０００２】
従来、動画像データを構成するフレーム画像間の画面全体の動きを表す動きベクトル（以下、これを全画面動きベクトルと呼ぶ）を検出する方法が提案されている（例えば、非特許文献１参照）。
【０００３】
この全画面動きベクトルは、主に動きを用いる画像処理技術、例えば時間・空間解像度創造処理、手ぶれ補正処理、オブジェクト抽出処理、トラッキング処理などに用いられている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ，  Ｖｏｌ．  ５２，  Ｎｏ．  ２，  ＭＡＹ  ２００６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところでかかる構成の画像処理装置では、画面全体の動きを単一の全画面動きベクトルで表現している。しかし実際には、動画像データが撮像される場合、ズーム、回転、高速なパンチルト、ないしこれらの組み合わせにより画面が移動するため、画面全体を全く同一の動きベクトルで表現することは困難である。
【０００６】
従って画像処理装置は、画面全体の動きを単一の全画面動きベクトルによって強引に表している場合があり、かかる場合には全画面動きベクトルが大きな誤差を有するという問題があった。
【０００７】
本発明は以上の点を考慮してなされたもので、画面全体の動きをより的確に表現できる画像処理装置、画像処理方法及び記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００８】
かかる課題を解決するため本発明の画像処理装置においては、複数のフレーム画像からなる動画像データにおいて、フレーム画像の一方向をＸ方向、当該一方向と直交する方向をＹ方向とするとき、処理対象となる参照画像よりも１フレーム前の基準画像から当該参照画像までの動きをＸ方向の動き及びＹ方向の動きに分離し、当該Ｘ方向の動き及び当該Ｙ方向の動きを、Ｘ方向及びＹ方向の位置に拘らず同一の大きさ及び方向でなる並進成分と、Ｘ方向の位置に応じて一次的に変化するＸ依存成分と、Ｙ方向の位置に応じて一次的に変化するＹ依存成分からなるベクトル場としてそれぞれ表すモデル化部と、モデル化部によって表されたＸ方向及びＹ方向に対応する並進成分、Ｘ依存成分及びＹ依存成分をそれぞれ算出する算出部とを設けるようにした。
【０００９】
これにより、画像処理装置は、平面的な位置に応じて動きが変化するベクトル場としてフレーム画像間の動きを表現することができる。
【００１０】
また、本発明の画像処理方法は、複数のフレーム画像からなる動画像データにおいて、フレーム画像の一方向をＸ方向、当該一方向と直交する方向をＹ方向とするとき、処理対象となる参照画像よりも１フレーム前の基準画像から当該参照画像までの動きをＸ方向の動き及びＹ方向の動きに分離し、当該Ｘ方向の動き及び当該Ｙ方向の動きを、Ｘ方向及びＹ方向の位置に拘らず同一の大きさ及び方向でなる並進成分と、Ｘ方向の位置に応じて一次的に変化するＸ依存成分と、Ｙ方向の位置に応じて一次的に変化するＹ依存成分からなるベクトル場としてそれぞれ表すモデル化ステップと、モデル化ステップにおいて表されたＸ方向及びＹ方向に対応する並進成分、Ｘ依存成分及びＹ依存成分をそれぞれ算出する算出ステップとを設けるようにした。
【００１１】
これにより、画像処理方法は、平面的な位置に応じて動きが変化するベクトル場としてフレーム画像間の動きを表現することができる。
【００１２】
さらに、本発明の記録媒体は、コンピュータに対して、複数のフレーム画像からなる動画像データにおいて、フレーム画像の一方向をＸ方向、当該一方向と直交する方向をＹ方向とするとき、処理対象となる参照画像よりも１フレーム前の基準画像から当該参照画像までの動きをＸ方向の動き及びＹ方向の動きに分離し、当該Ｘ方向の動き及び当該Ｙ方向の動きを、Ｘ方向及びＹ方向の位置に拘らず同一の大きさ及び方向でなる並進成分と、Ｘ方向の位置に応じて一次的に変化するＸ依存成分と、Ｙ方向の位置に応じて一次的に変化するＹ依存成分からなるベクトル場としてそれぞれ表すモデル化ステップと、モデル化ステップにおいて表されたＸ方向及びＹ方向に対応する並進成分、Ｘ依存成分及びＹ依存成分をそれぞれ算出する算出ステップとを実行させる画像処理プログラムが記録されるようにした。
【００１３】
これにより、記録媒体に記録された画像処理プログラムは、コンピュータに平面的な位置に応じて動きが変化するベクトル場としてフレーム画像間の動きを表現させることができる。
【発明の効果】
【００１４】
本発明によれば、平面的な位置に応じて動きが変化するベクトル場としてフレーム画像間の動きを表現することができ、かくして画面全体の動きをより的確に表現できる画像処理装置、画像処理方法及び記録媒体を実現できる。
【図面の簡単な説明】
【００１５】
【図１】ズームイン時のベクトル場を示す略線図である。
【図２】回転時のベクトル場を示す略線図である。
【図３】画像処理装置の構成を示す略線図である。
【図４】全探索（フルサーチ）のイメージ図である。
【図５】局所探索法のイメージ図である。
【図６】６パラベクトル場検出部の構成を示す略線図である。
【図７】初期パラメータ決定プロセスの説明に供する略線図である。
【図８】パラメータ毎独立探索の説明に供する略線図である。
【図９】６パラベクトル場検出処理手順の説明に供するフローチャートである。
【図１０】６パラ独立局所探索処理手順の説明に供するフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面について、本発明の一実施の形態を詳述する。なお、説明は以下の順序で行う。
１．実施の形態（６パラ動きベクトル場の検出）
２．他の実施の形態
【００１７】
＜１．実施の形態＞
[１−１．６パラベクトル場の定義]
従来のフレーム画像において、画面全体で単一の動きを表す動きベクトル（以下、これを全画面動きベクトルＶｇと呼ぶ）は、一般的に、横方向（水平方向）成分及び縦方向（垂直方向）成分を示す（ｕ，ｖ）として表される。
【００１８】
しかしながら、上述したように、フレーム画像間の動きが、単一の全画面動きベクトルＶｇとして表現できることは稀であり、フレーム画像における位置に応じて、局所的に動きベクトルが変化することが多い。
【００１９】
例えば、動画像データを撮像する撮像装置としてのカムコーダ（図示せず）が被写体を撮像する際、被写体を拡大する方向にズームインした場合を考える。このとき、直前のフレーム画像（以下、これを基準画像と呼ぶ）から現在のフレーム画像（以下、これを参照画像と呼ぶ）までの動きを表す動きベクトルは、フレーム画像内で一律ではなく、図１（Ａ）のように、フレーム画像内の位置に応じて変化する。
【００２０】
以下、フレーム画像内の位置に応じて変化する動きベクトルを、ローカル動きベクトルＬＭＶと呼び、画面全体の動きを表す単一の全画面動きベクトルＶｇと区別する。また、図１（Ａ）のように、フレーム画像全域においてローカル動きベクトルＬＭＶを表したものをベクトル場と呼ぶ。フレーム画像の横方向（水平方向）をＸ、縦方向（垂直方向）をＹとする。
【００２１】
ズームイン時において、フレーム画像では、被写体が拡大するのに伴い、ローカル動きベクトルＬＭＶがズーム中心から外側へ向いており、当該ローカル動きベクトルＬＭＶが外側にいくにつれて大きくなっている。なお図１はフレーム画像の中心にズーム中心がある場合を示している。
【００２２】
この図１（Ａ）におけるベクトル場を、Ｘ方向のローカル動きベクトルＬＭＶのみを表すＸベクトル場及びＹ方向のローカル動きベクトルＬＭＶのみを表すＹベクトル場に分解すると、それぞれ図１（Ｂ）及び図１（Ｃ）のようになる。すなわち、Ｘベクトル場において、Ｘ方向のローカル動きベクトルＬＭＶは、ｘ座標（Ｙ方向の位置）に応じて一次的に変化し、横方向最外端において最大となる。Ｙ方向におけるベクトル場も同様であり、Ｙ方向のローカル動きベクトルＬＭＶは、ｙ座標（Ｘ方向の位置）に応じて一次的に変化し、縦方向上下端において最大となる。
【００２３】
なお、図１（Ｂ）及び（Ｃ）に示すように、ズームイン時において、ローカル動きベクトルＬＭＶは、符号が逆となる対称座標において逆方向かつ同一サイズとなる。このため、全画面動きベクトルＶｇにおいて、ズームインの動きは互いに相殺されてしまい、実質上ほぼ現われないことになる。また、ズームアウトについても同様である。
【００２４】
次に、カムコーダが、フレーム画像の中心を軸として当該カムコーダを微少に回転させながら被写体を撮像した場合について考える。このとき、図２（Ａ）に示すように、ローカル動きベクトルＬＭＶは一方向へ向けて回転し、その大きさが外側へいくにつれて大きくなる。
【００２５】
このとき、図２（Ｂ）に示すように、Ｘベクトル場において、Ｘ方向のローカル動きベクトルＬＭＶは、Ｘ軸上において０となり、上下へいくにつれて一次的に変化し、縦方向上下端においてその振れ幅が最大となる。すなわち、Ｘ方向のローカル動きベクトルＬＭＶは、その大きさがｙ座標（Ｙ方向の位置）に応じてそれぞれ一次的に増大又は減少することがわかる。
【００２６】
図２（Ｃ）に示すように、Ｙベクトル場においても同様であり、Ｙ方向のローカル動きベクトルＬＭＶは、Ｙ軸上において０となり、上下へいくにつれて一次的に変化し、横方向外側においてその振れ幅が最大となる。すなわち、Ｙ方向のローカル動きベクトルＬＭＶは、その大きさがｘ座標（Ｘ方向の位置）に応じてそれぞれ一次的に増大又は減少することがわかる。
【００２７】
なお、図２（Ｂ）及び（Ｃ）に示すように、回転時において、ローカル動きベクトルＬＭＶは、符号が逆となる対称座標において逆方向かつ同一サイズとなる。このため、全画面動きベクトルＶｇにおいて、回転の動きは互いに相殺されてしまい、実質上ほぼ現われないことになる。
【００２８】
また、カムコーダが縦方向及び横方向に移動することや、パンチルトによって生じる並進（図示せず）は、フレーム画像においてｘ座標及びｙ座標（Ｘ方向及びＹ方向の位置）に拘らず同一の大きさ及び方向でなるローカル動きベクトルＬＭＶとして現われることになる。
【００２９】
そこで、本発明は、フレーム画像間におけるベクトル場を、フレーム画像における任意の座標を（ｘ、ｙ）としたとき、その座標によって変化する（ｕ（ｘ，ｙ）,ｖ（ｘ，ｙ））の形式で表す。
【００３０】
具体的に、本発明は、Ｘベクトル場を、Ｘ方向及びＹ方向の位置に拘らず同一の大きさ及び方向でなる並進成分を表す並進パラメータ要素ｕ０と、Ｘ方向の位置に応じて一次的に変化するＸ依存成分ｕｘｘと、Ｙ方向の位置に応じて一次的に変化するＹ依存成分ｕｙｙを加算することにより、次式のように表す。同様に、本発明は、Ｙベクトル場を、Ｘ方向及びＹ方向の位置に拘らず同一の大きさ及び方向でなる並進成分を表す並進パラメータ要素ｖ０と、Ｘ方向の位置に応じて一次的に変化するＸ依存成分ｖｘｘと、Ｙ方向の位置に応じて一次的に変化するＹ依存成分ｖｙｙとを加算することにより、次式のように表す。
【００３１】
【数１】
2010250611.tif 000003
【００３２】
実際上、図１（Ａ）に示したズームイン時のＸベクトル場（ｕ（ｘ，ｙ））を、ｕの値をＺ軸として３次元的にプロットすると、図１（Ｄ）のように平面となる。すなわち、ズームイン時のＸベクトル場において、Ｘ依存成分ｕｘｘ及びＹ依存成分ｕｙｙが一次的に変化しており、Ｘベクトル場を一次平面として表現できることが確認された。図示しないが、Ｙベクトル場（ｖ（ｘ，ｙ））についても同様である。
【００３３】
また、図２（Ａ）に示した回転時のＸベクトル場（ｕ（ｘ，ｙ））を、ｕの値をＺ軸として３次元的にプロットすると、図２（Ｄ）のように平面となる。すなわち、回転時のＸベクトル場において、Ｘ依存成分ｕｘｘ及びＹ依存成分ｕｙｙが一次的に変化しており、Ｘベクトル場を一次平面として表現できることが確認された。図示しないが、Ｙベクトル場（ｖ（ｘ，ｙ））についても同様である。
【００３４】
すなわち、並進パラメータ要素ｕ０及びｖ０はもちろん、Ｘ依存パラメータ要素ｕｘ及びｖｘ、並びにＹ依存パラメータ要素ｕｙ及びｖｙも単純な数字で表される係数となる。この結果、本発明は、６つのパラメータ要素を算出することにより、ベクトル場を表現することが可能となる。なお以下、（１）式によって表されたベクトル場を、６パラベクトル場と呼ぶ。
【００３５】
このように、本発明は、カムコーダの動作に伴うフレーム画像全体の動きを（１）式で表す６パラベクトル場として表現することにより、フレーム画像全体で単一の動きとして表される全画面動きベクトルＶｇによって表現できなかった動きを適切に表現することが可能となる。
【００３６】
[１−２．画像処理装置の構成]
図３に示すように、１は、全体として本実施の形態による画像処理装置を示している。動画像データとしての入力画像が供給されると、６パラベクトル場検出部２は、一つ前の基準画像に対する現在の参照画像の動きを表す６パラベクトル場をフレーム画像ごとに検出する。すなわち、６パラベクトル場検出部２は、（１）式における６つのパラメータ要素（並進パラメータ要素ｕ０及びｖ０、Ｘ依存パラメータ要素ｕｘ及びｖｘ、並びにＹ依存パラメータ要素ｕｙ及びｖｙ）を算出する。
【００３７】
６パラベクトル場検出部２は、検出した６パラベクトル場と入力画像とを画像処理部３に供給する。画像処理部３は、入力画像に対し、６パラベクトル場に基づいて画像処理（詳しくは後述する）を実行し、画像処理された入力画像を出力画像として出力するようになされている。
【００３８】
次に、６つのパラメータ要素の算出方法について説明する。
【００３９】
一般的なローカル動きベクトルＬＭＶを算出する方法として、ブロックマッチング法が広く適用されている。ブロックマッチング法を実行する従来の画像処理装置は、基準画像における処理対象となる処理ブロックを、参照画像における探索範囲内の全てのベクトルに応じて移動させ、マッチング（差分計算）する。そして従来の画像処理装置は、最も低い評価値（差分値）を与える参照画像におけるブロックが得られると、対応するベクトルを処理ブロックの動きベクトルとして検出する。
【００４０】
このブロックマッチング法は、シンプルながら妥当性の高い手法であるといえるが、探索範囲内の全てのブロックに対してマッチングを実行するため、探索範囲が大きかったり、フレーム画像におけるブロック数が増大すると、処理負荷が大きくなるという欠点を有している。
【００４１】
この探索範囲内において全探索するブロックマッチング法を６つのパラメータ要素の算出に適用する場合について考える。すなわち、図４にイメージを示すように、画像処理装置は、６つのパラメータ要素に対して有限の探索範囲を設定し、探索範囲内において取り得る全てのパラメータ要素の組み合わせでなるベクトルに応じて処理ブロックを移動させ、マッチングを行う。そしてこの画像処理装置は、最も低い評価値に対応するベクトルを処理ブロックの動きベクトルとして検出する。
【００４２】
この場合、画像処理装置は、シンプルな処理により６つのパラメータ要素を算出することができるものの、６つのパラメータ要素の取り得る組み合わせの全てを探索範囲とすることになるため、探索数が６乗のオーダーとなりと極めて膨大となる。従って、画像処理装置は、このブロックマッチング法を実行すると、膨大な数の演算処理を実行する必要が生じてしまう。
【００４３】
そこで、本実施の形態における画像処理装置１は、６パラベクトル場を検出する際、６パラ独立局所探索処理を実行する。画像処理装置１は、６パラ独立局所探索処理において、図５にイメージを示すように、パラメータ要素ごとに適切な要素値に向けて少しずつ要素値を変化させていくことにより、最終的に最適な解としての要素値を検出するようになされている。
【００４４】
［１−３．６パラベクトル場の検出］
画像処理装置１の６パラベクトル場検出部２は、６パラ独立局所探索処理において、初期パラメータの設定を行い、当該初期パラメータにおける要素値から最適な解としての適切な要素値を検出するまで、当該適切な要素値に向けて少しずつ要素値を変化させる。このため、６パラベクトル場検出部２は、適切な初期パラメータの設定により、適切な要素値を検出するまでの処理過程を短縮することが可能となる。
【００４５】
そこで、６パラベクトル場検出部２は、複数の初期値候補から最も適切な初期パラメータを選択するようになされている。まず、６パラベクトル場検出部２は、初期値候補の算出に用いられる全画面動きベクトルＶｇを算出する。
【００４６】
［１−３−１．全画面動きベクトルの検出］
図６に示すように、画像処理装置１の６パラベクトル場検出部２は、順次供給される入力画像をフレームメモリ１１に一時記憶する。
【００４７】
全画面動きベクトル探索部１２は、フレームメモリ１１から処理対象となる参照画像と、当該参照画像より１つ前のフレーム画像である基準画像とを読み出す。全画面動きベクトル探索部１２は、次式に示す一般的なブロックマッチング法により、基準画像を基準としたときの参照画像の全画面動きベクトルＶｇを算出する。なお、ｔは時刻を示しており、時刻ｔに対応するフレーム画像が基準画像であり、時刻ｔ＋１に対応するフレーム画像が参照画像となる。ｘ、ｙはそれぞれ基準画像におけるＸ及びＹの座標を表しており、ｘ＋ｕは、基準画像におけるｘをｕだけ移動させたことを表している。
【００４８】
【数２】
2010250611.tif 000004
【００４９】
【数３】
2010250611.tif 000005
【００５０】
すなわち、Ｄ（ｖ，ｕ）は、基準画像における画素をベクトル（ｕ,ｖ）だけ動かした位置に対応する参照画像における画素値Ｉｔ＋１から、基準画像における画素値Ｉｔ（ｘ,ｙ）を減算した差分値Ｄを表している。全画面動きベクトル探索部１２は、ベクトル（ｖ，ｕ）を探索し、差分値Ｄ（ｖ，ｕ）が最小となるベクトル（ｖ，ｕ）を、全画面動きベクトルＶｇ＝（ｖｇ，ｕｇ）として決定する。全画面動きベクトル探索部１２は、演算量の観点から、ベクトル（ｖ，ｕ）の探索範囲にある程度の制限（サーチエリア）を設けるようにしても良い。
【００５１】
全画面動きベクトル探索部１２は、検出した全画面動きベクトルＶｇを、初期パラメータ決定部１３に供給する。初期パラメータ決定部１３は、３つの初期値候補のうち、第２初期値候補にこの全画面動きベクトルＶｇを用いるようになされている。
【００５２】
［１−３−２．初期パラメータの決定］
初期パラメータ決定部１３は、次式に示すように、６つの各パラメータ要素に対する初期値をそれぞれ設定し、初期パラメータＰｔとする。詳しくは後述するが、６パラベクトル場検出部２は、各パラメータ要素が最適な解になるまで少しずつ変動させる６パラ独立局所探索処理を実行する。従って、初期パラメータ決定部１３は、適切な初期パラメータＰｔを設定することにより、６つの各パラメータ要素が最適な解になるまでの探索処理のステップ数を減少させることが可能となる。
【００５３】
なお、前フレームパラメータＰｔ−１は、基準画像及び当該基準画像より１つ前のフレーム画像間の６パラベクトル場（以下、これを前フレームベクトル場と呼ぶ）に対応するものである。
【００５４】
【数４】
2010250611.tif 000006
【００５５】
初期パラメータ決定部１３は、３つの初期値候補として、第１の初期値候補Ｐｔ＿１〜第３の初期値候補Ｐｔ＿３を決定する。
【００５６】
まず、初期パラメータ決定部１３は、前フレームベクトル場を参照して第１の初期値候補Ｐｔ＿１を決定する。初期パラメータ決定部１３は、次式に示すように、パラメータ保持部１７から供給される前フレームパラメータＰｔ−１をそのまま第１の第１の初期値候補Ｐｔ＿１とする。この第１の初期値候補Ｐｔ＿１は、基準画像及び参照画像間の６パラベクトル場（以下、これを探索対象ベクトル場と呼ぶ）が前フレームベクトル場とほぼ同一であると仮定したものであり、一定の動きでフレーム画像が撮像された場合において、主に選択される。
【００５７】
【数５】
2010250611.tif 000007
【００５８】
初期パラメータ決定部１３は、全画面動きベクトルＶｇを参照して第２の初期値候補Ｐｔ＿２を決定する。初期パラメータ決定部１３は、次式に示すように、全画面動きベクトル探索部１２から供給される全画面動きベクトルＶｇ（ｕｇ、ｖｇ）を、第２の初期値候補Ｐｔ＿２における並進パラメータ要素ｕ０及びｖ０とし、Ｘ依存パラメータ要素ｕｘ及びｖｘ、並びにＸ依存パラメータ要素ｕｘ及びｖｘを「０」とする。
【００５９】
【数６】
2010250611.tif 000008
【００６０】
この第２の初期値候補Ｐｔ＿２は、探索対象ベクトル場が急激に変化したと仮定したものであり、カムコーダの動きが急激に変化したような場合に、主に選択される。上述した回転やズームでは、原点を中心として互いに対称となるローカル動きベクトルＬＭＶ同士が互いの成分を相殺してしまう。このため、回転やズームでは、全画面動きベクトルＶｇがほぼ実質上「０」となる。
【００６１】
すなわち、フレーム画像間の動きに急激な変化が生じた場合、並進成分のみが全画面動きベクトルＶｇとして現われるものの、回転やズームイン及びズームアウトなどの変化は全画面動きベクトルＶｇには殆ど現われないことになる。このため、初期パラメータ決定部１３は、第２の初期値候補Ｐｔ＿２における並進成分としてのみ全画面動きベクトルＶｇを使用する。
【００６２】
初期パラメータ決定部１３は、次式に示すように、第３の初期値候補Ｐｔ＿３における並進パラメータ要素ｕ０及びｖ０、Ｘ依存パラメータ要素ｕｘ及びｖｘ、並びにＸ依存パラメータ要素ｕｘ及びｖｘをいずれも「０」とする。
【００６３】
【数７】
2010250611.tif 000009
【００６４】
この第３の初期値候補Ｐｔ＿３は、参照するものが何もないと仮定したものであり、例えばシーンチェンジ、花火、撮像時にフラッシュが使用された場合など、フレーム画像自体（絵柄など）が急激な変化を生じたときに、主に選択される。
【００６５】
そして、初期パラメータ決定部１３は、第１の初期値候補Ｐｔ＿１〜第３の初期値候補Ｐｔ＿３を差分計算部１４に供給する。
【００６６】
差分計算部１４は、（２）式に対して（１）式を代入してなる（８）式に従って、第１の初期値候補Ｐｔ＿１〜第３の初期値候補Ｐｔ＿３をパラメータとしたときの差分値を算出し、初期パラメータ決定部１３に供給する。
【００６７】
【数８】
2010250611.tif 000010
【００６８】
すなわち、差分計算部１４は、基準画像の画素と対応する参照画像の画素（すなわち、基準画像の画素を第１の初期値候補Ｐｔ＿１〜第３の初期値候補Ｐｔ＿３に基づく６パラベクトル場（ｕ,ｖ）だけ動かしたとき）の画素値Ｉｔ＋１から、基準画像における画素値Ｉｔ（ｘ,ｙ）を減算した差分値Ｄ（Ｐ）を算出する。
【００６９】
図７に示すように、初期パラメータ決定部１３は、差分値Ｄ（Ｐ）を比較し、最も低い値を有する差分値Ｄ（Ｐ）に対応する初期値候補を初期パラメータＰｔに決定する。
【００７０】
すなわち、初期パラメータ決定部１３は、基準画像の各画素を初期値候補が表す６パラベクトル場だけ移動させた画素を参照画像における基準画像に対応する画素として特定する。初期パラメータ決定部１３は、当該参照画像における基準画像に対応する画素の画素値から、基準画像の画素値を減算することにより、差分値Ｄ（Ｐ）を算出する。言い換えると、初期パラメータ決定部１３は、参照画像の画素値を初期値候補に応じて移動させ、基準画像に最も近くなる初期値候補を初期パラメータＰｔを決定する。
【００７１】
これにより、初期パラメータ決定部１３は、探索対象ベクトル場における各パラメータ要素と最も近い要素値を有する初期値候補を初期パラメータＰｔに決定することができる。初期パラメータ決定部１３は、決定した初期パラメータＰｔをパラメータ更新部１５に供給するようになされている。
【００７２】
このように、初期パラメータ決定部１３は、第１の初期値候補Ｐｔ＿１〜第３の初期値候補Ｐｔ＿３から選択された初期値候補を初期パラメータＰｔに決定するようになされている。
【００７３】
[１−３−３．６パラ独立局所探索処理]
パラメータ更新部１５は、初期パラメータ決定部１３から初期パラメータＰｔが供給されると、６パラ独立局所探索処理を開始する。すなわち、パラメータ更新部１５は、まず、初期パラメータＰｔを現在のパラメータＰとする。
【００７４】
パラメータ更新部１５は、（９）式に示す現在のパラメータＰに対し、微少な増減幅でなる探索増減値εだけｕ０の値を増減させることにより、（１０）式及び（１１）式に示す増大パラメータＰ＋及び減少パラメータＰ−をそれぞれ生成する。パラメータ更新部１５は、現在のパラメータＰ、増大パラメータＰ＋及び減少パラメータＰ−を差分計算部１４に供給する。
【００７５】
【数９】
2010250611.tif 000011
【００７６】
【数１０】
2010250611.tif 000012
【００７７】
【数１１】
2010250611.tif 000013
【００７８】
差分計算部１４は、現在のパラメータＰ、増大パラメータＰ＋及び減少パラメータＰ−を用いて（８）式に従って、差分値Ｄ（Ｐ）、Ｄ（Ｐ＋）及びＤ（Ｐ−）をそれぞれ生成し、パラメータ更新部１５に供給する。このとき差分計算部１４は、（２）式に（１）式が代入されてなる（８）式を用いることにより、フレーム画像間の動きを６パラベクトル場としてモデル化している。
【００７９】
パラメータ更新部１５は、図８に示すように、差分値Ｄ（Ｐ）、Ｄ（Ｐ＋）及びＤ（Ｐ−）を比較し、現在のパラメータＰ、増大パラメータＰ＋及び減少パラメータＰ−のうち、最も小さい差分値Ｄに対応するパラメータを選択する。
【００８０】
パラメータ更新部１５は、選択されたパラメータが増大パラメータＰ＋又は減少パラメータＰ−であった場合、並進パラメータ要素ｕ０として探索増減値εを増減させたｕ０＋ε又はｕ０−εが最適な解に近いと判別する。パラメータ更新部１５は、現在のパラメータＰにおける並進パラメータ要素ｕ０を選択された増大パラメータＰ＋又は減少パラメータＰ−における並進パラメータ要素ｕ０に更新する。
【００８１】
パラメータ更新部１５は、選択されたパラメータが現在のパラメータＰであった場合、並進パラメータ要素ｕ０を更新せず、現在のパラメータＰをそのまま現在のパラメータＰに据え置く。
【００８２】
パラメータ更新部１５は、６つのパラメータ要素（並進パラメータ要素ｕ０及びｖ０、Ｘ依存パラメータ要素ｕｘ及びｖｘ、Ｙ依存パラメータ要素ｕＹ及びｖＹ）について同様の処理を実行する。すなわち、パラメータ更新部１５は、現在のパラメータＰ（並進パラメータ要素ｕ０の更新前）から探索増減値εだけＸ依存パラメータ要素ｕｘの値を増減させて増大パラメータＰ＋及び減少パラメータＰ−を生成し、差分計算部１４に供給する。
【００８３】
なお、差分計算部１４は、並進パラメータ要素ｕ０に対する差分値Ｄの算出の際、現在のパラメータＰに対する差分値Ｄ（Ｐ）を既に算出している。このため、差分計算部１４は、探索処理における２つ目以降のパラメータ要素に対しては増大パラメータＰ＋及び減少パラメータＰ−についてのみ差分値Ｄ（Ｐ＋）及びＤ（Ｐ−）を算出する。
【００８４】
差分計算部１４は、現在のパラメータＰ、増大パラメータＰ＋及び減少パラメータＰ−を用いて（８）式に従って、差分値Ｄ（Ｐ＋）及びＤ（Ｐ−）をそれぞれ生成し、パラメータ更新部１５（図６）に供給する。
【００８５】
パラメータ更新部１５は、差分値Ｄ（Ｐ）、Ｄ（Ｐ＋）及びＤ（Ｐ−）を比較し、現在のパラメータＰ、増大パラメータＰ＋及び減少パラメータＰ−のうち、最も小さい差分値Ｄに対応するＸ依存パラメータ要素ｕｘを現在のパラメータＰにおけるＸ依存パラメータ要素ｕｘとして選択し、必要に応じてＸ依存パラメータ要素ｕｘを更新する。
【００８６】
パラメータ更新部１５及び差分計算部１４は、並進パラメータ要素ｖ０、Ｘ依存パラメータ要素ｖｘ、Ｙ依存パラメータ要素ｕＹ及びｖＹについても、同様にして差分値Ｄ（Ｐ＋）及びＤ（Ｐ−）をそれぞれ生成する。パラメータ更新部１５は、最も小さい差分値Ｄに対応する並進パラメータ要素ｖ０、Ｘ依存パラメータ要素ｖｘ、Ｙ依存パラメータ要素ｕＹ及びｖＹをそれぞれ現在のパラメータＰにおける各パラメータ要素として選択し、必要に応じて各パラメータ要素を更新する。
【００８７】
すなわち、パラメータ更新部１５は、６つのパラメータ要素に対し、最も小さい差分値Ｄに対応するパラメータ要素を、現在のパラメータＰにおける各パラメータ要素としてそれぞれ選択し、必要に応じて各パラメータ要素を更新する。
【００８８】
以上、現在のパラメータＰが設定されてから、次の現在のパラメータＰが選択されるまでの処理を、６パラ独立局所探索処理における探索処理と呼ぶ。この探索処理の１ステップ内の差分値Ｄの演算において、探索対象パラメータ要素以外の要素値については、当該探索処理開始当初の要素値が用いられる。
【００８９】
これにより、６パラベクトル場検出部２は、探索処理の１ステップにおいて、現在のパラメータＰについての差分値Ｄ（Ｐ）を１回のみ算出すれば良い。この結果、６パラベクトル場検出部２は、現在のパラメータＰにおける要素値を更新しながら現在のパラメータＰの差分値Ｄを逐次算出し直す方法と比較して、１ステップにおける差分値Ｄの演算数を減少させることができる。
【００９０】
パラメータ更新部１５は、探索処理を終了すると、現在のパラメータＰを収束判定部１６に供給する。
【００９１】
収束判定部１６は、探索処理が実行される前の現在のパラメータＰ（以下、これを探索前パラメータと呼ぶ）を保持している。収束判定部１６は、現在のパラメータＰが供給されると、探索前パラメータと現在のパラメータＰとを比較し、６つのパラメータ要素のいずれかが更新されたか否かを判別する。
【００９２】
収束判定部１６は、６つのパラメータ要素のいずれかが更新された場合には、探索増減値εを変更することなく探索処理を再度実行する。収束判定部１６は、６つのパラメータ要素の全てが更新されなくなるまで、探索処理を繰り返し実行する。
【００９３】
すなわち、６パラベクトル場検出部２は、６つのパラメータ要素のそれぞれについて探索増減値εだけ１つずつパラメータ要素の要素値をずらして探索処理を実行し、現在のパラメータＰにおけるパラメータ要素を一段と差分値Ｄの小さくなるパラメータ要素へ向けて更新を続ける。
【００９４】
６パラベクトル場検出部２は、全てのパラメータ要素を徐々に変動させながら各パラメータ要素を収束させるため、一のパラメータ要素が偶発的に誤った極小値に収束した場合であっても、他のパラメータ要素の変動に応じて当該誤った極小値から更新させることができる。この結果、６パラベクトル場検出部２は、６つのパラメータ要素の全てに対する最適な解（すなわち正しいパラメータ要素の要素値）を探索することができる。
【００９５】
６パラベクトル場検出部２は、１ステップの探索処理として、１回のみ差分値Ｄ（Ｐ）を算出する。６パラベクトル場検出部２は、６つのパラメータ要素をそれぞれ増減させるため、６つのパラメータ要素それぞれについて差分値Ｄ（Ｐ＋）及びＤ（Ｐ−）を算出する。このため、６パラベクトル場検出部２は、１ステップにおいて１＋６×２＝１３回だけ差分値Ｄを算出すれば良い。
【００９６】
これにより、６パラベクトル場検出部２は、１ステップにおける差分値Ｄの演算回数を増大させることなく、簡易な処理で６つのパラメータ要素についての最適な解を算出し得るようになされている。
【００９７】
収束判定部１６は、６つのパラメータ要素の全てが更新されなかった場合には、探索増減値εを確認する。収束判定部１６は、探索増減値εが終了閾値以上であった場合には、探索増減値εが大きいため、探索増減値εを小さく（例えば半分）して探索処理を実行する。
【００９８】
これにより、収束判定部１６は、最初に探索増減値εを大きく設定して要素値の最適な解を粗く見積もった後、当該粗く見積もられた最適な解を起点とし、探索増減値εを小さく変更して要素値を詳細に探索することができる。これにより、収束判定部１６は、パラメータ要素の探索の精度を低下させることなく、探索処理のステップ数を減少させることが可能となる。
【００９９】
収束判定部１６は、探索増減値εが終了閾値未満であった場合には、現在のパラメータＰを探索対象ベクトル場における６つのパラメータ要素に決定し、６パラ独立局所探索処理を終了する。このとき収束判定部１６は、決定された現在のパラメータＰをパラメータ保持部１７に一時記憶する。
【０１００】
この決定された現在のパラメータＰは、次の探索対象ベクトル場に対する６パラ独立局所探索処理の際、前フレームベクトル場における前フレームパラメータＰｔ−１として使用される。
【０１０１】
このように、６パラベクトル場検出部２は、参照画像から探索対象ベクトル場に応じて動きを戻した画素値と、基準画像の画素値との差分値Ｄが最も小さくなる６つのパラメータ要素の要素値を探索対象ベクトル場における最適な解とする。
【０１０２】
６パラベクトル場検出部２は、６つのパラメータ要素の要素値を少しずつ、かつ、１つずつ変動させながらパラメータ要素の最適な解を探索する。これにより、６パラベクトル場検出部２は、１ステップにおける演算処理を抑制すると共に、６つのパラメータ要素の全てに対して最小の差分値Ｄを示す要素値を、各パラメータ要素の最適な解として検出することができる。この結果、６パラベクトル場検出部２は、簡易な処理によって、高い精度で探索対象ベクトル場を検出することができる。
【０１０３】
なお、上述した一連の６パラベクトル場検出処理は、ハードウェアにより実行させることもでき、また、ソフトウェアにより実行させることも可能である。６パラベクトル場検出処理をソフトウェアによって実現する場合、ＣＰＵ及びＲＡＭに仮想的に６パラベクトル場検出部２が形成される。そして、ＲＯＭに格納された６パラベクトル場検出プログラムをＲＡＭに展開することにより、６パラベクトル場検出処理が実行される。
【０１０４】
[１−４．画像処理]
画像処理装置１における画像処理部３（図３）は、６パラベクトル場検出部２によって検出された６パラベクトル場を用いて、解像度創造処理、手ぶれ補正処理、オブジェクト抽出処理、又はトラッキング処理などの各種画像処理を実行する。
【０１０５】
画像処理部３は、例えば時間的な解像度創造処理を実行する場合、基準画像を６パラベクトル場の半分だけ移動させた補間フレーム画像を生成し、基準画像及び参照画像の間に挟む。
【０１０６】
従来の画像処理部では、全画面動きベクトルＶｇの半分だけ移動させた補間フレーム画像を生成していた。このため、補間フレーム画像は、並進移動については実際の画素の移動と同様の動きを反映することができるものの、回転やズームに対して実際の画素の移動とは異なる動きを示していた。  
【０１０７】
画像処理部３は、Ｘ及びＹ座標に依存する成分を有しているため、回転やズームに対しても補間フレーム画像に実際の画素の動きを反映させることができ、従来の補間処理と比して、時間的な解像度を一段と向上させることができる。
【０１０８】
画像処理部３は、空間的な解像度創造処理を実行する場合、基準画像を６パラベクトル場の半分だけ移動させた補間画素を生成し、参照画像における画素間に挟む。これにより、画像処理部３は、Ｘ及びＹ座標に応じた実際の画素の動きを反映させて補間画素を生成できるため、従来の補間処理と比較して、空間的な解像度を一段と向上させ得る。
【０１０９】
画像処理部３は、手ぶれ補正処理を実行する場合、６パラベクトル場から小さな振動を示す手ぶれ成分を検出する。ここで、手ぶれ成分は、並進及び回転による動きが想定される。回転による６パラベクトル場は、図２に示したように、原点に対して点対称のローカル動きベクトルＬＭＶとして現われる。
【０１１０】
画像処理部３は、参照画像から手ぶれ成分を相殺することにより、フレーム画像に対して手ぶれ補正を実行することができる。これにより、画像処理部３は、並進だけでなく回転についても手ぶれ補正を実行できるため、全画面動きベクトルＶｇを用いる場合と比して、手ぶれ補正の精度を向上させ得る。
【０１１１】
画像処理部３は、オブジェクト抽出処理の際、６パラベクトル場と大きく相違するローカル動きベクトルＬＭＶの存在する領域を、オブジェクトとして抽出する。画像処理部３は、フレーム画像全体の動きを６パラベクトル場として適切に表しているため、オブジェクトにおけるローカル動きベクトルＬＭＶとの差異を明確にでき、オブジェクトを適切に抽出することができる。
【０１１２】
トラッキング処理は、カムコーダにおいて実行されることが想定されている。すなわち、カムコーダにおける画像処理部３は、トラッキング処理の際、オブジェクト抽出処理によってオブジェクトを抽出する。カムコーダは、抽出されたオブジェクトに対して合焦するよう、図示しないレンズ群を駆動することにより、オブジェクトに対して常に焦点を合わせる。
【０１１３】
このように、画像処理部３は、様々な画像処理において全画面動きベクトルＶｇの代りとして６パラベクトル場を用いることができる。画像処理部３は、６パラベクトル場の有する誤差が全画面動きベクトルＶｇの有する誤差より遙かに小さいことにより、各画像処理の精度を向上させることができる。
【０１１４】
画像処理部３は、解像度創造処理、手ぶれ補正処理、オブジェクト抽出処理、又はトラッキング処理の全てを実行する必要はなく、これらの処理のうち、少なくとも１つ以上の画像処理を実行すれば良い。また、全画面動きベクトルＶｇを用いる全ての画像処理の代りとして６パラベクトル場を用いることが可能である。
【０１１５】
[１−５．処理手順]
次に、６パラベクトル場検出プログラムに従って実行される６パラベクトル場検出処理について、図９及び図１０のフローチャートを用いて説明する。
【０１１６】
６パラベクトル場検出部２は、処理対象のフレーム画像である参照画像が供給されると、６パラベクトル場検出処理手順ＲＴ１を開始し、ステップＳＰ１へ移る。
【０１１７】
ステップＳＰ１において、６パラベクトル場検出部２は、参照画像の基準画像に対するフレーム画像全体としての動きを表す全画面動きベクトルＶｇを検出すると、次のステップＳＰ２へ移る。
【０１１８】
ステップＳＰ２において、６パラベクトル場検出部２は、第１の初期値候補Ｐｔ＿１〜第３の初期値候補Ｐｔ＿３から、初期パラメータＰｔを選択すると、当該初期パラメータＰｔを現在のパラメータＰに設定し、次のステップＳＰ３へ移る。
【０１１９】
ステップＳＰ３において、６パラベクトル場検出部２は、サブルーチンＳＲＴ１１へ移り、６パラ独立局所探索処理を実行する。このとき、６パラベクトル場検出部２は、６パラベクトル場検出処理手順ＲＴ１のステップＳＰ３において、サブルーチンＳＲＴ１１（図１０）のステップＳＰ１１へ移る。
【０１２０】
ステップＳＰ１１において、６パラベクトル場検出部２は、６パラベクトル場がモデル化された（８）式に従って現在のパラメータＰに基づく差分値Ｄ（Ｐ）を算出すると、次のステップＳＰ１２へ移る。
【０１２１】
ステップＳＰ１２において、６パラベクトル場検出部２は、探索対象のパラメータ要素を探索増減値εだけ増減させてなる増大パラメータＰ＋及び減少パラメータＰ−に基づいて、差分値Ｄ（Ｐ＋）及びＤ（Ｐ−）を算出すると、次のステップＳＰ１３へ移る。
【０１２２】
ステップＳＰ１３において、６パラベクトル場検出部２は、差分値Ｄ（Ｐ）、Ｄ（Ｐ＋）及びＤ（Ｐ−）を比較すると、次のステップＳＰ１３へ移る。
【０１２３】
ステップＳＰ１３において、６パラベクトル場検出部２は、差分値Ｄ（Ｐ）、Ｄ（Ｐ＋）及びＤ（Ｐ−）のうち、最小値が差分値Ｄ（Ｐ）であるか否かについて判別する。
【０１２４】
ここで否定結果が得られた場合、このことは現在のパラメータＰにおける探索対象のパラメータ要素よりも、増大パラメータＰ＋又は減少パラメータＰ−における探索対象のパラメータ要素の方が最適な解に近い可能性が高いことを表している。このとき６パラベクトル場検出部２は、次のステップＳＰ１５へ移る。
【０１２５】
ステップＳＰ１５において、６パラベクトル場検出部２は、現在のパラメータＰにおける探索対象のパラメータ要素を増大パラメータＰ＋又は減少パラメータＰ−における探索対象のパラメータ要素に更新すると、次のステップＳＰ１６へ移る。
【０１２６】
これに対して、ステップＳＰ１４において否定結果が得られた場合、このことは増大パラメータＰ＋又は減少パラメータＰ−における探索対象のパラメータ要素よりも、現在のパラメータＰにおける探索対象のパラメータ要素の方が最適な解に近い可能性が高いことを表している。このとき６パラベクトル場検出部２は、現在のパラメータＰにおける探索対象のパラメータ要素（以下、これを探索パラメータと呼ぶ）の要素値を更新することなく次のステップＳＰ１６へ移る。
【０１２７】
ステップＳＰ１６において、６パラベクトル場検出部２は、６つのパラメータ要素の全てについて処理を終了したか否かについて判別する。ここで否定結果が得られた場合、６パラベクトル場検出部２は、ステップＳＰ１２へ移って探索処理を継続し、次の探索対象のパラメータ要素に対する処理を実行する。
【０１２８】
これに対して、ステップＳＰ１６において肯定結果が得られた場合、このことは、６つのパラメータ要素に対して探索処理を終了したことを表している。このとき、６パラベクトル場検出部２は、ステップＳＰ１７へ移る。
【０１２９】
ステップＳＰ１７において、６パラベクトル場検出部２は、現在のパラメータＰにおける全てのパラメータ要素が更新されなかったか否かについて判別する。
【０１３０】
ここで否定結果が得られた場合、このことは６つのパラメータ要素が未だ収束していないことを表している。このとき６パラベクトル場検出部２は、次のステップＳＰ１１へ移り、更新した現在のパラメータＰを用いて探索処理を再度実行する。
【０１３１】
これに対してステップＳＰ１７において否定結果が得られた場合、このことは６つのパラメータ要素が収束したため、差分値Ｄ（Ｐ）が極小値を示していることを表している。このとき６パラベクトル場検出部２は、次のステップＳＰ１８へ移る。
【０１３２】
ステップＳＰ１８において、６パラベクトル場検出部２は、探索増減幅εが閾値未満であるか否かを判別する。ここで否定結果が得られた場合、このことは探索増減幅εが大きく、検出された最適な解の精度が十分でないことを表している。このとき６パラベクトル場検出部２は、次のステップＳＰ１９へ移る。
【０１３３】
ステップＳＰ１９において、６パラベクトル場検出部２は、探索増減幅εを半分にすると、次のステップＳＰ１１へ戻り、半分にした探索増減幅εを用いて探索処理を再度実行する。
【０１３４】
これに対してステップＳＰ１８で否定結果が得られた場合、このことは探索増減幅εが小さく、検出された最適な解の精度が十分に高いことを表している。このとき６パラベクトル場検出部２は、次のステップＳＰ２０へ移る。
【０１３５】
ステップＳＰ２０において、６パラベクトル場検出部２は、現在のパラメータＰにおける６つのパラメータ要素を最適な解として決定すると、６パラベクトル場検出処理手順ＲＴ１のステップＳＰ３に戻り、終了ステップへ移って処理を終了する。
【０１３６】
[１−６．動作及び効果]
以上の構成において、画像処理装置１の６パラベクトル場検出部２は、複数のフレーム画像からなる動画像データにおいて、フレーム画像の一方向をＸ方向、当該一方向と直交する方向をＹ方向とする。このとき６パラベクトル場検出部２は、処理対象となる参照画像より１フレーム前の基準画像から当該参照画像までの動きをＸ方向の動き（Ｘベクトル場）及びＹ方向の動き（Ｙベクトル場）に分離する。
【０１３７】
６パラベクトル場検出部２は、当該Ｘベクトル場及び当該Ｙベクトル場を、Ｘ方向及びＹ方向の位置に拘らず同一の大きさ及び方向でなる並進成分と、Ｘ方向の位置に応じて一次的に変化するＸ依存成分と、Ｙ方向の位置に応じて一次的に変化するＹ依存成分からなるベクトル場としてそれぞれ表す。６パラベクトル場検出部２は、表されたＸ方向及びＹ方向に対応する並進成分、Ｘ依存成分及びＹ依存成分をそれぞれ算出する。
【０１３８】
ここで、従来の画像処理装置では、フレーム画像全体を表す動きを、全画面動きベクトルとして単一の動きベクトルで表していた。全画面動きベクトルは、画面内に応じて成分が相殺されてしまうことから、誤差を含むことが多い。このため従来の画像処理装置は、画像や動きに応じて安定的な全画面動きベクトルを検出することができず、いわゆるベクトルの暴れが生じていた。
【０１３９】
６パラベクトル場検出部２は、フレーム画像全体を表す動きを、画面内の位置に依存して平面的に変化する６パラベクトル場として表すことができる。このため、６パラベクトル場検出部２は、回転やズームの動きなどを適切に表現することができ、６パラベクトル場を安定的に検出することができる。
【０１４０】
すなわち、６パラベクトル場検出部２は、フレーム画像全体を表す動きを６パラベクトル場として表現することにより、全画面動きベクトルと比して画像や動きに応じた６パラベクトル場のロバスト性を向上させることができる。この結果、６パラベクトル場検出部２は、後段において実行される当該６パラベクトル場を用いた各種画像処理の精度を向上させることができる。
【０１４１】
６パラベクトル場検出部２は、フレーム画像の中心を原点とするＸ方向の位置をｘ、Ｙ方向の位置をｙとする。このとき、６パラベクトル場検出部２は、Ｘベクトル場の並進成分を並進パラメータ要素ｕ０、Ｘベクトル場におけるＸ依存成分をＸ依存パラメータ要素ｕｘ及びｘの乗算値、Ｘベクトル場におけるＹ依存成分をＹ依存パラメータ要素ｕｙ及びｙの乗算値とする。６パラベクトル場検出部２は、Ｙベクトル場における並進成分を並進パラメータ要素ｖ０、Ｙベクトル場におけるＸ依存成分をＸ依存パラメータ要素ｖｘ及びｘの乗算値、Ｙベクトル場におけるＹ依存成分をＹ依存パラメータ要素ｖｙ及びｙの乗算値として表す。
【０１４２】
６パラベクトル場検出部２は、ベクトル場を（ｕ（ｘ,ｙ）,ｖ（ｘ,ｙ））とするとき、（１）式に従って６パラベクトル場をモデル化する。
【０１４３】
これにより、６パラベクトル場検出部２は、６つのパラメータ要素を有するベクトル場を線形一次結合として表現することができる。６パラベクトル場検出部２は、この６つのパラメータ要素を算出することにより、フレーム画像全体の動きを表す６パラベクトル場を検出することができる。
【０１４４】
６パラベクトル場検出部２は、並進パラメータ要素ｕ０及びｖ０、Ｘ依存パラメータ要素ｕｘ及びｖｘ、並びにＹ依存パラメータ要素ｕｙ及びｖｙからなる６つのパラメータ要素のうち少なくとも１つ以上を探索増減値εずつ変更しながら最適な解を探索する局所探索により、６つのパラメータ要素をそれぞれ算出する。
【０１４５】
これにより、６パラベクトル場検出部２は、６つのパラメータ要素について、フレーム画像全体を全検索する場合と比して、演算処理の回数を激減させ、処理負荷を軽減することができる。また、実際上、局所探索により、最適な解をほぼ検出できることが確認されている。
【０１４６】
６パラベクトル場検出部２は、基準画像の画素における画素値から、基準画像の画素を６パラベクトル場に従って移動させた位置に対応する参照画像の画素値を減算することにより、フレーム画像全体における差分値Ｄを算出し、当該差分値Ｄが最小となるときを最適な解とする。
【０１４７】
６パラベクトル場検出部２は、基準画像における座標を（ｘ,ｙ）とし、座標（ｘ,ｙ）における基準画像の画素値をＩｔ（ｘ,ｙ）とし、参照画像における画素値をＩｔ＋１とするとき、（８）式に従って、差分値Ｄを算出する。
【０１４８】
これにより、６パラベクトル場検出部２は、フレーム画像全体の動きを表す６パラベクトル場を適切に検出することができる。
【０１４９】
６パラベクトル場検出部２は、６つのパラメータ要素のうち、探索対象となる探索対象パラメータ要素を順次変更しながら、差分値Ｄが最小に近づくよう探索対象パラメータ要素における現在の値（すなわち現在のパラメータＰにおける探索対象パラメータ要素の要素値）を変更する。６パラベクトル場検出部２は、６つのパラメータ要素の全てをそれぞれ探索増減値ずつ変更したときの（すなわち増大パラメータＰ＋及び減少パラメータＰ−に基づく）差分値Ｄ（Ｐ＋）及びＤ（Ｐ−）よりも、変更前の６つのパラメータ要素（すなわち現在のパラメータＰに基づく）における差分値Ｄ（Ｐ）が小さくなるときの現在のパラメータＰの値を最適な解とする。
【０１５０】
６パラベクトル場検出部２は、６つのパラメータ要素のうち、探索対象パラメータ要素を現在の値から探索増減値εずつ変更し、変更前の（現在のパラメータＰにおける）探索対象パラメータ要素、及び上下に変更された（増大パラメータＰ＋及び減少パラメータＰ−における）探索対象パラメータ要素を用いて差分値Ｄ（Ｐ）、Ｄ（Ｐ＋）及びＤ（Ｐ−）を算出する。６パラベクトル場検出部２は、差分値Ｄが最小となるときの探索対象パラメータ要素の要素値を現在の要素値とすることにより６パラ独立局所探索処理を実行する。
【０１５１】
６パラベクトル場検出部２は、６つのパラメータ要素の全てに対して局所探索（探索処理）が実行され、６つのパラメータ要素のいずれにおいても現在のパラメータＰにおける要素値が更新されなかった場合に、現在の要素値を最適な解とする。６パラベクトル場検出部２は、６つのパラメータ要素の全てに対して探索処理が実行され、現在のパラメータＰにおける６つのパラメータ要素のいずれかにおいて現在の要素値が更新された場合に、探索処理を継続させる。
【０１５２】
６パラベクトル場検出部２は、現在のパラメータＰにおける６つのパラメータ要素の全ての要素値に対応する差分値Ｄ（Ｐ）が最小値となるときのみ、探索処理を終了することになる。すなわち、６パラベクトル場検出部２は、１つの探索対象パラメータ要素において極小値に陥った場合でも、当該探索対象パラメータ要素における要素値を最適な解とすることなく、他のパラメータ要素を変更してさらに探索処理を実行する。このため、６パラベクトル場検出部２は、誤った極小値を最適な解に決定することを効果的に防止し、正しい最適な解を導くことができる。
【０１５３】
６パラベクトル場検出部２は、探索増減値εを大きく設定することにより最適な解を粗く見積もり、探索増減値εを小さく変更することにより、見積もられた最適な解を起点として、最適な解を決定する。
【０１５４】
６パラベクトル場検出部２は、最適な解が見積もられたときの探索増減値εの値が十分に小さい場合に、当該見積もられた最適な解を最適な解として決定する。
【０１５５】
これにより、６パラベクトル場検出部２は、最適な解の検出精度を低下させることなく、探索処理のステップ数を減少させて、処理負荷を軽減することができる。
【０１５６】
６パラベクトル場検出部２は、複数の初期値候補である第１の初期値候補Ｐｔ＿１〜第３の初期値候補Ｐｔ＿３から選択された初期パラメータＰｔを起点として、探索処理を行う。
【０１５７】
これにより、６パラベクトル場検出部２は、予め最適な解までの距離を小さく設定してから探索処理を実行できるため、探索処理のステップ数を減少させて処理負荷を軽減し、処理時間を短縮できる。
【０１５８】
６パラベクトル場検出部２は、処理対象となる参照画像より２フレーム前のフレーム画像から基準画像までの動きを表すベクトル場である前フレームパラメータＰｔ−１を参照して第１の初期値候補Ｐｔ＿１を決定する。
【０１５９】
６パラベクトル場検出部２は、前フレームパラメータＰｔ−１における６つのパラメータ要素を第１の初期値候補Ｐｔ＿１とする。
【０１６０】
これにより、６パラベクトル場検出部２は、例えばカムコーダが一定の速度で移動したため、フレーム画像間に一定の動きが発生しているような場合に、初期パラメータＰｔと最適な解との距離を非常に小さく設定することができ、探索処理のステップ数を減少させ得る。
【０１６１】
６パラベクトル場検出部２は、基準画像から参照画像までのフレーム画像全体の動きを単一のベクトルとして表す全画面ベクトルＶｇを参照して第２の初期値候補Ｐｔ＿２を決定する。
【０１６２】
これにより、６パラベクトル場検出部２は、例えばカムコーダの動きが急に変化したことにより、フレーム画像間の動きが急激に変化したような場合に、当該急激な変化を全画面ベクトルＶｇに基づいて予測することができる。この結果、６パラベクトル場検出部２は、初期パラメータＰｔと最適な解との距離を小さく設定することができ、探索処理のステップ数を減少させ得る。
【０１６３】
６パラベクトル場検出部２は、全画面ベクトルＶｇのＸ方向成分及びＹ方向成分の値ｕｇ及びｖｇを、それぞれ並進パラメータ要素ｕ０及びｖ０の値とし、Ｘ依存パラメータ要素ｕｘ及びｖｘ、並びにＹ依存パラメータ要素ｕｙ及びｖｙの値をそれぞれ０としたものを第２の初期値候補Ｐｔ＿２とする。
【０１６４】
これにより、６パラベクトル場検出部２は、ほぼ並進として表される全画面ベクトルＶｇを並進成分にのみ用いるため、適切な値を第２の初期値候補Ｐｔ＿２として設定することができる。
【０１６５】
６パラベクトル場検出部２は、６つのパラメータ要素の値をそれぞれ０としたものを第３の初期値候補Ｐｔ＿３とする。
【０１６６】
これにより、６パラベクトル場検出部２は、例えばカムコーダの動きが急に停止したような場合に、初期パラメータＰｔと最適な解との距離を非常に小さく設定することができ、探索処理のステップ数を減少させ得る。また、６パラベクトル場検出部２は、フラッシュ、花火、シーンチェンジなどが生じたため、画像そのものが大きく変化したような場合に、偏りのない初期パラメータＰｔを用いることができ、初期パラメータＰｔと最適な解との距離を比較的小さく設定できる。
【０１６７】
６パラベクトル場検出部２は、第１の初期値候補Ｐｔ＿１〜第３の初期値候補Ｐｔ＿３を用いて６パラベクトル場を表したときに、差分値Ｄ（Ｐ）が最小となる初期値候補を、初期パラメータＰｔとする。
【０１６８】
これにより、６パラベクトル場検出部２は、差分値Ｄ（Ｐ）に基づいて第１の初期値候補Ｐｔ＿１〜第３の初期値候補Ｐｔ＿３から最適な初期パラメータＰｔを設定することができる。
【０１６９】
以上の構成によれば、画像処理装置１の６パラベクトル場検出部２は、６パラベクトル場検出部２は、基準画像及び参照画像間の動きをＸ方向及びＹ方向に分離する。６パラベクトル場検出部２は、Ｘ方向の動き及びＹ方向の動きのそれぞれについて、Ｘ及びＹ方向の位置に拘らず変位する並進成分と、Ｘ方向の位置に応じて直線的に変化する１次のＸ依存成分と、Ｙ方向の位置に応じて直線的に変化する１次のＹ依存成分との６つの成分にモデル化する。すなわち、６パラ独立局所探索処理を表すサブルーチンＳＲＴ１１のステップＳＰ１１において、（８）式に従って差分値Ｄ（Ｐ）を算出する際、フレーム画像間の動きを６つのパラメータ要素を用いた６パラベクトル場として表す。
【０１７０】
６パラベクトル場検出部２は、６パラベクトル場における６つのパラメータ要素を算出することにより、６パラベクトル場における６つの成分（Ｘ及びＹベクトル場についての並進成分、Ｘ及びＹ依存成分）を検出する。
【０１７１】
これにより、６パラベクトル場検出部２は、フレーム画像間の動きをＸ方向及びＹ方向の位置に応じて１次的に変化する６パラベクトル場として表現することができるため、符号のみ異なる対称座標のベクトル同士を相殺させずに済む。かくして本発明は、フレーム画像間の動きを適切に表現することができる画像処理装置、画像処理方法及び画像処理プログラムが記録された記録媒体を実現できる。
【０１７２】
＜２．他の実施の形態＞
なお上述の実施の形態においては、各パラメータ要素の要素値を、１つずつ探索増減幅εだけずらしていくようにした場合について述べたが、本発明はこれに限られない。例えば、６パラベクトル場検出部２に対応する６パラベクトル場検出部２Ｘ（図示せず）は、６つのパラメータ要素の全てについて、元のパラメータ要素、探索増減幅εだけ増大したパラメータ要素、及び探索増減幅εだけ減少したパラメータ要素の組み合わせ、最も小さい差分値Ｄを示すパラメータ要素の組み合わせを選択するようにする。
【０１７３】
すなわち、６パラベクトル場検出部２Ｘは、６つのパラメータ要素の全ての値を同時に探索増減値εずつ変更しながら最適な解を探索することにより、６つのパラメータ要素をそれぞれ算出する。
【０１７４】
この場合、６パラベクトル場検出部２Ｘは、探索処理の１ステップで３６＝７２９回だけ差分値Ｄを演算する必要が生じ、演算の負荷が大幅に増大するものの、探索の精度を向上させることができる。従って、６パラベクトル場検出部２Ｘは、自身の演算時間や処理能力に余裕がある場合には、当該手法を用いることが好ましい。
【０１７５】
また、６パラベクトル場検出部２に対応する６パラベクトル場検出部２Ｙ（図示せず）は、６つのパラメータ要素をそれぞれ探索増減幅εだけ増大及び減少させ、それぞれ差分値Ｄを算出する。６パラベクトル場検出部２Ｙは、最も差分値Ｄの小さい一のパラメータ要素のみを更新するようにする。
【０１７６】
すなわち、６パラベクトル場検出部２Ｙは、探索対象パラメータ要素を現在の要素値から探索増減値εずつ変更し、変更前の（現在のパラメータＰにおける）探索対象パラメータ要素、及び上下に変更された（増大パラメータＰ＋及び減少パラメータＰ−における）探索対象パラメータ要素を用いて差分値Ｄ（Ｐ）、Ｄ（Ｐ＋）、Ｄ（Ｐ−）を算出する。６パラベクトル場検出部２Ｙは、６つのパラメータ要素の全てについての差分値Ｄ（Ｐ）、Ｄ（Ｐ＋）、Ｄ（Ｐ−）を比較し、当該差分値Ｄ（Ｐ）、Ｄ（Ｐ＋）、Ｄ（Ｐ−）が最小となるときの探索対象パラメータ要素の要素値を現在の要素値とすることにより局所探索（探索処理）を実行する。６パラベクトル場検出部２Ｙは、６つのパラメータ要素のいずれにおいても現在の要素値が更新されなかった場合に、現在のパラメータＰにおける要素値を最適な解とする。６パラベクトル場検出部２Ｙは、６つのパラメータ要素のいずれかにおいて現在のパラメータＰにおける要素値が更新された場合に、探索処理を継続する。
【０１７７】
この場合、６パラベクトル場検出部２Ｙは、探索処理の１ステップで１＋２×６＝１３回の演算で済むものの、１ステップで１つのパラメータ要素のみを更新する。このため、６パラベクトル場検出部２Ｙは、６つのパラメータ要素が収束するまでに、多くのステップ数を要することになり、精度が向上するものの、結果として処理時間及び演算回数が増大することになる。
【０１７８】
また、６パラベクトル場検出部２に対応する６パラベクトル場検出部２Ｚ（図示せず）は、例えば実装上の都合などにより、所定時間内で６パラベクトル場検出処理を終了したい場合、探索処理のステップ数を制限することができる。この場合、６パラベクトル場検出部２Ｚは、例えばサブルーチンＳＲＴ１１（図１０）におけるステップＳＰ１７及びステップＳＰ１８の間に分岐を設け、ステップ数又は開始してからの時間が所定の閾値未満であるか否かを確認する。６パラベクトル場検出部２Ｚは、閾値以上の場合、処理を終了し、現在のパラメータＰを探索対象ベクトル場におけるパラメータとして決定する。これにより、６パラベクトル場検出部２Ｚは、６パラベクトル場検出処理を所定の時間内に確実に終了させることが可能となる。この処理は、特にリアルタイム性を要する画像処理などに用いられる。
【０１７９】
また上述の実施の形態においては、局所探索により各パラメータ要素を算出するようにした場合について述べた。本発明はこれに限らず、予めサーチ範囲を定め、当該サーチ範囲内を全探索することにより、各パラメータ要素を算出するようにしても良い。
【０１８０】
さらに上述の実施の形態においては、ブロックマッチング法により全画面動きベクトルＶｇを生成するようにした場合について述べた。本発明はこれに限らず、例えば代表点マッチング法など、種々の手法により全画面動きベクトルＶｇを生成するようにしても良い。
【０１８１】
さらに上述の実施の形態においては、差分値Ｄが最小となるときを最適な解とするようにした場合について述べた。本発明はこれに限らず、例えば差分値の２乗和が最小となるときを最適な解とするようにしても良い。要は、基準画像と、参照画像における基準画像に対応する画素をベクトル場だけ移動させたときの画像とが極力近くなるときを最適な解とすれば良い。
【０１８２】
さらに上述の実施の形態においては、始めに探索増減値εを大きく設定し、最適な解を粗く見積もってから当該粗く見積もられた最適な解を起点として探索増減値εを小さく変更するようにした場合について述べた。本発明はこれに限らず、例えば探索増減値εを固定するようにしても良い。
【０１８３】
さらに上述の実施の形態においては、複数の初期値候補として、第１の初期値候補Ｐｔ＿１〜第３の初期値候補Ｐｔ＿３から初期パラメータＰｔを選択するようにした場合について述べた。本発明はこれに限らず、初期値候補の数に制限はなく、２つ又は４つ以上の初期値候補を設定したり、初期パラメータＰｔを１つに固定するようにしても良い。設定される初期値候補としては、例えば任意の数値を設定するなど、種々のパラメータを用いることができる。
【０１８４】
さらに上述の実施の形態においては、前フレームベクトル場を第１の初期値候補Ｐｔ＿１とすることにより、２フレーム前のフレーム画像から基準画像までの動きを表すベクトル場を参照するようにした場合について述べた。本発明はこれに限らず、例えば前フレームベクトル場の１／２を第１の初期値候補Ｐｔ＿１とするようにしても良い。これにより、本発明は、例えばカムコーダの動きが減速しているような場合に、初期パラメータＰｔとして探索距離の近い値を設定することができる。
【０１８５】
さらに上述の実施の形態においては、第２の初期値候補Ｐｔ＿２において、全画面ベクトルＶｇを並進成分にのみ使用することにより、全画面ベクトルＶｇを参照するようにした場合について述べた。本発明はこれに限らず、例えば全画面ベクトルＶｇの一部を回転によるものと見なし、全画面ベクトルＶｇの所定の割合をＸ依存パラメータ要素ｕｘ及びｖｘ、並びにＹ依存パラメータ要素ｕｙ及びｖｙとするようにしても良い。
【０１８６】
さらに上述の実施の形態においては、探索処理の１ステップ内の差分値Ｄの演算において、探索対象パラメータ要素以外の要素値については、当該探索処理開始当初の要素値が用いられるようにした場合について述べた。本発明はこれに限らず、更新した最新の要素値を用いて差分値Ｄを逐次算出するようにしても良い。この場合、６パラベクトル場検出部は、現在のパラメータＰにおける差分値Ｄ（Ｐ）を逐次算出する。
【０１８７】
さらに上述の実施の形態においては、（８）式に従って差分値Ｄを算出するようにした場合について述べた。本発明はこれに限らず、例えば参照画像の画素値から基準画像を６パラベクトル場だけ移動させたときの画素値を減算した値を差分値Ｄとするようにしても良い。
【０１８８】
さらに、上述した実施の形態においては、１枚の静止画をフレーム画像と呼び、フレーム画像間における画素の移動については特に規定していない。本発明は、フレーム画像間で画素が移動しないプログレッシブ方式にも、フレーム画像間で画素が移動するインターレース方式にも適用することが可能である。本発明をインターレース方式に適用する場合、例えば第３の初期値候補PＰ＿３として、Ｙ方向の並進パラメータ要素ｖ０について、画素の移動分でなる定数を設定することにより、探索処理のステップ数を減少させ得る。
【０１８９】
さらに、上述した実施の形態においては、処理対象となる参照画像よりも１フレーム前のフレーム画像を基準画像とするようにした場合について述べた。本発明はこれに限らず、参照画像の近傍、例えば２フレーム前や１フレーム後のフレーム画像を基準画像とするようにしても良い。
【０１９０】
さらに、上述した実施の形態においては、６パラベクトル場検出プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納しているが、本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリなどにインストールするようにしても良い。また、データベース生成プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。
【０１９１】
さらに上述の実施の形態においては、モデル化部としての差分計算部１４と、算出部としての差分計算部１４、パラメータ更新部１５及び収束判定部１６とによって画像処理装置としての画像処理装置１を構成するようにした場合について述べた。本発明はこれに限らず、種々の構成によるモデル化部と算出部によって本発明の画像処理装置を構成するようにしても良い。
【産業上の利用可能性】
【０１９２】
本発明の画像処理装置、画像処理方法及び画像処理プログラムが記録された記録媒体は、例えばパーソナルコンピュータなどの画像処理装置に利用することができる。
【符号の説明】
【０１９３】
１……画像処理装置、２……６パラベクトル場検出部、３……画像処理部、１１……フレームメモリ、１２……全画面動きベクトル探索部、１３……初期パラメータ決定部、１４……差分計算部、１５……パラメータ更新部、１６……収束判定部、１７……パラメータ保持部、ＬＭＶ……ローカル動きベクトル、Ｖｇ……全画面動きベクトル。
【図１】
2010250611.tif 000016
【図２】
2010250611.tif 000017
【図３】
2010250611.tif 000018
【図４】
2010250611.tif 000019
【図５】
2010250611.tif 000020
【図６】
2010250611.tif 000021
【図７】
2010250611.tif 000022
【図８】
2010250611.tif 000023
【図９】
2010250611.tif 000024
【図１０】
2010250611.tif 000025