(57)【要約】【課題】画像中のノイズやオブジェクトの動きにかかわらず高精度な処理を実現することができ、さらに画像マッチング処理のモデル化による誤差を最小限にしてロバスト性を向上させること。【解決手段】画像マッチング装置において、参照画像の各格子点を力学上の質点とみなし、参照画像の各格子点の画素と対象画像の格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、参照画像の各格子点に対する運動方程式を対象画像と参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成するモデル生成部１１１と、運動方程式を予め定められた数値解析処理によって解法処理して対象画像の格子点と前記参照画像の格子点との写像関係を求める数値解析部１１２とを備えた。【選択図】        図１
2006099467.tif 000002
【特許請求の範囲】
【請求項１】
対象画像と参照画像との間の対応関係を求める画像マッチング装置であって、
前記参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした前記参照画像の各格子点の画素と前記対象画像を所定の格子状に分割した各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記参照画像の各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成するモデル生成手段と、
前記モデル生成手段によって生成された前記運動方程式を予め定められた数値解析処理によって解法処理し、前記運動方程式の解の収束値を、前記対象画像の格子点と前記参照画像の格子点との写像関係とする数値解析手段と、
を備えたことを特徴とする画像マッチング装置。
【請求項２】
前記モデル生成手段は、さらに前記参照画像の各格子点に、前記画素間を接続した際に生じる弾性力が作用するとみなして、前記弾性力を含めた前記運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１に記載の画像マッチング装置。
【請求項３】
前記モデル生成手段は、さらに、前記参照画像の周端の格子点が、前記参照画素を包囲する壁面に接続されているとみなして、壁面への接続により生じる弾性力を含めた前記各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項２に記載の画像マッチング装置。
【請求項４】
前記モデル生成手段は、さらに、前記参照画像の各格子点に摩擦力が作用するとみなして、前記摩擦力を含めた前記運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１〜３のいずれか一つに記載の画像マッチング装置。
【請求項５】
前記モデル生成手段は、前記参照画像中の複数の格子点からなるブロックに前記ポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１〜４のいずれか一つに記載の画像マッチング装置。
【請求項６】
前記モデル生成手段は、前記対象画像と前記参照画像のそれぞれから所定数の画素を取り出すサンプリング処理を複数回行って複数の階層からなる前記対象画像と前記参照画像を生成し、各階層毎に、前記対象画像の格子点との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１〜５のいずれか一つに記載の画像マッチング装置。
【請求項７】
前記モデル生成手段は、前記対象画像と前記参照画像のそれぞれから複数の階層からなる前記対象画像と前記参照画像を生成し、各階層毎に、前記対象画像の格子点との画素勾配によるポテンシャルエネルギーの力と、各階層間を接続した際に生じる弾性力が作用するとみなして、前記ポテンシャルエネルギーの力と前記弾性力を含めた前記運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１〜５のいずれか一つに記載の画像マッチング装置。
【請求項８】
前記モデル生成手段は、前記参照画像の複数の格子点からなるブロックの前記対象画像の複数の格子点からなるブロックの画素勾配によるポテンシャルエネルギーの力と前記ブロック間を接続した際に生じる弾性力が作用するとみなして、前記ポテンシャルエネルギーの力と前記弾性力を含めた前記ブロックに対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１〜５のいずれか一つに記載の画像マッチング装置。
【請求項９】
前記モデル生成手段は、前記参照画像の各格子点に前記対象画像の格子点の画素の輝度との差分である輝度勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１〜８のいずれか一つに記載の画像マッチング装置。
【請求項１０】
前記モデル生成手段は、前記参照画像の各格子点に前記対象画像の格子点の画素の色情報に関するポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１〜８のいずれか一つに記載の画像マッチング装置。
【請求項１１】
前記モデル生成手段は、前記参照画像の各格子点に、前記参照画像の格子点の画素の均等空間の表色系の色情報と前記対象画像の格子点の画素の前記色情報との色度空間距離によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１０に記載の画像マッチング装置。
【請求項１２】
前記モデル生成手段は、前記参照画像の各格子点に、前記対象画像の格子点の画素の輝度情報と前記参照画像の格子点の画素の輝度情報の相互相関によって発生するポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成することを特徴とする請求項１〜８のいずれか一つに記載の画像マッチング装置。
【請求項１３】
対象画像と参照画像との間の対応関係を求める画像マッチング方法であって、
前記参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした前記参照画像の各格子点の画素と前記対象画像を所定の格子状に分割した各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記参照画像の各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成するモデル生成ステップと、
前記モデル生成ステップによって生成された前記運動方程式を予め定められた数値解析処理によって解法処理し、前記運動方程式の解の収束値を、前記対象画像の格子点と前記参照画像の格子点との写像関係とする数値解析ステップと、
を含むことを特徴とする画像マッチング方法。
【請求項１４】
対象画像と参照画像との間の対応関係を求める画像マッチングプログラムであって、
前記参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした前記参照画像を所定の格子状に分割した各格子点の画素と前記対象画像の各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記参照画像の各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成するモデル生成手順と、
前記モデル生成手順によって生成された前記運動方程式を予め定められた数値解析処理によって解法処理し、前記運動方程式の解の収束値を、前記対象画像の格子点と前記参照画像の格子点との写像関係とする数値解析手順と、
をコンピュータに実行させる画像マッチングプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象画像と参照画像の２つの画像からそれぞれの対応点を検出して対応付ける画像マッチング装置、画像マッチング方法および画像マッチングプログラムに関する。
【背景技術】
【０００２】
一つの対象画像（始点画像）から他方の参照画像（終点画像）の各画素それぞれの対応点を検出して対応関係を求める画像マッチング技術は、例えば、動画像における動き検出、ステレオマッチング、画像モーフィング、画像認識、動画像符号化等の画像処理技術の分野において利用されている。
【０００３】
このような画像マッチング技術としては、オプティカルフロー手法、ブロックベース手法、勾配法、ベイジアンメソッドという主として４種類に分類することができる（例えば、非特許文献１参照）。
【０００４】
オプティカルフロー手法は、「輝度の変化は一定である」というオプティカルフロー式を導出しそのオプティカルフロー式を拘束条件としてフローを求めるものである。ブロックベース手法は、画像を所定のブロックに分割し、ブロック毎のテンプレートマッチングによって動きを求める手法である。勾配法は、画像の輝度勾配が減少する方向にマッチングをおこなう手法である。ベイジアンメソッドは、確率的に尤もらしいマッチングを求める手法である。
【０００５】
また、従来の画像マッチング技術として、複数の多重解像度フィルタを用い、複数の多重解像度画像ピラミッドを生成し、生成された画像ピラミッドを上位の階層から下位の階層に順にマッチング処理を行うことによって、大きな動きから小さな動きまで画像の対応付けを行えるロバスト性の高い画像マッチング技術がある（例えば、特許文献１参照）。
【０００６】
【非特許文献１】A. Murat Tekalp, “Digital Video Processing”, Prentice Hall, 1995
【特許文献１】特許第２９２７３５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような従来の画像マッチング技術には次のような問題がある。オプティカルフロー手法では、ノイズに敏感で速い動きに対応することが本質的に困難であるという問題があり、ブロックベースの手法では、画像の中のブロック毎に画像マッチングを行っているので、画像中のオブジェクトの平行移動などの動きには高い信頼性を有するが、画像中のオブジェクトが変形したり、回転する等の動きに対して本質的に対応することが難しいという問題がある。勾配法では、画像の輝度勾配が減少する方向にマッチングを行うため、安定してオブジェクトの動きを探索することが困難であるという問題がある。ベイジアンメソッドでは、大域的最適点の求め方が困難であるという問題がある。
【０００８】
一方、特許文献１に開示された技術では、原理的に複数の多重解像度フィルタを必要とし、多重解像度画像ピラミッドの最上位階層から最下位階層までのマッチング処理を行っているため、計算量の削減が困難であるとともに、構造的な拡張が困難であるという問題がある。
【０００９】
このように従来の画像マッチング技術では、ノイズやオブジェクトの動きによっては信頼性が低くなり、画像マッチング処理の信頼性を向上させようとすると構造や処理が複雑化してしまい拡張性に乏しいという問題があった。
【００１０】
本発明は、上記に鑑みてなされたものであって、構造および処理が簡易かつ拡張性を有するとともに、画像中のノイズやオブジェクトの動きにかかわらず高精度な処理を実現することができ、さらに画像マッチング処理のモデル化による誤差を最小限にしてロバスト性を向上させることができる画像マッチング装置、画像マッチング方法および画像マッチングプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明は、対象画像と参照画像との間の対応関係を求める画像マッチング装置であって、前記参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした前記参照画像の各格子点の画素と前記対象画像を所定の格子状に分割した各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、前記ポテンシャルエネルギーの力を含めた前記参照画像の各格子点に対する運動方程式を、前記対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成するモデル生成手段と、前記モデル生成手段によって生成された前記運動方程式を予め定められた数値解析処理によって解法処理し、前記運動方程式の解の収束値を、前記対象画像の格子点と前記参照画像の格子点との写像関係とする数値解析手段と、を備えたことを特徴とする。
【００１２】
また、本発明は、上記画像マッチング装置に対する方法およびプログラムである。
【発明の効果】
【００１３】
本発明によれば、参照画像を所定の格子状に分割した各格子点を力学上の質点とみなすとともに、該質点とみなした参照画像の各格子点の画素に対象画像を所定の格子状に分割した各格子点の画素との画素勾配によるポテンシャルエネルギーの力が作用するとみなして、ポテンシャルエネルギーの力を含めた前記参照画像の各格子点に対する運動方程式を、対象画像と前記参照画像の写像関係を示す画像マッチング状態遷移モデルとして生成し、この運動方程式を予め定められた数値解析処理によって解法処理して運動方程式の解の収束値を対象画像の格子点と参照画像の格子点との写像関係とすることで、構造および処理が簡易かつ拡張性を有するとともに、画像中のノイズやオブジェクトの動きにかかわらず高精度な処理を実現することができ、さらに画像マッチング処理のモデル化による誤差を最小限にしてロバスト性を向上させることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１４】
以下に添付図面を参照して、この発明にかかる画像マッチング装置、画像マッチング方法および画像マッチングプログラムの最良な実施の形態を詳細に説明する。以下の実施の形態では、本発明にかかる画像マッチング装置、画像マッチング方法および画像マッチングプログラムを、動画像の動き補償を行って補償画像を生成する動き補償装置、動き補償方法および動き補償プログラムにおける画像マッチングに適用したものである。
【００１５】
なお、動き補償処理における画像マッチング処理に本発明を適用する他、ステレオマッチング、画像モーフィング、画像認識、動画像符号化等の画像処理技術に適用することもできる。
【００１６】
（実施の形態１）
図１は、実施の形態１にかかる動き補償装置の機能的構成を示すブロック図である。本実施の形態の動き補償装置は、図１に示すように、画像マッチング処理部１１０と、スケール変換部１２０と、動き補償部１３０と、フレームメモリ１４０とを主に備えた構成となっている。
【００１７】
画像マッチング処理部１１０は、入力される画像列から任意の２つの画像（始点画像と終点画像）を選択し、始点画像（対象画像）と終点画像（参照画像）のマッチング処理を行う処理部であり、モデル生成部１１１と、数値解析部１１２とを備えている。
【００１８】
モデル生成部１１１は、始点画像上の各点に１：１に写像する終点画像上の各点の位置と速度に関する常微分方程式で表現される動的な画像マッチング状態遷移モデルを構築するものである。また、モデル生成部１１１は、この常微分方程式の初期値を求める処理も行う。
【００１９】
数値解析部１１２は、モデル生成部１１１によって構築された画像マッチング状態遷移モデルを示す常微分方程式を、その初期値からオイラー法を用いた数値解析により解法し、始点画像の各点と終点画像の点の対応を求めてスケール変換部１２０に出力する処理部である。
【００２０】
スケール変換部１２０は、画像マッチング処理部１１０によって求めた始点画像の各点と終点画像の点の対応を求める位置に応じてスケール変換して動き補償部１３０に出力する処理部である。
【００２１】
動き補償部１３０は、スケール変換部１２０によってスケール変換された始点画像の各点と終点画像の点の対応、始点画像および終点画像から動き補償処理を行って、任意の位置の新しい画像である補償画像を生成する処理部である。
【００２２】
フレームメモリ１４０は、動き補償装置１００に入力される画像列、始点画像、終点画像あるいは補償画像を一時的に保存するメモリである。
【００２３】
次に、以上のように構成された本実施の形態の動き補償装置１００による画像マッチング処理について説明する。図２は、画像マッチング処理の手順を示すフローチャートである。
【００２４】
まず、モデル生成部１１１によって、入力された画像列から始点画像と終点画像を選び、始点画像と終点画像の格子点を生成する（ステップＳ２０１）。次いで、モデル生成部１１１は、各格子位置と座標位置を初期化する（ステップＳ２０２）。そして、モデル生成部１１１は、後述する画像マッチング状態遷移モデルの微分方程式（数１７式）を生成する（ステップＳ２０３）。なお、かかる微分方程式の詳細については後述する。
【００２５】
そして、数値解析部１１２によって、モデル生成部１１１によって生成された数１７式の常微分方程式の解法を行い、始点画像の各点と終点画像の点の対応を求める（ステップＳ２０４）。かかる対応は、スケール変換部１２０に出力される。なお、数１７式の常微分方程式の解法については後述する。
【００２６】
次に、ステップＳ２０３における画像マッチング処理における常微分方程式の生成（画像マッチング状態遷移モデルの生成）の原理について説明する。本実施の形態では、格子点状に画素値が配列されている画像として扱うことにする。ある２枚の画像間の対応関係を求める画像マッチング処理は、２つの画像の中の一方を始点画像Ｐ、他方を終点画像Ｑとし、始点画像の各点が終点画像のどの点に対応するかを求めることである。
【００２７】
ここで、始点画像上の格子点をｉ＝（ｉ，ｊ）T、ｉ＝０〜Ｍ−１，ｊ＝０〜Ｎ−１とし、ｉに対応する終点画像上の点をｑiとすると、始点画像上の点ｉと終点画像上の点ｑiは、数１式の写像関係によって表され、画像マッチング処理は、この写像ｆを求めることである。
【００２８】
【数１】
2006099467.tif 000003
【００２９】
図３は、始点画像上の点ｉと終点画像上の点ｑiとの写像関係を示す説明図である。また、図４は、始点画像上の格子点ｉと終点画像上の格子点ｑiとの写像関係の時間的経過を示す説明図である。ここで、始点画像の画素値をＩP（ｉ）、終点画像の画素値をＩQ（ｑi）とする。本実施の形態では、画像マッチング問題を動的な状態遷移モデルとして考える。すなわち、図４に示すように、各点ｑiを力学系における一つの質点と見なすことにより、各点を状態とする状態遷移モデルを記述し（動的システム）、状態の収束値を写像の推定値とするものである。
【００３０】
まず、各点ｑiを力学系における一つの質点と見なし、質点にかかる力からｑiに関する運動方程式を構築する。ここで、始点画像と終点画像の間で対応する格子点の間の画素値に変化がないと仮定すると、ＩP（ｉ）とＩQ（ｑi）の差分は小さい方がより一致しているマッチングである。このことから、ＩP（ｉ）とＩQ（ｑi）の差分によってポテンシャルエネルギーが発生し、各点ｑiにはそのポテンシャルエネルギーによる力がかかるとするモデルを導入する。ここで、ポテンシャルエネルギーによる力を数２式で定義する。
【００３１】
【数２】
2006099467.tif 000004
【００３２】
各点間の関係を考えると、画像内の各点の水平、垂直方向の相関は非常に高い。このため、始点画像のある領域は、終点画像に領域ごと対応すると考えられる。また、通常のカメラによる撮影のように、画像が３次元空間を２次元に射影したものである場合には、始点画像のある表面は、終点画像の別の表面へと対応する。すなわち、始点画像のある表面が格子状となっているとすると、終点画像の別の表面においてもその格子状の関係は維持される、すなわち、写像が全単射である。図５は、写像が全単射と全単射でない例を示す説明図である。
【００３３】
図５に示すように、写像が全単射のモデルを構築ある場合には、各点ｑiの間に弾性力を作用させる運動方程式を構築することにより、各点ｑi間にをバネのようなもので接続する。
【００３４】
各点の間を、弾性力では有さずに単に接続すると、写像の全単射性は満足するが、始点画像の変形が不可能になるため、推定しうる写像に関して大きな制約が生じる。このため、各点間に弾性力を作用させるようなモデルを構築することで、変形をする写像に関しても記述でき、歪みが発生し全単射性が満たされないような場合には、バネのポテンシャルエネルギーからの力によって元の格子に戻ろうとするように、つまり全単射が満たされるように働くと考えられる。このようなバネのように弾性力を有するポテンシャルエネルギーからの力を数３式で定義する。
【００３５】
【数３】
2006099467.tif 000005
【００３６】
数１〜３式により、終点画像の各点ｑiに関する運動方程式は、数４式のように表される。
【００３７】
【数４】
2006099467.tif 000006
【００３８】
ここで、数４式の運動方程式は、その解が永久に振動し収束しない。すなわち、１次元の振動子の運動方程式の例を考え、ポテンシャルは重力場によって発生すると仮定すると、その運動方程式は、数５式で示される。
【００３９】
【数５】
2006099467.tif 000007
【００４０】
数５式を変形して、線形微分方程式である数６式が得られる。
【００４１】
【数６】
2006099467.tif 000008
【００４２】
数６式のような線形微分方程式は次のように解析的に解法することができ、数６式をラプラス変換すると、数７式が得られる。
【００４３】
【数７】
2006099467.tif 000009
【００４４】
次に、この数７式を逆ラプラス変換すると、微分方程式の解析解である数８式が得られる。
【００４５】
【数８】
2006099467.tif 000010
【００４６】
この数８式は、振動する状態を示しているが、減衰項が存在しないことから明らかなように、振動を永久に行うものである。
【００４７】
そこで、１次元振動子に関して、何らかの要素により速度に関する摩擦が働くと考え、摩擦に関する項が入ることにより、エネルギーは保存されることなく、０へと収束することが可能となる。エネルギーが０になることは、振動子を振動させるエネルギーが無くなること、すなわち、振動が停止することを意味する。数５式に摩擦の項を加えると数９式のように表せる。
【００４８】
【数９】
2006099467.tif 000011
【００４９】
数９式を変形して数１０式が得られる。
【００５０】
【数１０】
2006099467.tif 000012
【００５１】
この数１０式をラプラス変換すると、数１１式となる。
【００５２】
【数１１】
2006099467.tif 000013
【００５３】
このため、数９式の解析解は数１２式で示される。
【００５４】
【数１２】
2006099467.tif 000014
【００５５】
ここで、−αは、システムの極であり、数１２式においてｔを無限大にした極限をとると、数１３式となる。
【００５６】
【数１３】
2006099467.tif 000015
【００５７】
数１３式から数９式のモデルは、初期値によらず、ｇ／α2に収束することがわかる。
【００５８】
このように、振動子の運動方程式のモデルにおいて、摩擦に関する項を加えることと同様に、画像マッチングに関する運動方程式のモデルにも摩擦に関する項を加えて、収束値を求めることとする。
【００５９】
摩擦力は、系の速度が十分小さい場合には、数１４式で示される。
【００６０】
【数１４】
2006099467.tif 000016
【００６１】
この数１４式の摩擦に関する項を、数４式に加えると、終点画像の各点ｑiに関する運動方程式は数１５式のようになる。
【００６２】
【数１５】
2006099467.tif 000017
【００６３】
この数１５式に、数２式、数３式および数１４式を代入すると、数１６式の運動方程式が得られる。
【００６４】
【数１６】
2006099467.tif 000018
【００６５】
ここで、点ｑiの質量をｍ＝１と仮定して、数１７式の運動方程式が得られる。
【００６６】
【数１７】
2006099467.tif 000019
【００６７】
数１７式のモデルは、各点ｑi一つ一つを質点と考え、各質点が画素値勾配によって生成されるポテンシャルに従いポテンシャルエネルギーが減少するように動作することによって、始点画像と終点画像の二つの画像間で各点の画素値の変化が少なくなるような写像ｆを求める微分方程式である。
【００６８】
画像マッチング処理部１１０のモデル生成部１１１では、入力された画像烈から始点画像と終点画像の２つの画像を抽出し、かかる２つの画像に対して、数１７式で示される常微分方程式のモデルを生成している。
【００６９】
次に、数１７式における画素勾配のポテンシャルエネルギーによる力ｕ（ｑi）について説明する。本実施の形態では、ポテンシャルを、対象の点における輝度勾配によって発生する平面ベクトルと定義する。ポテンシャルエネルギーによる力ｕ（ｑi）は、輝度勾配が最も下がる方向へ向くベクトルであり、輝度勾配が急峻な方が大きな力を受けるようにするため、さらに輝度勾配の勾配が大きいほど大きなベクトルとなるように定義する。
【００７０】
最終的なポテンシャルエネルギーによる力ｕ（ｑi）を画素間距離によって正規化すると数１８式が得られる。
【００７１】
【数１８】
2006099467.tif 000020
【００７２】
図６は、数１８式による輝度勾配のポテンシャルの力ｕ（ｑi）の作用を示す説明図である。図６に示すように、ポテンシャルの力ｕが輝度勾配が最も下がる方向へ向かっていることがわかる。
【００７３】
次に、数１７式の弾性力ｋ（ｑi）について説明する。図７は、始点画像と終点画像の隣接する格子点をバネで接続したとみなして各格子点間に弾性力を生じさせたモデルを示す説明図である。図７に示すように、このモデルでは、上下左右の隣接４点間を接続したものとして考える。
【００７４】
図８は、各格子点に作用する弾性力の状態を示す説明図である。かかるモデルにおいて、バネの釣り合い中心はバネの長さが０の場合とする。すなわち、バネが伸びるとその変位に応じた力が加わる。この場合、バネは常に０に縮もうとする弾性力が生じるため、図８の（ｂ）に示すように、各格子点が中心に引き寄せられ、つぶれた形状になってしまう。このため、本実施の形態では、図８の（ｃ）に示すように、画面端の格子点を仮想的に壁面に接続することする。これにより、仮想的な壁面が格子点の上下左右に存在すると仮定し、左右の壁面と上下の壁面に格子点を接続することにより、格子点全体の力が釣り合うように構成する。これにより、各格子点がつぶれた形状になることを防止することができる。このような、仮想的な壁面に格子点を接続したモデルの弾性力ｋ（ｑi）は数１９式で表される。ここで、ｋはバネ定数である。
【００７５】
【数１９】
2006099467.tif 000021
【００７６】
モデル生成部１１１では、このように数１７式の微分方程式で示される運動方程式を生成し、数１７式中の輝度勾配のポテンシャルの力ｕ（ｑi）を数１８式で定義し、弾性力を数１９式で定義して画像マッチング状態遷移モデルを構築している。
【００７７】
図９は、画像マッチング状態遷移モデルにおける画像の各格子点に作用する力を示す説明図である。図９に示すように、各格子点には、輝度勾配のポテンシャルの力ｕ（ｑi）と弾性力ｋ（ｑi）と摩擦力μ（ｑi）が作用し、これらの合成力の収束値が写像ｆの推定結果となる。
【００７８】
次に、ステップＳ９０４における画像マッチング処理部１１０の数値解析部１１２による数１７式の常微分方程式の解法処理について説明する。
【００７９】
上述したように、数１７式では、始点画像から終点画像への変形を可能とするように、各点を弾性力を有するように連結している。また、システムを収束させるために摩擦力の減衰項を加えている。かかる摩擦力の項を加えることによってエネルギーは消費されるので、このシステムは時間ｔが無限大の極限において、所定の値に収束する。数値解析部１１２では、かかる収束値を写像ｆの推定結果として算出している。
【００８０】
具体的には、数値解析部１１２では、数１７式の常微分方程式を数値解析によって解法し、時間ｔをシステムが収束するために十分に大きな時間Ｔをとり、ｔ＝（０，Ｔ）区間を計算することによって得られる収束値を写像ｆの推定結果としている。
【００８１】
数１７式のような常微分方程式の数値解法は、１階の連立微分方程式を解法するものである。
【００８２】
すなわち、変数を数２０式のように定義することによって、数１７式は、数２１式に示す１階の連立微分方程式として表現することができる。
【００８３】
【数２０】
2006099467.tif 000022
【００８４】
【数２１】
2006099467.tif 000023
【００８５】
数値解析部１１２では、かかる１階の連立微分方程式をオイラー法を利用して解法する。ここで、オイラー法の公式は数２２式で示される。
【００８６】
【数２２】
2006099467.tif 000024
【００８７】
この数２２式では、ｔ(n)からｔ(n+1)＝ｔ(n)＋ｈへ解を進展させるものである。ここで。ｘ(n)は、ｎイテレーションであることを示す。このオイラー法を数２１式に適用すると、オイラー法による常微分方程式の更新式である数２３式が得られる。
【００８８】
【数２３】
2006099467.tif 000025
【００８９】
オイラー法による解法は以下のように行われる。図１０は、数値解析部１１２による常微分方程式の解法処理の手順を示すフローチャートである。
【００９０】
まず、初期値ｘ(0)1i＝ｉ、ｘ(0)2i＝０  （ｉ＝０〜Ｍ−１、ｊ＝０〜Ｎ−１）に設定する（ステップＳ１００１）。
【００９１】
次に、時刻ｔ(n)において、数２４式の更新式によって、次のｎ＋１次ステップの値ｘ(n+1)1i＝ｉ、ｘ(n+1)2i＝０  （ｉ＝０〜Ｍ−１、ｊ＝０〜Ｎ−１）を計算する（ステップＳ１００２）。
【００９２】
【数２４】
2006099467.tif 000026
【００９３】
次に、ｔ(n+1)＝ｔ(n)＋ｈとし（ステップＳ１００３）、ｔ(n+1)＞Ｔか否かを判断する（ステップＳ１００４）。そして、ｔ(n+1)＞Ｔである場合には（ステップＳ１００４：Ｙｅｓ）、処理を終了する。一方、ｔ(n+1)＞Ｔである場合、すなわちｔ(n+1)≦Ｔである場合には（ステップＳ１００４：Ｎｏ）、再度、数２２式の更新式の計算およびｔ(n+1)＝ｔ(n)＋ｈの処理をｔ(n+1)＞Ｔになるまで繰り返し行う。ここで、ｑi＝ｘ(n+1)であるから、写像は、数２５式で求められることになる。
【００９４】
【数２５】
2006099467.tif 000027
【００９５】
（シミュレーション１）
図１１は、シミュレーション１で使用する画像の変化を示す説明図である。シミュレーション１では、左側の始点画像のオブジェクトが右側の終点画像では２ピクセル分左方向に移動した場合を示している。
【００９６】
かかる始点画像と終点画像に対して本実施の形態における画像マッチング処理のシミュレーションを行った。このシュミレーションの結果を図１２に示す。
【００９７】
図１２は、始点画像の対応点を反映した終点画像を示すシミュレーション結果を示す説明図である。図１２において、（ａ）〜（ｆ）の順に時間ｔが経過しているものとする。図１２に示すように、推定時間を進めるごとにオブジェクトの動きにマッチングしていることが分かる。図１３は、シミュレーション１における画素値のポテンシャルエネルギーの力ｕの時間推移を示している。図１３に示すように、ポテンシャルエネルギーの力ｕが画素勾配の山から谷へと収束していることが確認できる。
【００９８】
（シミュレーション２）
図１４は、シミュレーション２で使用する画像の変化を示す説明図である。シミュレーション２では、左側の始点画像のオブジェクトが右側の終点画像では膨張している動きをしている場合を示している。
【００９９】
かかる始点画像と終点画像に対して本実施の形態における画像マッチング処理のシミュレーションを行った。このシュミレーションの結果を図１５に示す。
【０１００】
図１５は、始点画像の対応点を反映した終点画像を示すシミュレーション結果を示す説明図である。図１５においても、（ａ）〜（ｆ）の順に時間ｔが経過しているものとする。図１５に示すように、各画素が膨張の動きにマッチングしていることが分かる。図１６は、シミュレーション２における画素値のポテンシャルエネルギーの時間推移を示している。図１６に示すように、ポテンシャルエネルギーが画素勾配の山から谷へと収束していることが確認できる。
【０１０１】
このように実施の形態１にかかる動き補償装置による画像マッチング処理によれば、画像マッチングを動的な状態遷移モデルとして捉える、つまり各格子点ｑiを力学系における一つの質点と見なすことにより、各格子点を状態とする状態遷移モデルを記述し、状態の収束値を写像の推定値とすることにより、簡易な構造かつ処理で、ロバスト性が高く、かつ高精度で画素レベルのマッチングを行うことができる。
【０１０２】
（実施の形態２）
実施の形態１の動き補償装置では、各格子点の画素の輝度勾配のポテンシャルエネルギーによる力の状態遷移モデルが画素の単一ピクセルのみを対象とするものであった。このため、対象画素にノイズ成分が付加されている場合には、ポテンシャル空間が複雑な構造となり歪んでしまい、その結果、モデルが収束するにも大きな時間を要してしまう。
【０１０３】
このため、この実施の形態２にかかる動き補償装置では、対象を複数ピクセルで構成されるブロックとして画像マッチング状態遷移モデルを生成するものである。このような本実施の形態によれば、複数ピクセルからなるブロックをモデルの対象とすることによって、ブロックマッチングと同様にロバスト性を向上させることが可能となる。
【０１０４】
本実施の形態にかかる動き補償装置の機能的構成は、実施の形態１と同様である。また、画像マッチングの全体処理の手順も図２で説明した実施の形態１と同様に行われる。
本実施の形態では、モデル生成部１１１によってポテンシャルの力ｕ（ｑi）を数２６式のように定めて数１７式の画像マッチング状態遷移モデルを生成し、数値解析部１１２によって数１７式の常微分方程式の解法処理を行う。なお、数値解析部１１２による数１７式の解法処理は実施の形態１と同様に行われ、画素勾配ポテンシャルエネルギーによる力ｕ（ｑi）を求める際に、数２６式が用いられることになる。
【０１０５】
【数２６】
2006099467.tif 000028
【０１０６】
ここで、Ｂは対象ピクセル周りの複数のピクセルからなる演算対象のブロックである。また、ＮBは、ブロックＢ内のピクセル数である。
【０１０７】
なお、数値解析部１１２によるポテンシャルの力ｕ（ｑi）を数２６式で定めた数１７式の常微分方程式の解法処理は、実施の形態１と同様に行われる。
【０１０８】
このように本実施の形態にかかる動き補償装置では、複数ピクセルからなるブロックを画像マッチング状態遷移モデルの対象とすることによって、対象画素にノイズ成分が付加されている場合でもロバスト性を向上させることが可能となる。
【０１０９】
（実施の形態３）
実施の形態１および２にかかる動き補償装置では、画像マッチング状態遷移モデルは各格子点の画素勾配のポテンシャルの力によって動作する。このため、画素勾配が適切に発生しない場合、例えば、画像間の動きが大きい場合には、画像マッチング状態遷移モデルの数１７式のシステムは、所望の平衡点には収束せず、このため画像マッチングを適切に実現できない場合がある。
【０１１０】
このため、実施の形態３にかかる動き補償装置では、始点画像と終点画像に空間方向のダウンサンプリングを複数回実施することにより、画像の階層構造を生成し、階層構造の上位階層から下位階層に順に処理を実現している。
【０１１１】
本実施の形態にかかる動き補償装置の機能的構成は、実施の形態１と同様である。
【０１１２】
次に、本実施の形態の動き補償装置１００による画像マッチング処理について説明する。図１７は、画像マッチング処理の手順を示すフローチャートである。
【０１１３】
まず、モデル生成部１１１によって、入力された画像列から始点画像と終点画像を選び、始点画像と終点画像の格子点を生成する（ステップＳ１７０１）。次いで、モデル生成部１１１は、各格子位置と座標位置を初期化する（ステップＳ１７０２）。そして、モデル生成部１１１は、始点画像と終点画像に空間方向のダウンサンプリングを複数回実施する（ステップＳ１７０３）。ここで、ダウンサンプリングは、始点画像、終点画像から一定サイズの画素をサンプリングして上位階層の副始点画像と副終点画像を生成することを意味する。このようなサンプリングした副始点画像と副終点画像からさらに一定サイズの画素を取り出してサンプリングするというダウンサンプリングを繰り返すことにより、始点画像と終点画像のそれぞれに対して複数階層の副始点画像と副終点画像が生成されることになる。
【０１１４】
図１８は、ダウンサンプリングの状態を示す説明図である。図１８に示すように始点画像と終点画像のそれぞれに対し、元の画像を縦横１／２にサンプリングして、上位階層から下位階層にピクセル数が増大するようなピラミッド構造に階層化する。そして、各階層ごとに画像マッチング処理を行うこととする。ここで、本実施の形態では、元の画像を縦横１／２にサンプリングしているが、その比率は１／２に限定されるものではない。
【０１１５】
図１７に戻り、モデル生成部１１１は、実施の形態１と同様の画像マッチング状態遷移モデルの微分方程式（数２８式）を生成する（ステップＳ１７０４）。
【０１１６】
本実施の形態では、モデル生成部１１１によって、次のように画像マッチング状態遷移モデルが生成される。
【０１１７】
まず、画像サイズを縦横等しく２Mとする。また、始点画像の格子点を以下のようにする。
【０１１８】
ｉ＝（ｉ，ｊ）T  （ｉ＝０〜２m−１、ｊ＝０〜２m−１、ｍ＝０〜Ｍ）
空間方向のダウンサンプリングを、元の画像を縦横１／２にサンプリングするものとすると、ピラミッド構造の階層構造が、次のように表される。
【０１１９】
ｉ(m)＝（ｉ，ｊ）T  （ｉ＝０〜２m−１、ｊ＝０〜２m−１、ｍ＝０〜Ｍ）
ピラミッド構造の格子点ｉ(m)に対応する終点画像上の点をｑi(m)とすると、写像関係は数２７式で表される。
【０１２０】
【数２７】
2006099467.tif 000029
【０１２１】
従って、各階層毎に画像マッチング状態遷移モデルは、実施の形態１で求めた数１７式と同様に、数２８式の常微分方程式（運動方程式）で表される。
【０１２２】
【数２８】
2006099467.tif 000030
【０１２３】
ここで、本実施の形態では、「上位階層における写像マップを下位階層における初期値にする」という各階層間の拘束条件を導入する。ただし、高速条件としては他の条件を設定することも可能である。
【０１２４】
そして、数値解析部１１２によって、モデル生成部１１１によって生成された数１７式の常微分方程式の解法処理を行い、始点画像の各点と終点画像の点の対応を求める（ステップＳ１７０５）。かかる対応は、スケール変換部１２０に出力される。
【０１２５】
次に、ステップＳ１７０５における数値解析部１１２による数２８式の常微分方程式の解法処理について説明する。数２８式は、数１７式と同様に、は時間ｔが無限大の極限において、所定の値に収束する。数値解析部１１２では、かかる収束値を写像ｆ(m)の推定結果として算出している。
【０１２６】
本実施の形態においても数値解析部１１２は、数２８式の常微分方程式をオイラー法による数値解析によって解法し、時間ｔをシステムが収束するために十分に大きな時間Ｔをとり、ｔ＝（０，Ｔ）区間を計算することによって得られる収束値を写像ｆの推定結果としている。
【０１２７】
図１９は、数値解析部１１２による常微分方程式の解法処理の手順を示すフローチャートである。
【０１２８】
まず、画像マッチング処理の対象の階層ｍを０に初期化し（ステップＳ１９０１）、初期値ｘ(0)1i(m)＝ｉ(m)、ｘ(0)2i(m)＝０  （ｉ＝０〜２m−１、ｊ＝０〜２m−１）に設定する（ステップＳ１９０２）。
【０１２９】
次に、時刻ｔ(n)において、数２９式の更新式によって、次のｎ＋１次ステップの値ｘ(n+1)1i(m)＝ｉ(m)、ｘ(n+1)2i(m)＝０  （ｉ＝０〜２m−１、ｊ＝０〜２m−１）を計算する（ステップＳ１９０３）。
【０１３０】
【数２９】
2006099467.tif 000031
【０１３１】
次に、ｔ(n+1)＝ｔ(n)＋ｈとし（ステップＳ１９０４）、ｔ(n+1)＞Ｔか否かを判断する（ステップＳ１９０５）。そして、ｔ(n+1)＞Ｔである場合には（ステップＳ１９０５：Ｙｅｓ）、次の下位階層の処理へ移行する画像マッチング処理対象の階層ｍを１だけ増加する（ステップS１９０６）。一方、ステップS１９０５において、ｔ(n+1)＞Ｔである場合、すなわちｔ(n+1)≦Ｔである場合には（ステップＳ１９０５：Ｎｏ）、再度、数２９式の更新式の計算およびｔ(n+1)＝ｔ(n)＋ｈの処理をｔ(n+1)＞Ｔになるまで繰り返し行う。ここで、ｑi＝ｘ(n+1)であるから、写像は、数２７式で求められることになる。
【０１３２】
ステップＳ１９０６で、画像マッチング処理対象の階層ｍを１だけ増加したら、ｍがＭより大きいか否か、すなわち全ての階層に対して画像マッチング処理を実行したか否かを調べる（ステップＳ１９０７）。そして、ｍがＭより大きく、全ての階層に対して画像マッチング処理を実行した場合には（ステップＳ１９０７：Ｙｅｓ）、処理を終了する。一方、ｍがＭ以下であり、まだ全ての階層に対して画像マッチング処理を実行していない場合には（ステップＳ１９０７：Ｎｏ）、すべての階層に対してステップＳ１９０２からＳ１９０６までの画像マッチング処理を繰り返し実行する。
【０１３３】
図２０は、実施の形態３のシミュレーションで使用する移動量の大きな動きの画像の変化を示す説明図である。このシミュレーションでは、左側の始点画像のオブジェクトが右側の終点画像で移動量が大きい動きをしている場合を示している。
【０１３４】
かかる始点画像と終点画像に対して本実施の形態における画像マッチング処理のシミュレーションを行った。このシミュレーションの結果を図２１および図２２に示す。
【０１３５】
図２１は、始点画像の対応点を反映した終点画像の写像マップを示す説明図である。図２１において、（ａ）〜（ｅ）の順に階層２（Ｌａｙｅｒ＝２）から階層６（Ｌａｙｅｒ＝６）までの写像マップを示している。また、図２２は、始点画像の対応点を反映した終点画像の格子マップを示す説明図である。図２２において、（ａ）〜（ｅ）の順に階層２（Ｌａｙｅｒ＝２）から階層６（Ｌａｙｅｒ＝６）までの格子マップを示している。図２１および図２２に示すように、各画素が移動量の大きい動きに正確にマッチングしていることが分かる。
【０１３６】
図２３は、実施の形態３のシミュレーションで使用するオブジェクトが反転するような画像の変化を示す説明図である。このシミュレーションでは、左側の始点画像のオブジェクトが右側の終点画像で反転した大きい動きをしている場合を示している。
【０１３７】
かかる始点画像と終点画像に対して本実施の形態における画像マッチング処理のシミュレーションを行った。このシミュレーションの結果を図２４に示す。
【０１３８】
図２４は、始点画像の対応点を反映した終点画像の格子マップを示す説明図である。図２４において、（ａ）〜（ｅ）の順に階層２（Ｌａｙｅｒ＝２）から階層６（Ｌａｙｅｒ＝６）までの格子マップを示している。図２４に示すように、各画素が反転した移動量の大きい動きに正確に対応点が求められることが分かる。
【０１３９】
このように実施の形態３にかかる動き補償装置による画像マッチング処理によれば、始点画像と終点画像に空間方向のダウンサンプリングを複数回実施することにより、画像の階層構造を生成し、階層構造の上位階層から下位階層に順に画像マッチング処理を行っているので、大きな動きから小さな動きまで、ロバスト性が高く、かつ高精度で画素レベルのマッチングを行うことができる。
【０１４０】
（実施の形態４）
実施の形態３にかかる動き補償装置では、始点画像と終点画像を階層構造にダウンサンプリングすることにより、小さな動きから大きな動きのある画像に対しても高精度で画像マッチング処理を行えるものであったが、階層化における空間方向のダウンサンプリング手法によっては、上位階層に適切に動き要素が伝搬せず上位階層で十分なマッチングが行えず、画像マッチングが不十分である可能性がある。
【０１４１】
このため、実施の形態４にかかる動き補償装置では、複数のダウンサンプリング手法により複数のピラミッド階層構造を構築し、それらの階層間をバネにより連結することによってダウンサンプリング手法に対する依存性を低減させるものである。
【０１４２】
本実施の形態にかかる動き補償装置の機能的構成は、実施の形態１と同様である。また、本実施の形態の動き補償装置１００による画像マッチングの全体処理は実施の形態３と同様である。
【０１４３】
ただし、本実施の形態では、ダウンサンプリングの処理において、複数の多重解像度フィルタ（CPF:Critical Point Filter）を使用する。多重解像度フィルタは、もとの画像に対して二次元的な探索を行って特異点を検出し、検出された特異点を抽出して元の顔図よりも解像度の低い別の画像を生成するフィルタである。ここで、特異点とは、例えば、最大画素値や最小画素値を有する画素である。
【０１４４】
図２５は、実施の形態４の動き補償装置におけるｍ＋１階層からｍ階層の画像を生成する際のダウンサンプリングを示す説明図である。図２５に示すように、ｍ＋１階層からｍ階層へのダウンサンプリングにおいて、本実施の形態では、４つの多重解像度フィルタを数３０式に示すように構成する。
【０１４５】
【数３０】
2006099467.tif 000032
【０１４６】
ここでＡ，Ｂ，Ｃ，Ｄ，Ｅは、各画素の輝度値である。数３０式に示す本実施の形態の多重解像度フィルタによるダウンサンプリングによって、画像における明るい画素部分と暗い画素部分がそれぞれ抽出されピラミッド構造の４階層の階層構造が構築される。
【０１４７】
本実施の形態にかかる動き補償装置では、モデル生成部１１１によって画像マッチング状態遷移モデルを生成する際に、ピラミッド構造の階層間をバネで接続して階層間に弾性力を作用させる。数３０式の多重解像度フィルタを上の式から順にｓ＝０，１，２，３と表すと、ｓ＝０の多重解像度フィルタとｓ＝３の多重解像度フィルタをリング上に隣同士に配列すると、多重解像度フィルタ間の連結による弾性力は数３１式で表される。
【０１４８】
【数３１】
2006099467.tif 000033
【０１４９】
従って、モデル生成部１１１によって生成される画像マッチング状態遷移モデルの常微分方程式（運動方程式）は、実施の形態の数１７式に代えて、数３２式で示される。
【０１５０】
【数３２】
2006099467.tif 000034
【０１５１】
図２６は、４個の多重解像度フィルタ（ｓ＝０〜３）により生成された画像の階層構造の階層間をバネで連結して弾性力を作用させた画像マッチング状態遷移モデルの状態を示す説明図である。
【０１５２】
本実施の形態の数値解析部１１２では、この数３２式で示される常微分方程式を実施の形態１と同様のオイラー法を利用した数値解析で解法処理する。
【０１５３】
これにより、多重解像度フィルタ間の連結を実現した画像マッチングをおこなえる。
【０１５４】
このように本実施の形態にかかる動き補償装置では、複数の多重解像度フィルタによって始点画像と終点画像の複数のピラミッド構造の階層構造を構築し、各階層構造に弾性力を作用させた画像マッチング状態遷移モデルを構築しているので、ダウンサンプリング手法に対する依存性を減少させて、より高精度な画像マッチング処理を実現することができる。
【０１５５】
（実施の形態５）
実施の形態２にかかる動き補償装置では、ロバスト性を向上させるため、複数のピクセルからなるブロックを考え、ブロック内のピクセル同士をバネで連結して弾性力を生じさせ、画素勾配のポテンシャルエネルギーによる力を計算して画像マッチング状態遷移モデルを構築したが、画素数が増大した場合に画像マッチング処理における計算量が増加し処理効率が悪化するおそれがある。
【０１５６】
このため、実施の形態５にかかる動き補償装置は、ピクセルの集合体であるブロック同士をバネで連結してブロック間に弾性力を生じさせる画像マッチング状態遷移モデルを構築するものである。
【０１５７】
本実施の形態にかかる動き補償装置の機能的構成は、実施の形態１と同様である。また、画像マッチングの全体処理の手順も図２で説明した実施の形態１と同様に行われる。
【０１５８】
本実施の形態では、モデル生成部１１１により生成する画像マッチング状態遷移モデルが実施の形態２と異なっている。
【０１５９】
図２７は、実施の形態５にかかる動き補償装置の画像マッチング処理における画像マッチング状態遷移モデルの状態を示す説明図である。本実施の形態では、図２７に示すように、複数のピクセルからなるブロック間をバネで接続してブロック間に弾性力を作用させるモデルをモデル生成部１１１によって構築する。
【０１６０】
このとき、始点画像の点ｉ＝（ｉ，ｊ）T、（ｉ＝１〜Ｍ、ｊ＝１〜Ｎ）とし、始点画像の点ｉに対応する終点画像の点をｑiとすると、始点画像の点ｉと終点画像の点ｑiには数３３式の写像関係がある。
【０１６１】
【数３３】
2006099467.tif 000035
【０１６２】
ここで、始点画像の点ｉと終点画像の点ｑiを絶対的位置とし、Ｂを相対的な演算対象ブロックとする。このとき、ブロック単位の画素勾配ポテンシャルエネルギーによる力ｕ（ｑi）は、数３４式により表される。
【０１６３】
【数３４】
2006099467.tif 000036
【０１６４】
本実施の形態では、モデル生成部１１１によってポテンシャルの力ｕ（ｑi）を数３４式のように定めて数１７式の画像マッチング状態遷移モデルを生成し、数値解析部１１２によって数１７式の常微分方程式の解法処理を行う。なお、数値解析部１１２による数１７式の解法処理は実施の形態１と同様に行われ、画素勾配ポテンシャルエネルギーによる力ｕ（ｑi）を求める際に、数３４式が用いられることになる。
【０１６５】
このように本実施の形態にかかる動き補償装置では、ピクセルの集合体であるブロック同士をバネで連結してブロック間に弾性力を生じさせる画像マッチング状態遷移モデルを構築しているので、よりロバスト性を向上させて高精度な画像マッチング処理を実現することができる。
【０１６６】
（実施の形態６）
実施の形態１〜５にかかる動き補償装置に構築した画像マッチング状態遷移モデルは、画素の輝度の差分値に基づいてポテンシャルエネルギーの力を考えていたが、ポテンシャルエネルギーの力には色成分は含まれていないため、輝度に差があまりないが、異なる色のオブジェクトが始点画像と終点画像に含まれる場合に、オブジェクトを認識することができず、画像マッチング処理を高精度に行うことができない場合がある。
【０１６７】
このため、本実施の形態にかかる動き補償装置では、色情報を含めたポテンシャルエネルギーの力を利用して、画像マッチング状態遷移モデルを構築している。
【０１６８】
本実施の形態にかかる動き補償装置の機能的構成は、実施の形態１と同様である。また、画像マッチングの全体処理の手順も図２で説明した実施の形態１と同様に行われる。
【０１６９】
本実施の形態では、モデル生成部１１１により生成する画像マッチング状態遷移モデルが実施の形態１〜５と異なっている。本実施の形態のモデル生成部１１１では、色空間としてＬＵＶ表色系の色情報をポテンシャルエネルギーの力に含めている。
【０１７０】
これは、ＲＧＢ表色系は色度図における色の分布に偏りがあるためである。このような色分布の偏りの少ない色空間としてＸＹＺ表色系がある。このＸＹＺ表色系を使用した場合、２色の距離の計算が可能で、この距離が等しい場合、どのような色であっても等しい色の差として知覚できるならば、この距離をもって画像の相関の有無を判断することができるからである。すなわち、２色間の距離が小さいほど２色は近似した色であり、２色間の距離が大きいほど２色は異なる色であることから、距離が小さい物の集合の方が、距離が大きい物の集合よりも画像の相関が高いと判断することができる。
【０１７１】
しかしながら、ＸＹＺ表色系における距離と色差知覚には相関が低いことが一般的に知られている。このため、本実施の形態では、距離と色差知覚には相関が高いとされている均等色空間であるＬＵＶ表色系の色情報をポテンシャルエネルギーの力に含めて、画像マッチング状態遷移モデルを構築している。なお、この他、同じ均等色空間であるＬＡＢ表色系の色情報を用いて画像マッチング状態遷移モデルを構築してもよい。
【０１７２】
ＬＵＶ表色系において２色間の色差は、数３５式で示される。
【０１７３】
【数３５】
2006099467.tif 000037
【０１７４】
この数３５式を用いて、色の差分値に基づいたポテンシャルエネルギーの力ｕ（ｑi）を表すと、数３６式で示される。
【０１７５】
【数３６】
2006099467.tif 000038
【０１７６】
本実施の形態では、モデル生成部１１１によってポテンシャルの力ｕ（ｑi）を数３６式のように定めて数１７式の画像マッチング状態遷移モデルを生成し、数値解析部１１２によって数１７式の常微分方程式の解法処理を行う。なお、数値解析部１１２による数１７式の解法処理は実施の形態１と同様に行われ、画素勾配ポテンシャルエネルギーによる力ｕ（ｑi）を求める際に、数３６式が用いられることになる。
【０１７７】
このように本実施の形態にかかる動き補償装置では、ＬＵＶ表色系の色情報を含めたポテンシャルエネルギーの力を利用して、画像マッチング状態遷移モデルを構築しているので、輝度差が少なく、異なる色のオブジェクトが始点画像と終点画像に含まれる場合に、画像マッチング処理を高精度に行い、かつロバスト性を向上させることができる。
【０１７８】
（実施の形態７）
実施の形態１〜５にかかる動き補償装置では、輝度差分に基づいた画像マッチング状態遷移モデルを構築していたので、画素勾配ポテンシャルによる力は輝度の差分値によって発生する。これは画素の同一の格子点において輝度変化が存在しないという仮定の下で、移動の軌跡に沿って輝度の差分値が滑らかに減少するというモデルであるため、輝度変化が発生すると、画像マッチングを正確に行えない。
【０１７９】
例えば、図２８に示すような始点画像と終点画像とで移動するオブジェクトの表面に輝度変化が発生している場合に、画像マッチング処理を行った場合を考える。図２９は、図２８の画像に対して画像マッチング処理を行った場合の始点画像の対応点を反映した終点画像の格子マップを示す説明図である。この場合、図２９に示すように、画像マッチング結果が崩れてしまい、対応点が正確に現れない。
【０１８０】
このため、本実施の形態にかかる動き補償装置では、輝度変化にロバストな画像相関ポテンシャルエネルギーの力に基づいた画像マッチング状態遷移モデルを構築している。
【０１８１】
本実施の形態にかかる動き補償装置の機能的構成は、実施の形態１と同様である。また、画像マッチングの全体処理の手順も図２で説明した実施の形態１と同様に行われる。
【０１８２】
本実施の形態では、モデル生成部１１１によって、相互相関を用いて画像相関ポテンシャルエネルギーの力を定式化した画像マッチング状態遷移モデルを生成している。この相互相関は、統計学的には相関係数と呼ばれるもので、正規化された共分散において期待値を０としたものである。この相互相関は、相互の期待値の差を評価するものではないため、輝度の差分値をみるよりも輝度変化に対してロバスト性を向上させることができると考えられる。
【０１８３】
相互相関を取り入れた画像相関ポテンシャルエネルギーの力ｕ（ｑi）は、数３７式で表される。
【０１８４】
【数３７】
2006099467.tif 000039
【０１８５】
本実施の形態では、モデル生成部１１１によってポテンシャルの力ｕ（ｑi）を数３７式のように定めて数１７式の画像マッチング状態遷移モデルを生成し、数値解析部１１２によって数１７式の常微分方程式の解法処理を行う。なお、数値解析部１１２による数１７式の解法処理は実施の形態１と同様に行われ、画素勾配ポテンシャルエネルギーによる力ｕ（ｑi）を求める際に、数３７式が用いられることになる。
【０１８６】
図３０は、始点画像と終点画像とで移動するオブジェクトの表面に輝度変化が発生している場合の画像の変化を示す説明図である。このような画像に対して本実施の形態における画像マッチングを行った場合の結果を図３１に示す。
【０１８７】
図３１は、始点画像の対応点を反映した終点画像の格子マップを示す説明図である。図３１に示すように、オブジェクトの表面に輝度変化が発生している場合でも、正確に対応点を求められることがわかる。
【０１８８】
このように実施の形態７にかかる動き補償装置では、相互相関を用いて画像相関ポテンシャルエネルギーの力を定式化した画像マッチング状態遷移モデルを構築しているので、オブジェクトの表面に輝度変化が発生している場合でも、高精度な画像マッチング処理を実現することができる。
【０１８９】
実施の形態１〜７に係る動き補償装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【０１９０】
実施の形態１〜７に係る動き補償装置で実行される動き補償プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１９１】
また、実施の形態１〜７に係る動き補償装置で実行される動き補償プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の〜装置で実行される動き補償プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【０１９２】
また、実施の形態１〜７に係る動き補償装置で実行される動き補償プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１９３】
実施の形態１〜７に係る動き補償装置で実行される動き補償プログラムは、上述した各部（モデル生成部１１１、数値解析部１１２、スケール変換部１２０、動き補償部１３０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から動き補償プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、モデル生成部１１１、数値解析部１１２、スケール変換部１２０、動き補償部１３０が主記憶装置上に生成されるようになっている。
【図面の簡単な説明】
【０１９４】
【図１】実施の形態１にかかる動き補償装置の機能的構成を示すブロック図である。
【図２】画像マッチング処理の手順を示すフローチャートである。
【図３】始点画像上の点ｉと終点画像上の点ｑiとの写像関係を示す説明図である。
【図４】始点画像上の点ｉと終点画像上の点ｑiとの写像関係の時間的経過を示す説明図である。
【図５】写像が全単射と全単射でない例を示す説明図である。
【図６】輝度勾配のポテンシャルの力ｕ（ｑi）の作用を示す説明図である。
【図７】始点画像と終点画像の隣接する格子点をバネで接続したとみなして各格子点間に弾性力を生じさせたモデルを示す説明図である。
【図８】各格子点に作用する弾性力の状態を示す説明図である。
【図９】画像マッチング状態遷移モデルにおける画像の各格子点に作用する力を示す説明図である。
【図１０】数値解析部１１２による常微分方程式の解法処理の手順を示すフローチャートである。
【図１１】シミュレーション１で使用する画像の変化を示す説明図である。
【図１２】始点画像の対応点を反映した終点画像を示すシミュレーション結果を示す説明図である。
【図１３】シミュレーション１における画素値のポテンシャルエネルギーの力ｕの時間推移を示している。
【図１４】シミュレーション２で使用する画像の変化を示す説明図である。
【図１５】始点画像の対応点を反映した終点画像を示すシミュレーション結果を示す説明図である。
【図１６】シミュレーション２における画素値のポテンシャルエネルギーの時間推移を示している。
【図１７】画像マッチング処理の手順を示すフローチャートである。
【図１８】ダウンサンプリングの状態を示す説明図である。
【図１９】数値解析部１１２による常微分方程式の解法処理の手順を示すフローチャートである。
【図２０】実施の形態３のシミュレーションで使用する移動量の大きな動きの画像の変化を示す説明図である。
【図２１】始点画像の対応点を反映した終点画像の写像マップを示す説明図である。
【図２２】始点画像の対応点を反映した終点画像の格子マップを示す説明図である。
【図２３】実施の形態３のシミュレーションで使用するオブジェクトが反転するような画像の変化を示す説明図である。
【図２４】始点画像の対応点を反映した終点画像の格子マップを示す説明図である。
【図２５】実施の形態４の動き補償装置におけるｍ＋１階層からｍ階層の画像を生成する際のダウンサンプリングを示す説明図である。
【図２６】４個の多重解像度フィルタ（ｓ＝０〜３）により生成された画像の階層構造の階層間をバネで連結して弾性力を作用させた画像マッチング状態遷移モデルの状態を示す説明図である。
【図２７】実施の形態５にかかる動き補償装置の画像マッチング処理における画像マッチング状態遷移モデルの状態を示す説明図である。
【図２８】始点画像と終点画像とで移動するオブジェクトの表面に輝度変化が発生している例を示す説明図である。
【図２９】図２８の画像に対して画像マッチング処理を行った場合の始点画像の対応点を反映した終点画像の格子マップを示す説明図である。
【図３０】始点画像と終点画像とで移動するオブジェクトの表面に輝度変化が発生している場合の画像の変化を示す説明図である。
【図３１】始点画像の対応点を反映した終点画像の格子マップを示す説明図である。
【符号の説明】
【０１９５】
１００  動き補償装置
１１０  画像マッチング処理部
１１１  モデル生成部
１１２  数値解析部
１２０  スケール変換部
１３０  動き補償部
１４０  フレームメモリ
【図１】
2006099467.tif 000040
【図２】
2006099467.tif 000041
【図３】
2006099467.tif 000042
【図４】
2006099467.tif 000043
【図５】
2006099467.tif 000044
【図６】
2006099467.tif 000045
【図７】
2006099467.tif 000046
【図８】
2006099467.tif 000047
【図９】
2006099467.tif 000048
【図１０】
2006099467.tif 000049
【図１１】
2006099467.tif 000050
【図１２】
2006099467.tif 000051
【図１３】
2006099467.tif 000052
【図１４】
2006099467.tif 000053
【図１５】
2006099467.tif 000054
【図１６】
2006099467.tif 000055
【図１７】
2006099467.tif 000056
【図１８】
2006099467.tif 000057
【図１９】
2006099467.tif 000058
【図２０】
2006099467.tif 000059
【図２１】
2006099467.tif 000060
【図２２】
2006099467.tif 000061
【図２３】
2006099467.tif 000062
【図２４】
2006099467.tif 000063
【図２５】
2006099467.tif 000064
【図２６】
2006099467.tif 000065
【図２７】
2006099467.tif 000066
【図２８】
2006099467.tif 000067
【図２９】
2006099467.tif 000068
【図３０】
2006099467.tif 000069
【図３１】
2006099467.tif 000070