(57)【要約】【課題】二つの画像から対応点をマッチングする画像マッチング方法を提供する。【解決手段】第１の画像相関ポテンシャルエネルギーを用いて、対象画像から参照画像への第１の写像関係を求め、該参照画像から該対象画像への第２の写像関係を求める第１の画像マッチングと第２の画像相関ポテンシャルエネルギーを用いて、対象画像から参照画像への第３の写像関係を求め、該参照画像から該対象画像への第４の写像関係を求める第２の画像マッチングとを行い、対象画像上の点を第１の写像関係により写像した点が第２の写像関係によって写像された点を求め、それらの点の位置関係によって第１の信頼確率を算出し、対象画像上の点を前記第３の写像関係により写像した点が前記第４の写像関係によって写像された点を求め、それらの点の位置関係によって第２の信頼確率を算出し、第１，第２の信頼確率に従って、前記第１乃至第４の写像関係に基づく写像を合成する。【選択図】  図１
2006227827.tif 000002
【特許請求の範囲】
【請求項１】
対象画像と参照画像の間の写像関係を求める画像マッチング方法において、
前記対象画像と前記参照画像との対応点間の位置関係および画像情報に基づく第１の画像相関ポテンシャルエネルギーの勾配による力と、前記対象画像上もしくは前記参照画像上の各点とその隣接点間の弾性力と、前記対象画像上もしくは前記参照画像上の各点に働く摩擦力とを用いて、該対象画像から該参照画像への第１の写像関係による第１の写像を求め、該参照画像から該対象画像への第２の写像関係による第２の写像を求める第１の画像マッチングステップと、
前記対象画像と前記参照画像との対応点間の位置関係および画像情報に基づく第２の画像相関ポテンシャルエネルギーの勾配による力と、前記対象画像上もしくは前記参照画像上の各点とその隣接点間の弾性力と、前記対象画像上もしくは前記参照画像上の各点に働く摩擦力とを用いて、該対象画像から該参照画像への第３の写像関係による第３の写像を求め、該参照画像から該対象画像への第４の写像関係による第４の写像を求める第２の画像マッチングステップと、
対象画像上の点を前記第１の写像関係により写像した点が前記第２の写像関係によって写像された点を求め、それらの点の位置関係によって第１の信頼確率を算出し、対象画像上の点を前記第３の写像関係により写像した点が前記第４の写像関係によって写像された点を求め、それらの点の位置関係によって第２の信頼確率を算出する信頼度算出ステップと、
前記第１，第２の信頼確率に従って、前記第１，第２，第３，第４の写像を合成するステップとを有することを特徴とする画像マッチング方法。
【請求項２】
前記第２の画像相関ポテンシャルエネルギーが、対応点間の画像の輝度値の相互相関によって生じることを特徴とする請求項１に記載の画像マッチング方法。
【請求項３】
前記第２の画像相関ポテンシャルエネルギーが、前記対象画像及び前記参照画像において隣接点間の輝度値の差を量子化した定性的表現を求め、対応点間の定性的表現の一致度合いによって生じることを特徴とする請求項１に記載の画像マッチング方法。
【請求項４】
前記第１の画像相関ポテンシャルエネルギーが、対応点間の画像の輝度値の差分によって生じることを特徴とする請求項１または２に記載の画像マッチング方法。
【請求項５】
前記第１の画像相関ポテンシャルエネルギーモデルが、対応点間の画像の色度空間距離によって生じることを特徴とする請求項１または２に記載の画像マッチング方法。
【請求項６】
前記信頼度算出ステップは、対象画像上の点Ａを前記第１の写像関係により写像した点Ｂが前記第２の写像関係によって写像された点Ｃを求めるステップと、前記点ＡとＣの距離が近いほど信頼確率が高いとする信頼確率を算出するステップと、対象画像上の点Ｄを前記第３の写像関係により写像した点Ｅが第４の写像関係によって写像された点Ｆを求め、前記点ＥとＦの距離が近いほど信頼確率が高いとする信頼確率を算出するステップを含むことを特徴とする請求項１乃至５のいずれか１に記載の画像マッチング方法。
【請求項７】
前記信頼度算出ステップは、対象画像上の点Ａを前記第１の写像関係により写像した点Ｂが前記第２の写像関係によって写像された点Ｃを求めるステップと、前記点ＡとＢとＣの面積が小さいほど信頼確率が高いとする信頼確率を算出するステップと、対象画像上の点Ｄを前記第３の写像関係により写像した点Ｅが前記第４の写像関係によって写像された点Ｆを求めるステップと、前記点ＤとＥとＦの面積が小さいほど信頼確率が高いとする信頼確率を算出するステップを含むことを特徴とする請求項１乃至５のいずれか１に記載の画像マッチング方法。
【請求項８】
前記対象画像と前記参照画像は、それぞれピラミッド階層構造であることを特徴とする請求項１乃至７のいずれか１に記載の画像マッチング方法。
【請求項９】
対象画像と参照画像の間の写像関係を求める画像マッチング装置において、
前記対象画像と前記参照画像との対応点間の位置関係および画像情報に基づく第１の画像相関ポテンシャルエネルギーの勾配による力と、前記対象画像上もしくは前記参照画像上の各点とその隣接点間の弾性力と、前記対象画像上もしくは前記参照画像上の各点に働く摩擦力とを用いて、該対象画像から該参照画像への第１の写像関係による第１の写像を求め、該参照画像から該対象画像への第２の写像関係による第２の写像を求める第１の画像マッチング手段と、
前記対象画像と前記参照画像との対応点間の位置関係および画像情報に基づく第２の画像相関ポテンシャルエネルギーの勾配による力と、前記対象画像上もしくは前記参照画像上の各点とその隣接点間の弾性力と、前記対象画像上もしくは前記参照画像上の各点に働く摩擦力とを用いて、該対象画像から該参照画像への第３の写像関係による第３の写像を求め、該参照画像から該対象画像への第４の写像関係による第４の写像を求める第２の画像マッチング手段と、
対象画像上の点を前記第１の写像関係により写像した点が前記第２の写像関係によって写像された点を求め、それらの点の位置関係によって第１の信頼確率を算出し、対象画像上の点を前記第３の写像関係により写像した点が前記第４の写像関係によって写像された点を求め、それらの点の位置関係によって第２の信頼確率を算出する信頼度算出手段と、
前記第１，第２の信頼確率に従って、前記第１，第２，第３，第４の写像を合成する合成手段と、
を具備することを特徴とする画像マッチング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二つの画像から対応点を検出しマッチングをおこなう画像マッチング方法および装置に関する。
【背景技術】
【０００２】
動き検出、ステレオマッチング、画像モーフィング、画像認識、動画像符号化、など多くの技術分野において、一つの画像から他方の画像への対応関係を求める画像マッチングの技術は基本的な問題である。非特許文献１によれば、画像マッチングの技術は大きく分けて４つに分類できる。即ち、オプティカルフロー手法、ブロックベース手法、勾配法、ベイジアンメソッドがある。オプティカルフロー手法は、「輝度の変化は一定である」というオプティカルフロー式を導出し、そのオプティカルフロー式を拘束条件としてフローを求めるものである。ブロックベースの手法は、ブロック毎のテンプレートマッチングによって動きを求める手法である。勾配法は、画像の輝度勾配が減少する方向にマッチングをおこなう手法である。ベイジアンメソッドは、確率的に尤もらしいマッチングを求める手法である。
【０００３】
特許文献１には、上記の分類には属さない技術として多重解像度フィルタを用いた画像マッチングの方法が開示されている。この手法は、複数の多重解像度フィルタによって複数の多重解像度画像ピラミッドを生成し、画像ピラミッドを上から順にマッチング処理をおこなうことによって大きな動きから小さな動きまでマッチング可能なロバスト性の高いマッチング技術である。
【特許文献１】特許第２９２７３５０号公報
【非特許文献１】A. Murat Tekalp, “Digital Video Processing”, Prentice Hall, 1995
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の画像マッチング技術の多くは対象オブジェクトの輝度が画像間で変化しないということを仮定して構築されている。オプティカルフロー手法がその代表であるが、ブロックマッチングアルゴリズムもベイズメソッドも同様である。このため従来技術では対象オブジェクトに輝度変化が生じている場合に誤マッチングが生じてしまう可能性が高い。
【０００５】
本発明は、輝度変化が発生した場合にも高精度に画像マッチング可能にする画像マッチング方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一局面は、対象画像と参照画像の間の写像関係を求める画像マッチング方法において、前記対象画像と前記参照画像との対応点間の位置関係および画像情報に基づく第１の画像相関ポテンシャルエネルギーの勾配による力と、前記対象画像上もしくは前記参照画像上の各点とその隣接点間の弾性力と、前記対象画像上もしくは前記参照画像上の各点に働く摩擦力とを用いて、該対象画像から該参照画像への第１の写像関係による第１の写像を求め、該参照画像から該対象画像への第２の写像関係による第２の写像を求める第１の画像マッチングステップと、前記対象画像と前記参照画像との対応点間の位置関係および画像情報に基づく第２の画像相関ポテンシャルエネルギーの勾配による力と、前記対象画像上もしくは前記参照画像上の各点とその隣接点間の弾性力と、前記対象画像上もしくは前記参照画像上の各点に働く摩擦力とを用いて、該対象画像から該参照画像への第３の写像関係による第３の写像を求め、該参照画像から該対象画像への第４の写像関係による第４の写像を求める第２の画像マッチングステップと、対象画像上の点を前記第１の写像関係により写像した点が前記第２の写像関係によって写像された点を求め、それらの点の位置関係によって第１の信頼確率を算出し、対象画像上の点を前記第３の写像関係により写像した点が前記第４の写像関係によって写像された点を求め、それらの点の位置関係によって第２の信頼確率を算出する信頼度算出ステップと、前記第１，第２の信頼確率に従って、前記第１，第２，第３，第４の写像を合成するステップとを有することを特徴とする画像マッチング方法を提供する。
【発明の効果】
【０００７】
本発明によると、対象オブジェクトに輝度変化が生じても高精度にマッチングが可能となる。また、輝度変化に対応でき大きな動きから小さな動きまでスケーラブルに対応可能となる。
【発明を実施するための最良の形態】
【０００８】
［第１の実施形態］
本実施形態を図１のブロック図に従って説明する。本実施形態では、対象画像と参照画像が入力され、例えばプロセッサにより構成される２つの画像マッチングユニット１１，１２が設けられる。画像マッチングユニット１１は輝度変化が無いと仮定した画像マッチング１を行い、画像マッチングユニット１２は輝度変化に対して耐性がある画像マッチング２を行う。これら画像マッチングユニット１１，１２の出力は、例えば演算装置により構成される信頼度算出ユニット１３に入力され、マッチングの信頼度が算出される。信頼度算出ユニット１３の計算結果は、例えばプロセッサにより構成される接合ユニット１４に入力されると、接合ユニット１４は信頼度算出ユニット１３の算出結果に応じて画像マッチングユニット１１，１２の写像を合成する。
【０００９】
本実施形態において、まず、基本となる画像マッチング１について説明する。
【００１０】
連続画像モデルが数式１に示すように表される。
【数１】
2006227827.tif 000003
【００１１】
これは実数ベースの連続な画像モデルである。ここでは、デジタル画像を対象と考えているので、上記のモデルをサンプリングした以下のサンプリング画像モデルを用いる。
【００１２】
このサンプリング画像モデルは数式２により表される。  
【数２】
2006227827.tif 000004
【００１３】
このとき画像マッチング問題は以下の条件、即ち数式３を満たす動きベクトルd:R3→R2を探す問題として定式化できる。  
【数３】
2006227827.tif 000005
【００１４】
但し、この定式化の場合、暗に同じ対象物の画像値は時間変化をしないと仮定している。また、動きベクトルdが実数なので、右辺は連続画像モデル（数式１）の表記を用いていることに注意を要する。ここでは、対象画像と参照画像、２枚の画像間の画像マッチングを考えているので、等価な数式４を考える。  
【数４】
2006227827.tif 000006
【００１５】
また、動きベクトルも簡単化され、d:R2→R2となる。点xに対して動きベクトルdは一つだけ決まればよいので、動きベクトルdを一意写像とする。x+d(x)はxに対する写像とみなせるので、g(x)=x+d(x)と定義する。ここでg:R2→R2の一意写像である。上記の画像マッチング問題は数式５を満たす写像gを探す問題に帰着する。  
【数５】
2006227827.tif 000007
【００１６】
写像ｇによって決まる点をy=g(x)と定義する。y∈R2である。x=Vnであるからxは格子空間上の点nに一意に対応する。写像gは一意写像であるからyもxに一意に対応する。従ってyはnに一意に対応する。このことは図２で示される。つまりここで取り扱いたい空間は格子空間上の点nによって１対１に対応する変形格子空間である。
【００１７】
以上のようにy=g(x)=g(Vn)なので、nに１対１に対応することを分かりやすくするために、これをyn=g(x)と再定義する。すると画像マッチング問題の式５は数式６を満たすynを探す問題に帰着する。  
【数６】
2006227827.tif 000008
【００１８】
画像マッチング問題の数式６を解くためにここでは点ynに対してダイナミクスを導入する。つまり画像マッチング問題を点ynに関する動的システムを解く問題に帰着させる。点ynは周りの点との関係も考慮しつつ数式６を満たす状態に移動していき平衡状態に収束する。その平衡状態によって画像マッチングが完了したものとする。この状態は図３に示すように表される。
【００１９】
点yに対して新たな時間軸τ∈Rを導入し、関数yn(τ)を定義する。ここで初期値は数式７のように正方格子xと同一であるとする。  
【数７】
2006227827.tif 000009
【００２０】
新たな時間軸を導入したので時間に関する微分が数式８のように定義できる。  
【数８】
2006227827.tif 000010
【００２１】
通常ダイナミクスは以下のような常微分方程式９によって記述される。  
【数９】
2006227827.tif 000011
【００２２】
F∈R2は力の総和である。これは運動方程式とも呼ばれる。
【００２３】
次にyn(τ)にかかる力について考える。まずはダイナミクスを駆動させる力となるポテンシャルエネルギーによる力を考える。これはyn(τ)が数式６を満たす状態に移動するための力である。数式５を変形すると、数式１０となる。  
【数１０】
2006227827.tif 000012
【００２４】
通常、数式１０を厳密に満たす点を探すことは、画像に含まれるノイズ成分などにより困難である。そこで数式１１のようなエネルギー関数を考える。  
【数１１】
2006227827.tif 000013
【００２５】
このエネルギー関数Euが最小となる点を探すようにする。最急降下法の原理を用いれば、yn(τ)の周りでエネルギー関数Euの最急降下の方向に下っていくことによりローカルミニマムに行き着くことができる。従って、この最急降下の方向への勾配をyn(τ)に対する力として定義する。エネルギー関数Euは画像の相関とも考えられるので、この力を画像相関ポテンシャルエネルギーによる力Fuとする。
【００２６】
最急降下の方向への勾配を計算する方法は種々考えられるが、ここでは次のような方法を採用する。図４に示すように、最急降下方向への勾配は局所最適化によって直接求める。画像モデルScは連続の画像モデルだが、実際にはサンプリングされた画像モデルSpしか利用できない。そこで局所最適化もサンプリングされた画像モデルをベースに行う。図４に示すようにyn(τ)にもっとも近いサンプリング点を局所空間中心ycとしたいので、数式１２のように求める。  
【数１２】
2006227827.tif 000014
【００２７】
隣接空間を数式１３のように定義すると、局所探索空間Ωは数式１４のように定義できる。  
【数１３】
2006227827.tif 000015
【００２８】
【数１４】
2006227827.tif 000016
【００２９】
局所最適化をしてその方向へのベクトルを求め、それを正規化し、勾配の大きさをかけると、数式１５が得られる。この式が画像相関ポテンシャルエネルギーによる力（二乗誤差エネルギー）を示す。  
【数１５】
2006227827.tif 000017
【００３０】
実装上の扱い易さ等からエネルギー関数を数式１６と定義した数式１７の画像相関ポテンシャルエネルギーによる力（絶対値差分誤差エネルギー）を用いることもできる。  
【数１６】
2006227827.tif 000018
【００３１】
【数１７】
2006227827.tif 000019
【００３２】
次に、周辺の点との関係を記述する力について考える。マッチング対象の画像は３次元空間を２次元に投影したものだとする。３次元空間上のオブジェクトが剛体とすると、２次元画像では剛体のサーフェスがオブジェクトとして観測されることになる。３次元空間上のオブジェクトが対象画像と参照画像で観測されるとすると、このときそれぞれの画像上で観測されるオブジェクトの位相は保たれる確率が高い。図５に示すように、対象画像オブジェクト上の点xの位置関係は参照画像オブジェクト上の点yn(τ)でも保たれるはずである。この性質は点yn(τ)の間をバネで接続することによってシミュレーションできる。周辺との関係はバネの力Fkによって記述する。以下のように、まずは対象点周辺の格子点空間Nnを定義する。周囲４点であれば数式１８のようになる。  
【数１８】
2006227827.tif 000020
【００３３】
バネ定数（弾性常数）をkとすれば、点yn(τ)にかかるバネの復元力は数式１９で表されるバネ力（弾性力）となる。なお、弾性常数は画像相関エネルギーと弾性エネルギーのバランサーであり、弾性定数が大きければ変形がしにくくなり結果が安定する。しかし画像への適合性が悪くなる。弾性定数が小さければ変形がしやすくなるので画像の適合性が良くなる。ただし結果が柔軟になりすぎる。そこで、現在のところ、このパラメータは経験的に与えられる。挙動はこのパラメータの値にそれほど敏感ではではないので、基本的にはある一定値を固定的に与えられる。  
【数１９】
2006227827.tif 000021
【００３４】
周囲４点を接続すると、数式２０のような４点接続バネモデルとなる。  
【数２０】
2006227827.tif 000022
【００３５】
最後に保存されたエネルギーを散逸させる力について考える。yn(τ)にかかる力がFu, Fkのみではエネルギーが保存されてしまうために系が振動する定常状態となってしまう。そこで保存されているエネルギーを散逸させる力を導入する。これには摩擦力が利用できる。速度が一定と近似できる場合には摩擦力は数式２１で記述できる。  
【数２１】
2006227827.tif 000023
【００３６】
以上の力をまとめると運動方程式は数式２２のようになる。  
運動方程式
【数２２】
2006227827.tif 000024
【００３７】
画像相関ポテンシャルエネルギーによる力Fuが解析的には解けないため常微分方程式２２は解析的には解けない。従って、システムのτ→∞における極限を取ることは困難である。そこでシステムが収束するのに十分大きな時間Ｔを考え、数値解析によってt=(0,Τ)区間を計算することによってシステムの収束状態を推定する。
【００３８】
常微分方程式は初期値が決まれば、数値解析によって一意に解が求まる。一般には常微分方程式の初期値問題といわれるものである。この問題の数値解法は数多く存在するが、有名なものではオイラー法、ルンゲクッタ法、ブリルシュ・ストア法、予測子・修正子法、隠的ルンゲクッタ法などがある。ルンゲクッタ法がもっとも有名かつ使用頻度が高い。しかし式２２は画像のサイズ分の次元を持つため複雑な数値解法は適合しにくい。そこでここでは実現が最も簡単なオイラー法を応用することを考える。オイラー法は一階の常微分方程式に対する数値解法なので、まずは式２２を一階の常微分方程式に変換する。このとき、数式２３のように変数変換を行う。
【数２３】
2006227827.tif 000025
【００３９】
この変数変換を数式２２に代入し、数式２４を作る。  
変換された運動方程式
【数２４】
2006227827.tif 000026
【００４０】
常微分方程式２５に対するオイラー法のスキームは数式２６によって表される。  
【数２５】
2006227827.tif 000027
【００４１】
【数２６】
2006227827.tif 000028
【００４２】
これはt(n)からt(n+1)≡t(n)+hへと解を進展させるものである。ここでx(n)はnステップであることを示しており、hはステップ幅である。オイラー法のスキームを数式２４に適用すると、数式２７のオイラー法による更新式が得られる。
【数２７】
2006227827.tif 000029
【００４３】
以上、画像マッチングをアルゴリズムとしてまとめると以下のようになる。  
画像マッチングアルゴリズム：
【数２８】
2006227827.tif 000030
【００４４】
次に、画像マッチング２ステップについて説明する。  
図６に示すような通常の並進運動をするオブジェクトに対して画像マッチング１ステップを用いると図７に示すような写像が得られる。オブジェクトに対してマッチングがかかった写像が得られていることが分かる。それに対して図８に示すような輝度変化が生じている並進運動をするオブジェクトに対して画像マッチング１ステップを用いると図９に示すような歪んだ写像が生成される。これは画像マッチング問題を数式６のように定式化したことに起因する。この数式６は輝度が変化しないという仮定の下での定式化されている。輝度変化に対応するためには上記の画像マッチング問題を数式２８のように一般化画像マッチング問題として定義し直す必要がある。  
【数２９】
2006227827.tif 000031
【００４５】
これは画像の相関関数φを元にしたものであり、画像の輝度値が等しいとした数式６よりも一般化した表現である。相関関数φは画像の相関が高いほど高くなる確率として定義する。
【００４６】
輝度変化に対応可能な輝度変化にロバストな相関関数として相互相関が数式２９によって示すことができる。  
【数３０】
2006227827.tif 000032
【００４７】
ここでBは相互相関を計算する計算対象空間であり、この場合、点x,ynの周りに張られる局所ブロックなどを考える。相互相関は期待値を０としたときのs1とs2の共分散を正規化したもので、１のときに最大の正相関がある。分散ベースの相関関数であるため領域全体に輝度のオフセットなどがあっても正しい相関を計算できる。
【００４８】
また同様に輝度のオフセットに不変な統計量として定性的３値表現（Qualitative Trinary Representation(QTR)）があげられる。ＱＴＲは隣接画素との差分値の大小パターンを比較する手法であり、ノイズや輝度変化などにロバストな特徴を持っている。とくに輝度値のシフトに関しては不変であるという特徴がある。これは次式３０で表される。
【数３１】
2006227827.tif 000033
【００４９】
数式２８及び２９を元にした画像相関ポテンシャルエネルギーを考えてみる。数式２９をベースとしたエネルギー関数は数式３１のようになる。  
【数３２】
2006227827.tif 000034
【００５０】
ここでBは局所ブロックであり、数式３２などを用いることができる。  
【数３３】
2006227827.tif 000035
【００５１】
画像ステップ１と同様の手法を用いれば、画像相関ポテンシャルエネルギーによる力：相互相関モデルを表す数式３３の定式化が得られる。  
【数３４】
2006227827.tif 000036
【００５２】
相互相関は１を最大値とする確率密度関数であるから最小化問題ではなく最大化問題となっていることに注意を要する。
【００５３】
同様に、ＱＴＲを画像相関ポテンシャルエネルギーとして定式化すると次式３４のようになる。
【数３５】
2006227827.tif 000037
【００５４】
ここでＮは正規化係数である。  
画像相関ポテンシャルエネルギーによる力Fuとして数式３３の相互相関モデルを用い、それ以外は画像マッチング１ステップと同じ構成にしたものを画像マッチング２ステップとする。この画像マッチング２ステップによって輝度変化のある並進運動を図８に示し、マッチングを行った結果を図１０に示す。この図１０から歪み無くマッチングがかかっており、輝度変化に対してロバストであることが分かる。ただし、画像マッチング２ステップは輝度変化にはロバストであるがマッチング性能自体は画像マッチング１ステップには及ばない。そこで両者をハイブリッドした構成が必要となる。
【００５５】
次に、信頼度算出ステップについて説明する。
【００５６】
画像マッチング１ステップによる写像と画像マッチング２ステップによる写像を最適に合成したい。しかし、輝度変化に対応するためには輝度の差分値を使った信頼度などを使うことはできない。そこで別の信頼度が必要となる。
【００５７】
図１１に示すように、対象画像のオブジェクトに対して参照画像では光が当たって輝度が変化している場合を考える。このとき対象画像から参照画像と、参照画像から対象画像への双方向のマッチングを考えてみる。対象画像から参照画像へのマッチングでは、オブジェクトの光が当たることになる部分の点は周りの輝度が同じ点に向かってマッチングかかり、本来動きが生じていないはずの部分に動きが生じることになるだろう。それに対して参照画像から対象画像へのマッチングでは、光が当たっている部分の点は同じ輝度の点が対象画像のどこにも存在しないので、その場にとどまると考えられる。このように輝度の差分値をベースとしたマッチングでは輝度変化が生じた場合に双方向のマッチング結果が必ずしも一致しない。従って、双方向のマッチング結果の一致度を使って信頼度を定義できる。
【００５８】
双方向の写像の一致度を定式化するために、動きベクトルd(x,t;lΔt)と写像の定義から、対象画像から参照画像への写像はg(x,t;lΔt)であり、参照画像から対象画像への写像はg(x,t+lΔt;-lΔt)であるとする。図１２に示すように、対象画像上の点xは参照画像上の点g(x,t;lΔt)に写像され、参照画像上の点g(x,t;lΔt)は対象画像上の点g(g(x,t;lΔt),t+lΔt;-lΔt)に写像される。点xを写像すると、点g(g(x,t;lΔt),t+lΔt;-lΔt)になるので、双方向の写像が一致していれば、両点は一致するはずである。つまりベクトルg(g(x,t;lΔt),t+lΔt;-lΔt)-xによって一致度を表すことができる。
【００５９】
よって、ベクトルのノルムを用いればノルムを用いた信頼度は数式３５によって定義することができる。  
【数３６】
2006227827.tif 000038
【００６０】
囲まれる三角形の面積を用いると、信頼度は数式３６と定義することができる。
【数３７】
2006227827.tif 000039
【００６１】
ここでは画像マッチング１ステップと画像マッチング２ステップがあるので、それぞれの写像を数式３７、３８によって表すとすると、それぞれの信頼度を数式３９、４０と定義することができる。
【数３８】
2006227827.tif 000040
【００６２】
最後に結合ステップについて説明する。結合ステップでは画像マッチング１ステップによる写像と画像マッチング２ステップによる写像を結合する。この場合、信頼度算出ユニット１３により求められた信頼度を用いて結合をおこなう。例えば、信頼度p(x|g1(;t;lΔt),g1(;t+lΔt;-lΔt))とp(x|g2(;t;lΔt),g2(;t+lΔt;-lΔt))とを比較して信頼度が高い写像を点xの写像として選択するような方法が考えられる。
【００６３】
また、点xに対して二つの写像を定義しそれぞれの写像に信頼度p(x|g1(;t;lΔt),g1(;t+lΔt;-lΔt))とp(x|g2(;t;lΔt),g2(;t+lΔt;-lΔt))を付加しておく方法も考えられる。
【００６４】
本実施形態では上記のように対応点間の画像の色度空間距離または対応点間の画像の輝度値の差分によって生じる第１の画像相関ポテンシャルエネルギーを用いて対象画像及び参照画像について双方向に画像マッチング１を行い、対応点間の画像の輝度値の相互相関によって生じる第２の画像相関ポテンシャルエネルギーを用いて対象画像及び参照画像について双方向に画像マッチング２を行う構成を取ることにより対象オブジェクトに輝度変化が生じても高精度にマッチングが可能となる。
【００６５】
［第２の実施形態］階層構造
本実施形態を図１３のブロック図に従って説明する。本実施形態では対象画像と参照画像が入力されそれらの画像間の写像関係を求める。
【００６６】
第１の実施形態では、対象オブジェクトに輝度変化が生じても高精度にマッチング可能な画像マッチング技術を提供しているが、本実施形態では、大きな動きから小さな動きまでスケーラブルに対応可能とするためにピラミッド階層構造を導入する。以下に詳細に説明する。
【００６７】
まず、基本となる画像マッチング１ステップをピラミッド階層構造に拡張する。画像のピラミッド階層構造は図１４に示すようなもので、ここではオリジナルの画像をダウンサンプリングすることによって縮小した画像の階層構造と定義する。各階層のことをレイヤーと呼ぶ。最上位階層をレイヤー０とし、オリジナルの最下層をレイヤーMとする。簡単のため画像サイズを2M×2Mとし、ダウンサンプリングを縦横1/2にするオペレータとすると、画像サイズとレイヤー番号がリンクする。すなわちレイヤー0が20×20、オリジナルの最下層がレイヤーMが2M×2Mとなる。階層構造生成ステップがオリジナルの対象画像と参照画像からこれらの階層構造を生成する。階層型の連続画像モデルを数式４１により定義する。
【数３９】
2006227827.tif 000041
【００６８】
また、それをサンプリングした階層サンプリング画像モデルを数式４２により定義する。
【数４０】
2006227827.tif 000042
【００６９】
動きベクトルも階層化され、d(m)(x(m))となり、写像gも数式４３と定義される。
【数４１】
2006227827.tif 000043
【００７０】
【数４２】
2006227827.tif 000044
【００７１】
第１の実施形態の手法を適用すれば運動方程式は数式４６によって表される。
【数４３】
2006227827.tif 000045
【００７２】
それぞれの力、即ち画像相関ポテンシャルエネルギーによる力（二乗誤差エネルギー）は数式４７のようになる。
【数４４】
2006227827.tif 000046
【００７３】
バネの力は数式４８によって表される。  
【数４５】
2006227827.tif 000047
【００７４】
摩擦力は数式４９により表される。  
【数４６】
2006227827.tif 000048
【００７５】
以上のように画像モデルや各点の表現が階層モデルに置き換わっているだけであることが分かる。
【００７６】
運動方程式４４を解けばレイヤーmの写像g(m)が求まる。最下層レイヤーＭにおける写像g(M)を求めるためには、上位階層で求めた写像を下位階層に伝搬させる手段が必要である。例えば、数式５０のように写像g(m)に幾何変換を施してスケールを２倍にすることが考えられる。
【数４７】
2006227827.tif 000049
【００７７】
ここでは整数化オペレータを使って格子状の写像値を取得したが、バイリニア法などによって格子状の写像から中間値を補間してもよい。
【００７８】
階層型の画像マッチングアルゴリズムは後述する。
【００７９】
画像マッチング２ステップも同様に拡張する。即ち、画像相関ポテンシャルエネルギーによる力：相互相関モデルは数式５１によって定義される。
【数４８】
2006227827.tif 000050
【００８０】
図１３のブロック図に示すように、対象画像及び参照画像が入力される階層構造生成ユニット２１が設けられる。階層構造生成ユニット２１の出力は画像マッチングユニット２２，２３に接続される。画像マッチングユニット２２，２３は画像マッチング１，２をそれぞれ行う。画像マッチングユニット２１，２２の出力は信頼度算出ユニット２４に入力される。信頼度算出ユニット２４の出力は接合ユニット２５に入力されることにより、接合ユニット２５は信頼度算出ユニット２４の算出結果に応じて画像マッチングユニット２２，２３の写像を合成する。即ち、本実施形態では、各レイヤー毎に信頼度算出、写像結合をおこない、その結果を画像マッチング１ステップ、画像マッチング２ステップにフィードバックする。
【００８１】
レイヤーｍの信頼度算出ステップについて考える。ここでは画像マッチング１ステップと画像マッチング２ステップがあるので、それぞれの写像を数式５２，５３で表すとする。
【数４９】
2006227827.tif 000051
【００８２】
この場合、それぞれの信頼度は、順方向の場合、数式５４、５５によって定義できる。  
【数５０】
2006227827.tif 000052
【００８３】
逆方向の場合には、数式５６、５７によってそれぞれ定義できる。  
【数５１】
2006227827.tif 000053
【００８４】
結合ユニット２５での結合ステップでは、信頼度p(x(m)|g1(m)(;t;lΔt),g1(m)(;t+lΔt;-lΔt))とp(x(m)|g2(m)(;t;lΔt),g2(m)(;t+lΔt;-lΔt))を用いて、レイヤーmの順方向結合写像gj(m)(;t;lΔt)を求める。また信頼度p(x(m)|g1(m)(;t+lΔt;-lΔt),g1(m)(;t;lΔt))とp(x(m)|g2(m)(;t+lΔt;-Δt),g2(m)(;t; lΔt))を用いて、レイヤーmの逆方向結合写像gj(m)(;t+lΔt;-lΔt)を求める。結合には例えば信頼度の高いものを選択するなどの方法が使える。
【００８５】
階層型の画像マッチングアルゴリズムは以下のようになる。
【数５２】
2006227827.tif 000054
【００８６】
なお、画像マッチング１ステップ、画像マッチング２ステップの順方向マッチングの場合には順方向結合写像gj(m)(;t;lΔt)を結合ステップより取得し、逆方向マッチングの場合には逆方向結合写像gj(m)(;t+lΔt;-lΔt)を結合ステップより取得する。
【００８７】
以上のように本実施形態では輝度変化に対応でき大きな動きから小さな動きまでスケーラブルに対応可能となる。
【図面の簡単な説明】
【００８８】
【図１】本発明の第１の実施形態に従った画像マッチング方法を実行する画像マッチング装置のブロック図
【図２】各空間の繋がりを示す図
【図３】画像マッチング問題に対するダイナミクスを示す図
【図４】画像相関ポテンシャルエネルギーによる力を示す想定図
【図５】対象画像上のオブジェクトと参照画像のオブジェクトの位相が保たれている状態を示す図
【図６】通常の並進運動を示す図
【図７】画像マッチング１ステップによる写像を示す図
【図８】輝度変化のある並進運動を示す図
【図９】画像マッチング１ステップによる写像を示す図
【図１０】画像マッチング２ステップによる写像を示す図
【図１１】双方向によるマッチングを説明する図
【図１２】双方向写像関係を示す図
【図１３】第２の実施形態による画像マッチング方法を実行する画像マッチング装置のブロック図
【図１４】画像のピラミッド階層構造を示す図
【符号の説明】
【００８９】
１１、１２…画像マッチングユニット、１３…信頼度算出ユニット、１４…結合ユニット、２１…階層構造生成ユニット、２２，２３…画像マッチングユニット、２４…信頼度算出ユニット、２５…結合ユニット
【図１】
2006227827.tif 000055
【図２】
2006227827.tif 000056
【図３】
2006227827.tif 000057
【図４】
2006227827.tif 000058
【図５】
2006227827.tif 000059
【図６】
2006227827.tif 000060
【図７】
2006227827.tif 000061
【図８】
2006227827.tif 000062
【図９】
2006227827.tif 000063
【図１０】
2006227827.tif 000064
【図１１】
2006227827.tif 000065
【図１２】
2006227827.tif 000066
【図１３】
2006227827.tif 000067
【図１４】
2006227827.tif 000068