(57)【要約】【課題】時系列画像中における注目画像と参照画像との間のモーションを推定するための領域選択型レジストレーション方法であって、あらゆる形状を有する対象のレジストレーションに適用でき、照明変化やオクルージョンにロバストで且つ高精度な画像レジストレーションを行い得る画像レジストレーション方法を提供する。【解決手段】対象を撮影した時系列画像中の参照画像と注目画像との間に高精度なレジストレーションを行う画像レジストレーション方法であって、参照画像上の所定の領域を注目領域に設定し、レジストレーションを行う際に、設定された注目領域内で、平面射影変換によって正確にレジストレーションできる領域を表すマスク画像の画素に基づき、モーションパラメータを推定する。画像間の類似度評価を利用することによって、マスク画像を生成する。【選択図】図２
2007257287.tif 000002
【特許請求の範囲】
【請求項１】
対象を撮影した時系列画像中の参照画像と注目画像との間に高精度なレジストレーションを行う画像レジストレーション方法であって、
前記参照画像上の所定の領域を注目領域に設定し、
前記レジストレーションを行う際に、設定された前記注目領域内で、所定の変換によって正確にレジストレーションできる領域を表すマスク画像の画素に基づき、モーションパラメータを推定することを特徴とする画像レジストレーション方法。
【請求項２】
画像間の類似度評価を利用することによって、前記マスク画像を生成する請求項１に記載の画像レジストレーション方法。
【請求項３】
前記所定の変換は、平面射影変換、アフィン変換、スケール変換、回転変換、平行移動、又はこれらの組み合わせによる変換である請求項２に記載の画像レジストレーション方法。
【請求項４】
ＲＯＩは前記注目領域を表し、また、画像
2007257287.tif 000134
を、ある変換パラメータ
2007257287.tif 000135
で変形することで、画像
2007257287.tif 000136
におおよそレジストレーションできているとした場合に、次の数式が成立し、
2007257287.tif 000137
このとき、前記注目領域内の画素
2007257287.tif 000138
を中心とする小領域に対する、画像
2007257287.tif 000139
と前記画像
2007257287.tif 000140
の間のＳＳＤを、次のように定義し、
2007257287.tif 000141
ただし、
2007257287.tif 000142
は画像間の平行移動を表すベクトルであり、Patchは前記小領域を表し、
前記ＳＳＤが次の３つの条件を全て満たすときに、前記注目領域内の画素
2007257287.tif 000143
に対応する前記マスク画像の画素値を１とし、それ以外の場合には０とする請求項３に記載の画像レジストレーション方法。
条件１：
前記ＳＳＤは平行移動に関するサブピクセル位置ずれが０.５［画素］より小さいこと。
条件２：
前記ＳＳＤの最小値が十分に小さいこと。
条件３：
前記ＳＳＤの最小値を中心とするパラボラフィッティングをしたときの、水平方向と垂直方向に対する２次の係数のいずれかが閾値よりも大きいこと。
【請求項５】
前記レジストレーションは、
隣接フレーム間での変化のない画素を表すトラッキング用マスク画像を生成するとともに、隣接フレーム間のモーションパラメータを推定するという第１段階レジストレーションと、
前記第１段階レジストレーションで推定したモーションパラメータで変形した注目画像と参照画像との間に、参照画像によく対応する注目画像中の画素を表す誤差補正用マスク画像を生成し、生成した誤差補正用マスク画像を使って、参照画像に対する注目画像のモーションパラメータを推定し直すという第２段階レジストレーションと、
から構成される請求項４に記載の画像レジストレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像レジストレーション方法に関し、特に、時系列画像中における注目画像と参照画像との間のモーションを推定する画像レジストレーション方法に関する。
【背景技術】
【０００２】
画像レジストレーションとは、二枚の画像（即ち、参照画像と注目画像）を重ねた時、画像が一致する変換パラメータを推定することを意味し、つまり、注目画像と参照画像との間のモーションを推定することを意味する。
【０００３】
画像レジストレーション、即ち、注目画像と参照画像との間のモーション推定は、超解像処理、画像モザイキング、３次元再構成、ステレオビジョン、奥行き推定、画像計測やマシンビジョンなど、多くの画像処理において、最も基本的かつ重要な処理である（非特許文献１、非特許文献２を参照）。
【０００４】
画像レジストレーションを行うために、つまり、時系列画像中における注目画像と参照画像との間のモーションパラメータを推定するために、平面射影変換で近似されることが多い。レジストレーション対象（以下、単に、対象とも称する）の平面領域だけを注目領域（ＲＯＩ：Region  of  Interest）に設定できれば、正確なモーションパラメータを求めることができる。
【０００５】
しかし、注目領域内には平面（平面領域）だけが存在するとは限らないため、レジストレーション対象の実際のモーションは、平面射影変換モデルに基づいて推定されたモーションと、異なっていることが多い。しかも、照明変化やオクルージョンなどが原因で、モーションパラメータの推定に失敗することも多い。
【０００６】
このような問題に対して、従来、例えば、照明変化を表す基底画像を利用する手法（非特許文献３、非特許文献４を参照）、複数の領域に分割する手法（非特許文献５、非特許文献６を参照）、対象形状を２次曲面でモデリングする手法（非特許文献７を参照）、顔のような複雑な形状をモデリングする手法（非特許文献８を参照）、モーションセグメンテーションを利用する手法（非特許文献９、非特許文献１０を参照）、モーション分布をモデリングする手法（非特許文献１１を参照）、モーション推定に適切な領域を選択して利用する手法（非特許文献１２、非特許文献１３を参照）などの数多くの方法が提案されてきた。
【０００７】
そのうち、例えば、モーション推定に適切な領域を選択して利用する手法（以下、単に領域選択型手法とも呼ぶ）において、非特許文献１２に開示された方法では、空間方向に対する濃度勾配の大きさで重み付けした残差モーション（この残差モーションをノーマルフロー（normal  flow）とも呼ばれる）を求め、求めた残差モーションの大きさが小さい領域は、正確にレジストレーションができたと判断するようにしている。
【０００８】
しかし、このノーマルフローは、画像に含まれるノイズの影響を受けやすいため、正確にレジストレーションできた領域を抽出するためには、複数画像からの結果を重み付け平均する（非特許文献１２を参照）、確率モデルを利用する（非特許文献１４を参照）、などの後処理が必要であったという問題が存在する。
【０００９】
また、領域選択型手法に属する非特許文献１３に開示された方法では、推定したモーションで変形した画像と参照画像との間で、注目領域内における各画素の画素値の相違に基づき重みを小さくするようにしているため、対象の照明変化によっても重みが小さくなり、レジストレーションに失敗する可能性があるという問題がある。
【００１０】
ここで、平面射影変換を利用した従来の画像レジストレーション方法について説明する。つまり、画像レジストレーションを行う際に、画像間のモーションは、即ち、時系列画像中の入力画像（注目画像）と参照画像の間のモーションは、平面射影変換モデルを用いて推定される。
【００１１】
この平面射影変換モデルを表すパラメータ、即ち、参照画像に対する注目画像のモーションパラメータ（変換パラメータ）を推定するために、下記数１で表す目的関数を定義する。
【００１２】
【数１】
2007257287.tif 000003
ただし、
2007257287.tif 000004
は時系列画像中の入力画像を、
2007257287.tif 000005
は参照画像を、ＲＯＩは注目領域を、それぞれ表す。また、
2007257287.tif 000006
は同次座標系で表した画像上の位置を表す。
2007257287.tif 000007
は平面射影変換を表す８個のパラメータである。
2007257287.tif 000008
は、参照画像に対する注目画像のモーションを表し、即ち、平面射影変換を表す。
【００１３】
注目領域（ＲＯＩ）としては、任意の領域を用いることができるが、参照画像上での矩形領域を用いることが多い。上記数１の目的関数を最小化するときには、この注目領域ＲＯＩ内部の画素値を全て利用する。
【００１４】
上記数１を最小化する変換パラメータ
2007257287.tif 000009
を推定するためには、例えば、勾配法（非特許文献１５、非特許文献１６、非特許文献１７及び非特許文献１８を参照）、繰り返し計算を利用しない超平面交差法（非特許文献１９を参照）、非特許文献１９に開示された超平面交差法の高速化手法（非特許文献２０を参照）などの方法を利用することができる。
【００１５】
上述したような注目領域内の画素値をそのまま利用する領域ベース手法に属する従来の画像レジストレーション方法によって、剛体と考えられる対象を撮影した画像間のレジストレーションを行うときに、次のような要因で失敗する可能性がある。
【００１６】
つまり、領域ベース手法に属する従来の平面射影変換を利用した画像レジストレーション方法を用いて行ったレジストレーションの失敗要因は、次のようなものがある。
失敗要因その１：対象の形状
３次元空間内で任意に位置と方向を変えるカメラを用いて、平面を撮影したときに、平面射影変換モデルを用いて、画像間の変形を表すことができる。ここで、カメラのレンズ歪みは、無視できるほど小さいか、また、別途補正するものとする。対象の形状が平面でないときには、当然のことながら、対象の見え方の変化を平面射影変換モデルでは完全に表現できず、数１の目的関数の最小値が大きくなる。このため、正解モーションパラメータとは異なる極小位置に落ち込み、レジストレーションに失敗する可能性がある。
失敗要因その２：対象の表面反射特性
平面に対してカメラの位置と方向が変化すると、カメラが平面を見る角度やカメラと平面との距離も変化する。平面の表面反射特性が均等拡散であれば、平面を見る角度や距離によって平面の明るさは変化しない。しかし、実際には、平面の形状を有する対象が完全な均等拡散面であることは少ないため、対象（平面）に対するカメラの位置や方向によって、対象（平面）の輝度が変化する。従って、対象（平面）の輝度が変化すると、即ち、画像間の明るさが変化すると、数１の目的関数値も変化し、目的関数の最小値が大きくなり、レジストレーションに失敗する可能性がある。
失敗要因その３：対象までの距離変化
時系列画像に撮影された対象を順次にレジストレーションするときに、対象までの距離が変化すると、次のことが原因で、レジストレーションに失敗する可能性がある。
【００１７】
第１に、撮影カメラのレンズがピンホールレンズで近似できる場合、つまり、対象までの距離が変化しても常にピントが合っている時系列画像を撮影できる場合に、対象との距離が次第に大きくなるときに、このような問題が発生する。参照画像には対象が大きく撮影されているが、時間の経過とともに撮影された時系列画像（つまり、入力画像として使用される画像）上には対象が次第に小さくなる。参照画像上に設定した注目領域に対して、入力画像を変形してレジストレーションを行うためには、入力画像を拡大する必要がある。画像の拡大に伴い、画像は必ずぼける。結局、参照画像に対して入力画像のレジストレーションを行うことは、ぼけの異なる画像間でレジストレーションを行うことになり、最終的にレジストレーションに失敗する。
【００１８】
第２に、撮影カメラのレンズが薄肉レンズで近似できる場合、つまり、対象が一定の距離範囲に存在するときだけにピントが合っている時系列画像を撮影できる場合に、対象に対するピントの合い方が変化するときに、第１の原因で生じた問題と同様の問題が生じてしまう。
失敗要因その４：照明変化
上記数１の目的関数は、画像間の画素値の差の２乗和を表している。このため、もちろん画像間の形状の変化によって目的関数値が変化するが、画像の明るさの変化によっても目的関数値が変化する。照明変化によって対象の明るさが変化するが、対象の明るさの変化が画像上の位置によって異なるときには、レジストレーションにとってより大きな障害となる。
失敗要因その５：オクルージョン
注目領域内でレジストレーション対象（対象物体、つまり、対象）と他の物体とのオクルージョンがあると、レジストレーションにとって大きな障害となる。特に、対象物体を遮るように出現した他の物体表面におけるテクスチャの密度やコントラストが、対象表面のテクスチャよりも高いときには、数１の目的関数を最小化するモーションパラメータ
2007257287.tif 000010
が、他の物体の位置の影響を強く受け、対象の位置や姿勢とは異なるレジストレーション結果になる可能性がある。また、対象の形状と光源位置によっては対象自身の影が生じ、その影が変化することがあるが、この影は対象の明るさの変化として、レジストレーション結果に影響するという問題もある。
【非特許文献１】エル.  ジー.  ブラウン（L.  G.  Brown）著,「アー  サーベイ  オフ  レジストレーション  テクニック（A  Survey  of  Image  Registration  Techniques）」,ＡＣＭ  コンピューティング  サーベイズ（ACM  Computing  Surveys）,1992年12月,第24巻,第4号,p.325-376
【非特許文献２】ビー.  ジトバ（B.  Zitova）、ジェイ.  フラッシャー（J.  Flusser）共著,「イメージ  レジストレーション  メソッド：  アー  サーベイ（Image  Registration  Methods:  A  Survey）」,イメージ  アンド  ビジョン  コンピューティング（Image  and  Vision  Computing）,2003年10月,第21巻,第11号,p.977-1000
【非特許文献３】エム.  ブラック（M.  Black）、エイ.  ジェプソン（A.  Jepson）共著,「アイゲンートラッキング：  ロバスト  マッチング  アンド  トラッキング  オフ  アーティキュレイテッド  オブジェクト  ユージング  ビューーベースド  リプリゼンテーション（Eigen-Tracking:Robust  Matching  and  Tracking  of  Articulated  Objects  using  a  View-Based  Representation）」,インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（International  Journal  of  Computer  Vision）,1998年,第26巻,第1号,p.63-84
【非特許文献４】ジー.  デー.  ハーガー（G.  D.  Hager）、ピー.  エヌ.  ベルヒュムール（P.  N.  Belhumeur）共著,「エフィシャント  リージョン  トラッキング  ウィズ  パラメトリック  モデルズ  オフ  ジオメトリー  アンド  イルミネーション（Efficient  Region  Tracking  with  Parametric  Models  of  Geometry  and  Illumination）」,ＩＥＥＥ  トランス.  オン  パターン  アナリシス  アンド  マシーン  インテリジェンス（IEEE  Trans.  On  Pattern  Analysis  and  Machine  Intelligence）,1998年10月,第20巻,第10号,p.1025-1039
【非特許文献５】ティー.  イシカワ（T.  Ishikawa）、アイ.  マシューズ（I.  Matthews）、エス.  ベイカー（S.  Baker）共著,「エフィシャント  イメージ  アライメント  ウィズ  アウトライアー  リジェクション（Efficient  Image  Alignment  with  Outlier  Rejection）」,テク  レポート  ＣＭＵ−ＲＩ−ＴＲ−０２−２７（Tech.  Report  CMU-RI-TR-02-27）,ロボティクス  インスティチュート（Robotics  Institute）,カーネギー  メロン  ユニバーシティー（Carnegie  Mellon  University）,2002年10月
【非特許文献６】エフ.  ジュリュー（F.  Jurie）、エム.  ドーム（M.  Dhome）共著,「リアル  タイム  ロバスト  テンプレート  マッチング（Real  Time  Robust  Template  Matching）」、イン  プロック  オフ  ブリティッシュ  マシーン  ビジョン  カンファレンス（In  Proc.  Of  British  Machine  Vision  Conference）,2002年9月,p.123-132
【非特許文献７】エイ.  シャシュア（A.  Shashua）、ワイ.  ウェクスラー（Y.  Wexler）共著,「Ｑーワーピング：  ダイレクト  コンピューテーション  オフ  クォードラティック  リファレンス  サーフィス（Q-Warping:  Direct  Computation  of  Quadratic  Reference  Surfaces）」,ＩＥＥＥ  トランス.  オン  パターン  アナリシス  アンド  マシーン  インテリジェンス（IEEE  Trans.  On  Pattern  Analysis  and  Machine  Intelligence）,2001年8月,第23巻,第8号,p.920-925
【非特許文献８】ティー.  エフ.  クーツ（T.  F.  Cootes）、ジェイ.  エドワーズ（J.  Edwards）、シー.  ジェイ.  テーラ（C.  J.  Taylor）共著,「アクティブ  アピアランス  モデルズ（Active  Appearance  Models）」、ＩＥＥＥ  トランス.  オン  パターン  アナリシス  アンド  マシーン  インテリジェンス（IEEE  Trans.  On  Pattern  Analysis  and  Machine  Intelligence）,2001年6月,第23巻,第6号,p.681-685
【非特許文献９】ピー.  ブースマイ（P.  Bouthemy）、イー.  フランコイス（E.  Francois）共著,「モーション  セグメンテーション  アンド  クォリテイティブ  ダイナミック  シーン  アナリシス  フロム  イメージ  シーケンス（Motion  Segmentation  and  Qualitative  Dynamic  Scene  Analysis  from  an  Image  Sequence）」,インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（International  Journal  of  Computer  Vision,）,1993年,第10巻,第2号,p.157-182
【非特許文献１０】アイ.  パトラス（I.  Patras）、イー.  エイ.  ヘンドリクス（E.  A.  Hendriks）、アール.  エル.  ラジェンダイク（R.  L.  Lagendijk）共著,「アン  インターレイティブ  モーション  エスティメイションーセグメンテーション  メソッド  ユージング  ウォーターシェッド  セグメンツ（An  Iterative  Motion  Estimation-Segmentation  Method  using  Watershed  Segments）」,イン  プロック  インターナショナル  カンファレンス  オン  イメージ  プロセッシング（In  Proc.  Of  IEEE  International  Conference  on  Image  Processing）,1998年10月,第2巻,p.642-646
【非特許文献１１】エム.  エム.  チャン（M.  M.  Chang）、エイ.  エム.  テカルプ（A.  M.  Tekalp）、エム.  アイ.  セザン（M.  I.  Sezan）共著,「サイマルテイニアス  モーション  エスティメーション  アンド  セグメンテーション（Simultaneous  Motion  Estimation  and  Segmentation）」,ＩＥＥＥ  トランス.  オン  イメージ  プロセッシング（IEEE  Trans.  On  Image  Processing）,1997年9月,第6巻,第9号,p.1326-1333
【非特許文献１２】エム.  イラニ（M.  Irani）、ビー.  ルーソス（B.  Rousso）、エス.  ペレグ（S.  Peleg）共著,「コンピューティング  オキュリューディング  アンド  トランスペアレント  モーション（Computing  Occluding  and  Transparent  Motions）」,インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（International  Journal  of  Computer  Vision）,1994年2月,第12巻,第1号
【非特許文献１３】深尾隆則・金出武雄共著,「オクルージョンに対してロバストな２段階特徴点追従アルゴリズム」,情報処理学会,2003年11月,CVIM-141,p.111-118
【非特許文献１４】アール.  ファブレット（R.  Fablet）、ピー.  ブースマイ（P.  Bouthemy）共著,「モーション  レコグニション  ユージング  ノンパラメトリック  イメージ  モーション  モデルズ  エスティメーティド  フロム  テンポラル  アンド  マルチスケール  コーオカレンス  スタスティクス（Motion  Recognition  Using  Nonparametric  Image  Motion  Models  Estimated  from  Temporal  and  Multiscale  Co-Occurrence  Statistics）」,ＩＥＥＥ  トランス.  オン  パターン  アナリシス  アンド  マシーン  インテリジェンス（IEEE  Trans.  On  Pattern  Analysis  and  Machine  Intelligence）,2003年12月,第25巻,第12号
【非特許文献１５】エス.  バーカー（S.  Baker）、アイ.  マシューズ（I.  Matthews）共著,「ルーカスーカナデ  ２０  イアーズ  オン：  アー  ユニファイング  フレームワーク（Lucas-Kanade  20  Years  On:  A  Unifying  Framework）」,インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（International  Journal  of  Computer  Vision）,2004年3月,第56巻,第3号,p.221-255
【非特許文献１６】エム.  レイシェール（M.  Gleicher）著,「プロジェクティブ  レジストレーション  ウィズ  ディファレンス  デコンポジション（Projective  Registration  with  Difference  Decomposition）」、プロック  オフ  ＩＥＥＥ  インターナショナル  カンファレンス  オン  コンピュータ  ビジョン  アンド  パターン  レコグニション（Proc.  Of  IEEE  International  Conference  on  Computer  Vision  and  Pattern  Recognition）,サンファン，  アメリカ自治領プエルト  リコ（San  Juan,  Puerto  Rico）,1997年6月,p.331-337
【非特許文献１７】ビー.  ルーカス（B.  Lucas）、ティー.  カナデ（T.  Kanade）共著,「アン  イタレーティブ  イメージ  レジストレーション  テクニック  ウィズ  アン  アプリケーション  トゥー  ステレオ  ビジョン（An  Iterative  Image  Registration  Technique  with  an  Application  to  Stereo  Vision）」,プロック  オフ  インターナショナル  ジョイント  カンファレンス  オン  アーティフィシャル  インテリジェンス（Proc.  Of  International  Joint  Conference  on  Artificial  Intelligence）,バンクーバ  カナダ（Vancouver,  Canada）,1981年4月,p.674-679
【非特許文献１８】エイチ.  ワイ.  シューム（H.  Y.  Shum）、アール．  セーリスキー（R.  Szeliski）共著,「コンストラクション  オフ  パノラミック  モザイク  ウィズ  グローバル  アンド  ローカル  アライメント（Construction  of  Panoramic  Mosaics  with  Global  and  Local  Alignment）」,インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（International  Journal  of  Computer  Vision）,2002年7月,第48巻,第2号,p.151-152
【非特許文献１９】エム.  シミズ（M.  Shimizu）、エム.  オクトミ（M.  Okutomi）共著,「マルチーパラメータ  シミュレーション  エスティメーション  オン  エリアーベースド  マッチング（Multi-Parameter  Simultaneous  Estimation  on  Area-Based  Matching）」,インターナショナル  ジャーナル  オフ  コンピュータ  ビジョン（International  of  Computer  Vision）、2006年
【非特許文献２０】張馴槿・清水雅夫・奥富正敏共著,「画像のレジストレーションにおける超平面交差法の高速化手法」,電子情報通信学会論文誌,2006年2月,第J89-D巻,第2号,p.332-343
【非特許文献２１】ティー.  カナデ（T.  Kanade）、エム.  オクトミ（M.  Okutomi）共著,「アー  ステレオ  マッチング  アルゴリズム  ウィズ  アン  アダプティブ  ウィンドウ：  シオリー  アンド  エクスペリメント（A  Stereo  Matching  Algorithm  with  an  Adaptive  Window:  Theory  and  Experiment）」,ＩＥＥＥ  トランス．  オン  パターン  アナリシス  アンド  マシーン  インテリジェンス（IEEE  Trans.  On  Pattern  Analysis  and  Machine  Intelligence）,1994年9月,第16巻,第9号,p.920-932
【非特許文献２２】エム.  オクトミ（M.  Okutomi）、ティー.  カナデ（T.  Kanade）共著,「アー  マルチプル  ベースライン  ステレオ（A  Multiple  Baseline  Stereo）」,ＩＥＥＥ  トランス.  オン  パターン  アナリシス  アンド  マシーン  インテリジェンス（IEEE  Trans.  On  Pattern  Analysis  and  Machine  Intelligence）,1993年4月,第15巻,第4号,p.353-363
【非特許文献２３】ジェイ.  アール.  ベルゲン（J.  R.  Bergen）、ピー.  アナンダン（P.  Anandan）、ケイ.ジェイ.  ハンナ（K.  J.  Hanna）、アール.  ヒンゴラニー（R.  Hingorani）共著,「ハイエラーチカル  モデルーベースド  モーション  エスティメーション（Hierarchical  Model-Based  Motion  Estimation）」,イン  プロック  オフ  ヨーロピアン  カンファレンス  オン  コンピュータ  ビジョン（In  Proc.  Of  European  Conference  on  Computer  Vision）,イタリア共和国,サンタ  マルゲリータ  リギュエール（Santa  Margherita  Liguere）,1992年,p.237-252
【発明の開示】
【発明が解決しようとする課題】
【００１９】
従来、上述したようなレジストレーション失敗要因に対する対策として、多くの工夫が成されてきた。主な対策として、次に示すようなものがある。
対策その１：画像のエッジ情報を使う
具体的に、例えば、画像のラプラシアンやＬｏＧ（Laplacian  of  Gaussian）を使うことによって、対象の明るさの変化の影響を低減することができる。また、対象のぼやけ方の変化をもある程度吸収することができる。しかし、この対策は、平面以外の対象形状やオクルージョンに対応できないという問題点がある。
対策その２：画素値を正規化する
注目領域内の画素値を正規化してから、数１の目的関数を最小化することによって、対象の明るさの変化の影響を低減することができる。モーションが平行移動に限定されているときには、正規化相互相関を利用すればよい。モーションが平面射影変換のときにも、正規化相互相関を利用できる手法も提案されている（非特許文献１９及び非特許文献２０を参照）。しかし、この対策も平面以外の対象形状やオクルージョンに対応できないという問題点がある。
対策その３：隣接フレーム間モーションの積算を使う
この対策は、時間的に近接した隣接フレーム間では、対象の見え方の変化が小さいことを利用する。具体的に、まず、隣接フレーム間モーションパラメータ
2007257287.tif 000011
を逐次に求める。そして、参照画像に対する平面射影変換
2007257287.tif 000012
を隣接フレーム間の平面射影変換の積
2007257287.tif 000013
として求める。しかし、この対策は、次第にレジストレーション誤差が蓄積して位置がずれてしまう問題がある。
対策その４：参照画像を更新する
数１の最小値などの指標を用いて、入力画像が参照画像から大きく変化してしまう前に、参照画像を更新するという対策を利用する。しかし、対策その３（つまり、隣接フレーム間モーションの積算を使う手法）ほどではないが、この対策も、次第にレジストレーション誤差が蓄積して位置がずれてしまう問題がある。
本発明は、上述のような事情から成されたものであり、本発明の目的は、時系列画像中における注目画像と参照画像との間のモーションを推定するための領域選択型レジストレーション方法であって、あらゆる形状を有する対象のレジストレーションに適用でき、照明変化やオクルージョンにロバストで且つ高精度な画像レジストレーションを行い得る画像レジストレーション方法を提供することにある。
【課題を解決するための手段】
【００２０】
本発明は、対象を撮影した時系列画像中の参照画像と注目画像との間に高精度なレジストレーションを行う画像レジストレーション方法に関し、本発明の上記目的は、前記参照画像上の所定の領域を注目領域に設定し、前記レジストレーションを行う際に、設定された前記注目領域内で、所定の変換によって正確にレジストレーションできる領域を表すマスク画像の画素に基づき、モーションパラメータを推定することにより、或いは、画像間の類似度評価を利用することによって、前記マスク画像を生成することにより、或いは、前記所定の変換として、平面射影変換、アフィン変換、スケール変換、回転変換、平行移動、又はこれらの組み合わせによる変換を用いることによって達成される。
【００２１】
また、本発明の上記目的は、ＲＯＩは前記注目領域を表し、また、画像
2007257287.tif 000014
を、ある変換パラメータ
2007257287.tif 000015
で変形することで、画像
2007257287.tif 000016
におおよそレジストレーションできているとした場合に、次の数式が成立し、
2007257287.tif 000017
このとき、前記注目領域内の画素
2007257287.tif 000018
を中心とする小領域に対する、画像
2007257287.tif 000019
と前記画像
2007257287.tif 000020
の間のＳＳＤを、次のように定義し、
2007257287.tif 000021
ただし、
2007257287.tif 000022
は画像間の平行移動を表すベクトルであり、Patchは前記小領域を表し、前記ＳＳＤが次の３つの条件を全て満たすときに、前記注目領域内の画素
2007257287.tif 000023
に対応する前記マスク画像の画素値を１とし、それ以外の場合には０とすることによって、より効果的に達成される。
条件１：
前記ＳＳＤは平行移動に関するサブピクセル位置ずれが０.５［画素］より小さいこと。
条件２：
前記ＳＳＤの最小値が十分に小さいこと。
条件３：
前記ＳＳＤの最小値を中心とするパラボラフィッティングをしたときの、水平方向と垂直方向に対する２次の係数のいずれかが閾値よりも大きいこと。
【００２２】
更に、本発明の上記目的は、前記レジストレーションを、隣接フレーム間での変化のない画素を表すトラッキング用マスク画像を生成するとともに、隣接フレーム間のモーションパラメータを推定するという第１段階レジストレーションと、前記第１段階レジストレーションで推定したモーションパラメータで変形した注目画像と参照画像との間に、参照画像によく対応する注目画像中の画素を表す誤差補正用マスク画像を生成し、生成した誤差補正用マスク画像を使って、参照画像に対する注目画像のモーションパラメータを推定し直すという第２段階レジストレーションとで構成することによってより効果的に達成される。
【発明の効果】
【００２３】
本発明に係る画像レジストレーション方法は、平面射影変換モデルで高精度に近似できる領域を表すマスク画像を使った、領域選択型画像レジストレーション方法である。
【００２４】
本発明に係る画像レジストレーション方法では、変換パラメータ（モーションパラメータ）を推定するときに、平面射影変換によって正確にレジストレーションされている領域を表すマスク画像を利用することを特徴としている。
【００２５】
実際に、本発明に係る画像レジストレーション方法を用いてレジストレーションを行う際に、照明変化やオクルージョンなどにロバストなレジストレーションを実現するために、トラッキング用マスク画像を生成するとともに、隣接フレーム間モーションを基にしたレジストレーションを行う第１段階レジストレーションと、第１段階レジストレーションで推定したモーションパラメータに含まれる積算誤差を補償するために、つまり、高精度なレジストレーションを実現するために、第１段階レジストレーションで推定したモーションパラメータで変形した注目フレーム（注目画像）と参照フレーム（参照画像）との間で、再度モーションパラメータを推定し、同時にそれに対する誤差補正用マスク画像を生成する第２段階レジストレーションとを行うことが大きな特徴である。
【００２６】
上述した特徴を有する本発明の画像レジストレーション方法によれば、注目画像と参照画像の間のレジストレーションは、このような２段階のレジストレーションを行うことによって行われるので、平面の対象だけでなく、あらゆる形状を有する対象に対して、照明変化やオクルージョンにロバストで且つ高精度な画像レジストレーションを実現することができるといった本発明独自な優れた効果を奏する。
【発明を実施するための最良の形態】
【００２７】
一般的に、画像レジストレーション方法（以下、単に、モーション推定方法とも称する）は、特徴ベース方法と領域ベース方法とに大きく分類することができる。
【００２８】
本発明の画像レジストレーション方法は、領域ベース方法に属し、平面形状の対象に限らず、あらゆる形状を有する対象のレジストレーションに適用でき、照明変化やオクルージョンにロバストで且つ高精度な画像レジストレーションを行うことができる画像レジストレーション方法である。
【００２９】
つまり、本発明は、平面射影変換モデルで高精度に近似できる領域を表すマスク画像を使った、領域選択型画像レジストレーション方法である。本発明の画像レジストレーション方法は、２段階で画像レジストレーションを行うようにしているので、以下、本発明の画像レジストレーション方法を、単に領域選択２段階レジストレーション方法とも称する。
【００３０】
本発明の第１段階においては、照明変化やオクルージョンなどにロバストなレジストレーションを実現するために、隣接フレーム間のモーションを基にしたレジストレーションを行う。このとき、マスク画像（以下、このマスク画像をトラッキング用マスク画像）を同時に利用する。また、注目領域の形状を一定にするために、推定したモーションパラメータを使って、注目フレーム（以下、単に注目画像とも呼ぶ）を参照フレーム（以下、単に参照画像とも呼ぶ）に合わせて変形した上で、モーション推定を行う。
【００３１】
そして、本発明の第２段階においては、第１段階で推定したモーションパラメータに含まれる積算誤差を補償するために、つまり、高精度なレジストレーションを実現するために、第１段階で推定したモーションパラメータで変形した注目フレームと、参照フレームとの間で、再度モーションパラメータを推定し、同時にそれに対するマスク画像（以下、このマスク画像を誤差補正用マスク画像と称する）を生成する。
【００３２】
本発明の画像レジストレーション方法では、このような２段階レジストレーションを行うことによって、あらゆる形状を有する対象のレジストレーションに適用でき、照明変化やオクルージョンにロバストでしかも高精度な画像レジストレーションを実現することを可能にした。
【００３３】
背景技術で既に述べたように、従来の領域ベース方法を使ったレジストレーションを失敗させる原因として、注目領域内の画素値を全て同等に利用している点であった。
【００３４】
本発明では、従来の領域ベース方法のように注目領域内の画素値を全て同等に利用することをせず、注目領域内で、参照画像に対する形状や明るさが変化していない画素だけ（つまり、平面射影変換によって正確にレジストレーションできる領域を表すマスク画像の画素）を使ってモーションパラメータを推定するようにすれば、このような形状や明るさの変化に対する影響を原理的に受けないことを着眼点とした。
【００３５】
また、本発明では、領域選択とモーションパラメータ推定とを繰り返し交互に行うことで、高精度な画像レジストレーションを実現するようにしている。
【００３６】
実際に、本発明の画像レジストレーション方法を用いて、参照画像に対して入力画像のレジストレーションを行うときに、次の２つの段階に沿って行う。
【００３７】
第１段階とは、時刻ｔにおけるマスク画像
2007257287.tif 000024
と、マスク画像
2007257287.tif 000025
を使った隣接フレーム間の変換パラメータ
2007257287.tif 000026
とを繰り返し計算で同時に推定する段階である。
【００３８】
第２段階とは、平面射影変換
2007257287.tif 000027
で変換した入力画像と、参照画像との間で、時刻ｔにおけるマスク画像
2007257287.tif 000028
を求め、求めた
2007257287.tif 000029
を使って参照画像に対する入力画像の変換パラメータ
2007257287.tif 000030
を推定し直す段階である。
【００３９】
上述したように、本発明の画像レジストレーション方法では、
2007257287.tif 000031
の２種類のマスク画像を利用している。マスク画像
2007257287.tif 000032
は、隣接フレーム間での変化のない画素を表し、以降、トラッキング用マスク画像とも呼ぶ。また、マスク画像
2007257287.tif 000033
は、参照画像によく対応する入力画像中の画素を表し、以降、誤差補正用マスク画像とも呼ぶ。なお、トラッキング用マスク画像も誤差補正用マスク画像も、注目領域と同様に、参照画像上の座標系で表す。
【００４０】
以下、本発明の画像レジストレーション方法について、図を参照しながらより詳細に説明する。
＜１＞マスク画像の生成方法
図１（Ａ）に示すように、画像
2007257287.tif 000034
を、ある変換パラメータ
2007257287.tif 000035
で変形することで、画像
2007257287.tif 000036
におおよそレジストレーションできているとする。
【００４１】
【数２】
2007257287.tif 000037
このとき、注目領域（ＲＯＩ）内の画素
2007257287.tif 000038
を中心とする小領域（Patch）に対する、画像
2007257287.tif 000039
の間のＳＳＤ（Sum  of  Squared  Difference）を、下記数３のように定義する。
【００４２】
【数３】
2007257287.tif 000040
ただし、
2007257287.tif 000041
は画像間の平行移動を表すベクトルである。
【００４３】
次の３つの条件を全て満たすときに、注目領域内の位置
2007257287.tif 000042
、即ち、画素
2007257287.tif 000043
に対応する２値のトラッキング用マスク画像
2007257287.tif 000044
を１とし、それ以外の場合には０とする。また、誤差補正用マスク画像
2007257287.tif 000045
の場合も、トラッキング用マスク画像
2007257287.tif 000046
と同様にする。
条件１：
平行移動に関するサブピクセル位置ずれが０.５［画素］より小さいこと（図１（Ｂ）及び図１（Ｃ）を参照）。図１（Ｂ）はＳＳＤサンプルを示し、図１（Ｃ）はＳＳＤサンプルに２次曲線をフィッティング（parabola  fitting）したときの様子を示す。条件１を数式で表すと、下記数４になる。
【００４４】
【数４】
2007257287.tif 000047
条件２：
誤対応ではないこと。即ち、ＳＳＤの最小値
2007257287.tif 000048
が十分に小さいこと（非特許文献２１、非特許文献２２を参照）。条件２を数式で表すと、下記数５になる。
【００４５】
【数５】
2007257287.tif 000049
ただし、Ｓは小領域（Patch）の面積で、
2007257287.tif 000050
は画像に含まれる正規白色雑音の分散で、
2007257287.tif 000051
は調整パラメータである。ちなみに、後述する本発明を用いて行った実験では、Ｓは９［画素］×９［画素］である小領域（Patch）を使った。また、
2007257287.tif 000052
というパラメータは、撮影に使用するカメラやゲインなどの設定ごとに異なり、例えば、PointGrey社製DragonFly（単板カラーVGAカメラ）を使用する場合に、σｎ＝３.５とし、SONY社製VX2000を使用する場合に、σｎ＝４.５とした。
条件３：
テクスチャがあること。即ち、ＳＳＤ最小値を中心とするパラボラフィッティングをしたときの、水平方向と垂直方向に対する２次の係数（Ｒ（）の記述を省略する。Ｒ（−１）、Ｒ（０）、Ｒ（１）に
2007257287.tif 000053
をフィッティングすると、
2007257287.tif 000054
のいずれかが閾値よりも大きい。条件３を数式で表すと、下記数６になる。
【００４６】
【数６】
2007257287.tif 000055
ただし、
2007257287.tif 000056
は、実験を通して決定した調整パラメータである。
＜２＞第１段階レジストレーション
第１段階レジストレーション（以下、単に、ロバストレジストレーションとも呼ぶ）の目的は、できるだけ長時間にわたって対象のトラッキングを継続することである。
【００４７】
図２に示すように、第１段階レジストレーションでは、隣接フレーム間の平面射影変換
2007257287.tif 000057
と、前時刻ｔ−１で既に求まっている参照画像に対する平面射影変換
2007257287.tif 000058
との積として、時刻ｔの入力画像に対する変換パラメータを求める。
【００４８】
隣接フレーム間では画像の変化が少ないので、第１段階レジストレーションが大きく失敗することはない。このため、対象の明るさや形状が参照画像に対して次第に変化しても、ロバストなレジストレーションを行うことができる。
【００４９】
要するに、第１段階レジストレーションでは、下記数７で表す目的関数を最小化するモーションパラメータ
2007257287.tif 000059
とトラッキング用マスク画像
2007257287.tif 000060
を求める。
【００５０】
【数７】
2007257287.tif 000061
ただし、
2007257287.tif 000062
は前フレームに対して既に求まっているモーションパラメータで、つまり、参照フレーム（参照画像）に対するｔ−１番目フレーム（時刻ｔ−１の入力画像）のモーションパラメータである。
2007257287.tif 000063
は隣接フレーム間モーションパラメータで、つまり、ｔ番目フレーム（時刻ｔの入力画像）とｔ−１番目フレーム（時刻ｔ−１の入力画像）の間のモーションパラメータである。
2007257287.tif 000064
は、それぞれ時刻ｔおよび時刻ｔ−１の入力画像である。
【００５１】
トラッキング用マスク画像
2007257287.tif 000065
が参照画像上に定義されているため、既に求まったモーションパラメータを用いて、入力画像を参照画像に合わせるように変形した上で、隣接フレーム間モーションパラメータを求める。
【００５２】
具体的に、隣接フレーム間モーションパラメータとトラッキング用マスク画像を、ステップ１からステップ４までの手順で、繰り返し交互に求める。
ステップ１：
繰り返し回数を表すインデックスｉを初期化し、つまり、ｉ＝０とする。時刻ｔ−１で既に求まっているトラッキング用マスク画像
2007257287.tif 000066
を、時刻ｔの初期マスク画像
2007257287.tif 000067
とする。
ステップ２：
トラッキング用マスク画像
2007257287.tif 000068
を使って、数７を最小化する隣接フレーム間モーションパラメータ
2007257287.tif 000069
を求める。
ステップ３：
まず、ステップ２で求めた隣接フレーム間モーションパラメータ
2007257287.tif 000070
を使って、平面射影変換した画像
2007257287.tif 000071
を生成する。そして、生成した画像
2007257287.tif 000072
と画像
2007257287.tif 000073
との間で、前記＜１＞で述べたマスク画像の生成方法を用いて、トラッキング用マスク画像
2007257287.tif 000074
を生成する。
ステップ４：
隣接フレーム間モーションパラメータの変化が一定値以下になったか否かを判断する。隣接フレーム間モーションパラメータの変化が一定値以下になった場合に、隣接フレーム間モーションパラメータが収束したと判断し、隣接フレーム間モーションパラメータとして
2007257287.tif 000075
を出力し、第１段階レジストレーション処理を終了する。一方、隣接フレーム間モーションパラメータの変化が一定値以下になっていない場合には、即ち、
2007257287.tif 000076
（Ｔｈはステップ４で言う一定値を表す）のときには、隣接フレーム間モーションパラメータがまだ収束していないと判断し、ｉ←ｉ＋１としてから、ステップ２に戻る。
＜３＞第２段階レジストレーション
第２段階レジストレーション（以下、単に、積算誤差補正レジストレーションとも呼ぶ）の目的は、第１段階レジストレーションで生じたレジストレーション誤差を補正することである。
【００５３】
図３に示すように、第２段階レジストレーションでは、第１段階レジストレーションで求めた画像
2007257287.tif 000077
、つまり、平面射影変換
2007257287.tif 000078
で変換した時刻ｔの入力画像と参照画像との間で、時刻ｔにおける誤差補正用マスク画像
2007257287.tif 000079
を求め、求めた
2007257287.tif 000080
を使って、参照画像に対する時刻ｔの入力画像のモーションパラメータ
2007257287.tif 000081
を推定し直すことにより、レジストレーション誤差を補正する。
【００５４】
トラッキング用マスク画像
2007257287.tif 000082
は、隣接フレーム間でのレジストレーションに利用できる画素を表している。隣接フレーム間の変化は一般に小さいので、トラッキング用マスク画像
2007257287.tif 000083
の面積はあまり小さくなることはない。これに対して、参照画像に対して入力画像が次第に変化すると、誤差補正用マスク画像
2007257287.tif 000084
の面積は次第に小さくなる。
【００５５】
第２段階レジストレーションでは、誤差補正用マスク画像
2007257287.tif 000085
の領域を使うので、安定な結果を得るためには、誤差補正用マスク画像
2007257287.tif 000086
の領域がある程度以上に大きい必要がある。従って、誤差補正用マスク画像
2007257287.tif 000087
の領域が小さいとき（つまり、誤差補正用マスク画像
2007257287.tif 000088
の面積が所定の閾値未満の場合）には、第２段階レジストレーションを行わずに、第１段階レジストレーションで求めたモーションパラメータをそのまま使用する。
【００５６】
要するに、第２段階レジストレーションでは、下記数８で表す目的関数を最小化するモーションパラメータ
2007257287.tif 000089
と誤差補正用マスク画像
2007257287.tif 000090
を求める。
【００５７】
【数８】
2007257287.tif 000091
ただし、平面射影変換
2007257287.tif 000092
の初期値
2007257287.tif 000093
として、第１段階レジストレーションで求めた平面射影変換
2007257287.tif 000094
を使う。
【００５８】
具体的に、モーションパラメータ
2007257287.tif 000095
（つまり、参照画像に対する時刻ｔの入力画像の変換パラメータ）と誤差補正用マスク画像を、ステップ５からステップ９までの手順で求める。第１段階レジストレーションと違って、第２段階レジストレーションでは、ステップ５からステップ９までの手順を繰り返し行わない。
ステップ５：
第１段階レジストレーションで求めた平面射影変換
2007257287.tif 000096
を平面射影変換
2007257287.tif 000097
の初期値
2007257287.tif 000098
とする。
ステップ６：
平面射影変換
2007257287.tif 000099
で変換した時刻ｔの入力画像、即ち、画像
2007257287.tif 000100
と参照画像
2007257287.tif 000101
との間で、前記＜１＞で述べたマスク画像の生成方法を用いて、誤差補正用マスク画像
2007257287.tif 000102
を生成する。
ステップ７：
ステップ６で生成した誤差補正用マスク画像
2007257287.tif 000103
の面積が所定の閾値未満か否かを判断する。誤差補正用マスク画像
2007257287.tif 000104
の面積が所定の閾値未満の場合には、モーションパラメータとして
2007257287.tif 000105
を出力し、第２段階レジストレーション処理を終了する。これで、時刻ｔの入力画像に対するレジストレーション処理が全て終了する。ここで、時系列画像のモーションの特性、注目領域中でのマスク領域の重心位置、マスク領域の分布などによって、所定の閾値を調整する必要がある。なお、後述する本発明を用いて行ったレジストレーション実験では、所定の閾値を２０［画素］×２０［画素］に設定した。
ステップ８：
一方、誤差補正用マスク画像
2007257287.tif 000106
の面積が所定の閾値以上の場合には、ステップ６で生成した誤差補正用マスク画像
2007257287.tif 000107
を使って、数８を最小化する
2007257287.tif 000108
を求めてモーションパラメータとして出力し、第２段階レジストレーション処理を終了する。これで、時刻ｔの入力画像に対するレジストレーション処理が全て終了する。
ステップ９：
最後、確認用に、画像
2007257287.tif 000109
と参照画像
2007257287.tif 000110
との間で、前記＜１＞で述べたマスク画像の生成方法を用いて、誤差補正用マスク画像
2007257287.tif 000111
を生成する。
＜４＞初期値推定
後述する本発明を用いて行ったレジストレーション実験では、第１段階レジストレーションで求める隣接フレーム間モーションパラメータの初期値を推定するために、次のような階層化探索法（非特許文献２３を参照）を利用した。ただし、縮小画像における注目領域の面積が２５［画素］×２５［画素］よりも小さくならないように、階層を制限した。
＜５＞繰り返し計算の高速化
本発明の画像レジストレーション方法において、まず、第１段階レジストレーションでは、繰り返し計算（繰り返し回数をｉｇとする）を利用した勾配法を使ったモーションパラメータ推定を行い、また、トラッキング用マスク画像
2007257287.tif 000112
との同時推定のための繰り返し（この繰り返し回数をｉｒとする）だけを行う必要もある。そして、第２段階レジストレーションでは、１回だけ勾配法（この繰り返し回数もｉｇとする）を行う必要がある。
【００５９】
初期の勾配法では、入力画像のHessian行列を繰り返しごとに計算する必要があった。このため、本発明では、各フレーム画像に対して、（ｉｇ×ｉｒ＋ｉｇ）回だけHessian行列を求める必要があり、領域選択を行わない通常の勾配法と比較して計算量が大きく増加する。
【００６０】
ところで、入力画像のHessian行列を繰り返しごとに計算する代わりに、参照画像のHessian行列を１回だけ計算して利用する高速化手法（非特許文献１５を参照）が提案されている。本発明では、非特許文献１５に開示されたこの高速化手法を利用することによって、第１段階レジストレーションでは、Hessian行列の計算は各フレーム画像に対して１回で済み、そして、第２段階レジストレーションでは、前処理で予め計算しておくことができるため、計算の大幅な高速化が可能である。
＜６＞本発明で行ったレジストレーション実験結果
以下では、本発明の画像レジストレーション方法（以下、単に本発明とも呼ぶ）を使用し、実画像を用いて、幾つかのレジストレーション実験を行い、本発明の有効性を確認した。つまり、平面だけでなく、あらゆる形状を有する対象にも適用が可能であること、照明変化やオクルージョンに対するロバスト性、レジストレーションの高精度性といった本発明の独自な優れた効果を、後述するレジストレーション実験によって確認した。
【００６１】
後述するレジストレーション実験には、PointGray社製DragonFlyという単板カラーＶＧＡカメラ（３０ＦＰＳ）を固定して利用した。レジストレーションには、デモザイキング処理の後に、変換した輝度成分を利用した。
実験１（従来手法との比較実験）：
まず、本発明と従来の画像レジストレーション方法（以下、単に従来手法とも呼ぶ）とを比較するレジストレーション実験を行った。
【００６２】
実験１では、３００フレームで構成される時系列画像を使用し、注目領域（ＲＯＩ）のサイズは、２００［画素］×２００［画素］である。また、トラッキング対象は、固定された平面に貼り付けた航空写真のポスターである。照明変化とオクルージョンを作るために、ポスター上で手を移動させた。手の影は照明変化に相当し、手の部分はオクルージョンになる。
【００６３】
実験１では、カメラを固定した状態で、移動せず固定された平面形状の対象（航空写真のポスター）を撮影しているので、正解となるモーションパラメータは、対象の位置が変化しないため、当然、単位行列となる。
【００６４】
実験１を通して、照明変化やオクルージョンがある場合に、従来手法ではレジストレーションが失敗するような状況でも、本発明を使うことで、失敗すること無く高精度にレジストレーションが可能であることを確認した。
【００６５】
図４に、実験１のレジストレーション結果を示す。図４に示されるように、実験１で利用された時系列画像中の一部の画像（即ち、第１フレーム、第７２フレーム、第１５０フレーム、第２４０フレーム）に対するレジストレーション結果を示す。
【００６６】
具体的に、図４（Ａ）は、参照画像（先頭フレームである第１フレーム）で設定された注目領域（ＲＯＩ）のトラッキング結果を示す。そして、図４（Ｂ）は、注目領域（ＲＯＩ）に対して、推定されたモーションパラメータで入力画像全体を平面射影変換した画像を示す。モーションパラメータが正確に推定されていれば、注目領域が静止して表示されるはずである。なお、図４（Ｂ）では、トラッキング用マスク画像を薄い青で示してある。
【００６７】
図４（Ｃ）には、注目領域（ＲＯＩ）におけるトラッキング用マスク画像
2007257287.tif 000113
を示す。図４（Ｄ）には、注目領域（ＲＯＩ）における誤差補正用マスク画像
2007257287.tif 000114
を示す。図４（Ｃ）及び図４（Ｄ）から分かるように、手の影による照明変化や手によるオクルージョンがあると、参照画像に対する誤差補正用マスク画像
2007257287.tif 000115
の面積は小さくなるが、トラッキング用マスク画像
2007257287.tif 000116
はそれほど影響を受けないため、トラッキングは継続して行うことができる。一方、手の影による照明変化や手によるオクルージョンが取り除かれると、参照画像に対する誤差補正用マスク画像
2007257287.tif 000117
の面積も増加する。
【００６８】
図５（Ａ）には、実験１で使用されたトラッキング用マスク画像
2007257287.tif 000118
及び誤差補正用マスク画像
2007257287.tif 000119
の面積の変化を示す。図５（Ａ）から分かるように、点線で示されたトラッキング用マスク画像
2007257287.tif 000120
の面積は、手によるオクルージョンがある期間に、減少するが、全フレームを通して、トラッキングを行うのに十分な面積が確保されている。
【００６９】
図５（Ｂ）に、実験１において、点線で示された第１段階のレジストレーション後と、実線で示された第２段階のレジストレーション後の平均ＳＳＤを示す。ここで言う平均ＳＳＤとは、勾配法による繰り返しが収束したと判断したときの画像間のＳＳＤ（最小ＳＳＤ）を、マスク画像の面積で割ったものである。
【００７０】
図５（Ｂ）から分かるように、第１段階レジストレーションでは、平均ＳＳＤは、常に低い値となり、安定にかつ高精度にレジストレーションができていることを示している。一方、第２段階レジストレーションでは、参照画像に対して入力画像が変化するに従い、平均ＳＳＤも増加する。図５（Ｂ）において、第２段階のレジストレーション後の平均ＳＳＤを示す実線がとぎれている区間は、図５（Ａ）における実線で示された誤差補正用マスク画像
2007257287.tif 000121
の面積が小さくなったために、第２段階レジストレーションを行わなかったフレームを表す。
【００７１】
図５（Ｃ）に、実験１において、従来のレジストレーション方法を用いた結果を示し、つまり、注目領域内の画素を全て利用して階層化探索法と勾配法によるレジストレーション後の平均ＳＳＤを示す。図５（Ｃ）から分かるように、注目領域そのまま利用し、領域選択を行わない従来のレジストレーション方法では、注目領域内の照明変化やオクルージョンがあると、単純にこの平均ＳＳＤは大きくなり、やがてレジストレーションが失敗してしまう。図５（Ｃ）における平均ＳＳＤの大きさは、図５（Ｂ）の本発明のマスク画像を利用した場合の平均ＳＳＤに対して、２桁ほども大きな値である。図５（Ｃ）の平均ＳＳＤが非常に大きいということは、レジストレーションが不安定になる可能性を示すだけでなく、不正確であることをも示している。
【００７２】
実験１では、モーションが事前に既知なので、つまり、正解となるモーションパラメータは単位行列であるため、推定したモーションパラメータによる位置の誤差でモーション推定精度を評価した（非特許文献１５を参照）。図６に、実験１において、注目領域内に設定した２００×２００ヶ所の位置を使った、推定したモーションパラメータによる正解位置からの距離のＲＭＳＥ（Root  Mean  Square  Error;二乗平均誤差）を示す。
【００７３】
具体的に、図６では、（４）で示す実線で表された本発明の領域選択２段階レジストレーション方法によるレジストレーションを、（１）で示す実線で表された従来のレジストレーション方法（つまり、注目領域を全て利用して階層化探索法と勾配法）による入力画像と参照画像との直接レジストレーション、（２）で示す点線で表された従来のレジストレーション方法（つまり、注目領域を全て利用して階層化探索法と勾配法）による隣接フレーム間モーションの積算であるレジストレーション、（３）で示す点線で表された本発明の第１段階レジストレーションのみによるレジストレーション、と比較した。
【００７４】
図６から分かるように、（１）と（２）の従来のレジストレーション方法は、７２フレーム付近でトラッキングに失敗しているが、（３）の本発明の第１段階レジストレーションと（４）の本発明の領域選択２段階レジストレーション方法は、最終フレームまでトラッキングに成功している。また、（３）の本発明の第１段階レジストレーション手法では、時間の経過とともに位置誤差が大きくなるが、（４）の本発明の領域選択２段階レジストレーション方法では、第２段階レジストレーションが再開される１８６フレーム付近から、再び高精度なトラッキングを再開する。
実験２（非平面対象のロバストトラッキング実験）：
実験２では、トラッキング対象は直径約１４［ｃｍ］の地球儀で、手でゆっくりと左右に回転させており、トラッキング対象である地球儀を撮影した３００フレームで構成される時系列画像を使用し、注目領域（ＲＯＩ）のサイズは１００［画素］×１００［画素］である。
【００７５】
実験２を通して、トラッキング対象が非平面の形状を有しても、本発明の領域選択２段階レジストレーション方法によって、ロバストトラッキングが可能なことを確認した。
【００７６】
図７に、実験２のレジストレーション結果を示す。図７に示されるように、実験２で利用された時系列画像中の一部の画像（即ち、第１フレーム、第１０４フレーム、第１８７フレーム、第２８３フレーム）に対するレジストレーション結果を示す。
【００７７】
具体的に、図７（Ａ）は、参照画像（先頭フレームである第１フレーム）で設定された注目領域（ＲＯＩ）のトラッキング結果を示す。そして、図７（Ｂ）は、注目領域（ＲＯＩ）に対して、推定されたモーションパラメータで入力画像全体を平面射影変換した画像を示す。なお、図７（Ｂ）では、トラッキング用マスク画像を薄い青で示してある。図７（Ｃ）には、注目領域（ＲＯＩ）におけるトラッキング用マスク画像
2007257287.tif 000122
を示す。図７（Ｄ）には、注目領域（ＲＯＩ）における誤差補正用マスク画像
2007257287.tif 000123
を示す。
【００７８】
図８（Ａ）には、実験２で使用されたトラッキング用マスク画像
2007257287.tif 000124
及び誤差補正用マスク画像
2007257287.tif 000125
の面積の変化を示す。図８（Ｂ）に、実験２において、点線で示された第１段階のレジストレーション後と、実線で示された第２段階のレジストレーション後の平均ＳＳＤを示す。また、図８（Ｃ）に、実験２において、従来のレジストレーション方法を用いた結果を示し、つまり、注目領域内の画素を全て利用して階層化探索法と勾配法によるレジストレーション後の平均ＳＳＤを示す。
【００７９】
図８から分かるように、本発明のトラッキング用マスク画像
2007257287.tif 000126
の面積が大きく保たれること（図８（Ａ）の点線を参照）と、注目領域を全て利用する従来のレジストレーション方法（図８（Ｃ）を参照）と比較して平均ＳＳＤが小さな値のままで推移する（図８（Ｂ）の点線を参照）ために、トラッキング対象が非平面であるにも関わらず、本発明を用いれば、良好にトラッキングができた。
【００８０】
また、図８から、注目領域の照明変化のために、本発明の誤差補正用マスク画像
2007257287.tif 000127
がいったん消失して、第２段階レジストレーションを行わない期間がある（図８（Ｂ）の実線を参照）が、トラッキング対象である地球儀の回転角度が元に戻ると、誤差補正用マスク画像
2007257287.tif 000128
が復活して、第２段階レジストレーションによって積算誤差が補正されることが分かる。
実験３（顔のロバストトラッキング実験）：
実験２では、トラッキング対象は室内で撮影した人物の顔で、固定した室内照明下で顔の向きを変化させているために、照明変化がある。また、顔は非平面であるだけでなく、形状もわずかではあるが変化する。実験３では、トラッキング対象である顔を撮影した６００フレームで構成された時系列画像を使用し、注目領域（ＲＯＩ）のサイズは９０［画素］×１００［画素］である。
【００８１】
実験３を通して、通常では従来の領域ベースレジストレーション方法を用いないようなトラッキング対象であっても、本発明の領域選択２段階レジストレーション方法によって、ロバストトラッキングが可能であることを確認した。
【００８２】
図９に、実験３のレジストレーション結果を示す。図９に示されるように、実験３で利用された時系列画像中の一部の画像（即ち、第１フレーム、第１０４フレーム、第４６０フレーム、第５５５フレーム）に対するレジストレーション結果を示す。
【００８３】
具体的に、図９（Ａ）は、参照画像（先頭フレームである第１フレーム）で設定された注目領域（ＲＯＩ）のトラッキング結果を示す。そして、図９（Ｂ）は、注目領域（ＲＯＩ）に対して、推定されたモーションパラメータで入力画像全体を平面射影変換した画像を示す。なお、図９（Ｂ）では、トラッキング用マスク画像を薄い青で示してある。図９（Ｃ）には、注目領域（ＲＯＩ）におけるトラッキング用マスク画像
2007257287.tif 000129
を示す。図９（Ｄ）には、注目領域（ＲＯＩ）における誤差補正用マスク画像
2007257287.tif 000130
を示す。
【００８４】
図１０（Ａ）には、実験３で使用されたトラッキング用マスク画像
2007257287.tif 000131
及び誤差補正用マスク画像
2007257287.tif 000132
の面積の変化を示す。図１０（Ｂ）に、実験３において、点線で示された第１段階のレジストレーション後と、実線で示された第２段階のレジストレーション後の平均ＳＳＤを示す。また、図８（Ｃ）に、実験３において、従来のレジストレーション方法を用いた結果を示し、つまり、注目領域内の画素を全て利用して階層化探索法と勾配法によるレジストレーション後の平均ＳＳＤを示す。
【００８５】
図１０から分かるように、実験３で使用された時系列画像では、参照画像に対する入力画像の変化が多いため、本発明の第２段階レジストレーションは、初期期間まで、つまり２５フレームまで、しか行われていない。
【００８６】
しかし、図１０から、本発明のトラッキング用マスク画像
2007257287.tif 000133
の面積が大きく保たれること（図１０（Ａ）の点線を参照）と、注目領域を全て利用する従来のレジストレーション方法（図１０（Ｃ）を参照）と比較して平均ＳＳＤが小さな値のままで推移する（図１０（Ｂ）の点線を参照）ために、人物の顔であるような非平面で形状も変化するトラッキング対象であっても、本発明を用いれば、例え第２段階レジストレーションによって積算誤差の補正が行われなくても、良好なトラッキングが継続していること（図９（Ｂ）を参照）が分かる。
なお、上述した本発明の実施形態において、画像レジストレーションを行う際に、平面射影変換に基づいて画像の変形を行ったが、本発明でいう平面射影変換は、平面射影変換だけでなく、平面射影変換の特殊な場合として、アフィン変換、スケール変換、回転変換、平行変換、及びこれらの組み合わせによる変換をも含む。
【図面の簡単な説明】
【００８７】
【図１】本発明におけるマスク画像の生成方法を説明するための模式図である。
【図２】本発明における第１段階レジストレーションを説明するための模式図である。
【図３】本発明における第２段階レジストレーションを説明するための模式図である。
【図４】本発明の画像レジストレーション方法による実験１のレジストレーション結果を示す。図である。
【図５】実験１において、本発明のトラッキング用マスク画像と誤差補正用マスク画像の面積の変化、本発明の第１段階、第２段階のレジストレーション後の平均ＳＳＤ、従来のレジストレーション方法によるレジストレーション後の平均ＳＳＤをそれぞれ示す図である。
【図６】実験１において、推定したモーションパラメータによる正解位置からの距離のＲＭＳＥを示す図である。
【図７】本発明の画像レジストレーション方法による実験２のレジストレーション結果を示す。図である。
【図８】実験２において、本発明のトラッキング用マスク画像と誤差補正用マスク画像の面積の変化、本発明の第１段階、第２段階のレジストレーション後の平均ＳＳＤ、従来のレジストレーション方法によるレジストレーション後の平均ＳＳＤをそれぞれ示す図である。
【図９】本発明の画像レジストレーション方法による実験３のレジストレーション結果を示す。図である。
【図１０】実験３において、本発明のトラッキング用マスク画像と誤差補正用マスク画像の面積の変化、本発明の第１段階、第２段階のレジストレーション後の平均ＳＳＤ、従来のレジストレーション方法によるレジストレーション後の平均ＳＳＤをそれぞれ示す図である。
【図１】
2007257287.tif 000144
【図２】
2007257287.tif 000145
【図３】
2007257287.tif 000146
【図４】
2007257287.tif 000147
【図５】
2007257287.tif 000148
【図６】
2007257287.tif 000149
【図７】
2007257287.tif 000150
【図８】
2007257287.tif 000151
【図９】
2007257287.tif 000152
【図１０】
2007257287.tif 000153