(57)【要約】【課題】高精度に領域（位置）を探索でき、且つ、高速でリアルタイムな探索を可能とし得る物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置を提供する。【解決手段】周波数上にて画像を白色化することにより、位相情報のみに注目した探索が可能となり、従来の信号領域における正規化相互相関法よりも、目的とする領域（位置）に対して鋭いピーク値を得る。また、従来法では画素単位で探索信号領域を移動しながら相関を計算していたのに対し、本発明では、周波数上にて相関計算を行うため、計算量が大幅に削減され高速な探索が可能とする。【選択図】図１
2008015848.tif 000002
【特許請求の範囲】
【請求項１】
探索対象画像とテンプレート画像から物体領域を探索する方法であって、
１）探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換工程と、
２）前記フーリエ変換工程によって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出工程と、
３）前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化工程と、
４）前記正規化工程により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換工程と、
５）前記逆フーリエ変換工程によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定工程と
を含んだことを特徴とする物体領域探索方法。
【請求項２】
探索対象画像とテンプレート画像から物体領域を探索する方法であって、
１）探索対象画像Ｉ（ｘ，ｙ）とテンプレート画像Ｔ（ｉ，ｊ）に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルＩ（ω１，ω２）とＴ（ω１，ω２）を算出するフーリエ変換工程と、
２）次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出工程と、
【数１】
2008015848.tif 000014
（ここでＴ＊は、Ｔの複素共役スペクトルである。）
３）前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換工程と、
４）前記逆フーリエ変換工程によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定工程と
を含んだことを特徴とする物体領域探索方法。
【請求項３】
前記探索対象画像と前記テンプレート画像の画像サイズが異なる場合に同じサイズに設定する工程を前処理として行うことを特徴とする請求項１又は２に記載の物体領域探索方法。
【請求項４】
探索対象画像とテンプレート画像から物体領域を探索するプログラムであって、
コンピュータに、
１）探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換ステップと、
２）前記フーリエ変換ステップによって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出ステップと、
３）前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化ステップと、
４）前記正規化ステップにより正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換ステップと、
５）前記逆フーリエ変換ステップによって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定ステップと
を実行させるための物体領域探索プログラム。
【請求項５】
探索対象画像とテンプレート画像から物体領域を探索するプログラムであって、
コンピュータに、
１）探索対象画像Ｉ（ｘ，ｙ）とテンプレート画像Ｔ（ｉ，ｊ）に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルＩ（ω１，ω２）とＴ（ω１，ω２）を算出するフーリエ変換ステップと、
２）次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出ステップと、
【数２】
2008015848.tif 000015
（ここでＴ＊は、Ｔの複素共役スペクトルである。）
３）前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換ステップと、
４）前記逆フーリエ変換ステップによって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定ステップと
を実行させるための物体領域探索プログラム。
【請求項６】
前記探索対象画像と前記テンプレート画像の画像サイズが異なる場合に同じサイズに設定するステップを前処理としてコンピュータに実行させることを特徴とする請求項４又は５に記載の物体領域探索プログラム。
【請求項７】
探索対象画像とテンプレート画像から物体領域を探索する装置であって、
１）探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換手段と、
２）前記フーリエ変換手段によって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出手段と、
３）前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化手段と、
４）前記正規化手段により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換手段と、
５）前記逆フーリエ変換手段によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定手段と
を備えたことを特徴とする物体領域探索装置。
【請求項８】
探索対象画像とテンプレート画像から物体領域を探索する装置であって、
１）探索対象画像Ｉ（ｘ，ｙ）とテンプレート画像Ｔ（ｉ，ｊ）に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルＩ（ω１，ω２）とＴ（ω１，ω２）を算出するフーリエ変換手段と、
２）次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出手段と、
【数３】
2008015848.tif 000016
（ここでＴ＊は、Ｔの複素共役スペクトルである。）
３）前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換手段と、
４）前記逆フーリエ変換手段によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定手段と
を備えたことを特徴とする物体領域探索装置。
【請求項９】
前記探索対象画像と前記テンプレート画像の画像サイズが異なる場合に同じサイズに設定するサイズ設定手段を更に備えることを特徴とする請求項８又は９に記載の物体領域探索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、探索対象画像とテンプレート画像から物体領域を探索方法と、その方法をコンピュータに実行させるプログラムと、探索装置に関するもので、特に、正規化クロスパワースペクトルを用いて、マッチング判定結果を高速に得ることができる物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置に関するものである。
【背景技術】
【０００２】
従来から、探索対象画像とテンプレート画像から物体領域を探索する方法として、信号領域における相互相関法や正規化相互相関法によるテンプレートマッチングが広く用いられている。相互相関法や正規化相互相関法は、全探索領域内に対してテンプレート画像と相関を求めて、最も相関の高かった領域（位置）を対象物領域と推定するものである。かかる推定方法では、探索対象画像の画素単位で探索信号領域を移動しながら相関を計算していたため、計算量が多く、リアルタイムな探索が困難であった。特に、高解像度の画像の場合は、尚更困難であった。
【０００３】
次に、相互相関法と正規化相互相関法について各々の特徴について説明する。まず相互相関法の場合、Wiener-Kkintchinの定理を用い、フーリエ変換を利用して高速に演算推定することが可能であるといった利点がある反面、推定精度の面で課題がある。一方、正規化相互相関法の場合は、相互相関法に比べて高精度に領域（位置）を探索できるといった利点があるものの、相互相関法に比べて計算量が多く、また、相互相関法と異なりフーリエ変換を利用して計算することができないため、探索結果の算出に時間を要するといった点が課題である。
【０００４】
上述の正規化相互相関法について、数式を示しながら説明する。正規化相互相関法では、全探索領域内に対してテンプレート画像と相関を求めて、最も相関の高かった領域（位置）を対象物領域と推定する過程において、画像サイズＷ×Ｈの探索対象画像Ｉ（ｘ、ｙ）とｗ×ｈのテンプレート画像Ｔ（ｉ，ｊ）に対して、下記式で示される相関係数Ｒ（ｘ，ｙ）を計算するのである。
【０００５】
【数１】
2008015848.tif 000003
【０００６】
この相関係数Ｒ（ｘ，ｙ）の最大値となるところが、マッチングした領域の先頭座標となる。相関係数Ｒ（ｘ，ｙ）の最大値を算出するために、探索対象画像領域を１画素単位で移動しながら相関係数Ｒを計算する。
この正規化相互相関法は、上述したように相互相関法に比べて高精度に領域を探索できる一方、相関係数Ｒ（ｘ，ｙ）の計算式に分母項があるためフーリエ変換を利用した計算の高速化が行えない。
【０００７】
また、入力画像とその比較対象となる参照画像とを対応づける対応点を探索するものとして、特に、画像間の対応付けをおこなう際に、局所解に陥ることなく安定した対応付け結果を高速に得ることができる画像の対応点探索装置、対応点探索方法およびその方法をコンピュータに実行させるプログラムが知られている（特許文献１）。
これは、類似度画像作成段階と複数の類似度画像を累積加算した結果に基づいて最適な対応点を決定する対応点決定段階とからなる。先ず、類似度画像作成段階では、参照部分画像を入力部分画像内で移動させ順次相関値を求め、この相関値を画素値として持つ類似度画像を作成する（この類似度画像は、参照部分画像上の中心点が入力部分画像上の点にどの程度類似しているかを示すことになる。）。
次に、対応点決定段階で、各類似度画像の画素値を垂直方向および水平方向に再帰的に累積加算を繰り返しながら各類似度画像を更新し、各類似度画像を形成する画素のうち最大の画素値を持つ画素の位置を求め、この位置を入力部分画像上での対応点として決定するものである。参照部分画像を入力部分画像内で移動させ順次相関値を求める過程を経るため、画像間の対応付けを高速に得ることが困難である。
【０００８】
一方、は２つのマイクロフォン間にて到達する信号の時間差を推定する方法として、ＣＳＰ（Crosspower-Spectrum Phase）法が知られている。このＣＳＰ法は、従来は音声などの音の到来方向の推定として利用されていた（非特許文献１乃至３）。
【０００９】
【特許文献１】特開２００２−３５２２４５号公報
【非特許文献１】C. H. Knapp, G. C. Carter, “The Generalized Correlation Method for Estimation of Time Delay,” IEEE Trans. Acoust., Speech, Signal Processing, vol. ASSP-24, pp. 320-327, Aug. 1976.
【非特許文献２】M. Omologo, P. Svaizer, “Acoustic Event Localization Using a Crosspower-Spectrum Phase Based Technique,” Proc. ICASSP, vol. 2, pp. 273-276, 1994.
【非特許文献３】西浦敬信，山田武志，中村哲，鹿野清宏， “マイクロホンアレーを用いたCSP 法に基づく複数音源位置推定”, 電子情報通信学会論文誌, Vol.J83-D-II, No.8, pp. 1713-1721, Aug. 2000．
【発明の開示】
【発明が解決しようとする課題】
【００１０】
上述の問題点に対応すべく、本発明は、高精度に領域（位置）を探索でき、且つ、高速でリアルタイムな探索を可能とし得る物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述の目的を達成するため、本発明の物体領域探索方法は、探索対象画像とテンプレート画像から物体領域を探索する方法であって、
１）探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換工程と、
２）前記フーリエ変換工程によって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出工程と、
３）前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化工程と、
４）前記正規化工程により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換工程と、
５）前記逆フーリエ変換工程によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定工程とを含んだことを特徴とする。
【００１２】
上記の物体領域探索方法において、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化することで、周波数上にて画像を白色化することができ、位相情報のみに注目した探索が可能となるのである。
統計量としての相互相関関数が、原信号のフーリエクロススペクトル求めて、それを逆フーリエ変換することで求められるというWiener-Kkintchinの定理に比べて、本物体領域探索方法は、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分（パワー項）を消去することで、正規化相互相関法と近似した式とし、それを逆フーリエ変換することで相関係数を求めるというものである。
【００１３】
これにより、正規化相互相関法では、計算式の特性からフーリエ変換を適用した計算が困難で、計算量が非常に大きくなっていたのに対して、本物体領域探索方法では、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分（パワー項）を消去することで、正規化相互相関法と近似した計算ができ、また、フーリエ変換を適用した計算も行えるので、高い探索精度で、且つ、高速な探索が可能となる。
また、本物体領域探索方法は、位相情報のみに注目した探索が可能なため、正規化相互相関法よりも目的とする領域（位置）に対して鋭いピーク値を得ることが可能となる。
【００１４】
また、本発明の物体領域探索方法は、探索対象画像とテンプレート画像から物体領域を探索する方法であって、
１）探索対象画像Ｉ（ｘ，ｙ）とテンプレート画像Ｔ（ｉ，ｊ）に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルＩ（ω１，ω２）とＴ（ω１，ω２）を算出するフーリエ変換工程と、
２）下記数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出工程と、
３）前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換工程と、
４）前記逆フーリエ変換工程によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定工程とを含んだことを特徴とする。
尚、下記数式中、Ｔ＊はＴの複素共役スペクトルである。
【００１５】
【数２】
2008015848.tif 000004
【００１６】
上記の物体領域探索方法において、正規化クロスパワースペクトルΦは、探索対象画像Ｉとテンプレート画像Ｔに対してフーリエ変換を用いて各複素スペクトルを算出し積算したクロススペクトルに対して、周波数毎の重みフィルターを用いてパワー成分（パワー項）を消去することで、正規化相互相関法と近似した計算式となっている。
このため本物体領域探索方法は、高い探索精度で探索が可能で、且つ、フーリエ変換および逆フーリエ変換プロセスによって高速な探索が可能となる。また、位相情報のみに注目した探索が可能なため、正規化相互相関法よりも目的とする領域（位置）に対して鋭いピーク値を得ることが可能となる。
【００１７】
ここで、探索対象画像とテンプレート画像の画像サイズが異なる場合には、同じサイズに設定する工程を前処理として行うことが必要である。例えば、探索対象画像とテンプレート画像の各々の画像サイズが異なる場合、小さい画像（通常は、テンプレート画像）のサイズにゼロパディングを行い、同じサイズにしてから、上述の本物体領域探索方法の手順を行う。
【００１８】
次に、本発明の物体領域探索プログラムは、探索対象画像とテンプレート画像から物体領域を探索するプログラムであって、コンピュータに、
１）探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換ステップと、
２）前記フーリエ変換ステップによって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出ステップと、
３）前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化ステップと、
４）前記正規化ステップにより正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換ステップと、
５）前記逆フーリエ変換ステップによって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定ステップとを実行させることを特徴とする。
【００１９】
また、本発明の物体領域探索プログラムは、探索対象画像とテンプレート画像から物体領域を探索するプログラムであって、コンピュータに、
１）探索対象画像Ｉ（ｘ，ｙ）とテンプレート画像Ｔ（ｉ，ｊ）に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルＩ（ω１，ω２）とＴ（ω１，ω２）を算出するフーリエ変換ステップと、
２）次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出ステップと、
３）前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換ステップと、
４）前記逆フーリエ変換ステップによって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定ステップとを実行させることを特徴とする。
尚、下記数式中、Ｔ＊はＴの複素共役スペクトルである。
【００２０】
【数３】
2008015848.tif 000005
【００２１】
これらの物体領域探索プログラムは、前述の物体領域探索方法をコンピュータに実行されるものである。
【００２２】
次に、本発明の物体領域探索装置は、探索対象画像とテンプレート画像から物体領域を探索する装置であって、
１）探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するフーリエ変換手段と、
２）前記フーリエ変換手段によって得られた前記探索対象画像および前記テンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するスペクトル算出手段と、
３）前記クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する正規化手段と、
４）前記正規化手段により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換手段と、
５）前記逆フーリエ変換手段によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定手段とを備えたことを特徴とする。
【００２３】
また、本発明の物体領域探索装置は、探索対象画像とテンプレート画像から物体領域を探索する装置であって、
１）探索対象画像Ｉ（ｘ，ｙ）とテンプレート画像Ｔ（ｉ，ｊ）に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルＩ（ω１，ω２）とＴ（ω１，ω２）を算出するフーリエ変換手段と、
２）次の数式に適用して、正規化クロスパワースペクトルΦを算出する正規化クロスパワースペクトル算出手段と、
３）前記正規化クロスパワースペクトルに対して、逆フーリエ変換を用いて実座標領域上の相関係数を算出する逆フーリエ変換手段と、
４）前記逆フーリエ変換手段によって得られた前記相関係数が最大値となる座標を用いてパターンマッチング判定を行うマッチング判定手段とを備えたことを特徴とする。
尚、下記数式中、Ｔ＊はＴの複素共役スペクトルである。
【００２４】
【数４】
2008015848.tif 000006
【００２５】
本発明の物体領域探索装置は、上述の物体領域探索プログラムを搭載したコンピュータであり、１台のスタンドアロンのコンピュータでも、複数台のコンピュータがネットワーク上で分散して上述の物体領域探索プログラムの各ステップを行うものでもよい。
【発明の効果】
【００２６】
本発明の物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置によれば、周波数上にて画像を白色化することにより、位相情報のみに注目した探索が可能となり、従来の信号領域における正規化相互相関法よりも、目的とする領域（位置）に対して鋭いピーク値を得ることができるといった効果がある。
また、従来法では画素単位で探索信号領域を移動しながら相関を計算していたのに対し、本発明の物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置では、周波数上にて相関計算を行うため、計算量が大幅に削減され高速な探索が可能となるといった効果がある。
従って、本発明の物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置によれば、高精度でリアルタイムな探索が行える。
【００２７】
さらに、本発明の物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置によれば、周波数帯域の分割化により、探索物体の特性に応じた精度の高い探索への応用が期待できる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施形態について、以下詳細に説明していく。図１は、本発明の物体領域探索方法の手順を示すフロー図を示している。
図１のフロー図に示されるように、本発明の物体領域探索方法は、フーリエ変換工程１１と、スペクトル算出工程１２と、正規化工程１３と、逆フーリエ変換工程１４と、マッチング判定工程１５とからなる。
【００２９】
先ず前処理として、探索対象画像とテンプレート画像の画像サイズが異なる場合、小さい画像サイズにゼロパディングを行い、同じ画像サイズにする。
フーリエ変換工程１１は、探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換する。探索対象画像Ｉ（ｘ，ｙ）とテンプレート画像Ｔ（ｉ，ｊ）に対してフーリエ変換を用いて周波数領域へ変換して、複素スペクトルＩ（ω１，ω２）とＴ（ω１，ω２）を算出する数式８および数式９を下記に示す。
【００３０】
【数５】
2008015848.tif 000007
【００３１】
【数６】
2008015848.tif 000008
【００３２】
次に、スペクトル算出工程１２は、フーリエ変換工程１１によって得られた探索対象画像およびテンプレート画像の各々の複素スペクトルであるＩ（ω１，ω２）およびＴ（ω１，ω２）から、下記数式で示されるクロスパワースペクトルを算出する。
【００３３】
【数７】
2008015848.tif 000009
【００３４】
次に、正規化工程１３は、上記のクロススペクトルＣＳ（ω１，ω２）に対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する。下記数式に周波数毎の重みフィルターを示す。
【００３５】
【数８】
2008015848.tif 000010
【００３６】
また、クロススペクトルＣＳ（ω１，ω２）に対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化した正規化クロスパワースペクトルΦを、下記数式に示す。
【００３７】
【数９】
2008015848.tif 000011
【００３８】
次に、逆フーリエ変換工程１４は、正規化クロスパワースペクトルΦに対して逆フーリエ変換を用いて、下記数式で示される実座標領域上の相関係数Ｃ（ｘ、ｙ）を算出する。尚、下記数式において、定係数は無視している。
【００３９】
【数１０】
2008015848.tif 000012
【００４０】
本発明の物体領域探索方法において、一例として人の目の探索対象画像とテンプレート画像に対して、正規化クロスパワースペクトルΦに対して逆フーリエ変換を用いて算出した相関係数Ｃ（ｘ、ｙ）を図示したものを図２（ａ）に示す。また、比較用として従来の信号領域における正規化相互相関法を用いて得られた正規化相互相関関数を図示したものを図２（ｂ）に示す。
図２から、本発明の物体領域探索方法の方が、従来の信号領域における正規化相互相関法よりも、目的とする領域（位置）に対して鋭いピーク値を得ることができているのが把握できる。これは、本発明の物体領域探索方法が、周波数上にて画像を白色化することにより、位相情報のみに注目した探索を行うためである。
【００４１】
そして、図１のフローにおいて、マッチング判定工程１５は、逆フーリエ変換工程１４によって得られた相関係数が最大値となる座標を用いてパターンマッチング判定を行う。マッチングした領域の先頭座標（ｘ、ｙ）は、下記数式で示される。
パターンマッチング判定は、相関関数の値がある閾値を超えたかどうか、全探索領域で最大値をとるかどうかで判定している。
【００４２】
【数１１】
2008015848.tif 000013
【００４３】
図３は、本発明の物体領域探索方法に関して、模式的に手順を示したものである。図３では、一例として、人の目の探索対象画像とテンプレート画像に対して、本物体領域探索方法の処理の流れを示している。図３に示されるように、本物体領域探索方法の処理の流れは、人の目の探索対象画像とテンプレート画像に対して、２つの画像をフーリエ変換し、正規化クロスパワースペクトルを求め、それを逆二次元フーリエ変換し、最大値となる座標をマッチング領域の先頭座標として用いるといったものである。
【００４４】
次に、本発明の物体領域探索プログラムのアルゴリズムについて説明する。図４は、本発明の物体領域探索プログラムのアルゴリズムを示したフローチャートである。本発明の物体領域探索プログラムは、フーリエ変換ステップ４１と、スペクトル算出ステップ４２と、正規化ステップ４３と、逆フーリエ変換ステップ４４と、マッチング判定ステップ４５とからなる。
各ステップ（４１〜４５）については、前述の物体領域探索方法の各工程（１１〜１５）と同様であるので説明は割愛する。
【００４５】
次に、本発明の物体領域探索装置について説明する。図５は、本発明の物体領域探索装置の機能ブロック図である。本発明の物体領域探索装置は、フーリエ変換手段５１と、スペクトル算出手段５２と、正規化手段５３と、逆フーリエ変換手段５４と、マッチング判定手段５５と、画像入力手段５６と、サイズ設定手段５７と、マッチング判定結果出力手段５８とからなる。
【００４６】
画像入力手段５６は、探索対象画像とテンプレート画像を取り込むものである。
サイズ設定手段５７は、探索対象画像と前記テンプレート画像の画像サイズが異なる場合に同じサイズにすべく、小さい画像サイズにゼロパディングを行うものである。
また、フーリエ変換手段５１は、探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換するものである。
スペクトル算出手段５２は、フーリエ変換手段５１によって得られた探索対象画像およびテンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出するものである。
そして、正規化手段５３は、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化するものである。
逆フーリエ変換手段５４は、正規化手段５３により正規化されたものに対して逆フーリエ変換を用いて実座標領域上の相関係数を算出するものである。
マッチング判定手段５５は、逆フーリエ変換手段５４によって得られた相関係数が最大値となる座標を用いてパターンマッチング判定を行うものである。
そして、マッチング判定結果出力手段５８は、マッチング判定の結果をモニター画面に表示したり、別の処理が使用するデータとして保存したり、他のコンピュータにネットワークを介して送信したりするものである。
【００４７】
以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されることはない。その他、本発明は、主旨を逸脱しない範囲で当業者の知識に基づき種々の改良、修正、変更を加えた態様で実施できるものである。以下、本発明の物体領域探索方法について、実施例によりそのパフォーマンスを説明する。
【実施例１】
【００４８】
実施例１の物体領域探索方法は、人の目の探索を行って、正規化相互相関法よりも計算時間が大幅に短縮された実験結果を説明するものである。
【００４９】
先ず、室内環境にて１人の話者に対して、デジタルビデオカメラにより収録を行い、収録した映像データに対して、まずアダブースト（AdaBoost）を用いて顔の切り出しを行った。
次に目領域の探索は、切り出された領域内に対して行う。このとき、目の探索領域を右目と左目の２等分にして、右側を右目のテンプレートを使い探索を行い、左側を左目のテンプレートを使い目領域の探索を行った。評価データの総フレーム数は、３１３７フレームである。
【００５０】
テンプレートを作成するために、矩形領域内の平均輝度差であるＨａａｒ型特徴量を使用し、アダブースト（AdaBoost）を用いて、最初の１００フレームに対して目領域を自動で抽出した。領域内から同一サイズの矩形（白領域と黒領域）を抽出し、その矩形内平均輝度差を算出し、認識対象の特徴をよくあらわす矩形を求め、組み合わせる事で更に精度良く対象物体を抽出した。Ｈａａｒ型特徴量の学習に使用した目領域データ数は３０００枚、非目領域データは１７３２枚である（これらは、評価話者および収録環境は異なるものである）。このような検出器を使い、評価データに対して最初の１００フレームの目領域を自動で抽出した。目の形状をＨａａｒ型特徴量として抽出することが要因となって、誤検出も多く含まれてしまうため、図６のようなＨａａｒ型特徴量で抽出された領域を３分割し、中央領域とその両側の矩形内平均輝度差が最も大きいものを正しい目領域であると考え、テンプレートとして採用した。抽出されたテンプレートを図７に示す。
【００５１】
図８に評価データを処理するのにかかった計算時間を示す。計算は、汎用のコンピュータ（Pentium 4, ＣＰＵ 3GHz；Pentiumは登録商標である）で行った。従来の信号領域における正規化相互相関法による計算時間が約１３７２秒であるのに対し、本発明の物体領域探索方法では約３２３秒となった。計算時間は約７５％程度まで短縮されていることが確認できる。なお、探索目領域の画素数は平均で約８９００画素であった。
図８の計算時間の結果から、正規化相互相関法よりも本発明の物体領域探索方法の方が、高速な探索が行えることが示される。これは、正規化相互相関法が画素単位で探索信号領域を移動しながら相関を計算していたのに対し、本発明の物体領域探索方法では周波数上にて相関処理を行うため、計算量が大幅に削減されたためである。
この計算量の削減量、探索時間の短縮率は、対象探索領域の画素数が増えれば増えるほど大きくなり、本発明の物体領域探索方法が高解像度画像に対して効果的に機能することが容易に理解されよう。
【００５２】
次に、探索結果（正解率）を図９に示す。従来の信号領域における正規化相互相関法では、左目および右目ともに１００％の正解率を示している。一方、本発明の物体領域探索方法では左目98.6％、右目97.7％となっている。この要因としてテンプレートが目を開けている状態だったため、目が閉まる際に誤検出が多く存在したものであり、マルチテンプレートにするなどテンプレートの改善で探索精度が向上できると考えられる。
【００５３】
また、参考までに、本発明の物体領域探索方法において、クロススペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化しないで、クロススペクトルで目領域探索を行った場合、その正解率は、右目 2.3 ％、左目 0.26 ％となった。これは、正規化を行っていないため、わずかな輝度差などの変化にも敏感に反応し、検出率が劣化してしまったのが要因として考えられる。
【産業上の利用可能性】
【００５４】
本発明の物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置は、画像のテンプレートマッチングに利用でき、様々な物体探索に活用できるもので産業上の利用価値を有するものである。特に、高精度でリアルタイムに物体探索が行えることから、動画配信に利用できる可能性がある。
【図面の簡単な説明】
【００５５】
【図１】本発明の物体領域探索方法の手順を示すフロー図を示している。
【図２】本発明の物体領域探索方法における正規化クロスパワースペクトルΦに対して逆フーリエ変換を用いて算出した相関係数Ｃ（ｘ、ｙ）を図示したもの（ａ）と、従来の信号領域における正規化相互相関法を用いて得られた正規化相互相関関数を図示したもの（ｂ）を示している。
【図３】本発明の物体領域探索方法に関して、模式的に手順を示している。
【図４】本発明の物体領域探索プログラムのフローチャートを示している。
【図５】本発明の物体領域探索装置の機能ブロック図を示している。
【図６】実施例１のＨａａｒ型特徴量を示す。
【図７】抽出されたテンプレートを示す。
【図８】評価データを処理するのにかかった計算時間を示す。
【図９】探索結果（正解率）を示す。
【符号の説明】
【００５６】
５０    物体領域探索装置
【図１】
2008015848.tif 000017
【図４】
2008015848.tif 000018
【図５】
2008015848.tif 000019
【図２】
2008015848.tif 000020
【図３】
2008015848.tif 000021
【図６】
2008015848.tif 000022
【図７】
2008015848.tif 000023
【図８】
2008015848.tif 000024
【図９】
2008015848.tif 000025