(57)【要約】【課題】Ｌｏｇ−Ｐｏｌａｒ変換した画像マッチングにおいて、具体的な処理の実現方法を提供することを課題とする。【解決手段】入力画像Ｘからはブロック画像Ｘｋが抽出され、Ｌｏｇ−Ｐｏｌａｒ変換されてブロック画像ＬＸｋが生成される。テンプレート画像ＴはＬｏｇ−Ｐｏｌａｒ変換されてテンプレート画像ＬＴが生成され、テンプレート画像ＬＴを水平方向および垂直方向に展開したパターン画像ＰＬＴが生成される。このブロック画像ＬＸｋとパターン画像ＰＬＴの間で相関処理が行われる。パターン画像ＰＬＴ上においてブロック画像ＬＸｋがマッチングした位置座標から対象物体の回転角度や拡大率が特定される。【選択図】        図２
2004310243.tif 000002
【特許請求の範囲】
【請求項１】
テンプレート画像と入力画像のマッチングを行う方法であって、
前記テンプレート画像をＬｏｇ−Ｐｏｌａｒ変換し、第１画像を得る工程と、
前記第１画像の繰り返しパターン画像を生成する工程と、
前記入力画像をＬｏｇ−Ｐｏｌａｒ変換し、第２画像を得る工程と、
前記繰り返しパターン画像と前記第２画像との間の相関値を計算する相関工程と、
を備えることを特徴とするＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法。
【請求項２】
請求項１に記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、
前記繰り返しパターン画像は、前記第１画像のＬｏｇ−Ｐｏｌａｒ座標における位相軸方向および距離軸方向の長さが２倍となるように、前記第１画像の位相軸方向および距離軸方向の両端に対称に繰り返した画像であることを特徴とするＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法。
【請求項３】
請求項１に記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、Ｌｏｇ−Ｐｏｌａｒ座標における位相軸方向が垂直方向と定義され、Ｌｏｇ−Ｐｏｌａｒ座標における距離軸方向が水平方向と定義されており、
前記第１画像を前記垂直方向の中央で分割した上下の第１分割画像と第２分割画像とした場合、第１展開画像は、前記第１分割画像を前記第２分割画像の下部に連結し、前記第２分割画像を前記第１分割画像の上部に連結した画像であり、
前記第１展開画像を前記水平方向の中央で分割した左右の第３分割画像と第４分割画像とした場合、前記繰り返しパターン画像は、前記第３分割画像を前記第４分割画像の右側部に連結し、前記第４分割画像を前記第３分割画像の左側部に連結した画像であることを特徴とするＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法。
【請求項４】
請求項１ないし請求項３のいずれかに記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、さらに、
前記相関工程において最も高い相関値が検出された前記第２画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の回転角度を検出する工程、
を備えることを特徴とするＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法。
【請求項５】
請求項１ないし請求項３のいずれかに記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、さらに、
前記相関工程において最も高い相関値が検出された前記第２画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の拡大縮小率を検出する工程、
を備えることを特徴とするＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法。
【請求項６】
請求項１ないし請求項５のいずれかに記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、
前記入力画像は、連続したフレームからなる動画像中の１のフレームであり、前記テンプレート画像は、前記１のフレームより時間方向で前の他のフレームから抽出された画像であることを特徴とするＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法。
【請求項７】
請求項１ないし請求項５のいずれかに記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、
前記入力画像は、連続したフレームからなる動画像中の１のフレームであり、前記テンプレート画像は、前記１のフレームより時間方向で前の他のフレームから抽出された複数の画像であることを特徴とするＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法。
【請求項８】
請求項１ないし請求項７のいずれかに記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、
前記テンプレート画像には、顔の画像が含まれており、前記画像マッチング方法は、前記入力画像の中から前記顔の画像を検出することを特徴とするＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法。
【請求項９】
テンプレート画像と入力画像のマッチングを行う方法であって、
前記テンプレート画像をＬｏｇ−Ｐｏｌａｒ変換し、第１画像を得る工程と、
前記第１画像の繰り返しパターン画像を生成する工程と、
前記入力画像からブロック画像を抽出する工程と、
前記ブロック画像をＬｏｇ−Ｐｏｌａｒ変換し、第２画像を得る工程と、
前記繰り返しパターン画像と前記第２画像との間の相関値を計算する相関工程と、
を備えることを特徴とするＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法。
【請求項１０】
テンプレート画像と入力画像のマッチングを行うシステムであって、
前記テンプレート画像および前記入力画像を格納する記憶手段と、
前記テンプレート画像および前記入力画像をＬｏｇ−Ｐｏｌａｒ変換する手段と、
Ｌｏｇ−Ｐｏｌａｒ変換された前記テンプレート画像の繰り返しパターン画像を生成する手段と、
前記繰り返しパターン画像とＬｏｇ−Ｐｏｌａｒ変換された前記入力画像との間の相関値を計算する手段と、
を備えることを特徴とするＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチングシステム。
【請求項１１】
テンプレート画像と入力画像のマッチングを行うプログラムであって、コンピュータに、
前記テンプレート画像をＬｏｇ−Ｐｏｌａｒ変換し、第１画像を得る工程、
前記第１画像の繰り返しパターン画像を生成する工程、
前記入力画像をＬｏｇ−Ｐｏｌａｒ変換し、第２画像を得る工程、
前記繰り返しパターン画像と前記第２画像との間で相関を取る工程、
を実行させることを特徴とするＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチングプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、Ｌｏｇ−Ｐｏｌａｒ変換を利用した画像のマッチング方法に関する。
【０００２】
【従来の技術】
コンピュータを用いてテンプレート画像と入力画像のマッチング処理を行うことにより、入力画像中における対象物体の検出が可能である。ここで、対象物体の画像に回転が加わらず、かつ、拡大縮小も行われていないような場合には、入力画像からブロック画像を切り出し、テンプレート画像と切り出したブロック画像の相関をとればよい。このような方法をとっても、ＣＰＵ負荷はそれ程大きくない。
【０００３】
ところが、対象物体の画像に回転が加わる場合や、拡大縮小している場合には、切り出したブロック画像を様々な角度に回転させた上で、テンプレート画像とマッチング処理を行う必要がある。さらに、それぞれの角度において様々な拡大縮小を行ったブロック画像とテンプレート画像をマッチングさせる必要がある。このため、ＣＰＵ処理負荷が非常に大きくなるとともに、処理時間が長くなるという問題がある。
【０００４】
そこで、Ｌｏｇ−Ｐｏｌａｒ変換を利用したマッチング方法が提案されている。Ｌｏｇ−Ｐｏｌａｒ変換の特徴として、画像の回転や拡大縮小を、画像の平行移動して扱うことが可能となる。つまり、テンプレート画像とブロック画像をそれぞれＬｏｇ−Ｐｏｌａｒ変換し、Ｌｏｇ−Ｐｏｌａｒ変換後のテンプレート画像とブロック画像のマッチングを行うことで、回転や拡大縮小処理を行うことなく、対象物体の検出が可能となるのである。このため、ＣＰＵ負担も小さく処理速度の向上を図ることが可能である。このようなＬｏｇ−Ｐｏｌａｒ変換を利用したマッチング方法は、たとえば、非特許文献１において開示されている。
【０００５】
Ｌｏｇ−Ｐｏｌａｒ変換について説明する。Ｌｏｇ−Ｐｏｌａｒ変換は、Ｃａｒｔｅｓｉａｎ座標（デカルト座標）上の点（ｘ，ｙ）を、極座標（ｒ＝（ｘ２＋ｙ２）１／２，θ＝ｔａｎ−１（ｙ／ｘ））に変換し、さらに、ρ＝ｌｏｇｒのように大きさに関して対数変換するものである。従って、Ｃａｒｔｅｓｉａｎ座標上の点（ｘ，ｙ）における画像情報をＩ（ｘ，ｙ）とし、Ｌｏｇ−Ｐｏｌａｒ変換をＬとすれば、Ｌｏｇ−Ｐｏｌａｒ変換後の画像情報Ｉ＊（ρ，θ）は、数１式のように表すことができる。
【０００６】
【数１】
2004310243.tif 000003
【０００７】
この明細書において、Ｌｏｇ−Ｐｏｌａｒ変換された座標をＬｏｇ−Ｐｏｌａｒ座標と呼び、Ｌｏｇ−Ｐｏｌａｒ座標におけるρ軸を距離軸、θ軸を位相軸と呼ぶことにする。
【０００８】
図１３および図１４は、Ｌｏｇ−Ｐｏｌａｒ変換の性質を示すための図である。以下の説明において、現画像とはＬｏｇ−Ｐｏｌａｒ変換前の画像であり、Ｌｏｇ−Ｐｏｌａｒ画像とはＬｏｇ−Ｐｏｌａｒ変換後の画像を示すこととする。
【０００９】
図１３は、５段階に拡大縮小率を変化させた文字Ａについての現画像を、Ｌｏｇ−Ｐｏｌａｒ変換した場合を例にしている。図からも分かるように、Ｌｏｇ−Ｐｏｌａｒ変換後の画像は、その形状が変化することなく、ρ軸方向に平行移動していることが分かる。
【００１０】
一方、図１４は、７つの角度で回転させた文字Ａについての現画像を、Ｌｏｇ−Ｐｏｌａｒ変換した場合を例としている。図からも分かるように、Ｌｏｇ−Ｐｏｌａｒ変換後の画像は、その形状が変化することなく、θ軸方向に平行移動していることが分かる。さらに、θ軸方向で画像の端部からはみ出した画像は、反対側端部に付加されている。つまり、文字Ａが現画像において回転した場合、Ｌｏｇ−Ｐｏｌａｒ画像はθ軸方向に循環する性質を示している。
【００１１】
【非特許文献１】
栗田多喜夫、外２名、「Ｌｏｇ−Ｐｏｌａｒ画像の高次局所自己相関特徴を用いた大きさに不変な顔画像の認識」、電子情報通信学会論文誌，  Ｄ−ＩＩ，  Ｖｏｌ  Ｊ８０−Ｄ−ＩＩ，  Ｎｏ．８，  ｐｐ．２２０９−２２１７，  １９９７。
【００１２】
【発明が解決しようとする課題】
上述したように、Ｌｏｇ−Ｐｏｌａｒ変換後の画像同士をマッチングすることで、ＣＰＵ負荷の低減と処理速度の高速化を図ることが可能である。しかし、従来Ｌｏｇ−Ｐｏｌａｒ変換後の画像同士をマッチングさせる処理について、具体的な方策を示したものはなかった。
【００１３】
そこで、本発明は前記問題点に鑑み、Ｌｏｇ−Ｐｏｌａｒ変換を利用したマッチング処理の具体的な方策を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記課題を解決するため、請求項１記載の発明は、テンプレート画像と入力画像のマッチングを行う方法であって、前記テンプレート画像をＬｏｇ−Ｐｏｌａｒ変換し、第１画像を得る工程と、前記第１画像の繰り返しパターン画像を生成する工程と、前記入力画像をＬｏｇ−Ｐｏｌａｒ変換し、第２画像を得る工程と、前記繰り返しパターン画像と前記第２画像との間の相関値を計算する相関工程と、を備えることを特徴とする。
【００１５】
請求項２記載の発明は、請求項１に記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、前記繰り返しパターン画像は、前記第１画像のＬｏｇ−Ｐｏｌａｒ座標における位相軸方向および距離軸方向の長さが２倍となるように、前記第１画像の位相軸方向および距離軸方向の両端に対称に繰り返した画像であることを特徴とする。
【００１６】
請求項３記載の発明は、請求項１に記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、Ｌｏｇ−Ｐｏｌａｒ座標における位相軸方向が垂直方向と定義され、Ｌｏｇ−Ｐｏｌａｒ座標における距離軸方向が水平方向と定義されており、前記第１画像を前記垂直方向の中央で分割した上下の第１分割画像と第２分割画像とした場合、第１展開画像は、前記第１分割画像を前記第２分割画像の下部に連結し、前記第２分割画像を前記第１分割画像の上部に連結した画像であり、前記第１展開画像を前記水平方向の中央で分割した左右の第３分割画像と第４分割画像とした場合、前記繰り返しパターン画像は、前記第３分割画像を前記第４分割画像の右側部に連結し、前記第４分割画像を前記第３分割画像の左側部に連結した画像であることを特徴とする。
【００１７】
請求項４記載の発明は、請求項１ないし請求項３のいずれかに記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、さらに、前記相関工程において最も高い相関値が検出された前記第２画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の回転角度を検出する工程、を備えることを特徴とする。
【００１８】
請求項５記載の発明は、請求項１ないし請求項３のいずれかに記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、さらに、前記相関工程において最も高い相関値が検出された前記第２画像の前記繰り返しパターン画像中における位置座標から、マッチングされた対象物体の画像の拡大縮小率を検出する工程、を備えることを特徴とする。
【００１９】
請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、前記入力画像は、連続したフレームからなる動画像中の１のフレームであり、前記テンプレート画像は、前記１のフレームより時間方向で前の他のフレームから抽出された画像であることを特徴とする。
【００２０】
請求項７記載の発明は、請求項１ないし請求項５のいずれかに記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、前記入力画像は、連続したフレームからなる動画像中の１のフレームであり、前記テンプレート画像は、前記１のフレームより時間方向で前の他のフレームから抽出された複数の画像であることを特徴とする。
【００２１】
請求項８記載の発明は、請求項１ないし請求項７のいずれかに記載のＬｏｇ−Ｐｏｌａｒ変換を用いた画像マッチング方法において、前記テンプレート画像には、顔の画像が含まれており、前記画像マッチング方法は、前記入力画像の中から前記顔の画像を検出することを特徴とする。
【００２２】
請求項９記載の発明は、テンプレート画像と入力画像のマッチングを行う方法であって、前記テンプレート画像をＬｏｇ−Ｐｏｌａｒ変換し、第１画像を得る工程と、前記第１画像の繰り返しパターン画像を生成する工程と、前記入力画像からブロック画像を抽出する工程と、前記ブロック画像をＬｏｇ−Ｐｏｌａｒ変換し、第２画像を得る工程と、前記繰り返しパターン画像と前記第２画像との間の相関値を計算する相関工程と、を備えることを特徴とする。
【００２３】
請求項１０記載の発明は、テンプレート画像と入力画像のマッチングを行うシステムであって、前記テンプレート画像および前記入力画像を格納する記憶手段と、前記テンプレート画像および前記入力画像をＬｏｇ−Ｐｏｌａｒ変換する手段と、Ｌｏｇ−Ｐｏｌａｒ変換された前記テンプレート画像の繰り返しパターン画像を生成する手段と、前記繰り返しパターン画像とＬｏｇ−Ｐｏｌａｒ変換された前記入力画像との間の相関値を計算する手段と、を備えることを特徴とする。
【００２４】
請求項１１記載の発明は、テンプレート画像と入力画像のマッチングを行うプログラムであって、コンピュータに、前記テンプレート画像をＬｏｇ−Ｐｏｌａｒ変換し、第１画像を得る工程、前記第１画像の繰り返しパターン画像を生成する工程、前記入力画像をＬｏｇ−Ｐｏｌａｒ変換し、第２画像を得る工程、前記繰り返しパターン画像と前記第２画像との間で相関を取る工程、を実行させることを特徴とする。
【００２５】
【発明の実施の形態】
｛実施の形態１｝
以下、図面を参照しつつ本発明の実施の形態について説明する。図１は、本発明のＬｏｇ−Ｐｏｌａｒ変換を用いたマッチング方法を実行する画像処理装置１０の機能ブロック図である。
【００２６】
画像処理装置１０は、記憶部１１、ブロック画像抽出部１２、Ｌｏｇ−Ｐｏｌａｒ変換部１３、相関部１４、パターン画像生成部１５、角度倍率特定部１６、マッチング結果抽出部１７を備える。
【００２７】
なお、図示省略しているが、画像処理装置１０は、ＣＰＵおよびＣＰＵで実行させるプログラムを備えている。上記機能部１２〜１７は、ＲＡＭ等のハードウェア資源を利用しながらＣＰＵ上でプログラムが実行されることによって実現される機能部である。ただし、各機能部１２〜１７の一部や全部がハードウェアで構成されていてもよい。また、記憶部１１はたとえばＤＲＡＭ等のメモリである。
【００２８】
次に、各機能部の処理の内容を図２、図３を参照しながら説明する。記憶部１１には、入力画像Ｘおよびテンプレート画像Ｔが格納されている（図２の（ａ）と（ｄ））。テンプレート画像Ｔは、検出しようとする対象物体の画像を含んでいる。そして、この後の処理において、入力画像Ｘ中に対称物体の画像が含まれているか否かを検出する。
【００２９】
ブロック画像抽出部１２は、入力画像Ｘからブロック画像を抽出する機能部である（図２の（ｂ））。ここで、入力画像Ｘからは、その中心座標位置を所定間隔でずらしながら、Ｎ個のブロック画像が抽出されるものとする。そして、ブロック画像抽出部１２は、ブロック画像Ｘｋ（ｋ＝１，２，…，Ｎ）を、Ｌｏｇ−Ｐｏｌａｒ変換部１３に受け渡す。また、テンプレート画像ＴもＬｏｇ−Ｐｏｌａｒ変換部１３に受け渡される。
【００３０】
そして、Ｌｏｇ−Ｐｏｌａｒ変換部１３において、ブロック画像Ｘｋおよびテンプレート画像ＴがＬｏｇ−Ｐｏｌａｒ変換され、それぞれＬｏｇ−Ｐｏｌａｒ変換後のブロック画像ＬＸｋおよびＬｏｇ−Ｐｏｌａｒ変換後のテンプレート画像ＬＴが出力される（図２の（ｃ）と（ｅ））。
【００３１】
パターン画像生成部１５は、テンプレート画像ＬＴをＬｏｇ−Ｐｏｌａｒ画像におけるθ軸方向およびρ軸方向に繰り返し展開したパターン画像ＰＬＴを生成する（図２の（ｆ））。θ軸とは、上述したように、Ｌｏｇ−Ｐｏｌａｒ変換座標（極座標）における位相軸を示しており、ρ軸とは、Ｌｏｇ−Ｐｏｌａｒ変換座標（極座標）における距離軸を示している。ここでは、θ軸方向を画像における垂直方向、ρ軸方向を画像における水平方向とする。
【００３２】
ここで、テンプレート画像ＬＴを垂直方向および水平方向の中央で分割し、図３に示すような、４つの領域Ｒ１，Ｒ２，Ｒ３，Ｒ４を考える。そして、領域Ｒ１，Ｒ２の上部に領域Ｒ３，Ｒ４を連結し、領域Ｒ３，Ｒ４の下部に領域Ｒ１，Ｒ２を連結することによって、垂直４ブロック、水平２ブロックの展開画像を考えると、この展開画像は、垂直方向にＲ３，Ｒ２，Ｒ３，Ｒ１が連結された左側領域ＲＬと、垂直方向にＲ４，Ｒ２，Ｒ４，Ｒ２が連結された右側領域ＲＲと考えることができる。そして、パターン画像ＰＬＴは、この左側領域ＲＬの左側部に右側領域ＲＲを連結し、右側領域ＲＲの右側部に左側領域ＲＬを連結した画像である。したがって、パターン画像ＰＬＴは、テンプレート画像ＬＴの垂直方向および水平方向の大きさが２倍となるように、テンプレート画像ＬＴの垂直方向および水平方向の両端に対称に繰り返し画像を展開したものである。
【００３３】
図４は、文字Ａについてのパターン画像ＰＬＴを示している。図４（ａ）は、文字Ａについての現画像、図４（ｂ）は、文字ＡについてのＬｏｇ−Ｐｏｌａｒ画像、図４（ｃ）は、文字Ａについてのパターン画像ＰＬＴを示している。
【００３４】
図５は、顔写真についてのパターン画像ＰＬＴを示している。図５（ａ）は、顔写真についての現画像、図５（ｂ）は、顔写真についてのＬｏｇ−Ｐｏｌａｒ画像、図５（ｃ）は、顔写真についてのパターン画像ＰＬＴを示している。
【００３５】
相関部１４は、パターン画像ＰＬＴの画像領域内でＬｏｇ−Ｐｏｌａｒ変換後のブロック画像ＬＸｋを移動させつつ、ブロック画像ＬＸｋとパターン画像ＰＬＴの間で相関値を計算する機能部である。相関値の計算方法は特に限定されるものではなく、両画像の差分値を算出する方法や、両画像の画素値を乗算する方法など公知の相関値計算方法を用いればよい。相関部１４は、ブロック画像抽出部１２から抽出されたＮ個のブロック画像Ｘｋに対して、それぞれ相関値を算出した後、相関値のピークを求める。たとえば、差分値が最小となったブロック画像Ｘｋを求めることにより、対象物体の画像の存在するブロックを検知することができるのである。
【００３６】
角度・倍率特定部１６は、対象物体の画像の存在したブロック画像Ｘｋにおいて、対象物体の画像がテンプレート画像Ｔに対して、どれだけ傾いているか、どれだけ拡大あるいは縮小されているかを算出する。前述したように、Ｌｏｇ−Ｐｏｌａｒ画像においては、Ｌｏｇ−Ｐｏｌａｒ変換前の画像の回転および拡大縮小が平行移動としてとらえることができる。したがって、パターン画像ＰＬＴとマッチングしたブロック画像Ｘｋの、パターン画像ＰＬＴ上における座標位置から、画像の回転角度および拡大縮小率を求めることができるのである。
【００３７】
マッチング結果出力部１７は、相関部１４および角度・倍率特定部１６からの出力に基づいてマッチング処理の結果を出力する。出力内容は、テンプレート画像Ｔがどのブロック画像Ｘｋに存在していたかが示される。さらには、どのような回転角度と拡大縮小率でブロック画像Ｘｋに存在していたのかが示される。
【００３８】
図６は、以上説明した画像マッチング処理のフローチャートである。まず、画像処理装置１０は、入力画像Ｘを取得する（ステップＳ１）。入力画像Ｘは、たとえば、カメラ等の撮像装置から入力される。他にも、ネットワーク経由や各種媒体から取得する形態でもよい。また、テンプレート画像Ｔも、カメラ等の撮像装置から取得する形態でもよいし、ネットワーク経由で取得する形態でもよい。さらに、テンプレート画像Ｔは、画像処理などにより、対象画像を切り出す処理が行われることもある。
【００３９】
次に、Ｌｏｇ−Ｐｏｌａｒ変換部１３において、テンプレート画像ＴのＬｏｇ−Ｐｏｌａｒ変換処理が行われる（ステップＳ２）。さらに、パターン画像生成部１５において、パターン画像ＰＬＴが生成される（ステップＳ３）。
【００４０】
次に、ブロック画像抽出部１２は、カウンタｋに１をセットし（ステップＳ４）、入力画像Ｘからブロック画像Ｘｋを取得する（ステップＳ５）。ｋ＝１がセットされている初回時には、ブロック画像Ｘ１を取得する。
【００４１】
次に、Ｌｏｇ−Ｐｏｌａｒ変換部１３において、ブロック画像ＸｋのＬｏｇ−Ｐｏｌａｒ変換処理が行われる（ステップＳ６）。ｋ＝１がセットされている初回時には、ブロック画像Ｘ１のＬｏｇ−Ｐｏｌａｒ変換処理が行われ、ブロック画像ＬＸ１が生成される。
【００４２】
次に、相関部１４において、ブロック画像ＬＸｋとパターン画像ＰＬＴとの間で相関値が計算される（ステップＳ７）。ｋ＝１がセットされている初回時には、ブロック画像ＬＸ１とパターン画像ＰＬＴとの間での相関値が計算される。この相関値の計算は、ブロック画像ＬＸｋをパターン画像ＰＬＴの領域内で平行移動させながら実行される。したがって、１つのブロック画像ＬＸｋに対して複数の相関値が計算される。
【００４３】
相関部１４において相関値の計算処理が終了すると、ブロック画像抽出部１２は、カウンタｋに１を加算し（ステップＳ８）、カウンタｋがＮを超えたか否か判定する（ステップＳ９）。Ｎは、前述したように、抽出するブロック画像の全数である。カウンタｋがＮを超えていない場合には、カウンタｋ＋１について、ステップＳ６〜Ｓ８を実行する。前回が初回時であった場合には、ｋ＝２となるので、ブロック画像ＬＸ２に対してステップＳ６〜Ｓ８が実行され、相関値が算出される。
【００４４】
以上の処理を繰り返し、ブロック画像ＬＸＮに対しての相関値の計算が終了すると、相関部１４は、相関値のピークを求める（ステップＳ１０）。前述したように、各ブロック画像ＬＸｋに対して複数の相関値が計算されるが、各ブロック画像ＬＸｋで計算される相関値の数をＭとすれば、相関部１４は、Ｎ×Ｍ個の相関値の中からピークを求める。これにより、相関ピークが検出されたブロック画像を特定できるとともに、当該ブロック画像がパターン画像ＰＬＴ中のどの座標位置でマッチングがとれたかを判定することができる。
【００４５】
次に、角度・倍率特定部１６は、相関部１４で特定された情報（つまり、いずれのブロック画像でピークが検出されたかという情報と、パターン画像ＰＬＴ中のどの座標位置でマッチングがとれたかという情報）に基づいて、対象物体の画像の回転角度および拡大縮小倍率を特定する（ステップＳ１１）。これにより、テンプレート画像Ｔに存在する対象物体の画像が、どのブロック画像Ｘｋにどのような回転角度と拡大縮小率で存在するかを特定することが可能である。そして、この特定情報がマッチング結果出力部１７により出力される（ステップＳ１２）。出力結果は、たとえば、モニタ出力される。出力内容は、たとえば、入力画像Ｘ中のマッチング位置がハイライトされるなどの方法で行われる。
【００４６】
このように、本実施の形態によれば、画像のマッチング処理をＬｏｇ−Ｐｏｌａｒ変換後の画像に対して行うことにより、画像の回転処理や拡大縮小処理が不要となり、ＣＰＵ負荷を低減させることが可能である。また、処理速度の向上を図ることができる。
【００４７】
そして、Ｌｏｇ−Ｐｏｌａｒ変換されたテンプレート画像ＬＴを繰り返したパターン画像ＰＬＴを用いてマッチング処理を行うので、対象物体の画像に回転が加わっている場合や、拡大縮小されている場合においても、パターン画像ＰＬＴ内においてブロック画像ＬＸｋを平行移動させながらマッチングさせることが可能である。
【００４８】
図７ないし図１０を参照しながら本実施の形態におけるマッチング処理の利点について説明する。図７ないし図９における領域３０は、画像のある特徴部に注目した領域である。
【００４９】
たとえば、図７に示すように、ブロック画像ＬＸｋがテンプレート画像ＬＴの中に収まる状態で、領域３０がマッチングする場合、パターン画像ＰＬＴを用いる必要はない。
【００５０】
ところが、対象物体の画像に拡大縮小が加わると、領域３０がブロック画像ＬＸｋの中で、ρ軸方向（ここでは水平方向）に移動することとなる。そして、領域３０がブロック画像ＬＸｋの右側部分に移動している場合には、図８に示すように、ブロック画像ＬＸｋは、テンプレート画像ＬＴから左側にはみ出した範囲でマッチングすることとなる。また、領域３０がブロック画像ＬＸｋの左側部分に移動している場合には、図９に示すように、ブロック画像ＬＸｋは、テンプレート画像ＬＴから右側にはみ出した範囲でマッチングすることとなる。このような場合にも、本実施の形態におけるマッチング処理方法は、テンプレート画像ＬＴを水平方向に展開したパターン画像ＰＬＴを用いているので、マッチング処理を行うことができるのである。
【００５１】
また、図１０では、対象物体の画像に回転が加わり、Ｌｏｇ−Ｐｏｌａｒ画像の循環性質から、領域３０が上部の領域３１と下部の領域３２に分断された様子を示している。このような場合にも、ブロック画像ＬＸｋは、テンプレート画像ＬＴから下側にはみ出した範囲でマッチングすることとなる。
【００５２】
同様に、図１１では、対象物体の画像に回転が加わり、Ｌｏｇ−Ｐｏｌａｒ画像の循環性質から、領域３０が上部の領域３３と下部の領域３４に分断された様子を示している。このような場合にも、ブロック画像ＬＸｋは、テンプレート画像ＬＴから上側にはみ出した範囲でマッチングすることとなる。
【００５３】
そして、このような場合にも、本実施の形態におけるマッチング処理方法は、テンプレート画像ＬＴを垂直方向に展開したパターン画像ＰＬＴを用いているので、マッチング処理を行うことができるのである。
【００５４】
さらには、パターン画像ＰＬＴにおいては、テンプレート画像ＬＴの上部の画像がテンプレート画像の下部に連結され、テンプレート画像ＬＴの下部の画像がテンプレート画像の上部に連結されているので、ブロック画像Ｘｋにおいて対象物体の画像が回転している場合であっても、対象物体の画像の全体をマッチングさせることが可能であり、精度の高いマッチング処理が可能となるのである。
【００５５】
なお、本実施の形態において、入力画像Ｘからブロック画像Ｘｋを抽出し、ブロック画像Ｘｋに対してマッチング処理を行うこととしているので、様々なサイズの入力画像Ｘに対してマッチング処理が可能である。ただし、入力画像Ｘのサイズがテンプレート画像Ｔより小さい場合など、１対１でのマッチングを行う場合においては、ブロック画像の抽出処理は不要である。
【００５６】
また、本実施の形態においては、テンプレート画像ＬＴの垂直方向および水平方向のサイズを２倍とすることによって、パターン画像ＰＬＴを生成することとしているが、パターン画像ＰＬＴのサイズは特に限定されるものではない。ただし、θ軸方向のサイズについては、全ての回転角度に対応するために、２倍以上のサイズがあることが望ましい。
【００５７】
また、テンプレート画像Ｔとして図５に示したような顔画像を用いることにより、人物認識システムなどに応用可能である。
【００５８】
｛実施の形態２｝
次に、本発明の実施の形態２について説明する。実施の形態２に係る画像処理装置２０は、動画像に対してマッチング処理を行う。
【００５９】
図１２は、画像処理装置２０の機能ブロック図である。画像処理装置２０の構成のうち、ブロック画像抽出部１２、Ｌｏｇ−Ｐｏｌａｒ変換部１３、相関部１４、パターン画像生成部１５、角度・倍率特定部１６、マッチング結果出力部１７の機能は、実施の形態１における各機能部と略同様である。以下、実施の形態１と異なる構成および処理内容を中心に説明する。
【００６０】
画像処理装置２０は、カメラ等の撮像装置から動画像として連続するフレーム画像を入力する。あるいは、ネットワーク経由でフレーム画像を入力するような形態でもよい。
【００６１】
入力した動画像は、フレーム画像１，２，…，ｍ，…，ｍ＋ｎ，…として記憶部１１に格納される。テンプレート画像抽出部２１は、ある時点のフレーム画像からテンプレート画像Ｔを抽出する。ここでは、フレーム画像ｍからテンプレート画像Ｔを抽出するものとする。
【００６２】
また、ブロック画像抽出部１２は、テンプレート画像Ｔを抽出したフレーム画像ｍから所定時間経過後のフレーム画像を取得し、このフレーム画像からブロック画像Ｘｋを抽出する。ここでは、フレーム画像ｍ＋ｎを取得し、フレーム画像ｍ＋ｎからブロック画像Ｘｋを抽出するものとする。
【００６３】
この後の処理は実施の形態１と同様である。つまり、ブロック画像Ｘｋとテンプレート画像ＴをＬｏｇ−Ｐｏｌａｒ変換し、テンプレート画像ＬＴを展開してパターン画像ＰＬＴを生成し、ブロック画像ＬＸｋとパターン画像ＰＬＴ間で相関処理を行うのである。
【００６４】
このような処理を行うことにより、画像処理装置２０は、ある時間におけるフレーム画像と、その後所定時間経過したフレーム画像間のマッチング処理を行うことが可能である。そして、ある時間に存在した対象画像が、所定時間経過後に、どのような位置に移動したか、どのような角度で回転したか、どのような倍率で拡大縮小されたかといった情報を得ることが可能である。これにより、たとえば、ＭＰＥＧなどの画像を符号化する処理において、動きベクトル（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）を検出する処理に応用させることが可能である。従って、ブロック毎のより正確な動きベクトルの導出が可能となり、また、動き補償や動き予測の性能を向上させることが可能である。
【００６５】
また、フレーム画像ｍから複数のテンプレート画像を抽出し、各テンプレート画像とフレーム画像ｍ＋ｎとの間でマッチング処理を行うようにしてもよい。これにより、たとえば、フレーム画像ｍに２つの人物画像があった場合に、フレーム画像ｍ＋ｎにおいて、それぞれの人物画像がどの位置にどのような回転角度で移動したかといった検出を行うことが可能である。これにより、複数の動きベクトルの検出も可能となる。
【００６６】
【発明の効果】
以上説明したように、請求項１、１０、１１記載の発明では、Ｌｏｇ−Ｐｏｌａｒ変換されたテンプレート画像をさらに展開した繰り返しパターン画像を用いて相関処理を行うので、対象物体の画像に回転や拡大縮小が加わっている場合にも、マッチング可能である。
【００６７】
請求項２、３記載の発明では、対象物体の画像の全ての回転角度に対して精度の高いマッチングが可能である。
【００６８】
請求項４記載の発明では、マッチングした際の位置関係から対象物体の画像の回転角度を検出するので、対象物体の回転状態を含めた検出が可能である。
【００６９】
請求項５記載の発明では、マッチングした際の位置関係から対象物体の画像の拡大縮小率を検出するので、対象物体の拡大縮小状態を含めた検出が可能である。
【００７０】
請求項６または請求項７に記載の発明では、動画像について、異なるフレーム間のマッチング処理が可能であり、ブロック毎のより正確な動きベクトルの導出が可能となり、また、動き補償や動き予測の性能を向上させることが可能である。
【００７１】
請求項８記載の発明では、顔の検出を行うので、人物認識に応用可能である。
【００７２】
請求項９記載の発明では、入力画像からブロック画像を抽出した上でＬｏｇ−Ｐｏｌａｒ変換を利用したマッチングを行うので、様々な大きさの入力画像に対してマッチング処理可能である。
【図面の簡単な説明】
【図１】実施の形態１にかかる画像処理装置の機能ブロック図である。
【図２】マッチング処理のデータの流れを示す図である。
【図３】パターン画像を示す図である。
【図４】文字Ａのテンプレート画像に対するＬｏｇ−Ｐｏｌａｒ画像およびパターン画像を示す図である。
【図５】顔写真のテンプレート画像に対するＬｏｇ−Ｐｏｌａｒ画像およびパターン画像を示す図である。
【図６】マッチング処理のフローチャートである。
【図７】マッチングの状態を示す図である。
【図８】対象物体の拡大率が変化している場合のマッチングの状態を示す図である。
【図９】対象物体の拡大率が変化している場合のマッチングの状態を示す図である。
【図１０】対象物体が回転している場合のマッチングの状態を示す図である。
【図１１】対象物体が回転している場合のマッチングの状態を示す図である。
【図１２】実施の形態２にかかる画像処理装置の機能ブロック図である。
【図１３】現画像の拡大率の変化とＬｏｇ−Ｐｏｌａｒ画像との関係を示す図である。
【図１４】現画像の回転角度の変化とＬｏｇ−Ｐｏｌａｒ画像との関係を示す図である。
【符号の説明】
ＬＴ    ｌｏｇ−ｐｏｌａｒ変換後のテンプレート画像
ＬＸｋ  ｌｏｇ−ｐｏｌａｒ変換後のブロック画像
ＰＬＴ  パターン画像
Ｔ      テンプレート画像
Ｘ      入力画像
Ｘｋ    ブロック画像
【図１】
2004310243.tif 000004
【図２】
2004310243.tif 000005
【図３】
2004310243.tif 000006
【図４】
2004310243.tif 000007
【図５】
2004310243.tif 000008
【図６】
2004310243.tif 000009
【図７】
2004310243.tif 000010
【図８】
2004310243.tif 000011
【図９】
2004310243.tif 000012
【図１０】
2004310243.tif 000013
【図１１】
2004310243.tif 000014
【図１２】
2004310243.tif 000015
【図１３】
2004310243.tif 000016
【図１４】
2004310243.tif 000017