(57)【特許請求の範囲】
【請求項１】
２枚の画像それぞれが複数に分割されてなる領域について、その領域に対応する画像データを、それぞれ所定の分解能をもつ、直線成分の位置ρと方位θ１とをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ１）に変換し、
前記２枚の画像それぞれについて１つずつ選択されてなる２つの領域からなるペアについて、該ペアを構成する２つの領域に関するパラメータ平面上の２つのデータＨＣ１（ρ，θ１），ＨＣ２（ρ，θ１）間の位置ρの方向についての相関処理を実行して相関データを求めるにあたり、第１の相関データ
【数１】
0004037503.tif 000007
但し、＊は相関処理のための演算
τ１＝τ０＋Δτ（Ｄｘ，Ｄｙ，θ１）
τ０は、ペアを構成する２つの領域どうしの変位を無視したときの相関処理の        ための位置ρの変位、
Δτ（Ｄｘ，Ｄｙ，θ１）は、ペアを構成する２つの領域どうしの変位と、
直線成分の方位θ１とに起因する位置ρの変位をあらわす。
を求めるとともに、求められた第１の相関データＣＣ１（θ１，τ１）と、該方位θ１の近傍における、該方位θ１の分解能よりも細かい分解能を有する１つ以上の方位θ２ｉ（ｉ＝１，２，…，ｎ；１≦ｎ）とを用いて、１つ以上の第２の相関データ
ＣＣ２ｉ（θ２ｉ，τ２ｉ）＝ＣＣ１（θ１，τ１）
（ｉ＝１，２，…，ｎ；１≦ｎ）
但し、τ２ｉ＝τ０＋Δτ（Ｄｘ，Ｄｙ，θ２ｉ）
を求めて、これら複数の相関データＣＣ１（θ１，τ１），ＣＣ２ｉ（θ２ｉ，τ２ｉ）を投票することにより、直線成分の位置の変位τと、直線成分の、方位θ１の分解能よりも分解能が向上した方位θとをパラメータとしてもつ相関データＣＣ（θ，τ）を求めることを特徴とする画像特徴抽出方法。
【請求項２】
前記第１および第２の相関データＣＣ１（θ１，τ１），ＣＣ２（θ２ｉ，τ２ｉ）（ｉ＝１，２，…，ｎ；１≦ｎ）を求める処理を、ペアを構成する２つの領域のうちの一方の領域が同一の領域であることが許容された複数のペアそれぞれについて実行するとともに、各ペアに関して求められた第１および第２の相関データＣＣ１（θ１，τ１），ＣＣ２ｉ（θ２ｉ，τ２ｉ）（ｉ＝１，２，…，ｎ；１≦ｎ）を複数のペアにわたって投票することにより、前記相関データＣＣ（θ，τ）を求めることを特徴とする請求項１記載の画像特徴抽出方法。
【請求項３】
前記相関データＣＣ（θ，τ）を、前記２枚の画像どうしの相対的な二次元変位τｘ，τｙをパラメータとするパラメータ平面上のデータＶ（τｘ，τｙ）に変換することを特徴とする請求項１又は２記載の画像特徴抽出方法。
【請求項４】
２枚の画像それぞれが複数に分割されてなる領域について、その領域に対応する画像データを、それぞれ所定の分解能をもつ、直線成分の位置ρと方位θ１とをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ１）に変換する変換部と、
前記２枚の画像それぞれについて１つずつ選択されてなる２つの領域からなるペアについて、該ペアを構成する２つの領域に関するパラメータ平面上の２つのデータＨＣ１（ρ，θ１），ＨＣ２（ρ，θ１）間の位置ρの方向についての相関処理を実行して相関データを求める相関処理部とを備え、
該相関処理部が、第１の相関データ
【数２】
0004037503.tif 000008
但し、＊は相関処理のための演算
τ１＝τ０＋Δτ（Ｄｘ，Ｄｙ，θ１）
τ０は、ペアを構成する２つの領域どうしの変位を無視したときの相関処理の        ための位置ρの変位、
Δτ（Ｄｘ，Ｄｙ，θ１）は、ペアを構成する２つの領域どうしの変位と、
直線成分の方位θ１とに起因する位置ρの変位をあらわす。
を求めるとともに、求められた第１の相関データＣＣ１（θ１，τ１）と、該方位θ１の近傍における、該方位θ１の分解能よりも細かい分解能を有する１つ以上の方位θ２ｉ（ｉ＝１，２，…，ｎ；１≦ｎ）とを用いて、１つ以上の第２の相関データ
ＣＣ２ｉ（θ２ｉ，τ２ｉ）＝ＣＣ１（θ１，τ１）
（ｉ＝１，２，…，ｎ；１≦ｎ）
但し、τ２ｉ＝τ０＋Δτ（Ｄｘ，Ｄｙ，θ２ｉ）
を求めて、これら複数の相関データＣＣ１（θ１，τ１），ＣＣ２ｉ（θ２ｉ，τ２ｉ）を投票することにより、直線成分の位置の変位τと、直線成分の、方位θ１の分解能よりも分解能が向上した方位θとをパラメータとしてもつ相関データＣＣ（θ，τ）を求めるものであることを特徴とする画像特徴抽出装置。
【請求項５】
前記相関データＣＣ（θ，τ）を、前記２枚の画像どうしの相対的な二次元変位τｘ，τｙをパラメータとするパラメータ平面上のデータＶ（τｘ，τｙ）に変換する逆変換部と、
該データＶ（τｘ，τｙ）に基づいて、前記２枚の画像間の相対的な変位をあらわす二次元ベクトルを求めるベクトル演算部とを備えたことを特徴とする請求項４記載の画像特徴抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、２枚の画像間の位置ずれを特徴づける画像上の特徴を抽出する画像特徴抽出方法、およびその方法が実施された画像特徴抽出装置に関する。
【０００２】
【従来の技術】
従来より、２枚の画像間の位置の移動量を検出する技術が、ロボットの眼、あるいはマルチメディアにおける画像解析、画像認識等の分野で広く必要されており、例えば連続した時系列画像からの速度ベクトルの検出や２つのカメラ画像からの視差の検出などに適用されている。
【０００３】
２枚の画像間の位置ずれを検出するにあたり、画像全体をまとめて処理するのでは演算量が膨大であり、また異なった対象領域を同一に扱うと精度の低下が問題となるため、その解決策として、画像を複数の小領域に分割し、各領域毎に独立に線分検出あるいは速度検出などの処理を行なう手法が採られている。この手法を用いれば、各小領域の演算量は大幅に小さくなり、それらの並列分散処理による高速化も可能となる。また画像間の必要な部分のみに処理を限定することで効率化を図ることもできる。
【０００４】
上記の、画像を複数の小領域に分割して各小領域毎に演算を行なう手法に、ハフ変換を組み合わせた手法が提案されている。
図１は、画像を複数の小領域に分割し、ハフ変換を行なって２つの画像間の変位を求める手法の説明図である。
ここでは、画像１と画像２という、そこに描かれている画像（ここでは簡単のため直線１と直線２という２本の直線のみが描かれているものとする）が僅かにずれた２つの画像が用意され（Ａ）、それら２つの画像それぞれから各小領域（ここでは各画像の中央の領域）が切り出され（Ｂ）、それぞれの小領域がハフ変換される（Ｃ）。ここでは、画像２は、画像１と比べ、図１（Ｂ）に矢印で示すベクトルだけそこに描かれている直線成分がずれた位置にあるものとする。
【０００５】
図２は、ハフ変換の手法を示す模式図である。
ハフ変換は、図２（Ａ）に示すように、直線成分を、位置（所定の原点０からの距離ρ）と方位θとであらわす変換方式であり、実際の演算にあたっては、図２（Ａ）の画像（小領域）上の〇印の点は、その点を通る様々な直線成分に共通な点であることから、それら様々な直線成分の位置ρと方位θを図２（Ｂ）に〇印で示すように、ρ−θ平面上にプロットする（このプロットを、‘投票’と称する）。それらのプロット（投票）された点（〇印）の集合は、ある１つの正弦波の一部となる。同様に、図２（Ａ）の×印、△印の点も、ρ−θ平面上では、各正弦波の一部（それぞれ×印、△印であらわす）としてあらわされる。そこでρ−θ平面上で〇，×，△の各印が重なる点、すなわち投票により獲得したポイントの高い点が、図２（Ａ）に示す直線に対応することになる。
【０００６】
ここでは、このような対応づけを、図２（Ａ）の画像をｘ，ｙの各方向に所定のピッチ（分解能）で区切り、図２（Ｂ）の位置ρ，方位θについても所定の分解能を設定し、図２（Ａ）の、ある所定のピッチで区切られた各点ごとに上記の対応づけ、すなわち投票を行なう。こうすることにより、図２（Ａ）中に描かれた画像を複数の直線成分の集合とみなしたとき、それら複数の直線成分が、投票により獲得したポイントの高い複数の点に変換されたことになる。
【０００７】
図１に戻って説明を続ける。
図１（Ｃ）では、各画像１，２のそれぞれから切り出された各小領域がハフ変換され、２本の直線１，２が２つの点に変換される。ここでは、ハフ変換後の２つの画像をそれぞれＨＣ1 （ρ，θ），ＨＣ2 （ρ，θ）であらわす。ここで、画像１と画像２とでは画像は回転せず平行移動のみであるとすると、ハフ変換データＨＣ1 （ρ，θ），ＨＣ2 （ρ，θ）上では、各直線１，２をあらわす点は、それら２つのハフ変換データＨＣ1 （ρ，θ），ＨＣ2 （ρ，θ）上で同一の方位θ上の点となる。図１（Ｃ）では、２つのハフ変換データＨＣ1 （ρ，θ），ＨＣ2 （ρ，θ）上で直線１，２をあらわす点は、同一の方位であって、位置ρ方向にそれぞれτ1 ，τ2 だけずれた点としてあらわされている。
【０００８】
そこで、次に、これら２つのハフ変換データＨＣ1 （ρ，θ），ＨＣ2 （ρ，θ）について、位置ρ方向についての相関処理のための演算
ＨＣ1 （ρ，θ1 ）＊ＨＣ2 （ρ＋τ，θ）
を実行する。ここで、相関処理のための演算＊は、典型的には乗算を意味する。この演算（乗算）＊は、ＨＣ1 （ρ，θ）のρ−θ平面における各点とＨＣ2 （ρ＋τ，θ）の、ρ−θ平面における各点との各ペア毎に行なわれる。その結果は、図１（Ｄ）（ａ）に示す、ρ，θ，τの三次元データとなる。そこで次に、このデータをρ方向に投影する。すなわち、
【０００９】
【数３】
0004037503.tif 000002
【００１０】
を演算し、図１（Ｄ）（ｂ）に示すような、位置ρの変位τと、方位θとの二次元データＣＣ（τ，θ）を求める。
この図１（Ｄ）（ｂ）には、図１（Ａ）の画像１，２に示す２本の直線１，２に対応する２点Ｐ1 ，Ｐ2 しか示されていないが、同じ移動ベクトルを持つもっと多数の直線成分について同様の点を求めると、それらの点は１つの正弦波の一部に沿って並ぶ。
【００１１】
そこで、次に逆ハフ変換を実行することにより、２つの画像１，２どうしの変位（移動ベクトル）が求められる。
尚、ここでは、２つの画像１，２からそれぞれ切り出した各１つの小領域内で演算を行なっているが、分割した小領域それぞれについて上記の処理を施せば、オプティカルフローあるいはデプスマップなどを得ることもできる。
【００１２】
また、ここでは、２つの画像１，２間の画像の‘移動’を求めるものとし‘移動ベクトル’と表現したが、この移動ベクトルは、２つの画像１，２が視差をあらわす場合は‘視差ベクトル’とでも称すべきものであり、ここでは画像の‘移動’のみでなく、画像どうしの変位一般をあらわす言葉として‘移動ベクトル’と称する。以下も同様である。
【００１３】
ここでは、２つの画像１，２を小領域に区切って演算のための小領域を切り出し、その切り出した小領域どうしで演算を行なっているため、演算量が大幅に低減される。
図３は、図１を参照して説明した手法を、２つの画像１，２間で、１つの小領域を超える大きな変位が生じ得る場合に応用した手法の説明図である。
【００１４】
この場合、図１の場合と同様に２つの画像１，２を先ず小領域に分割し（図３（Ａ））、異なった小領域ＲＦ0 ，ＲＦ1 を切り出し（図３（Ｂ））、それぞれの小領域にハフ変換を施して２つのハフ変換データＨＣ1 （ρ，θ），ＨＣ2 （ρ，θ）を得る。
次に前述した（１）に基づいて相関処理
【００１５】
【数４】
0004037503.tif 000003
【００１６】
を行なうが、このときの位置ρの変位として、
τ＝τ0 ＋Δτ（Ｄx ，Ｄy ，θ）      ……（２）
を採用する。ここでτ0 は、切り出された２つの小領域ＲＦ0 ，ＲＦ1 どうしの相対変位（Ｄx ，Ｄy ）（図３（Ａ）参照）の存在は無視したときの、ハフ変換データＨＣ1 （ρ，θ），ＨＣ2 （ρ，θ）どうしのずれ量（図３（Ｃ）参照）である。また、Δτ（Ｄx ，Ｄy ，θ）は、切り出された２つの小領域ＲＦ0 ，ＲＦ1 どうしの相対変位（Ｄx ，Ｄy ）と、直線成分の方位θとにより定まる、位置ρの変位であり、Δτ＝Ｄx ｃｏｓθ＋Ｄy ｓｉｎθであらわされる。すなわち、（２）式は、図１を参照して説明したときの変位τに相当する変位τ0 と、２つの小領域ＲＦ0 ，ＲＦ1 の相対変位と直線成分の方位θとにより定まる量Δτとの和として、
τ＝τ0 ＋Δτ（Ｄx ，Ｄy ，θ）
＝τ0 ＋Ｄx ｃｏｓθ＋Ｄy ｓｉｎθ            ……（３）
であらわされ、ここではこの（３）式であらわされる変位τを用いて（１）式に示す相関処理を行なう（図３（Ｄ））。
【００１７】
これを逆ハフ変換すると（図３（Ｅ））、小領域のサイズを越えるような変位量を検出することができる。
図４は、２つの画像の小領域の模式図である。
図３では、画像１の小領域ＲＦ0 と、画像ＲＦ1 との間での相関処理を行なう例を示したが、より一般的には、図４に示すように、画像１の小領域ＲＦ0 と、画像２の複数の小領域ＲＦij（ｉ，ｊ＝１，２，……）それぞれとの間で上記の相関処理を施し、それらの相関処理結果を全て加算することで、任意の方向の広範囲の移動ベクトルを検出することができる。
【００１８】
【発明が解決しようとする課題】
図５は、画像上の直線とその画像の小領域を示した模式図である。
図２を参照して説明したように、位置ρや方位θにはそれぞれ所定のピッチ（分解能）が設定されて‘投票’によりハフ変換が行なわれるが、ここでは、図５に示す直線の方位θABが設定された分解能に応じたディスクリートな方位θA とθB との間の中間的な方位であるとする。具体的には、例えば、図５に示す直線の方位θABが、θAB＝３５°であり、ここでは１０°単位で方位が設定されており、したがってθAB＝３５°は、１０°おきに設定された方位のうちの、θA ＝３０°とθB ＝４０°との中間であるとする。
【００１９】
ここで、この図５に示す画像のうち、時刻ｔ1 における画像と時刻ｔ2 における画像との相関処理を行なうことを考える。
時刻ｔ1 では、この図５に破線で示すように、この画像上の直線は、小領域ＲＦ0 の原点を通っており、時刻ｔ2 では、この画像上の直線は図５に実線で示す位置に移動したものとし、ここでは、相関演算のために、時刻ｔ1 の画像からは小領域ＲＦ0 を切り出し、時刻ｔ2 の画像からは、２つの小領域ＲＦ1 ，ＲＦ2 が切り出されたものとする。
【００２０】
図６は、各小領域ＲＦ0 ，ＲＦ1 ，ＲＦ2 それぞれについてのハフ変換後のデータを示す図であり、図６（Ａ），（Ｂ），（Ｃ）は、それぞれ、時刻ｔ＝ｔ1 における小領域ＲＦ0 のハフ変換データＨＣ01（ρ，θ）、時刻ｔ＝ｔ2 における小領域ＲＦ1 のハフ変換データＨＣ21（ρ，θ）、時刻ｔ＝ｔ2 における小領域ＲＦ2 のハフ変換データＨＣ22（ρ，θ）である。
【００２１】
図２を参照して説明したように、ハフ変換は‘投票’により行なわれるが、図５に示す直線は方位θABであって、ディスクリートに設定された方位θA とθB との中間的な方位であるため、投票の結果、図６に示すように方位θA と方位θB とに票が分かれる結果となる。
図７は、図６（Ａ）に示す領域ＲＦ0 のハフ変換データＨＣ10（ρ，θ）と、図６（Ｂ），（Ｃ）に示す２つの小領域ＲＦ1 ，ＲＦ2 のハフ変換データＨＣ21（ρ，θ），ＨＣ22（ρ，θ）それぞれとの各相関処理結果を、１つのθ−τ平面上に重ねて示した図である。
【００２２】
２点Ｐ1 ，Ｐ2 は、図６（Ａ）に示すハフ変換データＨＣ10（ρ，θ）と図６（Ｂ）に示すハフ変換データＨＣ21（ρ，θ）との相関処理結果であり、２点Ｐ3 ，Ｐ4 は、図６（Ａ）に示すハフ変換データＨＣ10（ρ，θ）と図６（Ｃ）に示すハフ変換データＨＣ22（ρ，θ）との相関処理結果である。
ここでは、図５に示す一本の直線に関する、時刻ｔ1 と時刻ｔ2 の２つの画像間の相関処理を行なっており、方位θをディスクリートには設定せずに連続した値と考えたときは、理論上、４点Ｐ1 〜Ｐ4 がその一本の直線に対応する１点に集中するはずであるが、実際には、図７に示すように複数の点に分かれる結果となる。この原因は、直線がディスクリートに設定された方位θA とθB との中間的な方位θABを持つことに起因して、図６に示すように、各小領域のハフ変換データに２つのピークがあらわれること、および、相関処理の際の位置ρの変位τとして、前述した（３）式の変位が設定されるが、角度θA と角度θB とでは、
τ（θ＝θA ）＝τ0 ＋Ｄx ｃｏｓθA ＋Ｄy ｓｉｎθA     ……（４）
τ（θ＝θB ）＝τ0 ＋Ｄx ｃｏｓθB ＋Ｄy ｓｉｎθB     ……（５）
すなわち、
τ（θ＝θA ）≠τ（θ＝θB ）      ……（６）
となってしまい、θの分解能が不十分なためにこの値にずれが生じることになることにある。
【００２３】
この図７に示すような複数の点に分かれた状態の相関データを逆ハフ変換しても、二次元移動ベクトルを正確に決定することは難しい。
この二次元移動ベクトルを正確に決定するための単純な手段は、方位θの分解能を細かく設定することである。しかしながら、方位θの分解能を細かく設定すると、図２を参照して説明した‘投票’方式によるハフ変換演算や、相関処理演算の演算量が大きく増大する結果となり好ましくない。
【００２４】
本発明は、上記事情に鑑み、演算量を僅かな増加に押えつつ２つの画像間の正確な変位を求めることができるように、それら２つの画像の相違をあらわす特徴を抽出する画像特徴抽出方法、およびその方法を実施した画像特徴抽出装置を提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記目的を達成する本発明の画像特徴抽出方法は、
２枚の画像それぞれが複数に分割されてなる領域について、その領域に対応する画像データを、それぞれ所定の分解能をもつ、直線成分の位置ρと方位θ1 とをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ1 ）に変換し、
上記２枚の画像それぞれについて１つずつ選択されてなる２つの領域からなるペアについて、そのペアを構成する２つの領域に関するパラメータ平面上の２つのデータＨＣ1 （ρ，θ1 ），ＨＣ2 （ρ，θ1 ）間の位置ρの方向についての相関処理を実行して相関データを求めるにあたり、第１の相関データ
【００２６】
【数５】
0004037503.tif 000004
【００２７】
但し、＊は相関処理のための演算
τ1 ＝τ0 ＋Δτ（Ｄx ，Ｄy ，θ1 ）    ……  （８）
τ0 は、ペアを構成する２つの領域どうしの変位を無視したときの相関処理のための位置ρの変位、
Δτ（Ｄx ，Ｄy ，θ1 ）は、ペアを構成する２つの領域どうしの変位と、直線成分の方位θ1 とに起因する位置ρの変位をあらわす。
を求めるとともに、求められた第１の相関データＣＣ1 （θ1 ，τ1 ）と、その方位θ1 の近傍における、方位θ1 の分解能よりも細かい分解能を有する１つ以上の方位θ2i（ｉ＝１，２，…，ｎ；１≦ｎ）とを用いて、１つ以上の第２の相関データ
ＣＣ2i（θ2i，τ2i）＝ＣＣ1 （θ1 ，τ1 ）
（ｉ＝１，２，…，ｎ；１≦ｎ）              ……（９）
但し、τ2i＝τ0 ＋Δτ（Ｄx ，Ｄy ，θ2i）  ……（１０）
を求めて、これら複数の相関データＣＣ1 （θ1 ，τ1 ），ＣＣ2i（θ2i，τ2i）を統合することにより、直線成分の位置の変位τと、直線成分の、方位θ1 の分解能よりも分解能が向上した方位θとをパラメータとしてもつ相関データＣＣ（θ，τ）を求めることを特徴とする。
【００２８】
ここで、本発明における、直線成分の位置ρと方位θとをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ）に変換する手法としては、典型的には、前述のハフ変換の手法を採用することができるが、ハフ変換に限られるものではなく、画像を様々な角度θに投影することにより位置ρと方位θとであらわす、いわゆる投影処理により、データＨＣ（ρ，θ）を求めてもよい。
【００２９】
また、本発明における、相関処理のための演算＊は、典型的には乗算であるが、乗算に限られず、２つのデータＨＣ1 （ρ，θ1 ）とＨＣ2 （ρ，θ1 ）との‘似ている’程度をあらわす演算であればよい。例えば演算として減算を採用すると、値が最小となる点が最も‘似ている’ことになる。
本発明の画像特徴抽出方法は、パラメータ平面上のデータに変換する手法としてハフ変換を使用した場合、（７），（８）式までは図３（Ａ）〜（Ｄ）を参照して説明した手法と同一であり、そのままでは、図５〜図７を参照して説明した問題点をそのまま含んでいる。そこで、（７）式により一旦求めた第１の相関データＣＣ1 （θ1 ，τ1 ）を、（９），（１０）式の演算により、新たな点（θ2i，τ2i）に再プロットする。こうすることにより、θ2iを十分細かく設定した場合、例えば図７に示すような複数に分かれた点が１つに集まる点（θ，τ）が存在し、正確な移動ベクトルを求めることができる。
【００３０】
ここで、上記本発明の画像特徴抽出方法において、上記第１および第２の相関データＣＣ1 （θ1 ，τ1 ），ＣＣ2 （θ2i，τ2i）（ｉ＝１，２，…，ｎ；１≦ｎ）を求める処理を、ペアを構成する２つの領域のうちの一方の領域が同一の領域であることが許容された複数のペアそれぞれについて実行するとともに、各ペアに関して求められた第１および第２の相関データＣＣ1 （θ1 ，τ1 ），ＣＣ2 （θ2i，τ2i）（ｉ＝１，２，…，ｎ；１≦ｎ）を複数のペアにわたって統合することにより、相関データＣＣ（θ，τ）を求めることが好ましい。
【００３１】
こうすることにより、図４を参照して説明したように、任意の方向の広範囲の移動ベクトルを検出することができる。
本発明の画像特徴抽出方法では、上記のようにして求めた相関データＣＣ（θ，τ）が、上記２枚の画像どうしの相対的な二次元変位τx ，τy をパラメータとするパラメータ平面上のデータＶ（τx ，τy ）に変換される。
【００３２】
また、上記目的達成する本発明の画像特徴抽出装置は、
２枚の画像それぞれが複数に分割されてなる領域について、その領域に対応する画像データを、それぞれ所定の分解能をもつ、直線成分の位置ρと方位θ1 とをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ1 ）に変換する変換部と、
上記２枚の画像それぞれについて１つずつ選択されてなる２つの領域からなるペアについて、そのペアを構成する２つの領域に関するパラメータ平面上の２つのデータＨＣ1 （ρ，θ1 ），ＨＣ2 （ρ，θ1 ）間の位置ρの方向についての相関処理を実行して相関データを求める相関処理部とを備え、
相関処理部が、第１の相関データ
【００３３】
【数６】
0004037503.tif 000005
【００３４】
但し、＊は相関処理のための演算
τ1 ＝τ0 ＋Δτ（Ｄx ，Ｄy ，θ1 ）      ……（８）
τ0 は、ペアを構成する２つの領域どうしの変位を無視したときの相関処理のための位置ρの変位、
Δτ（Ｄx ，Ｄy ，θ1 ）は、ペアを構成する２つの領域どうしの変位と、直線成分の方位θ1 とに起因する位置ρの変位をあらわす。
を求めるとともに、求められた第１の相関データＣＣ1 （θ1 ，τ1 ）と、その方位θ1 の近傍における、方位θ1 の分解能よりも細かい分解能を有する１つ以上の方位θ2i（ｉ＝１，２，…，ｎ；１≦ｎ）とを用いて、１つ以上の第２の相関データ
ＣＣ2i（θ2i，τ2i）＝ＣＣ1 （θ1 ，τ1 ）
（ｉ＝１，２，…，ｎ；１≦ｎ）                ……（９）
但し、τ2i＝τ0 ＋Δτ（Ｄx ，Ｄy ，θ2i）    ……（１０）
を求めて、これら複数の相関データＣＣ1 （θ1 ，τ1 ），ＣＣ2i（θ2i，τ2i）を統合することにより、直線成分の位置の変位τと、直線成分の、方位θ1 の分解能よりも分解能が向上した方位θとをパラメータとしてもつ相関データＣＣ（θ，τ）を求めるものであることを特徴とする。
【００３５】
ここで、上記本発明の画像特徴抽出装置において、さらに、相関データＣＣ（θ，τ）を、上記２枚の画像どうしの相対的な二次元変位τx ，τy をパラメータとするパラメータ平面上のデータＶ（τx ，τy ）に変換する逆変換部と、
そのデータＶ（τx ，τy ）に基づいて、上記２枚の画像間の相対的な変位をあらわす二次元ベクトルを求めるベクトル演算部とを備えることが好ましい。
【００３６】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
本実施形態における画像特徴抽出方法は、その途中段階までは前述した従来例と同様であり、以下、その従来例と重なる部分については既に参照済の図を参照しながら簡単に説明し、それに次いで、本実施形態の画像特徴抽出方法に独自の点について説明する。
【００３７】
図５に示す直線は、その方位θABが、ディスクリートに設定された２つの方位θA とθB との中間的な方位であり、このとき、時刻ｔ＝ｔ1 における小領域ＲＦ0 、ｔ＝ｔ2 における２つの領域ＲＦ1 ，ＲＦ2 の各ハフ変換データＨＣ10（ρ，θ）、ＨＣ21（ρ，θ），ＨＣ22（ρ，θ）上には、図５に示す一本の直線に対応して２つの方位θA ，θB にそれぞれ１つずつ、合計２つの点があらわれる。
【００３８】
このとき、図６（Ａ）のハフ変換データＨＣ10（ρ，θ）と、図６（Ｂ），（Ｃ）の各ハフ変換データＨＣ21（ρ，θ），ＨＣ22（ρ，θ）それぞれとの間で相関処理を行ない、それら２つの相関処理結果を重ねると、図７に示すような４つの点があらわれる結果となる。
ここでは、上記の演算で求めた相関データをＣＣ1 （θ1 ，τ1 ）と表記する。ここで、θ1 は、図２を参照して説明した、ハフ変換の際に設定された分解能をもつ方位であり、τ1 は、その方位θ1 とハフ変換の際に設定された分解能をもつ変位τ0 とを用いて、前述した（３）式すなわち、
τ1 ＝τ0 ＋Ｄx ｃｏｓθ1 ＋Ｄy ｓｉｎθ1           ……（３）’
に基づいて計算された変位である。
【００３９】
次に、方位θ1 の近傍で、方位θ1 よりも細かな分解能を持つ方位θ2i（ｉ＝１，２，…，ｎ）を設定する。例えば方位θ1 を１０°おきに設定したとき、方位θ2iは例えば１°おきに設定される。このようにして設定したθ2i（ｉ＝１，２，…，ｎ）を用いて、
τ2i＝τ0 ＋Ｄx ｃｏｓθ2i＋Ｄy ｓｉｎθ2i
を求め、上記のＣＣ1 （θ1 ，τ1 ）のデータを、θ−τ平面上の、（θ2i，τ2i）の点に再プロットする。この再プロットするデータをＣＣ2 （θ2i，τ2i）と表記する。
【００４０】
図８は、このようにして再プロットしたθ−τ平面を示す模式図である。
ここでは、方位θ1 の分解能Δθの半分の領域について、同一のデータＣＣ1 （θ1 ，τ1 ）を再プロットする。具体的には、図８に則して説明すると、θA −Δθ／２≦θ＜θA ＋Δθ／２の領域ではθA に関して求めたＣＣ1 （θA ，τA ）（但しτA ＝τ0 ＋Ｄx ｃｏｓθA ＋Ｄy ｃｏｓθA ）を再プロットし、ＣＣ1 （θB ，τB ）（但しτB ＝τ0 ＋Ｄx ｃｏｓθB ＋Ｄy ｓｉｎθB ）を再プロットする。
【００４１】
このような再プロットを行なうと、正しい方位θABにおいて一点に集まることになる。その一点については、投票の原理に基づき、２つの点に分かれた各票数が合わさった票数となる。
このような操作を行なうことにより、正しい方位θABと正しい変位τABとで定まる座標点（θAB，τAB）にピークを持った、θ方向に高い分解能を持つ相関データＣＣ（θ，τ）が得られる。
【００４２】
そこで、このようにして求めた相関データＣＣ（θ，τ）に逆ハフ変換を施すことにより、図３（Ｅ）に示す移動ベクトルを正確に求めることができる。
図９は、本発明の画像特徴抽出装置の一実施形態の構成を示すブロック図である。
画像入力部１０には、画像が時系列的に順次に入力され、画像分割部２０では、入力された各画像が複数の小領域に分割され、ハフ変換部３０では、各小領域毎の画像にハフ変換が施される。１次元フィルタ部４０では、そのハフ変換された画像に、必要に応じて、例えば微分処理等の１次元フィルタ処理が施される。ここで、このハフ変換後の画像に対しフィルタ処理を施すのは、ハフ変換後の画像に１次元フィルタ処理を施すことでハフ変換前の画像に二次元フィルタ処理を施したことと同等のフィルタ効果が期待できるからである。１次元フィルタ部４０を経由したハフ変換データＨＣ（ρ，θ）は、ρθデータ格納部５０に一旦格納される。
【００４３】
相関処理部６０の小領域選択部６１では、一時には、上記のようにしてρθデータ格納部５０に格納された時系列的な２つの画像それぞれについて１つずつの小領域のペアを選択し、ρθデータ入力部６２には、ρθデータ格納部５０から、そのペアを構成する２つの小領域のρθデータＨＣ1 （ρ，θ），ＨＣ2 （ρ，θ）が読み出されて入力される。
【００４４】
相関処理部６０の相関値計算部６３では、ρθデータ入力部に入力された２つの小領域に関するρθデータＨＣ1 （ρ，θ），ＨＣ2 （ρ，θ）に相関処理が施され、第１の相関データ
【００４５】
【数７】
0004037503.tif 000006
【００４６】
但し、τ1 ＝τ0 ＋Ｄx ｃｏｓθ1 ＋Ｄy ｓｉｎθ1
が求められる。
この求められた相関データＣＣ1 （θ1 ，τ1 ）は、相関データ格納部７０の、座標点（θ1 ，τ1 ）に対応する領域に格納される。
次いで、θ，τ計算部６５では、方位θ1 よりも分解能の高い方位θ2i（ｉ＝１，２，…，ｎ）が設定され、その方位θ2iを用いて
τ2i＝τ0 ＋Ｄx ｃｏｓθ2i＋Ｄy ｓｉｎθ2i
が求められ、相関データ格納部７０の、θ1 −Δθ／２≦θ  ＜θ1 ＋Δθ／２の範囲の各座標点（θ2i，τ2i）に、座標点（θ1 ，τ1 ）に格納されたデータＣＣ1 （θ1 ，τ1 ）と同一のデータが格納される。その際、その新たな座標点（θ2i，τ2i）に既に値が格納されていたときは、その既に格納されていた値と、座標点（θ1 ，τ1 ）に格納されたデータＣＣ1 （θ1 ，τ1 ）とが加算されて、その座標点（θ2i，τ2i）に格納される。こうすることにより、相関データ格納部７０内に、分解能の高い方位θをパラメータに持つ相関データＣＣ（θ，τ）が生成される。
【００４７】
このようにして、相関データ格納部７０内に相関データＣＣ（θ，τ）が生成されると、その生成された相関データ（θ，τ）は逆ハフ変換部８０に送られて逆ハフ変換が施され、さらにピーク検出部９０（本発明にいうベクトル演算部の一例に相当する）において移動ベクトルが求められる。ここでは、上記のようにして相関データ格納部７０に方位分解能が高められた相関データＣＣ（θ，τ）が生成され、その方位分解能の高い相関データに基づいて、逆ハフ変換、ピーク検出を行なっているため、高精度の移動ベクトルが求められる。
【００４８】
ここで、相関演算部６０における、分解能の高い方位θをパラメータとして持つ相関データＣＣ（θ，τ）を求めるための演算量、データ処理量の増加分は、ハフ変換部３０で同じレベルの高分解能の方位θを設定してハフ変換を行なう場合の演算量、データ処理量の増加と比べ極めて僅かである。すなわち、本実施形態によれば、高精度の移動ベラトルを高速に求めることができる。
【００４９】
尚、ここでは、順次入力される画像の「移動」を求めたが、例えば視差のように、同時に得られた２つの画像に基づいてそれらの画像どうしの変位量を求める場合も同様に適用できる。
また、上記実施形態は、本発明にいう、直線成分の位置ρと方位θ1 とをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ1 ）に変換する手法の例としてハフ変換を採用した例であるが、本発明では、ハフ変換に代えて、投影処理など、他の変換手法を用いてもよい。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、演算量の僅かな増加で、画像の正確な特徴抽出を行なうことができる。
【図面の簡単な説明】
【図１】画像を複数の小領域に分割し、ハフ変換を行なって２つの画像間の変位を求める手法の説明図である。
【図２】ハフ変換の手法を示す模式図である。
【図３】図１を参照して説明した手法を、２つの画像１，２間で、１つの小領域を超える大きな変位が生じ得る場合に応用した手法の説明図である。
【図４】２つの画像の小領域の模式図である。
【図５】画像上の直線とその画像の小領域を示した模式図である。
【図６】各小領域ＲＦ0 ，ＲＦ1 ，ＲＦ2 それぞれについてのハフ変換後のデータを示す図である。
【図７】図６（Ａ）に示す領域ＲＦ0 のハフ変換データＨＣ10（ρ，θ）と、図６（Ｂ），（Ｃ）に示す２つの小領域ＲＦ1 ，ＲＦ2 のハフ変換データＨＣ21（ρ，θ），ＨＣ22（ρ，θ）それぞれとの各相関処理結果を、１つのθ−τ平面上に重ねて示す図である。
【図８】再プロットしたθ−τ平面を示す模式図である。
【図９】本発明の画像特徴抽出装置の一実施形態の構成を示すブロック図である。
【符号の説明】
１０    画像入力部
２０    画像分割部
３０    ハフ変換部
４０    １次元フィルタ部
５０    ρθデータ格納部
６０    相関処理部
６１    小領域選択部
６２    ρθデータ入力部
６３    相関値計算部
６４    θ，τ計算部
７０    相関データ格納部
８０    逆ハフ変換部
９０    ピーク検出部
【図１】
0004037503.tif 000009
【図２】
0004037503.tif 000010
【図３】
0004037503.tif 000011
【図４】
0004037503.tif 000012
【図５】
0004037503.tif 000013
【図６】
0004037503.tif 000014
【図７】
0004037503.tif 000015
【図８】
0004037503.tif 000016
【図９】
0004037503.tif 000017