(57)【特許請求の範囲】
【請求項１】
入力画像と参照画像の画像マッチングをおこなう画像マッチング方法であって、
前記入力画像と参照画像をそれぞれフーリエ変換してフーリエ変換平面を作成するフーリエ変換平面作成工程と、
前記フーリエ変換平面作成工程により作成された前記入力画像と参照画像のフーリエ変換平面を極座標変換してフーリエ変換極座標平面をそれぞれ作成する極座標平面作成工程と、
前記極座標平面作成工程により作成されたフーリエ変換極座標平面からパワースペクトル平面をそれぞれ作成するパワースペクトル平面作成工程と、
前記パワースペクトル平面作成工程により作成されたパワースペクトル平面を微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成するパワースペクトル微分平面作成工程と、
前記パワースペクトル微分平面作成工程により作成された入力画像および参照画像の一方に対応するパワースペクトル微分平面を回転角方向にずらしつつ他方のパワースペクトル微分平面との間の類似度を求め、求めた類似度が最大となる回転角を検出する回転角検出工程と、
前記回転角検出工程により検出された回転角を用いて補正された入力画像のフーリエ変換極座標平面と参照画像のフーリエ変換極座標平面間の各θにおいて積を計算した後、１次元逆フーリエ変換をおこなってθ−ρ平面を作成するθ−ρ平面作成工程と、
前記θ−ρ平面作成工程により作成されたθ−ρ平面の各θについての極大値を検出する極大値検出工程と、
前記極大値検出工程により検出された極大値に基づいて平行移動量を算定する平行移動量算定工程と
を含んだことを特徴とする画像マッチング方法。
【請求項２】
前記パワースペクトル平面作成工程により作成されたパワースペクトル平面をそれぞれ平滑化する平滑化工程をさらに含み、前記パワースペクトル微分平面作成工程は、前記平滑化工程により平滑化されたパワースペクトル平面を微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成することを特徴とする請求項１に記載の画像マッチング方法。
【請求項３】
前記極大値検出工程により検出された極大値の位置の連続性から回転角を一意に特定する回転角特定工程をさらに含んだことを特徴とする請求項１または２に記載の画像マッチング方法。
【請求項４】
前記平行移動量算定工程は、前記極大値検出工程により検出された２つの極大値の位置の組み合わせから平行移動量の複数の候補を求め、求めた各候補の投票によって平行移動量を算定することを特徴とする請求項１、２または３に記載の画像マッチング方法。
【請求項５】
前記平行移動量算定工程は、前記極大値検出工程により検出された極大値の位置にフィッティングするサインカーブを求め、求めたサインカーブに基づいて平行移動量を算定することを特徴とする請求項１、２または３に記載の画像マッチング方法。
【請求項６】
入力画像と参照画像の画像マッチングをおこなう画像マッチング装置であって、
前記入力画像と参照画像をそれぞれフーリエ変換してフーリエ変換平面を作成するフーリエ変換平面作成手段と、
前記フーリエ変換平面作成手段により作成された前記入力画像と参照画像のフーリエ変換平面を極座標変換してフーリエ変換極座標平面をそれぞれ作成する極座標平面作成手段と、
前記極座標平面作成手段により作成されたフーリエ変換極座標平面からパワースペクトル平面をそれぞれ作成するパワースペクトル平面作成手段と、
前記パワースペクトル平面作成手段により作成されたパワースペクトル平面を微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成するパワースペクトル微分平面作成手段と、
前記パワースペクトル微分平面作成手段により作成された入力画像および参照画像の一方に対応するパワースペクトル微分平面を回転角方向にずらしつつ他方のパワースペクトル微分平面との間の類似度を求め、求めた類似度が最大となる回転角を検出する回転角検出手段と、
前記回転角検出手段により検出された回転角を用いて補正された入力画像のフーリエ変換極座標平面と参照画像のフーリエ変換極座標平面間の各θにおいて積を計算した後、１次元逆フーリエ変換をおこなってθ−ρ平面を作成するθ−ρ平面作成手段と、
前記θ−ρ平面作成手段により作成されたθ−ρ平面の各θについての極大値を検出する極大値検出手段と、
前記極大値検出手段により検出された極大値に基づいて平行移動量を算定する平行移動量算定手段と
を備えたことを特徴とする画像マッチング装置。
【請求項７】
入力画像と参照画像の画像マッチングをおこなう画像マッチングプログラムであって、
前記入力画像と参照画像をそれぞれフーリエ変換してフーリエ変換平面を作成するフーリエ変換平面作成手順と、
前記フーリエ変換平面作成手順により作成された前記入力画像と参照画像のフーリエ変換平面を極座標変換してフーリエ変換極座標平面をそれぞれ作成する極座標平面作成手順と、
前記極座標平面作成手順により作成されたフーリエ変換極座標平面からパワースペクトル平面をそれぞれ作成するパワースペクトル平面作成手順と、
前記パワースペクトル平面作成手順により作成されたパワースペクトル平面を微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成するパワースペクトル微分平面作成手順と、
前記パワースペクトル微分平面作成手順により作成された入力画像および参照画像の一方に対応するパワースペクトル微分平面を回転角方向にずらしつつ他方のパワースペクトル微分平面との間の類似度を求め、求めた類似度が最大となる回転角を検出する回転角検出手順と、
前記回転角検出手順により検出された回転角を用いて補正された入力画像のフーリエ変換極座標平面と参照画像のフーリエ変換極座標平面間の各θにおいて積を計算した後、１次元逆フーリエ変換をおこなってθ−ρ平面を作成するθ−ρ平面作成手順と、
前記θ−ρ平面作成手順により作成されたθ−ρ平面の各θについての極大値を検出する極大値検出手順と、
前記極大値検出手順により検出された極大値に基づいて平行移動量を算定する平行移動量算定手順と
をコンピュータに実行させるための画像マッチングプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力画像と参照画像の画像マッチングをおこなう画像マッチング方法、画像マッチング装置および画像マッチングプログラムに関し、特に、計算量を低減しつつ迅速に画像の回転角や平行移動量を求めることができる画像マッチング方法、画像マッチング装置および画像マッチングプログラムに関する。
【０００２】
【従来の技術】
従来、あらかじめ登録された参照画像と、画像入力装置などから入力された入力画像との画像マッチングをおこなう際に、フーリエ変換を利用して画像の回転角や平行移動量を求める技術が知られている。
【０００３】
たとえば、「B.Srinivasa Reddy and B.N.Chatterji；“An FFT-Based Technique for Translation,Rotation,and Scale-Invariant Image Registration”，IEEE TRANSACTIONS ON IMAGE PROCESSING，VOL.5，NO.8，AUGUST 1996，pp1266-1271」（従来技術１）には、並進、回転およびスケールに不変な画像レジストレーションのためのFFTに基づく技術が開示されている。
【０００４】
また、特許第３０９８７０４号公報（従来技術２）には、エッジ検出、ハフ変換、フーリエ変換および相互相関係数を用いて画像の回転角および平行移動量を求める技術が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、この従来技術１によれば、回転角を検出する際に用いるパワースペクトル上に背景ノイズの影響が強く出てしまうため、回転角を正確に求めることができない場合がある。また、平行移動量を求める際に２次元フーリエ逆変換を２回おこなう必要があるので、計算量が多くなると言う問題もある。かかる問題点は、この従来技術１に代表されるマッチドフィルタ法に共通に現れる問題である。
【０００６】
一方、従来技術２によれば、事前に参照画像と入力画像からエッジを検出する必要があるため、コントラストの低い画像には適用しにくいという問題がある。また、かかる従来技術２では逆ハフ変換をおこなうため、計算量が多くなるという問題もある。
【０００７】
これらのことから、入力画像と参照画像の画像マッチングをおこなう際に、フーリエ変換を利用しつつ計算量を低減しつつ迅速に画像の回転角や平行移動量を求めることができる画像マッチング方法をいかに実現するかが重要な課題となっている。
【０００８】
この発明は、上述した従来技術による問題点（課題）を解消するためになされたものであって、入力画像と参照画像の画像マッチングをおこなう際に、フーリエ変換を利用しつつ計算量を低減しつつ迅速に画像の回転角や平行移動量を求めることができる画像マッチング方法、画像マッチング装置および画像マッチングプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る画像マッチング方法は、入力画像と参照画像の画像マッチングをおこなう画像マッチング方法であって、前記入力画像と参照画像をそれぞれフーリエ変換してフーリエ変換平面を作成するフーリエ変換平面作成工程と、前記フーリエ変換平面作成工程により作成された前記入力画像と参照画像のフーリエ変換平面を極座標変換してフーリエ変換極座標平面をそれぞれ作成する極座標平面作成工程と、前記極座標平面作成工程により作成されたフーリエ変換極座標平面からパワースペクトル平面をそれぞれ作成するパワースペクトル平面作成工程と、前記パワースペクトル平面作成工程により作成されたパワースペクトル平面を微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成するパワースペクトル微分平面作成工程と、前記パワースペクトル微分平面作成工程により作成された入力画像および参照画像の一方に対応するパワースペクトル微分平面を回転角方向にずらしつつ他方のパワースペクトル微分平面との間の類似度を求め、求めた類似度が最大となる回転角を検出する回転角検出工程と、前記回転角検出工程により検出された回転角を用いて補正された入力画像のフーリエ変換極座標平面と参照画像のフーリエ変換極座標平面間の各θにおいて積を計算した後、１次元逆フーリエ変換をおこなってθ−ρ平面を作成するθ−ρ平面作成工程と、前記θ−ρ平面作成工程により作成されたθ−ρ平面の各θについての極大値を検出する極大値検出工程と、前記極大値検出工程により検出された極大値に基づいて平行移動量を算定する平行移動量算定工程とを含んだことを特徴とする。
【００１０】
また、請求項２の発明に係る画像マッチング方法は、請求項１の発明において、前記パワースペクトル平面作成工程により作成されたパワースペクトル平面をそれぞれ平滑化する平滑化工程をさらに含み、前記パワースペクトル微分平面作成工程は、前記平滑化工程により平滑化されたパワースペクトル平面を微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成することを特徴とする。
【００１３】
また、請求項３の発明に係る画像マッチング方法は、請求項１または２の発明において、前記極大値検出工程により検出された極大値の位置の連続性から回転角を一意に特定する回転角特定工程をさらに含んだことを特徴とする。
【００１４】
また、請求項４の発明に係る画像マッチング方法は、請求項１、２または３の発明において、前記平行移動量算定工程は、前記極大値検出工程により検出された２つの極大値の位置の組み合わせから平行移動量の複数の候補を求め、求めた各候補の投票によって平行移動量を算定することを特徴とする。
【００１５】
また、請求項５の発明に係る画像マッチング方法は、請求項１、２または３の発明において、前記平行移動量算定工程は、前記極大値検出工程により検出された極大値の位置にフィッティングするサインカーブを求め、求めたサインカーブに基づいて平行移動量を算定することを特徴とする。
【００１６】
また、請求項６の発明に係る画像マッチング装置は、入力画像と参照画像の画像マッチングをおこなう画像マッチング装置であって、前記入力画像と参照画像をそれぞれフーリエ変換してフーリエ変換平面を作成するフーリエ変換平面作成手段と、前記フーリエ変換平面作成手段により作成された前記入力画像と参照画像のフーリエ変換平面を極座標変換してフーリエ変換極座標平面をそれぞれ作成する極座標平面作成手段と、前記極座標平面作成手段により作成されたフーリエ変換極座標平面からパワースペクトル平面をそれぞれ作成するパワースペクトル平面作成手段と、前記パワースペクトル平面作成手段により作成されたパワースペクトル平面を微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成するパワースペクトル微分平面作成手段と、前記パワースペクトル微分平面作成手段により作成された入力画像および参照画像の一方に対応するパワースペクトル微分平面を回転角方向にずらしつつ他方のパワースペクトル微分平面との間の類似度を求め、求めた類似度が最大となる回転角を検出する回転角検出手段と、前記回転角検出手段により検出された回転角を用いて補正された入力画像のフーリエ変換極座標平面と参照画像のフーリエ変換極座標平面間の各θにおいて積を計算した後、１次元逆フーリエ変換をおこなってθ−ρ平面を作成するθ−ρ平面作成手段と、前記θ−ρ平面作成手段により作成されたθ−ρ平面の各θについての極大値を検出する極大値検出手段と、前記極大値検出手段により検出された極大値に基づいて平行移動量を算定する平行移動量算定手段とを備えたことを特徴とする。
【００１７】
また、請求項７の発明に係る画像マッチングプログラムは、入力画像と参照画像の画像マッチングをおこなう画像マッチングプログラムであって、前記入力画像と参照画像をそれぞれフーリエ変換してフーリエ変換平面を作成するフーリエ変換平面作成手順と、前記フーリエ変換平面作成手順により作成された前記入力画像と参照画像のフーリエ変換平面を極座標変換してフーリエ変換極座標平面をそれぞれ作成する極座標平面作成手順と、前記極座標平面作成手順により作成されたフーリエ変換極座標平面からパワースペクトル平面をそれぞれ作成するパワースペクトル平面作成手順と、前記パワースペクトル平面作成手順により作成されたパワースペクトル平面を微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成するパワースペクトル微分平面作成手順と、前記パワースペクトル微分平面作成手順により作成された入力画像および参照画像の一方に対応するパワースペクトル微分平面を回転角方向にずらしつつ他方のパワースペクトル微分平面との間の類似度を求め、求めた類似度が最大となる回転角を検出する回転角検出手順と、前記回転角検出手順により検出された回転角を用いて補正された入力画像のフーリエ変換極座標平面と参照画像のフーリエ変換極座標平面間の各θにおいて積を計算した後、１次元逆フーリエ変換をおこなってθ−ρ平面を作成するθ−ρ平面作成手順と、前記θ−ρ平面作成手順により作成されたθ−ρ平面の各θについての極大値を検出する極大値検出手順と、前記極大値検出手順により検出された極大値に基づいて平行移動量を算定する平行移動量算定手順とをコンピュータに実行させることを特徴とする。
【００１８】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る画像マッチング方法、画像マッチング装置および画像マッチングプログラムの好適な実施の形態を詳細に説明する。
【００１９】
図１は、本実施の形態で用いる画像マッチング装置１０の構成を示す機能ブロック図である。同図に示す画像マッチング装置１０は、あらかじめ準備した参照画像と入力画像をパワースペクトル微分平面上で比較しつつ回転角を求めることにより迅速に回転角を求めることを可能としたものである。特に、パワースペクトル平面上で平滑化処理と微分処理をおこなうことにより、特定の周波数の影響を低減しつつ迅速な回転角の算定を可能としている。また、２次元フーリエ逆変換を用いるのではなく、９０度の位置関係にある２点の投票により平行移動量を求めることにより、高速な平行移動量の算出をも可能としている。
【００２０】
同図に示すように、この画像マッチング装置１０は、画像入力部１１と、パワースペクトル微分平面作成部１２と、フーリエ変換処理部１３と、極座標変換処理部１４と、パワースペクトル平面作成部１５と、微分処理部１６と、参照データ記憶部１７と、回転角検出部１８と、平行移動量算定部１９とを有する。なお、請求項６のフーリエ変換平面作成手段はフーリエ変換処理部１３に対応し、極座標平面作成手段は極座標変換処理部１４に対応し、パワースペクトル平面作成手段はパワースペクトル平面作成部１５に対応し、パワースペクトル微分平面作成手段は微分処理部１６およびパワースペクトル微分平面作成部１２に対応する。
【００２１】
ここで、この画像マッチング装置１０は、参照画像のパワースペクトル微分平面を作成して参照データ記憶部１７に登録する登録モードと、入力画像のパワースペクトル微分平面を作成して参照データ記憶部１７に記憶した参照画像のパワースペクトル微分平面と比較して回転角を算出するとともに平行移動量を算定するマッチングモードとを有する。なお、パワースペクトル微分平面の作成に関しては登録モードとマッチングモードで同様の処理をおこなうため、ここでは説明の便宜上、マッチングモードを主体に説明することとする。
【００２２】
画像入力部１１は、あらかじめ準備した白黒濃淡画像である図２（ａ）に示した参照画像Ｉ０（ｘ，ｙ）または図２（ｂ）に示した入力画像Ｉ１（ｘ，ｙ）を入力する処理部である。ここでは、説明の便宜上、参照画像と入力画像のサイズは同じであるものとする。なお、本実施の形態では、図２に示すように参照画像と入力画像は平行移動および回転している場合を示している。
【００２３】
パワースペクトル微分平面作成部１２は、参照画像または入力画像のパワースペクトル微分平面を作成する処理部であり、具体的には、後述するフーリエ変換処理部１３、極座標変換処理部１４、パワースペクトル平面作成部１５および微分処理部１６を用いてパワースペクトル微分平面を作成することになる。
【００２４】
フーリエ変換処理部１３は、参照画像Ｉ０（ｘ，ｙ）または入力画像Ｉ１（ｘ，ｙ）にフーリエ変換をおこなって図３（ａ）に示した参照画像のフーリエ変換平面（参照フーリエ変換平面）Ｆ０（ｕ，ｖ）または図３（ｂ）に示した入力画像のフーリエ変換平面（入力フーリエ変換平面）Ｆ１（ｕ，ｖ）を作成する処理部である。
【００２５】
極座標変換処理部１４は、参照フーリエ変換平面Ｆ０（ｕ，ｖ）または入力フーリエ変換平面Ｆ１（ｕ，ｖ）を極座標変換した参照画像のフーリエ変換極座標平面（参照フーリエ変換極座標平面）Ｆ０（θ，ρ）または入力画像のフーリエ変換極座標平面（入力フーリエ変換極座標平面）Ｆ１（θ，ρ）を作成する処理部である。
【００２６】
パワースペクトル平面作成部１５は、参照フーリエ変換極座標平面Ｆ０（θ，ρ）または入力フーリエ変換極座標平面Ｆ１（θ，ρ）から図４（ａ）に示した参照画像のパワースペクトル平面（参照パワースペクトル平面）Ｐ０（θ，ρ）または図４（ｂ）に示した入力画像のパワースペクトル平面（入力パワースペクトル平面）Ｐ１（θ，ρ）を作成する処理部である。ただし、０≦θ＜Ｍ、０≦ρ＜Ｎとする。
【００２７】
微分処理部１６は、参照パワースペクトル平面Ｐ０（θ，ρ）または入力パワースペクトル平面Ｐ１（θ，ρ）に対して、上限値と下限値をあらかじめ設定した一定値に抑制したガウスラプラシアンフィルターを作用させて、参照画像のパワースペクトル微分平面（参照パワースペクトル微分平面）Ｐ０’（θ，ρ）または入力画像のパワースペクトル微分画像（入力パワースペクトル微分平面）Ｐ１’（θ，ρ）を作成する処理部である。かかるガウスラプラシアンフィルターを作用させることにより、平滑化と２次微分処理を同時におこない、特定の方向の周波数成分が強くなることを抑制することができる。
【００２８】
具体的には、
【数１】
0003953842.tif 000002
の算定式からなるガウスラプラシアンフィルターをパワースペクトル平面に対して適用することになる。ただし、σは平滑化の程度を示す値である。
【００２９】
なお、本実施の形態ではガウスラプラシアンフィルターを用いた場合について説明するが、平滑化用の積分フィルターとエッジ検出用のラプラシアンフィルターを別個に適用することもできる。また、特定の方向の周波数成分が強くなければ、ラプラシアンフィルターのみを適用することもできる。
【００３０】
参照データ記憶部１７は、パワースペクトル微分平面作成部１２で作成された参照パワースペクトル微分平面を記憶する記憶部であり、登録モード時の場合には、パワースペクトル微分平面作成部１２で作成された参照パワースペクトル微分平面が順次参照データ記憶部１７に蓄積される。
【００３１】
回転角検出部１８は、マッチングモード時にパワースペクトル微分平面作成部１２から入力パワースペクトル微分平面Ｐ１’（θ，ρ）を受け付けた際に、参照データ記憶部１７から参照パワースペクトル微分平面Ｐ０’（θ，ρ）を取り出し、これらに基づいて回転角を検出する処理部である。なお、この回転角検出部１８の詳細な処理については後述する。
【００３２】
平行移動量算定部１９は、入力画像と参照画像の平行移動量を算定する処理部であり、具体的には、回転角検出部１８で検出された回転角を用いて補正された入力フーリエ変換極座標平面と参照フーリエ変換極座標平面間の各θにおいて積を計算した後、１次元逆フーリエ変換をおこなってθ−ρ平面を作成し、作成したθ−ρ平面の各θについての極大値を検出し、検出した極大値に基づいて平行移動量を算定する。
【００３３】
次に、図１に示した画像マッチング装置１０のマッチングモードでの処理手順について説明する。図５は、図１に示した画像マッチング装置１０のマッチングモードでの処理手順を示すフローチャートである。ただし、図２（ａ）に示した参照画像Ｉ０（ｘ，ｙ）のパワースペクトル微分平面Ｐ０’（θ，ρ）については、あらかじめ参照データ記憶部１７に記憶されているものとする。
【００３４】
同図に示すように、この画像マッチング装置１０は、画像入力部１１から図２（ｂ）に示した入力画像Ｉ１（ｘ，ｙ）を入力したならば、フーリエ変換処理部１３は図３（ｂ）に示した入力フーリエ変換平面Ｆ１（ｘ，ｙ）を作成する（ステップＳ５０１）。
【００３５】
その後、極座標変換処理部１４が、この入力フーリエ変換平面Ｆ１（ｘ，ｙ）を極座標変換して入力フーリエ変換極座標平面Ｆ１（θ，ρ）を作成し（ステップＳ５０２）、パワースペクトル平面作成部１５が図４（ｂ）に示した入力パワースペクトル平面Ｐ１（θ，ρ）を作成する（ステップＳ５０３）。
【００３６】
さらに、微分処理部１６は、この入力パワースペクトル平面Ｐ１（θ，ρ）に対してガウスラプラシアンフィルターを適用して、平滑化と２次微分をおこなった入力パワースペクトル微分平面Ｐ１’（θ，ρ）を作成するとともに（ステップＳ５０４）、参照データ記憶部１７から参照画像Ｉ０（ｘ，ｙ）の参照パワースペクトル微分平面Ｐ０’（θ，ρ）を取り出す。
【００３７】
そして、回転角検出部１８は、この入力パワースペクトル微分平面Ｐ１’（θ，ρ）と参照パワースペクトル微分平面Ｐ０’（θ，ρ）から回転角θｋとθｋ＋１８０を求めた後に（ステップＳ５０５）、この回転角θｋとθｋ＋１８０のいずれが正しいかを調べ、後述する手順で正しい方の回転角を一意に特定する（ステップＳ５０６）。
【００３８】
その後、回転角検出部１８で検出された回転角を用いて補正された入力フーリエ変換極座標平面と参照フーリエ変換極座標平面間の各θにおいて積を計算した後、１次元逆フーリエ変換をおこなってθ−ρ平面を作成し、作成したθ−ρ平面の各θについての極大値を検出し、検出した極大値に基づいて平行移動量を算定する（ステップＳ５０７）。
【００３９】
次に、図１に示した回転角検出部１８による回転角の検出手順について説明する。図６および図７は、図１に示した回転角検出部１８による回転角の検出概念を説明するための説明図であり、図８は、図１に示した回転角検出部１８による回転角を一意に特定する手順（図５のステップＳ５０６に対応する）を示すフローチャートである。
【００４０】
この回転角検出部１８は、各ρについて1次元データＰ０’（θ，ρ）とＰ１’（θ，ρ）の間でθ軸方向に一方をずらしながら類似度を計算してＳ（θ，ρ）を求める。なお、ここではフーリエ変換を利用した相関係数を類似度とする。
【００４１】
そして、すべてのρについてＳ（θ，ρ）を求めたならば、これをρ軸方向に積分して図６に示したＳ（θ）を求め、その最大値の位置θｋを求める。これにより、参照画像に対する入力画像の回転角は、θｋまたはθｋ+１８０のいずれかであることが分かるので、さらに回転角θｋまたはθｋ+１８０のいずれが正しいかを調べる。
【００４２】
すなわち、回転角θｋについて調べる場合には、Ｆ０（θ，ρ）とＦ１（θ＋θｋ，ρ）の間の各θのρ軸方向の１次元データについてそれぞれの積をとり、１次元逆フーリエ変換した結果を図７（ａ）に示すようにＲ０（θ，ρ）平面に記憶しておき、このＲ０（θ，ρ）平面の各θiについて最大値の位置Ａｉ（θｉ，ρｉ）（０≦ｉ＜Ｍ）を求める。また、回転角θｋ＋１８０について調べる場合には、１次元逆フーリエ変換した結果を図７（ｂ）に示すようにＲ１（θ，ρ）平面に記憶しておき、同様にしてθｋ＋１８０の最大値の位置を求めることになる。
【００４３】
その結果、もし、回転角θｋが真の回転角であるならば、求めたＡｉ（θｉ，ρｉ）はＲ０（θ，ρ）平面上でサインカーブを描くことになり、偽の回転角であるならばランダムな点列になる。よって、Ａｉ（０≦ｉ＜Ｍ）が連続している方の回転角が真の回転角となる。なお、かかる連続性は、連続する２つのＡｉとＡi-1の間の距離が一定範囲内に存在するＡｉの個数を求めることにより計算することができる。
【００４４】
具体的には、回転角がθｋの場合には、図８に示すように、変数ｉとＴ０をそれぞれ０に初期化した後（ステップＳ８０１）、連続する２つのＡｉとＡi-1の間のユークリッド距離Ｌｉ＝｜ＡｉとＡi-1｜を求め（ステップＳ８０２）、このユークリッド距離Ｌｉが所定のしきい値Ｃよりも小さいか否かを調べ（ステップＳ８０３）、Ｌｉが所定のしきい値Ｃよりも小さい場合には（ステップＳ８０３肯定）、Ｔ０をインクリメントし（ステップＳ８０４）、変数ｉをインクリメントする処理を（ステップＳ８０５）ｉがＭ−１よりも小さい間繰り返して（ステップＳ８０６）。
【００４５】
また、回転角がθｋ＋１８０の場合にも、図８に示す処理手順にしたがって同様にしてＴ１を求める。そして、このＴ０がＴ１よりも大きい場合には、θｋを真の回転角であるものとし、さもなければθｋ＋１８０を真の回転角とする。
【００４６】
次に、図１に示した平行移動量算定部１９による平行移動量の算定処理について説明する。図９は、図１に示した平行移動量算定部１９による平行移動量の算定処理手順を示すフローチャートであり、図１０は、９０度の間隔にある２点ＡｉとＡｊの一例を示す図であり、図１１は、平行移動量の投票概念を説明するための説明図である。
【００４７】
この平行移動量算定部１９では、図１０に示すようなＡｉ（θｉ，ρｉ）（０≦ｉ＜Ｍ）上から９０度の間隔にある（直交する）２点ＡｉとＡｊを選びながら、連立方程式
ρｉ＝ｘ・ｃｏｓ（θｉ）＋ｙ・ｓｉｎ（θｉ）
ρｊ＝ｘ・ｃｏｓ（θｊ）＋ｙ・ｓｉｎ（θｊ）
の解を図１１に示すような平行移動平面Ｗ（ｘ，ｙ）上に投票し、その最大値の位置の（ｘ，ｙ）を平行移動量とする。
【００４８】
具体的には、図９に示すように、変数ｉを０に初期化した後に（ステップＳ９０１）、ｊ＝ｉ＋９０として変数ｉと変数ｊが９０度の関係とし（ステップＳ９０２）、ｊがＭ−１よりも大きければｊ＝ｊ−Ｍとする（ステップＳ９０３）。
【００４９】
その後、すでに説明した上記連立方程式を解いて（ｘｉ，ｙｉ）を求め（ステップＳ９０４）、この（ｘｉ，ｙｉ）を図１１に示したＷ（ｘ，ｙ）平面に投票して（ステップＳ９０５）、変数ｉをインクリメントした後に（ステップＳ９０６）、ステップＳ９０２に移行する。かかる一連の処理をｉがＭよりも小さい場合に繰り返し（ステップＳ９０７肯定）、ｉがＭ以上となれば（ステップＳ９０７否定）処理を終了する。
【００５０】
上記一連の処理をおこなうことにより、回転角および平行移動量が求めるため、かかる回転角および平行移動量を用いて参照画像を補正することにより、入力画像と参照画像をマッチングさせることができる。図１２は、入力画像上における参照画像のマッチングの様子を示す図であり、同図に示すように、図２（ａ）に示した参照画像Ｉ０（ｘ，ｙ）を回転および平行移動することにより、図２（ｂ）に示した入力画像Ｉ１（ｘ，ｙ）上でマッチングさせることが可能となる。
【００５１】
上述してきたように、本実施の形態では、パワースペクトル微分平面作成部１２によってあらかじめ準備した参照画像と入力画像のパワースペクトル微分平面を作成し、回転角検出部１８がこのパワースペクトル微分平面上で比較しつつ回転角を求めるよう構成したので、迅速に回転角を求めることができる。特に、パワースペクトル平面上で平滑化処理と微分処理をおこなうことにより、特定の周波数の影響を低減しつつ迅速に回転角を算定することができる。また、平行移動量算定部１９は、２次元フーリエ逆変換を用いるのではなく、９０度の位置関係にある２点の投票により平行移動量を求めるよう構成することにより、高速に平行移動量を算出することができる。
【００５２】
ところで、上記実施の形態では、パワースペクトル平面上にガウスラプラシアンフィルターを作用させた場合を示したが、ρ軸方向に１次微分あるいは２次微分フィルターを作用させることもできる。
【００５３】
また、上記回転角検出部１８は、ロバスト推定による最小２乗法を用いて、Ａｉ（θｉ，ρｉ）をサインカーブにフィッティングさせ、このサインカーブから各Ａｉまでの距離の合計Ｅ０を求めてθｋに対応するＥ０を求め、同様にしてθｋ＋１８０に対応するＥ１を求め、Ｅ０がＥ１より小さい場合には真の回転角をθｋとし、さもなければθｋ＋１８０を真の回転角とすることもできる。さらに、求めたサインカーブと平行移動量は
【数２】
0003953842.tif 000003
の関係にあるので、平行移動量算定部１９は、求めたサインカーブから平行移動量（Δｘ，Δｙ）を容易に求めることができる。
【００５４】
なお、本実施の形態では、本発明に係る回転角の算定および平行移動量の算出を一連の処理としておこなう場合を示したが、本発明はこれに限定されるものではなく、従来のマッチドフィルタ法などで回転角を求めた後に本発明に係る平行移動量の算出をおこなっても良い。また、本発明に係る回転角の算定をおこなった後に従来手法により平行移動量を算出することもできる。
【００５５】
【発明の効果】
以上説明したように、請求項１の発明によれば、入力画像と参照画像をそれぞれフーリエ変換してフーリエ変換平面を作成し、作成した入力画像と参照画像のフーリエ変換平面を極座標変換してフーリエ変換極座標平面をそれぞれ作成し、作成したフーリエ変換極座標平面からパワースペクトル平面をそれぞれ作成し、作成したパワースペクトル平面を微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成し、作成した入力画像および参照画像の一方に対応するパワースペクトル微分平面を回転角方向にずらしつつ他方のパワースペクトル微分平面との間の類似度を求め、求めた類似度が最大となる回転角を検出し、検出した回転角を用いて補正された入力画像のフーリエ変換極座標平面と参照画像のフーリエ変換極座標平面間の各θにおいて積を計算した後、１次元逆フーリエ変換をおこなってθ−ρ平面を作成し、作成したθ−ρ平面の各θについての極大値を検出し、検出した極大値に基づいて平行移動量を算定するよう構成したので、計算量を低減しつつ迅速に画像の回転角を求めることが可能な画像マッチング方法が得られるという効果を奏する。また、従来のような２次元フーリエ逆変換をおこなう必要がなくなり、高速に平行移動量を算出することが可能となる。
【００５６】
また、請求項２の発明によれば、パワースペクトル平面をそれぞれ平滑化した後に微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成するよう構成したので、回転角を検出する際に算定の周波数の影響を受けにくくすることが可能な画像マッチング方法が得られるという効果を奏する。
【００５９】
また、請求項３の発明によれば、検出された極大値の位置の連続性から回転角を一意に特定するよう構成したので、迅速かつ効率良く回転角を求めることが可能な画像マッチング方法が得られるという効果を奏する。
【００６０】
また、請求項４の発明によれば、検出された２つの極大値の位置の組み合わせから平行移動量の複数の候補を求め、求めた各候補の投票によって平行移動量を算定するよう構成したので、投票という簡易な処理によって効率良く平行移動量を求めることが可能な画像マッチング方法が得られるという効果を奏する。
【００６１】
また、請求項５の発明によれば、検出された極大値の位置にフィッティングするサインカーブを求め、求めたサインカーブに基づいて平行移動量を算定するよう構成したので、正確かつ迅速に平行移動量を求めることが可能な画像マッチング方法が得られるという効果を奏する。
【００６２】
また、請求項６の発明によれば、入力画像と参照画像をそれぞれフーリエ変換してフーリエ変換平面を作成し、作成した入力画像と参照画像のフーリエ変換平面を極座標変換してフーリエ変換極座標平面をそれぞれ作成し、作成したフーリエ変換極座標平面からパワースペクトル平面をそれぞれ作成し、作成したパワースペクトル平面を微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成し、作成した入力画像および参照画像の一方に対応するパワースペクトル微分平面を回転角方向にずらしつつ他方のパワースペクトル微分平面との間の類似度を求め、求めた類似度が最大となる回転角を検出し、検出した回転角を用いて補正された入力画像のフーリエ変換極座標平面と参照画像のフーリエ変換極座標平面間の各θにおいて積を計算した後、１次元逆フーリエ変換をおこなってθ−ρ平面を作成し、作成したθ−ρ平面の各θについての極大値を検出し、検出した極大値に基づいて平行移動量を算定するよう構成したので、計算量を低減しつつ迅速に画像の回転角を求めることが可能な画像マッチング装置が得られるという効果を奏する。また、従来のような２次元フーリエ逆変換をおこなう必要がなくなり、高速に平行移動量を算出することが可能となる。
【００６３】
また、請求項７の発明によれば、入力画像と参照画像をそれぞれフーリエ変換してフーリエ変換平面を作成し、作成した入力画像と参照画像のフーリエ変換平面を極座標変換してフーリエ変換極座標平面をそれぞれ作成し、作成したフーリエ変換極座標平面からパワースペクトル平面をそれぞれ作成し、作成したパワースペクトル平面を微分して、その微分値の上限値と下限値を抑制したパワースペクトル微分平面を作成し、作成した入力画像および参照画像の一方に対応するパワースペクトル微分平面を回転角方向にずらしつつ他方のパワースペクトル微分平面との間の類似度を求め、求めた類似度が最大となる回転角を検出し、検出した回転角を用いて補正された入力画像のフーリエ変換極座標平面と参照画像のフーリエ変換極座標平面間の各θにおいて積を計算した後、１次元逆フーリエ変換をおこなってθ−ρ平面を作成し、作成したθ−ρ平面の各θについての極大値を検出し、検出した極大値に基づいて平行移動量を算定するよう構成したので、計算量を低減しつつ迅速に画像の回転角を求めることが可能な画像マッチングプログラムが得られるという効果を奏する。また、従来のような２次元フーリエ逆変換をおこなう必要がなくなり、高速に平行移動量を算出することが可能となる。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る画像マッチング装置の構成を示す機能ブロック図である。
【図２】本実施の形態で用いる参照画像と入力画像の一例を示す図である。
【図３】参照フーリエ変換平面と入力フーリエ変換平面の一例を示す図である。
【図４】参照パワースペクトル平面と入力パワースペクトル平面の一例を示す図である。
【図５】図１に示した画像マッチング装置のマッチングモードでの処理手順を示すフローチャートである。
【図６】図１に示した回転角検出部による回転角の検出概念を説明するための説明図である。
【図７】図１に示した回転角検出部による回転角の検出概念を説明するための説明図である。
【図８】図１に示した回転角検出部による回転角を一意に特定する手順（図５のステップＳ５０６に対応する）を示すフローチャートである。
【図９】図１に示した平行移動量算定部による平行移動量の算定処理手順を示すフローチャートである。
【図１０】９０度の間隔にある２点ＡｉとＡｊの一例を示す図である。
【図１１】平行移動量の投票概念を説明するための説明図である。
【図１２】入力画像上における参照画像のマッチングの様子を示す図である。
【符号の説明】
１０    画像マッチング装置
１１    画像入力部
１２    パワースペクトル微分平面作成部
１３    フーリエ変換処理部
１４    極座標変換処理部
１５    パワースペクトル平面作成部
１６    微分処理部
１７    参照データ記憶部
１８    回転角検出部
１９    平行移動量算定部
【図１】
0003953842.tif 000004
【図２】
0003953842.tif 000005
【図３】
0003953842.tif 000006
【図４】
0003953842.tif 000007
【図５】
0003953842.tif 000008
【図６】
0003953842.tif 000009
【図７】
0003953842.tif 000010
【図８】
0003953842.tif 000011
【図９】
0003953842.tif 000012
【図１０】
0003953842.tif 000013
【図１１】
0003953842.tif 000014
【図１２】
0003953842.tif 000015