(57)【特許請求の範囲】
【請求項１】
第１の画像と第２の画像とを照合する画像照合装置であって、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する周波数特徴取得部と、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
前記合成周波数特徴を周波数変換して、解像度が目標解像度に一致する相関係数マップを算出し、前記相関係数マップから算出した照合スコアに基づいて前記第１の画像と前記第２の画像との照合を行う判定部と、
前記照合スコアに基づいて前記目標解像度を調整する調整部と、
を備え、
前記調整部は、前記第１の画像と前記第２の画像とが同一であるときの前記照合スコアの分布である第１の分布と、前記第１の画像と前記第２の画像とが同一でないときの前記照合スコアの分布である第２の分布とが分離する、より小さな値の前記目標解像度を探索するように構成されている画像照合装置。
【請求項２】
前記調整部は、前記目標解像度の探索では、或る１つの前記目標解像度の下で、前記第１の画像と前記第１の画像と同一の前記第２の画像とを照合するために前記周波数特徴取得部による前記取得と前記周波数特徴合成部による前記合成と前記判定部による前記照合スコアの算出とを行って、前記第１の分布を算出することと、前記第１の画像と前記第１の画像と同一でない前記第２の画像とを照合するために前記周波数特徴取得部による前記取得と前記周波数特徴合成部による前記合成と前記判定部による前記照合スコアの算出とを行って、前記第２の分布を算出することとを、前記目標解像度を変更して繰り返し、各目標解像度のうち、前記第１の分布と前記第２の分布とが分離する、より小さな値の前記目標解像度を探索するように構成されている、
請求項１に記載の画像照合装置。
【請求項３】
前記調整部は、前記第１の分布と前記第２の分布とが分離しているか否かを、前記第１の分布と前記第２の分布とが所定の条件を満たすか否かによって決定するように構成されている、
請求項１または２に記載の画像照合装置。
【請求項４】
前記調整部は、前記第１の分布と前記第２の分布とを表示装置に表示し、入力装置から入力される利用者入力に応じて、前記第１の分布と前記第２の分布とが分離しているか否かを決定するように構成されている、
請求項１または２に記載の画像照合装置。
【請求項５】
前記判定部は、前記照合スコアが所定の基準値を満たす場合、前記第１の画像と前記第２の画像とが一致する旨の照合結果を生成するように構成されている、
請求項１乃至４の何れかに記載の画像照合装置。
【請求項６】
前記判定部の照合の結果を出力する出力部を、更に備える、
請求項１乃至５の何れかに記載の画像照合装置。
【請求項７】
第１の画像と第２の画像とを照合する画像照合方法であって、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得し、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成し、
前記合成周波数特徴を周波数変換して、解像度が目標解像度に一致する相関係数マップを算出し、
前記相関係数マップから算出した照合スコアに基づいて前記第１の画像と前記第２の画像との照合を行い、
前記照合スコアに基づいて前記目標解像度を調整し、
前記調整では、前記第１の画像と前記第２の画像とが同一であるときの前記照合スコアの分布である第１の分布と、前記第１の画像と前記第２の画像とが同一でないときの前記照合スコアの分布である第２の分布とが分離する、より小さな値の前記目標解像度を探索する、
画像照合方法。
【請求項８】
前記目標解像度の探索では、或る１つの前記目標解像度の下で、前記第１の画像と前記第１の画像と同一の前記第２の画像とを照合するために前記取得と前記合成と前記相関係数マップの算出と前記照合スコアの算出とを行って、前記第１の分布を算出することと、前記第１の画像と前記第１の画像と同一でない前記第２の画像とを照合するために前記取得と前記合成と前記相関係数マップの算出と前記照合スコアの算出とを行って、前記第２の分布を算出することとを、前記目標解像度を変更して繰り返し、各目標解像度のうち、前記第１の分布と前記第２の分布とが分離する、より小さな値の前記目標解像度を探索する、
請求項７に記載の画像照合方法。
【請求項９】
前記調整では、前記第１の分布と前記第２の分布とが分離しているか否かを、前記第１の分布と前記第２の分布とが所定の条件を満たすか否かによって決定する、
請求項７または８に記載の画像照合方法。
【請求項１０】
第１の画像と第２の画像とを照合するコンピュータを、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する周波数特徴取得部と、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
前記合成周波数特徴を周波数変換して、解像度が目標解像度に一致する相関係数マップを算出し、前記相関係数マップから算出した照合スコアに基づいて前記第１の画像と前記第２の画像との照合を行う判定部と、
前記照合スコアに基づいて前記目標解像度を調整する調整部であって、前記第１の画像と前記第２の画像とが同一であるときの前記照合スコアの分布である第１の分布と、前記第１の画像と前記第２の画像とが同一でないときの前記照合スコアの分布である第２の分布とが分離する、より小さな値の前記目標解像度を探索する調整部と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像照合装置、画像照合方法、およびプログラムに関する。
【背景技術】
【０００２】
個体識別などを目的として照合画像と登録画像との照合を行う画像照合方法が各種提案ないし実用化されている。【０００３】
位相限定相関法は、画像同士の位置探索や画像照合に応用できる手法である。【０００４】
位相限定相関法を応用した画像同士の位置探索方法が、例えば非特許文献１に記載されている。【０００５】
関連する技術が、特許文献１及び特許文献２に記載されている。【０００６】
位相限定相関法を応用した画像照合方法が、例えば、非特許文献２に記載されている。【０００７】
非特許文献２では、位相限定相関法を、指紋画像の照合に応用している。非特許文献２では、位相限定相関法によって、相関係数マップを算出し、相関係数マップ中の最大値がある閾値を超えるかどうかによって、同一の指紋であるか別の指紋であるかの判定を行う。また、非特許文献２では、周波数領域における高周波成分には重要な情報が含まれていない性質に鑑みて、正規化クロスパワースペクトルのうち、低周波成分のみを取り出して逆フーリエ変換することで、照合の性能を向上させている。低周波成分の取り出しによって、不要な高周波成分（ノイズなどに相当）が取り除かれるため、高周波成分に起因する相関が生じないようにする効果がある。すなわち、ノイズなどに対する頑健性に効果がある。また、低周波成分の取り出しは、逆フーリエ変換の解像度を下げていること、即ち相関係数マップの解像度を下げていることに相当しており、出力される相関係数の画像サイズが小さくなるため、計算量の削減に効果がある。【０００８】
ここで、非特許文献２では、指紋画像に対して有効な周波数帯域を、指紋画像から算出するようにしている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００８−１５８４８号公報
【特許文献２】特許３４６８１８２号公報
【非特許文献】
【００１０】
【非特許文献１】Kenji TAKITA et al., “High-Accuracy Subpixel Image Registration Based on Phase-Only Correlation”, IEICE Trans. Fundamentals, vol.E86-A, No.8 August 2003.
【非特許文献２】Koich ITO et al., “A Fingerprint Matching Algorithm Using Phase-Only Correlation”, IEICE Trans. Fundamentals, vol.E87-A, No.3 March 2004.
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述したように位相限定相関法を使用した画像照合において、照合を行う画像に対して有効な周波数帯域（低周波成分）を事前に定めておき、画像から当該周波数帯域（低周波成分）のみの相関値を算出することによって、ノイズなどに対する頑健性を確保している。また、相関係数マップの解像度を、取り出した低周波成分のクロスパワースペクトルの解像度と同じ解像度に下げるよう調整することが行われている。
つまり、従来の技術では、相関係数マップの解像度を、クロスパワースペクトルから取り出す特徴量の周波数に基づき、同一の解像度に決定していた。すなわち、相関係数マップの解像度を、クロスパワースペクトルの解像度と同じに決定していた。
しかしながら、照合を行う画像から事前に算出した解像度が常に適切であるとは限らない。そのため、相関係数マップの解像度を、クロスパワースペクトルで取り出す周波数成分やその解像度とは別個に、適切に調整し得る方法の実現が望まれている。【００１２】
本発明の目的は、上述した課題を解決する画像照合装置を提供することにある。
【課題を解決するための手段】
【００１３】
かかる目的を達成するため本発明の一形態である画像照合装置は、
第１の画像と第２の画像とを照合する画像照合装置であって、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する周波数特徴取得部と、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
前記合成周波数特徴を周波数変換して、解像度が目標解像度に一致する相関係数マップを算出し、前記相関係数マップから算出した照合スコアに基づいて前記第１の画像と前記第２の画像との照合を行う判定部と、
前記照合スコアに基づいて前記目標解像度を調整する調整部と、
を備える。【００１４】
また本発明の他の形態である画像照合方法は、
第１の画像と第２の画像とを照合する画像照合方法であって、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得し、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成し、
前記合成周波数特徴を周波数変換して、解像度が目標解像度に一致する相関係数マップを算出し、
前記相関係数マップから算出した照合スコアに基づいて前記第１の画像と前記第２の画像との照合を行い、
前記照合スコアに基づいて前記目標解像度を調整する。【００１５】
また本発明の他の形態であるプログラムは、
第１の画像と第２の画像とを照合するコンピュータを、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する周波数特徴取得部と、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
前記合成周波数特徴を周波数変換して、解像度が目標解像度に一致する相関係数マップを算出し、前記相関係数マップから算出した照合スコアに基づいて前記第１の画像と前記第２の画像との照合を行う判定部と、
前記照合スコアに基づいて前記目標解像度を調整する調整部と、
して機能させる。
【発明の効果】
【００１６】
本発明は、以上のように構成されることにより、相関係数マップの解像度を適切に調整することが可能である。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る画像照合装置のブロック図である。
【図２】本発明の第１の実施形態に係る画像照合装置のハードウェア構成の一例を示すブロック図である。
【図３】本発明の第１の実施形態に係る画像照合装置の動作のうち、照合処理を行う際の概略を示すフローチャートである。
【図４】本発明の第１の実施形態に係る画像照合装置の動作のうち、照合に最低限必要となる解像度を自動的に決定する際の概略を示すフローチャートである。
【図５】本発明の第１の実施形態に係る画像照合装置における周波数特徴取得部の一例を示すブロック図である。
【図６】第１の画像の周波数特徴と第２の画像の周波数特徴とを示す数式の例を示す図である。
【図７】正規化クロスパワースペクトルを算出する数式の例を示す図である。
【図８】位置ずれを伴う同一画像ペアの周波数特徴Ｆ（ｋ1，ｋ2）、周波数特徴Ｇ（ｋ1，ｋ2）、および正規化クロスパワースペクトルＲ（ｋ1，ｋ2）を示す数式の例を示す図である。
【図９】位置ずれを伴う同一画像ペアの相関係数マップｒ（ｎ1，ｎ2）を示す数式の例を示す図である。
【図１０】逆フーリエ変換において、変換前のデータのうち低周波帯域のみを切り出して使用することで解像度を下げる場合の概略図である。
【図１１】逆フーリエ変換において、変換前のデータをゼロ詰めすることによって解像度を上げる場合の概略図である。
【図１２】本発明の第１の実施形態に係る画像照合装置における周波数変換解像度調整部の一例を示すブロック図である。
【図１３】最適変換解像度の自動決定方法において、登録ＤＢの全てが別個体である場合に、スコア分布を得る方法の概略図である。
【図１４】最適変換解像度の自動決定方法において、登録ＤＢに同一別個体が含まれる場合に、スコア分布を得る方法の概略図である。
【図１５】本発明の第２の実施形態に係る画像照合装置における周波数特徴取得部の一例を示すブロック図である。
【図１６】本発明の第３の実施形態に係る画像照合装置における周波数特徴取得部の一例を示すブロック図である。
【図１７】大きい解像度と小さい解像度とで逆フーリエ変換をした場合に得られる相関係数マップの違いを示すための概略図である。
【図１８】本発明の第４の実施形態に係る画像照合装置における周波数特徴取得部の一例を示すブロック図である。
【発明を実施するための形態】
【００１８】
［第１の実施形態］
本発明の第１の実施形態について説明する。
＜本実施形態が解決しようとする課題＞
【００１９】
一般的には、位相限定相関法の処理過程で用いられる逆フーリエ変換において、計算量は変換後の相関係数マップの解像度に依存して決まる。また、解像度に応じて、位置推定や照合の精度も変化する。
【００２０】
例えば、解像度を大きく設定した場合、計算量が大きくなるが、精度が向上する。反対に解像度を小さく設定した場合、計算量が小さくなるが、精度が低下する。
【００２１】
図１７は、大きい解像度と小さい解像度とで逆フーリエ変換をした場合に得られる相関係数マップの違いを示すための概略図である。図１７では、例として４倍の解像度の差があるとして、上段は解像度が小さい場合の相関係数マップ、下段は解像度が大きい場合の相関係数マップを示しており、解像度の違いを示すために、横軸のスケールを合わせている。例えば、図１７では、解像度が４倍異なるので、解像度が小さい場合の１画素が、解像度が大きい場合の４画素に相当するようにスケールを合せている。
【００２２】
解像度が小さい場合、解像度が大きい場合に比べて、各画素の値が隣接する画素の値との平均値となってしまうため、相関の最大値が低下してしまう。そのため、例えば相関の最大値を照合に用いる場合、同一個体の場合と別個体の場合とで相関の最大値に差がないため、照合に使用する閾値の定義が困難になる。つまり、判別の境界があいまいであるため、照合に失敗する場合がある。
【００２３】
一方で、解像度が大きい場合、前述した理由などでの相関の最大値の低下が生じず、同一個体の場合と別個体の場合とで相関の最大値に差があるため、照合に使用する閾値の定義は容易に行える。つまり、判別の境界が明確であるため、照合に失敗する場合が少ない。
【００２４】
位相限定相関法において、前述のように逆フーリエ変換時に変換の解像度を調整することは、従来から行われてきている。例えば、特許文献１では、先ず、探索対象画像とテンプレート画像に対してフーリエ変換を用いて周波数領域へ変換する。次に、上記変換によって得られた探索対象画像およびテンプレート画像の各々の複素スペクトルからクロスパワースペクトルを算出する。次に、上記クロスパワースペクトルに対して周波数毎の重みフィルターを用いてパワー成分を消去して位相成分のみに正規化する。次に、上記正規化されたクロスパワースペクトル（正規化クロスパワースペクトル）に対して逆フーリエ変換を用いて実座標領域上の相関係数（相関係数マップ）を算出する。次に、上記算出された相関係数マップの中から、最大値を持つ座標を検出することで位置探索を行う。非特許文献１や特許文献１のように位相限定相関法を位置探索に使用する場合においては、解像度を調整することで任意の位置推定精度での位置探索が可能となる。即ち、サブピクセル単位など、高い位置推定精度が要求される場合には解像度を上げる必要がある。特許文献２では、逆フーリエ変換を行う代わりに、上記クロスパワースペクトルに基づいて、平行移動量のパラメータ空間中に投票操作を行い、投票画像を生成している。そして、投票画像における値が最大値となる座標を検出することで位置探索を行う。解像度を上げるには、特許文献２に記載されているように、例えば、正規化クロスパワースペクトルの高周波成分をゼロの値などで埋め合わせることで実現できる。また、数ピクセルの推定誤差が許容できる場合など、位置推定精度がさほど要求されない場合には、解像度を下げて計算してもよい。解像度を下げるには、非特許文献２に関して前述のとおり、例えば低周波成分のみを取り出して使用することで実現する。このように、位置探索の場合には、目的の位置探索精度に応じて、解像度を決めることができる。
【００２５】
一方、位相限定相関法を照合に使用する場合においても、非特許文献２のように、解像度の調整には効果がある。例えば、前述のとおり、解像度を下げることによって、出力される相関係数の画像サイズが小さくなるため、計算量の削減が可能である。つまり、解像度を下げることによって、高速に照合することができる。しかし、それは解像度の調整が適切に行われている場合に限られる。非特許文献２では、照合を行う画像から相関係数マップの解像度を事前に算出している。具体的には、取り出したクロスパワースペクトルの解像度と同一としている。しかし、相関係数マップの解像度をクロスパワースペクトルの解像度と同一にすることが、照合の用途において常に適切である保証はない。若し不適切な場合、同一個体と別個体の見分けがつかなくなり、照合が不能となってしまう。そのため、相関係数マップの解像度を適切に調整し得る方法の実現が望まれる。
従来技術の知見では、クロスパワースペクトルは相関係数マップを周波数変換したものに相当するから、クロスパワースペクトルにおいて取り出す低周波成分を得るのに必要最低限の解像度さえあればよいという基準に基づいている。この基準は、元々の画像の周波数成分がそもそも当該低周波成分しか持っていなかった場合には、照合の精度に関しても有効な基準となる。しかし実際には、照合している元々の画像は、より高周波成分を含有している。そのため、本来の相関係数マップの最大値は、元々の画像の解像度において最大値を取る。すなわち、低周波成分のみを後で取り出した上記のクロスパワースペクトルの解像度まで下げてしまうと、相関の最大値が低下しすぎる場合がある。
このため、従来技術と異なり、クロスパワースペクトルの解像度とは別個に、相関係数マップの最大値が安定して検出できるという、照合の用途に最適な基準に基づいて、相関係数マップの解像度を設定することが、本来、望ましい。本発明は、この新たな知見に基づき、相関係数マップの解像度をより適切に調整し得て、照合精度を担保しつつ、特徴量のデータ量や計算量をより削減できる方法としてなされたものである。
【００２６】
＜本実施形態の目的＞
【００２７】
本実施形態の目的は、照合に最低限必要となる相関係数マップの解像度を、クロスパワースペクトルから取り出す周波数や解像度とは別個に、自動的に決定し、照合精度を担保しつつ、なおかつ高速に照合することができる画像照合装置、画像照合方法、プログラムを提供することにある。
【００２８】
＜本実施形態の構成＞
図１は、本発明の第１の実施形態に係る画像照合装置のブロック図である。本実施形態にかかる画像照合装置１００は、第１の画像と第２の画像との照合を行うように構成されている。
【００２９】
図１を参照すると、画像照合装置１００は、周波数特徴取得部１０１と、第１の記憶部１０２と、第２の記憶部１０３と、周波数特徴合成部１０４と、周波数変換解像度調整部１０５と、照合判定部１０６と、情報提示部１０７とを備えている。
【００３０】
周波数特徴取得部１０１は、第１の画像と第２の画像との周波数特徴を取得するように構成されている。周波数特徴とは、画像に対してフーリエ変換（離散フーリエ変換）を施すことによって、周波数領域に変換した結果の２次元データ（２次元配列）を指す。
【００３１】
ここで、第１の画像は、例えば、照合対象の物体を撮像して得られた照合画像である。また、第２の画像は、複数の登録対象の物体を撮像して得られた複数の登録画像のうちの１つである。第２の画像は１つ或いは複数存在する。また、物体とは、例えば工業製品や商品等である。物体の表面には、微細凹凸や模様、素材表面のランダムパターン等の、同一の製造過程で生じる自然発生的な微細なパターンが存在する。このような物体表面のパターンの差異をカメラ等の撮像装置を用いて画像として取得し、その微細パターンを認識することで、製品個々の個体識別や管理を行うことができる。本実施形態は、そのような個体識別のための画像照合技術に関する。
【００３２】
第１の記憶部１０２は、第１の画像の周波数特徴を記憶するように構成されている。第２の記憶部１０３は、第２の画像の周波数特徴を記憶するように構成されている。
【００３３】
周波数特徴合成部１０４は、第１の記憶部１０２に格納された第１の画像の周波数特徴と、第２の記憶部１０３に格納された第２の画像の周波数特徴との正規化クロスパワースペクトルを算出するように構成されている。
【００３４】
周波数変換解像度調整部１０５は、正規化クロスパワースペクトルを後述の照合判定部１０６によって相関係数マップに変換する際の、逆フーリエ変換（離散逆フーリエ変換）の解像度を調整するように構成されている。ここで、逆フーリエ変換の解像度は、相関係数マップの解像度と同じ意味である。また、相関係数マップの解像度が大きい、小さいとは、相関係数マップのサイズすなわち次元数（画素数）が大きい、小さいと同じことである。相関係数マップのサイズは、相関係数マップの各次元のサイズで定まる。各次元のサイズは、離散周波数インデックスの数で定まる。従って、離散周波数インデックスの最大値を調整することは、解像度を調整する方法の一形態である。
【００３５】
照合判定部１０６は、周波数変換解像度調整部１０５によって調整された解像度に基づいて、正規化クロスパワースペクトルを逆フーリエ変換によって相関係数マップに変換するように構成されている。また、照合判定部１０６は、相関係数マップから第１の画像と第２の画像の類似度を示すスコアを算出するように構成されている。
【００３６】
情報提示部１０７は、照合判定部１０６の判定結果に基づき、第１の画像と第２の画像との照合結果を提示するように構成されている。照合結果の提示は、照合結果を表示装置に表示し、または照合結果を記載した用紙を印刷装置で印刷し、または照合結果を記載したメッセージを通信装置で外部端末へ送信するなどであってよい。
【００３７】
画像照合装置１００は、例えば図２に示すように、カメラ等の撮像部２０１と、キーボードやマウスなどの操作入力部２０２と、液晶ディスプレイ等の画面表示部２０３と、通信インターフェース部２０４と、メモリやハードディスク等の記憶部２０５と、１以上のマイクロプロセッサ等の演算処理部２０６とを有する情報処理装置２００と、プログラム２０７とで実現することができる。情報処理装置２００は、例えばパーソナルコンピュータやスマートフォンであってよい。
【００３８】
プログラム２０７は、情報処理装置２００の立ち上げ時等に外部のコンピュータ読み取り可能な記憶媒体からメモリに読み込まれ、演算処理部２０６の動作を制御することにより、演算処理部２０６上に、周波数特徴取得部１０１、第１の記憶部１０２、第２の記憶部１０３、周波数特徴合成部１０４、周波数変換解像度調整部１０５、照合判定部１０６、および情報提示部１０７といった機能的手段を実現する。
＜本実施形態の動作＞
【００３９】
次に、本実施形態に係る画像照合装置１００の動作の概略を説明する。
【００４０】
図３は、本発明の第１の実施形態に係る画像照合装置１００の動作のうち、照合処理を行う際の概略を示すフローチャートである。
【００４１】
まず、周波数特徴取得部１０１は、第１の画像の周波数特徴と第２画像の周波数特徴とを取得する（ステップＳ１０１）。第２の画像が複数存在する場合、周波数特徴取得部１０１は、その各々の第２の画像から周波数特徴を取得する。周波数特徴取得部１０１は、取得した第１の画像の周波数特徴を第１の記憶部１０２に保存し、第２の画像の周波数特徴を第２の記憶部１０３に保存する。
【００４２】
次に、周波数特徴合成部１０４は、第１の記憶部１０２に格納された第１の画像の周波数特徴と、第２の記憶部１０３に格納された第２の画像の周波数特徴との正規化クロスパワースペクトルを算出する（ステップＳ１０２）。第２の画像の周波数特徴が複数存在する場合、周波数特徴合成部１０４は、第１の画像の周波数特徴と各々の第２の画像の周波数特徴との複数の正規化クロスパワースペクトルを算出する。
【００４３】
次に、周波数変換解像度調整部１０５は、周波数特徴合成部１０４が算出した正規化クロスパワースペクトルを逆フーリエ変換によって相関係数マップに変換する際の、解像度を調整する（ステップＳ１０３）。例えば、周波数変換解像度調整部１０５は、後述する図４に示す動作によって決定した照合に最低限必要となる解像度を、調整後の解像度とする。
【００４４】
次に、照合判定部１０６は、周波数変換解像度調整部１０５によって調整された解像度を使用して、正規化クロスパワースペクトルに対して逆フーリエ変換を行い、相関係数マップに変換する（ステップＳ１０４）。そして、照合判定部１０６は、相関係数マップから第１の画像と第２の画像の類似度を示すスコアを算出する（ステップＳ１０５）。照合判定部１０６は、正規化クロスパワースペクトルが複数存在する場合、その各々の正規化クロスパワースペクトルについて逆フーリエ変換を行い、相関係数マップに変換する。また、照合判定部１０６は、各々の相関係数マップについて、第１の画像と第２の画像の類似度を示すスコアを算出する。
【００４５】
次に、照合判定部は１０６、算出したスコアに基づいて、第１の画像と第２の画像との照合を行う（ステップＳ１０６）。
【００４６】
例えば、第２の画像が１つの場合、照合判定部１０６は、スコアが所定の基準値を満たす場合、第１の画像と第２の画像とは一致する（同一である）旨の照合結果を導出する。他方、照合判定部１０６は、スコアが所定の基準を満たさない場合、第１の画像と第２の画像とは一致しない（同一でない）旨の照合結果を導出する。
【００４７】
また、例えば第２の画像が複数存在する場合、照合判定部１０６は、算出した複数のスコアのうちの最良のスコアが所定の基準値を満たす場合、第１の画像と上記最良のスコアとなった第２の画像とは一致する（同一である）旨の照合結果を導出する。他方、照合判定部１０６は、上記最良のスコアが所定の基準値を満たさない場合、第１の画像と第２の画像とは一致しない（同一でない）旨の照合結果を導出する。
【００４８】
次に、情報提示部１０７は、照合判定部１０６から得た第１の画像と第２の画像との照合結果を提示する（ステップＳ１０７）。
【００４９】
図４は、本発明の第１の実施形態に係る画像照合装置１００の動作のうち、照合に最低限必要となる解像度を自動的に決定する際の概略を示すフローチャートである。図４に示す動作（目標解像度決定時動作）は、図３に示した流れに従って実際の照合を行う動作（照合時動作）の前に実施される。画像照合装置１００が、図３に示した動作を行うか、図４に示した動作を行うかは、例えば操作入力部２０２から入力される指令に従う。
【００５０】
まず、周波数特徴取得部１０１は、第１の画像の周波数特徴と第２画像の周波数特徴とを取得する（ステップＳ２０１）。第２の画像が複数存在する場合、周波数特徴取得部１０１は、その各々の第２の画像から周波数特徴を取得する。周波数特徴取得部１０１は、取得した第１の画像の周波数特徴を第１の記憶部１０２に保存し、第２の画像の周波数特徴を第２の記憶部１０３に保存する。
【００５１】
次に、周波数特徴合成部１０４は、第１の記憶部１０２に格納された第１の画像の周波数特徴と、第２の記憶部１０３に格納された第２の画像の周波数特徴との正規化クロスパワースペクトルを算出する（ステップＳ２０２）。第２の画像の周波数特徴が複数存在する場合、周波数特徴合成部１０４は、第１の画像の周波数特徴と各々の第２の画像の周波数特徴との複数の正規化クロスパワースペクトルを算出する。
【００５２】
次に、周波数変換解像度調整部１０５は、周波数特徴合成部１０４が算出した正規化クロスパワースペクトルを逆フーリエ変換によって相関係数マップに変換する際の、解像度を調整する（ステップＳ２０３）。例えば、周波数変換解像度調整部１０５は、図４の処理を開始した後にはじめてステップＳ２０３を実行する際には、予め定められた初期値の解像度を調整後の解像度とする。また、周波数変換解像度調整部１０５は、２回目以降のステップＳ２０３の実行時には、前回使用した解像度より大きな、或いは小さな解像度を調整後の解像度とする。
【００５３】
次に、照合判定部１０６は、周波数変換解像度調整部１０５によって調整された解像度を使用して、正規化クロスパワースペクトルに対して逆フーリエ変換を行い、相関係数マップに変換する（ステップＳ２０４）。そして、照合判定部１０６は、相関係数マップから第１の画像と第２の画像の類似度を示すスコアを算出する（ステップＳ２０５）。照合判定部１０６は、正規化クロスパワースペクトルが複数存在する場合、その各々の正規化クロスパワースペクトルについて逆フーリエ変換を行い、相関係数マップに変換する。また、照合判定部１０６は、各々の相関係数マップについて、第１の画像と第２の画像の類似度を示すスコアを算出する。
【００５４】
次に、周波数変換解像度調整部１０５は、照合判定部１０６が算出したスコアから、第１の画像と第２の画像とが一致する場合のスコアの分布と、第１の画像と第２の画像とが一致しない場合のスコアの分布との、２種類のスコア分布の分離の度合いが条件を満たすかどうかを評価する（ステップＳ２０６）。例えば、２種類のスコア分布が十分に分かれていると評価した場合には、周波数変換解像度調整部１０５は、自身が調整した解像度を、照合に最低限必要となる解像度として決定する。２種類のスコア分布が十分に分かれてはいないと評価した場合には、ステップＳ２０３に戻って、再び処理を繰り返す。
【００５５】
＜各部の詳細＞
次に、本実施形態に係る画像照合装置１００の各部を詳細に説明する。
【００５６】
先ず、周波数特徴取得部１０１について詳細に説明する。
【００５７】
図５は、周波数特徴取得部１０１の一例を示すブロック図である。この例の周波数特徴取得部１０１は、画像取得部１１１と、周波数変換部１１２とで構成される。
【００５８】
画像取得部１１１は、第１の画像と第２の画像とを取得するように構成されている。画像取得部１１１は、例えばカメラやスキャナ等に代表される撮影機器であってよい。或いは画像取得部１１１は、可視光線と、それより波長の長い近赤外線や短波長赤外線、熱赤外線領域までの光をレンズで集め、対象物の形状などを画像データとして取得する光学センサであってもよい。或いは、画像取得部１１１は、赤外光や紫外光、Ｘ線の強度を取得し、２次元データ配列として出力するセンサであってもよい。或いは、画像取得部１１１は、ＣＤ−ＲＯＭやメモリ等の外部記憶媒体から第１の画像および第２の画像を取得するように構成されていてもよい。或いは、画像取得部１１１は、ネットワーク経由で第１の画像および第２の画像を受け取るように構成されていてもよい。また、画像取得部１１１は、第１の画像を取得する方法と第２の画像を取得する方法とが異なっていてもよい。
【００５９】
周波数変換部１１２は、画像取得部１１１から第１の画像と第２の画像とを受け取り、その各々の画像に対して、離散フーリエ変換を施した結果の画像（周波数スペクトル画像）を出力するように構成されている。周波数変換部１１２は、第１の画像の周波数スペクトル画像を第１の周波数特徴として第１の記憶部１０２に保存し、第２の画像の周波数スペクトル画像を第２の周波数特徴として第２の記憶部１０３に保存する。
【００６０】
次に、周波数特徴取得部１０１が取得する第１の画像と第２の画像との周波数特徴の例を、説明する。
【００６１】
第１の画像および第２の画像を、Ｎ1×Ｎ2ピクセルの２つの画像ｆ（ｎ1，ｎ2）および画像ｇ（ｎ1，ｎ2）とする。また、２次元画像信号の離散空間インデックス（整数）を、ｎ1＝−Ｍ1，…，Ｍ1およびｎ2＝−Ｍ2，…，Ｍ2とする。ただし、Ｍ1およびＭ2は正の整数であり、Ｎ1＝２Ｍ1＋１およびＮ2＝２Ｍ2＋１である。そうすると、画像ｆ（ｎ1，ｎ2）を２次元離散フーリエ変換して得られる第１の周波数特徴Ｆ（ｋ1，ｋ2）、および画像ｇ（ｎ1，ｎ2）を２次元離散フーリエ変換して得られる第２の周波数特徴Ｇ（ｋ1，ｋ2）は、図６に示す式１、式２で与えられる。式１、式２において、ｋ1＝−Ｍ1，…，Ｍ1およびｋ2＝−Ｍ2，…，Ｍ2は離散周波数インデックス（整数）である。また、ＷN1およびＷN2は回転因子であり、図６に示す式３、式４で与えられる。また、ＡF（ｋ1，ｋ2）およびＡG（ｋ1，ｋ2）は振幅スペクトル（振幅成分）、θF（ｋ1，ｋ2）およびθG（ｋ1，ｋ2）は位相スペクトル（位相成分）をそれぞれ表す。また、Σn1,n2は、図６の式５に示すようにインデックス全域にわたる加算を表す。
【００６２】
次に、周波数特徴合成部１０４について詳細に説明する。
【００６３】
周波数特徴合成部１０４は、第１の周波数特徴Ｆ（ｋ1，ｋ2）と第２の周波数特徴Ｇ（ｋ1，ｋ2）の正規化クロスパワースペクトルＲ（ｋ1，ｋ2）を、図７に示す式６により算出する。式６において、オーバーラインＧ（ｋ1，ｋ2）は第２の周波数特徴Ｇ（ｋ1，ｋ2）の複素共役である。また、θF（ｋ1，ｋ2）−θG（ｋ1，ｋ2）は第１の周波数特徴と第２の周波数特徴の位相差スペクトルである。式６に示されるように、周波数特徴合成部１０４は、第１の周波数特徴Ｆ（ｋ1，ｋ2）と、第２の周波数特徴Ｇ（ｋ1，ｋ2）の複素共役の要素ごとの積である、クロスパワースペクトルを求め、さらにその絶対値で正規化することにより、正規化クロスパワースペクトルを算出する。
【００６４】
ところで、画像ｆ（ｎ1，ｎ2）と画像ｇ（ｎ1，ｎ2）が位置ずれを伴う同一画像ペアの場合、それらの周波数特徴Ｆ（ｋ1，ｋ2）、周波数特徴Ｇ（ｋ1，ｋ2）、ならびにその２つの正規化クロスパワースペクトルＲ（ｋ1，ｋ2）は、図８に示す式７、式８、式９で与えられる。ここで、δ1，δ2は画像ｆ（ｎ1，ｎ2）と画像ｇ（ｎ1，ｎ2）間の位置ずれ量である。即ち、画像ｇ（ｎ1，ｎ2）は画像ｆ（ｎ1，ｎ2）を（δ1，δ2）だけ平行移動させた画像である。式９に示されるように、照合を行う２つの周波数特徴Ｆ（ｋ1，ｋ2）、Ｇ（ｋ1，ｋ2）が同一画像ペアの場合、その正規化クロスパワースペクトルＲ（ｋ1，ｋ2）は、次元ごと（ｋ1，ｋ2ごと）に単一の周期を持つ複素正弦波として表現される。これに対して、照合を行う２つの周波数特徴Ｆ（ｋ1，ｋ2）、Ｇ（ｋ1，ｋ2）が同一画像ペアでない場合、その正規化クロスパワースペクトルＲ（ｋ1，ｋ2）は、次元ごとに単一の周期を持つ複素正弦波にはならない。
【００６５】
続いて、周波数変換解像度調整部１０５の説明の前に、照合判定部１０６について詳細に説明する。
【００６６】
照合判定部１０６は、まず、正規化クロスパワースペクトルを逆フーリエ変換することによって相関係数マップを算出する。そして、照合判定部１０６、算出した相関係数マップ中のピークの最大値に応じて、同一個体か別個体かの判定を行う。前述のとおり、同一画像ペアの場合には、正規化クロスパワースペクトルは単一の周期をもつ複素正弦波として表現されているため、逆フーリエ変換することで、特定のスペクトルのみが顕著に表れ、相関係数マップ中に鋭いピークが現れる。相関係数マップｒ（ｎ1，ｎ2）は、図９に示す式１０で与えられる。一方で、同一画像ペアでない場合、単一の周期をもつ複素正弦波にはなっていないため、相関係数マップ中に鋭いピークは現れない。すなわち、同一画像であるか同一画像ペアでないかは、相関係数マップ中のピークの最大値に応じて判定することができる。
【００６７】
ところで、逆フーリエ変換において、計算量は変換後の相関係数マップの解像度に依存して決まる。解像度が低い場合、相関係数マップの画像サイズ、すなわち画素の総数が小さいため、計算量が小さくなる。したがって、高速に照合を行いたい場合、解像度を低くすればよい。しかし、解像度を低くしすぎると、相関係数マップの1画素がピークの周辺部をも含む平均値の値となるため、ピークの最大値が小さくなるため、同一画像ペアであるか同一画像ペアでないかの判定が不能になる場合がある。すなわち、照合ができなくなる場合がある。したがって、照合が可能な範囲でなるべく高速に照合を行うためには、解像度を適切な値に調整した上で、逆フーリエ変換を行う必要がある。以降、適切な解像度の値を最適変換解像度と記載する。
【００６８】
なお、解像度を調整する方法は、例えば、変換前のデータのうち低周波帯域のみを切り出して使用することで解像度を下げる、変換前のデータをゼロ詰めによって解像度を上げる、などがある。前述の方法で、解像度を下げた後に、ゼロ詰めによって解像度を上げる、というように組み合わせて調整してもよい。
【００６９】
図１０は、変換前のデータのうち低周波帯域のみを切り出して使用することで解像度を下げる場合の概略図である。
【００７０】
図１１は、変換前のデータをゼロ詰めすることによって解像度を上げる場合の概略図である。
【００７１】
ここで、周波数変換解像度調整部１０５について詳細に説明する。
【００７２】
周波数変換解像度調整部１０５は、最適変換解像度を自動的に決定するように構成されている。また、周波数変換解像度調整部１０５は、最適変換解像度を照合判定部１０６に与えるように構成されている。
【００７３】
図１２は、周波数変換解像度調整部１０５の一例を示すブロック図である。この例の周波数変換解像度調整部１０５は、解像度記憶部１２１と、解像度設定部１２２と、分離度評価部１２３とで構成される。
【００７４】
解像度記憶部１２１は、照合判定部１０６で算出する相関係数マップの画像サイズ（解像度）を保持している。
【００７５】
解像度設定部１２２は、解像度記憶部１２１が保持している解像度の値を読みだして、照合判定部１０６に解像度を与えるよう構成されている。
【００７６】
分離度評価部１２３は、照合判定部１０６から得られる同一個体同士のスコアと別個体同士のスコアとから、照合が十分に行えるかどうかの度合いを評価するように構成されている。また、分離度評価部１２３は、評価した結果に基づいて解像度記憶部１２１や解像度設定部１２２に情報をフィードバックできるように構成されている。
【００７７】
分離度評価部１２３は、周波数変換解像度調整部１０５が最適変換解像度を自動的に決定するためにのみ使用され、照合処理を行う際には使用されない。即ち、分離度評価部１２３は、図４に示した処理を行う際に使用され、図３に示した処理を行う際には使用されない。
【００７８】
続いて、周波数変換解像度調整部１０５が最適変換解像度を自動的に決定する処理の流れを説明する。
【００７９】
周波数変換解像度調整部１０５が最適変換解像度を自動的に決定するためには、複数枚の登録画像を使用する。以降、複数枚の登録画像を登録ＤＢと記載する。登録ＤＢには、同一個体が含まれていてもよいし、全てが別個体であってもよい。ただし、登録ＤＢには、少なくとも別個体の画像が２つ以上含まれている必要がある。
【００８０】
まず、登録ＤＢの全てが別個体である場合の最適変換解像度の自動決定方法ついて説明する。
【００８１】
画像照合装置１００を用いて、複数枚の登録画像同士で照合処理を行うことでスコアが複数得られる。なお、この時の照合処理において、例えば、解像度記憶部１２１は、相関係数マップの画像サイズ（解像度）として、はじめは十分に小さい値を保持しており、照合の精度が低下しているとする。登録ＤＢがｒ枚だとすると、別個体同士の組み合わせはｒ（ｒ−１）／２であるため、別個体同士のスコアをｒ（ｒ−１）／２個得る事ができる。そして、これら複数の別個体同士のスコアから分布を得ることができる。以降、スコアの分布をスコア分布と記載する。
【００８２】
ここで、同一個体同士のスコア分布が存在すれば、同一個体同士のスコア分布と別個体同士のスコア分布とが分離するような解像度を最適変換解像度とすればよい。しかし、登録ＤＢには同一個体が存在しないため、同一個体同士のスコア分布を得ることは単純にはできない。そこで、登録ＤＢのｒ枚のうち少なくとも１枚以上のｓ枚を元画像として選び、画像処理によって加工を施すことで疑似的な同一個体画像を生成する。加工方法としては、画像を並進させる、画像を回転させる、ノイズを加える、などがある。また、１枚の画像に対して複数の加工を施してもよく、疑似的な同一個体画像は、１枚の元画像に対して複数枚生成してもよい。
【００８３】
登録ＤＢから選ばれた元画像とその元画像から生成した疑似的な同一個体画像とは、同一個体同士として扱うとする。その場合、同一個体同士の組み合わせはｓ以上であるため、同一個体同士で照合処理を行うことで、同一個体同士のスコアをｓ個以上得る事ができる。そして、これら同一個体同士のスコアからスコア分布を得る事ができる。
【００８４】
図１３は、登録ＤＢの全てが別個体である場合に、スコア分布を得る方法の概略図である。Ａ１、Ｂ１、Ｃ１は登録ＤＢのそれぞれが異なる個体の画像である。Ａ２、Ａ３は、Ａ１に対して加工を施した画像であり、Ａ１と同一個体として扱う。Ｃ２は、Ｃ１に対して加工を施した画像であり、Ｃ１と同一個体として扱う。また、白丸印とその上部にある実線は、それぞれ同一個体同士のスコア、同一個体同士のスコア分布を表す。また、白罰印とその上部にある破線は、別個体同士のスコア、別個体同士のスコア分布を表す。
【００８５】
同一個体同士のスコア分布と別個体同士のスコア分布とが得られた場合、前述のとおり、スコア分布が分離するような解像度を最適変換解像度とすればよい。スコア分布が分離しているかどうかの指標としては、例えば、正規分布を活用する方法がある。具体的には、別個体同士のスコア分布を正規分布と仮定して、その平均値がμ、標準偏差がσである時に、同一個体同士のスコアの全てがμ＋３σよりも大きいかどうかを指標とするのが一例である。
【００８６】
同一個体同士のスコアの全てがμ＋３σよりも大きい場合、分離度評価部１２３は、スコア分布が分離していると評価して、解像度設定部１２２が照合判定部１０６に与えた解像度を最適変換解像度であると決定する。そして、分離度評価部１２３は、最適変換解像度の値を解像度記憶部１２１に与える。
【００８７】
同一個体同士のスコアの一部でもμ＋３σより小さい場合、分離度評価部１２３は、スコア分布が十分に分離していないと評価する。そして、分離度評価部１２３は、現在よりも大きな、異なる解像度の値を解像度記憶部１２１に与える。その後、改めて同一個体同士の照合処理と別個体同士の照合処理を行い、同様にして分離度の評価を行う。この処理は、分離度評価部１２３が、スコア分布が分離していると評価するまで繰り返される。
【００８８】
続いて、登録ＤＢに同一個体が含まれている場合の最適変換解像度の自動決定方法について説明する。
【００８９】
前述のとおり、登録ＤＢの全てが別個体である場合と同様に、画像照合装置１００を用いて、複数枚の登録画像同士で照合処理を行うことでスコアが複数得られる。得られる複数のスコアには、同一個体同士のスコアと別個体同士のスコアとの２種類がある。そのため、同一個体同士のスコア分布と別個体同士のスコア分布の両方を得る事ができる。
【００９０】
図１４は、登録ＤＢに同一個体が含まれている場合に、スコア分布を得る方法の概略図である。Ａ１、Ｂ１、Ｃ１は登録ＤＢのそれぞれが異なる個体の画像である。Ａ２、Ａ３は、Ａ１と同一個体を写したそれぞれ異なる画像であり、Ａ１と同一個体として扱う。Ｃ２は、Ｃ１と同一個体を写した異なる画像であり、Ｃ１と同一個体として扱う。また、白丸印とその上部にある実線は、それぞれ同一個体同士のスコア、同一個体同士のスコア分布を表す。また、白罰印とその上部にある破線は、別個体同士のスコア、別個体同士のスコア分布を表す。
【００９１】
同一個体同士のスコア分布と別個体同士のスコア分布とが得られるため、登録ＤＢに同一個体が含まれている場合で説明したのと同様に、分離度評価部１２３が最適変換解像度を自動的に決定できる。なお、例えば、登録ＤＢ中に含まれる同一個体の数が少ない場合などは、同一個体同士のスコア分布が不安定であるため、前述したように、疑似的な同一個体画像を生成して同一個体の数を増やしてもよい。
【００９２】
前述の例では、解像度記憶部１２１は、はじめは十分に小さい値を保持しているとしたが、十分に大きな値を保持しているとしてもよい。その場合は、分離度評価部１２３が解像度記憶部１２１に与える解像度の値は、現在よりも小さな、異なる解像度の値となる。そして、分離度評価部１２３は、スコア分布が十分に分離しなくなる限界の解像度を決定するように動作する。例えば、分離度評価部１２３は、解像度の値を徐々に小さな値にしていき、或る値のときにはじめてスコア分布が十分に分離しなくなったとき、その値の１つ前の値を最適変換解像度に決定してよい。
【００９３】
また、分離度評価部１２３が解像度記憶部１２１に与える解像度の値は、最適変換解像度が決定されるまでの繰り返し処理の中で、必ずしも、常に現在よりも大きい値、もしくは常に現在よりも小さい値である必要はない。例えば、二分探索のような最適化アルゴリズムを用いて、分離度評価部１２３が解像度記憶部１２１に与える解像度の値を設定してもよい。
【００９４】
また、予め所定の解像度を複数定義しておき、それら各々の解像度について、照合処理と分離度の評価を行い、分離度の評価結果が一番良かった解像度を最適変換解像度としてもよい。或いは、同一個体同士のスコアの全てがμ＋３σよりも大きくなった複数の解像度のうち、値の最も小さな解像度を最適変換解像度としてもよい。
【００９５】
このように本実施形態に係る画像照合装置１００によれば、照合に最低限必要となる解像度を自動的に決定することができる。その理由は、解像度を変化させながら、同一個体同士の照合スコアと別個体同士の照合スコアとを算出し、それらのスコアに基づいて照合に最低限必要となる解像度を自動的に探索するように構成されているためである。
【００９６】
そして、本実施形態に係る画像照合装置１００は、第１の画像と第２の画像との照合について、照合精度を担保しつつ高速に判定することができる。その理由は、本実施形態に係る画像照合装置１００は、第１の画像と第２の画像とを周波数変換して第１の画像の周波数特徴と第２の画像の周波数特徴とを取得し、この２つの周波数特徴を合成して正規化クロスパワースペクトルを算出し、上記決定した照合に最低限必要となる解像度を用いて周波数変換を行って相関係数マップを算出し、その相関係数マップに基づいて第１の画像と第２の画像との照合を行うためである。即ち、照合に最低限必要となる解像度の相関係数マップを算出するため、照合精度を担保しつつ逆フーリエ変換の計算量を低減することができる。また、クロスパワースペクトルから取り出す周波数を大きく削減した際も、相関係数マップからの最大値検出の精度を担保し、照合精度を担保できる。
【００９７】
[第２の実施形態]
【００９８】
次に、本発明の第２の実施形態に係る画像照合装置について説明する。本実施形態に係る画像照合装置３００は、第１の実施形態に係る画像照合装置と比較して、周波数特徴取得部１０１が相違し、それ以外は第１の実施形態に係る画像照合装置と同じである。
【００９９】
図１５は、本実施形態に係る画像照合装置３００における周波数特徴取得部１０１のブロック図である。この例の周波数特徴取得部１０１は、画像取得部１３１と、周波数変換部１３２と、極座標変換部１３３と、周波数変換部１３４とから構成される。
【０１００】
画像取得部１３１は、図５の画像取得部１１１と同様に、第１の画像と第２の画像を取得するように構成されている。
【０１０１】
周波数変換部１３２は、画像取得部１３１から第１の画像と第２の画像とを受け取り、その各々の画像に対して、離散フーリエ変換を施し、その結果から２次元振幅スペクトルを算出するように構成されている。この２次元振幅スペクトルは、元の画像の平行移動に不変である。
【０１０２】
極座標変換部１３３は、周波数変換部１３２から第１の画像の２次元振幅スペクトルと第２の画像の２次元振幅スペクトルとを受け取り、それらに対して極座標変換あるいは対数極座標変換を施して、極座標画像を算出するように構成されている。この極座標画像はフーリエ・メリン特徴画像と呼ばれる。元の画像の倍率、回転の変化は、フーリエ・メリン特徴画像においては平行移動の変化に変換される。
【０１０３】
周波数変換部１３４は、極座標変換部１３３から第１の画像のフーリエ・メリン特徴画像と第２の画像のフーリエ・メリン特徴画像とを受け取り、それらに対して離散フーリエ変換を施すことにより位相画像を算出するように構成されている。この位相画像はフーリエ・メリン周波数スペクトル画像と呼ばれる。フーリエ・メリン周波数スペクトル画像は、元の画像の倍率、回転、平行移動に不変である。周波数変換部１３４は、第１の画像のフーリエ・メリン周波数スペクトル画像を第１の記憶部１０２に保存し、第２の画像のフーリエ・メリン周波数スペクトル画像を第２の記憶部１０３に保存する。
【０１０４】
本実施形態に係る画像照合装置３００によれば、第１の実施形態に係る画像照合装置と同じ理由により、照合に最低限必要となる解像度を自動的に決定することができると共に、第１の画像と第２の画像との照合性能を担保しつつ、なおかつ高速に行うことができる。また、第１および第２の画像の倍率、回転、平行移動に頑健な照合が行える。
【０１０５】
なお、第１の画像と第２の画像とに倍率、回転の位置ずれがない環境では、図１５の極座標変換部１３３を省略してもよい。極座標変換部１３３を省略した画像照合装置では、周波数変換部１３４は、周波数変換部１３２から第１の画像の２次元振幅スペクトルと第２の画像の２次元振幅スペクトルとを受け取り、それらに対して離散フーリエ変換した結果の位相画像を第１の記憶部１０２と第２の記憶部１０３とに格納する構成となる。
【０１０６】
[第３の実施形態]
次に、本発明の第３の実施形態に係る画像照合装置について説明する。本実施形態に係る画像照合装置４００は、第１乃至第２の実施形態に係る画像照合装置と比較して、周波数特徴取得部１０１が相違し、それ以外は第１乃至第２の実施形態に係る画像照合装置と同じである。
【０１０７】
図１６は、本実施形態に係る画像照合装置４００における周波数特徴取得部１０１のブロック図である。この例の周波数特徴取得部１０１は、図１５に示した周波数特徴取得部１０１に特徴選択部１３５を追加した構成を有する。
【０１０８】
画像取得部１３１は、図１５の画像取得部１１１と同様に、第１の画像と第２の画像を取得するように構成されている。
【０１０９】
周波数変換部１３２は、図１５の画像取得部１１１と同様に、２次元振幅スペクトルを算出するように構成されている。
【０１１０】
極座標変換部１３３は、図１５の画像取得部１１１と同様に、フーリエ・メリン特徴画像を算出するように構成されている。
【０１１１】
周波数変換部１３４は、極座標変換部１３３から第１の画像のフーリエ・メリン特徴画像と第２の画像のフーリエ・メリン特徴画像とを受け取り、それらに対して離散フーリエ変換を施すことにより位相画像（フーリエ・メリン周波数スペクトル画像）を算出するように構成されている。
【０１１２】
特徴選択部１３５は、周波数変換部１３４から第１の画像のフーリエ・メリン周波数スペクトル画像と第２の画像のフーリエ・メリン周波数スペクトル画像を受け取り、それらフーリエ・メリン周波数スペクトル画像から一部の部分領域を抽出するよう構成されている。この抽出された部分領域は、帯域選択フーリエ・メリン周波数スペクトル画像と呼ばれる。第１画像の帯域選択フーリエ・メリン周波数スペクトル画像を第１の記憶部１０２に保存し、第２の画像の帯域選択フーリエ・メリン周波数スペクトル画像を第２の記憶部１０３に保存する。
【０１１３】
特徴選択部１３５が抽出する部分領域は、異なる個体間で相関最大値の値に差が出るような部分領域である。すなわち、個体識別への有効度が高い部分領域である。この部分領域は、複数の異なる画像を用いて事前処理によって、求めておくことができる。具体的には、画像照合装置４００を用いて、登録ＤＢに対して照合処理を繰り返し、当該部分領域が、同一個体間で相関ピークの有無に対してどの程度寄与するかを算出する。そして、その寄与度に応じて、当該部分領域の有効度を決定できる。
【０１１４】
特徴選択部１３５が抽出する部分領域は、前述のとおり、異なる個体間で相関ピークの有無に差が出るように決定されているため、第１の画像と第２の画像とに共通の画像成分が含まれる場合においても、頑健に照合することができる。例えば、第１の画像と第２の画像が異なる個体同士の場合で、なおかつ、第１の画像と第２の画像とに共通の画像成分が含まれる場合、一般的には共通の画像成分が相関値に寄与してしまうため、異なる個体同士であるにもかかわらず相関ピークが現れてしまう。しかし、特徴選択部１３５は、そのような共通の画像成分が含まれる部分領域を選ばないことによって排除できるため、異なる個体同士の場合には相関ピークが現れない。
【０１１５】
本実施形態に係る画像照合装置４００によれば、第１乃至第２の実施形態に係る画像照合装置と同じ理由により、照合に最低限必要となる解像度を自動的に決定することができると共に、第１の画像と第２の画像との照合性能を担保しつつ、なおかつ高速に行うことができる。また、第１および第２の画像の倍率、回転、平行移動に頑健な照合が行える。また、第１の画像と第２の画像との間に共通の画像成分が含まれる場合においても頑健に照合が行える。
【０１１６】
[第４の実施形態]
次に本発明の第４の実施形態に係る画像照合装置を説明する。図１８は本実施形態に係る画像照合装置５００のブロック図である。
【０１１７】
図１８を参照すると、画像照合装置５００は、周波数特徴取得部５０１と、周波数特徴合成部５０２と、判定部５０３と、調整部５０４とで構成される。
【０１１８】
周波数特徴取得部５０１は、第１の画像の周波数特徴と第２の画像の周波数特徴とを取得するように構成されている。周波数特徴取得部５０２は、例えば図１の周波数特徴取得部１０１と同様に構成することができるが、それに限定されない。
【０１１９】
周波数特徴合成部５０２は、第１の画像の周波数特徴と第２の画像の周波数特徴とを合成して合成周波数特徴を取得するように構成されている。周波数特徴合成部５０２は、図１の周波数特徴合成部１０４と同様に構成することができるが、それに限定されない。
【０１２０】
判定部５０３は、合成周波数特徴を周波数変換して、解像度が目標解像度に一致する相関係数マップを算出し、その相関係数マップから算出した照合スコアに基づいて第１の画像と前記第２の画像との照合を行うように構成されている。判定部５０３は、図１の照合判定部１０６と同様に構成することができるが、それに限定されない。
【０１２１】
調整部５０４は、判定部５０３が算出した照合スコアに基づいて、目標解像度を変更するように構成されている。
【０１２２】
このように構成された本実施形態に係る画像照合装置５００は、以下のように動作する。即ち、先ず、周波数特徴取得部５０１は、第１の画像の周波数特徴と第２の画像の周波数特徴とを取得する。次に、周波数特徴合成部５０２は、第１の画像の周波数特徴と第２の画像の周波数特徴とを合成して合成周波数特徴を取得する。次に、判定部５０３は、合成周波数特徴を周波数変換して、解像度が目標解像度に一致する相関係数マップを算出し、その相関係数マップから算出した照合スコアに基づいて第１の画像と前記第２の画像との照合を行う。そして、調整部５０４は、判定部５０３が算出した照合スコアに基づいて、目標解像度を変更する。
【０１２３】
このように本実施形態に係る画像照合装置５００によれば、相関係数マップの解像度を適切に調整することが可能である。その理由は、調整部５０４が、判定部５０３が算出した照合スコアに基づいて、目標解像度を変更するためである。
【０１２４】
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【０１２５】
例えば、前述の例では、分離度評価部１２３は、第１の画像と第２の画像とが一致する場合のスコアの分布と、第１の画像と第２の画像とが一致しない場合のスコアの分布との、２種類のスコア分布が分離しているか否かを、２種類の分布が所定の条件を満たすか否かによって機械的に決定した。しかし、その決定を人手で行うようにしてもよい。この場合、分離度評価部１２３は、２種類の分布を描いた分布図を画面表示部２０３に表示し、操作入力部２０２から入力される操作入力に応じて、２種類の分布が分離しているか否かを決定するように構成される。例えば、分離度評価部１２３は、分離している旨の操作入力があった時は、２種類の分布が分離していると判断し、分離していない旨の操作入力があった時は、２種類の分布は分離していないと判断する。
【０１２６】
また、正規化クロスパワースペクトルは以下のような方法で算出してもよい。先ず、周波数特徴取得部１０１は、第１の画像と第２の画像に対してフーリエ変換等の周波数変換を行った後、その振幅成分を用いてそれぞれ正規化を行い、正規化した第１の周波数特徴Ｆ（ｋ1，ｋ2）と正規化した第２の周波数特徴Ｇ（ｋ1，ｋ2）とを算出する。一方、周波数特徴合成部１０４は、正規化された周波数特徴を合成することにより、正規化クロスパワースペクトルを算出する。具体的には、周波数特徴合成部１０４は、正規化された第１の周波数特徴Ｆ（ｋ1，ｋ2）と正規化された第２の周波数特徴Ｇ（ｋ1，ｋ2）の複素共役の要素ごとの積である、クロスパワースペクトルを求めることにより正規化クロスパワースペクトルを算出する。この場合、周波数特徴合成部１０４は、図７の式６に示した方法と相違し、絶対値で正規化する処理はない。以上のようにして正規化クロスパワースペクトルを算出する方法によれば、第２の画像が複数存在する場合、事前にそれぞれの正規化した周波数特徴を第２の記憶部に保持しておくことで、照合処理を高速に行える。その理由は、照合時には、第１の画像の正規化された周波数特徴と第２の画像の正規化された周波数特徴とを合成するだけで正規化クロスパワースペクトルを算出でき、絶対値で正規化する処理を省けるためである。
【０１２７】
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【産業上の利用可能性】
【０１２８】
本発明は、２つの画像の照合を行う分野に利用でき、特に、製品の表面の微細凹凸や紋様、素材表面のランダムパターン等の、同一製造過程で生じる自然発生的な微細なパターンの差異を、カメラ等の撮像装置を用いて画像として取得し、その微細なパターンを認識することで、製品個々の個体識別や管理を行う分野に利用できる。【０１２９】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
第１の画像と第２の画像とを照合する画像照合装置であって、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する周波数特徴取得部と、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
前記合成周波数特徴を周波数変換して、解像度が目標解像度に一致する相関係数マップを算出し、前記相関係数マップから算出した照合スコアに基づいて前記第１の画像と前記第２の画像との照合を行う判定部と、
前記照合スコアに基づいて前記目標解像度を調整する調整部と、
を備える画像照合装置。
［付記２］
前記調整部は、前記第１の画像と前記第２の画像とが同一であるときの前記照合スコアの分布と、前記第１の画像と前記第２の画像とが同一でないときの前記照合スコアの分布とが分離する、より小さな値の前記目標解像度を探索するように構成されている、
付記１に記載の画像照合装置。
［付記３］
前記調整部は、目標解像度決定時動作と照合時動作とを選択的に行うように構成され、前記目標解像度決定時動作では、或る１つの前記目標解像度の下で、前記第１の画像と前記第１の画像と同一の前記第２の画像とを照合するために前記周波数特徴取得部による前記取得と前記周波数特徴合成部による前記合成と前記判定部による前記照合スコアの算出とを行って、前記第１の画像と前記第２の画像とが同一であるときの前記照合スコアの分布である第１の分布を算出することと、前記第１の画像と前記第１の画像と同一でない前記第２の画像とを照合するために前記周波数特徴取得部による前記取得と前記周波数特徴合成部による前記合成と前記判定部による前記照合スコアの算出とを行って、前記第１の画像と前記第２の画像とが同一でないときの前記照合スコアの分布である第２の分布を算出することとを、前記目標解像度を変更して繰り返し、各目標解像度のうち、前記第１の分布と前記第２の分布とが分離する、より小さな値の前記目標解像度を探索するように構成され、前記照合時動作では、前記探索した前記目標解像度を前記判定部に設定するように構成されている、
付記１または２に記載の画像照合装置。
［付記４］
前記調整部は、前記第１の分布と前記第２の分布とが分離しているか否かを、前記第１の分布と前記第２の分布とが所定の条件を満たすか否かによって決定するように構成されている、
付記２または３に記載の画像照合装置。
［付記５］
前記調整部は、前記第１の分布と前記第２の分布とを表示装置に表示し、入力装置から入力される利用者入力に応じて、前記第１の分布と前記第２の分布とが分離しているか否かを決定するように構成されている、
付記２または３に記載の画像照合装置。
［付記６］
前記判定部は、前記照合スコアが所定の基準値を満たす場合、前記第１の画像と前記第２の画像とが一致する旨の照合結果を生成するように構成されている、
付記１乃至５の何れかに記載の画像照合装置。
［付記７］
前記判定部の照合の結果を出力する出力部を、更に備える、
付記１乃至６の何れかに記載の画像照合装置。
［付記８］
第１の画像と第２の画像とを照合する画像照合方法であって、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得し、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成し、
前記合成周波数特徴を周波数変換して、解像度が目標解像度に一致する相関係数マップを算出し、
前記相関係数マップから算出した照合スコアに基づいて前記第１の画像と前記第２の画像との照合を行い、
前記照合スコアに基づいて前記目標解像度を調整する、
画像照合方法。
［付記９］
前記調整では、前記第１の画像と前記第２の画像とが同一であるときの前記照合スコアの分布と、前記第１の画像と前記第２の画像とが同一でないときの前記照合スコアの分布とが分離する、より小さな値の前記目標解像度を探索する、
付記８に記載の画像照合方法。
［付記１０］
前記調整は、目標解像度決定時動作と照合時動作とを有し、前記目標解像度決定時動作では、或る１つの前記目標解像度の下で、前記第１の画像と前記第１の画像と同一の前記第２の画像とを照合するために前記周波数特徴取得部による前記取得と前記周波数特徴合成部による前記合成と前記判定部による前記照合スコアの算出とを行って、前記第１の画像と前記第２の画像とが同一であるときの前記照合スコアの分布である第１の分布を算出することと、前記第１の画像と前記第１の画像と同一でない前記第２の画像とを照合するために前記周波数特徴取得部による前記取得と前記周波数特徴合成部による前記合成と前記判定部による前記照合スコアの算出とを行って、前記第１の画像と前記第２の画像とが同一でないときの前記照合スコアの分布である第２の分布を算出することとを、前記目標解像度を変更して繰り返し、各目標解像度のうち、前記第１の分布と前記第２の分布とが分離する、より小さな値の前記目標解像度を探索し、前記照合時動作では、前記探索した前記目標解像度を前記判定部に設定する、
付記８または９に記載の画像照合方法。
［付記１１］
前記調整では、前記第１の分布と前記第２の分布とが分離しているか否かを、前記第１の分布と前記第２の分布とが所定の条件を満たすか否かによって決定する、
付記９または１０に記載の画像照合方法。
［付記１２］
前記調整では、前記第１の分布と前記第２の分布とを表示装置に表示し、入力装置から入力される利用者入力に応じて、前記第１の分布と前記第２の分布とが分離しているか否かを決定する、
付記９または１０に記載の画像照合方法。
［付記１３］
前記照合では、前記照合スコアが所定の基準値を満たす場合、前記第１の画像と前記第２の画像とが一致する旨の照合結果を生成する、
付記８乃至１２の何れかに記載の画像照合方法。
［付記１４］
前記照合では、前記照合の結果を出力する、
付記８乃至１３の何れかに記載の画像照合方法。
［付記１５］
第１の画像と第２の画像とを照合するコンピュータを、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを取得する周波数特徴取得部と、
前記第１の画像の周波数特徴と前記第２の画像の周波数特徴とを合成して合成周波数特徴を生成する周波数特徴合成部と、
前記合成周波数特徴を周波数変換して、解像度が目標解像度に一致する相関係数マップを算出し、前記相関係数マップから算出した照合スコアに基づいて前記第１の画像と前記第２の画像との照合を行う判定部と、
前記照合スコアに基づいて前記目標解像度を調整する調整部と、
して機能させるためのプログラム。
【符号の説明】
【０１３０】
１００・・・画像照合装置
１０１・・・周波数特徴取得部
１０２・・・第１の記憶部
１０３・・・第２の記憶部
１０４・・・周波数特徴合成部
１０５・・・周波数変換解像度調整部
１０６・・・照合判定部
１０７・・・情報提示部
１１１・・・画像取得部
１１２・・・周波数変換部
１２１・・・解像度記憶部
１２２・・・解像度設定部
１２３・・・分離度評価部
１３１・・・画像取得部
１３２・・・周波数変換部
１３３・・・極座標変換部
１３４・・・周波数変換部
１３５・・・特徴選択部
２００・・・情報処理装置
２０１・・・撮像部
２０２・・・操作入力部
２０３・・・画面表示部
２０４・・・通信インターフェース部
２０５・・・記憶部
２０６・・・演算処理部
２０７・・・プログラム
３００・・・画像照合装置
４００・・・画像照合装置
５００・・・画像照合装置
５０１・・・周波数特徴取得部
５０２・・・周波数特徴合成部
５０３・・・判定部
５０４・・・調整部
【図１】
0006919758.tif 000002
【図２】
0006919758.tif 000003
【図３】
0006919758.tif 000004
【図４】
0006919758.tif 000005
【図５】
0006919758.tif 000006
【図６】
0006919758.tif 000007
【図７】
0006919758.tif 000008
【図８】
0006919758.tif 000009
【図９】
0006919758.tif 000010
【図１０】
0006919758.tif 000011
【図１１】
0006919758.tif 000012
【図１２】
0006919758.tif 000013
【図１３】
0006919758.tif 000014
【図１４】
0006919758.tif 000015
【図１５】
0006919758.tif 000016
【図１６】
0006919758.tif 000017
【図１７】
0006919758.tif 000018
【図１８】
0006919758.tif 000019