(57)【要約】テンプレート画像を回転させながら照合を行う回転照合法よりも少ない照合回数で、回転照合法と同等の精度を確保することができ、処理時間を短縮することができる手法を提案する。テンプレート画像１に幾何変換を加えることで、幾何変換の量が異なる複数の幾何変換後のテンプレート画像からなる第１の画像群を生成するステップと、前記画像群に固有値分解を施すことで、変換後テンプレート画像と同数の固有値および固有関数を算出するステップと、複数の固有関数と前記画像群との内積演算を施すことで、第２の画像群を生成するステップと、入力画像と第２の画像群との画像類似度を算出するステップと、算出された画像類似度に基づき、入力画像の幾何変換パラメータの値を決定するステップとを備える。
2012029662.tif 000002
【特許請求の範囲】
【請求項１】
所定のテンプレート画像を用いた照合を行うことで、前記テンプレート画像を基準とする入力画像の幾何変換パラメータの値を決定する画像処理方法であって、
前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成ステップと、
前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および固有関数を算出する固有値分解ステップと、
複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成ステップと、
連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を算出する画像類似度算出ステップと、
前記画像類似度算出ステップで算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合ステップと、を備える、
ことを特徴とする画像処理方法。
【請求項２】
前記固有値分解ステップで算出された複数の前記固有関数のうち、前記固有値の大きな順に、所定の数の前記固有関数を選択する選択ステップをさらに備え、
前記第２の画像群生成ステップは、前記選択ステップで選択された複数の前記固有関数と前記第１の画像群との内積演算を施すことで、前記第２の画像群を生成する、
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記幾何変換パラメータは、方向角および２次元座標値を含み、
前記幾何変換は、方向角を変化させる回転および前記２次元座標値を変化させる平行移動を含む、
請求項１または請求項２に記載の画像処理方法。
【請求項４】
前記幾何変換パラメータは、射影変換に必要なパラメータを含み、
前記幾何変換は、射影変換を含む、
請求項１〜３のいずれか１項に記載の画像処理方法。
【請求項５】
前記幾何変換パラメータは、画像のぼかし処理に必要なパラメータを含み、
前記幾何変換は、画像のぼかし処理を含む、
請求項１〜３のいずれか１項に記載の画像処理方法。
【請求項６】
入力画像を取得するための入力画像取得手段と、
所定のテンプレート画像を用いた照合を行うことで、前記テンプレート画像を基準とする前記入力画像の幾何変換パラメータの値を決定する画像処理手段と、を備え、
前記画像処理手段は、
前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成部と、
前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および固有関数を算出する固有値分解部と、
複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成部と、
連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を算出する画像類似度算出部と、
前記画像類似度算出部で算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合部と、を備える、
画像処理装置。
【請求項７】
前記画像処理手段は、
前記固有値分解部で算出された複数の前記固有関数のうち、前記固有値の大きな順に、所定の数の前記固有関数を選択する選択部をさらに備え、
前記第２の画像群生成部は、前記選択部で選択された複数の前記固有関数と前記第１の画像群との内積演算を施すことで、前記第２の画像群を生成する、
請求項６に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テンプレート画像を用いた画像照合を行う画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
従来から、部品の検査等を行うソフトため、画像照合が用いられている。画像照合の一例として、テンプレート画像を用いるものがある。テンプレート画像を用いた画像照合においては、例えば、良品であることが既知の部品が撮像され、その撮像された画像が用いられてテンプレート画像が予め準備される。そして、検査対象の部品を撮像することで得られる入力画像とテンプレート画像とが照合され、入力画像とテンプレート画像との比較により、検査対象の部品の検査が行われる。【０００３】
特に、産業用の画像処理においては、検査対象となる部品の位置および方向角を高精度に検出するために、予め与えたテンプレート画像と入力画像とをサブピクセル精度で照合する処理が行われる（非特許文献１参照）。こうしたサブピクセル精度の画像照合技術としては、入力画像に対して、テンプレート画像を回転させながら照合を行う回転照合法が知られている。回転照合法は、テンプレート画像に対して幾何変換を行う、幾何変換を用いた画像照合技術である。【０００４】
回転照合法においては、テンプレート画像が回転および平行移動させられながら、入力画像との関係において画像の類似度を示す画像類似度が算出され、画像類似度のピーク値から、入力画像の方向角および座標値が検出される。つまり、回転照合法によれば、テンプレート画像が所定のピッチで回転および平行移動させられ、テンプレート画像が入力画像に最も近似する回転角度およびＸＹ座標値が探索されることで、入力画像の方向角および座標値が検出される。【０００５】
このような回転照合法において、検出精度を上げるためには、テンプレート画像が入力画像に最も近似する回転角度を探索するためのテンプレート画像の回転ピッチを細かくして照合回数を増やす必要がある。このため、回転照合法において検出精度を上げることは、処理時間の長期化を招く。一方で、処理時間を短縮するためにテンプレート画像の回転ピッチを粗く（大きく）すると、十分な検出精度を得ることが困難となる。【０００６】
そこで、画像照合法において処理時間を削減するために、テンプレート画像の回転ピッチを粗くして照合を行いつつ、算出される画像類似度を、２次曲面あるいは２次曲線を用いて補間する方法がある（非特許文献２，３参照）。しかしながら、このように補間を行う方法によれば、補間による誤差が発生し、検出精度が低下する。【０００７】
また、別の画像照合技術として、位相限定相関法が知られている（非特許文献４〜６参照）。位相限定相関法は、高速かつ高精度に位置合わせが可能な技術として、近年注目を浴びている。しかしながら、位相限定相関法は、画像の回転角の検出精度があまり良くなく、画像の位置ずれ・回転・拡大縮小以外の画像変形には十分に対応することができない。【０００８】
また、入力画像の明るさ変動や隠れに頑健な画像照合を行うために、テンプレート画像および入力画像をエッジ方向画像あるいは増分符号画像に変換してから画像照合を行う技術がある（非特許文献７参照）。しかし、この方法は入力画像の回転に対応していない。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】鷲見  和彦，金子  俊一，“マシンビジョン技術の実利用”，電気学会論文誌Ｃ，Ｖｏｌ．１２４，Ｎｏ．３，ｐｐ．５９８−６０５，２００４．
【非特許文献２】清水  雅夫，奥富  正敏，“画像のマッチングにおける高精度なサブピクセル推定手法”，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．７，ｐｐ．１４０９−１４１８，２００１．
【非特許文献３】清水  雅夫，奥富  正敏，“画像のマッチングにおけるサブピクセル推定の意味と性質”，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８５−Ｄ−ＩＩ，Ｎｏ．１２，ｐｐ．１７９１−１８００，２００２．
【非特許文献４】Ｋ．Ｔａｋｉｔａ，Ｔ．Ａｏｋｉ，Ｙ．Ｓａｓａｋｉ，Ｔ．Ｈｉｇｕｃｈｉ  ａｎｄ  Ｋ．Ｋｏｂａｙａｓｈｉ，“Ｈｉｇｈ−ａｃｃｕｒａｃｙ  ｓｕｂｐｉｘｅｌ  ｉｍａｇｅ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｐｈａｓｅ−ｏｎｌｙ  ｃｏｒｒｅｌａｔｉｏｎ”  ＩＥＩＣＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｆｕｎｄａｍｅｎｔａｌｓ  ｏｆ  Ｅｌｅｃｔｒｏｎｉｃｓ，Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅｓ，Ｖｏｌ．Ｅ８６−Ａ，Ｎｏ．８，ｐｐ．１９２５−１９３４，２００３．
【非特許文献５】佐々木  宏，小林  孝次，青木  孝文，川又  政征，樋口  龍雄，“回転不変位相限定相関による画像の回転角度計測について”，映像情報メディア学会技術報告，Ｖｏｌ．２２，Ｎｏ．４５，ｐｐ．５５−６０，１９９８．
【非特許文献６】青木  孝文，伊藤  康一，柴原  琢磨，長嶋  聖，“位相限定相関法に基づく高精度マシンビジョン−ピクセル分解能の壁を越える画像センシング技術を目指して−”，ＩＥＩＣＥ  Ｆｕｎｄａｍｅｎｔａｌｓ  Ｒｅｖｉｅｗ，Ｖｏｌ．１，Ｎｏ．１，ｐｐ．３０−４０，２００７．
【非特許文献７】村瀬  一郎，金子  俊一，“増分符号相関によるロバスト画像照合”，電子情報通信学会論文誌，ＤＩＩ，Ｖｏｌ．Ｊ８３，Ｎｏ．５，ｐｐ．１３２３−１３３１，２０００．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、上記のような背景技術に鑑みてなされたものであり、テンプレート画像を回転させながら照合を行う回転照合法等の、幾何変換を用いた従来の画像照合技術に対して、少ない照合回数で同等の精度を確保することができ、処理時間を短縮することができる画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の画像処理方法は、所定のテンプレート画像を用いた照合を行うことで、前記テンプレート画像を基準とする入力画像の幾何変換パラメータの値を決定する画像処理方法であって、前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成ステップと、前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および固有関数を算出する固有値分解ステップと、複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成ステップと、連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を算出する画像類似度算出ステップと、前記画像類似度算出ステップで算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合ステップと、を備えるものである。【００１２】
また、本発明の画像処理方法においては、好ましくは、前記固有値分解ステップで算出された複数の前記固有関数のうち、前記固有値の大きな順に、所定の数の前記固有関数を選択する選択ステップをさらに備え、前記第２の画像群生成ステップは、前記選択ステップで選択された複数の前記固有関数と前記第１の画像群との内積演算を施すことで、前記第２の画像群を生成するものである。【００１３】
また、本発明の画像処理方法においては、好ましくは、前記幾何変換パラメータは、方向角および２次元座標値を含み、前記幾何変換は、方向角を変化させる回転および前記２次元座標値を変化させる平行移動を含むものである。【００１４】
また、本発明の画像処理方法においては、好ましくは、前記幾何変換パラメータは、射影変換に必要なパラメータを含み、前記幾何変換は、射影変換を含むものである。【００１５】
また、本発明の画像処理方法においては、好ましくは、前記幾何変換パラメータは、画像のぼかし処理に必要なパラメータを含み、前記幾何変換は、画像のぼかし処理を含むものである。【００１６】
本発明の画像処理装置は、入力画像を取得するための入力画像取得手段と、所定のテンプレート画像を用いた照合を行うことで、前記テンプレート画像を基準とする前記入力画像の幾何変換パラメータの値を決定する画像処理手段と、を備え、前記画像処理手段は、前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成部と、前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および固有関数を算出する固有値分解部と、複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成部と、連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を算出する画像類似度算出部と、前記画像類似度算出部で算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合部と、を備えるものである。【００１７】
また、本発明の画像処理装置は、好ましくは、前記画像処理手段は、前記固有値分解部で算出された複数の前記固有関数のうち、前記固有値の大きな順に、所定の数の前記固有関数を選択する選択部をさらに備え、前記第２の画像群生成部は、前記選択部で選択された複数の前記固有関数と前記第１の画像群との内積演算を施すことで、前記第２の画像群を生成するものである。
【発明の効果】
【００１８】
本発明によれば、テンプレート画像を回転させながら照合を行う回転照合法等の、幾何変換を用いた従来の画像照合技術に対して、少ない照合回数で同等の精度を確保することができ、処理時間を短縮することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る画像処理方法の概略の説明図。
【図２】本発明の一実施形態に係る画像処理方法の説明図。
【図３】本発明の一実施形態に係る画像処理装置の構成を示す図。
【図４】本発明の一実施形態に係る画像処理装置の制御ブロック図。
【図５】本発明の一実施形態に係る画像処理装置の画像処理の説明図。
【図６】本発明の一実施形態の係る画像処理装置による処理手順の一例を示すフロー図。
【図７】本発明の一実施形態の係る画像処理装置による処理手順の一例についての説明図。
【図８】本発明の実施例に係る提案手法と回転照合法との精度比較を示す図。
【図９】本発明の実施例に係る照合回数と誤差との関係を示す図。
【図１０】本発明の実施例に係る白色雑音を加えた場合の方向角および位置ずれの推定誤差の値について表を示す図。
【図１１】本発明の別実施例についての説明図。
【図１２】回転照合法についての説明図。
【図１３】従来の画像照合技術についての説明図。
【発明を実施するための形態】
【００２０】
本発明は、テンプレート画像を回転させながら入力画像と照合することで得られる、テンプレート画像と入力画像との画像類似度の波形が、テンプレート画像の固有値分解により得られる新たなテンプレート画像と入力画像とを照合することで得られることに着目したものである。そして、本発明は、入力画像と新たなテンプレート画像との照合を行うことで、高速かつ高精度な照合を行おうとするものである。以下、本発明の実施の形態を説明する。
【００２１】
図１に示すように、本実施形態に係る画像処理方法は、所定のテンプレート画像１を用いた照合を行うことで、テンプレート画像１を基準とする入力画像２の幾何変換パラメータの値を決定する。ここで、幾何変換パラメータとしては、例えば、方向角および２次元座標値（ＸＹ座標値）が用いられる。
【００２２】
すなわち、本実施形態の画像処理方法では、入力画像２に対して、テンプレート画像１の照合が行われることにより、テンプレート画像１の入力画像２に対する近似度合いである画像類似度が最も高くなる方向角および２次元座標値を求める処理が行われる。したがって、本実施形態の画像処理方法によれば、照合結果として、テンプレート画像１を基準とする入力画像２の方向角および２次元座標値が求められる。
【００２３】
具体的には、図１に示すように、照合結果に含まれる方向角としては、例えば、テンプレート画像１の方向角を示す基準線Ｏ１に対する、入力画像２の傾き（回転角度）θが求められる。また、照合結果に含まれる２次元座標値としては、例えば、テンプレート画像１の中心位置を原点Ｏ２とした場合の入力画像２の中心位置Ｃ１の２次元座標値（ＸＹ座標値）が求められる。
【００２４】
本実施形態の画像処理方法は、例えば、部品の検査等を行うための産業用の画像処理に用いられる。このため、本実施形態の画像処理方法において、テンプレート画像１は、例えば、検査対象となる部品と同じ部品がカメラ等の撮像手段によって撮像されることにより取得され、方向角および２次元座標値の基準を示す画像として、予め準備される。入力画像２は、例えば、部品の検査においては、検査対象となる部品をカメラ等の撮像手段によって撮像することにより取得され、テンプレート画像１の照合の対象となる。以下では、本実施形態の画像処理方法の具体的な処理内容について説明する。
【００２５】
本実施形態の画像処理方法においては、まず、テンプレート画像１に幾何変換を加えて第１の画像群としての変換後テンプレート画像群を生成する処理が行われる。本処理においては、テンプレート画像１に加えられる幾何変換として、例えば、方向角を変化させる回転や、２次元座標値を変化させる平行移動が行われる。
【００２６】
具体的には、テンプレート画像１に加える幾何変換として、方向角を変化させる回転が行われる場合、例えば、テンプレート画像１を１°ピッチで回転させることで、変換後テンプレート画像群を生成する処理が行われる。かかる処理においては、方向角が１°ピッチで異なる３６０枚の幾何変換後のテンプレート画像１（以下「変換後テンプレート画像」という。）が、本処理で生成される変換後テンプレート画像群として得られる。
【００２７】
また、テンプレート画像１に加える幾何変換として、２次元座標値を変化させる平行移動が行われる場合、例えば、テンプレート画像１が１２８×１２８（ピクセル）の場合において、テンプレート画像１の中心位置（中心の２次元座標値）を８×８（ピクセル）の範囲で１（ピクセル）ピッチで平行移動させることで、変換後テンプレート画像群を生成する処理が行われる。かかる処理においては、中心位置（中心の２次元座標値）が１（ピクセル）ピッチで異なる６４枚の変換後テンプレート画像が、本処理で生成される変換後テンプレート画像群として得られる。
【００２８】
このように、本実施形態の画像処理方法においては、始めに、テンプレート画像１に幾何変換を加えることで、幾何変換の量が異なる複数の幾何変換後のテンプレート画像１からなる変換後テンプレート画像群を生成する第１の画像群生成ステップが行われる。ここで、幾何変換の量は、幾何変換が方向角の場合、テンプレート画像１の方向角を基準とした画像の回転量に対応し、幾何変換が２次元座標値の場合、テンプレート画像１の２次元座標値を基準とした画像の平行移動量に対応する。したがって、幾何変換の量は、幾何変換パラメータの値の大きさに対応する。
【００２９】
なお、テンプレート画像１に加える幾何変換としては、方向角および２次元座標値のほか、例えば、画像の歪み、ぼけの量、焦点深度、台形歪み等の画像歪み等であってもよい。また、テンプレート画像１に加える幾何変換としては、前記のような幾何変換のいずれか一つが用いられたり、複数の幾何変換が組み合わせて用いられたりする。
【００３０】
本実施形態の画像処理方法においては、次に、変換後テンプレート画像群に固有値分解を施して固有値および固有関数を算出する処理が行われる。ここでは、変換後テンプレート画像群を構成する変換後テンプレート画像と同数の固有値および固有関数が算出される。
【００３１】
したがって、上述したように、テンプレート画像１に加える幾何変換として方向角が用いられ、３６０枚の変換後テンプレート画像からなる変換後テンプレート画像群が生成される場合、その３６０枚の画像からなる変換後テンプレート画像群に対して固有値分解が行われ、３６０個の固有値および固有関数が得られる。また、テンプレート画像１に加える幾何変換として２次元座標値が用いられ、６４枚の変換後テンプレート画像からなる変換後テンプレート画像群が生成される場合、その６４枚の画像からなる変換後テンプレート画像群に対して固有値分解が行われ、６４個の固有値および固有関数が得られる。
【００３２】
固有値分解を施すことで算出される固有関数としては、例えば、図２に示すように、波形ｐ１〜ｐ３で表わされる固有関数φ１（θ）〜φ３（θ）が得られる。これらの固有関数群は、主成固有関数群と言える。波形ｐ１〜ｐ３を示す各グラフにおいて、横軸はテンプレート画像１を基準とする方向角（θ）を示し、縦軸は固有関数値を示す。波形ｐ１〜ｐ３に示すように、固有関数として得られる波形は、方向角について固有関数値が連続的に存在する連続波形である。
【００３３】
固有関数においては、図２の波形ｐ１〜ｐ３に示すように、方向角の変化にともなって固有関数値が周期的に変動する。これらの固有関数は、本実施形態の画像処理方法において、後述する相関値（ｒｎ）が掛け合わせられることで、画像類似度を表す関数（Ｐｎ（θ））として算出される。
【００３４】
このように、本実施形態の画像処理方法においては、第１の画像群生成ステップの後に、変換後テンプレート画像群に固有値分解を施すことで、複数の変換後テンプレート画像と同数の固有値および固有関数を算出する固有値分解ステップが行われる。
【００３５】
本実施形態の画像処理方法においては、続いて、上記のとおり算出された複数の固有関数と変換後テンプレート画像群とを内積演算して新たな画像群を生成する処理が行われる。ここで生成される新たな画像群（以下「固有値分解テンプレート画像群」という。）が、本実施形態での第２の画像群に相当する。
【００３６】
固有値分解テンプレート画像群としては、例えば、図２において固有値分解テンプレート画像Ｅ１〜Ｅ３に示すような複数の画像が得られる。各固有値分解テンプレート画像Ｅ１〜Ｅ３は、固有関数を表す各波形ｐ１〜ｐ３にそれぞれ対応する。
【００３７】
このように、本実施形態の画像処理方法においては、固有値分解ステップの後に、複数の固有関数と変換後テンプレート画像群との内積演算を施すことで、固有値分解テンプレート画像群を生成する第２の画像群生成ステップが行われる。
【００３８】
本実施形態の画像処理方法においては、次に、入力画像２について、固有値分解テンプレート画像群に対する画像類似度を算出する処理が行われる。
【００３９】
画像類似度の算出の原理について説明する。なお、ここでは、上述した第１の画像群生成ステップでテンプレート画像１に加えられる幾何変換が方向角であるとして説明する。
【００４０】
テンプレート画像１をＴ（ｘ，ｙ）、入力画像２をｆ（ｘ，ｙ）、テンプレート画像Ｔ（ｘ，ｙ）をθ回転させた画像、つまり変換後テンプレート画像をＴ（ｘ，ｙ；θ）で表すとすると、テンプレート画像１と入力画像２との画像類似度ｇ（θ）は、次式（１）により計算される。なお各画像を表すｘ，ｙは、画像におけるピクセルの２次元座標値を示す。
【００４１】
【数１】
2012029662.tif 000003
【００４２】
ｇ（θ）をθ方向にそって固有関数列φｎ（θ），（ｎ＝０，１，２，・・・）で展開を行うと、次式（２）となる。
【００４３】
【数２】
2012029662.tif 000004
【００４４】
上記式（２）の積分演算の順序を交換して次式（３）が得られる。
【００４５】
【数３】
2012029662.tif 000005
【００４６】
ここで、次式（４）として定義するＥｎ（ｘ，ｙ）は、変換後テンプレート画像Ｔ（ｘ，ｙ；θ）と固有関数φｎ（θ）との内積で計算される画像、つまり固有値分解テンプレート画像となる。
【００４７】
【数４】
2012029662.tif 000006
【００４８】
上記式（４）で表わされる画像は、入力画像ｆ（ｘ，ｙ）と分離して計算することができる。したがって、事前にＥｎ（ｘ，ｙ）を計算しておくことで、その後、入力画像ｆ（ｘ，ｙ）が与えられることにより、Ｅｎ（ｘ，ｙ）との照合結果から、全方向角の画像類似度（ｇ（θ））を計算することができる。
【００４９】
全方向角の画像類似度（ｇ（θ））としては、例えば、図２に示すように、波形ｐ１〜ｐ３で表わされる固有関数φ１（θ）〜φ３（θ）が所定の比率で足し合わせることで得られる波形ｑｓが算出される。波形ｑｓに示すように、全方向角の画像類似度（ｇ（θ））として得られる波形は、方向角について画像類似度が連続的に存在する連続波形（連続曲線）である。つまり、画像類似度（ｇ（θ））は、方向角（θ）方向についての画像類似度の分布を表す。
【００５０】
画像類似度（ｇ（θ））は、具体的には次のようにして算出される。図２に示す例では、固有関数φ１（θ）〜φ３（θ）には、それぞれ相関値ｒ１〜ｒ３が掛け合わされる。固有関数φ１（θ）〜φ３（θ）に相関値ｒ１〜ｒ３が掛け合わされることで、画像類似度を表す関数Ｐ１（θ）〜Ｐ３（θ）が算出される。図２に示すように、関数Ｐ１（θ）〜Ｐ３（θ）は、固有関数φ１（θ）〜φ３（θ）としての波形ｐ１〜ｐ３が所定の比率で表された波形ｑ１〜ｑ３により表され、この所定の比率が、相関値ｒ１〜ｒ３に相当する。関数Ｐ１（θ）〜Ｐ３（θ）を表す波形ｑ１〜ｑ３を示す各グラフにおいて、横軸はテンプレート画像１を基準とする方向角（θ）を示し、縦軸は画像類似度を示す。そして、関数Ｐ１（θ）〜Ｐ３（θ）が足し合わされることで、波形ｑｓで表される画像類似度（ｇ（θ））が算出される。ここで、相関値ｒｎは、固有値分解テンプレート画像群の各固有値分解テンプレート画像と入力画像との相関を表す所定の実数であり、次式（５）として定義される。
【００５１】
【数５】
2012029662.tif 000007
【００５２】
このように、相関値ｒｎは、ｆ（ｘ，ｙ）で表される入力画像２と、上記式（４）で表される固有値分解テンプレート画像群との内積値となる。したがって、上記式（３）および式（５）から、画像類似度（ｇ（θ））は、次式（６）により表わされる。
ｇ（θ）＝Σｒｎ×φｎ（θ）  ・・・（６）
【００５３】
以上のように、本実施形態の画像処理方法においては、第２の画像群生成ステップの後に、連続曲線で表され入力画像２と固有値分解テンプレート画像群との類似度合いを示す画像類似度を算出する画像類似度算出ステップが行われる。
【００５４】
そして、本実施形態の画像処理方法では、上記のとおり算出された画像類似度（ｇ（θ））に基づいて、テンプレート画像１を基準とする入力画像２の幾何変換パラメータの値（実数値）を決定する処理が行われる。つまり、この処理では、テンプレート画像１と入力画像２との照合が、上記のとおり算出された画像類似度（ｇ（θ））の値を指標として行われる。
【００５５】
具体的には、図２に示すように、全方向角の画像類似度（ｇ（θ））である波形ｑｓにおいて、画像類似度が最大となる方向角θａが、テンプレート画像１を基準とする入力画像２の幾何変換パラメータの値として決定される。つまり、本実施形態の画像処理方法の照合結果として、テンプレート画像１を基準とする入力画像２の方向角が、方向角θａとして算出される。
【００５６】
ここで、照合結果として得られた方向角θａは、テンプレート画像１の方向角を基準（０°）とした場合における画像の回転角度に対応する。つまり、この場合、テンプレート画像１が３６０°回転する範囲において、角度θａ回転させられた状態のテンプレート画像１が、入力画像２との関係において画像類似度が最も高くなる。
【００５７】
このように、本実施形態の画像処理方法においては、画像類似度算出ステップの後に、画像類似度算出ステップで算出された画像類似度（ｇ（θ））に基づき、テンプレート画像１を基準とする入力画像２の幾何変換パラメータの値を決定する照合ステップが行われる。照合ステップでは、固有関数の連続性に起因する画像類似度の連続性に着目し、幾何変換パラメータの実数値が決定される。
【００５８】
以上のような画像処理方法においては、上述したように変換後テンプレート画像群に固有値分解を施す固有値分解ステップの後に、固有値分解ステップで算出された複数の固有関数のうち、固有値の大きな順に、所定の数の固有関数を選択する選択ステップが行われることが好ましい。
【００５９】
本実施形態の画像処理方法においては、固有値分解ステップにおいて、複数の変換後テンプレート画像と同数の固有値および固有関数が算出される。つまり、上記のとおり１°ピッチの回転がテンプレート画像１に対して幾何変換として加えられることで３６０枚の変換後テンプレート画像が得られる場合、３６０個の固有値および固有関数が算出される。この場合、固有値分解テンプレート画像群の生成に際して全ての固有関数が用いられると、固有値分解テンプレート画像群は、３６０枚の固有値分解テンプレート画像となる。
【００６０】
そこで、固有値分解ステップで算出された変換後テンプレート画像と同数の固有関数のうち、所定の数の固有関数が選択される。そして、固有関数の選択は、固有値が大きい方から行われる。つまり、選択ステップにおいては、固有値分解ステップで算出された複数の固有関数のうち、固有値が大きい側から所定の数だけ選択される。したがって、例えば、上記のとおり３６０個の固有関数が算出される場合、そのうち固有値が大きい側の６０個の固有関数が選択される。このことは、固有値が大きい固有関数ほど、最終的に算出される、入力画像２と固有値分解テンプレート画像群との画像類似度に対する影響が大きい（寄与度が高い）ことに基づく。
【００６１】
このような選択ステップが行われる場合、上述した第２の画像群生成ステップにおいては、選択ステップで選択された複数の固有関数と変換後テンプレート画像群との内積演算が施されることで、固有値分解テンプレート画像群が生成される。つまり、選択ステップによれば、固有値分解ステップで算出された複数の固有関数のうち、固有値が大きい側の一部の固有関数が用いられて、固有値分解テンプレート画像群の生成が行われる。
【００６２】
このような選択ステップは、具体的には、上記式（３）において、級数を所定の数で打ち切り近似することに対応する。ここで、式（３）の級数をＭ個で打ち切り近似する場合、式（３）は、次式（７）で表わされる。
【００６３】
【数６】
2012029662.tif 000008
【００６４】
このとき、少ない次数Ｍでｇ（θ）を近似することができる固有関数列φｎ（θ）を選ぶことにより、全方向角での画像類似度が、Ｍ枚の画像Ｅｎ（ｘ，ｙ）との照合により計算することができる。そして、固有関数列φｎ（θ）の選び方として、変換後テンプレート画像列Ｔ（ｘ，ｙ；θ）の固有値λｎおよび固有関数φｎ（θ）を算出し、固有値の大きな順から、Ｍ個の固有関数を選ぶ。
【００６５】
具体的には、θ＝｛θ１，θ２，・・・，θＮ｝と離散化して得られるベクトルφｎ、テンプレート画像Ｔｉ（ｘ，ｙ）＝Ｔ（ｘ，ｙ；θｉ）として、次式（８）の行列固有値問題を解くことで、固有ベクトルφｎおよび固有値λｎが得られる。
Ｃφｎ＝λｎφｎ  ・・・（８）
【００６６】
ここで、行列Ｃは、ｉ行ｊ番目の要素を、次式（９）とする共分散行列である。
【００６７】
【数７】
2012029662.tif 000009
【００６８】
式（９）において、μｊは、Ｔｉ（ｘ，ｙ）の平均濃度値である。本固有ベクトルを用いて得られる画像Ｅｎ（ｘ，ｙ）が、固有値分解テンプレート画像に相当する。
【００６９】
以上のような本実施形態の画像処理方法によれば、テンプレート画像を回転させながら照合を行う回転照合法等の、幾何変換を用いた従来の画像照合技術に対して、少ない照合回数で同等の精度を確保することができ、処理時間を短縮することができる。ここで、従来の画像照合技術である回転照合法について、図１２を用いて説明する。
【００７０】
図１２（ａ）に示すように、回転照合法においては、テンプレート画像１０１の回転角度（方向角）および位置（２次元座標値）が変化させられながら、入力画像１０２との関係における画像類似度が算出される。そして、画像類似度が最大となる方向角および２次元座標値が、入力画像１０２の方向角および２次元座標値として検出される。
【００７１】
図１２（ａ）中、下段に示すグラフＧ１において、横軸はテンプレート画像１０１の方向角、つまり回転させられるテンプレート画像１０１の回転角度を示し、縦軸はテンプレート画像１０１と入力画像１０２との画像類似度を示す。つまり、図１２（ａ）下段に示すグラフＧ１は、テンプレート画像１０１の方向角が変化することによる、テンプレート画像１０１の入力画像１０２に対する画像類似度の変化を示す。
【００７２】
また、図１２（ａ）中、中段は、同図に示すグラフＧ１における方向角に対応して回転するテンプレート画像１０１の回転の過程を示す。テンプレート画像１０１は、例えば、１°の回転ピッチで３６０°回転させられる（図１０では便宜上４枚のみ図示）。また、図１２（ａ）中、上段は、回転照合法において検出対象となる入力画像１０２を示す。
【００７３】
このような回転照合法においては、図１２（ａ）に示すように、画像類似度が最大となる方向角Ｐ１が、入力画像１０２の方向角として検出される。つまり、回転照合法によれば、テンプレート画像１０１が所定の回転ピッチで回転させられ、テンプレート画像１０１が入力画像１０２に最も近似する回転角度（方向角）が探索されることで、入力画像１０２の方向角等が検出される。
【００７４】
このような回転照合法において、検出精度を上げるためには、テンプレート画像１０１が入力画像１０２に最も近似する回転角度（方向角Ｐ１）を探索するためのテンプレート画像１０１の回転ピッチを細かくして照合回数を増やす必要がある。このため、回転照合法において検出精度を上げることは、処理時間の長期化を招く。一方で、処理時間を短縮するためにテンプレート画像１０１の回転ピッチを粗く（大きく）すると、十分な検出精度を得ることが困難となる。
【００７５】
そこで、図１２（ｂ）に示すように、画像照合法において処理時間を削減するために、テンプレート画像１０１の回転ピッチを粗くして照合を行いつつ、算出される画像類似度を、２次曲面等を用いて補間する方法がある。
【００７６】
具体的には、図１２（ｂ）に示す場合においては、例えば３６°ピッチのＲ１〜Ｒ９の９箇所の方向角においてテンプレート画像１０１と入力画像１０２との照合が行われる。そして、Ｒ１〜Ｒ９の各箇所で画像類似度が算出され、各箇所での画像類似度に基づいて、各箇所の間の範囲における画像類似度が２次曲面等によって補間され、推定値としてのグラフＧ２が得られる。このグラフＧ２から、画像類似度が最大となる方向角Ｐ２が、入力画像１０２の方向角の推定値として検出される。
【００７７】
図１２（ｂ）に示すように、推定値としての方向角Ｐ２は、比較的細かい回転ピッチによる同図（ａ）に示す方向角Ｐ１に対してずれた値となっている。このように、補間を行う方法によれば、補間による誤差が発生し、検出精度が低下する。
【００７８】
また、従来の画像照合技術の他の例について、図１３を用いて説明する。図１３に示すように、本例の画像照合技術の手法（以下「従来手法」という。）では、方向角が異なる複数の登録画像２０１が予め登録される。図１３に示す例では、方向角が０°、３０°、４５°、９０°の４つの登録画像２０１ａ、２０１ｂ、２０１ｃ、２０１ｄが登録されている。
【００７９】
４つの登録画像２０１ａ、２０１ｂ、２０１ｃ、２０１ｄは、固有値分解（主成分分析）により、それぞれ特徴ベクトルｖ１〜ｖ４に変換される。特徴ベクトルは、登録画像を情報圧縮したものである。
【００８０】
また、従来手法においては、入力画像２０２も、登録画像２０１と同様に、固有値分解によって特徴ベクトルｖｉｎに変換される。そして、登録画像２０１に基づく特徴ベクトルｖ１〜ｖ４のそれぞれについて、入力画像２０２に基づく特徴ベクトルｖｉｎとの差が求められ、その差の値が最小となる登録画像２０１が検出される。図１３に示す例では、方向角が４５°の登録画像２０１ｃが、入力画像２０２に最も近い登録画像２０１として検出され、この登録画像２０１ｃの方向角４５°が、入力画像２０２の方向角として決定される。
【００８１】
このような従来手法において、検出精度を上げるためには、複数の登録画像２０１における方向角の角度間隔が小さくなるように登録画像２０１の数を多くする必要がある。登録画像２０１の数が増加すると、登録画像２０１と入力画像２０２との特徴ベクトル同士の差を求めるための比較回数も増加し、処理負担が大きくなる。このため、従来手法において検出精度を上げることは、処理時間の長期化を招く。一方で、処理時間を短縮するために登録画像２０１の数を少なくすると、検出分解能が粗くなり、十分な検出精度を得ることが困難となる。
【００８２】
以上のように、処理時間の短縮化と検出精度の向上の両立が困難な回転照合法や従来手法等の従来の画像照合技術との比較において、本実施形態の画像処理方法によれば、同等の処理時間をかけた場合、高い検出精度を得ることができ、同等の検出精度を確保しようとした場合、処理時間を短くすることができる。具体的には、本実施形態の画像処理方法によれば、上述した従来手法のような特徴ベクトルの比較ではなく、決定すべき幾何変換パラメータについて連続的な波形として現れる画像類似度に基づいて幾何変換パラメータが決定されるため、高精度な検出処理を行うことができる。
【００８３】
また、本実施形態の画像処理方法において、上述したように、固有値の大きな順に固有関数の一部を選択する選択ステップを行うことで、検出精度を確保しながら、処理時間のさらなる短縮化を図ることができる。すなわち、本実施形態に係る選択ステップによれば、変換後テンプレート画像と同数の固有関数のうち、画像類似度への影響（寄与度）が大きい一部の固有関数が用いられる。これにより、算出された固有関数の全てを用いる場合との比較において、決定される幾何変換パラメータについては十分な精度を確保することができるとともに、選択しない固有関数の分、処理速度を上げることができ、処理時間をさらに短くすることができる。
【００８４】
また、本実施形態の画像処理方法においては、次のような手法を採用することができる。本実施形態の画像処理方法においては、上述したようにテンプレート画像１に幾何変換を加えることで得られる変換後テンプレート画像群の枚数が多いほど、固有関数の連続度は高くなる。そこで、本実施形態の画像処理方法では、変換後テンプレート画像の枚数を無限大に増やすことが好ましい。つまり、上述したような本実施形態の画像処理方法における一連の処理において、変換後テンプレート画像群を構成する変換後テンプレート画像の枚数を、数学的に無限大とする。
【００８５】
この場合、行列の固有値問題の上記式（８）が、次式（１０）のようになる。
【数８】
2012029662.tif 000010
【００８６】
上記式（１０）において、Ｋ（ｓ，ｔ）は、次式（１１）により表される。
【数９】
2012029662.tif 000011
【００８７】
すなわち、行列の固有値問題ではなく、式（１０）は、微分方程式の問題に変換される。変換後テンプレート画像の枚数を無限大に増やすことで、固有関数は、真の意味で連続関数となる。例えば、この連続関数を多項式で近似して、解析的に表すことも可能である。
【００８８】
固有関数を多項式で表現することで、相関値を用いた固有関数の重み付き和である画像類似度関数（画像類似度ｇ）も、多項式で表現される。多項式で表現された画像類似度関数の最大値を見つける処理は、多項式を微分して０となる位置を見つければよい。このように、変換後テンプレート画像の枚数を無限大に増やすことにより、パラメータの推定値を解析的に求めることが可能となり、幾何学的パラメータの値の推定精度を非常に高くすることができる。
【００８９】
また、本実施形態の画像処理方法においては、入力画像２について決定される幾何変換パラメータは、方向角および２次元座標値を含み、テンプレート画像１に加えられる幾何変換は、方向角を変化させる回転および２次元座標値を変化させる平行移動を含むことが好ましい。
【００９０】
方向角および２次元座標値は、産業用の画像照合処理において比較的多用される幾何変換パラメータであり、また、２次元的な幾何変換パラメータであることから、比較的単純な演算処理により本実施形態の画像処理方法を行うことができる。このため、高い汎用性を得ることができる。
【００９１】
また、本実施形態の画像処理方法においては、入力画像２について決定される幾何変換パラメータは、射影変換に必要なパラメータを含み、テンプレート画像１に加えられる幾何変換は、射影変換を含む。
【００９２】
射影変換は、アフィン変換をも含む一般的な射影変換であり、所定の変換式により、元の画像の座標（ｘ，ｙ）を、投影面における座標（ｘ’，ｙ’）に変換するものである。したがって、射影変換に必要なパラメータは、射影変換の一般式における係数である。
【００９３】
したがって、本実施形態の画像処理方法において、テンプレート画像１に加えられる幾何変換として射影変換が用いられる場合、第１の画像群生成ステップにおいて、テンプレート画像１に射影変換が加えられることで、変換後テンプレート画像群が生成される。そして、照合ステップにおいて、入力画像２の幾何変換パラメータの値として、射影変換の一般式における係数の値が決定される。
【００９４】
また、本実施形態の画像処理方法においては、入力画像２について決定される幾何変換パラメータは、画像のぼかし処理に必要なパラメータを含み、テンプレート画像１に加えられる幾何変換は、画像のぼかし処理を含む。
【００９５】
画像のぼかし処理は、画像をにじませる処理であり、例えば次のようにして行われる。画像のぼかし処理としては、例えば、処理対象のピクセル（ｘ，ｙ）を中心とする３×３ピクセル（９ピクセル）の色（色値）の平均を、処理対象のピクセルの色（色値）とする処理が行われる。かかる処理は、平滑化とも称される。画像のぼかし処理は、例えば、ピクセルの色を構成するＲ（赤）、Ｇ（緑）、Ｂ（青）の成分ごとに行われる。このように３×３ピクセルの色の平均が処理対象のピクセルの色として採用される場合、９ピクセルの平均化処理における各ピクセルの重みはいずれも同じ（「１」）となる。
【００９６】
したがって、画像のぼかし処理においては、処理対象のピクセルに対して周囲の８ピクセルの各ピクセルに２倍の重みを置いたり、処理対象のピクセルの上下左右の４ピクセルのみの色の平均が処理対象の色として用いられたりしてもよい。前者の場合、処理対象のピクセルの重みは「１」、周囲の各ピクセルの重みは「２」となり、後者の場合、処理対象のピクセルの上下左右のピクセルの重みは「１」、それ以外の５ピクセルの各ピクセルの重みは「０」となる。
【００９７】
このように画像のぼかし処理において行われる平均化処理における各ピクセルの重み（「１」や「２」等の数値）が、画像のぼかし処理に必要なパラメータとなる。また、処理対象のピクセルの色として平均化される対象となる範囲のピクセルの数（縦Ｎ×横Ｎ（個））も、画像のぼかし処理に必要なパラメータとなる。なお、Ｎの値が大きいほど、画像のぼけ具合は大きくなる。このような画像のぼかし処理に必要なパラメータが、入力画像２について決定される幾何変換パラメータに含まれる。
【００９８】
したがって、本実施形態の画像処理方法において、テンプレート画像１に加えられる幾何変換として画像のぼかし処理が用いられる場合、第１の画像群生成ステップにおいて、テンプレート画像１に画像のぼかし処理が加えられることで、変換後テンプレート画像群が生成される。そして、照合ステップにおいて、入力画像２の幾何変換パラメータの値として、上述のような画像のぼかし処理に必要なパラメータの値が決定される。なお、画像のぼかし処理としては、上述のような画像のぼかし処理に限らず、周知の画像のぼかし処理を適宜採用することができる。
【００９９】
以上のように、本実施形態の画像処理方法において、射影変換や画像のぼかし処理を用いることで、より高度な画像照合処理において、処理時間の短縮化および検出精度の向上を図ることが可能となる。
【０１００】
具体的には、入力画像２に関し、検査対象となる部品等の撮像の際に、カメラ等の撮像手段による撮像方向が、検査対象物において設定される撮影面に対して垂直でないことにより、入力画像２において検査対象となる部品等が台形状に歪む現象（いわゆる台形歪み）が生じる場合がある。このような入力画像２において生じる台形歪みは、検出誤差の原因となる。
【０１０１】
そこで、上述したように本実施形態の画像処理方法において射影変換が用いられることにより、入力画像２において台形歪みが生じた場合であっても、正確に画像照合を行うことが可能となる。つまり、変換後テンプレート画像群として、射影変換を施した複数のテンプレート画像１を予め準備することにより、台形歪みの影響を加味した固有値分解テンプレート画像を生成することができ、台形歪みによる誤差の少ない正確な画像照合を行うことができる。
【０１０２】
また、同じく入力画像２に関し、カメラ等の撮像手段と検査対象物との距離により、入力画像２には「ぼけ」が含まれる。通常、このような画像のぼけに対しては、オートフォーカス処理等によって、カメラやレンズの移動をともなう調整（ピント合わせ）が行われる。しかし、このようなカメラやレンズの移動をともなう調整は、機械的な処理であるため、処理時間が長くなってしまう。
【０１０３】
そこで、上述したように本実施形態の画像処理方法において画像のぼかし処理が用いられることにより、入力画像２にぼけが生じた場合であっても、事前に様々なパターンでぼかし処理を施したテンプレート画像１を準備することで対応が可能となる。つまり、変換後テンプレート画像群として、ぼかし処理を施した複数のテンプレート画像１を予め準備することにより、画像のぼけの影響を加味した固有値分解テンプレート画像を生成することができ、画像のぼけによる誤差の少ない正確な画像照合を行うことができる。また、オートフォーカス処理等の、画像処理時間の長期化の原因となる処理を省略することができるので、画像照合を行うための処理時間を短くすることができる。
【０１０４】
ぼかし処理についてさらに説明する。本実施形態の画像処理方法を用いた実際の検査においては、入力画像２について、ノイズや検査対象物の回転等の幾何学的な変形に加え、撮像手段のレンズのフォーカスずれ等に起因する画像のぼけが発生する。ぼけた画像である入力画像２に対して、テンプレート画像１による画像照合を行った場合、位置ずれが大きくなる。すなわち、入力画像２がぼけることで、ぼけていないテンプレート画像１とぼけた入力画像２との画像照合が行われることになり、画像照合がうまくいかず、位置ずれが生じる。このように画像照合の結果生じる位置ずれは、深刻な問題である。
【０１０５】
そこで、上記のとおりテンプレート画像１にぼかし処理を施すことで、敢えてぼけを加えたテンプレート画像１を画像照合に用いることで、入力画像２にぼけが生じた場合であっても、入力画像２とテンプレート画像１とを一致させることができる。これにより、入力画像２のぼけによる位置ずれの問題を回避することが可能となる。つまり、ぼけた入力画像２に合わせてテンプレート画像１にぼけを加えることで、マッチング精度を上げることができる。
【０１０６】
一般的に、画像のぼかし処理は、ノイズ除去の用途に用いられるが、本実施形態の画像処理方法においては、入力画像２の照合の対象となるテンプレート画像１にぼかし処理を施すことで、ぼけを加えたテンプレート画像１を作成するために用いられる。このように、本実施形態の画像処理方法は、画像のぼかし処理の用い方が特徴的である。
【０１０７】
また、画像のぼけに関しては、小さな画像ぼけから、大きな画像ぼけまで多数のバリエーションがあり得る。このような多数のバリエーションの画像のぼけに対応するためには、画像のぼけのバリエーションに応じて、ぼけを加えたテンプレート画像１も多数枚用意する必要がある。このように全ての画像のぼけに対応して多数のテンプレート画像１を用いた画像照合を行うと、計算時間が非常に長くなると考えられる。
【０１０８】
この点、本実施形態の画像処理方法においては、様々なぼけを加えたテンプレート画像群を変換後テンプレート画像として入力し、これらを固有値分解を用いて圧縮することで、上述のような計算時間の問題を解消することができる。つまり、変換後テンプレート画像は、固有値分解によって情報圧縮されることから、画像のぼけのバリエーションが多くなっても、計算時間が長くなることを抑えることができる。
【０１０９】
なお、幾何変換としての射影変換および画像のぼかし処理は、それぞれ単独で用いられたり、上述した方向角および２次元座標値との関係で組み合わせて用いられたりする。
【０１１０】
次に、本実施形態の画像処理方法の適用例として、本実施形態の画像処理方法を行うための装置について説明する。本適用例では、例えばＩＣチップの生産ラインにおいて、ＩＣチップのＩＣ基盤への位置決めの工程で、画像照合が用いられる。
【０１１１】
図３および図４に示すように、本実施形態の画像処理装置１０は、コンピュータ１１と、カメラ１２とを備える。画像処理装置１０は、カメラ１２によってワークとしてのＩＣチップ２０を撮像し、その撮像画像を入力画像として、コンピュータ１１において予め準備されているテンプレート画像を用いて画像照合を行う。本実施形態の画像処理装置１０は、画像照合結果として、テンプレート画像を基準とする入力画像の方向角および２次元座標値を検出する。
【０１１２】
そして、画像処理装置１０による画像照合結果が用いられることで、複数のＩＣチップ２０が収容されるＩＣチップ供給トレイ１６からアーム１７によってピッキングされたＩＣチップ２０が、ＩＣ基盤における所定の位置に位置決めされる。なお、アーム１７は、例えばＩＣチップ２０を搬送する装置の一部を構成するロボットアームやピッキングアーム等の、部品取り出し用の構成である。
【０１１３】
ＩＣチップ２０の位置決めは、具体的には次のように行われる。まず、アーム１７によって、ＩＣチップ供給トレイ１６内の所定のＩＣチップ２０がピッキングされる（矢印Ａ１参照）。ピッキングされたＩＣチップ２０が、アーム１７に保持された状態で、カメラ１２によって撮像される。このＩＣチップ２０の撮像画像が入力画像としてコンピュータ１１に送信され、テンプレート画像が用いられて画像照合が行われる。
【０１１４】
画像処理装置１０による画像照合結果としての入力画像の方向角および２次元座標値は、撮像対象となったＩＣチップ２０の角度および位置に対応する。したがって、画像処理装置１０による画像照合結果に基づき、ＩＣチップ２０を保持するアーム１７が、ＩＣ基盤への位置決めに際して、回転および平行移動させられる。かかるアーム１７の回転および平行移動の動作の後、アーム１７の上下方向の移動をともなって、ＩＣチップ２０がＩＣ基盤における所定の位置に位置決めされる。
【０１１５】
図４に示すように、コンピュータ１１は、演算制御部１３と、入力部１４と、表示部１５とを備える。演算制御部１３は、画像処理装置１０の一連の動作を制御する。演算制御部１３は、プログラム等を格納する格納部、プログラム等を展開する展開部、プログラム等に従って所定の演算を行う演算部、演算部による演算結果等を保管する保管部等を有する。
【０１１６】
演算制御部１３としては、具体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成や、ワンチップのＬＳＩ等からなる構成が用いられる。演算制御部１３としては、専用品のほか、市販のパーソナルコンピュータやワークステーション等に上記プログラム等が格納されたものが用いられる。
【０１１７】
入力部１４は、演算制御部１３に接続され、演算制御部１３に、画像処理に係る種々の情報・指示等を入力する。入力部１４としては、例えば、キーボード、マウス、ポインティングデバイス、ボタン、スイッチ等が用いられる。
【０１１８】
表示部１５は、演算制御部１３に接続され、画像処理の動作状況、入力部１４から演算制御部１３への入力内容、画像処理による処理結果等を表示する。表示部１５としては、例えば、液晶ディスプレイやＣＲＴ（陰極線管）等が用いられる。
【０１１９】
カメラ１２は、例えばＣＣＤカメラであり、接続ケーブルを介する等してコンピュータ１１に接続される。カメラ１２は、ＩＣチップ供給トレイ１６内のＩＣチップ２０に対して相対移動することで、アーム１７によるピッキングの対象となるＩＣチップ２０を撮像する。本実施形態では、カメラ１２は、ＩＣチップ２０を上側から撮像し、ＩＣチップ２０の平面画像を撮像する。
【０１２０】
カメラ１２により撮像されたＩＣチップ２０についての撮像データは、コンピュータ１１に送られ、入力画像２２（図５参照）として演算制御部１３に入力される。このように、本実施形態の画像処理装置１０においては、カメラ１２が、入力画像２２を取得するための入力画像取得手段として機能する。
【０１２１】
図５に示すように、本実施形態の画像処理装置１０において、コンピュータ１１に備えられる演算制御部１３が、所定のテンプレート画像２１を用いた照合を行うことで、テンプレート画像２１を基準とする入力画像２２の幾何変換パラメータの値を決定する画像処理手段として機能する。したがって、演算制御部１３において格納部に格納されるプログラム等には、テンプレート画像２１とカメラ１２によって撮像される入力画像２２との画像照合を行うためのプログラムが含まれる。
【０１２２】
演算制御部１３におけるプログラム等の格納部分としては、例えばＲＡＭ等のコンピュータ１１に内蔵される記憶デバイスのほか、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）、ＦＤ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ  ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、ＨＤ（Ｈａｒｄ  Ｄｉｓｋ）等の記憶デバイスが適宜用いられる。
【０１２３】
図４に示すように、演算制御部１３は、固有値分解パラメータ画像作成処理部１８と、検出処理部１９とを有する。固有値分解パラメータ画像作成処理部１８は、予め記憶されているテンプレート画像２１に基づいて、変換後パラメータ画像群を生成し、生成した変換後パラメータ画像群に固有値分解を施し、算出した固有関数と変換後テンプレート画像群とから固有値分解テンプレート画像群を作成する。
【０１２４】
検出処理部１９は、カメラ１２によって取得された入力画像２２と、固有値分解パラメータ画像作成処理部１８によって生成された固有値分解テンプレート画像群との相関値を算出する。検出処理部１９は、算出した相関値から、画像類似度を算出し、算出した画像類似度に基づいて、テンプレート画像２１を基準とする入力画像２２の幾何変換パラメータの値を決定する。
【０１２５】
図４に示すように、演算制御部１３は、テンプレート画像記憶部３０と、変換後テンプレート画像生成部３１と、固有値分解部３２と、固有関数選択部３３と、固有値分解テンプレート画像生成部３４と、画像類似度算出部３５と、照合部３６とを有する。
【０１２６】
テンプレート画像記憶部３０は、テンプレート画像２１（図５参照）を記憶する。テンプレート画像２１は、例えば、カメラ１２による撮像対象となるＩＣチップ２０と同じ部品がカメラ１２と同様のアングルから撮像されることにより得られる。テンプレート画像２１は、ＩＣチップ２０のＩＣ基盤への位置決めの工程において、方向角および２次元座標値の基準を示す画像として、入力画像２２の照合の対象となる。
【０１２７】
詳細には、テンプレート画像２１は、カメラ１２によって取得される入力画像２２との関係において、画像におけるＩＣチップ２０の占める部分（大きさ）が同程度となるように作成される。言い換えると、カメラ１２については、その取得する入力画像２２におけるＩＣチップ２０の占める部分が、テンプレート画像２１におけるＩＣチップ２０の占める部分と同程度となるように、ＩＣチップ２０の撮像位置等が設定される。このようなテンプレート画像２１が、演算制御部１３のテンプレート画像記憶部３０において予め設定され記憶させられる。
【０１２８】
変換後テンプレート画像生成部３１は、上述した画像処理方法における第１の画像群生成ステップに相当する処理を行う。すなわち、変換後テンプレート画像生成部３１は、テンプレート画像記憶部３０に記憶されているテンプレート画像２１に幾何変換を加えることで、第１の画像群としての変換後テンプレート画像群を生成する。
【０１２９】
変換後テンプレート画像生成部３１は、テンプレート画像２１に加える幾何変換として、方向角を変化させる回転、および２次元座標値を変化させる平行移動を行う。このように、画像処理装置１０においては、変換後テンプレート画像生成部３１が、テンプレート画像２１に幾何変換を加えることで、幾何変換の量が異なる複数の変換後テンプレート画像からなる変換後テンプレート画像群を生成する第１の画像群生成部として機能する。
【０１３０】
固有値分解部３２は、上述した画像処理方法における固有値分解ステップに相当する処理を行う。すなわち、固有値分解部３２は、変換後テンプレート画像群に固有値分解を施すことで、固有値および固有関数を算出する。
【０１３１】
固有値分解部３２は、変換後テンプレート画像群を構成する変換後テンプレート画像と同数の固有値および固有関数を算出する。このように、画像処理装置１０においては、固有値分解部３２は、変換後テンプレート画像群に固有値分解を施すことで、複数の変換後テンプレート画像と同数の固有値および固有関数を算出する。
【０１３２】
固有関数選択部３３は、上述した画像処理方法における選択ステップに相当する処理を行う。すなわち、画像処理装置１０においては、固有関数選択部３３は、固有値分解部３２で算出された複数の固有関数のうち、固有値の大きな順に、所定の数の固有関数を選択する選択部として機能する。つまり、固有関数選択部３３によれば、固有値分解部３２で算出された複数の固有関数のうち、固有値が大きい側の一部の固有関数が選択される。
【０１３３】
固有値分解テンプレート画像生成部３４は、上述した画像処理方法における第２の画像群生成ステップに相当する処理を行う。すなわち、固有値分解テンプレート画像生成部３４は、固有値分解部３２で算出された複数の固有関数と変換後テンプレート画像生成部３１で生成された変換後テンプレート画像群とを内積演算することで、固有値分解テンプレート画像群を生成する処理を行う。
【０１３４】
このように、固有値分解テンプレート画像生成部３４は、複数の固有関数と変換後テンプレート画像群との内積演算を施すことで、固有値分解テンプレート画像群を生成する第２の画像群生成部として機能する。画像処理装置１０のように、固有関数選択部３３を有する構成においては、固有値分解テンプレート画像生成部３４は、固有関数選択部３３で選択された複数の固有関数と変換後テンプレート画像群との内積演算を施すことで、固有値分解テンプレート画像群を生成する。
【０１３５】
画像類似度算出部３５は、上述した画像処理方法における画像類似度算出ステップに相当する処理を行う。すなわち、画像類似度算出部３５は、上記式（１）〜（９）に基づき、入力画像２２について、固有値分解テンプレート画像群に対する画像類似度（ｇ（θ））を算出する。すなわち、画像処理装置１０においては、画像類似度算出部３５は、連続曲線で表され入力画像２２と固有値分解テンプレート画像群との類似度合いを示す画像類似度を算出する。
【０１３６】
照合部３６は、上述した画像処理方法における照合ステップに相当する処理を行う。すなわち、照合部３６は、画像類似度算出部３５で算出された画像類似度（ｇ（θ））に基づいて、テンプレート画像２１を基準とする入力画像２２の幾何変換パラメータの値を決定する。
【０１３７】
照合部３６は、テンプレート画像２１と入力画像２２との照合を、上記のとおり画像類似度算出部３５で算出された画像類似度の値を指標として行う。このように、画像処理装置１０においては、照合部３６は、画像類似度算出部３５で算出された画像類似度に基づき、幾何変換パラメータの値を決定する照合部として機能する。本実施形態の画像処理装置１０では、照合部３６は、テンプレート画像２１を基準とする入力画像２２の幾何変換パラメータの値として、画像類似度が最大となる方向角および２次元座標値を決定する。
【０１３８】
以上のように、本実施形態の画像処理装置１０において演算制御部１３が有する各部によって行われる画像照合によれば、照合結果として、入力画像２２の方向角および２次元座標値が得られる。具体的には、図５に示すように、照合結果に含まれる方向角としては、例えば、テンプレート画像２１の方向角を示す基準線Ｏ１０に対する、入力画像２２の傾き（回転角度）θが求められる。また、照合結果に含まれる２次元座標値としては、例えば、テンプレート画像２１の中心位置を原点Ｏ２０とした場合の入力画像２２の中心位置Ｃ１０の２次元座標値（ＸＹ座標値）が求められる。
【０１３９】
本実施形態の画像処理装置１０により行われる画像照合の処理手順の一例について、図６に示すフロー図を用いて説明する。
【０１４０】
図６に示すように、画像処理装置１０による画像照合の処理手順では、まず、テンプレート画像２１の入力が行われる（Ｓ１０）。このステップＳ１０では、検査対象であるＩＣチップ２０が所定の方法によって撮像されることで得られるテンプレート画像２１が、テンプレート画像記憶部３０に入力され、予め記憶される。
【０１４１】
次に、変換後テンプレート画像群の生成が行われる（Ｓ２０）。このステップでは、変換後テンプレート画像生成部３１により、テンプレート画像記憶部３０に記憶されているテンプレート画像２１に幾何変換が加えられることで、Ｎ枚の変換後テンプレート画像からなる変換後テンプレート画像群が生成される。例えば、テンプレート画像２１が１°ピッチで回転させられることで、Ｎ＝３６０枚の変換後テンプレート画像（回転画像）からなる変換後テンプレート画像群が生成される。図２に示す例では、Ｎ枚の変換後テンプレート画像からなる変換後テンプレート画像群１Ｎが生成される。
【０１４２】
続いて、複数の固有値および固有関数の算出が行われる（Ｓ３０）。このステップでは、固有値分解部３２により、変換後テンプレート画像群（Ｎ枚の変換後テンプレート画像）に固有値分解が施されることで、固有値および固有関数が算出される。ここでは、固有値分解部３２により生成された変換後テンプレート画像の数と同数（Ｎ個）の固有値および固有関数が算出される。したがって、上記のとおり３６０枚の変換後テンプレート画像が生成される場合、３６０個の固有値および固有関数が算出される。図２に示す例では、変換後テンプレート画像群１Ｎに固有値分解が施されることで、Ｎ個の固有関数φｎ（θ），（ｎ＝１，２，・・・Ｎ）からなる固有関数群と、Ｎ個の固有値が算出される。
【０１４３】
次に、固有値の大きさに基づく固有関数の選択が行われる（Ｓ４０）。このステップでは、固有関数選択部３３により、固有値分解部３２で算出されたＮ個の固有関数のうち、固有値が大きい側の所定の数（Ｍ個）の固有関数が選択される。例えば、上記のとおり３６０個（Ｎ個）の固有関数が算出された場合、そのうちの固有値が大きい方の６０個（Ｍ個）の固有関数が選択される。図２に示す例では、Ｎ個の固有関数φｎ（θ）から、Ｍ個の固有関数からなる固有関数群φ１（θ），φ２（θ），・・・，φＭ（θ）が選択される。
【０１４４】
そして、固有値分解テンプレート画像群の生成が行われる（Ｓ５０）。このステップでは、固有値分解テンプレート画像生成部３４により、上記式（４）に基づき、固有関数選択部３３で選択されたＭ個の固有関数と変換後テンプレート画像生成部３１で生成された変換後テンプレート画像群とが内積演算されることで、固有値分解テンプレート画像群（Ｍ枚の固有値分解テンプレート画像）が生成される。図２に示す例では、固有値分解テンプレート画像Ｅ１〜Ｅ３（Ｅ１（ｘ，ｙ）〜Ｅ３（ｘ，ｙ））からなる固有値分解テンプレート画像群が得られる。
【０１４５】
続いて、入力画像２２の取得が行われる（Ｓ６０）。このステップでは、カメラ１２により、アーム１７によってピッキングされてアーム１７に保持されている状態のＩＣチップ２０が撮像され、その撮像データが、コンピュータ１１の演算制御部１３に入力される。図２に示す例では、入力画像２が取得され入力される。
【０１４６】
次に、入力画像２２の位置の設定が行われる（Ｓ７０）。このステップでは、上記ステップＳ６０により取得された入力画像２２について、その画像における位置、つまり画素の２次元座標値（ｘ，ｙ）が特定される。
【０１４７】
次に、入力画像２２の位置（ｘ，ｙ）における、入力画像２２とＭ枚の固有値分解テンプレート画像の各画像との相関値ｒｎ（ｘ，ｙ）の算出が行われる（Ｓ８０）。このステップでは、相関値ｒｎは、上記式（５）により算出される。相関値ｒｎの算出に際しては、上記ステップＳ７０で設定された入力画像２２の位置（ｘ，ｙ）が用いられる。図２に示す例では、ｆ（ｘ，ｙ）で表される入力画像２について、上記式（５）により、相関値ｒｎが算出される。
【０１４８】
続いて、入力画像２２の位置（ｘ，ｙ）における、入力画像２２と固有値分解テンプレート画像群との画像類似度の算出が行われる（Ｓ９０）。このステップでは、画像類似度算出部３５により、上記式（３）（（６））により、上記ステップＳ７０にて設定された入力画像２２の位置（ｘ，ｙ）について、固有値分解テンプレート画像群に対する画像類似度（ｇ（θ，ｘ，ｙ））が算出される。図２に示す例では、固有関数φ１（θ）〜φ３（θ）に相関値ｒ１〜ｒ３が掛け合わされることで、画像類似度を表す関数Ｐ１（θ）〜Ｐ３（θ）が算出され、これらの関数Ｐ１（θ）〜Ｐ３（θ）が足し合わされることで、波形ｑｓで表される画像類似度（ｇ（θ））が算出される。
【０１４９】
このように、ステップＳ７０にて設定された入力画像２２の位置（ｘ，ｙ）についての相関値ｒｎの算出および画像類似度ｇの算出が、入力画像２２の全ての２次元座標値について行われる。つまり、入力画像２２において位置（ｘ，ｙ）を特定する全画素について、相関値ｒｎの算出および画像類似度ｇの算出が行われる。
【０１５０】
本処理手順では、図７（ａ）に示すように、ステップＳ７０において、入力画像２２の位置（ｘ，ｙ）は、入力画像２２の左上の画素２２ａを始点とし、右下の画素２２ｂを終点として、各行において右側に向けて１画素ずつ順にずらしながら設定される。そして、各画素について相関値ｒｎの算出および画像類似度ｇの算出が行われる。すなわち、図６に示すフロー図において、入力画像２２の位置の設定（Ｓ７０）、相関値ｒｎの算出（Ｓ８０）、画像類似度ｇの算出（Ｓ９０）が、入力画像２２の位置が始点となる画素２２ａの位置から終点となる画素２２ｂまで走査され、全画素について行われる（Ｓ１００）。言い換えると、相関値ｒｎの算出（Ｓ８０）、および画像類似度ｇの算出（Ｓ９０）が、入力画像２２の画素毎に、画素配列に沿って順番に全画素分繰り返される（Ｓ７０〜Ｓ１００）。
【０１５１】
そして、入力画像２２の終点の画素２２ｂまで、相関値ｒｎの算出および画像類似度ｇの算出が行われると（Ｓ１００、ｙｅｓ）、画像類似度ｇ（θ，ｘ，ｙ）が最大となる方向角（θ）、および位置（ｘ，ｙ）が、入力画像２２の方向角（θ）、２次元座標値（ｘ，ｙ）として決定される（Ｓ１１０）。このステップでは、照合部３６により、画像類似度算出部３５で算出された画像類似度（ｇ（θ））に基づいて、テンプレート画像２１を基準とする入力画像２２の方向角（θ）と、中心位置の２次元座標値（ｘ，ｙ）とが決定される。ここでは、画像類似度が最大となる方向角（θ）および中心位置の２次元座標値（ｘ，ｙ）が、入力画像２２の幾何変換パラメータの値（実数値）として決定される。
【０１５２】
このステップＳ１１０では、具体的には次のような処理が行われる。図７（ｂ）に示すように、ステップＳ７０〜Ｓ１００による入力画像２２の全画素についての画像類似度ｇの算出結果、つまり全位置（ｘ，ｙ）×全方向角（θ）の画像類似度ｇの算出結果は、θ、ｘ、ｙを各軸とする３次元配列データである画像類似度テーブル５０として、演算制御部１３における所定の部分に格納される。
【０１５３】
画像類似度テーブル５０は、θ、ｘ、ｙを各軸とする３次元座標において、画像類似度の高低の３次元的な分布を表す。このような画像類似度テーブル５０が参照され、画像類似度ｇ（θ，ｘ，ｙ）が最大となる方向角（θ）、および位置（ｘ，ｙ）が、入力画像２２の方向角（θ）、２次元座標値（ｘ，ｙ）として採用される。
【０１５４】
このステップＳ１１０で決定される方向角（θ）は、図５に示すように、テンプレート画像２１の方向角を示す基準線Ｏ１０に対する、入力画像２２の傾き（回転角度）θに相当する。また、ここで決定される２次元座標値（ｘ，ｙ）は、図５に示すように、テンプレート画像２１の中心位置を原点Ｏ２０とした場合の入力画像２２の中心位置Ｃ１０の２次元座標値に相当する。図２に示す例では、上述したように算出された、波形ｑｓで表される画像類似度（ｇ（θ））から、画像類似度ｇが最大となる方向角θａが、テンプレート画像１を基準とする入力画像２の幾何変換パラメータの値として決定される。
【０１５５】
以上のような画像処理装置１０により行われる画像照合の処理手順においては、予め記憶されているテンプレート画像２１に基づいて固有値分解テンプレート画像群が作成される処理であるステップＳ１０〜Ｓ５０が、固有値分解パラメータ画像作成処理部１８により行われる。そして、固有値分解テンプレート画像群と入力画像とに基づいてこれらの画像類似度を算出し、方向角および２次元座標値を決定するステップＳ６０〜Ｓ１１０が、検出処理部１９により行われる。
【０１５６】
なお、実際の処理工程においては、複数のＩＣチップ２０の位置決めが行われる場合、固有値分解パラメータ画像作成処理部１８による固有値分解テンプレート画像群の生成処理は、複数のＩＣチップ２０の位置決めに際して予め行われる。そして、検出処理部１９による方向角および２次元座標値の決定のための処理が、各ＩＣチップ２０の位置決めの工程において、予め生成された固有値分解テンプレート画像群が用いられて繰り返し行われることとなる。
【０１５７】
以上説明した画像処理装置１０においては、入力画像２２について決定される幾何変換パラメータとして、方向角および２次元座標値が用いられているが、上述したように、テンプレート画像２１に加えられる幾何変換として射影変換や画像のぼかし処理が用いられ、幾何変換パラメータとして射影変換や画像のぼかし処理に必要なパラメータが用いられてもよい。
【０１５８】
以上説明した本発明の実施形態は、本発明の好適な具体例であり、本発明を限定するものではなく、実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【０１５９】
以下、本発明の実施例について説明する。本実施例では、テンプレート画像として、１２８×１２８ピクセルの画像を用いた。また、テンプレート画像を１°ピッチで回転させることで、計３６０枚の変換後テンプレート画像からなる変換後テンプレート画像群を生成した。
【０１６０】
本実施例では、入力画像として、上記のテンプレート画像に対して、ｘ方向およびｙ方向に−０．５〜０．５ピクセルの位置ずれ、および０〜１８０°の回転を施すことで、テスト画像を生成した。本実施例では、位置決めずれについては、０．１ピクセルピッチ、回転については０．５°ピッチで変化させることで、計４３５６０枚のテスト画像（入力画像）を生成した。
【０１６１】
本実施例では、本発明に係る画像処理方法（以下「提案手法」という。）において、次数Ｍ＝６０として照合を行った（上記式（７）参照）。また、本実施例では、提案手法の比較例として、回転照合法を採用した。回転照合法としては、テンプレート画像を６°ピッチで回転させながら計３６０°回転させて照合させる方法を採用した。したがって、提案手法および回転照合法いずれにおいても、１回の探索で６０回の照合が行われることとなる。このため、提案手法と回転照合法とで計算量は同じである。
【０１６２】
本実施例では、テスト画像の方向角および位置ずれ（２次元座標値）について、提案手法および回転照合法それぞれにより算出される値（推定値）の、テスト画像についての実際の方向角および位置ずれに対する誤差を求めた。
【０１６３】
図８は、テスト画像の方向角と、方向角および位置ずれについての誤差との関係を示す。図８（ａ）において、横軸はテスト画像の方向角を示し、縦軸は方向角についての誤差を示す。図８（ｂ）において、横軸はテスト画像の方向角を示し、縦軸は位置ずれについての誤差を示す。また、図８の各図において、実線で示すグラフが提案手法（Ｐｒｏｐｏｓｅｄ）についてのデータであり、破線で示すグラフが回転照合法（Ｒｏｔａｔｉｏｎａｌ  ｍａｔｃｈｉｎｇ）についてのデータである。なお、図８（ａ）、（ｂ）において、方向角および位置ずれのそれぞれ誤差の値について、０〜１８０°で１°ピッチで回転を加えたテスト画像の各角度（横軸の各値）における誤差の値（縦軸の値）は、−０．５〜０．５ピクセルの範囲における０．１ピクセルピッチの各位置での誤差の平均値である。
【０１６４】
図８（ａ）および（ｂ）のグラフから分かるように、提案手法および回転照合法いずれにおいても照合回数は６０回で処理時間は同じであるが、提案手法の方が、方向角および位置ずれのいずれについても誤差が極めて小さい。具体的には、方向角の誤差については、平均で、提案手法では０．０３°であり、回転照合法では０．３６°であった。また、位置ずれの誤差については、平均で、提案手法では０．０４ピクセルであり、回転照合法では０．０９ピクセルであった。
【０１６５】
また、図８（ａ）および（ｂ）のグラフから分かるように、回転照合法においては、６°ピッチで得られた画像類似度を補間していることから、６°間隔で周期的な誤差が発生している。一方、提案手法においては、補間が行われていないことから、回転照合法のような周期的な誤差が発生することなく、方向角および位置ずれについて高い推定精度を得ることができる。
【０１６６】
このように、提案手法によれば、回転照合法との比較において、周期的な誤差が発生せず、処理時間（照合回数）が同程度であれば、極めて高い精度を得ることができる。
【０１６７】
次に、照合回数と誤差との関係を図９に示す。図９に示すグラフにおいて、横軸は１回の探索に要する照合回数で、縦軸は推定した方向角の誤差を示す。ここで、照合回数は、提案手法の場合、打ち切り次数Ｍに相当し（式（７）参照）、回転照合法の場合、回転ピッチにより定まる照合回数であり、３６０°を回転ピッチで除した数となる。
【０１６８】
図９において、実線で示すグラフは、提案手法についてのデータであり、次数Ｍを１０から３６０まで変化させた場合の方向角の平均誤差を示す。また、図９において、破線で示すグラフは、回転照合法についてのデータであり、回転ピッチを変化させた場合の方向角の平均誤差を示す。
【０１６９】
図９の実線のグラフから、提案手法では、照合回数が６０回付近（次数Ｍ＝６０付近に相当）から、方向角の誤差が収束していることがわかる。このときの誤差の値は、０．０３°であった。一方、図９の破線のグラフから、回転照合法では、照合回数が１２０回付近で、方向角の誤差が収束していることがわかる。これらの実験結果から、提案手法によれば、回転照合法の約半分の照合回数で同等の精度を得ることができることが分かった。
【０１７０】
続いて、提案手法の雑音に対する耐性を検証するため、テスト画像にσ＝０，１０，２０，３０の白色雑音（ｇａｕｓｓｉａｎ  ｎｏｉｓｅ）を加えて実験を行った。本実験では、提案手法の比較例として、回転照合法に加え、位相限定相関法（非特許文献４〜６参照）を採用した。位相限定相関法は、現在、最も精度が良いとされている手法であり、工業用として実用化されている。なお、提案手法については、次数Ｍ＝６０（照合回数６０回）とし、回転照合法については、６°ピッチ（照合回数６０回）で照合を行った。
【０１７１】
図１０（ａ）、（ｂ）に、提案手法、回転照合法、および位相限定相関法それぞれについての方向角および位置ずれの推定誤差を示す。図１０（ａ）は、白色雑音を加えた場合の方向角（°）の推定誤差を示し、同図（ｂ）は、白色雑音を加えた場合の位置ずれ量（ピクセル）の推定誤差を示す。
【０１７２】
図１０（ａ），（ｂ）から、提案手法および回転照合法については、白色雑音の雑音量が増えても、誤差の値が変化しないことが分かる。同じく図１０（ａ），（ｂ）から、提案手法、回転照合法、および位相限定相関法のうち、提案手法が最も誤差の値が小さく、検出精度が良いことが分かる。
【０１７３】
一方、図１０（ａ），（ｂ）から分かるように、位相限定相関法については、位置ずれに関して誤差が小さく精度は比較的良いが、方向角の精度は他の２つの手法と比べて良いとは言えない。さらに、位相限定相関法については、雑音が小さな場合は良い結果が得られたが、雑音が小さな場合は比較的良い結果が得られたが、雑音が大きくなると、性能が大幅に劣化した。このことは、位相限定相関法においては、周波数分解をスペクトル強度で除算する処理が入るため、高周波成分の雑音が増幅され、照合に悪影響を及ぼしたためだと考えられる。これらの実験結果から、提案手法によれば、推定精度が雑音の大きさにほとんど影響されることなく、回転照合法および位相限定相関法との比較において、高い精度を得ることができる。
【０１７４】
本発明の別の実施例について説明する。近年、高速かつ高精度なパターンマッチング手法として、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）が用いられている。ＳＩＦＴは、顔認識や拡張現実感（ＡＲ；Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）の分野で大きな成功を収めている。ＳＩＦＴは、２枚の画像から特徴点と呼ばれる点群情報を抽出し、それぞれの画像の特徴点群を対応付けることでパターンマッチングを行う方法である。
【０１７５】
ＳＩＦＴで特徴点を検出するためには、ＤＯＧ（Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｏｆ  Ｇａｕｓｓｉａｎ）処理が行われる。具体的には、入力画像に対してぼけ量の異なるガウスフィルタをかけて、ぼけた画像を複数枚作成し、これらの画像群（ＤＯＧ画像群）から特徴点を検出することで、画像のぼけやスケール変化に頑健な特徴点の検出が可能となる。ＳＩＦＴにおいては、ぼけた画像の枚数を多くすれば検出精度は良くなるが計算量が増えるというトレードオフの関係がある。
【０１７６】
ＳＩＦＴにおいて、画像をぼかすという操作は、ガウス関数で与えられたテンプレート画像を照合させることで可能である。そこで、上述した実施形態における固有値分解テンプレート画像のような、ぼけ量の異なるガウス関数のテンプレート画像群を圧縮した固有値分解テンプレート画像を、前述のＤＯＧ処理に用いることで、検出精度を維持しつつ計算量を削減することが可能となる。この場合、ガウス関数のテンプレート画像はぼけ量のパラメータで連続的に記述可能であるため、式（１１）の問題を解くことで、解析的な式で固有値分解テンプレート画像を記述することができる。固有値分解テンプレート画像が解析的な式で表されるため、ＤＯＧ画像群のピーク位置も解析的に求めることができる。本発明方法は数値的な誤差を含ない高精度な特徴点を高速に検出することができる。
【０１７７】
本実施例において、特徴点を検出した結果を図１１に示す。本実施例では、図１１（ａ）に示すような入力画像３０１に対して特徴点の検出を行った。特徴点が正しく検出されれば、図１１（ｄ）の画像３０４に示すように、計１６点の特徴点３０５が検出される。なお、図１１においては、検出された特徴点を、×を○で囲んだ図形により表している。
【０１７８】
図１１（ｂ）に示す画像３０２においては、計８箇所の特徴点３０５ａが存在する。画像３０２における８箇所の特徴点３０５ａは、従来のＳＩＦＴ処理によりＤＯＧ画像を５枚作成して検出した特徴点である。同様に、図１１（ｃ）に示す画像３０３においては、計１２箇所の特徴点３０５ｂが存在する。画像３０３における１２箇所の特徴点は、ＤＯＧ画像を１５枚作成して検出した特徴点である。これらの検出結果から、通常、ＳＩＦＴにおいては５枚のＤＯＧ画像群が用いられるが、これでは検出精度は良くなく、ＤＯＧ画像枚数を１５枚に増やしても全ての特徴点を検出できないことが分かる。
【０１７９】
一方で、本発明に係る方法により特徴点を検出した結果が、図１１（ｄ）に示す画像３０４である。画像３０４に示す場合の特徴点の検出においては、固有値分解テンプレート画像の枚数は５枚であり、計算量は図１１（ｂ）に示す画像３０２の場合と同じである。それにもかかわらず、本発明に係る方法を用いた場合、１６点全ての特徴点３０５が正しく検出されている。この検出結果から、本発明に係る方法によれば、固有値分解テンプレート画像の枚数や計算量を増やすことなく、全ての特徴点を正しく検出することが可能であることが分かる。
【０１８０】
なお、本発明において、テンプレート画像群の濃淡値に対して固有値分解を行うのではなく、それぞれのテンプレート画像および入力画像をエッジ方向画像あるいは増分符号画像に変換した後に、本発明に係る方法によりテンプレート画像群を固有値分解テンプレート画像群に変換して画像照合を行うこともできる。すなわち、エッジ方向を加味した画像照合を行うことで、明るさの変動や、対象物の一部が隠れる等の遮蔽に頑健な画像照合が可能となる。
【０１８１】
以上のような本発明の実施例から、精度および計算量（処理時間）ともに、本発明が優れていることが実証された。
【０１８２】
本発明は、入力画像からテンプレート画像と一致する位置と方向角等の幾何変換パラメータを高速に検出する新しい方法を提案した。提案手法は、テンプレート画像の固有値分解で得られる画像を照合することで、相関値波形を算出する。すなわち、本発明は、画像照合用のテンプレート画像群に固有値分解を施して主成分情報を抽出し、これに基づいて画像の類似度推定用の連続した類似度曲線を算出することにより、照合時間の短縮および照合精度の向上を可能とするものである。
【０１８３】
本発明は、固有値分解を用いて枚数を削減した新たなテンプレート画像を用いて精度を落とすことなく、検査対象画像（入力画像）とテンプレート画像との幾何学的差異（幾何変換パラメータの値）を推定する圧縮テンプレートマッチング法ということができる。そして、固有値分解により算出された固有関数を、元のテンプレート画像群である第１の画像群（変換後テンプレート画像群）に内積演算して生成した第２の画像群（固有値分解テンプレート画像群）の生成、および入力画像との画像類似度の算出に２度活用している。これにより、連続曲線で表される画像類似度を得ることができ、従来手法では得られない高い精度の幾何変換パラメータの値の推定を行うことが可能となる。
【０１８４】
本発明の応用例としては、自動車部品等の各種機械部品の検査・計測、バイオメトリクス（指紋認証）、高精度な位置合わせが要求される、半導体ウエハやＩＣ基盤の位置決め（半導体検査、マスク露光の位置合わせ、回転角合わせ（アライメント））、外観検査等が挙げられ、本発明は各分野での適用の可能性を有する。
【符号の説明】
【０１８５】
１    テンプレート画像
２    入力画像
１０  画像処理装置
１１  コンピュータ
１２  カメラ（入力画像取得手段）
１３  演算制御部（画像処理手段）
１８  固有値分解パラメータ画像作成処理部
１９  検出処理部
２１  テンプレート画像
２２  入力画像
３１  変換後テンプレート画像生成部（第１の画像群生成部）
３２  固有値分解部
３３  固有関数選択部
３４  固有値分解テンプレート画像生成部（第２の画像群生成部）
３５  画像類似度算出部
３６  照合部
【図１】
2012029662.tif 000012
【図２】
2012029662.tif 000013
【図３】
2012029662.tif 000014
【図４】
2012029662.tif 000015
【図５】
2012029662.tif 000016
【図６】
2012029662.tif 000017
【図７】
2012029662.tif 000018
【図８】
2012029662.tif 000019
【図９】
2012029662.tif 000020
【図１０】
2012029662.tif 000021
【図１１】
2012029662.tif 000022
【図１２】
2012029662.tif 000023
【図１３】
2012029662.tif 000024
【手続補正書】
【提出日】平成25年4月5日(2013.4.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定のテンプレート画像を用いた照合を行うことで、前記テンプレート画像を基準とする入力画像の幾何変換パラメータの値を決定する画像処理方法であって、
前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成ステップと、
前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および前記テンプレート画像を基準とする前記幾何変換の量と固有関数値との関係を表す固有関数を算出する固有値分解ステップと、
複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成ステップと、
連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を、該画像類似度をｇ、前記入力画像と前記第２の画像群との内積値である相関値をｒｎ、前記固有関数をφｎとしてｇ＝Σｒｎ×φｎ，（ｎ＝０，１，２，・・・）により算出する画像類似度算出ステップと、
前記画像類似度算出ステップで算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合ステップと、を備える、
ことを特徴とする画像処理方法。
【請求項２】
前記固有値分解ステップで算出された複数の前記固有関数のうち、前記固有値の大きな順に、所定の数の前記固有関数を選択する選択ステップをさらに備え、
前記第２の画像群生成ステップは、前記選択ステップで選択された複数の前記固有関数と前記第１の画像群との内積演算を施すことで、前記第２の画像群を生成する、
ことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記幾何変換パラメータは、方向角および２次元座標値を含み、
前記幾何変換は、方向角を変化させる回転および前記２次元座標値を変化させる平行移動を含む、
請求項１または請求項２に記載の画像処理方法。
【請求項４】
前記幾何変換パラメータは、射影変換に必要なパラメータを含み、
前記幾何変換は、射影変換を含む、
請求項１〜３のいずれか１項に記載の画像処理方法。
【請求項５】
前記幾何変換パラメータは、画像のぼかし処理に必要なパラメータを含み、
前記幾何変換は、画像のぼかし処理を含む、
請求項１〜３のいずれか１項に記載の画像処理方法。
【請求項６】
入力画像を取得するための入力画像取得手段と、
所定のテンプレート画像を用いた照合を行うことで、前記テンプレート画像を基準とする前記入力画像の幾何変換パラメータの値を決定する画像処理手段と、を備え、
前記画像処理手段は、
前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成部と、
前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および前記テンプレート画像を基準とする前記幾何変換の量と固有関数値との関係を表す固有関数を算出する固有値分解部と、
複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成部と、
連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を、該画像類似度をｇ、前記入力画像と前記第２の画像群との内積値である相関値をｒｎ、前記固有関数をφｎとしてｇ＝Σｒｎ×φｎ，（ｎ＝０，１，２，・・・）により算出する画像類似度算出部と、
前記画像類似度算出部で算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合部と、を備える、
画像処理装置。
【請求項７】
前記画像処理手段は、
前記固有値分解部で算出された複数の前記固有関数のうち、前記固有値の大きな順に、所定の数の前記固有関数を選択する選択部をさらに備え、
前記第２の画像群生成部は、前記選択部で選択された複数の前記固有関数と前記第１の画像群との内積演算を施すことで、前記第２の画像群を生成する、
請求項６に記載の画像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の画像処理方法は、所定のテンプレート画像を用いた照合を行うことで、前記テンプレート画像を基準とする入力画像の幾何変換パラメータの値を決定する画像処理方法であって、前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成ステップと、前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および前記テンプレート画像を基準とする前記幾何変換の量と固有関数値との関係を表す固有関数を算出する固有値分解ステップと、複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成ステップと、連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を、該画像類似度をｇ、前記入力画像と前記第２の画像群との内積値である相関値をｒｎ、前記固有関数をφｎとしてｇ＝Σｒｎ×φｎ，（ｎ＝０，１，２，・・・）により算出する画像類似度算出ステップと、前記画像類似度算出ステップで算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合ステップと、を備えるものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
本発明の画像処理装置は、入力画像を取得するための入力画像取得手段と、所定のテンプレート画像を用いた照合を行うことで、前記テンプレート画像を基準とする前記入力画像の幾何変換パラメータの値を決定する画像処理手段と、を備え、前記画像処理手段は、前記テンプレート画像に幾何変換を加えることで、前記幾何変換の量が異なる複数の幾何変換後の前記テンプレート画像からなる第１の画像群を生成する第１の画像群生成部と、前記第１の画像群に固有値分解を施すことで、前記複数の幾何変換後の前記テンプレート画像と同数の固有値および前記テンプレート画像を基準とする前記幾何変換の量と固有関数値との関係を表す固有関数を算出する固有値分解部と、複数の前記固有関数と前記第１の画像群との内積演算を施すことで、第２の画像群を生成する第２の画像群生成部と、連続曲線で表され前記入力画像と前記第２の画像群との類似度合いを示す画像類似度を、該画像類似度をｇ、前記入力画像と前記第２の画像群との内積値である相関値をｒｎ、前記固有関数をφｎとしてｇ＝Σｒｎ×φｎ，（ｎ＝０，１，２，・・・）により算出する画像類似度算出部と、前記画像類似度算出部で算出された前記画像類似度に基づき、前記幾何変換パラメータの値を決定する照合部と、を備えるものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
【数７】
2012029662.tif 000025
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
式（９）において、μｉは、Ｔｉ（ｘ，ｙ）の平均濃度値である。本固有ベクトルを用いて得られる画像Ｅｎ（ｘ，ｙ）が、固有値分解テンプレート画像に相当する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
図４に示すように、演算制御部１３は、固有値分解テンプレート画像作成処理部１８と、検出処理部１９とを有する。固有値分解テンプレート画像作成処理部１８は、予め記憶されているテンプレート画像２１に基づいて、変換後テンプレート画像群を生成し、生成した変換後テンプレート画像群に固有値分解を施し、算出した固有関数と変換後テンプレート画像群とから固有値分解テンプレート画像群を作成する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正の内容】
【０１２４】
検出処理部１９は、カメラ１２によって取得された入力画像２２と、固有値分解テンプレート画像作成処理部１８によって生成された固有値分解テンプレート画像群との相関値を算出する。検出処理部１９は、算出した相関値から、画像類似度を算出し、算出した画像類似度に基づいて、テンプレート画像２１を基準とする入力画像２２の幾何変換パラメータの値を決定する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１５５
【補正方法】変更
【補正の内容】
【０１５５】
以上のような画像処理装置１０により行われる画像照合の処理手順においては、予め記憶されているテンプレート画像２１に基づいて固有値分解テンプレート画像群が作成される処理であるステップＳ１０〜Ｓ５０が、固有値分解テンプレート画像作成処理部１８により行われる。そして、固有値分解テンプレート画像群と入力画像とに基づいてこれらの画像類似度を算出し、方向角および２次元座標値を決定するステップＳ６０〜Ｓ１１０が、検出処理部１９により行われる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１５６
【補正方法】変更
【補正の内容】
【０１５６】
なお、実際の処理工程においては、複数のＩＣチップ２０の位置決めが行われる場合、固有値分解テンプレート画像作成処理部１８による固有値分解テンプレート画像群の生成処理は、複数のＩＣチップ２０の位置決めに際して予め行われる。そして、検出処理部１９による方向角および２次元座標値の決定のための処理が、各ＩＣチップ２０の位置決めの工程において、予め生成された固有値分解テンプレート画像群が用いられて繰り返し行われることとなる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１８５
【補正方法】変更
【補正の内容】
【０１８５】
１    テンプレート画像
２    入力画像
１０  画像処理装置
１１  コンピュータ
１２  カメラ（入力画像取得手段）
１３  演算制御部（画像処理手段）
１８  固有値分解テンプレート画像作成処理部
１９  検出処理部
２１  テンプレート画像
２２  入力画像
３１  変換後テンプレート画像生成部（第１の画像群生成部）
３２  固有値分解部
３３  固有関数選択部
３４  固有値分解テンプレート画像生成部（第２の画像群生成部）
３５  画像類似度算出部
３６  照合部
【手続補正１１】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2012029662.tif 000026
【国際調査報告】
2012029662.tif 000027
2012029662.tif 000028