(57)【要約】【課題】  入力画像に幾何学的変化があっても正確に合致位置を特定できるテンプレートマッチング装置およびテンプレートマッチング方法を提供する。【解決手段】  複数の色成分を含む既知のテンプレート画像の強度に対して、所定の距離テーブルを用いて各色成分ごとに演算を施し第１の特徴量を算出する第１の算出手段と、複数の色成分を含む入力画像の中の異なる複数の位置から演算用の部分画像を抽出する抽出手段と、抽出手段により抽出された部分画像の強度に対して、距離テーブルを用いて各色成分ごとに演算を施し第２の特徴量を算出する第２の算出手段と、第１の特徴量と第２の特徴量とに基づいて、同じ色成分どうしを比較することにより、テンプレート画像と部分画像との類似度を求める演算手段と、入力画像の各位置で求められた類似度を大小比較することにより、入力画像の中のテンプレート画像との合致位置を特定する特定手段とを備える。【選択図】      図３
2008225636.tif 000002
【特許請求の範囲】
【請求項１】
複数の色成分を含む既知のテンプレート画像の強度に対して、所定の距離テーブルを用いて各色成分ごとに演算を施し第１の特徴量を算出する第１の算出手段と、
前記複数の色成分を含む入力画像の中の異なる複数の位置から演算用の部分画像を抽出する抽出手段と、
前記抽出手段により抽出された前記部分画像の強度に対して、前記距離テーブルを用いて各色成分ごとに演算を施し第２の特徴量を算出する第２の算出手段と、
前記第１の特徴量と前記第２の特徴量とに基づいて、同じ色成分どうしを比較することにより、前記テンプレート画像と前記部分画像との類似度を求める演算手段と、
前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備えた
ことを特徴とするテンプレートマッチング装置。
【請求項２】
請求項１に記載のテンプレートマッチング装置において、
前記距離テーブルは、前記テンプレート画像の大きさに応じて定められたテーブルであり、前記テンプレート画像の中心からの距離に依存した数値群からなる
ことを特徴とするテンプレートマッチング装置。
【請求項３】
複数の色成分を含む既知のテンプレート画像の強度を前記テンプレート画像内の全ての画素について各色成分ごとに加算するか、または、前記強度を前記テンプレート画像内の一部の画素について各色成分ごとに加算して第１の特徴量を算出する第１の算出手段と、
前記複数の色成分を含む入力画像の中の異なる複数の位置から演算用の部分画像を抽出する抽出手段と、
前記抽出手段により抽出された前記部分画像の強度を前記部分画像内の全ての画素について各色成分ごとに加算するか、または、前記強度を前記部分画像内の一部の画素について各色成分ごとに加算して第２の特徴量を算出する第２の算出手段と、
前記第１の特徴量と前記第２の特徴量とに基づいて、同じ色成分どうしを比較することにより、前記テンプレート画像と前記部分画像との類似度を求める演算手段と、
前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備えた
ことを特徴とするテンプレートマッチング装置。
【請求項４】
請求項３に記載のテンプレートマッチング装置において、
前記演算手段は、前記第１の特徴量と前記第２の特徴量との差分が所定の閾値以下である場合のみ、前記類似度を算出する
ことを特徴とするテンプレートマッチング装置。
【請求項５】
請求項１から請求項４の何れか１項に記載のテンプレートマッチング装置を備えることを特徴とするカメラ。
【請求項６】
複数の色成分を含む既知のテンプレート画像の強度に対して、所定の距離テーブルを用いて各色成分ごとに演算を施し第１の特徴量を算出する第１の算出手順と、
前記複数の色成分を含む入力画像の中の異なる複数の位置から演算用の部分画像を抽出する抽出手順と、
前記抽出手順において抽出された前記部分画像の強度に対して、前記距離テーブルを用いて各色成分ごとに演算を施し第２の特徴量を算出する第２の算出手順と、
前記第１の特徴量と前記第２の特徴量とに基づいて、同じ色成分どうしを比較することにより、前記テンプレート画像と前記部分画像との類似度を求める演算手順と、
前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手順と
をコンピュータで実現することを特徴とするテンプレートマッチングプログラム。
【請求項７】
複数の色成分を含む既知のテンプレート画像の強度を前記テンプレート画像内の全ての画素について各色成分ごとに加算するか、または、前記強度を前記テンプレート画像内の一部の画素について各色成分ごとに加算して第１の特徴量を算出する第１の算出手順と、
前記複数の色成分を含む入力画像の中の異なる複数の位置から演算用の部分画像を抽出する抽出手順と、
前記抽出手順において抽出された前記部分画像の強度を前記部分画像内の全ての画素について各色成分ごとに加算するか、または、前記強度を前記部分画像内の一部の画素について各色成分ごとに加算して第２の特徴量を算出する第２の算出手順と、
前記第１の特徴量と前記第２の特徴量とに基づいて、同じ色成分どうしを比較することにより、前記テンプレート画像と前記部分画像との類似度を求める演算手順と、
前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手順と
をコンピュータで実現することを特徴とするテンプレートマッチングプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対してテンプレートマッチングを行うテンプレートマッチング装置、テンプレートマッチング装置を備えたカメラ、テンプレートマッチングをコンピュータで行うためのプログラムに関する。
【背景技術】
【０００２】
テンプレートマッチングは、入力信号の中から既知のテンプレート信号に合致する部分信号（ターゲット）を探索して、ターゲットの位置（合致位置）を特定する処理である。この処理では、入力信号の中から抽出した演算用の部分信号と既知のテンプレート信号とのマッチング演算が、演算用の部分信号の抽出位置を少しずつ移動させながら、繰り返し行われる。そして、入力信号の中の各位置でのマッチング演算の結果を大小比較することで、合致位置が特定される。
【０００３】
また、マッチング演算には、周知の相互相関法や残差逐次検定法などが用いられる（例えば特許文献１を参照）。これらの方法は、演算用の部分信号とテンプレート信号との対応位置どうしで信号強度の演算を行い、その結果を信号全体で集計するものである。
【特許文献１】特開平５−８１４３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、演算用の部分信号とテンプレート信号との対応位置どうしで信号強度の演算を行う上記の方法には、次の問題があった。例えば、画像情報を含む二次元の入力信号の場合、入力信号に幾何学的変化（回転や縮尺の変化など）があると、合致位置の特定を正確に行えるとは限らず、疑似マッチングやマッチング不可能になることがある。また、音声情報を含む一次元の入力信号の場合は、入力信号に幾何学的変化（縮尺の変化など）があると、同様に疑似マッチングやマッチング不可能になることがある。
【０００５】
本発明の目的は、入力画像に幾何学的変化があっても正確に合致位置を特定できるテンプレートマッチング装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のテンプレートマッチング装置は、複数の色成分を含む既知のテンプレート画像の強度に対して、所定の距離テーブルを用いて各色成分ごとに演算を施し第１の特徴量を算出する第１の算出手段と、前記複数の色成分を含む入力画像の中の異なる複数の位置から演算用の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像の強度に対して、前記距離テーブルを用いて各色成分ごとに演算を施し第２の特徴量を算出する第２の算出手段と、前記第１の特徴量と前記第２の特徴量とに基づいて、同じ色成分どうしを比較することにより、前記テンプレート画像と前記部分画像との類似度を求める演算手段と、前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備える。
【０００７】
なお、好ましくは、前記距離テーブルは、前記テンプレート画像の大きさに応じて定められたテーブルであり、前記テンプレート画像の中心からの距離に依存した数値群からなっても良い。
本発明の別のテンプレートマッチング装置は、複数の色成分を含む既知のテンプレート画像の強度を前記テンプレート画像内の全ての画素について各色成分ごとに加算するか、または、前記強度を前記テンプレート画像内の一部の画素について各色成分ごとに加算して第１の特徴量を算出する第１の算出手段と、前記複数の色成分を含む入力画像の中の異なる複数の位置から演算用の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像の強度を前記部分画像内の全ての画素について各色成分ごとに加算するか、または、前記強度を前記部分画像内の一部の画素について各色成分ごとに加算して第２の特徴量を算出する第２の算出手段と、前記第１の特徴量と前記第２の特徴量とに基づいて、同じ色成分どうしを比較することにより、前記テンプレート画像と前記部分画像との類似度を求める演算手段と、前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備える。
【０００８】
なお、好ましくは、前記演算手段は、前記第１の特徴量と前記第２の特徴量との差分が所定の閾値以下である場合のみ、前記類似度を算出しても良い。
また、上述したテンプレートマッチング装置を備えたカメラも本発明の具体的態様として有効である。
また、上記発明に関する構成を、処理対象の画像データに対する処理をコンピュータで実現するためのテンプレートマッチングプログラムに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【０００９】
本発明によれば、入力画像に幾何学的変化があっても正確に合致位置を特定することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を用いて本発明の実施形態を詳細に説明する。
（第１実施形態）
ここでは、第１実施形態のテンプレートマッチング装置および方法について、図１に示す電子カメラ１０を例に説明する。電子カメラ１０には、光学系１１と光学系制御部１２と撮像素子１３と画像処理部１４と記録部１５と記録媒体１６と画像表示部１７と操作部１８とＣＰＵ１９とが設けられる。光学系１１は、レンズや絞りなどを含む。光学系制御部１２は、絞りやレンズの焦点位置の制御を行う。撮像素子１３は、光学系１１を介して結像された被写体像を画像データに変換して、画像処理部１４に出力する。画像処理部１４は、色信号生成、マトリクス変換処理、γ変換処理、補正処理など各種のディジタル信号処理を行い、入力画像として不図示のメモリに記憶させる。なお、各画像処理の具体的な方法は説明を省略する。また、画像処理部１４は、後述するテンプレートマッチングを行う。記録部１５は、画像データを記録媒体１６に記録する。記録媒体１６は、メモリカードなどのリムーバブルメモリである。画像表示部１７は、撮像により生成された画像や記録媒体１６に記録された画像を表示する。操作部１８は、不図示の電源ボタン、レリーズボタンなどを含む。ＣＰＵ１９は、各部を統合的に制御する。なお、ＣＰＵ１９は、後述するテンプレートマッチングの結果を用いて、ＡＦ調整、ＡＥ調整、ホワイトバランス調整、主要被写体検出（顔認識など）、自動撮影などの制御を行う。また、ＣＰＵ１９は、操作部１８に対するユーザ操作の有無を検知するとともに、各処理を実行するためのプログラムを予め記録している。
【００１１】
次に、電子カメラ１０におけるテンプレートマッチングについて説明する。テンプレートマッチングは、例えば図２に示す入力画像２１の中から既知のテンプレート画像２２に合致する部分画像（ターゲット２３）を探索して、ターゲット２３の位置（以下「合致位置(Ｘ1,Ｙ1)」という）を特定する処理である。第１実施形態のテンプレートマッチングは、図３に示すフローチャートの手順（ステップＳ１〜Ｓ１１）にしたがって行われる。また、入力画像２１は、スルー画像を含む撮像により生成された画像や、記録媒体１６に記録された画像である。
【００１２】
図３の処理では、入力画像２１の中から抽出した演算用の部分画像２４とテンプレート画像２２とのマッチング演算（Ｓ４〜Ｓ７）が、部分画像２４の抽出位置(Ｘ2,Ｙ2)を少しずつ移動させながら、繰り返し行われる。マッチング演算（Ｓ４〜Ｓ７）は、後述の慣性モーメントに基づいて、部分画像２４とテンプレート画像２２との類似度を求める演算である。類似度は、部分画像２４とテンプレート画像２２との「類似性に関する指標」の１つであり、「類似性に関する正確な指標」である。
【００１３】
また、図３の処理では、入力画像２１と演算用の部分画像２４とテンプレート画像２２が、各々、３つの色成分（つまり加色の三原色または光の三原色と呼ばれるＲＧＢ成分）を含むとする。ＲＧＢ成分を含む画像(２１,２４,２２)はカラー画像である。
図３の処理（Ｓ１〜Ｓ１１）について順に説明する。
ステップＳ１において、ＣＰＵ１９は、テンプレート画像２２の全体からＲＧＢ成分の慣性モーメントＭ22（以下、「第１慣性モーメントＭ22」と称する）を各色成分ごとに算出する。
【００１４】
例えば、Ｒ成分の第１慣性モーメントＭ22は、テンプレート画像２２のＲ成分（図４）の位置(ｘ,ｙ)における濃度値Ａiを用い、次の式(１)により算出される。濃度値Ａiの“ｉ”は、テンプレート画像２２の中での画素番号である。
Ｍ22 ＝ Σ(ｘi2＋ｙi2)Ａi  …式(１)
式(１)の第１慣性モーメントＭ22は、原点（画像中心）まわりの濃度の慣性モーメントであり、Ｘ軸まわりの濃度の慣性モーメント（ＭX＝Σｘi2Ａi）と、Ｙ軸まわりの濃度の慣性モーメント（ＭY＝Σｙi2Ａi）との和に相当する。
【００１５】
また、座標（ｘg,ｙg）まわりの濃度の慣性モーメントは、次の（式）２により算出される。
Ｍ22 ＝ Σ((ｘi−ｘg）2＋(ｙi−ｙg）2)Ａi  …式(２)
Ｒ成分の他、Ｇ成分,Ｂ成分の第１慣性モーメントＭ22は、各々、テンプレート画像２２のＧ成分,Ｂ成分の全体から、上記の式(１)または式（２）と同様の式により算出される。
【００１６】
テンプレート画像２２の大きさを固定にすれば式(１)または式（２）の前半部分は固定化され距離テーブルであらわされる。１５×１５の大きさのテンプレート画像の距離テーブルを図５に示す。図５に示すように、慣性モーメントの距離テーブルは周辺で値が大きく中央でゼロになる。一方、通常テンプレート画像は、図６に示すように、中央部分に人物等の主要被写体が多い。つまり、図５に示した距離テーブルを用いると、重要な情報が軽く扱われ、重要でない情報が重く扱われてしまう。そのため、第１実施形態では、図７に示す距離テーブルを用いる。図７の距離テーブルは、中心の値が大きく、周辺の値が小さい距離テーブルである。図７に示した距離テーブルは、図５に示した距離テーブルに基づいて作成することができる。
【００１７】
ステップＳ２において、ＣＰＵ１９は、入力画像２１の中から演算用の部分画像２４を抽出する。演算用の部分画像２４は、テンプレート画像２２と縦横各々同じ大きさ(画素数)の矩形状である。演算用の部分画像２４とテンプレート画像２２は、共に、入力画像２１より小さい（画素数が少ない）。
ステップＳ３において、ＣＰＵ１９は、ステップＳ２で抽出した演算用の部分画像２４の全体からＲＧＢ成分の慣性モーメントＭ24（以下、「第２慣性モーメントＭ24」と称する）を各色成分ごとに算出する。例えば、Ｒ成分の第２慣性モーメントＭ24の算出は、部分画像２４のＲ成分の全体から上記したステップＳ１と同様に算出される。Ｇ成分,Ｂ成分も同様である。
【００１８】
ステップＳ４において、ＣＰＵ１９は、部分画像２４のＲ成分の第２慣性モーメントＭ24と、テンプレート画像２２のＲ成分の第１慣性モーメントＭ22とを比較し、２つのＲ成分の慣性モーメントの差分の絶対値を出力する。この場合の出力値ＯRは、Ｒ成分の第２慣性モーメントＭ24と第１慣性モーメントＭ22との類似性に関する指標である。
ステップＳ５において、ＣＰＵ１９は、部分画像２４のＧ成分の第２慣性モーメントＭ24と、テンプレート画像２２のＧ成分の第１慣性モーメントＭ22とを比較し、２つのＧ成分の慣性モーメントの差分の絶対値を出力する（出力値ＯG）。
【００１９】
ステップＳ６において、ＣＰＵ１９は、部分画像２４のＢ成分の第２慣性モーメントＭ24と、テンプレート画像２２のＢ成分の第１慣性モーメントＭ22とを比較し、２つのＢ成分の慣性モーメントの差分の絶対値を出力する（出力値ＯB）。
ステップＳ７において、ＣＰＵ１９は、上記したステップＳ４のＲ成分の出力値ＯRと、ステップＳ５のＧ成分の出力値ＯGと、ステップＳ６のＢ成分の出力値ＯBとを、それぞれ第１慣性モーメントＭ22の各色成分ＩR，ＩG，ＩBで除すことにより正規化を行う。そして、正規化によって算出された各色成分ごとの類似度ＳR，ＳG，ＳBの平均を求め、その値を「部分画像２４とテンプレート画像２２との類似度」とする。
【００２０】
ステップＳ７で求めた類似度（＝（ＳR＋ＳG＋ＳB）／３）は、傾向として、その値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
上記のマッチング演算（Ｓ４〜Ｓ７）が終了すると、ステップＳ８において、ＣＰＵ１９は、マッチング演算の結果である類似度（＝（ＳR＋ＳG＋ＳB）／３）を、部分画像２４の抽出位置(Ｘ2,Ｙ2)と対応づけてメモリに保存する。これらのステップＳ２〜Ｓ８の処理を経て、入力画像２１の中の１つの抽出位置(Ｘ2,Ｙ2)に対する処理が終わる。
【００２１】
ステップＳ９において、ＣＰＵ１９は、演算用の部分画像２４の抽出位置(Ｘ2,Ｙ2)を次の位置へ移動させるか否かを判定する。ＣＰＵ１９は、次の位置へ移動させると判定するとステップＳ１０に進み、次の位置へ移動させないと判定するとステップＳ１１に進む。
ステップＳ１０において、ＣＰＵ１９は、演算用の部分画像２４の抽出位置(Ｘ2,Ｙ2)の移動処理を行う。ＣＰＵ１９は、部分画像２４の抽出位置(Ｘ2,Ｙ2)を現在の位置から次の位置へ移動させる。その後、ステップＳ２の処理に戻り、新たな抽出位置(Ｘ2,Ｙ2)において、演算用の部分画像２４の抽出（Ｓ２）→ＲＧＢ成分の第２慣性モーメントＭ24の算出（Ｓ３）→マッチング演算（Ｓ４〜Ｓ７）→結果保存（Ｓ８）を繰り返す。
【００２２】
このようにして、ステップＳ２→…→Ｓ１０→Ｓ２…の処理を繰り返すことにより、演算用の部分画像２４の抽出位置(Ｘ2,Ｙ2)を少しずつ移動させながら、各々の位置で部分画像２４を順に抽出し、部分画像２４を抽出するごとに、ＲＧＢ成分の第１慣性モーメントＭ22および第２慣性モーメントＭ24に基づいてマッチング演算（Ｓ４〜Ｓ７）を行うことができる。
【００２３】
そして、演算用の部分画像２４の抽出位置(Ｘ2,Ｙ2)が終点に到達し、そこでのステップＳ２〜Ｓ８の処理が終了すると、ステップＳ１１において、ＣＰＵ１９は、入力画像２１の中の異なる複数の位置で求められた類似度（＝（ＳR＋ＳG＋ＳB）／３）を大小比較することにより、その値が最も小さく、テンプレート画像２２との類似性が最も高い部分画像２４の抽出位置(Ｘ2,Ｙ2)を合致位置(Ｘ1,Ｙ1)と特定する。以上で入力画像２１に対するテンプレートマッチングの処理は終了となる。
【００２４】
上記のように、第１実施形態のテンプレートマッチングでは、ＲＧＢ成分の第１慣性モーメントＭ22および第２慣性モーメントＭ24に基づいて、同じ色成分どうしを比較することによりマッチング演算（Ｓ４〜Ｓ７）を行い、その結果である類似度（＝（ＳR＋ＳG＋ＳB）／３）を大小比較する。ＲＧＢ成分の第１慣性モーメントＭ22は、テンプレート画像２２のＲＧＢ成分それぞれの特徴量であり、ＲＧＢ成分の第２慣性モーメントＭ24は、演算用の部分画像２４のＲＧＢ成分それぞれの特徴量である。このように、特徴量が画素の位置に依存しない量として求められるので、入力画像２１に幾何学的変化（回転や縮尺の変化など）があっても、正確に合致位置(Ｘ1,Ｙ1)を特定することができる。
【００２５】
また、図７に示した中心の値が大きく、周辺の値が小さい距離テーブルを用いることにより、重要な情報をテンプレートマッチングに十分反映させることができる。
なお、第１実施形態のテンプレートマッチングでは、各々の画像(２１,２４,２２)に含まれる全ての色成分（つまりＲＧＢ成分）を用いてマッチング演算（Ｓ４〜Ｓ７）を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ1,Ｙ1)を特定できる。
【００２６】
また、上記した第１実施形態では、図３のステップＳ７において、ステップＳ４〜Ｓ６の出力値を正規化した後に、その平均値（＝（ＳR＋ＳG＋ＳB）／３）を求め、その値を「部分画像２４とテンプレート画像２２との類似度」としたが、本発明はこれに限定されない。ステップＳ４〜Ｓ６の出力値を正規化した後に、その和（＝（ＳR＋ＳG＋ＳB））を求め、その値を「部分画像２４とテンプレート画像２２との類似度」としても良い。和（＝（ＳR＋ＳG＋ＳB））の場合でも、その値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
【００２７】
また、第１実施形態で示した図７の距離テーブルを例に挙げて説明したが、本発明はこれに限定されない。中心の値が大きく、周辺の値が小さい距離テーブルであればどのような形態でもかまわない。
また、上記した第１実施形態では、３つの色成分（つまりＲＧＢ成分）を含む画像(２１,２４,２２)の例で説明したが、本発明はこれに限定されない。色成分の数が２つであっても４つ以上であっても本発明を適用できる。つまり複数の色成分を含む場合に本発明を適用できる。
（第２実施形態）
第２実施形態は、第１実施形態の変形例である。第２実施形態では、第１実施形態と異なる部分についてのみ説明する。また、第２実施形態では、第１実施形態と同様の符号を用いて説明を行う。
【００２８】
第２実施形態では、演算用の部分画像２４とテンプレート画像２２とのマッチング演算を、後述の濃度加算値に基づいて行う場合を説明する。第２実施形態のテンプレートマッチングは、第１実施形態の“慣性モーメント”の代わりに“濃度加算値”を用いるものである。第２実施形態では、ＲＧＢ成分を含む画像(２１,２４,２２)を例に説明する。
第１実施形態で示した図７の距離テーブルの値を全て「１」にすると、第１実施形態で説明した式（１）および式（２）は、以下の式（３）となる。
【００２９】
Ｎ22 ＝ ΣＡi  …式(３)
式（３）により算出されるＮ22は、テンプレート画像２２内の全ての画素の濃度値Ａiの加算値である。第２実施形態では、テンプレート画像２２について第１濃度加算値Ｎ22を算出し、部分画像２４について同様に第２濃度加算値Ｎ24を求める。
第２実施形態のテンプレートマッチングは、図８に示すフローチャートの手順（ステップＳ２１〜Ｓ３１）にしたがって行われる。また、入力画像２１は、スルー画像を含む撮像により生成された画像や、記録媒体１６に記録された画像である。
【００３０】
図８の処理（Ｓ２１〜Ｓ３１）について順に説明する。
ステップＳ２１において、ＣＰＵ１９は、テンプレート画像２２の全体からＲＧＢ成分の第１濃度加算値Ｎ22を各色成分ごとに算出する。
ステップＳ２２において、ＣＰＵ１９は、図３のステップＳ２と同様に、入力画像２１の中から演算用の部分画像２４を抽出する。
【００３１】
ステップＳ２３において、ＣＰＵ１９は、ステップＳ２２で抽出した演算用の部分画像２４の全体からＲＧＢ成分の第２濃度加算値Ｎ24を各色成分ごとに算出する。
ステップＳ２４において、ＣＰＵ１９は、部分画像２４のＲ成分の第２濃度加算値Ｎ24と、テンプレート画像２２のＲ成分の第１濃度加算値Ｎ22とを比較し、２つのＲ成分の濃度加算値の差分の絶対値を出力する。この場合の出力値ＴRは、Ｒ成分の第２濃度加算値Ｎ24と第１濃度加算値Ｎ22の類似性に関する指標である。
【００３２】
ステップＳ２５において、ＣＰＵ１９は、部分画像２４のＧ成分の第２濃度加算値Ｎ24と、テンプレート画像２２のＧ成分の第１濃度加算値Ｎ22とを比較し、２つのＧ成分の濃度加算値の差分の絶対値を出力する（出力値ＴG）。
ステップＳ２６において、ＣＰＵ１９は、部分画像２４のＢ成分の第２濃度加算値Ｎ24と、テンプレート画像２２のＢ成分の第１濃度加算値Ｎ22とを比較し、２つのＢ成分の濃度加算値の差分の絶対値を出力する（出力値ＴB）。
【００３３】
ステップＳ２７において、ＣＰＵ１９は、上記したステップＳ２４のＲ成分の出力値ＴRと、ステップＳ２５のＧ成分の出力値ＴGと、ステップＳ２６のＢ成分の出力値ＴBとを、それぞれ第１濃度加算値Ｎ22の各色成分ＪR，ＪG，ＪBで除すことにより正規化を行う。そして、正規化によって算出された各色成分ごとの類似度ＵR，ＵG，ＵBの平均を求め、その値を「部分画像２４とテンプレート画像２２との類似度」とする。
【００３４】
ステップＳ２８からステップＳ３１において、ＣＰＵ１９は、図３のステップＳ８からステップＳ１１と同様の処理を行い、テンプレートマッチングの処理を行う。
上記のように、第２実施形態のテンプレートマッチングでは、ＲＧＢ成分の強度（第１濃度加算値Ｎ22および第２濃度加算値Ｎ24）に基づいて、同じ色成分どうしを比較することによりマッチング演算（Ｓ２４〜Ｓ２７）を行い、その結果である類似度（＝（ＵR＋ＵG＋ＵB）／３）を大小比較する。ＲＧＢ成分の第１濃度加算値Ｎ22は、テンプレート画像２２のＲＧＢ成分それぞれの特徴量であり、ＲＧＢ成分の第２濃度加算値Ｎ24は、演算用の部分画像２４のＲＧＢ成分それぞれの特徴量である。このように、特徴量が画素の位置に依存しない量として求められるので、入力画像２１に幾何学的変化（回転や縮尺の変化など）があっても、正確に合致位置(Ｘ1,Ｙ1)を特定することができる。また、テンプレートマッチングにおける処理の負荷を軽減することが期待できる。
【００３５】
また、第２実施形態のテンプレートマッチングでは、各々の画像(２１,２４,２２)に含まれる全ての色成分（つまりＲＧＢ成分）を用いてマッチング演算（Ｓ２４〜Ｓ２７）を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ1,Ｙ1)を特定できる。
なお、第２実施形態の処理を、以下のように変形しても良い。図８のステップＳ２６の後に、ＣＰＵ１９は、Ｒ成分の出力値ＴRと、ステップＳ２５のＧ成分の出力値ＴGと、ステップＳ２６のＢ成分の出力値ＴBとを、それぞれ所定の閾値と比較する。そして、Ｒ成分の出力値ＴRと、ステップＳ２５のＧ成分の出力値ＴGと、ステップＳ２６のＢ成分の出力値ＴBとが、所定の閾値以下である場合には、ＣＰＵ１９は、ステップＳ２２で抽出した部分画像２４の抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)から遠いと判定する。そして、ステップＳ２７の処理を行わずにステップＳ２８に進み、ステップＳ２８において、マッチング演算の結果である類似度を「圏外」として、部分画像２４の抽出位置(Ｘ2,Ｙ2)と対応づけてメモリに保存する。
【００３６】
このように、ステップＳ２４からステップＳ２６で算出した濃度加算値の差分が所定の閾値以下である場合のみ、類似度を算出する処理（ステップＳ２７）を行うことにより、無駄な処理を省くことができる。したがって、テンプレートマッチング処理の高速化が期待できる。
また、上記した第２実施形態では、図８のステップＳ２７において、ステップＳ２４〜Ｓ２６の出力値を正規化した後に、その平均値（＝（ＵR＋ＵG＋ＵB）／３）を求め、その値を「部分画像２４とテンプレート画像２２との類似度」としたが、本発明はこれに限定されない。ステップＳ２４〜Ｓ２６の出力値を正規化した後に、その和（＝（ＵR＋ＵG＋ＵB））を求め、その値を「部分画像２４とテンプレート画像２２との類似度」としても良い。和（＝（ＵR＋ＵG＋ＵB））の場合でも、その値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
【００３７】
また、上記した第２実施形態では、テンプレート画像２２および部分画像２４内の全ての画素の濃度値Ａiを加算した加算値を用いる例を示したが、平均値を用いても良い。すなわち、テンプレート画像２２および部分画像２４内の全ての画素の濃度値Ａiを加算し、それぞれ面積で除した値を用いても良い。
また、上記した第２実施形態では、テンプレート画像２２および部分画像２４内の全ての画素の濃度値Ａiを加算する例を示したが、一部の画素の濃度値Ａiを加算しても良い。この場合、テンプレート画像２２および部分画像２４において、対応する部分の画素の濃度値Ａiを加算すれば良い。
【００３８】
また、上記した第２実施形態では、３つの色成分（つまりＲＧＢ成分）を含む画像(２１,２４,２２)の例で説明したが、本発明はこれに限定されない。色成分の数が２つであっても４つ以上であっても本発明を適用できる。つまり複数の色成分を含む場合に本発明を適用できる。
（第３実施形態）
第３実施形態では、コンピュータを例に挙げて説明を行う。
【００３９】
図９は、第３実施形態のコンピュータ１００の構成を示す図である。コンピュータ１００は、図９に示すように、取得部１０１と画像処理部１１４と記録部１１５と画像表示部１１７と操作部１１８とＣＰＵ１１９とを備える。取得部１０１は、有線、無線、記録媒体用のドライブなどを介して、電子カメラなどの外部機器や記録媒体から画像データを取得する。画像処理部１１４は、第１実施形態の画像処理部１４と同様である。記録部１１５は、画像データなどを記録する。画像表示部１１７は、液晶表示素子などの画像表示素子を備える。操作部１１８は、電源ボタン、マウス、キーボードなどを含む。ＣＰＵ１１９は、各部を統合的に制御する。また、ＣＰＵ１１９は、各処理を実行するためのプログラムを予め記録している。
【００４０】
ＣＰＵ１１９は、取得部１０１により取得した画像や、記録部１１５に記録された画像に対して、第１実施形態の図３のフローチャートおよび第２実施形態の図８のフローチャートで説明した処理を行うためのプログラムを記録している。
そして、操作部１１８を介したユーザ指示に基づいて、第１実施形態の図３のフローチャートおよび第２実施形態の図８のフローチャートで説明した処理と同様の処理を行う。
【００４１】
上記のように、第３実施形態のコンピュータ１００によれば、第１実施形態および第２実施形態と同様の効果を得ることができる。
また、上記した各実施形態では、演算用の部分画像２４とテンプレート画像２２の形状が矩形状である例を説明したが、本発明はこれに限定されない。部分画像２４とテンプレート画像２２は、矩形状である必要はない。他の形状でも本質的な処理は同じである。
【００４２】
さらに、上記した各実施形態では、図１の電子カメラ１０を例にテンプレートマッチングの説明を行ったが、本発明はこれに限定されない。その他、試料（半導体ウエハや液晶基板、プリント基板、生物標本（例えば細胞）など）の観察や検査や位置合わせなどを行う観察装置、試料の局所領域を電子線で走査して画像を取り込む電子顕微鏡装置、監視カメラなどにも、本発明を適用できる。また、試料の局所領域の画像に限らず、試料の全面の画像を一括で取り込む装置にも、本発明を適用できる。また、第１実施形態および第２実施形態の電子カメラに外部のコンピュータを接続し、第１実施形態および第２実施形態で説明した処理の一部をコンピュータにより実現する場合でも、同様の効果を得ることができる。
【００４３】
また、上記した実施形態では、入力画像（画像情報を含む二次元の入力信号）に対してテンプレートマッチングを行う例について説明したが、本発明はこれに限定されない。その他、音声情報を含む一次元の入力信号（入力音声）に対してテンプレートマッチングを行う場合（信号処理）にも、本発明を同様に適用できる。一次元の入力信号を対象とする場合、上述の「画像の濃度」を「信号の強度」に置き換えて考えれば良い。一次元の入力信号の場合には、入力信号に幾何学的変化（縮尺の変化など）があっても正確に合致位置を特定することができる。
【図面の簡単な説明】
【００４４】
【図１】第１実施形態の電子カメラ１０の概略図である。
【図２】入力画像２１,テンプレート画像２２,ターゲット２３,演算用の部分画像２４を説明する図である。
【図３】第１実施形態のテンプレートマッチングの処理手順を示すフローチャートである。
【図４】Ｒ成分の慣性モーメントＭ22について説明する図である。
【図５】距離テーブルについて説明する図である。
【図６】テンプレート画像について説明する図である。
【図７】距離テーブルについて説明する別の図である。
【図８】第２実施形態のテンプレートマッチングの処理手順を示すフローチャートである。
【図９】第３実施形態のコンピュータ１００の概略図である。
【符号の説明】
【００４５】
１０…電子カメラ，１１…光学系，１２…光学系制御部，１３…撮像素子，１４・１１４…画像処理部，１５・１１５…記録部，１７・１１７…画像表示部，１８・１１８…操作部，１９・１１９…ＣＰＵ，１００…コンピュータ，１０１…取得部
【図１】
2008225636.tif 000003
【図２】
2008225636.tif 000004
【図３】
2008225636.tif 000005
【図４】
2008225636.tif 000006
【図５】
2008225636.tif 000007
【図６】
2008225636.tif 000008
【図７】
2008225636.tif 000009
【図８】
2008225636.tif 000010
【図９】
2008225636.tif 000011