(57)【要約】【課題】  入力信号に幾何学的変化があっても正確に合致位置を特定できるテンプレートマッチング装置およびテンプレートマッチング方法を提供する。【解決手段】  複数の色成分を含む既知のテンプレート信号の強度のヒストグラムを各色成分ごとに作成し（Ｓ１）、複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出し（Ｓ２）、部分信号の強度のヒストグラムを各色成分ごとに作成し（Ｓ３）、テンプレート信号の各色成分のヒストグラムと部分信号の各色成分のヒストグラムとに基づいて、同じ色成分どうしを比較することにより、テンプレート信号と部分信号との類似度を求める（Ｓ４〜Ｓ７）。そして、入力信号の各位置で求められた類似度を大小比較することにより、入力信号の中のテンプレート信号との合致位置を特定する（Ｓ１１）。【選択図】      図３
2005293334.tif 000002
【特許請求の範囲】
【請求項１】
複数の色成分を含む既知のテンプレート信号の強度のヒストグラムを各色成分ごとに作成する第１の作成手段と、
前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、
前記抽出手段により抽出された前記部分信号の強度のヒストグラムを各色成分ごとに作成する第２の作成手段と、
前記テンプレート信号の各色成分の前記ヒストグラムと前記部分信号の各色成分の前記ヒストグラムとに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、
前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えた
ことを特徴とするテンプレートマッチング装置。
【請求項２】
複数の色成分を含む既知のテンプレート信号の強度の慣性モーメントを各色成分ごとに算出する第１の算出手段と、
前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、
前記抽出手段により抽出された前記部分信号の強度の慣性モーメントを各色成分ごとに算出する第２の算出手段と、
前記テンプレート信号の各色成分の前記慣性モーメントと前記部分信号の各色成分の前記慣性モーメントとに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、
前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えた
ことを特徴とするテンプレートマッチング装置。
【請求項３】
既知のテンプレート信号の予め定めた第１範囲と第２範囲との各々における平均強度の差を算出する第１の算出手段と、
入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、
前記抽出手段により抽出された前記部分信号の前記第１範囲と前記第２範囲との各々における平均強度の差を算出する第２の算出手段と、
前記テンプレート信号の前記平均強度の差と前記部分信号の前記平均強度の差とに基づいて、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、
前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えた
ことを特徴とするテンプレートマッチング装置。
【請求項４】
複数の色成分を含む既知のテンプレート信号の予め定めた第１範囲と第２範囲との各々における平均強度の差を各色成分ごとに算出する第１の算出手段と、
前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、
前記抽出手段により抽出された前記部分信号の前記第１範囲と前記第２範囲との各々における平均強度の差を各色成分ごとに算出する第２の算出手段と、
前記テンプレート信号の各色成分の前記平均強度の差と前記部分信号の各色成分の前記平均強度の差とに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、
前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えた
ことを特徴とするテンプレートマッチング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報または音声情報などを含む入力信号に対してテンプレートマッチングを行うテンプレートマッチング装置に関する。
【背景技術】
【０００２】
テンプレートマッチングは、入力信号の中から既知のテンプレート信号に合致する部分信号（ターゲット）を探索して、ターゲットの位置（合致位置）を特定する処理である。この処理では、入力信号の中から抽出した演算用の部分信号と既知のテンプレート信号とのマッチング演算が、演算用の部分信号の抽出位置を少しずつ移動させながら、繰り返し行われる。そして、入力信号の中の各位置でのマッチング演算の結果を大小比較することで、合致位置が特定される。
【０００３】
また、マッチング演算には、周知の相互相関法や残差逐次検定法などが用いられる（例えば特許献１を参照）。これらの方法は、演算用の部分信号とテンプレート信号との対応位置どうしで信号強度の演算を行い、その結果を信号全体で集計するものである。
【特許文献１】特開平５−８１４３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、演算用の部分信号とテンプレート信号との対応位置どうしで信号強度の演算を行う上記の方法には、次の問題があった。例えば、画像情報を含む二次元の入力信号の場合、入力信号に幾何学的変化（回転や縮尺の変化など）があると、合致位置の特定を正確に行えるとは限らず、疑似マッチングやマッチング不可能になることがある。また、音声情報を含む一次元の入力信号の場合は、入力信号に幾何学的変化（縮尺の変化など）があると、同様に疑似マッチングやマッチング不可能になることがある。
【０００５】
本発明の目的は、入力信号に幾何学的変化があっても正確に合致位置を特定できるテンプレートマッチング装置を提供することにある。
【課題を解決するための手段】
【０００６】
請求項１に記載のテンプレートマッチング装置は、複数の色成分を含む既知のテンプレート信号の強度のヒストグラムを各色成分ごとに作成する第１の作成手段と、前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、前記抽出手段により抽出された前記部分信号の強度のヒストグラムを各色成分ごとに作成する第２の作成手段と、前記テンプレート信号の各色成分の前記ヒストグラムと前記部分信号の各色成分の前記ヒストグラムとに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えたものである。
【０００７】
請求項２に記載のテンプレートマッチング装置は、複数の色成分を含む既知のテンプレート信号の強度の慣性モーメントを各色成分ごとに算出する第１の算出手段と、前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、前記抽出手段により抽出された前記部分信号の強度の慣性モーメントを各色成分ごとに算出する第２の算出手段と、前記テンプレート信号の各色成分の前記慣性モーメントと前記部分信号の各色成分の前記慣性モーメントとに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えたものである。
【０００８】
請求項３に記載のテンプレートマッチング装置は、既知のテンプレート信号の予め定めた第１範囲と第２範囲との各々における平均強度の差を算出する第１の算出手段と、入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、前記抽出手段により抽出された前記部分信号の前記第１範囲と前記第２範囲との各々における平均強度の差を算出する第２の算出手段と、前記テンプレート信号の前記平均強度の差と前記部分信号の前記平均強度の差とに基づいて、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えたものである。
【０００９】
請求項４に記載のテンプレートマッチング装置は、複数の色成分を含む既知のテンプレート信号の予め定めた第１範囲と第２範囲との各々における平均強度の差を各色成分ごとに算出する第１の算出手段と、前記複数の色成分を含む入力信号の中の異なる複数の位置から演算用の部分信号を抽出する抽出手段と、前記抽出手段により抽出された前記部分信号の前記第１範囲と前記第２範囲との各々における平均強度の差を各色成分ごとに算出する第２の算出手段と、前記テンプレート信号の各色成分の前記平均強度の差と前記部分信号の各色成分の前記平均強度の差とに基づいて、同じ色成分どうしを比較することにより、前記テンプレート信号と前記部分信号との類似度を求める演算手段と、前記入力信号の各位置で求められた前記類似度を大小比較することにより、前記入力信号の中の前記テンプレート信号との合致位置を特定する特定手段とを備えたものである。
【発明の効果】
【００１０】
本発明によれば、入力信号に幾何学的変化があっても正確に合致位置を特定することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を用いて本発明の実施形態を詳細に説明する。
（第１実施形態）
ここでは、第１実施形態のテンプレートマッチング装置および方法について、図１に示す観察装置１０を例に説明する。観察装置１０には、ステージ１１と光学系１２とカメラ１３と画像処理部１４とが設けられる。ステージ１１は、試料１０Ａを支持する。光学系１２は、試料１０Ａの局所領域の光像を形成する。カメラ１３は、不図示の撮像素子により試料１０Ａの光像を撮像し、撮像信号を画像処理部１４に出力する。
【００１２】
画像処理部１４は、カメラ１３から撮像信号を取り込むと、これを所定ビット（例えば８ビット）のディジタル画像に変換し、入力画像として不図示のメモリに記憶させる。そして、入力画像に対して後述のテンプレートマッチングを行う。試料１０Ａは、例えば、半導体ウエハや液晶基板、プリント基板、生物標本(例えば細胞)などである。観察装置１０を用いて、試料１０Ａの観察や検査や位置合わせなどが行われる。
【００１３】
次に、画像処理部１４におけるテンプレートマッチングについて説明する。テンプレートマッチングは、例えば図２に示す入力画像２１の中から既知のテンプレート画像２２に合致する部分画像（ターゲット２３）を探索して、ターゲット２３の位置（以下「合致位置(Ｘ1,Ｙ1)」という）を特定する処理である。第１実施形態のテンプレートマッチングは、図３に示すフローチャートの手順（ステップＳ１〜Ｓ１１）にしたがって行われる。
【００１４】
図３の処理では、入力画像２１の中から抽出した演算用の部分画像２４とテンプレート画像２２とのマッチング演算（Ｓ４〜Ｓ７）が、部分画像２４の抽出位置(Ｘ2,Ｙ2)を少しずつ移動させながら、繰り返し行われる。マッチング演算（Ｓ４〜Ｓ７）は、後述の濃度ヒストグラムに基づいて、部分画像２４とテンプレート画像２２との類似度を求める演算である。類似度は、部分画像２４とテンプレート画像２２との「類似性に関する指標」の１つであり、「類似性に関する正確な指標」である。
【００１５】
また、図３の処理では、入力画像２１と演算用の部分画像２４とテンプレート画像２２が、各々、３つの色成分（つまり加色の三原色または光の三原色と呼ばれるＲＧＢ成分）を含むとする。ＲＧＢ成分を含む画像(２１,２４,２２)はカラー画像である。なお、入力画像２１は、「画像情報を含む入力信号」に対応する。テンプレート画像２２は、「画像情報を含むテンプレート信号」に対応する。演算用の部分画像２４は、「画像情報を含む演算用の部分信号」に対応する。
【００１６】
図３の処理（Ｓ１〜Ｓ１１）について順に説明する。
ステップＳ１において、画像処理部１４は、テンプレート画像２２の全体からＲＧＢ成分の濃度ヒストグラムＨ22を各色成分ごとに作成する（図４(ａ)参照）。濃度ヒストグラムＨ22の作成は、テンプレート画像２２の全画素の濃度値を調べ、各濃度値ごとに画素数を計数することにより行われる。テンプレート画像２２が８ビットの場合、画素の濃度値は２５６段階（０〜２５５）となる。濃度ヒストグラムＨ22は、テンプレート画像２２の中に各濃度値の画素が現れる頻度（画素数）を表した濃度のヒストグラム（度数分布）である。濃度ヒストグラムＨ22の横軸は濃度値、縦軸は画素数である。
【００１７】
次に（ステップＳ２）、画像処理部１４は、入力画像２１の中から演算用の部分画像２４を抽出する。演算用の部分画像２４は、テンプレート画像２２と縦横各々同じ大きさ(画素数)の矩形状である。演算用の部分画像２４とテンプレート画像２２は、共に、入力画像２１より小さい（画素数が少ない）。
次に（ステップＳ３）、画像処理部１４は、ステップＳ２で抽出した演算用の部分画像２４の全体からＲＧＢ成分の濃度ヒストグラムＨ24を各色成分ごとに作成する（図４(ｂ)参照）。この濃度ヒストグラムＨ24の作成も、上記したテンプレート画像２２の濃度ヒストグラムＨ22と同様にして行われる。濃度ヒストグラムＨ24も、横軸は濃度値、縦軸は画素数である。
【００１８】
次に（ステップＳ４）、画像処理部１４は、部分画像２４のＲ成分の濃度ヒストグラムＨ24（図４(ｂ)参照）と、テンプレート画像２２のＲ成分の濃度ヒストグラムＨ22（図４(ａ)参照）とを比較し、２つのＲ成分の濃度ヒストグラムＨ24,Ｈ22の重なり部分（図５の斜線部分）の画素数を集計する。この重なり部分（図５の斜線部分）の総画素数ＫRは、Ｒ成分の濃度ヒストグラムＨ24,Ｈ22の類似性に関する指標である。重なり部分（図５の斜線部分）とは、２つの濃度ヒストグラムＨ24,Ｈ22の同じ濃度値どうしで画素数を比較したときの小さい方の画素数に相当する。
【００１９】
同様に、ステップＳ５では、部分画像２４のＧ成分の濃度ヒストグラムＨ24と、テンプレート画像２２のＧ成分の濃度ヒストグラムＨ22とを比較し、２つのＧ成分の濃度ヒストグラムＨ24,Ｈ22の重なり部分の画素数を集計する（総画素数ＫG）。さらに、ステップＳ６では、部分画像２４のＢ成分の濃度ヒストグラムＨ24と、テンプレート画像２２のＢ成分の濃度ヒストグラムＨ22とを比較し、２つのＢ成分の濃度ヒストグラムＨ24,Ｈ22の重なり部分の画素数を集計する（総画素数ＫB）。
【００２０】
次に（ステップＳ７）、画像処理部１４は、上記ステップＳ４の集計結果（Ｒ成分の重なり部分の総画素数ＫR）と、ステップＳ５の集計結果（Ｇ成分の重なり部分の総画素数ＫG）と、ステップＳ６の集計結果（Ｂ成分の重なり部分の総画素数ＫB）との和を求め、その値を「部分画像２４とテンプレート画像２２との類似度」とする。
ステップＳ７で求めた類似度（＝ＫR＋ＫG＋ＫB）は、傾向として、その値が大きいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
【００２１】
上記のマッチング演算（Ｓ４〜Ｓ７）が終了すると、画像処理部１４は、次のステップＳ８において、マッチング演算の結果である類似度（＝ＫR＋ＫG＋ＫB）を、部分画像２４の抽出位置(Ｘ2,Ｙ2)と対応づけてメモリに保存する。これらのステップＳ２〜Ｓ８の処理を経て、入力画像２１の中の１つの抽出位置(Ｘ2,Ｙ2)に対する処理が終わる。そして、演算用の部分画像２４の抽出位置(Ｘ2,Ｙ2)を次の位置へ移動させる場合には（ステップＳ９がＹｅｓ）、ステップＳ１０の処理に進む。
【００２２】
ステップＳ１０の処理は、演算用の部分画像２４の抽出位置(Ｘ2,Ｙ2)の移動処理である。画像処理部１４は、部分画像２４の抽出位置(Ｘ2,Ｙ2)を現在の位置から次の位置へ移動させる。その後、ステップＳ２の処理に戻り、新たな抽出位置(Ｘ2,Ｙ2)において、演算用の部分画像２４の抽出（Ｓ２）→ＲＧＢ成分の濃度ヒストグラムの作成（Ｓ３）→マッチング演算（Ｓ４〜Ｓ７）→結果保存（Ｓ８）を繰り返す。
【００２３】
このようにして、ステップＳ２→…→Ｓ１０→Ｓ２…の処理を繰り返すことにより、演算用の部分画像２４の抽出位置(Ｘ2,Ｙ2)を少しずつ移動させながら、各々の位置で部分画像２４を順に抽出し、部分画像２４を抽出する毎に、ＲＧＢ成分の濃度ヒストグラムＨ24,Ｈ22に基づいてマッチング演算（Ｓ４〜Ｓ７）を行うことができる。
そして、演算用の部分画像２４の抽出位置(Ｘ2,Ｙ2)が終点に到達し、そこでのステップＳ２〜Ｓ８の処理が終了すると、画像処理部１４は、次の位置への移動を行わずに（Ｓ９がＮｏ）、ステップＳ１１の処理に進む。ステップＳ１１では、入力画像２１の中の異なる複数の位置で求められた類似度（＝ＫR＋ＫG＋ＫB）を大小比較することにより、その値が最も大きく、テンプレート画像２２との類似性が最も高い部分画像２４の抽出位置(Ｘ2,Ｙ2)を合致位置(Ｘ1,Ｙ1)と特定する。以上で入力画像２１に対するテンプレートマッチングの処理は終了となる。
【００２４】
上記のように、第１実施形態のテンプレートマッチングでは、ＲＧＢ成分の濃度ヒストグラムＨ24,Ｈ22に基づいて、同じ色成分どうしを比較することによりマッチング演算（Ｓ４〜Ｓ７）を行い、その結果である類似度（＝ＫR＋ＫG＋ＫB）を大小比較する。ＲＧＢ成分の濃度ヒストグラムＨ22は、テンプレート画像２２のＲＧＢ成分それぞれの特徴量であり、ＲＧＢ成分の濃度ヒストグラムＨ24は、演算用の部分画像２４のＲＧＢ成分それぞれの特徴量である。このように、特徴量が画素の位置に依存しない量として求められるので、入力画像２１に幾何学的変化（回転や縮尺の変化など）があっても、正確に合致位置(Ｘ1,Ｙ1)を特定することができる。
【００２５】
また、演算用の部分画像２４の濃度範囲とテンプレート画像２２の濃度範囲とを一致させることにより（正規化処理）、入力画像２１のコントラストの変化やノイズにも対応でき、正確に合致位置(Ｘ1,Ｙ1)を特定することができる。
さらに、第１実施形態のテンプレートマッチングでは、各々の画像(２１,２４,２２)に含まれる全ての色成分（つまりＲＧＢ成分）を用いてマッチング演算（Ｓ４〜Ｓ７）を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ1,Ｙ1)を特定できる。
【００２６】
なお、上記した第１実施形態では、図３のステップＳ７において、ステップＳ４〜Ｓ６の集計結果の和（＝ＫR＋ＫG＋ＫB）を求め、その値を「部分画像２４とテンプレート画像２２との類似度」としたが、本発明はこれに限定されない。ステップＳ４〜Ｓ６の集計結果の平均値（＝[ＫR＋ＫG＋ＫB]/３）を求め、その値を「部分画像２４とテンプレート画像２２との類似度」としてもよい。平均値（＝[ＫR＋ＫG＋ＫB]/３）の場合でも、その値が大きいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
【００２７】
また、上記した第１実施形態では、図３のステップＳ４〜Ｓ６において、図５に示すような濃度ヒストグラムＨ24,Ｈ22の重なり部分（斜線部分）の画素数を集計したが、本発明はこれに限定されない。その他、濃度ヒストグラムＨ24,Ｈ22の差分の絶対値（図６の斜線部分）の画素数を集計してもよい。この場合、ステップＳ４〜Ｓ６のＲＧＢ成分の集計結果（濃度ヒストグラムＨ24,Ｈ22の差分の絶対値の総画素数ＫR’,ＫG’,ＫB’）の和または平均値は、部分画像２４とテンプレート画像２２との類似度に相当し、その値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
【００２８】
さらに、上記した第１実施形態では、３つの色成分（つまりＲＧＢ成分）を含む画像(２１,２４,２２)の例で説明したが、本発明はこれに限定されない。色成分の数が２つであっても４つ以上であっても本発明を適用できる。つまり複数の色成分を含む場合に本発明を適用できる。
（第２実施形態）
ここでは、演算用の部分画像２４とテンプレート画像２２とのマッチング演算を、後述の濃度慣性モーメントに基づいて行う場合を説明する。第２実施形態のテンプレートマッチングは、図３のステップＳ１,Ｓ３において“濃度ヒストグラム”の代わりに“濃度慣性モーメント”を算出し、図３のステップＳ４〜Ｓ７に代えて図７のステップＳ２１〜Ｓ２４の処理を実行するものである。第２実施形態でも、ＲＧＢ成分を含む画像(２１,２４,２２)を例に説明する。
【００２９】
まず（図３のＳ１のタイミングで）、画像処理部１４は、テンプレート画像２２の全体からＲＧＢ成分の濃度慣性モーメントＭ22を各色成分ごとに算出する。例えば、Ｒ成分の濃度慣性モーメントＭ22は、テンプレート画像２２のＲ成分（図８）の位置(ｘ,ｙ)における濃度値Ａiを用い、次の式(１)により算出される。濃度値Ａiの“ｉ”は、テンプレート画像２２の中での画素番号である。
【００３０】
Ｍ22 ＝ Σ(ｘi2＋ｙi2)Ａi  …(１)
式(１)の濃度慣性モーメントＭ22は、原点（画像中心）まわりの濃度の慣性モーメントであり、Ｘ軸まわりの濃度の慣性モーメント（ＭX＝Σｘi2Ａi）と、Ｙ軸まわりの濃度の慣性モーメント（ＭY＝Σｙi2Ａi）との和に相当する。Ｒ成分の他、Ｇ成分,Ｂ成分の濃度慣性モーメントＭ22は、各々、テンプレート画像２２のＧ成分,Ｂ成分の全体から、上記の式(１)と同様の式により算出される。
【００３１】
また、画像処理部１４は、入力画像２１の中から演算用の部分画像２４を抽出すると、図３のＳ３のタイミングで、演算用の部分画像２４の全体からＲＧＢ成分の濃度慣性モーメントＭ24を各色成分ごとに算出する。例えば、Ｒ成分の濃度慣性モーメントＭ24の算出は、部分画像２４のＲ成分の全体から上記した式(１)と同様の式により行われる。Ｇ成分,Ｂ成分も同様である。
【００３２】
そして次に（図７のステップＳ２１）、画像処理部１４は、部分画像２４のＲ成分の濃度慣性モーメントＭ24と、テンプレート画像２２のＲ成分の濃度慣性モーメントＭ22とを比較し、２つのＲ成分の濃度慣性モーメントＭ24,Ｍ22の差分の絶対値を出力する。この場合の出力値ＯRは、Ｒ成分の濃度慣性モーメントＭ24,Ｍ22の類似性に関する指標である。
【００３３】
同様に、ステップＳ２２では、部分画像２４のＧ成分の濃度慣性モーメントＭ24と、テンプレート画像２２のＧ成分の濃度慣性モーメントＭ22とを比較し、２つのＧ成分の濃度慣性モーメントＭ24,Ｍ22の差分の絶対値を出力する（出力値ＯG）。さらに、ステップＳ２３では、部分画像２４のＢ成分の濃度慣性モーメントＭ24と、テンプレート画像２２のＢ成分の濃度慣性モーメントＭ22とを比較し、２つのＢ成分の濃度慣性モーメントＭ24,Ｍ22の差分の絶対値を出力する（出力値ＯB）。
【００３４】
次に（ステップＳ２４）、画像処理部１４は、上記したステップＳ２１のＲ成分の出力値ＯRと、ステップＳ２２のＧ成分の出力値ＯGと、ステップＳ２３のＢ成分の出力値ＯBとの和を求め、その値を「部分画像２４とテンプレート画像２２との類似度」とする。
ステップＳ２４で求めた類似度（＝ＯR＋ＯG＋ＯB）は、傾向として、その値が小さいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
【００３５】
第２実施形態のテンプレートマッチングによれば、演算用の部分画像２４の抽出位置(Ｘ2,Ｙ2)を少しずつ移動させながら、各々の位置で部分画像２４を順に抽出し、部分画像２４を抽出する毎に、ＲＧＢ成分の濃度慣性モーメントＭ24,Ｍ22に基づいてマッチング演算（Ｓ２１〜Ｓ２４）を行うことができる。そして、入力画像２１の中の異なる複数の位置で求められた類似度（＝ＯR＋ＯG＋ＯB）を大小比較することにより、その値が最も小さく、テンプレート画像２２との類似性が最も高い部分画像２４の抽出位置(Ｘ2,Ｙ2)を合致位置(Ｘ1,Ｙ1)と特定することができる。
【００３６】
上記のように、第２実施形態のテンプレートマッチングでは、ＲＧＢ成分の濃度慣性モーメントＭ24,Ｍ22に基づいて、同じ色成分どうしを比較することによりマッチング演算（Ｓ２１〜Ｓ２４）を行い、その結果である類似度（＝ＯR＋ＯG＋ＯB）を大小比較する。ＲＧＢ成分の濃度慣性モーメントＭ22は、テンプレート画像２２のＲＧＢ成分それぞれの特徴量であり、ＲＧＢ成分の濃度慣性モーメントＭ24は、演算用の部分画像２４のＲＧＢ成分それぞれの特徴量であり、このような特徴量を同じ色成分どうしで比較するため、入力画像２１に幾何学的変化（回転や縮尺の変化など）があっても、正確に合致位置(Ｘ1,Ｙ1)を特定することができる。
【００３７】
さらに、第２実施形態のテンプレートマッチングでは、各々の画像(２１,２４,２２)に含まれる全ての色成分（つまりＲＧＢ成分）を用いてマッチング演算(Ｓ２１〜Ｓ２４)を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ1,Ｙ1)を特定できる。
なお、上記した第２実施形態では、３つの色成分（つまりＲＧＢ成分）を含む画像(２１,２４,２２)の例で説明したが、本発明はこれに限定されない。色成分の数が２つであっても４つ以上であっても本発明を適用できる。つまり複数の色成分を含む場合に本発明を適用できる。
（第３実施形態）
ここでは、演算用の部分画像２４とテンプレート画像２２とのマッチング演算を、後述の領域濃度差に基づいて行う場合を説明する。第３実施形態のテンプレートマッチングは、図３のステップＳ１,Ｓ３において“濃度ヒストグラム”の代わりに“領域濃度差”を算出し、図７のステップＳ２１〜Ｓ２４において“濃度慣性モーメント”の代わりに“領域濃度差”を用いるものである。第３実施形態でも、ＲＧＢ成分を含む画像(２１,２４,２２)を例に説明する。
【００３８】
まず（図３のＳ１のタイミングで）、画像処理部１４は、テンプレート画像２２の全体からＲＧＢ成分の領域濃度差Ｄ22を各色成分ごとに算出する。例えば、Ｒ成分の領域濃度差Ｄ22は、テンプレート画像２２のＲ成分（図９）の予め定めた中央領域２Ａと周辺領域２Ｂとの各々における平均濃度の差により算出される（式(２)）。なお、中央領域２Ａと周辺領域２Ｂは、請求項の「第１範囲」と「第２範囲」に対応する。
【００３９】
Ｄ22 ＝ (中央領域２Ａの平均濃度)−(周辺領域２Ｂの平均濃度)  …(２)
式(２)の領域濃度差Ｄ22は、周辺領域２Ｂに対する中央領域２Ａの平均的な濃度差を表している。このため、例えば図１０(ａ)に示すように、テンプレート画像２２のＲ成分が、暗い背景（濃度値が最小）の中央に明るい点（濃度値が最大）を含むような場合、濃度値を２５６段階（０〜２５５）とすると、中央領域２Ａは大きな平均濃度(例えば２０５)、周辺領域２Ｂは小さな平均濃度(例えば２１)となり、式(２)の領域濃度差Ｄ22は大きなプラスの値(例えば１８４)となる。逆に中央領域２Ａが暗く周辺領域２Ｂが明るい場合、領域濃度差Ｄ22はマイナスの値になる。
【００４０】
また、例えば図１０(ｂ)に示すように、テンプレート画像２２のＲ成分が、暗い背景（濃度値が最小）の中に分散して多数の明るい点（濃度値が最大）を含むような場合、中央領域２Ａは中間的な平均濃度(例えば１２３)、周辺領域２Ｂも中間的な平均濃度(例えば１０８)となり、式(２)の領域濃度差Ｄ22は小さな値(例えば１５)となる。
また、画像処理部１４は、入力画像２１の中から演算用の部分画像２４を抽出すると、図３のＳ３のタイミングで、演算用の部分画像２４の全体からＲＧＢ成分の領域濃度差Ｄ24を各色成分ごとに算出する。例えば、Ｒ成分の領域濃度差Ｄ24の算出は、部分画像２４のＲ成分の全体から、テンプレート画像２２と同じ中央領域２Ａ,周辺領域２Ｂ（図９）を用い、上記した式(２)と同様の式により行われる。Ｇ成分,Ｂ成分も同様である。
【００４１】
そして次に（図７のステップＳ２１のタイミングで）、画像処理部１４は、部分画像２４のＲ成分の領域濃度差Ｄ24と、テンプレート画像２２のＲ成分の領域濃度差Ｄ22（図１０(ａ)の場合は１８４)(図１０(ｂ)の場合は１５）とを比較し、２つのＲ成分の領域濃度差Ｄ24,Ｄ22の差分の絶対値を出力する。この出力値ＰRは、Ｒ成分の領域濃度差Ｄ24,Ｄ22の類似性に関する指標である。
【００４２】
同様に（図７のステップＳ２２のタイミングで）、部分画像２４のＧ成分の領域濃度差Ｄ24と、テンプレート画像２２のＧ成分の領域濃度差Ｄ22とを比較し、２つのＧ成分の領域濃度差Ｄ24,Ｄ22の差分の絶対値を出力する（出力値ＰG）。さらに（ステップＳ２３のタイミングで）、部分画像２４のＢ成分の領域濃度差Ｄ24と、テンプレート画像２２のＢ成分の領域濃度差Ｄ22とを比較し、２つのＢ成分の領域濃度差Ｄ24,Ｄ22の差分の絶対値を出力する（出力値ＰB）。
【００４３】
次に（ステップＳ２４のタイミングで）、画像処理部１４は、上記したＲ成分の出力値ＰRと、Ｇ成分の出力値ＰGと、Ｂ成分の出力値ＰBとの和を求め、その値を「部分画像２４とテンプレート画像２２との類似度」とする。この類似度（＝ＰR＋ＰG＋ＰB）は、傾向として、その値が大きいほど、部分画像２４とテンプレート画像２２との類似性が高く、部分画像２４の抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
【００４４】
第３実施形態のテンプレートマッチングによれば、演算用の部分画像２４の抽出位置(Ｘ2,Ｙ2)を少しずつ移動させながら、各々の位置で部分画像２４を順に抽出し、部分画像２４を抽出する毎に、ＲＧＢ成分の領域濃度差Ｄ24,Ｄ22に基づいてマッチング演算を行うことができる。そして、入力画像２１の中の異なる複数の位置で求められた類似度（＝ＰR＋ＰG＋ＰB）を大小比較することにより、その値が最も大きく、テンプレート画像２２との類似性が最も高い部分画像２４の抽出位置(Ｘ2,Ｙ2)を合致位置(Ｘ1,Ｙ1)と特定することができる。
【００４５】
上記のように、第３実施形態のテンプレートマッチングでは、ＲＧＢ成分の領域濃度差Ｄ24,Ｄ22に基づいて、同じ色成分どうしを比較することによりマッチング演算（Ｓ２１〜Ｓ２４）を行い、その結果である類似度（＝ＰR＋ＰG＋ＰB）を大小比較する。ＲＧＢ成分の領域濃度差Ｄ22は、テンプレート画像２２のＲＧＢ成分それぞれの特徴量であり、ＲＧＢ成分の領域濃度差Ｄ24は、演算用の部分画像２４のＲＧＢ成分それぞれの特徴量である。このように、特徴量が画素の位置に依存しない量として求められるので、入力画像２１に幾何学的変化（回転や縮尺の変化など）があっても、正確に合致位置(Ｘ1,Ｙ1)を特定することができる。
【００４６】
また、演算用の部分画像２４の濃度範囲とテンプレート画像２２の濃度範囲とを一致させることにより（正規化処理）、入力画像２１のコントラストの変化やノイズにも対応でき、正確に合致位置(Ｘ1,Ｙ1)を特定することができる。
さらに、第３実施形態のテンプレートマッチングでは、各々の画像(２１,２４,２２)に含まれる全ての色成分（つまりＲＧＢ成分）を用いてマッチング演算(Ｓ２１〜Ｓ２４)を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ1,Ｙ1)を特定できる。
【００４７】
なお、上記した第３実施形態では、３つの色成分（つまりＲＧＢ成分）を含む画像(２１,２４,２２)の例で説明したが、本発明はこれに限定されない。色成分の数が２つであっても４つ以上であっても本発明を適用できる。つまり複数の色成分を含む場合に本発明を適用できる。
また、画像(２１,２４,２２)が複数の色成分を含まない場合、つまり単色の濃淡画像である場合にも、本発明を適用できる。この場合、部分画像２４の１つの領域濃度差Ｄ24と、テンプレート画像２２の１つの領域濃度差Ｄ22とを比較し、領域濃度差Ｄ24,Ｄ22のうち小さい方の値、または、領域濃度差Ｄ24,Ｄ22の差分の絶対値を「部分画像２４とテンプレート画像２２との類似度」とすればよい。
【００４８】
さらに、上記した第３実施形態では、領域濃度差Ｄ24,Ｄ22を算出するための領域として図９に示す中央領域２Ａと周辺領域２Ｂとを予め定めたが、本発明はこれに限定されない。領域の設定が、例えば左側領域と右側領域のように、上記とは異なる位置や形状の場合でも、同様の効果を得ることができる。
（変形例）
なお、上記した実施形態では、濃度ヒストグラムＨ24,Ｈ22に基づくマッチング演算の例と、濃度慣性モーメントＭ24,Ｍ22に基づくマッチング演算の例と、領域濃度差Ｄ24,Ｄ22に基づくマッチング演算の例をそれぞれ説明したが、本発明はこれに限定されない。任意の２種類を組み合わせてマッチング演算を行う場合にも、本発明を適用できる。あるいは相互相関や最小残差と濃度ヒストグラムなどを組み合わせてもよい。
【００４９】
また、上記した実施形態では、演算用の部分画像２４とテンプレート画像２２の形状が矩形状である例を説明したが、本発明はこれに限定されない。部分画像２４とテンプレート画像２２は、矩形状である必要はない。他の形状でも本質的な処理は同じである。
さらに、上記した実施形態では、図１の観察装置１０のような光学顕微鏡装置を例にテンプレートマッチングの説明を行ったが、本発明はこれに限定されない。その他、試料の局所領域を電子線で走査して画像を取り込む電子顕微鏡装置にも、本発明を適用できる。試料の局所領域の画像に限らず、試料の全面の画像を一括で取り込む装置にも、本発明を適用できる。観察装置１０などに接続された外部のコンピュータを用いた場合でも、同様の効果を得ることができる。
【００５０】
また、上記した実施形態では、図１の観察装置１０のカメラ１３から取り込んだ入力画像（画像情報を含む二次元の入力信号）に対してテンプレートマッチングを行う例について説明したが、本発明はこれに限定されない。その他、音声情報を含む一次元の入力信号（入力音声）に対してテンプレートマッチングを行う場合（信号処理）にも、本発明を適用できる。一次元の入力信号を対象とする場合、上述の「画像の濃度」を「信号の強度」に置き換えて考えればよい。「平均濃度」は「平均強度」に対応する。一次元の入力信号の場合には、入力信号に幾何学的変化（縮尺の変化など）があっても正確に合致位置を特定することができる。
【図面の簡単な説明】
【００５１】
【図１】観察装置１０の概略図である。
【図２】入力画像２１,テンプレート画像２２,ターゲット２３,演算用の部分画像２４を説明する図である。
【図３】第１実施形態のテンプレートマッチングの処理手順を示すフローチャートである。
【図４】テンプレート画像２２のＲＧＢ成分の濃度ヒストグラムＨ22を説明する図である。
【図５】ＲＧＢ成分の濃度ヒストグラムＨ24,Ｈ22の重なり部分に基づくマッチング演算について説明する図である。
【図６】ＲＧＢ成分の濃度ヒストグラムＨ24,Ｈ22の差分に基づくマッチング演算について説明する図である。
【図７】第２実施形態のテンプレートマッチングにおける処理手順の一部を示すフローチャートである。
【図８】Ｒ成分の濃度慣性モーメントＭ22について説明する図である。
【図９】第３実施形態において領域濃度差Ｄ24,Ｄ22を算出するための領域について説明する図である。
【図１０】テンプレート画像２２のＲ成分の一例について説明する図である。
【符号の説明】
【００５２】
１０  観察装置
１１  ステージ
１２  光学系
１３  カメラ
１４  画像処理部
２１  入力画像
２２  テンプレート画像
２３  ターゲット
２４  演算用の部分画像
【図１】
2005293334.tif 000003
【図２】
2005293334.tif 000004
【図３】
2005293334.tif 000005
【図４】
2005293334.tif 000006
【図５】
2005293334.tif 000007
【図６】
2005293334.tif 000008
【図７】
2005293334.tif 000009
【図８】
2005293334.tif 000010
【図９】
2005293334.tif 000011
【図１０】
2005293334.tif 000012