(57)【要約】【課題】  入力画像に回転変化があっても正確に合致位置を特定できるテンプレートマッチング装置を提供する。【解決手段】  円形状の既知のテンプレート画像２２の濃度のヒストグラムを作成する手段と、入力画像２１の中の異なる複数の位置(Ｘ2,Ｙ2)から円形状の演算用の部分画像２５を抽出する手段と、抽出された部分画像の濃度のヒストグラムを作成する手段と、テンプレート画像のヒストグラムと部分画像のヒストグラムとに基づいて、テンプレート画像と部分画像との類似度を求める手段と、入力画像の各位置(Ｘ2,Ｙ2)で求められた類似度を大小比較することにより、入力画像の中のテンプレート画像との合致位置(Ｘ1,Ｙ1)を特定する手段とを備える。【選択図】      図２
2005352543.tif 000002
【特許請求の範囲】
【請求項１】
円形状の既知のテンプレート画像の濃度のヒストグラムを作成する第１の作成手段と、
入力画像の中の異なる複数の位置から円形状の演算用の部分画像を抽出する抽出手段と、
前記抽出手段により抽出された前記部分画像の濃度のヒストグラムを作成する第２の作成手段と、
前記テンプレート画像の前記ヒストグラムと前記部分画像の前記ヒストグラムとに基づいて、前記テンプレート画像と前記部分画像との類似度を求める演算手段と、
前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備えた
ことを特徴とするテンプレートマッチング装置。
【請求項２】
円形状の既知のテンプレート画像の濃度の慣性モーメントを算出する第１の算出手段と、
入力画像の中の異なる複数の位置から円形状の演算用の部分画像を抽出する抽出手段と、
前記抽出手段により抽出された前記部分画像の濃度の慣性モーメントを算出する第２の算出手段と、
前記テンプレート画像の前記慣性モーメントと前記部分画像の前記慣性モーメントとに基づいて、前記テンプレート画像と前記部分画像との類似度を求める演算手段と、
前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備えた
ことを特徴とするテンプレートマッチング装置。
【請求項３】
円形状の既知のテンプレート画像の予め定めた第１範囲と第２範囲との各々における平均濃度の差を算出する第１の算出手段と、
入力画像の中の異なる複数の位置から円形状の演算用の部分画像を抽出する抽出手段と、
前記抽出手段により抽出された前記部分画像の前記第１範囲と前記第２範囲との各々における平均濃度の差を算出する第２の算出手段と、
前記テンプレート画像の前記平均濃度の差と前記部分画像の前記平均濃度の差とに基づいて、前記テンプレート画像と前記部分画像との類似度を求める演算手段と、
前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備えた
ことを特徴とするテンプレートマッチング装置。
【請求項４】
請求項１に記載のテンプレートマッチング装置において、
前記テンプレート画像と前記入力画像と前記部分画像とは、複数の色成分を含み、
前記第１の作成手段は、前記テンプレート画像の前記ヒストグラムを各色成分ごとに作成し、
前記第２の作成手段は、前記部分画像の前記ヒストグラムを各色成分ごとに作成し、
前記演算手段は、前記テンプレート画像の各色成分の前記ヒストグラムと前記部分画像の各色成分の前記ヒストグラムとに基づいて、同じ色成分どうしを比較することにより、前記類似度を求める
ことを特徴とするテンプレートマッチング装置。
【請求項５】
請求項２に記載のテンプレートマッチング装置において、
前記テンプレート画像と前記入力画像と前記部分画像とは、複数の色成分を含み、
前記第１の算出手段は、前記テンプレート画像の前記慣性モーメントを各色成分ごとに算出し、
前記第２の算出手段は、前記部分画像の前記慣性モーメントを各色成分ごとに算出し、
前記演算手段は、前記テンプレート画像の各色成分の前記慣性モーメントと前記部分画像の各色成分の前記慣性モーメントとに基づいて、同じ色成分どうしを比較することにより、前記類似度を求める
ことを特徴とするテンプレートマッチング装置。
【請求項６】
請求項３に記載のテンプレートマッチング装置において、
前記テンプレート画像と前記入力画像と前記部分画像とは、複数の色成分を含み、
前記第１の算出手段は、前記テンプレート画像の前記平均濃度の差を各色成分ごとに算出し、
前記第２の算出手段は、前記部分画像の前記平均濃度の差を各色成分ごとに算出し、
前記演算手段は、前記テンプレート画像の各色成分の前記平均濃度の差と前記部分画像の各色成分の前記平均濃度の差とに基づいて、同じ色成分どうしを比較することにより、前記類似度を求める
ことを特徴とするテンプレートマッチング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に対してテンプレートマッチングを行うテンプレートマッチング装置に関する。
【背景技術】
【０００２】
テンプレートマッチングは、入力画像の中から既知のテンプレート画像に合致する部分画像（ターゲット）を探索して、ターゲットの位置（合致位置）を特定する処理である。この処理では、矩形状のテンプレート画像を用いるのが一般的であり、入力画像の中から矩形状の部分画像をマッチング演算用に抽出すると共に、この部分画像の抽出位置を少しずつ移動させながら、部分画像とテンプレート画像とのマッチング演算を繰り返し行っている。そして、入力画像の中の各位置でのマッチング演算の結果を大小比較することで、合致位置が特定される。
【０００３】
また、マッチング演算には、周知の相互相関法や残差逐次検定法などが用いられる（例えば特許献１を参照）。これらの方法は、演算用の部分画像とテンプレート画像との対応画素どうしで濃度の演算を行い、その結果を画像全体で集計するものである。
【特許文献１】特開平５−８１４３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、矩形状のテンプレート画像を用い、矩形状の部分画像との対応画素どうしで濃度の演算を行う場合、入力画像に回転変化があると（図１２参照）、その入力画像から抽出される部分画像にも回転変化が現れるため、合致位置の特定を正確に行えるとは限らず、疑似マッチングやマッチング不可能になることがあった。
本発明の目的は、入力画像に回転変化があっても正確に合致位置を特定できるテンプレートマッチング装置を提供することにある。
【課題を解決するための手段】
【０００５】
請求項１に記載のテンプレートマッチング装置は、円形状の既知のテンプレート画像の濃度のヒストグラムを作成する第１の作成手段と、入力画像の中の異なる複数の位置から円形状の演算用の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像の濃度のヒストグラムを作成する第２の作成手段と、前記テンプレート画像の前記ヒストグラムと前記部分画像の前記ヒストグラムとに基づいて、前記テンプレート画像と前記部分画像との類似度を求める演算手段と、前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備えたものである。
【０００６】
請求項２に記載のテンプレートマッチング装置は、円形状の既知のテンプレート画像の濃度の慣性モーメントを算出する第１の算出手段と、入力画像の中の異なる複数の位置から円形状の演算用の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像の濃度の慣性モーメントを算出する第２の算出手段と、前記テンプレート画像の前記慣性モーメントと前記部分画像の前記慣性モーメントとに基づいて、前記テンプレート画像と前記部分画像との類似度を求める演算手段と、前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備えたものである。
【０００７】
請求項３に記載のテンプレートマッチング装置は、円形状の既知のテンプレート画像の予め定めた第１範囲と第２範囲との各々における平均濃度の差を算出する第１の算出手段と、入力画像の中の異なる複数の位置から円形状の演算用の部分画像を抽出する抽出手段と、前記抽出手段により抽出された前記部分画像の前記第１範囲と前記第２範囲との各々における平均濃度の差を算出する第２の算出手段と、前記テンプレート画像の前記平均濃度の差と前記部分画像の前記平均濃度の差とに基づいて、前記テンプレート画像と前記部分画像との類似度を求める演算手段と、前記入力画像の各位置で求められた前記類似度を大小比較することにより、前記入力画像の中の前記テンプレート画像との合致位置を特定する特定手段とを備えたものである。
【０００８】
請求項４に記載の発明は、請求項１に記載のテンプレートマッチング装置において、前記テンプレート画像と前記入力画像と前記部分画像とは、複数の色成分を含み、前記第１の作成手段は、前記テンプレート画像の前記ヒストグラムを各色成分ごとに作成し、前記第２の作成手段は、前記部分画像の前記ヒストグラムを各色成分ごとに作成し、前記演算手段は、前記テンプレート画像の各色成分の前記ヒストグラムと前記部分画像の各色成分の前記ヒストグラムとに基づいて、同じ色成分どうしを比較することにより、前記類似度を求めるものである。
【０００９】
請求項５に記載の発明は、請求項２に記載のテンプレートマッチング装置において、前記テンプレート画像と前記入力画像と前記部分画像とは、複数の色成分を含み、前記第１の算出手段は、前記テンプレート画像の前記慣性モーメントを各色成分ごとに算出し、前記第２の算出手段は、前記部分画像の前記慣性モーメントを各色成分ごとに算出し、前記演算手段は、前記テンプレート画像の各色成分の前記慣性モーメントと前記部分画像の各色成分の前記慣性モーメントとに基づいて、同じ色成分どうしを比較することにより、前記類似度を求めるものである。
【００１０】
請求項６に記載の発明は、請求項３に記載のテンプレートマッチング装置において、前記テンプレート画像と前記入力画像と前記部分画像とは、複数の色成分を含み、前記第１の算出手段は、前記テンプレート画像の前記平均濃度の差を各色成分ごとに算出し、前記第２の算出手段は、前記部分画像の前記平均濃度の差を各色成分ごとに算出し、前記演算手段は、前記テンプレート画像の各色成分の前記平均濃度の差と前記部分画像の各色成分の前記平均濃度の差とに基づいて、同じ色成分どうしを比較することにより、前記類似度を求めるものである。
【発明の効果】
【００１１】
本発明のテンプレートマッチング装置によれば、入力画像に回転変化があっても正確に合致位置を特定することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を用いて本発明の実施形態を詳細に説明する。
（第１実施形態）
ここでは、第１実施形態のテンプレートマッチング装置について、図１に示す観察装置１０を例に説明する。観察装置１０には、ステージ１１と光学系１２とカメラ１３と画像処理部１４とが設けられる。ステージ１１は、試料１０Ａを支持する。光学系１２は、試料１０Ａの局所領域の光像を形成する。カメラ１３は、不図示の撮像素子により試料１０Ａの光像を撮像し、撮像信号を画像処理部１４に出力する。
【００１３】
画像処理部１４は、カメラ１３から撮像信号を取り込むと、これを所定ビット（例えば８ビット）のディジタル画像に変換し、入力画像２１（図２）として不図示のメモリに記憶させる。そして、入力画像２１に対して後述のテンプレートマッチングを行う。画像処理部１４が第１実施形態のテンプレートマッチング装置に対応する。観察装置１０を用いて、試料１０Ａの観察や検査や位置合わせなどが行われる。試料１０Ａは、例えば、半導体ウエハや液晶基板、プリント基板、生物標本(例えば細胞)などである。
【００１４】
次に、画像処理部１４におけるテンプレートマッチングについて説明する。このテンプレートマッチングは、図２に示す円形状の既知のテンプレート画像２２を用い、図３に示すフローチャートの手順（ステップＳ１〜Ｓ１１）にしたがって行われる。図３の処理では、入力画像２１とテンプレート画像２２が、各々、３つの色成分（つまり加色の三原色または光の三原色と呼ばれるＲＧＢ成分）を含むとする。ＲＧＢ成分を含む画像(２１,２２)はカラー画像である。
【００１５】
図３のステップＳ１において、画像処理部１４は、テンプレート画像２２の全体からＲＧＢ成分の濃度ヒストグラムＨ22を各色成分ごとに作成する（図４(ａ)参照）。濃度ヒストグラムＨ22の作成は、テンプレート画像２２の全画素の濃度値を調べ、各濃度値ごとに画素数を計数することにより行われる。テンプレート画像２２が８ビットの場合、画素の濃度値は２５６段階（０〜２５５）となる。濃度ヒストグラムＨ22は、テンプレート画像２２の中に各濃度値の画素が現れる頻度（画素数）を表した濃度のヒストグラム（度数分布）であり、画素の位置に依存しない特徴量である。濃度ヒストグラムＨ22の横軸は濃度値、縦軸は画素数である。
【００１６】
次に（ステップＳ２）、画像処理部１４は、入力画像２１の中から円形状の部分画像２５（図２）をマッチング演算用に抽出する。この抽出処理は、例えば２段階で行われ、入力画像２１の中から矩形状の部分画像２４を抽出した後、部分画像２４の四隅付近にマスクを掛け、部分画像２４に内接する円形状の部分画像２５をマッチング演算用として抽出するものである。円形状の部分画像２５は、テンプレート画像２２と同じ大きさ(画素数)である。部分画像２５とテンプレート画像２２は、共に、入力画像２１より小さい（画素数が少ない）。また、演算用の部分画像２５も、入力画像２１と同じ色成分（つまりＲＧＢ成分）を含むカラー画像である。
【００１７】
次に（ステップＳ３）、画像処理部１４は、ステップＳ２で抽出した演算用の部分画像２５の全体からＲＧＢ成分の濃度ヒストグラムＨ25を各色成分ごとに作成する（図４(ｂ)参照）。この濃度ヒストグラムＨ25の作成も、上記したテンプレート画像２２の濃度ヒストグラムＨ22と同様にして行われる。濃度ヒストグラムＨ25も、画素の位置に依存しない特徴量であり、横軸は濃度値、縦軸は画素数である。
【００１８】
ここで、演算用の部分画像２５の濃度ヒストグラムＨ25と、入力画像２１の回転変化との関係について説明する。図５から分かるように、入力画像２１に回転変化があると、入力画像２１から抽出される矩形状の部分画像２４には同様の回転変化が現れ、その四隅付近の濃度情報が変化してしまう。しかし、矩形状の部分画像２４から抽出される円形状の部分画像２５には回転変化が現れず、その濃度情報が変化することはない。このため、円形状の部分画像２５から作成した濃度ヒストグラムＨ25（図４(ｂ)）は、入力画像２１の回転変化に対して不変な特徴量と考えられる。
【００１９】
画像処理部１４は、図３のステップＳ１〜Ｓ３を経て、テンプレート画像２２の濃度ヒストグラムＨ22（図４(ａ)）と、部分画像２５の濃度ヒストグラムＨ25（図４(ｂ)）とを作成し終えると、２つの濃度ヒストグラムＨ22,Ｈ25に基づいて、部分画像２５とテンプレート画像２２とのマッチング演算（Ｓ４〜Ｓ７）を行う。マッチング演算（Ｓ４〜Ｓ７）は、部分画像２５とテンプレート画像２２との類似度を求める演算である。
【００２０】
まず（ステップＳ４）、画像処理部１４は、部分画像２５のＲ成分の濃度ヒストグラムＨ25と、テンプレート画像２２のＲ成分の濃度ヒストグラムＨ22とを比較し、２つのＲ成分の濃度ヒストグラムＨ25,Ｈ22の重なり部分（図６の斜線部分）の画素数を集計する。この重なり部分（図６の斜線部分）の総画素数ＫRは、Ｒ成分の濃度ヒストグラムＨ25,Ｈ22の類似性に関する指標である。重なり部分（図６の斜線部分）とは、濃度ヒストグラムＨ25,Ｈ22の同じ濃度値どうしで画素数を比較したときの小さい方の画素数に相当する。
【００２１】
同様に、ステップＳ５では、部分画像２５のＧ成分の濃度ヒストグラムＨ25と、テンプレート画像２２のＧ成分の濃度ヒストグラムＨ22とを比較し、２つのＧ成分の濃度ヒストグラムＨ25,Ｈ22の重なり部分の画素数を集計する（総画素数ＫG）。さらに、ステップＳ６では、部分画像２５のＢ成分の濃度ヒストグラムＨ25と、テンプレート画像２２のＢ成分の濃度ヒストグラムＨ22とを比較し、２つのＢ成分の濃度ヒストグラムＨ25,Ｈ22の重なり部分の画素数を集計する（総画素数ＫB）。
【００２２】
上記した通り、演算用の部分画像２５は円形状であり、この部分画像２５から作成した濃度ヒストグラムＨ25（図４(ｂ)）は、ＲＧＢ成分の何れも、入力画像２１の回転変化に対して不変な特徴量である。したがって、上記ステップＳ４の集計結果（Ｒ成分の重なり部分の総画素数ＫR）と、ステップＳ５の集計結果（Ｇ成分の重なり部分の総画素数ＫG）と、ステップＳ６の集計結果（Ｂ成分の重なり部分の総画素数ＫB）は、各々、入力画像２１の回転変化に対して不変な特徴量と考えられる。
【００２３】
次に（ステップＳ７）、画像処理部１４は、上記ステップＳ４〜Ｓ６の各々の集計結果（ＲＧＢ成分の重なり部分の総画素数ＫR,ＫG,ＫB）の和を求め、その値を「部分画像２５とテンプレート画像２２との類似度」とする。この類似度（＝ＫR＋ＫG＋ＫB）は、部分画像２５とテンプレート画像２２との「類似性に関する指標」であり、入力画像２１の回転変化に対して不変な特徴量と考えられる。
【００２４】
ステップＳ７で求めた類似度（＝ＫR＋ＫG＋ＫB）は、傾向として、その値が大きいほど、部分画像２５とテンプレート画像２２との類似性が高いことを表している。また、テンプレート画像２２との類似性が高いとは、図２に示す部分画像２５の抽出位置(Ｘ2,Ｙ2)がテンプレート画像２２に合致する部分画像（ターゲット２３）の位置（以下「合致位置(Ｘ1,Ｙ1)」という）に近いことを表す。
【００２５】
上記のマッチング演算（Ｓ４〜Ｓ７）が終了すると、画像処理部１４は、次のステップＳ８において、マッチング演算の結果である類似度（＝ＫR＋ＫG＋ＫB）を、部分画像２５の抽出位置(Ｘ2,Ｙ2)と対応づけてメモリに保存する。これらのステップＳ２〜Ｓ８の処理を経て、入力画像２１の中の１つの抽出位置(Ｘ2,Ｙ2)に対する処理が終わる。そして、演算用の部分画像２５の抽出位置(Ｘ2,Ｙ2)を次の位置へ移動させる場合には（ステップＳ９がＹｅｓ）、ステップＳ１０の処理に進む。
【００２６】
ステップＳ１０の処理は、演算用の部分画像２５の抽出位置(Ｘ2,Ｙ2)の移動処理である。画像処理部１４は、部分画像２５の抽出位置(Ｘ2,Ｙ2)を現在の位置から次の位置へ移動させる。その後、ステップＳ２の処理に戻り、新たな抽出位置(Ｘ2,Ｙ2)において、演算用の部分画像２５の抽出（Ｓ２）→ＲＧＢ成分の濃度ヒストグラムの作成（Ｓ３）→マッチング演算（Ｓ４〜Ｓ７）→結果保存（Ｓ８）を繰り返す。
【００２７】
このようにして、ステップＳ２→…→Ｓ１０→Ｓ２…の処理を繰り返すことにより、演算用の部分画像２５の抽出位置(Ｘ2,Ｙ2)を少しずつ移動させながら、各々の位置で部分画像２５を順に抽出し、部分画像２５を抽出する毎に、ＲＧＢ成分の濃度ヒストグラムＨ25,Ｈ22に基づいてマッチング演算（Ｓ４〜Ｓ７）を繰り返し行うことになる。
そして、演算用の部分画像２５の抽出位置(Ｘ2,Ｙ2)が終点に到達し、そこでのステップＳ２〜Ｓ８の処理が終了すると、画像処理部１４は、次の位置への移動を行わずに（Ｓ９がＮｏ）、ステップＳ１１の処理に進む。ステップＳ１１では、入力画像２１の中の異なる複数の位置で求められた類似度（＝ＫR＋ＫG＋ＫB）を大小比較することにより、その値が最も大きく、テンプレート画像２２との類似性が最も高い部分画像２５の抽出位置(Ｘ2,Ｙ2)を合致位置(Ｘ1,Ｙ1)と特定する。以上で入力画像２１に対するテンプレートマッチングの処理は終了となる。
【００２８】
上記のように、第１実施形態のテンプレートマッチングでは、マッチング演算（Ｓ４〜Ｓ７）の結果である類似度（＝ＫR＋ＫG＋ＫB）が、図５に示すような入力画像２１の回転変化に対して不変な特徴量として求められ、この類似度（＝ＫR＋ＫG＋ＫB）を大小比較する。このため、入力画像２１に回転変化があっても正確に合致位置(Ｘ1,Ｙ1)を特定することができる。
【００２９】
また、演算用の部分画像２５の濃度範囲とテンプレート画像２２の濃度範囲とを一致させることにより（正規化処理）、入力画像２１のコントラストの変化やノイズにも対応でき、正確に合致位置(Ｘ1,Ｙ1)を特定することができる。
さらに、第１実施形態のテンプレートマッチングでは、各々の画像(２１,２５,２２)に含まれる全ての色成分（つまりＲＧＢ成分）の濃度ヒストグラムＨ25,Ｈ22に基づいて、同じ色成分どうしを比較することにより、マッチング演算（Ｓ４〜Ｓ７）を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ1,Ｙ1)を特定できる。
【００３０】
なお、上記した第１実施形態では、図３のステップＳ７において、ステップＳ４〜Ｓ６の集計結果の和（＝ＫR＋ＫG＋ＫB）を求め、その値を「部分画像２５とテンプレート画像２２との類似度」としたが、本発明はこれに限定されない。ステップＳ４〜Ｓ６の集計結果の平均値（＝[ＫR＋ＫG＋ＫB]/３）を求め、その値を「部分画像２５とテンプレート画像２２との類似度」としてもよい。平均値（＝[ＫR＋ＫG＋ＫB]/３）の場合でも、その値が大きいほど、部分画像２５とテンプレート画像２２との類似性が高く、部分画像２５の抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
【００３１】
また、上記した第１実施形態では、図３のステップＳ４〜Ｓ６において、図６に示すような濃度ヒストグラムＨ25,Ｈ22の重なり部分（斜線部分）の画素数を集計したが、本発明はこれに限定されない。その他、濃度ヒストグラムＨ25,Ｈ22の差分の絶対値（図７の斜線部分）の画素数を集計してもよい。この場合、ステップＳ４〜Ｓ６のＲＧＢ成分の集計結果（濃度ヒストグラムＨ25,Ｈ22の差分の絶対値の総画素数ＫR’,ＫG’,ＫB’）の和または平均値は、部分画像２５とテンプレート画像２２との類似度に相当し、その値が小さいほど、部分画像２５とテンプレート画像２２との類似性が高く、抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
（第２実施形態）
ここでは、演算用の部分画像２５とテンプレート画像２２とのマッチング演算を、後述の濃度慣性モーメントに基づいて行う場合を説明する。第２実施形態のテンプレートマッチングは、図３のステップＳ１,Ｓ３において“濃度ヒストグラム”の代わりに“濃度慣性モーメント”を算出し、図３のステップＳ４〜Ｓ７に代えて図８のステップＳ２１〜Ｓ２４の処理を実行するものである。第２実施形態でも、ＲＧＢ成分を含む画像(２１,２５,２２)を例に説明する。
【００３２】
まず（図３のＳ１のタイミングで）、画像処理部１４は、テンプレート画像２２の全体からＲＧＢ成分の濃度慣性モーメントＭ22を各色成分ごとに算出する。例えば、Ｒ成分の濃度慣性モーメントＭ22は、テンプレート画像２２のＲ成分（図９）の位置(ｘ,ｙ)における濃度値Ａiを用い、次の式(１)により算出される。濃度値Ａiの“ｉ”は、テンプレート画像２２の中での画素番号である。
【００３３】
Ｍ22 ＝ Σ(ｘi2＋ｙi2)Ａi  …(１)
式(１)の濃度慣性モーメントＭ22は、原点（画像中心）まわりの濃度の慣性モーメントであり、Ｘ軸まわりの濃度の慣性モーメント（ＭX＝Σｘi2Ａi）と、Ｙ軸まわりの濃度の慣性モーメント（ＭY＝Σｙi2Ａi）との和に相当する。Ｒ成分の他、Ｇ成分,Ｂ成分の濃度慣性モーメントＭ22は、各々、テンプレート画像２２のＧ成分,Ｂ成分の全体から、上記の式(１)と同様の式により算出される。ＲＧＢ成分の濃度慣性モーメントＭ22は、画素の位置に依存しない特徴量である。
【００３４】
また、画像処理部１４は、入力画像２１の中から円形状の部分画像２５をマッチング演算用に抽出すると、図３のＳ３のタイミングで、部分画像２５の全体からＲＧＢ成分の濃度慣性モーメントＭ25を各色成分ごとに算出する。例えば、Ｒ成分の濃度慣性モーメントＭ25の算出は、部分画像２５のＲ成分の全体から上記した式(１)と同様の式により行われる。Ｇ成分,Ｂ成分も同様である。ＲＧＢ成分の濃度慣性モーメントＭ25は、画素の位置に依存しない特徴量である。
【００３５】
ここで、演算用の部分画像２５の濃度慣性モーメントＭ25と、入力画像２１の回転変化との関係について説明する。既に説明した通り、入力画像２１に回転変化（図５参照）があると、矩形状の部分画像２４の濃度情報は四隅付近で変化するが、円形状の部分画像２５の濃度情報は変化しない。このため、円形状の部分画像２５から算出した濃度慣性モーメントＭ25は、入力画像２１の回転変化に対して不変な特徴量と考えられる。
【００３６】
画像処理部１４は、上記のようにして、テンプレート画像２２の濃度慣性モーメントＭ22と、部分画像２５の濃度慣性モーメントＭ25とを算出し終えると、２つの濃度慣性モーメントＭ22,Ｍ25に基づいて、部分画像２５とテンプレート画像２２とのマッチング演算（図８）を行う。マッチング演算（図８）は、部分画像２５とテンプレート画像２２との類似度を求める演算である。
【００３７】
まず（図８のステップＳ２１）、画像処理部１４は、部分画像２５のＲ成分の濃度慣性モーメントＭ25と、テンプレート画像２２のＲ成分の濃度慣性モーメントＭ22とを比較し、２つのＲ成分の濃度慣性モーメントＭ25,Ｍ22の差分の絶対値を出力する。この場合の出力値ＯRは、Ｒ成分の濃度慣性モーメントＭ25,Ｍ22の類似性に関する指標である。
同様に、ステップＳ２２では、部分画像２５のＧ成分の濃度慣性モーメントＭ25と、テンプレート画像２２のＧ成分の濃度慣性モーメントＭ22とを比較し、２つのＧ成分の濃度慣性モーメントＭ25,Ｍ22の差分の絶対値を出力する（出力値ＯG）。さらに、ステップＳ２３では、部分画像２５のＢ成分の濃度慣性モーメントＭ25と、テンプレート画像２２のＢ成分の濃度慣性モーメントＭ22とを比較し、２つのＢ成分の濃度慣性モーメントＭ25,Ｍ22の差分の絶対値を出力する（出力値ＯB）。
【００３８】
上記した通り、演算用の部分画像２５は円形状であり、この部分画像２５から算出した濃度慣性モーメントＭ25は、ＲＧＢ成分の何れも、入力画像２１の回転変化に対して不変な特徴量である。したがって、上記したステップＳ２１のＲ成分の出力値ＯRと、ステップＳ２２のＧ成分の出力値ＯGと、ステップＳ２３のＢ成分の出力値ＯBは、各々、入力画像２１の回転変化に対して不変な特徴量と考えられる。
【００３９】
次に（ステップＳ２４）、画像処理部１４は、上記したステップＳ２１〜Ｓ２３の各々の出力値ＯR,ＯG,ＯBの和を求め、その値を「部分画像２５とテンプレート画像２２との類似度」とする。この類似度（＝ＯR＋ＯG＋ＯB）は、部分画像２５とテンプレート画像２２との「類似性に関する指標」であり、入力画像２１の回転変化に対して不変な特徴量と考えられる。また、類似度（＝ＯR＋ＯG＋ＯB）の傾向は、その値が小さいほど、部分画像２５とテンプレート画像２２との類似性が高く、部分画像２５の抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
【００４０】
第２実施形態のテンプレートマッチングでは、演算用の部分画像２５の抽出位置(Ｘ2,Ｙ2)を少しずつ移動させながら、各々の位置で部分画像２５を順に抽出し、部分画像２５を抽出する毎に、ＲＧＢ成分の濃度慣性モーメントＭ25,Ｍ22に基づいてマッチング演算（Ｓ２１〜Ｓ２４）を繰り返し行う。そして、入力画像２１の中の異なる複数の位置で求められた類似度（＝ＯR＋ＯG＋ＯB）を大小比較することにより、その値が最も小さく、テンプレート画像２２との類似性が最も高い部分画像２５の抽出位置(Ｘ2,Ｙ2)を合致位置(Ｘ1,Ｙ1)と特定する。
【００４１】
上記のように、第２実施形態のテンプレートマッチングでは、マッチング演算（Ｓ２１〜Ｓ２４）の結果である類似度（＝ＯR＋ＯG＋ＯB）が、図５に示すような入力画像２１の回転変化に対して不変な特徴量として求められ、この類似度（＝ＯR＋ＯG＋ＯB）を大小比較する。このため、入力画像２１に回転変化があっても正確に合致位置(Ｘ1,Ｙ1)を特定することができる。
【００４２】
さらに、第２実施形態のテンプレートマッチングでは、各々の画像(２１,２５,２２)に含まれる全ての色成分（つまりＲＧＢ成分）の濃度慣性モーメントＭ25,Ｍ22に基づいて、同じ色成分どうしを比較することにより、マッチング演算(Ｓ２１〜Ｓ２４)を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ1,Ｙ1)を特定できる。
（第３実施形態）
ここでは、演算用の部分画像２５とテンプレート画像２２とのマッチング演算を、後述の領域濃度差に基づいて行う場合を説明する。第３実施形態のテンプレートマッチングは、図３のステップＳ１,Ｓ３において“濃度ヒストグラム”の代わりに“領域濃度差”を算出し、図８のステップＳ２１〜Ｓ２４において“濃度慣性モーメント”の代わりに“領域濃度差”を用いるものである。第３実施形態でも、ＲＧＢ成分を含む画像(２１,２５,２２)を例に説明する。
【００４３】
まず（図３のＳ１のタイミングで）、画像処理部１４は、テンプレート画像２２の全体からＲＧＢ成分の領域濃度差Ｄ22を各色成分ごとに算出する。例えば、Ｒ成分の領域濃度差Ｄ22は、テンプレート画像２２のＲ成分（図１０）の予め定めた中央領域２Ａと周辺領域２Ｂとの各々における平均濃度の差により算出される（式(２)）。なお、中央領域２Ａと周辺領域２Ｂは、請求項の「第１範囲」と「第２範囲」に対応する。
【００４４】
Ｄ22 ＝ (中央領域２Ａの平均濃度)−(周辺領域２Ｂの平均濃度)  …(２)
式(２)の領域濃度差Ｄ22は、周辺領域２Ｂに対する中央領域２Ａの平均的な濃度差を表している。このため、例えば図１１(ａ)に示すように、テンプレート画像２２のＲ成分が、暗い背景（濃度値が最小）の中央に明るい点（濃度値が最大）を含むような場合、濃度値を２５６段階（０〜２５５）とすると、中央領域２Ａは大きな平均濃度(例えば２０５)、周辺領域２Ｂは小さな平均濃度(例えば２１)となり、式(２)の領域濃度差Ｄ22は大きなプラスの値(例えば１８４)となる。逆に中央領域２Ａが暗く周辺領域２Ｂが明るい場合、領域濃度差Ｄ22はマイナスの値になる。
【００４５】
また、例えば図１１(ｂ)に示すように、テンプレート画像２２のＲ成分が、暗い背景（濃度値が最小）の中に分散して多数の明るい点（濃度値が最大）を含むような場合、中央領域２Ａは中間的な平均濃度(例えば１２３)、周辺領域２Ｂも中間的な平均濃度(例えば１０８)となり、式(２)の領域濃度差Ｄ22は小さな値(例えば１５)となる。上記したＲＧＢ成分の領域濃度差Ｄ22は、画素の位置に依存しない特徴量である。
【００４６】
また、画像処理部１４は、入力画像２１の中から円形状の部分画像２５をマッチング演算用に抽出すると、図３のＳ３のタイミングで、部分画像２５の全体からＲＧＢ成分の領域濃度差Ｄ25を各色成分ごとに算出する。例えば、Ｒ成分の領域濃度差Ｄ25の算出は、部分画像２５のＲ成分の全体から、テンプレート画像２２と同じ中央領域２Ａ,周辺領域２Ｂ（図１０）を用い、上記した式(２)と同様の式により行われる。Ｇ成分,Ｂ成分も同様である。ＲＧＢ成分の領域濃度差Ｄ25は、画素の位置に依存しない特徴量である。
【００４７】
ここで、演算用の部分画像２５の領域濃度差Ｄ25と、入力画像２１の回転変化との関係について説明する。既に説明した通り、入力画像２１に回転変化（図５参照）があると、矩形状の部分画像２４の濃度情報は四隅付近で変化するが、円形状の部分画像２５の濃度情報は変化しない。このため、円形状の部分画像２５から算出した領域濃度差Ｄ25は、入力画像２１の回転変化に対して不変な特徴量と考えられる。
【００４８】
画像処理部１４は、上記のようにして、テンプレート画像２２の領域濃度差Ｄ22と、部分画像２５の領域濃度差Ｄ25とを算出し終えると、２つの領域濃度差Ｄ22,Ｄ25に基づいて、部分画像２５とテンプレート画像２２とのマッチング演算を行う。
まず（図８のステップＳ２１のタイミングで）、画像処理部１４は、部分画像２５のＲ成分の領域濃度差Ｄ25と、テンプレート画像２２のＲ成分の領域濃度差Ｄ22（図１１(ａ)の場合は１８４)(図１１(ｂ)の場合は１５）とを比較し、２つのＲ成分の領域濃度差Ｄ25,Ｄ22の差分の絶対値を出力する。この出力値ＰRは、Ｒ成分の領域濃度差Ｄ25,Ｄ22の類似性に関する指標である。
【００４９】
同様に（図８のステップＳ２２のタイミングで）、部分画像２５のＧ成分の領域濃度差Ｄ25と、テンプレート画像２２のＧ成分の領域濃度差Ｄ22とを比較し、２つのＧ成分の領域濃度差Ｄ25,Ｄ22の差分の絶対値を出力する（出力値ＰG）。さらに（ステップＳ２３のタイミングで）、部分画像２５のＢ成分の領域濃度差Ｄ25と、テンプレート画像２２のＢ成分の領域濃度差Ｄ22とを比較し、２つのＢ成分の領域濃度差Ｄ25,Ｄ22の差分の絶対値を出力する（出力値ＰB）。
【００５０】
上記した通り、演算用の部分画像２５は円形状であり、この部分画像２５から算出した領域濃度差Ｄ25は、ＲＧＢ成分の何れも、入力画像２１の回転変化に対して不変な特徴量である。したがって、上記したＲ成分の出力値ＰRと、Ｇ成分の出力値ＰGと、Ｂ成分の出力値ＰBは、各々、入力画像２１の回転変化に対して不変な特徴量と考えられる。
次に（ステップＳ２４のタイミングで）、画像処理部１４は、上記したＲＧＢ成分の出力値ＰR,ＰG,ＰBの和を求め、その値を「部分画像２５とテンプレート画像２２との類似度」とする。この類似度（＝ＰR＋ＰG＋ＰB）は、部分画像２５とテンプレート画像２２との「類似性に関する指標」であり、入力画像２１の回転変化に対して不変な特徴量と考えられる。また、類似度（＝ＰR＋ＰG＋ＰB）の傾向は、その値が大きいほど、部分画像２５とテンプレート画像２２との類似性が高く、部分画像２５の抽出位置(Ｘ2,Ｙ2)が合致位置(Ｘ1,Ｙ1)に近いことを表す。
【００５１】
第３実施形態のテンプレートマッチングでは、演算用の部分画像２５の抽出位置(Ｘ2,Ｙ2)を少しずつ移動させながら、各々の位置で部分画像２５を順に抽出し、部分画像２５を抽出する毎に、ＲＧＢ成分の領域濃度差Ｄ25,Ｄ22に基づいてマッチング演算を繰り返し行う。そして、入力画像２１の中の異なる複数の位置で求められた類似度（＝ＰR＋ＰG＋ＰB）を大小比較することにより、その値が最も大きく、テンプレート画像２２との類似性が最も高い部分画像２５の抽出位置(Ｘ2,Ｙ2)を合致位置(Ｘ1,Ｙ1)と特定する。
【００５２】
上記のように、第３実施形態のテンプレートマッチングでは、マッチング演算（Ｓ２１〜Ｓ２４参照）の結果である類似度（＝ＰR＋ＰG＋ＰB）が、図５に示すような入力画像２１の回転変化に対して不変な特徴量として求められ、この類似度（＝ＰR＋ＰG＋ＰB）を大小比較する。このため、入力画像２１に回転変化があっても正確に合致位置(Ｘ1,Ｙ1)を特定することができる。
【００５３】
また、演算用の部分画像２５の濃度範囲とテンプレート画像２２の濃度範囲とを一致させることにより（正規化処理）、入力画像２１のコントラストの変化やノイズにも対応でき、正確に合致位置(Ｘ1,Ｙ1)を特定することができる。
さらに、第３実施形態のテンプレートマッチングでは、各々の画像(２１,２５,２２)に含まれる全ての色成分（つまりＲＧＢ成分）の領域濃度差Ｄ25,Ｄ22に基づいて、同じ色成分どうしを比較することにより、マッチング演算(Ｓ２１〜Ｓ２４参照)を行う。このため、多くの情報量を確保でき、より正確に合致位置(Ｘ1,Ｙ1)を特定できる。
（変形例）
なお、上記した実施形態では、濃度ヒストグラムＨ25,Ｈ22に基づくマッチング演算の例と、濃度慣性モーメントＭ25,Ｍ22に基づくマッチング演算の例と、領域濃度差Ｄ25,Ｄ22に基づくマッチング演算の例をそれぞれ説明したが、本発明はこれに限定されない。任意の２種類を組み合わせてマッチング演算を行う場合にも、本発明を適用できる。あるいは相互相関や最小残差と濃度ヒストグラムなどを組み合わせてもよい。
【００５４】
また、上記した実施形態では、３つの色成分（つまりＲＧＢ成分）を含む画像(２１,２５,２２)の例で説明したが、本発明はこれに限定されない。色成分の数が２つであっても４つ以上であっても本発明を適用できる。つまり複数の色成分を含む場合に本発明を適用できる。さらに、画像(２１,２５,２２)が複数の色成分を含まない場合、つまり単色の濃淡画像である場合にも、本発明を適用できる。
【００５５】
また、上記した実施形態では、入力画像２１の中から円形状の部分画像２５を抽出する処理を２段階で行う例（図２参照）を説明したが、本発明はこれに限定されない。入力画像２１の中から直接（１回の処理で）円形状の部分画像２５を抽出しても構わない。
さらに、上記した実施形態では、図１の観察装置１０のような光学顕微鏡装置を例にテンプレートマッチングの説明を行ったが、本発明はこれに限定されない。その他、試料の局所領域を電子線で走査して画像を取り込む電子顕微鏡装置にも、本発明を適用できる。試料の局所領域の画像に限らず、試料の全面の画像を一括で取り込む装置にも、本発明を適用できる。観察装置１０などに接続された外部のコンピュータを用いた場合でも、同様の効果を得ることができる。
【図面の簡単な説明】
【００５６】
【図１】観察装置１０の概略図である。
【図２】入力画像２１,テンプレート画像２２,ターゲット２３,演算用の部分画像２５などを説明する図である。
【図３】第１実施形態のテンプレートマッチングの処理手順を示すフローチャートである。
【図４】テンプレート画像２２のＲＧＢ成分の濃度ヒストグラムＨ22と部分画像２５のＲＧＢ成分の濃度ヒストグラムＨ25とを説明する図である。
【図５】円形状の演算用の部分画像２５における濃度情報と、入力画像２１の回転変化との関係を説明する図である。
【図６】ＲＧＢ成分の濃度ヒストグラムＨ25,Ｈ22の重なり部分に基づくマッチング演算について説明する図である。
【図７】ＲＧＢ成分の濃度ヒストグラムＨ25,Ｈ22の差分に基づくマッチング演算について説明する図である。
【図８】第２実施形態のテンプレートマッチングにおける処理手順の一部を示すフローチャートである。
【図９】Ｒ成分の濃度慣性モーメントＭ22について説明する図である。
【図１０】第３実施形態において領域濃度差Ｄ25,Ｄ22を算出するための領域について説明する図である。
【図１１】テンプレート画像２２のＲ成分の一例について説明する図である。
【図１２】矩形状の演算用の部分画像における濃度情報と、入力画像の回転変化との関係を説明する図である。
【符号の説明】
【００５７】
１０  観察装置
１１  ステージ
１２  光学系
１３  カメラ
１４  画像処理部
２１  入力画像
２２  テンプレート画像
２３  ターゲット
２５  演算用の部分画像
【図１】
2005352543.tif 000003
【図２】
2005352543.tif 000004
【図３】
2005352543.tif 000005
【図４】
2005352543.tif 000006
【図５】
2005352543.tif 000007
【図６】
2005352543.tif 000008
【図７】
2005352543.tif 000009
【図８】
2005352543.tif 000010
【図９】
2005352543.tif 000011
【図１０】
2005352543.tif 000012
【図１１】
2005352543.tif 000013
【図１２】
2005352543.tif 000014