(57)【特許請求の範囲】
【請求項１】
光学的な外観検査装置で検査された様々な微小欠陥が存在する被対象物が投入されて教示用および分類用の様々な微小欠陥の高精細な外観画像を取得するＳＥＭ装置又はｉ線や紫外線の短波長の光を用いた光学顕微鏡で構成された画像取得部と、
該画像取得部で取得された教示用および分類用の様々な微小欠陥の高精細な外観画像を記憶するメモリ部と、
該メモリ部で記憶された教示用の様々な微小欠陥の高精細な外観画像を表示する画像表示部と、
該画像表示部で表示された教示用の様々な微小欠陥の高精細な外観画像における特徴的な外観を示す局所的な部位を指定して入力する入力手段と、
該入力手段によって指定された前記教示用の様々な微小欠陥の高精細な外観画像における特徴的な外観を示す局所的な部位における複数の組合せからなる画像特徴量を抽出し、この抽出された複数の組合せの各画像特徴量を要素にした多次元特徴空間における多次元ベクトルを算出し、この算出された複数の組合せの各画像特徴量を要素にした多次元ベクトルから多次元特徴空間における欠陥のカテゴリーを分類判定する領域を決定して教示する教示部と、
前記画像取得部で取得されてメモリ部に記憶された前記分類用の様々な微小欠陥の高精細な外観画像より多次元特徴空間における多次元ベクトルで現される複数の組合せからなる画像特徴量を抽出し、この抽出された多次元ベクトルで現される複数の組合せの各画像特徴量を多次元特徴空間にマッピングすることによって、前記教示部で教示された分類判定する領域との関係から欠陥のカテゴリーを分類判定する判定部とを備えたことを特徴とする外観画像分類装置。
【請求項２】
前記判定部において、前記分類用の様々な微小欠陥の高精細な外観画像に対して基底変換を施す基底変換部を有し、該基底変換部で基底変換された画像から多次元特徴空間における多次元ベクトルで現される複数の組合せからなる画像特徴量を抽出するように構成したことを特徴とする請求項１記載の外観画像分類装置。
【請求項３】
前記判定部において、前記分類用の様々な微小欠陥の高精細な外観画像に対して基底変換を施し、更に基底変化された画像を圧縮する基底変換部を有し、該基底変換部で基底変換されて圧縮された画像から多次元特徴空間における多次元ベクトルで現される複数の組合せからなる画像特徴量を抽出するように構成したことを特徴とする請求項１記載の外観画像分類装置。
【請求項４】
前記判定部において、前記分類用の様々な微小欠陥の高精細な外観画像を局所領域ごとに分割する画像分割部を有し、該画像分割部で分割された局所領域ごとの画像を前記基底変換部に入力するように構成したことを特徴とする請求項２または３記載の外観画像分類装置。
【請求項５】
前記教示部において、前記教示用の様々な微小欠陥の高精細な外観画像に対して基底変換を施す基底変換部を有し、該基底変換部で基底変換された画像として得られた特徴量の内、入力手段によって指定された局所的な部位に対応する複数の組合せからなる画像特徴量を抽出するように構成したことを特徴とする請求項１記載の外観画像分類装置。
【請求項６】
前記教示部において、前記教示用の様々な微小欠陥の高精細な外観画像に対して基底変換を施し、更に基底変化された画像を圧縮する基底変換部を有し、該基底変換部で基底変換されて圧縮された画像として得られた特徴量の内、入力手段によって指定された局所的な部位に対応する複数の組合せからなる画像特徴量を抽出するように構成したことを特徴とする請求項１記載の外観画像分類装置。
【請求項７】
前記教示部において、前記教示用の様々な微小欠陥の高精細な外観画像を局所領域ごとに分割する画像分割部を有し、該画像分割部で分割された局所領域ごとの画像を前記基底変換部に入力するように構成したことを特徴とする請求項５または６記載の外観画像分類装置。
【請求項８】
前記画像分割部において、前記分割された局所領域ごとの画像を前記画像表示部に表示するように構成したことを特徴とする請求項４または７記載の外観画像分類装置。
【請求項９】
前記教示部において、前記教示用の様々な微小欠陥の高精細な外観画像に対して平行移動、回転、拡大、縮小の少なくとも１つの処理を施して前記分類用の様々な微小欠陥の高精細な外観画像に対応する前記教示用の様々な微小欠陥の高精細な外観画像を生成する教示用画像生成部を有することを特徴とすることを特徴とする請求項１記載の外観画像分類装置。
【請求項１０】
光学的な外観検査装置で検査された様々な微小欠陥が存在する被対象物が投入されてＳＥＭ装置又はｉ線や紫外線の短波長の光を用いた光学顕微鏡により教示用および分類用の様々な微小欠陥の高精細な外観画像を取得してメモリ部に記憶する画像取得過程と、
該画像取得過程でメモリ部に記憶された教示用の様々な微小欠陥の高精細な外観画像を画像表示部に表示し、該表示された教示用の様々な微小欠陥の高精細な外観画像における特徴的な外観を示す局所的な部位を指定し、該指定された局所的な部位における複数の組合せからなる画像特徴量を抽出し、この抽出された複数の組合せの各画像特徴量を要素にした多次元特徴空間における多次元ベクトルを算出し、この算出された複数の組合せの各画像特徴量を要素にした多次元ベクトルから多次元特徴空間における欠陥のカテゴリーを分類判定する領域を教示する教示過程と、
前記画像取得過程でメモリ部に記憶された分類用の様々な微小欠陥の高精細な外観画像より多次元特徴空間における多次元ベクトルで現される複数の組合せからなる画像特徴量を抽出し、この抽出された多次元ベクトルで現される複数の組合せの各画像特徴量を多次元特徴空間にマッピングすることによって、前記教示過程で教示された分類判定する領域との関係から欠陥のカテゴリーを分類判定する判定過程とを有することを特徴とする外観画像分類方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、半導体の製造状態等を自動的に分類判定する装置に関し、特に半導体等の外観画像を取得し、前記外観画像を認識することで半導体の製造状態等を判定する外観画像分類装置およびその方法に関する。
【０００２】
【従来の技術】
半導体の画像を取得し、前記外観画像を認識することで半導体の製造状態を判定する装置としては、たとえば特開平０７−２０１９４６号公報に示されるように、欠陥の分類結果を修正するために分類結果を教示する手段と欠陥分類された結果を作業者に視覚的に提示し、作業者が欠陥分類結果とそれに関連する情報の各情報を確認できかつその情報を変更あるいは新たな情報を付加することを可能とする手段を有するユニットにより教示された分類結果をもとに対応する欠陥の特徴量の解釈を更新する装置があった。
【０００３】
【発明が解決しようとする課題】
しかし、上記従来の技術はあらかじめ欠陥の画像特徴を抽出する画像抽出アルゴリズムが決定されており、半導体製造プロセスの変化や半導体の設計の変化による良品や欠陥の外観が変化した場合に対応することが難しかった。上記従来の技術では装置にあらかじめ複数の画像特徴抽出アルゴリズムを組み込んでおき、ユーザの教示をもとに画像特徴抽出アルゴリズムの出力結果の解釈を変化させ欠陥の判定を行っていた。しかし、半導体製造プロセスは製造工程の違いにより欠陥の特徴や良品部分の特徴が変化してしまうため、プロセスの変更により当初は十分であった画像特徴の抽出アルゴリズム自体がその後の製造状態を判定するに足る画像特徴の抽出を実現できないケースが発生していた。このため、新たに画像特徴量を抽出するアルゴリズムを開発することなしに新たなプロセスに対応させることが困難であるという課題があった。
【０００４】
本発明の目的は、上記課題を解決すべく、プロセスが変化した場合にも画像特徴抽出アルゴリズムを変更すること無く半導体等の欠陥を発生させる半導体等の製造状態（カテゴリー）を分類できるようにした外観画像分類装置およびその方法を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像を表示する画像表示部と、該画像表示部で表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定して入力する入力手段と、該入力手段によって指定された局所的な部位における画像の特徴量を抽出し、この抽出された局所的な部位における画像の特徴量を基に、分類判定する判定基準を教示する教示部と、該教示部で教示された判定条件に基いて、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像に対して該外観画像の状態を分類判定する判定部とを備えたことを特徴とする外観画像分類装置である。
【０００６】
また、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像を表示する画像表示部と、該画像表示部で表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定し、該局所的な部位における画像の特徴の種類を入力する入力手段と、該入力手段によって指定された局所的な部位における前記入力手段で入力された画像の特徴の種類に応じた画像の特徴量を抽出し、この抽出された局所的な部位における画像の特徴量を基に分類判定する判定条件を教示する教示部と、該教示部で教示された判定条件に基いて、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像に対して該外観画像の状態を分類判定する判定部とを備えたことを特徴とする外観画像分類装置である。
【０００７】
また、本発明は、前記外観画像分類装置の前記画像表示部において、前記入力手段によって画像の特徴の種類を画面上で入力できるように、画像の特徴の種類を表示するように構成したことを特徴とする。また、本発明は、前記外観画像分類装置の前記入力手段において、入力する局所的な部位における画像の特徴の種類として、少なくともエッジ、濃淡値、テクスチャ、色の少なくとも１つを入力可能に構成することを特徴とする。
【０００８】
また、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像を表示する画像表示部と、該画像表示部で表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定して入力する入力手段と、該入力手段によって指定された局所的な部位における画像の特徴量を抽出し、この抽出された画像の特徴量を基に多次元特徴空間における特徴ベクトルを算出し、この算出された特徴ベクトルから多次元特徴空間における分類判定する領域を教示する教示部と、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像より多次元特徴空間における多次元ベクトルで現される画像の特徴量を抽出し、この抽出された多次元ベクトルで現される画像の特徴量を多次元特徴空間にマッピングすることによって、前記教示部で教示された領域との関係から外観画像の状態を分類判定する判定部とを備えたことを特徴とする外観画像分類装置およびその方法である。
【０００９】
また、本発明は、前記外観画像分類装置の前記判定部において、分類用の外観画像に対して基底変換を施す基底変換部を有し、該基底変換部で基底変換された画像から多次元特徴空間における多次元ベクトルで現される画像の特徴量を抽出するように構成したことを特徴とする。
また、本発明は、前記外観画像分類装置の前記判定部において、分類用の外観画像に対して基底変換を施し、更に基底変化された画像を圧縮する基底変換部を有し、該基底変換部で基底変換されて圧縮された画像から多次元特徴空間における多次元ベクトルで現される画像の特徴量を抽出するように構成したことを特徴とする。
【００１０】
また、本発明は、前記外観画像分類装置の前記判定部において、分類用の外観画像を局所領域ごとに分割する画像分割部を有し、該画像分割部で分割された局所領域ごとの画像を前記基底変換部に入力するように構成したことを特徴とする。
【００１１】
また、本発明は、前記外観画像分類装置の前記教示部において、教示用の外観画像に対して基底変換を施す基底変換部を有し、該基底変換部で基底変換された画像として得られた特徴量の内、入力手段によって指定された局所的な部位に対応する画像の特徴量を抽出するように構成したことを特徴とする。
また、本発明は、前記外観画像分類装置の前記教示部において、教示用の外観画像に対して基底変換を施し、更に基底変化された画像を圧縮する基底変換部を有し、該基底変換部で基底変換されて圧縮された画像として得られた特徴量の内、入力手段によって指定された局所的な部位に対応する画像の特徴量を抽出するように構成したことことを特徴とする。
【００１２】
また、本発明は、前記外観画像分類装置の前記教示部において、教示用の外観画像を局所領域ごとに分割する画像分割部を有し、該画像分割部で分割された局所領域ごとの画像を前記基底変換部に入力するように構成したことを特徴とする。
【００１３】
また、本発明は、前記外観画像分類装置の前記画像分割部において、分割された局所領域ごとの画像を前記画像表示部に表示するように構成したことを特徴とする。
また、本発明は、前記外観画像分類装置の前記教示部において、教示用の外観画像に対して平行移動、回転、拡大、縮小の少なくとも１つの処理を施して分類用の画像に対応する教示用の画像を生成する教示用画像生成部を有することを特徴とすることを特徴とする。
【００１４】
また、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像を表示する画像表示部と、該画像表示部で表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定して入力する入力手段と、該入力手段によって指定された局所的な部位における画像の特徴量を抽出し、この抽出された画像の特徴量を基に多次元特徴空間における多次元特徴ベクトルを算出し、この算出された多次元特徴空間における多次元特徴ベクトルを中心とした楕円状の空間領域を教示する教示部と、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像より画像の特徴量を抽出し、この抽出された画像の特徴量を基に多次元特徴空間における多次元ベクトルを算出し、この算出された多次元ベクトルが前記教示部で教示された楕円状の空間領域内に存在する場合前記分類用の外観画像が前記教示用の画像と同一のグループであると判定する判定部とを備えたことを特徴とする外観画像分類装置およびその方法である。
【００１５】
また、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像を表示する画像表示部と、該画像表示部で表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定して入力する入力手段と、該入力手段によって指定された局所的な部位における画像の特徴量を抽出し、この抽出された画像の特徴量を基に複数の教示用の外観画像の多次元特徴空間における複数の多次元特徴ベクトルを算出し、この算出された多次元特徴空間における多次元特徴ベクトルを補間したベクトル軌跡を中心としたドーナツ状の空間領域を教示する教示部と、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像より画像の特徴量を抽出し、この抽出された画像の特徴量を基に多次元特徴空間における多次元ベクトルを算出し、この算出された多次元ベクトルが前記教示部で教示された楕円状の空間領域内に存在する場合前記分類用の外観画像が前記教示用の画像と同一のグループであると判定する判定部とを備えたことを特徴とする外観画像分類装置およびその方法である。
【００１６】
また、本発明は、被対象物についての教示用および分類用の外観画像を取得する画像取得部と、該画像取得部で取得された教示用および分類用の外観画像を記憶するメモリ部と、該メモリ部で記憶された教示用の外観画像に対して教示用の局所領域ごとに分割し、この分割された教示用の局所領域ごとの画像の特徴量を抽出し、この抽出された教示用の局所領域ごとの画像の特徴量を基に多次元特徴空間における多次元特徴ベクトルを算出し、この算出された多次元特徴空間における多次元特徴ベクトルから多次元特徴空間における分類判定する各グループの領域を教示する教示部と、前記画像取得部で取得されてメモリ部に記憶された分類用の外観画像に対して局所領域ごとに分割し、この分割された局所領域ごとに、画像を位置、および形状について正規化し、この正規化された局所領域ごとの画像の特徴量を多次元特徴空間にマッピングすることによって、前記教示部で教示された各グループの領域との関係から外観画像の状態を分類判定する判定部とを備えたことを特徴とする外観画像分類装置およびその方法である。
【００１７】
また、本発明は、上記外観画像分類装置およびその方法の前記教示部および判定部において、画像をフーリエ変換して得られるスペクトル分布によって前記画像の特徴量を抽出するように構成したことを特徴とする。
また、本発明は、上記外観画像分類装置およびその方法の前記画像表示部において、分類用の外観画像上に、分類用の外観画像の判定に寄与した主要な画像特徴量を抽出した画像に対応する画像をオーバレイで表示するように構成したことを特徴とする。
また、本発明は、上記外観画像分類装置およびその方法の前記判定部において判定する際、その判定の確からしさを示す判定確信度を出力する出力手段を備えたことを特徴とする。
【００１８】
また、本発明は、被対象物についての教示用の外観画像を取得してメモリ部に記憶し、該記憶された教示用の外観画像を画像表示部に表示し、該表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定し、該指定された局所的な部位における画像の特徴量を抽出し、この抽出された局所的な部位における画像の特徴量を基に、分類判定する判定基準を教示する教示過程と、
被対象物についての分類用の外観画像を取得してメモリ部に記憶し、該記憶された分類用の外観画像に対して、前記教示過程で教示された判定基準に基いて、前記外観画像の状態を分類判定する判定過程とを有することを特徴とする外観画像分類方法である。
【００１９】
また、本発明は、被対象物についての教示用の外観画像を取得してメモリ部に記憶し、該記憶された教示用の外観画像を画像表示部に表示し、該表示された教示用の外観画像における特徴的な外観を示す局所的な部位を指定し、更に該局所的な部位における画像の特徴の種類を入力し、該指定された局所的な部位における前記入力された画像の特徴の種類に応じた画像の特徴量を抽出し、この抽出された局所的な部位における画像の特徴量を基に、分類判定する判定基準を教示する教示過程と、
被対象物についての分類用の外観画像を取得してメモリ部に記憶し、該記憶された分類用の外観画像に対して、前記教示過程で教示された判定基準に基いて、前記外観画像の状態を分類判定する判定過程とを有することを特徴とする外観画像分類方法である。
【００２０】
また、本発明は、前記外観画像装置において、教示用の画像を基底変換した状態で格納しておくことを特徴とする。
また、本発明は、前記外観画像装置において、基底変換して圧縮する際、対象の特徴的な外観を有する部位の画像特徴量に対応しない基底を縮退させることにより圧縮をおこなうように構成することを特徴とする。
また、本発明は、前記外観画像装置において、判定部は対象の製造状態を判定する際に判定の確からしさを示す判定確信度を出力可能であることと出力した判定確信度をキーとして判定部が処理した１群の画像を順番付けし、順番付けした順に１群の画像を１枚ずつ、あるいは並べて表示することを特徴とする。
【００２１】
以上説明したように、前記構成によれば、プロセスが変化した場合にも画像特徴抽出アルゴリズムを変更すること無く半導体の欠陥等を発生させる半導体等の製造状態（カテゴリー）を分類することができる。
【００２２】
【発明の実施の形態】
本発明に係る半導体ウエハ等の被対象基板の外観画像を基に製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定する製造状態自動判定装置の実施の形態を図面を用いて説明する。
【００２３】
図１は本発明に係る製造状態自動判定装置の基本構成を示す図である。
【００２４】
まず、製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定するためには、様々な製造プロセスで製造された半導体ウエハ等の被対象基板上に発生する異物や配線パターン欠陥などのサイズや表面状態が異なる様々な約０．１μｍ程度以下の微小欠陥まで、画像取得部１０１において、図３に示す如く、高精細な外観画像を取得する必要がある。
【００２５】
従って、画像取得部１０１としては、様々な約０．１μｍ程度以下の微小欠陥までの高精細な外観画像を取得できるＳＥＭまたはｉ線や紫外線等の短波長の光を用いた光学顕微鏡等が用いられる。
【００２６】
ところで、通常、半導体の製造ラインにおいては、光学的な外観検査装置（異物検査装置またはパターン検査装置）によって、様々な製造プロセスで製造された半導体ウエハ等の被対象基板に対して異物や配線パターン欠陥などの様々な微小欠陥の検査が行われ、欠陥が存在する場合には、被対象基板上の基準マークを基準に設定された座標系で、欠陥の概略位置座標が求められて出力されるようになっている。即ち、光学的な外観検査装置（異物検査装置またはパターン検査装置）は、検査された被対象基板に対して、欠陥が存在する場合には、通常その欠陥の概略位置座標が出力されるように構成されている。
【００２７】
そのため、全体制御部１０７は、異物や配線パターン欠陥などの様々な欠陥が存在する被対象基板についての欠陥の概略位置座標を、光学的な外観検査装置（異物検査装置またはパターン検査装置）からネットワークまたは記録媒体を介して入力して、例えばメモリ部１０４に記憶することが可能である。
【００２８】
そこで、画像取得部１０１は、製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定するための教示用データを作成するための異物や配線パターン欠陥などの様々な教示用欠陥が存在する教示用基板や、半導体製造ラインから逐次得られ、光学的な外観検査装置（異物検査装置またはパターン検査装置）で検査されて製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定する必要のある異物や配線パターン欠陥などの様々な欠陥が存在する被対象基板をステージ上に載置し、例えばメモリ部１０４に記憶された欠陥の概略位置座標を基に教示用基板や被対象基板を位置決めすることによって、図３に示すような教示用も含めて様々な微小欠陥の高精細な外観画像が取得してメモリ部１０４に記憶させることができる。
【００２９】
図２には、画像取得部１０１の一実施例であるＳＥＭ装置１０１ａを示す。ＳＥＭ装置１０１ａの場合、高精細な外観画像として電子線画像を取得することができる。ＳＥＭ装置１０１ａは、検出部１０と、電子線画像取り出し部３０とから構成される。検出部１０における電子光学計は、電子銃１１と、電子線引き出し電極（図示せず）、コンデンサレンズ１２、ブランキング用偏向器（図示せず）、絞り（図示せず）、走査偏向器１３、対物レンズ１４、検出電子を反射させる反射板（図示せず）、ＥｘＢ偏向器（図示せず）、およびビーム電流を検出するファラデーカップ（図示せず）から構成される。反射板は、円錐形状にして二次電子増倍効果を持たせた。電子検出部のうち、例えば二次電子、反射電子等の電子を検出する電子検出器２０が、例えば対物レンズ１４の上方または下方に設置される。そして、電子検出器２０の出力信号は、アンプ２１で増幅される。
【００３０】
試料室内には、高精細な外観画像を取得するための被対象基板（教示用基板も含む）１６を載置する試料台２３と、該試料台２３をＸ−Ｙ方向に移動するステージ１８と、該ステージの位置を測定する位置モニタ用測長器（図示せず）と、被対象基板１６の高さを測定する高さ測定器（図示せず）とが設置されている。位置モニタ用測長器は、ステージ１８等の位置を測定し、その結果を全体制御部１０７に転送する。また、ステージ１８の駆動系も全体制御部１０７によって制御される。従って、全体制御部１０７は、これらのデータに基いて電子線２２が照射されている領域や位置が正確に把握できるようになっている。さらに、メモリ部１０４には、光学的な外観検査装置（異物検査装置またはパターン検査装置）で検査された異物や配線パターン欠陥などの様々な欠陥が存在する被対象基板（教示用基板も含む）についての欠陥の概略位置座標（概略位置データ）が記憶されている。従って、光学的な外観検査装置（異物検査装置またはパターン検査装置）で検査された異物や配線パターン欠陥などの様々な欠陥が存在する被対象基板１６がステージ１８上に載置されると、全体制御部１０７はメモリ部１０４に記憶された欠陥の概略位置データと位置モニタ用測長器で測定されるステージ１８等の位置座標とに基いてステージ１８を制御することによって電子線２２が照射される領域（視野）内に欠陥を位置決めすることができる。
【００３１】
高さ測定器は、光学式測定器等が使用されてステージ１８上に載置された被対象基板（教示用基板も含む）１６の高さを測定するものである。そして、高さ測定器で測定された高さデータに基いて、電子線を細く絞るための対物レンズ１４の焦点距離がダイナミックに補正され、常に観察領域に焦点のあった状態で電子線が照射できるようになっている。
【００３２】
電子銃１１を出た電子ビームは、コンデンサレンズ１２、対物レンズ１４を経て、試料面では画素サイズ程度のビーム径に絞られる。この際、グランド電極１５、リターディング電極１７によって、試料１６に負電位を印加し、対物レンズ１４と被対象基板１６との間で電子ビームを減速することで低加速電圧領域での高分解能化を図る。電子線２２が照射されると、被対象基板（半導体ウエハ）１６からは電子が発生する。走査偏向器１３による電子線２２のＸ方向の繰り返し走査と、ステージ１８による被対象基板１６のＹ方向の連続的な移動に同期して被対象基板から発生する電子を検出することで、被対象基板の２次元の高精細な電子線像が得られる。被対象基板から発生した電子は、電子検出器２０で捕らえられ、アンプ２１で増幅される。ここで、走査偏向器１３としては、偏向速度の速い静電偏向器を用いるとよい。また、電子銃１１としては、電子ビーム電流を大きくできて照射時間を短くできる熱電界放射型電子銃を用いるのがよい。また、電子検出器２０には、高速駆動可能な半導体検出器を用いるのがよい。
【００３３】
画像取り出し部３０は、主としてＡ／Ｄ変換器３１と、前処理回路３２とによって構成される。そして、電子検出器２０で検出された電子検出信号は、アンプ２１で増幅され、Ａ／Ｄ変換器３１によりデジタル画像データ（階調画像データ）に変換される。この変換されたデジタル画像データは、例えば伝送手段（光ファイバケーブル）により伝送され、前処理回路３２に入力される。前処理回路３２では、暗レベル補正、電子線の揺らぎ補正、およびシェーディング補正等が行われ、さらにフィルタリング処理を行って画質を改善する。
【００３４】
以上説明したように、ＳＥＭ装置１０１ａにおいて、様々な製造プロセスから得られ、サイズや状態の異なる様々な微小欠陥が存在する被対象基板（教示用基板も含む）１６が、ステージ１８上に載置することによって、微小欠陥が電子線２２が照射される領域（視野）内に位置決めされ、該欠陥の電子線画像による高精細な外観画像が取得され、バス１０９を介してメモリ部１０４に蓄積されることになる。
【００３５】
次に、予め教示用として画像取得部１０１で取得してメモリ部１０４に蓄積した教示用の様々な微小欠陥の高精細な外観画像を基に、製造プロセスの状態を自動的に判定するための教示用データを作成し、この作成された教示用データを基に、画像取得部１０１で取得されてメモリ部１０４に記憶された製造プロセス状態判定分類用（欠陥カテゴリー分類用）の様々な微小欠陥の高精細な外観画像について製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定することについて説明する。
【００３６】
画像表示部１０２は、ＳＥＭや光学顕微鏡等の画像取得部１０１で取得され、画像メモリ等からなるメモリ部１０４に蓄積された（記憶された）教示用および、製造プロセス状態判定分類用（欠陥カテゴリー分類用）の半導体ウエハ等に発生した様々な欠陥の高精細な外観画像と、該欠陥のサイズを示すエッジ情報や欠陥の表面状態を示すテキスチャ、濃淡値、カラー（光学画像の場合は得られる。）等の欠陥の種類とを装置ユーザに対して表示するものである。入力手段１０３は、画像表示部１０２に表示したポインタを移動させるための情報等を装置ユーザが入力するためのものである。
【００３７】
ＣＰＵ等から構成された自動判定部１０５は、メモリ部１０４に蓄積された製造プロセス状態判定用（欠陥カテゴリー分類用）の各種の欠陥の高精細な外観画像に対して画像処理を施すことによって、製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定するものである。
【００３８】
自動判定部１０５内の画像特徴量自動抽出部を有する教示部１０６は、製造プロセスの状態（特に欠陥の発生状態、即ち欠陥のカテゴリー）を自動的に判定するための教示データを作成するためのものである。
【００３９】
以上説明したように、本発明に係る製造状態自動判定装置は、画像取得部１０１、画像表示部１０２、メモリ部１０４、自動判定部１０５、および入力手段１０３等を接続した全体制御部１０７等を、バス１０９を介して接続して構成される。全体制御部１０７は、画像取得部１０１、メモリ部１０４、画像表示部１０２、および自動判定部１０５の全体を制御するものである。
【００４０】
次に、自動判定部１０５内の教示部１０６において、教示データを作成することについて図３を用いて説明する。まず、光学的な外観検査装置（異物検査装置またはパターン検査装置）で検査された異物や配線パターン欠陥などの様々な欠陥が存在する被対象基板を基に、教示用の外観画像として選ばれた様々な欠陥が存在する被対象基板１６を投入し、図３に示すような教示用の外観画像を、画像取得部１０１で取得してメモリ部１０４に蓄積する。次に、全体制御部１０７は、入力手段１０３からの選択指令に基いて、メモリ部１０４に蓄積された教示用の外観画像から、所望のものを選択して画像表示部１０２に表示する。
【００４１】
画像表示部１０２に表示された教示用の外観画像は、半導体の欠陥部２０１の拡大画像であり、暗くかつ細かいテクスチャを示す領域２０２が存在し、且つその周囲にサイズを示す明確な円状のエッジ２０３があることが特徴である。このように欠陥２０１は、異物や局所的なプロセスにおける異常によりある局所的な領域において異常が発生するが、その１個所の異物においてもさまざまな特徴（エッジ、濃淡値、テクスチャ、色等）の組み合わせにより構成されている。なお、特徴として色のデータは、ＳＥＭ画像においては得られず、光学画像において得られるものである。特徴としてエッジ、濃淡値、テクスチャ等のデータについては、ＳＥＭ画像および光学画像の両方において得られるものである。
【００４２】
ところで、欠陥を特徴づける画像特徴量（エッジ、濃淡値、テクスチャ、色等の量）は、それぞれ単独ではその欠陥の性質（その欠陥のカテゴリー）を特徴づけることが困難であり、様々な画像特徴量を組み合わせることによりその欠陥の性質を特徴づけることが可能である。これは、それぞれの画像特徴量を要素とした多次元ベクトルにより欠陥を表現することにより実現される。ここで、ｎ個の画像の特徴量があれば、ベクトルの次元数はｎであり、多次元空間はｎ次元空間として表現される。ｎ次元空間内におけるベクトルの位置関係（ベクトル関係）をもとに、その欠陥のカテゴリーを特定することにより、同一の性質をもつ欠陥ごとに分類することが可能となる。
【００４３】
半導体の欠陥、および良品部分の外観は、半導体プロセスの変化によって異なってくる。このため、欠陥を特徴づける画像特徴を抽出するアルゴリズムはあらかじめ備えておくことができない。
【００４４】
この課題を解決するため、本発明では、例えば図３に示す教示用の拡大外観画像に対して入力手段１０３等を用いてユーザが教示したそれぞれの欠陥の各局所的な部位の画像特徴を自動的に抽出し、抽出された画像特徴をそのカテゴリーの欠陥の特徴的な画像特徴としてその後取得画像部１０１で取得されてメモリ部１０４に記憶された分類用の外観画像（製造プロセス状態判定分類用（欠陥カテゴリー分類用）の各種の欠陥の高精細な外観画像）に対して判定する。
【００４５】
装置ユーザは、画像表示手段１０２に表示された教示用の欠陥拡大画像を見て、該拡大画像におけるその欠陥の局所的な特徴を持つ部位を入力手段１０３を用いて入力する。ＣＰＵ等から構成された自動判定部１０５内の画像特徴量自動抽出部を有する教示部１０６は、ユーザが入力手段１０３を用いて入力した拡大画像における欠陥部２０１の部位における画像特徴（エッジ、テキスチャ、濃淡値、色等）を自動的に抽出する（例えば、エッジについては細いものなのか太いものなのか、黒いものなのか白いものなのか、テキスチャについては粗いものなのか細かいものなのか、濃淡値については濃いものなのか淡いものなのか、カラーについてはどんな色なのか）とともに、各部位の相対的なｎ次空間における位置関係を求める。
【００４６】
このように、ユーザが入力した部位における画像特徴を教示部１０６の画像特徴量自動抽出部において抽出する際に、ユーザがその画像特徴の概略（種類）をあらかじめ入力手段１０３等を用いて指定した方が教示部１０６の画像特徴量自動抽出部において画像特徴を抽出しやすい場合がある。これに対応するために、図１に示すように、全体制御部１０７は、自動判定部１０５内の記憶装置（図示せず）またはメモリ部１０４に記憶された予め既知である画像特徴の種類（エッジ、テキスチャ、濃淡値、色等）を画像表示部１０２に表示し、ユーザが欠陥部２０１に対して入力手段１０３を用いてポインタ等で指示することによって、画像特徴の種類を教示部１０６に対して入力することが可能となる。
【００４７】
特に、ＳＥＭで取得した画像の場合、欠陥位置自体を特定することが困難である場合がある。その理由は、光学的な外観検査装置（異物検査装置またはパターン検査装置）で検査された被検査対象基板上の様々な欠陥の位置座標は、光学的な外観検査装置の座標系によって得られることから、光学的な外観検査装置で検査された欠陥の位置座標と、ＳＥＭ画像取得部１０１ａにおける高い倍率を有するＳＥＭ座標系との間において僅かなずれが生じてくるからである。従って、ＳＥＭ画像取得部１０１ａにおいて該画像取得部座標系で取得される画像を基に、欠陥位置自体を特定することが必要となる。そこで、ＳＥＭ等の画像取得部１０１で取得され、画像表示部１０２に表示された教示用画像に対してユーザが欠陥の存在する領域（エッジで示される。）をポインタで指示することによって、教示部１０６は該指示された領域から信頼性の高い画像特徴（エッジ、テキスチャ、濃淡値、色等）を抽出することができる。
【００４８】
次に、教示部１０６において、画像の特徴量（エッジ、テキスチャ、濃淡値、色等）を自動的に抽出する一実施例について、図４を用いて説明する。図４（ｂ）に示す１２０５は、画像の特徴量によって形成される空間であり、ｎ次元特徴空間である。ｎ次元特徴空間の各軸は、それぞれ異なる画像の特徴量を表わす。一般に画像を分類するためには、予めわかっている分類するのに都合のよい画像特徴、例えば欠陥中心部付近のテキスチャ特徴の大きさ、などをこのｎ次元特徴空間の軸としている。しかし、半導体欠陥のようにプロセスによってその外観が大きく変化するものに対しては、予め分類するのに都合のよい画像特徴がわからないため、例えば画像の空間周波数などのように特定の対象に依存しないより汎用的な画像特徴をｎ次元特徴空間の軸とする。任意の画像はこのｎ次元特徴空間にマッピングされることが可能である。画像の周波数のような特徴をｎ次元空間の軸に選択した場合、たとえば図４（ａ）に示したテキスチャ特徴がこの空間のどのベクトル成分に対応するかを求めることで、ｎ次元空間における画像特徴量の現われ方を抽出することが可能になる。
【００４９】
今、教示部１０６において、画像のカテゴリーを教示するために、画像取得部１０１で取得されてメモリ部１０４に記憶された教示用の欠陥画像が図４（ａ）に示す１２０１である。この欠陥画像１２０１の外観特徴の一つであるテキスチャが、上記ｎ次元特徴空間１２０５における現れ方を、テキスチャの無い画像が上記ｎ次元特徴空間１２０５のどこにマッピングされるかを評価することによって求めることが可能である。１２０１で示す欠陥画像のテキスチャ部分にデジタル処理を加えて、テキスチャ部分の明るさ変動（明るさ変化）を順次少なくした３つの欠陥画像信号を生成する。１２０６は、欠陥画像１２０１が多次元特徴空間１２０５において表現された多次元ベクトルであり、テキスチャ部分の明るさ変動（明るさ変化）を順次少なくした３つの欠陥画像信号もそれぞれ、多次元特徴空間１２０５において１２０７、１２０８、１２０９とマッピングされることになる。このようにテキスチャの明るさ変動が無くなるに従って、１２０６から１２０９へとベクトルが変化する。即ち、この多次元特徴空間１２０５における欠陥画像１２０１のテキスチャに対応するベクトルは、教示部１０６においてベクトル１２０６から１２０９への変化を基に、求めることができる。
【００５０】
このようにカテゴリーを教示する教示用の欠陥画像１２０１において、このテキスチャが特徴的な外観であるから、逆に言えば、テキスチャが無くなれば、この画像はテキスチャに対応するカテゴリーとはみなされなくなる。すなわち、教示しようとしている欠陥のカテゴリーにおいて、ベクトル１２０９とベクトル１２０６の差に対応するベクトル方向成分（図１３に示す９０２）に対応する領域（図１３に示す９０１）は狭いと推定できる。このようにして教示部１０６は、欠陥の外観特徴を基に、欠陥のカテゴリーのｎ次元特徴空間における領域を決定して教示することができる。さらに、この領域を正確に求めるためには、教示部１０６においてデジタル処理を加えた画像、即ち、テキスチャ部分の明るさ変動（明るさ変化）を順次少なくした３つの欠陥画像信号を画像表示部１０２に表示し、このカテゴリーとして許容可能な画像の範囲（テキスチャ部分の明るさ変動の許容できる範囲）をユーザに入力手段１０３を用いて特定させることが有効である。この場合には、ユーザが許容できる範囲（テキスチャ部分の明るさ変動を許容できる範囲）の欠陥画像を基に、ｎ次元特徴空間における領域を決定可能であるため、正確にカテゴリーの領域（図１３に示す９０１）を求めることが可能になる。教示部１０６は、ユーザの教示以外にも、同一カテゴリーの画像の多次元特徴空間における分布状態を基に、そのカテゴリーの領域を特定することも可能である。この手法としては、例えば最短距離法などよく知られているアルゴリズムを適用すれば良い。
【００５１】
即ち、教示部１０６は、教示用の欠陥画像１２０１を基に図６に示す処理フローに基いてカテゴリーが教示できる。まず、教示部１０６は、ステップＳ６０１において、画像取得部１０１で取得されてメモリ部１０４に記憶された教示用の欠陥画像１２０１を画像表示部１０２に表示する。次に、ステップＳ６０２において、ユーザが入力手段１０３を用いて画像表示部１０２に表示された欠陥画像１２０１の特徴の位置、および特徴の種類（エッジ、テキスチャ、濃淡値、色等）を指示して入力して自動判定部１０５内の記憶装置６０２またはメモリ部１０４に記憶させる。さらに、ステップＳ６０３において、教示部１０６は、入力して記憶された欠陥画像１２０１に対して、デジタル画像処理により、ユーザが指定した特徴（エッジ、テキスチャ、濃淡値、色等）について弱めた欠陥画像を生成し、自動判定部１０５内の記憶装置６０２に記憶させる。次に、教示部１０６は、ステップＳ６０４において、この生成されたユーザが指定した特徴について弱めた欠陥画像を画像表示部１０２に表示し、ユーザが入力手段１０３を用いて同一カテゴリーと判断可能な特徴量の許容範囲を示す欠陥画像を指定し、該指定された同一カテゴリーと判断可能な特徴量の許容範囲を示す欠陥画像を入力して自動判定部１０５内の記憶装置６０２に記憶させる。次に、教示部１０６は、ステップＳ６０５において、欠陥画像１２０１、およびデジタル画像処理によって指定特徴について弱めて生成された欠陥画像を図４（ｂ）に示すようにｎ次元特徴空間にマッピングし、次に、ステップＳ６０６において、ｎ次元特徴空間におけるユーザが指定した特徴のベクトル成分を算出し、次に、ステップＳ６０７において、算出されたベクトル成分と、ユーザが指定した同一カテゴリーのデジタル処理生成画像を基にｎ次元特徴空間におけるカテゴリーの領域（図１３に示す９０１）を決定し、自動判定部１０５内の記憶装置６０２に記憶させることによって教示データを取得することができる。
【００５２】
このように、教示部１０６は、カテゴリーを教示する際、そのカテゴリーに属する欠陥画像を基に、ｎ次元多次元特徴空間における、特徴的な外観に対応するベクトル（図１３における９０２）を求め、さらにこのカテゴリーのｎ次元特徴空間における領域（図１３に示す９０１）を決定する機能を果たす。
【００５３】
一方、自動判定部１０５、即ち、図７に示す画像特徴抽出部３０１およびｎ次元空間分類部３０２は、カテゴリーを教示する際ではなく、未判定の分類用欠陥画像に対してカテゴリーを決定する際に機能する。ここで、画像特徴抽出部３０１は教示部１０６が行ったのと同じ手法により、未判定の欠陥画像をｎ次元特徴空間にマッピングする。実際のシステムでは、このことから、画像特徴抽出部３０１と教示部１０６の一部とを同一の手段（ＣＰＵ）により実現することも可能である。ｎ次元空間分類部３０２は、ｎ次元特徴空間にマッピングされた未判定の分類用欠陥画像が、教示部１０６によって求められたｎ次元特徴空間における各欠陥のカテゴリーの領域のいずれに属するかを求めることによって、未判定の欠陥を分類する。例えば、ｎ次元特徴空間は、図５に示すように各欠陥カテゴリーの分布が決定される。図５に示す１３０１はｎ次元特徴空間の模式図であり、１３０２はある欠陥カテゴリーＡを示しており、１３０３はカテゴリーＢを示している。ｎ次元空間分類部３０２において、カテゴリーＡにもＢにも含まれない領域は、どちらのカテゴリーにも属さないと判定されるので、この場合、自動判定部１０５はユーザに対し、新たなカテゴリーを作成するか、あるいは既存のカテゴリーの領域を変更するかを、例えば画像表示部１０２に出力して問い合わせをおこなう。
【００５４】
次に、自動判定部１０５について図７を用いてさらに詳細に説明する。画像特徴抽出部３０１は、教示部１０６における画像特徴量自動抽出部と同様に、製造プロセスの状態を自動的に判定するための様々な欠陥が存在する被対象基板１６が投入されて、画像取得部１０１で取得されてメモリ部１０４に蓄積された未判定の分類用欠陥外観画像から複数のターゲットに依存しない汎用的な画像特徴、たとえば画像の空間周波数などを抽出し、未判定の分類用欠陥画像を多次元ベクトルとして表わすものである。ここで、画像の特徴量としてなるべく汎用的なものであれば空間周波数である必要はなく、たとえば画像をＫＬ変換、離散コサイン変換、ウェーブレット変換した画像自体、あるいはそれを圧縮した画像自体を特徴量としてもよい。また、エッジやテキスチャ、色といった特徴でもよい。
【００５５】
ｎ次元空間分類部３０２は、画像特徴抽出部３０１から出力される複数の特徴（エッジ、テキスチャ、濃淡値、色等）を入力し、未判定の分類用欠陥画像をそれぞれのカテゴリー毎に分類する。一般にｎ次元特徴空間における分類においては、複数のそのカテゴリーに属する欠陥サンプル画像より求めたｎ次元ベクトルの分布（図５に示す１３０２、１３０３：図１３に示す９０１）をもとに、主成分分析の手法によりｎ次元空間中におけるそのカテゴリーの存在範囲が決定される。しかし、この手法は１つのカテゴリーに属する欠陥に関し、数多くのバリエーションをもつサンプル画像が入手できない場合には正確なカテゴリーの存在範囲を決定することが困難である。
【００５６】
本発明では、教示部１０６が出力した欠陥画像の特徴のｎ次元特徴空間におけるベクトル成分（図１３に示す９０２）を求め、そのカテゴリーに特徴的な画像特徴が示すベクトルにおいてはその成分の分散が小さくなるという規則と、それとともにそのカテゴリーに属すサンプル画像の分布状態をもとにカテゴリーの範囲（図１３に示す９０１）を決定することにより、サンプル画像数が少ない場合にも正確な存在範囲を決定することが可能である。
【００５７】
教示部１０６は、ユーザからの入力によって、局所的な画像特徴の解析を行うが、ユーザが入力した部位の画像特徴のみから、画像取得部１０１で取得された様々な欠陥画像についてその複雑な形状の欠陥に対してカテゴリーの分類を実現することは困難であり、局所的な部位だけではなく、欠陥部全体の外観をもとにしたカテゴリーの分類が必要となる。
【００５８】
ところで、製造プロセスや設計ルールの変更に伴って欠陥および良品部の画像は大きく変化する場合がある。既に述べたように、自動判定部１０５は、教示部１０６にてカテゴリーに属する欠陥画像を基に、ｎ次元空間分類部３０２においてｎ次元特徴空間におけるカテゴリーの領域を決定する。しかし、画像特徴抽出部３０１において、欠陥の特徴に関する情報が欠落してしまったとしたら、教示部１０６においていくら教示したとしても欠陥を分類できない恐れがある。特に半導体欠陥の場合には、その後のプロセスの変更により、未知の複雑な形状をした欠陥が発生する可能性が高い。未知の欠陥に対して画像特徴抽出部３０１のアルゴリズムを変更すること無く、教示のみで正確な分類を実現させるためには、情報を欠落させること無しに欠陥画像の特徴を画像特徴抽出部３０１からｎ次元空間分類部３０２に入力させることが望ましい。
【００５９】
しかし、画像特徴抽出部３０１で何も処理をしないまま画像を多次元ベクトルであらわし、ｎ次元空間分類部３０２でｎ次元空間においてグループ分けすることは、位置に対する変動に対する弱さや莫大な計算量などの見地から不適切である。これを例をあげて説明する。
【００６０】
画像の水平方向のサイズ、垂直方向のサイズをそれぞれＭ、Ｍとした場合、画像のピクセル数はＭとＭの積、Ｍの２乗個の要素によってあらわすことができる。このＭＭ個の要素に１次元のインデックスをつけ、このそれぞれをベクトル要素とした多次元ベクトルで画像をあらわしたとする。画像を変数Ｐ［ｉ］［ｊ］であらわし、多次元ベクトルをｖ［ｋ］であらわす。画像に１本の水平方向の直線が存在していたとする。画像が８ｂｉｔ画像であるとし、直線の水平方向の位置が０ライン目であったとするとその画像は、次の（数１）式および（数２）式のようにあらわされる。
【００６１】
Ｐ［０］［ｊ］＝２５５                          （数１）
Ｐ［Ｉ］［ｊ］＝０                              （数２）
但し、ｊはＭ未満の任意の数、Ｉは０以外のＭ未満の任意の数である。
【００６２】
次に、直線が垂直方向に１画素分ずれたとする。このときの画像は次の（数３）式および（数４）式であらわされる。
【００６３】
Ｐ［１］［ｊ］＝２５５                          （数３）
Ｐ［Ｉ］［ｊ］＝０                              （数４）
但し、ｊはＭ未満の任意の数、Ｉは１以外のＭ未満の任意の数である。
【００６４】
次にこの垂直方向の直線が垂直方向であった場合を考える。画像の左端に存在する直線である場合、画像は次の（数５）式および（数６）式であらわされる。
【００６５】
Ｐ［ｉ］［０］＝２５５                          （数５）
Ｐ［ｉ］［Ｊ］＝０                              （数６）
但し、ｉはＭ未満の任意の数、Ｊは０以外のＭ未満の任意の数である。
【００６６】
ところで、（数１）および（数２）式、（数３）および（数４）式、並びに（数５）および（数６）式の各々から求めたベクトルをそれぞれｖ１、ｖ２、ｖ３というベクトルであらわすことによって、それぞれのベクトルの差ｄｖ２、ｄｖ３は、次の（数７）式および（数８）によって求められる。
【００６７】
ｄｖ２＝｜ｖ１−ｖ２｜＝√（５１２Ｍ）          （数７）
ｄｖ３＝｜ｖ１−ｖ３｜＝√（５１０Ｍ）          （数８）
すなわち、１画素しか離れていない水平直線の画像のベクトル間の距離ｄｖ２と水平と垂直という極めて異なった特徴を持つ画像のベクトル間の距離ｄｖ３では水平直線のベクトル間の距離の方が大きくなるという現象が発生してしまう。
【００６８】
これは、極めて似通った特徴を持つ画像をあらわす特徴同士がｎ次元空間内においてまったく異なった位置にマッピングされてしまうことを意味しており、画像特徴の近さによって正規分布することを期待することは不可能であることを意味している。すなわち、グループ分けの計算は極めて複雑になってしまい現実的では無くなってしまう。
【００６９】
この問題を解決するためには、図８に示す基底変換部４０２におけるフーリエ変換、ウェーブレット変換などの基底変換が効果を発揮する。画像をフーリエ変換した場合、適切な窓関数とともに用いれば、画像の位置ずれは周波数スペクトルには影響を与えず、位置ずれは連続的な位相の変化としてあらわれる。このため、欠陥画像そのままを扱うよりもグループを正規分布に近い形で扱うことが可能になる。計算量を少なくするためにはＫＬ変換、離散コサイン変換、フーリエ変換による画像圧縮が有効である。離散コサイン変換、フーリエ変換による画像圧縮では、画像をあらわすスペクトルの分散が小さいものを情報が少ないものとして取り除く。フーリエ変換は、画像のずれに対しては強力であるが、欠陥画像のように形状がさまざまに変化する場合には対応ができない。
【００７０】
この課題は、画像分割部４０１において、欠陥画像を局所領域ごとに分割することで対応可能である。
【００７１】
このときの画像特徴抽出部３０１の構成を図８を用いて説明する。
【００７２】
画像特徴抽出部３０１における画像分割部４０１は、未判定の欠陥画像を小領域（局所領域）ごとに分割し、基底変換部４０２は、小領域毎に分割された欠陥画像に対してフーリエ変換を行う。小領域は、それぞれオーバーラップ分をもって分割され、各オーバーラップ分にはそれぞれハミング窓のような窓関数をかける。十分なオーバーラップと適切な窓関数が設定されていれば、各小領域内のスペクトルは位置ずれに対して大きく変動しない。そこで、位置及び形状正規化部４０３内のばねマッチング部８０６において、それぞれの小領域がバネでつながったように一定範囲内で自由に移動可能とすることで異なった形状同士のマッチングにより形状の変化への対応が実現可能である。このように位置及び形状正規化部４０３において、小領域に分割された教示用画像を基準にして、小領域に分割された小領域ごとに、分類用画像を位置および形状について正規化することによって分類用画像の特徴量を教示用画像の特徴量に対して対応させることが可能となる。
【００７３】
なお、画像分割部４０１で分割する小領域の大きさを、欠陥画像の検出倍率などにより最適なサイズに変化させる必要がある。このため、画像分割部４０１は、分割する小領域のサイズを、図９に示すように、画像表示部１０２に表示してユーザが確認できるようにするのがよい。
【００７４】
一般に、基底変換部４０２における基底変換は、エッジ抽出などの画像処理に比較して多くの計算を要する。
【００７５】
本発明においては、自動判定部１０５において、画像取得部１０１で取得した未判定の分類用欠陥画像を、分類される可能性のある複数のカテゴリーの教示用画像と照合をとる必要がある。ここで、教示用画像は予め記憶装置に記憶されていることから、その度ごとに基底を変換する必要はなく、基底変換部６０５で基底変換した画像を記憶装置６０２に蓄積することにより、未判定の外観画像の分類において計算時間を短縮することが可能となる。
【００７６】
図１０に記憶装置６０２に教示用画像を記憶する場合の構成図を示す。教示用画像生成部６０１は、画像分割部４０１、および基底変換部４０２と同様に、画像取得部１０１で取得されてメモリ部１０４に記憶された教示用外観画像を画像分割部６０４において小領域ごとに分割し、さらに基底変換部６０５で基底変換を行う。教示用画像生成部６０１は、画像取得部１０１で取得した教示用画像そのもののみではなく、デジタル処理部６０３で該教示用画像に対し、大きさ（拡大、縮小）や回転、位置（平行移動）などをデジタル処理によって変化させたのちに、画像分割部６０４で小領域に分割し、基底変換部６０５で基底変換の処理を行うことも可能にする。
【００７７】
これを図１１を用いて説明する。７０１は取得した教示用画像である。フーリエ変換は一般に位置の変化を位相項の連続的な変化にすることを可能にするが、対象画像（分類用画像）が回転してしまった場合には対応することができない。また、分類用画像において、教示用画像に対して同じ特徴をもつ欠陥ではあるがそのサイズが大きく異なっていた場合にも、教示用画像に対する分類用画像の対応が困難になることが考えられる。これを解決するには、予め取得された教示用画像７０１よりサイズや回転角が異なった画像、すなわち７０２〜７０８に示すような画像を、デジタル処理部６０３におけるデジタル処理によって生成することで教示用画像を分類用画像に対応させることが可能となる。
【００７８】
次に、位置及び形状正規化部４０３の構成を図１２を用いて説明する。画像分割部４０１において、画像取得部１０１で取得された未判定の分類用画像を小領域ごとに分割し、基底変換部４０２において小領域ごとに分割した未判定の欠陥画像を基底変換した後、位置及び形状正規化部４０３に入力される。ここでは、基底変換としてフーリエ変換を例としてあげる。フーリエ変換された小領域同士の同一性のチェックは相関演算を行うことにより実現可能であるが、同一性を正確に行うためには位相算出部８０４で相対的な位相のずれを算出する必要があり、多くの計算を要する。この演算時間を短縮させるためには、まず、基底変換部４０２から得られる小領域からなる分類用画像をエッジ強調部８０１でエッジ（境界）を強調させ、基底変換部６０５から得られる小領域からなる教示用画像をエッジ強調部８０３でエッジ（境界）を強調させ、フーリエスペクトル比較部８０２において両者のフーリエスペクトルの分布状態を比較すれば良い。位相が変化した場合にもフーリエスペクトルは変化しない。このため、フーリエスペクトルの分布状態が、大きく異なっていればその小領域画像同士の画像は異なっていると判断することができる。
【００７９】
基底変換部４０２、６０５においてフーリエ変換した画像は、そのまま適用すると位相ずれによって特徴画像どうしを同一のものとして扱えない場合がある。８１１から８１５、８２１から８２４を用いてこれを説明する。８１１から８１５、８２１から８２３の画像は、取得画像を小領域ごとに分割した画像の模式図である。８１１から８１５は、８２４の画像から切り出された画像であるが、それぞれ切り出し位置の違いにより異なった画像となっている。８１１から８１３は暗い領域と明るい領域の境界において切り出された画像であり、その境界は画像全体における特徴を示す可能性がある。このため、境界画像は同一のものとして扱うことが求められる。しかし、相関演算を行うと、８１１は８１３よりも８１４に、８１３は８１１よりも８１５と近いと判定され、期待していた同一性の判定をおこなうことができない。この課題は、エッジ強調部８０１および８０３において、画像の低周波数成分（エッジ以外の部分）のゲインを下げることにより対応することが可能である。８１１から８１３の低周波数成分のゲインを下げた画像を８２１から８２３に示す。低周波数成分のゲインを減らすことにより、境界を含む画像を同一のものとして判定することができる。
【００８０】
この低周波数成分のゲインを減らす処理が、エッジ強調部８０１およびエッジ強調部８０３において実行される。
【００８１】
次に、フーリエスペクトル比較部８０２において、低周波数成分のゲインを減らした分類用画像と教示用画像とについておおまかなスペクトルの比較を行い、スペクトル分布が大きく異なった場合は同一ではないと判定する。スペクトル分布が似通った画像が複数あった場合は、位相算出部８０４で２つの画像の位相差を求め、特徴同一性評価部８０５で特徴の同一性の評価を行う。
【００８２】
ばねマッチング部８０６においては、特徴同一性評価部８０５から得られる各局所画像の同一性の評価結果とその配置関係をもとに分類用画像と教示用画像の同一性が評価される。即ち、ばねマッチング部８０６は、小領域からなる分類用画像と教示用画像とに基いて、各小領域同志の配置関係がばねでつながったように一定範囲内で自由に移動可能であるフレキシブルなマッチングにより、分離用画像と教示用画像との同一性を評価し、分類用画像が教示用画像に対して位置及び形状の正規化が行う。その結果、位置や形状に影響されること無く、ｎ次元空間分類部３０２において、ｎ次元空間内で特徴量の比較を行うことができるようになる。
【００８３】
分類用画像に撮像されている注目すべき個所、たとえば欠陥部が分類用画像のどの位置に撮像されているかは一般には未知である。この場合には各画像における注目個所の位置の違いによって発生する教示用画像と分類用画像の対応関係を変化させながら同一性の評価を行うことで位置ずれに対応させることが可能である。半導体の製造状態を判定する装置においては、一般に欠陥個所を特定するために良品の画像と欠陥画像の差画像を計算し、位置を特定することが一般的であるが、本手法により差画像なしでの解析が可能である。また、従来と同様に差画像を用いる欠陥位置の特定も可能である。
【００８４】
各小領域の同一性は、画像全体としての同一性の評価にあたり、それぞれが必ずしも同じだけの寄与をするわけではない。図１に示した入力手段１０３によりユーザが、教示用画像の画像特徴であると示した部位に対応する小領域の同一性を主として判断することにより、装置ユーザが特徴的外観として示した画像特徴をもつ教示用画像と同一であるとの評価がなされる。分類用画像と同じとされた教示用画像が複数存在した場合には局所画像の同一性の評価をもとに分類用画像の形状が教示用画像の形状をもとに正規化、すなわち、分類用画像と教示用画像の局所画像間の対応関係が求められる。このときにも、同一性を評価したときと同様に、装置ユーザが示した部位を含む小領域を主として小領域の対応関係を求めることで、装置ユーザが望む対応関係を得ることができる。
【００８５】
即ち、半導体欠陥は、それぞれ形状が異なっている。例えば、図１５に示すように教示用画像と分類用画像とが異なる画像であっても、同一のカテゴリーに分類する必要がある。分離用画像のＡ部と教示用画像のＢ部は、同じ局所的な特徴を持つが、欠陥の形状がことなるために、画像のそれぞれ異なる位置に出現する。画像を分類する際には、異なる２つの画像においてまったく異なる位置に特徴が表われた場合、異なるカテゴリーに分類する必要がある。また、全体的な形状が大きく変化しない範囲で異なる位置に同じ特徴が表われた場合は、同じカテゴリーと考えられる。即ち、欠陥を分類するには、局所的に特徴が一致するのみではなく、全体的に特徴が一致する必要がある。
【００８６】
そこで、位置及び形状正規化部４０３において、位置及び形状の正規化をおこなうことにより、上記課題を解決することができる。分類用画像および教示用画像を画像分割部４０１、６０４で小領域ごとに分割し、基底変換部４０２、６０５から得られる小領域ごとの特徴量をもとに位置合わせすることにより、全体形状が大きく変化しない範囲で特徴の出現する位置が異なっていた場合にも、同じ特徴を持つ同志を比較することが可能となる。
【００８７】
このように教示用画像自体を持つことにより、教示用画像を基準にした欠陥の位置および形状の正規化を実現できるため、その後のカテゴリーの分類が容易になる。
【００８８】
分類用画像は、それがどのカテゴリーの欠陥であるか予め知ることができない。このため、あらゆるカテゴリーの欠陥画像と照合し、それぞれの画像に対して最も画像がうまく対応する位置関係を求める必要がある。自動判定部１０５では、位置および形状の正規化という前処理を終了した後にカテゴリーごとにｎ次元特徴空間内で分類する。このとき、小領域ごとの特徴量をそれぞれ特徴空間の軸とする。ｎ次元空間分類部３０２におけるｎ次元特徴空間内におけるカテゴリーの領域は、教示用画像を基に求めるが、教示用画像も画像分割部６０４で小領域ごとに分割された後に、例えば基底変換されて画像特徴量自動抽出部１０６１で特徴量が抽出され、多次元特徴ベクトル算出部１０６２でこの特徴空間内のベクトル９０２に変換される。次に、このベクトルをもとに、領域教示部１０６３においてその教示用画像が属するカテゴリーの領域９０１が決定される。
【００８９】
教示用画像生成部６０１は基本的には教示用画像がｎ次元特徴空間のどこにプロットされるかを求めるために教示用画像を小領域に分割し、１つの欠陥画像から複数の欠陥画像を生成させ、少数の教示用画像から信頼性の高い分類が行えるよう、様々な状態（サイズ、回転など７０１〜７０８）の欠陥画像をデジタル処理により生成する。
【００９０】
なお、予め、教示用画像を小領域に分割し、基底変換したものを記憶装置６０２に記憶しておけば、分類用画像を判定分類する際、教示用画像に対する基底変換にかかる時間を短縮することができる。
【００９１】
ところで、各画像は、それぞれ周波数であらわされる特徴をもとに多次元ベクトルで表現可能である。各小領域が示す空間周波数をそれぞれ特徴量のベクトルとすることで、図１３に示すように、多次元空間を形成することが可能である。あるカテゴリーに含まれる画像の特徴は、図１３に示すように、このカテゴリーに属する教示用画像が示す特徴ベクトル９０２を中心とした楕円状の領域９０１に存在すると考えることができる。ここで、楕円状の領域９０１が示す主軸９０２は、楕円状の領域９０１が示すカテゴリーの多次元空間内における分散を示している。カテゴリーを示す領域９０１は、楕円で示されており、楕円のそれぞれの主軸９０２が特徴を示していると考えられる。９０２はユーザがこのカテゴリーの外観画像の特徴として示した部位を教示部１０６にて解析した画像特徴を多次元特徴空間において示したベクトルである。画像をグループ分けするに重要となる画像特徴は、すべてのそのカテゴリーに属する画像が持つであろう特徴と考えることができる。このため、そのカテゴリーが示す楕円９０１は、そのベクトル方向９０２に対して分散が小さいと考えることができる。装置ユーザが教示部１０６に何も入力しなかった場合、装置にはそのカテゴリーの分布に関する情報が与えられていないことになるため、カテゴリーを示す領域はすべてのベクトル方向で等しい距離、すなわち球となる。この場合には、ｎ次元空間分類部３０２は、多次元特徴空間において分類する必要はなく、分類用画像と教示用画像の同一性が評価された段階で認識は終了することとなる。すなわち、装置ユーザは入力手段１０３に何も入力すること無しに分類することも可能である。このように、ｎ次元空間分類部３０２は、画像特徴抽出部３０１によって図１３に示すようなｎ次元特徴空間にマッピングされた未判定の分類用欠陥画像が、教示部１０６によって求められたｎ次元特徴空間における各欠陥のカテゴリーの領域のいずれに属するかを求めることによって、未判定の欠陥を分類する。
【００９２】
教示用画像は、図１１に示したように、検出した画像を変換して与える場合がある。たとえば参照画像をアファイン変換を用いて生成した場合、回転させる角度により教示用画像を連続的に変化させることができる。回転角に伴い、多次元空間において表される特徴量も連続的に変化する。しかし、この回転に伴う特徴量の変化を連続的に求めることは計算時間を多く要するため困難である。
【００９３】
この課題は、検出画像より複数の離散的な角度の教示用画像を生成し、該教示用画像が示す特徴ベクトルを補間することにより解決可能である。たとえば図１１において、画像の角度は７０１、７０２、７０３、７０４、７０１とそれぞれ順を追って変化している。すなわち、７０１から７０２の間の回転角は７０１で求めた特徴ベクトルと７０２で求めた特徴ベクトルにより補間するといった方法によりあらゆる角度の変化に対応させることが可能である。即ち、教示部１０６は、教示用画像において、入力手段１０３によって指定された局所的な部位における画像の特徴量を抽出し、この抽出された画像の特徴量を基に、複数の教示用画像の多次元特徴空間における多次元特徴ベクトルを算出し、この算出された多次元特徴空間における多次元特徴ベクトルを補間したベクトル軌跡を中心としたドーナツ状の空間領域を教示することができる。
【００９４】
本システムを実際に半導体の製造現場にて適用するにあたっては、ユーザは指定した部位がもつ外観特徴を実際にシステムが認識しているかどうか確認する必要がある。これを実現するためには主として画像をグループ分けするのに用いられた画像特徴を確認するための表示が必要である。これは多次元空間における分散が小さいベクトル成分（分類用の外観画像の分類判定に寄与した主要な画像特徴量を抽出した画像）に対応する画像特徴を分類用画像に対してオーバレイで表示することで実現できる。これを図１４を用いて説明する。図１４において１０２は図１における画像表示部である。画像特徴量ベクトル画像変換部１００１は、教示部１０６または分類部３０２から得られる図１３における９０２が示す分散が小さいベクトル成分を、表示できる画像に変換する。９０２に示されるベクトル成分は教示用画像を用いて装置ユーザが特徴となる部位を示して算出されたものであり、分類用画像とは直接対応していないが、教示用画像と分類用画像との分割小領域画像間の対応関係は、位置及び形状正規化部４０３において既に求められている。そこで、画像位置変換部１００２は、この対応関係をもとに画像特徴量ベクトル画像変換部１００１が出力する画像の位置を補正することによって、分類用画像上に、該分類用画像に対応した分散が小さいベクトル成分９０２を画像でオーバレイ表示することができる。
【００９５】
即ち、画像位置変換部１００２より出力された画像は、装置が分類用画像に対して認識した画像特徴と考えることができる。これを分類用画像に対してオーバレイで表示することでユーザは装置の認識を直接確認することができる。このオーバレイでの表示はそれぞれの周波数スペクトルごとに色、マーク、テキスチャを変更させるなどの手法でユーザにわかりやすく表示させることができる。なお、ここでは周波数スペクトルとしたが、そのほかの画像特徴であっても多次元空間で表現される特徴であれば適用可能である。
【００９６】
装置ユーザは、自動判定部１０５において正常に分類できなかった画像に対して正常な分類を教える必要がある。正常な分類を教える方法としては、その画像が属するカテゴリーを教える方法、図１に示す画像表示部１０２、および入力手段１０３で説明したように特徴的な画像特徴部位を示す方法、欠陥の属する領域を指定する方法が挙げられる。なお、単にカテゴリーを教える方法についてはここまででは説明していないが、その時に示された画像が新たな教示用画像となり、その教示用画像が示す多次元ベクトルを中心とした楕円近似された領域が、教示されたカテゴリーの画像が存在する新たな領域として設定されることになる。教示は装置が正常に分類できなかった画像には、必須の作業であるが分類可能であった画像に対しての必要性は低い。このため、ユーザが装置に教示するモードにおいては、装置が正常に分類できなかった可能性の高い画像から順番に画像を表示すると共に必要であったら教示を行うという方法がもっとも効果的である。
【００９７】
自動判定部１０５が分類できたかどうかの判断を装置自身がおこなうことは一般には不可能であるが、その分類が正確である確実性を示す確信度を求めることは可能である。この確信度の算出の方法は複数挙げられるが、その代表的なものとしては多次元空間における分類用画像のベクトルともっとも分類用画像のベクトルに近かった教示用画像ベクトルとの距離があげられる。多次元空間中の距離が短かければ、分類用画像と教示用画像が似通った特徴を持つと判断可能であるが、その距離が長ければそれぞれの特徴が異なっていると判断可能である。よって、多次元空間における距離の逆数を確信度とすると、その値が大きければ正常に分類できたと判断することが可能である。ユーザが装置に教示するモードにおいては、教示部１０６が、画像表示部１０２に、この確信度が小さい画像を順に表示させ、ユーザが分類が間違っていると判断した場合に教示を行うようにすることで効率の良い教示を実現することができる。即ち、自動判定部１０５において分類判定する際の判定の確からしさを示す判定確信度を画像表示部１０２等の出力手段に出力することによって、分類できた確信度をユーザに知らせることができる。
【００９８】
ここまでは本装置が半導体の製造状態を判定することを前提にして説明してきたが、他の画像処理に適用することも可能である。たとえば、はんだ検査装置の画像処理に適用した場合の実施例を図１６を用いて説明する。はんだ検査においては画像よりリード、パッド、フィレット部を抽出することが必要である。このため、従来はトライアンドエラーで画像処理アルゴリズムを作っていた。新たなリード形状の部品がターゲットとして出現した場合、新たな画像特徴抽出アルゴリズムを付け加える必要が発生し、新規部品に容易に対応することはできなかった。本装置で説明した画像処理方式を用いることにより、新たなアルゴリズムを付加すること無しに対応させることが可能になる。例としてリード位置を認識する場合について説明する。１１０１〜１１０３は実装の違いにより異なった外観を持つはんだ付け部分を示しており、教示用画像として用いられる。１１０４〜１１０６はそれぞれリードを示している。リード境界部分の濃淡値の変化はプロセスによって大きく異なっている。ユーザは教示用画像において、リードの境界を教示する。はんだ検査装置はユーザが指定した領域を小領域ごとにオーバーラップを持って分割し、半導体の場合と同様に画像を基底変換する。リードの場合は教示用画像間の対応、すなわち、各教示用画像においてどの小領域がリードの右辺に対応し、どの小領域が左辺に対応するかという対応、が予めわかっている。このため、各教示用画像と分類用画像の比較ではなく、各教示用画像に含まれる小領域画像の組み合わせによって生成された画像と分類用画像とを比較よりリード位置の決定が可能である。いま、１１１０を分類用画像とする。分類用画像の左辺は１１０３の左辺と、１１１０の下辺は１１０２の下辺、１１１０の右辺は１１０３の右辺とほぼ同じ特徴を有する。分類用画像の位置の特定は左辺が１１０３、下辺が１１０２、右辺が１１０３として生成された画像との比較により実現される。このため、少数の教示用画像によって位置の特定を行うことが可能になる。
【００９９】
【発明の効果】
本発明によれば、半導体の製造状態等を判定する外観画像分類装置およびその方法において、プロセスが変化した場合にも画像特徴抽出アルゴリズムを変更すること無く半導体等の欠陥を発生させる半導体等の製造状態（カテゴリー）を分類可能なように教示させることが可能になる効果を奏する。
【図面の簡単な説明】
【図１】本発明に係る外観画像分類装置の一実施例を示す簡略構成図である。
【図２】本発明に係る画像取得部の一実施例であるＳＥＭ装置を示す図である。
【図３】本発明が対象とする半導体欠陥の説明図である。
【図４】本発明に係る教示部において教示するための教示用画像と教示されるｎ次元特徴空間を示す図である。
【図５】本発明に係る教示部において教示されるｎ次元特徴空間における各カテゴリー領域を示す図である。
【図６】本発明に係る教示部において教示の仕方を説明するための図である。
【図７】図１に示す自動判定部の一実施例を示す簡略構成図である。
【図８】図７に示す画像特徴抽出部の簡略構成図である。
【図９】画像分割部における画像の分割方法を説明するための図である。
【図１０】本発明に係る外観画像分類装置の他の一実施例を示す簡略構成図である。
【図１１】図１０に示す教示用画像生成部が生成する教示用画像群説明図である。
【図１２】図１０に示す位置及び形状正規化部を示す簡略構成図である。
【図１３】本発明に係る多次元特徴空間において教示された特徴ベクトルとカテゴリーの領域とを説明するための図である。
【図１４】本発明に係る分類判定において寄与した主要な画像特徴量を抽出した画像に対応する画像を分類用画像にオーバレイで表示する構成を示す図である。
【図１５】分類用画像と教示用画像との間において形状が異なる欠陥画像を示した図である。
【図１６】本発明が対象とするはんだ検査を説明する図である。
【符号の説明】
１０…検出部、３０…電子線画像取り出し部、１０１…画像取得部、１０１ａ…ＳＥＭ装置、１０２…画像表示部、１０３…入力手段、１０４…メモリ部、１０５…自動判定部、１０６…教示部（画像特徴量自動抽出部）、１０７…全体制御部、１０９…バス、２０１…半導体欠陥部、２０２…テキスチャ部、２０３…エッジ部、３０１…画像特徴抽出部、３０２…ｎ次元空間分類部、４０１、６０４…画像分割部、４０２、６０５…基底変換部、４０３…位置及び形状正規化部、６０１…教示用画像生成部、６０３…デジタル処理部、８０１、８０３…エッジ強調部、８０２…フーリエスペクトル比較部、８０４…位相算出部、８０５…特徴同一性評価部、８０６…ばねマッチング部、９０１…カテゴリーの領域、９０２…特徴ベクトル、１００１…画像特徴量ベクトル画像変換部、１００２…画像位置変換部、１０６１…画像特徴量自動抽出部、１０６２…多次元特徴ベクトル算出部、１０６３…領域教示部。
【図１】
0004267103.tif 000002
【図２】
0004267103.tif 000003
【図３】
0004267103.tif 000004
【図４】
0004267103.tif 000005
【図５】
0004267103.tif 000006
【図６】
0004267103.tif 000007
【図７】
0004267103.tif 000008
【図８】
0004267103.tif 000009
【図９】
0004267103.tif 000010
【図１０】
0004267103.tif 000011
【図１１】
0004267103.tif 000012
【図１２】
0004267103.tif 000013
【図１３】
0004267103.tif 000014
【図１４】
0004267103.tif 000015
【図１５】
0004267103.tif 000016
【図１６】
0004267103.tif 000017