(57)【要約】【課題】異常の有無を判定するだけではなく異常の種類の分類も可能にし、しかも異常の分類を行うための学習に必要な情報量を従来構成よりも低減できる検査装置を提供する。【解決手段】第１処理部１は、学習済みの第１のニューラルネットワーク１０１を備え検査対象信号を正常と正常以外とに分類する。第２処理部２は、学習済みの第２のニューラルネットワーク２０１を備え第１処理部１により正常以外に分類された検査対象信号から正常以外の領域を含む部分信号を抽出し部分信号について異常の種類を分類する。出力部３は、第１処理部１と第２処理部２とによる分類結果を出力する。第１のニューラルネットワーク１０１は、正常である検査対象信号のみを用いて学習され、第２のニューラルネットワーク２０１は、既知の異常を含む検査対象信号を用いて異常の種類を分類するように学習されている。【選択図】図１
2012026982.tif 000002
【特許請求の範囲】
【請求項１】
学習済みの第１のニューラルネットワークを備え検査対象信号を正常と正常以外とに分類する第１処理部と、学習済みの第２のニューラルネットワークを備え前記第１処理部により正常以外に分類された検査対象信号から正常以外の領域を含む部分信号を抽出し部分信号について異常の種類を分類する第２処理部と、第１処理部と第２処理部とによる分類結果を出力する出力部とを備え、第１のニューラルネットワークは、正常である検査対象信号のみを用いて学習され、第２のニューラルネットワークは、既知の異常を含む検査対象信号を用いて異常の種類を分類するように学習されていることを特徴とする検査装置。
【請求項２】
前記検査対象信号は、画像入力部により検査対象物を撮像した画像の画像信号であることを特徴とする請求項１記載の検査装置。
【請求項３】
異常を含む画像を記憶する異常画像記憶部と、正常である画像に前記異常画像記憶部から選択した画像を重ねてモニタ装置の画面に表示する画像重ね合わせ部と、前記異常画像記憶部から選択した画像のパラメータを入力装置からの指示により調整する調整部とを備え、前記調整部により調整されたパラメータにより前記第２のニューラルネットワークが異常の種類を分類する際の条件が調整されることを特徴とする請求項２記載の検査装置。
【請求項４】
前記画像の規則性に基づいて前記画像を部分領域に分割する検査領域分割部を備え、前記検査領域分割部が分割した部分領域ごとに、前記第１のニューラルネットワークを用いて正常と正常以外とを分類し、前記第２のニューラルネットワークを用いて異常の種類を分類することを特徴とする請求項２又は３記載の検査装置。
【請求項５】
前記第１のニューラルネットワークは、正常である前記検査対象信号を用いて学習を行う動作と、学習後に前記検査対象信号を正常と正常以外とに分類する動作とが選択され、前記検査対象信号を分類する動作の後に、正常である前記検査対象信号を用いて学習を行う動作を再度行うことを特徴とする請求項１〜４のいずれか１項に記載の検査装置。
【請求項６】
前記第２のニューラルネットワークは、既知の異常を含む前記部分信号を用いて学習を行う動作と、学習後に前記部分信号について異常の種類を分類する動作とが選択され、前記部分信号について異常の種類を分類する動作の後に、既知の異常を含む前記部分信号を用いて学習を行う動作を再度行うことを特徴とする請求項１〜５のいずれか１項に記載の検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査対象信号における異常の有無の判定と異常の種類の分類とを行う検査装置に関するものである。
【背景技術】
【０００２】
従来から、ニューラルネットワークを用いて検査対象信号の分類を行う技術が提案されている。たとえば、特許文献１には、検査対象の色の情報をニューラルネットワークを用いて分類することにより、検査対象物が正常か異常かを判定する技術が記載されている。特許文献１には、正常サンプル画像のみを用い、異常サンプル画像を用いる必要がないから、高い検査精度の外観検査を容易に実現することができる旨の記載がある。また、ニューラルネットワークによる正常か異常かの判定（あるいは、良否の判定）は、色の情報だけではなく、振動波形に対しても適用されている（たとえば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８１５９号公報
【特許文献２】特開２００６−３８４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１、２に記載の技術は、入力された検査対象信号（画像に対応する信号や振動波形を表す信号）をニューラルネットワークにより分類する点で共通点を有しており、いずれの構成も正常と異常との分類に用いられている。したがって、検査対象信号における異常の有無は判定することができるが、検査対象信号が存在する場合に異常の種類は分類することができない。
【０００５】
一方、特許文献１に対する従来構成のように、異常サンプル画像を正常サンプル画像と同様に扱って、正常サンプル画像と異常サンプル画像とを用いてニューラルネットワークの学習を行う場合もある。この場合、異常サンプル画像を用いた学習を行うから、異常の種類を分類することが可能と考えられる。しかしながら、サンプル数の少ない異常サンプル画像を用いて学習させただけでは、各異常の境界を明確に決めることができず、しかも異常サンプル画像よりも個数の多い正常サンプル画像による干渉が生じて、異常の種類の境界を明瞭に決定することが困難である。
【０００６】
結局、特許文献１、２に記載の技術では異常の種類を分類することができず、異常サンプル画像を含めて学習させると、正常サンプル画像の干渉により判定精度が低下するという問題が生じる。このことは、画像だけではなく他の信号を検査対象信号とする場合であっても同様に生じる。
【０００７】
本発明は、異常の有無を判定するだけではなく異常の種類の分類も可能にし、しかも異常の分類を行うための学習に必要な情報量を従来構成よりも低減できる検査装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記目的を達成するために、学習済みの第１のニューラルネットワークを備え検査対象信号を正常と正常以外とに分類する第１処理部と、学習済みの第２のニューラルネットワークを備え第１処理部により正常以外に分類された検査対象信号から正常以外の領域を含む部分信号を抽出し部分信号について異常の種類を分類する第２処理部と、第１処理部と第２処理部とによる分類結果を出力する出力部とを備え、第１のニューラルネットワークは、正常である検査対象信号のみを用いて学習され、第２のニューラルネットワークは、既知の異常を含む検査対象信号を用いて異常の種類を分類するように学習されていることを特徴とする。
【０００９】
検査対象信号は、画像入力部により検査対象物を撮像した画像の画像信号であることが望ましい。
【００１０】
この場合、欠陥を含む画像を記憶する異常画像記憶部と、正常である画像に異常画像記憶部から選択した画像を重ねてモニタ装置の画面に表示する画像重ね合わせ部と、異常画像記憶部から選択した画像のパラメータを入力装置からの指示により調整する調整部とを備え、調整部により調整されたパラメータにより第２のニューラルネットワークが異常の種類を分類する際の条件が調整される構成が望ましい。
【００１１】
また、この場合、画像の規則性に基づいて画像を部分領域に分割する検査領域分割部を備え、検査領域分割部が分割した部分領域ごとに、第１のニューラルネットワークを用いて正常と正常以外とを分類し、第２のニューラルネットワークを用いて異常の種類を分類する構成が望ましい。
【００１２】
第１のニューラルネットワークは、正常である検査対象信号を用いて学習を行う動作と、学習後に検査対象信号を正常と正常以外とに分類する動作とが選択され、検査対象信号を分類する動作の後に、正常である検査対象信号を用いて学習を行う動作を再度行うことが望ましい。
【００１３】
また、第２のニューラルネットワークは、既知の異常を含む部分信号を用いて学習を行う動作と、学習後に部分信号について異常の種類を分類する動作とが選択され、部分信号について異常の種類を分類する動作の後に、既知の異常を含む部分信号を用いて学習を行う動作を再度行うことが望ましい。
【発明の効果】
【００１４】
本発明の構成によれば、第１処理部において正常以外に分類された検査対象信号から正常以外の領域を含む部分信号を抽出し、第２処理部では正常以外に分類された検査対象信号の部分信号について異常の種類を分類している。したがって、正常以外の範囲に絞り込んで異常の種類を分類し、しかも、異常の種類の分類は部分信号を用いて局所的に行うことになる。その結果、異常の有無を判定できるだけではなく異常の種類の分類も可能になり、その上、異常の分類を行うための学習に必要な情報量を低減できることになる。
【図面の簡単な説明】
【００１５】
【図１】実施形態１を示すブロック図である。
【図２】同上における画像の例を示す図である。
【図３】同上におけるブロックの例を示す図である。
【図４】同上における正常なブロックの例を示す図である。
【図５】同上における欠陥を含むブロックの例を示す図である。
【図６】実施形態２を示すブロック図である。
【図７】同上の動作を説明する図である。
【図８】実施形態３を適用する画像の例を示す図である。
【図９】同上を適用する他の画像の例を示す図である。
【図１０】同上を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下に説明する実施形態では、画像入力部により出力される検査対象物に関する画像信号を検査対象信号に用い、検査対象物の外観における欠陥を異常として検査する検査装置について例示する。検査対象物は、たとえば、シート状の部材であって、欠陥には、異物、キズ、しみ、色むらなどが想定される。ただし、これらの欠陥は一例であって、欠け、ひび、割れなど、外観検査において欠陥として扱われる項目の抽出に、本実施形態の技術を適用することを妨げない。
【００１７】
画像入力部は、ＴＶカメラのような撮像手段を想定しているが、イメージスキャナや３次元スキャナなどを用いることも可能である。また、画像信号は、静止画像を用いる例について説明するが、動画像を用いることも可能である。画像信号としては、モノクロの濃淡画像を想定しているが、カラー画像を用いることも可能である。どの画像信号を扱う場合であっても、検査はデジタル画像に対する処理で行うから、画像入力部がアナログ画像を出力する場合はアナログ−デジタル変換を行うことによりデジタル画像に変換する。
【００１８】
また、以下の実施形態では、検査対象信号を分類するためのニューラルネットワークとして競合学習型（自己組織化マップ＝ＳＯＭ）を例示するが、他の原理のニューラルネットワークを用いることも可能である。ニューラルネットワークは、ノイマン型のコンピュータでプログラムを実行することにより実現される。ただし、ニューラルネットワークに特化した構成を備える非ノイマン型のコンピュータを用いて実現してもよい。以下の実施形態では、「ニューラルネットワーク」を、「ニューラルネット」と略称する。
【００１９】
（実施形態１）
本実施形態は、図１に示すように、検査対象物５を撮像する画像入力部４から出力される静止画像の画像信号を検査対象信号に用いる。画像入力部４から出力された検査対象信号は、第１処理部１と第２処理部２とに入力され、異常となる欠陥の有無および種類が判定される。第１処理部１と第２処理部２とにおける判定結果は出力部３において統合して出力される。
【００２０】
第１処理部１は第１のニューラルネット１０１を備え、第２処理部２は第２のニューラルネット２０１を備える。第１のニューラルネット１０１と第２のニューラルネット２０１とには自己組織化マップを用いており、少なくとも入力層と出力層とを備え、入力層と出力層とにそれぞれ複数個ずつ設けたニューロン（ノード）を相互に結合した構成を有する。すなわち、入力層の各ニューロンはそれぞれ出力層のすべてのニューロンと結合され、出力層の各ニューロンはそれぞれ入力層のすべてのニューロンと結合される。また、結合の強さは重み係数によって表される。
【００２１】
第１処理部１に設けた第１のニューラルネット１０１は、検査対象信号を正常と正常以外とに分類する。一方、第２処理部２は、第１のニューラルネット１０１により正常以外と分類された検査対象信号から正常以外の領域を含む部分信号を抽出する部分信号抽出部２２を備え、部分信号抽出部２２において抽出した部分信号について、異常（欠陥）の種類を分類する。
【００２２】
第１処理部１および第２処理部２は、マイコン、ＤＳＰ（Ｄｅｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）とメモリとを主な構成要素として備える。メモリは、入力された画像信号を一時的に記憶するほか、後述する学習データの記憶、第１のニューラルネット１０１および第２のニューラルネット２０１の判定条件の記憶などにも用いられる。また、第１処理部１および第２処理部２は、画像信号の入力、判定結果の出力、判定条件などの入力を行うために図示しないインターフェースを備える。すなわち、インターフェースは、ＴＶカメラからなる画像入力部４、判定結果を出力するためのモニタ装置６、判定条件などを入力するために入力装置（たとえば、キーボードおよびマウス、タッチパネル）７などの接続用に設けられる。さらに、他の装置と通信するためのインターフェースを備えていてもよい。
【００２３】
第１処理部１は、画像入力部４から出力された画像信号の特徴量を抽出する特徴抽出部１３を備える。特徴量は、画像信号により表される画像が、濃淡画像あれば濃度を用いることができ、カラー画像であれば色相、彩度、明度などを用いることができる。濃度や色相、彩度、明度などの分布をそのまま特徴量に用いるほか、これらの度数分布を特徴量に用いることも可能である。
【００２４】
また、１枚の画像に対してＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）やＤＦＴ（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を施すことによって、空間周波数の成分を特徴量として抽出してもよい。
【００２５】
特徴量は、画像全体について求めてもよいが、１枚の画像をｎ×ｍ画素の矩形領域である複数個のブロックに分割して、ブロックごとに特徴量を求めることが望ましい。この場合、各ブロックの位置と特徴量とを対応付けると、画像内の場所ごとの特徴量を求めることができるから、場所ごとに欠陥を有無および種類を判定することができる。しかも、特徴量をブロック単位の小領域に制限して求めることにより、欠陥ごとの特徴を抽出しやすくなる。
【００２６】
以下では、モノクロの濃淡画像について、特徴抽出部１３においてブロックごとに正規化した濃度を特徴量に用いる。すなわち、ブロック内の各画素の濃度を用いてブロックにおける濃度の平均値を求め、各画素の濃度と平均値との差分を正規化後の濃度とし、ブロック内における正規化後の濃度の分布を特徴量に用いる。ここに、各ブロックは画像内での位置を特定することができるように、各ブロックにはラベル（番号でよい）を付与しておく。
【００２７】
第１処理部１は、正常な検査対象物５を撮像した画像から特徴抽出部１３が抽出した特徴量を学習データとして記憶する学習データ記憶部１４を備える。学習データにはブロックの位置も含まれる。言い換えると、画像内の場所ごとの特徴量が抽出される。また、正常な検査対象物５か否かは人が目視で判断する。この場合、検査対象物５だけではなく、撮像した画像についてもモニタ装置６の画面上で確認できるようにしておくことが望ましい。
【００２８】
また、第１処理部１は、上述したように、第１のニューラルネット１０１を備えており、第１のニューラルネット１０１は、学習データ記憶部１４に記憶された学習データを用いて学習が行われる。第１のニューラルネット１０１は、学習データによる学習を行うことにより、検査対象物５が正常である場合の出力層の状態が収束するから、この状態に基づいて正常と判定するための判定基準が決定される。
【００２９】
いま、第１処理部１において、第１のニューラルネット１０１にＳＯＭを用いる場合において、第１のニューラルネット１０１の出力層として、ｎ×ｍ個（ｎ，ｍは自然数）のニューロンをマトリクス状（二次元格子状）に配列したクラスタリングマップを用いるものとする。
【００３０】
学習済みである第１のニューラルネット１０１に、適宜のデータを入力したときに（データを入力層に与えたときに）、クラスタリングマップのうち境界域ではない（全方向に隣接するニューロンが存在する）ニューロンが発火すれば当該データを正常と判定する。
【００３１】
また、境界域のニューロンが発火した場合は、発火したニューロンが学習により獲得した重み係数の集合（重み付きベクトル）と、隣接する各ニューロンの重み付きベクトルとのユークリッド距離をそれぞれ求める。さらに、発火したニューロンと隣接する各ニューロンとのユークリッド距離の最大値をしきい値とする。ここで、第１のニューラルネット１０１に与えたデータと発火したニューロンの重み付きベクトルとの距離が、上述のしきい値を超える場合には、当該データを正常と判定する。
【００３２】
第１のニューラルネット１０１は、上述のように学習データにより学習を行う動作（学習動作）と、学習の終了後に実際の検査対象物５について欠陥の有無および種類を判定する動作（検査動作）とが選択可能になっている。学習動作により決定された判定基準は、検査動作において用いられる。
【００３３】
第１処理部１は、決定された判定基準を記憶する判定記憶部１５を備え、判定記憶部１５に格納された判定基準を用いて第１のニューラルネット１０１の出力結果を判定する判定部１０２を備える。第１のニューラルネット１０１の出力に対する判定基準は、正常な検査対象物５から生成した学習データのみを用いて決定しているから、判定部１０２は、第１のニューラルネット１０１の出力が正常を示しているか否かのみの判定を行う。言い換えると、第１のニューラルネット１０１と判定部１０２とにより、正常か正常以外かの判定を行う異常検出部１０が構成される。
【００３４】
異常検出部１０の判定結果は、結果判定部１６を通して第１処理部１から出力される。結果判定部１６は、判定部１０２による正常か正常以外かの判定結果を受けて、正常の判定結果と正常以外のブロックの位置とを出力する。
【００３５】
一方、第２処理部２は、上述したように、部分信号抽出部２２を備える。部分信号抽出部２２は、画像入力部４から入力される画像信号により表される画像から、第１処理部１により正常以外と判定されたブロックを抽出する。すなわち、画像信号の一部である部分信号を抽出する。
【００３６】
第２処理部２は、第１処理部１と同様に、特徴抽出部２３と学習データ記憶部２４とを備える。特徴抽出部２３は、部分信号抽出部２２が抽出したブロックについて特徴量を抽出する。ここで、特徴抽出部２３が抽出したブロックは、第１処理部１において正常以外と判定されたブロックであるから、欠陥（異常）を含んでいる可能性が高い。そこで、部分信号抽出部２２により抽出されるブロックに含まれる欠陥（異常）が既知であれば、学習データ記憶部２４に記憶させる学習データに、既知である欠陥をカテゴリとして対応付けておく。
【００３７】
第２処理部２に設けられた第２のニューラルネット２０１は、既知の欠陥を対応付けた学習データを用いて学習が行われる。第２のニューラルネット２０１は、第１のニューラルネット１０１と同様に、学習動作と検査動作とを選択することができ、学習動作において学習を行うことにより、既知の欠陥に対する判定基準が決定される。
【００３８】
ここで、第２のニューラルネット２０１にＳＯＭを用いる場合において、第２のニューラルネット２０１の出力層として、ｉ×ｊ個（ｉ，ｊは自然数）のニューロンをマトリクス状に配列したクラスタリングマップを用いるものとする。第２のニューラルネット２０１では、クラスタリングマップ上で発火したニューロンに割り当てられたカテゴリを入力データのカテゴリとする。
【００３９】
なお、第２のニューラルネット２０１の学習の際には、事前に人が目視検査により異常と判定した部分と、異常部分についての欠陥のカテゴリの分類結果とを用いて学習する。あるいは、実際の検査を行って、第１のニューラルネット１０１において正常以外と判定された部分について、目視によって欠陥のカテゴリの分類結果を用いて学習する。
【００４０】
第２のニューラルネット２０１は、既知の欠陥をカテゴリとする学習データによる学習を行うと、出力層のニューロンにより表される状態がカテゴリごとに収束する。出力層のニューロンは、学習データのカテゴリに応じたクラスタを形成するので、各クラスタにカテゴリを割り当てることによりカテゴリを分類することができる。
【００４１】
第２処理部２は、判定基準を記憶する判定記憶部２５と、第２のニューラルネット２０１の出力層のニューロンのクラスタをカテゴリに対応付けるためのクラスタ分類部２０２とを備える。第２のニューラルネット２０１の出力の状態は、クラスタ分類部２０２によって既知の欠陥のカテゴリに分類されるから、第２のニューラルネット２０１とクラスタ分類部２０２とにより異常分類部２０が構成される。第２処理部２は、クラスタ分類部２０２が分類する欠陥の種類を記憶するマップ記憶部２６を備える。したがって、マップ記憶部２６に欠陥の種類を登録しておくことにより、クラスタ分類部２０２において分類した欠陥の種類を出力することができる。
【００４２】
上述したように、第１処理部１では正常と正常以外とを分類し、第２処理部２では、第１処理部１において正常以外と判定された画像信号について、欠陥に相当する領域である部分信号（ブロック）を抽出し、このブロックについて欠陥の種類を分類する。したがって、正常と欠陥とを１つのニューラルネットで分類する場合に比較すると正常と欠陥との分類精度を高めることができる。
【００４３】
すなわち、正常の分類を行うための学習データは欠陥の分類を行うための学習データよりも十分に多く収集することができるから、第１処理部１において正常と正常以外との分類を精度よく行うことができる。次に、第２処理部２においては、正常である検査対象信号を除外して正常以外の範囲内でのみ欠陥の種類を分類するから、学習データが比較的少ない場合でも境界が明確になり、結果的に分類の精度が高まる。しかも、正常以外の検査対象信号については、正常以外の判定がなされたブロックに着目しているから、画像全体ではなく局所において欠陥の種類を分類することになり、分類に必要のない情報の情報量を低減させることによって分類の精度を高めることができる。
【００４４】
上述の例では、第１処理部１および第２処理部２において、検査動作の前に１回だけ学習動作を行っている。
【００４５】
第１処理部１については、正常な検査対象物５から得られた検査対象信号から学習データを新たに生成し、学習データの個数を増加させて第１のニューラルネット１０１の追加学習を行ってもよい。第１のニューラルネット１０１の追加学習を行うことにより判定記憶部１５に記憶される判定基準を更新すれば、正常と正常以外とを分離する精度が高まるから、結果的に欠陥を含む検査対象物５を分離する精度が向上する。
【００４６】
また、第２処理部２については、欠陥のある検査対象物５から得られた検査対象信号から学習データを新たに生成し、各カテゴリの学習データの個数を増加させたり、新たなカテゴリの学習データを生成したりすることができる。このような学習データによって第２のニューラルネット２０１の追加学習を行えば、判定記憶部２５に記憶される判定基準やマップ記憶部２６に登録されるカテゴリを更新することができる。すなわち、欠陥の種類を分類する精度が高くなり、あるいは新たな種類の欠陥を分類することが可能になる。
【００４７】
上述した構成の動作例を図２に示す。図２（ａ）〜（ｄ）の各図は、それぞれ第１処理部１において正常以外と判定されるブロックを含む画像（画像入力部４から出力された画像）を示している。また、図３（ａ）〜（ｄ）の各図はそれぞれ図２（ａ）〜（ｄ）の各図に対応しており、正常以外と判定されたブロックＢ１〜Ｂ６の例を示している。すなわち、図２（ａ）〜（ｄ）のような画像が第１処理部１に入力されると、第２処理部２の部分信号抽出部２２において図３（ａ）〜（ｄ）に示すブロックＢ１〜Ｂ６に相当する領域を抽出する。抽出された各ブロックＢ１〜Ｂ６は、第２処理部２において欠陥の種類が分類される。
【００４８】
ここに、第１処理部１の学習データ記憶部１４には、検査対象物５が正常である場合のブロックについて、図４に示すような学習データを記憶させておけばよい（図４に示す各部分図は個々のブロックの画像を示す）。また、第２処理部２の学習データ記憶部２４には、検査対象物５に欠陥がある場合のブロックについて、図５に示すような学習データを記憶させておけばよい（図５の各部分図はそれぞれ欠陥を含むブロックの画像を示す）。
【００４９】
本実施形態では、図５に示すような欠陥の学習データのみを第２処理部２の学習データ記憶部２４に記憶させているから、図３（ｃ）（ｄ）のようなブロックＢ５，Ｂ６の抽出が可能になっている。これに対して、図４に示すような正常の学習データと図５に示すような欠陥の学習データとを併せて学習データに用いると、図３（ａ）（ｂ）のように欠陥が不鮮明であるブロックＢ１〜Ｂ４の抽出しかできなくなる。すなわち、図３（ｃ）（ｄ）のような欠陥が不鮮明であるブロックＢ５，Ｂ６の抽出は困難になる。
【００５０】
すなわち、本実施形態では、第１処理部１において正常と正常以外との分類を行うことにより、正常と正常以外との境界を明確に分離できるようになって、欠陥を含むブロックの抽出を精度よく行うことが可能になる。しかも、第２処理部２では、正常以外と判定されたブロックについてのみ欠陥の種類を判定するから、分類すべき情報から正常の範囲を除外していることにより、欠陥に関する学習データが少ない場合でも欠陥の種類に対する境界が明確になる。つまり、欠陥の種類を分類するのが容易になる。
【００５１】
本実施形態では、検査対象信号が画像信号である場合について説明したが、検査対象信号は他の情報を含む電気信号であってもよい。たとえば、検査対象物５が音あるいは振動を発生する場合には、音あるいは振動をマイクロホンや加速度センサのようなセンサにより検出し、センサから出力される電気信号を検査対象信号に用いる。この場合、電気信号を単位時間ごとに分割することにより部分信号を生成する。また、電気回路の特定部位で発生する電気信号を検査対象信号に用いることも可能である。たとえば、モータを駆動する回路であれば、負荷電流に相当する電気信号を検査対象信号に用いてもよい。これらの電気信号について分類を行う場合には、特徴量としてフーリエ変換などによって抽出した周波数（時間周波数）の成分を用いたり、ウェーブレットなどを用いればよい。
【００５２】
（実施形態２）
実施形態１では、ブロックに既知の欠陥が含まれているときに欠陥の大きさを考慮せずに検出しているが、異物、キズ、汚れなどが微小であれば欠陥として扱わずに正常と判断してよい場合がある。本実施形態は、欠陥と判定する条件の範囲を調整可能にすることを目的としている。
【００５３】
本実施形態は、図６に示すように、種々の欠陥を含む画像を登録する異常画像記憶部２７を設けている。また、本実施形態は、異常画像記憶部２７に登録されている画像から選択した画像を、正常である検査対象物５の画像と重ねてモニタ装置６の画面に表示する画像重ね合わせ部３１１を設けてある。さらに、本実施形態は、欠陥と判定する条件の範囲を調節するために、モニタ装置６の画面に表示された画像内で欠陥を含む画像のサイズやコントラストのようなパラメータを調節する操作を行う調整部３１２を設けている。調整部３１２は、入力装置７からの指示を受けてパラメータを調整する。画像重ね合わせ部３１１と調整部３１２とは、欠陥と判定する条件の範囲を調節するための異常限度設定部３１を構成する。
【００５４】
本実施形態の他の構成は、実施形態１と同様である。本実施形態では、図７（ａ）に示すような異常画像記憶部２７に登録した欠陥の画像Ｐ１，Ｐ２，Ｐ３のうちの所望の画像を、図７（ｂ）に示すような欠陥のない正常な画像Ｐ０に重ねてモニタ装置６の画面に表示する。すなわち、画像重ね合わせ部３１１の機能により、図７（ｃ）のように検出しようとする欠陥の画像Ｐ３が正常な画像に重ねて表示される。この状態において、欠陥の画像Ｐ３について、調整部３１２を操作することによってサイズやコントラストの調整が可能になる。たとえば、図７（ｄ）のように欠陥の画像Ｐ３のサイズを変更することにより、欠陥と判定する条件を調整することができる。ここで、判定の条件はモニタ装置６の画面を通して可視化されるから、判定の条件を直感的かつ容易に調整することが可能になる。本実施形態の他の構成および動作は実施形態１と同様であるから説明を省略する。
【００５５】
（実施形態３）
実施形態１では、画像の全体から特徴量を抽出する場合と、画像をブロックに分割して特徴量を抽出する場合とについて説明した。ところで、正常な検査対象物５であっても、画像内において検査対象物５の画素値は一定ではなく、形状、濃淡、色などが場所によって異なることによって画素値が変化することが多い。したがって、画像の全体から特徴量を抽出するかブロックに分割して特徴量を抽出するかにかかわらず、正常である検査対象物５の画像であっても欠陥と誤認する可能性がある。
【００５６】
本実施形態は、図８、図９に示すように、画素値に同種の規則性がある領域が単位となるように画像を複数の領域に分割し、分割された各領域ごとに第１処理部１において正常と正常以外との判定を行っている。
【００５７】
図８（ａ）に示す画像は、濃度あるいは色の異なる３個の部分領域Ｄ１〜Ｄ３が存在している場合を例示している。この場合、図８（ｂ）に示すように、まず、３個の部分領域Ｄ１〜Ｄ３に分け、部分領域Ｄ１〜Ｄ３ごとに第１処理部１での判定を行う。第１処理部１により正常以外と判定された部分領域Ｄ１〜Ｄ３は第２処理部２に通知される。第２処理部２は、通知された部分領域Ｄ１〜Ｄ３を部分信号抽出部２２により抽出し、抽出した部分領域Ｄ１〜Ｄ３における欠陥の種類を分類する。ここに、本実施形態においても、実施形態２のように、検出しようとする欠陥のサイズやコントラストを調整する技術を採用することが望ましい。部分領域Ｄ１〜Ｄ３は、立体形状の検査対象物５について欠陥を検出する場合などに有効である。
【００５８】
一方、図９（ａ）に示す画像は、部分領域Ｄ４が規則的に配列されている場合を示している。図示例は、部分領域Ｄ４が画像の水平方向と垂直方向とにそれぞれ複数個ずつマトリクス状に並ぶという規則性を有している。言い換えると、部分領域Ｄ４が２次元正方格子の単位格子を形成していることになる。この場合、図９（ｂ）に示すように、まず、単位格子となる部分領域Ｄ４に分け、部分領域Ｄ４ごとに第１処理部１での判定を行う。以後は、図８に示した例と同様であって、第１処理部１により正常以外と判定された部分領域Ｄ４のみが第２処理部２で処理され、欠陥の種類が分類される。部分領域Ｄ４は、半導体ウェハに形成した集積回路の欠陥を検出する場合などに有効である。
【００５９】
上述のように、画像の規則性に基づいて部分領域Ｄ１〜Ｄ４に分割することにより、検査対象物５の形状に関連付けて分割することができる。すなわち、実施形態１のように一律にブロックに分割した場合には複数のブロックに跨って生じる欠陥であっても、１つの部分領域Ｄ１〜Ｄ４の中で検出できる可能性が高くなり、欠陥の種類をより正確に判定することが可能になる。
【００６０】
本実施形態では、画像入力部４から出力された画像を、部分領域Ｄ１〜Ｄ４に分割するために、図１０に示すように、検査領域分割部３２を設けている。図示例は、画像が規定の条件を満たすか否かを判定する領域特徴抽出部３２１と、領域特徴抽出部３２１に規定された条件を満たす画像を部分領域Ｄ１〜Ｄ４に分割する領域分割部３２２とを備える。領域特徴抽出部３２１には、分割の条件をあらかじめ入力装置７を用いて設定しておく。また、分割の条件を複数種類から自動的に選択する構成を採用してもよい。この場合、画像の特徴に関する複数種類の判定条件を入力装置７を用いて設定しておき、正常である画像において判定条件が成立するか否かによって、分割が可能か否かを判定するとともに、どのように分割できるかを絞り込むようにすればよい。他の構成および動作は実施形態１、２と同様である。
【符号の説明】
【００６１】
１  第１処理部
２  第２処理部
３  出力部
６  モニタ装置
７  入力装置
２７  異常画像記憶部
３２  検査領域分割部
１０１  第１のニューラルネットワーク
１０２  第２のニューラルネットワーク
３１１  画像重ね合わせ部
３１２  調整部
【図１】
2012026982.tif 000003
【図６】
2012026982.tif 000004
【図７】
2012026982.tif 000005
【図８】
2012026982.tif 000006
【図９】
2012026982.tif 000007
【図１０】
2012026982.tif 000008
【図２】
2012026982.tif 000009
【図３】
2012026982.tif 000010
【図４】
2012026982.tif 000011
【図５】
2012026982.tif 000012