(57)【要約】【課題】ノイズ等の変動要素に頑健な検査方法を提供する。【解決手段】  検査対象の状態を表す対象データと互いに異なる複数の処理パラメタとを入力し（Ｓ３０１）、対象データに対して複数の処理パラメタを用いたそれぞれの特徴計測処理を行う（Ｓ３０２）。また、それぞれの特徴計測処理の結果を統合し、統合された結果から所定の検査基準との比較を可能にする物理量を対象データの第１の特徴として抽出する（Ｓ３０３）。さらに、検査基準に依存しない対象データの第２の特徴として抽出する（Ｓ３０４）。そして、抽出された第１の特徴および第２の特徴に基づいて検査対象の良否を判別するための情報を生成する（Ｓ３０５）。【選択図】図１２
2018190282.tif 000002
【特許請求の範囲】
【請求項１】
検査対象の状態を表す対象データを入力するデータ入力手段と、
前記対象データに対して互いに異なる複数の処理パラメタを用いたそれぞれの特徴計測処理を行う特徴計測手段と、
前記それぞれの特徴計測処理の結果を統合し、統合された結果から前記対象データの第１の特徴を抽出する第１特徴抽出手段と、
抽出された前記第１の特徴に基づいて前記状態の良否を判別する判別手段と、
を備えたことを特徴とする検査装置。
【請求項２】
前記第１特徴抽出手段は、所定の検査基準との比較を可能にする物理量を前記第１の特徴として抽出することを特徴とする、
請求項１に記載の検査装置。
【請求項３】
前記第１特徴抽出手段は、前記物理量に代えて回帰分析による当該物理量の推定値を前記第１の特徴として抽出することを特徴とする、
請求項２に記載の検査装置。
【請求項４】
前記推定値が前記状態の良否の度合いをスコア化した良品スコア又は該良品スコアの導出前の中間処理値であることを特徴とする、
請求項３に記載の検査装置。
【請求項５】
前記特徴計測処理によることなく前記対象データから前記第１の特徴と異なる前記状態の特徴を第２の特徴として抽出する第２特徴抽出手段をさらに備えており、
前記判別手段は、抽出された前記第１の特徴および前記第２の特徴に基づいて前記状態の良否を判別することを特徴とする、
請求項１ないし４のいずれか一項に記載の検査装置。
【請求項６】
前記第２の特徴は、前記状態の特異の程度を統計的に表す統計情報であることを特徴とする、
請求項５に記載の検査装置。
【請求項７】
前記対象データに代えて入力された前記対象データと同じデータ構造の学習データと、前記複数の処理パラメタに代えて入力された複数の候補パラメタとを用いて前記特徴計測処理の学習を行う学習手段をさらに備えたことを特徴とする、
請求項１ないし６のいずれか一項に記載の検査装置。
【請求項８】
前記学習手段は、前記学習の結果に応じて前記複数の候補パラメタのいくつかを前記複数の処理パラメタとして決定することを特徴とする、
請求項７に記載の検査装置。
【請求項９】
前記対象データは、前記検査対象の状態を撮像した画像、あるいは、前記検査対象の状態を間接的に表す音響データ又は振動データであることを特徴とする、
請求項１ないし８のいずれか一項に記載の検査装置。
【請求項１０】
検査対象の状態を表す対象データと互いに異なる複数の処理パラメタとが入力されるコンピュータが実行する方法であって、
前記対象データに対して前記複数の処理パラメタを用いたそれぞれの特徴計測処理を行う工程と、
前記それぞれの特徴計測処理の結果を統合し、統合された結果から所定の検査基準との比較を可能にする物理量を前記対象データの第１の特徴として抽出する工程と、
前記特徴計測処理によることなく前記対象データから前記第１の特徴と異なる前記対象データの特徴を第２の特徴として抽出する工程と、
抽出された前記第１の特徴および前記第２の特徴に基づいて前記状態の良否を判別するための情報を生成する工程と、
を有することを特徴とする検査方法。
【請求項１１】
前記対象データを入力する前に当該対象データと同じデータ構造の学習データを入力する工程と、
前記処理パラメタの候補となる複数の候補パラメタを入力する工程と、
前記学習データに対して前記複数の候補パラメタの各々を用いた特徴計測処理を行うとともに、各特徴計測処理の結果と所定の条件との比較を行うことにより、各候補パラメタの評価値を算出する評価工程と、
前記評価値に応じて前記複数の処理パラメタを決定する工程と、
をさらに有することを特徴とする、
請求項１０に記載の検査方法。
【請求項１２】
前記対象データを入力する前に前記学習データをさらに入力する工程と、
入力した学習データに対して前記評価値に応じて決定した複数の処理パラメタの各々を用いた特徴計測処理を行う工程と、
前記それぞれの特徴計測処理の結果を統合し、統合された結果から前記検査基準との比較を可能にする物理量を前記学習データの第１の学習特徴として抽出する工程と、
前記特徴計測処理によることなく前記学習データから前記第１の学習特徴と異なる当該学習データの特徴を第２の学習特徴として抽出する工程と、
抽出された前記第１の学習特徴および前記第２の学習特徴に基づいて前記状態の良否を判別する機能を学習する工程と、
をさらに有することを特徴とする、請求項１１に記載の検査方法。
【請求項１３】
コンピュータに、請求項１０ないし請求項１２のいずれか一項に記載の検査方法を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査対象の状態の検査を行う装置および方法に関する。
【背景技術】
【０００２】
検査対象の特徴を画像処理などによって抽出し、良品か不良品かの判別を行う技術が知られている。この種の従来技術として、例えば特許文献１に開示された観察装置がある。この観察装置では、検査対象を撮像した画像に対して行われた複数の処理パラメタを用いたそれぞれの画像処理の結果と、予め作成された教示データとを照らし合わせる。そして、一致度が相対的に高い処理パラメタを処理パラメタとして選択する。これにより、処理パラメタの設定作業が容易かつ高速になるとされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１４５２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された観察装置では、処理パラメタが特定の値に固定的に使用される。そのため、例えば検査対象の特徴抽出の際に撮像条件などのわずかな変化やノイズの影響を受けやすく、良否判別が不安定になるという課題が残る。
【０００５】
本発明の主たる目的は、検査対象がおかれた環境変化やノイズなどの変動要素に対して頑健な検査を行うことができる検査装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明を適用した検査装置は、検査対象の状態を表す対象データを入力するデータ入力手段と、前記対象データに対して互いに異なる複数の処理パラメタを用いたそれぞれの特徴計測処理を行う特徴計測手段と、前記それぞれの特徴計測処理の結果を統合し、統合された結果から前記対象データの第１の特徴を抽出する第１特徴抽出手段と、抽出された前記第１の特徴に基づいて前記状態の良否を判別する判別手段と、を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の処理パラメタを用いた特徴計測処理の結果を統合するので、検査対象の環境やノイズや変動に対して頑健な特徴抽出を行うことが可能となる。
【図面の簡単な説明】
【０００８】
【図１】（ａ）〜（ｄ）は、検査対象を撮像した画像の例示図。
【図２】良品条件といえるための検査基準の例示図。
【図３】学習サンプルの例示図。
【図４】第１実施形態に係る検査装置のハードウエア構成図。
【図５】検査装置の機能ブロック構成図。
【図６】（ａ）〜（ｃ）は閾値が異なる二値化画像の例示図。
【図７】特徴計測処理の結果の例示図。
【図８】（ａ）は教示データの例示図、（ｂ）は特徴計測処理の結果例を示した図。
【図９】特徴計測処理の結果と目視判定結果との一致サンプル数の例示図。
【図１０】検査基準依存特徴抽出部の学習手順例を示す処理フロー。
【図１１】判別部の学習手順を示す処理フロー。
【図１２】第１実施形態による検査手順例を示す処理フロー。
【図１３】第２実施形態による検査基準依存特徴抽出部の学習手順例を示す処理フロー。
【図１４】（ａ），（ｂ）は第３実施形態における特徴計測処理の例示図。
【図１５】第３実施形態における教示データの例示図。
【発明を実施するための形態】
【０００９】
以下、本発明を検査対象の状態の特徴を計測し、これにより検査対象が良品か不良品かの判別を行う検査装置に適用した場合の実施の形態例を説明する。
【００１０】
［第１実施形態］
表面が研磨加工された金属素材およびその表面の状態を検査対象とする例について説明する。検査対象の状態の特徴を計測する手法はさまざまであるが、第１実施形態では、画像処理により計測する場合の例を示す。研磨加工により製造される金属素材では、製造工程における摩擦や腐蝕により特異な部分、例えば点状欠陥などが生じ得る。図１（ａ）ないし（ｄ）は、それぞれ金属素材の表面を撮像した画像である。図１（ａ）の画像１１０には４つの点状欠陥１１１ないし１１４が生じている。図１（ｂ）の画像１２０には２つの点状欠陥１２１，１２２が生じている。図１（ｃ）の画像１３０には、５つの点状欠陥１３１〜１３５が生じている。
【００１１】
製造工程における欠陥が不可避の金属素材を検査する際には、良品条件を満たすかどうかの検査基準が定められているのが通常である。例えば金属素材が良品といえる条件（良品条件）を満たすのは、図２に示されるように、点状欠陥の面積が０．０４ｍｍ２未満とされる。つまり、画像１１０〜１４０において点状欠陥が生じていても、検査基準で定めた面積未満であれば、良品といえる。第１実施形態では、事前に検査員により目視で判別された良品および不良品の学習サンプルがあり、これらの学習サンプルを用いて検査で使用する各種機能の学習を行う。学習サンプルの例を図３に示す。
【００１２】
図３において、サンプルＩＤ＃１は、図１（ａ）の画像１１０に対応する。同様に、サンプルＩＤ＃２〜サンプルＩＤ＃４は、それぞれ図１（ｂ）〜（ｄ）の画像１２０〜１４０に対応する。「良否」の欄には検査員の目視判別により「良」または「不良」と記録される。点＃１〜＃６は画像処理により計測された点状欠陥であり、それぞれの面積が大きい順に６つ記録される。例えばサンプルＩＤ＃１の点＃１は、画像１１０に存在する最も大きい点状欠陥１１１であり、その面積は、０．０６ｍｍ２である。点＃２は点状欠陥１１２であり、その面積は０．０２５ｍｍ２である。画像１１０には４つの点状欠陥１１１〜１１４しか存在しないので、点＃５，点＃６は「Ｎ／Ａ」となっている。この画像１１０の例では、点状欠陥１１１の面積は０．０６ｍｍ２であるため、その面積が良品条件の許容範囲を超える。そのため、画像１１０が表す金属素材の状態は図２の検査基準の良品条件を満たさないので、「不良」とされる。サンプルＩＤ＃２、つまり図１（ｂ）の画像１２０には２つの点状欠陥１２１，１２２が存在するが、その面積はすべて上記許容範囲内である。そのため、画像１２０が表す金属素材の状態は「良」とされる。図１（ｃ）の画像１３０には５つの点状欠陥１３１〜１３５が存在するが、いずれも上記許容範囲内である。そのため、画像１３０が表す金属素材の状態は「良」とされる。一方、図１（ｄ）の画像１４０には点状欠陥が存在しない。そのため、画像１４０に対応するサンプル＃４の点＃１〜点＃６はすべて「Ｎ／Ａ」と記録される。しかし、実際には、広範囲にわたって表面加工の不均一な部分すなわち加工ムラ１４６が生じている。そのため、画像１４０は、目視判別により「不良」と記録される。
【００１３】
次に、第１実施形態に係る検査装置の構成例について説明する。図４は検査装置のハードウエア構成図である。検査装置は、ＣＰＵ１０、ＲＡＭ１１、ＲＯＭ１２、外部ストレージ１３、入力Ｉ／Ｆ１４、出力Ｉ／Ｆ１５、デバイスＩ／Ｆ１６を有するコンピュータをハードウエア部品として含む。「Ｉ／Ｆ」はインタフェースの略である。これらのハードウエア部品は制御バスＢ１を介して相互に接続される。ＣＰＵ（Central Processing Unit）１０は、本発明のコンピュータプログラムを実行することにより、コンピュータを検査装置として動作させる。ＲＡＭ（Random Access Memory）１１は、ＣＰＵ１０の主メモリ、ワークエリア等の一時記憶領域として用いられる書換可能なメモリである。ＲＯＭ（Read Only Memory）１２は、上記コンピュータプログラム、デバイスドライバなどが格納されている読出専用メモリである。
【００１４】
外部ストレージ１３は、半導体メモリまたはハードディスクなどであり、後述する複数の候補パラメタ（処理パラメタ）、教示データ、入力データ、処理済の各種データなどを格納するデータベースシステムが形成される。入力Ｉ／Ｆ１４は入力データをＣＰＵ１０に伝達する。出力Ｉ／Ｆ１５は、ＣＰＵ１０の指示により出力されたデータ等を液晶ディスプレイなどの表示装置に表示させる。デバイスＩ／Ｆ１６は各種デバイスに対してＣＰＵ１０の指示により動作開始、停止などの制御信号を伝達する。各種デバイスとしては、撮像装置、イメージセンサ、集音マイク、振動センサ、加速度センサなどがある。上記入力データは、これらのデバイスから出力されるデータである。第１実施形態では、金属素材の表面を撮像する撮像装置をデバイスとして用いた場合の例を説明する。
【００１５】
図５は、検査装置の機能ブロック構成図である。これらの機能ブロックは、ＣＰＵ１０が上記コンピュータプログラムを読み込んで実行することにより形成される。検査装置は、データ入力部４０１、特徴計測部４０２、パラメタ入力部４０３、検査基準依存特徴抽出部４０４、制約条件入力部４０５、検査基準非依存特徴抽出部４０６および判別部４０７の機能ブロックを有する。
【００１６】
データ入力部４０１は、検査時は検査対象の状態を表す対象データ、学習時には対象データに代えて該対象データと同じデータ構造の学習データをそれぞれ入力する。第１実施形態において、対象データは、検査対象となる金属素材を撮像装置で撮像した画像である。この対象データはグレースケール画像である。対象データは検査対象となる金属素材が代わる度に入力されるが、全て同じ撮像条件下で撮影された同じ解像度の画像とする。学習データもグレースケール画像であり、対象データと同じ解像度の画像である。
【００１７】
特徴計測部４０２は、対象データに対して互いに異なる複数の処理パラメタを用いたそれぞれの特徴計測処理を行う。複数の処理パラメタは、後述する学習によって決定され、外部ストレージ１３に格納されているものの中からパラメタ入力部４０３より与えられる。処理パラメタとしては、例えば、画像を二値化する際に用いられる閾値、ＬｏＧフィルタのカーネルサイズや標準偏差、モルフォロジー演算を行う回数などを用いることができる。これらの処理パラメタが変化すると特徴計測処理の結果も変わる。以下の説明では、二値化のための閾値を変動させることで複数の処理パラメタとする例を説明するが、変動させる処理パラメタは、閾値以外のものを用いることができる。
【００１８】
特徴計測部４０２は、例えば以下の手順で特徴計測処理を行う。まず、対象データに対してＬｏＧフィルタを用いた畳み込み演算を行い、ブロブ領域を強調する処理を行う。ＬｏＧ（Laplacian of Gaussian）フィルタは、異なるスケールでの画像の特徴を抽出することができるフィルタである。ブロブ領域とは、同じ論理値のピクセルが隣接している領域をいう。本例では、ピクセルの濃度が最小の領域、つまり点状欠陥として認識される領域が強調されるようにする。特徴計測部４０２は、このブロブ領域が強調された画像を複数の閾値で二値化する。例えば、図１（ａ）に示した画像１１０が対象データであるとすると、特徴計測部４０２は、この画像１１０に対してＬｏＧフィルタを畳み込んだ後に各ピクセルの濃度の絶対値をとり、複数の閾値で二値化する。このようにして得られた画像を、それぞれ二値化画像という。二値化画像の例を図６に示す。図６（ａ）に示す各二値化画像６１０は、閾値Ｔ１を用いて二値化した画像である。同様に、図６（ｂ），（ｃ）に示す各二値化画像６２０，６３０は、それぞれ上記画像１１０を閾値Ｔ２及びＴ３を用いて二値化した画像である。閾値の大きさは、Ｔ１＜Ｔ２＜Ｔ３である。
【００１９】
特徴計測部４０２は、これらの二値化画像６１０，６２０，６３０に対して例えば公知のＵｎｉｏｎ−Ｆｉｎｄアルゴリズムで処理することにより、各ブロブ領域にラベル付けを行う。これにより二値化画像に存在する点状の図形とその大きさを識別することができる。この点状の図形を「計測点」と呼ぶ。各計測点は、点状欠陥として認識されるものである。例えば図６（ａ）に示す二値化画像６１０における計測点６１１は、図１（ａ）に示した画像１１０の点状欠陥１１１に対応する。同様に、計測点６１２〜６１４は、上記画像１１０の点状欠陥１１２〜１１４に対応する。計測点６１５は、上記画像１１０には存在しないが、画像処理の際などに混入したノイズの影響で現れた計測点である。図６（ａ）における計測点６１１、図６（ｂ）における計測点６２１、図６（ｃ）における計測点６３１は、全て同一の点状欠陥１１１に対応する。ただし、閾値の大きさの相違により、計測点６１１，６２１，６３１は、その大きさ（面積）が異なっている。
【００２０】
特徴計測部４０２は、個々の計測点に対応するピクセル数を数えることで当該計測点の面積を算出する。例えば、画像解像度が２０ピクセル／ｍｍの場合、１ピクセルの面積は０．００２５ｍｍ２である。ノイズをさらに低減する必要がある場合には、例えば二値化画像に対するモルフォロジー演算を繰り返す。これにより、本来は存在しない微小な計測点（例えば上記計測点６１５）を消去することができるので、ノイズなどの変動要素に対して頑健な特徴の計測が可能となる。
【００２１】
特徴計測部４０２による特徴計測処理の結果例を図７に示す。図７において「サンプルＩＤ」はラベル付けされたブロブ領域の識別情報である。サンプルＩＤ＃１１には、二値化画像６１０を閾値Ｔ１で処理したブロブ領域の計測点の面積が関連付けられて記録される。また、サンプルＩＤ＃１２は閾値Ｔ２、サンプルＩＤ＃１３には閾値Ｔ３で処理した各ブロブ領域の計測点の面積が関連付けられて記録される。同様に、サンプルＩＤ＃２１〜サンプルＩＤ＃２３には、二値化画像６２０をそれぞれ閾値Ｔ１〜Ｔ３で処理した各ブロブ領域の計測点の面積が関連付けられて記録される。サンプルＩＤ＃３１〜サンプルＩＤ＃３３には、二値化画像６３０をそれぞれ閾値Ｔ１〜Ｔ３を用いて処理した各ブロブ領域の計測点の面積が関連付けられて記録される。計測点の面積は、閾値Ｔ１で処理して得られた面積が大きい順に並ぶ。図７の例では、計測点が６つであるが、この数は任意である。なお、計測点が見つからなかった場合、面積の代わりにＮ／Ａが記録される。
【００２２】
検査基準依存特徴抽出部４０４は、複数の処理パラメタを用いたそれぞれの特徴計測処理の結果を統合し、統合された結果から対象データである画像の特徴を抽出する。この特徴は、所定の検査基準、例えば図２に例示した検査基準との比較を可能にする物理量であり、便宜上、第１の特徴と呼ぶ。第１実施形態では、使用する閾値の数を次元として結合した特徴ベクトルを第１の特徴として用いる。すなわち、特徴計測部４０２より得られた３つの閾値Ｔ１，Ｔ２，Ｔ３の少なくとも２つに対応する特徴計測結果を結合し、特徴ベクトルとして出力する。例えば、閾値Ｔ１，Ｔ２による特徴抽出結果が結合される場合、特徴ベクトルは、図７の特徴計測結果から［0.05，0.0225，0.01，0.01，0.0025，0，0.0225，0.01，0.005，0，0，0］となる。どの閾値による特徴計測結果を結合するかは、後述する制約条件を用いた学習により決定される。検査基準依存特徴抽出部４０４は、このようにして導出された特徴ベクトルを第１の特徴抽出結果として出力する。
なお、点状欠陥の大きさ（面積）や個数など、上記検査基準との比較を可能にする物理量を表す情報であれば、必ずしも特徴ベクトルに限るものではなく、他の物理量を第１の特徴抽出結果として用いても良い。
【００２３】
検査基準非依存特徴抽出部４０６は、特徴計測処理によることなく対象データから第１の特徴と異なる検査対象の状態の特徴を抽出する。つまり、上記検査基準に依存しない特徴の抽出を行う。このような特徴を便宜上、「第２の特徴」と呼ぶ。この第２の特徴は、大きさ（面積）や個数などのような特徴ではなく、表面加工の不均一性や広範囲に及ぶ凹みなど、検査対象の状態の特異の程度を統計的に表す統計情報である。第２の特徴を抽出する際には、まず、対象データ（本例では画像）を例えば１６分割し、分割後のそれぞれのブロック毎に画像輝度値の平均、分散、歪度、尖度の少なくとも一つ以上を計算する。そして、それぞれのブロックで得られた画像統計量を特徴量とする。検査基準非依存特徴抽出部４０６は、これを第２の特徴抽出結果として出力する。
第２の特徴を抽出することにより、物理量で規定されるような欠陥以外の特異な部分が存在する場合に、その特異な部分を認識することができる。そのため、検査対象における良品判別の精度が向上する。
【００２４】
判別部４０７は、第１の特徴抽出結果と第２の特徴抽出結果の少なくとも一方、望ましくは双方に基づいて検査対象の良否を判別する。良否判別には、例えば部分空間法を用い、良品サンプルで学習された部分空間への投影距離を用いることができる。
例えば、検査基準依存特徴抽出部４０４から出力された第１の特徴をｘｍ、検査基準非依存特徴抽出部４０６から出力される第２の特徴をｘｆとすると、判別部４０７には、これらを結合した特徴ｘ＝［ｘｍ，ｘｆ］が入力される。なお、第２の特徴ｘｆは必ずしも必要ではなく、特徴ｘ＝第１の特徴ｘｍとしてもよい。
【００２５】
このとき、検査対象の良品らしさをスコア化した良品スコアｓ（ｘ）は、以下の式１で表される。ここで、Ｕは良品サンプルで学習された部分空間を表す。
【数１】
2018190282.tif 000003
【００２６】
なお、良否判別には部分空間法に限らず、ｋ近傍法や１クラスＳＶＭなどを用いることができる。また、良品サンプルのみを用いた学習ではなく、不良品サンプルも学習データとし、良品か不良品かの２クラス識別を行ってもよい。また、第１実施形態では、判別部４０７は良否判別をするものとして説明するが、複数の品質等級を判別する多クラス識別であっても、同様の方法で良品か不良品かの識別が可能である。
第１の特徴抽出結果は、複数の閾値の各々を用いた特徴計測結果を統合したものなので、固定的な閾値を用いた場合に比べて、撮像条件の変動やノイズに対して頑健な判別を行うことができる。
【００２７】
＜検査装置の学習＞  
検査装置では、検査対象の状態を検査する前に、検査基準依存特徴抽出部４０４および判別部４０７の機能を学習する。学習には、欠陥が存在する学習データを用いる。また、学習には様々な条件を制約条件として用いることができる。まず、図３に示した各サンプルのように、点状欠陥の面積と位置の教示データが与えられている場合の例を説明する。
【００２８】
図８（ａ）は、図１（ａ）に示した画像１１０に対する教示データ８１０であり、図８（ｂ）は、図６に示した二値化画像６１０における特徴計測結果例である。教示データ８１０には、画像１１０に存在する点状欠陥１１１〜１１４の座標と面積とが対応付けられている。検査基準依存特徴抽出部４０４は、まず、点状欠陥１１１に最も座標上での距離が近い部分を、図６の計測点６１１〜６１５の中から選択する。本例では計測点６１１が最も距離が近く、その面積の差は０．０１ｍｍ２である。同様に、点状欠陥１１２〜１１４に関しても、最も近い計測点と面積の差を求める。計測点６１５については、対応する教示データが存在しない。そのため、計測点６１５の面積が、そのまま教示データとの差として記録される。このようにして、画像６１０の各計測点６１１〜６１５と教示データとの面積の差を求め、各点の面積の差の平均二乗誤差を求める。この平均二乗誤差を、画像６１０を生成した閾値Ｔ１の評価値とする。この場合、評価値は低いほど良い評価となる。同様にして、閾値Ｔ２、閾値Ｔ３についても評価値を求める。こうして得られた各閾値に対応する評価値が良いものから順に、規定数の閾値を選定する。なお、規定数を与えず、エラーが一定値以下となる閾値全てを、選定しても良い。選定された閾値は、検査時にパラメタ入力部４０３より入力される処理パラメタ（閾値）として用いられる。
【００２９】
学習における他の制約条件として、図３に例示した学習サンプルの個々の点状欠陥の面積ではなく、図２に示した検査基準の良品条件を用いることもできる。この場合、良品か不良品かは、最も大きい点状欠陥の面積で決まるものとする。図７のサンプルＩＤ＃１１（図３の学習サンプルのサンプル＃１に対応）に関連付けられている特徴計測の結果を参照すると、最大の面積となる計測点は計測点＃１であり、その面積は０．０５ｍｍ２である。この面積は、図２に示された検査基準の良品条件を満たしていない。そのため、サンプルＩＤ＃１１は不良品とされる。この結果は、図３に示したサンプルＩＤ＃１に対する目視判定結果（「不良」）と一致する。一方、図７のサンプルＩＤ＃１２（図３の学習サンプルのサンプル＃１に対応。ただし閾値が異なる。）に関連付けられている特徴計測の結果は、その最大面積が０．０２２５ｍｍ２である。そのため良品サンプルとされ、図３に示したサンプルＩＤ＃１に対する目視判定結果（「不良」）と一致しない。
このようにして、それぞれの閾値で処理した場合の、目視判定結果との一致サンプル数の例を図９に示す。この一致サンプル数を各閾値の評価値とすることができる。図９の例では、例えば上位２つの閾値Ｔ１，Ｔ２を、検出時にパラメタ入力部４０３より入力される処理パラメタとすることができる。
【００３０】
次に、検査基準依存特徴抽出部４０４の学習手順を図１０を参照して詳しく説明する。検査装置は、データ入力部４０１より学習データを入力する（Ｓ１０１）。また、パラメタ入力部４０３より複数の処理パラメタの候補を入力する（Ｓ１０２）。処理パラメタの候補を「候補パラメタ」と称する。そして、特徴計測部４０２において、複数の候補パラメタそれぞれに対応する学習データの特徴計測を行う。すなわち、検査基準との比較を可能にする物理量を学習データの第１の学習特徴として抽出する。例えば点状欠陥の抽出と、抽出された各欠陥の面積を計測する（Ｓ１０３）。その後、入力した学習データに対応する教示データを制約条件入力部４０５より入力する（Ｓ１０４）。そして、Ｓ１０３で計測された結果とＳ１０４で入力された教示データとを比較する（Ｓ１０５）。計測された結果の比較は、教示データに記された点と計測点との誤差を算出することで行う。あるいは、計測結果の中で最大の面積が良品判定条件を満たすかどうかを確認する。
全ての学習データについてＳ１０１ないしＳ１０５の処理が完了したかどうかを判定し（Ｓ１０６）、未処理の学習データがあればＳ１０１に戻る（Ｓ１０６：Ｎ）。全ての学習データについて処理が完了した場合（Ｓ１０６：Ｙ）、候補パラメタそれぞれに対する評価値を算出する（Ｓ１０７）。この評価値に基づいて、上位いくつかの候補パラメタを処理パラメタとして決定し（Ｓ１０８）、データベースに一時的に記憶させておく。これにより検査基準特徴部４０４の学習を完了させる。
【００３１】
次に、図１０の手順で処理パラメタが決定された後の判別部４０７の学習手順を図１１を参照して説明する。検査装置は、データ入力部４０１より学習データを入力する（Ｓ２０１）。この学習データについて、特徴計測部４０２で、Ｓ１０８で決定した複数の処理パラメタを用いて特徴計測処理を行う（Ｓ２０２）。また、検査基準依存特徴抽出部４０４で、特徴計測結果を統合した特徴ｘｍを算出する（Ｓ２０３）。
また、学習データに対して検査基準非依存特徴抽出部４０６で特徴抽出処理を行い、特徴ｘｆを得る（Ｓ２０４）。すなわち、学習データの特徴計測処理によることなくその学習データから第１の学習特徴と異なる当該学習データの特徴を第２の学習特徴として抽出する。全ての学習データについてＳ２０１ないしＳ２０４の処理が完了したかどうかを判定し（Ｓ２０５）、未処理の学習データがあればＳ２０１に戻る（Ｓ２０５：Ｎ）。未処理の学習データがなければ（Ｓ２０５：Ｙ）、全ての学習データについて、Ｓ２０１ないしＳ２０４で得られた特徴ｘ＝［ｘｍ，ｘｆ］を用いて、判別機能の学習を行う（Ｓ２０６）。その後、判別部４０７の学習を完了させる。
【００３２】
＜検査方法＞
次に、検査装置を用いた検査対象の検査方法について説明する。検査装置において、検査基準依存特徴抽出部４０４および判別部４０７は、上記のとおり学習されているものとする。図１２は、検査装置が実行する検査手順の説明図である。
検査装置は、データ入力部４０１から対象データを入力するとともに、パラメタ入力部４０３から異なる複数の処理パラメタを入力する（Ｓ３０１）。特徴計測部４０２は、対象データに対して複数の処理パラメタを用いたそれぞれの特徴計測処理を行う（Ｓ３０２）。検査基準依存特徴抽出部４０４は、それぞれの特徴計測処理の結果を統合し、統合された結果から所定の検査基準との比較を可能にする物理量を対象データの第１の特徴として抽出する（Ｓ３０３）。また、検査基準非依存特徴抽出部４０６は、特徴計測処理によることなく対象データから第１の特徴と異なる対象データの特徴を第２の特徴として抽出する（Ｓ３０４）。その後、判別部４０７は、抽出された第１の特徴および第２の特徴に基づいて検査対象の状態の良否を判別するための情報、例えば上述した良品スコアを生成する（Ｓ３０５）。そして、良品スコアが所定スコアを超えるときは、検査対象が良品であり、それ以外は不良品と判別する（Ｓ３０６）。
第１の特徴抽出結果は、複数の処理パラメタの各々を用いた特徴計測結果を統合したものなので、固定的な処理パラメタを用いた場合に比べて、検査条件の変動やノイズに対して頑健な判別を行うことができる。
【００３３】
なお、第１実施形態では、良否判別に部分空間法を用いた場合の例を説明したが、これに限らず、ｋ近傍法や１クラスＳＶＭなどを用いることもできる。また、良品サンプルのみを用いた学習ではなく、不良品サンプルも学習データとし、良品か不良品かの２クラス識別を行ってもよい。また、第１実施形態では、判別部４０７は良否判別をするものとして説明したが、複数の品質等級を判別する多クラス識別であっても、同様の方法で良品か不良品かの判別が可能である。
【００３４】
［第２実施形態］
次に、本発明の第２実施形態について説明する。第２実施形態では、第１実施形態で計測した物理量に代えて回帰分析による当該物理量の推定値を第１の特徴として抽出する場合の例を説明する。回帰分析には、ニューラルネットワークによる回帰器を用いる。検査方法の実施に用いる検査装置のハードウエア構成は、図４に示した第１実施形態のものと同じであるため、説明を省略する。また、機能ブロック構成も図５に示した第１実施形態と基本的に同じであるが、検査基準依存特徴抽出部４０４の動作が第１実施形態の検査装置と異なる。すなわち、検査基準依存特徴抽出部４０４は、特徴計測部４０２において複数の処理パラメタより得られた、複数の特徴計測の結果をニューラルネットワークによる回帰器に入力して、推定値を得る。そして、その推定値を第１の特徴として判別部４０７に入力する。
【００３５】
例えば、特徴計測部４０２において複数の処理パラメタで計測された各点の面積を入力とする場合、それらの入力から推定される各点の面積を推定値として出力する。ここで、ニューラルネットワークへの入力ベクトルをｘ、出力ベクトルをｙとする。入力ベクトルｘは、特徴計測結果をパラメタ入力部４０３より入力された処理パラメタを用いて、特徴計測部４０２で処理された結果を一つに統合した特徴ベクトルである。例えば、処理パラメタとして閾値Ｔ１，Ｔ２，Ｔ３を用い、図７のような計測点が得られたとする。この場合、入力ベクトルｘは、図７より以下のようになる。
ｘ＝［0.05，0.0225，0.01，0.01，0.0025，0，0.0225，0.01，0.005，0，0，0，0.01，0.05，0，0，0，0］
【００３６】
出力ｙは、サンプルＩＤ毎の計測点＃１〜計測点＃６の面積の推定値である。この推定値は６次元のベクトルとなる。ニューラルネットワークの第ｉ層のｋ番目のニューロンへの入力をｘ（ｉ）ｋ  、その出力をｈ（ｉ）ｋ、とすると、その関係は以下の式２で表される。
ｈ（ｉ）ｋ＝ｆ（ｉ）ｋ（Ｗ（ｉ）Ｔｋ  Ｘ（ｉ）ｋ）  ・・・（式２）
式２において、ｗ（ｉ）ｋは重みベクトルであり、ｆ（ｉ）ｋ（・）は活性化関数である。ｉ層目のニューロンがＮ個あるとすると、ｉ層目の全てをまとめたベクトルｈ（ｉ）は、ｈ（ｉ）  ＝  ［ｈ（ｉ）１  ，ｈ（ｉ）２，…，ｈ（ｉ）Ｎ］と表される。
【００３７】
式２において、もしｉ−１層目の出力全てをｘ（ｉ）ｋ  として用いる場合、ｘ（ｉ）ｋ  ＝  ｈ（ｉ−１）である。最終層がＭ層目である場合、出力ｙは、式３で表される。
ｙ＝[ｈ（Ｍ）１，・・・，ｈ（Ｍ）６］    ・・・(式３）
【００３８】
この６次元のベクトルｙを第１実施形態で説明した第１の特徴ｘｍと同様に扱い、判別部４０７の学習及び検査に用いる。
検査基準依存特徴抽出部４０４は、全てのニューロンの重みベクトルを、教示データを用いて学習する。学習時のニューラルネットワークへの入力ベクトルは、学習データを候補パラメタで処理した結果とする。出力は点状欠陥の面積の推定値である。この出力と学習データに対応する教示データとの誤差を求め、公知の誤差伝搬法などを用いて、各ニューロンの重みの修正を行う。
【００３９】
第２実施形態の変形例として、ニューラルネットワークは、各点状欠陥の面積の推定値に対応する６次元のベクトルを出力するのではなく、最大の面積の点と良品条件との差の値を出力してもよい。この場合、教示データとして与えるのは、学習データ中の点状欠陥のうち、最大の面積となる点の面積と良品条件との差の値である。
【００４０】
第２実施形態の他の変形例として、ニューラルネットワークは、点状欠陥の面積の推定値ではなく、良品条件を満たしているかどうか、すなわち上述した良品スコアを出力するように学習することもできる。この場合、教示データとして与えるのは、学習データが良品か否かの情報だけである。
【００４１】
第２実施形態の他の変形例として、検査基準依存特徴抽出部４０４として、ニューラルネットワークにより計算される点状欠陥の面積（物理量）またはそれに基づいて導出される良品スコア以外のデータを第１の特徴として用いることもできる。すなわち、良品スコアの導出前の中間処理値を第１の特徴として用いることができる。具体的には、ニューラルネットワークの最終段出力ｙに代えて、例えばｉ層目の全ての出力を統合したベクトルｈ（ｉ）＝［ｈ（ｉ）１  ，ｈ（ｉ）２，…，ｈ（ｉ）Ｎ］を第１の特徴ｘｍと同様に扱い、判別部４０７の学習及び検査に用いることができる。
【００４２】
第２実施形態の検査方法は、検査基準依存特徴抽出部４０４がニューラルネットワークを用いた回帰器である点以外は、第１実施形態と同じである。第２実施形態における検査方法について図１３を参照して具体的に説明する。まず、検査基準依存特徴抽出部４０４の学習処理について説明する。学習データおよび教示データは、複数のデータをセットにしたミニバッチに分割されているものとする。
検査装置では、データ入力部４０１で、ミニバッチをひとつ選択し（Ｓ４０１）、選択したミニバッチに含まれる学習データの一つを入力する（Ｓ４０２）。パラメタ入力部４０３は、複数の処理パラメタを入力する（Ｓ４０３）。特徴計測部４０２は、入力された複数の処理パラメタそれぞれに対応する特徴計測処理を行い、点状欠陥の抽出と、抽出された各欠陥のサイズ計測を行う（Ｓ４０４）。
制約条件入力部４０５は、入力された学習データに対応する教示データを入力する（Ｓ４０５）。検査基準依存特徴抽出部４０４は、計測された各欠陥のサイズを入力ベクトルとした現時点のニューラルネットワークによる推定値を算出し、Ｓ４０５において入力された教示データとの誤差を求める（Ｓ４０６）。検査基準依存特徴抽出部４０４は、Ｓ４０１で選択したミニバッチの全てに関して、Ｓ４０２ないしＳ４０６の処理が完了したかどうかを確認する（Ｓ４０７）。完了していなければ（Ｓ４０７：Ｎ）、Ｓ４０２に戻る。完了している場合（Ｓ４０７：Ｙ）、検査基準依存特徴抽出部４０４は、ミニバッチの全てに関して、Ｓ４０２ないしＳ４０６において算出された誤差の平均をとり、誤差逆伝搬などによって、各ニューロンの重みを更新する（Ｓ４０８）。検査基準依存特徴抽出部４０４は、予め作成しておいたミニバッチ全てについてＳ４０１ないしＳ４０８の処理が完了したかを確認し（Ｓ４０９）、完了していなければ（Ｓ４０９：Ｎ）Ｓ４０１に戻る。完了している場合は（Ｓ４０９：Ｙ）、学習処理を終了する。
【００４３】
判別部４０７の学習処理は、図１１に示した第１実施形態の判別部４０７の学習処理と同様である。以下では第１実施形態と異なる点を説明する。
Ｓ２０３の特徴計測処理において、特徴計測部４０２は、検査基準依存特徴抽出部４０４の学習時に用いた処理パラメタを全て用いて、検査ルールに規定されている欠陥の検出及び計測を行う。また、Ｓ２０４の処理において、検査基準依存特徴抽出部４０４は、Ｓ２０３で得られた特徴計測処理の結果より第１の特徴を算出する。この算出された第１の特徴は、推定される規定数の点状欠陥の面積である。別の実装として、最大の点状欠陥の面積と良品条件で定められた点の面積の差の値や、良品であるかの度合いを示すスコアを算出してもよい。さらに、別の実装として、ニューラルネットワークの中間層の出力を検査基準依存特徴抽出部４０４の算出する特徴量としてもよい。
【００４４】
次に、第２実施形態の検査処理に関して説明する。この検査処理は図１２に示した第１実施形態の検査処理と同様である。相違点は、Ｓ３０２における特徴計測処理が、検査基準依存特徴抽出部４０４の学習時に用いた処理パラメタを全て用いて検査ルールに規定されている欠陥の検出及び計測を行う点である。
【００４５】
なお、検査基準依存特徴抽出部４０４では、ニューラルネットワークの回帰器を用いる例を説明したが、他の手法を用いることもできる。例えば、線形回帰器や、ＳＶＲＲＦ（Support Vector Regression、Random Forest）などを用いることができる。また、ニューラルネットワークが、Ｒａｎｄｏｍ  Ｆｏｒｅｓｔのように、複数の弱回帰器により構成されている場合、その各弱回帰器の出力を要素とするベクトルを、検査基準依存特徴抽出部４０４が出力する特徴ベクトルとすることもできる。
【００４６】
例えば、検査基準依存特徴抽出部４０４の回帰器が以下の式４のように表されるとする。式４において、ｘは特徴計測部４０２において、複数のパラメタで計測された各点の面積を要素とするベクトル、ｆ（ｘ）は、回帰器を構成する弱回帰器である。
【数２】
2018190282.tif 000004
【００４７】
検査基準依存特徴抽出部４０４は、出力として、点状欠陥の面積の推定値ｙを出力しても良いし、Ｎ個の弱回帰器の出力ｆを要素としたベクトルを出力しても良い。以上の説明は回帰器ではなく、判別部４０７の良否の判別機能の場合でも同様である。
【００４８】
［第３実施形態］
次に、本発明の第３実施形態に係る検査装置について説明する。第３実施形態では、検査対象が機器の駆動部分であり、その状態を表す対象データが、検査対象の状態を間接的に表す音響データである場合の例を示す。良否の判別は、機器が正常に動いているかどうかとなる。第３実施形態に係る検査装置のハードウエア構成は、図４に示した第１実施形態と同じであり、機能ブロック構成は第２実施形態と同じである。そのため、同一部品ないし同一機能については第１実施形態または第２実施形態に係る検査装置と同一符号を付して説明する。
【００４９】
第３実施形態では、機器の特定箇所にマイクロフォンを取り付けた状態で１分間の試運転を行う。その際、マイクロフォンから取得された音響データが異音を表している場合、該異音が発生した回数が規定値以内であれば正常動作をしていると判別する。つまり、第３実施形態の検査装置は、検査基準依存特徴である異音発生回数を計測し、その他の音響特徴量（検査基準依存特徴によらない動作音）と合わせて、機器の良否判別を行う。
【００５０】
第３実施形態の検査装置において、データ入力部４０１には、機器の特定箇所に取り付けられたマイクロフォンからの音響データが入力データとして入力される。検査基準依存特徴抽出部４０４及び良否判別部４０７の学習時には、事前に録音された音響データが学習データとして入力される。また、検査時には、その機器を実際に稼働させた状態でリアルタイムに取得された音響データが入力される。ただし、事前に録音された音響データであっても良い。
【００５１】
特徴計測部４０２は、入力された音響データに異音が含まれているときはそれを検知し、所定時間内に異音を検知した回数を計測する。音響データの例を図１４（ａ），（ｂ）に示す。グラフの縦軸は、音圧Ｐの絶対値｜Ｐ｜であり、横軸は試運転開始後の時刻である。検査装置は、音圧Ｐの絶対値が所定の閾値を超えた場合、異音が発生したことを認識する。所定の閾値は、パラメタ入力部４０３より与えられる。一例として図１４（ｂ）を参照して説明する。
ここでは、閾値がＴｐ１であるとする。｜Ｐ｜は、時刻ｔ２及びｔ３において閾値Ｔｐ１を超えている。この場合、２回の異音が検知される。同様に、閾値がＴｐ２である場合には３回、閾値がＴｐ３である場合には５回の異音が検知される。
【００５２】
検査基準依存特徴抽出部４０４は、パラメタ入力部４０３より入力された３つの閾値Ｔｐ１，Ｔｐ２，Ｔｐ３それぞれに対応する特徴計測部４０２の出力を統合した値を判別部４０７へ出力する。
第３実施形態における検査基準依存特徴抽出部４０４は、第２実施形態と同様、ニューラルネットワークを利用した回帰器により実現されているものとする。ただし、他の回帰器を用いることもできる。例えば図１４（ｂ）のデータについて、パラメタ入力部４０３から複数の処理パラメタとして閾値Ｔｐ１，Ｔｐ２，Ｔｐ３が入力されたとする。この場合の特徴計測部４０２の出力は、それぞれの場合の異音の発生回数に対応する「２」、「３」、「５」である。このとき、検査基準依存特徴抽出部４０４へ入力される特徴ベクトルは［２，３，５］となり、検査基準依存特徴抽出部４０４の出力は、この特徴ベクトルを入力として回帰器によって推定された異音の検知回数となる。
【００５３】
検査基準依存特徴抽出部４０４は、教示データによる学習を行う。教示データは制約条件入力部４０５より入力される。図１５に教示データの例を示す。教示データには、各サンプルのＩＤと良否の判定結果、及び検査員によって異音が判定された回数が記録される。検査員は機器に取り付けたマイクロフォンから測定された作動音を聴いて異音があるかどうかを検知し、異音を検知した回数を記録する。
【００５４】
検査基準非依存特徴抽出部４０６は、入力された音響データから教示データによらない音響特徴量を抽出する。音響特徴量としては、例えば、短時間離散フーリエ変換のパワースペクトルや位相スペクトルなどを用いることができる。
判別部４０７は、第１実施形態及び第２実施形態２と同様の、計測量統合部４１３の出力と検査基準非依存特徴抽出部４０６の出力を特徴量とする識別器であり、検査対象の良否の判定を行う。
【００５５】
第３実施形態による検査方法の手順は第２実施形態の検査方法とほぼ同じである。すなわち、最初に検査基準依存特徴抽出部４０４の学習を図１３の処理フローに従って行う。また、判別部４０７の学習を図１１の処理フローに従って行う。そして、検査対象となる機器の良否判別を図１２の処理フローに従って行う。第２実施形態との相違は、データ入力部４０１に入力される対象データおよび学習データが音響データである点、パラメタ入力部４０３より入力される処理パラメタが音響信号の音圧の絶対値に対する閾値である点である。教示データが複数のデータをセットにした複数のミニバッチに分割される点は第２実施形態と同じである。また、第３実施形態において、特徴計測部４０２は、音響信号の音圧の絶対値が閾値（複数）を越えた回数をそれぞれカウントする処理を行う。また、検査基準依存特徴抽出部４０４は、各閾値に対するカウント数を入力ベクトルとした現時点のニューラルネットワークによる推定値を算出する。学習時には、この推定値と教示データとの誤差を求める。
【００５６】
第３実施形態では、機器の駆動部分の状態を表す対象データが、音響データである場合の例を説明したが、駆動部分に振動センサないし加速度センサを設け、機器の故障に伴う異常振動の回数などを計測するようにしても良い。この場合の対象データは、該駆動部分の状態を間接的に表す振動データであり、処理パラメタは、例えば異常振動の振幅値（複数）となる。
【００５７】
［変形例］
第１ないし第３実施形態では、検査対象の状態の特徴計測処理により当該検査対象の良否判別を行う例について説明したが、本発明は、複数の等級の分別に用いることができる。例えば、製造工程における製品のキズの程度の検査に用いることができる。また、細胞や微生物の培養状態の判断にも用いることができる。さらに、肌の状態がどの程度良いかの判別などにも用いることができる。これらの場合の処理パラメタは、例えば、等級に応じて異なる閾値となる。
【００５８】
また、本発明は、上述の第１ないし第３実施形態の１以上の機能を実現するコンピュータプログラムを、ネットワーク又は記憶媒体を介してコンピュータに供給し、そのコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2018190282.tif 000005
【図２】
2018190282.tif 000006
【図３】
2018190282.tif 000007
【図４】
2018190282.tif 000008
【図５】
2018190282.tif 000009
【図６】
2018190282.tif 000010
【図７】
2018190282.tif 000011
【図８】
2018190282.tif 000012
【図９】
2018190282.tif 000013
【図１０】
2018190282.tif 000014
【図１１】
2018190282.tif 000015
【図１２】
2018190282.tif 000016
【図１３】
2018190282.tif 000017
【図１４】
2018190282.tif 000018
【図１５】
2018190282.tif 000019