(57)【要約】外観検査に用いられ得る新しい画像処理装置、外観検査システムおよびコンピュータプログラムを提供する。本開示の画像処理装置（１００）は、プロセッサ（１０）、プログラムを記憶するメモリ（１２）、学習済み良品画像データベースを備える。プログラムに従って、プロセッサは、被検査物の検査領域を含む画像データを取得し、画像データから検査領域内に含まれる各画素位置における画素値を取得し、各良品の画像データから決定された統計量および検査領域内の各画素位置における画素値に基づいて、検査領域内の画素群から特異画素を抽出し、特異画素の配列に基づいて、被検査物が不良品の候補であるか否かを判別し、被検査物が不良品の候補であると判定した場合、配列の２次元パターンの形状特徴パラメータを取得し、機械学習法を用いて、被検査物が良品であるか否かを形状特徴パラメータに基づいて判定することを実行する。
2020071234.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、  前記プロセッサの動作を制御するプログラムを記憶するメモリと、  学習済み良品画像データベースと、を備え、  前記プログラムに従って、前記プロセッサは、    被検査物が有する検査領域を含む画像のデータを取得することと、    前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、    複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、    抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、  を包含するプレ判定ステップと、    前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの形状特徴パラメータを取得することと、    機械学習法を用いて、前記被検査物が良品であるか否かを前記形状特徴パラメータに基づいて判定することと、を包含する判定ステップと、を実行する、画像処理装置。
【請求項２】
前記検査領域内に含まれる前記画素群から前記特異画素を抽出することは、  前記参照領域内の各画素位置における画素値に基づく前記統計量を、前記学習済み良品画像データベースから取得することと、  前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および前記特異画素の一方に分類することと、を包含する、請求項１に記載の画像処理装置。
【請求項３】
前記プロセッサは、  複数の被検査物のそれぞれに対し、前記プレ判定ステップを実行して、前記特異画素を含む画素の配列を取得し、  前記複数の被検査物のうちの不良品の候補と判定した被検査物から、前記配列の前記形状特徴パラメータを含む学習データを取得し、  それぞれに良品または不良品のラベルを付した前記学習データに基づいて学習済みモデルを生成する、請求項１または２に記載の画像処理装置。
【請求項４】
前記学習済みモデルは、サポートベクターマシンである、請求項３に記載の画像処理装置。
【請求項５】
前記プロセッサは、前記学習済みモデルを用いて、前記プレ判定ステップを実行することにより不良品の候補と判定した被検査物の前記配列の前記形状特徴パラメータに基づいて、前記被検査物が良品であるか否かを判別する、請求項３または４に記載の画像処理装置。
【請求項６】
プロセッサと、  前記プロセッサの動作を制御するプログラムを記憶するメモリと、  学習済み良品画像データベースと、を備え、  前記プログラムに従って、前記プロセッサは、    被検査物が有する検査領域を含む画像のデータを取得することと、    前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、    複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、    抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、  を包含するプレ判定ステップと、    前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの生成の元となった原画像のデータと、前記学習済み良品画像データベース内に含まれる、前記複数の良品のそれぞれが有する参照領域を含む良品画像のデータとのマッチングを行うことと、    前記原画像のデータが、複数の良品画像のデータのうちの少なくとも１つにマッチングした場合において、前記被検査物は良品であると判定することと、を包含する判定ステップと、を実行する、画像処理装置。
【請求項７】
前記検査領域内に含まれる前記画素群から前記特異画素を抽出することは、  前記参照領域内の各画素位置における画素値に基づく前記統計量を、前記学習済み良品画像データベースから取得することと、  前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および前記特異画素の一方に分類することと、を包含する、請求項６に記載の画像処理装置。
【請求項８】
前記プロセッサは、  前記原画像のデータをテンプレートとして利用し、前記学習済み良品画像データベース内に含まれる、前記複数の良品のそれぞれが有する参照領域を含む良品画像のデータにテンプレートマッチングを行う、請求項６または７に記載の画像処理装置。
【請求項９】
前記学習済み良品画像データベースとは異なる別の学習済み良品画像データベースをさらに備え、  前記プロセッサは、前記原画像のデータをテンプレートとして利用し、前記別の学習済み良品画像データベース内に含まれる、前記複数の良品のそれぞれが有する参照領域を含む良品画像のデータにテンプレートマッチングを行う、請求項６または７に記載の画像処理装置。
【請求項１０】
請求項１から９のいずれかに記載の画像処理装置と、  前記被検査物を光で照射する光源と、  前記画像のデータを生成するための画像信号を出力するイメージセンサと、  前記画像処理装置が備える前記プロセッサが実行した判別の結果を表示するモニタと、を備える、外観検査システム。
【請求項１１】
外観検査に用いられる画像処理方法であって、    被検査物が有する検査領域を含む画像のデータを取得することと、    前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、    複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、    抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、  を包含するプレ判定ステップと、    前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの形状特徴パラメータを取得することと、    機械学習法を用いて、前記被検査物が良品であるか否かを前記形状特徴パラメータに基づいて判定することと、  を包含する判定ステップと、を含む、画像処理方法。
【請求項１２】
前記検査領域内に含まれる前記画素群から前記特異画素を抽出することは、  前記参照領域内の各画素位置における画素値に基づく前記統計量を、前記学習済み良品画像データベースから取得することと、  前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および前記特異画素の一方に分類することと、を包含する、請求項１１に記載の画像処理方法。
【請求項１３】
複数の被検査物のそれぞれに対し、前記プレ判定ステップを実行して、前記特異画素を含む画素の配列を取得し、  前記判定ステップは、  前記複数の被検査物のうちの不良品の候補と判定した被検査物から、前記配列の前記形状特徴パラメータを含む学習データを取得することと、  それぞれに良品または不良品のラベルを付した前記学習データに基づいて学習済みモデルを生成することと、を含む、請求項１１または１２に記載の画像処理方法。
【請求項１４】
前記学習済みモデルは、サポートベクターマシンである、請求項１３に記載の画像処理方法。
【請求項１５】
前記判定ステップは、前記学習済みモデルを用いて、前記プレ判定ステップを実行することにより不良品の候補と判定した被検査物の前記配列の前記形状特徴パラメータに基づいて、前記被検査物が良品であるか否かを判別することを含む、請求項１３または１４に記載の画像処理方法。
【請求項１６】
外観検査に用いられる画像処理方法であって、    被検査物が有する検査領域を含む画像のデータを取得することと、    前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、    複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、    抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、  を包含するプレ判定ステップと、    前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの生成の元となった原画像のデータと、前記学習済み良品画像データベース内に含まれる、前記複数の良品のそれぞれが有する参照領域を含む良品画像のデータとのマッチングを行うことと、    前記原画像のデータが、複数の良品画像のデータのうちの少なくとも１つにマッチングした場合において、前記被検査物は良品であると判定することと、を包含する判定ステップと、を含む、画像処理方法。
【請求項１７】
前記検査領域内に含まれる前記画素群から前記特異画素を抽出することは、  前記参照領域内の各画素位置における画素値に基づく前記統計量を、前記学習済み良品画像データベースから取得することと、  前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および前記特異画素の一方に分類することと、を包含する、請求項１６に記載の画像処理方法。
【請求項１８】
前記判定ステップは、前記原画像のデータをテンプレートとして利用し、前記学習済み良品画像データベース内に含まれる、前記複数の良品のそれぞれが有する参照領域を含む良品画像のデータにテンプレートマッチングを行うことを含む、請求項１６または１７に記載の画像処理装置。
【請求項１９】
前記判定ステップは、前記原画像のデータをテンプレートとして利用し、前記学習済み良品画像データベースとは異なる別の学習済み良品画像データベース内に含まれる、前記複数の良品のそれぞれが有する参照領域を含む良品画像のデータにテンプレートマッチングを行うことを含む、請求項１６または１７に記載の画像処理方法。
【請求項２０】
被検査物が有する検査領域を含む画像のデータを取得することと、  前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、  複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、  抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、  を包含するプレ判定ステップと、  前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの形状特徴パラメータを取得することと、  機械学習法を用いて、前記被検査物が良品であるか否かを前記形状特徴パラメータに基づいて判定することと、を包含する判定ステップと、をコンピュータに実行させるコンピュータプログラム。
【請求項２１】
被検査物が有する検査領域を含
む画像のデータを取得することと、  前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、  複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、  抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、  を包含するプレ判定ステップと、  前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの生成の元となった原画像のデータと、学習済み良品画像データベース内に含まれる、前記複数の良品のそれぞれが有する参照領域を含む良品画像のデータとのマッチングを行うことと、  前記原画像のデータが、複数の良品画像のデータのうちの少なくとも１つにマッチングした場合において、前記被検査物は良品であると判定することと、を包含する判定ステップと、をコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、外観検査に用いられ得る画像処理装置、画像処理方法および外観検査システムに関している。また、本願は、画像処理に使われるコンピュータプログラムにも関している。
【背景技術】
【０００２】
工場などの製造現場では、製造された完成品または部品の外観に現れた欠陥、傷、異物、および汚れを目視検査によって検出することが行われている。このような外観検査を機械化または自動化するため、さまざまな画像処理技術が開発されている。  【０００３】
特開２０１７−１９４３３４号公報および特開２０１６−２１２４８８号公報は、２段階の検査を経て物品の外観に現れた真の欠陥を判別する検査方法を開示している。特開２０１７−１９４３３４号公報に開示された方法では、第１段階の検査において、画像を複数のブロックに分割し、分割したブロック毎に欠陥の候補を判定する。第２段階の検査において、欠陥の候補と判定したブロックをサブブロックにさらに分割し、サブブロック毎に真の欠陥を判定する。特開２０１６−２１２４８８号公報に開示された方法では、第１段階の検査において、ラインカメラを用いた欠陥検査を行う。第１段階の検査で欠陥有りと判定した場合、第２段階の検査において、カラーのエリアカメラを用いた欠陥検査を行い真の欠陥を判定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１９４３３４号公報
【特許文献２】特開２０１６−２１２４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
目視検査では「良品」と判別されるべき被検査物を、外観検査装置を用いた良品検査によって「不良品」と判別してしまう、いわゆる過検出が生じる場合がある。  【０００６】
特開２０１７−１９４３３４号公報または特開２０１６−２１２４８８号公報が開示する２段階の検査によれば、検査に要する時間を増大させることなく、精密な欠陥検査を行うことが可能となる。しかしながら、例えば鋳造品の微妙な形状の違いに起因して生じ得る過検出を低減することは困難である。  【０００７】
本開示の実施形態は、外観検査に用いられ得る新規な画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラムを提供する。
【課題を解決するための手段】
【０００８】
本開示の画像処理装置は、例示的な実施形態において、プロセッサと、前記プロセッサの動作を制御するプログラムを記憶するメモリと、学習済み良品画像データベースと、を備える。前記プログラムに従って、前記プロセッサは、被検査物が有する検査領域を含む画像のデータを取得することと、前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、を包含するプレ判定ステップと、前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの形状特徴パラメータを取得することと、機械学習法を用いて、前記被検査物が良品であるか否かを前記形状特徴パラメータに基づいて判定することと、を包含する判定ステップと、を実行する。  【０００９】
本開示の画像処理装置は、例示的な実施形態において、プロセッサと、前記プロセッサの動作を制御するプログラムを記憶するメモリと、学習済み良品画像データベースと、を備える。前記プログラムに従って、前記プロセッサは、被検査物が有する検査領域を含む画像のデータを取得することと、前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、を包含するプレ判定ステップと、前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの生成の元となった原画像のデータと、前記学習済み良品画像データベース内に含まれる、前記複数の良品のそれぞれが有する参照領域を含む良品画像のデータとのマッチングを行うことと、前記原画像のデータが、複数の良品画像のデータのうちの少なくとも１つにマッチングした場合において、前記被検査物は良品であると判定することと、を包含する判定ステップと、を実行する。  【００１０】
本開示の外観検査システムは、例示的な実施形態において、上記の画像処理装置と、前記被検査物を光で照射する光源と、前記画像のデータを生成するための画像信号を出力するイメージセンサと、前記画像処理装置が備える前記プロセッサが実行した判別の結果を表示するモニタとを備える。  【００１１】
本開示の画像処理方法は、例示的な実施形態において、被検査物が有する検査領域を含む画像のデータを取得することと、前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、を包含するプレ判定ステップと、前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの形状特徴パラメータを取得することと、機械学習法を用いて、前記被検査物が良品であるか否かを前記形状特徴パラメータに基づいて判定することと、を包含する判定ステップと、を含む。  【００１２】
本開示の画像処理方法は、例示的な実施形態において、被検査物が有する検査領域を含む画像のデータを取得することと、前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、を包含するプレ判定ステップと、前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの生成の元となった原画像のデータと、前記学習済み良品画像データベース内に含まれる、前記複数の良品のそれぞれが有する参照領域を含む良品画像のデータとのマッチングを行うことと、前記原画像のデータが、複数の良品画像のデータのうちの少なくとも１つにマッチングした場合において、前記被検査物は良品であると判定することと、を包含する判定ステップと、を含む。  【００１３】
本開示のコンピュータプログラムは、例示的な実施形態において、被検査物が有する検査領域を含む画像のデータを取得することと、前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、を包含するプレ判定ステップと、前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの形状特徴パラメータを取得することと、機械学習法を用いて、前記被検査物が良品であるか否かを前記形状特徴パラメータに基づいて判定することと、を包含する判定ステップと、をコンピュータに実行させる。  【００１４】
本開示のコンピュータプログラムは、例示的な実施形態において、被検査物が有する検査領域を含む画像のデータを取得することと、前記画像のデータから前記検査領域内に含まれる各画素位置における画素値を取得することと、複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および前記検査領域内に含まれる各画素位置における前記画素値に基づいて、前記検査領域内に含まれる画素群から特異画素を抽出することと、抽出した前記特異画素を含む画素の配列に基づいて、前記被検査物が不良品の候補であるか否かを判別することと、を包含するプレ判定ステップと、前記被検査物が不良品の候補であると判定した場合において、前記特異画素を含む画素の配列の２次元パターンの生成の元となった原画像のデータと、学習済み良品画像データベース内に含まれる、前記複数の良品のそれぞれが有する参照領域を含む良品画像のデータとのマッチングを行うことと、前記原画像のデータが、複数の良品画像のデータのうちの少なくとも１つにマッチングした場合において、前記被検査物は良品であると判定することと、を包含する判定ステップと、をコンピュータに実行させる。
【発明の効果】
【００１５】
本開示の実施形態によれば、特異画素に分類された画素の配列に基づいて被検査物が不良品の候補であるか否かを判別する第１段階の検査、および、機械学習法またはマッチング手法を用いて、不良品の候補の中の被検査物が良品であるか否かを判別する第２段階の検査を実施することによって過検出を低減することが可能となる、新規な画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラムが提供される。
【図面の簡単な説明】
【００１６】
【図１】図１は、本開示の外観検査システムの構成例を示すブロック図である。
【図２】図２は、外観検査システムの一部の構成を模式的に示す図である。
【図３】図３は、第１の実施形態による画像処理装置１００の、画像処理を実行するための機能ブロックを例示する機能ブロック図である。
【図４】図４は、特異画素の配列を説明するためのサンプル画像を示す図である。
【図５Ａ】図５Ａは、第１の実施形態による画像処理における第１段階の検査を実行する処理の例を示すフローチャートである。
【図５Ｂ】図５Ｂは、第１の実施形態による画像処理における第２段階の検査を実行する処理の例を示すフローチャートである。
【図６】図６は、ワーク７０を説明するための図である。
【図７Ａ】図７Ａは、良品であると判定される被検査物の画像データのサンプルを示す図である。
【図７Ｂ】図７Ｂは、本来は良品であるにもかかわらず、外観検査において良品ではないと判定される可能性がある被検査物の画像データのサンプルを示す図である。
【図７Ｃ】図７Ｃは、良品であると判定される被検査物の画像データのサンプルを示す図である。
【図７Ｄ】図７Ｄは、本来は良品であるにもかかわらず、外観検査において良品ではないと判定される可能性がある被検査物の画像データのサンプルを示す図である。
【図８】図８は、学習のフェーズにおける学習器３５０の処理の例を示すフローチャートである。
【図９】図９は、ある特定の画素（ｐ，ｑ）について、学習済み良品画像データベース２００内のＮ個の画素値Ｖｎ（ｐ，ｑ）の分布を模式的に示す図である。
【図１０】図１０は、第２の実施形態による画像処理装置１００の、画像処理を実行するための機能ブロックを例示する機能ブロック図である。
【図１１】図１１は、第２の実施形態による画像処理における第２段階の検査を実行する処理の例を示すフローチャートである。
【図１２】図１２は、第２の実施形態による画像処理装置１００の、画像処理を実行するための機能ブロックのバリエーションを例示する機能ブロック図である。
【発明を実施するための形態】
【００１７】
＜第１の実施形態＞  本開示の画像処理装置は、非限定的で例示的な実施形態において、プロセッサと、プロセッサの動作を制御するプログラムを記憶するメモリと、学習済み良品画像データベースとを備える。プロセッサは、プログラムに従って、以下の処理を実行する。  （１）被検査物が有する検査領域を含む画像のデータを取得する。  （２）画像のデータから検査領域内に含まれる各画素位置における画素値を取得する。  （３）複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および検査領域内に含まれる各画素位置における画素値に基づいて、検査領域内に含まれる画素群から特異画素を抽出する。  （４）抽出した特異画素を含む画素の配列に基づいて、被検査物が不良品の候補であるか否かを判別する。  （５）被検査物が不良品の候補であると判定した場合において、特異画素を含む画素の配列の２次元パターンの形状特徴パラメータを取得する。  （６）機械学習法を用いて、被検査物が良品であるか否かを形状特徴パラメータに基づいて判定する。  
【００１８】
本実施形態の画像処理方法も、図１および図２に示される装置を用いて実行可能である。本明細書において、上記（１）から（４）までの処理を含むステップをプレ判定ステップと呼び、上記（５）および（６）の処理を含むステップを判定ステップと呼ぶ場合がある。プレ判定ステップは、第１段階の検査に用いられ、被検査物が不良品の候補であるか否かを判別するための処理を規定したステップである。判定ステップは、第２段階の検査に用いられ、被検査物が良品であるか否かを判定するための処理を規定したステップである。  
【００１９】
図１は、本開示の外観検査システムの構成例を示すブロック図である。図示されている例において、外観検査システム１０００は、プロセッサ１０およびメモリ１２を有する画像処理装置１００を備える。プロセッサ１０は、例えば中央演算処理装置（ＣＰＵ）またはデジタル信号処理プロセッサなどの集積回路（ＩＣ）チップであり得る。本明細書において、「プロセッサ」は、プロセッサを組み込んだフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのＩＣチップを含む用語として広く解釈される。例えば、プロセッサ１０は、ＦＰＧＡであってもよい。  
【００２０】
メモリ１２は、プロセッサ１０の動作を制御するコンピュータプログラムを格納した記録媒体である。メモリ１２は、単一の記録媒体である必要はなく、複数の記録媒体の集合であり得る。メモリ１２は、例えばＲＡＭなどの半導体揮発性メモリ、フラッシュＲＯＭなどの半導体不揮発性メモリ、およびハードディスクドライブなどのストレージ装置を含み得る。メモリ１２の少なくとも一部は、取り外し可能な記録媒体であってもよい。メモリ１２は、ある実施形態において、良品／不良品判定に使用され得る「学習済み良品画像データ」を記憶している。  
【００２１】
プロセッサ１０は、メモリ１２とは別に、クラウド上のサーバまたはデータベース装置に有線または無線によって接続されていてもよい。この場合、サーバまたはデータベース装置が学習済み良品画像データを記憶していてもよい。  
【００２２】
外観検査システム１０００は、更に、光源２０と、イメージセンサ（撮像装置）３０と、ディスプレイ４０と、操作装置５０とを備える。  
【００２３】
光源２０は、被検査物（検査対象）を光で照射する照明装置である。被検査物は、外観検査の対象となるさまざまな製品または部品などの各種の物品である。以下、被検査物を「ワーク」と称する場合がある。光源２０は、例えば多数の白色ＬＥＤ素子が面状またはリング状に配列されたＬＥＤ照明ユニットであり得る。光源２０は不図示の点灯回路を備えている。ある実施形態において、光源２０は同軸落射照明を可能にするように配置される。光源２０が放射する光の波長（色）は、特に限定されないが、検査対象に応じて選択され得る。光の偏光状態は、偏光または非偏光のいずれであってもよいが、良品学習時と検査時とで偏光状態が変化していないことが望ましい。図１の例において、光源２０はプロセッサ１０に接続されているが、このような接続は不可欠ではない。光源２０のオン／オフおよび照度調整などの動作は、プロセッサ１０を介することなく、光源２０の点灯回路に対してユーザから直接に行われてもよい。  
【００２４】
撮像装置３０は、被検査対物の画像のデータを生成するための画像信号を出力する装置である。画像信号は、有線または無線により、プロセッサ１０に送られる。撮像装置３０の典型例は、多数のフォトダイオードが行列状に配列されたＣＭＯＳイメージセンサまたはＣＣＤイメージセンサなどのエリアセンサを備えるカメラである。撮像装置３０は、被検査物のカラー画像またはモノクローム画像のデータを生成する。撮像装置３０には、外観検査用の各種カメラを使用することができる。  
【００２５】
ディスプレイ４０は、画像処理装置１００が実行した判別の結果などを表示する装置である。ディスプレイ４０は、モニタと称されることもあり、撮像装置３０によって取得された画像を表示することもできる。  
【００２６】
操作装置５０は、選択領域の指定を含むユーザからの入力を受け取り、プロセッサ１０に与える入力デバイスである。操作装置５０の例は、タッチパネル、マウスおよび／またはキーボードである。ディスプレイ４０および操作装置５０は、プロセッサ１０に有線によって常に接続されている必要はなく、通信インタフェースを介して無線または有線によって必要なときだけ接続されていてもよい。ディスプレイ４０および操作装置５０は、ユーザが携帯する端末装置またはスマートフォンであってもよい。  
【００２７】
図２は、外観検査システム１０００の一部の構成例を模式的に示す図である。光源２０および撮像装置３０は、筐体１２０の内部において、サポート部材６０によって支持されている。被検査物であるワーク７０は、移送台６２に乗せられ、把持機構によって移送台６２に固定される。移送台６２は、ワーク７０を乗せたまま、搬送ステージ６４によって水平方向に移動可能である。移送台６２が光源２０の真下に位置しているとき、光源２０からワーク７０に対する同軸落射照明が行われる。照明が行われている間に撮像装置３０は、ワーク７０の撮像を行う。ワーク７０は、ロボットアームに把持されて撮像ポジションに置かれてもよい。  
【００２８】
撮像によって取得された画像のデータは、撮像装置３０から図１の画像処理装置１００に送られる。１回の撮像によって取得される画像の画素数は、例えば３０万画素から５０００万画素である。図１の画像処理装置１００、ディスプレイ４０および操作装置５０は、汎用的なデジタルコンピュータシステム、例えばパーソナルコンピュータによって実現され得る。  
【００２９】
画像データを取得した画像処理装置１００は、前述した処理を実行してワーク７０の外観検査を実行する。  
【００３０】
図３を参照する。図３は、本実施形態による画像処理装置１００の、画像処理を実行するための機能ブロックを例示する機能ブロック図である。機能ブロック図における各ブロックは、ハードウェア単位ではなく機能ブロック単位で示される。画像処理に用いるソフトウェアは、例えば、各機能ブロックに対応した特定の処理を実行させるためのコンピュータプログラムを構成するモジュールである。そのようなコンピュータプログラムは、例えばメモリ１２に格納される。プロセッサ１０は、メモリ１２から命令を読み出して各処理を逐次実行することができる。  
【００３１】
本実施形態による画像処理を実行するための図３に例示する機能ブロックは、プレ判定ステップを実行するプレ判定ユニット３００Ａおよび判定ステップを実行する判定ユニット３００Ｂを有する。  
【００３２】
プレ判定ユニット３００Ａは、被検査物が不良品の候補であるか否かを判別するユニットである。プレ判定ユニット３００Ａは、比較ユニット３２０を有する。プレ判定ユニット３００Ａは、入力画像データ３１０を取得すると、学習済み良品画像データベース２００を参照しながら、入力画像データ３１０から、特異画素を含む画素の配列を表現した２値画像３３０を生成して出力する。以下、特異画素を含む画素の配列を「特異画素の配列」を表記することとする。  
【００３３】
図４は、特異画素の配列を説明するための２値画像３３０のサンプル画像を示す図である。  
【００３４】
特異画素の配列は、後述する良品画像および特異画素３３１を含む２値画像３３０内に表現される。図４には、特異画素３３１をグレースケールの白（明）レベルで表示し、良品画像をブレースケールの黒（暗）レベルで表示している。これとは逆に、特異画素３３１に黒レベルを割り当て、良品画像に白レベルを割り当てることができる。例えば、特異画素の配列は、出力画像である２値画像３３０に含まれる特異画素３３１が形成する２次元パターン、または、２値画像３３０において特異画素３３１が位置する座標を含むデータの配列を意味する。出力画像は、２値画像に限られず、例えば、良品画素および特異画素３３１のいずれにも分類されない画素を含んでいても構わない。  
【００３５】
判定ユニット３００Ｂは、不良品の候補の中の被検査物が良品であるか否かを判定するユニットである。判定ユニット３００Ｂは、学習器３５０および分類器３６０を有する。判定ユニット３００Ｂは、特異画素の配列をプレ判定ユニット３００Ａから受け取ると、特異画素の配列からその２次元パターンの形状特徴パラメータを取得する。学習器３５０は、不良品の候補である被検査物の形状特徴パラメータに基づいて機械学習を行う教師あり学習器であり、学習済みモデルを生成する。分類器３６０は、学習器３５０が生成した学習済みモデルを利用して被検査物が良品であるか否かを判別し、判別結果３７０を出力する。  
【００３６】
図５Ａに示すフローチャートを参照する。以下、本実施形態による画像処理の内容をより詳しく説明する。  
【００３７】
図５Ａは、本実施形態による画像処理における第１段階の検査を実行する処理の例を示すフローチャートである。  
【００３８】
まず、ステップＳ１２において、プロセッサ１０は、ワーク７０の画像データを取得する。画像データは、例えば図６に模式的に示されるように、ワーク７０の像を含むフレーム画像である。現実の画像は、ワーク７０の表面が有する凹凸および模様を反映した例えば２５６階調の画素値（「明るさ」または「グレースケール」の値）の配列である。画素値を輝度値または濃度と称する場合がある。図３に示す機能ブロック図において、入力画像データ３１０が、プロセッサ１０に入力する入力データであり、ワーク７０の画像データに相当する。  
【００３９】
１枚のフレーム画像には、ワーク７０以外に移送台６２の一部が背景７０Ｂとして含まれ得る。図６の例において、線８２Ｌによって囲まれた領域８２が「検査領域」である。１枚のフレーム画像は、複数の検査領域８２を含んでいてもよい。ワーク７０の位置は、フレーム画像内において予め決められた位置に整合するようにアライメントが実行される。このアライメントは、ワーク７０の複数の基準点を撮像装置３０の視野における複数の基準点に一致させることである。このようなアライメントの第１段階は、撮像装置３０のレンズ光軸に対するワーク７０の物理的な配置関係を調整することである。アライメントの第２段階は、撮像された画像の画素位置（座標）を調整することである。第２段階のアライメントは、画像処理技術によって画像の並進、回転、拡大および／または縮小などを行うことを含む。このようなアライメントの結果、各ワーク７０の検査領域８２は、常に線８２Ｌによって囲まれた領域に整合する。こうして、同じ品種に属する各ワーク７０の検査領域８２の画像は、画素単位で良品見本
画像（マスタまたはレファレンス）と比較することが可能になる。  
【００４０】
図５ＡのステップＳ１４において、プロセッサ１０は、入力画像データ３１０から検査領域８２内の画素値を取得する。座標（ｉ，ｊ）の位置にある画素の画素値をＶ（ｉ，ｊ）で表現することができる。座標（ｉ，ｊ）は、例えばｊ行ｉ列の画素位置を示す。ここでｉおよびｊは、それぞれ、正の整数である。入力画像データ３１０が例えば６４０×４８０画素の配列から構成される場合、１≦ｉ≦６４０、１≦ｊ≦４８０の関係を満たすが、検査領域８２の外側に位置する画素の画素値は以下の処理に不要である。画素値は、例えば２５６階調の明るさを示す数値（輝度値）であるが、画素単位の他の特徴量であってもよい。以下、座標（ｉ，ｊ）の位置にある画素を画素（ｉ，ｊ）と称する場合がある。  
【００４１】
ステップＳ１６において、プロセッサ１０は、複数の良品のそれぞれが有する参照領域を含む良品画像のデータ２１０の統計量を学習済み良品画像データベース２００から取得する。参照領域とは、ワーク７０の検査領域と対比されるべき領域を意味する。上述したとおり、同じ品種に属する各ワーク７０の検査領域８２の画像は、画素単位で良品見本の参照領域の画像と比較することができる。  
【００４２】
プロセッサ１０は、具体的に、学習済み良品画像データベース２００から参照領域の画素値の統計量を画素毎に取得する。この統計量は、複数の良品のそれぞれが有する参照領域を含む良品画像のデータ２１０に基づいて決定された統計量である。より詳細には、この統計量は、ワーク７０の検査領域８２と対比されるべき参照領域内の各画素位置における画素値に基づく統計量である。統計量は、例えば、各画素位置における画素値の平均値、分散、標準偏差、最大値、最小値および中央値を含む。本実施形態では、統計量とし、参照領域内の各画素位置における画素値の平均値および標準偏差を用いる。  
【００４３】
学習済み良品画像データベース２００は、例えばＮ枚（Ｎは２以上の整数）の良品画像のデータ２１０に基づいて作製され得る。Ｎは、好ましくは１０以上、例えば２０以上であり得る。予めＮ枚の良品画像データから画素（ｉ，ｊ）の平均画素値μ（ｉ，ｊ）および標準偏差σ（ｉ，ｊ）が算出されており、平均画素値μ（ｉ，ｊ）および標準偏差σ（ｉ，ｊ）が学習済み良品画像データベース２００に含められている。  
【００４４】
Ｎ枚の良品画像のデータ２１０から取得される平均画素値μ（ｉ，ｊ）は、以下の式によって算出される。ここで、Ｖｎ（ｉ，ｊ）は、ｎ番目の良品見本の画像データにおける画素（ｉ，ｊ）の画素値である。    
【数１】
2020071234.tif 000003
【００４５】
標準偏差σ（ｉ，ｊ）は、以下の式によって算出される。    
【数２】
2020071234.tif 000004
【００４６】
この式の左辺は分散σ２であるため、分散の平方根が標準偏差σ（ｉ，ｊ）である。  
【００４７】
ステップＳ１８において、プロセッサ１０は、良品画素および特異画素の分類を行う。具体的に説明すると、プロセッサ１０は、ワーク７０の検査領域８２内における各画素（ｉ，ｊ）の画素値Ｖ（ｉ，Ｊ）を学習済み良品画像データベース２００から取得した平均画素値μ（ｉ，ｊ）と比較して、Ｖ（ｉ，Ｊ）−μ（ｉ，ｊ）の絶対値を偏差として求める。この偏差が閾値Ｔを超えたとき、その画素（ｉ，ｊ）を特異画素に分類し、偏差が閾値Ｔ以下のとき、画素（ｉ，ｊ）を良品画素に分類する。これにより、プロセッサ１０は、特異画素の配列を生成する。ここで、閾値Ｔは、例えば係数ｋ×σ（ｉ，ｊ）である。係数ｋは予め定められた正の定数であり、全ての画素（ｉ，ｊ）に共通して同じ値が与えられている。係数ｋは例えば２以上５以下の範囲内に設定され得る。係数ｋを大きくすると、良品画素に分類されるやすくなる。係数ｋの決定は、しばしば試行錯誤によって行われ得る。  
【００４８】
プロセッサ１０は、例えば、参照領域内の各画素位置における画素値のエッジ強度に基づいて良品画素および特異画素の分類を行ってもよい。本明細書において、「画素値」は、輝度値、濃度またはエッジ強度などを含む用語として用いる。エッジ強度は、着目する画素（ｉ，ｊ）とその近傍画素の間の濃度勾配ベクトルの大きさを表す。  
【００４９】
プロセッサ１０は、画素値の統計量に基づいて良品画素および特異画素の分類を行う代わりに、複数の良品のそれぞれが有する参照領域を含む良品画像のデータ２１０によって決定される統計量および検査領域８２内に含まれる各画素位置における画素値に基づいて、検査領域８２内に含まれる画素群から特異画素だけを抽出してもよい。各画素位置における画素値は、例えば上述したエッジ強度などを含む。  
【００５０】
プロセッサ１０は、各画素位置における画素値のエッジ強度に基づいて、検査領域８２内に含まれる画素群から特異画素だけを抽出してもよい。プロセッサ１０は、ワーク７０の検査領域８２内における各画素値のエッジ強度を、学習済み良品画像データベース２００から取得した統計量である平均のエッジ強度と比較して、それらの差分の絶対値を求める。ここで、平均のエッジ強度は、画素の平均値および標準偏差と同様に、Ｎ枚の良品画像のデータ２１０のそれぞれにおける画素（ｉ，ｊ）のエッジ強度Ｉ（ｉ，ｊ）を平均することにより求まる。  
【００５１】
プロセッサ１０は、エッジ強度Ｉ（ｉ，ｊ）と画素（ｉ，ｊ）の平均のエッジ強度との差分の絶対値が閾値Ｔを超えた場合において、検査領域８２内に含まれる画素群から、その画素（ｉ，ｊ）を特異画素として抽出する。これにより、プロセッサ１０は、抽出した特異画素を含む特異画素の配列を生成することができる。  
【００５２】
ステップＳ２０において、プロセッサ１０は、抽出した特異画素を含む特異画素の配列に基づいて、被検査物が不良品の候補であるか否かを判別する。換言すると、プロセッサ１０は、特異画素に分類された特異画素の配列に基づいて、被検査物が不良品の候補であるか否かを判別する。このとき、特異画素の配列に対してモルフォロジ処理を行ってもよい。モルフォロジ処理は、例えば孤立した特異画素の除去、隣接する特異画素の連結を含む。特異画素の配列に基づいて被検査物が不良品の候補であるか否かを判別するアルゴリズムには、一例として、後述する形状特徴パラメータを用いる手法を適用することができるが、特に限定されない。  
【００５３】
第１段階の検査において不良品の候補であると判定したワーク７０が現実には良品であることがある。外観検査装置が不良品の候補であると判別したワーク７０を、例えば人が目視によって検査した場合、良品限度の範囲内に入ると決論づけられることがある。これは、例えば、学習済み良品画像データベース２００の基礎となるＮ枚の良品画像のデータ２１０が、理想的に優れた良品のみから取得された場合に生じやすくなる。  
【００５４】
例えば、金型を用いて鋳造品を製造する製造現場において、複数の金型を使用することにより、鋳造品を大量に製造することができる。例えば１０台の金型を使用すれば、製造数を１０倍に増やすことができる。理想的には、複数の金型は同一の形状であることが望まれる。同一の形状を有する鋳造品を大量に製造することができるためである。  
【００５５】
長い期間において使用された金型は経時変化し、摩耗または損傷などが生じる。そのため、工場において、損傷した金型を補修し、その形状を保守する点検が定期的に行われている。しかし、この保守が繰り返されることにより、複数の金型を用いて製造した複数の鋳造品の間で、個々の形状が、金型の摩耗または損傷の程度によって微妙に異なってしまうことがしばしば起きる。このような状況下で、鋳造品の打痕または傷などの欠陥を検査する外観検査を実施すると、例えば人が目視によって検査した場合において良品と判定する被検査物が、金型の微妙な形状の違いに起因して不良品と過検出されてしまうという問題が生じ得る。  
【００５６】
図７Ａおよび図７Ｃは、良品であると判定される被検査物の画像データのサンプルを示す図である。図７Ｂおよび図７Ｄは、本来は良品であるにもかかわらず、外観検査において良品ではないと判定される可能性がある被検査物の画像データのサンプルを示す図である。  
【００５７】
図７Ａから図７Ｄに示すそれぞれのサンプル画像は、電着塗装（ＥＤ）処理した基板表面の一部の領域を含む画像である。図７Ａに示すサンプル画像は、良品であると判定される被検査物の画像データのサンプルである。一方、図７Ｂに示すサンプル画像は、本来は良品であるにもかかわらず、外観検査において良品ではないと判定される可能性がある被検査物の画像データのサンプルである。  
【００５８】
これらと同様に、図７Ｃに示すサンプル画像は、良品であると判定される被検査物の画像データのサンプルである。一方、図７Ｄに示すサンプル画像は、本来は良品であるにもかかわらず、外観検査において良品ではないと判定される可能性がある被検査物の画像データのサンプルである。過検出の要因の１つは、破線の矩形で囲んだ領域内の溝のクランクまたは隅の部分の線幅または形状が、若干異なっているためである。この微妙な形状の違いは、金型の保守によって生じる個々の形状のばらつきに起因して発生する。  
【００５９】
このような過検出を低減するために、本実施形態では、第１段階の検査においてプレ判定ステップを実行した後、第２段階の検査において機械学習法を用いた判定ステップを実行する。以下、機械学習法を用いた判定ステップをより詳しく説明する。  
【００６０】
図３および図５Ｂを参照する。図５Ｂは、本実施形態による画像処理における第２段階の検査を実行する処理の例を示すフローチャートである。  
【００６１】
ステップＳ２２において、プロセッサ１０は、第１段階の検査で被検査物が不良品の候補であると判定した場合において、特異画素の配列の２次元パターンの形状特徴パラメータを取得する。図４に示す特異画素の配列の２値画像の中の連結成分は、形状の特徴によって分類できる。その特徴を数値化することにより形状特徴パラメータが得られる。形状特徴パラメータは、例えば、特異画素の２次元パターンから決定される重心、外接長方形（「バウンディングボックス」とも称される。）、面積、周囲長さ、円形度またはオイラー数である。  
【００６２】
ステップ２４において、プロセッサ１０は、機械学習法を用いて、被検査物が良品であるか否かを形状特徴パラメータに基づいて判定する。機械学習法に、例えば教師あり学習の分類を適用することができる。  
【００６３】
以下、機械学習法における学習のフェーズおよびランタイムのフェーズの内容をそれぞれより詳しく説明する。  
【００６４】
＜学習のフェーズ＞  図８は、学習のフェーズにおける学習器３５０の処理の例を示すフローチャートである。  
【００６５】
ステップＳ３０において、プロセッサ１０は、複数の被検査物のそれぞれに対し、プレ判定ステップを実行して、特異画素の配列を取得する。これにより、複数の被検査物についての複数の特異画素の配列のデータを得る。  
【００６６】
ステップＳ３２において、プロセッサ１０は、複数の被検査物のうちの不良品の候補と第１段階の検査において判定した被検査物から、特異画素の配列の形状特徴パラメータを学習データとして取得する。最終的に、Ｍ個の不良品の候補についてのＭ個の特異画素の配列から抽出したＭ個の形状特徴パラメータを取得する。Ｍは、２以上であり、好ましくは１０以上である。Ｍは、例えば２０以上であり得る。  
【００６７】
ステップＳ３４において、取得したそれぞれの学習データに良品（ＯＫ）または不良品（ＮＧ）のラベルを付した教師あり学習データを学習器３５０に入力する。ラベルは、教師データとも称される。  
【００６８】
ステップＳ３６において、学習器３５０は、教師あり学習データに基づいて学習済みモデルを生成し、分類器３６０に出力する。学習済みモデルは、例えばサポートベクターマシン（ＳＶＭ）である。  
【００６９】
＜ランタイムのフェーズ＞  図５Ｂに示すステップＳ２４において、分類器３６０は、学習済みモデルを用いて、２項分類を行う。より詳細には、第１段階の検査において被検査物を不良品の候補と判定した場合において、分類器３６０は、その被検査物の特異画素の配列の形状特徴パラメータに基づいて、それが良品であるか否かを判別する。分類器３６０は、被検査物が良品であるか否かを示す判別結果３７０を出力する。その判別結果３７０は、例えばディスプレイ４０に表示される。  
【００７０】
学習済みモデル（または分類器３６０）には、サポートベクターマシン以外に、例えば、ロジスティック回路、ランダムフォレスト、デシジョンジャングル、ブースト  決定木、平均化パーセプトロン、線形ＳＶＣ、ローカル詳細ＳＶＭ、ベイズポイントマシン、単純ベイズまたはニューラルネットワークなどの２項分類を行う分類器を広く利用することができる。  
【００７１】
本実施形態によれば、第１段階の検査で被検査物が不良品の候補であると判定した場合に、第２段階の検査において、学習済みモデルを備える分類器にその被検査物の形状特徴パラメータを与えることにより、その被検査物を良品および不良品の一方に分類することができる。第２段階の検査を実行することにより、被検査物の外観検査において発生し得る過検出を低減することが可能となる。さらに、第２段階の検査は、学習済み良品画像データベースを特に必要とせず、かつ、汎用的なＳＶＭを分類器に利用できるために、コンピュータへのプログラムの実装を容易に行うことができる。  
【００７２】
＜第２の実施形態＞  第２の実施形態による外観検査は、第２段階の検査として画像のマッチング処理を行う点で、第１の実施形態とは異なる。第１段階の検査を行う処理および機能ブロックは、第１の実施形態で説明したとおりであり、その説明は省略することとする。以下、第２段階の検査を行う処理および機能ブロックをより詳しく説明する。  
【００７３】
図９は、ある特定の画素（ｐ，ｑ）について、学習済み良品画像データベース２００内のＮ個の画素値Ｖｎ（ｐ，ｑ）の分布を模式的に示す図である。グラフの横軸は、画素値Ｖｎ（ｐ，ｑ）の大きさであり、縦軸は画素値Ｖｎ（ｐ，ｑ）の出現頻度である。バーの高さは、その画素値を持つ画素の出現頻度を示している。グラフには、参考のため、正規分布Ｎ（μ、σ２）が記載されている。  
【００７４】
図９の正規分布において記号Ａは、被検査物Ａが有する検査領域８２を含む画像データ内の画素（ｐ，ｑ）の画素値ＶＡ（ｐ，ｑ）を表している。記号Ｂは、良品見本Ｂが有する参照領域を含む良品の画像データ内の画素（ｐ，ｑ）の画素値ＶＢ（ｐ，ｑ）を表している。記号Ｃは、良品見本Ｃが有する参照領域を含む良品の画像データ内の画素（ｐ，ｑ）の画素値ＶＣ（ｐ，ｑ）を表している。  
【００７５】
第１段階の検査において、例えば、上述した閾値Ｔの係数ｋを２に設定する場合において、第１段階の検査において被検査物Ａが不良品の候補であるか否かを判定することを考える。図示されるように、例えば良品見本Ｂの画素値ＶＢ（ｐ，ｑ）の偏差は３σを超えており、被検査物Ａの画素値ＶＡ（ｐ，ｑ）の偏差よりも大きい値を示す。しかしながら、被検査物Ａの画素値ＶＡ（ｐ，ｑ）の偏差は閾値Ｔ（２σ）を超えるために、第１段階の検査において被検査物Ａは不良品の候補であると判定される。つまり、本来は良品であると判定されるべき被検査物が、第１段階の検査による外観検査では良品ではないと判定される。これは、正規分布によって決定される様々な統計量に基づいて良品学習の検査を行う場合に発生し得る問題であり、過検出を生じさせる１つの要因になっていると考えられる。  
【００７６】
本実施形態による第２段階の検査では、特異画素の配列の２次元パターンの生成の元となった原画像のデータと、複数の良品のそれぞれが有する参照領域を含む良品画像のデータとのマッチングを行うことにより、被検査物が良品であるか否かを判定する。プロセッサ１０は、プログラムに従って、以下の処理を実行する。  （１）被検査物が有する検査領域を含む画像のデータを取得する。  （２）画像のデータから検査領域内に含まれる各画素位置における画素値を取得する。  （３）複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量、および検査領域内に含まれる各画素位置における画素値に基づいて、検査領域内に含まれる画素群から特異画素を抽出する。  （４）抽出した特異画素を含む画素の配列に基づいて、被検査物が不良品の候補であるか否かを判別する。  （５）被検査物が不良品の候補であると判定した場合において、特異画素を含む画素の配列の２次元パターンの生成の元となった原画像のデータと、学習済み良品画像データベース内に含まれる、複数の良品のそれぞれが有する参照領域を含む良品画像のデータとのマッチングを行う。  （６）原画像のデータが、複数の良品画像のデータのうちの少なくとも１つにマッチングした場合において、被検査物は良品であると判定する。  
【００７７】
上記（１）から（４）までの処理を含むプレ判定ステップは、第１の実施形態と同じステップである。上記（５）および（６）の処理を含む判定ステップは、機械学習法とは異なり例えば領域ベースまたは特徴点ベースのマッチングを行うための処理を規定したステップである。  
【００７８】
図１０および１１を参照して、本実施形態による第２段階の検査の内容をより詳しく説明する。  
【００７９】
図１０は、本実施形態による画像処理装置１００の、画像処理を実行するための機能ブロックを例示する機能ブロック図である。  
【００８０】
本実施形態による画像処理を実行するための図１０に例示する機能ブロックは、プレ判定ユニット３００Ａ、および、テンプレートマッチングを実行するために用いる判定ユニット３００Ｂを有する。  
【００８１】
判定ユニット３００Ｂは、被検査物が良品であるか否かを判定するユニットである。判定ユニット３０Ｂは、テンプレートマッチングユニット３９０を有する。テンプレートマッチングユニット３９０は、特異画素の配列の２次元パターンの生成の元となった原画像のデータ３８０をテンプレートとして利用し、学習済み良品画像データベース２００内に含まれる、複数の良品のそれぞれが有する参照領域を含む良品画像のデータ２１０にテンプレートマッチングを行い、被検査物が良品であるか否かを判別し、その判別結果３７０を出力する。  
【００８２】
図１１は、本実施形態による画像処理における第２段階の検査を実行する処理の例を示すフローチャートである。  
【００８３】
第１の実施形態と同様に、第１段階の検査において、プロセッサ１０は、入力画像データ３１０を取得すると、被検査物が不良品の候補であるか否かを判定し、かつ、特異画素を含む特異画素の配列を出力する。  
【００８４】
ステップＳ２３において、プロセッサ１０は、第１段階の検査において被検査物が不良品の候補であると判定した場合において、特異画素の配列の２次元パターンの生成の元となった、入力画像データ３１０に相当する原画像のデータ３８０と、学習済み良品画像データベース２００内に含まれる、複数の良品のそれぞれが有する参照領域を含むＮ枚の良品画像のデータ２１０とのマッチングを行う。  
【００８５】
マッチングは、２つの画像が同じであるかどうかを判断するために、画像を重ね合わせてそれらの差分を検知する手法であり、例えば領域ベースまたは特徴点ベースのマッチングを含む。本実施形態では、プロセッサ１０は、原画像のデータ３８０をテンプレートとして利用し、学習済み良品画像データベース２００内に含まれるＮ枚の良品画像のデータ２１０にテンプレートマッチングを行う。  
【００８６】
プロセッサ１０は、２つの画像間の類似度または相違度を評価するための評価値に基づいてテンプレートマッチングを行う。評価値は、例えば「各画素値の２乗誤差の和（ＳＳＤ）」、「各画素値の誤差の絶対値の和（ＳＡＤ）」または「正規化相互関数（ＮＣＣ）」によって規定される。  
【００８７】
ステップＳ２５において、プロセッサ１０は、原画像のデータ３８０が、Ｎ枚の良品画像のデータ２１０のうちの少なくとも１つにマッチングした場合において、被検査物は良品であると判定する。より具体的に説明すると、プロセッサ１０は、ＳＳＤなどの評価値が閾値以下である場合、第１段階の検査において不良品の候補であると判定した被検査物は良品であると判定する。プロセッサ１０は、ＳＳＤなどの評価値が閾値を超えた場合、第１段階の検査において不良品の候補であると判定した被検査物は不良品であると判定する。テンプレートマッチングに用いる閾値は、しばしば試行錯誤によって決定される。  
【００８８】
本来は良品であると判定されるべき、良品限度の範囲内にある被検査物Ａに一致または類似する良品見本の画像データが学習済み良品画像データベース２００に含まれていれば、被検査物Ａの画像データは、その良品見本の画像データにマッチングするはずである。本実施形態によれば、第２段階の検査でテンプレートマッチングを行うことにより、第１段階の検査で不良品の候補であると判定した被検査物Ａを最終的に良品と判定し得る。このように、テンプレートマッチングなどの比較的簡単なアルゴリズムを用いて、過検出を抑制することができる。  
【００８９】
さらに、第１段階および第２段階の検査に、学習済み良品画像データベース２００を共通に利用することができるので、テンプレートマッチング用に学習済み良品画像データベースを準備する設計工数などを削減することが可能となる。コンピュータへのプログラムの実装を容易に行うことができ、かつ、メモリコストなども抑えることが可能となる。  
【００９０】
図１２は、本実施形態による画像処理装置１００の、画像処理を実行するための機能ブロックのバリエーションを例示する機能ブロック図である。  
【００９１】
このバリエーションは、学習済み良品画像データベース２００とは異なる別の学習済み良品画像データベース２０１をさらに備えている。学習済み良品画像データベース２０１は、学習済み良品画像データベース２００と同様に、例えばＮ枚（Ｎは２以上の整数）の良品画像のデータ２１１に基づいて作製され得る。Ｎは、好ましくは１０以上、例えば２０以上であり得る。  
【００９２】
プロセッサ１０は、原画像のデータ３８０をテンプレートとして利用し、別の学習済み良品画像データベース２０１内に含まれる、複数の良品のそれぞれが有する参照領域を含む良品画像のデータ２１１にテンプレートマッチングを行う。  
【００９３】
上述したように、例えば、学習済み良品画像データベース２００の基礎となるＮ枚の良品画像のデータ２１０が、理想的に優れた良品のみから取得された場合、第１段階の検査において被検査物が不良品の候補であると判定されることが生じやすくなり得る。テンプレートマッチング用のデータベースとして、Ｎ枚の良品画像のデータ２１０よりもばらつきの程度が大きいＮ枚の良品画像のデータ２１１を用いることにより、第１段階の検査において不良品の候補であると判定した被検査物の中の幾つかの被検査物を第２段階の検査において良品と判定することが可能となる。  
【００９４】
実際の作業現場において、テンプレートマッチングユニット３９０が、本来は良品であると判定すべき被検査物の原画像のデータ３８０を過検出した場合、学習済み良品画像データベース２０１内の良品画像のデータ２１１にその画像データを追加登録することが可能である。学習済み良品画像データベース２００内の良品画像のデータ２
１０は、エンジニアまたは設計者によって既に最適化されている。そのため、作業現場においてそのデータベースに容易にアクセスし、誤検出した原画像のデータ３８０を良品画像のデータ２１０に追加登録することは好ましくない。学習データの内容に予想外の変動が生じる可能性があり、検出感度が大きくずれてしまうことが起こり得るためである。
【産業上の利用可能性】
【００９５】
本開示の画像処理装置、画像処理方法、外観検査システム、外観検査方法、およびコンピュータプログラムは、工場などの製造現場における製品または部品の外観検査に好適に利用され得る。
【符号の説明】
【００９６】
１０００・・・外観検査システム、１０・・・プロセッサ１０・・・メモリ、１００・・・画像処理装置、２０・・・光源、３０・・・イメージセンサ（撮像装置）、４０・・・ディスプレイ、５０・・・操作装置
【図１】
2020071234.tif 000005
【図２】
2020071234.tif 000006
【図３】
2020071234.tif 000007
【図４】
2020071234.tif 000008
【図５Ａ】
2020071234.tif 000009
【図５Ｂ】
2020071234.tif 000010
【図６】
2020071234.tif 000011
【図７Ａ】
2020071234.tif 000012
【図７Ｂ】
2020071234.tif 000013
【図７Ｃ】
2020071234.tif 000014
【図７Ｄ】
2020071234.tif 000015
【図８】
2020071234.tif 000016
【図９】
2020071234.tif 000017
【図１０】
2020071234.tif 000018
【図１１】
2020071234.tif 000019
【図１２】
2020071234.tif 000020
【国際調査報告】
2020071234.tif 000021
2020071234.tif 000022
2020071234.tif 000023
2020071234.tif 000024