(57)【要約】      （修正有）【課題】サンプル画像が少ない場合でも、検査対象が良品であるか不良品であるかの判定精度を向上させることができる、検査装置を提供する。【解決手段】検査装置１００は、検査対象の撮像画像を複数の撮像分割画像に分割する分割処理部１５６と、学習用画像を複数に分割することによって得られる複数の学習用分割画像の各々について該学習用分割画像を機械学習することによって抽出した特徴量に基づいて、複数の撮像分割画像の各々を分類する分類処理部１６０と、分類処理部によって分類された複数の撮像分割画像の各々に基づいて、検査対象の良否を判定する判定部１６２とを備える。【選択図】図３
2017211259.tif 000002
【特許請求の範囲】
【請求項１】
検査対象の撮像画像を複数の撮像分割画像に分割する分割処理部と、
学習用画像を複数に分割することによって得られる複数の学習用分割画像の各々について該学習用分割画像を機械学習することによって抽出した特徴量に基づいて、前記複数の撮像分割画像の各々を分類する分類部と、
前記分類部によって分類された前記複数の撮像分割画像の各々に基づいて、前記検査対象の良否を判定する判定部と
を備える、検査装置。
【請求項２】
前記分類部は、所定の条件で分類された前記複数の学習用分割画像の各々を機械学習することによって抽出した特徴量を用いて、前記複数の撮像分割画像の各々を分類する、請求項１に記載の検査装置。
【請求項３】
前記分類部は、欠陥の有無で分類された前記複数の学習用分割画像の各々を機械学習することによって抽出した特徴量を用いて、前記複数の撮像分割画像の各々を分類する、請求項１又は請求項２に記載の検査装置。
【請求項４】
前記判定部は、前記分類部によって分類された前記複数の撮像分割画像について、各分類に含まれる撮像分割画像の数に基づいて、前記検査対象の良否を判定する、請求項１から請求項３のいずれか１項に記載の検査装置。
【請求項５】
前記判定部は、前記分類部によって分類された前記複数の撮像分割画像について、良品に分類された撮像分割画像の数に基づいて、前記検査対象の良否を判定する、請求項１から請求項３のいずれか１項に記載の検査装置。
【請求項６】
前記判定部は、前記分類部によって分類された前記複数の撮像分割画像について、良品に分類された撮像分割画像の数と、不良品に分類された撮像分割画像の数との割合に基づいて、前記検査対象の良否を判定する、請求項１から請求項３のいずれか１項に記載の検査装置。
【請求項７】
前記判定部は、前記分類部によって分類された前記複数の撮像分割画像について、各分類に設定された重荷付けと、該各分類に含まれる撮像分割画像の数とに基づいて、前記検査対象の良否を判定する、請求項１から請求項３のいずれか１項に記載の検査装置。
【請求項８】
検査装置によって実行される検査方法であって、
検査対象の撮像画像を複数の撮像分割画像に分割するステップと、
学習用画像を複数に分割することによって得られる複数の学習用分割画像の各々について該学習用分割画像を機械学習することによって抽出した特徴量に基づいて、前記複数の撮像分割画像の各々を分類するステップと、
前記分類するステップによって分類された前記複数の撮像分割画像の各々に基づいて、前記検査対象の良否を判定するステップと
を有する、検査方法。
【請求項９】
検査装置のコンピュータに、
検査対象の撮像画像を複数の撮像分割画像に分割するステップと、
学習用画像を複数に分割することによって得られる複数の学習用分割画像の各々について該学習用分割画像を機械学習することによって抽出した特徴量に基づいて、前記複数の撮像分割画像の各々を分類するステップと、
前記分類するステップによって分類された前記複数の撮像分割画像の各々に基づいて、前記検査対象の良否を判定するステップと
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、検査装置、検査方法、及びプログラムに関する。
【背景技術】
【０００２】
製品や製品部品等の検査対象を撮像した画像を用いて、該検査対象の外観を検査する技術が知られている。例えば、検査対象を撮像した画像を画像処理し、検査対象を特定する。そして、特定した検査対象の画像と、予め用意される良品の検査対象の画像とを比較することによって、検査対象が良品であるか否かを判定する。
【０００３】
また、例えば、良品を含むサンプル画像（学習用画像）及び不良品を含む学習用画像のいずれか一方又は両方の特徴量を機械学習することによって抽出しておく。そして、検査対象を撮像した画像に含まれる検査対象の特徴量に基づいて、該特徴量に対応する学習結果を用いて判定することによって、検査対象を自動判定する。
対象物を撮影した画像を画像処理し、対象物の欠陥判定を行う技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２０６７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
学習用画像の数が少ない場合、機械学習する特徴量の数が少なくなる。その結果、検査対象が良品であるか不良品であるかを自動判定する際に、十分な学習が出来ていないため、学習結果が過学習になったり、検査対象を判定する精度が低くなったりすることがある。
特に、これからある検査対象の自動判定を開始する場合には、十分な学習用画像を集めることができないため、精度が低くなってしまう。特に、不良品の学習用画像が少ない場合には、検査対象を撮像した画像から不良品を判定できないことが想定されるため問題である。
【０００６】
本発明は、サンプル画像が少ない場合でも、検査対象が良品であるか不良品であるかの判定精度を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態は、検査対象の撮像画像を複数の撮像分割画像に分割する分割処理部と、学習用画像を複数に分割することによって得られる複数の学習用分割画像の各々について該学習用分割画像を機械学習することによって抽出した特徴量に基づいて、前記複数の撮像分割画像の各々を分類する分類部と、前記分類部によって分類された前記複数の撮像分割画像の各々に基づいて、前記検査対象の良否を判定する判定部とを備える、検査装置である。
【０００８】
また、本発明の一実施形態は、検査装置によって実行される検査方法であって、検査対象の撮像画像を複数の撮像分割画像に分割するステップと、学習用画像を複数に分割することによって得られる複数の学習用分割画像の各々について該学習用分割画像を機械学習することによって抽出した特徴量に基づいて、前記複数の撮像分割画像の各々を分類するステップと、前記分類するステップによって分類された前記複数の撮像分割画像の各々に基づいて、前記検査対象の良否を判定するステップとを有する、検査方法である。
【０００９】
また、本発明の一実施形態は、検査装置のコンピュータに、検査対象の撮像画像を複数の撮像分割画像に分割するステップと、学習用画像を複数に分割することによって得られる複数の学習用分割画像の各々について該学習用分割画像を機械学習することによって抽出した特徴量に基づいて、前記複数の撮像分割画像の各々を分類するステップと、前記分類するステップによって分類された前記複数の撮像分割画像の各々に基づいて、前記検査対象の良否を判定するステップとを実行させる、プログラムである。
【発明の効果】
【００１０】
本発明によれば、サンプル画像が少ない場合でも、検査対象が良品であるか不良品であるかの判定精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る検査装置を示す図である。
【図２】本実施形態に係る検査装置のハードウェア構成例を示す図である。
【図３】本実施形態に係る検査装置の機能ブロック図である。
【図４】良品と判定される学習用分割画像を含む学習用画像の一例を示す図である。
【図５】不良品と判定される学習用分割画像を含む学習用画像の一例を示す図である。
【図６】不良品と判定される学習用分割画像を含む学習用画像の一例を示す図である。
【図７】本実施形態に係る検査装置の動作（その１）の一例を示すフローチャートである。
【図８】本実施形態に係る検査装置の動作（その２）の一例を示すフローチャートである。
【図９】本実施形態に係る検査装置の動作（その３）の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
次に、本発明を実施するための形態を、図面を参照しつつ説明する。以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施形態に限られない。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
【００１３】
＜実施の形態＞
＜検査装置＞
図１は、本実施形態に係る検査装置を示す図である。
検査装置１００は、検査対象５０の外観検査を行う装置である。検査装置１００には、検査対象５０を撮像する撮像装置２００が接続される。
検査装置１００は、撮像装置２００によって検査対象５０を撮像した画像を取得する。以下、撮像装置２００によって検査対象５０を撮像した画像を「検査対象画像」という。検査装置１００は、撮像装置２００から取得した検査対象画像を分割する。以下、検査対象画像を分割することによって得られる複数の画像の各々を「検査対象分割画像」という。検査装置１００は、機械学習のために用意される学習用画像を機械学習することによって抽出される特徴量に基づいて、複数の検査対象分割画像を分類する。ここで、学習用画像を機械学習することによって抽出される特徴量は、予め用意されている。検査装置１００は、複数の検査対象分割画像を分類した結果に基づいて、検査対象画像に含まれる検査対象の良否を判定する。
【００１４】
＜検査装置の構成＞
図２は、本実施形態に係る検査装置のハードウェア構成の一例を示す。
検査装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０２と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０４と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０６と、不揮発性メモリ１０８と、通信Ｉ／Ｆ部１１０と、操作部１１２と、表示部１１４と、内部バス１１６とを備えている。
【００１５】
ＣＰＵ１０２は、検査装置１００の動作を制御するプログラム１０８２等を不揮発性メモリ１０８から読み出し、ＲＡＭ１０６に展開して実行する。不揮発性メモリ１０８は、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）カード等によって構成される。不揮発性メモリ１０８には、ＣＰＵ１０２によって実行されるプログラム１０８２と、テンプレート画像等の画像データ１０８４とが格納される。通信Ｉ／Ｆ部１１０は、ＮＦＣモジュール、無線ＬＡＮモジュール等の通信モジュールによって構成される。また、通信Ｉ／Ｆ部１１０がＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）によって構成されてもよい。通信Ｉ／Ｆ部１１０は、ＮＦＣや、無線ＬＡＮによって外部の機器との間で通信を行う。本実施形態に係る検査装置１００は、通信Ｉ／Ｆ部１１０を介して、撮像装置２００と接続される。操作部１１２は、ユーザの操作を受け付ける入力デバイスであり、タッチパネル等のポインティングデバイス、ボタン、ダイヤル、タッチセンサ、タッチパッド等を含む。表示部１１４は、例えば液晶ディスプレイ等によって構成され、検査対象画像、検査対象分割画像等の画像や、検査対象画像の評価結果等を表示する。
【００１６】
＜本実施形態に係る検査装置の機能構成＞
図３は、本実施形態に係る検査装置の機能ブロック図である。
検査装置１００は、画像取得部１５２、検査対象エリア特定部１５４、分割処理部１５６、特徴抽出部１５８、分類処理部１６０、判定部１６２、記憶部１６４、設定部１６６、表示制御部１６８、及び上記各構成要素を図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１７０を有している。これらの各部は、図３に示されている各構成要素のいずれかが、図２に示すように、不揮発性メモリ１０８からＲＡＭ１０６上の展開されたプログラム１０８２を実行するＣＰＵ１０２からの命令によって動作することで実現される機能である。
【００１７】
＜検査装置の各機能構成＞
図２及び図３を用いて、検査装置１００の各機能構成について詳細に説明する。なお、以下では、検査装置１００の各機能構成を説明するにあたって、図３に示されている各構成要素のうち、検査装置１００の各機能構成を実現させるための主な機能要素との関係も説明する。
【００１８】
画像取得部１５２は、ＣＰＵ１０２からの命令、及び通信Ｉ／Ｆ１１０によって実現される。画像取得部１５２は、学習用画像や検査対象画像を取得する。学習用画像は、機械学習を行わせるために使用する画像である。ここで、学習用画像や検査対象画像は、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ビットマップ画像（ｂｉｔｍａｐ  ｉｍａｇｅ  ／  ｂｉｔｍａｐ  ｇｒａｐｈｉｃｓ）、ＧＩＦ（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）等で表されたものであってもよい。画像取得部１５２は、学習用画像を分割処理部１５６へ出力し、検査対象画像を検査対象エリア特定部１５４へ出力する。
【００１９】
検査対象エリア特定部１５４は、ＣＰＵ１０２からの命令によって実現される。検査対象エリア特定部１５４は、画像取得部１５２によって供給された検査対象画像から検査の対象とするエリアを特定する。例えば、検査対象とするエリアは、検査対象画像に写しだされている対象のうち、検査対象が写し出されているエリアである。以下、検査対象画像から特定される検査の対象とするエリアを「検査対象エリア」という。
＜検査対象エリアを特定する処理（その１）＞
検査対象エリア特定部１５４は、設定部１６６によって設定された座標にしたがって、検査対象画像から検査対象エリアを特定する。例えば、設定部１６６は、操作部１１２によって座標情報が入力されると、該座標情報を検査対象エリア特定部１５４へ出力する。検査対象エリア特定部１５４は、設定部１６６によって供給される座標情報に基づいて、検査対象画像から検査対象エリアを特定する。
【００２０】
＜検査対象エリアを特定する処理（その２）＞
検査対象エリア特定部１５４は、検査対象画像からテンプレート画像に対応するエリアを抽出することによって、検査対象画像から検査対象エリアを特定するようにしてもよい。例えば、テンプレート画像の画像データは、記憶部１６４に予め記憶される。検査対象エリア特定部１５４は、記憶部１６４に記憶されたテンプレート画像を取得し、検査対象画像からテンプレート画像に対応するエリアを抽出することによって、検査対象画像から検査対象エリアを特定する。
【００２１】
＜検査対象エリアを特定する処理（その３）＞
検査対象エリア特定部１５４は、検査対象画像の全体を検査対象エリアとするようにしてもよい。例えば、検査対象エリア特定部１５４は、画像取得部１５２によって供給された検査対象画像の全体を検査対象画像とすることによって、検査対象画像から検査対象エリアを特定する。
検査対象エリア特定部１５４は、＜検査対象エリアを特定する処理（その１）＞−＜検査対象エリアを特定する処理（その３）＞のいずれかによって特定された検査対象エリアを表す情報を記憶部１６４へ格納する。例えば、検査対象エリア特定部１５４は、検査対象エリアを表す情報として、検査対象画像における検査対象エリアの座標やテンプレート画像に基づいて特定された検査対象画像における検査対象エリアを表す情報をエンコードすることによって得られるテキストデータやバイナリーデータやベース６４等を記憶部１６４へ格納するようにしてもよい。また、検査対象エリア特定部１５４は、特定された検査対象画像における検査対象エリアの実画像データ等を記憶部１６４へ格納するようにしてもよい。検査対象エリア特定部１５４は、検査対象画像を分割処理部１５６へ出力する。
【００２２】
分割処理部１５６は、ＣＰＵ１０２からの命令、操作部１１２によって実現される。分割処理部１５６は、検査対象エリア特定部１５４によって特定された検査対象エリア及び設定部１６６によって設定された学習用画像を分割するサイズにしたがって、画像取得部１５２によって供給される学習用画像を分割（領域分割）する。以下、学習用画像を分割するサイズを「学習用画像分割サイズ」という。学習用画像分割サイズは、「５０ピクセル×５０ピクセル」や、「１００ピクセル×１００ピクセル」等、ピクセルで表されてもよい。例えば、分割処理部１５６は、オープンシーヴィ（ＯｐｅｎＣＶ：  Ｏｐｅｎ  Ｓｏｕｒｃｅ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  Ｌｉｂｒａｒｙ）等のオープンソースのコンピュータビジョン向けライブラリを使用した画像処理を行うことによって学習用画像を学習用画像分割サイズに分割する。以下、学習用画像を分割することによって得られる複数の画像の各々を「学習用分割画像」という。
【００２３】
ここで、複数の学習用分割画像のうち、少なくとも二つの間で、重複する部分があってもよい。例えば、分割処理部１５６は、学習用画像を分割した場合に、学習用画像分割サイズに合わない部分については、分割した最後のピクセルから学習用画像分割サイズに満たないピクセル分だけピクセルを戻し、学習用画像分割サイズで分割する。具体的には、５０ピクセル毎に、学習用画像の左端から分割を開始した場合に、学習用画像の右端が４７ピクセルであった場合には、３ピクセル分左側へ戻り、５０ピクセル毎に分割する。これによって、学習用画像を大きさの等しい複数の学習用分割画像に分割できる。分割処理部１５６は、複数の学習用分割画像の各々の画像データを記憶部１６４へ格納する。
【００２４】
また、分割処理部１５６は、検査対象エリア特定部１５４によって特定された検査対象エリア及び設定部１６６によって設定された学習用画像を分割するサイズにしたがって、検査対象エリア特定部１５４によって供給された検査対象画像を、複数の検査対象分割画像へ分割する。ここで、複数の検査対象分割画像のうち、少なくとも二つの間で、重複する部分があってもよい。例えば、分割処理部１５６は、検査対象画像を分割した場合に、学習用画像分割サイズに合わない部分については、分割した最後のピクセルから学習用画像分割サイズに満たないピクセル分だけピクセルを戻し、学習用画像分割サイズで分割する。これによって、検査対象画像を大きさの等しい複数の検査対象分割画像に分割できる。分割処理部１５６は、複数の検査対象分割画像の各々を分類処理部１６０へ出力する。
【００２５】
特徴抽出部１５８は、ＣＰＵ１０２からの命令によって実現される。特徴抽出部１５８は、複数の学習用分割画像の各々について、該学習用分割画像を機械学習することによって特徴量を抽出する。学習用分割画像の特徴量を抽出する処理に先立って、複数の学習用分割画像の各々が分類される。例えば、複数の学習用分割画像の各々が、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、又は「第五の品質」に分類される。ここで、「第一の品質」、及び「第二の品質」は良品とされ、「第一の品質」、及び「第二の品質」の順に品質が悪くなる。また、「第三の品質」、「第四の品質」、及び「第五の品質」は、不良品とされ、「第三の品質」、「第四の品質」、及び「第五の品質」の順に品質が悪くなる。
【００２６】
図４は、良品に分類される学習用分割画像を含む学習用画像の一例を示す。図４において、上図は「第一の品質」に分類される学習用分割画像を含む学習用画像の一例であり、下図は「第二の品質」に分類される学習用分割画像を含む学習用画像の一例である。上図に示される学習用分割画像を含む学習用画像には、キズ等の欠陥やよごれが見られないため、複数の学習用分割画像の各々は「第一の品質」に分類される。下図に示される学習用分割画像を含む学習用画像には、欠陥は見られないが、汚れが見られるため、複数の学習用分割画像の各々は「第二の品質」に分類される。
【００２７】
図５は、不良品に分類される学習用分割画像を含む学習用画像の一例を示す。図５において、上図は「第三の品質」に分類される学習用分割画像を含む学習用画像の一例であり、下図は「第四の品質」に分類される学習用分割画像を含む学習用画像の一例である。上図に示される学習用分割画像を含む学習用画像には、横方向に走るキズが見られるため、該横方向に走るキズの部分の一又は複数の学習用分割画像の各々は「第三の品質」に分類される。下図に示される学習用分割画像を含む学習用画像には、縦方向に走るキズが見られ、該キズが深いように見えるため、該縦方向に走るキズの部分の一又は複数の学習用分割画像の各々は「第四の品質」に分類される。
図６は、不良品に分類される学習用分割画像を含む学習用画像の一例を示す。図６において、上図は「第五の品質」に分類される学習用分割画像を含む学習用画像の一例である。この学習用分割画像には、擦れキズが見られるため、該擦れキズの部分の一又は複数の学習用分割画像の各々は「第五の品質」に分類される。
以下、複数の学習用分割画像の各々を分類する条件の一例として、複数の学習用分割画像の各々が、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、又は「第五の品質」に分類される場合について説明を続ける。
【００２８】
特徴抽出部１５８は、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」のいずれかに分類された複数の学習用分割画像の各々を機械学習することによって、特徴量を抽出する。例えば、特徴抽出部１５８は、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、又は「第五の品質」に分類された一又は複数の学習用分割画像を、畳み込みニューラルネットワーク等の機械学習を行うことによって、特徴量を抽出する。特徴抽出部１５８は、「第一の品質」に分類された一又は複数の学習用分割画像を解析し、該一又は複数の学習用分割画像の画像データから有用な規則、判断基準等の特徴量を抽出する。特徴抽出部１５８は、「第二の品質」に分類された一又は複数の学習用分割画像、「第三の品質」に分類された一又は複数の学習用分割画像、「第四の品質」に分類された一又は複数の学習用分割画像、「第五の品質」に分類された一又は複数の学習用分割画像についても、「第一の品質」に分類された一又は複数の学習用画像と同様の処理を行う。
特徴抽出部１５８は、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、又は「第五の品質」に分類された一又は複数の学習用分割画像を機械学習することによって抽出される特徴量を表す学習データを記憶部１６４に格納する。
【００２９】
分類処理部１６０は、ＣＰＵ１０２からの命令によって実現される。分類処理部１６０は、記憶部１６４へ格納された検査対象エリアを表す情報１６４２、及び学習データ１６４６を取得する。そして、分類処理部１６０は、分割処理部１５６によって供給される複数の検査対象分割画像の各々について、該検査対象分割画像における検査対象エリアを、学習データ１６４６に基づいて、分類する。例えば、分類処理部１６０は、設定部１６６によって、画像の判定条件として、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」が設定されたと仮定する。この場合に、分類処理部１６０は、学習データ１６４６に含まれる特徴量に基づいて、複数の学習用分割画像の各々における検査対象エリアを、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、又は「第五の品質」に分類する。分類処理部１６０は、複数の検査対象分割画像の各々を、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、又は「第五の品質」に分類した結果を判定部１６２へ出力する。つまり、分類処理部１６０は、「第一の品質」に含まれる一又は複数の検査対象分割画像を表す情報と、「第二の品質」に含まれる一又は複数の検査対象分割画像を表す情報と、「第三の品質」に含まれる一又は複数の検査対象分割画像を表す情報と、「第四の品質」に含まれる一又は複数の検査対象分割画像を表す情報と、「第五の品質」に含まれる一又は複数の検査対象分割画像を表す情報とを判定部１６２へ出力する。
【００３０】
判定部１６２は、ＣＰＵ１０２からの命令によって実現される。判定部１６２は、分類処理部１６０によって供給される複数の検査対象分割画像の各々を分類した結果に基づいて、検査対象画像の良否を判定する。例えば、判定部１６２は、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」の各々に分類された複数の検査対象分割画像の数に基づいて、検査対象画像の良否を判定する。例えば、判定部１６２は、良品とされる「第１の品質」及び「第２の品質」に分類された検査対象分割画像の数が閾値以上である場合に良品と判定し、閾値未満の場合に不良品と判定する。判定部１６２は、検査対象画像の良否の結果を表す情報を表示制御部１６８へ出力する。
【００３１】
設定部１６６は、ＣＰＵ１０２からの命令、及び操作部１１２によって実現される。設定部１６６は、画像取得部１５２によって取得された検査対象画像について、検査対象エリアを指定する。具体的には、設定部１６６は、操作部１１２によって入力される画像の座標情報を、検査対象エリアに設定する。例えば、操作部１１２によって検査対象エリアの左上の頂点の座標と、検査対象エリアの右下の座標とが入力された場合に、該座標情報を、検査対象エリア特定部１５４へ設定する。
また、設定部１６６は、学習用画像を学習するために、学習用画像分割サイズを指定する。学習用画像分割サイズは、ピクセルによって指定されてもよい。設定部１６６は、分割処理部１５６へ、学習用画像分割サイズを設定する。例えば、設定部１６６は、操作部１１２によって入力される学習用画像分割サイズを表す情報を分割処理部１５６へ設定するようにしてもよい。
【００３２】
また、設定部１６６は、検査対象画像を分類するために、分類する画像の判定条件を指定する。例えば、設定部１６６は、分類する画像の判定条件として、「第１の品質」、「第２の品質」、「第３の品質」、「第４の品質」、及び「第５の品質」を設定する。
表示制御部１６８は、ＣＰＵ１０２からの命令、及び表示部１１４によって実現される。表示制御部１６８は、学習用画像、学習用分割画像、検査対象画像、検査対象分割画像等の画像を、表示部１１４へ表示する。また、表示制御部１６８は、判定部１６２によって供給される検査対象画像の良否の結果を表す情報に基づいて、表示部１１４に検査対象画像が良品であるか不良品であるかを表示する。表示制御部１６８は、検査対象画像が良品であるか否かを表示するとともに、不良品であると判定された検査対象画像を表示するようにしてもよい。
【００３３】
＜検査装置の動作＞
図７−図９を参照して、検査装置１００の動作を説明する。
図７を参照して、検査対象エリアを指定する処理と、学習用画像を分割する処理について説明する。
ステップＳ７０２では、画像取得部１５２は、検査対象画像を取得する。例えば、画像取得部１５２は、撮像装置２００によって検査対象５０が撮像されることによって得られる検査対象画像を取得する。検査対象画像は、ＪＰＥＧ、ビットマップ画像、ＧＩＦ等で表されたものであってもよい。
ステップＳ７０４では、検査対象エリア特定部１５４は、画像取得部１５２が取得した検査対象画像から検査対象エリアを特定する。例えば、検査対象エリア特定部１５４は、設定部１６６によって設定された座標にしたがって、検査対象画像における検査対象エリアを特定する。
【００３４】
ステップＳ７０６では、検査対象エリア特定部１５４は、検査対象画像における検査対象エリアを表す情報を記憶部１６４へ格納する。
ステップＳ７０８では、設定部１６６は、学習用画像分割サイズを指定する。例えば、設定部１６６は、学習用画像分割サイズを、ピクセルによって指定する。
ステップＳ７１０では、画像取得部１５２は、学習用画像を取得する。学習用画像は、ＪＰＥＧ、ビットマップ画像、ＧＩＦ等で表されたものであってもよい。
ステップＳ７１２では、分割処理部１５６は、検査対象エリア特定部１５４によって特定された検査対象エリア及び設定部１６６によって設定された学習用画像を分割するサイズにしたがって、学習用画像を、学習用画像分割サイズへ分割する。
ステップＳ７１４では、分割処理部１５６は、ステップＳ７１２によって得られる複数の学習用分割画像の画像データを記憶部１６４へ格納する。
図７に示されるフローチャートにおいて、ステップＳ７０２−ステップＳ７０６の処理と、ステップＳ７０８−ステップＳ７１４の処理はこの順序で実行される必要はなく、順序を入れ替えてもよい。
【００３５】
図８を参照して、学習用分割画像の特徴量を抽出する処理について説明する。ここでは、学習用分割画像の特徴を抽出する処理に先立って、複数の学習用分割画像の各々が、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」のいずれかに分類されている。例えば、複数の学習用分割画像の各々を、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」のいずれかに分類する作業は、作業者によって行われる。
ステップＳ８０２では、特徴抽出部１５８は、複数の学習用分割画像の各々が「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」のいずれかに分類されている結果を取得する。
【００３６】
ステップＳ８０４では、特徴抽出部１５８は、「第一の品質」に分類されている一又は複数の学習用分割画像の各々を学習することによって、特徴量を取得する。さらに、特徴抽出部１５８は、「第二の品質」に分類されている一又は複数の学習用分割画像、「第三の品質」に分類されている一又は複数の学習用分割画像、「第四の品質」に分類されている一又は複数の学習用分割画像、「第五の品質」に分類されている一又は複数の学習用分割画像についても、「第一の品質」に分類されている一又は複数の学習用分割画像と同様の処理を行う。
ステップＳ８０６では、特徴抽出部１５８は、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、又は「第五の品質」のいずれかに分類されている一又は複数の学習用分割画像の各々の特徴量の学習結果を記憶部１６４に保存する。
図８に示されるフローチャートにおいて、ステップＳ８０２−ステップＳ８０６の処理は、図７に示されるフローから連続して実行される必要はなく、図７に示されるフローとは独立して実行されてもよい。
【００３７】
図９を参照して、検査対象画像を検査する処理について説明する。
ステップＳ９０２では、設定部１６６は、検査対象画像を分類するために、分類する画像の判定条件を指定する。ここでは、設定部１６６は、分類する画像の判定条件として、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」を設定する。
ステップＳ９０４では、画像取得部１５２は、検査対象画像を取得する。例えば、画像取得部１５２は、撮像装置２００によって検査対象５０が撮像されることによって得られる検査対象画像を取得する。検査対象画像は、ＪＰＥＧ、ビットマップ画像、ＧＩＦ等で表されたものであってもよい。
ステップＳ９０６では、分割処理部１５６は、検査対象エリア特定部１５４によって特定された検査対象エリア及び設定部１６６によって設定された学習用画像を分割するサイズにしたがって、検査対象画像を、学習用画像分割サイズへ分割することによって、複数の検査対象分割画像を取得する。
【００３８】
ステップＳ９０８では、分類処理部１６０は、記憶部１６４に格納された学習データ１６４６を取得する。そして、分類処理部１６０は、学習データ１６４６に基づいて、複数の検査対象分割画像を、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、又は「第五の品質」へ分類する。
ステップＳ９１０では、判定部１６２は、ステップＳ９０８で複数の検査対象分割画像を分類した結果に基づいて、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」の各々に含まれる一又は複数の検査対象分割画像を判定する。例えば、判定部１６２は、「第一の品質」に含まれる一又は複数の検査対象分割画像の数を集計する。さらに、判定部１６２は、「第二の品質」に含まれる一又は複数の検査対象分割画像、「第三の品質」に含まれる一又は複数の検査対象分割画像、「第四の品質」に含まれる一又は複数の検査対象分割画像、「第五の品質」に含まれる一又は複数の検査対象分割画像についても、「第一の品質」に含まれる一又は複数の検査対象分割画像と同様の処理を行う。
【００３９】
ステップＳ９１２では、判定部１６２は、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」の各々に含まれる一又は複数の検査対象分割画像の数を集計した結果を集約し、検査対象画像の良否を判定する。
ステップＳ９１４では、表示制御部１６８は、判定部１６２によって供給される検査対象画像の良否の結果を表す情報に基づいて、検査対象画像の良否の判定結果を表示部１１４へ表示する。さらに、検査対象画像が不良品である場合には、アラームを鳴らしたり、良品との差分を表示したりするようにしてもよい。これによって、ユーザに不良品が発生したことを通知できるとともに、不良品の内容を通知できる。
図９に示されるフローチャートにおいて、ステップＳ９０２−ステップＳ９１４の処理は、図８に示されるフローから連続して実行される必要はなく、図８に示されるフローとは独立して実行されてもよい。
【００４０】
上述した実施形態においては、検査装置１００が、ＣＰＵ１０２と、ＲＯＭ１０４と、ＲＡＭ１０６と、不揮発性メモリ１０８と、通信Ｉ／Ｆ部１１０と、操作部１１２と、表示部１１４と、内部バス１１６とを備える場合について説明したが、この例に限られない。例えば、検査装置１００が、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を備えるようにしてもよい。
また、上述した実施形態においては、表示部１１４に検査対象画像の評価結果等を表示する場合について説明したが、この例に限られない。例えば、検査装置１００は、表示部１１４に評価結果を表示せずに、検査対象画像が良品であることを示す「０」や、検査対象画像が不良品であることを示す「１」等の信号を別の機器に送信するようにしてもよい。そして、別の機器は、評価装置１００から送信される信号を受信すると、該信号で示される評価結果を表示するようにしてもよい。
また、上述した実施形態においては、学習用画像が学習用画像分割サイズで同じ大きさに分割される場合について説明したが、この例に限られない。学習用画像が互いに異なるサイズで分割されてもよい。また、検査対象画像が学習用画像分割サイズで同じ大きさに分割される場合について説明したが、この例に限られない。検査対象画像が互いに異なるサイズで分割されてもよい。
また、上述した実施形態では、学習用分割画像が「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」の五種類に分類される場合について説明したがこの例に限られない。例えば、学習用分割画像が二種類−四種類に分類されてもよいし、六種類以上に分類されてもよい。
【００４１】
また、上述した実施形態においては、複数の検査対象分割画像の各々が、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」の五種類に分類される場合について説明したがこの例に限られない。例えば、検査対象分割画像が二種類−四種類に分類されてもよいし、六種類以上に分類されてもよい。例えば、複数の検査対象分割画像の各々が、トレーニング用画像、テストデータ等の品質とは異なる条件で分類されてもよい。また、例えば、特定の対象物を含む画像と、該特定の画像を含まない画像とに分類されてもよい。これによって、検査対象画像から、特定の対象物を含むものを探すことができる。
また、上述した実施形態では、オープンシーヴィ等のオープンソースのコンピュータビジョン向けライブラリを使用した画像処理を行うことによって学習用画像を学習用画像分割サイズに分割する場合について説明したがこの例に限られない。例えば、学習用画像がオープンシーヴィ以外の画像処理によって、学習用画像分割サイズに分割されてもよい。
【００４２】
また、上述した実施形態では、検査装置１００において、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」のいずれかに分類された複数の学習用分割画像の各々を機械学習することによって、特徴量を抽出する場合について説明したが、この例に限られない。例えば、検査装置１００以外の装置において、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、及び「第五の品質」のいずれかに分類された複数の学習用分割画像の各々を、機械学習することによって、特徴量を抽出する。そして、「第一の品質」、「第二の品質」、「第三の品質」、「第四の品質」、又は「第五の品質」に分類された一又は複数の学習用分割画像を機械学習することによって抽出される特徴量を表す学習データを、該装置から、検査装置１００の記憶部１６４に格納するようにしてもよい。
【００４３】
本実施形態に係る検査装置１００によれば、学習用画像を複数に分割することによって、複数の学習用分割画像を取得する。例えば、学習用画像を（Ｎピクセル×Ｍピクセル（ＮはＮ＞０の整数、ＭはＭ＞０の整数））で分割する。そして、検査装置１００は、複数の学習用分割画像の各々を分類した結果に基づいて、各分類に含まれる一又は複数の学習用分割画像を機械学習し、特徴量を抽出する。
検査装置１００は、検査対象画像を複数に分割することによって、複数の検査対象分割画像を取得する。そして、検査装置１００は、各分類に含まれる一又は複数の学習用分割画像の特徴量に基づいて、複数の検査対象分割画像の各々を分類し、各分類に含まれる一又は複数の検査対象分割画像に基づいて、検査対象画像の良否を判定する。検査対象画像の良否を判定することによって、検査対象５０の良否を間接的に判定できる。
【００４４】
また、学習用画像を複数に分割することによって取得される複数の学習用分割画像を学習することによって特徴量を抽出できるため、学習用画像が少ない場合でも十分に学習することができる。このため、検査対象画像の良否の判定精度を向上させることができる。さらに、一つのワーク（サンプル）に複数の欠陥等の不良箇所を意図的に作成することなく、多くの学習用分割画像を用意できる。さらに、学習用画像を複数に分割するため、画像を縮小することなく、学習用分割画像を用意できる。つまり、大きい画像から小さい不良箇所を探すために、画像を縮小すると、縮小した画像から不良品の特徴が得られなくなるが、このようなことがなくなる。また、検出する対象物の大きさや形状等が一定でない場合でも、多くの学習用分割画像を用意できるため、該対象物を検出できる。
【００４５】
＜変形例（その１）＞
本変形例に係る検査装置は、上述した図１−図３を適用できる。本変形例に係る検査装置は、上述した実施形態に係る検査装置と、判定部の処理が異なる。
本変形例に係る検査装置１００の判定部１６２は、「第五の品質」に分類された検査対象分割画像がある場合に、該検査対象分割画像を含む検査対象画像を不良品と判定する。「第五の品質」に分類される学習用分割画像には、擦れキズが見られ、該擦れキズの程度によっては、他の全ての検査対象分割画像が良品であっても、検査対象画像を良品と判定できない場合がある。このため、「第五の品質」に分類される検査対象分割画像を含む検査対象画像を不良品と判定する。
本変形例に係る検査装置１００によれば、品質が最も悪い「第五の品質」に分類される検査対象分割画像がある場合には、該検査対象分割画像を含む検査対象画像を不良品と判定できるため、検査対象の良否の判定精度を向上させることができる。
【００４６】
＜変形例（その２）＞
本変形例に係る検査装置は、上述した図１−図３を適用できる。本変形例に係る検査装置は、上述した実施形態に係る検査装置と、判定部の処理が異なる。
本変形例に係る検査装置１００の判定部１６２は、良品とされる「第１の品質」及び「第２の品質」に分類された検査対象分割画像の数と、不良品とされる「第３の品質」、「第４の品質」及び「第５の品質」に分類された検査対象分割画像の数との割合に基づいて、該割合が閾値以上である場合には良品と判定し、閾値未満である場合には不良品と判定する。
【００４７】
さらに、割合を演算する際に、「第１の品質」、「第２の品質」、「第３の品質」、「第４の品質」及び「第５の品質」の各々に重み付けがされてもよい。例えば、「第１の品質」、「第２の品質」、「第３の品質」、「第４の品質」及び「第５の品質」と品質が悪くなるにしたがって、重みづけが大きくなるようにしてもよい。
本変形例に係る検査装置１００によれば、品質が悪くなるにしたがって重みづけを大きくすることによって、特に品質が悪い場合には、割合が小さくなるため、不良品と判定される確率が高くなるため、検査対象の良否の判定精度を向上させることができる。
【００４８】
以上、実施形態及びその変形例を説明したが、これらの実施形態及びその変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態及びその変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態及びその変形例は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【００４９】
なお、上述の検査装置は内部にコンピュータを有している。そして、上述した検査装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００５０】
５０…検査対象、１００…検査装置、２００…撮像装置、１５２…画像取得部、１５４…検査対象エリア特定部、１５６…分割処理部、１５８…特徴抽出部、１６０…分類処理部、１６２…判定部、１６４…記憶部、１６６…設定部、１６８…表示制御部
【図１】
2017211259.tif 000003
【図２】
2017211259.tif 000004
【図３】
2017211259.tif 000005
【図４】
2017211259.tif 000006
【図５】
2017211259.tif 000007
【図６】
2017211259.tif 000008
【図７】
2017211259.tif 000009
【図８】
2017211259.tif 000010
【図９】
2017211259.tif 000011