(57)【要約】      （修正有）【課題】サンプル画像数が少ない場合や、外乱がある場合、新たな欠陥モードの場合でも、高精度に欠陥検出を行う方法を提供する。【解決手段】物体の外観上の欠陥を検出する情報処理装置１０であって、物体が撮像された検出対象の画像から教師なし学習を用いてクラスタ群から物体の本来の画素に基づく値を元に物体が含まれるクラスタを抽出し、クラスタの領域をシード領域として設定したクラスタリングにより、物体が撮像された検出対象の画像から正常部分を抽出する分類部１０２と、抽出された正常部分と、所定の正常なテンプレート画像１１０とに基づいて、検出対象の画像から欠陥を検出する欠陥検出部１０４と、を備えた。【選択図】図３
2017096853.tif 000002
【特許請求の範囲】
【請求項１】
物体の外観上の欠陥を検出する情報処理装置であって、
前記物体が撮像された検出対象の画像から教師なし学習を用いてクラスタに分類し、分類されたクラスタ群から前記物体の本来の画素に基づく値を元に前記物体が含まれるクラスタを抽出し、前記クラスタの領域をシード領域として設定したクラスタリングにより、前記物体が撮像された検出対象の画像から正常部分を抽出する分類部と、
抽出された正常部分と、所定の正常なテンプレート画像とに基づいて、前記検出対象の画像から欠陥を検出する欠陥検出部と、
を備えた情報処理装置。
【請求項２】
前記分類部は、前記検出対象の画像としての前記物体の一または複数の部品画像の中央部分の輝度ヒストグラムを、前記教師なし学習の前記クラスタリングのアルゴリズムとしてのｋ−ｍｅａｎｓアルゴリズムを用いて、２つのクラスタに分類し、前記一または複数の部品画像のそれぞれを構成する各画素を、前記クラスタに分類する、
請求項１に記載の情報処理装置。
【請求項３】
前記分類部は、前記クラスタに分類された画素のうち、本来の部品の輝度値との差が所定値以内の輝度値の画素のクラスタを前記シード領域として設定する、
請求項２に記載の情報処理装置。
【請求項４】
前記分類部は、設定されたシード領域に基づいて、前記クラスタリングのアルゴリズムとしてのＣｈａｎ−Ｖｅｓｅアルゴリズムにより、前記部品画像から部品形状を抽出する、
請求項３に記載の情報処理装置。
【請求項５】
前記欠陥検出部は、抽出された部品形状と、前記部品に対応して予め定められた、正常な形状のテンプレート画像とを比較し、差分が所定の閾値以上である場合に、前記部品画像が欠陥ありと識別する、
請求項４に記載の情報処理装置。
【請求項６】
前記欠陥検出部は、欠陥ありと識別した場合に、前記部品画像のうち、前記テンプレート画像と差分がある領域を、欠陥領域と判定する、
請求項５に記載の情報処理装置。
【請求項７】
前記物体の画像から、前記テンプレート画像とのマッチングにより、前記物体の一または複数の部品画像を切り出す部品画像生成部、
をさらに備えた請求項５または６に記載の情報処理装置。
【請求項８】
前記部品画像生成部は、前記テンプレート画像とのマッチングの際、前記部品の一部が表示画面外にある場合には、前記表示画面外の部分について、前記テンプレート画像で補完して、前記マッチングを行う、
請求項７に記載の情報処理装置。
【請求項９】
物体の外観上の欠陥を検出する欠陥検出方法であって、
前記物体が撮像された検出対象の画像から教師なし学習を用いてクラスタに分類し、分類されたクラスタ群から前記物体の本来の画素に基づく値を元に前記物体が含まれるクラスタを抽出し、前記クラスタの領域をシード領域として設定したクラスタリングにより、前記物体が撮像された検出対象の画像から正常部分を抽出し、
抽出された正常部分と、所定の正常なテンプレート画像とに基づいて、前記検出対象の画像から欠陥を検出する、
ことを含む欠陥検出方法。
【請求項１０】
物体の外観上の欠陥を検出するコンピュータに実行させるためのプログラムであって、
前記物体が撮像された検出対象の画像から教師なし学習を用いてクラスタに分類し、分類されたクラスタ群から前記物体の本来の画素に基づく値を元に前記物体が含まれるクラスタを抽出し、前記クラスタの領域をシード領域として設定したクラスタリングにより、前記物体が撮像された検出対象の画像から正常部分を抽出し、
抽出された正常部分と、所定の正常なテンプレート画像とに基づいて、前記検出対象の画像から欠陥を検出する、
ことを前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、欠陥検出方法およびプログラムに関する。
【背景技術】
【０００２】
近年、ＦＡ（Ｆａｃｔｏｒｙ  Ａｕｔｏｍａｔｉｏｎ）での用途等を中心に、画像を用いた欠陥検出技術が一般的に使用されている。このような欠陥検出技術においては、事前知識として使用できるサンプル画像数が少ない場合や、照度変化などの外乱がある場合でも、高精度に欠陥検出を行うこと、また未知の欠陥モードへの対応が大きな課題となっている。ここで、外乱に強く、未知の欠陥モードへの対応が可能な欠陥検出アルゴリズムとして、正常画像のみを機械学習により学習させることにより、そこから外れた画像を検出する半教師あり異常検知を用いた技術が従来から知られている。
【０００３】
また、例えば、特許文献１に示すように、検査対象物の画像情報に対して２値化処理を行い、欠陥候補の領域情報を取得し、その領域の特徴より欠陥かどうかを識別することで、欠陥検出を行う技術が知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、正常サンプルの数は外乱も含めて一定数以上の数が必要となり、例えば正常サンプルが数枚しか準備出来ない場合に、外乱がある状況では良好な性能で欠陥検出を行うことが困難であるという問題がある。
【０００５】
また、特許文献１の技術では、単純な二値化を用いているため、照明状態の変化などにより、誤検出が発生する可能性がある。また、特許文献１の技術でも、外乱に弱く、外乱がある条件下では良好な性能で欠陥検出を行うことが困難である。
【０００６】
本発明は、上記に鑑みてなされたものであって、サンプル画像数が少ない場合や、外乱にがある場合、新たな欠陥モードの場合でも、高精度に欠陥検出を行うことができる情報処理装置、欠陥検出方法およびプログラムを提供することを主な目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、物体の外観上の欠陥を検出する情報処理装置であって、前記物体が撮像された検出対象の画像から教師なし学習を用いてクラスタに分類し、分類されたクラスタ群から前記物体の本来の画素に基づく値を元に前記物体が含まれるクラスタを抽出し、前記クラスタの領域をシード領域として設定したクラスタリングにより、前記物体が撮像された検出対象の画像から正常部分を抽出する分類部と、抽出された正常部分と、所定の正常なテンプレート画像とに基づいて、前記検出対象の画像から欠陥を検出する欠陥検出部と、を備えた。
【発明の効果】
【０００８】
本発明によれば、サンプル画像数が少ない場合や、外乱がある場合、新たな欠陥モードの場合でも、高精度に欠陥検出を行うことができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本実施形態に係る情報処理システムの一例の構成図である。
【図２】図２は、本実施形態に係る情報処理装置の一例のハードウェア構成図である。
【図３】図３は、本実施形態に係る情報処理装置の一例の機能ブロック図である。
【図４】図４は、本実施形態に係る欠陥検出処理の手順の一例を示すフローチャートである。
【図５】図５は、本実施形態において入力される画像の一例を示す図である。
【図６】図６は、本実施形態におけるシード領域の画像の一例を示す図である。
【図７】図７は、本実施形態において部品形状として抽出された画像の一例を示す図である。
【図８】図８は、本実施形態におけるテンプレート画像の一例を示す図である。
【図９】図９は、本実施形態における検出結果の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１１】
＜システム構成＞
まず、第１の実施形態に係る情報処理システム１のシステム構成について説明する。図１は、第１の実施形態に係る情報処理システムの一例の構成図である。
【００１２】
図１に示すように情報処理システム１は、情報処理装置１０と、撮像装置３０とを有する。また、情報処理装置１０及び撮像装置３０は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブル等を介して通信可能に接続されている。なお、情報処理装置１０及び撮像装置３０は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等を介して通信可能に接続されていてもよい。
【００１３】
情報処理装置１０は、例えばＰＣ（パーソナルコンピュータ）等である。情報処理装置１０には、欠陥検出プログラム２０がインストールされている。情報処理装置１０は、欠陥検出プログラム２０を用いることで、撮像装置３０で撮像することにより入力された画像データにおける被写体の外観上の欠陥を検出することができる。本実施形態では、撮像装置３０により撮像される被写体としては例えば工場で量産される製品等を想定し、外観上に欠陥がある場合とは、製品等の外観上（表面上）に傷等がある場合を言うものとする。
【００１４】
ここで、欠陥検出プログラム２０は、教師なし学習を用いた異常検知により画像データの被写体の外観上の欠陥を検出するものとする。ここで、教師なし学習とは、機械学習の一つであり、入力データのみで教師データが必要ない機械学習である。
【００１５】
なお、情報処理装置１０は、ＰＣに限られず、スマートフォン、タブレット端末等の携帯端末装置であってもよい。
【００１６】
撮像装置３０は、被写体を撮像して画像データを生成するカメラ等である。撮像装置３０により生成された画像データは、例えばＵＳＢケーブル等を介して情報処理装置１０に入力される。撮像装置３０は、情報処理装置１０に内蔵されていてもよい。
【００１７】
＜ハードウェア構成＞
次に、第１の実施形態に係る情報処理装置１０のハードウェア構成について説明する。図２は、第１の実施形態に係る情報処理装置の一例のハードウェア構成図である。図２に示すように情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１４とを備えている。また、情報処理装置１０は、入力装置１５と、表示装置１６と、外部Ｉ／Ｆ１７と、通信Ｉ／Ｆ１８とを備えている。これらの各部はバスＢで接続されている。
【００１８】
ＣＰＵ１１は、ＲＯＭ１４やＨＤＤ１２等の記憶装置からプログラムやデータをＲＡＭ１３上に読み出し、処理を実行することで、情報処理装置１０全体の制御や機能を実現する演算装置である。
【００１９】
ＨＤＤ１２は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、例えば、情報処理装置１０全体を制御する基本ソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、ＯＳ上において各種機能を提供するアプリケーションソフトウェア（例えば、欠陥検出プログラム２０）等がある。ＨＤＤ１２は格納しているプログラムやデータを所定のファイルシステム及び／又はＤＢ（データベース）により管理している。なお、情報処理装置１０は、ＨＤＤ１２の代わりに又はＨＤＤ１２と併せて、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等を備えていてもよい。
【００２０】
ＲＡＭ１３は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１４は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。
【００２１】
入力装置１５は、ユーザが各種操作信号を入力するのに用いられる装置である。入力装置１５は、例えば、各種操作ボタン、タッチパネル、キーボード、マウス等である。表示装置１６は、情報処理装置１０による処理結果を表示する装置である。表示装置１６は、例えば、ディスプレイ等である。
【００２２】
外部Ｉ／Ｆ１７は、外部装置とのインタフェースである。外部装置には、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ、ＳＤカード、ＣＤ、ＤＶＤ等がある。通信Ｉ／Ｆ１８は、撮像装置３０とデータ通信を行うためのインタフェースである。
【００２３】
本実施形態に係る情報処理装置１０は、上記ハードウェア構成を有することにより、後述する各種処理を実現することができる。
【００２４】
＜機能構成＞
次に、第１の実施形態に係る情報処理装置１０の機能構成について説明する。図３は、第１の実施形態に係る情報処理装置の一例の機能ブロック図である。図３に示すように、情報処理装置１０は、部品画像生成部１０１と、分類部１０２と、欠陥検出部１０４と、テンプレート画像１１０とを主に備えている。部品画像生成部１０１、分類部１０２、欠陥検出部１０４は、例えばＣＰＵ１１が欠陥検出プログラム２０を実行させることにより実現される。
【００２５】
テンプレート画像１１０は、物体を構成する部品ごとに存在、各部品に対応して予め定められた、正常な形状を示す画像（テンプレート）である。テンプレート画像１１０は、ＨＤＤ１２に保存されている。
【００２６】
部品画像生成部１０１は、撮像装置３０で撮像された物体の画像を、テンプレート画像とのテンプレートマッチングを行って、撮像された画像から、物体の一または複数の部品画像を切り出して生成する。ここで、部品画像生成部１０１は、テンプレート画像１１０とのマッチングの際、部品の一部が表示画面外にある場合には、表示画面外の部分について、テンプレート画像を挿入（補完）して、マッチングを行う。これより、画面外に部品の一部が切れている場合でも、欠陥検出部１０４で欠陥と判定されないようにしている。
【００２７】
分類部１０２は、物体が撮像された検出対象の画像から教師なし学習を用いてクラスタに分類し、分類されたクラスタ群から物体の本来の画素に基づく値を元に物体が含まれるクラスタを抽出し、クラスタの領域をシード領域として設定したクラスタリングにより、物体が撮像された検出対象の画像から正常部分を抽出する。具体的には、分類部１０２は、検出対象の画像としての物体の一または複数の部品画像の中央部分の輝度ヒストグラムを、教師なし学習のクラスタリングアルゴリズムとしてのｋ−ｍｅａｎｓアルゴリズムを用いて、２つのクラスタに分類し、一または複数の部品画像のそれぞれを構成する各画素をクラスタに分類する。ここで、分類部１０２は、クラスタに分類された画素のうち、本来の部品の輝度値に近似する画素のクラスタをシード領域として設定する。ここで、本来の部品の輝度値に近似する画素としては、本来の部品の輝度値との差が所定値以内の輝度値の画素とする。また、分類部１０２は、設定されたシード領域に基づいて、クラスタリングアルゴリズムとしてのＣｈａｎ−Ｖｅｓｅアルゴリズムにより、部品画像から部品形状を抽出する。ここで、Ｃｈａｎ−Ｖｅｓｅアルゴリズムの詳細については、非特許文献「T.  F.  Chan  and  L.  A.  Vese,  ”Active  contours  without  edges,”  IEEE  Transactions  on  Image  Processing,  10(2),  266-277  (2001).」に記載されている。
【００２８】
欠陥検出部１０４は、分類部１０２で抽出された正常部分と、所定の正常なテンプレート画像とに基づいて、検出対象の画像から欠陥を検出する。具体的には、欠陥検出部１０４は、分類部１０２で抽出された部品形状と、部品に対応して予め定められた、正常な形状のテンプレート画像とを比較し、差分が所定の閾値以上である場合に、部品画像が欠陥ありと識別する。
【００２９】
また、欠陥検出部１０４は、欠陥ありと識別した場合に、部品画像のうち、テンプレート画像と差分がある領域を、欠陥領域と判定する。
【００３０】
＜処理の詳細＞
次に、本実施形態に係る情報処理装置１０による欠陥検出処理について説明する。図４は、本実施形態の欠陥検出処理の手順の一例を示すフローチャートである。
【００３１】
まず、部品画像生成部１０１は、検査対象の画像である、撮像装置３０で撮像された物体の画像を入力し、当該画像から、部品ごとのテンプレート画像１１０とのマッチング（テンプレートマッチング）を行って、物体を構成する部品の部位を切り出して一または複数の部品画像を生成する（Ｓ１１）。
【００３２】
図５は、本実施形態において入力される画像の一例を示す図である。この画像の例において、中央付近の黒い部分が欠陥であるとする。
【００３３】
次に、分類部１０２は、Ｓ１１で生成された各部品画像に対し、各部品の中央部の輝度ヒストグラムを、教師なし学習であるｋ−ｍｅａｎｓアルゴリズムにより２つのクラスタに分類し、各画素をそれぞれが属するクラスタに分類する（Ｓ１２）。
【００３４】
次に、分類部１０２は、クラスタに分類された画素のうち、本来の部品の輝度値に近い画素（輝度値の差異が所定値以下の画素）のクラスタをシード領域として設定する（Ｓ１３）。
【００３５】
図６は、本実施形態におけるシード領域の画像の一例を示す図である。図６の例では、Ｓ１２のｋ−ｍｅａｎｓアルゴリズムによるクラスタリングで、部品中央付近の元の輝度値に近い輝度値の領域のみが抽出され、シード領域として設定される。
【００３６】
そして、分類部１０２は、設定したシード領域に基づいて、クラスタリングアルゴリズムであるＣｈａｎ−Ｖｅｓｅアルゴリズムにより部品形状を抽出する（Ｓ１４）。図７は、本実施形態において部品形状として抽出された画像（正常領域画像）の一例を示す図である。
【００３７】
次に、欠陥検出部１０４は、Ｓ１４で抽出された部品形状と、正常な部品形状のテンプレート画像を比較する（Ｓ１５）。図８は、本実施形態におけるテンプレート画像１１０の一例を示す図である。図７の画像と図８の画像とが比較されることになる。
【００３８】
そして、欠陥検出部１０４が、部品形状と、正常な部品形状のテンプレート画像との差異が所定の閾値以上であるか否かを判断する（Ｓ１６）。差異が閾値以上である場合には（Ｓ１６：Ｙｅｓ）、欠陥検出部１０４は、部品につき欠陥ありと識別する（Ｓ１７）。そして、欠陥検出部１０４は、テンプレート画像１１０との差異がある部分について、欠陥領域と判定する（Ｓ１８）。
【００３９】
Ｓ１６で、部品形状と、正常な部品形状のテンプレート画像との差異が所定の閾値未満である場合には（Ｓ１６：Ｎｏ）、部品は欠陥なしと判定される（Ｓ１９）。
【００４０】
上記Ｓ１５からＳ１８，Ｓ１９までの処理は、部品毎に繰り返し実行される。全ての部品に対してＳ１５からＳ１８，Ｓ１９までの処理が実行されたら、処理は終了する。
【００４１】
Ｓ１２により、部品内に欠陥がある場合にも、欠陥がない部分の領域のみを次段のクラスタリングのシード領域として用いることができる。これにより、部品内に欠陥が存在する場合にもＳ１４のクラスタリングにより、正常部分のみを抽出することが可能となる。
【００４２】
＜評価例＞
以下、実際の評価例について示す。検出結果の評価には入力される画像が多いほうが望ましい。本評価例では、提供されている画像数が少ないため、提供画像に対して、ランダムに平行移動・回転・輝度変化を加えることで、Ｄａｔａ  ａｕｇｍｅｎｔａｔｉｏｎを行い、評価用画像数を５５枚に増加させた。表１に評価用画像の処理結果を示す。
【００４３】
【表１】
2017096853.tif 000003
【００４４】
ここで、欠陥検出を行ったコンピュータは、ＣＰＵ：Ｃｏｒｅ  ｉ７  ８７０、メモリ２０ＧＢで、ＯＳは、Ｗｉｎｄｏｗｓ（登録商標）７  ６４ｂｉｔを用いた。
【００４５】
欠陥検出率は、評価用画像の中に存在す３０箇所の欠陥部位の検出率である。また、誤検出率はサンプル画像合計５５枚の中で誤って正常部位を欠陥部位と誤検出した率を示している。今回準備したサンプル画像に対しては、全数正解しており、高い欠陥検出性能を有していることが分かる。
【００４６】
図９は、本実施形態における検出結果の例を示す図である。符号９０２の破線が正解の検出結果であり、符号９０１の実線が、本実施形態のアルゴリズムで検出した検出結果である。図９に示す検出結果では、正解とほぼ重なる形で正常に欠陥領域が検出できていることがわかる。処理時間に関しては処理内容をマルチスレッド化し、サンプル画像５５枚を処理したところ一枚あたり７７７ｍｓであった。
【００４７】
このように本実施形態では、物体が撮像された検出対象の画像から教師なし学習を用いてクラスタに分類し、分類されたクラスタ群から物体の本来の画素に基づく値を元に物体が含まれるクラスタを抽出し、クラスタをシード領域として設定したクラスタリングにより、物体が撮像された検出対象の画像から正常部分を抽出し、抽出された正常部分と、正常なテンプレート画像とに基づいて、検出対象の画像から欠陥を検出する。すなわち、本実施形態では、教師なし学習と、クラスタリング処理を組み合わせた手法であるため、事前にサンプルを複数準備する必要はない。そして、本実施形態では、シード領域として、教師なし学習で分類されたクラスタから部品の本来の画素の輝度値に近い画素を使うことで、部品内に欠陥がある場合にも欠陥がない部分の領域のみを抽出することができる。この結果、本実施形態によれば、サンプル画像数が少ない場合や、外乱がある場合、新たな欠陥モードの場合でも、高精度に欠陥検出を行うことができる。
【００４８】
なお、本実施形態の情報処理装置１０で実行される欠陥検出プログラム２０は、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００４９】
また、本実施形態の情報処理装置１０で実行される欠陥検出プログラム２０を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置１０で実行される欠陥検出プログラム２０をインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００５０】
また、本実施形態の情報処理装置１０で実行される欠陥検出プログラム２０を、ＲＯＭ１４等に予め組み込んで提供するように構成してもよい。
【００５１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５２】
１  情報処理システム
１０  情報処理装置
１０１  部品画像生成部
１０２  分類部
１０４  欠陥検出部
１１０  テンプレート画像
【先行技術文献】
【特許文献】
【００５３】
【特許文献１】特開２０１３−１６７５９６号公報
【図１】
2017096853.tif 000004
【図２】
2017096853.tif 000005
【図３】
2017096853.tif 000006
【図４】
2017096853.tif 000007
【図５】
2017096853.tif 000008
【図６】
2017096853.tif 000009
【図７】
2017096853.tif 000010
【図８】
2017096853.tif 000011
【図９】
2017096853.tif 000012