(57)【要約】【課題】  検査対象部品の形状が一定で定位置から撮影される画像について、不規則に現れる異常を容易に検出できる部品の検査方法及び検査システムを提供する。【解決手段】  ニューラルネットワークを用いて、正常な画像データを教師データとして読み込んでオートエンコーダを用いて機械学習させ、正常な画像データのみが正確に再構成される正常画像データのモデル（検査モデル）を構築し、その後に検査用の画像データを当該検査モデルに入力してオートエンコーダを用いて、再構成された画像データと入力された検査用の画像データとを比較して、両者が同一と見なされる範囲を超えていれば、異常と判定する検査方法及び検査システムである。【選択図】        図１
2020031984.tif 000002
【特許請求の範囲】
【請求項１】
撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、
前記検査装置では、正常な部品の画像データを教師データとして入力し、出力される再構成画像データが前記入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、当該検査モデルに検査対象として撮影された部品の画像データを入力し、再構成された画像データと前記入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、前記両者が同じ範囲と認定されない場合は異常と判定する検査方法。
【請求項２】
検査対象の部品の画像データについて、ノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データを検査モデルに入力する請求項１記載の検査方法。
【請求項３】
再構成された画像データと入力された画像データを比較する演算を、平均二乗誤差で行い、当該演算された値が特定の閾値以内の場合には同じ範囲と認定され、前記特定の閾値を超える場合には同じ範囲と認定されない請求項１又は２記載の検査方法。
【請求項４】
教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも前記複数の小画像に分割して、前記分割された画像データ毎に入力し、再構成された画像データと前記入力された画像データとの比較を行う請求項１乃至３のいずれか記載の検査方法。
【請求項５】
モデル学習では、オートエンコーダ又はＧＡＮのＡＩモデルを用いて行う請求項１乃至４のいずれか記載の検査方法。
【請求項６】
撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、
検査対象の部品の画像データについて、ノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定する検査方法。
【請求項７】
撮影され部品の画像データを用いて、部品の検査を行う検査システムであって、
正常な部品の画像データを教師データとして記憶する教師データ記憶部と、
検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、
前記教師データ記憶部から教師データを入力し、出力される再構成画像データが前記入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、当該検査モデルに前記画像データ記憶部からの画像データを入力し、再構成された画像データと前記入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、前記両者が同じ範囲と認定されない場合は異常と判定する制御部とを備える検査装置を有する検査システム。
【請求項８】
教師データ記憶部には、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして記憶しており、
制御部は、前記教師データ記憶部からノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに画像データ記憶部からの検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データを検査モデルに入力する請求項７記載の検査システム。
【請求項９】
制御部は、再構成された画像データと入力された画像データを比較する演算を、平均二乗誤差で行い、当該演算された値が特定の閾値以内の場合には同じ範囲と認定され、前記特定の閾値を超える場合には同じ範囲と認定されない請求項７又は８記載の検査システム。
【請求項１０】
制御部は、教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも前記複数の小画像に分割して、前記分割された画像データ毎に入力し、再構成された画像データと前記入力された画像データとの比較を行う請求項７乃至９のいずれか記載の検査システム。
【請求項１１】
モデル学習には、オートエンコーダ又はＧＡＮのＡＩモデルを用いた請求項７乃至１０のいずれか記載の検査システム。
【請求項１２】
撮影された部品の画像データを用いて、部品の検査を行う検査システムであって、
検査対象の部品の画像データについて、ノイズのない画像データを教師データとして記憶する教師データ記憶部と、
検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、
前記教師データ記憶部からノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定する制御部とを備える検査装置を有する検査システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、部品の検査方法に係り、特に、ほぼ同じ形状の部品を定められた位置から撮影した画像について異常を検出する部品の検査方法及び検査システムに関する。
【背景技術】
【０００２】
［従来の技術］
従来の部品の検査方法には、撮影された画像の異常画像データを学習させて、その異常画像データと撮影された検査対象の画像データとを比較し、両者の相関によって異常を検出するものがあった。【０００３】
［関連技術］
尚、関連する先行技術文献として、特開２００７−２７９０４６号公報「検査システムおよびその方法」（特許文献１）、特開２０１０−１３９３１７号公報「軸物工具表面の欠陥検査方法および装置」（特許文献２）、特開２０１３−２０５３２０号公報「検査条件決定方法、検査方法および検査装置」（特許文献３）、特開２０１７−０５４２３９号公報「画像分類装置および画像分類方法」（特許文献４）がある。【０００４】
特許文献１には、部品の検査システムであって、撮影したビデオ画像に基づいて参照点に対する特徴部の実際のパラメータを決定して特徴部の配置を検査することが示されている。
特許文献２には、軸物工具の表面を撮影した画像を複数に分割し、学習されているニューラルネットワークの処理部が算出した出力値に基づいて欠陥の有無を判定することが示されている。【０００５】
特許文献３には、典型的な欠陥画像を分類器に学習させておき、検査対象画像の特徴量を算出し、分類器に与えることで検査条件を決定し、検査対象画像から欠陥を検出することが示されている。
特許文献４には、欠陥に対して複数の属性項目が定められ、分類器が教師データセットで学習され、対象画像に対する複数の属性項目の分類結果により欠陥クラスを決定することが示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２７９０４６号公報
【特許文献２】特開２０１０−１３９３１７号公報
【特許文献３】特開２０１３−２０５３２０号公報
【特許文献４】特開２０１７−０５４２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の検査方法では、欠陥の形状等の異常がパターン化されたものであれば、異常検出に効果的であるが、欠陥の形状や発生箇所が一定ではなく異常が不規則に発生するものであれば、異常を容易に検出できないという問題点があった。【０００８】
特許文献１〜４では、異常箇所の特徴点を検出して部品の異常を判定するため、様々な異常箇所、異常態様を検出するのが困難なものとなっていた。【０００９】
本発明は上記実状に鑑みて為されたもので、検査対象部品の形状が一定で定位置から撮影される画像について、不規則に現れる異常を容易に検出できる部品の検査方法及び検査システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
（検査方法）
上記従来例の問題点を解決するための本発明は、撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、検査装置では、正常な部品の画像データを教師データとして入力し、出力される再構成画像データが入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、当該検査モデルに検査対象として撮影された部品の画像データを入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定するものである。【００１１】
（ノイズ除去）
本発明は、上記検査方法において、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データを検査モデルに入力するものである。【００１２】
（平均二乗誤差で算出する検査方法）
本発明は、上記検査方法において、再構成された画像データと入力された画像データを比較する演算を、平均二乗誤差で行い、当該演算された値が特定の閾値以内の場合には同じ範囲と認定され、特定の閾値を超える場合には同じ範囲と認定されないものである。【００１３】
（小地域分割の検査方法）
本発明は、上記検査方法において、教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも複数の小画像に分割して、分割された画像データ毎に入力し、再構成された画像データと入力された画像データとの比較を行うものである。【００１４】
（オートエンコーダ／ＧＡＮ）
本発明は、上記検査方法において、モデル学習では、オートエンコーダ又はＧＡＮのＡＩモデルを用いて行うものである。【００１５】
（ノイズ除去とＬＢＰの欠陥画像検出）
本発明は、撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定するものである。【００１６】
（検査システム）
本発明は、撮影され部品の画像データを用いて、部品の検査を行う検査システムであって、正常な部品の画像データを教師データとして記憶する教師データ記憶部と、検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、教師データ記憶部から教師データを入力し、出力される再構成画像データが入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、当該検査モデルに画像データ記憶部からの画像データを入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定する制御部とを備える検査装置を有するものである。【００１７】
（ノイズ除去）
本発明は、上記検査システムにおいて、教師データ記憶部には、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして記憶しており、制御部が、教師データ記憶部からノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに画像データ記憶部からの検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データを検査モデルに入力するものである。【００１８】
（平均二乗誤差で算出する検査システム）
本発明は、上記検査システムにおいて、制御部が、再構成された画像データと入力された画像データを比較する演算を、平均二乗誤差で行い、当該演算された値が特定の閾値以内の場合には同じ範囲と認定され、特定の閾値を超える場合には同じ範囲と認定されないものである。【００１９】
（小地域分割の検査システム）
本発明は、上記検査システムにおいて、制御部が、教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも複数の小画像に分割して、分割された画像データ毎に入力し、再構成された画像データと入力された画像データとの比較を行うものである。【００２０】
（オートエンコーダ／ＧＡＮ）
本発明は、上記検査システムにおいて、モデル学習には、オートエンコーダ又はＧＡＮのＡＩモデルを用いたものである。【００２１】
（ノイズ除去とＬＢＰの欠陥画像検出システム）
本発明は、撮影された部品の画像データを用いて、部品の検査を行う検査システムであって、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして記憶する教師データ記憶部と、検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、教師データ記憶部からノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定する制御部とを備える検査装置を有するものである。
【発明の効果】
【００２２】
本発明によれば、検査装置が、正常な部品の画像データを教師データとして入力し、出力される再構成画像データが入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、当該検査モデルに検査対象として撮影された部品の画像データを入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定する検査方法としているので、定位置で撮影される画像データについて不規則に現れる異常を容易に検出できる効果がある。【００２３】
本発明によれば、検査対象の部品の画像データについて、ノイズのない画像データを教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データを検査モデルに入力する上記検査方法としているので、検査モデルに入力される前の画像データからノイズを除去でき、異常な画像の検出精度を向上させることができる効果がある。
【図面の簡単な説明】
【００２４】
【図１】本システムの構成ブロック図である。
【図２】ＡＩ利用の概略図である。
【図３】オートエンコーダの概略図である。
【図４】オートエンコーダを用いた画像処理の概略図である。
【図５】検査処理のフローチャートである。
【図６】本システムの応用例の概略図である。
【発明を実施するための形態】
【００２５】
本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る部品の検査方法（本検査方法）は、ニューラルネットワークを用いて、正常な画像データを教師データとして読み込んでオートエンコーダを用いて機械学習させて正常画像データのモデル（検査モデル）を構築し、その後に検査用の画像データを当該検査モデルに入力してオートエンコーダを用いて、再構成された画像データと入力された検査用の画像データとを比較して、両者が同一と見なされる範囲を超えていれば、異常と判定するものであり、定位置で撮影される画像データについて不規則に現れる異常を容易に検出できるものである。
【００２６】
［本システム：図１］
本発明の実施の形態に係る検査システム（本システム）について図１を参照しながら説明する。図１は、本システムの構成ブロック図である。
本システムは、図１に示すように、検査装置１と、表示部２と、入力部３と、画像撮影装置４とを備えている。
本システムでは、画像撮影装置４で撮影された画像データを検査装置１に取り込み、画像データの異常を検出する処理を行うものである。
【００２７】
［本システムの各部］
本システムの各部について具体的に説明する。
［検査装置１］
検査装置１は、制御部１１と、記憶装置１２と、インタフェース部１３とを備えている。
制御部１１は、記憶装置１２に記憶された処理プログラムを読み込んで検査処理を実行する。具体的な検査処理は後述する。
【００２８】
記憶装置１２は、処理プログラムを記憶する。
また、記憶装置１２は、画像撮影装置４で撮影された画像データを記憶する画像データ記憶部１２１と、正常な画像データを教師データとして記憶する教師データ記憶部１２２と、検査結果のデータを記憶する検査結果データ記憶部１２３とを備えている。
【００２９】
インタフェース部１３は、表示部２、入力部３、画像撮影装置４、更にネットワークに接続するインタフェースである。
【００３０】
［表示部２，入力部３］
表示部２は、画像撮影装置４で撮影された画像データを表示し、検査過程、検査結果を表示する。
入力部３は、本システムにおける処理の指示を入力する。
【００３１】
［画像撮影装置４］
画像撮影装置４は、部品を定位置で複数箇所から撮影し、撮影した画像データを検査装置１に出力する。画像撮影装置４として、例えば、Ｘ線で撮影する装置を想定している。また、検査用の部品としては、形状が一定で表面が滑らかな部品を想定している。尚、検査内容としては、部品内部の空洞等の欠陥や表面の微細なキズ等を検出するものである。
【００３２】
［ＡＩ利用の概略：図２］
次に、検査装置１におけるＡＩ利用の概略について図２を参照しながら説明する。図２は、ＡＩ利用の概略図である。
図２に示すように、ＡＩ利用では、学習フェーズと推論フェーズがある。
【００３３】
学習フェーズで、検査済の正常と判定された画像データを学習用データ（教師データ）セットとして用いてモデル学習を行い、学習済モデル（検査モデル）を生成する。このモデル学習では、オートエンコーダを用いて機械学習を行って、正常な画像データは正しく復元できるが、異常な画像データは正しく復元できないように学習させる。
【００３４】
そして、推論フェーズで、検査用に撮影された画像データを入力データとして、学習済モデル（検査モデル）に入力して、その出力データが入力データと同一の範囲内にあれば、「正常」と判定し、同一の範囲内になければ「異常」と判定するものである。
【００３５】
［処理概略］
次に、本システムにおける処理動作の概略を説明する。
本システムの検査装置１では、以下に説明する機械学習によって検査モデルを生成し、検査対象の撮影された画像データ（入力画像データ）をその検査モデルに入力して、得られた出力画像データと入力画像データを比較して、入力画像データの正常／異常を判定して検査を行うものである。
【００３６】
具体的には、本システムの検査装置１は、正常な画像データを教師データとして予め読み込んで、深層学習のニューラルネットワーク（ＤＮＮ：Deep Neural Network）の一種であるオートエンコーダ（Auto Encoder）に正常な画像データを入力して、輝度マッピング表示等の画像処理を行って符号化し、圧縮表現し、復号化（復元）して再生画像データを生成し、正常な画像データ（入力データ）と再生画像データ（出力データ）とが同じ画像データとなるよう学習させて学習済モデル（検査モデル／ＡＩモデル）を生成（構築）する。
ここで、正常な画像データは、画像撮影装置４で撮影された１枚の画像全体としているが、その画像の特定の一部の画像部分を対象にしてもよい。
【００３７】
当該検査モデルは、正常な画像群を用いて、同じ位置にある画像の領域は性質が似ていることを利用して、正常な画像の特徴量を取り出すように深層学習のＤＮＮを用いてオートエンコーダを構築する。
これにより、当該検査モデルに正常な画像データが入力されれば、同じ正常な画像データが出力されるが、正常ではない画像データ（異常な画像データ）が入力されると、同じ画像データは出力されないようにしたものである。
【００３８】
そして、検査装置１は、上記の特徴を備えた検査モデルに、検査対象の撮影された画像データ（入力画像データ）を画像データ記憶部１２１から入力し、得られた出力画像データと入力画像データとを比較し、同一の画像データとみなされる範囲であれば、当該画像の検査部品を正常と判定し、同一の画像データとみなされる範囲でなければ、当該画像の検査部品を異常と判定するものである。
【００３９】
［オートエンコーダの概略：図３］
次に、オートエンコーダについて図３を参照しながら説明する。図３は、オートエンコーダの概略図である。
図３に示すように、オリジナル（Original）の画像データｘが入力部（Input）に入力されると、関数ｆ（ｘ）で符号化（Encode）し、符号化された符号化データｈを関数ｇ（ｈ）で復号化（Decode）して出力部（Output）から再構成（Reconstruct）画像データｘ´を得る。
【００４０】
本システムの検査装置１では、オリジナルの画像データと再構成画像データｘ´を比較して、両者の差分の値が特定の閾値以下であれば、同じ画像（正常な画像）と判定し、差分の値が特定の閾値を超えていれば、別の画像（異常な画像）と判定する。
尚、本システムのオートエンコーダでは、正常なオリジナルの画像データであれば、再構成画像データｘ´が同じと判定されるよう深層学習させて検査モデルを生成している。
【００４１】
［オートエンコーダを用いた画像処理の概略：図４］
次に、オートエンコーダを用いた画像処理について図４を参照しながら説明する。図４は、オートエンコーダを用いた画像処理の概略図である。
本システムの検査装置１におけるオートエンコーダでは、図４に示すように、オリジナル画像（輝度マッピング表示等の画像処理が為された画像）を符号化して圧縮表現し、それを復元して再構成画像を出力する。
【００４２】
ここで、本システムのオートエンコーダは、正常なオリジナル画像データを教師データとして数多く読み込んで学習させ、正常なオリジナル画像データであれば、オリジナル画像データと再構成画像データとの差分の値が、両画像を同じと見なすことができる範囲となるよう深層学習されている。
【００４３】
つまり、本システムの検査モデルでは、入力と出力の画像データの差分が同一と見なされる範囲内（差分が特定の閾値以下）であれば、正常な画像データと判定し、同一と見なされる範囲（差分が特定の閾値）を超えて同一と見なされないものになると、異常な画像データと判定するものである。
【００４４】
オリジナル画像と再構成画像との違いを定量的に把握するために、両画像の相違として再構成エラー値を算出する。演算される再構成エラー値は、ＭＳＥ（Mean Square Error：平均二乗誤差）を用いて算出し、特定の閾値以内である場合に、誤差が少なく同一の画像とみなし、特定の閾値を超える場合に、誤差が大きく同一の画像とはみなさない判定を行うものである。
【００４５】
［検査対象の画像データの検査処理：図５］
次に、検査対象の画像データの検査処理について図５を参照しながら説明する。図５は、検査処理のフローチャートである。
検査装置１の制御部１１が、当該検査モデルに検査対象として撮影した画像データを入力し（Ｓ１）、検査モデルから出力された画像データを取得する（Ｓ２）。
【００４６】
そして、入力された画像データと出力される画像データとを比較し（Ｓ３）、両者が同一の範囲内かどうかを判定し（Ｓ４）、同一の範囲内と判定されれば（Ｙｅｓの場合）、正常な画像データであると判定し、「正常」の検査結果を検査結果データ記憶部１２３に出力して記憶させる（Ｓ５）。
【００４７】
また、同一の範囲内と判定されなければ（Ｎｏの場合）、異常な画像データであると判定し、「異常」の検査結果を検査結果データ記憶部１２３に出力して記憶させ（Ｓ６）、処理を終了する。
【００４８】
［異常個所の検出］
以上の検査方法では、異常がある画像データを判別できるものではあるが、その異常のある画像データのどの場所（位置）に異常があるのかまでは特定していない。
異常箇所を特定するために、異常箇所が判明しているサンプルの異常な画像データを画像データ記憶部１２１に記憶し、検査対象の画像データで異常と判定された画像データとサンプルの画像データとの相関を演算し、相関の高いサンプル画像データから異常箇所を推定するようにしてもよい。例えば、何番目のピクセルが異常の原因となっているかを突き止めることができる。
【００４９】
また、オリジナル画像からノイズを除去し、オリジナル画像を小領域のグリッドに分割し、その小領域毎にオートエンコーダを用いてモデル学習を行い、当該モデル学習で生成された検査モデルで、検査対象として分割された画像データ毎に異常検出処理を行って異常箇所を小地域単位で特定するようにしてもよい。
【００５０】
［応用例：図６］
本システムの応用例１について図６を参照しながら説明する。図６は、本システムの応用例の概略図である。
本システムでは、正常な画像データを教師データとしてオートエンコーダで学習させ、正常な画像データを再構成させるＡＩモデル（検査モデル）を構築し、検査用の画像データをそのＡＩモデルに入力し、出力画像データと入力画像データが同一の範囲内になければ、検査用の画像データを異常と判断するものであるが、応用例では、図６に示すように、検査用の画像データに対してノイズ除去の前処理を行うノイズ除去手段２１と、ノイズ除去された画像データから欠陥画像を検知する欠陥画像検知手段２２と、欠陥画像検出手段２３とを備えている。
【００５１】
図６におけるノイズ除去手段２１、欠陥画像検知手段２２と欠陥画像検出手段２３は、図１の検査装置１の制御部１１が処理プログラムを実行することで実現される。
また、欠陥画像検知手段２２におけるオートエンコーダ（Auto Encoder）２２ａ、ＧＡＮ（Generative Adversarial Network）２２ｂは、両方を備えていてもよいが、いずれか一つを備えているものであってもよい。
また、欠陥画像検知手段２２と欠陥画像検出手段２３の双方を備えていてもよいが、欠陥画像検知手段２２又は欠陥画像検出手段２３のいずれかを備えるようにしてもよい。
【００５２】
［ノイズ除去手段２１］
検査用の画像データにおけるノイズと欠陥部が似ているため、ノイズを除去することは、本システムにおける検査の精度を向上させる上で非常に重要である。
具体的には、３次元ＣＡＤ（３ＤＣＡＤ：3 Dimensional Computer Aided Design）データを用いて理想状態の正常な２次元画像データ（ノイズなし画像データ）を作成する。
この２次元画像データを教師データとしてニューラルネットワーク（ＡＩモデル／ノイズ除去モデル）に学習させる。
教師データとしてのノイズなし画像データは、図１の検査装置１の教師データ記憶部１２２に記憶させておく。
【００５３】
そして、ノイズありの２次元画像データを用意して画像データ記憶部１２１に記憶させておき、それらノイズありの画像データを使用して、ノイズありの画像データを入力すると、ノイズなしの画像データが出力されるノイズ除去モデルを構築する。
このノイズ除去モデルがノイズ除去手段２１である。
これにより、検査用の画像データをノイズ除去モデル（ノイズ除去手段２１）に入力すると、ノイズが除去された出力画像データが得られ、ノイズ除去された画像データを欠陥画像検知手段２２に入力する。
【００５４】
ノイズ除去モデルには、例えば、ＧＡＮ（Generative Adversarial Network）を用いて構築する。尚、ＧＡＮ以外のＡＩアルゴリズムを用いても構わない。
ＧＡＮは、敵対的生成ネットワークと言われ、教師なし学習で使用されるＡＩアルゴリズムの一種であり、ゼロサムゲームフレームワークで互いに競合する２つのニューラルネットワークのシステムによって実装される。
【００５５】
ＧＡＮは、生成ネットワーク（generator）と識別ネットワーク（discriminator）の２つのネットワークから構成され、画像生成の生成側がイメージを出力し、識別側がその正否を判定し、更に、生成側は識別側を欺くように学習し、識別側はより正確に識別しようと学習する。このように２つのネットワークが相反した目的で学習するため「敵対的」と称される。
【００５６】
ノイズ除去手段２１は、欠陥に近いノイズが厄介な存在であるため、欠陥を検知する前の画像処理として、ノイズだけを除去するのにＡＩを活用したものである。
ＡＩを利用する理由は、第１に、３ＤＣＡＤデータを２次元化したものを理想的な教師データとして活用でき、第２に、画像処理は画像全体に掛ける平滑化フィルタであるため、画像由来と欠陥由来を区別しないが、ＡＩは学習過程でノイズ由来のものだけを取り除けるためである。
【００５７】
［欠陥画像検知手段２２］
欠陥画像検知手段２２は、ノイズ除去手段２１からのノイズを除去された画像データを入力し、オートエンコーダ２２ａ又はＧＡＮ２２ｂを用いて入力画像データに欠陥があるのか否かを判定し、正常／異常の画像を検知した結果を出力し、検査結果データ記憶部１２３に記憶する。
オートエンコーダ２２ａでの処理は、上述した本システムにおける図１〜５に示したものとなる。
【００５８】
ＧＡＮ２２ｂは、具体的には、正常な画像データを教師データとしてＧＡＮのＡＩモデル（欠陥画像検知モデル）に学習させる。
そして、異常な画像データを使用して、それら異常な画像データを入力すると、正常な画像データが出力されるＡＩモデル（ＧＡＮ２２ｂ）を構築する。
【００５９】
これにより、ノイズが除去された画像データを欠陥画像検知手段２２のＧＡＮ２２ｂに入力すると、正常な出力画像データが得られ、入力画像データと出力画像データとを比較し、両データが同一の範囲内か否かを判定し、同一の範囲内であれば正常な画像データと判定し、同一の範囲内でなければ、異常な画像データと判定するものである。
同一の範囲内か否かの判定手法は、本システムの図４で説明したものと同様である。
【００６０】
また、欠陥画像検知手段２２は、画像データを一定数の画素（ピクセル）、例えば、３×３のピクセルの小領域の画像に分割し、その小領域毎に検知処理を行えば、異常箇所を特定できる。
この場合、欠陥画像検知手段２２内で、オートエンコーダ２２ａ又はＧＡＮ２２ｂに画像データを入力する前段に小領域の画像に分割する分割手段を設けるものとする。
【００６１】
［欠陥画像検出手段２３］
欠陥画像検出手段２３は、ノイズ除去手段２１からのノイズを除去された画像データを入力し、ＬＢＰ（Local Binary Pattern）２３ａを用いて入力画像データにおける欠陥部位があるのか否かを判定し、正常／異常の画像を検出した結果を出力し、検査結果データ記憶部１２３に記憶する。
【００６２】
ＬＢＰ２３ａは、中心画素と周辺画素の画素値の関係性を元に算出される３×３の画素単位の特徴量（ＬＢＰ値）を用い、画像データにおける他の３×３画素のＬＢＰ値と一定方向（例えば、横方向）に比較していき、正常部位が圧倒的に広範囲であることから、周辺のＬＢＰ値と大きく異なる場合、欠陥箇所と推定するものである。
【００６３】
欠陥箇所と推定するための周囲のＬＢＰ値との相違は、例えば、画像データで得られるＬＰＢ値の平均等を基にしきい値を設定し、当該しきい値を超えた場合に、欠陥箇所と判定するものである。
【００６４】
［別のシステム］
次に、別の実施の形態に係る検査システム（別のシステム）について説明する。
別のシステムでは、欠陥画像データを教師データとしてＡＩモデルに学習させ、検査対象の画像データを入力すると、欠陥画像データか否かを推論するものである。
そのためには、教師データとなる欠陥の画像データを大量に必要になるが、本システムで得られる欠陥画像データは少なく、別のシステムを実現できない。
【００６５】
そこで、別のシステムでは、ＡＩを用いて欠陥画像データに似た特徴を持つ「欠陥擬似画像データ」を多くのバリエーションをもって生成する。
例えば、欠陥擬似画像データの生成に、ＧＡＮを用いる。具体的には、本物の欠陥画像データから特徴を抽出し、抽出した特徴に共通する特徴を有する欠陥擬似画像データを変化させながら大量に生成する。
【００６６】
そして、大量に生成した欠陥擬似画像データを教師データとして、ニューラルネットワークに学習させ、欠陥画像検出のＡＩモデル（欠陥画像検出モデル）を構築する。
この欠陥画像検出モデルには、ＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）を想定しており、学習済みモデルに検査対象の画像データを入力すると、画像データにおける欠陥箇所を探知するものである。
【００６７】
別のシステムでは、欠陥擬似画像データを生成するためには、本物の欠陥画像データを収集する必要がある。本システムとの関係では、欠陥画像検知手段２２又は欠陥画像検出２３で本物の欠陥画像データを検知又は検出して収集し、特定の量の欠陥画像データが収集されたら、別システムに移行して処理を行うことが考えられる。
つまり、特定の量の欠陥画像データが蓄積されるまでは、本システムを動作し、その後、別のシステムに切り替えるようにする。切り替えは、プログラム処理により自動化してもよい。
【００６８】
また、本システムと別のシステムを併存させ、状況によって使い分け、検知又は検出の精度を向上させることができる。この場合、図６の欠陥画像検知手段２２と欠陥画像検出手段２３の両方を備え、更に、欠陥画像検知手段２２では、オートエンコーダ２２ａとＧＡＮ２２ｂの双方を備えて、いずれも選択可能とすれば、画像の状況によって欠陥検知又は欠陥検出の精度を向上させることができる。
【００６９】
尚、本システム及び別のシステムでは、検査対象を「部品」として説明したが、工業製品の部品に限らず、複数の部品の組み合わせた完成品も部品に含まれ、更に、食品等も部品に含まれるものとする。
【００７０】
［実施の形態の効果］
本システム及び本方法によれば、ニューラルネットワークを用いて、正常な画像データを教師データとして読み込んでオートエンコーダを用いて機械学習させ、正常な画像データのみが正確に再構成される正常画像データのモデル（検査モデル）を構築し、その後に検査用の画像データを当該検査モデルに入力してオートエンコーダを用いて、再構成された画像データと入力された検査用の画像データとを比較して、両者が同一と見なされる範囲を超えていれば、異常と判定するものであり、定位置で撮影される画像データについて不規則に現れる異常を容易に検出できる効果がある。
【００７１】
本システムの応用例によれば、欠陥画像を検知する前処理として、ノイズ除去手段２１で画像データにおけるノイズを除去しているので、欠陥画像の検知を精度よく行うことができる効果がある。
【００７２】
また、本システムの応用例では、欠陥画像検知手段２２におけるオートエンコーダ２２ａ又はＧＡＮ２２ｂで欠陥画像の検知を行うため、画像データの状況によって欠陥画像の検知を精度よく行うことができる効果がある。
【００７３】
更に、本システムの応用例によれば、欠陥画像検出手段２３におけるＬＢＰ２３ａで欠陥画像の検出を行うため、画像データの状況によって欠陥画像の検出を精度よく行うことができる効果がある。
【産業上の利用可能性】
【００７４】
本発明は、検査対象部品の形状が一定で定位置から撮影される画像について、不規則に現れる異常を容易に検出できる部品の検査方法及び検査システムに好適である。
【符号の説明】
【００７５】
１…検査装置、  ２…表示部、  ３…入力部、  ４…画像撮影装置、  １１…制御部、  １２…記憶装置、  １３…インタフェース部、  ２１…ノイズ除去手段、  ２２…欠陥画像検知手段、  ２２ａ…オートエンコーダ、  ２２ｂ…ＧＡＮ、  ２３…欠陥画像検出手段、  ２３ａ…ＬＢＰ、  １２１…画像データ記憶部、  １２２…教師データ記憶部、  １２３…検査結果データ記憶部
【図１】
2020031984.tif 000003
【図２】
2020031984.tif 000004
【図３】
2020031984.tif 000005
【図４】
2020031984.tif 000006
【図５】
2020031984.tif 000007
【図６】
2020031984.tif 000008
【手続補正書】
【提出日】令和2年12月15日(2020.12.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、
前記検査装置では、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成しておき、正常な部品の画像データを正常な部品の教師データとして入力し、出力される再構成画像データが前記入力された正常な部品の教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、検査対象として撮影された部品の画像データを前記ノイズ除去モデルに入力し、出力されるノイズが除去された画像データを前記検査モデルに入力し、再構成された画像データと前記入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、前記両者が同じ範囲と認定されない場合は異常と判定する検査方法。
【請求項２】
再構成された画像データと入力された画像データを比較する演算を、平均二乗誤差で行い、当該演算された値が特定の閾値以内の場合には同じ範囲と認定され、前記特定の閾値を超える場合には同じ範囲と認定されない請求項１記載の検査方法。
【請求項３】
正常な部品の教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも前記複数の小画像に分割して、前記分割された画像データ毎に入力し、再構成された画像データと前記入力された画像データとの比較を行う請求項１又は２記載の検査方法。
【請求項４】
モデル学習では、オートエンコーダ又はＧＡＮのＡＩモデルを用いて行う請求項１乃至３のいずれか記載の検査方法。
【請求項５】
撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、
検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定する検査方法。
【請求項６】
撮影された部品の画像データを用いて、部品の検査を行う検査システムであって、
正常な部品の画像データを正常な部品の教師データとして記憶すると共に、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして記憶する教師データ記憶部と、
検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、
前記教師データ記憶部から前記ノイズのない教師データを入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成しておき、前記教師データ記憶部から前記正常な部品の教師データを入力し、出力される再構成画像データが前記入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、前記画像データ記憶部からの検査対象として撮影された部品の画像データを当該ノイズ除去モデルに入力し、出力されるノイズが除去された画像データを前記検査モデルに入力し、再構成された画像データと前記入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、前記両者が同じ範囲と認定されない場合は異常と判定する制御部とを備える検査装置を有する検査システム。
【請求項７】
制御部は、再構成された画像データと入力された画像データを比較する演算を、平均二乗誤差で行い、当該演算された値が特定の閾値以内の場合には同じ範囲と認定され、前記特定の閾値を超える場合には同じ範囲と認定されない請求項６記載の検査システム。
【請求項８】
制御部は、正常な部品の教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも前記複数の小画像に分割して、前記分割された画像データ毎に入力し、再構成された画像データと前記入力された画像データとの比較を行う請求項６又は７記載の検査システム。
【請求項９】
モデル学習には、オートエンコーダ又はＧＡＮのＡＩモデルを用いた請求項６乃至８のいずれか記載の検査システム。
【請求項１０】
撮影された部品の画像データを用いて、部品の検査を行う検査システムであって、
検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして記憶する教師データ記憶部と、
検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、
前記教師データ記憶部からノイズのない画像データをノイズのない教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定する制御部とを備える検査装置を有する検査システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
（検査方法＋ノイズ除去）
上記従来例の問題点を解決するための本発明は、撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、検査装置では、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成しておき、正常な部品の画像データを正常な部品の教師データとして入力し、出力される再構成画像データが入力された正常な部品の教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、検査対象として撮影された部品の画像データをノイズ除去モデルに入力し、出力されるノイズが除去された画像データを検査モデルに入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定するものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
（小地域分割の検査方法）
本発明は、上記検査方法において、正常な部品の教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも複数の小画像に分割して、分割された画像データ毎に入力し、再構成された画像データと入力された画像データとの比較を行うものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
（ノイズ除去とＬＢＰの欠陥画像検出）
本発明は、撮影された部品の画像データを用いて、部品の検査を検査装置で行う検査方法であって、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定するものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
（検査システム＋ノイズ除去）
本発明は、撮影され部品の画像データを用いて、部品の検査を行う検査システムであって、正常な部品の画像データを正常な部品の教師データとして記憶すると共に、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして記憶する教師データ記憶部と、検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、教師データ記憶部からノイズのない教師データを入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成しておき、教師データ記憶部から正常な部品の教師データを入力し、出力される再構成画像データが入力された教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、画像データ記憶部からの検査対象として撮影された部品の画像データを当該ノイズ除去モデルに入力し、出力されるノイズが除去された画像データを検査モデルに入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定する制御部とを備える検査装置を有するものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
（小地域分割の検査システム）
本発明は、上記検査システムにおいて、制御部が、正常な部品の教師データを複数の小画像に分割してモデル学習を行い、検査対象として撮影された部品の画像データも複数の小画像に分割して、分割された画像データ毎に入力し、再構成された画像データと入力された画像データとの比較を行うものである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
（ノイズ除去とＬＢＰの欠陥画像検出システム）
本発明は、撮影された部品の画像データを用いて、部品の検査を行う検査システムであって、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして記憶する教師データ記憶部と、検査対象として撮影された部品の画像データを記憶する画像データ記憶部と、教師データ記憶部からノイズのない画像データをノイズのない教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成し、当該ノイズ除去モデルに検査対象として撮影された部品の画像データを入力し、出力されるノイズを除去した画像データについて、ＬＢＰの画像処理を用いて当該画像データにおけるＬＢＰ値の比較により欠陥箇所を推定する制御部とを備える検査装置を有するものである。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
本発明によれば、検査装置が、検査対象の部品の画像データについて、ノイズのない画像データをノイズのない教師データとして入力し、ノイズがある画像データを入力するとノイズのない画像データが出力されるよう機械学習によるモデル学習を行い、当該学習済モデルをノイズ除去モデルとして生成しておき、正常な部品の画像データを正常な部品の教師データとして入力し、出力される再構成画像データが入力された正常な部品の教師データと同じ範囲の内容となるよう機械学習によるモデル学習を行い、当該学習済モデルを検査モデルとして生成し、検査対象として撮影された部品の画像データをノイズ除去モデルに入力し、出力されるノイズが除去された画像データを検査モデルに入力し、再構成された画像データと入力された画像データとを比較して、両者が同じ範囲と認定される場合は正常と判定し、両者が同じ範囲と認定されない場合は異常と判定する検査方法としているので、検査モデルに入力される前の画像データからノイズを除去でき、定位置で撮影される画像データについて不規則に現れる異常を容易に検出でき、異常な画像の検出精度を向上させることができる効果がある。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【国際調査報告】
2020031984.tif 000009
2020031984.tif 000010
2020031984.tif 000011
2020031984.tif 000012