(57)【要約】【課題】識別器の識別精度を向上させて、検査対象物に欠陥が含まれているか否かをより良い精度で識別できるようにする学習用データを生成する検査装置及びデータ生成装置等を提供する。【解決手段】検査装置は、検査対象物の画像を撮像する撮像装置と、学習用データを用いて学習された識別器によって、画像に基づいて検査対象物に欠陥が含まれているか判定する判定部と、判定部による判定結果が正しいか否かに関する入力を受け付ける入力部と、判定結果の根拠となる画像の部分画像を抽出する抽出部と、判定部による判定結果が正しくないと入力された場合に、部分画像に基づいて、新たな学習用データを生成する生成部と、を備える。【選択図】図１
2019087044.tif 000002
【特許請求の範囲】
【請求項１】
検査対象物の画像を撮像する撮像装置と、
学習用データを用いて学習された識別器によって、前記画像に基づいて前記検査対象物に欠陥が含まれているか否かを判定する判定部と、
前記画像及び前記判定部による判定結果を表示する表示部と、
前記判定結果が正しいか否かに関する入力を受け付ける入力部と、
前記判定結果の根拠となる前記画像の部分画像を抽出する抽出部と、
前記入力部により、前記判定結果が正しくないと入力された場合に、前記部分画像に基づいて、新たな学習用データを生成する生成部と、
を備える検査装置。
【請求項２】
前記生成部は、前記判定部により前記画像に欠陥が含まれていると判定され、前記入力部により前記判定結果が正しくないと入力された場合に、少なくとも前記部分画像には欠陥が含まれていないことを示す情報を前記画像に関連付けて、前記新たな学習用データを生成する、
請求項１に記載の検査装置。
【請求項３】
前記生成部は、前記判定部により前記画像に欠陥が含まれていると判定され、前記入力部により前記判定結果が正しくないと入力された場合に、前記部分画像と、前記部分画像が抽出された前記画像とは異なる画像とを合成した合成画像を生成し、欠陥が含まれていないことを示す情報を前記合成画像に関連付けて、前記新たな学習用データを生成する、
請求項１又は２に記載の検査装置。
【請求項４】
前記合成画像に欠陥が含まれているか否かを前記判定部により判定させ、前記部分画像が抽出された前記画像に欠陥が含まれているか否かを前記判定部により判定させた場合と類似の判定結果が得られるか検証する検証部をさらに備える、
請求項３に記載の検査装置。
【請求項５】
前記入力部は、前記判定部が判定結果を誤った要因の入力を受け付け、
前記生成部は、前記要因に基づいて、欠陥が含まれていない検査対象物の画像を選択し、前記部分画像と、選択した画像とを合成した合成画像を生成する、
請求項３又は４に記載の検査装置。
【請求項６】
前記入力部は、前記判定部が判定結果を誤った要因の入力を受け付け、
前記表示部は、前記要因に基づいて、前記検査対象物の画像を撮像する過程に不備がないか注意を促すデータを表示する、
請求項３又は４に記載の検査装置。
【請求項７】
前記抽出部は、前記判定結果への寄与度が所定値以上である前記画像の領域を含むように、前記判定結果の根拠となる前記部分画像を抽出する、
請求項１から６のいずれか一項に記載の検査装置。
【請求項８】
前記判定部は、前記画像に複数の欠陥が含まれているか否かを判定し、
前記入力部は、前記複数の欠陥毎に、前記判定結果が正しいか否かに関する入力を受け付け、
前記抽出部は、前記複数の欠陥のうち、前記入力部により、前記判定結果が正しくないと入力された欠陥について、前記判定結果の根拠となる前記画像の部分画像を抽出し、
前記生成部は、前記部分画像に基づいて、新たな学習用データを生成する、
請求項１から７のいずれか一項に記載の検査装置。
【請求項９】
前記生成部によって前記新たな学習用データを生成する場合に、前記新たな学習用データの登録の可否を権限者に問い合わせる通信部をさらに備える、
請求項１から８のいずれか一項に記載の検査装置。
【請求項１０】
前記表示部は、前記画像と、前記画像のうち前記部分画像を強調した画像とを、表示する、
請求項１から９のいずれか一項に記載の検査装置。
【請求項１１】
前記表示部は、前記画像と、前記画像のうち前記部分画像を強調した画像を、互いに比較可能に、又は、重畳させて表示する、
請求項１０に記載の検査装置。
【請求項１２】
前記表示部は、前記画像と、前記検査対象物の識別情報を表示する、
請求項１から１１のいずれか一項に記載の検査装置。
【請求項１３】
前記表示部は、前記画像と、過去に取得された欠陥が含まれている検査対象物の画像又は過去に取得された欠陥が含まれていない検査対象物の画像を表示する、
請求項１から１２のいずれか一項に記載の検査装置。
【請求項１４】
前記表示部は、前記画像と、過去に前記判定部により欠陥が含まれていると判定された画像又は過去に前記判定部により欠陥が含まれていないと判定された画像を表示する、
請求項１から１３のいずれか一項に記載の検査装置。
【請求項１５】
検査対象物の画像を取得する取得部と、
学習用データを用いて学習された識別器によって、前記画像に基づいて前記検査対象物に欠陥が含まれているか否かを判定する判定部と、
前記判定部による判定結果が正しいか否かに関する入力を受け付ける入力部と、
前記判定結果の根拠となる前記画像の部分画像を抽出する抽出部と、
前記入力部により、前記判定結果が正しくないと入力された場合に、前記部分画像に基づいて、新たな学習用データを生成する生成部と、
を備えるデータ生成装置。
【請求項１６】
検査対象物の画像を取得することと、
学習用データを用いて学習された識別器によって、前記画像に基づいて前記検査対象物に欠陥が含まれているか否かを判定することと、
前記判定することによる判定結果が正しいか否かに関する入力を受け付けることと、
前記判定結果の根拠となる前記画像の部分画像を抽出することと、
前記入力を受け付けることにより、前記判定結果が正しくないと入力された場合に、前記部分画像に基づいて、新たな学習用データを生成することと、
を含むデータ生成方法。
【請求項１７】
データ生成装置に備えられた演算装置を、
検査対象物の画像を取得する取得部、
学習用データを用いて学習された識別器によって、前記画像に基づいて前記検査対象物に欠陥が含まれているか否かを判定する判定部、
前記判定部による判定結果が正しいか否かに関する入力を受け付ける入力部、
前記判定結果の根拠となる前記画像の部分画像を抽出する抽出部、及び
前記入力部により、前記判定結果が正しくないと入力された場合に、前記部分画像に基づいて、新たな学習用データを生成する生成部、
として動作させるデータ生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
検査装置、データ生成装置、データ生成方法及びデータ生成プログラムに関する。
【背景技術】
【０００２】
近年、ニューラルネットワーク等の識別器を用いて画像の識別を行う技術が研究されている。識別器は、画像と、その画像のラベルとを含むデータ（教師データ）を用いて学習されることがある。
【０００３】
効率的に学習用データを生成することに関して、下記特許文献１には、複数の検査対象の画像を表示するための表示部と、複数の検査対象の画像を分類する入力を受け付ける入力部と、予め準備された検査対象の画像が示す検査対象の大きさ等に基づいて表示部に表示させる検査対象の順序を決定する処理と、決定された順序に従って複数の検査対象の画像を表示部に配列表示させる処理を行う処理部と、を備える分類支援装置が記載されている。
【０００４】
また、識別器の学習を行うことに関して、下記特許文献２には、認識対象データに対して認識処理を行う認識処理部と、認識対象データのうちの一部を抽出し、抽出された認識対象データを含む再学習データを作成する学習制御部と、再学習データを含む学習対象データを用いて、認識処理部の処理パラメータを学習する学習処理部と、を有する学習装置が記載されている。より具体的には、学習制御部は、学習処理部により学習に用いられた認識対象データに含まれる情報のうち、学習において処理パラメータへの寄与が大きい一部分を抽出し、抽出した認識対象データに認識結果を付加した再学習データを作成する。また、学習処理部は、再学習データに含まれる学習対象データに対する認識処理部の認識結果が、当該学習対象データに付加された認識結果と一致するように、認識処理部の処理パラメータを学習する、学習装置が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３１７０８２号公報
【特許文献２】特開２０１６−１４３３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
学習用データを用いて生成された識別器によって検査対象物に含まれる欠陥の識別を行う場合、その識別精度は、学習に用いる学習用データの内容に依存する。例えば検査対象物に欠陥が含まれているか否かを画像に基づいて識別する場合、欠陥が撮像されていない画像と、欠陥が撮像されている画像とをそれぞれ十分な枚数及び十分な種類用意して学習用データとしなければ、高い識別精度を有する識別器を生成することは難しい。
【０００７】
しかしながら、識別器により識別が容易である画像や識別が困難である画像は、人により識別が容易である画像や識別が困難である画像と一致しない場合があり、識別器の識別精度を向上させるためにどのような画像を学習用データに追加すればよいのかは、必ずしも明らかでない。そのため、識別器の識別精度を向上させて、検査対象物に欠陥が含まれているか否かをより良い精度で識別できるようにするための学習用データの追加やバリエーションの増大を行う方法が求められている。
【０００８】
そこで、本発明は、識別器の識別精度を向上させて、検査対象物に欠陥が含まれているか否かをより良い精度で識別できるようにする学習用データを生成する検査装置、データ生成装置、データ生成方法及びデータ生成プログラムを提供する。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る検査装置は、検査対象物の画像を撮像する撮像装置と、学習用データを用いて学習された識別器によって、画像に基づいて検査対象物に欠陥が含まれているか否かを判定する判定部と、画像及び判定部による判定結果を表示する表示部と、判定結果が正しいか否かに関する入力を受け付ける入力部と、判定結果の根拠となる画像の部分画像を抽出する抽出部と、入力部により、判定結果が正しくないと入力された場合に、部分画像に基づいて、新たな学習用データを生成する生成部と、を備える。ここで、学習用データは、識別器に入力される画像と、少なくとも当該画像に写された検査対象物に欠陥が含まれているか否かに関する情報であって、識別器の出力と比較可能なデータと、を含む。また、判定結果の根拠となる画像の部分画像は、識別器による判定に比較的大きな影響を及ぼした画像の部分を含む。
【００１０】
この態様によれば、判定部による判定結果を確認して、判定結果が正しくない場合に、判定結果の根拠となる部分画像に基づいて、新たな学習用データを生成することで、どのような理由で誤った判定がされたのかが必ずしも明らかでない場合であっても、欠陥が含まれていると誤判定された検査対象物の画像と類似の画像を生成し、誤判定を減らすような学習用データを生成することができ、識別器の識別精度を向上させて、検査対象物に欠陥が含まれているか否かをより良い精度で識別できるようにする学習用データを生成することができる。
【００１１】
上記態様において、生成部は、判定部により画像に欠陥が含まれていると判定され、入力部により判定結果が正しくないと入力された場合に、少なくとも部分画像には欠陥が含まれていないことを示す情報を画像に関連付けて、新たな学習用データを生成してもよい。
【００１２】
この態様によれば、実際には欠陥が含まれていない画像について判定部により欠陥が含まれていると判定された場合に、判定部により欠陥が含まれていると判定された判定結果の根拠となる部分画像について、欠陥が含まれていないことを示した学習用データが生成され、実際には欠陥が含まれていないのに欠陥が含まれていると判定してしまう誤判定を減らすような学習用データが生成される。
【００１３】
上記態様において、生成部は、判定部により画像に欠陥が含まれていると判定され、入力部により判定結果が正しくないと入力された場合に、部分画像と、部分画像が抽出された画像とは異なる画像とを合成した合成画像を生成し、欠陥が含まれていないことを示す情報を合成画像に関連付けて、新たな学習用データを生成してもよい。
【００１４】
この態様によれば、実際には欠陥が含まれていない画像について判定部により欠陥が含まれていると判定された場合に、判定部により欠陥が含まれていると判定された判定結果の根拠となる部分画像を、部分画像が抽出された画像とは異なる画像と合成して合成画像を生成することで、実際には欠陥が含まれていないのに判定部により欠陥が含まれていると誤判定されてしまう画像のバリエーションを増やすことができ、欠陥が含まれていると誤判定された画像と類似の画像を生成して、誤判定を減らすような学習用データを生成することができる。これにより、誤判定された一枚の画像から、誤判定され得る多様な合成画像を生成して、識別器の識別精度を向上させ、検査対象物に欠陥が含まれているか否かをより良い精度で識別できるようにする学習用データを生成することができる。
【００１５】
上記態様において、合成画像に欠陥が含まれているか否かを判定部により判定させ、部分画像が抽出された画像に欠陥が含まれているか否かを判定部により判定させた場合と類似の判定結果が得られるか検証する検証部をさらに備えてもよい。
【００１６】
この態様によれば、実際には欠陥が含まれていないのに判定部により欠陥が含まれていると誤判定されてしまう元画像と、類似の判定結果が得られる合成画像が生成されているか検証することができ、生成した合成画像が誤判定を減らすために有用であることを確かめることができる。ここで、類似の判定結果とは、例えば、合成画像に欠陥が含まれているか否かを判定部により判定させると、部分画像が抽出された画像（すなわち、検査対象物の計測画像）と同様に、誤って欠陥が含まれていると判定される判定結果である。すなわち、類似の判定結果とは、同様の判定結果であったり、対応する判定結果といった意味を含む。
【００１７】
上記態様において、入力部は、判定部が判定結果を誤った要因の入力を受け付け、生成部は、要因に基づいて、欠陥が含まれていない検査対象物の画像を選択し、部分画像と、選択した画像とを合成した合成画像を生成してもよい。
【００１８】
この態様によれば、判定部が判定を誤った要因を推定できる場合に、同じ要因に基づいて同様の誤判定が起こるような合成画像を生成することができ、欠陥が含まれていると誤判定された画像と類似の画像を生成して、誤判定を減らすような学習用データを生成することができる。ここで、判定部が判定を誤った要因とは、実際には欠陥が含まれていないのに判定部により欠陥が含まれていると誤判定されてしまう要因であり、例えば、検査対象物の外観表面の特徴に起因して判定部が判定を誤った場合には、外観表面の特徴が要因として挙げられる。より具体的には、例えば、背景模様がヘアラインのような所定の模様であり、この模様により、判定部が判定を誤った場合である。このような場合に、撮像した画像の内容としての背景模様の種別や、検査対象物の材質等を、判定部が判定を誤った要因の入力として受け付けてよい。この要因に基づいて部分画像に対して合成する画像を選択することができ、誤判定を減らすような学習用データを生成することができる。
【００１９】
上記態様において、入力部は、判定部が判定結果を誤った要因の入力を受け付け、表示部は、要因に基づいて、検査対象物の画像を撮像する過程に不備がないか注意を促すデータを表示してもよい。
【００２０】
この態様によれば、判定部が判定を誤った要因が画像の撮像過程にあると推定される場合に、撮像過程に不備がないか注意を促すことができ、判定部による誤判定を減らすことができる。ここで、判定部の誤判定を誘発する画像の撮像過程の要因とは、例えば、検査対象物の画像を撮像するときの撮像条件に関する要因が挙げられる。このような要因としては、例えば、撮像条件として、検査対象物を撮像するときの検査対象物の固定位置にずれが生じ、本来撮像対象ではなかった画像部分が撮像装置による撮像範囲に混入することで、その画像部分が誤判定の要因となる場合である。また、このような要因としては、例えば、撮像条件として、検査対象物を撮像するときの照明条件のパラメータに不備があり、誤った照明条件で撮像された画像を用いて識別器が判定を行うことで、誤判定が生じるような場合である。このような場合に、画像の撮像過程である撮像条件に関する不備を指摘することで、判定部による誤判定を減らすことができる。
【００２１】
上記態様において、抽出部は、判定結果への寄与度が所定値以上である画像の領域を含むように、判定結果の根拠となる部分画像を抽出してよい。
【００２２】
この態様によれば、判定部により誤った判定がされた根拠となる部分画像が抽出され、識別器が識別を苦手とする特徴を含んだ部分画像に基づいて新たな学習用データを生成することができ、識別器の識別精度をより向上させるような学習用データを生成することができる。
【００２３】
上記態様において、判定部は、画像に複数の欠陥が含まれているか否かを判定し、入力部は、複数の欠陥毎に、判定結果が正しいか否かに関する入力を受け付け、抽出部は、複数の欠陥のうち、入力部により、判定結果が正しくないと入力された欠陥について、判定結果の根拠となる画像の部分画像を抽出し、生成部は、部分画像に基づいて、新たな学習用データを生成してもよい。
【００２４】
この態様によれば、実際には欠陥が含まれていない画像について判定部により複数の欠陥が含まれていると判定された場合に、判定結果の根拠となる部分画像に基づいて、新たな学習用データを生成することで、どのような理由で画像に欠陥が含まれていると判定したのかが必ずしも明らかでない場合であっても、誤判定された画像と類似の画像を生成し、誤判定を減らすような学習用データを生成することができる。
【００２５】
上記態様において、生成部によって新たな学習用データを生成する場合に、新たな学習用データの登録の可否を権限者に問い合わせる通信部をさらに備えてもよい。
【００２６】
この態様によれば、新たな学習用データを生成する場合に、新たな学習用データの登録の可否を権限者に問い合わせることで、新たな学習用データが安易に登録されることが防止され、より適切な内容の学習用データを蓄積することができる。
【００２７】
上記態様において、表示部は、画像と、画像のうち部分画像を強調した画像とを、表示してもよい。
【００２８】
この態様によれば、判定部によって画像のどの箇所に基づいて画像に欠陥が含まれていると判定されたのかを視覚的に認識させることができ、部分画像を強調した画像と元の画像とを比較することで、実際に欠陥が含まれている画像について判定部により欠陥が含まれていると正しく判定されたのか、実際には欠陥が含まれていない画像について判定部により欠陥が含まれていると誤判定されたのかを容易に確認することができる。
【００２９】
上記態様において、表示部は、画像と、画像のうち部分画像を強調した画像とを、互いに比較可能に、又は、重畳させて表示してもよい。
【００３０】
この態様によれば、部分画像を強調した画像と元の画像を、互いに比較可能に、又は、重畳させて表示することで、判定部による判定結果の根拠となる画像の箇所を元の画像と正確に対比することができ、実際に欠陥が含まれている画像について判定部により欠陥が含まれていると正しく判定されたのか、実際には欠陥が含まれていない画像について判定部により欠陥が含まれていると誤判定されたのかを容易に確認することができる。
【００３１】
上記態様において、表示部は、画像と、検査対象物の識別情報を表示してもよい。
【００３２】
この態様によれば、検査対象物の識別情報が表示されることで、検査対象物そのものを入手することができ、検査対象物に関する欠陥の有無を目視で確認したり、サンプルとして確保したりすることができる。
【００３３】
上記態様において、表示部は、画像と、過去に取得された欠陥が含まれている検査対象物の画像又は過去に取得された欠陥が含まれていない検査対象物の画像を表示してもよい。
【００３４】
この態様によれば、欠陥が含まれている画像の過去の事例や、欠陥が含まれていない画像の過去の事例と現在の画像を比較することができ、判定部による判定結果が正しいか否かを判断するための判断材料を提供することができる。
【００３５】
上記態様において、表示部は、画像と、過去に判定部により欠陥が含まれていると判定された画像又は過去に判定部により欠陥が含まれていないと判定された画像を表示してもよい。
【００３６】
この態様によれば、判定部により欠陥が含まれていると判定された画像の過去の事例や、判定部により欠陥が含まれていないと判定された画像の過去の事例と現在の画像を比較することができ、判定部による判定結果が正しいか否かを判断するための判断材料を提供することができる。
【００３７】
本開示の他の態様に係るデータ生成装置は、検査対象物の画像を取得する取得部と、学習用データを用いて学習された識別器によって、画像に基づいて検査対象物に欠陥が含まれているか否かを判定する判定部と、判定部による判定結果が正しいか否かに関する入力を受け付ける入力部と、判定結果の根拠となる画像の部分画像を抽出する抽出部と、入力部により、判定結果が正しくないと入力された場合に、部分画像に基づいて、新たな学習用データを生成する生成部と、を備える。
【００３８】
この態様によれば、判定部による判定結果を確認して、判定結果が正しくない場合に、実際には欠陥が含まれていない画像について判定部により欠陥が含まれていると判定された場合に、判定結果の根拠となる部分画像に基づいて、新たな学習用データを生成することで、どのような理由で画像に欠陥が含まれていると誤った判定がされたのかが必ずしも明らかでない場合であっても、欠陥が含まれていると誤判定された検査対象物の画像と類似の画像を生成し、誤判定を減らすような学習用データを生成することができ、識別器の識別精度を向上させて、検査対象物に欠陥が含まれているか否かをより良い精度で識別できるようにする学習用データを生成することができる。
【００３９】
本開示の他の態様に係るデータ生成方法は、検査対象物の画像を取得することと、学習用データを用いて学習された識別器によって、画像に基づいて前記検査対象物に欠陥が含まれているか否かを判定することと、判定することによる判定結果が正しいか否かに関する入力を受け付けることと、判定結果の根拠となる画像の部分画像を抽出することと、入力を受け付けることにより、判定結果が正しくないと入力された場合に、部分画像に基づいて、新たな学習用データを生成することと、を含む。
【００４０】
この態様によれば、判定部による判定結果を確認して、判定結果が正しくない場合に、判定結果の根拠となる部分画像に基づいて、新たな学習用データを生成することで、どのような理由で誤った判定がされたのかが必ずしも明らかでない場合であっても、欠陥が含まれていると誤判定された検査対象物の画像と類似の画像を生成し、誤判定を減らすような学習用データを生成することができ、識別器の識別精度を向上させて、検査対象物に欠陥が含まれているか否かをより良い精度で識別できるようにする学習用データを生成することができる。
【００４１】
本開示の他の態様に係るデータ生成プログラムは、データ生成装置に備えられた演算装置を、検査対象物の画像を取得する取得部、学習用データを用いて学習された識別器によって、画像に基づいて前記検査対象物に欠陥が含まれているか否かを判定する判定部、判定部による判定結果が正しいか否かに関する入力を受け付ける入力部、判定結果の根拠となる画像の部分画像を抽出する抽出部、及び入力部により、判定結果が正しくないと入力された場合に、部分画像に基づいて、新たな学習用データを生成する生成部、として動作させる。
【００４２】
この態様によれば、判定部による判定結果を確認して、判定結果が正しくない場合に、判定結果の根拠となる部分画像に基づいて、新たな学習用データを生成することで、どのような理由で誤った判定がされたのかが必ずしも明らかでない場合であっても、欠陥が含まれていると誤判定された検査対象物の画像と類似の画像を生成し、誤判定を減らすような学習用データを生成することができ、識別器の識別精度を向上させて、検査対象物に欠陥が含まれているか否かをより良い精度で識別できるようにする学習用データを生成することができる。
【発明の効果】
【００４３】
識別器の識別精度を向上させて、検査対象物に欠陥が含まれているか否かをより良い精度で識別できるようにする学習用データを生成する検査装置、データ生成装置、データ生成方法及びデータ生成プログラムを提供する。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施形態に係る検査装置の機能ブロック図である。
【図２】本実施形態に係る検査装置の第１学習部及び第２学習部における処理の内容を示す概念図である。
【図３】本実施形態に係る検査装置の計測部における処理の内容を示す概念図である。
【図４】本実施形態に係る検査装置のハードウェア構成を示すブロック図である。
【図５】本実施形態に係る検査装置により実行される第１処理の内容を示すフローチャートである。
【図６】本実施形態に係る検査装置により表示される検査対象物の画像と、部分画像を強調した画像の例を示す図である。
【図７】本実施形態に係る検査装置により生成される合成画像の例を示す図である。
【図８】本実施形態に係る検査装置により実行される第２処理の内容を示すフローチャートである。
【図９】本実施形態の第１変形例に係る検査装置により実行される第３処理の内容を示すフローチャートである。
【図１０】本実施形態の第１変形例に係る検査装置により、検査対象物の画像と、部分画像を強調した画像とを重畳させて表示する例を示す図である。
【図１１】本実施形態の第２変形例に係る検査装置により実行される第４処理の内容を示すフローチャートである。
【発明を実施するための形態】
【００４５】
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００４６】
§１  適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る検査装置１００の適用場面の一例を模式的に例示した機能ブロック図である。本実施形態に係る検査装置１００は、撮像装置１５３によって撮像された検査対象物の画像に欠陥が含まれているか否かを、第１学習部１３０や第２学習部１４０によって学習された識別器（ａ、ｂ、ｃ、Ａ、Ｂ、…）によって判定し、識別器の判定に誤り（誤判定）があった場合、特に、実際には欠陥が含まれていない画像について欠陥が含まれていると判定された場合に、誤判定を減らすような新たな学習用データを生成する装置である。本実施形態に係る検査装置１００は、識別器の学習用データを生成するデータ生成装置を含む。
【００４７】
図１に示すように、検査装置１００は、検査対象物の画像を取得する撮像装置１５３と、学習用データを用いて学習された識別器（ａ、ｂ、ｃ、Ａ、Ｂ、…）であって、画像データを入力とする識別器を有し、画像に基づいて、検査対象物に欠陥が含まれているか否かを判定し、検査対象物に含まれる欠陥の有無に関する情報を含む判定結果を出力する判定部１５２と、判定部１５２による判定結果が正しいか否かに関する入力を受け付けるユーザインタフェース１７０と、判定部１５２による判定結果の根拠となる画像の部分画像を抽出する抽出部１２３と、ユーザインタフェース１７０により、判定部１５２による判定結果が正しくないと入力された場合に、部分画像に基づいて、新たな学習用データを生成する生成部１２１と、を備える。ここで、撮像装置１５３は、本発明の「取得部」の一例である。また、ユーザインタフェース１７０は、本発明の「入力部」の一例である。本明細書では、撮像装置１５３により新たに撮像される検査対象物の画像を「計測画像」と呼び、識別器（ａ、ｂ、ｃ、Ａ、Ｂ、…）を学習するため予め収集される検査対象物の画像を「サンプル画像」と呼ぶ。なお、検査装置１００は、必ずしも撮像装置１５３を備えていなくてもよく、別体で設けられた撮像装置から計測画像を取得するものであってもよい。
【００４８】
判定部１５２は、例えばコンボリューショナルニューラルネットワーク（Convolutional Neural Network、以下、「ＣＮＮ」と称す。）等のニューラルネットワークを用いた識別器によって、計測画像に基づいて、検査対象物に欠陥が含まれているか否かを判定し、検査対象物に含まれる欠陥の有無に関する情報を含む判定結果を出力する。判定部１５２による判定結果は、計測画像と共に第２作業者のユーザインタフェース１７０に表示される。第２作業者は、計測画像と判定結果を確認して、ユーザインタフェース１７０によって、判定部１５２による判定結果が正しいか否かに関する入力を行う。ここで、判定部１５２による判定結果が正しくないと入力された場合、生成部１２１は、計測画像のうち判定結果の根拠となる部分画像に基づいて、新たな学習用データを生成する。生成された新たな学習用データは、修正画像ＤＢ１２２に記憶され、第１学習部１３０や第２学習部１４０によって識別器（ａ、ｂ、ｃ、Ａ、Ｂ、…）を学習するために用いられる。なお、判定結果の根拠となる画像の部分画像は、識別器による判定に相対的に大きな影響を及ぼした画像の部分を含み、例えば、識別器がＣＮＮにより構成されている場合には、当該識別器の判定結果への寄与度が所定値以上である画像の領域を含むように抽出することができる。例えば、判定結果の根拠となる画像の部分画像は、識別器がＣＮＮにより構成されている場合には、その識別器の判定結果と対応する層のフィーチャマップの値が、所定の閾値以上となる画像の領域を含んでよい。抽出部１２３により、判定部１５２による判定結果への寄与度が所定値以上である画像の領域を含むように、判定結果の根拠となる部分画像を抽出することで、判定部１５２により誤った判定がされた根拠となる部分画像が抽出され、識別器が識別を苦手とする特徴を含んだ部分画像に基づいて新たな学習用データを生成することができ、識別器の識別精度をより向上させるような学習用データを生成することができる。
【００４９】
これにより、判定部１５２による判定結果を確認して、判定結果が正しくない場合に、その判定結果が正しくないと入力され、判定結果の根拠となる部分画像に基づいて、新たな学習用データを生成することで、どのような理由で誤った判定がされたのかが必ずしも明らかでない場合であっても、欠陥が含まれていると誤判定された検査対象物の計測画像と類似の画像を生成し、誤判定を減らすような学習用データを生成することができ、識別器の識別精度を向上させて、検査対象物に欠陥が含まれているか否かをより良い精度で識別できるようにする学習用データを生成することができる。そのため、識別器による誤判定の要因を解析するために演算量を費やす必要が無くなり、少ない演算量でより判定精度の高い識別器を生成することができるようになる。また、欠陥が含まれていると誤判定されるような画像のバリエーションを増やすことができるため、誤判定された画像のみを学習用データとして用いるよりも、識別器の学習処理において過学習が発生することを抑制することができる。
【００５０】
§２  構成例
［機能構成］
次に、図１を用いて、本実施形態に係る検査装置１００の機能構成の一例を説明する。検査装置１００は、学習用データを用いて、検査対象物の欠陥の有無と、検査対象物に欠陥が含まれる場合には、その欠陥の位置と、その欠陥の種類と、を含む属性情報（ラベル）を出力する識別器を生成する機能を備える。ここで、検査対象物に複数の欠陥が含まれる場合には、属性情報は、欠陥の有無と、複数の欠陥の位置と、それらの欠陥の種類と、を含んでよい。また、検査装置１００は、検査対象物を測定した計測画像を取得し、生成された識別器を用いて、検査対象物の属性情報を出力する機能を備える。したがって、検査装置１００は、検査対象物の計測画像を取得し、計測画像に基づいて検査対象物の欠陥の有無に関する情報を含む計測結果を出力する検査装置又は検査システムとして機能する。
【００５１】
図１に示すように、検査装置１００は、学習用データを生成及び格納する画像収集部１１０と、識別器により出力された属性情報の正誤に関する情報に基づいて、計測した画像（計測画像）の修正を行う画像修正部１２０と、画像収集部１１０及び画像修正部１２０の少なくともいずれかにより生成された学習用データを用い、検査対象物の欠陥の有無と、検査対象物に欠陥が含まれる場合には、その欠陥の位置と、その欠陥の種類と、を含む属性情報を出力する識別器を生成する、第１学習部１３０及び第２学習部１４０と、検査対象物を計測した計測画像を取得し、第１学習部１３０及び第２学習部１４０の少なくともいずれかにより生成された識別器を用いて、検査対象物の属性情報を出力する計測部１５０と、計測画像とその属性情報とを関連付けて、計測結果として記憶する計測結果管理部１６０と、を備える。ここで、計測結果は、計測画像と、識別器により出力された検査対象物の属性情報と、判定部１５２による判定結果とを含む。なお、学習用データとは、単一の学習用データのみならず、複数の学習用データを有するデータセットであってよい。  
【００５２】
ここで、欠陥とは、検査対象物が有する異常であって、例えば、キズ、色等のムラ、汚れ、欠け、バリ、異物、印字のかすれ、印字等の位置ずれ等を含む。
【００５３】
また、属性情報とは、各画像に含まれる欠陥の有無に関する情報、画像に欠陥が含まれる場合には、当該欠陥の位置を示す情報及び当該欠陥の種類を示す情報を少なくとも含むものである。なお、属性情報は、欠陥の有無、欠陥の位置に関する情報及び欠陥の種類に関する情報に限られず、例えば、識別器により出力される欠陥の有無、欠陥の位置に関する情報及び欠陥の種類に関する情報の信頼度に関する情報を含んでいてもよい。
【００５４】
検査装置１００は、ソフトウェアプログラム及び当該ソフトウェアプログラムの実行に用いられるデータを記憶する記憶部（例えば、図４に示す補助記憶部１０２、１０３）と、ソフトウェアプログラムを呼び出し、実行する演算部（例えば、図４に示すプロセッサ１０４）と、を有する１又は複数の情報処理装置により構成される。すなわち、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０の各機能ブロックのそれぞれは、補助記憶部１０２、１０３等の記憶部に記憶された所定のソフトウェアプログラムがプロセッサ１０４等のハードウェアプロセッサによって実行されることで実現される。すなわち、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０の各機能のそれぞれは、ソフトウェアプログラムがハードウェアプロセッサによって実行されることにより実現される所定の処理を示す。また、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０のそれぞれは、単独で、又は、複数が組み合わされて、情報処理装置として構成される。なお、検査装置１００を、単一の情報処理装置により構成してもよい。本実施形態における情報処理装置のハードウェア構成については後述する。
【００５５】
＜画像収集部の構成＞
画像収集部１１０は、学習用データを生成するためのサンプル画像を取得する。サンプル画像は、検査対象物を撮像した画像でもよく、また、公知の画像合成技術により生成されたＣＧ画像であってもよい。画像収集部１１０が取得したサンプル画像は、属性付与部１１１にて、各画像に対して、又は、複数の画像に対して、属性情報の付与が行われる。すなわち、属性付与部１１１は、サンプル画像に対して属性情報を付与することで、サンプル画像を学習用データにする。
【００５６】
本実施形態において、属性情報の付与（ラベル付け）は、任意のユーザインタフェース１８０を介して、第１作業者により行われる。例えば、サンプル画像に欠陥が含まれる場合には、第１作業者は、ユーザインタフェース１８０としての、表示装置（液晶表示装置等）及び入力装置（タッチパネル、キーボード、マウス等）とを用いて、所定の形状の枠により当該欠陥を囲うことで、欠陥の有無及び欠陥の位置を含む属性情報を付与することができる。また、ユーザインタフェース１８０を用いて、当該欠陥の種類を含む属性情報をサンプル画像に付与することもできる。なお、属性情報の付与の方法は、特に限定されない。例えば、画像と、その画像に付与すべき属性情報との関係性を学習済みの識別器を用いて、画像に対して属性情報を自動的に付与するようにしてもよいし、公知の統計的手法により、複数の画像をクラスタリングして、クラスタに対して属性情報の付与を行うこととしてもよい。
【００５７】
属性付与部１１１において属性情報が付与された画像（学習用データ）は、画像データベース（以下、「画像ＤＢ」と称す。）１１２に格納され、記憶される。
【００５８】
画像収集部１１０は、例えば、取得するサンプル画像の多少や、画像ＤＢ１１２に格納されている学習用データの多少に応じて、学習用データの拡張を行う画像補正部１１３を備えている。画像補正部１１３は、ユーザインタフェース１８０を介して行われる第１作業者の補正操作に基づいて、サンプル画像の拡張を行ってよい。なお、画像補正部１１３は、画像収集部１１０に必ずしも必須の要素ではない。また、学習用データの拡張とは、学習に用いるデータセットを増やすオーグメンテーションのことをいう。
【００５９】
学習用データの拡張（オーグメンテーション）は、例えば、サンプル画像を平行移動させたり、回転させたり、色を変えたり、拡大させたり、縮小させたりすることで行ってよい。なお、画像補正部１１３は、画像収集部１１０に必須の構成要素ではなく、検査装置１００を用いて実現する画像計測処理に必要な学習用データの必要量に応じて、適宜設けてよい。また、上記オーグメンテーションは、任意のユーザインタフェース１８０を介して、作業者自らが、部分画像の抽出、背景画像との合成等の各処理の指示を行うことで実現されてもよい。画像補正部１１３により拡張された学習用データは、画像ＤＢ１１２に格納され、記憶される。
【００６０】
ここで、背景画像は、部分画像に合成される画像であって、部分画像が抽出された計測画像とは異なる画像を含む。なお、背景画像は、計測画像であってもよいが、計測画像を背景画像として用いる場合には、計測画像から抽出された部分画像以外の領域に部分画像が合成されるように、合成箇所を制限して用いることができる。また、背景画像は、計測画像以外の画像に基づいて生成されてよく、計測画像の欠陥以外の領域の画像と同一の模様を有していてもよいし、有していなくてもよい。また、背景画像は一様な背景模様の画像の場合もあれば、ヘアラインのような背景模様を有する画像であったり、文字等が印字されている画像であったりしてよく、多種多様な画像であってよい。
【００６１】
画像ＤＢ１１２は、属性付与部１１１及び画像補正部１１３から、学習用データを取得する。画像ＤＢ１１２は、学習用データを、付与された属性情報に基づいて分類した状態で記憶してよい。また、画像ＤＢ１１２は、画像収集部１１０が取得したサンプル画像にすでに属性情報が付与されている場合には、当該サンプル画像を、属性付与部１１１及び画像補正部１１３を介さずに取得して、記憶してよい。なお、画像ＤＢ１１２は、学習用データを、後述する識別器を生成するための学習処理に使用する学習処理用の学習用データと、生成された識別器が、所望の属性情報を出力するか否かを評価するための評価処理用のテスト用データと、に区別して記憶してもよい。もっとも、学習用データとテスト用データを区別せずに画像ＤＢ１１２に記憶しておき、学習処理を行う際に、画像ＤＢ１１２に記憶されたデータセットを任意の手法で学習用とテスト用等に分けることとしてもよい。
【００６２】
＜第１学習部の構成＞
図２は、本実施形態に係る検査装置の第１学習部１３０及び第２学習部１４０における処理の内容を示す概念図である。第１学習部１３０は、画像収集部１１０から、学習用データを取得する。なお、第１学習部１３０は、後述する画像修正部１２０から、学習用データを取得してもよい。第１学習部１３０は、取得した学習用データを用いた機械学習を実行し、識別器（ａ、ｂ、ｃ、・・・）を生成する第１学習処理部１３１を有する。識別器（ａ、ｂ、ｃ、・・・）は、画像データを入力とし、当該画像に含まれる欠陥の有無と、１又は複数の欠陥が含まれる場合にはその位置及びその種類と、を含む属性情報を出力するものである。なお、識別器（ａ、ｂ、ｃ、・・・）には、画像データ以外のデータが入力されてもよい。例えば、識別器（ａ、ｂ、ｃ、・・・）には、検査対象物の画像を撮像した条件（光量や撮像装置の露光時間等）が入力されたり、検査対象物の識別情報が入力されたりしてもよい。
【００６３】
識別器（ａ、ｂ、ｃ、・・・）は、任意の機械学習モデルに対して学習処理と評価処理とを行うことにより生成される。機械学習モデルは、所定のモデル構造と、学習処理によって変動する処理パラメータと、を有し、学習用データから得られる経験に基づいてその処理パラメータが最適化されることで、識別精度が向上するモデルである。すなわち、機械学習モデルは、学習処理によって、最適な処理パラメータを学習するモデルである。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク等を用いることができるが、その種類は特に限定されない。本実施形態では、ニューラルネットワークであって、特に階層が３層以上であるディープニューラルネットワーク（以下、「ＤＮＮ」と称する。）のうち、画像認識に適したＣＮＮを用いた例について説明する。なお、第１学習部１３０は、機械学習モデルを生成するためのモデル生成部（図示せず）を備えていてもよい。また、第１学習部１３０は、予め生成された機械学習モデルを、外部から取得してもよい。
【００６４】
第１学習処理部１３１は、学習用データを用いて、画像のデータを入力すると、属性情報で表現される計測画像の属性に対応する出力値を出力するように、機械学習モデルを学習させる学習処理を行う。第１学習処理部１３１は、さらに、学習処理によって生成された識別器（ａ、ｂ、ｃ、・・・）に対し、テスト用データを用いて、識別器（ａ、ｂ、ｃ、・・・）の出力と、テスト用データに対して付与された属性情報とを比較する評価処理を行う。識別器（ａ、ｂ、ｃ、・・・）の出力と、テスト用データに付与された属性情報とが一致している場合には、識別器（ａ、ｂ、ｃ、・・・）の生成条件を満たしたと判断し、識別器（ａ、ｂ、ｃ、・・・）の生成処理を完了させる。
【００６５】
第１学習部１３０は、生成した識別器（ａ、ｂ、ｃ、・・・）のモデル構造及び処理パラメータを含む情報を、学習結果データとして、後述する計測部１５０及び第２学習部１４０に出力する。
【００６６】
＜第２学習部の構成＞
引き続き、図２を用いて、第２学習部１４０における処理の内容を説明する。第２学習部１４０は、所定の生成処理によって生成された識別器に対する追加学習（再学習）を行う。なお、第２学習部１４０について、第１学習部１３０と共通する要素については、その記載を省略する。
【００６７】
第２学習部１４０は、第１学習部１３０で生成された学習済みの識別器（ａ、ｂ、ｃ、・・・）の学習結果データを取得する。なお、第２学習部１４０は、所定の生成処理によって生成された識別器に関する学習結果データを、外部から取得してもよい。第２学習部１４０は、画像収集部１１０から、学習用データを取得する。なお、第２学習部１４０は、後述する画像修正部１２０から、学習用データを取得してもよい。
【００６８】
第２学習部１４０は、学習用データを用いた機械学習による追加学習（再学習）を実行し、識別器（Ａ、Ｂ、Ｃ、・・・）を生成する第２学習処理部１４１を有する。識別器（Ａ、Ｂ、Ｃ、・・・）は、所定の学習処理により生成された識別器（ａ、ｂ、ｃ、・・・）に対して学習処理と評価処理とを行うことにより生成される。換言すれば、第２学習処理部１４１は、学習用データを用いて、識別器（ａ、ｂ、ｃ、・・・）のモデル構造及び処理パラメータを含む学習結果データに対する学習処理と評価処理とを実行することで、識別器（Ａ、Ｂ、Ｃ、・・・）を生成する。識別器（Ａ、Ｂ、Ｃ、・・・）は、画像データを入力とし、当該画像に含まれる欠陥の有無と、１又は複数の欠陥が含まれる場合には、その位置及びその種類と、を含む属性情報を出力するものである。
【００６９】
第２学習処理部１４１は、学習用データを用いて、画像のデータを入力すると、属性情報で表現される計測画像の属性に対応する出力値を出力するように、識別器（ａ、ｂ、ｃ、・・・）の学習結果データによって表現される機械学習モデルを学習させる学習処理（追加学習の学習処理）を行う。ここで、第２学習処理部１４１が行う追加学習の学習処理は、後述する画像修正部１２０から取得した学習用データを用いて行われてよい。これにより、検査対象物を撮像した画像に基づいて新たに生成された学習用データを用いることができ、識別器の識別精度を向上させることができるからである。
【００７０】
第２学習処理部１４１は、さらに、学習処理によって生成された識別器（Ａ、Ｂ、Ｃ、・・・）に対し、テスト用データを用いて、識別器（Ａ、Ｂ、Ｃ、・・・）の出力と、テスト用データに対して付与された属性情報とを比較する評価処理を行う。識別器（Ａ、Ｂ、Ｃ、・・・）の出力と、テスト用データに付与された属性情報とが一致している場合には、識別器（Ａ、Ｂ、Ｃ、・・・）の生成条件を満たしたと判断し、識別器（Ａ、Ｂ、Ｃ、・・・）の生成処理を完了させる。ここで、第２学習処理部１４１が行う評価処理は、後述する画像修正部１２０から取得したテスト用データを用いて行われてよい。これにより、検査対象物を撮像した画像に基づいて新たに生成された学習用データを用いて評価を行うことができ、識別器の認識精度を向上させることができるからである。
【００７１】
第２学習部１４０は、生成した識別器（Ａ、Ｂ、Ｃ、・・・）のモデル構造及び処理パラメータを含む情報を、学習結果データとして、後述する計測部１５０に出力する。
【００７２】
なお、第１学習部１３０と第２学習部１４０とを一体に構成し、第１学習処理部１３１が、追加学習の学習処理と評価処理とを実行するようにしてもよい。
【００７３】
＜計測部の構成＞
図３は、本実施形態に係る検査装置１００の計測部１５０における処理の内容を示す概念図である。計測部１５０は、学習用データを用いた学習処理及び評価処理によって生成された識別器を用いて、撮像装置１５３により撮像された検査対象物の計測画像の属性情報を出力させ、判定部１５２により検査対象物に欠陥が含まれているか否かを判定して、計測画像、属性情報及び判定結果を含む計測結果を出力する。属性情報は、欠陥の有無、１又は複数の欠陥が含まれる場合にはその欠陥の位置及び種類、を含む。
【００７４】
計測部１５０は、第１学習部１３０及び第２学習部１４０から、識別器のモデル構造及び処理パラメータを含む情報を、学習結果データとして取得する。計測部１５０は、取得した学習結果データを格納する学習結果ＤＢ１５１を有する。また、計測部１５０は、検査対象物を撮像する撮像装置１５３を有する。撮像装置１５３は、例えば、工場の製造ラインを撮像するように設置され、製造ラインの一部を構成する。撮像装置１５３は、製造ラインを流れる検査対象物としての部品及び製品（以下、部品と製品とを合わせて「ワーク」と称することがある。）の画像を計測画像として撮像する。
【００７５】
計測部１５０は、学習結果ＤＢ１５１に格納された学習結果データに基づき構成される識別器を用いて、計測画像の属性情報を出力する判定部１５２を有する。判定部１５２は、計測画像に基づいて検査対象物に１又は複数の欠陥が含まれているか否かを判定し、欠陥が含まれている場合には、計測画像上での欠陥の位置に関する情報を含む属性情報を出力してよい。ここで、計測画像上での欠陥の位置に関する情報としては、計測画像上での欠陥に相当する領域を示す枠形状が挙げられる。
【００７６】
計測部１５０は、計測画像と、識別器により出力された計測画像の属性情報と、判定部１５２による判定結果と、を含む計測結果を、計測結果管理部１６０に出力する。なお、計測部１５０は、個々の検査対象物を識別するための識別情報を、計測結果とともに、計測結果管理部１６０に出力してもよい。このとき、検査対象物の識別情報は、計測画像から取得してもよく、所定のインタフェースを介して外部より取得してもよい。識別情報としては、例えば、製造番号や、製造番号を符号化した図形を用いることができる。よって、識別情報とは、検査対象物の個体を識別することができる情報であることが好ましい。なお、計測部１５０は、計測対象物の計測結果を、計測結果管理部１６０以外に出力してもよい。例えば、後述するユーザインタフェース１７０に対し、計測結果及び識別情報を出力するようにしてもよい。また、例えば、計測結果を仕分け装置（図示せず）に対して直接的または間接的に出力してもよい。仕分け装置は、取得した計測結果に基づいて、検査対象物の仕分けを行う。
【００７７】
＜計測結果管理部の構成＞
計測結果管理部１６０は、計測結果に含まれる計測画像と、識別器により出力された計測画像の属性情報及び判定部１５２による判定結果とを関連付けて記憶する計測結果ＤＢ１６１を有する。なお、計測結果管理部１６０は、検査対象物を識別するための識別情報を、計測結果とともに取得してもよい。このとき、検査対象物の識別情報は、計測部１５０から取得してもよく、所定のインタフェースを介して外部より取得してもよい。また、計測結果ＤＢ１６１は、属性情報に含まれる属性の種別に応じて、例えば、欠陥の種別の属性に関連付けて、計測画像を分類して記憶してもよい。
【００７８】
計測結果管理部１６０は、計測結果を、ユーザインタフェース１７０に対して出力する。このとき、計測結果管理部１６０は、あわせて、検査対象物の識別情報をユーザインタフェース１７０に対して出力してよい。また、計測結果管理部１６０は、計測結果を、後述する画像修正部１２０に対して出力する。このとき、計測結果管理部１６０は、あわせて検査対象物の識別情報を、画像修正部１２０に対して出力してもよい。
【００７９】
＜ユーザインタフェース＞
本実施形態において、ユーザインタフェース１７０は、第２作業者が、判定部１５２による判定結果を確認するために用いられたり、判定結果の正誤を修正する操作（修正操作）を実行するために用いられたり、画像修正部１２０によって合成画像を生成する操作（合成操作）を実行するために用いられたりする。ユーザインタフェース１７０は、少なくとも計測画像及び計測部１５０による計測結果を表示するための表示部（液晶表示装置等）、及び、第２作業者による修正操作及び合成操作を行うための入力部（タッチパネル、キーボード、マウス等）を有する。第２作業者は、表示部に表示された計測結果に基づいて、判定部１５２による判定結果の正誤を判断し、入力部を用いてその正誤に関する情報を入力する。すなわち、第２作業者は、表示部に表示された計測画像及び計測部１５０の判定部１５２による判定結果に基づいて、判定結果が正しいか否かを判断し、入力部を用いてその正誤に関する情報を入力する。計測画像に複数の欠陥が含まれていると判定される場合、入力部によって、複数の欠陥毎に、判定結果が正しいか否かに関する入力を受け付けてよい。
【００８０】
ここで、判定部１５２による判定結果が正しくない場合には、下記２パターンが想定される。すなわち、計測画像に欠陥が含まれているが、判定部１５２による判定結果が、欠陥が含まれない旨を示している場合（フォールス・ネガティブ）と、計測画像に欠陥が含まれていないが、判定部１５２による判定結果が、欠陥を含む旨を示している場合（フォールス・ポジティブ）である。これらの誤判定のうち、後者のフォールス・ポジティブについては、識別器がどのような理由で画像に欠陥が含まれていると判定したのかが必ずしも明らかでないことがあり、どのような学習用データを追加すれば誤判定を減らすことができるのか対策を立てることが特に困難なことがある。
【００８１】
なお、表示部に表示される情報は、検査対象物の識別情報、計測画像上での欠陥の位置に関する情報、判定部１５２による判定結果の根拠となる部分画像を強調して表示した画像を含んでもよい。判定結果の根拠となる部分画像を強調して表示した画像は、判定部１５２による判定結果の根拠、すなわち判定結果への影響が大きい部分画像の位置情報や寄与度に基づいて生成されてよく、例えば、公知の手法であるＣＡＭ（Class Activation Map）を用いて、識別器が画像のどの箇所に注目して識別を行ったかを示すことで生成してよい。
【００８２】
第２作業者により行われた修正操作の内容は、画像修正部１２０に対して出力される。このとき、修正操作の内容は、修正操作の対象となった計測画像、判定部１５２による判定結果の正誤に関する情報を含んでいてよい。なお、修正操作の内容は、修正操作の必要がない旨の情報であってもよい。また、修正操作の内容は、判定結果が誤りである場合には、フォールス・ネガティブの誤判定であるか、フォールス・ポジティブの誤判定であるかに応じて、異なる情報を含んでもよい。例えば、フォールス・ネガティブの誤判定の場合における修正操作の内容には、欠陥の位置及び種類を示す情報が含まれていてよい。このとき、ユーザインタフェース１７０を用いて、第２作業者に対し、欠陥の位置を指定するための修正操作を促すことで、欠陥の位置を示す情報を修正結果として収集することができる。なお、第１作業者と第２作業者とは同一であってもよい。
【００８３】
＜画像修正部の構成＞
画像修正部１２０は、判定部１５２の判定結果の正誤に関する情報に基づいて、学習用データの生成を行う。画像修正部１２０は、生成部１２１、修正画像データベース（以下、「修正画像ＤＢ」と称す。）１２２、抽出部１２３、検証部１２４及び通信部１２５を有し、ユーザインタフェース１７０から受け付けた修正操作や合成操作に従って、フォールス・ポジティブの誤判定が起こった計測画像に基づき学習用データを生成する。
【００８４】
抽出部１２３は、判定部１５２による判定結果の根拠となる計測画像の部分画像を抽出する。判定結果の根拠となる画像の部分画像は、識別器による判定に相対的に大きな影響を及ぼした画像の部分を含む。抽出部１２３は、例えば、識別器がＣＮＮにより構成されている場合には、誤検出が生じた画像の領域の内部で、当該識別器の判定結果への寄与度が所定値以上である画素を抽出する。抽出部１２３は、例えば、計測画像を識別器によって識別した場合に得られるＣＡＭに基づいて、部分画像を抽出してよい。計測画像に複数の欠陥が含まれていると判定される場合、抽出部１２３は、複数の欠陥のうち、判定結果が正しくないと入力された欠陥について、判定結果の根拠となる計測画像の部分画像を抽出してよい。ＣＡＭは、ＣＮＮの構造に応じて、例えば、判定結果に対応する畳み込み層の各ノードについて、出力クラスに対する重みを学習処理の結果から取得し、判定結果のクラスと対応する重みを各ノードの出力に乗算し、入力に対する判定結果のクラスへの応答をマッピングすることで、判定結果への寄与度を算出する。なお、抽出部１２３は、計測部１５０に設けられていてもよい。
【００８５】
生成部１２１は、ユーザインタフェース１７０の入力部により、判定部１５２による判定結果が正しくないと入力された場合に、抽出部１２３により抽出された部分画像に基づいて、新たな学習用データを生成する。生成部１２１は、判定部１５２により計測画像に欠陥が含まれていると判定され、入力部により判定部１５２による判定結果が正しくないと入力された場合に、少なくとも部分画像には欠陥が含まれていないことを示す情報を計測画像に関連付けて、新たな学習用データを生成してよい。また、生成部１２１は、判定部１５２により画像に欠陥が含まれていると判定され、入力部により判定部１５２による判定結果が正しくないと入力された場合に、部分画像と、欠陥が含まれていない検査対象物の画像とを合成した合成画像を生成し、欠陥が含まれていないことを示す情報を合成画像に関連付けて、新たな学習用データを生成してもよい。また、計測画像に複数の欠陥が含まれていると判定される場合、生成部１２１は、複数の欠陥毎に、部分画像に基づいて、新たな学習用データを生成してよい。
【００８６】
なお、画像修正部１２０は、作業者に対して、修正操作や合成操作の実行権限を設定し、実行権限を有する者（権限者）による修正操作、および／または、合成操作のみを受け付けるように構成されていてもよい。これによれば、修正操作および／または合成操作の信頼性が向上するとともに、生成される新たな学習用データの品質、ひいては、新たな学習用データを用いて生成される識別器の識別精度を向上させることができる。
【００８７】
実際には欠陥が含まれていない画像について判定部１５２により複数の欠陥が含まれていると判定された場合に、判定結果の根拠となる部分画像に基づいて、新たな学習用データを生成することで、どのような理由で画像に欠陥が含まれていると判定したのかが必ずしも明らかでない場合であっても、複数の欠陥毎に、誤判定された画像と類似の画像を生成し、誤判定を減らすような学習用データを生成することができる。そのため、識別器による誤判定の要因を解析するために演算量を費やす必要が無くなり、少ない演算量でより判定精度の高い識別器を生成することができるようになる。特に、計測画像に基づいて新たな学習用データを生成する場面においては、機械学習に関する知見の少ない作業者の操作によって、学習用データを生成する場合がある。このような場合でも、本態様によれば、各工程で生じる検査対象物の欠陥に対応した新たな学習用データを容易に生成することができ、ひいては、新たな学習用データを使用した識別器を生成することで、各工程に適した識別器を生成することができ、識別精度を向上させることができる。
【００８８】
生成部１２１は、例えば、抽出部１２３により抽出された、欠陥を含む部分画像と、欠陥を含む、又は、含まないサンプル画像とを、所定の組合せ規則で合成し、合成画像を生成してよい。サンプル画像とは、部分画像が抽出された元の計測画像とは異なる画像である。ここで、所定の組合せ規則としては、公知の方法を用いることができ、例えば、ポアソン画像合成等、合成の境界が別の不良として誤検出されにくい手法を用いることができる。また、生成部１２１は、欠陥を含む部分画像と、判定部１５２により正しく欠陥の位置を判定することができるような欠陥を含むサンプル画像とを、所定の組合せ規則で合成し、合成画像を生成してもよい。また、生成部１２１は、合成画像の拡張（オーグメンテーション）を行ってもよい。
【００８９】
修正画像ＤＢ１２２は、生成部１２１により生成された新たな学習用データを格納し、記憶する。修正画像ＤＢ１２２は、抽出部１２３により抽出された部分画像を記憶してもよい。
【００９０】
検証部１２４は、合成画像に欠陥が含まれているか否かを判定部１５２により判定させ、合成画像の合成元となった計測画像に欠陥が含まれているか否かを判定部１５２により判定させた場合と類似の判定結果が得られるか検証する。ここで、検証部１２４は、計測画像に欠陥が含まれているか否かを判定した識別器と同一の識別器を用いて、合成画像に欠陥が含まれるか否かを判定することが好ましい。これにより、実際には欠陥が含まれていないのに判定部１５２により欠陥が含まれていると誤判定されてしまう元画像と、類似の判定結果が得られる合成画像が生成されているか検証することができる。よって、生成した合成画像が誤判定を減らすために有用であることを確かめることができ、識別器がフォールス・ポジティブ（誤検知）をし得る画像データのバリエーションを増大させることができる。
【００９１】
なお、類似の判定結果とは、例えば、合成画像に欠陥が含まれているか否かを判定部１５２により判定させると、部分画像が抽出された画像（すなわち、検査対象物の計測画像）と同様に、誤って欠陥が含まれていると判定される判定結果である。このとき、計測画像において誤って欠陥が含まれていると判定されたときの当該欠陥が存在する計測画像中の領域、すなわち、計測画像の中の部分画像が抽出された第１の領域と、部分画像が所定の条件で合成された合成画像について、誤って欠陥が含まれていると判定されたときの、合成画像中における当該欠陥が存在する第２領域、すなわち、部分画像が合成された領域とが、一致していることが好ましい。ここで、部分画像に基づいて合成画像を生成するときには、部分画像の形状を変更する場合や、合成される背景画像に存在するテクスチャに起因した模様（パターン）が存在する等の、所定の条件が存在する。したがって、第１の領域と第２の領域は、完全に一致していなくてもよく、抽出された部分画像が示す領域と、合成された部分画像とが、所定の条件を考慮して一致していればよい。
【００９２】
通信部１２５は、生成部１２１によって新たな学習用データを生成する場合に、新たな学習用データの登録の可否を権限者に問い合わせてもよい。ここで、権限者とは、第２作業者による判断を訂正する権限を持つ者であり、学習用データの生成を管理する権限を持つ者である。新たな学習用データを生成する場合に、新たな学習用データの登録の可否を権限者に問い合わせることで、新たな学習用データが安易に登録されることが防止され、より適切な内容の学習用データを蓄積することができる。なお、通信部１２５は、ユーザインタフェース（１７０、１８０）と接続部であってもよく、検査装置１００の外部機器に対して有線または無線により情報を出力するものであってもよい。
【００９３】
また、画像修正部１２０は、ユーザインタフェース１７０の入力部によって、第２作業者から、判定部１５２が判定結果を誤った要因の入力を受け付けてもよい。画像修正部１２０に設けられる生成部１２１は、当該要因に基づいて、部分画像が抽出された画像とは異なる画像（サンプル画像）を選択する。次いで、画像修正部１２０は、部分画像と、選択したサンプル画像とを合成した合成画像を生成する。判定部１５２が判定結果を誤る要因は、必ずしも確定的なものでなくてもよく、推測されるものであってよい。判定結果を誤る要因は、例えば、検査対象物に対してヘアライン加工等が施されて一定の均一性のあるテクスチャパターンが表れていることであったり、検査対象物に付されたロゴや検査対象物のエッジが計測画像に含まれていることであったりしてよく、検査対象物の外観表面の特徴に起因する要因であってよい。
【００９４】
また、画像修正部１２０は、入力された要因に基づいて、検査対象物の画像を撮像する過程に不備がないか注意を促すデータを、ユーザインタフェース１７０の表示部によって表示してもよい。ここで、判定部の誤判定を誘発する画像の撮像過程の不備とは、例えば、検査対象物の画像を撮像するときの撮像条件に関する不備が挙げられる。例えば、本来であれば検査対象物に付されたロゴや検査対象物のエッジが計測画像に含まれないように撮像されるべきところ、製造ラインの不具合等によって、計測画像に検査対象物に付されたロゴや検査対象物のエッジが含まれることとなっている場合等、判定部１５２が判定を誤った要因が画像の撮像過程にあると推定される場合に、検査対象物の画像を撮影する過程に不備がないか注意を促すデータを出力することで、撮像過程に不備がないか注意を促すことができ、判定部１５２による誤判定を減らすことができる。また、検査対象物の画像を撮像する過程の不具合を早期に発見することができ、検査対象物に関する検査の信頼性を向上させることができる。
【００９５】
画像修正部１２０は、計測画像と、部分画像を強調した画像を、互いに比較可能にユーザインタフェース１７０の表示部に表示させてもよい。これにより、判定部１５２によって画像のどの箇所に基づいて画像に欠陥が含まれていると判定されたのかを第２作業者に対して視覚的に認識させることができ、部分画像を強調した画像と元の画像とを比較することで、実際に欠陥が含まれている画像について判定部１５２により欠陥が含まれていると正しく判定されたのか、実際には欠陥が含まれていない画像について判定部により欠陥が含まれていると誤判定されたのかを容易に確認することができるようになる。ここで、表示部は、画像と、部分画像を強調した画像を、重畳させて表示してもよいし、画像と、検査対象物の識別情報を表示してもよい。これら表示の具体例については、後に図面を用いて詳細に説明する。
【００９６】
［ハードウェア構成］
次に、図４を用いて、本実施形態に係る検査装置１００のハードウェア構成の一例を説明する。本実施形態に係る検査装置１００は、演算装置１０１、出力装置１９１、入力装置１９２及び撮像装置１５３を備える情報処理装置であってよい。ここで、出力装置１９１及び入力装置１９２は、ユーザインタフェース１７０及びユーザインタフェース１８０を構成する。
【００９７】
演算装置１０１は、補助記憶部１０２、１０３、プロセッサ１０４、主記憶部１０５及び外部インタフェース（以下、「外部Ｉ／Ｆ」と称す。）を含むものであってよい。
【００９８】
演算装置１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。プロセッサ１０４は、ＣＰＵを含んでよく、補助記憶部１０２、１０３及び主記憶部１０５は、ＲＡＭ及びＲＯＭを含んでよい。補助記憶部１０２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等であってもよく、プロセッサ１０４で実行されるデータ生成プログラム１０２ａ、撮像装置１５３により撮像された計測画像１０２ｂ及び学習用データ１０２ｃ等を記憶してよい。補助記憶部１０３及び主記憶部１０５は、補助記憶部１０２と同様に、例えば、ハードディスクドライブやソリッドステートドライブ等であってもよい。データ生成プログラム１０２ａは、前述の、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０の機能を実現するための処理を行うためのプログラムであり、当該プログラムがプロセッサ１０４によって実行されることにより、各機能が実現される。なお、データ生成プログラム１０２ａは、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０のうち一部の機能を実現するための処理を行うためのプログラムであってもよいし、これら以外の機能を実現するための処理を行うためのプログラムを含んでもよい。
【００９９】
外部Ｉ／Ｆ１０６は、ＵＳＢ（Universal Serial Bus）ポート等であり、出力装置１９１、入力装置１９２及び撮像装置１５３等の外部装置と接続するためのインタフェースである。なお、検査装置は、有線ＬＡＮ（Local Area Network）モジュールや無線ＬＡＮモジュール等、ネットワークを介した有線又は無線通信を行うためのインタフェースを備えてもよい。
【０１００】
記憶媒体は、コンピュータ等の装置によって、記憶されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体は、例えば、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disk）等であり、データ生成プログラム１０２ａを記憶したものであってよい。記憶媒体に記憶されたデータ生成プログラム１０２ａは、補助記憶部１０３にコピーされ、補助記憶部１０２や主記憶部１０５にコピーされてよい。図４では、記憶媒体の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。また、検査装置１００は、データ生成プログラム１０２ａ等のデータを、有線又は無線通信によってネットワークを介して取得してもよい。
【０１０１】
なお、検査装置１００の具体的なハードウェア構成は、実施形態に応じて、適宜、構成要素を省略、置換及び追加されてもよい。例えば、演算装置１０１は、複数のプロセッサを含んでもよいし、ＧＰＵ（Graphical Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）を含んでもよい。また、検査装置１００は、複数台の情報処理装置で構成されてもよい。検査装置１００は、提供されるサービス専用に設計された情報処理装置の他、汎用のデスクトップＰＣ（Personal Computer）、タブレットＰＣ等で構成されてもよい。
【０１０２】
§３  動作例
図５は、本実施形態に係る検査装置１００により実行される第１処理の内容を示すフローチャートである。第１処理は、計測画像に基づいて検査対象物に欠陥が含まれているか否かを学習済みの識別器により判定し、計測画像と判定結果の根拠となる部分画像を強調した画像とを比較可能に並べて表示して、判定結果が正しくないと入力された場合に、合成画像を生成して、新たな学習用データの生成を行う処理である。
【０１０３】
検査装置１００は、検査対象物の計測画像を取得し（Ｓ１０）、第１学習部１３０及び第２学習部１４０によって学習された識別器によって、計測画像に欠陥が含まれているか否かを判定する（Ｓ１１）。なお、計測画像に基づいて検査対象物に欠陥が含まれていると判定された場合には、計測画像上で欠陥と認識された領域を示す位置情報を判定結果に付与してよい。そして、抽出部１２３によって、判定結果の根拠となる画像の部分画像を抽出する（Ｓ１２）。
【０１０４】
検査装置１００は、ユーザインタフェース１７０の表示部に対して、計測画像と、部分画像を強調した画像を、互いに比較可能に並べて表示する（Ｓ１３）。これにより、第２作業者が、判定結果が正しいか否かを判断するための材料を提供する。
【０１０５】
検査装置１００は、ユーザインタフェース１７０の入力部により入力された、判定結果が正しいか否かに関する入力を受け付ける（Ｓ１４）。判定結果が正しいと入力された場合（Ｓ１５：ＹＥＳ）、第１処理は終了する。一方、判定部１５２により画像に欠陥が含まれていると判定され、入力部により判定部１５２による判定結果が正しくないと入力された場合（Ｓ１５：ＮＯ）、すなわち、フォールス・ポジティブ（誤検知）の場合、生成部１２１は、部分画像と、欠陥が含まれていないサンプル画像を合成して合成画像を生成する（Ｓ１６）。
【０１０６】
検証部１２４は、合成画像に欠陥が含まれているか否かを判定部１５２により判定させ（Ｓ１７）、合成画像の合成元となった画像に欠陥が含まれているか否かを判定部１５２により判定させた場合と類似の判定結果が得られるか検証する。すなわち、合成画像に欠陥が含まれているか否かを判定部１５２により判定させると、合成元となった計測画像と同様に、誤って欠陥が含まれていると判定するかどうか検証する。合成元となった計測画像と類似の判定結果が得られない場合（Ｓ１８：ＮＯ）、生成部１２１は、合成画像を生成するための合成パラメータを修正して、合成画像の生成を再び行う。
【０１０７】
一方、合成元となった計測画像と同様の判定結果が得られる場合（Ｓ１８：ＹＥＳ）、通信部１２５は、類似の判定結果が得られた画像データを新たな学習用データとして登録してもよいか、その可否を権限者に問い合わせる（Ｓ１９）。ここで、通信部１２５は、合成元となった計測画像、部分画像を強調した画像及び合成画像等、権限者の判断材料となるようなデータを権限者に送付してもよい。
【０１０８】
権限者によって、新たな学習用データとして登録してもよい旨の判断がされた場合（Ｓ２０：ＹＥＳ）、生成部１２１は、欠陥が含まれていないことを示す情報を合成画像に関連付けて、新たな学習用データを生成し、修正画像ＤＢ１２２に格納する（Ｓ２１）。一方、権限者によって、新たな学習用データとして登録してはならない旨の判断がされた場合（Ｓ２０：ＮＯ）、学習用データを登録せずに処理を終了する。以上で、第１処理が終了する。
【０１０９】
なお、合成元となった計測画像と類似の判定結果が得られた場合、権限者への問合せを行うことなく、新たな学習用データとして登録することとしてもよい。
【０１１０】
本実施形態に係る検査装置１００によれば、判定部１５２により欠陥が含まれていると判定された判定結果の根拠となる部分画像を、欠陥が含まれていない画像と合成して合成画像を生成することで、実際には欠陥が含まれていないのに判定部１５２により欠陥が含まれていると誤判定されてしまう画像のバリエーションを増やすことができる。よって、欠陥が含まれていると誤判定された画像と類似の画像を生成して、誤判定を減らすような学習用データを生成することができる。誤判定されてしまう画像のバリエーションを増やすことができることで、誤判定されてしまう検査対象物の状態を再現したり、撮影環境を再現したりする必要が無くなり、より少ない設備で判定精度の高い識別器を生成することができるようになる。
【０１１１】
図６は、本実施形態に係る検査装置１００により表示される検査対象物の計測画像ＩＭ１と、抽出部１２３が、判定部１５２による判定結果の根拠となる部分画像を強調した画像ＩＭ２の例を示す図である。なお、画像ＩＭ１には、判定結果の正誤の入力を、複数の判定箇所毎に受け付けた結果として、それぞれの判定結果に対して正誤の情報が付与されている。ここで、部分画像を強調した画像ＩＭ２は、ＣＡＭにより生成した画像である。
【０１１２】
検査対象物の計測画像ＩＭ１には、判定部１５２が判定した欠陥、欠陥が含まれていると判定された領域を示す３つの枠（位置情報）、判定部１５２により判定された欠陥の種別、及び、判定部１５２による判定の信頼度を示す数値が、判定結果として表示されている。また、計測画像ＩＭ１には、当該３つの枠で示された欠陥について、第２作業者が入力部を介して判定結果の正誤を入力した結果が含まれている。本例の場合、判定部１５２によって、検査対象物の計測画像ＩＭ１に３つの欠陥が含まれていると判定されており、そのうち左側に位置する２つの欠陥については、「ｓｃｒａｔｃｈ０．２１」及び「ｓｃｒａｔｃｈ０．１５」と示され、判定部１５２により、欠陥の種類が「ｓｃｒａｔｃｈ（すり傷）」であり、その信頼性を表す数値がそれぞれ０．２１と０．１５であることが示されている。また、検査対象物の計測画像ＩＭ１の右側に位置する欠陥については、「ｈｉｔ０．３５」と示され、判定部１５２により、欠陥の種類が「ｈｉｔ（打痕）」であり、その信頼性を表す数値が０．３５であることが示されている。これら判定部１５２により欠陥が含まれていると判定された領域のうち、左側に位置する２つの欠陥については、第２作業者によって確かに欠陥であることが確認され、判定結果が正しいことを示す「正」の文字が付与されている。一方、検査対象物の計測画像ＩＭ１の右側に位置する欠陥については、実際には欠陥が含まれていないものの、判定部１５２によって欠陥が含まれていると誤って判定されたものであり、第２作業者によって欠陥が含まれていないことが確認され、判定結果が誤りであることを示す「誤」の文字が付与されている。
【０１１３】
また、部分画像を強調した画像ＩＭ２は、識別器によって欠陥が含まれていると判定された根拠となる計測画像の箇所を、その根拠の度合いに応じてグラデーション表示した画像である。より具体的には、一または複数の画素単位で、識別器の判定の根拠となった度合いが相対的に大きい画素の濃度が濃くなるようにグラデーション表示がされている。このような画像が、元の計測画像と比較可能に表示されることで、識別器によって欠陥が含まれていると判定された根拠となる計測画像の箇所を容易に確認することができる。これにより、判定部１５２による判定結果が正しいか否かの判断をより迅速に行うことができるようになり、製造ラインの流れをより円滑にすることができる。
【０１１４】
本例では、検査対象物の計測画像ＩＭ１の下側に、当該検査対象物の識別情報ＩＤが表示されている。識別情報ＩＤは、「ＩＤ：１２３４」であり、これにより検査対象物を特定することができる。識別情報は、例えば、複数の検査対象物の集合を示すロットを識別する情報であってもよく、また、個々の検査対象物を特定するための個体識別情報であってもよい。検査対象物の識別情報ＩＤが表示されることで、作業者は、検査対象物そのものと計測画像及び判定結果との関連付けを容易に行う事ができる。したがって、作業者は検査対象物を容易に入手することができ、検査対象物に関する欠陥の有無を目視で確認したり、サンプルとして確保したりすることができるようになる。
【０１１５】
図７は、本実施形態に係る検査装置１００により生成される合成画像Ｄ１の例を示す図である。合成画像Ｄ１は、欠陥を含まないサンプル画像と、欠陥が含まれると誤って判定された計測画像から抽出された部分画像とを合成した画像である。ここで、合成された部分画像Ｄ２が含まれる領域は、破線で示されている。
【０１１６】
合成画像Ｄ１は、人の目視では欠陥が含まれていないように見えるか、又は、判定部１５２によって欠陥が含まれていると誤って判定される要因がほとんど分からないような画像である。判定部１５２が、フォールス・ポジティブの誤判定を行ってしまう場合、どのような理由で画像に欠陥が含まれていると判定されたのかが必ずしも明らかでないことがあり、どのような学習用データを追加すれば誤判定を減らすことができるのか対策を立てることが困難なことがある。本実施形態に係る検査装置１００によれば、このような合成画像Ｄ１を生成し、部分画像Ｄ２の箇所に欠陥が含まれていないことを示す情報を画像に関連付けて、新たな学習用データを生成することで、フォールス・ポジティブの誤判定が生じ得る画像のバリエーションを増やすことができる。すなわち、間違って欠陥有と判定しやすい（誤検知しやすい）新たな学習用データを生成し、この学習用データを用いて学習を行う事ができるので、識別器の精度が向上する。
【０１１７】
また、検査装置１００は、ユーザインタフェース１７０の表示部によって、計測画像と、過去に判定部１５２により欠陥が含まれていると判定された画像又は過去に判定部１５２により欠陥が含まれていないと判定された画像を表示してもよい。これにより、判定部１５２により欠陥が含まれていると判定された画像の過去の事例や、判定部１５２により欠陥が含まれていないと判定された画像の過去の事例と現在の画像を比較することができ、判定部１５２による判定結果が正しいか否かを判断するための判断材料を提供することができる。そのため、判定部１５２による判定結果が正しいか否かの判断をより迅速に行うことができるようになり、製造ラインの流れをより円滑にすることができる。
【０１１８】
図８は、本実施形態に係る検査装置１００により実行される第２処理の内容を示すフローチャートである。第２処理は、判定部１５２が判定結果を誤った要因の入力を受け付け、検査対象物の画像を撮像する過程に不備がないか注意を促すデータを出力したり、要因に基づいて選択される画像により合成画像を生成したりする処理である。第２処理は、例えば、上述する第１処理における判定部１５２の判定結果の正誤入力の際に合わせてその要因の入力を受け付けることで、画像を合成する指針を定め、また、撮像条件の不備を指摘するために使用することができる。ここで、要因としては、検査対象物の外観表面上の特徴に起因するもの、検査対象物の撮像条件に起因するものが挙げられる。
【０１１９】
検査装置１００は、ユーザインタフェース１７０の入力部によって、判定部１５２が判定結果を誤った要因の入力を受け付ける（Ｓ７０）。ここで、要因の入力は、予め想定される複数の要因から１又は複数を選択させることで行ってよいが、自由記述により行ってもよい。
【０１２０】
検査装置１００は、入力された要因が、検査対象物の画像を撮像する過程に起因するものであるか否かを判定する（Ｓ７１）。例えば、検査対象物に付されたロゴや検査対象物のエッジが計測画像に含まれていることが誤判定の要因として入力された場合、入力された要因が、検査対象物の画像を撮像する過程に起因するものであると判定してもよい。
【０１２１】
入力された要因が、検査対象物の画像を撮像する過程に起因するものでないと判定された場合（Ｓ７１：ＮＯ）、生成部１２１は、当該要因に基づいて、欠陥が含まれていない検査対象物の画像を選択する（Ｓ７２）。例えば、生成部１２１は、検査対象物にヘアライン加工が施されており、ヘアラインの模様を欠陥と誤認しやすいことが誤判定の要因であると入力された場合に、測定画像とヘアラインの方向が揃ったサンプル画像を選択する。そして、生成部１２１は、部分画像と、選択したサンプル画像とを合成した合成画像を生成する（Ｓ７３）。これにより、判定部１５２が判定を誤った要因を推定できる場合に、同じ要因に基づいて同様の誤判定が起こるような合成画像を生成することができ、欠陥が含まれていると誤判定された画像と類似の画像を生成して、誤判定を減らすような学習用データを生成することができる。
【０１２２】
一方、入力された要因が、検査対象物の画像を撮像する過程に起因するものであると判定された場合（Ｓ７１：ＹＥＳ）、当該要因に基づいて、検査対象物の画像を撮像する過程に不備がないか注意を促すデータを出力する（Ｓ７４）。以上で、第２処理が終了する。
【０１２３】
§４  変形例
＜４．１＞
図９は、本実施形態の第１変形例に係る検査装置１００により実行される第３処理の内容を示すフローチャートである。第３処理は、検査対象物の計測画像に欠陥が含まれているか学習済みの識別器により判定し、計測画像と判定結果の根拠となる部分画像を強調した画像とを比較可能に重畳させて表示し、判定結果が正しくないと入力された場合に、合成画像を生成して、新たな学習用データの生成を行う処理である。
【０１２４】
検査装置１００は、検査対象物の計測画像を取得し（Ｓ３０）、第１学習部１３０及び第２学習部１４０によって学習された識別器によって、計測画像に欠陥が含まれているか否かを判定する（Ｓ３１）。そして、抽出部１２３によって、判定結果の根拠となる画像の部分画像を抽出する（Ｓ３２）。
【０１２５】
検査装置１００は、ユーザインタフェース１７０の表示部に対して、計測画像と、部分画像を強調した画像を、互いに比較可能に重畳させて表示する（Ｓ３３）。これにより、第２作業者が、判定結果が正しいか否かを判断するための材料を提供する。
【０１２６】
検査装置１００は、ユーザインタフェース１７０の入力部により入力された、判定結果が正しいか否かに関する入力を受け付ける（Ｓ３４）。判定結果が正しいと入力された場合（Ｓ３５：ＹＥＳ）、第３処理は終了する。一方、判定部１５２により画像に欠陥が含まれていると判定され、入力部により判定部１５２による判定結果が正しくないと入力された場合（Ｓ３５：ＮＯ）、生成部１２１は、部分画像と、欠陥が含まれていないサンプル画像を合成して合成画像を生成する（Ｓ３６）。
【０１２７】
検証部１２４は、合成画像に欠陥が含まれているか否かを判定部１５２により判定させ（Ｓ３７）、合成画像の合成元となった画像に欠陥が含まれているか否かを判定部１５２により判定させた場合と類似の判定結果が得られるか検証する。すなわち、合成画像に欠陥が含まれているか否かを判定部１５２により判定させると、合成元となった計測画像と同様に、誤って欠陥が含まれていると判定するかどうか検証する。合成元となった計測画像と類似の判定結果が得られない場合（Ｓ３８：ＮＯ）、生成部１２１は、合成画像を生成するための合成パラメータを修正して、合成画像の生成を再び行う。
【０１２８】
一方、合成元となった計測画像と同様の判定結果が得られる場合（Ｓ３８：ＹＥＳ）、通信部１２５は、類似の判定結果が得られた画像データを新たな学習用データとして登録してもよいか、その可否を権限者に問い合わせる（Ｓ３９）。ここで、通信部１２５は、合成元となった計測画像、部分画像を強調した画像及び合成画像等、権限者の判断材料となるようなデータを権限者に送付してもよい。
【０１２９】
権限者によって、新たな学習用データとして登録してもよい旨の判断がされた場合（Ｓ４０：ＹＥＳ）、生成部１２１は、欠陥が含まれていないことを示す情報を合成画像に関連付けて、新たな学習用データを生成し、修正画像ＤＢ１２２に格納する（Ｓ４１）。一方、権限者によって、新たな学習用データとして登録してはならない旨の判断がされた場合（Ｓ４０：ＮＯ）、学習用データを登録せずに処理を終了する。以上で、第３処理が終了する。
【０１３０】
図１０は、本実施形態の第１変形例に係る検査装置１００により、検査対象物の画像と、部分画像を強調した画像とを重畳させて表示する例を示す図である。同図では、図６に示す部分画像を強調した画像ＩＭ２を透過処理して、検査対象物の計測画像ＩＭ１に重畳させた重畳画像ＩＭ３の一例を示している。このような重畳画像ＩＭ３を表示することによっても、識別器によって欠陥が含まれていると判定された根拠となる計測画像の箇所を容易に確認することができる。また、判定部１５２による判定結果が正しいか否かの判断をより迅速に行うことができるようになり、製造ラインの流れをより円滑にすることができる。
【０１３１】
なお、ユーザインタフェース１７０の入力部は、第２作業者より、部分画像を強調した画像ＩＭ２を重畳させずに検査対象物の計測画像ＩＭ１のみを表示するか、重畳画像ＩＭ３を表示するか切り替える入力を受け付けてもよい。また、ユーザインタフェース１７０の入力部は、第２作業者より、部分画像を強調した画像ＩＭ２の透過率を変化させる入力を受け付けてもよい。
【０１３２】
本例においても、重畳画像ＩＭ３の下側に、当該検査対象物の識別情報ＩＤが表示されている。識別情報ＩＤは、「ＩＤ：１２３４」であり、これにより検査対象物を特定することができる。識別情報は、例えば、複数の検査対象物の集合を示すロットを識別する情報であってもよく、また、個々の検査対象物を特定するための個体識別情報であってもよい。検査対象物の識別情報ＩＤが表示されることで、作業者は、検査対象物そのものと計測画像及び判定結果との関連付けを容易に行う事ができる。したがって、作業者は検査対象物を容易に入手することができ、検査対象物に関する欠陥の有無を目視で確認したり、サンプルとして確保したりすることができるようになる。
【０１３３】
本実施形態に係る検査装置１００によれば、部分画像を強調した画像と元の画像を重畳させて表示することで、判定部１５２による判定結果の根拠となる画像の箇所を元の画像と正確に対比することができ、実際に欠陥が含まれている画像について判定部１５２により欠陥が含まれていると正しく判定されたのか、実際には欠陥が含まれていない画像について判定部１５２により欠陥が含まれていると誤判定されたのかを容易に確認することができる。
【０１３４】
検査装置１００は、ユーザインタフェース１７０の表示部によって、計測画像と、過去に取得された欠陥が含まれている検査対象物の画像又は過去に取得された欠陥が含まれていない検査対象物の画像を表示してもよい。これにより、欠陥が含まれている画像の過去の事例や、欠陥が含まれていない画像の過去の事例と現在の画像を比較することができ、判定部１５２による判定結果が正しいか否かを判断するための判断材料を提供することができる。そのため、判定部１５２による判定結果が正しいか否かの判断をより迅速に行うことができるようになり、製造ラインの流れをより円滑にすることができる。
【０１３５】
＜４．２＞
図１１は、本実施形態の第２変形例に係る検査装置１００により実行される第４処理の内容を示すフローチャートである。第４処理は、検査対象物の計測画像に欠陥が含まれているか学習済みの識別器により判定し、計測画像と判定結果の根拠となる部分画像を強調した画像とを比較可能に重畳させて表示して、判定結果が正しくないと入力された場合に、部分画像に欠陥が含まれていないことを示す情報を計測画像に付加して、新たな学習用データの生成を行う処理である。なお、第４処理は、第１処理、又は、第３処理と並行して実行してもよい。すなわち、合成画像を生成して学習用データとする第１処理及び第３処理に加え、欠陥が含まれていないことを示す情報を計測画像に付与することで属性情報（ラベル）を変更して学習用データとする第４処理を、合わせて実行してもよい。
【０１３６】
検査装置１００は、検査対象物の計測画像を取得し（Ｓ５０）、第１学習部１３０及び第２学習部１４０によって学習された識別器によって、計測画像に欠陥が含まれているか否かを判定する（Ｓ５１）。そして、抽出部１２３によって、判定結果の根拠となる画像の部分画像を抽出する（Ｓ５２）。
【０１３７】
検査装置１００は、ユーザインタフェース１７０の表示部に対して、計測画像と、部分画像を強調した画像を、互いに比較可能に重畳させて表示する（Ｓ５３）。これにより、第２作業者が、判定結果が正しいか否かを判断するための材料を提供する。なお、検査装置１００は、ユーザインタフェース１７０の表示部に対して、計測画像と、部分画像を強調した画像を、互いに比較可能に並べて表示してもよい。
【０１３８】
検査装置１００は、ユーザインタフェース１７０の入力部により入力された、判定結果が正しいか否かに関する入力を受け付ける（Ｓ５４）。判定結果が正しいと入力された場合（Ｓ５５：ＹＥＳ）、第４処理は終了する。一方、判定部１５２により画像に欠陥が含まれていると判定され、入力部により判定部１５２による判定結果が正しくないと入力された場合（Ｓ５５：ＮＯ）、生成部１２１は、少なくとも部分画像には欠陥が含まれていないことを示す情報を計測画像に付加する（Ｓ５６）。
【０１３９】
その後、通信部１２５は、計測画像を新たな学習用データとして登録してもよいか、その可否を権限者に問い合わせる（Ｓ５７）。ここで、通信部１２５は、合成元となった計測画像及び部分画像を強調した画像等、権限者の判断材料となるようなデータを権限者に送付してもよい。
【０１４０】
権限者によって、新たな学習用データとして登録してもよい旨の判断がされた場合（Ｓ５８：ＹＥＳ）、生成部１２１は、欠陥が含まれていないことを示す情報が関連付けられた計測画像を、新たな学習用データとして生成し、修正画像ＤＢ１２２に格納する（Ｓ５９）。一方、権限者によって、新たな学習用データとして登録してはならない旨の判断がされた場合（Ｓ５８：ＮＯ）、学習用データを登録せずに処理を終了する。以上で、第４処理が終了する。
【０１４１】
本実施形態に係る検査装置１００によれば、判定部１５２により欠陥が含まれていると判定された判定結果の根拠となる部分画像について、欠陥が含まれていないことを示した学習用データが生成され、実際には欠陥が含まれていないのに欠陥が含まれていると判定してしまう誤判定を減らすような学習用データが生成される。
【０１４２】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【０１４３】
［付記１］
検査対象物の画像を撮像する撮像装置（１５３）と、
学習用データを用いて学習された識別器（ａ、ｂ、ｃ、Ａ、Ｂ）によって、前記画像に欠陥が含まれているか否かを判定する判定部（１５２）と、
前記画像及び前記判定部（１５２）による判定結果を表示する表示部（１７０）と、
前記判定結果が正しいか否かに関する入力を受け付ける入力部（１７０）と、
前記判定結果の根拠となる前記画像の部分画像を抽出する抽出部（１２３）と、
前記入力部（１７０）により、前記判定結果が正しくないと入力された場合に、前記部分画像に基づいて、新たな学習用データを生成する生成部（１２１）と、
を備える検査装置（１００）。
【０１４４】
［付記２］
前記生成部（１２１）は、前記判定部（１５２）により前記画像に欠陥が含まれていると判定され、前記入力部（１７０）により前記判定結果が正しくないと入力された場合に、少なくとも前記部分画像には欠陥が含まれていないことを示す情報を前記画像に関連付けて、前記新たな学習用データを生成する、
付記１に記載の検査装置。
【０１４５】
［付記３］
前記生成部（１２１）は、前記判定部（１５２）により前記画像に欠陥が含まれていると判定され、前記入力部（１７０）により前記判定結果が正しくないと入力された場合に、前記部分画像と、前記部分画像が抽出された前記画像とは異なる画像とを合成した合成画像を生成し、欠陥が含まれていないことを示す情報を前記合成画像に関連付けて、前記新たな学習用データを生成する、
付記１又は２に記載の検査装置。
【０１４６】
［付記４］
前記合成画像に欠陥が含まれているか否かを前記判定部（１５２）により判定させ、前記部分画像が抽出された前記画像に欠陥が含まれているか否かを前記判定部（１５２）により判定させた場合と類似の判定結果が得られるか検証する検証部（１２４）をさらに備える、
付記３に記載の検査装置。
【０１４７】
［付記５］
前記入力部（１７０）は、前記判定部（１５２）が判定結果を誤った要因の入力を受け付け、
前記生成部（１２１）は、前記要因に基づいて、欠陥が含まれていない検査対象物の画像を選択し、前記部分画像と、選択した画像とを合成した合成画像を生成する、
付記３又は４に記載の検査装置。
【０１４８】
［付記６］
前記入力部（１７０）は、前記判定部（１５２）が判定結果を誤った要因の入力を受け付け、
前記表示部（１７０）は、前記要因に基づいて、前記検査対象物の画像を撮像する過程に不備がないか注意を促すデータを表示する、
付記３又は４に記載の検査装置。
【０１４９】
［付記７］
前記抽出部（１２３）は、前記判定結果への寄与度が所定値以上である前記画像の領域を含むように、前記判定結果の根拠となる前記部分画像を抽出する、
付記１から６のいずれか一項に記載の検査装置。
【０１５０】
［付記８］
前記判定部（１５２）は、前記画像に複数の欠陥が含まれているか否かを判定し、
前記入力部（１７０）は、前記複数の欠陥毎に、前記判定結果が正しいか否かに関する入力を受け付け、
前記抽出部（１２３）は、前記複数の欠陥のうち、前記入力部（１７０）により、前記判定結果が正しくないと入力された欠陥について、前記判定結果の根拠となる前記画像の部分画像を抽出し、
前記生成部（１２１）は、前記部分画像に基づいて、新たな学習用データを生成する、
付記１から７のいずれか一項に記載の検査装置。
【０１５１】
［付記９］
前記生成部（１２１）によって前記新たな学習用データを生成する場合に、前記新たな学習用データの登録の可否を権限者に問い合わせる通信部（１２５）をさらに備える、
付記１から８のいずれか一項に記載の検査装置。
【０１５２】
［付記１０］
前記表示部（１７０）は、前記画像と、前記画像のうち前記部分画像を強調した画像とを、表示する、
付記１から９のいずれか一項に記載の検査装置。
【０１５３】
［付記１１］
前記表示部（１７０）は、前記画像と、前記画像のうち前記部分画像を強調した画像を、互いに比較可能に、又は、重畳させて表示する、
付記１０に記載の検査装置。
【０１５４】
［付記１２］
前記表示部（１７０）は、前記画像と、前記検査対象物の識別情報を表示する、
付記１から１１のいずれか一項に記載の検査装置。
【０１５５】
［付記１３］
前記表示部（１７０）は、前記画像と、過去に取得された欠陥が含まれている検査対象物の画像又は過去に取得された欠陥が含まれていない検査対象物の画像を表示する、
付記１から１２のいずれか一項に記載の検査装置。
【０１５６】
［付記１４］
前記表示部（１７０）は、前記画像と、過去に前記判定部（１５２）により欠陥が含まれていると判定された画像又は過去に前記判定部（１５２）により欠陥が含まれていないと判定された画像を表示する、
付記１から１３のいずれか一項に記載の検査装置。
【０１５７】
［付記１５］
検査対象物の画像を取得する取得部（１５３）と、
学習用データを用いて学習された識別器（ａ、ｂ、ｃ、Ａ、Ｂ）によって、前記画像に基づいて前記検査対象物に欠陥が含まれているか否かを判定する判定部（１５２）と、
前記判定部（１５２）による判定結果が正しいか否かに関する入力を受け付ける入力部（１７０）と、
前記判定結果の根拠となる前記画像の部分画像を抽出する抽出部と、
前記入力部（１７０）により、前記判定結果が正しくないと入力された場合に、前記部分画像に基づいて、新たな学習用データを生成する生成部（１２１）と、
を備えるデータ生成装置。
【０１５８】
［付記１６］
検査対象物の画像を取得することと、
学習用データを用いて学習された識別器（ａ、ｂ、ｃ、Ａ、Ｂ）によって、前記画像に基づいて前記検査対象物に欠陥が含まれているか否かを判定することと、
前記判定することによる判定結果が正しいか否かに関する入力を受け付けることと、
前記判定結果の根拠となる前記画像の部分画像を抽出することと、
前記入力を受け付けることにより、前記判定結果が正しくないと入力された場合に、前記部分画像に基づいて、新たな学習用データを生成することと、
を含むデータ生成方法。
【０１５９】
［付記１７］
データ生成装置に備えられた演算装置（１０１）を、
検査対象物の画像を取得する取得部（１５３）、
学習用データを用いて学習された識別器（ａ、ｂ、ｃ、Ａ、Ｂ）によって、前記画像に基づいて前記検査対象物に欠陥が含まれているか否かを判定する判定部（１５２）、
前記判定部（１５２）による判定結果が正しいか否かに関する入力を受け付ける入力部（１７０）、
前記判定結果の根拠となる前記画像の部分画像を抽出する抽出部（１２３）、及び
前記入力部（１７０）により、前記判定結果が正しくないと入力された場合に、前記部分画像に基づいて、新たな学習用データを生成する生成部（１２１）、
として動作させるデータ生成プログラム。
【符号の説明】
【０１６０】
１００…検査装置、１０１…演算装置、１０２…補助記憶部、１０２ａ…データ生成プログラム、１０２ｂ…計測画像、１０２ｃ…学習用データ、１０３…補助記憶部、１０４…プロセッサ、１０５…主記憶部、１０６…外部Ｉ／Ｆ、１１０…画像収集部、１１１…属性付与部、１１２…画像ＤＢ、１１３…画像補正部、１２０…画像修正部、１２１…生成部、１２２…修正画像ＤＢ、１２３…抽出部、１２４…検証部、１２５…通信部、１３０…第１学習部、１３１…第１学習処理部、１４０…第２学習部、１４１…第２学習処理部、１５０…計測部、１５１…学習結果ＤＢ、１５２…判定部、１５３…撮像装置、１６０…計測結果管理部、１６１…計測結果ＤＢ、１７０…ユーザインタフェース、１８０…ユーザインタフェース、１９１…出力装置、１９２…入力装置
【図１】
2019087044.tif 000003
【図２】
2019087044.tif 000004
【図３】
2019087044.tif 000005
【図４】
2019087044.tif 000006
【図５】
2019087044.tif 000007
【図６】
2019087044.tif 000008
【図７】
2019087044.tif 000009
【図８】
2019087044.tif 000010
【図９】
2019087044.tif 000011
【図１０】
2019087044.tif 000012
【図１１】
2019087044.tif 000013