(57)【要約】【課題】機械学習のための学習データをより効率的に作成することができる機械学習装置及び機械学習方法を提供すること。【解決手段】機械学習に用いる学習データを作成する機械学習装置は、欠陥を示す印がマーキングされた検査対象物を撮像して得られた画像を入力する画像入力部と、入力した画像に基づき記学習データを作成する作成部と、を備え、作成部は、画像中に印がない場合は、入力した画像そのものである学習用画像と、欠陥がないことを表すＯＫの値を保持するラベルと、からなる学習データを作成し、入力した画像中に印がある場合は、入力した画像を元に生成された学習用画像と、欠陥があることを表すＮＧの値を保持するラベルと、からなる学習データを作成する。【選択図】図３
2019015654.tif 000002
【特許請求の範囲】
【請求項１】
機械学習に用いる学習データを作成する機械学習装置であって、
欠陥を示す印がマーキングされた検査対象物を撮像して得られた画像を入力する画像入力部と、
前記入力した画像に基づき前記学習データを作成する作成部と、を備え、
前記作成部は、
入力した前記画像中に前記印がない場合は、入力した前記画像そのものである学習用画像と、欠陥がないことを表すＯＫの値を保持するラベルと、からなる学習データを作成し、
入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、欠陥があることを表すＮＧの値を保持するラベルと、からなる学習データを作成する機械学習装置。
【請求項２】
前記作成部は、
入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、前記印で示された欠陥の位置と、前記ＮＧの値を保持するラベルと、からなる学習データを作成する請求項１記載の機械学習装置。
【請求項３】
前記欠陥を示す前記印は、前記欠陥の種類に応じて異なる印であり、
前記作成部は、
入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、前記印で示された欠陥の種類と、前記ＮＧの値を保持するラベルと、からなる学習データを作成する請求項１記載の機械学習装置。
【請求項４】
前記欠陥には、前記検査対象物の傷、汚れ及び欠けが含まれる請求項３記載の機械学習装置。
【請求項５】
前記異なる印は、互いに反射光波長が異なる印である請求項３記載の機械学習装置。
【請求項６】
前記作成部は、
入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された画像から、前記印を除去して学習用画像を生成し、
生成した前記学習用画像と、前記ＮＧの値を保持するラベルと、からなる学習データを作成する請求項１記載の機械学習装置。
【請求項７】
前記作成部は、
入力した前記画像中に前記印がある場合は、入力した前記画像から前記印で示された領域の内側のみを切り抜いて学習用画像を生成する請求項６記載の機械学習装置。
【請求項８】
前記作成部は、
入力した前記画像中に前記印がある場合は、入力した前記画像から前記印を構成する画素を、前記印の周囲の画素で置換して学習用画像を生成する請求項６記載の機械学習装置。
【請求項９】
前記作成部は、
入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、欠陥があることを表すＮＧの値を保持するラベルと、前記印をマスクするマスク画像と、からなる学習データを作成する請求項１記載の機械学習装置。
【請求項１０】
前記マスク画像は、前記印を構成する画素を１、前記印以外の画素を０とした画像である請求項９記載の機械学習装置。
【請求項１１】
前記画像入力部は、欠陥を示す印がマーキングされた検査対象物を、前記印が見える波長の光で照明した状態で撮像して得られたマーキング画像と前記印が見えない波長の光で照明した状態で撮像して得られた学習用画像とを入力し、
前記作成部は、前記マーキング画像から取得した欠陥の情報と、前記学習用画像と、からなる学習データを作成する請求項１に記載の機械学習装置。
【請求項１２】
請求項１から１１のいずれか１項に記載の機械学習装置と、
前記機械学習装置が作成した学習データを記憶する記憶部と、を備えた検査装置であって、
前記機械学習装置は、前記記憶部が記憶する学習データで学習した学習部であって、前記画像入力部が入力した前記検査対象物の画像に基づき欠陥の判断結果を出力する学習部を備える検査装置。
【請求項１３】
請求項１１に記載の機械学習装置と、
前記機械学習装置が作成した学習データを記憶する記憶部と、を備えた検査装置であって、
前記画像入力部は、欠陥を示す前記印が見えない波長の光で照明した状態で撮像して得られた画像を入力し、
前記機械学習装置は、前記記憶部が記憶する学習データで学習した学習部であって、前記画像入力部が入力した前記検査対象物の画像に基づき欠陥の判断結果を出力する学習部を備える検査装置。
【請求項１４】
機械学習に用いる学習データを作成する機械学習方法であって、
欠陥を示す印がマーキングされた検査対象物を撮像して得られた画像を入力するステップと、
前記入力した画像に基づき前記学習データを作成するステップと、を含み、
前記学習データを作成するステップは、
入力した前記画像中に前記印がない場合は、入力した前記画像そのものである学習用画像と、欠陥がないことを表すＯＫの値を保持するラベルと、からなる学習データを作成するステップと、
入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、欠陥があることを表すＮＧの値を保持するラベルと、からなる学習データを作成するステップと、を含む機械学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習装置及び機械学習方法に関する。特に、機械学習のための学習データを効率的に生成することができる機械学習装置及び機械学習方法に関する。また、この機械学習装置及び機械学習方法を利用した検査装置に関する。
【背景技術】
【０００２】
従来、検査対象物の画像を視覚センサで取得し、取得した画像を画像処理にて検査を行うシステムが知られている。画像処理にて検査対象物の検査を行う場合、機械学習の手法を用いて、ＯＫ（良品）、ＮＧ（何からの欠陥が見いだされたいわゆる不良品）の判別を行う方法がある。
【０００３】
この機械学習を行うためには、検査対象物の画像と、その画像に写っている検査対象物がＯＫなのかＮＧなのかを指定するラベルと、からなる学習データが必要となる。このように、検査対象物の画像と、「ＯＫ」又は「ＮＧ」の値を有するラベルと、の学習データの組を数多く準備すれば、それら学習データの組を用いて機械学習を行うことができる。その後、機械学習した内容に基づき、検査対象物の新たな入力画像に対して、（機械学習を行った）機械学習装置がＯＫ、ＮＧを判別できるようになる。
【０００４】
機械学習を行う前にはＯＫ、ＮＧの判断は人間が行うことが多く、その判断結果は上述した学習データとして用いられる。また、機械学習をした後であっても機械学習装置が誤判定をすることがあるため、その訂正は人間が行う必要がある。
【０００５】
このような場合において、人間が行った判断や訂正を、機械学習を行う装置等に提供する必要がある。提供の一つの方法として、視覚センサで得た検査対象物の画像上で、人間がＯＫ、ＮＧのラベル付けを行うことが考えられる。その結果、検査対象物の画像と、「ＯＫ」又は「ＮＧ」の値を有するラベルと、の組が容易に得られる。この種の技術に関するものとして、特許文献１〜２が挙げられる。
【０００６】
特許文献１には、被検査物の表面検査装置において、被検査面の撮像を行う位置について学習を行う技術が開示されている。この学習とは、撮像する順番と撮像位置の関連付けを行うことである。すなわち、この特許文献１には、機械学習は示されていない。
【０００７】
特許文献２には、検査員が目視にて車体の塗装を検査し、欠陥箇所にマーキングを付ける技術が開示されている。下流工程でマーキングを付けた個所を検出し、そこを欠陥部位として研磨を行う。この特許文献２では、マークを付けた箇所に対して修正処理を行っている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１４３５７号公報
【特許文献２】特開平５−１９６４４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、人間がＯＫ、ＮＧの判断をする場合には、実際の検査対象物（実ワーク）を見てＯＫ、ＮＧを判断することが多い。このように実際に人間が検査対象物を見た後で、さらに画像を見てＯＫ、ＮＧのラベル付けを行うことは、煩雑な作業と言える。ここで、例えば、以下の二つのケースを考える。
（Ａ）対象物が映った画像中で、人間がその画像を見ながら欠陥の箇所を指定する。
（Ｂ）対象物の各部位を分割して複数枚の画像を取得し、人間がその複数枚の画像の中から欠陥が映っている画像を探し出し、その画像にＮＧのラベルを付ける。
【００１０】
（Ａ）のケースでは、まず人間が実際の検査対象物上で欠陥を見つけた後、人間が再度視覚センサで得た画像から欠陥部分に対応する箇所を探し出し、その画像上で欠陥部位を指定するとともにＮＧラベルを付与する。しかしながら、実際の検査対象物上で欠陥部位を見つける作業と、画像上で欠陥部位を探す作業との二度の手間が必要となり、煩雑な作業となりがちである。
【００１１】
（Ｂ）のケースでは、まず人間が実際の検査対象物上で欠陥を見つけた後、人間がその欠陥部位に対応する画像を複数枚の画像の中から探し出し、その画像に対してＮＧラベルを付与する。したがって、実際の検査対象物上で欠陥部位を見つける作業と、その欠陥部位を含む画像を探す作業との二度の手間が必要となり、煩雑な作業となりがちである。また、画像の数が多い場合は、それに比例して作業量は大きなものとなる。
【００１２】
以上の通り、人間が検査対象物を見て発見した欠陥をそのまま利用して機械学習のための学習データに利用できればよいが、そのような技術は未だ知られていないのが現状である。
【００１３】
本発明は、機械学習のための学習データをより効率的に作成することができる機械学習装置及び機械学習方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明者らは、上記目的を達成するために、下記のような原理を鋭意研究した。
まず、検査員が、実際の検査対象物上の欠陥部分に特定の印をマーキングする。上記従来の画像処理を用いて検査する場合と同様の手法で、画像を撮像し、上記印をマーキングした検査対象物の画像を取得する。取得した画像から特定の印を探し出し、印がマーキングされている部分を欠陥として登録する。欠陥として登録する場合は、その画像にＮＧのラベルを付与して登録することもできる。
【００１５】
このような原理によって、機械学習に利用することができる学習データを得ることができる。ここで、学習データは、機械学習用の画像（「学習用の画像」と呼ぶ）と、ＮＧ又はＯＫの値を保持するラベルと、を少なくとも含むデータである。この場合、検査対象物にマーキングされた印は、機械学習用の画像から除去されていてもよい。
【００１６】
また、本発明者らは、印の除去の仕組みについて、例えば下記のような処理を検討した。
除去手法１としては、検査対象物にマーキングする印として、特定の形状や、特定の色を用いた印を利用する。この場合、画像中に特定の形状や特定の色の印があれば、それを画像処理で取り除くことによって、その画像を学習用の画像として用いることができる。また、画像中に特定の形状や色の印があれば、機械学習中にその部分を使わないようにすることもできる。
【００１７】
また、除去手法２としては、検査対象物に対して、蛍光塗料を用いて印をマーキングする。例えば、可視光下では、無色透明であるが、紫外線下では、蛍光を発するような蛍光塗料を用いることができる。検査員が、このような蛍光塗料を用いて検査対象物に印をマーキングした後、検査・学習用の画像は可視光照明で撮像し、印が画像に写らないようにして取得することができる。また、欠陥の検出用の画像は、紫外光照明で撮像し、印が画像に写るようにして取得することができる。
【００１８】
本発明は、具体的には下記のような構成を採用する。
（１）本発明は、機械学習に用いる学習データを作成する機械学習装置（例えば、後述の機械学習装置４０）であって、欠陥を示す印がマーキングされた検査対象物(例えば、後述の検査対象物１２)を撮像して得られた画像を入力する画像入力部（例えば、後述の画像入力部４２）と、前記入力した画像に基づき前記学習データを作成する作成部（例えば、後述の作成部４４）と、を備え、前記作成部は、入力した前記画像中に前記印がない場合は、入力した前記画像そのものである学習用画像と、欠陥がないことを表すＯＫの値を保持するラベルと、からなる学習データを作成し、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、欠陥があることを表すＮＧの値を保持するラベルと、からなる学習データを作成する機械学習装置に関する。
【００１９】
（２）  （１）記載の機械学習装置において、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、前記印で示された欠陥の位置と、前記ＮＧの値を保持するラベルと、からなる学習データを作成してよい。
【００２０】
（３）  （１）記載の機械学習装置において、欠陥を示す前記印は、前記欠陥の種類に応じて異なる印であり、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、前記印で示された欠陥の種類と、ＮＧの値を保持するラベルと、からなる学習データを作成してよい。
【００２１】
（４）  （３）記載の機械学習装置において、前記欠陥には、前記検査対象物の傷、汚れ及び欠けを含めてよい。
【００２２】
（５）  （３）記載の機械学習装置において、前記異なる印は、互いに反射光波長が異なる印であってよい。
【００２３】
（６）  （１）記載の機械学習装置において、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された画像から、前記印を除去して学習用画像を生成し、生成した前記学習用画像と、前記ＮＧの値を保持するラベルと、からなる学習データを作成してよい。
【００２４】
（７）  （６）記載の機械学習装置において、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像から前記印で示された領域の内側のみを切り抜いて学習用画像を生成してよい。
【００２５】
（８）  （６）記載の機械学習装置において、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像から前記印を構成する画素を、前記印の周囲の画素で置換して学習用画像を生成してよい。
【００２６】
（９）  （１）記載の機械学習装置において、前記作成部は、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、欠陥があることを表すＮＧの値を保持するラベルと、前記印をマスクするマスク画像と、からなる学習データを作成してよい。
【００２７】
（１０）  （９）記載の機械学習装置において、前記マスク画像は、前記印を構成する画素を１、前記印以外の画素を０とした画像でよい。
【００２８】
（１１）  （１）記載の機械学習装置において、前記画像入力部は、欠陥を示す印がマーキングされた検査対象物を、前記印が見える波長の光で照明した状態で撮像して得られたマーキング画像と前記印が見えない波長の光で照明した状態で撮像して得られた学習用画像とを入力し、前記作成部は、前記マーキング画像から取得した欠陥の情報と、前記学習用画像と、からなる学習データを作成してよい。
【００２９】
（１２）  （１）から（１１）のいずれかに記載の機械学習装置と、前記機械学習装置が作成した学習データを記憶する記憶部と、を備えた検査装置であって、前記機械学習装置は、前記記憶部が記憶する学習データで学習した学習部であって、前記画像入力部が入力した前記検査対象物の画像に基づき欠陥の判断結果を出力する学習部を備えてよい。
【００３０】
（１３）  （１１）に記載の機械学習装置と、前記機械学習装置が作成した学習データを記憶する記憶部と、を備えた検査装置であって、前記画像入力部は、欠陥を示す前記印が見えない波長の光で照明した状態で撮像して得られた画像を入力し、前記機械学習装置は、前記記憶部が記憶する学習データで学習した学習部であって、前記画像入力部が入力した前記検査対象物の画像に基づき欠陥の判断結果を出力する学習部を備えてよい。
【００３１】
（１４）本発明は、機械学習に用いる学習データを作成する機械学習方法であって、欠陥を示す印がマーキングされた検査対象物を撮像して得られた画像を入力するステップと、前記入力した画像に基づき前記学習データを作成するステップと、を含み、前記学習データを作成するステップは、入力した前記画像中に前記印がない場合は、入力した前記画像そのものである学習用画像と、欠陥がないことを表すＯＫの値を保持するラベルと、からなる学習データを作成するステップと、入力した前記画像中に前記印がある場合は、入力した前記画像を元に生成された学習用画像と、欠陥があることを表すＮＧの値を保持するラベルと、からなる学習データを作成するステップと、を含む機械学習方法に関する。
【発明の効果】
【００３２】
本発明によれば、マーキングされた画像に基づき学習用データを作成することができる機械学習装置、機械学習方法を提供することができる。よって、学習用データの作成をより効率的に実行することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態の検査装置１０を利用して検査対象物１２を検査する様子を示す説明図である。
【図２】本発明の実施形態の検査装置１０の構成図である。
【図３】本発明の実施形態において、学習データに新たな学習用画像とラベルのペアを追加する手順を表すフローチャートである。
【図４】検査対象物１２に対して印２２をマーキングした様子を示す説明図である。
【図５】ロボット５０がそのハンド５２を用いて検査対象物１２を把持し、検査対象物１２の位置姿勢を変えられるように構成した場合の説明図である。
【図６】ロボット５０のアーム（やハンド５２）の先端に視覚センサ１４を設置し、視覚センサ１４の位置姿勢を変えられるように構成した場合の説明図である。
【図７】撮像した画像２４の説明図である。
【図８】複数の画像を撮像した場合の様子を示す説明図である。
【図９】印２２の内側のみを切り抜いて学習用画像とする場合の説明図である。
【図１０】印２２の部分の画素を周囲の画素の情報を使って置き換えた画像を学習用画像とする場合の説明図である。
【図１１Ａ】可視光照明で撮像し、欠陥２０のみが映った画像の様子を示す説明図である。
【図１１Ｂ】紫外線照明のみで撮像し、印２２のみが映った画像の様子を示す説明図である。
【図１２】欠陥２０と重畳して印２２がマーキングされている様子を示す説明図である。
【図１３Ａ】印２２をそのまま残して学習用画像として用いた例を示す説明図である。
【図１３Ｂ】印２２の部分の画素値だけを１、それ以外の画素値を０とするマスク画像の例を示す説明図である。
【発明を実施するための形態】
【００３４】
以下、本発明の実施形態について、図面を参照しながら説明する。
［検査装置］
図１は、検査対象物を検査する検査装置１０を利用して検査対象物１２を検査する様子を示す説明図である。同図に示すように、検査装置１０には、検査対象物１２を撮像する視覚センサ１４が接続されている。視覚センサ１４は、検査対象物１２を撮像し、その画像を検査装置１０に提供する。また、検査対象物１２は、加工等を行う作業台１６の上に載置されている。検査装置１０は、視覚センサ１４から提供された画像に基づき、検査対象物１２に欠陥があるか否かを検査し、その結果を外部に出力する。視覚センサ１４は、検査対象物１２を撮像できるカメラであればどのような装置でもよい。
【００３５】
検査装置１０は、画像に基づき検査対象物１２の欠陥の有無を判断する装置である。このような機能を実現するため、検査装置１０は、いわゆる機械学習を行い、その学習結果に基づき、画像に対してその画像の検査対象物１２に欠陥があるか否かを判断する。
【００３６】
例えば、検査装置１０は、図２のような構成を採用してよい。
図２に示すように、検査装置１０内の機械学習装置４０は、記憶部３３に記憶された学習データ群に基づいて入力した画像データ（学習用画像）とラベル（ＯＫ又はＮＧ）からＯＫ、ＮＧを適切に判別するための判断結果を出力するように機械学習を行って学習モデルを取得することができる。学習データは、本実施形態では、少なくとも学習用画像と、欠陥の有無を表すラベルと、から構成される。これら学習データに基づき、学習部４６は学習を行い、学習モデルを形成する。
【００３７】
学習部４６から取り出される出力が推定の対象となる判断結果に一致するように機械学習装置４０の学習部４６に入力と出力との関係を学習させておくことによって、画像入力部４２から入力した画像データに応じて判断結果を推定することができる。本実施形態では、例えば多層ニューラルネットワークを含むニューラルネットワークにより構築された学習モデルに従って（学習部４６において）機械学習が行われる。入力層、出力層、そして中間層を含むニューラルネットワークにより構築された学習モデルは適宜の方式を用いることができる。例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｗｒａｌ  Ｎｅｔｗｏｒｋ）を適用することもできる。
【００３８】
学習した後、学習部４６は、画像入力部４２が入力した画像について、学習モデルに基づき所定の判断を行い、判断結果を出力する。本実施形態においては、判断結果は、例えばＯＫ（欠陥なし）、ＮＧ（欠陥あり）であってよい。学習データは、学習用画像と、その学習用画像から得られるべきラベルと、のペア（組）の集合であるが、他の情報を含んでいてもよい。
【００３９】
この学習データは記憶部３３に記憶されており、学習部４６はこれを用いて学習する。学習データを数多く準備して機械学習装置４０の学習部４６に学習させればよいが、上述したように、学習データを作成することは煩雑な作業が多く、人間の負担が大であった。そこで、本実施形態では、学習データの効率的な作成手法を提案する。この作成手法を実現するために、本実施形態の機械学習装置４０は、マーキングされた画像に基づき学習データを作成する作成部４４を備えている。この作成部４４は、画像入力部４２から入力したマーキングされた画像に基づき、学習データを作成して、記憶部３３に記憶させる。その後、学習部４６が、記憶部３３に格納されている学習データに基づき学習を行うことができる。
【００４０】
［学習データの作成］
図３には、学習データに新たな学習用画像とラベルのペアを追加する手順を表すフローチャートが示されている。
ステップＳ３−１において、検査員は、検査対象物１２の検査を目視で行う。
【００４１】
ステップＳ３−２において、検査員は、欠陥を見つけたときには、その欠陥部位にマーキングを行う。
このマーキングの様子が図４に示されている。マーキングは、所定の印（マーク）２２を検査対象物１２の欠陥２０の部位を示すための所定の印（マーク）２２を、その部位に付すこと（マーキングすること）で行われる。図４に示すように、検査員は、検査対象物１２の表面を、目視で検査し、見つけた欠陥２０の部位を示すように印２２を、検査対象物１２に対して付する（マーキングする）。印２２は、文字通り欠陥２０の部位を示すマークであり、例えば所定の塗料を、欠陥２０を囲むようにペイントすることによって、マーキングが行われる。所定の色彩のペンで例えば矩形を描いてもよいし、丸を描いてもよい。ペン以外でも、スタンプ、筆、刷毛、スプレー等種々の手段を使用することができる。また、上では「塗料」としたが、各種顔料、染料、等を用いることができる。また、可視光では透明の塗料ではあるが、紫外線に反応し所定の蛍光を発するような蛍光塗料を用いてもよい。このような塗料を用いれば、通常は肉眼では印２２が付されたことを認識できないので、検査対象物１２の外観を損なうことなく、欠陥の有無を認識することができる。また、他の波長の光に反応する他の蛍光材料を含む塗料を用いてもよい。
【００４２】
図４では、説明の都合上、破線で印２２が表されているが、所定の色彩のペンで検査対象物１２の表面の欠陥２０を囲むように所定の色彩を付してもよい。このように、所定の色彩を印２２として使用することができる。また、所定の形状を印２２として使用してもよい。例えば、矩形の図形、星形等、種々の形状を印２２として使用することができる。矩形の図形で欠陥２０を囲むことや、欠陥２０の部位の上に星形を描いてもよい。画像上で他の区別しやすい色彩や形状であれば、どのような色彩・形状を印２２として用いてもよい。
【００４３】
また、欠陥の種類に応じてマーキングする印２２の種類を変更してもよい。例えば、欠陥の種類に応じて、印２２の形状を変更してもよい。丸、四角、三角、星形等、様々な形状を利用してよい。また、反射光波長が異なるものを印２２として利用してもよい。赤外線を反射しやすい材料を用いた場合や、紫外線を反射しやすい材料を用いた場合、また反射光のスペクトルが互いに異なる種々の材料を検査対象物１２上に塗布して印２２を構成してもよい。
【００４４】
反射光波長が異なる例の一つに、色彩が異なる塗料を用いることが考えられる。例えば、「傷」、「汚れ」、「欠け」、等の種類に応じて、マーキングする印２２の色彩を変更してもよい。例えば、傷の場合は赤色でペイントし、汚れの場合は青色でペイントし。欠けの場合は緑でペイントする等、色彩を変更してもよい。マーキングから得た欠陥の種類の情報を学習データに含めることで、学習部は欠陥の種類を判別することが可能になる。なお、ステップＳ３−２におけるマーキングを検査員が行う例を説明したが、ロボットが実行してもよい。また、生産工程における検査工程で、検査員や検査ロボットが実行してもよい。
【００４５】
ステップＳ３−３において、検査員は、視覚センサ１４の視野に検査対象物１２を設置する。そして、視覚センサ１４を制御して、欠陥箇所の撮像を行う。この様子は、例えば、図１で説明した通りである。なお、図５に示すように、ロボット５０がそのハンド５２を用いて検査対象物１２を把持し、検査対象物１２の位置姿勢を変えられるように構成してもよい。この場合、検査装置１０は、ロボット制御装置５４を用いてロボット５０及びそのハンド５２を制御して検査対象物１２を所望の位置姿勢に制御することができる。また、図５に示す例では、検査対象物１２を動かしているので、視覚センサ１４の位置姿勢は固定であり、照明１５も固定である例を示している。
【００４６】
この図５の例において、検査対象物１２の任意の検査箇所を撮像する場合には、ロボット５０が検査対象物１２を把持して移動させる。この結果、視覚センサ１４は検査対象物１２の各検査箇所の撮像を行うことができる。
また、図６に示すように、ロボット５０のアーム（やハンド５２）の先端に視覚センサ１４を設置し、視覚センサ１４の位置姿勢を変えられるように構成してもよい。そして、検査をするときと同じように検査対象物１２の撮像を行う。
この場合、検査装置１０は、ロボット制御装置５４を用いてロボット５０及びそのハンド５２を制御して視覚センサ１４を所望の位置姿勢に制御することができる。また、図６に示す例では、視覚センサ１４側を動かしているので、検査対象物１２の位置姿勢は固定であり、図１と同様に検査対象物１２を作業台１６上に載置している。
この図６の例においては、検査対象物１２の任意の検査箇所を撮像する場合には、ロボット５０がそのハンド５２上の視覚センサ１４を、検査対象物１２の表面上を移動させて、検査対象物１２の各検査箇所の撮像を行う。
【００４７】
このようにして、ステップＳ３−３において視覚センサ１４による検査の時と同様に撮像を行うが、この撮像を行った際の画像２４の説明図が図７に示されている。撮像して得られた画像２４中に印（マーク）２２が含まれている場合の例が図７である。図７では、撮像して得られた画像２４中に印（マーク）２２が含まれている場合の例を示すが、欠陥がない場合は、撮像して得られた画像２４中に印（マーク）は表れない。
また、図５や図６の構成によれば、検査対象物１２又は視覚センサ１４のいずれかを動かすことによって、複数の検査箇所の撮像を行うことができる。複数の画像を撮像した場合の様子が図８に示されている。図８の例では。画像２４ａ、２４ｂ、２４ｃ、２４ｄの４枚の画像がオーバーラップしながら撮像されている様子が示されている。
図５では、視覚センサ１４の出力データは、ロボット制御装置５４を介して検査装置１０に接続されている。また、図６では、視覚センサ１４の出力データは、直接検査装置に接続されている。このようにして、視覚センサ１４が撮像した画像は、検査装置１０に供給され、検査装置１０内の機械学習装置４０（の作成部４４）が処理を行う。この処理の詳細は次のステップＳ３−４において説明する。
【００４８】
ステップＳ３−４において、撮像された画像から印（マーク）２２を検出し、印２２が存在すれば、その画像に対してＮＧのラベルを紐付ける。例えば、図８の画像２４ａの場合は、印２２が存在するので、ＮＧのラベルが紐付けられる。また、例えば図８の画像２４ｄのように、印がない場合は、その画像に対してＯＫのラベルが紐付けられる。
またさらに、その画像に対して欠陥の位置やサイズ等の情報を紐付けてもよい。このようにして、機械学習のための学習データが作成される。学習データは、少なくとも、画像（例えば、上述した画像２４ａ、２４ｂ、２４ｃ、２４ｄ）と、それら画像に対して紐付けたラベル（ＯＫ又はＮＧの値を保持する）と、を含むデータである。この学習データには、欠陥の様々な情報を含めてもよい。上述した欠陥の位置やサイズの他、欠陥の種類等様々な情報を含めてもよい。この学習データを構成する上記画像が学習用画像である。ここでは、撮像して入力した画像そのものを学習用画像としてそのまま使用する。このように、入力した画像を元にして生成された画像を学習用画像として使用してよい。入力した画像を元にして生成された画像とは、入力した画像そのものを含み、その他に例えば、印２２の除去、トリミング、拡大等の各種の画像処理を施した画像も含む意味である。
【００４９】
上述したように、欠陥の種類に応じて印が変更されてマーキングされている場合は、それに応じた欠陥の種類を学習データとして含めてよい。
このステップＳ３−４の上記処理は、検査装置１０内の機械学習装置４０（の作成部４４）が実行する。具体的には、機械学習装置４０は、視覚センサ１４が撮像した画像を、画像入力部４２を介して入力する。画像入力部４２は、例えばコンピュータの外部入力インターフェース等を利用することができる。
この機械学習装置４０の学習部４６は、記憶部３３中の学習データに基づき学習を行ってその学習結果（学習モデル）に基づいて、入力された画像に対して欠陥があるか否かの判断を行う。
本実施形態の機械学習装置４０において特徴的なことは、与えられた画像に基づき自分で学習データを作成し、それに基づいて学習を行う動作モードを備えていることである。したがって、従来、人間が学習データを作成していたのに比べて、人間の労力を軽減させることが可能である。
【００５０】
従来の機械学習装置４０は、学習データ（例えば、画像とラベル）を与えられて、それに基づき学習を行う学習モードと、学習した結果に基づき、画像についても所定の判断を行う判断モードと、の２種の動作モードを備えている。これに対して、本実施形態における機械学習装置４０は、上記２種のモードに加えて、マーキングされた画像を含む画像群を入力し、学習データを作成する学習データ作成モードの３番目の動作モードを有している。この３番目の学習データ作成モードにおいては、作成部４４が上述したステップＳ３−４の処理を実行し、学習データを作成する。作成した学習データはそのまま記憶部３３に格納してもよいが、次に説明するステップＳ３−５の処理を施してから、記憶部３３に格納してもよい。
【００５１】
ステップＳ３−５において、機械学習装置４０の作成部４４は、画像に印２２が付されていた場合、その画像から所定の手段で印２２を除去してもよい。印２２の種類にも依存するが、印２２がマーキングされた画像を学習データとしてそのまま用いて学習を実行すると、印２２がついているものをＮＧとして学習する可能性が高い。その結果、印２２が付されていない画像を誤判断してしまう場合がある。つまり、実際の検査の段階では、検査対象物１２に印２２がマーキングされていないので、マーキングされていない画像を学習データとして学習するべきである。そこで、印２２が画像にある場合は、その画像から印２２を除去した（＝印２２が写っていない）画像を学習データに含まれる学習用画像として利用することが望ましい。このような印２２の除去は、機械学習装置４０の作成部４４が実行することができる。
【００５２】
ステップＳ３−６において、機械学習装置４０の作成部４４は、当該画像を学習用画像として、当該画像に紐付けられたラベルとともに、学習データとして利用する。つまり、既存の学習データに、ラベルと学習用画像のペアを追加する。追加した学習用画像とそのラベルとは、記憶部３３に格納される。また、複数の検査箇所を撮像したときには、複数の学習データのペアが追加されることになる。
【００５３】
［機械学習］
さて、学習のための十分な数の学習用画像とラベルのペア（学習データ）が作成された場合、学習用画像を入力、ラベルを教師データとして学習を行うことができる。機械学習装置４０は、文字通り機械学習を行う装置であるので、従来と同様に学習を実行することができる。機械学習装置４０の構成はすでに図２に示されている。既に学習がある程度進んでいる学習部４６に追加学習させてもよい。本実施形態では、学習部４６の学習が完了したら、学習部４６を検査で使用することができる。すなわち、学習（学習モード）が終了した後は、上述した判断モードで使用することができる。
【００５４】
本実施形態における検査装置１０は、学習済みの学習部４６を用いて、この学習部４６に、画像入力部４２を新たな画像（検査で撮像された画像）を入力すると、ＯＫ（欠陥なし）／ＮＧ（欠陥あり）の判別を行わせることができる。また、欠陥である確率を求めさせること、欠陥位置を求めさせること、等を行わせることもできる。これは、学習の教師データ（ラベル）として何を用いたかによって出力するものも変わってくるためである。上述した例では、ラベルとして、ＯＫ／ＮＧを用いる例を説明したが、その場合は学習部４６はＯＫ／ＮＧを出力する。教師データとして、欠陥である確率や、欠陥の位置を用いれば、学習部４６は、欠陥である確率や欠陥の位置を出力する。
なお、学習した結果である学習モデルは、他の機械学習装置４０の学習部４６で共有してもよい。すなわち、学習を行わせる学習部４６は１台のみで、学習した結果を、他の機械学習装置４０でそのまま流用し共有してもよい。
【００５５】
［印（マーク）の除去］
上述した図３の例では、ステップＳ３−５において、印２２（マーク）を除去する例を説明したが。印２２を除去する手法は種々存在する。以下では画像から印２２を除去する方法を説明する。
【００５６】
（方法１）
図４のように矩形にペイントすることによってマーキングされた場合は、印２２の内側のみを切り抜いて学習用画像とすることができる。この様子が図９に示されている。この処理は、上述した作成部４４が、ステップＳ３−５において実行する処理である。ある境界（ここでは、印２２）で囲まれた領域を、その境界（印２２）を含まないように選択することは、画像処理の一種として知られているので、作成部４４がそのような画像処理を行って、学習用画像を作成すればよい。
【００５７】
（方法２）
印２２の部分を構成する画素を、その周囲の画素の情報を使って置き換え（周囲の画素で置換し）たものを学習用画像とすることができる。この様子が図１０に示されている。この処理は、上述した作成部４４が、ステップＳ３−５において実行する処理である。ある領域（ここでは、印２２）を、その境界の周囲の画素で置き換えることによって、消滅させることは、画像処理の一種として知られているので、作成部４４がそのような画像処理を行って、学習用画像を作成すればよい。印２２の領域であるかどうかは、その形状、色彩などから判別することができる。
【００５８】
（方法３）
特定の波長の光をあてたときにのみ見える特殊な塗料でマーキングすることができる。ここでは紫外線をあてたときにのみ(蛍光が発せられて)見える塗料を用いてマーキングする例を説明する。この塗料は、可視光的には透明であり、自然光の下では、見えない(透明）塗料である例を説明する。
本実施形態における紫外線は、請求の範囲の印２２が見える波長の光の好適な一例であるが、他の種類の塗料であれば、他の波長の光が用いられてもよい。本実施形態における可視光は、請求の範囲における印２２が見えない波長の光の好適な一例であるが、他の種類の塗料であれば、他の波長の光を用いてもよい。
この場合、画像を撮像するときに、可視光照明を当てて撮像を行い、次に紫外線照明をあてて撮像を行う。それにより、可視光照明で撮像した場合は、図１１Ａのように欠陥のみが映った画像が得られる。他方、紫外線照明のみで撮像した場合は、図１１Ｂのように印２２のみが映った画像が得られる。ここで、検査対象物１２は、紫外線に対して発光するような部位はないものとする。
したがって、印２２の検出は紫外線照明をあてた画像（図１１Ｂ）で行い、学習用画像としては可視光照明をあてた画像（図１１Ａ）を利用することができる。このような処理も人間が手作業で照明１５を調整して実行してもよいし。検査装置１０が照明１５を制御して順にそれぞれの画像を撮像してもよい。このような方法をとることができれば、図１２に示すように、欠陥２０の上に印２２を重畳してマーキングすることでき、欠陥の位置、形状等の情報をより正確に表すこと(表現すること)ができる。図１２では、欠陥２０と重ねて印２２がマーキングされている。
【００５９】
（方法４）
図３で説明したステップＳ３−５では、印２２を除去して学習用画像を作成したが、学習用画像から印２２を除去するのではなく、学習時に印２２が存在することを考慮する方法も考えられる。
まず、印２２をそのまま残した画像を学習用画像として用いる。このような学習用画像の例が図１３Ａに示されている。
印２２の存在も学習部４６に与えるため、印２２のみを含むマスク画像を作成する。画像から印２２を検出するときに、印２２の部分の画素値だけを１、それ以外の画素値を０とするマスク画像を生成する。このようなマスク画像が図１３Ｂに示されている。
学習時には、学習用画像（図１３Ａ）とともに、マスク画像（図１３Ｂ）も学習部４６に入力することによって、学習部４６が印２２の存在を考慮して学習することができる。そのようにする場合には、欠陥がない検査対象物１２にも印２２をつけて、ラベルはＯＫとしたものを学習部４６に入力する必要がある。そのようにすることで、印２２がついていても直ちにＮＧとは判断しないようにできる。
【００６０】
なお、特許文献２との本実施形態との相違点を説明する。本実施形態では上述するように印２２を付けた箇所を学習用画像の欠陥部位の特定に用いている。これに対して特許文献２には、このような学習用画像について印２２をマーキングする事項は開示されていない。また、本実施形態では上述したように、印２２を付けた箇所を画像から除去するような処理を実行する場合もある。しかしながら、特許文献２には、このような印２２部分を除去するような画像処理も開示されていない。
【００６１】
以上、本発明の実施形態について詳細に説明したが、前述した実施形態は、本発明を実施するにあたっての具体例を示したに過ぎない。本発明の技術的範囲は、前記実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の変更が可能であり、それらも本発明の技術的範囲に含まれる。
【符号の説明】
【００６２】
１０  検査装置
１２  検査対象物
１４  視覚センサ
１５  照明
１６  作業台
２０  欠陥
２２  印(マーク)
２４  画像
３３  記憶部
４０  機械学習装置
４２  画像入力部
４４  作成部
４６  学習部
５０  ロボット
５２  ハンド
５４  ロボット制御装置
【図１】
2019015654.tif 000003
【図２】
2019015654.tif 000004
【図３】
2019015654.tif 000005
【図４】
2019015654.tif 000006
【図５】
2019015654.tif 000007
【図６】
2019015654.tif 000008
【図７】
2019015654.tif 000009
【図８】
2019015654.tif 000010
【図９】
2019015654.tif 000011
【図１０】
2019015654.tif 000012
【図１１Ａ】
2019015654.tif 000013
【図１１Ｂ】
2019015654.tif 000014
【図１２】
2019015654.tif 000015
【図１３Ａ】
2019015654.tif 000016
【図１３Ｂ】
2019015654.tif 000017