(57)【要約】      （修正有）【課題】学習に時間をかけずに、指定した寸法によって被検査物を分類できる傷検査装置を提供する。【解決手段】被検査物Ｏの表面を撮影して取得された画像が入力され、入力された画像に基づいて被検査物Ｏの表面における傷の有無の判別と傷と判断される部位の特定とを行う深層学習部３１と、深層学習部３１により特定された部位の画像を処理して傷の寸法を計測する寸法計測部３２と、寸法計測部３２により計測された傷の寸法に基づいて、傷の分類を行う傷分類部３３とを備える傷検査装置１である。【選択図】図１
2020134187.tif 000002
【特許請求の範囲】
【請求項１】
被検査物の表面を撮影して取得された画像が入力され、
入力された前記画像に基づいて前記被検査物の表面における傷の有無の判別と前記傷と判断される部位の特定とを行う深層学習部と、
該深層学習部により特定された前記部位の前記画像に基づいて、前記傷の寸法を計測する寸法計測部と、
該寸法計測部により計測された前記傷の寸法に基づいて、前記傷の分類を行う傷分類部とを備える傷検査装置。
【請求項２】
前記寸法計測部が、前記深層学習部において、前記傷の有無の判別に用いた画素値を２値化して得られた２値化画像において、前記傷の長さまたは面積の少なくとも１つを計測する請求項１に記載の傷検査装置。
【請求項３】
前記寸法計測部が、前記画像における前記傷のエッジを抽出し、抽出された前記エッジに基づいて、前記傷の長さまたは面積の少なくとも１つを計測する請求項１に記載の傷検査装置。
【請求項４】
入力される前記画像が２次元画像および３次元画像であり、
前記深層学習部が、前記２次元画像に基づいて、前記被検査物の表面における前記傷の有無の判別と前記傷と判断される前記部位の特定とを行い、
前記寸法計測部が、前記３次元画像に基づいて、前記深層学習部により特定された前記部位における前記傷の深さを計測する請求項１に記載の傷検査装置。
【請求項５】
前記傷分類部により分類された各前記傷に、前記寸法計測部により計測された前記傷の寸法を対応付けて記憶する記憶部を備える請求項１から請求項４のいずれかに記載の傷検査装置。
【請求項６】
被検査物の表面を撮影して取得された画像が入力され、
入力された前記画像に基づいて前記被検査物の表面における傷の有無の判別と前記傷と判断される部位の特定とを行い、
特定された前記部位の前記画像に基づいて前記傷の寸法を計測し、
計測された前記傷の寸法に基づいて、前記傷の分類を行う傷検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、傷検査装置および方法に関するものである。
【背景技術】
【０００２】
ニューラルネットワークによる深層学習を用いて被検査物の検査を行う自動検査装置が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−７６９９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
深層学習を用いて被検査物の傷の検査を行う場合、深層学習によって定義された抽象的な傷の特徴を基準として良否判定が行われるため、傷の長さあるいは深さ等の具体的な情報は用いられない。
しかしながら、検査によっては、指定した長さ未満あるいは深さ未満の傷については補修を行い、指定した長さ以上あるいは深さ以上の傷がある被検査物は交換する等の処理を行いたい場合がある。
【０００５】
このような判断を深層学習によって行う場合には、学習段階において数多くの傷の長さあるいは深さ等の傷の寸法を測定する必要があり、学習作業が煩雑で時間がかかる。
したがって、学習に時間をかけずに、指定した寸法によって被検査物を分類できることが望まれている。
【課題を解決するための手段】
【０００６】
本開示の一態様は、被検査物の表面を撮影して取得された画像が入力され、入力された前記画像に基づいて前記被検査物の表面における傷の有無の判別と前記傷と判断される部位の特定とを行う深層学習部と、該深層学習部により特定された前記部位の前記画像に基づいて、前記傷の寸法を計測する寸法計測部と、該寸法計測部により計測された前記傷の寸法に基づいて、前記傷の分類を行う傷分類部とを備える傷検査装置である。
【図面の簡単な説明】
【０００７】
【図１】本開示の一実施形態に係る傷検査装置を示すブロック図である。
【図２】図１の傷検査装置のカメラにより取得された画像の一例を示す図である。
【図３】図２の画像を深層学習部に入力して得られた傷と判別される部位を含む矩形領域を説明する図である。
【図４】図３の矩形領域Ａの傷である確率をグレースケールで示す画像例である。
【図５】図３の矩形領域Ｂの傷である確率をグレースケールで示す画像例である。
【図６】図４の画像を２値化した２値化画像を示す画像例である。
【図７】図５の画像を２値化した２値化画像を示す画像例である。
【図８】図１の傷検査装置を用いた傷検査方法を示すフローチャートである。
【図９】図１の傷検査装置の変形例を示すブロック図である。
【発明を実施するための形態】
【０００８】
本開示の一実施形態に係る傷検査装置１および方法について、図面を参照して以下に説明する。
本実施形態に係る傷検査装置１は、図１に示されるように、被検査物Ｏを撮影するカメラ２と、カメラ２により取得された画像（２次元画像）Ｐ１を処理する画像処理装置３とを備えている。
【０００９】
画像処理装置３は、カメラ２により取得された画像Ｐ１が入力される深層学習部３１と、深層学習部３１から出力された画像から傷の寸法を算出する傷寸法計測部（寸法計測部）３２と、算出された傷の寸法が所定の閾値を超えるか否かにより傷を分類する傷分類部３３と、傷と寸法とを対応付けて記憶する記憶部３４とを備えている。深層学習部３１、傷寸法計測部３２および傷分類部３３はプロセッサにより構成され、記憶部３４はメモリにより構成されている。
【００１０】
深層学習部３１においては、予め取得された多数の被検査物Ｏの画像Ｐ１と該画像Ｐ１における傷の有無の情報とが入力されることにより深層学習が行われ、学習モデルが構築されている。
この学習モデルの構築に使用する情報としては傷があるか否かの情報でよいので、傷の寸法を計測する必要がなく、学習作業は容易である。
【００１１】
深層学習部３１の学習モデルに、カメラ２により取得された画像Ｐ１が入力された場合には、画像Ｐ１上の被検査物Ｏの表面における傷の有無が判別される。図２はカメラ２により取得された画像Ｐ１、図３は、カメラ２により取得された画像Ｐ１において、深層学習部３１により、傷と判断される部位を含む矩形領域Ａ，Ｂの位置情報が特定された画像Ｐ１をそれぞれ示している。
そして、深層学習部３１は、上記矩形領域Ａ，Ｂの各画素における傷である確率の情報を出力する。
【００１２】
傷寸法計測部３２においては、深層学習部３１から出力された情報を用いて、図４および図５に示されるように、傷である確率が高いほど白く、傷である確率が低いほど黒くなる画像Ｐ２，Ｐ３を生成するとともに、図６および図７に示されるように、生成された画像Ｐ２，Ｐ３を所定の閾値によって２値化することにより２値化画像Ｐ４，Ｐ５を生成する。
そして、傷寸法計測部３２は、生成された２値化画像Ｐ４，Ｐ５における白い画素の領域の長手方向および長手方向に直交する方向の長さ寸法、周長および面積の少なくとも１つを算出する。
【００１３】
傷分類部３３は、傷寸法計測部３２において算出された寸法と閾値とを比較する。閾値としては、例えば、補修可能か否かあるいは出荷可能であるか否かを判断するための値であり、任意に設定することができる。
すなわち、所定の閾値未満の長さ寸法、周長あるいは面積を有する傷は補修可能あるいは出荷可能であり、閾値以上の長さ寸法、周長あるいは面積を有する傷は補修不可あるいは出荷不可と分類することができる。
記憶部３４は、分類された傷を傷寸法計測部３２により計測された寸法と対応付けて記憶する。
【００１４】
このように構成された本実施形態に係る傷検査装置１を用いた傷検査方法について以下に説明する。
本実施形態に係る傷検査方法は、図８に示されるように、カメラ２により被検査物Ｏの撮影を行って画像Ｐ１を取得し（ステップＳ１）、取得された画像Ｐ１を深層学習部３１へ入力する。深層学習部３１においては、被検査物Ｏの表面における傷の有無が判別されるとともに（ステップＳ２）、傷と判断された部位が特定される（ステップＳ３）。
【００１５】
ステップＳ２において、傷と判断される部位が存在しない場合には、処理を終了する。傷と判断される部位が存在する場合には、各部位を含む矩形領域Ａ，Ｂについて、傷である確率の情報が傷寸法計測部３２に出力され、傷寸法計測部３２において、傷の長さ寸法、周長および面積の少なくとも１つが算出される（ステップＳ４）。
【００１６】
そして、算出された寸法が閾値以上であるか否かが、傷分類部３３において判定され（ステップＳ５）、閾値未満である場合と閾値以上である場合の２種類の分類Ｘ，Ｙに傷が分類される（ステップＳ６，Ｓ７）。分類された傷には、傷寸法計測部３２において計測された傷の寸法が対応付けられて記憶部３４に記憶される（ステップＳ８）。
そして、全ての矩形領域Ａ，Ｂについて分類が行われていない場合には、次の矩形領域Ａ，ＢについてステップＳ４からの工程が繰り返される（ステップＳ９）。
【００１７】
このように、本実施形態に係る傷検査装置１および方法によれば、カメラ２により取得された画像Ｐ１から深層学習によって傷の有無が判別されるので、傷の定義を明確に行うことなく、傷の有無を判別しその部位を特定することができる。すなわち、深層学習によれば、傷であるか埃等の付着物であるかの学習を容易に行うことができ、入力された画像Ｐ１における傷の有無を容易に判別することができる。
そして、傷が存在すると判別された部位について、傷寸法計測部３２により、画像処理が行われて傷の長さ寸法、周長および面積の少なくとも１つが算出されるので、傷分類部３３により、容易に傷を分類することができる。
【００１８】
この場合において、深層学習において傷であると判別された部位について、画像処理によって傷の寸法を計測するので、深層学習の学習段階においては傷の寸法を用いる必要がなく、簡単にかつ短時間で学習を行うことができるという利点がある。また、計測された寸法が閾値未満の場合に、例えば、出荷可能な傷であると分類する場合には、傷と寸法とを対応付けて記憶部３４に記憶することによって、出荷後のトレーサビリティを向上することができるという利点がある。また、傷の寸法の閾値を変更することで、学習作業をやり直さずに出荷基準の調整が可能であるという利点がある。
【００１９】
なお、本実施形態においては、傷寸法計測部３２において、傷の長さ寸法、周長および面積の少なくとも１つを算出し、算出されたいずれかの寸法を閾値と比較して、傷を２種類の分類Ｘ，Ｙに分類することとした。これに代えて、傷の長さ寸法、周長および面積の全てを算出し、いずれか１つが閾値以上となるか否かによって傷を２種類の分類Ｘ，Ｙに分類してもよい。また、閾値を超える寸法の種類に応じて３種類以上の分類を行ってもよい。
【００２０】
また、本実施形態においては、深層学習部３１から出力された傷である確率を示す情報から生成した画像Ｐ２，Ｐ３を２値化して寸法を計測したが、これに代えて、カメラ２により取得された画像Ｐ１を直接画像処理することにより傷のエッジを抽出し、抽出されたエッジを用いて、傷の長さ寸法、周長および面積の少なくとも１つを算出することにしてもよい。
【００２１】
また、本実施形態においては、カメラ２が２次元画像である画像Ｐ１を取得する場合について説明したが、これに代えて、カメラ２が２次元画像および３次元画像を取得することにしてもよい。図９に示されるように、カメラ２が２次元カメラ２１および３次元カメラ２２の両方を備えていて、切り替えて作動させることにより２次元画像と３次元画像とを取得することにしてもよいし、視差の異なる２つの２次元画像を取得し、両方の２次元画像から３次元画像を合成してもよい。
【００２２】
この場合には、図９に示されるように、深層学習部３１においては２次元画像を用いて傷の有無の判別および部位の特定を行い、傷寸法計測部３２においては３次元画像を用いて傷の深さ寸法を計測することにしてもよい。これにより、傷を分類するための基準として深さ寸法を用いることができる。また、傷寸法計測部３２において、２次元画像および３次元画像の両方を用いて、傷の長さ寸法、周長、面積および傷の深さ寸法の少なくとも１つを傷の分類に用いてもよい。
【００２３】
また、本実施形態においては、３次元カメラ２２を移動させる移動機構を備えていてもよい。このようにすることで、２次元画像から取得した傷の位置情報に基づいて３次元カメラ２２を移動機構によって移動させることにより、２次元カメラ２１より狭い視野の３次元カメラ２２（例えば、視野が狭いが、精度等が優れたもの）を使用することができる。
【符号の説明】
【００２４】
１  傷検査装置
３１  深層学習部
３２  傷寸法計測部（寸法計測部）
３３  傷分類部
３４  記憶部
Ｏ  被検査物
Ｐ１  画像（２次元画像）
【図１】
2020134187.tif 000003
【図２】
2020134187.tif 000004
【図３】
2020134187.tif 000005
【図４】
2020134187.tif 000006
【図５】
2020134187.tif 000007
【図６】
2020134187.tif 000008
【図７】
2020134187.tif 000009
【図８】
2020134187.tif 000010
【図９】
2020134187.tif 000011