(57)【特許請求の範囲】
【請求項１】
検査対象物の画像の全体を複数の第１部分画像に分割する第１分割部と、
前記画像の全体を、前記複数の第１部分画像とは異なる複数の第２部分画像に分割する第２分割部と、
前記複数の第１部分画像を、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像に分類する第１分類部と、
前記複数の第２部分画像を、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像に分類する第２分類部と、
前記異常が含まれていると判定される第１部分画像と、前記異常が含まれていると判定される第２部分画像との重なりに基づいて、前記検査対象物に関する異常の有無を判定する判定部と、を備え、
前記複数の第１部分画像及び前記複数の第２部分画像は、それぞれ第１方向に延伸する第１辺及び前記第１方向と交わる第２方向に沿って延伸する第２辺を有する矩形であり、前記複数の第１部分画像の前記第１辺及び前記第２辺は、それぞれ前記複数の第２部分画像の前記第１辺及び前記第２辺より長い、
検査装置。
【請求項２】
前記判定部は、前記異常が含まれていると判定される第１部分画像と、前記異常が含まれていると判定される第２部分画像とが重畳する場合に、当該重畳箇所に異常が存在すると判定する、
請求項１に記載の検査装置。
【請求項３】
前記判定部は、前記異常が含まれていると判定される第１部分画像と、前記異常が含まれていないと判定される第２部分画像とが重畳する場合又は前記異常が含まれていないと判定される第１部分画像と、前記異常が含まれていると判定される第２部分画像とが重畳する場合に、当該異常が含まれていると判定される第１部分画像又は当該異常が含まれていると判定される第２部分画像の箇所には異常が存在しないと判定する、
請求項１又は２に記載の検査装置。
【請求項４】
前記異常が含まれていると判定される第１部分画像と前記異常が含まれていないと判定される第１部分画像を区別可能に表示し、前記異常が含まれていると判定される第２部分画像と前記異常が含まれていないと判定される第２部分画像を区別可能に表示して、前記画像を表示する表示部をさらに備える、
請求項１から３のいずれか一項に記載の検査装置。
【請求項５】
前記表示部は、前記異常が含まれていると判定される第１部分画像と、前記異常が含まれていると判定される第２部分画像とを区別可能に表示する、
請求項４に記載の検査装置。
【請求項６】
前記複数の第２部分画像それぞれは、前記複数の第１部分画像それぞれよりも小さい、
請求項１から５のいずれか一項に記載の検査装置。
【請求項７】
前記複数の第２部分画像のうち少なくとも２つは、前記複数の第１部分画像のうちいずれか１つと重畳する、
請求項１から６のいずれか一項に記載の検査装置。
【請求項８】
前記第１分割部は、前記複数の第１部分画像が互いに重畳しないように前記画像を分割し、
前記第２分割部は、前記複数の第２部分画像が互いに重畳しないように前記画像を分割する、
請求項１から７のいずれか一項に記載の検査装置。
【請求項９】
前記第１分類部は、異常が含まれている第１部分画像及び異常が含まれていない第１部分画像を学習用データとして学習された、第１学習済みモデルを含み、
前記第２分類部は、異常が含まれている第２部分画像及び異常が含まれていない第２部分画像を学習用データとして学習された、第２学習済みモデルを含む、
請求項１から８のいずれか一項に記載の検査装置。
【請求項１０】
コンピュータが、
検査対象物の画像の全体を複数の第１部分画像に分割するステップと、
前記画像の全体を、前記複数の第１部分画像とは異なる複数の第２部分画像に分割するステップと、
前記複数の第１部分画像を、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像に分類するステップと、
前記複数の第２部分画像を、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像に分類するステップと、
前記異常が含まれていると判定される第１部分画像と、前記異常が含まれていると判定される第２部分画像との重なりに基づいて、前記検査対象物に関する異常の有無を判定するステップと、を含み、
前記複数の第１部分画像及び前記複数の第２部分画像は、それぞれ第１方向に延伸する第１辺及び前記第１方向と交わる第２方向に沿って延伸する第２辺を有する矩形であり、前記複数の第１部分画像の前記第１辺及び前記第２辺は、それぞれ前記複数の第２部分画像の前記第１辺及び前記第２辺より長い、
検査方法。
【請求項１１】
コンピュータを、
検査対象物の画像の全体を複数の第１部分画像に分割する第１分割部、
前記画像の全体を、前記複数の第１部分画像とは異なる複数の第２部分画像に分割する第２分割部、
前記複数の第１部分画像を、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像に分類する第１分類部、
前記複数の第２部分画像を、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像に分類する、前記第１分類部とは異なる第２分類部、及び
前記異常が含まれていると判定される第１部分画像と、前記異常が含まれていると判定される第２部分画像との重なりに基づいて、前記検査対象物に関する異常の有無を判定する判定部、として機能させ、
前記複数の第１部分画像及び前記複数の第２部分画像は、それぞれ第１方向に延伸する第１辺及び前記第１方向と交わる第２方向に沿って延伸する第２辺を有する矩形であり、前記複数の第１部分画像の前記第１辺及び前記第２辺は、それぞれ前記複数の第２部分画像の前記第１辺及び前記第２辺より長い、
検査プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査装置、検査方法及び検査プログラムに関する。
【背景技術】
【０００２】
従来、生産ラインを流れる検査対象物の画像を撮影して、検査対象物に関する異常の有無を検出することがあった。検査対象物の異常は、例えば検査対象物に付いている傷や汚れであったり、検査対象物に混入した異物であったりする。【０００３】
異常検出に関して、例えば下記特許文献１には、学習済みの第１のニューラルネットワークによって検査対象信号を正常と正常以外とに分類する第１処理部と、学習済みの第２のニューラルネットワークによって、第１処理部により正常以外に分類された検査対象信号から正常以外の領域を含む部分信号を抽出し、部分信号について異常の種類を分類する第２処理部と、を備える検査装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２６９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の検査装置によれば、第１処理部によって検査対象物に関する異常の有無を検出することができ、第２処理部によって異常の種類を分類することができる。しかしながら、異常の有無の検出精度は、第１処理部によって検査対象信号を正常と正常以外とに分類する分類精度に依存しており、起こり得る異常が多様である場合には、第１処理部の分類精度が十分に高くならず、必ずしも異常の有無の検出精度が高くなかった。【０００６】
そこで、本発明は、起こり得る異常が多様な場合であっても、検査対象物に関する異常の有無を精度良く検出することができる検査装置、検査方法及び検査プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る検査装置は、検査対象物の画像を複数の第１部分画像に分割する第１分割部と、画像を、複数の第１部分画像とは異なる複数の第２部分画像に分割する第２分割部と、複数の第１部分画像を、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像に分類する第１分類部と、複数の第２部分画像を、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像に分類する第２分類部と、異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像との重なりに基づいて、検査対象物に関する異常の有無を判定する判定部と、を備える。【０００８】
この態様によれば、画像を複数の第１部分画像と、複数の第１部分画像とは異なる複数の第２部分画像とに分割し、複数の第１部分画像と複数の第２部分画像それぞれに異常が含まれていると判定される場合に、それらの部分画像の重なりに基づいて検査対象物に関する異常の有無を判定することで、誤判定が少なくなり、起こり得る異常が多様な場合であっても、検査対象物に関する異常の有無を精度良く検出することができる。【０００９】
上記態様において、判定部は、異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像とが重畳する場合に、当該重畳箇所に異常が存在すると判定してもよい。【００１０】
この態様によれば、検査対象物に関する異常の有無のみならず、異常が存在する箇所を精度良く特定することができる。【００１１】
上記態様において、判定部は、異常が含まれていると判定される第１部分画像と、異常が含まれていないと判定される第２部分画像とが重畳する場合又は異常が含まれていないと判定される第１部分画像と、異常が含まれていると判定される第２部分画像とが重畳する場合に、当該異常が含まれていると判定される第１部分画像又は当該異常が含まれていると判定される第２部分画像の箇所には異常が存在しないと判定してもよい。【００１２】
この態様によれば、重畳する第１部分画像及び第２部分画像のいずれか一方に異常が含まれていると判定される場合に、当該異常が含まれていると判定される第１部分画像又は第２部分画像の箇所には異常が存在しないと判定することで、異常の存在の誤判定が防止される。【００１３】
上記態様において、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像を区別可能に表示し、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像を区別可能に表示して、画像を表示する表示部をさらに備えてもよい。【００１４】
この態様によれば、検査対象物のどのような箇所に異常が含まれていると判定されたのか、視覚的に認識することができ、第１分類部及び第２分類部による分類結果を容易に把握することができる。【００１５】
上記態様において、表示部は、異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像とを区別可能に表示してもよい。【００１６】
この態様によれば、第１分類部による分類結果と、第２分類部による分類結果とが視覚的に区別可能に示されることで、第１分類部と第２分類部による分類結果の差異を容易に把握することができる。【００１７】
上記態様において、複数の第２部分画像それぞれは、複数の第１部分画像それぞれよりも小さくてもよい。【００１８】
この態様によれば、複数の第１部分画像と、複数の第１部分画像それぞれよりも小さい複数の第２部分画像とに異常が含まれているか否か判定することで、異常のサイズや形状が多様である場合であっても、異常の有無及び存在箇所を精度良く判定することができる。【００１９】
上記態様において、複数の第２部分画像のうち少なくとも２つは、複数の第１部分画像のうちいずれか１つと重畳してもよい。【００２０】
この態様によれば、第１部分画像と、第１部分画像に重畳する少なくとも２つの第２部分画像とに異常が含まれているか否か判定することで、異常のサイズや形状が多様である場合であっても、異常の有無及び存在箇所を精度良く判定することができる。【００２１】
上記態様において、第１分割部は、複数の第１部分画像が互いに重畳しないように画像を分割し、第２分割部は、複数の第２部分画像が互いに重畳しないように画像を分割してもよい。【００２２】
この態様によれば、複数の部分画像の枚数を過度に増大させることなく画像を分割して、検査対象物の異常の有無を判定することができ、第１分類部、第２分類部及び判定部の処理負荷を抑えることができる。【００２３】
上記態様において、第１分類部は、異常が含まれている第１部分画像及び異常が含まれていない第１部分画像を学習用データとして学習された、第１学習済みモデルを含み、第２分類部は、異常が含まれている第２部分画像及び異常が含まれていない第２部分画像を学習用データとして学習された、第２学習済みモデルを含んでもよい。【００２４】
この態様によれば、それぞれ異なる学習用データで学習された第１学習済みモデル及び第２学習済みモデルを用いることで、第１分類部と第２分類部とで異なる観点から異常の有無を分類することができる。【００２５】
本発明の他の態様に係る検査方法は、コンピュータが、検査対象物の画像を複数の第１部分画像に分割するステップと、画像を、複数の第１部分画像とは異なる複数の第２部分画像に分割するステップと、複数の第１部分画像を、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像に分類するステップと、複数の第２部分画像を、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像に分類するステップと、異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像との重なりに基づいて、検査対象物に関する異常の有無を判定するステップと、を含む。【００２６】
この態様によれば、画像を複数の第１部分画像と、複数の第１部分画像とは異なる複数の第２部分画像とに分割し、複数の第１部分画像と複数の第２部分画像それぞれに異常が含まれていると判定される場合に、それらの部分画像の重なりに基づいて検査対象物に関する異常の有無を判定することで、誤判定が少なくなり、起こり得る異常が多様な場合であっても、検査対象物に関する異常の有無を精度良く検出することができる。【００２７】
本発明の他の態様に係る検査プログラムは、コンピュータを、検査対象物の画像を複数の第１部分画像に分割する第１分割部、画像を、複数の第１部分画像とは異なる複数の第２部分画像に分割する第２分割部、複数の第１部分画像を、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像に分類する第１分類部、複数の第２部分画像を、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像に分類する、第１分類部とは異なる第２分類部、及び異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像との重なりに基づいて、検査対象物に関する異常の有無を判定する判定部、として機能させる。【００２８】
この態様によれば、画像を複数の第１部分画像と、複数の第１部分画像とは異なる複数の第２部分画像とに分割し、複数の第１部分画像と複数の第２部分画像それぞれに異常が含まれていると判定される場合に、それらの部分画像の重なりに基づいて検査対象物に関する異常の有無を判定することで、誤判定が少なくなり、起こり得る異常が多様な場合であっても、検査対象物に関する異常の有無を精度良く検出することができる。
【発明の効果】
【００２９】
本発明によれば、起こり得る異常が多様な場合であっても、検査対象物に関する異常の有無を精度良く検出することができる検査装置、検査方法及び検査プログラムを提供することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態に係る検査装置のネットワーク構成を示す図である。
【図２】本発明の実施形態に係る検査装置の物理的な構成を示す図である。
【図３】本発明の実施形態に係る検査装置の機能ブロック図である。
【図４】本発明の実施形態に係る検査装置により取得される検査対象物の画像を示す図である。
【図５】本発明の実施形態に係る検査装置により分割された第１部分画像を示す図である。
【図６】本発明の実施形態に係る検査装置により分割された第２部分画像を示す図である。
【図７】本発明の実施形態に係る検査装置により分割された第３部分画像を示す図である。
【図８】本発明の実施形態に係る検査装置の表示部に表示される検査対象物の画像を示す図である。
【図９】本発明の実施形態に係る検査装置により実行される第１処理のフローチャートである。
【図１０】本発明の実施形態に係る検査装置により実行される第２処理のフローチャートである。
【発明を実施するための形態】
【００３１】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００３２】
図１は、本発明の実施形態に係る検査装置１０のネットワーク構成を示す図である。検査装置１０は、専用又は汎用のコンピュータであり、例えば、本実施形態に係る検査プログラムがインストールされた汎用のコンピュータであってよい。検査装置１０は、通信ネットワークＮを介して、学習用画像データベースＤＢ及びカメラ３０と接続される。通信ネットワークＮは、有線又は無線の通信網であり、例えばＬＡＮ（Local Area Network）やインターネットであってよい。
【００３３】
検査装置１０は、カメラ３０によって撮影された検査対象物１００の画像を、通信ネットワークＮを介して取得し、学習済みのモデルによって検査対象物１００に異常があるか否かを判定する。ここで、学習済みのモデルとは、例えば学習済みのニューラルネットワークである。検査装置１０は、学習用画像データベースＤＢに格納された画像を用いて、モデルの学習を行う。
【００３４】
カメラ３０は、検査対象物１００の画像を撮影する。カメラ３０によって撮影された画像の全部又は一部は、学習用画像データベースＤＢに格納される。カメラ３０は、可視光を撮影する一般的なデジタルカメラであってよいが、赤外線やＸ線等を撮影するカメラであってもよいし、電子顕微鏡等のように光以外によって検査対象物１００を撮影するカメラであってもよい。
【００３５】
図２は、本発明の実施形態に係る検査装置１０の物理的な構成を示す図である。検査装置１０は、ハードウェアプロセッサに相当するＣＰＵ（Central Processing Unit）１０ａと、メモリに相当するＲＡＭ（Random Access Memory）１０ｂと、メモリに相当するＲＯＭ（Read Only Memory）１０ｃと、通信インタフェース１０ｄと、入力部１０ｅと、表示部１０ｆとを有する。これら各構成は、バスを介して相互にデータ送受信可能に接続される。
【００３６】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、検査対象物の検査に関するプログラム（検査プログラム）を実行する演算装置である。ＣＰＵ１０ａは、入力部１０ｅや通信インタフェース１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
【００３７】
ＲＡＭ１０ｂは、データの書き換えが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するアプリケーション等のプログラムやデータを記憶する。
【００３８】
ＲＯＭ１０ｃは、データの読み出しのみが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＯＭ１０ｃは、例えばファームウェア等のプログラムやデータを記憶する。
【００３９】
通信インタフェース１０ｄは、検査装置１０を通信ネットワークＮに接続するインタフェースである。
【００４０】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボードやマウス、タッチパネルで構成される。
【００４１】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えばＬＣＤ（Liquid Crystal Display）により構成される。
【００４２】
検査プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信インタフェース１０ｄにより接続される通信ネットワークＮを介して提供されてもよい。検査装置１０では、ＣＰＵ１０ａが検査プログラムを実行することにより、次図を用いて説明する様々な機能が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、検査装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。また、検査装置１０は、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等の演算回路を備えてもよい。
【００４３】
図３は、本発明の実施形態に係る検査装置１０の機能ブロック図である。検査装置１０は、取得部１１、分割部１２、分類部１３、判定部１４及び学習部１６を備える。
【００４４】
取得部１１は、通信ネットワークＮを介して、カメラ３０又は学習用画像データベースＤＢより、検査対象物１００の画像を取得する。
【００４５】
分割部１２は、第１分割部１２ａ、第２分割部１２ｂ及び第３分割部１２ｃを含む。第１分割部１２ａは、検査対象物１００の画像を複数の第１部分画像に分割する。第２分割部１２ｂは、検査対象物１００の画像を、複数の第１部分画像とは異なる複数の第２部分画像に分割する。また、第３分割部１２ｃは、検査対象物１００の画像を、複数の第１部分画像及び複数の第２部分画像のいずれとも異なる複数の第３部分画像に分割する。
【００４６】
複数の第２部分画像それぞれは、複数の第１部分画像それぞれよりも小さくてよい。同様に、複数の第３部分画像それぞれは、複数の第２部分画像それぞれよりも小さくてよい。また、複数の第２部分画像のうち少なくとも２つは、複数の第１部分画像のうちいずれか１つと重畳してよい。同様に、複数の第３部分画像のうち少なくとも２つは、複数の第２部分画像のうちいずれか１つと重畳してよい。
【００４７】
第１分割部１２ａは、複数の第１部分画像が互いに重畳しないように検査対象物１００の画像を分割してよい。もっとも、第１分割部１２ａは、複数の第１部分画像のうち全部又は一部が互いに重畳するように検査対象物１００の画像を分割してもよい。第２分割部１２ｂ及び第３分割部１２ｃについても同様である。
【００４８】
より具体的には、本実施形態に係る分割部１２は、検査対象物１００の画像を矩形の部分画像に分割する。ここで、第１部分画像の長辺及び短辺は、それぞれ第２部分画像の長辺及び短辺より長く、第２部分画像の長辺及び短辺は、それぞれ第３部分画像の長辺及び短辺より長くてよい。もっとも、分割部１２は、検査対象物１００の画像を、矩形以外の形状、例えば多角形や楕円等の形状を有する部分画像に分割してもよい。なお、本実施形態に係る分割部１２は、検査対象物１００の画像を３種類の部分画像に分割するが、分割部１２は、検査対象物１００の画像を少なくとも２種類の部分画像に分割すればよく、４種類以上の部分画像に分割してもよい。
【００４９】
分類部１３は、第１分類部１３ａ、第２分類部１３ｂ及び第３分類部１３ｃを含む。第１分類部１３ａは、複数の第１部分画像を、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像に分類する。第２分類部１３ｂは、複数の第２部分画像を、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像に分類する。また、第３分類部１３ｃは、複数の第３部分画像を、異常が含まれていると判定される第３部分画像と異常が含まれていないと判定される第３部分画像に分類する。
【００５０】
第１分類部１３ａは、異常が含まれている第１部分画像及び異常が含まれていない第１部分画像を学習用データとして学習された、第１学習済みモデルを含んでよい。また、第２分類部１３ｂは、異常が含まれている第２部分画像及び異常が含まれていない第２部分画像を学習用データとして学習された、第２学習済みモデルを含んでよい。同様に、第３分類部１３ｃは、異常が含まれている第３部分画像及び異常が含まれていない第３部分画像を学習用データとして学習された、第３学習済みモデルを含んでよい。ここで、第１学習済みモデル、第２学習済みモデル及び第３学習済みモデルは、共通のモデルを異なる学習用データで学習した学習済みモデルであってもよいし、異なるモデルを異なる学習用データで学習した学習済みモデルであってもよい。第１学習済みモデル、第２学習済みモデル及び第３学習済みモデルは、例えば、学習済みのニューラルネットワークであってよいが、サポートベクターマシン等の任意のモデルであってよい。
【００５１】
なお、分類部１３は、学習済みモデルを含まないものであってもよく、所定の方法で部分画像に異常が含まれているか否かを分類するものであってもよい。例えば、分類部１３は、部分画像に基づいて評価値を算出して、評価値と閾値を比較することで、異常が含まれている部分画像と異常が含まれていない部分画像を分類するものであってもよい。
【００５２】
学習部１６は、学習用画像データベースＤＢから学習用の第１部分画像、第２部分画像及び第３部分画像を取得して、第１分類部１３ａ、第２分類部１３ｂ及び第３分類部１３ｃをそれぞれ学習させる。ここで、学習とは、学習用データを分類部１３に入力し、出力された結果の正誤に基づいて分類部１３の構成を修正することで、分類部１３による分類精度を向上させていくことをいう。具体的には、第１分類部１３ａ、第２分類部１３ｂ及び第３分類部１３ｃがニューラルネットワークを含む場合、学習部１６は、学習用データとして学習用の第１部分画像、第２部分画像及び第３部分画像を第１分類部１３ａ、第２分類部１３ｂ及び第３分類部１３ｃにそれぞれ入力し、異常が含まれている部分画像と異常が含まれていない部分画像とを正しく分類できたかを評価する値に基づいて、当該評価値を向上させるように、ニューラルネットワークに含まれるユニットの重み付けを最適化する。
【００５３】
判定部１４は、異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像との重なりに基づいて、検査対象物１００に関する異常の有無を判定する。判定部１４は、少なくとも２種類の部分画像の重なりに基づいて、検査対象物１００に関する異常の有無を判定してよいが、異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像と、異常が含まれていると判定される第３部分画像との重なりに基づいて、検査対象物１００に関する異常の有無を判定してもよい。
【００５４】
判定部１４は、異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像とが重畳する場合に、当該重畳箇所に異常が存在すると判定してよい。判定部１４は、少なくとも２種類の部分画像について、異常が含まれている部分画像が重畳する場合に、当該重畳箇所に異常が存在すると判定してよいが、異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像と、異常が含まれていると判定される第３部分画像とが重畳する場合に、当該重畳箇所に異常が存在すると判定してもよい。
【００５５】
また、判定部１４は、異常が含まれていると判定される第１部分画像と、異常が含まれていないと判定される第２部分画像とが重畳する場合又は異常が含まれていないと判定される第１部分画像と、異常が含まれていると判定される第２部分画像とが重畳する場合に、当該異常が含まれていると判定される第１部分画像又は当該異常が含まれていると判定される第２部分画像の箇所には異常が存在しないと判定してよい。判定部１４は、重畳する少なくとも２種類の部分画像について、いずれか一方の部分画像に異常が含まれており、他方の部分画像に異常が含まれていない場合に、当該異常が含まれていると判定される箇所には異常が存在しないと判定してよいが、重畳する３種類以上の部分画像について、いずれか１種類の部分画像に異常が含まれているが、他の種類の部分画像に異常が含まれていない場合に、当該異常が含まれていると判定される箇所には異常が存在しないと判定してもよい。
【００５６】
表示部１０ｆは、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像を区別可能に表示し、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像を区別可能に表示して、検査対象物１００の画像を表示する。また、表示部１０ｆは、異常が含まれていると判定される第３部分画像と異常が含まれていないと判定される第３部分画像を区別可能に表示して、検査対象物１００の画像を表示してよい。さらに、表示部１０ｆは、異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像とを区別可能に表示し、異常が含まれていると判定される第１部分画像及び異常が含まれていると判定される第２部分画像と、異常が含まれていると判定される第３部分画像とを区別可能に表示してよい。
【００５７】
図４は、本発明の実施形態に係る検査装置１０により取得される検査対象物１００の画像Ｐを示す図である。画像Ｐは、検査対象物１００を所定の方向から撮影した画像である。本例では、画像Ｐは、検査対象物１００に傷Ｓが付いていることを示しており、検査対象物１００に異常が有る場合を示している。なお、本例では、一枚の画像Ｐにより検査対象物１００に異常が有るか否かを判定する場合について説明するが、検査装置１０は、検査対象物１００に関する複数の画像に基づいて、検査対象物１００に異常が有るか否かを判定してもよい。
【００５８】
図５は、本発明の実施形態に係る検査装置１０により分割された第１部分画像Ｐ１を示す図である。本例において、第１分割部１２ａは、画像Ｐを１６枚の第１部分画像Ｐ１に分割する。第１部分画像Ｐ１は、矩形の画像であり、互いに重畳しない。複数の第１部分画像Ｐ１が互いに重畳しないように画像Ｐを分割することで、複数の第１部分画像Ｐ１の枚数を過度に増大させることなく、検査対象物１００の異常の有無を判定することができ、第１分類部１３ａの処理負荷を抑えることができる。
【００５９】
第１分類部１３ａは、１６枚の第１部分画像Ｐ１を、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像に分類する。本例の場合、第１分類部１３ａは、１６枚の第１部分画像Ｐ１のうち１枚の第１部分画像に異常が含まれていると判定し、他の１５枚の第１部分画像には異常が含まれていないと判定する。
【００６０】
表示部１０ｆは、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像を区別可能に表示する。本例の場合、表示部１０ｆは、異常が含まれていると判定される第１部分画像Ｐ１ａを、第１種のハッチングによって強調して示し、異常が含まれていないと判定される第１部分画像Ｐ１を、破線による枠線で示している。これにより、検査対象物１００のどのような箇所に異常が含まれていると判定されたのか、視覚的に認識することができ、第１分類部１３ａによる分類結果を容易に把握することができる。なお、表示部１０ｆによって異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像を区別可能に表示する態様は任意であり、異常が含まれていると判定される第１部分画像Ｐ１ａのハッチング表示を透過処理して傷Ｓが視認可能なように表示してもよい。
【００６１】
図６は、本発明の実施形態に係る検査装置１０により分割された第２部分画像Ｐ２を示す図である。本例において、第２分割部１２ｂは、画像Ｐを２５枚の第２部分画像Ｐ２に分割する。第２部分画像Ｐ２は、矩形の画像であり、互いに重畳しない。複数の第２部分画像Ｐ２が互いに重畳しないように画像Ｐを分割することで、複数の第２部分画像Ｐ２の枚数を過度に増大させることなく、検査対象物１００の異常の有無を判定することができ、第２分類部１３ｂの処理負荷を抑えることができる。
【００６２】
また、第２部分画像Ｐ２は、第１部分画像Ｐ１よりも小さく、第２部分画像Ｐ２のうち少なくとも２つは、複数の第１部分画像Ｐ１のうちいずれか１つと重畳する。第１部分画像Ｐ１と、第１部分画像Ｐ１に重畳する少なくとも２つの第２部分画像Ｐ２とに異常が含まれているか否か判定することで、異常のサイズや形状が多様である場合であっても、異常の有無及び存在箇所を精度良く判定することができる。
【００６３】
第２分類部１３ｂは、２５枚の第２部分画像Ｐ２を、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像に分類する。本例の場合、第２分類部１３ｂは、２５枚の第２部分画像Ｐ２のうち３枚の第２部分画像に異常が含まれていると判定し、他の２２枚の第２部分画像には異常が含まれていないと判定する。
【００６４】
表示部１０ｆは、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像を区別可能に表示する。本例の場合、表示部１０ｆは、異常が含まれていると判定される第２部分画像Ｐ２ａ，Ｐ２ｂ，Ｐ２ｃを、第２種のハッチングによって強調して示し、異常が含まれていないと判定される第２部分画像Ｐ２を、破線による枠線で示している。これにより、検査対象物１００のどのような箇所に異常が含まれていると判定されたのか、視覚的に認識することができ、第２分類部１３ｂによる分類結果を容易に把握することができる。
【００６５】
また、表示部１０ｆは、異常が含まれていると判定される第１部分画像Ｐ１ａと、異常が含まれていると判定される第２部分画像Ｐ２ａ，Ｐ２ｂ，Ｐ２ｃとを区別可能に表示する。具体的には、表示部１０ｆは、異常が含まれていると判定される第１部分画像Ｐ１ａを第１種のハッチングで示したが、異常が含まれていると判定される第２部分画像Ｐ２ａ，Ｐ２ｂ，Ｐ２ｃを第２種のハッチングで示す。
【００６６】
第２分類部１３ｂによって異常が含まれていると判定される第２部分画像Ｐ２ｂ，Ｐ２ｃには、実際には異常が含まれていない。このような場合であっても、後に詳細に説明するように、検査装置１０は、異常が含まれていると判定される第２部分画像Ｐ２ｂ，Ｐ２ｃの箇所に異常が存在するとは判定せず、異常の有無を正しく判定することができる。
【００６７】
図７は、本発明の実施形態に係る検査装置１０により分割された第３部分画像Ｐ３を示す図である。本例において、第３分割部１２ｃは、画像Ｐを６４枚の第３部分画像Ｐ３に分割する。第３部分画像Ｐ３は、矩形の画像であり、互いに重畳しない。複数の第３部分画像Ｐ３が互いに重畳しないように画像Ｐを分割することで、複数の第３部分画像Ｐ３の枚数を過度に増大させることなく、検査対象物１００の異常の有無を判定することができ、第３分類部１３ｃの処理負荷を抑えることができる。
【００６８】
また、第３部分画像Ｐ３は、第１部分画像Ｐ１及び第２部分画像Ｐ２よりも小さく、第３部分画像Ｐ３のうち少なくとも２つは、複数の第１部分画像Ｐ１のうちいずれか１つと重畳し、複数の第２部分画像Ｐ２のうちいずれか１つと重畳する。第１部分画像Ｐ１及び第２部分画像Ｐ２と、第１部分画像Ｐ１及び第２部分画像Ｐ２に重畳する少なくとも２つの第３部分画像Ｐ３とに異常が含まれているか否か判定することで、異常のサイズや形状が多様である場合であっても、異常の有無及び存在箇所を精度良く判定することができる。
【００６９】
第３分類部１３ｃは、６４枚の第３部分画像Ｐ３を、異常が含まれていると判定される第３部分画像と異常が含まれていないと判定される第３部分画像に分類する。本例の場合、第３分類部１３ｃは、６４枚の第３部分画像Ｐ３のうち４枚の第３部分画像に異常が含まれていると判定し、他の６０枚の第３部分画像には異常が含まれていないと判定する。
【００７０】
表示部１０ｆは、異常が含まれていると判定される第３部分画像と異常が含まれていないと判定される第３部分画像を区別可能に表示する。本例の場合、表示部１０ｆは、異常が含まれていると判定される第３部分画像Ｐ３ａ，Ｐ３ｂ，Ｐ３ｃ，Ｐ３ｄを、第３種のハッチングによって強調して示し、異常が含まれていないと判定される第３部分画像Ｐ３を、破線による枠線で示している。ここで、表示部１０ｆは、異常が含まれていると判定される第１部分画像Ｐ１ａ及び異常が含まれていると判定される第２部分画像Ｐ２ａ，Ｐ２ｂ，Ｐ２ｃと、異常が含まれていると判定される第３部分画像Ｐ３ａ，Ｐ３ｂ，Ｐ３ｃ，Ｐ３ｄとを区別可能に表示する。具体的には、表示部１０ｆは、異常が含まれていると判定される第１部分画像Ｐ１ａを第１種のハッチングで示し、異常が含まれていると判定される第２部分画像Ｐ２ａ，Ｐ２ｂ，Ｐ２ｃを第２種のハッチングで示したが、異常が含まれていると判定される第３部分画像Ｐ３ａ，Ｐ３ｂ，Ｐ３ｃ，Ｐ３ｄを第３種のハッチングで示す。
【００７１】
第３分類部１３ｃによって異常が含まれていると判定される第３部分画像Ｐ３ｄには、実際には異常が含まれていない。このような場合であっても、後に詳細に説明するように、検査装置１０は、異常が含まれていると判定される第３部分画像Ｐ３ｄの箇所に異常が存在するとは判定せず、異常の有無を正しく判定することができる。
【００７２】
図８は、本発明の実施形態に係る検査装置１０の表示部１０ｆに表示される検査対象物１００の画像Ｐを示す図である。表示部１０ｆは、異常が含まれていると判定される第１部分画像Ｐ１ａと、異常が含まれていると判定される第２部分画像Ｐ２ａ，Ｐ２ｂ，Ｐ２ｃと、異常が含まれていると判定される第３部分画像Ｐ３ａ，Ｐ３ｂ，Ｐ３ｃ，Ｐ３ｄとを区別可能に表示する。第１分類部１３ａによる分類結果と、第２分類部１３ｂによる分類結果と、第３分類部１３ｃによる分類結果とが視覚的に区別可能に示されることで、第１分類部１３ａ、第２分類部１３ｂ及び第３分類部１３ｃによる分類結果の差異を容易に把握することができる。
【００７３】
検査装置１０の判定部１４は、異常が含まれていると判定される第１部分画像Ｐ１ａと、異常が含まれていると判定される第２部分画像Ｐ２ａ，Ｐ２ｂ，Ｐ２ｃと、異常が含まれていると判定される第３部分画像Ｐ３ａ，Ｐ３ｂ，Ｐ３ｃ，Ｐ３ｄとの重なりに基づいて、検査対象物１００に関する異常の有無を判定する。
【００７４】
本実施形態に係る検査装置１０によれば、画像Ｐを複数の第１部分画像Ｐ１と、複数の第２部分画像Ｐ２と、複数の第３部分画像Ｐ３とに分割し、第１部分画像、第２部分画像及び第３部分画像それぞれに異常が含まれていると判定される場合に、それらの部分画像の重なりに基づいて検査対象物に関する異常の有無を判定することで、誤判定が少なくなり、起こり得る異常が多様な場合であっても、検査対象物に関する異常の有無を精度良く検出することができる。
【００７５】
本例の場合、異常が含まれていると判定される第１部分画像Ｐ１ａと、異常が含まれていると判定される第２部分画像Ｐ２ａと、異常が含まれていると判定される第３部分画像Ｐ３ａ，Ｐ３ｂ，Ｐ３ｃとが重畳するため、判定部１４は、重畳箇所Ｒに異常が存在すると判定する。このように、異常が含まれていると判定される複数種類の部分画像の重畳箇所に異常が存在すると判定することで、検査対象物に関する異常の有無のみならず、異常が存在する箇所を精度良く特定することができる。
【００７６】
また、判定部１４は、異常が含まれていると判定される第２部分画像Ｐ２ｂ，Ｐ２ｃ及び異常が含まれていると判定される第３部分画像Ｐ３ｄについて、異常が含まれていないと判定される他の種類の部分画像と重畳するため、異常が含まれていると判定される第２部分画像Ｐ２ｂ，Ｐ２ｃ又は異常が含まれていると判定される第３部分画像Ｐ３ｄの箇所には異常が存在しないと判定する。このように、重畳する第１部分画像、第２部分画像及び第３部分画像のいずれかに異常が含まれていると判定され、他の種類の部分画像には異常が含まれていないと判定される場合に、当該異常が含まれていると判定される第１部分画像、第２部分画像又は第３部分画像の箇所には異常が存在しないと判定することで、異常の存在の誤判定が防止される。
【００７７】
さらに、複数の第２部分画像Ｐ２それぞれが、複数の第１部分画像Ｐ１それぞれよりも小さく、複数の第３部分画像Ｐ３それぞれが、複数の第２部分画像Ｐ２それぞれよりも小さいことで、異常のサイズや形状が多様である場合であっても、異常の有無及び存在箇所を精度良く判定することができる。
【００７８】
図９は、本発明の実施形態に係る検査装置１０により実行される第１処理のフローチャートである。第１処理は、検査対象物１００の画像Ｐを第１部分画像Ｐ１、第２部分画像Ｐ２及び第３部分画像Ｐ３にそれぞれ分割して、異常の有無を判定して、異常が含まれていると判定される部分画像の重なりに基づいて、検査対象物１００に関する異常の有無を判定する処理である。
【００７９】
検査装置１０は、はじめに検査対象物１００の画像Ｐを取得する（Ｓ１０）。そして、画像Ｐを第１分割部１２ａによって複数の第１部分画像Ｐ１に分割し（Ｓ１１）、画像Ｐを第２分割部１２ｂによって複数の第２部分画像Ｐ２に分割し（Ｓ１２）、画像Ｐを第３分割部１２ｃによって複数の第３部分画像Ｐ３に分割する（Ｓ１３）。
【００８０】
次に、第１分類部１３ａは、複数の第１部分画像Ｐ１を、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像に分類し（Ｓ１４）、第２分類部１３ｂは、複数の第２部分画像Ｐ２を、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像に分類し（Ｓ１５）、第３分類部１３ｃは、複数の第３部分画像Ｐ３を、異常が含まれていると判定される第３部分画像と異常が含まれていないと判定される第３部分画像に分類する（Ｓ１６）。
【００８１】
その後、表示部１０ｆは、異常が含まれていると判定される第１部分画像、異常が含まれていると判定される第２部分画像及び異常が含まれていると判定される第３部分画像を、それぞれ区別可能な態様で表示する（Ｓ１７）。
【００８２】
判定部１４は、異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像と、異常が含まれていると判定される第３部分画像とが重畳するか否かを判定する（Ｓ１８）。これら３種類の部分画像が重畳すると判定された場合（Ｓ１８：Ｙｅｓ）、判定部１４は、当該重畳箇所に異常が存在すると判定する（Ｓ１９）。一方、これら３種類の部分画像が重畳しないと判定された場合（Ｓ１８：Ｎｏ）、すなわち少なくとも１種類の部分画像には異常が含まれていないと判定される場合、判定部１４は、異常が含まれていると判定された部分画像の箇所には異常が存在しないと判定する（Ｓ２０）。以上により、第１処理が終了する。
【００８３】
図１０は、本発明の実施形態に係る検査装置１０により実行される第２処理のフローチャートである。第２処理は、第１処理に先立って実行される処理であり、第１分類部１３ａ、第２分類部１３ｂ及び第３分類部１３ｃに対して、異常が含まれている部分画像と異常が含まれていない部分画像の分類を学習させる処理である。
【００８４】
検査装置１０の学習部１６は、学習用画像データベースＤＢから、学習用の第１部分画像を取得する（Ｓ３０）。同様に学習部１６は、学習用画像データベースＤＢから、学習用の第２部分画像の取得と（Ｓ３１）、学習用の第３部分画像の取得を行う（Ｓ３２）。ここで、学習用の第１部分画像は、異常が含まれている第１部分画像及び異常が含まれていない第１部分画像を含み、それぞれの第１部分画像には異常の有無がタグ付けされている。また、学習用の第２部分画像は、異常が含まれている第２部分画像及び異常が含まれていない第２部分画像を含み、それぞれの第２部分画像には異常の有無がタグ付けされている。同様に、学習用の第３部分画像は、異常が含まれている第３部分画像及び異常が含まれていない第３部分画像を含み、それぞれの第３部分画像には異常の有無がタグ付けされている。
【００８５】
学習部１６は、学習用の第１部分画像を用いて第１分類部１３ａの学習を実行し（Ｓ３３）、学習用の第２部分画像を用いて第２分類部１３ｂの学習を実行し（Ｓ３４）、学習用の第３部分画像を用いて第３分類部１３ｃの学習を実行する（Ｓ３５）。具体的には、第１分類部１３ａ、第２分類部１３ｂ及び第３分類部１３ｃがニューラルネットワークを含む場合、学習部１６は、学習用の第１部分画像、第２部分画像及び第３部分画像を第１分類部１３ａ、第２分類部１３ｂ及び第３分類部１３ｃにそれぞれ入力し、異常が含まれている部分画像と異常が含まれていない部分画像とを正しく分類できたかを評価する値に基づいて、当該評価値を向上させるように、ニューラルネットワークに含まれるユニットの重み付けを最適化する。
【００８６】
以上により第２処理が終了し、第１分類部１３ａは、第１学習済みモデルを含むこととなり、第２分類部１３ｂは、第２学習済みモデルを含むこととなり、第３分類部１３ｃは、第３学習済みモデルを含むこととなる。ここで、第１学習済みモデル、第２学習済みモデル及び第３学習済みモデルは、それぞれ異なる学習用データ（学習用の第１部分画像、学習用の第２部分画像及び学習用の第３部分画像）を用いて学習された、異なる構成を有するモデルであってよい。具体的には、第１分類部１３ａは、第１学習済みニューラルネットワークを含み、第２分類部１３ｂは、第１学習済みニューラルネットワークと構成が異なる第２学習済みニューラルネットワークを含み、第３分類部１３ｃは、第１学習済みニューラルネットワーク及び第２学習済みニューラルネットワークいずれとも構成が異なる第３学習済みニューラルネットワークを含んでよい。
【００８７】
本実施形態に係る検査装置１０によれば、それぞれ異なる学習用データで学習された第１学習済みモデル、第２学習済みモデル及び第３学習済みモデルを用いることで、第１分類部１３ａ、第２分類部１３ｂ及び第３分類部１３ｃとで異なる観点から異常の有無を分類することができる。
【００８８】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【要約】
本発明は、起こり得る異常が多様な場合であっても、検査対象物に関する異常の有無を精度良く検出することができる検査装置、検査方法及び検査プログラムを提供することを目的とする。検査装置１０は、検査対象物１００の画像を複数の第１部分画像に分割する第１分割部と、画像を、複数の第１部分画像とは異なる複数の第２部分画像に分割する第２分割部と、複数の第１部分画像を、異常が含まれていると判定される第１部分画像と異常が含まれていないと判定される第１部分画像に分類する第１分類部と、複数の第２部分画像を、異常が含まれていると判定される第２部分画像と異常が含まれていないと判定される第２部分画像に分類する第２分類部と、異常が含まれていると判定される第１部分画像と、異常が含まれていると判定される第２部分画像との重なりに基づいて、検査対象物１００に関する異常の有無を判定する判定部と、を備える。【図１】
0006387477.tif 000002
【図２】
0006387477.tif 000003
【図３】
0006387477.tif 000004
【図４】
0006387477.tif 000005
【図５】
0006387477.tif 000006
【図６】
0006387477.tif 000007
【図７】
0006387477.tif 000008
【図８】
0006387477.tif 000009
【図９】
0006387477.tif 000010
【図１０】
0006387477.tif 000011