(57)【要約】【課題】本発明は、学習モデルを用いて検査対象物の外観検査を行うときの検査精度を向上させることを目的とする。【解決手段】検査対象物と同種の物体を撮像することで得られる学習用画像から対称部分の画像を抽出するとともに、該対称部分の画像をその対称方向において二分割することで分割画像を生成し、さらに、該分割画像それぞれを反転させることで反転画像を生成する。そして、分割画像における一方側の画像、および、分割画像における他方側の画像を反転させた反転画像を、検査対象物の対称部分における一方側についての教師データとして取得する。また、分割画像における他方側の画像、および、分割画像における一方側の画像を反転させた反転画像を、検査対象物の対称部分における他方側についての教師データとして取得する。そして、取得した教師データに基づいて機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する。【選択図】図３
2020102111.tif 000002
【特許請求の範囲】
【請求項１】
検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する情報処理装置において、
前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記対称部分の画像をその対称方向において二分割することで分割画像を生成し、さらに、前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成する第１画像処理部と、
前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得し、取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成する学習部と、
を備える情報処理装置。
【請求項２】
請求項１に記載の情報処理装置によって生成された前記学習モデルを用いて、検査対象物の外観検査を行う外観検査装置であって、
前記検査対象物を撮像することで得られる検査対象画像から、前記検査対象物における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記検査対象画像から抽出された前記対称部分の画像をその対称方向において二分割することで分割画像を生成する第２画像処理部と、
前記検査対象画像から生成された前記分割画像を検査データとして取得し、取得した前記検査データを前記学習モデルに入力することで、前記検査対象物における前記対称部分の外観について合否を判別する検査部と、
を備える外観検査装置。
【請求項３】
検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する情報処理方法において、
前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するステップと、
前記対称部分の画像をその対称方向において二分割することで分割画像を生成するステップと、
前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成するステップと、
前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得するステップと、
取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成するステップと、
を有する情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および外観検査装置に関する。
に関する。
【背景技術】
【０００２】
従来、検査対象を撮像した画像を用いて該検査対象の外観を検査する検査装置に関し様々な技術が開発されている。例えば、特許文献１には、検査装置において、検査対象の撮像画像を複数の撮像分割画像に分割して検査を行うための技術が開示されている。この特許文献１に記載の技術では、学習用画像を複数に分割することで得られる複数の学習用分割画像の各々について機械学習することで特徴量を抽出する。さらに、抽出された特徴量に基づいて、複数の撮像分割画像の各々を分類する。そして、分類された複数の撮像分割画像に基づいて検査対象の良否を判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２１１２５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで構築された学習モデルを用いて、検査対象物の外観の検査を行うことが考えられる。このとき、検査精度を向上させるためには、より多くの教師データに基づいて学習モデルを構築する必要がある。
【０００５】
本発明は、上記のような問題に鑑みてなされたものであって、学習モデルを用いて検査対象物の外観検査を行うときの検査精度を向上させることが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係る情報処理装置は、検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する情報処理装置において、前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記対称部分の画像をその対称方向において二分割することで分割画像を生成し、さらに、前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成する第１画像処理部と、前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得し、取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成する学習部と、を備える。
【０００７】
本発明に係る情報処理装置は、検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する。この場合、教師データとなり得る学習用画像をより多く取得することで、学習モデルの精度を向上させることができる。
【０００８】
そして、本発明に係る情報処理装置においては、第１画像処理部が、学習モデルを生成するための学習用画像から、撮像した物体における対称部分の画像を抽出する。ここで、撮像した物体の対称部分は、すなわち、検査対象物における左右対称または上下対称の部分である。なお、検査対象物における対称部分は、該検査対象物の設計値等に基づいて抽出することができる。
【０００９】
また、第１画像処理部は、抽出した対称部分の画像をその対称方向において二分割することで分割画像を取得する。つまり、対称部分が左右対称の部分である場合は、対称部分の画像を右側部分の画像と左側部分の画像とに分割する。また、対称部分が上下対称の部分である場合は、対称部分の画像を上側部分の画像と左側部分の画像とに分割する。さらに、第１画像処理部は、分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成する。
【００１０】
そして、学習部が、分割画像における一方側の画像、および、該分割画像における他方側の画像を反転させた反転画像を、対称部分における一方側についての教師データとして取得する。つまり、撮像した物体の対称部分の画像を二分割したときの一方側の画像である一方側の分割画像と、撮像した物体の対称部分の画像を二分割したときの他方側の画像である他方側の分割画像を反転させた反転画像とを、該対称部分の一方側の外観検査に用いる特徴量を抽出するための教師データとして取得する。
【００１１】
また、学習部は、分割画像における他方側の画像、および、該分割画像における一方側の画像を反転させた反転画像を、対称部分における他方側についての教師データとして取得する。つまり、撮像した物体の対称部分の画像を二分割したときの他方側の画像である他方側の分割画像と、撮像した物体の対称部分の画像を二分割したときの一方側の画像である一方側の分割画像を反転させた反転画像とを、該対称部分の他方側の外観検査に用いる特徴量を抽出するための教師データとして取得する。
【００１２】
ここで、検査対象物の対称部分における一方の部分と他方の部分との外観は、該検査対象物の設計上は当然のことながら同一である。したがって、検査対象物と同種の物体（撮像した物体）の設計上は、該物体の対称部分における一方の部分の画像と他方の部分の画像とを、いずれか一方を反転させて重ね合わせた場合、両者は一致することになる。したがって、分割画像における一方側の画像を反転させた反転画像を検査対象物の対称部分における他方側についての教師データとして用いることができ、また、該分割画像における他方側の画像を反転させた反転画像を該対称部分における一方側についての教師データとして用いることができる。
【００１３】
そして、上記のように、分割画像における一方側の画像および他方側の画像それぞれの反転画像を教師データとして追加することで、学習モデルを構築するための教師データを増加させることができる。その結果、学習モデルの精度を向上させることができ、以て、学習モデルを用いて検査対象物の外観検査を行うときの検査精度を向上させることができる。
【００１４】
また、本発明の第２の態様に係る外観検査装置は、第１の態様に係る情報処理装置によって生成された前記学習モデルを用いて、検査対象物の外観検査を行う外観検査装置であって、前記検査対象物を撮像することで得られる検査対象画像から、前記検査対象物における左右対称または上下対称の部分である対称部分の画像を抽出するとともに、前記検査対象画像から抽出された前記対称部分の画像をその対称方向において二分割することで分割画像を生成する第２画像処理部と、前記検査対象画像から生成された前記分割画像を検査データとして取得し、取得した前記検査データを前記学習モデルに入力することで、前記検査対象物における前記対称部分の外観について合否を判別する検査部と、を備える。
【００１５】
また、本発明の第３の態様に係る情報処理方法は、検査対象物と同種の物体を撮像することで得られる学習用画像を教師データとして機械学習を行うことで、検査対象物の外観検査に用いる学習モデルを生成する情報処理方法において、前記学習用画像から、前記物体における左右対称または上下対称の部分である対称部分の画像を抽出するステップと、前記対称部分の画像をその対称方向において二分割することで分割画像を生成するステップと、前記分割画像における一方側の画像および他方側の画像それぞれを反転させることで反転画像を生成するステップと、前記分割画像における一方側の画像、および、前記分割画像における他方側の画像を反転させた前記反転画像を、前記対称部分における一方側についての前記教師データとして取得するとともに、前記分割画像における他方側の画像、および、前記分割画像における一方側の画像を反転させた前記反転画像を、前記対称部分における他方側についての前記教師データとして取得するステップと、取得した前記教師データに基づいて機械学習を行うことで前記学習モデルを生成するステップと、を有する。
【発明の効果】
【００１６】
本発明によれば、学習モデルを用いて検査対象物の外観検査を行うときの検査精度を向上させることができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係る車両検査装置の機能構成の概略を示すブロック図である。
【図２】機械学習を行うときに画像処理部において実行される画像処理の一例について説明するための図である。
【図３】車両検査装置において機械学習が行われる際の処理のフローを示すフローチャートである。
【図４】車両検査装置において検査対象の車両の外観検査が行われる際の処理のフローを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【００１９】
＜実施形態＞
（車両検査装置の構成）
本実施形態では、本発明を車両の外観を検査する車両検査装置に適用している。つまり、本実施形態では、「車両」が「検査対象物」に相当する。ここで、本実施形態に係る車両検査装置の機能構成について図１に基づいて説明する。図１は、本実施形態に係る車両検査装置の機能構成の概略を示すブロック図である。車両検査装置１００は、撮像装置２００によって撮像される検査対象の車両の画像（検査対象画像）に基づいて該車両の外観検査を行う装置である。また、車両検査装置１００は、検査対象の車両と同種の車両を撮像することで得られる学習用画像に基づいて機械学習を行うことで、該検査対象の車両の外観検査に用いる学習モデルを生成する機能を有する。
【００２０】
車両検査装置１００は、ＣＰＵやＤＳＰ等のプロセッサと、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）等の主記憶部と、ＥＰＲＯＭ、ハードディスクドライブ（ＨＤＤ）、リムーバブルメディア等の補助記憶部と、を有するコンピュータを含んで構成される。ここで、リムーバブルメディアは、例えば、ＵＳＢメモリやＳＤカード等のフラッシュメモリ、あるいは、ＣＤ−ＲＯＭやＤＶＤディスク、ブルーレイディスクのようなディスク記録媒体である。
【００２１】
また、車両検査装置１００においては、プロセッサが、補助記憶部に記憶されたプログラムを主記憶部にロードして実行することによって、後述するような各種の機能を実現することができる。ただし、車両検査装置１００における一部または全部の機能はＡＳＩＣやＦＰＧＡのようなハードウェア回路によって実現されてもよい。また、撮像装置２００としては、車両の検査を行う作業者に装着されるウェアラブルカメラ等を用いることができる。
【００２２】
車両検査装置１００と撮像装置２００とは、ネットワークを介して相互に接続される。このネットワークには、例えば、インターネット等の世界規模の公衆通信網であるＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や、携帯電話等の電話通信網が採用されてもよい。また、Ｂｌｕｅｔｏｏｔｈ（登録商標）ＬｏｗＥｎｅｒｇｙ規格や、ＷｉＦｉ（登録商標）等の通信規格を利用してネットワークを構築してもよい。
【００２３】
車両検査装置１００は、画像処理部１１０、学習部１２０、および検査部１３０を有している。画像処理部１１０は、撮像装置２００によって撮像された検査対象画像に対して外観検査のために必要な画像処理を行う機能を有する。また、画像処理部１１０は、撮像装置２００によって撮像された学習用画像に対して機械学習のために必要な画像処理を行う機能も有する。なお、検査対象画像および学習用画像は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ビットマップ画像（ｂｉｔｍａｐ  ｉｍａｇｅ  ／  ｂｉｔｍａｐ  ｇｒａｐｈｉｃｓ）、ＧＩＦ（Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）等のデータ形式で表された画像である。
【００２４】
画像処理部１１０は、画像処理における各種の処理を実行する機能部として、画像取得部１１１、対称部抽出部１１２、分割画像生成部１１３、および反転画像生成部１１４を有している。なお、これらの機能部において実行される処理の詳細については後述する。
【００２５】
学習部１２０は、画像処理部１１０において必要な画像処理が行われた学習用画像を用いて機械学習を行うことで学習モデルを生成する機能を有する。学習部１２０は、機械学習における各種の処理を実行する機能部として、教師データ取得部１２１、および学習モデル生成部１２２を有している。また、検査部１３０は、画像処理部１１０において必要な画像処理が行われた検査対象画像を、学習部１２０において生成された学習モデルに入力することで、検査対象の車両の外観検査を行う機能を有する。検査部１３０は、外観検査における各種の処理を実行する機能部として、学習モデル記憶部１３１、検査データ取得部１３２、および判別部１３３を有している。なお、学習部１２０および検査部１３０の各機能部において実行される処理の詳細についても後述する。
【００２６】
（機械学習）
ここで、車両検査装置１００において、車両の外観検査に用いる学習モデルを生成すべく機械学習を行うときに、画像処理部１１０および学習部１２０で実行される処理について説明する。先ず、機械学習を行うときに画像処理部１１０において実行される画像処理について、図１に加え、図２に基づいて説明する。図２は、機械学習を行うときに画像処理部１１０において実行される画像処理の一例について説明するための図である。図２は、車両のバックドアを含む車体背面の外観検査に用いる学習モデルを生成するための機械学習を行うときの画像処理の流れを示している。
【００２７】
機械学習が行われるときには、検査対象の車両と同種の車両が撮像装置２００によって撮像されることで学習用画像が撮像される。そして、画像処理部１１０における画像取得部１１１が、撮像装置２００によって撮像された学習用画像を取得する。図２（ａ）は、
画像取得部１１１によって取得された学習用画像Ｉｍ１（車両背面の画像）を示している。
【００２８】
画像処理部１１０における対称部抽出部１１２は、画像取得部１１１によって取得された学習用画像から、車両における対称部分の画像を抽出する。ここで、対称部分とは、車両における左右対称または上下対称の部分である。図２（ｂ）は、図２（ａ）に示す学習用画像Ｉｍ１から、対称部抽出部１１２によって抽出された対称部分の画像Ｉｍ２（車体背面の画像）を示している。ここで、車両の設計上は、車体背面は左右対称となっている。そのため、対称部抽出部１１２は、車体背面の画像Ｉｍ２を車両における対称部分の画像として抽出する。なお、検査対象の車両の設計値に関する設計情報を車両検査装置１００に予め記憶させておいてもよい。そして、対称部抽出部１１２は、記憶された設計情報に基づいて車両における対称部分を選択し、選択した対称部分の画像を学習用画像から抽出してもよい。
【００２９】
画像処理部１１０における分割画像生成部１１３は、対称部抽出部１１２によって抽出された車両における対称部分の画像をその対称方向において二分割することで分割画像を生成する。図２（ｃ）は、図２（ｂ）に示す対称部分の画像である車体背面の画像Ｉｍ２を、右側部分と左側部分とに分割した分割画像Ｉｍ３、Ｉｍ４を示している。このように、対称部分が左右対称の部分である場合は、分割画像生成部１１３は、対称部分の画像を右側部分の画像と左側部分の画像とに分割する。また、対称部分が上下対称の部分である場合は、分割画像生成部１１３は、対称部分の画像を上側部分の画像と左側部分の画像とに分割する。
【００３０】
画像処理部１１０における反転画像生成部１１４は、分割画像生成部１１３によって生成された分割画像それぞれを反転させることで反転画像を生成する。図２（ｄ）は、図２（ｃ）に示す対称部分の右側部分の分割画像Ｉｍ３を反転させた反転画像Ｉｍ５、および、図２（ｃ）に示す対称部分の右側部分の分割画像Ｉｍ４を反転させた反転画像Ｉｍ６を示している。このように、分割画像が対称部分の画像を右側部分の画像と左側部分の画像に分割させた画像である場合は、反転画像生成部１１４は各分割画像を左右方向に反転させる。一方、分割画像が対称部分の画像を上側部分の画像と下側部分の画像に分割させた画像である場合は、反転画像生成部１１４は各分割画像を上下方向に反転させる。
【００３１】
なお、以下の説明においては、分割画像生成部１１３によって生成された分割画像における、一方側の画像を「第１分割画像」と称し、他方側の画像を「第２分割画像」と称する場合もある。また、反転画像生成部１１４によって生成された反転画像における、第１分割画像を反転させた方の画像を「第１反転画像」と称し、第２分割画像を反転させた方の画像を「第２反転画像」と称する場合もある。例えば、図２（ｃ）における分割画像Ｉｍ３を第１分割画像とした場合、図２（ｄ）における反転画像Ｉｍ５が第１反転画像に相当する。また、図２（ｃ）における分割画像Ｉｍ４を第２分割画像とした場合、図２（ｄ）における反転画像Ｉｍ６が第２反転画像に相当する。
【００３２】
次に、機械学習を行うときに学習部１２０において実行される学習モデル生成処理について説明する。学習部１２０における教師データ取得部１２１は、画像処理部１１０における画像処理によって生成された分割画像および反転画像を、機械学習のための教師データとして取得する。より詳細には、教師データ取得部１２１は、分割画像生成部１１３によって生成された第１分割画像、および、反転画像生成部１１４によって生成された第２反転画像を、車両の対称部分における一方側についての教師データとして取得する。つまり、教師データ取得部１２１は、車両における対称部分の一方側の外観検査に用いる特徴量を抽出するための教師データとして第１分割画像および第２反転画像を取得する。また、教師データ取得部１２１は、分割画像生成部１１３によって生成された第２分割画像、
および、反転画像生成部１１４によって生成された第１反転画像を、車両の対称部分における他方側についての教師データとして取得する。つまり、教師データ取得部１２１は、車両における対称部分の他方側の外観検査に用いる特徴量を抽出するための教師データとして第２分割画像および第１反転画像を取得する。
【００３３】
したがって、例えば、画像処理装置１００によって図２に示すような画像処理が行われた場合、教師データ取得部１２１は、第１分割画像である分割画像Ｉｍ３および第２反転画像である反転画像Ｉｍ６を、車体背面の右側部分の外観検査に用いる特徴量を抽出するための教師データとして取得し、第２分割画像である分割画像Ｉｍ４および第１反転画像である反転画像Ｉｍ５を、車体背面の左側部分の外観検査に用いる特徴量を抽出するための教師データとして取得する。
【００３４】
図２に示す車両において、対称部分である車体背面の右側部分と左側部分との外観は、設計上は同一である。つまり、車両の設計上は、車体背面の右側部分の画像と、車体背面の左側部分の画像を反転させた画像と、を重ね合わせた場合、両者は一致することになる。また、車両の設計上は、車体背面の左側部分の画像と、車体背面の右側部分の画像を反転させた画像と、を重ね合わせた場合、両者は一致することになる。そのため、車体背面の右側部分を撮像した分割画像Ｉｍ３のみならず、車体背面の左側部分を撮像した分割画像Ｉｍ４の反転画像Ｉｍ６も、車体背面の右側部分についての教師データとして用いることができる。また、車体背面の左側部分を撮像した分割画像Ｉｍ４のみならず、車体背面の右側部分を撮像した分割画像Ｉｍ３の反転画像Ｉｍ５も、車体背面の左側部分についての教師データとして用いることができる。
【００３５】
そして、学習部１２０における学習モデル生成部１２２は、教師データ取得部１２１が取得した教師データに基づいて、車両の外観検査に用いる学習モデルを生成する。つまり、車両の対称部分については、分割画像および反転画像を教師データとして学習モデルを生成する。
【００３６】
上記によれば、車両の外観検査に用いる学習モデルを構築するための機械学習において、車両の対称部分の撮像画像を分割した分割画像のみならず、該分割画像における一方側の画像および他方側の画像それぞれの反転画像を教師データとして用いることで、該学習モデルを構築するための教師データを増加させることができる。その結果、学習モデルの精度を向上させることができる。
【００３７】
以下、車両検査装置１００において機械学習が行われる際の処理のフローについて、図３に示すフローチャートに基づいて説明する。なお、本フローにおけるＳ１０１〜Ｓ１０４の処理は画像処理部１１０によって実行され、Ｓ１０５およびＳ１０６の処理は学習部１２０によって実行される。
【００３８】
本フローでは、Ｓ１０１において、画像取得部１１１が、撮像装置２００によって撮像された車両の画像を学習用画像として取得する。次に、Ｓ１０２において、対称部抽出部１１２が、画像取得部１１１によって取得された学習用画像から、車両における対称部分の画像を抽出する。次に、Ｓ１０３において、分割画像生成部１１３が、対称部抽出部１１２によって抽出された画像を対称方向に二分割することで分割画像を生成する。次に、Ｓ１０４において、反転画像生成部１１４が、分割画像生成部１１３によって生成された各反転画像を反転させることで反転画像を生成する。
【００３９】
次に、Ｓ１０５において、教師データ取得部１２１が、分割画像生成部１１３によって生成された分割画像、および、反転画像生成部１１４によって生成された反転画像を教師データとして取得する。次に、Ｓ１０６において、学習モデル生成部１２２が、教師デー
タ取得部１２１によって取得された各教師データ（すなわち、分割画像および反転画像）に基づいて、車両の外観検査に用いる学習モデルを生成する。
【００４０】
そして、上記フローが実行されることで学習モデル生成部１２２によって学習モデルが生成されると、該学習モデルが、検査部１３０の学習モデル記憶部１３１に記憶される。
【００４１】
（外観検査）
次に、車両検査装置１００において、検査対象の車両の外観検査を行うときに、画像処理部１１０および検査部１３０で実行される処理について説明する。検査対象の車両の外観検査が行われるときには、該検査対象の車両が撮像装置２００によって撮像されることで検査対象画像が撮像される。そして、画像処理部１１０における画像取得部１１１が、撮像装置２００によって撮像された検査対象画像を取得する。
【００４２】
画像取得部１１１によって検査対象画像が取得されると、対称部抽出部１１２が、該検査対象画像から、車両における対称部分の画像を抽出する。そして、対称部抽出部１１２によって、検査対象画像から、車両における対称部分の画像が抽出されると、分割画像生成部１１３が、該対称部分の画像をその対称方向において二分割することで分割画像を生成する。このように、検査対象の車両の外観検査が行われるときに、画像処理部１１０の画像取得部１１１、対称部抽出部１１２、および分割画像生成部１１３で検査対象画像に対して実行される各処理は、上述した機械学習が行われるときに画像処理部１１０のそれぞれの機能部で学習用画像に対して実行される処理と同様である。
【００４３】
そして、画像処理部１１０において検査対象画像に対して上記のような画像処理が実行されると、検査部１３０における検査データ取得部１３２が、該画像処理によって生成された分割画像を、検査対象の車両の外観検査のための検査データとして取得する。また、検査データ取得部１３２によって検査データが取得されると、判別部１３３が、学習モデル記憶部１３１に記憶されている学習モデルに該検査データを入力することで、検査対象の車両における対称部分の外観について合否を判別する。つまり、検査対象の車両の対称部分における一方側および他方側それぞれの外観について合否が判別される。
【００４４】
これによれば、学習用画像に基づいて生成された分割画像および反転画像を教師データとして用いて構築された学習モデルによって検査対象の車両の外観検査を行うことができる。つまり、より精度の高い学習モデルによって車両の外観検査を行うことができる。したがって、車両の外観検査の検査精度を向上させることができる。
【００４５】
以下、車両検査装置１００において検査対象の車両の外観検査が行われる際の処理のフローについて、図４に示すフローチャートに基づいて説明する。なお、本フローにおけるＳ２０１〜Ｓ２０３の処理は画像処理部１１０によって実行され、Ｓ２０４およびＳ２０５の処理は検査部１３０によって実行される。
【００４６】
本フローでは、Ｓ２０１において、画像取得部１１１が、撮像装置２００によって撮像された検査対象の車両の画像を検査対象画像として取得する。次に、Ｓ２０２において、対称部抽出部１１２が、画像取得部１１１によって取得された検査対象画像から、検査対象の車両における対称部分の画像を抽出する。次に、Ｓ２０３において、分割画像生成部１１３が、対称部抽出部１１２によって抽出された画像を対称方向に二分割することで分割画像を生成する。
【００４７】
次に、Ｓ２０４において、検査データ取得部１３２が、分割画像生成部１１３によって生成された分割画像を検査データとして取得する。次に、Ｓ２０５において、判別部１３３が、検査データ取得部１３２によって取得された各検査データ（すなわち、分割画像）
を、学習モデル記憶部１３１に記憶されている学習モデルに入力することで、検査対象の車両における対称部分の外観について合否を判別する。
【００４８】
なお、車両検査装置１００は、上記フローを実行することで得られた、検査対象の車両の外観検査の結果（すなわち、合否判定結果）を報知するための報知処理をさらに実行してもよい。
【００４９】
本実施形態においては、画像処理部１１０が本発明の第１の態様に係る「第１画像処理部」として機能し、学習部１２０が本発明の第１の態様に係る「学習部」として機能する。また、本実施形態においては、画像処理部１１０が本発明の第２の態様に係る「第２画像処理部」としても機能し、検査部１３０が本発明の第２の態様に係る「検査部」として機能する。つまり、本実施形態においては、車両検査装置１００が、本発明に係る「情報処理装置」および「外観検査装置」と含んで構成されている。ただし、本発明に係る「情報処理装置」および「外観検査装置」は、必ずしも一つの装置として構成される必要はなく、それぞれが別の装置として構成されてもよい。また、本発明に係る「検査対象物」は、「車両」に限られるものではなく、その外観において対称部分が含まれる物体であればよい。例えば、車両に組み付ける一部品の外観検査のために本発明を適用してもよい。
【００５０】
＜その他の実施形態＞
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施し得る。また、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【００５１】
また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成によって実現するかは柔軟に変更可能である。
【符号の説明】
【００５２】
１００・・車両検査装置
１１０・・画像処理部
１１１・・画像取得部
１１２・・対称部抽出部
１１３・・分割画像生成部
１１４・・反転画像生成部
１２０・・学習部
１２１・・教師データ取得部
１２２・・学習モデル生成部
１３０・・検査部
１３１・・学習モデル記憶部
１３２・・検査データ取得部
１３３・・判別部
２００・・撮像装置
【図１】
2020102111.tif 000003
【図２】
2020102111.tif 000004
【図３】
2020102111.tif 000005
【図４】
2020102111.tif 000006