(57)【要約】【課題】画像をより正確に判定することが可能な判定装置、判定方法および判定プログラムを提供する。【解決手段】判定装置は、判定用画像を取得する取得部と、前記取得部によって取得された前記判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定する判定部とを備える。【選択図】図１０
2019016249.tif 000002
【特許請求の範囲】
【請求項１】
判定用画像を取得する取得部と、
前記取得部によって取得された前記判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定する判定部とを備える、判定装置。
【請求項２】
前記判定部は、前記各判定結果の論理積に基づいて前記判定用画像を判定する、請求項１に記載の判定装置。
【請求項３】
前記判定部は、前記各判定結果の多数決に基づいて前記判定用画像を判定する、請求項１または請求項２に記載の判定装置。
【請求項４】
前記判定部は、重み付けされた前記各判定結果を平均した値に基づいて前記判定用画像を判定する、請求項１から請求項３のいずれか１項に記載の判定装置。
【請求項５】
前記判定装置は、さらに、
３つ以上の前記分類モデルの中から、所定条件を満たす複数の前記分類モデルを選別するモデル選別部を備え、
前記判定部は、前記モデル選別部によって選別された前記複数の分類モデルを用いて前記判定用画像をそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定する、請求項１から請求項４のいずれか１項に記載の判定装置。
【請求項６】
前記所定条件は、前記分類モデルを用いた判定精度が所定値以上であることである、請求項５に記載の判定装置。
【請求項７】
前記判定部は、前記分類モデルが判定を誤った画像を学習データとして用いて作成されたニューラルネットワークモデルである補完モデル、および対応の前記分類モデルの組を複数用いて前記判定用画像を判定する、請求項１から請求項６のいずれか１項に記載の判定装置。
【請求項８】
前記判定部は、複数の前記組のうちの、前記分類モデルおよび前記補完モデルによる前記判定用画像の各々の判定結果が所定範囲内となる１または複数の前記組を用いて前記判定用画像を判定する、請求項７に記載の判定装置。
【請求項９】
前記分類モデルは、ディープラーニングモデルである、請求項１から請求項８のいずれか１項に記載の判定装置。
【請求項１０】
判定用画像を取得する取得部と、
ニューラルネットワークモデルである複数の分類モデルの中から、所定条件を満たす１または複数の前記分類モデルを選別するモデル選別部と、
前記取得部によって取得された前記判定用画像を、前記モデル選別部によって選別された１または複数の前記分類モデルを用いて判定する判定部とを備える、判定装置。
【請求項１１】
判定装置における判定方法であって、
判定用画像を取得するステップと、
取得した前記判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定するステップとを含む、判定方法。
【請求項１２】
判定装置における判定方法であって、
判定用画像を取得するステップと、
ニューラルネットワークモデルである複数の分類モデルの中から、所定条件を満たす１または複数の前記分類モデルを選別するステップと、
取得した前記判定用画像を、選別した１または複数の前記分類モデルを用いて判定するステップとを含む、判定方法。
【請求項１３】
判定装置において用いられる判定プログラムであって、
コンピュータを、
判定用画像を取得する取得部と、
前記取得部によって取得された前記判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定する判定部、
として機能させるための、判定プログラム。
【請求項１４】
判定装置において用いられる判定プログラムであって、
コンピュータを、
判定用画像を取得する取得部と、
ニューラルネットワークモデルである複数の分類モデルの中から、所定条件を満たす１または複数の前記分類モデルを選別するモデル選別部と、
前記取得部によって取得された前記判定用画像を、前記モデル選別部によって選別された１または複数の前記分類モデルを用いて判定する判定部、
として機能させるための、判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、判定装置、判定方法および判定プログラムに関する。
【背景技術】
【０００２】
従来、画像に映り込んだ対象物の姿勢および位置を認識するための情報処理装置が開発されている。このような情報処理装置の一例として、たとえば、特開２０１６−１４８９号公報（特許文献１）には、以下のような情報処理装置が開示されている。すなわち、情報処理装置は、異なる姿勢の対象物体それぞれを含む複数の学習画像それぞれを構成する複数の部分学習画像を、該部分学習画像から抽出される複数の画素の画素値に基づき分類された結果と該分類された部分学習画像と前記学習画像との位置関係を示す位置情報とを登録した辞書を保持する保持手段と、複数の姿勢のいずれかの対象物体を含む入力画像を取得する第１の取得手段と、前記入力画像を構成する複数の部分画像を取得する第２の取得手段と、前記複数の部分画像それぞれから、前記部分学習画像から抽出される画素の位置に対応する画素の画素値を抽出する抽出手段と、前記抽出手段で抽出された複数の画素の画素値を比較することにより前記辞書に基づいて、前記複数の部分画像ごとに対応する部分学習画像を決定し、該決定された結果を前記位置情報に対応する位置に登録する登録手段と、前記部分画像ごとに登録された結果を集計することにより、前記入力画像に含まれる対象物体の姿勢と位置とを認識する認識手段とを備える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１４８９号公報
【特許文献２】特開２０１７−４５３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような特許文献１に記載の技術を超えて、画像に映り込んだ対象事象の有無、たとえば対象物におけるキズまたはひび等の異常部分の有無をより正確に判定するための技術が求められている。
【０００５】
この発明は、上述の課題を解決するためになされたもので、その目的は、画像をより正確に判定することが可能な判定装置、判定方法および判定プログラムを提供することである。
【課題を解決するための手段】
【０００６】
（１）上記課題を解決するために、この発明のある局面に係わる判定装置は、判定用画像を取得する取得部と、前記取得部によって取得された前記判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定する判定部とを備える。
【０００７】
（１０）上記課題を解決するために、この発明の他の局面に係わる判定装置は、判定用画像を取得する取得部と、ニューラルネットワークモデルである複数の分類モデルの中から、所定条件を満たす１または複数の前記分類モデルを選別するモデル選別部と、前記取得部によって取得された前記判定用画像を、前記モデル選別部によって選別された１または複数の前記分類モデルを用いて判定する判定部とを備える。
【０００８】
（１１）上記課題を解決するために、この発明のある局面に係わる判定方法は、判定装置における判定方法であって、判定用画像を取得するステップと、取得した前記判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定するステップとを含む。
【０００９】
（１２）上記課題を解決するために、この発明の他の局面に係わる判定方法は、判定装置における判定方法であって、判定用画像を取得するステップと、ニューラルネットワークモデルである複数の分類モデルの中から、所定条件を満たす１または複数の前記分類モデルを選別するステップと、取得した前記判定用画像を、選別した１または複数の前記分類モデルを用いて判定するステップとを含む。
【００１０】
（１３）上記課題を解決するために、この発明のある局面に係わる判定プログラムは、判定装置において用いられる判定プログラムであって、コンピュータを、判定用画像を取得する取得部と、前記取得部によって取得された前記判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定する判定部、として機能させるためのプログラムである。
【００１１】
（１４）上記課題を解決するために、この発明の他の局面に係わる判定プログラムは、判定装置において用いられる判定プログラムであって、コンピュータを、判定用画像を取得する取得部と、ニューラルネットワークモデルである複数の分類モデルの中から、所定条件を満たす１または複数の前記分類モデルを選別するモデル選別部と、前記取得部によって取得された前記判定用画像を、前記モデル選別部によって選別された１または複数の前記分類モデルを用いて判定する判定部、として機能させるためのプログラムである。
【００１２】
本発明は、このような特徴的な処理部を備える判定装置として実現することができるだけでなく、判定装置を備える判定システムとして実現することができる。また、本発明は、判定装置の一部または全部を実現する半導体集積回路として実現することができる。
【発明の効果】
【００１３】
本発明によれば、画像をより正確に判定することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の第１の実施の形態に係る判定システムの構成を示す図である。
【図２】図２は、本発明の第１の実施の形態に係る判定システムにおける蓄積装置に蓄積された不良品画像の一例を示す図である。
【図３】図３は、本発明の第１の実施の形態に係る判定システムにおける蓄積装置に蓄積された良品画像の一例を示す図である。
【図４】図４は、本発明の第１の実施の形態に係る判定システムにおける蓄積装置に蓄積された良品画像の一例を示す図である。
【図５】図５は、本発明の第１の実施の形態に係る判定システムにおける学習装置が分類モデルを作成する際の動作手順を定めたフローチャートである。
【図６】図６は、本発明の第１の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。
【図７】図７は、本発明の第１の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。
【図８】図８は、本発明の第１の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。
【図９】図９は、本発明の第１の実施の形態に係る判定システムにおける学習装置による複数の分類モデルの評価結果の一例を示す図である。
【図１０】図１０は、本発明の第１の実施の形態に係る判定システムにおける判定装置の構成を示す図である。
【図１１】図１１は、本発明の第１の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。
【図１２】図１２は、本発明の第１の実施の形態に係る判定システムにおける判定装置が判定する判定用画像の一例を示す図である。
【図１３】図１３は、本発明の第１の実施の形態に係る判定システムにおける判定装置が総合判定処理を行う際の動作手順を定めたフローチャートである。
【図１４】図１４は、本発明の第１の実施の形態に係る判定装置における判定部が作成する集計表の一例を示す図である。
【図１５】図１５は、本発明の第１の実施の形態に係る判定装置における判定部が作成する集計表の一例を示す図である。
【図１６】図１６は、本発明の第１の実施の形態に係る判定装置における判定部が作成する集計表の一例を示す図である。
【図１７】図１７は、本発明の第１の実施の形態に係る判定装置における判定部が作成する集計表の一例を示す図である。
【図１８】図１８は、本発明の第１の実施の形態に係る判定システムにおける学習装置による複数の分類モデルの評価結果の一例を示す図である。
【図１９】図１９は、本発明の第１の実施の形態に係る判定システムにおける判定装置の変形例の構成を示す図である。
【図２０】図２０は、本発明の第２の実施の形態に係る判定システムの構成を示す図である。
【図２１】図２１は、本発明の第２の実施の形態に係る判定システムにおける学習装置がモデル組を作成する際の動作手順を定めたフローチャートである。
【図２２】図２２は、本発明の第２の実施の形態に係る判定システムにおける学習装置による複数のモデル組の評価結果の一例を示す図である。
【図２３】図２３は、本発明の第２の実施の形態に係る判定システムにおける判定装置の構成を示す図である。
【図２４】図２４は、本発明の第２の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。
【図２５】図２５は、本発明の第２の実施の形態に係る判定システムにおける判定装置が総合判定処理を行う際の動作手順を定めたフローチャートである。
【図２６】図２６は、本発明の第２の実施の形態に係る判定システムにおける判定装置が真条件、偽条件および判定保留条件の判断に用いる各範囲の一例を示す図である。
【図２７】図２７は、本発明の第２の実施の形態に係る判定システムにおける判定装置が総合判定処理を行う際の動作手順を定めたフローチャートである。
【図２８】図２８は、本発明の第２の実施の形態に係る判定システムにおける判定装置が総合判定処理を行う際の動作手順を定めたフローチャートである。
【発明を実施するための形態】
【００１５】
最初に、本発明の実施形態の内容を列記して説明する。
【００１６】
（１）本発明の実施の形態に係る判定装置は、判定用画像を取得する取得部と、前記取得部によって取得された前記判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定する判定部とを備える。
【００１７】
たとえば、ニューラルネットワークモデルの学習において、用いるデータおよび与える初期値等によっては、判定精度の劣るニューラルネットワークモデルが作成されることがある。上記のように、複数の分類モデルを用いて判定用画像をそれぞれ判定し、各判定結果に基づいて判定用画像を総合的に判定する構成により、たとえば、複数の分類モデルの中に判定精度の劣る分類モデルが含まれてしまい、判定用画像における対象事象の有無を当該分類モデルが誤って判定する場合においても、他の分類モデルによる判定結果と合わせて総合的に判定することができるので、判定精度の劣る分類モデルの判定結果を覆してより正確な判定結果を得ることができる。したがって、画像における対象事象の有無をより正確に判定することができる。
【００１８】
（２）好ましくは、前記判定部は、前記各判定結果の論理積に基づいて前記判定用画像を判定する。
【００１９】
このような構成により、たとえば、複数の分類モデルのうちの少なくともいずれか１つが否定的な判定結果を出力した場合に、判定用画像を否定的に総合判定することができるので、実際には判定用画像に対象事象が含まれないにもかかわらず、判定用画像に対象事象が含まれると誤って判定してしまう可能性を低減することができる。
【００２０】
（３）好ましくは、前記判定部は、前記各判定結果の多数決に基づいて前記判定用画像を判定する。
【００２１】
このような構成により、複数の分類モデルによる各判定結果を平等に扱うことができるので、判定用画像の総合的な判定結果が偏ってしまうことを防ぐことができる。具体的には、たとえば、判定結果が肯定的および否定的の２種類である場合、否定的および肯定的のいずれか一方に偏ってしまうことを防ぐことができる。
【００２２】
（４）好ましくは、前記判定部は、重み付けされた前記各判定結果を平均した値に基づいて前記判定用画像を判定する。
【００２３】
このような構成により、たとえば、複数の分類モデルの優劣に応じて判定結果をそれぞれ重みづけすることができるので、優れた分類モデルの判定結果の総合判定への影響度合いを高めるとともに、劣った分類モデルの判定結果の総合判定への影響度合いを低減することができる。これにより、判定用画像をより正確に総合判定することができる。
【００２４】
（５）好ましくは、前記判定装置は、さらに、３つ以上の前記分類モデルの中から、所定条件を満たす複数の前記分類モデルを選別するモデル選別部を備え、前記判定部は、前記モデル選別部によって選別された前記複数の分類モデルを用いて前記判定用画像をそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定する。
【００２５】
このような構成により、たとえば、優れた分類モデルおよび劣った分類モデルが混在する中から、優れた分類モデルを選び出して用いることができるので、劣った分類モデルの判定結果を排除することができる。
【００２６】
（６）より好ましくは、前記所定条件は、前記分類モデルを用いた判定精度が所定値以上であることである。
【００２７】
このような構成により、複数の分類モデルによる各判定結果をある水準以上にすることができるので、判定用画像をより正確に総合判定することができる。
【００２８】
（７）好ましくは、前記判定部は、前記分類モデルが判定を誤った画像を学習データとして用いて作成されたニューラルネットワークモデルである補完モデル、および対応の前記分類モデルの組を複数用いて前記判定用画像を判定する。
【００２９】
このように、分類モデルの判定における弱点を補うことが可能な補完モデル、および当該分類モデルの組を複数用いて判定用画像を判定する構成により、分類モデルによる判定の誤りを補完モデルにより訂正することができるので、判定用画像をより正確に総合判定することができる。
【００３０】
（８）より好ましくは、前記判定部は、複数の前記組のうちの、前記分類モデルおよび前記補完モデルによる前記判定用画像の各々の判定結果が所定範囲内となる１または複数の前記組を用いて前記判定用画像を判定する。
【００３１】
たとえば、分類モデルの判定結果および補完モデルによる判定結果の両方が肯定的または否定的に一致する場合、当該判定結果はより信頼できる結果であると考えられる。上記の構成により、たとえば、より信頼できる判定結果をある組から得られた場合には、当該判定結果を採用して他の組の判定を省くことができるので、判定処理を迅速に完了することができる。また、たとえば、分類モデルの判定結果および補完モデルによる判定結果のが、ともにあいまいである場合、または互いに異なる場合、当該判定結果はあまり信頼できない結果であると考えられる。上記のように、たとえば、各々の判定結果が、あまり信頼できない判定結果が得られる範囲と異なる範囲内となる１または複数の組を用いて判定用画像を判定する構成により、あまり信頼できない判定結果を省くことができるので、総合判定が誤ってしまう可能性を下げることができる。
【００３２】
（９）好ましくは、前記分類モデルは、ディープラーニングモデルである。
【００３３】
このように、分類モデルが、判定精度をより高めることが可能なディープラーニングモデルである構成により、複数の分類モデルを用いた判定用画像の各判定結果の精度をより高めることができる。
【００３４】
（１０）本発明の実施の形態に係る判定装置は、判定用画像を取得する取得部と、ニューラルネットワークモデルである複数の分類モデルの中から、所定条件を満たす１または複数の前記分類モデルを選別するモデル選別部と、前記取得部によって取得された前記判定用画像を、前記モデル選別部によって選別された１または複数の前記分類モデルを用いて判定する判定部とを備える。
【００３５】
たとえば、ニューラルネットワークモデルの学習において、用いるデータおよび与える初期値等によっては、判定精度の劣るニューラルネットワークモデルが作成されることがある。上記の構成により、たとえば、判定精度の優れた分類モデルおよび判定精度の劣る分類モデルが混在する中から、優れた分類モデルを選び出して用いることができるので、判定用画像における対象事象の有無をより正しく判定することができる。したがって、画像における対象事象の有無をより正確に判定することができる。
【００３６】
（１１）本発明の実施の形態に係る判定方法は、判定装置における判定方法であって、判定用画像を取得するステップと、取得した前記判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定するステップとを含む。
【００３７】
たとえば、ニューラルネットワークモデルの学習において、用いるデータおよび与える初期値等によっては、判定精度の劣るニューラルネットワークモデルが作成されることがある。上記のように、複数の分類モデルを用いて判定用画像をそれぞれ判定し、各判定結果に基づいて判定用画像を総合的に判定する構成により、たとえば、複数の分類モデルの中に判定精度の劣る分類モデルが含まれてしまい、判定用画像における対象事象の有無を当該分類モデルが誤って判定する場合においても、他の分類モデルによる判定結果と合わせて総合的に判定することができるので、判定精度の劣る分類モデルの判定結果を覆してより正確な判定結果を得ることができる。したがって、画像における対象事象の有無をより正確に判定することができる。
【００３８】
（１２）本発明の実施の形態に係る判定方法は、判定装置における判定方法であって、判定用画像を取得するステップと、ニューラルネットワークモデルである複数の分類モデルの中から、所定条件を満たす１または複数の前記分類モデルを選別するステップと、取得した前記判定用画像を、選別した１または複数の前記分類モデルを用いて判定するステップとを含む。
【００３９】
たとえば、ニューラルネットワークモデルの学習において、用いるデータおよび与える初期値等によっては、判定精度の劣るニューラルネットワークモデルが作成されることがある。上記の構成により、たとえば、判定精度の優れた分類モデルおよび判定精度の劣る分類モデルが混在する中から、優れた分類モデルを選び出して用いることができるので、判定用画像における対象事象の有無をより正しく判定することができる。したがって、画像における対象事象の有無をより正確に判定することができる。
【００４０】
（１３）本発明の実施の形態に係る判定プログラムは、判定装置において用いられる判定プログラムであって、コンピュータを、判定用画像を取得する取得部と、前記取得部によって取得された前記判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定する判定部、として機能させるためのプログラムである。
【００４１】
たとえば、ニューラルネットワークモデルの学習において、用いるデータおよび与える初期値等によっては、判定精度の劣るニューラルネットワークモデルが作成されることがある。上記のように、複数の分類モデルを用いて判定用画像をそれぞれ判定し、各判定結果に基づいて判定用画像を総合的に判定する構成により、たとえば、複数の分類モデルの中に判定精度の劣る分類モデルが含まれてしまい、判定用画像における対象事象の有無を当該分類モデルが誤って判定する場合においても、他の分類モデルによる判定結果と合わせて総合的に判定することができるので、判定精度の劣る分類モデルの判定結果を覆してより正確な判定結果を得ることができる。したがって、画像における対象事象の有無をより正確に判定することができる。
【００４２】
（１４）本発明の実施の形態に係る判定プログラムは、判定装置において用いられる判定プログラムであって、コンピュータを、判定用画像を取得する取得部と、ニューラルネットワークモデルである複数の分類モデルの中から、所定条件を満たす１または複数の前記分類モデルを選別するモデル選別部と、前記取得部によって取得された前記判定用画像を、前記モデル選別部によって選別された１または複数の前記分類モデルを用いて判定する判定部、として機能させるためのプログラムである。
【００４３】
たとえば、ニューラルネットワークモデルの学習において、用いるデータおよび与える初期値等によっては、判定精度の劣るニューラルネットワークモデルが作成されることがある。上記の構成により、たとえば、判定精度の優れた分類モデルおよび判定精度の劣る分類モデルが混在する中から、優れた分類モデルを選び出して用いることができるので、判定用画像における対象事象の有無をより正しく判定することができる。したがって、画像における対象事象の有無をより正確に判定することができる。
【００４４】
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施の形態の少なくとも一部を任意に組み合わせてもよい。
【００４５】
＜第１の実施の形態＞
［構成および基本動作］
図１は、本発明の第１の実施の形態に係る判定システムの構成を示す図である。
【００４６】
図１を参照して、判定システム３０１は、判定装置１０１と、蓄積装置１３１と、学習装置１５１とを備える。
【００４７】
図２は、本発明の第１の実施の形態に係る判定システムにおける蓄積装置に蓄積された不良品画像の一例を示す図である。
【００４８】
図３および図４は、本発明の第１の実施の形態に係る判定システムにおける蓄積装置に蓄積された良品画像の一例を示す図である。
【００４９】
図１〜図４を参照して、カメラ１２１は、対象物を撮影する。この例では、カメラ１２１は、対象物として焼結物Ｔｇｔを撮影する。
【００５０】
より詳細には、焼結物Ｔｇｔは、たとえば工場において順次生産される。カメラ１２１は、生産ラインにおける焼結物Ｔｇｔを撮影し、撮影した焼結物Ｔｇｔの画像を示す画像情報を蓄積装置１３１へ送信する。このような撮影処理は、たとえば焼結物Ｔｇｔが生産ラインを流れるごとに行われる。
【００５１】
図２に示す画像は、対象事象の一例であるキズ部Ｄｆ１を含む焼結物Ｔｇｔの不良品の画像（以下、不良品画像とも称する。）Ｓｎｇである。蓄積装置１３１には、このようなキズ部Ｄｆ１を含む焼結物Ｔｇｔの画像すなわち不良品画像Ｓｎｇが複数枚蓄積されている。
【００５２】
図３に示す画像は、キズ部Ｄｆ１を含まない焼結物Ｔｇｔの良品の画像（以下、良品画像とも称する。）Ｓｇである。
【００５３】
また、焼結物Ｔｇｔの良品の中には、焼結物Ｔｇｔの表面に濃淡が生じたものがある。図４に示す画像は、キズ部Ｄｆ１を含まないが、その濃淡の淡部Ｓｄ１を含む焼結物Ｔｇｔの良品画像Ｓｇｓである。蓄積装置１３１には、良品画像ＳｇおよびＳｇｓが複数枚蓄積されている。
【００５４】
なお、対象物は、焼結物Ｔｇｔに限らず、ネジ等の他の物体または人間もしくは動物であってもよい。また、対象事象は、キズ部Ｄｆ１に限らず、ひび等であってもよい。
【００５５】
再び図１を参照して、蓄積装置１３１は、カメラ１２１から画像情報を受信するごとに、受信した画像情報を蓄積する。
【００５６】
学習装置１５１は、たとえば、ディープラーニングモデルである複数の分類モデルを作成する。複数の分類モデルは、たとえば、機械学習によって自動的に作成されるアルゴリズムである。ディープラーニングモデルは、ニューラルネットワークモデルの一例である。
【００５７】
［動作の流れ］
判定システム３０１における各装置は、コンピュータを備え、当該コンピュータにおけるＣＰＵ等の演算処理部は、以下のシーケンス図またはフローチャートの各ステップの一部または全部を含むプログラムを図示しないメモリからそれぞれ読み出して実行する。これら複数の装置のプログラムは、それぞれ、外部からインストールすることができる。これら複数の装置のプログラムは、それぞれ、記録媒体に格納された状態で流通する。
【００５８】
図５は、本発明の第１の実施の形態に係る判定システムにおける学習装置が分類モデルを作成する際の動作手順を定めたフローチャートである。
【００５９】
図５を参照して、学習装置１５１は、画像データＰｎｇ１を作成する（ステップＳ１０２）。
【００６０】
図６は、本発明の第１の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。
【００６１】
図６を参照して、ユーザは、たとえば、複数の分類モデルを作成するための操作を学習装置１５１に対して行う。
【００６２】
具体的には、ユーザは、たとえば、蓄積装置１３１に蓄積された複数の画像のうち、不良品画像Ｓｎｇ（図２参照）を複数枚たとえば５００枚選択する。
【００６３】
そして、ユーザは、選択した不良品画像Ｓｎｇのそれぞれに対して、キズ部Ｄｆ１をマウス等のポインティングデバイスによって指定する操作を学習装置１５１に対して行う。
【００６４】
学習装置１５１は、たとえば、ユーザの操作に従って、ユーザによって選択された不良品画像Ｓｎｇにポインティングデバイスの軌跡Ｔｒ１をピクセル単位で描画する（図６参照）。
【００６５】
学習装置１５１は、軌跡Ｔｒ１をピクセル単位で描画した不良品画像Ｓｎｇを５００枚含む画像データＰｎｇ１を作成する。
【００６６】
再び図５を参照して、次に、学習装置１５１は、画像データＰｇ１を作成する（ステップＳ１０４）。
【００６７】
より詳細には、ユーザは、たとえば、蓄積装置１３１に蓄積された複数の画像のうち、良品画像ＳｇおよびＳｇｓ（図３および図４参照）を複数枚たとえば５００枚選択し、選択結果を入力する操作を学習装置１５１に対して行う。
【００６８】
学習装置１５１は、たとえば、ユーザの操作に従って、ユーザによって選択された良品画像ＳｇおよびＳｇｓを５００枚含む画像データＰｇ１を作成する。
【００６９】
複数の分類モデルは、このようにして作成された画像データＰｎｇ１およびＰｇ１から作成される。
【００７０】
次に、学習装置１５１は、画像データＰｎｇ１から複数のデータ組を作成する（ステップＳ１０６）。
【００７１】
図７は、本発明の第１の実施の形態に係る判定システムにおける学習装置が処理する不良品画像の一例を示す図である。
【００７２】
図７を参照して、学習装置１５１は、たとえば、画像データＰｎｇ１から不良品画像Ｓｎｇを１枚取得し、所定の方式Ｍ１に従う方法により、取得した不良品画像Ｓｎｇを複数の部分画像に分割する。
【００７３】
より詳細には、学習装置１５１は、図７に示すように、不良品画像Ｓｎｇを複数の部分画像に分割する。この例では、学習装置１５１は、不良品画像Ｓｎｇを縦方向に均等に７分割し、かつ横方向に均等に９分割することにより、６３個の同じ形状およびサイズの部分画像に分割する。
【００７４】
なお、部分画像の個数は、複数であれば任意の個数でよい。また、各部分画像の形状およびサイズは、同じに限らず、形状およびサイズの少なくともいずれか一方が異なってもよい。
【００７５】
学習装置１５１は、分割した６３個の部分画像のそれぞれに対して、当該部分画像が対象事象を含むか否かを示す部分ラベル情報を作成する。
【００７６】
より詳細には、学習装置１５１は、６３個の部分画像を順番に選択し、選択した部分画像において軌跡Ｔｒ１の少なくとも一部が含まれる場合、部分ラベル情報の一例である部分ラベル、ここでは「キズあり部分」を示す部分ラベルを作成する。
【００７７】
一方、学習装置１５１は、選択した部分画像において軌跡Ｔｒ１が全く含まれない場合、「キズなし部分」を示す部分ラベルを作成する。
【００７８】
学習装置１５１は、選択した部分画像および作成した部分ラベルを含むデータ組を作成する。
【００７９】
このようにして、学習装置１５１は、部分画像および対応の部分ラベルを含むデータ組を６３個作成する。
【００８０】
学習装置１５１は、画像データＰｎｇ１における他の不良品画像Ｓｎｇについても同様に処理することによりデータ組を作成する。このようにして不良品画像Ｓｎｇについての５００×６３個すなわち３１５００個のデータ組が作成される。
【００８１】
再び図５を参照して、次に、学習装置１５１は、画像データＰｇ１から複数のデータ組を作成する（ステップＳ１０８）。
【００８２】
図８は、本発明の第１の実施の形態に係る判定システムにおける学習装置が処理する良品画像の一例を示す図である。図８には、図４に示す良品画像Ｓｇｓが分割された画像が示される。
【００８３】
図８を参照して、学習装置１５１は、図７に示す不良品画像Ｓｎｇと同様に、良品画像Ｓｇｓ（図４参照）を６３個の部分画像に分割する。
【００８４】
学習装置１５１は、分割した６３個の部分画像のそれぞれに対して、「キズなし部分」を示す部分ラベルを作成する。
【００８５】
学習装置１５１は、部分画像および対応の部分ラベルを含む６３個のデータ組を作成する。
【００８６】
学習装置１５１は、画像データＰｇ１における他の良品画像ＳｇおよびＳｇｓについても同様に処理することによりデータ組を作成する。このようにして、良品画像ＳｇおよびＳｇｓについての５００×６３個すなわち３１５００個のデータ組が作成される。
【００８７】
再び図５を参照して、次に、学習装置１５１は、画像データＰｎｇ１に基づく３１５００個のデータ組および画像データＰｇ１に基づく３１５００個のデータ組を合わせた６３５００個のデータ組を含む学習データセットを作成する（ステップＳ１１０）。
【００８８】
次に、学習装置１５１は、作成した学習用データセットを用いて複数の分類モデルを作成する（ステップＳ１１２）。
【００８９】
この例では、学習装置１５１は、たとえば、３つの分類モデルＣＭ１，ＣＭ２，ＣＭ３を作成する。
【００９０】
後述するように判定装置１０１において３つの分類モデルが使用されるので、ここでは、学習装置１５１は３つの分類モデルを作成するが、学習装置１５１は、２つまたは４つ以上の分類モデルを作成してもよい。
【００９１】
具体的には、学習装置１５１は、たとえば、ディープラーニング（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）の手法に沿って、多層化したニューラルネットワークに学習データセットを入力する。
【００９２】
ここで、ニューラルネットワークでは、入力する学習データセットにおけるデータ組の入力順に応じて、生成される分類モデルが変化する。
【００９３】
また、ニューラルネットワークでは、たとえば、畳み込み層に与える初期値に応じて、生成される分類モデルが変化する。
【００９４】
学習装置１５１は、たとえば、データ組の入力順および初期値を含む、互いに異なる３つの入力条件を作成する。
【００９５】
学習装置１５１は、作成した入力条件ごとに、多層化したニューラルネットワークに対して部分画像にキズ部Ｄｆ１が含まれるか否かを分類できるように機械学習させることにより分類モデルを作成する。
【００９６】
このような機械学習の結果、分類モデルは、たとえば、所定の輝度以下の背景において所定の輝度以上の筋状の模様が含まれるか否かに基づいて、部分画像にキズ部Ｄｆ１が含まれるか否かを分類する。
【００９７】
次に、学習装置１５１は、作成した複数の分類モデルの判定精度を評価する評価処理を行う（ステップＳ１１４）。
【００９８】
図９は、本発明の第１の実施の形態に係る判定システムにおける学習装置による複数の分類モデルの評価結果の一例を示す図である。
【００９９】
図９を参照して、学習装置１５１は、たとえば、学習データセットとは別の、評価用のデータ組を複数含むテストデータセットを用いて、分類モデルＣＭ１，ＣＭ２，ＣＭ３の判定精度を評価する。
【０１００】
学習装置１５１は、たとえば、テストデータセットに含まれる複数のデータ組を順番に選択し、選択したデータ組における部分画像を分類モデルＣＭ１に入力する。
【０１０１】
分類モデルに部分画像が入力されると、たとえば、当該部分画像にキズ部Ｄｆ１が含まれる確率を示すスコア（以下、出力スコアとも称する。）が出力される。
【０１０２】
学習装置１５１は、たとえば、出力スコアが所定のしきい値Ｔｈ１以上である場合、当該部分画像にキズ部Ｄｆ１が含まれると判定し、また、出力スコアが所定のしきい値Ｔｈ１より小さい場合、当該部分画像にキズ部Ｄｆ１が含まれないと判定する。
【０１０３】
学習装置１５１は、入力した部分画像に対応する部分ラベルと判定結果とを比較し、これらが一致した場合、正解と判定し、また、これらが一致しない場合、不正解と判定する。
【０１０４】
学習装置１５１は、たとえば、正解と判定したデータ組の個数を、テストデータセットに含まれるデータ組の個数で除した値を、分類モデルＣＭ１の判定精度として算出する。
【０１０５】
学習装置１５１は、分類モデルＣＭ２，ＣＭ３に対しても、分類モデルＣＭ１と同様の処理を行うことにより、分類モデルＣＭ２，ＣＭ３の判定精度を算出する。
【０１０６】
この例では、学習装置１５１は、分類モデルＣＭ１，ＣＭ２，ＣＭ３の判定精度として、それぞれ０．８５，０．９０，０．８０を算出する。
【０１０７】
再び図５を参照して、次に、学習装置１５１は、方式Ｍ１、分類モデルＣＭ１，ＣＭ２，ＣＭ３および分類モデルごとの判定精度を含むモデル情報を判定装置１０１へ送信する（ステップＳ１１６）。
【０１０８】
なお、上記ステップＳ１０２〜Ｓ１０８の順番は、ステップＳ１０２の後にステップＳ１０６が行われ、かつステップＳ１０４の後にステップＳ１０８が行われれば、上記に限らず、一部または全部の順番を変更してもよい。
【０１０９】
また、学習装置１５１は、上記ステップＳ１１４において、テストデータセットを用いて評価処理を行う構成であるとしたが、これに限定するものではない。学習装置１５１は、たとえば、学習データセットおよびテストデータセットの両方を用いて評価処理を行う構成であってもよい。また、学習装置１５１は、たとえば、テストデータセットを利用できない場合には、学習データセットを用いて評価処理を行う構成であってもよい。
【０１１０】
［判定装置の構成］
図１０は、本発明の第１の実施の形態に係る判定システムにおける判定装置の構成を示す図である。
【０１１１】
図１０を参照して、判定装置１０１は、取得部２１と、判定部２２と、送信部２４とを備える。
【０１１２】
図１１は、本発明の第１の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。
【０１１３】
図１０および図１１を参照して、まず、判定装置１０１における取得部２１は、分類モデルＣＭ１，ＣＭ２，ＣＭ３を取得する（ステップＳ２０２）。
【０１１４】
より詳細には、取得部２１は、たとえば、学習装置１５１からモデル情報を受信すると、受信したモデル情報を判定部２２へ出力する。
【０１１５】
次に、取得部２１は、判定用画像を取得する（ステップＳ２０４）。詳細には、取得部２１は、たとえば、焼結物Ｔｇｔが生産ラインを流れるごとに当該焼結物Ｔｇｔの画像を判定用画像として取得する。
【０１１６】
より詳細には、取得部２１は、蓄積装置１３１における画像情報の蓄積状況を監視し、たとえば、蓄積装置１３１において新たな画像情報が蓄積されると、当該新たな画像情報を蓄積装置１３１から取得する。取得部２１は、取得した判定用画像を判定部２２へ出力する。
【０１１７】
図１２は、本発明の第１の実施の形態に係る判定システムにおける判定装置が判定する判定用画像の一例を示す図である。
【０１１８】
図１２を参照して、次に、判定部２２は、判定用画像を複数の部分画像に分割する（ステップＳ２０６）。
【０１１９】
より詳細には、判定部２２は、取得部２１から判定用画像を受けると、取得部２１から受けたモデル情報に含まれる方式Ｍ１を取得し、方式Ｍ１に従う方法により、当該判定用画像を６３個の部分画像（以下、判定用部分画像とも称する。）に分割する。
【０１２０】
また、判定部２２は、たとえば、分割した６３個の判定用部分画像の各々に部分画像位置情報を付する。
【０１２１】
ここで、部分画像位置情報は、たとえば、縦方向の段および横方向の段にそれぞれアルファベットＡ〜Ｇおよび番号１〜９を割り当てた場合における、対象の判定用部分画像の位置する縦方向の段のアルファベットおよび横方向の段の番号を示す。
【０１２２】
なお、部分画像位置情報は、たとえば、画像全体を基準とした場合における判定用部分画像のピクセル単位での座標であってもよい。
【０１２３】
また、図１２に示す判定用画像には、キズ部Ｄｆ２および淡部Ｓｄ２〜Ｓｄ４が含まれる。より詳細には、キズ部Ｄｆ２を含む判定用部分画像が「Ｄ８」に位置する。淡部Ｓｄ２を含む判定用部分画像が「Ｂ２」に位置する。淡部Ｓｄ３を含む判定用部分画像が「Ａ６」に位置する。淡部Ｓｄ４を含む判定用部分画像が「Ｅ２」に位置する。
【０１２４】
再び図１１を参照して、次に、判定部２２は、複数の判定用部分画像のうちの１つを選択する（ステップＳ２０８）。
【０１２５】
より詳細には、判定部２２は、６３個の判定用部分画像のうちの１つを選択する。以下、選択した判定用部分画像を対象部分画像とも称する。
【０１２６】
次に、判定部２２は、複数の分類モデルのうちの１つを選択する（ステップＳ２１０）。
【０１２７】
より詳細には、判定部２２は、モデル情報に含まれる分類モデルＣＭ１，ＣＭ２，ＣＭ３のうちの１つを選択する。以下、選択した分類モデルを対象モデルとも称する。
【０１２８】
次に、判定部２２は、対象部分画像を、分類モデルＣＭ１，ＣＭ２，ＣＭ３を用いてそれぞれ判定する。より詳細には、判定部２２は、対象モデルに対象部分画像を入力する（ステップＳ２１２）。
【０１２９】
次に、判定部２２は、対象モデルに対象部分画像を入力することにより出力された出力スコアが所定のしきい値Ｔｈ２以上である場合（ステップＳ２１４でＹＥＳ）、対象部分画像にキズ部が含まれることについて「真」であると判定する（ステップＳ２１６）。
【０１３０】
一方、判定部２２は、上記出力スコアが所定のしきい値Ｔｈ２より小さい場合（ステップＳ２１４でＮＯ）、対象部分画像にキズ部が含まれることについて「偽」であると判定する（ステップＳ２１８）。
【０１３１】
次に、判定部２２は、対象モデルの識別子、対象部分画像に付された部分画像位置情報、および判定結果を含む部分画像判定結果情報を作成して保持する（ステップＳ２２０）。
【０１３２】
具体的には、判定部２２は、たとえば、識別子、部分画像位置情報および判定結果として、それぞれ「ＣＭ１」、「Ａ１」および「偽」を含む部分画像判定結果情報を作成して保持する。
【０１３３】
次に、判定部２２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３をすべて選択したか否かを確認する（ステップＳ２２２）。
【０１３４】
判定部２２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３の中で未選択の分類モデルが存在する場合（ステップＳ２２２でＮＯ）、分類モデルＣＭ１，ＣＭ２，ＣＭ３において未選択の分類モデルを１つ選択する（ステップＳ２１０）。
【０１３５】
一方、判定部２２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３をすべて選択した場合（ステップＳ２２２でＹＥＳ）、６３個の判定用部分画像をすべて選択したか否かを確認する（ステップＳ２２４）。
【０１３６】
判定部２２は、上記６３個の判定用部分画像の中で未選択の判定用部分画像が存在する場合（ステップＳ２２４でＮＯ）、上記６３個の判定用部分画像において未選択の判定用部分画像を１つ選択する（ステップＳ２０８）。
【０１３７】
一方、判定部２２は、上記６３個の判定用部分画像をすべて選択した場合（ステップＳ２２４でＹＥＳ）、保持する複数の部分画像判定結果情報、具体的には６３×３個すなわち１８９個の部分画像判定結果情報に基づいて判定用部分画像を総合的に判定する総合判定処理を行う（ステップＳ２２６）。
【０１３８】
なお、上記ステップＳ２０２およびＳ２０４の順番は、上記に限らず、順番を入れ替えてもよい。
【０１３９】
図１３は、本発明の第１の実施の形態に係る判定システムにおける判定装置が総合判定処理を行う際の動作手順を定めたフローチャートである。図１３は、図１１のステップＳ２２６における動作の詳細を示している。
【０１４０】
図１４は、本発明の第１の実施の形態に係る判定装置における判定部が作成する集計表の一例を示す図である。
【０１４１】
図１３および図１４を参照して、まず、判定装置１０１における判定部２２は、保持する複数の部分画像判定結果情報を集約し、集計表Ｔｂｌ１を作成する（ステップＳ３０２）。
【０１４２】
より詳細には、判定部２２は、保持する１８９個の部分画像判定結果情報のうちの１つを選択し、選択した部分画像判定結果情報に含まれる識別子、部分画像位置情報および判定結果を集計表Ｔｂｌ１に登録する。
【０１４３】
具体的には、判定部２２は、たとえば、「ＣＭ１」、「Ａ１」および「偽」を含む部分画像判定結果情報を選択し、集計表Ｔｂｌ１の「Ａ１」の行における「ＣＭ１」のフィールドに「偽」を登録する。判定部２２は、他の部分画像判定結果情報についても同様に処理する。
【０１４４】
次に、判定部２２は、集計表Ｔｂｌ１における行のうちの１つを選択する（ステップＳ３０６）。
【０１４５】
次に、判定部２２は、たとえば、選択した行についての各判定結果の論理値の多数決に基づいて判定用部分画像を判定する。具体的には、判定部２２は、選択した行において、「真」の個数が「偽」の個数より多い場合（ステップＳ３０８でＹＥＳ）、当該行の判定用部分画像に対して「真」と総合判定する（ステップＳ３１０）。
【０１４６】
より具体的には、判定部２２は、たとえば、「Ｄ８」の行では、「真」の個数が３であるのに対して「偽」の個数がゼロであるので、「Ｄ８」に位置する判定用部分画像にキズ部が含まれることについて「真」と総合判定する。
【０１４７】
実際には、「Ｄ８」に位置する判定用部分画像にはキズ部Ｄｆ２が含まれるので（図１２参照）、正しい総合判定結果が得られたことになる。
【０１４８】
一方、判定部２２は、選択した行において、「真」の個数が「偽」の個数以下である場合（ステップＳ３０８でＮＯ）、当該行の判定用部分画像に対して「偽」と総合判定する（ステップＳ３１２）。
【０１４９】
具体的には、判定部２２は、たとえば、「Ａ６」の行では、「真」の個数が１であるのに対して「偽」の個数が２であるので、「Ａ６」に位置する判定用部分画像にキズ部が含まれることについて「偽」と総合判定する。
【０１５０】
実際には、「Ａ６」に位置する判定用部分画像には淡部Ｓｄ３が含まれるので（図１２参照）、正しい総合判定結果が得られたことになる。
【０１５１】
このように、各判定結果の論理値の多数決に基づいて判定用部分画像を判定する構成により、分類モデルＣＭ２が誤った判定結果を出力したにも関わらず、分類モデルＣＭ１，ＣＭ３が正しい判定結果を出力したので、正しい総合判定結果を得ることができる。
【０１５２】
次に、判定部２２は、集計表Ｔｂｌ１における行をすべて選択したか否かを確認する（ステップＳ３１４）。
【０１５３】
判定部２２は、集計表Ｔｂｌ１における行の中で未選択の行が存在する場合（ステップＳ３１４でＮＯ）、集計表Ｔｂｌ１における行において未選択の行を１つ選択する（ステップＳ３０６）。
【０１５４】
一方、判定部２２は、集計表Ｔｂｌ１における行をすべて選択した場合（ステップＳ３１４でＹＥＳ）、集計表Ｔｂｌ１において「真」の総合判定が存在するか否かを確認する（ステップＳ３１６）。
【０１５５】
判定部２２は、集計表Ｔｂｌ１において「真」の総合判定が存在する場合（ステップＳ３１６でＹＥＳ）、判定用画像に映った焼結物Ｔｇｔをキズ有りと判断する（ステップＳ３１８）。
【０１５６】
一方、判定部２２は、集計表Ｔｂｌ１において「真」の総合判定が存在しない場合（ステップＳ３１６でＮＯ）、判定用画像に映った焼結物Ｔｇｔを良品と判断する（ステップＳ３２０）。
【０１５７】
次に、判定部２２は、判断結果を示す結果情報を送信部２４経由で上位装置１６１へ送信する（ステップＳ３２２）。
【０１５８】
再び図１を参照して、上位装置１６１は、たとえば、生産ラインを管理するサーバである。上位装置１６１は、判定装置１０１から結果情報を受信して、受信した結果情報がキズ有りを示す場合、たとえば、当該焼結物Ｔｇｔを生産ラインから除外させたり、当該焼結物Ｔｇｔの識別子をユーザに通知したりする。
【０１５９】
［判定装置１０１の変形例１］
判定部２２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３を用いて判定用部分画像をそれぞれ判定し、各判定結果の論理値の多数決に基づいて当該判定用部分画像を判定する構成であるとしたが、これに限定するものではない。判定部２２は、たとえば、上記各判定結果の論理積に基づいて判定用部分画像を判定する構成であってもよい。
【０１６０】
図１５は、本発明の第１の実施の形態に係る判定装置における判定部が作成する集計表の一例を示す図である。
【０１６１】
図１５を参照し、判定部２２は、集計表Ｔｂｌ１（図１４参照）と同様に、保持する複数の部分画像判定結果情報を集約し、集計表Ｔｂｌ２を作成する。
【０１６２】
判定部２２は、集計表Ｔｂｌ２における行のうちの１つを選択し、選択した行についての各判定結果の論理積を算出し、算出結果に基づいて判定用部分画像を判定する。
【０１６３】
具体的には、判定部２２は、選択した行において「偽」が含まれない場合、当該行の判定用部分画像に対して「真」と総合判定する。
【０１６４】
具体的には、判定部２２は、たとえば、「Ｄ８」の行には「偽」が含まれないので、「Ｄ８」に位置する判定用部分画像にキズ部が含まれることについて「真」と総合判定する。
【０１６５】
一方、判定部２２は、選択した行において少なくとも１つの「偽」が含まれる場合、当該行の判定用部分画像に対して「偽」と総合判定する。
【０１６６】
具体的には、判定部２２は、たとえば、「Ａ６」の行には２つの「偽」が含まれるので、「Ａ６」に位置する判定用部分画像にキズ部が含まれることについて「偽」と総合判定する。
【０１６７】
［判定装置１０１の変形例２］
判定部２２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３を用いて判定用部分画像をそれぞれ判定し、各判定結果の論理値の多数決に基づいて当該判定用部分画像を判定する構成であるとしたが、これに限定するものではない。判定部２２は、たとえば、分類モデルＣＭ１，ＣＭ２，ＣＭ３を用いて判定用部分画像の出力スコアをそれぞれ算出し、算出した各出力スコアに基づいて判定用部分画像を判定する構成であってもよい。
【０１６８】
図１６は、本発明の第１の実施の形態に係る判定装置における判定部が作成する集計表の一例を示す図である。
【０１６９】
図１６を参照して、判定部２２は、たとえば、６３個の判定用部分画像のうちの「Ａ１」に位置する判定用部分画像を選択し、選択した判定用部分画像を分類モデルＣＭ１，ＣＭ２，ＣＭ３にそれぞれ入力することにより出力された３つの出力スコア、具体的には、０．２０，０．３０，０．４０を集計表Ｔｂｌ３に書き込む。
【０１７０】
そして、判定部２２は、上記３つの出力スコアの平均値である０．３０をスコア平均のフィールドに書き込む。
【０１７１】
判定部２２は、「Ａ２」〜「Ｇ９」に位置する判定用部分画像についても同様の処理を行う。
【０１７２】
そして、判定部２２は、「Ａ１」〜「Ｇ９」に位置する各判定用部分画像について、対応のスコア平均が所定のしきい値Ｔｈ３たとえば０．７０以上である場合、当該判定用部分画像に対して「真」と総合判定する。
【０１７３】
具体的には、判定部２２は、たとえば、「Ｄ８」の行ではスコア平均が０．７７であるので、「Ｄ８」に位置する判定用部分画像にキズ部が含まれることについて「真」と総合判定する。
【０１７４】
一方、判定部２２は、「Ａ１」〜「Ｇ９」に位置する各判定用部分画像について、対応のスコア平均が所定のしきい値Ｔｈ３より小さい場合、当該判定用部分画像に対して「偽」と総合判定する。
【０１７５】
具体的には、判定部２２は、たとえば、「Ａ１」，「Ａ６」，「Ｂ２」，「Ｅ２」，「Ｇ９」の行ではスコア平均が０．７０以下であるので、「Ａ１」，「Ａ６」，「Ｂ２」，「Ｅ２」，「Ｇ９」に位置する判定用部分画像にキズ部が含まれることについて「偽」と総合判定する。
【０１７６】
［判定装置１０１の変形例３］
判定部２２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３を用いて判定用部分画像をそれぞれ判定し、各判定結果の論理値の多数決に基づいて当該判定用部分画像を判定する構成であるとしたが、これに限定するものではない。判定部２２は、たとえば、重み付けされた上記各判定結果を平均した値に基づいて判定用部分画像を判定する構成であってもよい。
【０１７７】
図１７は、本発明の第１の実施の形態に係る判定装置における判定部が作成する集計表の一例を示す図である。
【０１７８】
図１７を参照して、判定部２２は、たとえば、図１６に示すように部分画像位置ごとかつ分類モデルごとに出力スコアを算出した後、算出した出力スコア、およびモデル情報に含まれる分類モデルＣＭ１，ＣＭ２，ＣＭ３の判定精度に基づいて、重み付き出力スコアを算出する。
【０１７９】
具体的には、たとえば、図９に示すように分類モデルＣＭ１，ＣＭ２，ＣＭ３の判定精度がそれぞれ０．８５，０．９０，０．８０である場合において、判定部２２は、以下の処理を行う。
【０１８０】
すなわち、判定部２２は、たとえば、集計表Ｔｂｌ３（図１６参照）の「Ａ１」の行における出力スコアである０．２０，０．３０，０．４０に対応の判定精度を乗じることにより、集計表Ｔｂｌ４における重み付き出力スコアとしてそれぞれ０．１７，０．２７，０．３２を算出する。
【０１８１】
そして、判定部２２は、上記３つの重み付き出力スコアの平均値である０．２５をスコア平均のフィールドに書き込む。
【０１８２】
判定部２２は、「Ａ２」〜「Ｇ９」の行についても同様の処理を行う。
【０１８３】
そして、判定部２２は、「Ａ１」〜「Ｇ９」に位置する各判定用部分画像について、対応のスコア平均が所定のしきい値Ｔｈ４たとえば０．６０以上である場合、当該判定用部分画像に対して「真」と総合判定する。
【０１８４】
一方、判定部２２は、「Ａ１」〜「Ｇ９」に位置する各判定用部分画像について、対応のスコア平均が所定のしきい値Ｔｈ４以下より小さい場合、当該判定用部分画像に対して「偽」と総合判定する。
【０１８５】
［判定装置１０１の変形例４］
判定部２２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３を用いて判定用部分画像をそれぞれ判定し、各判定結果の論理値の多数決に基づいて当該判定用部分画像を判定する構成であるとしたが、これに限定するものではない。判定部２２は、たとえば、重み付けされた上記各判定結果の論理値の多数決に基づいて判定用部分画像を判定する構成であってもよい。
【０１８６】
判定部２２は、たとえば、図１７に示すように部分画像位置ごとかつ分類モデルごとに重み付き出力スコアを算出する。
【０１８７】
そして、判定部２２は、算出した重み付き出力スコアが所定のしきい値Ｔｈ４以上である場合、対応の判定用部分画像にキズ部が含まれることについて「真」であると判定する。
【０１８８】
一方、判定部２２は、上記重み付き出力スコアが所定のしきい値Ｔｈ４より小さい場合、対応の判定用部分画像にキズ部が含まれることについて「偽」であると判定する。
【０１８９】
判定部２２は、各判定結果に基づいて、図１４に示す集計表Ｔｂｌ１と同様の集計表を作成する。
【０１９０】
判定部２２は、作成した集計表における行ごとに、当該行において「真」の個数が「偽」の個数より多い場合、当該行の判定用部分画像に対して「真」と総合判定し、また、当該行において「真」の個数が「偽」の個数以下である場合、当該行の判定用部分画像に対して「偽」と総合判定する。
【０１９１】
［判定装置１０１の変形例５］
判定部２２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３を用いて判定用部分画像をそれぞれ判定し、各判定結果の論理値の多数決に基づいて当該判定用部分画像を判定する構成であるとしたが、これに限定するものではない。判定部２２は、たとえば、重み付けされた上記各判定結果の論理積に基づいて判定用部分画像を判定する構成であってもよい。
【０１９２】
判定部２２は、たとえば、図１７に示すように部分画像位置ごとかつ分類モデルごとに重み付き出力スコアを算出する。
【０１９３】
そして、判定部２２は、算出した重み付き出力スコアが所定のしきい値Ｔｈ４以上である場合、対応の判定用部分画像にキズ部が含まれることについて「真」であると判定する。
【０１９４】
一方、判定部２２は、上記重み付き出力スコアが所定のしきい値Ｔｈ４より小さい場合、対応の判定用部分画像にキズ部が含まれることについて「偽」であると判定する。
【０１９５】
判定部２２は、各判定結果に基づいて、図１５に示す集計表Ｔｂｌ２と同様の集計表を作成する。
【０１９６】
判定部２２は、作成した集計表における行ごとに、当該行において「偽」が含まれない場合、当該行の判定用部分画像に対して「真」と総合判定し、また、当該行において少なくとも１つの「偽」が含まれる場合、当該行の判定用部分画像に対して「偽」と総合判定する。
【０１９７】
［判定装置１０１の変形例６］
判定システム３０１では、学習装置１５１が作成する分類モデルの個数と判定装置１０１が判定に用いる分類モデルの個数は、同じであるとしたが、これに限定するものではない。学習装置１５１が作成する分類モデルの個数が、判定装置１０１が判定に用いる分類モデルの個数より多くてもよい。
【０１９８】
図１８は、本発明の第１の実施の形態に係る判定システムにおける学習装置による複数の分類モデルの評価結果の一例を示す図である。
【０１９９】
図１および図１８を参照して、ここでは、学習装置１５１は、学習用データセットを用いてたとえば４つの分類モデルを作成する。なお、学習装置１５１は、５つ以上の分類モデルを作成してもよい。
【０２００】
より詳細には、学習装置１５１は、たとえば、データ組の入力順および初期値を含む、互いに異なる４つの入力条件を作成する。
【０２０１】
学習装置１５１は、作成した入力条件ごとに、多層化したニューラルネットワークに対して部分画像にキズ部Ｄｆ１が含まれるか否かを分類できるように機械学習させる。この結果、分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４が作成される。
【０２０２】
そして、学習装置１５１は、たとえば、テストデータセットを用いて、分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の判定精度を評価する。
【０２０３】
この例では、学習装置１５１は、分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の判定精度として、それぞれ０．８５，０．９０，０．８０，０．６０を算出する。
【０２０４】
学習装置１５１は、方式Ｍ１、分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４および分類モデルごとの判定精度を含むモデル情報を判定装置１０１へ送信する。
【０２０５】
図１９は、本発明の第１の実施の形態に係る判定システムにおける判定装置の変形例の構成を示す図である。
【０２０６】
図１９を参照して、判定装置１０１の変形例６は、図１０に示す判定装置１０１と比べて、さらに、モデル選別部２５を備える。
【０２０７】
判定装置１０１の変形例６における取得部２１、判定部２２および送信部２４の動作は、図１０に示す判定装置１０１における取得部２１、判定部２２および送信部２４とそれぞれ同様である。
【０２０８】
判定装置１０１の変形例６における取得部２１は、たとえば、学習装置１５１からモデル情報を受信すると、受信したモデル情報をモデル選別部２５へ出力する。
【０２０９】
モデル選別部２５は、たとえば、３つ以上の分類モデルの中から、所定条件Ｃ１を満たす複数の分類モデルを選別する。ここで、所定条件Ｃ１は、たとえば、分類モデルを用いた判定精度が所定値以上であることである。
【０２１０】
より詳細には、モデル選別部２５は、取得部２１からモデル情報を受けると、受けたモデル情報から分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４および分類モデルごとの判定精度を取得する（図１８参照）。
【０２１１】
モデル選別部２５は、取得した分類モデルごとの判定精度すなわち０．８５，０．９０，０．８０，０．６０と所定値、具体的には０．７０とを比較する。
【０２１２】
モデル選別部２５は、分類モデルＣＭ１，ＣＭ２，ＣＭ３の判定精度が所定条件Ｃ１を満たすので、分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４のうちの分類モデルＣＭ１，ＣＭ２，ＣＭ３を選別する。
【０２１３】
モデル選別部２５は、図１８に示すように、モデル情報から分類モデルＣＭ４、および分類モデルＣＭ４の判定精度を削除し、削除後のモデル情報を判定部２２へ出力する。
【０２１４】
なお、本発明の第１の実施の形態に係る判定装置では、判定部２２は、ディープラーニングモデルである複数の分類モデルを用いる構成であるとしたが、これに限定するものではない。判定部２２は、ニューラルネットワークモデルである複数の分類モデルを用いる構成であればよい。
【０２１５】
また、本発明の第１の実施の形態に係る判定装置では、判定部２２は、判定用画像を複数の判定用部分画像に分割し、分割した判定用部分画像を総合的に評価する構成であるとしたが、これに限定するものではない。判定部２２は、判定用画像をそのまま総合的に評価する構成であってもよい。
【０２１６】
また、本発明の第１の実施の形態に係る判定装置は、送信部２４を備える構成であるとしたが、これに限定するものではない。判定装置１０１は、送信部２４を備えない構成であってもよい。
【０２１７】
また、本発明の第１の実施の形態に係る判定システムでは、判定装置１０１および学習装置１５１は、別体であるとしたが、これに限定するものではない。判定装置１０１は、学習装置１５１を備える構成であってもよい。
【０２１８】
また、本発明の第１の実施の形態に係る判定装置の変形例では、モデル選別部２５は、分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４のうちの３つの分類モデルＣＭ１，ＣＭ２，ＣＭ３を選別する構成であるとしたが、これに限定するものではない。モデル選別部２５は、たとえば、分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４のうちの１つまたは２つの分類モデルを選別する構成であってもよい。判定装置１０１は、分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４のうちの１つの分類モデルを選別する場合、総合的な判定は行わないが、より優れた分類モデルを用いて判定を行うので、画像における対象事象の有無をより正確に判定するという本発明の目的を達成することが可能である。
【０２１９】
また、本発明の第１の実施の形態に係る判定装置では、判定部２２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３を用いて判定用部分画像をそれぞれ判定し、各判定結果の論理積に基づいて判定用部分画像を判定する構成であるとしたが、これに限定するものではない。判定部２２は、たとえば、上記各判定結果の論理和に基づいて判定用部分画像を判定する構成であってもよい。
【０２２０】
このような構成により、たとえば、複数の分類モデルのうちの少なくともいずれか１つが肯定的な判定結果を出力した場合に、判定用画像を肯定的に総合判定することができるので、実際には判定用画像に対象事象が含まれるにもかかわらず、判定用画像に対象事象が含まれないと誤って判定してしまう可能性を低減することができる。
【０２２１】
また、本発明の第１の実施の形態に係る判定装置では、判定部２２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３を用いて判定用部分画像をそれぞれ判定し、各判定結果の論理値の多数決に基づいて判定用画像を判定する構成であるとしたが、これに限定するものではない。判定部２２は、各判定結果の多数決に基づいて判定用画像を判定する構成であってもよい。具体的には、判定部２２は、たとえば、分類モデルを用いて、判定用画像に対して３値以上の判定結果が得られるような判定を行う。そして、判定部２２は、各判定結果の多数決に基づいて判定用画像を判定する。
【０２２２】
また、本発明の第１の実施の形態に係る判定装置では、所定条件Ｃ１は、分類モデルを用いた判定精度が所定値以上であるとしたが、これに限定するものではない。所定条件Ｃ１は、たとえば、分類モデルを用いた判定精度が上位の所定順位内であってもよい。
【０２２３】
また、本発明の第１の実施の形態に係る判定装置では、分類モデルは、ディープラーニングモデルであるとしたが、これに限定するものではない。分類モデルは、ディープラーニングモデル以外の他のニューラルネットワークモデルであってもよい。
【０２２４】
ところで、このような特許文献１に記載の技術を超えて、画像に映り込んだ対象事象の有無、たとえば対象物におけるキズまたはひび等の異常部分の有無をより正確に判定するための技術が求められている。
【０２２５】
これに対して、本発明の第１の実施の形態に係る判定装置では、取得部２１は、判定用画像を取得する。そして、判定部２２は、取得部２１によって取得された判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて判定用画像を総合的に判定する。
【０２２６】
たとえば、ニューラルネットワークモデルの学習において、用いるデータおよび与える初期値等によっては、判定精度の劣るニューラルネットワークモデルが作成されることがある。上記のように、複数の分類モデルを用いて判定用画像をそれぞれ判定し、各判定結果に基づいて判定用画像を総合的に判定する構成により、たとえば、複数の分類モデルの中に判定精度の劣る分類モデルが含まれてしまい、判定用画像における対象事象の有無を当該分類モデルが誤って判定する場合においても、他の分類モデルによる判定結果と合わせて総合的に判定することができるので、判定精度の劣る分類モデルの判定結果を覆してより正確な判定結果を得ることができる。したがって、画像における対象事象の有無をより正確に判定することができる。
【０２２７】
また、本発明の第１の実施の形態に係る判定装置では、判定部２２は、各判定結果の論理積に基づいて判定用画像を判定する。
【０２２８】
このような構成により、たとえば、複数の分類モデルのうちの少なくともいずれか１つが否定的な判定結果を出力した場合に、判定用画像を否定的に総合判定することができるので、実際には判定用画像に対象事象が含まれないにもかかわらず、判定用画像に対象事象が含まれると誤って判定してしまう可能性を低減することができる。
【０２２９】
また、本発明の第１の実施の形態に係る判定装置では、判定部２２は、各判定結果の多数決に基づいて判定用画像を判定する。
【０２３０】
このような構成により、複数の分類モデルによる各判定結果を平等に扱うことができるので、判定用画像の総合的な判定結果が偏ってしまうことを防ぐことができる。具体的には、たとえば、判定結果が肯定的および否定的の２種類である場合、否定的および肯定的のいずれか一方に偏ってしまうことを防ぐことができる。
【０２３１】
また、本発明の第１の実施の形態に係る判定装置では、判定部２２は、重み付けされた各判定結果を平均した値に基づいて判定用画像を判定する。
【０２３２】
このような構成により、たとえば、複数の分類モデルの優劣に応じて判定結果をそれぞれ重みづけすることができるので、優れた分類モデルの判定結果の総合判定への影響度合いを高めるとともに、劣った分類モデルの判定結果の総合判定への影響度合いを低減することができる。これにより、判定用画像をより正確に総合判定することができる。
【０２３３】
また、本発明の第１の実施の形態に係る判定装置では、モデル選別部２５は、３つ以上の分類モデルの中から、所定条件Ｃ１を満たす複数の分類モデルを選別する。そして、判定部２２は、モデル選別部２５によって選別された複数の分類モデルを用いて判定用画像をそれぞれ判定し、各判定結果に基づいて判定用画像を総合的に判定する。
【０２３４】
このような構成により、たとえば、優れた分類モデルおよび劣った分類モデルが混在する中から、優れた分類モデルを選び出して用いることができるので、劣った分類モデルの判定結果を排除することができる。
【０２３５】
また、本発明の第１の実施の形態に係る判定装置では、所定条件Ｃ１は、分類モデルを用いた判定精度が所定値以上であることである。
【０２３６】
このような構成により、複数の分類モデルによる各判定結果をある水準以上にすることができるので、判定用画像をより正確に総合判定することができる。
【０２３７】
また、本発明の第１の実施の形態に係る判定装置では、分類モデルは、ディープラーニングモデルである。
【０２３８】
このように、分類モデルが、判定精度をより高めることが可能なディープラーニングモデルである構成により、複数の分類モデルを用いた判定用画像の各判定結果の精度をより高めることができる。
【０２３９】
また、本発明の第１の実施の形態に係る判定装置では、取得部２１は、判定用画像を取得する。モデル選別部２５は、ニューラルネットワークモデルである複数の分類モデルの中から、所定条件Ｃ１を満たす１または複数の分類モデルを選別する。そして、判定部２２は、取得部２１によって取得された判定用画像を、モデル選別部２５によって選別された１または複数の分類モデルを用いて判定する。
【０２４０】
たとえば、ニューラルネットワークモデルの学習において、用いるデータおよび与える初期値等によっては、判定精度の劣るニューラルネットワークモデルが作成されることがある。上記の構成により、たとえば、判定精度の優れた分類モデルおよび判定精度の劣る分類モデルが混在する中から、優れた分類モデルを選び出して用いることができるので、判定用画像における対象事象の有無をより正しく判定することができる。したがって、画像における対象事象の有無をより正確に判定することができる。
【０２４１】
次に、本発明の他の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
【０２４２】
＜第２の実施の形態＞
本実施の形態は、第１の実施の形態に係る判定システムと比べて、補完用のニューラルネットワークモデルをさらに用いて判定を行う判定システムに関する。以下で説明する内容以外は第１の実施の形態に係る判定システムと同様である。
【０２４３】
［構成および基本動作］
図２０は、本発明の第２の実施の形態に係る判定システムの構成を示す図である。
【０２４４】
図２０を参照して、判定システム３０２は、判定装置１０２と、蓄積装置１３１と、学習装置１５２とを備える。
【０２４５】
判定システム３０２における蓄積装置１３１の動作は、図１に示す判定システム３０１における蓄積装置１３１と同様である。
【０２４６】
学習装置１５２は、たとえば、ディープラーニングモデルである、分類モデルおよび対応の補完モデルの組（以下、モデル組とも称する。）を複数作成する。複数のモデル組における分類モデルおよび対応の補完モデルは、たとえば、機械学習によって自動的に作成されるアルゴリズムである。
【０２４７】
ここで、補完モデルは、たとえば、分類モデルが判定を誤った画像を補完用学習データとして用いて作成されたニューラルネットワークモデルである。
【０２４８】
図２１は、本発明の第２の実施の形態に係る判定システムにおける学習装置がモデル組を作成する際の動作手順を定めたフローチャートである。
【０２４９】
図２１を参照して、ステップＳ４０２〜Ｓ４１０の動作は、図５に示すステップＳ１０２〜Ｓ１１０の動作と同様である。
【０２５０】
次に、学習装置１５２は、作成した学習用データセットを用いて、たとえば、４つの分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４を作成する（ステップＳ４１２）。
【０２５１】
次に、学習装置１５２は、作成した複数の分類モデルの判定精度を評価する評価処理を行う（ステップＳ４１４）。
【０２５２】
図２２は、本発明の第２の実施の形態に係る判定システムにおける学習装置による複数のモデル組の評価結果の一例を示す図である。
【０２５３】
図２２を参照して、学習装置１５２は、たとえば、テストデータセットを用いて、分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の判定精度を評価する。
【０２５４】
この例では、学習装置１５２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の判定精度として、それぞれ０．８５，０．９０，０．８０，０．６０を算出する。
【０２５５】
再び図２１を参照して、次に、学習装置１５２は、複数の分類モデルにそれぞれ対応する補完モデルの作成に用いる複数の補完用学習データセットを作成する（ステップＳ４１６）。
【０２５６】
具体的には、学習装置１５２は、分類モデルＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４にそれぞれ対応する補完モデルＳＭ１，ＳＭ２，ＳＭ３，ＳＭ４の作成に用いる４つの補完用学習データセットを作成する。
【０２５７】
より詳細には、学習装置１５２は、たとえば、テストデータセットに含まれる複数のデータ組のうち、分類モデルＣＭ１の評価処理において判定の誤ったデータ組をまとめた補完用学習データセットＳＤＳ１を作成する。
【０２５８】
同様に、学習装置１５２は、テストデータセットに含まれる複数のデータ組のうち、分類モデルＣＭ２の評価処理において判定の誤ったデータ組をまとめた補完用学習データセットＳＤＳ２を作成する。
【０２５９】
同様に、学習装置１５２は、テストデータセットに含まれる複数のデータ組のうち、分類モデルＣＭ３の評価処理において判定の誤ったデータ組をまとめた補完用学習データセットＳＤＳ３を作成する。
【０２６０】
同様に、学習装置１５２は、テストデータセットに含まれる複数のデータ組のうち、分類モデルＣＭ４の評価処理において判定の誤ったデータ組をまとめた補完用学習データセットＳＤＳ４作成する。
【０２６１】
次に学習装置１５２は、作成した複数の補完用学習データセットを用いて、当該複数の補完モデルを作成する（ステップＳ４１８）。
【０２６２】
具体的には、学習装置１５２は、補完用学習データセットＳＤＳ１，ＳＤＳ２，ＳＤＳ３，ＳＤＳ４を用いて、補完モデルＳＭ１，ＳＭ２，ＳＭ３，ＳＭ４をそれぞれ作成する。
【０２６３】
より詳細には、学習装置１５２は、たとえば、ディープラーニングの手法に沿って、多層化したニューラルネットワークに補完用学習データセットＳＤＳ１を入力し、補完モデルＳＭ１を作成する。
【０２６４】
同様に、学習装置１５２は、ディープラーニングの手法に沿って、多層化したニューラルネットワークに補完用学習データセットＳＤＳ２，ＳＤＳ３，ＳＤＳ４を入力し、補完モデルＳＭ２，ＳＭ３，ＳＭ４をそれぞれ作成する。
【０２６５】
次に、学習装置１５２は、モデル情報を判定装置１０２へ送信する（ステップＳ４２０）。
【０２６６】
より詳細には、学習装置１５２は、たとえば、分類モデルＣＭ１、対応の判定精度および補完モデルＳＭ１を含むモデル組ＧＭ１と、分類モデルＣＭ２、対応の判定精度および補完モデルＳＭ２を含むモデル組ＧＭ２と、分類モデルＣＭ３、対応の判定精度および補完モデルＳＭ３を含むモデル組ＧＭ３と、分類モデルＣＭ４、対応の判定精度および補完モデルＳＭ４を含むモデル組ＧＭ４とを作成する（図２２参照）。
【０２６７】
学習装置１５２は、方式Ｍ１およびモデル組ＧＭ１，ＧＭ２，ＧＭ３，ＧＭ４を含むモデル情報を判定装置１０２へ送信する。
【０２６８】
［判定装置の構成］
図２３は、本発明の第２の実施の形態に係る判定システムにおける判定装置の構成を示す図である。
【０２６９】
図２３を参照して、判定装置１０２は、取得部２１と、送信部２４と、モデル選別部２５と、判定部３２とを備える。
【０２７０】
判定装置１０２における取得部２１および送信部２４の動作は、図１０に示す判定装置１０１における取得部２１および送信部２４とそれぞれ同様である。
【０２７１】
図２４は、本発明の第２の実施の形態に係る判定システムにおける判定装置が判定処理を行う際の動作手順を定めたフローチャートである。
【０２７２】
図２３および図２４を参照して、まず、判定装置１０２における取得部２１は、複数のモデル組を取得する（ステップＳ５０２）。
【０２７３】
より詳細には、取得部２１は、たとえば、学習装置１５２からモデル情報を受信すると、受信したモデル情報をモデル選別部２５へ出力する。
【０２７４】
次に、モデル選別部２５は、複数のモデル組の中から、上述の所定条件Ｃ１を満たす複数のモデル組を選別する選別処理を行う（ステップＳ５０４）。
【０２７５】
より詳細には、モデル選別部２５は、取得部２１からモデル情報を受けると、受けたモデル情報からモデル組ＧＭ１，ＧＭ２，ＧＭ３，ＧＭ４を取得する（図２２参照）。
【０２７６】
モデル選別部２５は、取得したモデル組に含まれる判定精度と所定値、具体的には０．７０とを比較する。
【０２７７】
モデル選別部２５は、モデル組ＧＭ１，ＧＭ２，ＧＭ３に含まれる判定精度が所定条件Ｃ１を満たすので、モデル組ＧＭ１，ＧＭ２，ＧＭ３，ＧＭ４のうちの分類モデルＧＭ１，ＧＭ２，ＧＭ３を選別する。
【０２７８】
モデル選別部２５は、図２２に示すように、モデル情報からモデル組ＧＭ４を削除し、削除後のモデル情報を判定部３２へ出力する。
【０２７９】
次に、取得部２１は、判定用画像を蓄積装置１３１から取得し、取得した判定用画像を判定部３２へ出力する（ステップＳ５０６）。
【０２８０】
次に、判定部３２は、判定用画像を複数の部分画像に分割する（ステップＳ５０８）。
【０２８１】
より詳細には、判定部３２は、取得部２１から判定用画像を受けると、モデル選別部２５から受けたモデル情報に含まれる方式Ｍ１に従う方法により、当該判定用画像を６３個の部分画像すなわち判定用部分画像に分割する。
【０２８２】
また、判定部３２は、たとえば、分割した６３個の判定用部分画像の各々に部分画像位置情報を付する。
【０２８３】
次に、判定部３２は、６３個の判定用部分画像のうちの１つを選択する（ステップＳ５１０）。
【０２８４】
次に、判定部３２は、選択した判定用部分画像すなわち対象部分画像について、後述する総合判定処理を行う（ステップＳ５１２）。
【０２８５】
次に、判定部３２は、総合判定処理において「真」と総合判定した場合（ステップＳ５１４でＹＥＳ）、判定用画像に映った焼結物Ｔｇｔをキズ有りと判断する（ステップＳ５２０）。
【０２８６】
一方、判定部３２は、総合判定処理において「偽」と総合判定した場合（ステップＳ５１４でＮＯ）、６３個の判定用部分画像をすべて選択したか否かを確認する（ステップＳ５１６）。
【０２８７】
判定部３２は、上記６３個の判定用部分画像の中で未選択の判定用部分画像が存在する場合（ステップＳ５１６でＮＯ）、上記６３個の判定用部分画像において未選択の判定用部分画像を１つ選択する（ステップＳ５１０）。
【０２８８】
一方、判定部３２は、上記６３個の判定用部分画像をすべて選択した場合（ステップＳ５１６でＹＥＳ）、判定用画像に映った焼結物Ｔｇｔを良品と判断する（ステップＳ５１８）。
【０２８９】
次に、判定部３２は、判定用画像に映った焼結物Ｔｇｔをキズ有りと判断するか（ステップＳ５２０）、または判定用画像に映った焼結物Ｔｇｔを良品と判断すると（ステップＳ５１８）、判断結果を示す結果情報を送信部２４経由で上位装置１６１へ送信する（ステップＳ５２２）。
【０２９０】
なお、上記ステップＳ５０２，Ｓ５０４とＳ５０６との順番は、上記に限らず、順番を入れ替えてもよい。
【０２９１】
［総合判定処理］
判定部３２は、たとえば、複数のモデル組を用いて対象部分画像を判定する。
【０２９２】
詳細には、判定部３２は、たとえば、複数のモデル組のうちの、分類モデルおよび補完モデルによる判定用部分画像の各々の判定結果が所定範囲内となる１または複数のモデル組を用いて判定用部分画像を判定する。
【０２９３】
より詳細には、判定部３２は、たとえば、複数のモデル組のうちの、分類モデルおよび補完モデルによる判定用部分画像の各々の判定結果が所定範囲内となるモデル組の特定を試み、上記各々の判定結果が所定範囲内となるモデル組を特定できた場合、特定した１つのモデル組を用いて判定用部分画像を判定する。
【０２９４】
図２５は、本発明の第２の実施の形態に係る判定システムにおける判定装置が総合判定処理を行う際の動作手順を定めたフローチャートである。図２５は、図２４のステップＳ５１２における動作の詳細を示している。
【０２９５】
図２５を参照して、まず、判定部３２は、３つのモデル組ＧＭ１，ＧＭ２，ＧＭ３のうちの１つを選択する（ステップＳ６０２）。
【０２９６】
次に、判定部３２は、選択したモデル組（以下、対象モデル組とも称する。）に含まれる分類モデルおよび補完モデルに対象部分画像を入力する入力処理を行う（ステップＳ６０４）。
【０２９７】
次に、判定部３２は、入力処理の結果として得られた各出力スコアに基づいて、真条件が満たされるか否かを確認する（ステップＳ６０６）。
【０２９８】
図２６は、本発明の第２の実施の形態に係る判定システムにおける判定装置が真条件、偽条件および判定保留条件の判断に用いる各範囲の一例を示す図である。
【０２９９】
図２６を参照して、判定部３２は、たとえば、分類モデルの出力スコア用の範囲Ｒｔｃ，Ｒｎｃ，Ｒｆｃ、および補完モデルの出力スコア用の範囲Ｒｔｓ，Ｒｎｓ，Ｒｆｓを保持する。
【０３００】
範囲Ｒｔｃは、１．０以下かつしきい値Ｔｈｕｃより大きい範囲である。ここで、１．０＞Ｔｈｕｃ＞０．５である。
【０３０１】
範囲Ｒｎｃは、しきい値Ｔｈｕｃ以下かつしきい値Ｔｈｌｃ以上の範囲である。ここで、０．５＞Ｔｈｌｃ＞０．０である。
【０３０２】
範囲Ｒｆｃは、０．０以上かつしきい値Ｔｈｌｃより小さい範囲である。
【０３０３】
範囲Ｒｔｓは、１．０以下かつしきい値Ｔｈｕｓより大きい範囲である。ここで、１．０＞Ｔｈｕｓ＞０．５である。
【０３０４】
範囲Ｒｎｓは、しきい値Ｔｈｕｓ以下かつしきい値Ｔｈｌｓ以上の範囲である。ここで、０．５＞Ｔｈｌｓ＞０．０である。
【０３０５】
範囲Ｒｆｓは、０．０以上かつしきい値Ｔｈｌｓより小さい範囲である。
【０３０６】
たとえば、分類モデルの出力スコアが範囲Ｒｔｃに含まれ、かつ補完モデルの出力スコアが範囲Ｒｔｓに含まれる場合、真条件が満たされる。一方、分類モデルの出力スコアが範囲Ｒｔｃに含まれないか、または補完モデルの出力スコアが範囲Ｒｔｓに含まれない場合、真条件が満たされない。
【０３０７】
また、たとえば、分類モデルの出力スコアが範囲Ｒｆｃに含まれ、かつ補完モデルの出力スコアが範囲Ｒｆｓに含まれる場合、偽条件が満たされる。一方、分類モデルの出力スコアが範囲Ｒｆｃに含まれないか、または補完モデルの出力スコアが範囲Ｒｆｓに含まれない場合、偽条件が満たされない。
【０３０８】
再び図２５を参照して、判定部３２は、真条件が満たされる場合（ステップＳ６０６でＹＥＳ）、対象部分画像に対して「真」と総合判定する（ステップＳ６０８）。
【０３０９】
一方、判定部３２は、真条件が満たされない場合（ステップＳ６０６でＮＯ）、入力処理の結果として得られた各出力スコアに基づいて、偽条件が満たされるか否かを確認する（ステップＳ６１０）。
【０３１０】
判定部３２は、偽条件が満たされる場合（ステップＳ６１０でＹＥＳ）、対象部分画像に対して「偽」と総合判定する（ステップＳ６１２）。
【０３１１】
また、判定部３２は、真条件および偽条件のいずれも満たされない場合（ステップＳ６０６でＮＯおよびステップＳ６１０でＮＯ）、入力処理の結果として得られた各出力スコアの平均値が所定のしきい値Ｔｈ５以上であるか否かを確認する（ステップＳ６１４）。
【０３１２】
判定部３２は、上記平均値が所定のしきい値Ｔｈ５以上である場合（ステップＳ６１４でＹＥＳ）、対象部分画像に対して「真」と判定する（ステップＳ６１６）。
【０３１３】
一方、判定部３２は、上記平均値が所定のしきい値Ｔｈ５より小さい場合（ステップＳ６１４でＮＯ）、対象部分画像に対して「偽」と判定する（ステップＳ６１８）。
【０３１４】
次に、判定部３２は、モデル組ＧＭ１，ＧＭ２，ＧＭ３をすべて選択したか否かを確認する（ステップＳ６２０）。
【０３１５】
判定部３２は、モデル組ＧＭ１，ＧＭ２，ＧＭ３の中で未選択のモデル組が存在する場合（ステップＳ６２０でＮＯ）、モデル組ＧＭ１，ＧＭ２，ＧＭ３において未選択のモデル組を１つ選択する（ステップＳ６０２）。
【０３１６】
一方、判定部２２は、モデル組ＧＭ１，ＧＭ２，ＧＭ３をすべて選択した場合（ステップＳ６２０でＹＥＳ）、「真」と判定した回数が「偽」と判定した回数より多いか否かを確認する（ステップＳ６２２）。
【０３１７】
判定部３２は、「真」と判定した回数が「偽」と判定した回数より多い場合（ステップＳ６２２でＹＥＳ）、対象部分画像に対して「真」と総合判定する（ステップＳ６２４）。
【０３１８】
一方、判定部３２は、「真」と判定した回数が「偽」と判定した回数以下である場合（ステップＳ６２２でＮＯ）、対象部分画像に対して「偽」と総合判定する（ステップＳ６２６）。
【０３１９】
なお、判定部３２は、上記ステップＳ６０６，Ｓ６１０において、入力処理の結果として得られた各出力スコアの代わりに、対応のモデルの判定精度を重みとしてそれぞれ乗じた各出力スコアを用いてもよい。
【０３２０】
図２６に示すように、真条件が満たされる場合、分類モデルの出力スコアおよび補完モデルの出力スコアは、ともに高い値となる。この場合、互いに異なる判定をする傾向のある分類モデルおよび補完モデルがともに高い出力スコアを出力するので、対象部分画像にキズ部が含まれる可能性は、非常に高いと考えられる。
【０３２１】
上記のように、真条件が満たされる場合（ステップＳ６０６でＹＥＳ）、判定部３２は、対象部分画像に対して「真」と総合判定する（ステップＳ６０８）構成により、未選択のモデル組による判定結果を得るまでもなく、対象部分画像にキズ部が含まれるとより正しく判断することができる。これにより、未選択のモデル組による判定処理を省くことができるので、総合判定処理を迅速に完了することができる。
【０３２２】
また、図２４に示すように、「真」と総合判定された場合（ステップＳ５１４でＹＥＳ）、判定用画像に映った焼結物Ｔｇｔをキズ有りと判断する（ステップＳ５２０）構成により、未選択の判定用部分画像に対する総合判定処理を省くことができるので、判定用画像の判定処理を迅速に完了することができる。
【０３２３】
また、図２６に示すように、偽条件が満たされる場合、分類モデルの出力スコアおよび補完モデルの出力スコアは、ともに低い値となる。この場合、互いに異なる判定をする傾向のある分類モデルおよび補完モデルがともに低い出力スコアを出力するので、対象部分画像にキズ部が含まれる可能性は、非常に低いと考えられる。
【０３２４】
上記のように、偽条件が満たされる場合（ステップＳ６１０でＹＥＳ）、判定部３２は、対象部分画像に対して「偽」と総合判定する（ステップＳ６１２）構成により、未選択のモデル組による判定結果を得るまでもなく、対象部分画像にキズ部が含まれないとより正しく判断することができる。これにより、未選択のモデル組による判定処理を省くことができるので、総合判定処理を迅速に完了することができる。
【０３２５】
［総合判定処理の変形例１］
判定部３２は、たとえば、複数のモデル組のうちの、分類モデルおよび補完モデルによる判定用部分画像の各々の判定結果が所定範囲内となるモデル組を特定し、特定した１または複数のモデル組を用いて判定用部分画像を判定する。
【０３２６】
図２７は、本発明の第２の実施の形態に係る判定システムにおける判定装置が総合判定処理を行う際の動作手順を定めたフローチャートである。図２７は、図２４のステップＳ５１２における動作の詳細を示している。
【０３２７】
図２７を参照して、ステップＳ７０２，Ｓ７０４の動作は、図２５に示すステップＳ６０２，Ｓ６０４の動作と同様である。
【０３２８】
次に、判定部３２は、入力処理の結果として得られた各出力スコアに基づいて、判定回避条件が満たされるか否かを確認する（ステップＳ７０６）。
【０３２９】
再び図２６を参照して、たとえば、分類モデルの出力スコアＣＳが範囲Ｒｎｃに含まれ、かつ補完モデルの出力スコアＳＳが範囲Ｒｎｓに含まれる場合、出力スコアＣＳが範囲Ｒｔｃに含まれ、かつ出力スコアＳＳが範囲Ｒｆｓに含まれる場合、または出力スコアＣＳが範囲Ｒｆｃに含まれ、かつ出力スコアＳＳが範囲Ｒｔｓに含まれる場合、判定回避条件が満たされる。
【０３３０】
一方、出力スコアＣＳが範囲Ｒｎｃに含まれ、かつ出力スコアＳＳが範囲ＲｔｓもしくはＲｆｓに含まれる場合、出力スコアＣＳが範囲Ｒｔｃに含まれ、かつ出力スコアＳＳが範囲ＲｔｓもしくはＲｎｓに含まれる場合、または出力スコアＣＳが範囲Ｒｆｃに含まれ、かつ出力スコアＳＳが範囲ＲｎｓもしくはＲｆｓに含まれる場合、判定回避条件が満たされない。
【０３３１】
再び図２７を参照して、判定部３２は、判定回避条件が満たされる場合（ステップＳ７０６でＹＥＳ）、対象部分画像に対する判定を行わない（ステップＳ７０８）。
【０３３２】
一方、判定部３２は、判定回避条件が満たされない場合（ステップＳ７０６でＮＯ）、入力処理の結果として得られた各出力スコアの平均値が所定のしきい値Ｔｈ６以上であるか否かを確認する（ステップＳ７１０）。
【０３３３】
判定部３２は、上記平均値が所定のしきい値Ｔｈ６以上である場合（ステップＳ７１０でＹＥＳ）、対象部分画像に対して「真」と判定する（ステップＳ７１２）。
【０３３４】
一方、判定部３２は、上記平均値が所定のしきい値Ｔｈ６より小さい場合（ステップＳ７１０でＮＯ）、対象部分画像に対して「偽」と判定する（ステップＳ７１４）。
【０３３５】
次に、判定部３２は、対象部分画像に対する判定を行わないか（ステップＳ７０８）、または対象部分画像に対して「真」もしくは「偽」と判定すると（ステップＳ７１２またはステップＳ７１４）、モデル組ＧＭ１，ＧＭ２，ＧＭ３をすべて選択したか否かを確認する（ステップＳ７１６）。
【０３３６】
判定部３２は、モデル組ＧＭ１，ＧＭ２，ＧＭ３の中で未選択のモデル組が存在する場合（ステップＳ７１６でＮＯ）、モデル組ＧＭ１，ＧＭ２，ＧＭ３において未選択のモデル組を１つ選択する（ステップＳ７０２）。
【０３３７】
一方、判定部２２は、モデル組ＧＭ１，ＧＭ２，ＧＭ３をすべて選択した場合（ステップＳ７１６でＹＥＳ）、「偽」と判定した場合があったか否かを確認する（ステップＳ７１８）。
【０３３８】
判定部３２は、「偽」と判定した場合があった場合（ステップＳ７１８でＹＥＳ）、対象部分画像に対して「偽」と総合判定する（ステップＳ７２０）。
【０３３９】
一方、判定部３２は、「偽」と一度も判定しなかった場合（ステップＳ７１８でＮＯ）、対象部分画像に対して「真」と総合判定する（ステップＳ７２２）。
【０３４０】
なお、判定部３２は、上記ステップＳ７０６において、入力処理の結果として得られた各出力スコアの代わりに、対応のモデルの判定精度を重みとしてそれぞれ乗じた各出力スコアを用いてもよい。
【０３４１】
図２６に示すように、判定回避条件が満たされる場合、分類モデルの出力スコアおよび補完モデルの出力スコアは、ともに０．５に近い値となるか、または一方が１．０に近い値となり、かつ他方が０．０に近い値となる。この場合、分類モデルおよび補完モデルが、ともに０．５に近いあいまいな判定をするか、または互いに異なる判定をするので、対象部分画像にキズ部が含まれるか否かの判断が困難な状況であると考えられる。
【０３４２】
上記のように、判定回避条件が満たされる場合（ステップＳ７０６でＹＥＳ）、判定部３２は、対象部分画像に対して判定を行わない（ステップＳ７０８）構成により、誤っている可能性の高い判定結果を出力することで総合判定が誤ってしまう可能性を下げることができる。
【０３４３】
なお、図２６では、分類モデルの出力スコアが範囲Ｒｎｃに含まれ、かつ補完モデルの出力スコアが範囲Ｒｎｓに含まれる場合、判定回避条件が満たされるとしたが、これに限定するものではない。たとえば、判定部３２が、「真」および「偽」の２段階でなく、Ｎ段階（Ｎ＞３）の判定を行う場合、分類モデルの出力スコアが１／Ｎを含む範囲に含まれ、かつ補完モデルの出力スコアが１／Ｎを含む範囲に含まれる場合、判定回避条件が満たされるとしてもよい。
【０３４４】
［総合判定処理の変形例２］
図２８は、本発明の第２の実施の形態に係る判定システムにおける判定装置が総合判定処理を行う際の動作手順を定めたフローチャートである。図２８は、図２４のステップＳ５１２における動作の詳細を示している。
【０３４５】
図２８を参照して、まず、判定部３２は、変数Ａおよびカウント値Ｃｔをゼロにリセットする（ステップＳ８０２）。
【０３４６】
ステップＳ８０４，Ｓ８０６の動作は、図２５に示すステップＳ６０２，Ｓ６０４の動作と同様である。
【０３４７】
次に、判定部３２は、入力処理の結果として得られた各出力スコアに基づいて、判定回避条件が満たされるか否かを確認する（ステップＳ８０８）。
【０３４８】
判定部３２は、判定回避条件が満たされない場合（ステップＳ８０８でＮＯ）、入力処理の結果として得られた各出力スコアの平均値であるスコア平均値を変数Ａに加算する（ステップＳ８１０）。
【０３４９】
次に、判定部３２は、カウント値Ｃｔをインクリメントする（ステップＳ８１２）。
【０３５０】
次に、判定部３２は、カウント値Ｃｔをインクリメントするか（ステップＳ８１２）、または判定回避条件が満たされる場合（ステップＳ８０８でＹＥＳ）、モデル組ＧＭ１，ＧＭ２，ＧＭ３をすべて選択したか否かを確認する（ステップＳ８１４）。
【０３５１】
判定部３２は、モデル組ＧＭ１，ＧＭ２，ＧＭ３の中で未選択のモデル組が存在する場合（ステップＳ８１４でＮＯ）、モデル組ＧＭ１，ＧＭ２，ＧＭ３において未選択のモデル組を１つ選択する（ステップＳ８０４）。
【０３５２】
一方、判定部２２は、モデル組ＧＭ１，ＧＭ２，ＧＭ３をすべて選択した場合（ステップＳ８１４でＹＥＳ）、変数Ａおよびカウント値Ｃｔに基づいて各スコア平均値の平均値を算出する（ステップＳ８１６）。
【０３５３】
より詳細には、判定部３２は、たとえば、変数Ａをカウント値Ｃｔで除することにより各スコア平均値の平均値を算出する（ステップＳ８１６）。
【０３５４】
次に、判定部３２は、算出した平均値が所定のしきい値Ｔｈ７以上であるか否かを確認する（ステップＳ８１８）。
【０３５５】
判定部３２は、算出した平均値が所定のしきい値Ｔｈ７以上である場合（ステップＳ８１８でＹＥＳ）、対象部分画像に対して「真」と総合判定する（ステップＳ８２０）。
【０３５６】
一方、判定部３２は、算出した平均値が所定のしきい値Ｔｈ７より小さい場合（ステップＳ８１８でＮＯ）、対象部分画像に対して「偽」と総合判定する（ステップＳ８２２）。
【０３５７】
なお、判定部３２は、上記ステップＳ８０８において、入力処理の結果として得られた各出力スコアの代わりに、対応のモデルの判定精度を重みとしてそれぞれ乗じた各出力スコアを用いてもよい。
【０３５８】
また、本発明の第２の実施の形態に係る判定装置では、モデル選別部２５は、モデル組ＧＭ１，ＧＭ２，ＧＭ３，ＧＭ４のうちの３つのモデル組ＧＭ１，ＧＭ２，ＧＭ３を選別する構成であるとしたが、これに限定するものではない。モデル選別部２５は、たとえば、モデル組ＧＭ１，ＧＭ２，ＧＭ３，ＧＭ４のうちの１つまたは２つのモデル組を選別する構成であってもよい。判定装置１０２は、モデル組ＧＭ１，ＧＭ２，ＧＭ３，ＧＭ４のうちの１つのモデル組を選別する場合、総合的な判定は行わないが、より優れたモデル組を用いて判定を行うので、画像における対象事象の有無をより正確に判定するという本発明の目的を達成することが可能である。
【０３５９】
以上のように、本発明の第２の実施の形態に係る判定装置では、本発明の第２の実施の形態に係る判定装置では、判定部２２は、分類モデルが判定を誤った画像を学習データとして用いて作成されたニューラルネットワークモデルである補完モデル、および対応の分類モデルのモデル組を複数用いて判定用画像を判定する。
【０３６０】
このように、分類モデルの判定における弱点を補うことが可能な補完モデル、および当該分類モデルのモデル組を複数用いて判定用画像を判定する構成により、分類モデルによる判定の誤りを補完モデルにより訂正することができるので、判定用画像をより正確に総合判定することができる。
【０３６１】
また、本発明の第２の実施の形態に係る判定装置では、判定部２２は、複数のモデル組のうちの、分類モデルおよび補完モデルによる判定用画像の各々の判定結果が所定範囲内となる１または複数のモデル組を用いて判定用画像を判定する。
【０３６２】
たとえば、分類モデルの判定結果および補完モデルによる判定結果の両方が肯定的または否定的に一致する場合、当該判定結果はより信頼できる結果であると考えられる。上記の構成により、たとえば、より信頼できる判定結果をあるモデル組から得られた場合には、当該判定結果を採用して他のモデル組の判定を省くことができるので、判定処理を迅速に完了することができる。また、たとえば、分類モデルの判定結果および補完モデルによる判定結果のが、ともにあいまいである場合、または互いに異なる場合、当該判定結果はあまり信頼できない結果であると考えられる。上記のように、たとえば、各々の判定結果が、あまり信頼できない判定結果が得られる範囲と異なる範囲内となる１または複数のモデル組を用いて判定用画像を判定する構成により、あまり信頼できない判定結果を省くことができるので、総合判定が誤ってしまう可能性を下げることができる。
【０３６３】
その他の構成および動作は第１の実施の形態に係る判定システムと同様であるため、ここでは詳細な説明を繰り返さない。
【０３６４】
なお、本発明の第１の実施の形態および第２の実施の形態に係る各装置の構成要素および動作のうち、一部または全部を適宜組み合わせることも可能である。
【０３６５】
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０３６６】
以上の説明は、以下に付記する特徴を含む。
【０３６７】
［付記１］
判定用画像を取得する取得部と、
前記取得部によって取得された前記判定用画像を、ニューラルネットワークモデルである複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用画像を総合的に判定する判定部とを備え、
前記分類モデルは、機械学習によって自動的に作成されるアルゴリズムであり、
前記判定部は、前記判定用画像を複数の部分画像である判定用部分画像に分割し、
前記判定部は、前記判定用部分画像を、前記複数の分類モデルを用いてそれぞれ判定し、各判定結果に基づいて前記判定用部分画像を総合的に判定し、
前記判定部は、前記判定用画像に含まれる前記判定用部分画像の各々の総合的な判定結果に基づいて、前記判定用画像に対象事象が含まれるか否かを判断し、
前記対象事象はキズまたはひびである、判定装置。
【０３６８】
［付記２］
判定用画像を取得する取得部と、
ニューラルネットワークモデルである複数の分類モデルの中から、所定条件を満たす１または複数の前記分類モデルを選別するモデル選別部と、
前記取得部によって取得された前記判定用画像を、前記モデル選別部によって選別された１または複数の前記分類モデルを用いて判定する判定部とを備え、
前記分類モデルは、機械学習によって自動的に作成されるアルゴリズムであり、
前記所定条件は、前記分類モデルの判定精度が所定値以上であるか、または前記判定精度が上位の所定順位内であることであり、
前記判定部は、前記判定用画像を複数の部分画像である判定用部分画像に分割し、
前記判定部は、前記判定用部分画像を、選別された前記分類モデルを用いて判定し、判定結果に基づいて前記判定用部分画像を総合的に判定し、
前記判定部は、前記判定用画像に含まれる前記判定用部分画像の各々の総合的な判定結果に基づいて、前記判定用画像に対象事象が含まれるか否かを判断し、
前記対象事象はキズまたはひびである、判定装置。
【符号の説明】
【０３６９】
２１  取得部
２２  判定部
２４  送信部
２５  モデル選別部
３２  判定部
１０１，１０２  判定装置
１２１  カメラ
１３１  蓄積装置
１５１，１５２  学習装置
１６１  上位装置
３０１，３０２  判定システム
【図１】
2019016249.tif 000003
【図２】
2019016249.tif 000004
【図３】
2019016249.tif 000005
【図４】
2019016249.tif 000006
【図５】
2019016249.tif 000007
【図６】
2019016249.tif 000008
【図７】
2019016249.tif 000009
【図８】
2019016249.tif 000010
【図９】
2019016249.tif 000011
【図１０】
2019016249.tif 000012
【図１１】
2019016249.tif 000013
【図１２】
2019016249.tif 000014
【図１３】
2019016249.tif 000015
【図１４】
2019016249.tif 000016
【図１５】
2019016249.tif 000017
【図１６】
2019016249.tif 000018
【図１７】
2019016249.tif 000019
【図１８】
2019016249.tif 000020
【図１９】
2019016249.tif 000021
【図２０】
2019016249.tif 000022
【図２１】
2019016249.tif 000023
【図２２】
2019016249.tif 000024
【図２３】
2019016249.tif 000025
【図２４】
2019016249.tif 000026
【図２５】
2019016249.tif 000027
【図２６】
2019016249.tif 000028
【図２７】
2019016249.tif 000029
【図２８】
2019016249.tif 000030