(57)【要約】【課題】構成された判別器に対し、異なる判別機能を簡易に付加する技術を提供することを目的とする。【解決手段】入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む判別部と、複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部と、第２学習データを用いて学習させることにより、特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する学習部と、を備える。【選択図】図２
2019159770.tif 000002
【特許請求の範囲】
【請求項１】
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む判別部と、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する学習部と、
を備える判別システム。
【請求項２】
前記学習部は、学習により生成した第２判別器を、前記判別部に提供し、
前記判別部は、前記第１判別器により特定のグループに分類された入力データに対して前記第２判別器を適用して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類する、
請求項１記載の判別システム。
【請求項３】
入力データに、当該入力データが分類されるグループを対応付けた、第１学習データを記憶する記憶部をさらに備え、
前記学習部は、前記第１学習データを用いて学習させることにより、入力データを前記複数のグループのうち、いずれかのグループに分類する第１判別器を生成し、生成した前記第１判別器を前記判別部に提供する、
請求項１又は２に記載の判別システム。
【請求項４】
前記生成部は、前記複数のサブグループのうち、特定のサブグループに分類される入力データと、当該特定のサブグループをさらに細分化する複数の小グループのうちの特定の小グループの情報とを対応付けた第３学習データをさらに生成し、
前記学習部は、前記第３学習データを用いて学習させることにより、前記特定のサブグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数の小グループのうち、いずれかの小グループに分類する第３判別器を生成し、生成した第３判別器を前記判別部にさらに提供する、
請求項１乃至３の何れか一項に記載の判別システム。
【請求項５】
前記入力データは、被検査対象物の画像データを含み、
前記複数のグループは、前記被検査対象物が良品であることを示すグループと、不良品であることを示すグループとを含む、
請求項１乃至４の何れか一項に記載の判別システム。
【請求項６】
前記複数のサブグループは、不良品の種類に基づく複数のサブグループを含む、
請求項５に記載の判別システム。
【請求項７】
前記生成部は、
前記複数のグループのうち、特定のグループに分類された複数の入力データを、当該複数の入力データの特徴量の類似度に基づいて分類して前記特定のサブグループを生成する、
請求項１に記載の判別システム。
【請求項８】
請求項１に記載の判別システムを用いた不良品検査システムであって、
前記入力データとして、被検査対象物の画像データを適用し、
前記複数のグループは、前記被検査対象物が良品であることを示す良品グループと、不良品であることを示す不良品グループとを含み、
前記特定のグループは、前記不良品グループであり、
前記サブグループは、不良品の種類に基づいて、前記不良品グループを細分化したものである、
不良品検査システム。
【請求項９】
請求項１に記載の判別システムを用いた故障判定システムであって、
前記入力データとして、装置の稼働状態を示す稼働状態データを適用し、
前記複数のグループは、前記装置の稼働状態が正常であることを示す正常グループと、前記装置の稼働状態に異常であることを示す異常グループとを含み、
前記特定のグループは、前記異常グループであり、
前記サブグループは、稼働状態の特徴量の種類に基づいて、前記異常グループを細分化したものである、
故障判定システム。
【請求項１０】
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む主判別部と、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類するよう生成された第２判別器を用いて、前記第１判別器により特定のグループに分類された入力データに対して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類する副判別部と、
を備える判別装置。
【請求項１１】
入力データに、当該入力データが分類されるグループを対応付けた、第１学習データを記憶する第１記憶部と、
前記第１学習データを用いて学習させることにより、入力データを複数のグループのうち、いずれかのグループに分類する第１判別器を生成する第１学習部と、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを記憶する第２記憶部と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する第２学習部と、
を備える学習装置。
【請求項１２】
コンピュータが、
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含むステップと、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成するステップと、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成するステップと、
を実行する判別方法。
【請求項１３】
コンピュータを、
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む手段、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する手段、及び
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する手段と、
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、判別システム、判別装置、学習装置、判別方法及びプログラムに関する。
【背景技術】
【０００２】
対象データを分類する装置、例えば生産品の欠陥検査装置において、検査対象物を撮影した画像データに基づいて、欠陥があるものとないものを分類する装置が存在している。その中には、機械学習を用いた学習により分類能力を獲得した分類器を用いるものもある。例えば特許文献１には、分類部によって画像を分類する分類装置が記載されている。特許文献１の分類装置では、教師画像と教示結果とを示す教師データセット群を用いた学習によりサブ分類器が構築される。そして、サブ分類器による分類結果が教示結果と相違する誤分類画像を含む新たな教師データセット群を用いて学習を繰り返すことにより分類部の分類性能を向上させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１０７４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１の構成の場合、分類器を生成する際に、分類させたいグループに応じた学習データをあらかじめ準備する必要がある。しかし、実際に分類を行う前にすべてのクラスの学習データをあらかじめ準備できない場合がある。例えば欠陥の有無を判別する分類器（判別器）の場合、実際に検査を行う前には発生し得る欠陥の種類をすべて把握することは困難である。よって、分類をした結果、設定したグループ以外にもグループを追加したい状況になることがあるが、その場合はグループの設定を変更した上で、始めから学習をし直す必要があった。そのため、学習完了までの時間がかかったり、コンピュータのリソースを余分に必要とするといった課題が発生していた。このような課題は、画像による欠陥検査装置に限らず、機械学習を用いて何らかのデータを分類する分類装置に広く共通する課題である。
【０００５】
そこで、本発明は、構成された判別器に対し、異なる判別機能を簡易に付加する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る判別システムは、入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む判別部と、複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部と、第２学習データを用いて学習させることにより、特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する学習部と、を備える。このような判別システムでは、第１判別器が特定のグループの特徴を有すると判別した入力データに基づいて、学習部が第２判別器を新たに学習により生成する。これにより、既存の第１判別器を破棄して、新たに主判別器を生成し直すことなく、第１判別器の判別結果をより詳細に判別可能な機能を追加することができる。この結果、既存の第１判別器の判別能力に影響を与えることなく、判別パターンを拡張することができる。言い換えると、この態様に係る判別システムによると、判別パターンを拡張する際に、第１判別器の学習をやり直す必要がないため、第１判別器の学習結果を活用することができ、学習の手間、時間、コンピュータリソースを減らすことができる。
【０００７】
上記態様において、学習部は、学習により生成した第２判別器を、判別部に提供し、判別部は、第１判別器により特定のグループに分類された入力データに対して第２判別器を適用して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類するようにしてもよい。
【０００８】
また、上記態様において、入力データに、当該入力データが分類されるグループを対応付けた、第１学習データを記憶する記憶部をさらに備え、学習部は、第１学習データを用いて学習させることにより、入力データを複数のグループのうち、いずれかのグループに分類する第１判別器を生成し、生成した第１判別器を前記判別部に提供するようにしてもよい。
【０００９】
また、上記態様において、生成部は、複数のサブグループのうち、特定のサブグループに分類される入力データと、当該特定のサブグループをさらに細分化する複数の小グループのうちの特定の小グループの情報とを対応付けた第３学習データをさらに生成し、学習部は、第３学習データを用いて学習させることにより、特定のサブグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数の小グループのうち、いずれかの小グループに分類する第３判別器を生成し、生成した第３判別器を前記判別部にさらに提供するようにしてもよい。
【００１０】
また、上記態様において、入力データは、被検査対象物の画像データを含み、複数のグループは、被検査対象物が良品であることを示すグループと、不良品であることを示すグループとを含むようにしてもよい。さらに、複数のサブグループは、不良品の種類に基づく複数のサブグループを含むようにしてもよい。
【００１１】
本発明の一態様に係る判別装置は、入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む主判別部と、複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部と、第２学習データを用いて学習させることにより、特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数のサブグループのうち、いずれかのサブグループに分類するよう生成された第２判別器を用いて、第１判別器により特定のグループに分類された入力データに対して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類する生成する副判別部と、を備える。この態様によると、判別装置が特定のグループの特徴を有すると判別した入力データに基づいて、第２判別器が新たに学習により生成される。これにより、判別装置において、既存の第１判別器を破棄して、新たに主判別器を再度生成し直すことなく、第１判別器の判別結果をより詳細に判別可能な機能を追加することができる。この結果、既存の第１判別器の判別能力に影響を与えることなく判別装置の判別パターンを拡張することができる。
【００１２】
本発明の一態様に係る学習装置は、入力データに、当該入力データが分類されるグループを対応付けた、第１学習データを記憶する第１記憶部と、第１学習データを用いて学習させることにより、入力データを複数のグループのうち、いずれかのグループに分類する第１判別器を生成する第１学習部と、複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを記憶する第２記憶部と、第２学習データを用いて学習させることにより、特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する第２学習部と、を備える。この態様によると、第１判別器が特定のグループの特徴を有すると判別した入力データに基づいて、第２判別器が新たに学習により生成される。これにより、既存の第１判別器を破棄して、新たに主判別器を再度生成し直すことなく、第１判別器の判別結果をより詳細に判別可能な機能を追加することができる。この結果、既存の第１判別器の判別能力に影響を与えることなく判別パターンを拡張することができる。
【００１３】
本発明の一態様に係る判別方法は、コンピュータが、入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含むステップと、複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成するステップと、第２学習データを用いて学習させることにより、特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成するステップと、を実行する。
【００１４】
本発明の一態様に係るプログラムは、コンピュータを、入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む手段、複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する手段、及び、第２学習データを用いて学習させることにより、特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する手段と、して機能させる。
【発明の効果】
【００１５】
本発明によれば、構成された判別器に対し、異なる判別機能を簡易に付加することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態に係る判別システムの適用場面の一例を模式的に例示する。
【図２】本実施形態に係る判別装置及び学習装置の機能構成の一例を模式的に例示する。
【図３】本実施形態に係る主判別器用学習データの一例を模式的に例示する。
【図４】本実施形態に係る副判別器用学習データの一例を模式的に例示する。
【図５】本実施形態に係る判別システムの処理シーケンスの一例を模式的に例示する。
【図６】本実施形態に係る画像処理装置のハードウェア構成の一例を模式的に例示する。
【発明を実施するための形態】
【００１７】
添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００１８】
§１  適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る判別システム１の適用場面の一例を模式的に例示する。判別システム１は、例えばベルトコンベア２上を搬送される検査対象であるワーク４を撮像して得られる画像データに対して画像計測処理を実行することで、ワーク４の外観検査または外観計測を行い、良品・不良品の判別を実現する。以下の説明においては、画像計測処理をワーク４の表面における欠陥の有無や欠陥の種類の特定に適用した例を説明するが、これに限らず、外観形状の計測などにも応用が可能である。ここで、欠陥とは、ワークが有する異常であって、例えば、キズ、色等のムラ、汚れ、打痕、欠け、バリ、異物、印字のかすれ、印字等の位置ずれ等を含む。また、判別システム１の適用例は、画像による外観検査に限定されず、機械の故障予知や、自動車のドライバーの集中度判定等、入力データを分類する例に広く適用可能である。
【００１９】
ベルトコンベア２の上部には撮像装置３０が配置されており、撮像装置３０の撮像視野６はベルトコンベア２の所定領域を含むように構成される。撮像装置３０の撮像により生成された画像データ（以下「入力データ」ともいう。）は、判別装置１０及び学習装置２０へ送信される。撮像装置による撮像は、周期的またはイベント的に実行される。
【００２０】
判別装置１０及び学習装置２０は上位ネットワーク８を介して、ＰＬＣ（プログラマブルコントローラ）７０およびデータベース装置８０などと接続されている。判別装置１０における計測結果は、ＰＬＣ７０および／またはデータベース装置８０へ送信されてもよい。なお、上位ネットワーク８には、ＰＬＣ７０およびデータベース装置８０に加えて、任意の装置が接続されるようにしてもよい。
【００２１】
判別装置１０には、入力データが、複数のグループのうちのいずれのグループの特徴を有するかに基づいて、入力データを特定のグループに分類する主判別器が設定されている。判別装置１０は、主判別器の判別結果をより詳細なグループに分類するための副判別器を事後的に追加することができる。例えば、主判別器が、入力データにおけるワークが欠陥に対応する特徴を含むか否かを判別することにより、入力データを良品グループ（すなわち、欠陥を有さないワークに関する入力データのグループである。）と不良品グループ（すなわち、欠陥を有するワークに関する入力データのグループである。）とに分類する判別器であるとする。この場合、例えば副判別器は、不良品グループに分類された入力データを、欠陥の種類に基づいて、凹みグループや、キズグループ、欠けグループ等のさらに複数のグループに分類することができる。なお、副判別器が分類可能なカテゴリは欠陥の種類に限定されず、例えば、欠陥の要因（作業者名や工程）、入力データの撮像日、ワークの加工日等に基づいて、分類する構成でもよい。
【００２２】
さらに、判別装置１０は、副判別器の判別結果をさらにより詳細なグループ（サブグループ）に分類する副判別器を追加することも可能である。具体的には、判別装置１０に、入力データを欠陥の種類ついて、凹み、欠け、キズ、その他の４種類に分類する副判別器が設定されていたとする。この場合、当該副判別器が、その他に分類した入力データを、さらに汚れ、その他の２種類に分類するさらなる副判別器を追加することができる。また例えば凹みに分類された入力データを、さらに凹みの大きさに基づいて、大、中、小の３種類に分類するさらなる副判別器を追加してもよい。
【００２３】
このような副判別器は、主判別器が分類した入力データを、さらに詳細な特徴に基づいて分類して、分類された入力データを学習データとし追加学習を行うことで生成される。
【００２４】
このように、本実施形態に係る判別システム１では、判別装置１０が特定のグループの特徴を有すると判別した入力データに基づいて、学習装置２０が副判別器を新たに学習により生成する。これにより、判別装置１０において、既存の主判別器を破棄して、新たに主判別器を再度生成し直すことなく、主判別器の判別結果をより詳細に判別可能な機能を追加することができる。この結果、学習前に入力データが分類されうるすべてのグループ（以下では、入力データと、当該入力データが分類されたグループとの対応関係を「判別パターン」ともいう。）を想定することが難しく、分類の途中で判別パターンを拡張する必要が生じた場合でも、主判別器におけるそれまでの学習を無駄にすることなく、副判別器に対して追加的な学習を行うことにより拡張された分類能力を獲得することができ、効率的な判別器の作成が可能になる。すなわち、既存の主判別器の判別能力に影響を与えることなく判別装置１０の判別パターンを拡張することができる。
【００２５】
§２  構成例
図２を参照して判別装置１０及び学習装置２０の機能構成の一例について説明する。図２は、本実施形態に係る判別装置１０及び学習装置２０の機能ブロック図である。
【００２６】
「学習装置２０」
まず、学習装置２０の機能構成について説明する。図２に示すように、学習装置２０は、主判別器ＤＢ２１２と、副判別器ＤＢ２２２と、主判別器用学習データＤＢ２１１と、副判別器用学習データＤＢ２２１と、主判別器学習部２１０と、副判別器学習部２２０と、を有している。
【００２７】
主判別器ＤＢ２１２には、主判別器学習部２１０が生成した主判別器（第１判別器の一例である。）が登録されている。主判別器は、入力データを、当該入力データが有する特徴に基づいて分類する機能を有する。一例として、主判別器は、入力データに欠陥に対応する特徴が含まれるか否かに基づいて、良品グループと不良品グループとに分類する。なお、主判別器は、良品の画像データを用いて学習を行い、学習した良品の画像データの特徴量から所定の値以上の外れ値を有する画像データを不良品の画像と判別する構成でもよい。
【００２８】
副判別器ＤＢ２２２には、副判別器学習部２２０が生成した副判別器（第２判別器の一例である。）が登録されている。副判別器は、主判別器より詳細な分類を行うことが可能な判別器である。つまり、副判別器は、主判別器が特定のグループの特徴を有すると判別した入力データについて、当該入力データをさらに分類する複数のグループ（サブグループ）のうち、特定のサブグループに分類される入力データを判別することができる。
【００２９】
本実施形態では、副判別器は、主判別器が不良品グループと判別した入力データについて、さらに詳細な分類を行う。例えば副判別器は、不良品グループの入力データを、欠陥の種類に基づいて、さらに凹みグループ、キズグループ、欠けグループに分類することができる。この場合、副判別器は、学習した種類の欠陥の特徴量と、入力データにおける欠陥の特徴量とが所定の範囲内か否かに基づいて、どのグループに分類される入力データであるかを判別する。
【００３０】
なお、各判別器は、任意の機械学習モデルに対して学習処理と評価処理とを行うことにより生成された判別器である。機械学習モデルは、所定のモデル構造と、学習処理によって変動する処理パラメータと、を有し、学習データから得られる経験に基づいてその処理パラメータが最適化されることで、認識結果の精度が向上するモデルである。すなわち、本実施形態の主判別器と副判別器は、所定のモデル構造と最適化された処理パラメータとの組合せである、所謂「学習済みモデル」を含むことになる。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク、ディープニューラルネットワーク等を用いることができるが、その種類は特に限定されない。
【００３１】
主判別器用学習データＤＢ２１１（記憶部の一例である。）には、主判別器学習部２１０が学習を行うための学習データが格納されている。図３は、主判別器用学習データＤＢ２１１に登録される学習データの一例を示す図である。図３に示すように、主判別器用学習データＤＢ２１１には、学習データとして、入力データと、当該入力データを分類した判別結果（欠陥の有無）とが対応付けられて登録されている。なお、主判別器用学習データＤＢ２１１に登録される学習データは図３の例に限定されず、例えば複数種類の良品の入力データでもよい。
【００３２】
副判別器用学習データＤＢ２２１（記憶部の一例である。）には、副判別器学習部２２０が学習を行うための学習データが格納されている。図４は、副判別器用学習データＤＢ２１１に登録されている学習データの一例を示す図である。図４に示すように、副判別器用学習データＤＢ２２１には、入力データに、欠陥の有無に関する判別結果（主判別器の判別結果）と、当該判別結果が欠陥ありの場合には、さらに詳細なグループへの分類結果とがカテゴリごとに紐付けられて登録されている。図４の例では、カテゴリは欠陥の種別と、欠陥の要因とである。
【００３３】
主判別器学習部２１０は、主判別器用学習データＤＢ２１１に格納された学習データに基づいて主判別器を生成して、主判別器ＤＢ２１２に登録する。
【００３４】
副判別器学習部２２０は、副判別器用学習データＤＢ２２１に格納された学習データに基づいて副主判別器を生成して、副判別器ＤＢ２２２に登録する。例えば、図４の学習データが与えられた場合、副判別器学習部２２０は、欠陥の種類を判別可能な副判別器と欠陥の要因を判別可能な副判別器とを生成することができる。具体的には、副判別器学習部２２０は、欠陥の種類を判別可能な副判別器として、入力データの欠陥がキズ、欠け、凹みのいずれの特徴を有するかに基づいて分類する副判別器を生成する。さらに、欠陥の要因を判別可能な副判別器として、入力データの欠陥が、工程Ｘで生成された欠陥、作業者αによって生成された欠陥、工程ｙで生成された欠陥のいずれの特徴を有するかに基づいて分類する副判別器を生成する。
【００３５】
「判別装置１０」
次に、判別装置１０の機能構成の一例について説明する。図２に示すように判別装置１０は、主判別部１１０と、副判別部１１２と、表示部１１４と、入力部１１６と、生成部１１８とを有している。
【００３６】
主判別部１１０には、学習装置２０において生成された主判別器が設定されている。主判別部１１０は、設定された主判別器を用いて、入力された画像データ（入力データ）中のワークが良品か不良品か（欠陥を有するか否か）を判別する。判別結果と入力データとは、例えばデータベース装置８０に登録される。
【００３７】
副判別部１１２には、学習装置２０において生成された副判別器が設定されている。なお、副判別部１１２に設定される副判別器の数に限定はなく、１つでもよいし、複数でもよい。また副判別部１１２には、異なるカテゴリにおいて入力データを分類可能な副判別器が複数設定される構成でもよい。
【００３８】
本実施形態では、副判別部１１２では、主判別部１１０において不良品と判別された入力データについて、より詳細な判別を行う。具体的には、副判別部１１２は設定された複数の副判別器に順次、入力データを入力する。各副判別器では、入力された入力データに当該副判別器で判別可能なグループの特徴量が含まれるか否かを判別する。副判別部１１２の判別結果は入力データと対応付けられて例えばデータベース装置８０に登録される。なお、いずれの副判別器でもグループを判別できなかった入力データは、不明として判別され、データベース装置８０に登録されてもよい。
【００３９】
さらに副判別部１１２では、副判別器によって判別した入力データをさらに詳細なグループ（子グループ）へ分類を行う副判別器（第３判別器の一例である。）が設定されてもよい。例えば、副判別器によって、欠陥の種類を判別したのち、次の副判別器によって、欠陥の大きさで入力データをさらに分類することができる。また、各グループに入るデータ数が所定の数以下になるまで、同様の手順でグループを詳細なグループに分類してもよい。
【００４０】
表示部１１４は、主判別部１１０及び副判別部１１２の判別結果を表示するディスプレイである。例えば表示部１１４は、判別結果と併せて入力データをディスプレイ１０４に表示させることが好ましい。
【００４１】
入力部１１６は、ユーザ操作を受け付けるキーボードやマウスである。
【００４２】
生成部１１８は、入力部１１６を介して、ユーザから、入力データを分類する新たなサブグループの名称（ラベル）の入力を受け付ける。具体的には、ユーザは、主判別部１１０が不良品と判別した入力データ、又は副判別部１１２が分類先不明と判別した入力データについて、当該入力データを所定の特徴に基づいて分類したグループに対してラベルを設定する。なお、入力データのグループへの分類は、欠陥の特徴量の類似度に基づいてクラスタリング等の手法により判別装置１０が自動で行う構成でもよい。具体的には、複数の入力データを自動で分類する場合、複数の入力データそれぞれが有する欠陥の特徴量の近さ及び／又は遠さに基づいて、複数の入力データをクラスタに分類する階層的クラスタリグの手法を用いてもよい。また例えば、複数の入力データから、Ｎ個の入力データを任意に抽出し、抽出したＮ個の入力データの特徴量の類似度に応じて残りの入力データをＮ個のクラスタに分類する処理を、最適なＮ個のクラスタができるまで複数回実行する非階層的クラスタリングの手法を用いてもよい。
【００４３】
さらに、分類を自動で行う構成として、具体的には、主判別器で特定のグループ（例えば、欠陥を有するグループである。）に分類された入力データを機械によりさらに分類し、同じグループとして分類された入力データが「新たなサブグループ」に属する入力データとすることができる。このとき、新たなサブグループに対して、ユーザが名称（ラベル）を付与してもよい。また、判別装置１０が、新たなサブグループに対して一意な識別子を採番し、採番した識別子をグループの名称として自動で命名する構成でもよい。なお、機械による分類の一例として、例えば、Ｋ−ｍｅａｎｓ法やその他の教師なし学習による分類が挙げられる。
【００４４】
また、分類を自動で行う場合の別の例として、特に欠陥の分類を行う場合には、次の構成も考えられる。まず、典型的な欠陥を有する入力データ（写真）をいくつか用意する。このとき最低１種類の欠陥の入力データが複数、必要となる。例えば、「凹み」という欠陥に関する入力データとして、凹みを有するワークの写真を複数枚用意する。用意した入力データを用いた学習により、補助判別器を生成する。このとき、補助判別器は、「凹み」という欠陥を有する入力データを判別可能になる。次に、主判別器が欠陥ありと分類した入力データ群を、この補助判別器に入力し、補助判別器が学習した種類の欠陥の入力データからの近さ及び／又は遠さで、新たなサブグループへ分類する。なお、新たなサブグループに対して、ユーザが名称を付与してもよいし、判別装置１０が、上述のように自動で識別子を採番することで自動で命名する構成でもよい。
【００４５】
さらに生成部１１８は、入力データに設定されたラベルを対応付けて、副判別器用学習ＤＢ２２１に登録する。これによって、学習装置２０においては、判別装置１０が実行した外観検査の結果に基づいて、新たな副判別器を生成することができる。
【００４６】
§３．動作フロー
次に、図５を用いて、上述のように構成された判別システム１の処理の流れについて説明する。図５は、本実施形態に係る判別システム１の処理フローの一例を示すシーケンス図である。
【００４７】
まず、判別装置１０における外観検査に先立って、学習装置２０の主判別器用学習データＤＢ２１１に、主判別器の学習用の学習データセットが登録され（Ｓ２１）、主判別器学習部２１０によって主判別器が生成される（Ｓ２２）。
【００４８】
生成された主判別器は、判別装置０の主判別部１１０に設定される（Ｓ２３）。次に外観検査において、入力データが入力されると、主判別部１１０は、設定された主判別器を用いて、入力データの判別を実行する（Ｓ１１）。判別結果は入力データと併せて表示部１１４に表示される（Ｓ１２）。
【００４９】
生成部１１８は、表示部１１４に表示された入力データのうち、不良品（すなわち、欠陥を有するワーク）と判別された入力データを所定の特徴に基づいてさらに詳細に分類するグループのラベルの設定をユーザから受け付ける（Ｓ１３）。なお、自動で分類し、自動で命名する構成の場合は、Ｓ１３の処理はスキップされてもよい。
【００５０】
入力データと、設定されたラベルとは、副判別器の学習用の学習データセットとして、副判別器学習データＤＢ２２１に登録される（Ｓ１４）。
【００５１】
学習装置２０では、副判別器学習データＤＢ２２１に新たに登録された学習データを用いて、副判別器を生成し（Ｓ２４）、生成した副判別器を判別装置１０の副判別部１１２に設定する（Ｓ２５）。
【００５２】
判別装置１０は、副判別器が新たに設定されると、入力データの判別を主判別部１１０と副判別部１１２とを用いて行う（Ｓ１５）。例えば副判別部１１２は、主判別部１１０において不良品として判別された入力データについて、不良品の種類について判別を行うことができる。
【００５３】
判別装置１０は、副判別部１１２を用いて判別を行った後、Ｓ１２に戻り、さらなる副判別器の設定を受け付けることも可能である。
【００５４】
§４．利点
本実施形態に係る判別システム１では、判別装置１０が特定のグループの特徴を有すると判別した入力データに基づいて、学習装置２０が副判別器を新たに生成する。これにより、判別装置１０において、既存の主判別器を破棄して、新たに主判別器を再度生成し直すことなく、主判別器の判別結果をより詳細に判別可能な機能を追加することができる。この結果、既存の主判別器の判別能力に影響を与えることなく判別装置１０の判別パターンを拡張することができる。
【００５５】
§５．ハードウェア構成
次に、図６を参照しながら、上述してきた判別装置１０、及び学習装置２０をコンピュータ８００により実現する場合のハードウェア構成の一例を説明する。なお、それぞれの装置の機能は、複数台の装置に分けて実現することもできる。
【００５６】
図６に示すように、コンピュータ８００は、プロセッサ８０１、メモリ８０３、記憶装置８０５、入力Ｉ／Ｆ部８０７、データＩ／Ｆ部８０９、通信Ｉ／Ｆ部８１１、及び表示装置８１３を含む。
【００５７】
プロセッサ８０１は、メモリ８０３に記憶されているプログラムを実行することによりコンピュータ８００における様々な処理を制御する。例えば、判別装置１０の主判別部１１０や、副判別部１１２、表示部１１４、入力部１１６、生成部１１８、学習装置２０の主判別器学習部２１０や、副判別器学習部２２０などは、メモリ８０３に一時記憶された上で、主にプロセッサ８０１上で動作するプログラムとして実現可能である。すなわち、プロセッサ８０１がメモリ８０３に一時記憶されたプログラムを解釈実行することにより、主判別部１１０や、副判別部１１２、表示部１１４、入力部１１６、生成部１１８、学習装置２０の主判別器学習部２１０や、副判別器学習部２２０の働きが実現される。
【００５８】
メモリ８０３は、例えばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ８０３は、プロセッサ８０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。
【００５９】
記憶装置８０５は、例えばハードディスクドライブ（ＨＤＤ）やフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置８０５は、オペレーティングシステムや、上記各構成を実現するための各種プログラムを記憶する。この他、記憶装置８０５は、主判別器用学習データＤＢ２１１、主判別器ＤＢ２１２、副判別器用学習データＤＢ２２１、副判別器ＤＢ２２２を記憶することも可能である。このようなプログラムやデータは、必要に応じてメモリ８０３にロードされることにより、プロセッサ８０１から参照される。
【００６０】
入力Ｉ／Ｆ部８０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ部８０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ、ウェアラブル・デバイス等が挙げられる。入力Ｉ／Ｆ部８０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等のインタフェースを介してコンピュータ８００に接続されても良い。
【００６１】
データＩ／Ｆ部８０９は、コンピュータ８００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部８０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部８０９は、コンピュータ８００の外部に設けられることも考えられる。その場合、データＩ／Ｆ部８０９は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００へと接続される。
【００６２】
通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部の装置と有線又は無線により、インターネットＮを介したデータ通信を行うためのデバイスである。通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ部８１１は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００に接続される。
【００６３】
表示装置８１３は、各種情報を表示するためのデバイスである。表示装置８１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ウェアラブル・デバイスのディスプレイ等が挙げられる。表示装置８１３は、コンピュータ８００の外部に設けられても良い。その場合、表示装置８１３は、例えばディスプレイケーブル等を介してコンピュータ８００に接続される。
【００６４】
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば既述の実施形態では、判別装置１０を画像による欠陥検査に適用する例について説明したが、これに限定されない。判別装置１０は、機械（例えば包装機等の製造機械）の故障予知の他、入力データを分類する判別装置に広く適用可能である。
【００６５】
一例として、判別装置１０は、機械の故障予知装置に適用することができる。例えば、故障予知装置は、監視対象となる装置（対象装置）から、当該対象装置の稼働状態を示す稼働状態データを取得することができる。稼働状態データは、例えば、対象装置のモータのトルク変動のデータや、振動データ、対象装置が発する音等の時系列データである。故障予知装置は、例えば、音声センサや画像センサ、モータ回転角センサ、加速度センサ等のセンサを有しており、対象装置から稼働状態データを取得する構成でもよいし、対象装置が、このようなセンサを有しており、取得した稼働状態データを故障予知装置に提供する構成でもよい。
【００６６】
故障予知装置は取得した稼働状態データの特徴量に基づいて、対象装置の故障（又は故障の予兆）を検知することができる。例えば、故障予知装置は、対象装置の通常の運転（すなわち、正常運転中）の稼働状態データの特徴量を正常データとして学習する。これにより、正常データから一定量以上逸脱した特徴量を有する稼働状態データが取得された際に、故障または故障の予兆があると判別する主判別器を生成する。
【００６７】
次に、対象装置においてギアの欠け、ベルトの歯こぼれ、ベアリングの異常摩耗等の故障の要因が観測された際に取得される稼働状態データの特徴量に基づいて、学習を行うことで、副判別器を生成する。これによって、故障予知装置は、主判別器において正常でないと判別された稼働状態データを、故障の要因ごとの特徴量からの近さ及び／又は遠さに基づいて、サブグループに分類することができる。
このような故障予知装置によると、対象装置の運転状態を連続的に監視することで、故障の予兆を早期発見し、これにより作業者に事前にメンテナンスを促すことが可能になる。この結果、対象装置の運転中に故障が生じて停止してしまい、作業中の部品が破壊する等の不都合が生じることを防ぐことができる。また、故障予知装置が、副判別器において稼働状態データを故障の要因ごとのサブグループに分類することにより、対象装置のメンテナンス時に作業者がより適切な対応をとることができる。
【００６８】
また、上述した判別装置１０は、自動車のドライバーの集中度を判別する集中度判別装置に適用することも可能である。この場合には、例えば、集中度判別装置は、ＤＭＳ（Ｄｒｉｖｅｒ  Ｍｏｎｉｔｏｒｉｎｇ  Ｓｙｓｔｅｍ）や車両センサからドライバーの状態を取得することができる。具体的には、ＤＭＳは自動車のドライバーの状態を検出するセンサであり、シートセンサや、自動車のドライバーが運転席に座った状態で当該ドライバーの上半身を撮影するカメラ等から構成されてもよい。また、車両センサは、車両の走行状態に関する情報を取得するセンサであり、例えば車速センサ、加速度センサ、及びヨーレートセンサ等から構成されてもよい。集中度判別装置は、これらのセンサから取得される自動車のドライバーの状態や車両の走行状態から、ドライバーの集中の有無を主判別器で判別し、集中度がない状態と判定されたグループ（に入る画像群）に対して、その要因（眠い、食事している、スマホ操作、等々）を判別する副判別器を生成してもよい。
【００６９】
（付記１）
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む判別部（１１０，１１２）と、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部（１１８）と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する学習部（２１０、２２０）と、
を備える判別システム（１）。
（付記２）
前記学習部（２１０、２２０）は、学習により生成した第２判別器を、前記判別部（１１０，１１２）に提供し、
前記判別部（１１０，１１２）は、前記第１判別器により特定のグループに分類された入力データに対して前記第２判別器を適用して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類する、
付記１記載の判別システム（１）。
（付記３）
入力データに、当該入力データが分類されるグループを対応付けた、第１学習データを記憶する記憶部（２１２）をさらに備え、
前記学習部（２１０，２２０）は、前記第１学習データを用いて学習させることにより、入力データを前記複数のグループのうち、いずれかのグループに分類する第１判別器を生成し、生成した前記第１判別器を前記判別部（１１０，１１２）に提供する、
付記１又は２に記載の判別システム（１）。
（付記４）
前記生成部（１１８）は、前記複数のサブグループのうち、特定のサブグループに分類される入力データと、当該特定のサブグループをさらに細分化する複数の小グループのうちの特定の小グループの情報とを対応付けた第３学習データをさらに生成し、
前記学習部（２１０，２２０）は、前記第３学習データを用いて学習させることにより、前記特定のサブグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数の小グループのうち、いずれかの小グループに分類する第３判別器を生成し、生成した第３判別器を前記判別部（１１０，１１２）にさらに提供する、
付記１乃至３の何れか一項に記載の判別システム（１）。
（付記５）
前記入力データは、被検査対象物の画像データを含み、
前記複数のグループは、前記被検査対象物が良品であることを示すグループと、不良品であることを示すグループとを含む、
付記１乃至４の何れか一項に記載の判別システム（１）。
（付記６）
前記複数のサブグループは、不良品の種類に基づく複数のサブグループを含む、
付記５に記載の判別システム（１）。
（付記７）
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む主判別部（１１０）と、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する生成部（１１８）と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類するよう生成された第２判別器を用いて、前記第１判別器により特定のグループに分類された入力データに対して、当該入力データを、複数のサブグループのうち、いずれかのサブグループに分類する生成する副判別部（１１２）と、
を備える判別装置（１０）。
（付記８）
入力データに、当該入力データが分類されるグループを対応付けた、第１学習データを記憶する第１記憶部（２１１）と、
前記第１学習データを用いて学習させることにより、入力データを複数のグループのうち、いずれかのグループに分類する第１判別器を生成する第１学習部（２１０）と、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを記憶する第２記憶部（２２１）と、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する第２学習部（２２０）と、
を備える学習装置（２０）。
（付記９）
コンピュータ（８００）が、
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含むステップと、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成するステップと、
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成するステップと、
を実行する判別方法。
（付記１０）
コンピュータ（８００）を、
入力データを、当該入力データが有する特徴量に基づいて、複数のグループのうち、いずれかのグループに分類する第１判別器を含む手段、
前記複数のグループのうち、特定のグループに分類される入力データと、当該特定のグループを細分化する複数のサブグループのうちの特定のサブグループの情報とを対応付けた第２学習データを生成する手段、及び
前記第２学習データを用いて学習させることにより、前記特定のグループに分類される入力データを、当該入力データが有する特徴量に基づいて、前記複数のサブグループのうち、いずれかのサブグループに分類する第２判別器を生成する手段と、
して機能させるプログラム。
（付記１１）
前記生成部は、
前記複数のグループのうち、特定のグループに分類された複数の入力データを、当該複数の入力データの特徴量の類似度に基づいて分類して前記特定のサブグループを生成する、
付記１に記載の判別システム。
（付記１２）
付記１に記載の判別システムを用いた不良品検査システムであって、
前記入力データとして、被検査対象物の画像データを適用し、
前記複数のグループは、前記被検査対象物が良品であることを示す良品グループと、不良品であることを示す不良品グループとを含み、
前記特定のグループは、前記不良品グループであり、
前記サブグループは、不良品の種類に基づいて、前記不良品グループを細分化したものである、
不良品検査システム。
（付記１３）
付記１に記載の判別システムを用いた故障判定システムであって、
前記入力データとして、装置の稼働状態を示す稼働状態データを適用し、
前記複数のグループは、前記装置の稼働状態が正常であることを示す正常グループと、前記装置の稼働状態に異常であることを示す異常グループとを含み、
前記特定のグループは、前記異常グループであり、
前記サブグループは、稼働状態の特徴量の種類に基づいて、前記異常グループを細分化したものである、
故障判定システム。
【符号の説明】
【００７０】
１  判別システム
２  ベルトコンベア
４  ワーク
６  撮像視野
８  上位ネットワーク
１０  判別装置
２０  学習装置
３０  撮像装置
８０  データベース装置
１０４  ディスプレイ
１１０  主判別部
１１２  副判別部
１１４  表示部
１１６  入力部
１１８  生成部
２１０  主判別器学習部
２２０  副判別器学習部
８００  コンピュータ
８０１  プロセッサ
８０３  メモリ
８０５  記憶装置
８１３  表示装置
【図１】
2019159770.tif 000003
【図２】
2019159770.tif 000004
【図３】
2019159770.tif 000005
【図４】
2019159770.tif 000006
【図５】
2019159770.tif 000007
【図６】
2019159770.tif 000008