(57)【要約】【課題】機械学習に用いる教師またはテストデータの収集において、不適切なラベルが付与された品質の悪いデータの混入を防止しつつ、良質なデータを大量に効率よく収集可能とする。【解決手段】機械学習用データ収集システム３は、ユーザー環境２において使用する複数の学習済み分類モデルを配置する分類モデル保持手段２２と、分類モデルをユーザー環境２に配信するモデル配信手段２６と、ユーザー環境２から送信されたラベル付のデータを入力として分類を行い、入力データごとの分類正否、正解率を含む分類結果を保持する分類結果保持手段２３と、分類モデルごとの分類結果に基づいて、入力データに対して適切な分類モデルを提示する最適モデル推奨手段２１と、入力データを、分類モデルの教師またはテストデータとして記録する教師データ記録手段２８とを備える。【選択図】図１
2020194355.tif 000002
【特許請求の範囲】
【請求項１】
機械学習によってクラス分類を行う分類モデルの教師またはテストデータを収集する機械学習用データ収集システムであって、
ユーザー環境において使用する複数の学習済み分類モデルを配置する分類モデル保持手段と、
前記分類モデルを前記ユーザー環境に配信するモデル配信手段と、
前記分類モデル保持手段上の前記分類モデルそれぞれについて、前記ユーザー環境から送信されたラベル付のデータを入力として分類を行い、入力データごとの分類正否、正解率の少なくとも一方を含む分類結果を保持する分類結果保持手段と、
前記分類モデルごとの分類結果に基づいて、前記入力データに対して適切な分類モデルを提示する最適モデル推奨手段と、
前記入力データを、前記分類モデルの教師またはテストデータとして記録する教師データ記録手段と、
を備えたことを特徴とする機械学習用データ収集システム。
【請求項２】
前記最適モデル推奨手段が提示した前記分類モデルが、前記ユーザー環境において採用されたか否かを検出する推奨モデル採用有無判定手段を備え、
前記推奨モデル採用有無判定手段において、前記最適モデル推奨手段が提示した分類モデルが採用されたと判定された場合に、前記入力データを前記教師データ記録手段に記録することを特徴とする請求項１に記載の機械学習用データ収集システム。
【請求項３】
前記分類結果保持手段は、前記入力データごとの分類正否を分類結果として保持する一方、
前記分類正否をユーザーに提示する分類結果表示手段と、
前記入力データのラベルを修正するラベル修正手段と、を備え、
前記ラベル修正手段での修正結果を反映した入力データを前記教師データ記録手段に記録することを特徴とする請求項１又は２に記載の機械学習用データ収集システム。
【請求項４】
機械学習によってクラス分類を行う分類モデルの教師またはテストデータを収集する機械学習用データ収集方法であって、
ユーザー環境から送信されたラベル付のデータを入力データとして、記憶されている複数の学習済み分類モデルそれぞれについて分類を行うデータ分類ステップと、
前記分類モデルごとの分類結果に基づいて、前記入力データに対して適切な分類モデルを提示する最適モデル推奨ステップと、
前記入力データを、前記分類モデルの教師またはテストデータとして記録する教師データ記録ステップと、
を実行することを特徴とする機械学習用データ収集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習で必要となる教師またはテストデータの収集システム及び収集方法に関するものである。
【背景技術】
【０００２】
機械学習技術の一つとして、判別対象とするデータの入力を受け付け、そのデータの内容の種別（ラベル）を判定して出力する手法として、教師付き学習技術がある。この技術では、予めデータとそのラベルとを対にしたものを教師データとして相当数準備し、データに対応するラベルをモデルが出力するように学習を行う。したがって、データと対になるラベルが正しく付与されていない場合、誤った判定を行うモデルが学習されてしまうこととなり、得られるモデルは判定性能が低いものとなってしまう。他方、教師データを必要としない教師なし学習技術も存在するが、性能評価の際に正解／不正解を判断するために正しいラベルが付与された評価用のテストデータがあることが望ましい。
機械学習ではモデルの学習のために多くのデータを必要とする。データにラベルを付与する際、理想的には、判断基準を統一した上で、熟練者が注意深く吟味して付与するラベルを判断することが望ましい。しかしながら現実にはリソースが限られるため、曖昧な状態でラベルが付与されたり、非熟練者がラベルを付与する場合があるなど、ラベルの付け間違い（不正確なラベルの混入）を完全に防止することはできない。よって、不正な教師データの混入チェックを如何に実現するかが大きな課題となる。
また、データの収集自体も手間が掛かり、大量のデータを収集するには多くの人手を必要とすることから、如何にして多くの協力者を得るかという点も課題である。
以上のように、判定性能の優れた学習モデルを作成する上では大量かつ良質の教師データが不可欠であり、双方を両立することが重要となる。
【０００３】
品質の悪い教師データが学習モデルに与える影響を軽減する技術として特許文献１がある。ここには、教師データの供給元となるユーザーごとにモデルを作成し、また各ユーザーの特徴の相違を指標化して他のユーザーと異なる特徴を持つユーザーの寄与率を下げるように学習させることで、質の悪い（不適切なラベルが付与された）教師データの影響を下げる技術が開示されている。
同様に、信頼性の低いラベルの影響を低減する技術として、特許文献２の技術が開示されている。本技術では、事前に信頼の置ける教師データを選り分けておき、それ以外のデータについて、信頼の置けるデータとの距離及びラベルの一致性に基づいて信頼度を設定することで、学習精度の悪化を防止している。
ところで、機械学習で作成した学習モデルは内容がブラックボックスになっていることが多く、複数の学習モデルが提供されている場合、モデル利用者としては自身がどのモデルを利用すべきか判断が難しいことがある。そこで、特許文献３では、システムに複数の学習モデルを保持しておき、各診断モデルによる予測量と実績量との差分に基づいて最適な学習モデルを選択する技術を開示している。すなわち、適切なモデルを選択するために予測量と実績量との差を評価する技術である。
また、特許文献４には、機械装置の故障等を示すユーザーからのイベント情報（データ）から、予測モデル作成部で予測モデルを作成し、その予測モデルの予測漏れ率及び誤予測率を予測モデル評価部で算出して評価し、評価した情報を表示制御部に表示させてユーザーに予測モデルの精度を知らせるようにしたアラーム予測の技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６２３１９４４号公報
【特許文献２】特開２００９−２８２６８６号公報
【特許文献３】特許第４３３９７６９号公報
【特許文献４】特許第６３５８４０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術によれば、熟練度の低いユーザーなどラベルの付け間違いが他より多いユーザーの影響を低減させることが可能だが、ラベル付与のミスは偶発的に生じるものであり、熟練者が稀に起こす付け間違いの混入を防ぐことはできない。
特許文献２の技術では、データの傾向から教師データの重み付けをしているが、一見類似のデータ傾向であっても、ラベル付与者が自身の経験から敢えて異なるラベルを付与するケースもあり、本技術の手法ではそのような場合にラベル付与者の意図と異なる学習をしてしまう。
特許文献３の技術の場合、比較する実績データに不適切なラベルが付与されていると、正しくモデル性能を評価することができない。
特許文献４の技術の場合、予測モデルの評価は可能であるが、ユーザーから送られたデータは、記号化されてイベント列の抽出に利用されるにとどまるため、品質の悪いデータが教師又はテストデータに混入してユーザーが適切な予測モデルを選択できないおそれが生じる。
【０００６】
そこで、本発明は、機械学習に用いる教師またはテストデータの収集において、不適切なラベルが付与された品質の悪いデータの混入を防止しつつ、良質なデータを大量に効率よく収集することができる機械学習データ収集システム及び収集方法を提供することを課題とする。すなわち、不良なデータを除外するだけでなく、良質なデータが集まりやすい環境を構築することで、上記課題を解決する。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載の発明は、機械学習によってクラス分類を行う分類モデルの教師またはテストデータを収集する機械学習用データ収集システムであって、
ユーザー環境において使用する複数の学習済み分類モデルを配置する分類モデル保持手段と、
前記分類モデルを前記ユーザー環境に配信するモデル配信手段と、
前記分類モデル保持手段上の前記分類モデルそれぞれについて、前記ユーザー環境から送信されたラベル付のデータを入力として分類を行い、入力データごとの分類正否、正解率の少なくとも一方を含む分類結果を保持する分類結果保持手段と、
前記分類モデルごとの分類結果に基づいて、前記入力データに対して適切な分類モデルを提示する最適モデル推奨手段と、
前記入力データを、前記分類モデルの教師またはテストデータとして記録する教師データ記録手段と、を備えたことを特徴とする。
請求項２に記載の発明は、請求項１の構成において、前記最適モデル推奨手段が提示した前記分類モデルが、前記ユーザー環境において採用されたか否かを検出する推奨モデル採用有無判定手段を備え、前記推奨モデル採用有無判定手段において、前記最適モデル推奨手段が提示した分類モデルが採用されたと判定された場合に、前記入力データを前記教師データ記録手段に記録することを特徴とする。
請求項３に記載の発明は、請求項１又は２の構成において、前記分類結果保持手段は、前記入力データごとの分類正否を分類結果として保持する一方、前記分類正否をユーザーに提示する分類結果表示手段と、前記入力データのラベルを修正するラベル修正手段と、を備え、前記ラベル修正手段での修正結果を反映した入力データを前記教師データ記録手段に記録することを特徴とする。
上記目的を達成するために、請求項４に記載の発明は、機械学習によってクラス分類を行う分類モデルの教師またはテストデータを収集する機械学習用データ収集方法であって、
ユーザー環境から送信されたラベル付のデータを入力データとして、記憶されている複数の学習済み分類モデルそれぞれについて分類を行うデータ分類ステップと、
前記分類モデルごとの分類結果に基づいて、前記入力データに対して適切な分類モデルを提示する最適モデル推奨ステップと、
前記入力データを、前記分類モデルの教師またはテストデータとして記録する教師データ記録ステップと、を実行することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、機械学習に用いる教師またはテストデータの収集において、不適切なラベルが付与された品質の悪いデータの混入を防止しつつ、良質なデータを大量に効率よく収集することができる。機械学習で作成した学習モデルはユーザーがどのモデルを利用すべきか判断が難しいため、自身の用途に合ったモデルを適切に選択するためにユーザーはモデルを推奨するシステムを利用する動機を持つ。そのシステムが信頼できる結果を返すためには適切な入力データが必要になることから、システム使用時に、ユーザー自身がデータ及び付与されたラベルを事前に吟味した上でデータをアップロードすることが期待される。つまり、モデル利用者は、最適なモデルを得るという自らの利益のために高い確度を持ったラベルが付与されたデータを選択することから、これらを教師データとして使用することで、曖昧な感覚でラベルが付与されたデータが教師に紛れ込むリスクを下げることができ、より良い分類モデルを構築することが可能となる。教師なし学習においても、正解が適切に付与されたテストデータを用いた評価結果を指標とすることができ、同様に利用者に適したモデルを構築、推奨することが可能となる。
すなわち、本発明によれば、良質なラベルが付与されたデータをユーザー自ら選定して送ってくれるように仕向けることができ、真に良質なデータを、より効率よくかつ容易に収集することができる。データの特徴に不当に左右されてユーザーの判断（ラベル）を歪めることなく、ユーザー自身の感覚に則った良質な教師データを収集できる。さらに、ユーザーにとって適切な分類モデルを選択できることがデータを送付する動機付けになり、容易かつ継続的に良質なデータを収集することが可能となる。
特に、請求項２に記載の発明によれば、上記効果に加えて、さらに教師データの信頼性を高めることができる。システムを利用するユーザーの中には、試行的な感覚でシステムを利用するユーザーも存在する。システムが推奨したモデルが実際にユーザーに採用されたか否かを判定することで、ユーザーが試行目的か実際の選定目的かを判断することができ、試行目的で入力されたデータを除外することで、不正確なラベルが付与されたデータの混入をより確実に防止することができる。
特に、請求項３に記載の発明によれば、上記効果に加えて、システムが保持する分類モデルの分類結果を表示することで、どの入力データで誤診があったかユーザーが確認することができ、誤診データにラベルの付与間違いがないかどうか改めて確認し、間違いがあれば修正することでより正確に適切な分類モデルを選択することができる。その結果、教師データとして記録する入力データの信頼性も向上することになり、より品質の高い教師データを得ることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】工作機械のブロック構成図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図面に基づいて説明する。
例として、工作機械１にて被削材を加工する際の異常の有無・種類を判断する機械学習用データ収集システム（以下単に「データ収集システム」という。）３を用いて説明する。
工作機械１に内包あるいはネットワーク等で接続されたユーザー環境２にて異常の有無等を判定し、結果を工作機械１に返送して加工を中断するなど適切な制御を実行する。加工中に工作機械１から得られる信号（負荷や振動など）は加工データ取得手段１１にて収集され、加工データ保持手段１３にて適宜記録されるとともに、分類実行手段１２に送られる。分類実行手段１２は、分類モデル保持手段１４で保持されている学習済み分類モデルを用いて、工作機械１の加工が正常か否かを判定し、結果を工作機械１に送付する。
【００１１】
ここで、加工の異常をどれだけの精度で判定できるかは、使用する学習済み分類モデルの性能に依存する。より良く正常／異常を分類する、あるいはどのような異常かを分類するには、性能の優れた分類モデルを使用する必要がある。加工異常を精度良くあるいは感度良く検知することで、工具の破損や被削材の不良を事前に防止することができるため、ユーザーはより良い分類モデルを求めることになる。
【００１２】
本発明で使用する分類モデルは、教師あり学習による機械学習で作成されるモデルを想定する。判定すべきラベル（正常／異常、または異常の種類など）を付与したデータを学習機に与えて事前に学習させることで、未知の入力データに対するラベルを推定する分類モデルを得られる。このような学習済み分類モデルを個々のユーザーが自身で作成することも可能であるが、一般に機械学習では多種多量の学習データを必要とするため、ユーザー単位で必要量を収集することが困難なことが多い。そこで、工作機械メーカーやサードパーティなどがデータを広く収集し、学習済み分類モデルを構築してユーザーに配布する形態をとることがある。この場合、モデルの利用者が多岐に亘るため、準備されるモデルの種類・特性も様々なものになる。一般に、用途範囲と判定精度はトレードオフになることが多いことから、ユーザーは自身の用途・要求レベルに向いたモデルを選択する必要がある。そこで本発明では、モデル供給側が、ユーザーに適したモデルを推奨する形態を想定する。
【００１３】
ユーザーは、データ送信手段１５を用いて、自らが診断したい事例あるいはそれに類する事例の加工データを送付する。送信するデータは、例えば加工データ保持手段１３が記録しているデータなどから適宜選択することができる。
モデル供給側となるデータ収集システム３では、作成済みの様々な分類モデルを分類モデル保持手段２２に蓄積している。ユーザー側のデータ送信手段１５から送付されたデータを、分類モデル保持手段２２に蓄積されている学習済み分類モデルの一部または全部に与えて、分類実行手段１２によって分類を行う（データ分類ステップ）。個々の分類処理自体はユーザー環境２にあるものと同様の仕組みを用いる。
そして、分類の正否や正解率をそれぞれに算出して分類結果保持手段２３に保存し、分類結果表示手段２４に表示するとともに、正解率が高いモデルなど送付データへの適合性が高いと思われるモデルを最適モデル推奨手段２１でユーザーに提示する（最適モデル推奨ステップ）。この際、推奨基準としては、全体の正解率の他に、正常データまたは異常データそれぞれの正解率や、ユーザーが重視するデータに重みづけを行いそのデータに対する正解率など、適宜用いることができる。
【００１４】
ユーザーは、最適モデル推奨手段２１や分類結果表示手段２４の結果を基に、提示されたモデルを採用するか否かを判断することができる。モデルの性能に満足し、使用する場合は、モデル配信手段２６から当該モデルを取得し、分類モデル保持手段１４に保持するとともに分類実行手段１２に適用することで、そのモデルを分類に利用することができる。この際データ収集システム３側は、モデル配信手段２６からの配信有無、分類実行手段１２への適用有無などの情報を基に、推奨モデルが適用されたか否かを推奨モデル採用有無判定手段２７で判定する。
そして、ユーザーに推奨モデルが適用されたと判定した場合、ユーザー側のデータ送信手段１５からの送付データを、教師データ記録手段２８に記録、蓄積する（教師データ記録ステップ）。
【００１５】
なお、最適モデル推奨手段２１で提示されるモデルの性能にユーザーが満足しない場合、モデルの性能算出に用いた入力データ（データ送信手段１５で送付されたデータ）に間違いがないか確認するため、分類結果表示手段２４で表示される結果を用いることができる。確認の結果入力データに間違いがあることがわかった場合、ユーザーはラベル修正手段２５を用いて当該データのラベルを修正することができる。ラベルの修正方法としては、データの一覧を画面に表示した上で修正するデータを選択の上、正しいラベルを再入力するなどの方法を適宜用いることができる。ラベルが修正された場合、その修正結果はデータに適宜反映され、当該データを教師データ記録手段２８に記録する際に修正の有無や内容などを反映して記録することができる。
【００１６】
このように、上記形態のデータ収集システム３及びデータ収集方法によれば、ユーザー環境２において使用する複数の学習済み分類モデルを配置する分類モデル保持手段２２と、分類モデルをユーザー環境２に配信するモデル配信手段２６と、ユーザー環境２から送信されたラベル付のデータを入力として分類を行い、入力データごとの分類正否及び正解率を含む分類結果を保持する分類結果保持手段２３と、分類モデルごとの分類結果に基づいて、入力データに対して適切な分類モデルを提示する最適モデル推奨手段２１と、入力データを分類モデルの教師またはテストデータとして記録する教師データ記録手段２８とを備える。これにより、良質なラベルが付与されたデータをユーザー自ら選定して送ってくれるように仕向けることができ、真に良質なデータを、より効率よくかつ容易に収集することができる。データの特徴に不当に左右されてユーザーの判断（ラベル）を歪めることなく、ユーザー自身の感覚に則った良質な教師データを収集できる。さらに、ユーザーにとって適切な分類モデルを選択できることがデータを送付する動機付けになり、容易かつ継続的に良質なデータを収集することが可能となる。
【００１７】
特にここでは、最適モデル推奨手段２１が提示した分類モデルが、ユーザー環境２において採用されたか否かを検出する推奨モデル採用有無判定手段２７を備え、推奨モデル採用有無判定手段２７において、最適モデル推奨手段２１が提示した分類モデルが採用されたと判定された場合に、入力データを教師データ記録手段２８に記録するので、さらに教師データの信頼性を高めることができる。システムを利用するユーザーの中には、試行的な感覚でシステムを利用するユーザーも存在する。システムが推奨したモデルが実際にユーザーに採用されたか否かを判定することで、ユーザーが試行目的か実際の選定目的かを判断することができ、試行目的で入力されたデータを除外することで、不正確なラベルが付与されたデータの混入をより確実に防止することができる。
【００１８】
また、分類正否をユーザーに提示する分類結果表示手段２４と、入力データのラベルを修正するラベル修正手段２５と、を備え、ラベル修正手段２５での修正結果を反映した入力データを教師データ記録手段２８に記録するので、どの入力データで誤診があったかユーザーが確認することができ、誤診データにラベルの付与間違いがないかどうか改めて確認し、間違いがあれば修正することでより正確に適切な分類モデルを選択することができる。その結果、教師データとして記録する入力データの信頼性も向上することになり、より品質の高い教師データを得ることが可能となる。
【００１９】
なお、データ収集システム３はクラウド上に設置されても良いし、学習済みモデルの配布や教師データの回収経路を別途構築した上で、オンプレミスとして設置しても構わない。分類結果保持手段が保持する分類結果も、分類成否と正解率との少なくとも一方とすることができる。
また、最適モデル推奨手段、分類結果表示手段、ラベル修正手段は、ユーザー環境においてユーザーが確認したり操作したりするものであるが、必ずしもユーザー環境に設ける必要はない。
例えば、工作機械であれば、ユーザー環境をＮＣ装置とし、データ収集システムをネットワークを介したサーバーとして、ＮＣ装置から吸い出したデータを基にサーバー側で処理し、処理した情報をサーバー側に表示して修正可能とする手段を設けることもできる。逆に、最適モデル推奨手段、分類結果表示手段、ラベル修正手段をＮＣ装置側に設けることもできるし、サーバーを介した別のパーソナルコンピューター（ＰＣ）等に表示して修正可能とすることもできる。
【００２０】
一方、ユーザー環境も、ＮＣ装置側でなくてもよいし、データ収集システムもユーザー側とメーカー側とのどちらにあってもよい。例えばユーザー環境をＮＣ装置から情報を受けるサーバー（ＰＣ）とし、データ収集システムをメーカー側のサーバー（ＰＣ、クラウド含む）としてもよい。
【００２１】
そして、本実施例では教師あり学習を例にとって説明したが、クラスタリングなど教師なし学習の場合にも、データ送信手段で送付されたデータを教師データとしてではなく性能評価用のテストデータとして使用することができる。すなわち、本実施例の教師データをテストデータと読み替えることで、教師なし学習による分類モデルにも使用することができる。
【符号の説明】
【００２２】
１・・工作機械、２・・ユーザー環境、３・・データ収集システム、１１・・加工データ取得手段、１２・・分類実行手段、１３・・加工データ保持手段、１４，２２・・分類モデル保持手段、１５・・データ送信手段、２１・・最適モデル推奨手段、２３・・分類結果保持手段、２４・・分類結果表示手段、２５・・ラベル修正手段、２６・・モデル配信手段、２７・・推奨モデル採用有無判定手段、２８・・教師データ記録手段。
【図１】
2020194355.tif 000003