(57)【特許請求の範囲】
【請求項１】
学習用データを用いた機械学習により診断モデルを生成する学習部と、
前記診断モデルに基づいて診断対象データを診断して、診断結果を出力する診断部と、
前記診断結果をユーザに提示し、前記診断結果が誤診断であることを示すユーザ入力を取得した場合に、誤診断データを出力し、また、前記ユーザ入力に基づいて前記誤診断データを修正するフィードバック処理を実行するフィードバック処理部と、
前記フィードバック処理部が出力する修正前の前記誤診断データに対する、前記フィードバック処理を未実行の前記学習用データ又は前記診断結果の類似度を判定し、前記類似度が一定以上である類似データが存すると判定した場合に、前記フィードバック処理部に当該類似データを送付する類似度判定部と、を備え、
前記フィードバック処理部は、前記類似度判定部が送付した前記類似データについて前記フィードバック処理を実行し、
前記学習部は、前記フィードバック処理により修正済の前記誤診断データを含むデータを用いて再学習を行う、
学習システム。
【請求項２】
前記診断部が出力する前記診断結果のうち、フィードバック処理を実行する診断結果を選定し、選定された前記診断結果を前記フィードバック処理部に送付するフィードバック用データ選定部を更に備える、
請求項１に記載の学習システム。
【請求項３】
前記フィードバック用データ選定部は、予め設定された確率で前記診断結果を選定し、又は、予め定めた条件に合致している前記診断結果を選定する、
請求項２に記載の学習システム。
【請求項４】
前記診断部が出力する診断結果の情報は、診断の確信度を含み、
前記フィードバック用データ選定部は、前記診断の確信度が予め定めた閾値以下の前記診断結果を前記フィードバック処理部に送付する
請求項２に記載の学習システム。
【請求項５】
前記学習用データは、装置、部品又は生産品の情報と、前記装置、前記部品又は前記生産品に係るデータが属するクラスを示すラベルの情報を含み、
前記診断部は、前記診断対象データに対して診断して、診断の結果、選択された前記ラベルを前記診断対象データに付与し、
前記フィードバック処理部は、前記診断対象データの前記ラベルをユーザに提示し、前記診断結果が誤診断であることを示すユーザ入力を取得した場合に、前記ユーザ入力に基づいて前記ラベルを修正する、
請求項１から４のいずれか１項に記載の学習システム。
【請求項６】
学習用データを用いた機械学習により診断モデルを生成する学習ステップと、
前記診断モデルに基づいて診断対象データを診断する診断ステップと、
前記診断ステップの診断結果に対するユーザ入力に基づいて、誤診断データを出力し、また、前記ユーザ入力に基づいて前記誤診断データを修正するフィードバック処理を実行するフィードバックステップと、
前記フィードバックステップで出力される修正前の前記誤診断データに対する、前記フィードバック処理を未実行の前記学習用データ又は前記診断結果の類似度を判定し、前記類似度が一定以上の類似データが存するか否かを判定する類似度判定ステップと、
前記類似度判定ステップで前記類似度が一定以上と判定された前記類似データについて再度フィードバック処理を実行する再フィードバックステップと、
前記再フィードバックステップで修正済の前記誤診断データを含むデータを用いて再学習を行う再学習ステップと、を有する
学習方法。
【請求項７】
コンピュータを、
学習用データを用いた機械学習により診断モデルを生成する学習部、
前記診断モデルに基づいて診断対象データを診断する診断部、
前記診断部が診断した診断結果に対するユーザ入力に基づいて、誤診断データを出力し、また、前記ユーザ入力に基づいて前記誤診断データを修正するフィードバック処理を実行するフィードバック処理部、
前記フィードバック処理部が出力する修正前の前記誤診断データに対する、前記フィードバック処理を未実行の前記学習用データ又は前記診断結果の類似度を判定し、前記類似度が一定以上の類似データが存するか否かを判定する類似度判定部、として機能させるためのプログラムであって、
前記フィードバック処理部は、前記類似度判定部で前記類似度が一定以上と判定した前記類似データについて再度フィードバック処理を実行し、
前記学習部は、修正済の前記誤診断データを含むデータを用いて再学習を行う、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、学習システム、学習方法及びプログラムに関する。
【背景技術】
【０００２】
生産現場において、生産設備の状態又は生産品の品質を診断するシステムが用いられている。例えば、生産設備に設置した複数のセンサからセンサデータを取得し、センサデータに基づいて機械学習モデルを生成し、機械学習モデルを用いて設備又は生産品を診断するシステムが開示されている（例えば、特許文献１）。【０００３】
特許文献１に記載の診断装置は、診断結果が設備の異常を示す場合にアラームを出力し、さらにアラームが正しいか否かを示すフィードバックをユーザに入力させる。フィードバックが反映されたセンサデータは、教師データとしてラベル付けされて記憶される。診断装置は、記憶された教師データを用いて解析モデルをさらに学習することにより、フィードバック情報を反映した解析モデルを生成する。これにより、設備の診断を容易に実行することが可能になると説明されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１９−１０１４９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
文献１に記載の診断装置は、フィードバックの機会をアラームの出力によって与えている。このため、システムが異常と判断した診断データに対してしかフィードバックが行なえず、システムが正常と判断した診断結果又は学習用データに誤りがある場合にそれらを訂正できないという課題があった。【０００６】
また、診断結果が正常又は異常のみで示されており、過去の診断結果と完全に一致する異常のみを検知するため、類似する異常に対応することができないという課題があった。【０００７】
本開示は、上述のような事情に鑑みてなされたものであり、精度の高い診断を可能にする診断モデルを生成する学習システム、学習方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本開示の学習システムは、学習用データを用いた機械学習により診断モデルを生成する学習部と、診断モデルに基づいて診断対象データを診断して、診断結果を出力する診断部と、診断結果をユーザに提示し、診断結果が誤診断であることを示すユーザ入力を取得した場合に、誤診断データを出力し、また、ユーザ入力に基づいて誤診断データを修正するフィードバック処理を実行するフィードバック処理部と、を備える。学習システムは、さらに、フィードバック処理部が出力する修正前の誤診断データに対する、フィードバック処理を未実行の学習用データ又は診断結果の類似度を判定し、類似度が一定以上の類似データが存すると判定した場合に、フィードバック処理部に類似データを送付する類似度判定部を備える。フィードバック処理部は、類似度判定部が送付した類似データについてフィードバック処理を実行し、学習部は、フィードバック処理により修正済の誤診断データを含むデータを用いて再学習を行う。
【発明の効果】
【０００９】
本開示によれば、診断対象データの診断結果に対するフィードバックにより誤りと判定された誤診断データに類似するデータを用いて再学習を行うため、精度の高い診断を可能にする診断モデルを生成することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態に係る学習システムの構成例を示すブロック図
【図２】診断モデル生成処理の全体の流れを示すフローチャート
【図３】学習処理を示すフローチャート
【図４】診断処理を示すフローチャート
【図５】実施の形態１に係るフィードバック用データ選定処理を示すフローチャート
【図６】フィードバック処理を示すフローチャート
【図７】再学習処理を示すフローチャート
【図８】実施の形態２に係るフィードバック用データ選定処理を示すフローチャート
【発明を実施するための形態】
【００１１】
（実施の形態１）
以下に、本開示を実施するための実施の形態１について図面を参照して詳細に説明する。なお、図中同一又は相当する部分には同じ符号を付す。
【００１２】
図１は、実施の形態１に係る学習システム１の構成例を示すブロック図である。学習システム１は、生産現場において生産設備の状態又は生産品の品質を診断するための診断モデルを学習により生成する装置である。
【００１３】
学習システムは図１に示すように、学習用データを含むデータを保存する記憶部１００と、学習用データを用いた機械学習により診断モデルを生成し、診断モデルを用いて診断を行う演算部１１０と、を備える。学習システム１は、さらに診断結果を含む情報を表示するディスプレイ１２０と、ユーザの操作及びデータの入力を受け付ける入力部１３０とを備える。
【００１４】
記憶部１００は、任意の記憶装置であり、例えば、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）を含む不揮発性半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）である。
【００１５】
記憶部１００は、機械学習に用いる学習用データを保存する学習用データ保存部１０１と、フィードバックされた追加学習用データを保存する追加学習用データ保存部１０２と、診断モデルを用いて行った診断の診断結果を保存する診断結果保存部１０３と、を含む。さらに、記憶部１００は、演算部１１０が実行する機械学習のプログラムも記憶する。
【００１６】
演算部１１０は、任意の演算処理装置であり、例えば、ＣＰＵ（Central Processing Unit）である。演算部１１０は、記憶部１００に格納されるプログラムを実行することにより、学習用データを用いた機械学習により診断モデルを生成する学習部１１１と、診断モデルを用いて、診断対象データに対する診断を行う診断部１１２と、入力されるデータの類似度を判定する類似度判定部１１３と、フィードバック用データを選定するフィードバック用データ選定部１１４と、フィードバック処理を実行するフィードバック処理部１１５と、として機能する。
【００１７】
記憶部１００の学習用データ保存部１０１に保存される学習用データは、生産設備のデータ、工場で生産される生産品のテストデータ、部品のデータ、生産者の生体データを含むデータである。学習用データは、具体的には、生産装置、検査装置、部品、生産品又は生産者に取り付けられ、又は、対向して設置された１又は複数のセンサから出力されるセンサデータを含む。センサは、例えば、振動センサ又は温度センサである。学習用データは、センサデータを取得した際の装置の稼働状態又は製品の品質を示す情報を含んでもよい。また、学習用データは、センサデータを加工したもの又は複数のセンサデータを特定の処理によりまとめたものであってもよい。
【００１８】
学習用データの各データには、ラベルが付与される。ラベルとは、データが属するクラスを示す情報であり、例えば、データが取得された時の設備の稼働状態、データ取得時に生産ラインを流れていた部品又は生産品の品質状態、あるいは、その他データから予測する情報により分類されたクラスを示す情報である。
【００１９】
学習用データの保存形式は任意の形式でよく、例えば、リレーショナルデータベースを含むデータベース形式又はＣＳＶ（Comma Separated Value）を含むファイル形式でもよい。
【００２０】
演算部１１０の学習部１１１は、学習用データ保存部１０１から学習用データを取得し、予め指定された機械学習手法を用いて診断モデルを生成し、診断部１１２に出力する。機械学習手法は従来の任意の手法でよく、例えば、ニューラルネットワーク手法、決定木手法、ランダムフォレスト手法である。診断モデルは、学習部１１１が機械学習により生成する機械学習モデルである。
【００２１】
学習部１１１は学習用データの追加が行われた場合は既存の診断モデルに対して追加で学習を行い、診断モデルを更新して、診断部１１２に出力する。
【００２２】
診断部１１２は、診断対象データに対応する装置の稼働状態あるいは部品又は生産品の品質を学習部１１１から出力された診断モデルを用いて推定する。以降、診断部１１２が診断モデルを用いて装置の稼働状態あるいは部品又は生産品の品質を含む診断結果を推定する動作を診断と称する。診断対象データは、学習用データと同様の、生産設備のデータ、工場で生産される生産品のテストデータ、部品のデータ、生産者の生体データを含むデータである。
【００２３】
診断部１１２は、診断の結果、選択されたラベルを付与し、ラベルを含む診断結果の情報を記憶部１００の診断結果保存部１０３に保存する。
【００２４】
類似度判定部１１３は、フィードバック処理部１１５から誤診断データを一度も受け取っていない段階では、学習用データ保存部１０１からランダムに学習用データを取得し、フィードバック用データ選定部１１４に送付する。
【００２５】
類似度判定部１１３は、フィードバック処理部１１５から誤診断データを受け取った際には、学習用データ保存部１０１及び診断結果保存部１０３からランダムに学習用データ及び診断結果を取得し、誤診断データと類似度が高い類似データをフィードバック用データ選定部１１４に送付する。
【００２６】
フィードバック用データ選定部１１４は、診断結果保存部１０３に保存している診断結果並びに類似度判定部１１３から送付された診断結果及び学習用データを一時的に蓄積し、その中から選定した診断結果又は学習用データをフィードバック処理部１１５に送付する。
【００２７】
追加学習用データ保存部１０２は、フィードバック処理部１１５からラベル修正済データを受け取り、追加学習用データとして蓄積する。学習部１１１は、再学習を行う際には追加学習用データ保存部１０２に保存されている追加学習用データを取得する。
【００２８】
フィードバック処理部１１５は、診断結果又は学習用データの正誤に係るユーザの判断を診断モデルにフィードバックする処理を実行する。具体的には、診断結果についてフィードバックする場合、フィードバック処理部１１５は、診断対象データとラベルを含む診断結果をディスプレイ１２０に表示し、診断結果が正しかったか否かの判断をユーザに求める。ユーザが入力部１３０を操作することにより、診断結果が誤りであることが入力された場合は、フィードバック処理部１１５は、診断対象データを誤診断データとして類似度判定部１１３に送付し、また、誤診断データのラベルを修正したものをラベル修正済データとして追加学習用データ保存部１０２に保存する。
【００２９】
以上の構成を有する学習システム１の動作について、図２−９に示すフローチャートを用いて説明する。
【００３０】
図２は、演算部１１０が実行する診断モデルを生成する診断モデル生成処理の全体の流れを示すフローチャートである。
【００３１】
まず、学習部１１１が学習用データを用いて学習処理を実行する（ステップＳ１００：学習ステップ）。学習後に診断部１１２は、入力部１３０より診断対象データが入力されたか否かを判定する（ステップＳ１０１）。診断対象データが入力された場合（ステップＳ１０１：Ｙｅｓ）は、診断部１１２が診断処理を実行する（ステップＳ１０２：診断ステップ）。診断対象データが入力されなかった場合（ステップＳ１０１：Ｎｏ）は、診断処理を実行せずにステップＳ１０３に進む。
【００３２】
次に、フィードバック処理部１１５が、フィードバックを実行するか否かを判断する（ステップＳ１０３）。フィードバックを実行するか否かは、例えば、システムの起動又は前回のフィードバックから一定時間が経過したか否かにより判断する。フィードバック処理部１１５が、フィードバックを実行すると判断した場合は（ステップＳ１０３：Ｙｅｓ）、フィードバック処理を実行する（ステップＳ１０４：フィードバックステップ）。フィードバックを実行しないと判断した場合は（ステップＳ１０３：Ｎｏ）、ステップＳ１０５に進む。
【００３３】
次に、学習部１１１が再学習を実行するか否かの判断を行う（ステップＳ１０５）。学習部１１１は、追加学習用データ保存部１０２に十分にデータが蓄積され、又は、ユーザからの再学習指示があった場合に、ステップＳ１０５で再学習を実行すると判断する。学習部１１１は再学習を実行すると判断した場合は（ステップＳ１０５：Ｙｅｓ）、再学習処理を実行する（ステップＳ１０６：再学習ステップ）。
【００３４】
再学習を実行しないと判断した場合は（ステップＳ１０５：Ｎｏ）、ステップＳ１０７に進む。ユーザより処理を終了することを指示する入力があった場合は（ステップＳ１０７：Ｙｅｓ）、処理を終了する。終了しない場合は（ステップＳ１０７：Ｎｏ）、ステップＳ１０１に戻り、ステップＳ１０１〜Ｓ１０７の処理を繰り返す。
【００３５】
次に、図２のステップＳ１００で実行する学習処理について説明する。図３は学習処理の流れを示すフローチャートである。
【００３６】
まず、学習部１１１が、学習用データ保存部１０１から学習用データを取得する（ステップＳ２００）。その後、予め設定された機械学習手法を取得し（ステップＳ２０１）、予め設定されたモデル精度目標値を取得し（ステップＳ２０２）、予め設定された学習上限時間を取得する（ステップＳ２０３）。
【００３７】
次に、ステップＳ２００で取得した学習用データを用いて、ステップＳ２０１で取得した機械学習手法を用いた学習を行う（ステップＳ２０４）。学習を行っている間、一定の間隔で、学習開始からの経過時間（以下学習時間と称する）がステップＳ２０３で取得した学習上限時間を超過したか否かを判定する（ステップＳ２０５）。学習時間が学習上限時間を超過した場合には（ステップＳ２０５：Ｙｅｓ）、ステップＳ２０７に移行して診断モデルを診断部１１２に出力し（ステップＳ２０７）、学習を終了する。
【００３８】
学習時間が学習上限時間を超過していない場合には（ステップＳ２０５：Ｎｏ）、生成した診断モデルのモデル精度がステップＳ２０２で取得したモデル精度目標値に達したか否かを判定する（ステップＳ２０６）。診断モデルのモデル精度がモデル精度目標値に達している場合には（ステップＳ２０６：Ｙｅｓ）、ステップＳ２０７に移行して診断モデルを診断部１１２に出力し学習処理を終了する。診断モデルのモデル精度がモデル精度目標値に達していない場合には（ステップＳ２０６：Ｎｏ）、ステップＳ２０４に戻り、学習を継続する。
【００３９】
次に、図２のステップＳ１０２で実行する診断処理について説明する。図４は診断処理の流れを示すフローチャートである。
【００４０】
まず、診断部１１２は、図３のステップＳ２０７で学習部１１１が出力した診断モデルを取得する（ステップＳ３００）。次に、診断部１１２は、入力部１３０に入力された診断対象データを取得する（ステップＳ３０１）。そして、ステップＳ３００で取得した診断モデルに対してステップＳ３０１で取得した診断対象データを照会することにより診断を行う（ステップＳ３０２）。最後に診断結果を診断結果保存部１０３に格納して（ステップＳ３０３）終了する。
【００４１】
次に、図２のステップＳ１０４で実行するフィードバック処理について図５、６を用いて説明する。図５はフィードバック用データ選定処理の流れを示すフローチャートであり、図６はフィードバックの流れを示すフローチャートである。
【００４２】
図５のフローチャートにおいて、フィードバック用データ選定部１１４は、診断結果保存部１０３から診断結果を取得する（ステップＳ４００）。次に、フィードバック用データ選定部１１４は、取得した診断結果をフィードバック処理部１１５に送付するか否かを判定する（ステップＳ４０１）。診断結果を送付するか否かの判定方法は、予め設定された確率で、確率的に決める方法、又は、診断結果があらかじめ定めた条件に合致しているか否かに応じて決める方法、あるいは、それらの方法の組み合わせでもよい。確率的に決める場合は、診断結果を常に送付するときは、確率は１００％に設定される。あらかじめ定めた条件により決める場合は、例えば、特定の異常モードが発生した時の診断結果を選定すると判定してもよい。
【００４３】
次に、フィードバック用データ選定部１１４は、フィードバック処理部１１５に送付すると判定した場合は（ステップＳ４０１：Ｙｅｓ）、診断結果をフィードバック処理部１１５に送付する（ステップＳ４０２）。フィードバック処理部１１５に送付しないと判定した場合は（ステップＳ４０１：Ｎｏ）、終了する。
【００４４】
図６のフローチャートにおいて、まず、フィードバック処理部１１５は、フィードバックを実行するか否かを判定する（ステップＳ５００）。フィードバックの実行は、例えば、フィードバック用データ選定部１１４から送付されて蓄積されているフィードバック用データのうちフィードバックが行われていないものが残っていること、又は、ユーザがフィードバックの中断操作を行っていないことにより判定される。
【００４５】
フィードバックを実行すると判定した場合は（ステップＳ５００：Ｙｅｓ）、フィードバック処理部１１５が、フィードバック用データ選定部１１４から送付されたフィードバック用データのうちの一つのデータを取得する（ステップＳ５０１）。ここでは、フィードバック用データは診断結果である。フィードバックを実行しないと判定した場合は（ステップＳ５００：Ｎｏ）、処理を終了する。
【００４６】
フィードバック処理部１１５は取得したフィードバック用データをディスプレイ１２０に表示させる（ステップＳ５０２）。フィードバック用データにはデータのラベルが含まれている。さらに、フィードバック処理部１１５は、ラベルが正しいか否かの入力をユーザに求め、さらにラベルが誤っている場合には、正しいラベルの入力をユーザに求める表示をディスプレイ１２０に出力させる。
【００４７】
フィードバック処理部１１５は、ユーザが入力部１３０に入力したフィードバック情報である正誤判定のユーザ入力を取得する（ステップＳ５０３）。フィードバック処理部１１５は、正判定のユーザ入力があった場合には（ステップＳ５０４：Ｙｅｓ）ステップＳ５０１に戻る。誤判定のユーザ入力があった場合には（ステップＳ５０４：Ｎｏ）、診断結果を、誤診断データとして類似度判定部１１３に送付する（ステップＳ５０５）。さらに診断結果のラベルを修正したラベル修正済データを追加学習用データとして、追加学習用データ保存部１０２に格納する（ステップＳ５０６）。
【００４８】
次に、類似度判定部１１３が学習用データ保存部１０１からフィードバック未実行の学習用データを取得し、又は、診断結果保存部１０３からフィードバック未実行の診断結果を取得し、取得した学習用データ又は診断結果の、誤診断データに対する類似度を判定する（ステップＳ５０７：類似度判定ステップ）。類似度判定部１１３は、類似度が一定以上である類似データをフィードバック用データ選定部１１４に送付した後（ステップＳ５０８）、ステップＳ５００に戻る。ここで、類似データとは、ラベル修正前の誤診断データに対する類似度が一定以上であり類似すると判定された学習用データ又は診断結果のデータである。ステップＳ５０８で類似度が一定以上である類似データがない場合には、データを送付せずにステップＳ５００に戻る。ステップＳ５０７の判定は、換言すると、ユーザにより診断結果のラベルが誤りであると判定された誤診断データと類似する類似データを抽出する処理であり、抽出された類似データはフィードバック用データの候補となる。
【００４９】
類似する類似データがフィードバック用データ選定部１１４に送付され（ステップＳ５０８）、フィードバック用データ選定部１１４が当該類似データを選定した場合は、フィードバック処理部１１５は、当該類似データについてフィードバック処理を実行する（ステップＳ５００〜Ｓ５０６：再フィードバックステップ）。
【００５０】
ステップＳ５０７では、例えば、次の（１）又は（２）の場合に、学習用データ保存部１０１から取得した学習用データ、又は、診断結果保存部１０３から取得した診断結果の、誤診断データに対する類似度が高いと判定する。
（１）誤診断と判定された診断結果（誤診断データ）と、学習用データ又は診断結果と、のラベルが同一。
（２）誤診断と判定された診断結果（誤診断データ）と、学習用データ又は診断結果と、の間の距離が、他のデータ間の距離の平均よりも小さい。
なお、（２）におけるデータ間の距離は、ユークリッド距離又は動的時間伸縮法により算出した距離でもよい。また、距離計算の前にオートエンコーダなどの次元圧縮処理を行ってもよい。
【００５１】
ステップＳ５００において、フィードバックを行うか否かの判断のタイミングはユーザが事前に設定可能にしてもよい。例えば、診断部１１２が診断を実行したタイミングで必ずフィードバックを行ってもよく、又は、フィードバックを行うという判断を周期的に行ってもよい。周期的に行う場合には判断周期をユーザが任意に設定可能にしてもよい。ユーザがモデルの精度を高めたい場合には判断周期を短くすることによりフィードバックを頻繁に行う。一方、モデルの精度向上を重要視せずフィードバック入力のユーザ負担を軽減したい場合には、判断周期の値を長くすることによりフィードバックをあまり実行しない。
【００５２】
ステップＳ５０２で表示されたフィードバック用データを視認したユーザが、診断結果のラベルが正しかったか否かの判断がつかない場合は、フィードバックを保留にすることができる。保留された診断結果について、フィードバック処理部１１５は、予め設定された時間が経過した後にフィードバック用データを再度表示させフィードバックを行うことができる。診断結果のラベルが正しかったか否かの判断がつかない場合とは、例えば、装置故障の前兆が診断結果として表示された場合である。この場合は装置が故障するまでその診断結果が正しかったか分からないため、ユーザは正誤の判断がつかない。
【００５３】
保留する際にフィードバック用データを再度表示する時間を設定可能にしてもよい。このとき、時間が入力されなかった場合は、フィードバック用データはフィードバック用データ選定部１１４に戻され、他のフィードバック用データと同様に、予め設定されたタイミングで再度フィードバック処理部１１５に送付される。
【００５４】
次に、図２のステップＳ１０６で実行する再学習処理について説明する。図７は再学習処理の流れを示すフローチャートである。
【００５５】
まず、学習部１１１は、再学習用に、学習用データ保存部１０１から学習用データを取得し、追加学習用データ保存部１０２から追加学習用データを取得する（ステップＳ６００）。ここで、追加学習用データは、フィードバック処理によりラベルが修正されたデータである。その後、予め設定された機械学習手法を取得し（ステップＳ６０１）、予め設定された学習上限時間を取得する（ステップＳ６０２）。
【００５６】
次に、学習部１１１は、図３のステップＳ２０７で出力した学習済の診断モデルを取得する（ステップＳ６０３）。次に、ステップＳ６００で取得した再学習用のデータを用いて学習済の診断モデルの更新を行う。以降、診断モデルの更新を、再学習と称する（ステップＳ６０４）。再学習を行っている間、一定の間隔で、学習時間がステップＳ６０２で取得した学習上限時間を超過したか否かを判定する（ステップＳ６０５）。学習時間が学習上限時間を超過した場合には（ステップＳ６０５：Ｙｅｓ）、再学習を打ち切ってステップＳ６０６に移行する。学習時間が学習上限時間を超過してない場合には（ステップＳ６０５：Ｎｏ）、ステップＳ６０４に戻る。
【００５７】
学習上限時間を超過して再学習を打ち切った後、その時点の診断モデルのモデル精度がステップＳ６０３で取得した診断モデルより向上したか否かを判定する（ステップＳ６０６）。モデル精度が向上していた場合には（ステップＳ６０６：Ｙｅｓ）、再学習後の診断モデルを診断部１１２へ出力して（ステップＳ６０７）して終了する。モデル精度が向上していなかった場合には（ステップＳ６０６：Ｎｏ）、再学習後の診断モデルを破棄して（ステップＳ６０８）終了する。
【００５８】
再学習が行われるタイミングは、次のいずれかのタイミングでもよい。
（１）追加学習用データが予め設定された一定数以上になったタイミング
（２）予め設定された時間が経過したタイミング
（３）予め設定された定刻を経過したタイミング
（４）ユーザからの再学習指示が入力されたタイミング
【００５９】
以上説明したように、本実施の形態に係る学習システム１は、学習部１１１が学習用データを用いた機械学習により生成した診断モデルを用いて、診断部１１２が診断対象データを診断し、診断結果を保存する。診断結果の中からフィードバック用のデータとして選定されたものについてフィードバック処理部１１５がフィードバック処理を実行する。フィードバック処理部１１５は、選定された診断結果について、ユーザに対してラベルの正誤判定を求め、ユーザにより誤判定された場合、ラベルを修正して追加学習用データ保存部１０２に保存する。類似度判定部１１３は他の学習用データ又は診断結果について誤診断データに対する類似度を判定し、フィードバック処理部１１５は、類似度が高いと判定した類似データについて、再度フィードバック処理を実行する。そして、学習部１１１が学習用データ保存部１０１、追加学習用データ保存部１０２に保存されている学習用データを用いて再学習することとした。
【００６０】
これにより、フィードバック処理で誤診断と判定された誤診断データに類似する類似データを用いて再学習を行うため、精度の高い診断が可能な診断モデルを生成することができる。
【００６１】
また、フィードバック用データ選定部１１４が、誤りが多いと推測されるラベルのデータを選定して集中的にフィードバックすることにより、データのラベル品質を効率的に高めることが可能となる。
【００６２】
さらにフィードバックの機会をアラームのタイミングによらず予め定めたタイミングで与えることが可能となり、ユーザは心理的余裕がある状態で診断結果の正誤について判断することが可能となる。さらに診断システムが異常と判断したデータのみでなく、正常と判断したデータに対してもユーザによる正誤判定を行い、フィードバックを行うことが可能となる。
【００６３】
（実施の形態２）
以下に、本開示を実施するための実施の形態２について図面を参照して詳細に説明する。なお、図中同一又は相当する部分には同じ符号を付す。
【００６４】
本実施の形態２に係る学習システム１は、実施の形態１と同様に、生産現場において生産設備の状態又は生産品の品質を診断するための診断モデルを学習により生成するシステムであり、図１に示した実施の形態１の構成と同様の構成を有する。
【００６５】
本実施の形態２に係る学習システム１は、図２に示した実施の形態１と同様の診断モデル生成処理を実行するが、診断部１１２が実行する診断処理（図２のステップＳ１０２）で出力する情報と、フィードバック処理（図２のステップＳ１０４）の処理内容が実施の形態１と異なる。この相違点について詳細に説明する。
【００６６】
診断部１１２は図２のステップＳ１０２の診断処理を実行した結果得られた、装置の稼働状態あるいは部品又は生産品の品質を含む診断結果に加えて、診断の確信度も同時に出力する。診断の確信度は、従来の関数で定義された値でよく、例えば、ニューラルネットワークのＳｏｆｔＭａｘ関数で定義された値である。
【００６７】
診断部１１２は、出力された装置の稼働状態あるいは部品又は生産品の品質を含む診断結果と、診断の確信度と、を診断結果保存部１０３に保存する。このとき、診断結果と診断の確信度とを紐付けた形式で診断結果保存部１０３に保存してもよい。
【００６８】
フィードバック用データ選定部１１４がフィードバック処理部１１５に送付する診断結果のデータの選定基準は、類似度判定部１１３が判定した類似度が一定以上であることに加えて、診断の確信度が閾値以下であることが含まれる。
【００６９】
図８は、本実施の形態２のフィードバック用データ選定処理のフローチャートである。フィードバック用データ選定処理の流れについて図８を用いて説明する。
【００７０】
フィードバック用データ選定部１１４は、診断部１１２から診断結果を取得する（ステップＳ７００）。次に、診断結果の確信度があらかじめ設定された閾値以下か否かを判定する（ステップＳ７０１）。確信度が閾値を超えている場合には（ステップＳ７０１：Ｎｏ）、一定以上の確信を持って診断を行っているため、フィードバックを行わず終了して、次の診断が行われるまで待機する。閾値以下である場合には（ステップＳ７０１：Ｙｅｓ）、フィードバック用データ選定部１１４は、診断結果をフィードバック処理部１１５に送付して（ステップＳ７０２）、処理を終了する。
【００７１】
以上説明したように、本実施の形態２に係る学習システム１は、学習部１１１が学習用データを用いた機械学習により生成した診断モデルを用いて、診断部１１２が診断対象データを診断するとき、診断結果とその診断結果の確信度を出力し、診断結果保存部１０３に保存する。フィードバック用データ選定部１１４は、診断結果の中からフィードバック用のデータとして選定する際に、診断結果の確信度が閾値以下であるものを選定し、選定した診断結果についてフィードバック処理部１１５がフィードバック処理を実行することとした。これにより、フィードバック用データ選定部１１４が選定する際に診断の確信度の低いものについてフィードバック処理部１１５がフィードバック処理を実行するため、フィードバックの効率を高めることができる。
【００７２】
（変形例）
上記実施の形態は、種々の変更が可能である。
【００７３】
例えば、上記実施の形態において、診断部１１２が診断する診断対象データは、入力部１３０より入力されるとしたが、学習用データ保存部１０１に保存された学習用データを診断対象データとして診断部１１２が取得してもよい。
【００７４】
実施の形態２において、学習用データ保存部１０１に保存された学習用データを診断対象データとして診断することにより学習用データの確信度を出力することができる。出力された確信度と紐づけて学習用データを学習用データ保存部１０１に保存しておき、学習部１１１が、確信度を含む学習用データで学習をしてもよい。
【００７５】
また、上記実施の形態に示した学習システム１のハードウェア構成及び演算部１１０の処理内容は一例であり、任意に変更及び修正が可能である。学習システム１で実現する各機能は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。
【００７６】
例えば、上記実施の形態の動作を実行するためのプログラムを、コンピュータが読み取り可能なＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical Disc）、メモリカード等の記録媒体に格納して配布し、プログラムをコンピュータにインストールすることにより、各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Operating System）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合には、ＯＳ以外の部分のみを記録媒体に格納してもよい。
【００７７】
本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。
【符号の説明】
【００７８】
１  学習システム、１００  記憶部、１０１  学習用データ保存部、１０２  追加学習用データ保存部、１０３  診断結果保存部、１１０  演算部、１１１  学習部、１１２  診断部、１１３  類似度判定部、１１４  フィードバック用データ選定部、１１５  フィードバック処理部、１２０  ディスプレイ、１３０  入力部。
【要約】
学習システム（１）において、学習部（１１１）が学習用データを用いた機械学習により診断モデルを生成し、診断部（１１２）が診断モデルに基づいて診断対象データを診断する。フィードバック処理部（１１５）は、診断結果が誤診断であることを示すユーザ入力を取得した場合に、誤診断データを出力し、また、ユーザ入力に基づいて誤診断データを修正する。類似度判定部（１１３）は、フィードバック処理部（１１５）が出力する修正前の誤診断データに対する、フィードバック処理を未実行の学習用データ又は診断結果の類似度を判定し、類似度が一定以上の類似データが存すると判定した場合に、フィードバック処理部（１１５）に類似データを送付する。フィードバック処理部（１１５）は、類似データについてフィードバック処理を実行し、学習部（１１１）は、フィードバック処理により修正済の誤診断データを含むデータを用いて再学習を行う。【図１】
0006854995.tif 000002
【図２】
0006854995.tif 000003
【図３】
0006854995.tif 000004
【図４】
0006854995.tif 000005
【図５】
0006854995.tif 000006
【図６】
0006854995.tif 000007
【図７】
0006854995.tif 000008
【図８】
0006854995.tif 000009