(57)【要約】【課題】使用環境に応じた電動機の寿命の予測を正確かつ容易に行うことができる機械学習装置および方法ならびに該機械学習装置を備えた寿命予測装置および電動機システムを実現する。【解決手段】電動機の予測寿命に関連付けられる条件を学習する機械学習装置１は、電動機の稼働状態を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部１１と、電動機の実際寿命に関するデータを取得する実際寿命データ取得部１２と、状態変数と実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機の予測寿命に関連付けられる条件を学習する学習部１３とを備える。【選択図】図１
2017046540.tif 000002
【特許請求の範囲】
【請求項１】
電動機の予測寿命に関連付けられる条件を学習する機械学習装置であって、
前記電動機の稼働状態を検出するセンサの出力データと、前記電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、
前記電動機の実際寿命に関するデータを取得する実際寿命データ取得部と、
前記状態変数と前記実際寿命との組合せに基づいて作成される訓練データセットに従って、前記電動機の予測寿命に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。
【請求項２】
前記稼働状態は、前記電動機に流れる電流を指令する電流指令、前記電動機に印加される電圧を指令する電圧指令、前記電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、前記電動機が出力するトルク、前記電動機の回転数、前記電動機の稼働時間、前記電動機近傍の温度、前記電動機近傍の湿度、および前記電動機に発生する振動、のうちの少なくとも１つを含む請求項１に記載の機械学習装置。
【請求項３】
前記学習部は、
前記予測寿命および前記実際寿命に基づいて報酬を計算する報酬計算部と、
前記状態変数および前記報酬に基づいて、前記電動機の予測寿命を計算するための関数を更新する関数更新部と、
を備える請求項１に記載の機械学習装置。
【請求項４】
前記報酬計算部は、前記実際寿命に対する前記予測寿命と前記実際寿命との差の割合が、規定範囲内であるとき報酬を増やし、前記規定範囲外であるとき報酬を減らす請求項３に記載の機械学習装置。
【請求項５】
前記学習部は、複数の電動機に対して取得される前記訓練データセットに従って、前記条件を学習するように構成される請求項１〜４のいずれか一項に記載の機械学習装置。
【請求項６】
請求項１〜５のいずれか一項に記載の機械学習装置を備えた、電動機の寿命予測装置であって、
前記学習部が前記訓練データセットに従って学習した結果に基づいて、現在の前記状態変数の入力に応答して、前記電動機の予測寿命を計算する意思決定部をさらに備えることを特徴とする寿命予測装置。
【請求項７】
前記意思決定部により計算された前記予測寿命をオペレータに通知する通知部をさらに備える請求項６に記載の寿命予測装置。
【請求項８】
前記意思決定部により計算された前記予測寿命に基づき、前記電動機の交換を促す情報をオペレータに通知する通知部をさらに備える請求項６に記載の寿命予測装置。
【請求項９】
前記意思決定部により計算された前記予測寿命に基づいて、前記電動機に流れる電流を指令する電流指令、前記電動機に印加される電圧を指令する電圧指令、および前記電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、のうちの少なくとも１つを変更する変更指令を、前記電動機を制御する制御装置へ出力する変更指令出力部をさらに備える請求項６〜８のいずれか一項に記載の寿命予測装置。
【請求項１０】
前記学習部は、前記現在の状態変数によって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される請求項６〜９のいずれか一項に記載の寿命予測装置。
【請求項１１】
請求項６〜１０のいずれか一項に記載の寿命予測装置と、
電動機と、
前記電動機を制御する制御装置と、
前記電動機の稼働状態を検出するセンサと、
を備えることを特徴とする電動機システム。
【請求項１２】
電動機の予測寿命に関連付けられる条件を学習する機械学習方法であって、
前記電動機の稼働状態を検出するセンサの出力データと、前記電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測ステップと、
前記電動機の実際寿命に関するデータを取得する実際寿命データ取得ステップと、
前記状態変数と前記実際寿命との組合せに基づいて作成される訓練データセットに従って、前記電動機の予測寿命に関連付けられる条件を学習する学習ステップと、
を備えることを特徴とする機械学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電動機の予測寿命に関連付けられる条件を学習する機械学習装置および機械学習方法、並びにこの機械学習装置を備えた寿命予測装置および電動機システムに関する。
【背景技術】
【０００２】
電動機を用いる分野においては、作業効率の低下や深刻な事故の発生を未然に防止するために、電動機の寿命を予測し、この予測結果に基づき、寿命到来により電動機が稼働不能になる前に電動機またはその構成部品を交換したり、あるいは補修や修繕などの保守を行っている。従来より、電動機の設計者や利用者は、実験などをおこなうことにより電動機の寿命を予測している。場合によっては、設計者や利用者の経験則に基づき電動機の寿命を予測することもある。
【０００３】
例えば、電動機の巻線温度と巻線故障率との関係を表す故障モデルを求めることで電動機の寿命を予測する方法が公知である（例えば、特許文献１参照。）。
【０００４】
また例えば、高圧回転機において、回転機のコイルに施された絶縁物の絶縁寿命を予測する方法が公知である（例えば、特許文献２参照。）。
【０００５】
また例えば、電動機の構成部品である転がり軸受の寿命を予測する方法が公知である（例えば、特許文献３参照。）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開昭６０−１４４１２７号公報
【特許文献２】特開２００６−９８３４９号公報
【特許文献３】特開２００３−１３００４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、電動機の使用環境によってその寿命は異なるものとなる。したがって、実験による電動機の寿命予測では正確さを欠くことがある。また、正確さを求めて個々の使用環境に応じて実験を再現するにも時間や手間がかかり、煩雑である。また、個人の経験則に頼るもの非効率であり、個人差も大きい。
【０００８】
従って本発明の目的は、上記問題に鑑み、使用環境に応じた電動機の寿命の予測を正確かつ容易に行うことができる機械学習装置および方法ならびに該機械学習装置を備えた寿命予測装置および電動機システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を実現するために、本発明においては、電動機の予測寿命に関連付けられる条件を学習する機械学習装置は、電動機の稼働状態を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、電動機の実際寿命に関するデータを取得する実際寿命データ取得部と、状態変数と実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機の予測寿命に関連付けられる条件を学習する学習部と、を備える。
【００１０】
ここで、上記稼働状態は、電動機に流れる電流を指令する電流指令、電動機に印加される電圧を指令する電圧指令、電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、電動機が出力するトルク、電動機の回転数、電動機の稼働時間、電動機近傍の温度、電動機近傍の湿度、および電動機に発生する振動、のうちの少なくとも１つを含んでもよい。
【００１１】
また、学習部は、予測寿命および実際寿命に基づいて報酬を計算する報酬計算部と、状態変数および報酬に基づいて、電動機の予測寿命を計算するための関数を更新する関数更新部と、を備えてもよい。
【００１２】
また、報酬計算部は、実際寿命に対する予測寿命と実際寿命との差の割合が、規定範囲内であるとき報酬を増やし、規定範囲外であるとき報酬を減らすようにしてもよい。
【００１３】
また、学習部は、複数の電動機に対して取得される訓練データセットに従って、条件を学習するように構成されてもよい。
【００１４】
また、本発明においては、上述の機械学習装置を備えた、電動機の寿命予測装置は、学習部が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、電動機の予測寿命を計算する意思決定部をさらに備えてもよい。
【００１５】
また、寿命予測装置は、意思決定部により計算された予測寿命をオペレータに通知する通知部をさらに備えてもよい。
【００１６】
また、寿命予測装置は、意思決定部により計算された予測寿命に基づき、電動機の交換を促す情報をオペレータに通知する通知部をさらに備えてもよい。
【００１７】
また、寿命予測装置は、意思決定部により計算された予測寿命に基づいて、電動機に流れる電流を指令する電流指令、電動機に印加される電圧を指令する電圧指令、および電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、のうちの少なくとも１つを変更する変更指令を、電動機を制御する制御装置へ出力する変更指令出力部をさらに備えてもよい。
【００１８】
また、学習部は、現在の状態変数によって構成される追加の訓練データセットに従って、上記条件を再学習して更新するように構成されてもよい。
【００１９】
また、本発明においては、電動機システムは、上述の寿命予測装置と、電動機と、電動機を制御する制御装置と、電動機の稼働状態を検出するセンサと、を備える。
【００２０】
また、本発明においては、電動機の予測寿命に関連付けられる条件を学習する機械学習方法は、電動機の稼働状態を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測ステップと、電動機の実際寿命に関するデータを取得する実際寿命データ取得ステップと、状態変数と実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機の予測寿命に関連付けられる条件を学習する学習ステップと、を備える。
【発明の効果】
【００２１】
本発明によれば、使用環境に応じた電動機の寿命の予測を正確かつ容易に行うことができる機械学習装置および方法ならびに該機械学習装置を備えた寿命予測装置および電動機システムを実現することができる。
【００２２】
本発明による機械学習装置およびその方法によれば、電動機を実際に動作させながら予測寿命を学習するので、実際の使用状況に応じた正確な予測寿命が学習される。また、本発明による機械学習装置を備えた寿命予測装置および電動機システムによれば、実際の使用状況に応じた正確な予測寿命を計算することができる。これにより、設計者や作業者は、電動機の正確な予測寿命を知ることができるので、電動機が稼働不能になる前に電動機またはその構成部品を交換したり、あるいは補修や修繕などの保守を行うことができる。電動機の構成部品を交換したり保守を行うことにより、電動機の寿命を延ばすことができる。また、予測寿命の計算に際して得られた電動機の寿命に大きな影響を与える稼働状態を知ることができるので、設計者や作業者は、電動機の寿命に影響を及ぼす稼働状態を変更する対応を取ることができる。また、電動機の寿命に影響を及ぼす稼働状態を変更するよう電動機の制御装置に直接指令することもできる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施例による機械学習装置の原理ブロック図である。
【図２】本発明の実施例による機械学習方法の動作フローを示すフローチャートである。
【図３】本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。
【図４】本発明の実施例による、強化学習を用いた機械学習方法の動作フローを示すフローチャートである。
【図５】本発明の実施例による機械学習装置を備える寿命予測装置およびこの寿命予測装置を備える電動機システムを示す原理ブロック図である。
【図６】本発明の実施例による、強化学習を用いた機械学習装置を備える寿命予測装置の動作フローを示すフローチャートである。
【発明を実施するための形態】
【００２４】
図１は、本発明の実施例による機械学習装置の原理ブロック図である。以降、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。
【００２５】
本発明の実施例による機械学習装置１は、電動機の予測寿命に関連付けられる条件を学習するものとして構成される。
【００２６】
機械学習装置１は、状態観測部１１、実際寿命データ取得部１２、および学習部１３を備える。ここで、機械学習装置１は、ネットワークを介して電動機に接続されるデジタルコンピュータとして構成されもよい。またあるいは、機械学習装置１は、クラウドサーバ上に設けられてもよく、この場合ネットワークを介して電動機に接続される。またあるいは、機械学習装置１は、電動機を制御する制御装置に内蔵されてもよく、この場合は、当該制御装置のプロセッサを利用して機械学習を実行する。
【００２７】
状態観測部１１は、電動機の稼働状態（稼働条件）を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。
【００２８】
センサによって検出される電動機の稼働状態は、電動機に流れる電流を指令する電流指令、電動機に印加される電圧を指令する電圧指令、電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、電動機が出力するトルク、電動機の回転数、電動機の稼働時間、電動機近傍の温度、電動機近傍の湿度、および電動機に発生する振動、のうちの少なくとも１つを含む。またさらに、これら以外の電動機に係るパラメータが電動機の稼働状態に含まれてもよい。
【００２９】
状態観測部１１によって状態変数として観測される上記稼働状態のうち、電動機に流れる電流を指令する電流指令、電動機に印加される電圧を指令する電圧指令、および電動機に流れる電流もしくは電圧の周波数を指令する周波数指令は、電動機を制御する制御装置が、当該電動機（より正確には当該電動機に駆動電力を供給する電力変換器）に入力するものであり、一般に、電動機の制御装置に格納された制御ソフトウェアの内部データとして利用されるものである。以下、これら稼働状態を単に「電動機の入力条件」と称することがある。
【００３０】
また、状態観測部１１によって状態変数として観測される上記稼働状態のうち、電動機が出力するトルク、電動機の回転数、および電動機の稼働時間は、電動機の動作の結果出力される情報であり、通常、各種センサによって検出される。例えば、電動機が出力するトルクはトルクセンサによって検出され、電動機の回転数は回転センサによって検出され、電動機の稼働時間は稼働時間計測器（計時センサ）によって検出される。以下、これら稼働状態を単に「電動機の出力条件」と称することがある。なお、上述した電動機の入力条件について、電動機の制御装置による電流指令、電圧指令、および周波数指令の結果生じる、電動機に流れる電流、電動機に印加される電圧、および電動機に流れる電流もしくは電圧の周波数を、電流センサ、電圧センサ、および周波数センサによって検出し、これらを「電動機の出力条件」としての稼働状態にを含めてもよい。
【００３１】
また、状態観測部１１によって状態変数として観測される上記稼働状態のうち、電動機近傍の温度、電動機近傍の湿度、および電動機に発生する振動は、電動機が設置された環境の状態を示す情報であり、これらも電動機の動作や寿命に外部的に影響力を及ぼすものである。例えば、電動機近傍の温度は温度センサ（温度計）によって計測され、電動機近傍の湿度は湿度センサ（湿度計）によって計測され、電動機に発生する振動は振動センサ（振動計）によって計測される。以下、これら稼働状態を単に「電動機の外部条件」と称することがある。
【００３２】
また、状態観測部１１によって観測される電動機の故障の有無に関するデータは、例えば電動機に設置された故障検出装置によって生成されてもよい。この場合、故障検出装置は、トルクセンサによって検出される外乱トルクや振動センサによって検出される振動の振幅が予め定められる閾値を超えたときに、電動機の故障発生を示すデータを出力する。またあるいは、状態観測部１１によって観測される電動機の故障の有無に関するデータは、電動機の制御装置に格納された制御ソフトウェアの内部データに基づいて生成されてもよい。またあるいは、電動機の故障を発見しあるいは知得した設計者や利用者が自ら操作によって、状態観測部１１へ電動機の故障発生を示すデータを入力するようにしてもよい。
【００３３】
このように、状態観測部１１は、電動機の稼働状態（電動機の入力条件、出力条件および外部条件）を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。機械学習装置１がネットワークを介して電動機に接続される場合やクラウドサーバ上に設けられる場合は、状態観測部１１は、ネットワークを介して状態変数を観測する。またあるいは、機械学習装置１が電動機を制御する制御装置に内蔵される場合は、当該制御装置に格納された制御ソフトウェアの内部データや当該制御装置に接続された各種センサから出力されるセンサデータに基づいて状態変数を観測する。
【００３４】
実際寿命データ取得部１２は、電動機の実際寿命に関するデータを取得する。電動機の実際寿命は、例えば、電動機を使用を開始してから実際に寿命が到来するまで（もしくは故障するまで）の時間を計測することで得られ、例えば設計者や利用者が自ら操作によって計測した実際寿命に関するデータを実際寿命データ取得部１２へ入力する。または、電動機を制御や駆動を行う装置中にタイマーを設置し、電動機の稼働時間を積算しこれを実際寿命データ取得部１２へ入力する。
【００３５】
学習部１３は、状態観測部１１によって観測された状態変数と実際寿命データ取得部１２によって取得された実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機の予測寿命を学習する。なお、訓練データセットを複数の電動機に関して取得してもよくこの場合、学習部１３は、複数の電動機に対して取得される訓練データセットに従って、電動機の予測寿命を学習する。
【００３６】
図２は、本発明の実施例による機械学習方法の動作フローを示すフローチャートである。電動機の予測寿命に関連付けられる条件を学習する機械学習方法は、状態観測ステップＳ１０１と、実際寿命データ取得ステップＳ１０２と、学習ステップＳ１０３とを備える。
【００３７】
状態観測ステップＳ１０１は、状態観測部１１により実行されるものであり、すなわち、電動機の稼働状態を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。
【００３８】
実際寿命データ取得ステップＳ１０２は、実際寿命データ取得部１２により実行されるものであり、すなわち、電動機の実際寿命に関するデータを取得する。
【００３９】
なお、上述のステップＳ１０１の処理とステップＳ１０２の処理は任意に入れ替えて実行してもよい。
【００４０】
学習ステップＳ１０３は、学習部によって実行されるものであり、状態観測部１１によって観測された状態変数と実際寿命データ取得部１２によって取得された実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機の予測寿命を学習する。
【００４１】
学習部１３が用いる学習アルゴリズムはどのようなものを用いてもよい。一例として、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ  Ｌｅａｒｎｉｎｇ）を適用した場合について説明する。強化学習は、ある環境内におけるエージェント（行動主体）が、現在の状態を観測し、取るべき行動を決定する、というものである。エージェントは行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）やＴＤ学習（ＴＤ−ｌｅａｒｎｉｎｇ）が知られている。例えば、Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式（行動価値テーブル）は式１で表される。
【００４２】
【数１】
2017046540.tif 000003
【００４３】
式１において、ｓtは時刻ｔにおける環境を表し、ａtは時刻ｔにおける行動を表す。行動ａtにより、環境はｓt+1に変わる。ｒt+1はその環境の変化によってもらえる報酬（ｒｅｗａｒｄ）を表し、γは割引率を表し、αは学習係数を表す。Ｑ学習を適用した場合、行動ａtは、予測された寿命によっては電動機またはその構成部品を交換したり保守したりすることをもたらす当該予測寿命が該当する。
【００４４】
図３は、本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。学習部１３は、報酬計算部２１と関数更新部２２とを備える。報酬計算部２１は、後述する意思決定部によって決定された予測寿命および実際寿命データ取得部１２によって取得された実際寿命に基づいて報酬を計算する。関数更新部２２は、状態観測部１１によって観測された状態変数および報酬計算部２１によって計算された報酬に基づいて、電動機の予測寿命を計算するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を、行動ａtである予測寿命を変更するための関数として用いる。なお、これら以外の構成要素については図１に示す構成要素と同様であるので、同一の構成要素には同一符号を付して当該構成要素についての詳細な説明は省略する。
【００４５】
図４は、本発明の実施例による、強化学習を用いた機械学習方法の動作フローを示すフローチャートである。
【００４６】
まず、状態観測ステップＳ１０１において、状態観測部１１は、電動機の稼働状態を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。
【００４７】
次いで、実際寿命データ取得ステップＳ１０２において、実際寿命データ取得部１２は、電動機の実際寿命に関するデータを取得する。
【００４８】
なお、上述のステップＳ１０１の処理とステップＳ１０２の処理は任意に入れ替えて実行してもよい。
【００４９】
次いで、報酬計算ステップＳ１０３−１において、報酬計算部２１は、意思決定部によって決定された予測寿命および実際寿命データ取得部１２によって取得された実際寿命に基づいて報酬を計算する。
【００５０】
次いで、関数更新ステップＳ１０３−２において、関数更新部２２は、状態観測部１１によって観測された状態変数および報酬計算部２１によって計算された報酬に基づいて、電動機の予測寿命を計算するための関数を更新する。
【００５１】
続いて、上述の機械学習装置を備える電動機の寿命予測装置について説明する。ここでは一例として、学習部の学習アルゴリズムとして強化学習を用いた場合について説明する。
【００５２】
図５は、本発明の実施例による機械学習装置を備える寿命予測装置およびこの寿命予測装置を備える電動機システムを示す原理ブロック図である。ここでは、電動機３１を制御装置３２で制御する場合について説明する。
【００５３】
電動機３１の寿命予測装置１００は、機械学習装置１と、意思決定部１４と、第１の通知部１５−１と、第１の通知部１５−２と、第２の通知部１５−２と、変更指令出力部１６とを備える。なお、第１の通知部１５−２および第２の通知部１５−２については、後述するように１つの通知部として実現してもよい。なお、ここでは図示しないが、意思決定部１４により決定された予測寿命に関するデータを出力するデータ出力部を別途設けてもよい。
【００５４】
また、電動機システム１０００は、寿命予測装置１００と、電動機３１と、制御装置３２と、センサ３３とを備える。
【００５５】
電動機３１の種類は、本発明を限定するものではなく、交流電動機であっても直流電動機であってもよい。
【００５６】
制御装置３２は、その内部に格納された制御ソフトウェアに基づいて、センサ３３によって検出された各種データを用いて、電動機３１を制御する。電動機３１を制御するための駆動指令として、電動機３１に流れる電流を指令する電流指令、電動機３１に印加される電圧を指令する電圧指令、および電動機３１に流れる電流もしくは電圧の周波数を指令する周波数指令などがある。制御装置３２による電動機３１の制御方法は、本発明を特に限定するものではなく、公知の制御方法でよい。
【００５７】
センサ３３は、電動機３１の稼働状態を検出する。例えば、電動機３１が出力するトルクを検出するトルクセンサ、電動機３１の回転数を検出する回転センサ、電動機３１の稼働時間を検出する稼働時間計測器（計時センサ）、電動機３１に流れる電流を検出する電流センサ、電動機に印加される電圧を検出する電圧センサ、電動機に流れる電流もしくは電圧の周波数を検出する周波数センサ、電動機３１に供給される駆動電力を検出する電力センサ、電動機３１の近傍の温度を計測する温度センサ（温度計）、電動機３１の近傍の湿度を計測する湿度センサ（湿度計）、電動機３１に発生する振動を計測する振動センサなどがある。すなわち、センサ３３は、上述した電動機３１の稼働状態のうち、出力条件および外部条件と呼ばれるものを検出する。
【００５８】
機械学習装置１は、状態観測部１１、実際寿命データ取得部１２、および学習部１３を備える。
【００５９】
状態観測部１１は、上述したように、電動機３１の稼働状態を検出するセンサの出力データと、電動機３１の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。状態観測部１１は、状態変数として観測される稼働状態のうち、出力条件および外部条件と呼ばれるものについては例えばセンサ３３から取得し、入力条件と呼ばれるものについては例えば制御装置３２から取得する。また、状態観測部１１は、電動機３１の故障の有無に関するデータについて、上述したように、電動機３１に設置された故障検出装置（図示せず）から取得してもよく、あるいは制御装置３２から取得してもよく、あるいは、電動機３１の故障を発見しあるいは知得した設計者や利用者による入力操作を介して取得してもよい。
【００６０】
実際寿命データ取得部１２は、電動機３１の実際寿命に関するデータを取得する。
【００６１】
学習部１３は、報酬計算部２１と関数更新部２２とを備え、状態観測部１１によって観測された状態変数と実際寿命データ取得部１２によって取得された実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機３１の予測寿命を学習する。
【００６２】
学習部１３内の報酬計算部２１は、意思決定部１４によって決定された予測寿命および実際寿命データ取得部１２によって取得された実際寿命に基づいて報酬を計算する。具体的には、報酬計算部２１は、実際寿命Ｍに対する予測寿命Ｎと実際寿命Ｍとの差の割合である「｜Ｎ−Ｍ｜／Ｍ」が、規定範囲α以内であるとき報酬を増やし、規定範囲外であるとき報酬を減らす。ここで、「｜Ｎ−Ｍ｜」は予測寿命Ｎと実際寿命Ｍとの差の絶対値を表す。このようにして報酬を計算するのは、実際寿命Ｍに対する予測寿命Ｎと実際寿命Ｍとの差の割合である「｜Ｎ−Ｍ｜／Ｍ」が小さいほど、機械学習装置１による学習により予測寿命が正確に計算できていることを意味するからである。規定範囲αは、報酬判断因子であり、例えば機械学習装置１による学習の結果得られた予測寿命の正確さなどに基づいて任意に設定してもよい。
【００６３】
学習部１２内の関数更新部２２は、状態観測部１１によって観測された状態変数および報酬計算部２１によって計算された報酬に基づいて、電動機３１の予測寿命を計算するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を、行動ａtである予測寿命を変更するための関数として用いる。
【００６４】
意思決定部１４は、学習部２１が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、電動機３１の予測寿命を計算する。本実施例では、一例として学習アルゴリズムとして強化学習を用いているので、学習部１３内の報酬計算部２１によって算出された報酬に基づいて学習部１２内の関数更新部２２は予測寿命を計算するための関数を更新し、意思決定部１３は、更新された関数に基づき、報酬が最も多く得られる予測寿命を選択し、これを出力する。意思決定部１４によって決定された予測寿命は、報酬計算部２１、第１の通知部１５−１、第２の通知部１５−２、および変更指令出力部１６へ出力される。報酬計算部２１は、意思決定部１４によって決定された予測寿命および実際寿命データ取得部１２によって取得された実際寿命に基づいて、上述のように報酬を計算する。
【００６５】
第１の通知部１５−１は、意思決定部１４により計算された予測寿命をオペレータに通知し、第２の通知部１５−２は、意思決定部１４により計算された予測寿命に基づき、電動機の交換を促す情報をオペレータに通知する。なお、第１の通知部１５−２および第２の通知部１５−２については、１つの通知部として実現してもよい。これにより、設計者や作業者は、電動機３１の予測寿命を知ることができるので、電動機３１が稼働不能になる前に電動機３１またはその構成部品を交換したり、あるいは補修や修繕などの保守を行うことができる。電動機３１の構成部品を交換したり保守を行うことにより、電動機３１の寿命を延ばすことができる。またあるいは、第１の通知部１５−２および／または第２の通知部１５−２の通知内容として、予測寿命の計算に際して得られた電動機３１の寿命に大きな影響を与える稼働状態（入力条件、出力条件および外部条件）を併せて通知するようにしてもよい。例えば、作業者は電動機３１を使って物を加工する場合、出力条件Ａとして「トルクＴA、回転数ＳA、稼働時間ｔA」、出力条件Ｂとして「トルクＴB、回転数ＳB、稼働時間ｔB」としたとき、意思決定部１４はこれら出力条件ＡおよびＢについて予測寿命を計算し、予測寿命が大きい方を作業者に提示することが考えられる。これにより、設計者や作業者は、電動機３１の寿命に影響を及ぼす稼働状態を変更する対応を取ることができる。例えば、設計者や作業者は、温度や湿度が電動機３１の寿命に影響を及ぼすことを知った場合は、電動機３１の寿命を延ばす適切な温度や湿度になるよう電動機３１の周辺環境を整えるといった対応を取ることができる。
【００６６】
第１の通知部１５−２および第２の通知部１５−２として、例えば、パソコン、携帯端末、タッチパネルなどのディスプレイや制御装置３２に付属のディスプレイなどがあり、例えば予測寿命を文字や絵柄で表示することができる。また例えば、第１の通知部１５−２および第２の通知部１５−２を、スピーカ、ブザー、チャイムなどのような音を発する音響機器にて実現してもよい。またあるいは、第１の通知部１５−２および第２の通知部１５−２について、プリンタを用いて紙面等にプリントアウトして表示させる形態をとってもよい。またあるいは、これらを適宜組み合わせて実現してもよい。
【００６７】
変更指令出力部１６は、意思決定部１６により計算された予測寿命に基づいて、電動機に流れる電流を指令する電流指令、電動機に印加される電圧を指令する電圧指令、および電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、のうちの少なくとも１つを変更する変更指令を、電動機３１を制御する制御装置３２へ出力する。上述のように、電動機に流れる電流を指令する電流指令、電動機に印加される電圧を指令する電圧指令、および電動機に流れる電流もしくは電圧の周波数を指令する周波数指令は、電動機３１の入力条件と呼ばれるものである。予測寿命の計算に際して、変更指令出力部１６は、電動機の寿命に大きな影響を与える電圧指令、電流指令または周波数指令を把握することができるので、これに基づき制御装置３２へ変更指令を出力する。
【００６８】
図６は、本発明の実施例による、強化学習を用いた機械学習装置を備える寿命予測装置の動作フローを示すフローチャートである。
【００６９】
一般に、強化学習では行動の初期値はランダムに選択される。本発明の実施例では、ステップＳ２０１において、行動である予測寿命をランダムに選択する。
【００７０】
ステップＳ２０２では、制御装置３２は、その内部に格納された制御ソフトウェアに基づいて、センサ３３によって検出された各種データを用いて、電動機３１を制御する。制御装置３２の制御により、電動機３１は駆動される。この間、センサ３３は、上述した電動機３１の稼働状態のうち、出力条件および外部条件と呼ばれるものを検出する。
【００７１】
ステップＳ２０３において、状態観測部１１は、電動機３１の稼働状態を検出するセンサの出力データと、電動機３１の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。
【００７２】
次いで、実際寿命データ取得ステップＳ２０４において、実際寿命データ取得部１２は、電動機の実際寿命に関するデータを取得する。
【００７３】
なお、上述のステップＳ２０３の処理とステップＳ２０４の処理は任意に入れ替えて実行してもよい。
【００７４】
次いで、ステップＳ２０５において、状態観測部１１は、実際寿命Ｍに対する予測寿命Ｎと実際寿命Ｍとの差の割合である「｜Ｎ−Ｍ｜／Ｍ」が、規定範囲α以内であるか否かを判別する。実際寿命Ｍに対する予測寿命Ｎと実際寿命Ｍとの差の割合である「｜Ｎ−Ｍ｜／Ｍ」が規定範囲α以内であると判定された場合は、ステップＳ２０６において報酬計算部２１は報酬を増やす。一方、実際寿命Ｍに対する予測寿命Ｎと実際寿命Ｍとの差の割合である「｜Ｎ−Ｍ｜／Ｍ」が規定範囲α以内にないと判定された場合は、ステップＳ２０７において報酬計算部２１は報酬を減らす。
【００７５】
ステップＳ２０８では、関数更新部２２は、状態観測部１１によって観測された状態変数および報酬計算部２１によって計算された報酬に基づいて、電動機３１の予測寿命を計算するための関数を更新する。
【００７６】
続くステップＳ２０９では、意思決定部１４は、ステップＳ２０８において更新された関数に基づいて、報酬が最も多く得られる電動機３１の予測寿命を選択し、これを出力する。意思決定部１４によって決定された予測寿命は、報酬計算部２１、第１の通知部１５−１、第２の通知部１５−２、および変更指令出力部１６へ出力される。その後、ステップＳ２０２へ戻り、これ以降、ステップＳ２０２〜Ｓ２０９の処理が繰り返し実行される。これにより、機械学習装置１は、予測寿命を学習していく。なお、訓練データセットを、複数の電動機３１から取得してもよく、この場合、学習部１２は、複数の電動機３１に対して取得される訓練データセットに従って、ステップＳ２０１〜Ｓ２０９の処理を繰り返し実行し、予測寿命を学習していく。複数の電動機３１に対して訓練データセットが取得されると機械学習装置１の学習精度は向上する。
【００７７】
なお、上述した状態観測部１１、実際寿命データ取得部１２、学習部１３、および意思決定部１４は、例えばソフトウェアプログラム形式で構築されてもよく、あるいは各種電子回路とソフトウェアプログラムとの組み合わせで構築されてもよい。例えばこれらをソフトウェアプログラム形式で構築する場合は、電動機３１の制御装置３２内にある演算処理装置をこのソフトウェアプログラムに従って動作させたり、クラウドサーバ上においてこのソフトウェアプログラムを動作させることで、上述の各部の機能を実現することができる。またあるいは、状態観測部１１、実際寿命データ取得部１２および学習部１３を備える機械学習装置１を、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路として実現してもよい。またあるいは、状態観測部１１、実際寿命データ取得部１２および学習部１３を備える機械学習装置１のみならず意思決定部１３も含めた形で、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を実現してもよい。
【００７８】
また、機械学習処理１は、制御装置３２が電動機３１の駆動制御のために本来的に備えるセンサにより検出されるデータを用いて実行されるので、新たなハードウェア装置を別途設ける必要がないことから、既存の電動機の制御装置にも後付けで適用することも可能である。この場合、機械学習装置１や意思決定部１４の各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を当該既存の電動機制御装置に組み込んだり、機械学習装置１や意思決定部１４の各部の機能を実現するソフトウェアプログラムそのものを当該既存の電動機制御装置内の演算処理装置に追加的にインストールすればよい。また、ある電動機３１に関して予測寿命を学習した機械学習装置１を、これとは別の電動機制御装置に取り付け、当該別の電動機駆動装置に関して予測寿命を再学習して更新するようにしてもよい。
【符号の説明】
【００７９】
１    機械学習装置
１１    状態観測部
１２    実際寿命データ取得部
１３    学習部
１４    意思決定部
１５−１    第１の通知部
１５−２    第２の通知部
１６    変更指令出力部
２１    報酬計算部
２２    関数更新部
３１    電動機
３２    制御装置
３３    センサ
１００    寿命予測装置
１０００    電動機システム
【図１】
2017046540.tif 000004
【図２】
2017046540.tif 000005
【図３】
2017046540.tif 000006
【図４】
2017046540.tif 000007
【図５】
2017046540.tif 000008
【図６】
2017046540.tif 000009
【手続補正書】
【提出日】平成28年10月14日(2016.10.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
学習ステップＳ１０３は、学習部１３によって実行されるものであり、状態観測部１１によって観測された状態変数と実際寿命データ取得部１２によって取得された実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機の予測寿命を学習する。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
電動機３１の寿命予測装置１００は、機械学習装置１と、意思決定部１４と、第１の通知部１５−１と、第２の通知部１５−２と、変更指令出力部１６とを備える。なお、第１の通知部１５−１および第２の通知部１５−２については、後述するように１つの通知部として実現してもよい。なお、ここでは図示しないが、意思決定部１４により決定された予測寿命に関するデータを出力するデータ出力部を別途設けてもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
センサ３３は、電動機３１の稼働状態を検出する。例えば、電動機３１が出力するトルクを検出するトルクセンサ、電動機３１の回転数を検出する回転センサ、電動機３１の稼働時間を検出する稼働時間計測器（計時センサ）、電動機３１に流れる電流を検出する電流センサ、電動機３１に印加される電圧を検出する電圧センサ、電動機３１に流れる電流もしくは電圧の周波数を検出する周波数センサ、電動機３１に供給される駆動電力を検出する電力センサ、電動機３１の近傍の温度を計測する温度センサ（温度計）、電動機３１の近傍の湿度を計測する湿度センサ（湿度計）、電動機３１に発生する振動を計測する振動センサなどがある。すなわち、センサ３３は、上述した電動機３１の稼働状態のうち、出力条件および外部条件と呼ばれるものを検出する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
学習部１３内の関数更新部２２は、状態観測部１１によって観測された状態変数および報酬計算部２１によって計算された報酬に基づいて、電動機３１の予測寿命を計算するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を、行動ａtである予測寿命を変更するための関数として用いる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
意思決定部１４は、学習部１３が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、電動機３１の予測寿命を計算する。本実施例では、一例として学習アルゴリズムとして強化学習を用いているので、学習部１３内の報酬計算部２１によって算出された報酬に基づいて学習部１３内の関数更新部２２は予測寿命を計算するための関数を更新し、意思決定部１４は、更新された関数に基づき、報酬が最も多く得られる予測寿命を選択し、これを出力する。意思決定部１４によって決定された予測寿命は、報酬計算部２１、第１の通知部１５−１、第２の通知部１５−２、および変更指令出力部１６へ出力される。報酬計算部２１は、意思決定部１４によって決定された予測寿命および実際寿命データ取得部１２によって取得された実際寿命に基づいて、上述のように報酬を計算する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
第１の通知部１５−１は、意思決定部１４により計算された予測寿命をオペレータに通知し、第２の通知部１５−２は、意思決定部１４により計算された予測寿命に基づき、電動機の交換を促す情報をオペレータに通知する。なお、第１の通知部１５−１および第２の通知部１５−２については、１つの通知部として実現してもよい。これにより、設計者や作業者は、電動機３１の予測寿命を知ることができるので、電動機３１が稼働不能になる前に電動機３１またはその構成部品を交換したり、あるいは補修や修繕などの保守を行うことができる。電動機３１の構成部品を交換したり保守を行うことにより、電動機３１の寿命を延ばすことができる。またあるいは、第１の通知部１５−１および／または第２の通知部１５−２の通知内容として、予測寿命の計算に際して得られた電動機３１の寿命に大きな影響を与える稼働状態（入力条件、出力条件および外部条件）を併せて通知するようにしてもよい。例えば、作業者は電動機３１を使って物を加工する場合、出力条件Ａとして「トルクＴA、回転数ＳA、稼働時間ｔA」、出力条件Ｂとして「トルクＴB、回転数ＳB、稼働時間ｔB」としたとき、意思決定部１４はこれら出力条件ＡおよびＢについて予測寿命を計算し、予測寿命が大きい方を作業者に提示することが考えられる。これにより、設計者や作業者は、電動機３１の寿命に影響を及ぼす稼働状態を変更する対応を取ることができる。例えば、設計者や作業者は、温度や湿度が電動機３１の寿命に影響を及ぼすことを知った場合は、電動機３１の寿命を延ばす適切な温度や湿度になるよう電動機３１の周辺環境を整えるといった対応を取ることができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
第１の通知部１５−１および第２の通知部１５−２として、例えば、パソコン、携帯端末、タッチパネルなどのディスプレイや制御装置３２に付属のディスプレイなどがあり、例えば予測寿命を文字や絵柄で表示することができる。また例えば、第１の通知部１５−１および第２の通知部１５−２を、スピーカ、ブザー、チャイムなどのような音を発する音響機器にて実現してもよい。またあるいは、第１の通知部１５−１および第２の通知部１５−２について、プリンタを用いて紙面等にプリントアウトして表示させる形態をとってもよい。またあるいは、これらを適宜組み合わせて実現してもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
変更指令出力部１６は、意思決定部１４により計算された予測寿命に基づいて、電動機３１に流れる電流を指令する電流指令、電動機３１に印加される電圧を指令する電圧指令、および電動機３１に流れる電流もしくは電圧の周波数を指令する周波数指令、のうちの少なくとも１つを変更する変更指令を、電動機３１を制御する制御装置３２へ出力する。上述のように、電動機３１に流れる電流を指令する電流指令、電動機３１に印加される電圧を指令する電圧指令、および電動機３１に流れる電流もしくは電圧の周波数を指令する周波数指令は、電動機３１の入力条件と呼ばれるものである。予測寿命の計算に際して、変更指令出力部１６は、電動機３１の寿命に大きな影響を与える電圧指令、電流指令または周波数指令を把握することができるので、これに基づき制御装置３２へ変更指令を出力する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
続くステップＳ２０９では、意思決定部１４は、ステップＳ２０８において更新された関数に基づいて、報酬が最も多く得られる電動機３１の予測寿命を選択し、これを出力する。意思決定部１４によって決定された予測寿命は、報酬計算部２１、第１の通知部１５−１、第２の通知部１５−２、および変更指令出力部１６へ出力される。その後、ステップＳ２０２へ戻り、これ以降、ステップＳ２０２〜Ｓ２０９の処理が繰り返し実行される。これにより、機械学習装置１は、予測寿命を学習していく。なお、訓練データセットを、複数の電動機３１から取得してもよく、この場合、学習部１３は、複数の電動機３１に対して取得される訓練データセットに従って、ステップＳ２０１〜Ｓ２０９の処理を繰り返し実行し、予測寿命を学習していく。複数の電動機３１に対して訓練データセットが取得されると機械学習装置１の学習精度は向上する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
なお、上述した状態観測部１１、実際寿命データ取得部１２、学習部１３、および意思決定部１４は、例えばソフトウェアプログラム形式で構築されてもよく、あるいは各種電子回路とソフトウェアプログラムとの組み合わせで構築されてもよい。例えばこれらをソフトウェアプログラム形式で構築する場合は、電動機３１の制御装置３２内にある演算処理装置をこのソフトウェアプログラムに従って動作させたり、クラウドサーバ上においてこのソフトウェアプログラムを動作させることで、上述の各部の機能を実現することができる。またあるいは、状態観測部１１、実際寿命データ取得部１２および学習部１３を備える機械学習装置１を、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路として実現してもよい。またあるいは、状態観測部１１、実際寿命データ取得部１２および学習部１３を備える機械学習装置１のみならず意思決定部１４も含めた形で、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を実現してもよい。
【手続補正１１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
電動機の予測寿命に関連付けられる条件を学習する機械学習装置であって、
前記電動機の稼働状態を検出するセンサの出力データと、前記電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、
前記電動機の実際寿命に関するデータを取得する実際寿命データ取得部と、
前記状態変数と前記実際寿命に関するデータとの組合せに基づいて作成される訓練データセットに従って、前記電動機の予測寿命に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。
【請求項２】
前記稼働状態は、前記電動機に流れる電流を指令する電流指令、前記電動機に印加される電圧を指令する電圧指令、前記電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、前記電動機が出力するトルク、前記電動機の回転数、前記電動機の稼働時間、前記電動機近傍の温度、前記電動機近傍の湿度、および前記電動機に発生する振動、のうちの少なくとも１つを含む請求項１に記載の機械学習装置。
【請求項３】
前記学習部は、
前記予測寿命および前記実際寿命に基づいて報酬を計算する報酬計算部と、
前記状態変数および前記報酬に基づいて、前記電動機の予測寿命を計算するための関数を更新する関数更新部と、
を備える請求項１に記載の機械学習装置。
【請求項４】
前記報酬計算部は、前記実際寿命に対する前記予測寿命と前記実際寿命との差の割合が、規定範囲内であるとき報酬を増やし、前記規定範囲外であるとき報酬を減らす請求項３に記載の機械学習装置。
【請求項５】
前記学習部は、複数の電動機に対して取得される前記訓練データセットに従って、前記条件を学習するように構成される請求項１〜４のいずれか一項に記載の機械学習装置。
【請求項６】
請求項１〜５のいずれか一項に記載の機械学習装置を備えた、電動機の寿命予測装置であって、
前記学習部が前記訓練データセットに従って学習した結果に基づいて、現在の前記状態変数の入力に応答して、前記電動機の予測寿命を計算する意思決定部をさらに備えることを特徴とする寿命予測装置。
【請求項７】
前記意思決定部により計算された前記予測寿命をオペレータに通知する通知部をさらに備える請求項６に記載の寿命予測装置。
【請求項８】
前記意思決定部により計算された前記予測寿命に基づき、前記電動機の交換を促す情報をオペレータに通知する通知部をさらに備える請求項６に記載の寿命予測装置。
【請求項９】
前記意思決定部により計算された前記予測寿命に基づいて、前記電動機に流れる電流を指令する電流指令、前記電動機に印加される電圧を指令する電圧指令、および前記電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、のうちの少なくとも１つを変更する変更指令を、前記電動機を制御する制御装置へ出力する変更指令出力部をさらに備える請求項６〜８のいずれか一項に記載の寿命予測装置。
【請求項１０】
前記学習部は、前記現在の状態変数によって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される請求項６〜９のいずれか一項に記載の寿命予測装置。
【請求項１１】
請求項６〜１０のいずれか一項に記載の寿命予測装置と、
電動機と、
前記電動機を制御する制御装置と、
前記電動機の稼働状態を検出するセンサと、
を備えることを特徴とする電動機システム。
【請求項１２】
電動機の予測寿命に関連付けられる条件を学習する機械学習方法であって、
前記電動機の稼働状態を検出するセンサの出力データと、前記電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測ステップと、
前記電動機の実際寿命に関するデータを取得する実際寿命データ取得ステップと、
前記状態変数と前記実際寿命に関するデータとの組合せに基づいて作成される訓練データセットに従って、前記電動機の予測寿命に関連付けられる条件を学習する学習ステップと、
を備えることを特徴とする機械学習方法。