(57)【特許請求の範囲】
【請求項１】
モータ駆動用の交流電力の生成に用いられるＤＣリンクにおける直流電力を、交流電源側の交流電力から変換することにより生成する順変換器の、前記ＤＣリンク側の直流電力を交流電力に変換して交流電源側へ戻す電源回生動作に関連付けられる条件を学習する機械学習装置であって、
前記ＤＣリンクの直流電圧の値に関するデータと、前記順変換器による電源回生動作により前記ＤＣリンク側から交流電源側へ戻された電力量である電源回生量に関するデータと、前記ＤＣリンクの直流電圧が予め設定された過電圧アラームレベルを超えたことを示す過電圧アラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、
前記状態変数によって構成される訓練データセットに従って、前記順変換器による電源回生動作に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。
【請求項２】
前記学習部は、
前記状態変数に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、前記順変換器が電源回生動作を開始する基準となるＤＣリンクの電圧である電源回生開始電圧および前記順変換器が開始した当該電源回生動作を停止する基準となるＤＣリンクの電圧である電源回生停止電圧を変更するための関数を更新する関数更新部と、
を備える請求項１に記載の機械学習装置。
【請求項３】
前記報酬計算部は、前記状態観測部により観測された現在のＤＣリンクの直流電圧が、当該現在のＤＣリンクの直流電圧よりも前に前記状態観測部により観測されたＤＣリンクの直流電圧よりも高いとき、報酬を増やす請求項２に記載の機械学習装置。
【請求項４】
前記報酬計算部は、前記状態観測部により観測された現在のＤＣリンクの直流電圧が、当該現在のＤＣリンクの直流電圧よりも前に前記状態観測部により観測されたＤＣリンクの直流電圧よりも低いとき、報酬を減らす請求項２に記載の機械学習装置。
【請求項５】
前記報酬計算部は、前記状態観測部により観測された現在の電源回生量が、当該現在の電源回生量よりも前に前記状態観測部により観測された電源回生量よりも小さいときは報酬を増やす請求項２に記載の機械学習装置。
【請求項６】
前記報酬計算部は、前記状態観測部により観測された現在の電源回生量が、当該現在の電源回生量よりも前に前記状態観測部により観測された電源回生量よりも大きいときは報酬を減らす請求項２に記載の機械学習装置。
【請求項７】
前記報酬計算部は、前記状態観測部により前記過電圧アラームの発生無しを観測したときは報酬を増やす請求項２に記載の機械学習装置。
【請求項８】
前記報酬計算部は、前記状態観測部により前記過電圧アラームの発生有りを観測したときは報酬を減らす請求項２に記載の機械学習装置。
【請求項９】
前記学習部は、複数の順変換器に対して取得される前記訓練データセットに従って、前記条件を学習するように構成される請求項１〜８のいずれか一項に記載の機械学習装置。
【請求項１０】
請求項１〜９のいずれか一項に記載の機械学習装置を備えた、順変換器の制御装置であって、
前記学習部が前記訓練データセットに従って学習した結果に基づいて、現在の前記状態変数の入力に応答して、前記電源回生開始電圧および前記電源回生停止電圧を決定する意思決定部と、
交流電源側の交流電力とＤＣリンク側の直流電力とを相互に変換する順変換器の電力変換動作を制御する順変換器用電力変換動作制御部と、
をさらに備え、
前記順変換器用電力変換動作制御部は、前記ＤＣリンクの直流電圧が上昇して前記意思決定部により決定された前記電源回生開始電圧を上回ったとき前記順変換器に対して電源回生動作の開始を指令し、前記順変換器が電源回生動作を開始後、前記ＤＣリンクの直流電圧が下降して前記意思決定部により決定された前記電源回生停止電圧を下回ったとき前記順変換器に対して電源回生動作の停止を指令することを特徴とする順変換器の制御装置。
【請求項１１】
前記学習部が、前記現在の状態変数によって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される請求項１０に記載の順変換器の制御装置。
【請求項１２】
前記ＤＣリンクの直流電圧を測定する直流電圧測定部と、前記電源回生量を測定する電源回生量測定部と、前記過電圧アラームの発生の有無に関するデータを受信する過電圧アラーム受信部と、のうち少なくとも１つをさらに備える請求項１０または１１に記載の順変換器の制御装置。
【請求項１３】
請求項１０〜１２のいずれか一項に記載の順変換器の制御装置を備えたモータ制御装置であって、
前記ＤＣリンク側の直流電力と交流モータ側の交流電力とを相互に変換する逆変換器の電力変換動作を制御する逆変換器用電力変換動作制御部をさらに備えることを特徴とするモータ制御装置。
【請求項１４】
モータ駆動のための交流電力を生成するのに用いられるＤＣリンクにおける直流電力を、交流電源側から供給された交流電力から変換することにより生成する順変換器の、前記ＤＣリンク側の直流電力を交流電力に変換して交流電源側へ戻す電源回生動作に関連付けられる条件を学習する機械学習方法であって、
前記ＤＣリンクの直流電圧の値に関するデータと、前記順変換器による電源回生動作により前記ＤＣリンク側から交流電源側へ戻された電力量である電源回生量に関するデータと、前記ＤＣリンクの直流電圧が予め設定された過電圧アラームレベルを超えたことを示す過電圧アラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測するステップと、
前記状態変数によって構成される訓練データセットに従って、前記順変換器による電源回生動作に関連付けられる条件を学習するステップと、
を備えることを特徴とする機械学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交流電源側から供給された交流電力を直流電力に変換して直流リンクへ出力したのちさらにモータの駆動のための交流電力に変換してモータへ供給するモータ制御装置、このモータ制御装置に用いられる順変換器の制御装置、ならびに、この順変換器の制御装置のための機械学習装置およびその方法に関する。
【背景技術】
【０００２】
工作機械、鍛圧機械、射出成形機、産業機械、あるいは各種ロボット内のモータを駆動するモータ制御装置においては、交流電源側から供給された交流電力を直流電力に一旦変換したのちさらに交流電力に変換し、この交流電力を駆動軸ごとに設けられたモータの駆動電力として用いている。
【０００３】
図７は、一般的なモータ制御装置の構成を示す図である。モータ制御装置１００は、商用交流電源（以下、単に「交流電源」と称する。）１０３からの交流電力を直流電力に変換する順変換器（コンバータ）１０１と、順変換器１０１から出力された直流電力をモータ１０４の駆動電力として供給される所望の周波数の交流電力に変換しまたはモータ１０４から回生される交流電力を直流電力に変換する逆変換器（インバータ）１０２とを備え、当該逆変換器１０２の交流側に接続されたモータ１０４の速度、トルク、もしくは回転子の位置を制御する。なお、図７では、図面を簡明なものとするために、１台のモータ１０４を駆動する場合について示している。一般に、複数の駆動軸を駆動する場合は各駆動軸ごとにモータがそれぞれ設けられるが、その場合は各モータに個別に駆動電力を供給するために逆変換器は複数設けられることになる。
【０００４】
順変換器１０１と逆変換器１０２とはＤＣリンク（直流リンク）を介して接続される。ＤＣリンクには、ＤＣリンクコンデンサ１０５が設けられる。ＤＣリンクコンデンサ１０５は、直流電力を蓄積する蓄電機能および順変換器の直流出力の脈動分を抑える平滑機能を有する。
【０００５】
近年、省エネルギー化の要求から、モータ制御装置における順変換器として、モータ減速時に生じる回生電力を交流電源側に戻すことができる電源回生方式の順変換器が多く用いられている（例えば、特許文献１参照。）。
【０００６】
電源回生方式の順変換器は、交流電源側から供給された交流電力を直流電力に変換してＤＣリンク側へ出力する機能とともに、モータ減速時にはＤＣリンク側から供給された直流電力を交流電力に変換して交流電源側へ出力する機能を有するものである。モータ減速時にモータで発生する回生電力は、逆変換器により交流電力から直流電力に変換され、この直流電力はＤＣリンクを介して順変換器に入力され、さらに順変換器により交流電力に変換されて交流電源側に電源回生される。
【０００７】
電源回生方式の順変換器として、例えばＰＷＭ制御方式整流回路や１２０度通電型整流回路などがある。
【０００８】
このうち、ＰＷＭ制御方式整流回路は、半導体スイッチング素子およびこれに逆並列に接続されたダイオードのブリッジ回路で構成され、内部の半導体スイッチング素子のスイッチング動作がＰＷＭ制御されて、交流電源側の交流電力と直流リンク側の直流電力との間で電力変換を行う（例えば、特許文献２参照。）。
【０００９】
このようなモータ制御装置においては、ＤＣリンクに設けられたＤＣリンクコンデンサの両端に印加される直流電圧（以下、単に「ＤＣリンク電圧」と称することがある。）は、モータで消費される駆動電力の量もしくはモータで発生する回生電力の量と、順変換器による交流電力から直流電力またはその逆方向の電力変換量と、逆変換器による直流電力から交流電力またはその逆方向の電力変換量とに応じて変動する。例えばモータ減速時には、モータで発生した交流の回生電力は逆変換器により直流電力に変換されるが、順変換器による直流電力から交流電力への変換動作（以下、「順変換器による電源回生動作」と称する。）を調整することにより、ＤＣリンク電圧が、順変換器および逆変換器内の各素子ならびにＤＣリンクコンデンサが破壊されないような電圧になるように調整している。
【００１０】
例えば、ＤＣリンク電圧の大きさに応じて順変換器による電源回生動作を制御する方法がいくつか提案されている（例えば、特許文献３参照。）。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特許第２５６７８３０号公報
【特許文献２】特開平８−４７２７９号公報
【特許文献３】特許第５３１９３１８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
上述のように、モータ減速時にモータで発生した交流の回生電力は逆変換器により直流電力に変換されてＤＣリンクに戻されるので、ＤＣリンク電圧が上昇する。回生電力によりＤＣリンク電圧が上昇しすぎると、順変換器および逆変換器内の各素子ならびにＤＣリンクコンデンサが破壊されたり、破壊を防ぐために設けられた過電圧アラームにより、モータ制御装置が停止するため、順変換器を電源回生動作させてＤＣリンクにおけるエネルギーを交流電源側へ戻す必要がある。一方で、順変換器が電源回生を行うと、スイッチングロスにより順変換器内の半導体スイッチング素子が発熱する。特に、電源回生を長時間行うと、順変換器内の半導体スイッチング素子の発熱が大きくなることで、順変換器内の半導体スイッチング素子が熱破壊したり、順変換器内の半導体スイッチング素子の過熱保護を目的とした過負荷アラームでモータ制御装置が停止する。このようなことから、電源回生を極力行わないようにしながら、ＤＣリンク電圧が上昇しすぎないように、順変換器による電源回生動作が効率よくかつ適切に行なわれるよう調整することは非常に重要である。このような調整は、モータ制御装置の設計段階に設計者が行ったり、モータ制御装置を組み込んだ機械の調整段階において作業者が手動で行っていた。また、このような調整を、個々の機械の運転状況に応じて手動で調整することは、煩雑である。
【００１３】
従って本発明の目的は、上記問題に鑑み、モータ駆動のための交流電力を生成するのに用いられるＤＣリンクにおける直流電力を、交流電源側の交流電力から変換することにより生成する順変換器の、ＤＣリンク側の直流電力を交流電力に変換して交流電源側へ戻す電源回生動作を効率よく行うことができるモータ駆動装置、このモータ制御装置に用いられる順変換器の制御装置、ならびに、この順変換器の制御装置のための機械学習装置およびその方法を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的を実現するために、本発明においては、モータ駆動用の交流電力の生成に用いられるＤＣリンクにおける直流電力を、交流電源側の交流電力から変換することにより生成する順変換器の、ＤＣリンク側の直流電力を交流電力に変換して交流電源側へ戻す電源回生動作に関連付けられる条件を学習する機械学習装置は、ＤＣリンクの直流電圧の値に関するデータと、順変換器による電源回生動作によりＤＣリンク側から交流電源側へ戻された電力量である電源回生量に関するデータと、ＤＣリンクの直流電圧が予め設定された過電圧アラームレベルを超えたことを示す過電圧アラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、順変換器による電源回生動作に関連付けられる条件を学習する学習部と、を備える。
【００１５】
ここで、学習部は、状態変数に基づいて報酬を計算する報酬計算部と、報酬に基づいて、順変換器が電源回生動作を開始する基準となるＤＣリンクの電圧である電源回生開始電圧および順変換器が開始した当該電源回生動作を停止する基準となるＤＣリンクの電圧である電源回生停止電圧を変更するための関数を更新する関数更新部と、を備えてもよい。
【００１６】
また、報酬計算部は、状態観測部により観測された現在のＤＣリンクの直流電圧が、当該現在のＤＣリンクの直流電圧よりも前に状態観測部により観測されたＤＣリンクの直流電圧よりも高いとき、報酬を増やすようにしてもよい。
【００１７】
また、報酬計算部は、状態観測部により観測された現在のＤＣリンクの直流電圧が、当該現在のＤＣリンクの直流電圧よりも前に状態観測部により観測されたＤＣリンクの直流電圧よりも低いとき、報酬を減らすようにしてもよい。
【００１８】
また、報酬計算部は、状態観測部により観測された現在の電源回生量が、当該現在の電源回生量よりも前に状態観測部により観測された電源回生量よりも小さいときは報酬を増やすようにしてもよい。
【００１９】
また、報酬計算部は、状態観測部により観測された現在の電源回生量が、当該現在の電源回生量よりも前に状態観測部により観測された電源回生量よりも大きいときは報酬を減らすようにしてもよい。
【００２０】
また、報酬計算部は、状態観測部により過電圧アラームの発生無しを観測したときは報酬を増やすようにしてもよい。
【００２１】
また、報酬計算部は、状態観測部により過電圧アラームの発生有りを観測したときは報酬を減らすようにしてもよい。
【００２２】
また、学習部は、複数の順変換器に対して取得される訓練データセットに従って、条件を学習するように構成されてもよい。
【００２３】
また、上述の機械学習装置を備えた順変換器の制御装置は、学習部が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、電源回生開始電圧および電源回生停止電圧を決定する意思決定部と、交流電源側の交流電力とＤＣリンク側の直流電力とを相互に変換する順変換器の電力変換動作を制御する順変換器用電力変換動作制御部と、をさらに備え、順変換器用電力変換動作制御部は、ＤＣリンクの直流電圧が上昇して意思決定部により決定された電源回生開始電圧を上回ったとき順変換器に対して電源回生動作の開始を指令し、順変換器が電源回生動作を開始後、ＤＣリンクの直流電圧が下降して意思決定部により決定された電源回生停止電圧を下回ったとき順変換器に対して電源回生動作の停止を指令する。
【００２４】
ここで、学習部は、現在の状態変数によって構成される追加の訓練データセットに従って、条件を再学習して更新するように構成されてもよい。
【００２５】
また、順変換器の制御装置は、ＤＣリンクの直流電圧を測定する直流電圧測定部と、電源回生量を測定する電源回生量測定部と、過電圧アラームの発生の有無に関するデータを受信する過電圧アラーム受信部と、のうち少なくとも１つをさらに備えてもよい。
【００２６】
また、上述の順変換器の制御装置を備えたモータ制御装置は、ＤＣリンク側の直流電力と交流モータ側の交流電力とを相互に変換する逆変換器の電力変換動作を制御する逆変換器用電力変換動作制御部をさらに備える。
【００２７】
また、モータ駆動のための交流電力を生成するのに用いられるＤＣリンクにおける直流電力を、交流電源側から供給された交流電力から変換することにより生成する順変換器の、ＤＣリンク側の直流電力を交流電力に変換して交流電源側へ戻す電源回生動作に関連付けられる条件を学習する機械学習方法は、ＤＣリンクの直流電圧の値に関するデータと、順変換器による電源回生動作によりＤＣリンク側から交流電源側へ戻された電力量である電源回生量に関するデータと、ＤＣリンクの直流電圧が予め設定された過電圧アラームレベルを超えたことを示す過電圧アラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測するステップと、状態変数によって構成される訓練データセットに従って、順変換器による電源回生動作に関連付けられる条件を学習するステップと、を備える。
【発明の効果】
【００２８】
本発明によれば、モータ駆動のための交流電力を生成するのに用いられるＤＣリンクにおける直流電力を、交流電源側の交流電力から変換することにより生成する順変換器の、ＤＣリンク側の直流電力を交流電力に変換して交流電源側へ戻す電源回生動作を効率よく行うことができるモータ駆動装置、このモータ制御装置に用いられる順変換器の制御装置、ならびに、この順変換器の制御装置のための機械学習装置およびその方法を実現することができる。
【００２９】
本発明によれば、動作しているモータ制御装置に対し、順変換器の電源回生動作が効率よくかつ適切に行える電源回生開始電圧および電源回生停止電圧を機械学習装置が自ら調整するので、モータ制御装置の設計段階や運転段階における人間による調整が不要となる。加えて、機械学習装置による調整で済むので、これまで煩雑とされていた運転状況の異なる機械ごとの順変換器の電源回生動作の調整も短時間で行うことができる。運転状況が同じ機械に対しても、訓練データセットを複数の機械学習装置で分散して行うことにより、単独で行うよりも短時間で順変換器の電源回生動作の調整を行うことができる。また、電源回生開始電圧と電源回生停止電圧を調整することで、電源回生による順変換器および逆変換器内の半導体スイッチング素子の発熱を抑えつつ、電源回生の不足によるＤＣリンク過電圧アラームの発生を防ぐことができる。更に、電源回生を抑えることで、ＤＣリンク電圧が上昇することを利用して、瞬時電圧低下や停電が発生した時の電力不足をＤＣリンク部に貯まった電力を利用することで機械の運転を継続することができる。瞬時電圧低下や停電が発生していない時には、ＤＣリンク部に貯まった電力を逆変換器の出力が上昇した時に利用することで、ＤＣリンク電圧が交流電源の電圧波高値以下になるまでは順変換器の半導体スイッチング素子には電流が流れないため、半導体スイッチング素子の発熱を抑えることができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施例による機械学習装置の原理ブロック図である。
【図２】本発明の実施例による機械学習方法の動作原理を示すフローチャートである。
【図３】本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。
【図４】本発明の実施例による、強化学習を用いた機械学習方法の原理を示すフローチャートである。
【図５】本発明の実施例による機械学習装置を備える順変換器の制御装置、およびこの順変換器の制御装置を備えるモータ制御装置を示す原理ブロック図である。
【図６】本発明の実施例による、強化学習を用いた機械学習装置の動作フローを示すフローチャートである。
【図７】一般的なモータ制御装置の構成を示す図である。
【発明を実施するための形態】
【００３１】
図１は、本発明の実施例による機械学習装置の原理ブロック図である。以降、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。
【００３２】
本発明の実施例による機械学習装置１は、交流電源からの交流電力を直流電力に変換してＤＣリンクへ出力する順変換器（コンバータ）と、ＤＣリンクにおける直流電力をモータの駆動電力として供給される所望の周波数の交流電力に変換してモータへ供給しまたはモータから回生される交流電力を直流電力に変換してＤＣリンクへ出力する逆変換器（インバータ）とを備えるモータ制御装置において、順変換器により実行されるＤＣリンク側の直流電力を交流電力に変換して交流電源側へ戻す電源回生動作に関連付けられる条件を学習するものとして構成される。すなわち、機械学習装置１は、順変換器１０１の効率的な電源回生動作を実現することができる電源回生動作に関連付けられる条件としての電源回生開始電圧および電源回生停止電圧を学習する。
【００３３】
機械学習装置１は、状態観測部１１と学習部１２とを備える。
【００３４】
状態観測部１１は、訓練データセットとして、ＤＣリンクの直流電圧の値に関するデータと、順変換器による電源回生動作によりＤＣリンク側から交流電源側へ戻された電力量である電源回生量に関するデータと、ＤＣリンクの直流電圧が予め設定された過電圧アラームレベルを超えたことを示す過電圧アラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。
【００３５】
学習部１２は、状態変数によって構成される訓練データセットに従って、順変換器による電源回生動作に関連付けられる条件としての電源回生開始電圧および電源回生停止電圧を学習する。なお、訓練データセットを、複数の順変換器から取得してもよく、この場合、学習部１２は、複数の順変換器に対して取得される訓練データセットに従って、電源回生動作に関連付けられる条件を学習する。
【００３６】
図２は、本発明の実施例による機械学習方法の動作原理を示すフローチャートである。モータ駆動のための交流電力を生成するのに用いられるＤＣリンクにおける直流電力を、交流電源側から供給された交流電力から変換することにより生成する順変換器の、ＤＣリンク側の直流電力を交流電力に変換して交流電源側へ戻す電源回生動作に関連付けられる条件を学習する機械学習方法は、状態観測ステップＳ１０１と、機械学習ステップＳ１０２とを備える。
【００３７】
状態観測ステップＳ１０１は、状態観測部１１により実行されるものであり、すなわち、ＤＣリンクの直流電圧の値に関するデータと、順変換器による電源回生動作によりＤＣリンク側から交流電源側へ戻された電力量である電源回生量に関するデータと、ＤＣリンクの直流電圧が予め設定された過電圧アラームレベルを超えたことを示す過電圧アラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。
【００３８】
機械学習ステップＳ１０２は、学習部１２により実行されるものであり、状態変数によって構成される訓練データセットに従って、順変換器による電源回生動作に関連付けられる条件を学習する。
【００３９】
学習部１２が用いる学習アルゴリズムはどのようなものを用いてもよい。一例として、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ  Ｌｅａｒｎｉｎｇ）を適用した場合について説明する。強化学習は、ある環境内におけるエージェント（行動主体）が、現在の状態を観測し、取るべき行動を決定する、というものである。エージェントは行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）やＴＤ学習（ＴＤ−ｌｅａｒｎｉｎｇ）が知られている。例えば、Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式（行動価値テーブル）は式１で表される。
【００４０】
【数１】
0005956662.tif 000002
【００４１】
式１において、ｓtは時刻ｔにおける環境を表し、ａtは時刻ｔにおける行動を表す。行動ａtにより、環境はｓt+1に変わる。ｒt+1はその環境の変化によってもらえる報酬（ｒｅｗａｒｄ）を表し、γは割引率を表し、αは学習係数を表す。Ｑ学習を適用した場合、電源回生開始電圧および電源回生停止電圧が行動ａtとなる。
【００４２】
図３は、本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。学習部１２は、報酬計算部２１と関数更新部２２とを備える。報酬計算部２１は、状態変数に基づいて報酬を計算する。関数更新部２２は、報酬に基づいて、順変換器が電源回生動作を開始する基準となるＤＣリンクの電圧である電源回生開始電圧および順変換器が開始した当該電源回生動作を停止する基準となるＤＣリンクの電圧である電源回生停止電圧を変更するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を、行動ａtである電源回生開始電圧および電源回生停止電圧を変更するための関数として用いる。なお、これら以外の回路構成要素については図１に示す回路構成要素と同様であるので、同一の回路構成要素には同一符号を付して当該回路構成要素についての詳細な説明は省略する。
【００４３】
図４は、本発明の実施例による、強化学習を用いた機械学習方法の原理を示すフローチャートである。
【００４４】
まず、状態観測ステップＳ１０１において、状態観測部１１は、ＤＣリンクの直流電圧の値に関するデータと、順変換器による電源回生動作によりＤＣリンク側から交流電源側へ戻された電力量である電源回生量に関するデータと、ＤＣリンクの直流電圧が予め設定された過電圧アラームレベルを超えたことを示す過電圧アラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。
【００４５】
次いで、報酬計算ステップＳ１０２−１において、報酬計算部２１は、ステップＳ１０１において観測された状態変数に基づいて報酬を計算する。
【００４６】
次いで、関数更新ステップＳ１０２−２において、関数更新部２２は、報酬に基づいて、順変換器が電源回生動作を開始する基準となるＤＣリンクの電圧である電源回生開始電圧および順変換器が開始した当該電源回生動作を停止する基準となるＤＣリンクの電圧である電源回生停止電圧を変更するための関数を更新する。
【００４７】
続いて、上述の機械学習装置を備える順変換器の制御装置、およびこの順変換器の制御装置を備えるモータ制御装置について説明する。ここでは一例として、学習部の学習アルゴリズムとして強化学習を用いた場合について説明する。
【００４８】
図５は、本発明の実施例による機械学習装置を備える順変換器の制御装置、およびこの順変換器の制御装置を備えるモータ制御装置を示す原理ブロック図である。なお、ここでは１個のモータ１０４を駆動制御するモータ制御装置１０００について説明するが、モータ制御装置１０００により駆動制御するモータ１０４の個数は、本発明を特に限定するものではなく、複数個であってもよい。また、モータ制御装置１０００によって駆動されるモータ１０４の種類についても本発明を特に限定するものではなく、例えば誘導モータであっても同期モータであってもよい。また、相数も本発明を特に限定するものではなく、三相の他に、例えば単相やその他の多相であってもよい。
【００４９】
モータ制御装置１０００は、その主回路構成として、順変換器１０１と、逆変換器１０２と、ＤＣリンクコンデンサ１０５とを備える。モータ制御装置１０００の三相交流入力側には交流電源１０３が接続され、モータ制御装置１０００の交流モータ側には三相のモータ１０４が接続される。なお、説明を簡明にするために、図５では、モータ１０４を駆動するための制御系を逆変換器用電力変換動作制御部４１としてまとめて表記している。また、ＤＣリンク電圧を０［Ｖ］から交流電源の電圧波高値まで昇圧する際に用いる初期充電手段については図示を省略している。
【００５０】
順変換器１０１は、順変換器用電力変換動作制御部１４から受信する指令に応じて、交流電源１０３側の交流電力と直流側であるＤＣリンクの直流電力との間で電力変換する。すなわち、順変換器１０１は、交流電源１０３側から供給された交流電力を直流電力に変換して直流側へ出力し、あるいはＤＣリンクにおける直流電力を交流電力に変換して交流電源１０３側へ出力する、交直双方向に変換可能である電力変換器である。順変換器１０１は、交直双方向に変換可能である電力変換器であれば実施形態は特に限定されず、例えば１２０度通電型整流回路、あるいはＰＷＭ制御方式の整流回路などがある。順変換器１０１は、スイッチング素子およびこれに逆並列に接続されたダイオードのブリッジ回路からなる。スイッチング素子の例としては、ＩＧＢＴ、サイリスタ、ＧＴＯ（Ｇａｔｅ  Ｔｕｒｎ−ＯＦＦ  ｔｈｙｒｉｓｔｏｒ：ゲートターンオフサイリスタ）、トランジスタなどがあるが、スイッチング素子の種類自体は本発明を限定するものではなく、その他の半導体素子であってもよい。例えば、順変換器１０１がＰＷＭ制御方式の整流器である場合、その内部のスイッチング素子のスイッチング動作が順変換器用電力変換動作制御部１４により生成されるＰＷＭ制御信号により、力率１の交流電力を発生させるとともにＤＣリンクコンデンサ１３の両端に印加される直流電圧を所望の値に保つよう順変換器１０１を制御し、かつ、交流電力を直流電力に変換する力行動作（順変換動作）および直流電力を交流電力に変換する電源回生動作（逆変換動作）のいずれかを行うよう順変換器１０１を制御する。モータ制御装置１０００の制御によりモータ１０４を減速させる際にはモータ１０４にて回生電力が発生するが、順変換器１０１は、その内部のスイッチング素子のスイッチング動作がＰＷＭ制御信号により制御されて直流電力を交流電力に変換する電源回生動作（逆変換動作）を行い、逆変換器１０２を経て戻された回生エネルギーをさらに交流電源１０３側へ戻す。
【００５１】
ＤＣリンクコンデンサ１０５は、順変換器１０１の直流側と逆変換器の直流側とを接続するＤＣリンクに設けられる。ＤＣリンクコンデンサ１０５は、ＤＣリンクにおける直流電力を蓄積する機能と順変換器１０１の直流出力の脈動分を抑える平滑機能とを有する。
【００５２】
逆変換器１０２は、ＤＣリンクに接続され、ＤＣリンクの直流電力とモータ１０４の駆動電力もしくは回生電力である交流電力との間で双方向に電力変換することができるものであり、逆変換器用電力変換動作制御部４１から受信したモータ駆動指令に従い、直流電力を交流電力に変換する回生動作（逆変換動作）および交流電力を直流電力に変換する力行動作（順変換動作）のいずれかを行う。具体的には、逆変換器１０２は、ＤＣリンク側から供給される直流電力を、逆変換器用電力変換動作制御部４１から受信したモータ駆動指令に基づき内部のスイッチング素子をスイッチング動作させ、モータ１０４を駆動するための所望の電圧および所望の周波数の三相交流電力に変換する。これにより、モータ１０４は、供給された電圧可変および周波数可変の三相交流電力に基づいて動作することになる。また、モータ１０４の減速時には回生電力が発生するが、この場合は逆変換器用電力変換動作制御部４１から受信したモータ駆動指令に基づき、モータ１０４で発生した交流の回生電力を直流電力へ変換してＤＣリンクへ戻す。なお、モータ制御装置１０００で複数のモータ１０４を駆動制御する場合には、各モータ１０４に個別に駆動電力を供給してモータ１０４を駆動制御するために、逆変換器１０２は、モータ１０４の個数と同数個、並列接続される。逆変換器１０２は、例えばＰＷＭインバータなどのような、スイッチング素子およびこれに逆並列に接続されたダイオードのブリッジ回路からなる。スイッチング素子の例としては、ＩＧＢＴ、サイリスタ、ＧＴＯ（Ｇａｔｅ  Ｔｕｒｎ−ＯＦＦ  ｔｈｙｒｉｓｔｏｒ：ゲートターンオフサイリスタ）、トランジスタなどがあるが、スイッチング素子の種類自体は本発明を限定するものではなく、その他の半導体素子であってもよい。
【００５３】
モータ制御装置１０００は、順変換器１０１の制御装置として、図３および図４を参照して説明した強化学習を用いた機械学習装置１と、意思決定部１３と、順変換器用電力変換動作制御部１４とを備える。
【００５４】
機械学習装置１は、状態観測部１１と学習部１２とを備える。
【００５５】
状態観測部１１は、ＤＣリンクの直流電圧の値に関するデータと、順変換器１０１による電源回生動作によりＤＣリンク側から交流電源１０３側へ戻された電力量である電源回生量に関するデータと、ＤＣリンク電圧が予め設定された過電圧アラームレベルを超えたことを示す過電圧アラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。観測された状態変数は訓練データセットとして学習部１２における学習に用いられる。ＤＣリンク電圧は直流電圧測定部３１により測定され、順変換器１０１の電源回生量は電源回生量測定部３２により測定され、過電圧アラームの発生の有無に関するデータは過電圧アラーム受信部３３により受信される。なお、電源回生量測定部３２による電源回生量の測定は、順変換器１０１の交流電源１０３側の交流電圧と交流電流とに基づいて算出することで実現してもよく、あるいは、順変換器１０１の交流電源１０３側に設置された電力量計（図示せず）によって計測することで実現してもよく、またあるいはＤＣリンク電圧（すなわち直流電圧測定部３１により測定された直流電圧）と順変換器１０１からＤＣリンク側に出力される直流電流とに基づいて算出することで実現してもよい。
【００５６】
学習部１２内の報酬計算部２１は、状態観測部１１により観測された状態変数に基づいて、報酬を計算する。
【００５７】
ＤＣリンク電圧の値に関するデータを状態変数とした場合、報酬計算部２１は、状態観測部１１により観測された現在のＤＣリンク電圧が、当該現在のＤＣリンク電圧よりも前に状態観測部１１により観測されたＤＣリンク電圧よりも高いとき（すなわちＤＣリンク電圧が上昇したとき）、報酬を増やし、当該現在のＤＣリンク電圧よりも前に状態観測部１１により観測されたＤＣリンク電圧よりも低いとき（すなわちＤＣリンク電圧が低下したとき）、報酬を減らすようにする。このように、ＤＣリンク電圧が上昇したときに報酬を増やし、ＤＣリンク電圧が低下したときに報酬を減らすのは、ＤＣリンク電圧が低下すると、瞬時電圧低下または停電が発生した時に順変換器１０１が利用できる電力が低下するからである。
【００５８】
また、電源回生量に関するデータを状態変数とした場合、報酬計算部２１は、状態観測部１１により観測された現在の電源回生量が、当該現在の電源回生量よりも前に状態観測部１１により観測された電源回生量よりも小さいとき（すなわち電源回生量が減少したとき）は報酬を増やし、当該現在の電源回生量よりも前に状態観測部１１により観測された電源回生量よりも大きいとき（すなわち電源回生量が増加したとき）は報酬を減らすようにする。このように、電源回生量が減少したときに報酬を増やし、電源回生量が増加したときに報酬を減らすのは、順変換器が電源回生を行うとスイッチングロスにより半導体スイッチング素子が発熱するので、電源回生量が多いほど、順変換器による電源回生動作の効率が悪くなるからである。
【００５９】
また、過電圧アラームの発生の有無に関するデータを状態変数とした場合、報酬計算部２１は、状態観測部１１により過電圧アラームの発生無しを観測したときは報酬を増やし、状態観測部１１により過電圧アラームの発生有りを観測したときは報酬を減らすようにする。このように過電圧アラームが発生したときに報酬を減らすのは、ＤＣリンク電圧が過電圧になると、順変換器および逆変換器内の各素子ならびにＤＣリンクコンデンサが破壊される可能性があるからである。
【００６０】
学習部１２内の関数更新部２２は、報酬計算部２１によって算出された報酬に基づいて、電源回生開始電圧および電源回生停止電圧を変更するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓt，ａt）を電源回生開始電圧および電源回生停止電圧を変更するための関数として用いる。
【００６１】
意思決定部１３は、学習部１２が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、電源回生開始電圧および電源回生停止電圧を決定する。本実施例では、一例として学習アルゴリズムとして強化学習を用いているので、学習部１２内の報酬計算部２１によって算出された報酬に基づいて学習部１２内の関数更新部２２は電源回生開始電圧および電源回生停止電圧を変更するための関数を更新し、意思決定部１３は、更新された関数に基づき、報酬が最も多く得られる電源回生開始電圧および電源回生停止電圧を選択する。
【００６２】
順変換器用電力変換動作制御部１４は、交流電源１０３側の交流電力とＤＣリンク側の直流電力とを相互に変換する順変換器１０１の電力変換動作を制御する。順変換器用電力変換動作制御部１４は、基本的な動作として交流電源１０３側から供給された交流電力を直流電力に変換して直流側へ出力するよう順変換器１０１へ指令するが、直流電圧測定部３１が測定したＤＣリンク電圧に応じて、順変換器１０１に対して電力回生動作を行うよう指令する。より具体的には、順変換器用電力変換動作制御部１４は、ＤＣリンク電圧が上昇して電源回生開始電圧を上回ったとき順変換器１０１に対して電源回生動作の開始を指令し、順変換器が電源回生動作を開始した後は、ＤＣリンク電圧が下降して電源回生停止電圧を下回ったとき順変換器に対して電源回生動作の停止を指令する。順変換器用電力変換動作制御部１４による処理に用いられる電源回生開始電圧および電源回生停止電圧は、上述したように意思決定部１３が決定したものである。順変換器１０１がＰＷＭ制御方式の整流器である場合、上記各指令は、順変換器１０１内のスイッチング素子のスイッチング動作をＰＷＭ制御するためのＰＷＭ制御信号として生成される。
【００６３】
逆変換器用電力変換動作制御部４１は、ＤＣリンク側の直流電力と交流モータ側の交流電力とを相互に変換する逆変換器１０２の電力変換動作を制御する。すなわち、逆変換器用電力変換動作制御部４１は、モータ１０４の動作プログラム、逆変換器１０２の交流モータ側の交流電流もしくは交流電圧および／またはモータ１０４の回転速度などを用いて、モータ１０４の速度、トルク、もしくは回転子の位置を制御するための駆動指令として、交流電力を直流電力に変換する力行動作（順変換動作）および直流電力を交流電力に変換する回生動作（逆変換動作）のいずれかを逆変換器１０２に対して指令する。逆変換器１０２がＰＷＭ制御方式のインバータである場合、上記各指令は、逆変換器１０２内のスイッチング素子のスイッチング動作をＰＷＭ制御するためのＰＷＭ制御信号として生成される。
【００６４】
統括制御部５１は、順変換器用電力変換動作制御部１４および逆変換器用電力変換動作制御部４１を統括制御する。
【００６５】
図６は、本発明の実施例による、強化学習を用いた機械学習装置の動作フローを示すフローチャートである。
【００６６】
一般に、強化学習では行動の初期値はランダムに選択される。本発明の実施例では、ステップＳ２０１において、行動である電源回生開始電圧および電源回生停止電圧の初期値をランダムに選択する。ただし、電源回生開始電圧は電源回生停止電圧よりも高い値でなければならない。
【００６７】
ステップＳ２０２では、モータ制御装置１０００の統括制御部５１は、順変換器用電力変換動作制御部１４および逆変換器用電力変換動作制御部４１に対し、モータ１０４の駆動に関する指令を行う。具体的には、順変換器１０１は、順変換器用電力変換動作制御部１４から受信した指令に応じて、交流電源１０３側から供給された交流電力を直流電力に変換して直流側へ出力する。逆変換器１０２は、逆変換器用電力変換動作制御部４１から受信したモータ駆動指令に従い、交流電力を直流電力に変換する力行動作（順変換動作）および直流電力を交流電力に変換する回生動作（逆変換動作）のいずれかを行う。これによりモータ１０４は加速動作、定速動作もしく減速動作をすることになる。
【００６８】
ステップＳ２０３において、状態観測部１１は、訓練データセットとして、ＤＣリンク電圧の値に関するデータと、順変換器１０１による電源回生動作によりＤＣリンク側から交流電源１０３側へ戻された電力量である電源回生量に関するデータと、ＤＣリンク電圧が予め設定された過電圧アラームレベルを超えたことを示す過電圧アラームの発生の有無に関するデータとから構成される状態変数を観測する。なお、本実施例では、一例としてこれら３つのデータを状態変数としたが、これら３つのデータのうち少なくとも１つを状態変数とすればよい。
【００６９】
ステップＳ２０４において、状態観測部１１は、ＤＣリンク電圧が上昇したか否かを観測し、ＤＣリンク電圧が上昇した場合、すなわち観測した現在のＤＣリンク電圧が当該現在のＤＣリンク電圧よりも前に測定したＤＣリンク電圧よりも高い場合は、ステップＳ２０５において、報酬計算部２１は報酬を増やす。また、ＤＣリンク電圧が低下した場合、すなわち観測した現在のＤＣリンク電圧が当該現在のＤＣリンク電圧よりも前に観測したＤＣリンク電圧よりも低い場合は、ステップＳ２０６において、報酬計算部２１は報酬を減らす。
【００７０】
ステップＳ２０７において、状態観測部１１は、順変換器１１による電源回生量が増加したか否かを観測し、電源回生量が増加した場合、すなわち観測した現在の電源回生量が当該現在の電源回生量よりも前に観測した電源回生量よりも大きい場合、ステップＳ２０８において、報酬計算部２１は報酬を減らす。また、電源回生量が減少した場合、すなわち観測した現在の電源回生量が当該現在の電源回生量よりも前に観測した電源回生量よりも小さい場合は、ステップＳ２０９において、報酬計算部２１は報酬を増やす。
【００７１】
ステップＳ２１０において、状態観測部１１は、過電圧アラームが発生したか否かを観測し、過電圧アラームの発生有りを観測した場合、ステップＳ２１１において、報酬計算部２１は報酬を減らす。また、過電圧アラームの発生無しを観測した場合、ステップＳ２１２において、報酬計算部２１は報酬を減らす。
【００７２】
なお、上述のステップＳ２０４〜Ｓ２０６の処理と、ステップＳ２０７〜Ｓ２０９の処理と、ステップＳ２１０〜Ｓ２１２の処理は任意に入れ替えて実行してもよい。
【００７３】
ステップＳ２１３では、関数更新部２２は、報酬計算部２１によって算出された報酬に基づいて、電源回生開始電圧および電源回生停止電圧を変更するための関数を更新する。
【００７４】
続くステップＳ２１４では、意思決定部１３は、ステップＳ２１３において更新された関数に基づき、報酬が最も多く得られる電源回生開始電圧および電源回生停止電圧を選択する。その後、ステップＳ２０２へ戻り、これ以降、ステップＳ２０２〜Ｓ２１４の処理が繰り返し実行される。これにより、機械学習装置１は、順変換器１０１の効率的な電源回生動作を実現することができる電源回生動作に関連付けられる条件としての電源回生開始電圧および電源回生停止電圧を学習していく。なお、訓練データセットを、複数の順変換器１０１から取得してもよく、この場合、学習部１２は、複数の順変換器１０１に対して取得される訓練データセットに従って、ステップＳ２０１〜Ｓ２１４の処理を繰り返し実行し、電源回生開始電圧および電源回生停止電圧を学習していく。複数の順変換器１０１に対して訓練データセットが取得されると機械学習装置１の学習精度は向上する。
【００７５】
なお、上述した状態観測部１１、学習部１２、および意思決定部１３は、例えばソフトウェアプログラム形式で構築されてもよく、あるいは各種電子回路とソフトウェアプログラムとの組み合わせで構築されてもよい。例えばこれらをソフトウェアプログラム形式で構築する場合は、モータ制御装置１０００内にある演算処理装置をこのソフトウェアプログラムに従って動作させることで上述の各部の機能が実現される。またあるいは、状態観測部１１および学習部１２を備える機械学習装置１を、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路として実現してもよい。またあるいは、状態観測部１１および学習部１２を備える機械学習装置１のみならず意思決定部１３も含めた形で、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を実現してもよい。
【００７６】
また、本発明による機械学習処理は、モータ制御装置１０００がモータの駆動制御のために本来的に備える直流電圧測定部３１、電源回生量測定部３２および過電圧アラーム受信部３３により測定された各種データを用いて実行されるので、従来技術のように新たなハードウェア装置を設ける必要がないことから、既存のモータ制御装置にも後付けで適用することも可能である。この場合、機械学習装置１や意思決定部１３の各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を当該既存のモータ制御装置に組み込んだり、機械学習装置１や意思決定部１３の各部の機能を実現するソフトウェアプログラムそのものを当該既存のモータ制御装置内の演算処理装置に追加的にインストールすればよい。また、あるモータ制御装置に関して電源回生開始電圧および電源回生停止電圧を学習した機械学習装置１を、これとは別のモータ制御装置に取り付け、当該別のモータ駆動装置に関して電源回生開始電圧および電源回生停止電圧を再学習して更新するようにしてもよい。
【符号の説明】
【００７７】
１    機械学習装置
１１    状態観測部
１２    学習部
１３    意思決定部
１４    順変換器用電力変換動作制御部
２１    報酬計算部
２２    関数更新部
３１    直流電圧測定部
３２    電源回生量測定部
３３    過電圧アラーム受信部
４１    逆変換器用電力変換動作制御部
１０１    順変換器
１０２    逆変換器
１０３    交流電源
１０４    モータ
１０５    ＤＣリンクコンデンサ
１０００    モータ制御装置
【要約】
【課題】モータ駆動用の交流電力の生成に用いるＤＣリンクにおける直流電力を、交流電源側の交流電力から変換して生成する順変換器の、ＤＣリンク側の直流電力を交流電力に変換して交流電源側へ戻す電源回生動作を効率よく行うことができるモータ駆動装置、順変換器の制御装置、および機械学習装置を実現する。
【解決手段】機械学習装置１は、ＤＣリンクの直流電圧の値に関するデータと、順変換器１０１による電源回生動作によりＤＣリンク側から交流電源側へ戻された電力量である電源回生量に関するデータと、ＤＣリンクの直流電圧が予め設定された過電圧アラームレベルを超えたことを示す過電圧アラームの発生の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部１１と、状態変数によって構成される訓練データセットに従って、順変換器１０１による電源回生動作に関連付けられる条件を学習する学習部１２とを備える。
【選択図】図１【図１】
0005956662.tif 000003
【図２】
0005956662.tif 000004
【図３】
0005956662.tif 000005
【図４】
0005956662.tif 000006
【図５】
0005956662.tif 000007
【図６】
0005956662.tif 000008
【図７】
0005956662.tif 000009