(57)【要約】【課題】磁束制御器のゲインおよび磁束推定器の時定数の最適化を自動で行うことができるモータ制御装置、ならびにこのモータ制御装置に用いられる機械学習装置およびその方法を実現する。【解決手段】モータ制御装置１０００における磁束制御器５１のゲインおよび磁束推定器５２の時定数に関連付けられる条件を学習する機械学習装置１は、モータ１０４の加速度に関するデータと、モータ１０４の加加速度に関するデータと、モータ１０４の加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部１１と、状態変数によって構成される訓練データセットに従って、磁束制御器５１のゲインおよび磁束推定器５２の時定数に関連付けられる条件を学習する学習部１２とを備える。【選択図】図１
2017034845.tif 000002
【特許請求の範囲】
【請求項１】
モータ制御装置における磁束制御器のゲインおよび磁束推定器の時定数に関連付けられる条件を学習する機械学習装置であって、
モータの加速度に関するデータと、モータの加加速度に関するデータと、モータの加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、
前記状態変数によって構成される訓練データセットに従って、前記磁束制御器のゲインおよび前記磁束推定器の時定数に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。
【請求項２】
前記学習部は、
前記状態変数に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、前記磁束制御器のゲインおよび前記磁束推定器の時定数を変更するための関数を更新する関数更新部と、
を備える請求項１に記載の機械学習装置。
【請求項３】
前記報酬計算部は、モータの加速期間もしくは減速期間中に前記状態観測部により観測されたモータの加速度の極性が変化したときは報酬を減らす請求項２に記載の機械学習装置。
【請求項４】
前記報酬計算部は、モータの加速期間もしくは減速期間中に前記状態観測部により観測されたモータの加加速度の極性が変化した回数が所定値以上のときは報酬を減らす請求項２に記載の機械学習装置。
【請求項５】
前記報酬計算部は、モータの加速期間もしくは減速期間中に前記状態観測部により観測されたモータの加速時間が、現在の前記加速期間もしくは前記減速期間よりも前の加速期間もしくは減速期間中に前記状態観測部により観測されたモータの加速時間よりも短いとき、報酬を増やす請求項２に記載の機械学習装置。
【請求項６】
前記学習部は、複数のモータ制御装置に対して取得される前記訓練データセットに従って、前記条件を学習するように構成される請求項１〜５のいずれか一項に記載の機械学習装置。
【請求項７】
請求項１〜６のいずれか一項に記載の学習機械装置を備えたモータ制御装置であって、
前記磁束制御器と、前記磁束推定器と、を有するモータ制御部と、
モータの速度を検出する速度検出部と、
前記速度検出部により検出されたモータの速度から加速度を計算する加速度計算部と、
前記加速度計算部により算出されたモータの加速度から加加速度を計算する加加速度計算部と、
モータの加速時間を測定する加速時間測定部と、
前記学習部が前記訓練データセットに従って学習した結果に基づいて、現在の前記状態変数の入力に応答して、前記磁束制御器のゲインおよび前記磁束推定器の時定数を決定する意思決定部と、
をさらに備えることを特徴とするモータ制御装置。
【請求項８】
前記学習部は、前記現在の状態変数によって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される請求項７に記載のモータ制御装置。
【請求項９】
モータ制御装置における磁束制御器のゲインおよび磁束推定器の時定数に関連付けられる条件を学習する機械学習方法であって、
モータの加速度に関するデータと、モータの加加速度に関するデータと、モータの加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測ステップと、
前記状態変数によって構成される訓練データセットに従って、前記磁束制御器のゲインおよび前記磁束推定器の時定数に関連付けられる条件を学習する学習ステップと、
を備えることを特徴とする機械学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、磁束制御器を有するモータ制御装置、ならびに機械学習装置およびその方法に関する。
【背景技術】
【０００２】
モータを駆動制御するために用いられるモータ制御装置として、入力された速度指令に基づいて誘導電動機の磁束の状態を磁束推定器により推定し、磁束制御器により磁束を制御するものがある（例えば、特許文献１参照。）。
【０００３】
誘導電動機（以下、単に「モータ」と称する。）における磁束の大きさは、定常状態においては、磁束を作るための電流である励磁電流に比例した値となるが、モータの加減速時などにおいて磁束の大きさを変化させる場合には、励磁電流の変化に対し、モータの回路定数で決まる時定数分遅れて変化する。この遅れ分を考慮しないで電流制御を行うと、モータの加減速時に磁束が変化する際に、トルクが不連続に変化することで、速度波形に、うねりが生じる過渡現象が発生する場合がある。
【０００４】
上記問題を解消することを目的として、励磁電流または励磁電流指令と上記時定数をもとに磁束量を推定し、その推定値ができるだけ早く磁束指令値に追従するように追従励磁電流指令を制御する磁束制御器が、モータ制御装置に組み込まれる。ここで、励磁電流に対する磁束変化の遅れの時定数はモータ回路定数で決まる値であるが、実際のモータでは、設計通りの時定数にならない場合があるため、磁束推定器の時定数は実機に合わせた調整が必要な場合がある。また、磁束制御器のゲインを高くすることで、磁束指令に対する実磁束の追従性を高めることが可能だが、ゲインが高すぎると電流制御が不安定になる  。このため、磁束推定器の時定数および磁束制御器のゲインを適切な値に調整することが望まれる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−６６３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
磁束制御器のゲインおよび磁束推定器の時定数の各パラメータは、モータ制御装置に所定の速度指令（例えばステップ入力）を入力したときの加減速時のモータの速度波形を作業者が自ら観測してその良否に基づいて決定していたため、最適なパラメータ決定に時間と手間を要していた。
【０００７】
従って本発明の目的は、上記問題に鑑み、磁束制御器のゲインおよび磁束推定器の時定数の最適化を自動で行うことができるモータ制御装置、ならびにこのモータ制御装置に用いられる機械学習装置およびその方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を実現するために、本発明においては、モータ制御装置における磁束制御器のゲインおよび磁束推定器の時定数に関連付けられる条件を学習する機械学習装置は、モータの加速度に関するデータと、モータの加加速度に関するデータと、モータの加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、磁束制御器のゲインおよび磁束推定器の時定数に関連付けられる条件を学習する学習部と、を備える。
【０００９】
ここで、学習部は、状態変数に基づいて報酬を計算する報酬計算部と、報酬に基づいて、磁束制御器のゲインおよび磁束推定器の時定数を変更するための関数を更新する関数更新部と、を備えてもよい。
【００１０】
また、報酬計算部は、モータの加速期間もしくは減速期間中に状態観測部により観測されたモータの加速度の極性が変化したときは報酬を減らすようにしてもよい。
【００１１】
また、報酬計算部は、モータの加速期間もしくは減速期間中に状態観測部により観測されたモータの加加速度の極性が変化した回数が所定値以上のときは報酬を減らすようにしてもよい。
【００１２】
また、報酬計算部は、モータの加速期間もしくは減速期間中に状態観測部により観測されたモータの加速時間が、現在の加速期間もしくは減速期間よりも前の加速期間もしくは減速期間中に状態観測部により観測されたモータの加速時間よりも短いとき、報酬を増やすようにしてもよい。
【００１３】
学習部は、複数のモータ制御装置に対して取得される訓練データセットに従って、前記条件を学習するように構成されてもよい。
【００１４】
また、上述の学習機械装置を備えたモータ制御装置は、磁束制御器と磁束推定器とを有するモータ制御部と、モータの速度を検出する速度検出部と、速度検出部により検出されたモータの速度から加速度を計算する加速度計算部と、加速度計算部により算出されたモータの加速度から加加速度を計算する加加速度計算部と、モータの加速時間を測定する加速時間測定部と、学習部が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、磁束制御器のゲインおよび磁束推定器の時定数を決定する意思決定部と、をさらに備える。
【００１５】
ここで、学習部は、現在の状態変数によって構成される追加の訓練データセットに従って、条件を再学習して更新するように構成されてもよい。
【００１６】
また、モータ制御装置における磁束制御器のゲインおよび磁束推定器の時定数に関連付けられる条件を学習する機械学習方法は、モータの加速度に関するデータと、モータの加加速度に関するデータと、モータの加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測ステップと、状態変数によって構成される訓練データセットに従って、磁束制御器のゲインおよび磁束推定器の時定数に関連付けられる条件を学習する学習ステップと、を備える。
【発明の効果】
【００１７】
本発明によれば、磁束制御器のゲインおよび磁束推定器の時定数の最適化を自動で行うことができるモータ制御装置、ならびにこのモータ制御装置に用いられる機械学習装置およびその方法を実現することができる。
【００１８】
本発明によれば、モータ制御装置が動作している状態において、機械学習装置が磁束制御器のゲインおよび磁束推定器の時定数が最適値になるよう自ら学習して調整していくの、作業者によるおパラメータ調整作業は不要となり、したがってパラメータ調整のための工数を削減することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施例による機械学習装置の原理ブロック図である。
【図２】本発明の実施例による機械学習方法の動作原理を示すフローチャートである。
【図３】本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。
【図４】本発明の実施例による、強化学習を用いた機械学習方法の原理を示すフローチャートである。
【図５】本発明の実施例による機械学習装置を備えるモータ制御装置を示す原理ブロック図である。
【図６】図５のモータ制御装置内のモータ制御部を示す原理ブロック図である。
【図７】図６のモータ制御部内における磁束制御部を示す原理ブロック図であって、（Ａ）は磁束制御部を示し、（Ｂ）は磁束制御部内の磁束推定器を示す。
【図８】報酬計算部による報酬計算処理を説明する図であって、（Ａ）はステップ状の速度指令が与えられたときの理想的な速度波形を例示し、（Ｂ）は最適化される前の磁束制御器のゲインの下でステップ状の速度指令が与えられたときに観測される速度波形を例示する。
【図９】報酬計算部による報酬計算処理を説明する図であって、（Ａ）はステップ状の速度指令が与えられたときの理想的な速度波形を例示し、（Ｂ）は最適化される前の磁束推定器の時定数の下でステップ状の速度指令が与えられたときに観測される速度波形を例示する。
【図１０】本発明の実施例による、強化学習を用いた機械学習装置の動作フローを示すフローチャートである。
【発明を実施するための形態】
【００２０】
図１は、本発明の実施例による機械学習装置の原理ブロック図である。以降、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。
【００２１】
本発明の実施例による機械学習装置１は、モータ制御装置における磁束制御器のゲインおよび磁束推定器の時定数に関連付けられる条件を学習するものとして構成される。
【００２２】
機械学習装置１は、状態観測部１１と学習部１２とを備える。
【００２３】
状態観測部１１は、訓練データセットとして、モータの加速度に関するデータと、モータの加加速度に関するデータと、モータの加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。
【００２４】
学習部１２は、状態変数によって構成される訓練データセットに従って、磁束制御器のゲインおよび磁束推定器の時定数を学習する。なお、訓練データセットを、複数のモータ制御装置から取得してもよく、この場合、学習部１２は、複数のモータ制御装置に対して取得される訓練データセットに従って、磁束制御器のゲインおよび磁束推定器の時定数を学習する。
【００２５】
図２は、本発明の実施例による機械学習方法の動作原理を示すフローチャートである。モータ制御装置における磁束制御器のゲインおよび磁束推定器の時定数に関連付けられる条件を学習する機械学習方法は、状態観測ステップＳ１０１と、機械学習ステップＳ１０２とを備える。
【００２６】
状態観測ステップＳ１０１は、状態観測部１１により実行されるものであり、すなわち、モータの加速度に関するデータと、モータの加加速度に関するデータと、モータの加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。
【００２７】
機械学習ステップＳ１０２は、学習部１２により実行されるものであり、状態変数によって構成される訓練データセットに従って、磁束制御器のゲインおよび磁束推定器の時定数に関連付けられる条件を学習する。
【００２８】
学習部１２が用いる学習アルゴリズムはどのようなものを用いてもよい。一例として、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ  Ｌｅａｒｎｉｎｇ）を適用した場合について説明する。強化学習は、ある環境内におけるエージェント（行動主体）が、現在の状態を観測し、取るべき行動を決定する、というものである。エージェントは行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）やＴＤ学習（ＴＤ−ｌｅａｒｎｉｎｇ）が知られている。例えば、Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式（行動価値テーブル）は式１で表される。
【００２９】
【数１】
2017034845.tif 000003
【００３０】
式１において、ｓtは時刻ｔにおける環境を表し、ａtは時刻ｔにおける行動を表す。行動ａtにより、環境はｓt+1に変わる。ｒt+1はその環境の変化によってもらえる報酬（ｒｅｗａｒｄ）を表し、γは割引率を表し、αは学習係数を表す。Ｑ学習を適用した場合、磁束制御器のゲインおよび磁束推定器の時定数が行動ａtとなる。
【００３１】
図３は、本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。学習部１２は、報酬計算部２１と関数更新部２２とを備える。報酬計算部２１は、状態変数に基づいて報酬を計算する。関数更新部２２は、報酬に基づいて、磁束制御器のゲインおよび磁束推定器の時定数を変更するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を、行動ａtである磁束制御器のゲインおよび磁束推定器の時定数を変更するための関数として用いる。なお、これら以外の回路構成要素については図１に示す回路構成要素と同様であるので、同一の回路構成要素には同一符号を付して当該回路構成要素についての詳細な説明は省略する。
【００３２】
図４は、本発明の実施例による、強化学習を用いた機械学習方法の原理を示すフローチャートである。
【００３３】
まず、状態観測ステップＳ１０１において、状態観測部１１は、モータの加速度に関するデータと、モータの加加速度に関するデータと、モータの加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。
【００３４】
次いで、報酬計算ステップＳ１０２−１において、報酬計算部２１は、ステップＳ１０１において観測された状態変数に基づいて報酬を計算する。
【００３５】
次いで、関数更新ステップＳ１０２−２において、関数更新部２２は、報酬に基づいて、磁束制御器のゲインおよび磁束推定器の時定数を変更するための関数を更新する。
【００３６】
続いて、上述の機械学習装置を備えるモータ制御装置について説明する。ここでは一例として、学習部の学習アルゴリズムとして強化学習を用いた場合について説明する。
【００３７】
図５は、本発明の実施例による機械学習装置を備えるモータ制御装置を示す原理ブロック図である。図６は、図５のモータ制御装置内のモータ制御部を示す原理ブロック図である。また、図７は、図６のモータ制御部内における磁束制御部を示す原理ブロック図であって、（Ａ）は磁束制御部を示し、（Ｂ）は磁束制御部内の磁束推定器を示す。ここでは、１個のモータ１０４を駆動制御するモータ制御装置１０００について説明する。
【００３８】
モータ制御装置１０００は、その主回路構成として、順変換器１０１と、逆変換器１０２と、ＤＣリンクコンデンサ１０５とを備える。モータ制御装置１０００の三相交流入力側には交流電源１０３が接続され、モータ制御装置１０００の交流モータ側には三相のモータ１０４が接続される。
【００３９】
順変換器１０１は、交流電源１０３側から供給された交流電力を直流電力に変換してＤＣリンクへ出力する。本発明では、用いられる順変換器１０１の実施形態は特に限定されず、例えばダイオード整流器、あるいはＰＷＭ制御方式の整流回路などがある。
【００４０】
逆変換器１０２は、ＤＣリンクに接続され、ＤＣリンクにおける直流電力を交流電力に変換してモータ１０４へ供給するものであるが、一般的には交直双方向に変換可能である電力変換器である。すなわち、逆変換器１０２は、ＤＣリンクの直流電力とモータ１０４の駆動電力もしくは回生電力である交流電力との間で双方向に電力変換することができるものであり、モータ制御部１４から受信したモータ駆動指令に従い、直流電力を交流電力に変換する回生動作（逆変換動作）および交流電力を直流電力に変換する力行動作（順変換動作）のいずれかを行う。具体的には、逆変換器１０２は、ＤＣリンク側から供給される直流電力を、モータ制御部１４から受信したモータ駆動指令に基づき内部のスイッチング素子をスイッチング動作させ、モータ１０４を駆動するための所望の電圧および所望の周波数の三相交流電力に変換する。これにより、モータ１０４は、供給された電圧可変および周波数可変の三相交流電力に基づいて動作することになる。また、モータ１０４の減速時には回生電力が発生するが、この場合はモータ制御部１４から受信したモータ駆動指令に基づき、モータ１０４で発生した交流の回生電力を直流電力へ変換してＤＣリンクへ戻す。逆変換器１０２は、例えばＰＷＭインバータなどのような、スイッチング素子およびこれに逆並列に接続されたダイオードのブリッジ回路からなる。
【００４１】
また、モータ制御装置１０００は、その制御系および測定系として、図３および図４を参照して説明した強化学習を用いた機械学習装置１と、意思決定部１３と、モータ制御部１４と、速度指令入力部１５と、速度検出部３１と、加速度計算部３２と、加加速度計算部３３と、加速時間測定部３４とを備える。
【００４２】
速度検出部３１は、モータ１０４の速度を検出する。
【００４３】
加速度計算部３２は、速度検出部３１が検出した速度からモータ１０４の加速度を計算する。
【００４４】
加加速度計算部３３は、加速度計算部３２により算出されたモータの加速度から加加速度を計算する。
【００４５】
加速時間測定部３４は、モータ１０４の加速時間を測定する。
【００４６】
モータ制御部１４は、速度制御部３５と電流制御部３６とを備える。電流制御部３６内の磁束制御部４２は、加減速等の過渡状態において、モータ１０５の回路特性に合わせて適切な電流制御を行い、トルク指令通りのトルクを発生させるための、磁束制御器５１および磁束推定器５２を有する。モータ制御部１４の詳細な構成については後述する。
【００４７】
学習部１２内の報酬計算部２１は、状態観測部１１により観測された状態変数に基づいて、報酬を計算する。
【００４８】
状態観測部１１は、モータ１０５の加速度に関するデータと、モータ１０４の加加速度に関するデータと、モータ１０４の加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。観測された状態変数は訓練データセットとして学習部１２における学習に用いられる。モータ１０５の加速度は加速度計算部３２により算出され、モータ１０４の加加速度は加加速度計算部３３により計算され、モータ１０４の加速時間の加速時間は加速時間測定部３４により測定される。
【００４９】
学習部１２内の報酬計算部２１は、状態観測部１１により観測された状態変数に基づいて、報酬を計算する。
【００５０】
モータの加速度に関するデータを状態変数とした場合、報酬計算部２１は、モータ１０４の加速期間もしくは減速期間中に状態観測部１１により観測されたモータ１０４の加速度の極性が変化したときは報酬を減らす。加速期間もしくは減速期間中にモータ１０４の極性が変化したときに報酬を減らす理由について、ステップ状の速度指令が与えられた場合を例にとり、図８を参照して説明する。図８は、報酬計算部による報酬計算処理を説明する図であって、（Ａ）はステップ状の速度指令が与えられたときの理想的な速度波形を例示し、（Ｂ）は最適化される前の磁束制御器５１のゲインの下でステップ状の速度指令が与えられたときに観測される速度波形を例示する。理想的には、図８（Ａ）の一点鎖線で示すようなステップ状の速度指令に対しモータ制御部１４に与えられたときに観測される速度波形は実線で示すようなものになるが、しかしながら、磁束制御器５１のゲインが最適化されていない場合は図８（Ｂ）に示すように速度波形（図中、実線で示す。）に一時的な減少が発生する。このような一時的な速度の減少は、加速度波形に置き換えると極性の変化が対応する。このように、モータ１０４の加速期間もしくは減速期間中に加速度の極性が変化したときは、磁束制御器５１のゲインが最適化されていないことを意味することから、本実施例では、報酬を減らす。
【００５１】
モータの加加速度に関するデータを状態変数とした場合、報酬計算部２１は、モータ１０４の加速期間もしくは減速期間中に状態観測部１１により観測されたモータ１０４の加加速度の極性が変化した回数が所定値以上のときは報酬を減らす。加速期間もしくは減速期間中にモータ１０４の加加速度の極性が変化した回数が所定値以上のときは報酬を減らす理由について、ステップ状の速度指令が与えられた場合を例にとり、図９を参照して説明する。図９は、報酬計算部による報酬計算処理を説明する図であって、（Ａ）はステップ状の速度指令が与えられたときの理想的な速度波形を例示し、（Ｂ）は最適化される前の磁束推定器５２の時定数の下でステップ状の速度指令が与えられたときに観測される速度波形を例示する。理想的には、図９（Ａ）の一点鎖線で示すようなステップ状の速度指令に対し、状態観測部１１により観測される速度波形は実線で示すようなものとなるが、しかしながら、磁束推定器５２の時定数が最適化されていない場合は図９（Ｂ）に示すように速度波形（図中、実線で示す。）加速の度合い（すなわち加加速度）が弱まるいわゆる「うねり」が発生する（図示の例では、２回のうねり）。このようなうねりの発生は、加加速度に置き換えると極性の変化が対応する。そこで、本実施例では、モータ１０４の加速期間もしくは減速期間中に加加速度の極性が変化した回数が所定値以上のときは報酬を減らす。上記「所定値」は作業者が任意に設定すればよく、例えば１回でもうねりが発生した場合に報酬を減らしたり、複数回うねりが発生した場合に報酬を減らす、といったようにしてもよい。
【００５２】
モータの加速時間に関するデータを状態変数とした場合、報酬計算部２１は、モータ１０４の加速期間もしくは減速期間中に状態観測部１１により観測されたモータ１０４の加速時間が、現在の加速期間もしくは減速期間よりも前の加速期間もしくは減速期間中において状態観測部１１により観測されたモータの加速時間よりも短いとき（すなわち加速時間が、より短くなったとき）、報酬を増やす。このような場合に報酬を増やすのは、速度指令に追従するのに要する時間が短いほど、用いた磁束制御器５１のゲインおよび磁束推定器５２の時定数が、最適な値に近いということを意味するからである。
【００５３】
学習部１２内の関数更新部２２は、報酬計算部２１によって算出された報酬に基づいて、磁束制御器５１のゲインおよび磁束推定器５２の時定数を変更するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を磁束制御器５１のゲインおよび磁束推定器５２の時定数を変更するための関数として用いる。
【００５４】
意思決定部１３は、学習部１２が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、磁束制御器５１のゲインおよび磁束推定器５２の時定数を決定する。本実施例では、一例として学習アルゴリズムとして強化学習を用いているので、学習部１２内の報酬計算部２１によって算出された報酬に基づいて学習部１２内の関数更新部２２は磁束制御器５１のゲインおよび磁束推定器５２の時定数を変更するための関数を更新し、意思決定部１３は、更新された関数に基づき、報酬が最も多く得られる磁束制御器５１のゲインおよび磁束推定器５２の時定数を選択する。
【００５５】
モータ制御部１４は、意思決定部１３が決定した磁束制御器５１のゲインおよび磁束推定器５２の時定数に基づいて、速度指令入力部１５から入力された速度指令、モータ１０４の動作プログラム、逆変換器１０２の交流モータ側の交流電流もしくは交流電圧および／またはモータ１０４の回転速度などを用いて、モータ１０４の速度、トルク、もしくは回転子の位置を制御するための駆動指令として、交流電力を直流電力に変換する力行動作（順変換動作）および直流電力を交流電力に変換する回生動作（逆変換動作）のいずれかを、逆変換器１０２に対して指令する。モータ制御部１４は、速度制御部３５と電流制御部３６とを備える。
【００５６】
モータ制御部１４内の速度制御部３５は、速度制御器４１を備える。速度制御器４１は、速度指令入力部１５から入力された速度指令と速度検出部３１からフィードバックされたモータ１０４の速度とに基づいてトルク指令を生成する。速度制御器４１は、例えばＰＩ制御を用いてトルク指令を生成する。
【００５７】
モータ制御部１４内の電流制御器３６は、磁束制御部４２と、励磁電流制御器４３と、二相三相変換部４４と、トルク電流指令発生器４５と、トルク電流制御器４６とを備える。
【００５８】
磁束制御部４２は、図７（Ａ）に示すように、トルク指令通りのトルクを発生させるための磁束制御器５１と磁束推定器５２と磁束指令発生器５３とを有し、トルク指令から励磁電流指令を生成する。
【００５９】
磁束制御部４２内の磁束指令発生器５３は、速度制御器４１から入力されたトルク指令から磁束指令を生成する。
【００６０】
磁束制御部４２内の磁束制御器５１は、磁束指令発生器５３で生成された磁束指令と磁束推定器５２による推定処理にて生成された磁束推定値とに基づいて励磁電流指令を生成する。磁束制御器５１は、例えばＰＩ制御器からなり、そのゲインは意思決定部１３により決定される。
【００６１】
磁束制御部４２内の磁束推定器５２は、磁束制御器５１で生成された励磁電流指令から磁束推定値を算出する。磁束推定器５２の時定数は意思決定部１３により決定される。磁束推定器５１は、図７（Ｂ）に示すようにフィルタゲイン６１と遅延回路６２とを備える。フィルタゲイン６１の値は、磁束推定器５２の時定数と制御周期によって決まる。
【００６２】
励磁電流制御器４３は、磁束制御部４２によって生成された励磁電流指令と電流センサ（図示せず）を介して検出されたモータ１０５の励磁電流とに基づいて励磁制御用電圧指令を生成する。励磁電流制御器４３は、例えばＰＩ制御を用いて励磁制御用電圧指令を生成する。
【００６３】
トルク電流指令発生器４５は、トルク指令からトルク電流指令を生成する。
【００６４】
トルク電流制御器４６は、トルク電流指令発生器４５によって生成されたトルク電流指令と電流センサ（図示せず）を介して検出されたモータ１０５のトルク電流とに基づいてトルク制御用電圧指令を生成する。トルク電流制御器４６は、例えばＰＩ制御を用いてトルク制御用電圧指令を生成する。
【００６５】
二相三相変換器４４は、励磁電流制御器４３によって生成された励磁制御用電圧指令およびトルク電流制御器４６によって生成されたトルク制御用電圧指令を、三相の電圧指令に変換する。このようにして得られた三相の電圧指令は、逆変換器１０２内のスイッチング素子を制御するための指令として用いられる。また、二相三相変換器４４は、モータ１０５へ流れる三相電流を二相電流（すなわちｄ軸電流およびｑ軸電流）に変換する。このようにして得られた励磁電流およびトルク電流は、それぞれ励磁電流制御器４３およびトルク電流制御器４６へ入力される。
【００６６】
図１０は、本発明の実施例による、強化学習を用いた機械学習装置の動作フローを示すフローチャートである。
【００６７】
一般に、強化学習では行動の初期値はランダムに選択される。本発明の実施例では、ステップＳ２０１において、行動である磁束制御器５１のゲインおよび磁束推定器５２の時定数をランダムに選択する。
【００６８】
ステップＳ２０２では、モータ制御部１４は、逆変換器１０２に対し、設定された磁束制御器５１のゲインおよび磁束推定器５２の時定数に基づいて、速度指令入力部１５から入力された速度指令、モータ１０４の動作プログラム、逆変換器１０２の交流モータ側の交流電流もしくは交流電圧および／またはモータ１０４の回転速度などを用いて、モータ１０４の速度、トルク、もしくは回転子の位置を制御するための駆動指令として、交流電力を直流電力に変換する力行動作（順変換動作）および直流電力を交流電力に変換する回生動作（逆変換動作）のいずれかを指令する。これによりモータ１０４は駆動することになる。この間、速度検出部３１はモータ１０４の速度を検出し、加速度計算部３２は速度検出部３１が検出した速度からモータ１０４の加速度を計算し、加加速度計算部３３は加速度計算部３２により算出されたモータの加速度から加加速度を計算し、加速時間測定部３４はモータ１０４の加速時間を測定する。
【００６９】
ステップＳ２０３において、状態観測部１１は、モータ１０５の加速度に関するデータと、モータ１０４の加加速度に関するデータと、モータ１０４の加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。なお、本実施例では、一例としてこれら３つのデータを状態変数としたが、これら３つのデータのうち少なくとも１つを状態変数とすればよい。
【００７０】
ステップＳ２０４では、状態観測部１１は、モータの加速度に関するデータに基づき、モータ１０４の加速期間もしくは減速期間中に状態観測部１１により観測されたモータ１０４の加速度の極性が変化したか否かを判別する。状態観測部１１によりモータ１０４の加速度の極性が変化したことが観測されたときは、ステップＳ２０７において報酬計算部２１は報酬を減らす。一方、状態観測部１１によりモータ１０４の加速度の極性が変化したことが観測されなかったときは、ステップＳ２０５へ進む。
【００７１】
ステップＳ２０５では、状態観測部１１は、モータの加加速度に関するデータに基づき、モータ１０４の加速期間もしくは減速期間中に状態観測部１１により観測されたモータ１０４の加加速度の極性が変化した回数が所定値以上であるか否かを判別する。状態観測部１１により観測されたモータ１０４の加加速度の極性が変化した回数が所定値以上のときは、ステップＳ２０７において報酬計算部２１は報酬を減らす。一方、モータ１０４の加加速度の極性が変化した回数が所定値未満のときは、ステップＳ２０６へ進む。
【００７２】
ステップＳ２０６では、状態観測部１１は、モータの加速時間に関するデータに基づき、モータ１０４の加速期間もしくは減速期間中に状態観測部１１により観測されたモータ１０４の加速時間が、現在の加速期間もしくは減速期間よりも前の加速期間もしくは減速期間中において状態観測部１１により観測されたモータの加速時間よりも短いか（すなわち加速時間が、より短いか）否かを判別する。状態観測部１１により加速時間がより短くなったと判定されたときは、ステップＳ２０８において報酬計算部２１は報酬を増やす。一方、加速時間がより短くなったと判定されなかったときはステップＳ２０９へ進む。
【００７３】
なお、Ｓ２０４〜Ｓ２０６の処理は順番を入れ替えて実行してもよい。
【００７４】
ステップＳ２０９では、関数更新部２２は、報酬計算部２１によって算出された報酬に基づいて、磁束制御器５１のゲインおよび磁束推定器５２の時定数を変更するための関数を更新する。
【００７５】
続くステップＳ２１０では、意思決定部１３は、ステップＳ２０９において更新された関数に基づいて、報酬が最も多く得られる磁束制御器５１のゲインおよび磁束推定器５２の時定数を選択する。その後、ステップＳ２０２へ戻り、これ以降、ステップＳ２０２〜Ｓ２１０の処理が繰り返し実行される。これにより、機械学習装置１は、最適なことができる磁束制御器５１のゲインおよび磁束推定器５２の時定数を学習していく。なお、訓練データセットを、複数の順変換器１０１から取得してもよく、この場合、学習部１２は、複数の順変換器１０１に対して取得される訓練データセットに従って、ステップＳ２０１〜Ｓ２１０の処理を繰り返し実行し、磁束制御器５１のゲインおよび磁束推定器５２の時定数を学習していく。複数の順変換器１０１に対して訓練データセットが取得されると機械学習装置１の学習精度は向上する。
【００７６】
なお、上述した状態観測部１１、学習部１２、および意思決定部１３は、例えばソフトウェアプログラム形式で構築されてもよく、あるいは各種電子回路とソフトウェアプログラムとの組み合わせで構築されてもよい。例えばこれらをソフトウェアプログラム形式で構築する場合は、モータ制御装置１０００内にある演算処理装置をこのソフトウェアプログラムに従って動作させることで上述の各部の機能が実現される。またあるいは、状態観測部１１および学習部１２を備える機械学習装置１を、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路として実現してもよい。またあるいは、状態観測部１１および学習部１２を備える機械学習装置１のみならず意思決定部１３も含めた形で、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を実現してもよい。
【００７７】
また、本発明による機械学習処理は、モータ制御装置１０００がモータの駆動制御のために本来的に備える速度検出部３２により測定されたモータの回転速度に関するデータを用いて実行されるので、従来技術のように新たなハードウェア装置を設ける必要がないことから、既存のモータ制御装置にも後付けで適用することも可能である。この場合、機械学習装置１や意思決定部１３の各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を当該既存のモータ制御装置に組み込んだり、機械学習装置１や意思決定部１３の各部の機能を実現するソフトウェアプログラムそのものを当該既存のモータ制御装置内の演算処理装置に追加的にインストールすればよい。また、あるモータ制御装置に関して磁束制御器５１のゲインおよび磁束推定器５２の時定数を学習した機械学習装置１を、これとは別のモータ制御装置に取り付け、当該別のモータ駆動装置に関して磁束制御器５１のゲインおよび磁束推定器５２の時定数を再学習して更新するようにしてもよい。
【符号の説明】
【００７８】
１    機械学習装置
１１    状態観測部
１２    学習部
１３    意思決定部
１４    モータ制御部
１５    速度指令入力部
２１    報酬計算部
２２    関数更新部
３１    速度検出部
３２    加速度計算部
３３    加加速度計算部
３４    加速時間測定部
３５    速度制御部
３６    電流制御部
４１    速度制御器
４２    磁束制御部
４３    励磁電流制御器
４４    二相三相変換部
４５    トルク電流指令発生器
４６    トルク電流制御器
５１    磁束制御器
５２    磁束推定器
５３    磁束指令発生器
６１    フィルタゲイン
６２    遅延回路
１０１    順変換器
１０２    逆変換器
１０３    交流電源
１０４    モータ
１０５    ＤＣリンクコンデンサ
１０００    モータ制御装置
【図１】
2017034845.tif 000004
【図２】
2017034845.tif 000005
【図３】
2017034845.tif 000006
【図４】
2017034845.tif 000007
【図５】
2017034845.tif 000008
【図６】
2017034845.tif 000009
【図７】
2017034845.tif 000010
【図８】
2017034845.tif 000011
【図９】
2017034845.tif 000012
【図１０】
2017034845.tif 000013
【手続補正書】
【提出日】平成28年12月8日(2016.12.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、上述の機械学習装置を備えたモータ制御装置は、磁束制御器と磁束推定器とを有するモータ制御部と、モータの速度を検出する速度検出部と、速度検出部により検出されたモータの速度から加速度を計算する加速度計算部と、加速度計算部により算出されたモータの加速度から加加速度を計算する加加速度計算部と、モータの加速時間を測定する加速時間測定部と、学習部が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、磁束制御器のゲインおよび磁束推定器の時定数を決定する意思決定部と、をさらに備える。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
モータ制御部１４は、速度制御部３５と電流制御部３６とを備える。電流制御部３６内の磁束制御部４２は、加減速等の過渡状態において、モータ１０４の回路特性に合わせて適切な電流制御を行い、トルク指令通りのトルクを発生させるための、磁束制御器５１および磁束推定器５２を有する。モータ制御部１４の詳細な構成については後述する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
状態観測部１１は、モータ１０４の加速度に関するデータと、モータ１０４の加加速度に関するデータと、モータ１０４の加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。観測された状態変数は訓練データセットとして学習部１２における学習に用いられる。モータ１０４の加速度は加速度計算部３２により算出され、モータ１０４の加加速度は加加速度計算部３３により計算され、モータ１０４の加速時間の加速時間は加速時間測定部３４により測定される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
モータの加速度に関するデータを状態変数とした場合、報酬計算部２１は、モータ１０４の加速期間もしくは減速期間中に状態観測部１１により観測されたモータ１０４の加速度の極性が変化したときは報酬を減らす。加速期間もしくは減速期間中にモータ１０４の加速度の極性が変化したときに報酬を減らす理由について、ステップ状の速度指令が与えられた場合を例にとり、図８を参照して説明する。図８は、報酬計算部による報酬計算処理を説明する図であって、（Ａ）はステップ状の速度指令が与えられたときの理想的な速度波形を例示し、（Ｂ）は最適化される前の磁束制御器５１のゲインの下でステップ状の速度指令が与えられたときに観測される速度波形を例示する。理想的には、図８（Ａ）の一点鎖線で示すようなステップ状の速度指令に対しモータ制御部１４に与えられたときに観測される速度波形は実線で示すようなものになるが、しかしながら、磁束制御器５１のゲインが最適化されていない場合は図８（Ｂ）に示すように速度波形（図中、実線で示す。）に一時的な減少が発生する。このような一時的な速度の減少は、加速度波形に置き換えると極性の変化が対応する。このように、モータ１０４の加速期間もしくは減速期間中に加速度の極性が変化したときは、磁束制御器５１のゲインが最適化されていないことを意味することから、本実施例では、報酬を減らす。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
モータ制御部１４内の電流制御器３６は、磁束制御部４２と、励磁電流制御器４３と、二相三相変換器４４と、トルク電流指令発生器４５と、トルク電流制御器４６とを備える。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
磁束制御部４２内の磁束推定器５２は、磁束制御器５１で生成された励磁電流指令から磁束推定値を算出する。磁束推定器５２の時定数は意思決定部１３により決定される。磁束推定器５２は、図７（Ｂ）に示すようにフィルタゲイン６１と遅延回路６２とを備える。フィルタゲイン６１の値は、磁束推定器５２の時定数と制御周期によって決まる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
励磁電流制御器４３は、磁束制御部４２によって生成された励磁電流指令と電流センサ（図示せず）を介して検出されたモータ１０４の励磁電流とに基づいて励磁制御用電圧指令を生成する。励磁電流制御器４３は、例えばＰＩ制御を用いて励磁制御用電圧指令を生成する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
トルク電流制御器４６は、トルク電流指令発生器４５によって生成されたトルク電流指令と電流センサ（図示せず）を介して検出されたモータ１０４のトルク電流とに基づいてトルク制御用電圧指令を生成する。トルク電流制御器４６は、例えばＰＩ制御を用いてトルク制御用電圧指令を生成する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
二相三相変換器４４は、励磁電流制御器４３によって生成された励磁制御用電圧指令およびトルク電流制御器４６によって生成されたトルク制御用電圧指令を、三相の電圧指令に変換する。このようにして得られた三相の電圧指令は、逆変換器１０２内のスイッチング素子を制御するための指令として用いられる。また、二相三相変換器４４は、モータ１０４へ流れる三相電流を二相電流（すなわちｄ軸電流およびｑ軸電流）に変換する。このようにして得られた励磁電流およびトルク電流は、それぞれ励磁電流制御器４３およびトルク電流制御器４６へ入力される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
ステップＳ２０３において、状態観測部１１は、モータ１０４の加速度に関するデータと、モータ１０４の加加速度に関するデータと、モータ１０４の加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。なお、本実施例では、一例としてこれら３つのデータを状態変数としたが、これら３つのデータのうち少なくとも１つを状態変数とすればよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
また、本発明による機械学習処理は、モータ制御装置１０００がモータの駆動制御のために本来的に備える速度検出部３２により測定されたモータの回転速度に関するデータを用いて実行されるので、従来技術のように新たなハードウェア装置を設ける必要がないことから、既存のモータ制御装置にも後付けで適用することも可能である。この場合、機械学習装置１や意思決定部１３の各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を当該既存のモータ制御装置に組み込んだり、機械学習装置１や意思決定部１３の各部の機能を実現するソフトウェアプログラムそのものを当該既存のモータ制御装置内の演算処理装置に追加的にインストールすればよい。また、あるモータ制御装置に関して磁束制御器５１のゲインおよび磁束推定器５２の時定数を学習した機械学習装置１を、これとは別のモータ制御装置に取り付け、当該別のモータ制御装置に関して磁束制御器５１のゲインおよび磁束推定器５２の時定数を再学習して更新するようにしてもよい。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
１    機械学習装置
１１    状態観測部
１２    学習部
１３    意思決定部
１４    モータ制御部
１５    速度指令入力部
２１    報酬計算部
２２    関数更新部
３１    速度検出部
３２    加速度計算部
３３    加加速度計算部
３４    加速時間測定部
３５    速度制御部
３６    電流制御部
４１    速度制御器
４２    磁束制御部
４３    励磁電流制御器
４４    二相三相変換器
４５    トルク電流指令発生器
４６    トルク電流制御器
５１    磁束制御器
５２    磁束推定器
５３    磁束指令発生器
６１    フィルタゲイン
６２    遅延回路
１０１    順変換器
１０２    逆変換器
１０３    交流電源
１０４    モータ
１０５    ＤＣリンクコンデンサ
１０００    モータ制御装置
【手続補正１３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
モータ制御装置における磁束制御器のゲインおよび磁束推定器の時定数に関連付けられる条件を学習する機械学習装置であって、
モータの加速度に関するデータと、モータの加加速度に関するデータと、モータの加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、
前記状態変数によって構成される訓練データセットに従って、前記磁束制御器のゲインおよび前記磁束推定器の時定数に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。
【請求項２】
前記学習部は、
前記状態変数に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、前記磁束制御器のゲインおよび前記磁束推定器の時定数を変更するための関数を更新する関数更新部と、
を備える請求項１に記載の機械学習装置。
【請求項３】
前記報酬計算部は、モータの加速期間もしくは減速期間中に前記状態観測部により観測されたモータの加速度の極性が変化したときは報酬を減らす請求項２に記載の機械学習装置。
【請求項４】
前記報酬計算部は、モータの加速期間もしくは減速期間中に前記状態観測部により観測されたモータの加加速度の極性が変化した回数が所定値以上のときは報酬を減らす請求項２に記載の機械学習装置。
【請求項５】
前記報酬計算部は、モータの加速期間もしくは減速期間中に前記状態観測部により観測されたモータの加速時間が、現在の前記加速期間もしくは前記減速期間よりも前の加速期間もしくは減速期間中に前記状態観測部により観測されたモータの加速時間よりも短いとき、報酬を増やす請求項２に記載の機械学習装置。
【請求項６】
前記学習部は、複数のモータ制御装置に対して取得される前記訓練データセットに従って、前記条件を学習するように構成される請求項１〜５のいずれか一項に記載の機械学習装置。
【請求項７】
請求項１〜６のいずれか一項に記載の機械学習装置を備えたモータ制御装置であって、
前記磁束制御器と、前記磁束推定器と、を有するモータ制御部と、
モータの速度を検出する速度検出部と、
前記速度検出部により検出されたモータの速度から加速度を計算する加速度計算部と、
前記加速度計算部により算出されたモータの加速度から加加速度を計算する加加速度計算部と、
モータの加速時間を測定する加速時間測定部と、
前記学習部が前記訓練データセットに従って学習した結果に基づいて、現在の前記状態変数の入力に応答して、前記磁束制御器のゲインおよび前記磁束推定器の時定数を決定する意思決定部と、
をさらに備えることを特徴とするモータ制御装置。
【請求項８】
前記学習部は、前記現在の状態変数によって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される請求項７に記載のモータ制御装置。
【請求項９】
モータ制御装置における磁束制御器のゲインおよび磁束推定器の時定数に関連付けられる条件を学習する機械学習方法であって、
モータの加速度に関するデータと、モータの加加速度に関するデータと、モータの加速時間に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測ステップと、
前記状態変数によって構成される訓練データセットに従って、前記磁束制御器のゲインおよび前記磁束推定器の時定数に関連付けられる条件を学習する学習ステップと、
を備えることを特徴とする機械学習方法。
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2017034845.tif 000014
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2017034845.tif 000015