(57)【要約】【課題】本発明は、機械学習によって、電流ゲインパラメータを最適化することによる、モータの応答性の向上、送りムラの改善、及び精度の向上を目的とする。【解決手段】本発明の一実施例に係る機械学習装置は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する実電流のオーバシュート量、アンダーシュート量、及び立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する学習部と、を備えることを特徴とする。【選択図】図３
2017034844.tif 000002
【特許請求の範囲】
【請求項１】
電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、
電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する前記実電流のオーバシュート量、アンダーシュート量、及び立ち上がり時間のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測する状態観測部と、
前記状態変数によって構成される訓練データセットに従って、前記電流ゲインパラメータの調整に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。
【請求項２】
電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、
電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する前記実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測する状態観測部と、
前記状態変数によって構成される訓練データセットに従って、前記電流ゲインパラメータの調整に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。
【請求項３】
前記学習部が、複数の電動機に対して取得される前記訓練データセットに従って、前記条件を学習するように構成される、請求項１または２に記載の機械学習装置。
【請求項４】
前記オーバシュート量、前記アンダーシュート量、及び立ち上がり時間に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、現在の状態変数から電流ゲインパラメータを調整するための関数を更新する関数更新部と、
をさらに備える、請求項１に記載の機械学習装置。
【請求項５】
前記振幅比、前記位相遅れ量に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、現在の状態変数から電流ゲインパラメータを調整するための関数を更新する関数更新部と、
をさらに備える、請求項２に記載の機械学習装置。
【請求項６】
請求項４または５に記載の機械学習装置であって、
前記報酬計算部は、更に電流の発振に対する余裕に基づいて報酬を計算する、機械学習装置。
【請求項７】
請求項４乃至６のいずれか一項に記載の機械学習装置であって、
前記報酬計算部は、更に前記積分ゲイン関数の傾き及び比例ゲイン関数の傾きに基づいて報酬を計算する、機械学習装置。
【請求項８】
請求項４乃至７のいずれか一項に記載の機械学習装置であって、
前記関数更新部はＱ学習を用いて強化学習を行い、Ｑ学習における行動価値の初期値は、電動機の巻線抵抗値、及びインダクタンス値から計算する、機械学習装置。
【請求項９】
請求項４乃至８のいずれか一項に記載の機械学習装置であって、
前記関数更新部はＱ学習を用いて強化学習を行い、Ｑ学習における行動価値の更新には深層学習を用いる、機械学習装置。
【請求項１０】
請求項１乃至９のいずれか一項に記載の機械学習装置及び電動機制御部を有する電動機制御装置であって、
前記電動機制御部が、トルク指令を入力するトルク指令入力部を備え、
前記機械学習装置が、前記学習部が前記訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、前記積分ゲイン関数及び前記比例ゲイン関数の変更を決定する意思決定部を備える、電動機制御装置。
【請求項１１】
前記学習部は、前記現在の状態変数及び変更された前記積分ゲイン関数及び前記比例ゲイン関数の組合せによって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される、請求項１０に記載の電動機制御装置。
【請求項１２】
前記機械学習装置がネットワークを介して前記電動機制御部に接続され、
前記状態観測部は、前記ネットワークを介して、前記現在の状態変数を取得するように構成される、請求項１０又は１１に記載の電動機制御装置。
【請求項１３】
前記機械学習装置がクラウドサーバに存在する、請求項１２に記載の電動機制御装置。
【請求項１４】
前記機械学習装置が、前記電動機制御部に内蔵されている、請求項１０乃至１３のいずれか一項に記載の電動機制御装置。
【請求項１５】
電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、
電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する前記実電流のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測し、
前記状態変数によって構成される訓練データセットに従って、前記電流ゲインパラメータの調整に関連付けられる条件を学習する、
ことを含むことを特徴とする機械学習方法。
【請求項１６】
電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、
電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する前記実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測し、
前記状態変数によって構成される訓練データセットに従って、前記電流ゲインパラメータの調整に関連付けられる条件を学習する、
ことを含むことを特徴とする機械学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習装置、電動機制御装置、及び機械学習方法に関し、特に、電動機制御における電流ゲインパラメータの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法に関する。
【背景技術】
【０００２】
電動機をインバータで可変速制御する場合の電流制御系として、ＰＩ（比例・積分）制御が知られており、その調整項目として比例ゲイン関数と比例ゲイン関数とがある（例えば、特許文献１）。
【０００３】
特許文献１に記載の電流制御ゲイン調整方法は、ＰＩ制御の比例ゲインの調整であって、単相交流の電流指令信号と、電流検出信号の波形を比較して電流検出信号波形の遅れ位相又は遅れ時間を計測し、予め設定した目標遅れ位相又は遅れ時間に対して検出遅れが大きいか否かを判定して検出遅れが大きいときは比例ゲインを増大し、小さいときは比例ゲインを減少する調整を行なうようにしている。
【０００４】
従来技術においては、物理定数等から適正な電流ゲインパラメータを計算して設定している。また、従来技術においては、電流によりインダクタンスが変動する等の理由により、最適値と計算値には差分（ズレ）が多少なりとも存在していた。そのため、パラメータを変えながらステップ応答、あるいは周波数応答を見て人が微調整していた。
【０００５】
このような従来技術は最適とは言い難く、また、調整に時間や手間（人手）がかかるという問題があった。さらに、モータの物理定数には個体差があるため、真に最適なパラメータも個体によって異なり、個体ごとのパラメータの最適化は、なお一層手間がかかり現実的ではないという問題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−１８４７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、機械学習によって、電流ゲインパラメータを最適化することによって、モータの応答性の向上、送りムラの改善、及び精度の向上が可能な機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一実施例に係る機械学習装置は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する実電流のオーバシュート量、アンダーシュート量、及び立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する学習部と、を備えることを特徴とする。
【０００９】
本発明の他の実施例に係る機械学習装置は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する学習部と、を備えることを特徴とする。
【００１０】
本発明の一実施例に係る電動機制御装置は、上記機械学習装置及び電動機制御部を有する電動機制御装置であって、電動機制御部が、トルク指令を入力するトルク指令入力部を備え、学習部が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、積分ゲイン関数及び比例ゲイン関数の変更を決定する意思決定部をさらに備えることを特徴とする。
【００１１】
本発明の一実施例に係る機械学習方法は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する実電流のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習することを含むことを特徴とする。
【００１２】
本発明の他の実施例に係る機械学習方法は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する、ことを含むことを特徴とする
【発明の効果】
【００１３】
本発明によれば、機械学習によって、電流ゲインパラメータを最適化することによって、モータの応答性の向上、送りムラの改善、及び精度の向上が可能な機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施例に係る機械学習装置の構成図である。
【図２】電流ゲインを調整しない場合と調整した場合における電流の時間的変化を表すグラフである。
【図３】本発明の実施例に係る電動機制御装置の構成図である。
【図４】電流ゲインパラメータ（積分ゲイン,比例ゲイン）とトルク指令との関係を表すグラフである。
【図５】本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートである。
【図６】本発明の実施例に係る電動機制御装置の動作手順を説明するためのフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明に係る機械学習装置、電動機制御装置及び機械学習方法について説明する。
【００１６】
図１は、本発明の実施例に係る機械学習装置の構成図である。図３は、本発明の実施例に係る電動機制御装置の構成図である。
【００１７】
本発明の実施例に係る機械学習装置１は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置１であって、状態観測部２と、学習部３と、を備える。
【００１８】
状態観測部２は、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する実電流のオーバシュート量、アンダーシュート量、及び立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する。
【００１９】
学習部３は、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する。
【００２０】
本発明の実施例に係る機械学習装置１は、電動機制御の電流ゲインパラメータ（積分ゲイン，比例ゲイン）を機械学習（強化学習）で最適化するものである。ここで、最適な積分ゲイン、比例ゲインはトルク指令により異なるので、トルク指令を引数とする積分ゲイン関数、比例ゲイン関数を最適化することになる。
【００２１】
本発明の他の実施例に係る機械学習装置１´は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置１´であって、状態観測部２´と、学習部３´と、を備える。
【００２２】
上記の本発明の実施例に係る機械学習装置１ではステップ応答を利用しているが、周波数応答でも同じことが出来るため、オーバシュート及び立ち上がり時間を出力／入力の振幅比及び帯域に置き換えることができる。そこで、本発明の他の実施例に係る機械学習装置１´においては、状態観測部２´は、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する。
【００２３】
学習部３´は、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する。
【００２４】
学習部３、３´が、学習に用いる訓練データセットは１つの電動機に対して取得されるものには限られない。即ち、学習部３、３´が、複数の電動機に対して取得される訓練データセットに従って、条件を学習するようにしてもよい。
【００２５】
本発明の実施例に係る機械学習装置１は、訓練データセットに格納された状態変数のうち、オーバシュート量、アンダーシュート量、及び立ち上がり時間に基づいて報酬を計算する報酬計算部４と、報酬に基づいて、現在の状態変数から電流ゲインパラメータを調整するための関数を更新する関数更新部５と、をさらに備えることが好ましい。例えば、図２（ｂ）に示すように、オーバシュートが小さい場合、アンダーシュートが小さい場合、または立ち上がり時間短い場合のうちの少なくともいずれか１つの条件を満たす場合に報酬を増加させることが考えられる。
【００２６】
ただし、例えば、図４（ｂ）に示すように、トルク指令の増減に対して学習後の積分ゲイン関数または比例ゲイン関数が大きく変化する場合には、応答特性は良好な場合であっても、異音等につながり好ましくない。そこで、このような場合には、報酬を減少させることが好ましい。
【００２７】
本発明の他の実施例に係る機械学習装置１´は、訓練データセットに格納された状態変数のうち、振幅比、位相遅れ量に基づいて報酬を計算する報酬計算部４´と、報酬に基づいて、現在の状態変数から電流ゲインパラメータを調整するための関数を更新する関数更新部５´と、をさらに備えることが好ましい。
【００２８】
また、応答性が高すぎると外乱に対し振動しやすくなる。そこで、発振に対する余裕の度合いに基づいて、報酬を増加させるか減少させるかを決定してもよい。具体的には、例えば比例ゲインを固定し、積分ゲインを倍にしたときにステップ応答が振動するか否か、及び周波数応答の振幅比が許容値を超える（これも発振とする）か否かを確認する。このときに、振動しなければ余裕ありと判断して報酬を増加させ、振動すれば余裕なしと判断して報酬を減少させるようにしてもよい。
【００２９】
そこで、上記の機械学習装置１、１´において、報酬計算部４、４´は、更に電流の発振に対する余裕に基づいて報酬を計算するようにしてもよい。
【００３０】
さらに、図４（ａ）に示すように、トルク指令の増加に伴い、積分ゲイン関数は単調減少し、比例ゲイン関数は単調増加することが基本である。そこで、積分ゲイン関数の傾きが正または閾値を下回ったら報酬を減少させ、比例ゲイン関数の傾きが負または閾値を上回ったら報酬を減少させるようにしてもよい。
【００３１】
そこで、上記の機械学習装置１、１´において、報酬計算部４、４´は、更に積分ゲイン関数の傾き及び比例ゲイン関数の傾きに基づいて報酬を計算するようにしてもよい。
【００３２】
関数更新部５、５´は、いわゆるＱ学習を用いて強化学習を行うことが好ましい。Ｑ学習は、ある状態（環境）ｓの下で、行動ａを選択する価値（行動の価値）Ｑ（ｓ，ａ）を学習する方法である。ある状態（環境）ｓのとき、Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択するものである。関数更新部５、５´は、下記の式（１）を用いて関数（行動価値関数Ｑ（ｓt，ａt））を更新する。
【００３３】
【数１】
2017034844.tif 000003
【００３４】
ここで、Ｑ（ｓt，ａt）は行動価値関数、ｓtは時刻ｔにおける状態（環境）、ａtは時刻ｔにおける行動、αは学習係数、ｒt+1は報酬、γは割引率である。行動価値関数は、報酬の期待値を意味する。ｍａｘが付いた項は、状態（環境）ｓt+1の下で、最もＱ値が高い行動ａを選んだ場合のＱ値にγを掛けたものである。
【００３５】
学習係数及び割引率は、０＜α，γ≦１で設定することが知られているが、ここでは簡便のため学習係数及び割引率を１とすると、下記の式（２）のように表せる。
【００３６】
【数２】
2017034844.tif 000004
【００３７】
この更新式は、状態（環境）ｓにおける行動ａの価値Ｑ（ｓt，ａt）よりも、行動ａによる次の環境状態における最良の行動の価値Ｑ（ｓt+1，ｍａｘ ａt+1）の方が大きければＱ（ｓt，ａt）を大きくし、逆に小さければＱ（ｓt，ａt）を小さくすることを示す。即ち、ある状態（環境）におけるある行動の価値を、それによる次の状態における最良の行動の価値に近づけるものである。
【００３８】
本実施例においては、訓練データセットに格納された状態変数のうち、積分ゲイン関数及び比例ゲイン関数が状態（環境）に対応し、積分ゲイン関数及び比例ゲイン関数の変化量であるΔ積分ゲイン関数及びΔ比例ゲイン関数を決定し、Δ積分ゲイン関数及びΔ比例ゲイン関数を基に新たな積分ゲイン関数及び比例ゲイン関数を設定することが行動に対応する。学習部３、３´は、（（積分ゲイン関数，比例ゲイン関数）,（Δ積分ゲイン関数，Δ比例ゲイン関数），行動価値Ｑ）のテーブル（以下、行動価値テーブルと呼ぶ）を、報酬を使った学習で更新する。
【００３９】
本発明の実施例に係る電動機制御装置７は、機械学習装置１、１´及び電動機制御部６を有する。電動機制御部６は、トルク指令を入力するトルク指令入力部８を備える。機械学習装置１、１´は、学習部３、３´が訓練データセットに従って学習した結果に基づいて、現在の状態（環境）の入力に応答して、積分ゲイン関数及び比例ゲイン関数の変更を決定する意思決定部９を備える。
【００４０】
意思決定部９は、行動価値Ｑが大きくなる行動（Δ積分ゲイン関数，Δ比例ゲイン関数）を１−εの確率で選択し、εの確率でランダム選択するようにしてもよい（ε−ｇｒｅｅｄｙ法）。
【００４１】
行動価値テーブルに格納される行動価値の初期値は、電動機の巻線抵抗値、及びインダクタンス値から計算するようにしてもよい。通常、学習開始時に行動価値テーブルに格納する行動価値の初期値はランダム値である。そこで、電動機の巻線抵抗、インダクタンスを取得し、初期値を適正に与え、学習の効率を高めることができる。
【００４２】
行動価値を全てテーブルとして格納し、逐次更新することが困難な場合は、多層ニューラルネットワークを用いた深層学習を組み合わせて行動価値Ｑを更新してもよい。深層学習はＱ学習の膨大な計算量を削減する手段として有用であることが知られている。
【００４３】
図３に示すように、電動機制御部６における状態には、行動で間接的に変化する状態と、行動で直接的に変化する状態とがある。行動で間接的に変化する状態には、ステップごとのオーバシュート量、アンダーシュート量、及び立ち上がり時間が含まれる。行動で直接的に変化する状態には、積分ゲイン関数及び比例ゲイン関数が含まれる。
【００４４】
学習部３、３´は、現在の状態変数によって構成される追加の訓練データセットに従って、条件を再学習して更新するように構成される。
【００４５】
機械学習装置１、１´がネットワークを介して電動機制御部６に接続され、状態観測部２、２´は、ネットワークを介して、現在の状態変数を取得するように構成されるようにしてもよい。
【００４６】
機械学習装置１、１´は、クラウドサーバに存在することが好ましい。
【００４７】
電動機制御部６は、トルク指令入力部８（トルクステップ指令器）を備える。状態観測部２、２´は、電流センサ２１並びに積分ゲイン関数及び比例ゲイン関数を取得するための通信手段２２を備える。機械学習装置１、１´は、電動機制御部６に内蔵されていてもよい。
【００４８】
次に、本発明の実施例に係る機械学習方法について説明する。図５に本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートを示す。本発明の実施例に係る機械学習方法は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する実電流のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する、ことを含むことを特徴とする。
【００４９】
本発明の他の実施例に係る機械学習方法は、電動機制御における電流ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する、ことを含むことを特徴とする。
【００５０】
図５に本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートを示す。まず、ステップＳ１０１において、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、ステップ状のトルク指令に対する実電流のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する。あるいは、ステップＳ１０１において、電流制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実電流を取得し、周波数の異なる正弦波の組からなるトルク指令に対する実電流の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測するようにしてもよい。
【００５１】
次に、ステップＳ１０２において、状態変数によって構成される訓練データセットに従って、電流ゲインパラメータの調整に関連付けられる条件を学習する。
【００５２】
次に、本発明の実施例に係る電動機制御装置モータ駆動システムを用いた機械学習方法について説明する。図６に本発明の実施例に係る電動機制御装置の動作手順を説明するためのフローチャートを示す。まず、ステップＳ２０１において、学習をスタートする。
【００５３】
次に、ステップＳ２０２において、積分ゲイン関数及び比例ゲイン関数を設定する。
【００５４】
次に、ステップＳ２０３において、ステップ指令を入力する。例えば、トルク指令を１０％、２０％、・・・と徐々に増加させながら入力する。
【００５５】
次に、ステップＳ２０４において、電流を採取し、トルク指令の大きさごとのオーバシュート量等に変換する。例えば、トルク指令を１０％刻みで増加させながら、各トルク指令におけるオーバシュート量（ＯＳ量）、アンダーシュート量（ＵＳ量）、立ち上り時間（Ｒｉｓｅ Ｔｉｍｅ）に採取した電流を変換する。
【００５６】
次に、ステップＳ２０５において、報酬を計算する。ここで、報酬は０か１かに決定するような場合には限られない。即ち、オーバシュート量に対し単調減少する関数と、アンダーシュート量に対し単調増加する関数と、立ち上り時間に対し単調減少する関数と、により計算される。例えば、積分ゲイン関数、比例ゲイン関数全体に対応する１つの報酬を与えてもよいし、ステップの大きさごとに１つの報酬としてもよい。これは、積分ゲイン関数、比例ゲイン関数を関数として最適化するか、トルク指令ごとの積分ゲイン及び比例ゲインを個別に最適化するか、の違いである。具体的には、１０％刻みで１０ステップなら１０種類の報酬を増減させるようにしてもよい。
【００５７】
次に、ステップＳ２０６において、行動価値テーブルを更新する。
【００５８】
次に、ステップＳ２０７において、更新した行動価値テーブルに基づいて、Δ積分ゲイン関数及びΔ比例ゲイン関数を決定する。以上のステップＳ２０２からＳ２０７を繰り返すことにより、積分ゲイン関数及び比例ゲイン関数を最適化することができる。
【００５９】
以上の説明においては、電流ループのゲインパラメータを用いる例について説明したが、速度ループのゲインパラメータでも同じことが出来る。その場合は、トルク指令を速度指令と置き換える必要がある。
【００６０】
以上説明したように、本発明の実施例に係る機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法によれば、モータの個体差も考慮した電流ゲインパラメータの最適化により、モータの応答性向上、及び送りムラ改善・精度向上を実現し、調整の工数を削減することができる。
【符号の説明】
【００６１】
１、１´    機械学習装置
２、２´    状態観測部
３、３´    学習部
４、４´    報酬計算部
５、５´    関数更新部
６    電動機制御部
７    電動機制御装置
８    トルク指令入力部
９    意思決定部
【図１】
2017034844.tif 000005
【図２】
2017034844.tif 000006
【図３】
2017034844.tif 000007
【図４】
2017034844.tif 000008
【図５】
2017034844.tif 000009
【図６】
2017034844.tif 000010