(57)【要約】【課題】高次の速度フィードフォワードの係数の煩雑な調整を回避できる強化学習を行う。【解決手段】位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算部１１０を備えるサーボ制御装置１００に対し、機械学習を行う機械学習装置であって、所定の加工プログラムをサーボ制御装置に実行させることにより、少なくとも位置偏差と、速度フィードフォワード計算手段の伝達関数の係数の組み合わせと、を含む状態情報を、サーボ制御装置から取得する状態情報取得部２０１と、状態情報に含まれる係数の組み合わせの調整情報を含む行動情報をサーボ制御装置に出力する行動情報出力部２０３と状態情報に含まれる位置偏差に基づく、強化学習における報酬の値を出力する報酬出力部２０２１と、報酬出力手段により出力される報酬の値と、状態情報と、行動情報とに基づいて行動価値関数を更新する価値関数更新部２０２２と、を備える。【選択図】図１
2018152012.tif 000002
【特許請求の範囲】
【請求項１】
位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算手段を備える、サーボ制御装置に対して機械学習を行う機械学習装置であって、
所定の加工プログラムを前記サーボ制御装置に実行させることにより、少なくとも位置偏差を含むサーボ状態と、前記速度フィードフォワード計算手段の伝達関数の係数の組み合わせと、を含む状態情報を、前記サーボ制御装置から取得する状態情報取得手段と、
前記状態情報に含まれる前記係数の組み合わせの調整情報を含む行動情報を前記サーボ制御装置に出力する行動情報出力手段と、
前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値を出力する報酬出力手段と、
前記報酬出力手段により出力される報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する価値関数更新手段と、
を備える機械学習装置。
【請求項２】
前記報酬出力手段は、前記位置偏差の絶対値に基づいて前記報酬の値を出力する請求項１に記載の機械学習装置。
【請求項３】
前記報酬出力手段は、少なくとも前記位置偏差及び前記位置偏差の微分値を含む値に基づく報酬の値を計算する請求項１又は２に記載の機械学習装置。
【請求項４】
前記状態情報取得手段は、さらに、前記サーボ状態に含まれる速度指令値が変化してから前記位置偏差が所定の範囲内に収まるまでの時間Ｔを観測し、
前記報酬出力手段は、少なくとも前記位置偏差及び前記時間Ｔの長さを含む値に基づいて、報酬の値を計算する請求項１又は２に記載の機械学習装置。
【請求項５】
前記状態情報取得手段は、さらに、前記サーボ制御装置からトルク指令を取得し、
前記報酬出力手段は、少なくとも前記位置偏差及び前記トルク指令の微分値を含む値に基づいて、報酬の値を計算する請求項１又は２に記載の機械学習装置。
【請求項６】
前記状態情報取得手段は、さらに、前記サーボ制御装置からトルク指令を取得し、
前記報酬出力手段は、少なくとも前記位置偏差及び前記トルク指令がトルク指令の許容値まで到達しているかどうかに基づいて、報酬の値を計算する請求項１又は２に記載の機械学習装置。
【請求項７】
前記状態情報取得手段は、さらに、前記サーボ制御装置から速度偏差を取得し、
前記報酬出力手段は、少なくとも前前記位置偏差及び前記速度偏差を含む値に基づいて、報酬の値を計算する請求項１又は２に記載の機械学習装置。
【請求項８】
前記価値関数更新手段により更新された価値関数に基づいて、前記速度フィードフォワード計算手段の伝達関数の係数の組み合わせを生成して出力する最適化行動情報出力手段を備えた請求項１から請求項７のいずれか１項に記載の機械学習装置。
【請求項９】
請求項１から請求項８のいずれか１項に記載の機械学習装置と、位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算手段を有するサーボ制御装置と、を備えたサーボ制御システム。
【請求項１０】
請求項１から請求項８のいずれか１項に記載の機械学習装置と、位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算手段と、を備えたサーボ制御装置。
【請求項１１】
位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算手段を備える、サーボ制御装置に対して機械学習を行う機械学習装置の機械学習方法であって、
所定の加工プログラムを前記サーボ制御装置に実行させることにより、少なくとも位置偏差を含むサーボ状態と、前記速度フィードフォワード計算手段の伝達関数の係数の組み合わせと、を含む状態情報を、前記サーボ制御装置から取得し、
前記状態情報に含まれる前記係数の組み合わせの調整情報を含む行動情報を前記サーボ制御装置に出力し、
前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する、機械学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、速度フィードフォワード制御を用いたサーボ制御装置に対して、速度フィードフォワード制御における係数に関する学習を行う機械学習装置、この機械学習装置を含むサーボ制御装置とサーボ制御システム、及び機械学習方法に関する。
【背景技術】
【０００２】
速度フィードフォワード制御を用いたサーボ制御装置は、例えば、特許文献１に記載されたサーボ制御装置がある。特許文献１に記載されたサーボ制御装置は、位置指令を微分し位置のフィードフォワード制御量を求め、位置ループ制御で得られた制御量にフィードフォワード制御量を加算して速度指令とし、位置のフィードフォワード量を微分して得られる速度のフィードフォワード制御量を速度ループ制御によって得られる値に加算して電流指令とするサーボ制御装置である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平３−１５９１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
サーボ制御装置においては、機械の摩擦、ガタ、ロストモーションなどの非線形特性の影響により、速度指令値が変化したときに位置偏差が発生する場合がある。このような場合に、速度フィードフォワードを高次のものにすることで、位置偏差を低減し、位置指令に対する追従性を向上できるが、速度のフィードフォワードの係数（パラメータ）の調整は難しくなる。
【０００５】
本発明は、速度フィードフォワード制御を用いたサーボ制御装置において、位置偏差を低減して、位置指令に対する追従性を向上させるために速度フィードフォワードを高次のものにした場合に、高次の速度フィードフォワードの係数の煩雑な調整を回避できる強化学習を行う機械学習装置、この機械学習装置を含むサーボ制御装置、サーボ制御システム、及び機械学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）  本発明に係る機械学習装置（例えば、後述の機械学習装置２００）は、位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算手段（例えば、後述の速度フィードフォワード計算部１１０）を備える、サーボ制御装置（例えば、後述のサーボ制御装置１００）に対して機械学習を行う機械学習装置であって、
所定の加工プログラムを前記サーボ制御装置に実行させることにより、少なくとも位置偏差を含むサーボ状態と、前記速度フィードフォワード計算手段の伝達関数の係数の組み合わせと、を含む状態情報を、前記サーボ制御装置から取得する状態情報取得手段（例えば、後述の状態情報取得部２０１）と、
前記状態情報に含まれる前記係数の組み合わせの調整情報を含む行動情報を前記サーボ制御装置に出力する行動情報出力手段（例えば、後述の行動情報出力部２０３）と、
前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値を出力する報酬出力手段（例えば、後述の報酬出力部２０２１）と、
前記報酬出力手段により出力される報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する価値関数更新手段（例えば、後述の価値関数更新部２０２２）と、
を備える機械学習装置である。
【０００７】
（２）  上記（１）のサーボ制御装置において、前記報酬出力手段は、前記位置偏差の絶対値に基づいて前記報酬の値を出力してもよい。
【０００８】
（３）  上記（１）又は（２）のサーボ制御装置において、前記報酬出力手段は、少なくとも前記位置偏差及び前記位置偏差の微分値を含む値に基づく報酬の値を計算してもよい。
【０００９】
（４）  上記（１）又は（２）のサーボ制御装置において、前記状態情報取得手段は、さらに、前記サーボ状態に含まれる速度指令値が変化してから前記位置偏差が所定の範囲内に収まるまでの時間Ｔを観測し、
前記報酬出力手段は、少なくとも前記位置偏差及び前記時間Ｔの長さを含む値に基づいて、報酬の値を計算してもよい。
【００１０】
（５）  上記（１）又は（２）のサーボ制御装置において、前記状態情報取得手段は、さらに、
前記サーボ制御装置からトルク指令を取得し、
前記報酬出力手段は、少なくとも前記位置偏差及び前記トルク指令の微分値を含む値に基づいて、報酬の値を計算してもよい。
【００１１】
（６）  上記（１）又は（２）のサーボ制御装置において、前記状態情報取得手段は、さらに、前記サーボ制御装置からトルク指令を取得し、
前記報酬出力部は、少なくとも前記位置偏差及び前記トルク指令がトルク指令の許容値まで到達しているかどうかに基づいて、報酬の値を計算してもよい。
【００１２】
（７）  上記（１）又は（２）のサーボ制御装置において、前記状態情報取得手段は、さらに、前記サーボ制御装置から速度偏差を取得し、
前記報酬出力手段は、少なくとも前記位置偏差及び前記速度偏差を含む値に基づいて、報酬の値を計算してもよい。
【００１３】
（８）  上記（１）から（７）のいずれかのサーボ制御装置において、記価値関数更新手段により更新された価値関数に基づいて、前記速度フィードフォワード計算手段の伝達関数の係数の組み合わせを生成して出力する最適化行動情報出力手段（例えば、後述の最適化行動情報出力部２０５）を備えてもよい。
【００１４】
（９）  本発明に係るサーボ制御システムは、上記（１）から（８）のいずれかの機械学習装置と、位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算手段を有するサーボ制御装置と、を備えたサーボ制御システムである。
【００１５】
（１０）  本発明に係るサーボ制御装置は、上記（１）から（８）のいずれかの機械学習装置と、位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算手段と、を備えたサーボ制御装置である。
【００１６】
（１１）  本発明に係る機械学習方法は、位置指令に基づいて速度フィードフォワード値を作成する速度フィードフォワード計算手段を備える、サーボ制御装置に対して機械学習を行う機械学習装置の機械学習方法であって、
所定の加工プログラムを前記サーボ制御装置に実行させることにより、少なくとも位置偏差を含むサーボ状態と、前記速度フィードフォワード計算手段の伝達関数の係数の組み合わせと、を含む状態情報を、前記サーボ制御装置から取得し、
前記状態情報に含まれる前記係数の組み合わせの調整情報を含む行動情報を前記サーボ制御装置に出力し、
前記状態情報に含まれる前記位置偏差に基づく、強化学習における報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する、
機械学習方法である。
【発明の効果】
【００１７】
本発明によれば、速度フィードフォワード制御を用いたサーボ制御装置において、位置偏差を低減して、位置指令に対する追従性を向上させるために速度フィードフォワードを高次のものにした場合に、高次の速度フィードフォワードの係数の煩雑な調整を回避できる強化学習を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態のサーボ制御システムを示すブロック図である。
【図２】サーボ制御装置と機械学習装置２００がネットワークで接続された構成例を示すブロック図である。
【図３】制御対象３００の一例を示すブロック図である。
【図４Ａ】加工形状が円形の場合のサーボモータの動作を説明するための図である。
【図４Ｂ】加工形状が円形で、位置Ａ１で、テーブルをＹ軸方向に移動するサーボモータの回転方向が反転しようとした時の惰走により生ずる軌跡誤差を示す説明図である。
【図４Ｃ】加工形状が四角の場合のサーボモータの動作を説明するための図である。
【図４Ｄ】加工形状が角Ｒ付き四角の場合のサーボモータの動作を説明するための図である。
【図５】第１の実施形態の機械学習装置２００を示すブロック図である。
【図６】機械学習装置２００の動作を説明するフローチャートである。
【図７】機械学習装置２００の最適化行動情報出力部２０５の動作を説明するフローチャートである。
【図８】本発明の第２の実施形態のサーボ制御装置を示すブロック図である。
【図９】変形例における、重み付けされて加算された評価関数を用いて選択しえる位置偏差の波形を示す特性図である。
【図１０】他の変形例における、重み付けされて加算された評価関数を用いて選択しえる位置偏差の波形を示す特性図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について図面を用いて詳細に説明する。
（第１の実施形態）
図１は発明の第１の実施形態のサーボ制御システムを示すブロック図である。サーボ制御システム１０は、図１に示すように、ｎ台のサーボ制御装置１００−１〜１００−ｎ、ｎ台の機械学習装置２００−１〜２００−ｎ、及びネットワーク４００を備えている。なお、ｎは任意の自然数である。
【００２０】
ここで、サーボ制御装置１００−１と機械学習装置２００−１とは１対１の組とされて、通信可能に接続されている。サーボ制御装置１００−２〜１００−ｎと機械学習装置２００−２〜１００−ｎについてもサーボ制御装置１００−１と機械学習装置２００−１と同様に接続される。図１では、サーボ制御装置１００−１〜１００−ｎと機械学習装置２００−１〜２００−ｎとのｎ個の組は、ネットワーク４００を介して接続されているが、サーボ制御装置１００−１〜１００−ｎと機械学習装置２００−１〜２００−ｎとのｎ個の組は、それぞれの組のサーボ制御装置と機械学習装置とが接続インタフェースを介して直接接続されてもよい。これらサーボ制御装置１００−１〜１００−ｎと機械学習装置２００−１〜２００−ｎとのｎ個の組は、例えば同じ工場に複数組設置されていてもよく、それぞれ異なる工場に設置されていてもよい。
なお、ネットワーク４００は、例えば、工場内に構築されたＬＡＮ（Local Area Network）や、インターネット、公衆電話網、或いは、これらの組み合わせである。ネットワーク４００における具体的な通信方式や、有線接続および無線接続のいずれであるか等については、特に限定されない。
図２は本発明の第１の実施形態のサーボ制御システムのサーボ制御装置と機械学習装置との組、及び制御対象を示すブロック図である。図２のサーボ制御装置１００と、機械学習装置２００は例えば、図１に示すサーボ制御装置１００−１と機械学習装置２００−１とに対応している。
制御対象３００は例えばサーボモータ、サーボモータを含む工作機械，ロボット，産業機械等である。サーボ制御装置１００は工作機械，ロボット，産業機械等の一部として設けられてもよい。
【００２１】
最初に、サーボ制御装置１００について説明する。
サーボ制御装置１００は、位置指令作成部１０１、減算器１０２、位置制御部１０３、加算器１０４、減算器１０５、速度制御部１０６、加算器１０７、積分器１０８、位置フィードフォワード計算部１０９、及び速度フィードフォワード計算部１１０を備えている。
位置指令作成部１０１は位置指令値を作成し、作成した位置指令値を減算器１０２と位置フィードフォワード計算部１０９とに出力する。減算器１０２は位置指令値と位置フィードバックされた検出位置との差を求め、その差を位置偏差として位置制御部１０３とに出力するとともに機械学習装置２００に対して送信する。
【００２２】
位置指令作成部１０１は、制御対象３００を動作させるプログラムに基づいて位置指令値を作成する。制御対象３００は、例えばサーボモータを含む工作機械で、被加工物（ワーク）を搭載するテーブルをＸ軸方向及びＹ軸方向に移動させて加工する場合には、Ｘ軸方向及びＹ軸方向に対してそれぞれ図２に示すサーボ制御装置が設けられる。テーブルを３軸以上の方向に移動させる場合には、それぞれの軸方向に対してサーボ制御装置が設けられる。
位置指令作成部１０１は、加工プログラムにより指定される加工形状となるように、送り速度を設定して位置指令値を作成する。
【００２３】
位置制御部１０３は、位置偏差にポジションゲインＫｐを乗じた値を、速度指令値として加算器１０４に出力する。位置フィードフォワード計算部１０９は位置指令値を微分してフィードフォワード係数を掛けた値を、加算器１０４と速度フィードフォワード計算部１１０に出力する。
【００２４】
加算器１０４は、速度指令値と位置フィードフォワード計算部１０９の出力値とを加算して、フィードフォワード制御された速度指令値として減算器１０５に出力する。減算器１０５は加算器１０４の出力と速度フィードバックされた速度検出値との差を求め、その差を速度偏差として速度制御部１０６に出力する。
【００２５】
速度制御部１０６は、速度偏差に積分ゲインＫ１ｖを乗じて積分した値と、速度偏差に比例ゲインＫ２ｖを乗じた値とを加算して、トルク指令値として加算器１０７に出力する。
【００２６】
速度フィードフォワード計算部１１０は、数式１（以下に数１として示す）で示す伝達関数Ｇｆ（Ｓ）で示される速度フィードフォワード計算処理を行い加算器１０７に出力する。
【数１】
2018152012.tif 000003
【００２７】
加算器１０７は、トルク指令値と速度フィードフォワード計算部１１０の出力値とを加算して、フィードフォワード制御されたトルク指令値として制御対象３００に出力する。
【００２８】
制御対象３００は速度検出値を出力し、速度検出値は速度フィードバックとして減算器１０５に入力される。速度検出値は積分器１０８で積分されて位置検出値となり、位置検出値は位置フィードバックとして減算器１０２に入力される。
以上のように、サーボ制御装置１００は構成される。
【００２９】
次に、サーボ制御装置１００により制御される制御対象３００について説明する。
図３は制御対象３００の一例となる、サーボモータを含む工作機械を示すブロック図である。
サーボ制御装置１００は、サーボモータ３０２で連結機構３０３を介してテーブル３０４を移動させ、テーブル３０４の上に搭載された被加工物（ワーク）を加工する。連結機構３０３は、サーボモータ３０２に連結されたカップリング３０３１と、カップリング３０３１に固定されるボールねじ３０３３とを有し、ボールねじ３０３３にナット３０３２が螺合されている。サーボモータ３０２の回転駆動によって、ボールねじ３０３３に螺着されたナット３０３２がボールねじ３０３３の軸方向に移動する。
【００３０】
サーボモータ３０２の回転角度位置は、サーボモータ３０２に関連付けられた、位置検出部となるロータリーエンコーダ３０１によって検出され、検出された信号は速度フィードバックとして利用される。検出された信号は積分することで位置フィードバックとして利用される。なお、ボールねじ３０３３の端部に取り付けられ、ボールねじ３０３３の移動距離を検出するリニアスケール３０５の出力を位置フィードバックとして用いてもよい。また、加速度センサを用いて位置フィードバックを生成してもよい。
【００３１】
＜機械学習装置２００＞
機械学習装置２００は、予め設定された加工プログラム（以下、「学習時の加工プログラム」ともいう）を実行することで、速度フィードフォワード計算部１１０の伝達関数の係数を学習する。ここで、学習時の加工プログラムにより指定される加工形状は、例えば、円、四角、及び角Ｒ付き四角（a square with quarter arc）等である。
【００３２】
図４Ａ、図４Ｂは、加工形状が円形の場合のサーボモータの動作を説明するための図である。図４Ｃは、加工形状が四角の場合のサーボモータの動作を説明するための図である。図４Ｄは、加工形状が角Ｒ付き四角の場合のサーボモータの動作を説明するための図である。図４Ａ〜図４Ｄにおいて、被加工物（ワーク）が時計まわりに加工されるようにテーブルが移動する。
【００３３】
加工形状が円形の場合は、図４Ａに示すように、位置Ａ１で、テーブルをＹ軸方向に移動するサーボモータは回転方向が反転し、テーブルはＹ軸方向に直線反転するように移動する。位置Ａ２で、テーブルをＸ軸方向に移動するサーボモータは、回転方向が反転し、テーブルはＸ軸方向に直線反転するように移動する。
図４Ｂは、加工形状が円形で、位置Ａ１で、テーブルをＹ軸方向に移動するサーボモータの回転方向が反転しようとした時の惰走により生ずる軌跡誤差を示す説明図である。
図４Ｂに示すように、テーブルをＹ軸方向に移動するサーボモータの回転方向が位置Ａ１で反転しようとした時に、反転遅れが生じ、半径方向に軌跡誤差が拡大し、軌跡誤差の拡大表示を行うと軌跡誤差が突起として見える。
【００３４】
加工形状が四角の場合は、図４Ｃに示すように、位置Ｂで、テーブルをＹ軸方向に移動するサーボモータは、停止から回転動作に移り、テーブルをＸ軸方向に移動するサーボモータは、回転から停止に移り、テーブルはＸ軸方向の直線動作からＹ軸方向の直線動作に移る。
【００３５】
加工形状が角Ｒ付き四角の場合は、図４Ｄに示すように、位置Ｃ１で、テーブルをＹ軸方向に移動するサーボモータは、停止から回転動作に移り、テーブルはＸ軸方向の直線動作から円弧動作に移る。位置Ｃ２で、テーブルをＸ軸方向に移動するサーボモータは、回転から停止に移り、テーブルは円弧動作からＹ軸方向の直線動作に移る。
以上説明した、学習時の加工プログラムにより指定される加工形状により、回転方向が反転したり、回転状態から停止したりする場合に生ずる惰走（惰性で動作する）を評価し、位置偏差に対する影響を調べることができる。
【００３６】
学習時の加工プログラムを実行することで、サーボ制御装置１００の位置指令作成部１０１は順次、円、四角、角Ｒ付き四角（a square with quarter arc）の加工形状となるように位置指令値を出力する。また、円、四角、角Ｒ付き四角（a square with quarter arc）の加工形状ごとに、送り速度を変更し、複数の送り速度についての影響も学習できるようにする。送り速度は、加工形状の図形の移動途中、例えば四角の加工形状にテーブルを移動させているときに、角を過ぎたときに送り速度を変更してもよい。
【００３７】
機械学習装置２００に含まれる各機能ブロックの説明に先立って、まず強化学習の基本的な仕組みについて説明する。エージェント（本実施形態における機械学習装置２００に相当）は、環境の状態を観測し、ある行動を選択し、当該行動に基づいて環境が変化する。環境の変化に伴って、何らかの報酬が与えられ、エージェントはより良い行動の選択（意思決定）を学習する。
教師あり学習が、完全な正解を示すのに対して、強化学習における報酬は、環境の一部の変化に基づく断片的な値であることが多い。このため、エージェントは、将来にわたっての報酬の合計を最大にするように行動を選択するように学習する。
【００３８】
このように、強化学習では、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち将来的に得られる報酬を最大にするための学習する方法を学ぶ。これは、本実施形態において、例えば、位置偏差を低減するための行動情報を選択するという、未来に影響をおよぼすような行動を獲得できることを表している。
【００３９】
ここで、強化学習としては、任意の学習方法を用いることができるが、以下の説明では、或る環境の状態ｓの下で、行動ａを選択する価値Ｑ（ｓ，ａ）を学習する方法であるＱ学習（Q-learning）を用いる場合を例にとって説明をする。
Ｑ学習では、或る状態ｓのとき、取り得る行動ａのなかから、価値Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択することを目的とする。
【００４０】
しかしながら、Ｑ学習を最初に開始する時点では、状態ｓと行動ａとの組合せについて、価値Ｑ（ｓ，ａ）の正しい値は全く分かっていない。そこで、エージェントは、或る状態ｓの下で様々な行動ａを選択し、その時の行動ａに対して、与えられる報酬に基づいて、より良い行動の選択をすることにより、正しい価値Ｑ（ｓ，ａ）を学習していく。
【００４１】
また、将来にわたって得られる報酬の合計を最大化したいので、最終的にＱ（ｓ，ａ）＝Ｅ［Σ（γｔ）ｒｔ］となるようにすることを目指す。ここでＥ［］は期待値を表し、ｔは時刻、γは後述する割引率と呼ばれるパラメータ、ｒｔは時刻ｔにおける報酬、Σは時刻ｔによる合計である。この式における期待値は、最適な行動に従って状態変化した場合の期待値である。しかしＱ学習の過程において最適な行動が何であるのかは不明であるので、様々な行動を行うことにより、探索しながら強化学習をする。このような価値Ｑ（ｓ，ａ）の更新式は、例えば、次の数式２（以下に数２として示す）により表すことができる。
【００４２】
【数２】
2018152012.tif 000004
【００４３】
上記の数式２において、ｓｔは、時刻ｔにおける環境の状態を表し、ａｔは、時刻ｔにおける行動を表す。行動ａｔにより、状態はｓｔ＋１に変化する。ｒｔ＋１は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態ｓｔ＋１の下で、その時に分かっている最もＱ値の高い行動ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。
【００４４】
上述した数式２は、試行ａｔの結果、返ってきた報酬ｒｔ＋１を元に、状態ｓｔにおける行動ａｔの価値Ｑ（ｓｔ，ａｔ）を更新する方法を表している。
この更新式は、状態ｓｔにおける行動ａｔの価値Ｑ（ｓｔ，ａｔ）よりも、行動ａｔによる次の状態ｓｔ＋１における最良の行動の価値ｍａｘａ  Ｑ（ｓｔ＋１，ａ）の方が大きければ、Ｑ（ｓｔ，ａｔ）を大きくし、逆に小さければ、Ｑ（ｓｔ，ａｔ）を小さくすることを示している。つまり、或る状態における或る行動の価値を、それによる次の状態における最良の行動の価値に近づける。ただし、その差は、割引率γと報酬ｒｔ＋１のあり方により変わってくるが、基本的には、ある状態における最良の行動の価値が、それに至る一つ前の状態における行動の価値に伝播していく仕組みになっている。
【００４５】
ここで、Ｑ学習では、すべての状態行動ペア（ｓ，ａ）についてのＱ（ｓ，ａ）のテーブルを作成して、学習を行う方法がある。しかし、すべての状態行動ペアのＱ（ｓ，ａ）の値を求めるには状態数が多すぎて、Ｑ学習が収束するのに多くの時間を要してしまう場合がある。
【００４６】
そこで、公知のＤＱＮ（Deep Q-Network）と呼ばれる技術を利用するようにしてもよい。具体的には、価値関数Ｑを適当なニューラルネットワークを用いて構成し、ニューラルネットワークのパラメータを調整することにより、価値関数Ｑを適当なニューラルネットワークで近似することにより価値Ｑ（ｓ，ａ）の値を算出するようにしてもよい。ＤＱＮを利用することにより、Ｑ学習が収束するのに要する時間を短くすることが可能となる。なお、ＤＱＮについては、例えば、以下の非特許文献に詳細な記載がある。
【００４７】
＜非特許文献＞
「Human-level control through deep reinforcement learning」、Volodymyr Mnih1著［ｏｎｌｉｎｅ］、［平成２９年１月１７日検索］、インターネット〈ＵＲＬ：http://files.davidqiu.com/research/nature14236.pdf〉
【００４８】
以上説明をしたＱ学習を機械学習装置２００が行う。具体的には、機械学習装置２００は、サーボ制御装置１００における速度フィードフォワード計算部１１０の伝達関数の各係数ａｉ、ｂｊ(ｉ，ｊ≧０)の値、並びに学習時の加工プログラムを実行することで取得されるサーボ制御装置１００の位置偏差情報を含む、指令及びフィードバック等のサーボ状態を状態ｓとして、当該状態ｓに係る速度フィードフォワード計算部１１０の各係数ａｉ、ｂｊの調整を行動ａとして選択する価値Ｑを学習する。
【００４９】
機械学習装置２００は、速度フィードフォワード計算部１１０の伝達関数の各係数ａｉ、ｂｊに基づいて、学習時の加工プログラムを実行することで得られるサーボ制御装置１００の位置偏差情報を含む、指令及びフィードバック等のサーボ状態を含む状態情報ｓを観測して、行動ａを決定する。機械学習装置２００は、行動ａをするたびに報酬が返ってくる。機械学習装置２００は、例えば、将来にわたっての報酬の合計が最大になるように最適な行動ａを試行錯誤的に探索する。そうすることで、機械学習装置２００は、速度フィードフォワード計算部１１０の伝達関数の各係数ａｉ、ｂｊに基づいて、学習時の加工プログラムを実行することで取得されるサーボ制御装置１００の位置偏差情報を含む指令、フィードバック等のサーボ状態を含む状態ｓに対して、最適な行動ａ（すなわち、速度フィードフォワード計算部１１０の最適な係数ａｉ、ｂｊ）を選択することが可能となる。
【００５０】
すなわち、機械学習装置２００により学習された価値関数Ｑに基づいて、或る状態ｓに係る速度フィードフォワード計算部１１０の伝達関数の各係数ａｉ、ｂｊに対して適用される行動ａのうち、Ｑの値が最大となるような行動ａを選択することで、学習時の加工プログラムを実行することで取得される位置偏差が最小になるような行動ａ（すなわち、速度フィードフォワード計算部１１０の係数ａｉ、ｂｊ）を選択することが可能となる。
【００５１】
図５は本発明の第１の実施形態の機械学習装置２００を示すブロック図である。
上述した強化学習を行うために、図５に示すように、機械学習装置２００は、状態情報取得部２０１、学習部２０２、行動情報出力部２０３、価値関数記憶部２０４、及び最適化行動情報出力部２０５を備える。学習部２０２は報酬出力部２０２１、価値関数更新部２０２２、及び行動情報生成部２０２３を備える。
【００５２】
状態情報取得部２０１は、サーボ制御装置１００における速度フィードフォワード計算部１１０の伝達関数の各係数ａｉ、ｂｊに基づいて、学習時の加工プログラムを実行することで取得されるサーボ制御装置１００の位置偏差情報を含む指令、フィードバック等のサーボ状態を含む状態ｓを、サーボ制御装置１００から取得する。この状態情報ｓは、Ｑ学習における、環境状態ｓに相当する。
状態情報取得部２０１は、取得した状態情報ｓを学習部２０２に対して出力する。
なお、最初にＱ学習を開始する時点での速度フィードフォワード計算部１１０の係数ａｉ、ｂｊは、予めユーザが生成するようにする。本実施形態では、ユーザが作成した速度フィードフォワード計算部１１０の係数ａｉ、ｂｊの初期設定値を、強化学習により最適なものに調整する。速度フィードフォワード計算部１１０の係数ａｉ、ｂｊは例えば、初期設定値として、数式１のａ０＝１、ａ１＝０、ｂ０＝０、ｂ１＝制御対象のイナーシャ値とする。また、係数ａｉ、ｂｊの次元ｍ、ｎを予め設定する。
すなわち、ａｉについては０≦ｉ≦ｍ  ｂｊについては０≦ｊ≦ｎとする。
【００５３】
学習部２０２は、或る環境状態ｓの下で、ある行動ａを選択する場合の価値Ｑ（ｓ，ａ）を学習する部分である。具体的には、学習部２０２は、報酬出力部２０２１、価値関数更新部２０２２及び行動情報生成部２０２３を備える。
【００５４】
報酬出力部２０２１は、或る状態ｓの下で、行動ａを選択した場合の報酬を算出する部分である。ここで、状態ｓにおける状態変数である位置偏差の集合（位置偏差集合）をＰＤ（ｓ）、行動情報ａ（速度フィードフォワード計算部の各係数ａｉ、ｂｊ（ｉ，ｊは０及び正の整数を示す）の修正）により状態ｓから変化した状態情報ｓ´に係る状態変数である位置偏差集合をＰＤ（ｓ´）で示す。また、状態ｓにおける位置偏差の値を、予め設定された評価関数ｆ（ＰＤ（ｓ））に基づいて算出される値とする。
評価関数ｆとしては、例えば、
位置偏差の絶対値の積算値を算出する関数
∫|e|dt
位置偏差の絶対値に時間の重み付けをして積算値を算出する関数
∫t|e|dt
位置偏差の絶対値の２ｎ（ｎは自然数）乗の積算値を算出する関数、
∫e2ndt（ｎは自然数）
位置偏差の絶対値の最大値を算出する関数
Ｍａｘ｛|e|｝  
等を適用することができる。
【００５５】
このとき、行動情報ａにより修正された状態情報ｓ´に係る修正後の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（ｓ´））が、行動情報ａにより修正される前の状態情報ｓに係る修正前の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（ｓ））よりも大きくなった場合に、報酬出力部２０２１は、報酬の値を負の値とする。
【００５６】
一方で、行動情報ａにより修正された状態情報ｓ´に係る修正後の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（ｓ´））が、行動情報ａにより修正される前の状態情報ｓに係る修正前の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（ｓ））よりも小さくなった場合に、報酬の値を正の値とする。
なお、行動情報ａにより修正された状態情報ｓ´に係る修正後の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（ｓ´））が、行動情報ａにより修正される前の状態情報ｓに係る修正前の速度フィードフォワード計算部１１０に基づいて動作したサーボ制御装置１００の位置偏差の値ｆ（ＰＤ（ｓ））と等しい場合は、報酬出力部２０２１は、報酬の値をゼロとする。
【００５７】
また、行動ａを実行後の状態ｓ´の位置偏差の値ｆ（ＰＤ（ｓ´））が、前の状態ｓにおける位置偏差の値ｆ（ＰＤ（ｓ））より大きくなった場合の負の値としては、比率に応じて負の値を大きくするようにしてもよい。つまり位置偏差の値が大きくなった度合いに応じて負の値が大きくなるようにするとよい。逆に、行動ａを実行後の状態ｓ´の位置偏差の値ｆ（ＰＤ（ｓ´））が、前の状態ｓにおける位置偏差の値ｆ（ＰＤ（ｓ））より小さくなった場合の正の値としては、比率に応じて正の値を大きくするようにしてもよい。つまり位置偏差の値が小さくなった度合いに応じて正の値が大きくなるようにするとよい。
【００５８】
価値関数更新部２０２２は、状態ｓと、行動ａと、行動ａを状態ｓに適用した場合の状態ｓ´と、上記のようにして算出された報酬の値と、に基づいてＱ学習を行うことにより、価値関数記憶部２０４が記憶する価値関数Ｑを更新する。
価値関数Ｑの更新は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
オンライン学習とは、或る行動ａを現在の状態ｓに適用することにより、状態ｓが新たな状態ｓ´に遷移する都度、即座に価値関数Ｑの更新を行うという学習方法である。また、バッチ学習とは、或る行動ａを現在の状態ｓに適用することにより、状態ｓが新たな状態ｓ´に遷移することを繰り返すことにより、学習用のデータを収集し、収集した全ての学習用データを用いて、価値関数Ｑの更新を行うという学習方法である。更に、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度学習用データが溜まるたびに価値関数Ｑの更新を行うという学習方法である。
【００５９】
行動情報生成部２０２３は、現在の状態ｓに対して、Ｑ学習の過程における行動ａを選択する。行動情報生成部２０２３は、Ｑ学習の過程において、サーボ制御装置１００の速度フィードフォワード計算部の各係数ａｉ、ｂｊを修正する動作（Ｑ学習における行動ａに相当）を行わせるために、行動情報ａを生成して、生成した行動情報ａを行動情報出力部２０３に対して出力する。より具体的には、行動情報生成部２０２３は、例えば、状態ｓに含まれる速度フィードフォワード計算部の各係数に対して行動ａに含まれる、速度フィードフォワード計算部の各係数ａｉ、ｂｊをインクレメンタル（例えば０．０１程度）に加算又は減算させる。
【００６０】
そして、行動情報生成部２０２３は、速度フィードフォワード計算部１１０の各係数ａｉ、ｂｊの増加又は減少を適用して、状態ｓ´に遷移して、プラスの報酬（正の値の報酬）が返った場合、次の行動ａ´としては、速度フィードフォワード計算部の各係数ａｉ、ｂｊに対して、前回のアクションと同様にインクレメンタルに加算又は減算させる等、位置偏差の値がより小さくなるような行動ａ´を選択する方策を取るようにしてもよい。
【００６１】
また、逆に、マイナスの報酬（負の値の報酬）が返った場合、行動情報生成部２０２３は、次の行動ａ´としては、例えば、速度フィードフォワード計算部の各係数ａｉ、ｂｊに対して、前回のアクションとは逆にインクレメンタルに減算又は加算させる等、位置偏差が前回の値よりも小さくなるような行動ａ´を選択する方策を取るようにしてもよい。
【００６２】
また、行動情報生成部２０２３は、現在の推定される行動ａの価値の中で、最も価値Ｑ（ｓ，ａ）の高い行動ａ´を選択するグリーディ法や、ある小さな確率εでランダムに行動ａ´選択し、それ以外では最も価値Ｑ（ｓ，ａ）の高い行動ａ´を選択するεグリーディ法といった公知の方法により、行動ａ´を選択する方策を取るようにしてもよい。
【００６３】
行動情報出力部２０３は、学習部２０２から出力される行動情報ａをサーボ制御装置１００に対して送信する部分である。サーボ制御装置１００は上述したように、この行動情報に基づいて、現在の状態ｓ、すなわち現在設定されている速度フィードフォワード計算部１１０の各係数ａｉ、ｂｊを微修正することで、次の状態ｓ´（すなわち修正された、速度フィードフォワード計算部１１０の各係数）に遷移する。
【００６４】
価値関数記憶部２０４は、価値関数Ｑを記憶する記憶装置である。価値関数Ｑは、例えば状態ｓ、行動ａ毎にテーブル（以下、行動価値テーブルと呼ぶ）として格納してもよい。価値関数記憶部２０４に記憶された価値関数Ｑは、価値関数更新部２０２２により更新される。また、価値関数記憶部２０４に記憶された価値関数Ｑは、他の機械学習装置２００との間で共有されるようにしてもよい。価値関数Ｑを複数の機械学習装置２００で共有するようにすれば、各機械学習装置２００にて分散して強化学習を行うことが可能となるので、強化学習の効率を向上させることが可能となる。
【００６５】
最適化行動情報出力部２０５は、価値関数更新部２０２２がＱ学習を行うことにより更新した価値関数Ｑに基づいて、価値Ｑ（ｓ，ａ）が最大となる動作を速度フィードフォワード計算部１１０に行わせるための行動情報ａ（以下、「最適化行動情報」と呼ぶ）を生成する。
より具体的には、最適化行動情報出力部２０５は、価値関数記憶部２０４が記憶している価値関数Ｑを取得する。この価値関数Ｑは、上述したように価値関数更新部２０２２がＱ学習を行うことにより更新したものである。そして、最適化行動情報出力部２０５は、価値関数Ｑに基づいて、行動情報を生成し、生成した行動情報をサーボ制御装置１００（速度フィードフォワード計算部１１０）に対して出力する。この最適化行動情報には、行動情報出力部２０３がＱ学習の過程において出力する行動情報と同様に、速度フィードフォワード計算部１１０の各係数ａｉ、ｂｊを修正する情報が含まれる。
【００６６】
サーボ制御装置１００では、この行動情報に基づいて速度フィードフォワード計算部１１０の各係数ａｉ、ｂｊが修正され、速度フィードフォワードを高次のものとして、位置偏差の値を低減するように動作することができる。
以上のように、本発明に係る機械学習装置２００を利用することで、サーボ制御装置１００の速度フィードフォワード計算部１１０のパラメータ調整を簡易化することができる。
【００６７】
以上、サーボ制御装置１００、機械学習装置２００に含まれる機能ブロックについて説明した。
これらの機能ブロックを実現するために、サーボ制御装置１００、及び機械学習装置２００のそれぞれは、ＣＰＵ（Central Processing Unit）等の演算処理装置を備える。また、サーボ制御装置１００、及び機械学習装置２００のそれぞれは、アプリケーションソフトウェアやＯＳ（Operating System）等の各種の制御用プログラムを格納したＨＤＤ（Hard Disk Drive）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置も備える。
【００６８】
そして、サーボ制御装置１００、及び機械学習装置２００のそれぞれにおいて、演算処理装置が補助記憶装置からアプリケーションソフトウェアやＯＳを読み込み、読み込んだアプリケーションソフトウェアやＯＳを主記憶装置に展開させながら、これらのアプリケーションソフトウェアやＯＳに基づいた演算処理を行なう。また、この演算結果に基づいて、各装置が備える各種のハードウェアを制御する。これにより、本実施形態の機能ブロックは実現される。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。
【００６９】
機械学習装置２００については機械学習に伴う演算量が多いため、例えば、パーソナルコンピュータにＧＰＵ（Graphics Processing Units）を搭載し、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）と呼ばれる技術により、ＧＰＵを機械学習に伴う演算処理に利用するようにすると高速処理できるようになるのでよい。更には、より高速な処理を行うために、このようなＧＰＵを搭載したコンピュータを複数台用いてコンピュータ・クラスターを構築し、このコンピュータ・クラスターに含まれる複数のコンピュータにて並列処理を行うようにしてもよい。
【００７０】
次に、図６のフローチャートを参照して本実施形態におけるＱ学習時の機械学習装置２００の動作について説明をする。
【００７１】
ステップＳ１１において、状態情報取得部２０１がサーボ制御装置１００から状態情報ｓを取得する。取得した状態情報は、価値関数更新部２０２２や行動情報生成部２０２３に対して出力される。上述したように、この状態情報ｓは、Ｑ学習における状態に相当する情報であり、ステップＳ１１時点での、速度フィードフォワード計算部１１０の各係数ａｉ、ｂｊが含まれる。こうして、速度フィードフォワード計算部１１０から係数が初期値であるときの、所定の送り速度且つ円の加工形状に対応する位置偏差の集合ＰＤ(s)が取得される。
【００７２】
なお、前述したように、初期状態ｓ０における速度フィードフォワード計算部１１０の係数ａｉ、ｂｊは例えば、ａ０＝１、ａ１＝０、ｂ０＝０、ｂ１＝制御対象のイナーシャ値とする。
【００７３】
最初にＱ学習を開始する時点での減算器１０２から状態ｓ０における位置偏差の値ＰＤ（ｓ０）は、学習時の加工プログラムでサーボ制御装置１００を動作させることで得られる。位置指令作成部１０１は、加工プログラムにより指定された所定の加工形状で、例えば、円、四角、角Ｒ付き四角（a square with quarter arc）の加工形状で、送り速度を変えて位置指令を順次出力する。例えば、所定の送り速度で円の加工形状に対応する位置指令値が位置指令作成部１０１から出力され、減算器１０２は位置指令値と積分器１０８から出力される検出位置との差を位置偏差ＰＤ（ｓ０）として機械学習装置２００に出力する。
【００７４】
ステップＳ１２において、行動情報生成部２０２３は新たな行動情報ａを生成し、生成した新たな行動情報ａを、行動情報出力部２０３を介してサーボ制御装置１００に対して出力する。行動情報生成部２０２３は前述した方策に基づいて、新たな行動情報ａを出力する。なお、行動情報ａを受信したサーボ制御装置１００は、受信した行動情報に基づいて現在の状態ｓに係る速度フィードフォワード計算部１１０の各係数ａｉ、ｂｊを修正した状態ｓ´により、サーボモータを含む工作機械を駆動させる。上述したように、この行動情報は、Ｑ学習における行動ａに相当するものである。
【００７５】
ステップＳ１３において、状態情報取得部２０１は、減算器１０２から新たな状態ｓ´における位置偏差ＰＤ（ｓ´）、及び速度フィードフォワード計算部１１０から係数ａｉ、ｂｊを取得する。こうして、状態情報取得部２０１は、速度フィードフォワード計算部１１０から状態ｓ´における係数ａｉ、ｂｊであるときの、所定の送り速度且つ円の加工形状に対応する位置偏差の集合ＰＤ（ｓ´）を取得する。取得した状態情報は、報酬出力部２０２１に対して出力される。
【００７６】
ステップＳ１４において、報酬出力部２０２１は、状態ｓ´における位置偏差の値ｆ（ＰＤ（ｓ´））と状態sにおける位置偏差の値ｆ（ＰＤ（ｓ））との大小関係を判断し、ｆ（ＰＤ（ｓ´））＞ｆ（ＰＤ（ｓ））の場合には、ステップＳ１５において、報酬を負の値とする。ｆ（ＰＤ（ｓ´））＜ｆ（ＰＤ（ｓ））の場合には、ステップＳ１６において、報酬を正の値とする。ｆ（ＰＤ（ｓ´））＝ｆ（ＰＤ（ｓ））の場合には、ステップＳ１７において、報酬をゼロとする。なお、報酬の負の値、正の値について重みづけを行うようにしてもよい。
【００７７】
ステップＳ１５、ステップＳ１６及びステップＳ１７の何れかが終了すると、ステップＳ１８において、この何れかのステップにて算出された報酬の値に基づいて、価値関数更新部２０２２が、価値関数記憶部２０４に記憶している価値関数Ｑを更新する。そして、再度ステップＳ１１に戻り、上述した処理を繰り返すことにより、価値関数Ｑは適切な値に収束していく。なお、上述した処理を、所定回数繰り返したことや、所定時間繰り返したことを条件として処理を終了するようにしてもよい。
なお、ステップＳ１８はオンライン更新を例示しているが、オンライン更新に替えてバッチ更新又はミニバッチ更新に置き換えてもよい。
【００７８】
以上、図６を参照して説明した動作により、本実施形態では、機械学習装置２００を利用することで、高次の速度フィードフォワードの係数ａｉ、ｂｊの調整のための、適切な価値関数を得ることができ、速度フィードフォワードの係数ａｉ、ｂｊの最適化を簡易化することができる、という効果を奏する。
次に、図７のフローチャートを参照して、最適化行動情報出力部２０５による最適化行動情報の生成時の動作について説明をする。
まず、ステップＳ２１において、最適化行動情報出力部２０５は、価値関数記憶部２０４に記憶している価値関数Ｑを取得する。価値関数Ｑは、上述したように価値関数更新部２０２２がＱ学習を行うことにより更新したものである。
【００７９】
ステップＳ２２において、最適化行動情報出力部２０５は、この価値関数Ｑに基づいて、最適化行動情報を生成し、生成した最適化行動情報をサーボ制御装置１００の速度フィードフォワード計算部１１０に対して出力する。
【００８０】
また、図７を参照して説明した動作により、本実施形態では、機械学習装置２００により学習することにより求められる価値関数Ｑに基づいて、最適化行動情報を生成し、サーボ制御装置１００が、この最適化行動情報に基づいて、現在設定されている速度フィードフォワード計算部１１０の係数ａｉ、ｂｊの調整を簡易化するとともに、位置偏差の値を低減することができる。また、速度フィードフォワードをより高次元のものに初期設定して、機械学習装置２００により学習することで、位置偏差の値をさらに低減することができる。
【００８１】
（第２の実施形態）
第１の実施形態においては、報酬出力部２０２１は、報酬の値を、状態ｓにおける位置偏差ＰＤ（ｓ）を入力として予め設定された評価関数ｆ（ＰＤ（ｓ））に基づいて算出される状態ｓの位置偏差の値ｆ（ＰＤ（ｓ））と、状態ｓ´における位置偏差ＰＤ（ｓ´）を入力として評価関数ｆに基づいて算出される状態ｓ´の位置偏差の値ｆ（ＰＤ（ｓ´））とを比較することで算出した。
しかし、報酬の値の算出にあたっては位置偏差以外の他の要素を加えてもよい。
【００８２】
図８は本発明の第２の実施形態のサーボ制御システム１０Ａを示すブロック図である。
第２の実施形態のサーボ制御システム１０Ａと図２に示した第１の実施形態のサーボ制御システム１０との違いは、機械学習装置２００に、減算器１０２の出力となる位置偏差の他に、加算器１０４の出力となる位置フォワード制御された速度指令、位置フォワード制御された速度指令と速度フィードバックとの差、及び加算器１０７の出力となる位置フォワード制御されたトルク指令が機械学習装置２００に入力されている点である。なお、図８では、加算器１０４の出力となる位置フォワード制御された速度指令、位置フォワード制御された速度指令と速度フィードバックとの差、及び加算器１０７の出力となる位置フォワード制御されたトルク指令の全てが、機械学習装置２００に入力されている例を示しているが、これらのいずれか１つ又は複数の組み合わせと、位置偏差とを用いて強化学習を行うことができる。
【００８３】
位置偏差が小さくなっても、機械にショックが発生する場合がある。具体的には、加加速度が大きい（加速度の変化が大きい）と機械にショックが発生する。機械のショックを低減するために、位置偏差の変化が小さいもの、トルク指令値の変化が小さいものが望まれる。そこで、位置偏差の値ｆ（ＰＤ（ｓ））による報酬の計算の他に、位置偏差の変化（位置偏差の微分値）及び／又はトルク指令値の変化（トルク指令値の微分）により報酬を計算するようにしてもよい。
以下、状態ｓにおける位置偏差の微分値の集合をＰＤ´（ｓ）と記載する。また、状態ｓにおけるトルク指令値の集合をＴＣ（ｓ）、状態ｓにおけるトルク指令値の微分値の集合をＴＣ´（ｓ）と記載する。
【００８４】
＜位置偏差の微分値＞
報酬の計算において位置偏差の微分値を考慮する場合、位置偏差の微分値の評価関数ｇを予め設定し、状態ｓの位置偏差の微分値の評価値ｇ（ＰＤ´（ｓ））と、状態ｓ´の位置偏差の微分値の評価値ｇ（ＰＤ´（ｓ´））とを比較することで、位置偏差の場合と同様に、位置偏差の微分値に基づく第２の報酬を算出することができる。
なお、評価関数ｇとしては、評価関数ｆと同様に、例えば、位置偏差の微分値の絶対値の積算値を算出する関数、位置偏差の微分値の絶対値に時間の重み付けをして積算値を算出する関数、位置偏差の微分値の絶対値の２ｎ乗の積算値を算出する関数、又は位置偏差の微分値の絶対値の最大値を算出する関数等を適用することができる。
そうすることで、行動情報ａにより修正された状態ｓ´における位置偏差の微分値の評価値ｇ（ＰＤ´（ｓ´））が、行動情報ａにより修正される前の状態ｓにおける位置偏差の微分値の評価値ｇ（ＰＤ´（ｓ））よりも大きくなった場合に、報酬出力部２０２１は、第２の報酬の値を負の値とする。
【００８５】
一方で、状態ｓ´における位置偏差の微分値の評価値ｇ（ＰＤ´（ｓ´））が、前の状態ｓにおける位置偏差の微分値の評価値ｇ（ＰＤ´（ｓ））よりも小さくなった場合に、報酬出力部２０２１は、第２の報酬の値を正の値とする。
また、状態ｓ´における位置偏差の微分値の評価値ｇ（ＰＤ´（ｓ´））が、前の状態ｓにおける位置偏差の微分値の評価値ｇ（ＰＤ´（ｓ））と等しい場合に、第２の報酬の値をゼロとする。
【００８６】
第１の実施形態で説明した位置偏差の評価値に基づいて算出される報酬を第１の報酬と呼ぶと、報酬出力部２０２１は、位置偏差の微分値を考慮する報酬としては、第１の報酬の値と第２の報酬の値との間で重み付けを行って加算するようにしてもよい。価値関数更新部２０２２は、状態ｓと、行動ａと、行動ａを状態ｓに適用した場合の状態ｓ´と、上記のようにして算出された、位置偏差の微分値を考慮する報酬の値に基づいてＱ学習を行うことにより、価値関数記憶部２０４に記憶する価値関数Ｑを更新する。
【００８７】
＜変形例＞
以上説明した例では第１の報酬の値と第２の報酬の値との間で重み付けを行って加算したが、位置偏差の絶対値に関する評価関数ｆと位置偏差の微分値の絶対値に関する評価関数ｇとの間に重み付けをして、加算された評価関数を用いて報酬を決定してもよい。図９は、重み付けされて加算された評価関数を用いて選択しえる位置偏差の波形を示す特性図である。
位置偏差をｅで示し、
位置偏差に関する評価関数ｆ＝∫|e|dt、
位置偏差の微分値に関する評価関数ｇ＝∫|de/dt|dtとすると、
両者を重み付けして加算された評価関数は、
ｃ×∫|e|dt＋ｄ×∫|de/dt|dt（ｃ、ｄは重み係数）
となる。
この重み付けして加算された評価関数に基づいて報酬の値を決定すると、図９に示すように、位置偏差の微分値に関する評価関数の値が大きい実線に示す波形に比べて、位置偏差の微分値に関する評価関数の値が小さい破線に示す波形が選択されることがわかる。
【００８８】
＜トルク指令値の微分値＞
報酬の計算において、状態ｓにおけるトルク指令値ＴＣ（ｓ）の微分値を考慮する場合、トルク指令値の微分値ＴＣ´（ｓ）の評価関数ｈを予め設定し、トルク指令値の微分値の値ｈ（ＴＣ´（ｓ））に基づき、位置偏差の微分値の場合と同様に、トルク指令値の微分値に基づく第３の報酬を算出することができる。
報酬出力部２０２１は、トルク指令値の微分値を考慮する報酬としては、第１の報酬の値と第３の報酬の値との間で重み付けを行って加算するようにしてもよい。
また、位置偏差の微分値及びトルク指令値の微分値を考慮する場合には、報酬出力部２０２１は、例えば報酬の値を、第１の報酬の値と第２の報酬の値と第３の報酬の値との間で重み付けを行って加算するようにしてもよい。
【００８９】
＜変形例＞
位置偏差の場合と同様に、位置偏差に関する評価関数とトルク指令値の微分値に関する評価関数との間で重み付けをし、重み付けされた評価関数を加算し、重み付けされた評価関数を用いて報酬を決定してもよい。
また、さらに、位置偏差の微分値及びトルク指令値の微分値を考慮する場合には、位置偏差に関する評価関数と位置偏差の微分値に関する評価関数とトルク指令値の微分値に関する評価関数との間で重み付けをし、重み付けされた評価関数を加算し、重み付けされた評価関数を用いて報酬を決定してもよい。
【００９０】
＜速度指令値＞
速度指令値が変化してから位置偏差がある範囲内に収まるまでの時間Ｔはできるだけ短くすることが好ましい。そこで、位置偏差による報酬の計算の他に、速度指令値が変化してから位置偏差がある範囲内に収まるまでの時間Ｔを考慮した報酬を計算することができる。
状態情報取得部２０１が、加算器１０４の出力となる位置フォワード制御された速度指令値の変化を検出し、速度指令値が変化してから、減算器１０２の出力となる位置偏差が所定の範囲内に収まるまでの時間Ｔを観測する。以下、状態ｓにおける、速度指令値が変化してから、減算器１０２の出力となる位置偏差が所定の範囲内に収まるまでの時間Ｔの集合をＴ（ｓ）と記載する。
報酬の計算において、状態ｓにおける速度指令値が変化してから、減算器１０２の出力となる位置偏差が所定の範囲内に収まるまでの時間Ｔを考慮する場合、時間Ｔ（ｓ）の評価関数ｐを予め設定し、時間Ｔ（ｓ）の評価値ｐ（Ｔ（ｓ））に基づき、位置偏差の微分値の場合と同様に、時間Ｔ（ｓ）に基づく第４の報酬を算出することができる。
状態ｓにおける速度指令値が変化してから、減算器１０２の出力となる位置偏差が所定の範囲内に収まるまでの時間Ｔを考慮する報酬としては、第１の報酬の値と第４の報酬の値との間で重み付けを行って加算するようにしてもよい。
また、さらに、位置偏差の微分値、トルク指令値の微分値、及び前述した時間Ｔ（ｓ）のいずれかを組み合わせて考慮する場合には、例えば報酬の値を、第１の報酬の値と、組み合わせに対応する第２の報酬の値、第３の報酬の値、及び第４の報酬の値との間で重み付けを行って加算するようにしてもよい。
【００９１】
＜変形例＞
以上説明した例では第１の報酬の値と第４の報酬の値との間で重み付けを行って加算したが、位置偏差の絶対値に関する評価関数ｆと時間Ｔ（ｓ）に関する評価関数ｐとの間に重み付けをして、加算された評価関数を用いて報酬を算出してもよい。図１０は、重み付けされて加算された評価関数を用いて選択しえる位置偏差の波形を示す特性図である。
位置偏差をｅで示し、
位置偏差に関する評価関数ｆを∫|e|dt、
時間Ｔ（ｓ）に関する評価関数ｐを∫t0dtとすると、
重み付けして加算された評価関数はy×∫|e|dt＋z×∫t0dt（y,zは重み係数）となる。
重み付けして加算された評価関数に基づいて報酬の値を決定すると、図１０に示すように、実線に示す波形Ｗ２より時間Ｔが小さい破線に示す波形Ｗ１が選択されることがわかる。なお、図１０において、時間Ｔは波形Ｗ１、Ｗ２ではそれぞれt0(1)、t0(2)として示される。
なお、位置偏差の微分値、トルク指令値の微分値、及び前述した時間Ｔ（ｓ）のいずれかを組み合わせて考慮する場合には、位置偏差に関する評価関数と位置偏差の微分値に関する評価関数とトルク指令値の微分値に関する評価関数と、時間Ｔ（ｓ）に関する評価関数の間で重み付けをし、重み付けされた評価関数を加算し、重み付けされた評価関数を用いて報酬を決定してもよい。
【００９２】
＜トルク指令値＞
トルク指令値には上限値が存在する。そこで、許容値ＴＣmaxを例えば、上限値又は上限値以下の値に設定し、この許容値ＴＣmaxを超えないようにすることが好ましい。そこで、位置偏差による報酬の計算の他に、トルク指令値が許容値ＴＣmaxまで達しているか否かにより報酬を計算する。
具体的には、状態情報取得部２０１が、状態ｓにおいて、加算器１０７の出力となる位置フォワード制御されたトルク指令値ＴＣ（ｓ）を観測する。状態情報取得部２０１は、状態ｓにおいて観測されるトルク指令値が一つでも許容値ＴＣmaxを超えたことを観測した場合、報酬出力部２０２１は、第１の報酬の値や前の状態におけるトルク指令値の如何に関わらず、報酬を負の値とする。
【００９３】
なお、状態ｓにおいて観測されるトルク指令値が許容値ＴＣmaxを超えない場合、トルク指令値ＴＣ（ｓ）の評価関数ｑを予め設定し、トルク指令値ＴＣ（ｓ）の評価値ｑ（ＴＣ（ｓ））に基づき、位置偏差の微分値の場合と同様に、トルク指令値ＴＣ（ｓ）に基づく第５の報酬を算出するようにしてもよい。
その場合、報酬出力部２０２１は、第１の報酬の値と第５の報酬の値との間で重み付けを行って加算するようにしてもよい。
さらに、位置偏差の微分値、トルク指令値の微分値、前述した時間Ｔ（ｓ）、及びトルク指令値のいずれかを組み合わせて考慮する場合には、例えば報酬の値を、第１の報酬の値と、組み合わせに対応する第２の報酬の値、第３の報酬の値、第４の報酬の値、及び第５の報酬の値との間で重み付けを行って加算するようにしてもよい。
【００９４】
＜変形例＞
位置偏差の場合と同様に、位置偏差に関する評価関数とトルク指令値ＴＣ（ｓ）の評価関数ｑとの間で重み付けをし、重み付けされた評価関数を加算し、重み付けされた評価関数を用いて報酬を決定してもよい。
また、さらに、位置偏差の微分値、トルク指令値の微分値、時間Ｔ（ｓ）、トルク指令値ＴＣ（ｓ）のいずれかを組み合わせて考慮する場合には、位置偏差に関する評価関数と位置偏差の微分値に関する評価関数とトルク指令値の微分値に関する評価関数と、時間Ｔ（ｓ）に関する評価関数とトルク指令値ＴＣ（ｓ）の評価関数の間で重み付けをし、重み付けされた評価関数を加算し、重み付けされた評価関数を用いて報酬を決定してもよい。
【００９５】
＜速度偏差＞
偏差には位置偏差のほかに速度偏差もある。位置偏差は小さくても速度偏差が大きすぎることは好ましくない。位置偏差だけでなく、速度偏差も使用し、位置偏差の報酬の値の重みを大きくし、位置偏差と速度偏差とが小さくなる速度フィードフォワード係数を見つけることが好ましい。その場合、位置偏差による報酬の計算の他に、速度偏差による第６の報酬を計算することが好ましい。ここで、状態ｓにおける状態変数である速度偏差の集合（速度偏差集合）をＶＤ（ｓ）という。
報酬の計算において、状態ｓにおける速度偏差ＶＤ（ｓ）を考慮する場合、速度偏差ＶＤ（ｓ）の評価関数ｕを予め設定し、速度偏差ＶＤ（ｓ）の評価値ｕ（ＶＤ（ｓ））に基づき、位置偏差の微分値の場合と同様に、速度偏差ＶＤ（ｓ）に基づく第６の報酬を算出することができる。
【００９６】
状態ｓにおける速度偏差ＶＤ（ｓ）を考慮する報酬としては、第１の報酬の値と第６の報酬の値との間で重み付けを行って加算するようにしてもよい。
なお、位置偏差の微分値、トルク指令値の微分値、時間Ｔ（ｓ）、トルク指令値、及び速度偏差ＶＤ（ｓ）のいずれかを組み合わせて考慮する場合には、例えば報酬の値を、第１の報酬の値と、組み合わせに対応する第２の報酬の値、第３の報酬の値、第４の報酬の値、第５の報酬の値、及び第６の報酬の値との間で重み付けを行って加算するようにしてもよい。
【００９７】
＜変形例＞
位置偏差の場合と同様に、位置偏差に関する評価関数と速度偏差ＶＤ（ｓ）の評価関数との間で重み付けをし、重み付けされた評価関数を加算し、重み付けされた評価関数を用いて報酬を決定してもよい。
また、さらに、位置偏差の微分値、トルク指令値の微分値、時間Ｔ（ｓ）、トルク指令値ＴＣ（ｓ）、速度偏差のいずれかを組み合わせて考慮する場合には、位置偏差に関する評価関数と位置偏差の微分値に関する評価関数とトルク指令値の微分値に関する評価関数と、時間Ｔ（ｓ）に関する評価関数とトルク指令値ＴＣ（ｓ）の評価関数と、速度偏差ＶＤ（ｓ）の評価関数と、の間で重み付けをし、重み付けされた評価関数を加算し、重み付けされた評価関数を用いて報酬を決定してもよい。
【００９８】
なお、第２の実施形態で挙げた評価関数ｇ（ＰＤ´（ｓ））、ｈ（ＴＣ´（ｓ））、ｐ（Ｔ（ｓ））、ｑ（ＴＣ（ｓ））、ｕ（ＶＤ（ｓ））としては、評価関数ｆ（ＰＤ（ｓ））と同様に、例えば、絶対値の積算値を算出する関数、絶対値に時間の重み付けをして積算値を算出する関数、絶対値の２ｎ乗の積算値を算出する関数、又は絶対値の最大値を算出する関数等を適用することができる。
【００９９】
上記のサーボ制御装置のサーボ制御部及び機械学習装置に含まれる各構成部は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記のサーボ制御装置に含まれる各構成部のそれぞれの協働により行なわれるサーボ制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【０１００】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【０１０１】
上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【０１０２】
＜サーボ制御装置が機械学習装置を備える変形例＞
上述した実施形態では、機械学習装置２００を、サーボ制御装置１００とは別体の装置により構成したが、機械学習装置２００の機能の一部又は全部をサーボ制御装置１００により実現するようにしてもよい。
【０１０３】
＜システム構成の自由度＞
上述した実施形態では、機械学習装置２００とサーボ制御装置１００とが１対１の組として通信可能に接続されているが、例えば１台の機械学習装置２００が複数のサーボ制御装置１００とネットワーク４００を介して通信可能に接続され、各サーボ制御装置１００の機械学習を実施するようにしてもよい。
その際、機械学習装置２００の各機能を、適宜複数のサーバに分散する、分散処理システムとしてもよい。また、クラウド上で仮想サーバ機能等を利用して、機械学習装置２００の各機能を実現してもよい。
また、複数の同じ型名、同一仕様、又は同一シリーズのサーボ制御装置１００−１〜１００−ｎとそれぞれ対応する複数の機械学習装置２００−１〜２００−ｎがあった場合に、各機械学習装置２００−１〜２００−ｎにおける学習結果を共有するように構成するようにしてもよい。そうすることで、より最適なモデルを構築することが可能となる。
【符号の説明】
【０１０４】
１０  サーボ制御システム
１００  サーボ制御装置
１０１  位置指令作成部
１０２  減算器
１０３  位置制御部
１０４  加算器
１０５  減算器
１０６  速度制御部
１０７  加算器
１０８  積分器
１０９  位置フィードフォワード計算部
１１０  速度フィードフォワード計算部
２００  機械学習装置
２０１  状態情報取得部
２０２  学習部
２０３  行動情報出力部
２０４  価値関数記憶部
２０５  最適化行動情報出力部
３００  制御対象
４００  ネットワーク
【図１】
2018152012.tif 000005
【図２】
2018152012.tif 000006
【図３】
2018152012.tif 000007
【図４Ａ】
2018152012.tif 000008
【図４Ｂ】
2018152012.tif 000009
【図４Ｃ】
2018152012.tif 000010
【図４Ｄ】
2018152012.tif 000011
【図５】
2018152012.tif 000012
【図６】
2018152012.tif 000013
【図７】
2018152012.tif 000014
【図８】
2018152012.tif 000015
【図９】
2018152012.tif 000016
【図１０】
2018152012.tif 000017