(57)【特許請求の範囲】
【請求項１】
モータ駆動装置へのアナログの入力信号をフィルタするフィルタ部に関連付けられる条件であるフィルタの大きさ及びフィルタのカットオフ周波数を学習する機械学習装置であって、
行動価値テーブルによってフィルタを決定する行動で直接的に変化する状態であるフィルタの大きさ及びカットオフ周波数、並びに前記行動で間接的に変化する状態である前記フィルタ部の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測する状態観測部と、
前記状態変数によって構成される訓練データセットに従って、前記フィルタ部に関連付けられる条件であるフィルタの大きさ及びフィルタのカットオフ周波数を学習する学習部と、
を備えることを特徴とする機械学習装置。
【請求項２】
前記状態観測部が更に機械指令部からの機械状態の情報を観測し、
前記学習部が更に前記機械状態の情報に基づいて前記訓練データセットを更新する、請求項１に記載の機械学習装置。
【請求項３】
前記学習部が、複数のフィルタ部に対して取得される訓練データセットに従って、前記条件を学習するように構成される、請求項１または２に記載の機械学習装置。
【請求項４】
前記学習部が前記訓練データセットに従って学習した結果に基づいて、前記フィルタを更新する意思決定部をさらに備える、請求項１乃至３のいずれか一項に記載の機械学習装置。
【請求項５】
前記ノイズ成分、前記ノイズ量及び前記応答性に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、現在の状態変数から前記フィルタ部を変更するための関数を更新する関数更新部と、
をさらに備える、請求項１乃至４のいずれか一項に記載の機械学習装置。
【請求項６】
前記報酬計算部は、前記ノイズ量が増える、または、前記応答性が規定値未満の場合に報酬を減少させ、前記ノイズ量が減り、かつ、前記応答性が規定値以上の場合に報酬を増加させる、請求項５に記載の機械学習装置。
【請求項７】
前記学習部は、前記現在の状態変数によって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される、請求項５に記載の機械学習装置。
【請求項８】
前記機械学習装置がネットワークを介して前記フィルタ部に接続され、
前記状態観測部は、前記ネットワークを介して、前記現在の状態変数を取得するように構成される、請求項７に記載の機械学習装置。
【請求項９】
請求項１乃至８のいずれか一項に記載の機械学習装置と、
可変のフィルタである可変フィルタ部、及び可変フィルタ部のフィルタを変更するフィルタ変更部を含むフィルタ部と、
を有する、モータ駆動装置。
【請求項１０】
前記機械学習装置がクラウドサーバに存在する、請求項９に記載のモータ駆動装置。
【請求項１１】
請求項９または１０に記載のモータ駆動装置と、
機械の動作情報を通知する機械指令部と、
を有する、モータ駆動システム。
【請求項１２】
モータ駆動装置へのアナログの入力信号をフィルタするフィルタ部に関連付けられる条件であるフィルタの大きさ及びフィルタのカットオフ周波数を学習する機械学習方法であって、
行動価値テーブルによってフィルタを決定する行動で直接的に変化する状態であるフィルタの大きさ及びカットオフ周波数、並びに前記行動で間接的に変化する状態である前記フィルタ部の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測し、
前記状態変数によって構成される訓練データセットに従って、前記フィルタ部に関連付けられる条件であるフィルタの大きさ及びフィルタのカットオフ周波数を学習する、
ことを含む、機械学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械学習装置、モータ駆動装置、モータ駆動システム、及び機械学習方法に関し、特に、機械指令に応じたフィルタを学習する機械学習装置、機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法に関する。
【背景技術】
【０００２】
モータ制御装置において、モータへの電流を検出する回路や、モータの位置を帰還する回路には、アナログ信号が用いられることがある。これらのアナログ信号にノイズが印加されると、システム全体の精度に影響が出る。そこで、アナログ信号にフィルタを入れて検出することにより、ノイズを除去して、システム全体の精度に影響が出ないようにしている（例えば、特許文献１）。
【０００３】
特許文献１には、ノイズ源となる各種機器の搭載された車両に適用され、この車両が関わる無線通信の通信方法を選択する通信制御システムにおいて、ノイズ源となる各種機器の動作状態を検出する検出手段と、検出手段で検出された各種機器の動作状態に基づいて、当該動作状態に特有の電磁ノイズ特性を推定する推定手段と、推定手段で推定された電磁ノイズ特性に応じて通信方法を選択する選択手段とを備える通信制御システムが開示されている。このような構成により、ノイズ源となる各種機器の動作状態、例えば、車両搭載のモータの回転状態に適した通信方法を選択することで、通信を好適に実施することができるというものである。
【０００４】
アナログ信号にかけるフィルタは、大きいほどノイズを除去することができる。しかしながら、フィルタを大きくし過ぎると、応答性を落としてしまい、即時性を失ってしまう。また、システム／機械の状態によって、ノイズの大きさや成分が変わるため、最適なフィルタは一定ではなく、フィルタを固定にすることは必ずしも最適ではない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−０６２０４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、機械学習によって、システム／機械の状態で、外部ノイズを取り除く最適なフィルタを設定することができ、応答性を落とすことなく外部ノイズの除去が可能な機械学習装置、機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一実施例に係る機械学習装置は、アナログの入力信号をフィルタするフィルタ部に関連付けられる条件を学習する機械学習装置であって、フィルタ部の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、フィルタ部に関連付けられる条件を学習する学習部と、を備えることを特徴とする。
【０００８】
本発明の一実施例に係るモータ駆動装置は、上記機械学習装置を備えることを特徴とする。
【０００９】
本発明の一実施例に係るモータ駆動システムは、上記モータ駆動装置と、機械の動作情報を通知する機械指令部と、を有することを特徴とする。
【００１０】
本発明の一実施例に係る機械学習方法は、アナログの入力信号をフィルタするフィルタ部に関連付けられる条件を学習する機械学習方法であって、フィルタ部の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、フィルタ部に関連付けられる条件を学習する、ことを含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、機械学習によって、システム／機械の稼動状態で、外部ノイズを取り除く最適なフィルタを設定することができ、応答性を落とすことなく外部ノイズの除去が可能な機械学習装置及び機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例に係る機械学習装置の構成図である。
【図２】本発明の実施例に係るモータ駆動システムの構成図である。
【図３】本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートである。
【図４】本発明の実施例に係るモータ駆動システムの動作手順を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明に係る機械学習装置、モータ駆動装置、モータ駆動システム及び機械学習方法について説明する。
【００１４】
図１は、本発明の実施例に係る機械学習装置の構成図である。図２は、本発明の実施例に係るモータ駆動システムの構成図である。
【００１５】
本発明の実施例に係る機械学習装置１は、アナログの入力信号をフィルタするフィルタ部に関連付けられる条件を学習する機械学習装置１であって、状態観測部２と、学習部３と、を備える。
【００１６】
状態観測部２は、フィルタ部７（図２参照）の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測する。
【００１７】
学習部３は、状態変数によって構成される訓練データセットに従って、フィルタ部７に関連付けられる条件を学習する。
【００１８】
状態観測部２は、機械指令部９からの機械稼働状態の情報を観測し、学習部３は、機械稼働状態の情報に基づいて訓練データセットを更新する。
【００１９】
図２に示したモータ駆動システムの構成図にはフィルタ部７を１つのみ備えた例を示したが、このような例には限られず、フィルタ部を複数備えていてもよい。学習部３が、複数のフィルタ部に対して取得される訓練データセットに従って、条件を学習するように構成されるようにしてもよい。
【００２０】
学習部３が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、訓練データセットに基づいてフィルタを更新する意思決定部４をさらに備えることが好ましい。
【００２１】
機械学習装置１は、ノイズ成分、ノイズ量及び応答性に基づいて報酬を計算する報酬計算部５と、報酬に基づいて、現在の状態変数からフィルタ部を変更するための関数を更新する関数更新部６と、を備える。
【００２２】
報酬計算部５は、ノイズ量が増える、または、応答性が規定値以下の場合に報酬を減少させ、ノイズ量が減り、かつ、応答性が規定値以上の場合に報酬を増加させる。
【００２３】
関数更新部６は、いわゆるＱ学習を用いて強化学習を行うことが好ましい。Ｑ学習は、ある環境ｓの下で、行動ａを選択する価値（行動の価値）Ｑ（ｓ，ａ）を学習する方法である。ある状態ｓのとき、Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択するものである。関数更新部６は、下記の式（１）を用いて関数（行動価値関数Ｑ（ｓt，ａt））を更新する。
【００２４】
【数１】
0006259428.tif 000002
【００２５】
ここで、Ｑ（ｓt，ａt）は行動価値関数、ｓtは時刻ｔにおける状態（環境）、ａtは時刻ｔにおける行動、αは学習係数、ｒt+1は報酬、γは割引率である。行動価値関数は、報酬の期待値を意味する。ｍａｘが付いた項は、環境ｓt+1の下で、最もＱ値が高い行動ａを選んだ場合のＱ値にγを掛けたものである。
【００２６】
簡便のため学習係数及び割引率を１とすると、下記の式（２）のように表せる。
【００２７】
【数２】
0006259428.tif 000003
【００２８】
この更新式は、環境ｓにおける行動ａの評価値Ｑ（ｓt，ａt）よりも、行動ａによる次の環境状態における最良の行動の評価値Ｑ（ｓt+1，ｍａｘ ａt+1）の方が大きければＱ（ｓt，ａt）を大きくし、逆に小さければＱ（ｓt，ａt）を小さくすることを示す。即ち、ある状態におけるある行動の価値を、それによる次の状態における最良の行動の価値に近づけるものである。
【００２９】
図２に示すように、フィルタ部７における状態には、行動で間接的に変化する状態と、行動で直接的に変化する状態とがある。行動で間接的に変化する状態には、フィルタ後のノイズ成分、ノイズ量及び応答性が含まれる。行動で直接的に変化する状態には、フィルタが含まれる。
【００３０】
学習部３は、現在の状態変数によって構成される追加の訓練データセットに従って、条件を再学習して更新するように構成される。
【００３１】
機械学習装置１がネットワークを介してフィルタ部に接続され、状態観測部２は、ネットワークを介して、現在の状態変数を取得するように構成されるようにしてもよい。
【００３２】
次に、本発明の実施例に係るモータ駆動装置について説明する。本発明の実施例に係るモータ駆動装置８は、上記の機械学習装置１と、可変のフィルタである可変フィルタ部、及び可変フィルタ部のフィルタを変更するフィルタ変更部を含むフィルタ部７と、を有することを特徴とする。
【００３３】
機械学習装置１は、クラウドサーバに存在することが好ましい。
【００３４】
モータ駆動システムは、モータ駆動装置８と、機械指令部９と、機械１０及びアナログの入力信号１１を備える。機械指令部９は、モータ駆動装置８及び機械１０に指令を与えるだけでなく、指令のうち、ノイズに関連付けられる条件を、モータ駆動装置８に送信する。アナログの入力信号１１は、帰還信号であり、モータ駆動装置８及び機械１０から、ノイズが印加される。
【００３５】
次に、本発明の実施例に係る機械学習方法について説明する。本発明の実施例に係る機械学習方法は、アナログの入力信号をフィルタするフィルタ部に関連付けられる条件を学習する機械学習方法であって、フィルタ部の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、フィルタ部に関連付けられる条件を学習する、ことを含むことを特徴とする。
【００３６】
図３に本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートを示す。まず、ステップＳ１０１において、フィルタ部７の出力信号のノイズ成分、ノイズ量及び入力信号に対する応答性から構成される状態変数を観測する。
【００３７】
次に、ステップＳ１０２において、状態変数によって構成される訓練データセットに従って、フィルタ部に関連付けられる条件を学習する。
【００３８】
次に、本発明の実施例に係るモータ駆動装置を用いた機械学習方法について説明する。図４に本発明の実施例に係るモータ駆動装置の動作手順を説明するためのフローチャートを示す。まず、ステップＳ２０１において、学習をスタートする。
【００３９】
次に、ステップＳ２０２において、機械指令部９からノイズに関係する状態の情報を入手する。
【００４０】
次に、ステップＳ２０３において、行動価値テーブルに基づいて、フィルタの大きさ、フィルタのカットオフ周波数を選択する。その後、ステップＳ２０８において、行動価値テーブルを更新する。
【００４１】
次に、ステップＳ２０４において、ノイズの絶対値が前回学習と比較して下がったか否かを判断する。ノイズの絶対値が前回学習と比較して下がっていない場合は、ステップＳ２０６において、報酬を減少させる。
【００４２】
一方、ノイズの絶対値が前回学習と比較して下がった場合は、ステップＳ２０５において、応答性の評価を行う。
【００４３】
応答性が規定値未満であった場合は、ステップＳ２０６において、報酬を減少させる。その後、ステップＳ２０８において、行動価値テーブルを更新する。
【００４４】
一方、応答性が規定値以上であった場合は、ステップＳ２０７において、報酬を増加させる。その後、ステップＳ２０８において、行動価値テーブルを更新する。
【００４５】
ステップＳ２０８における行動価値テーブルの更新は、行動価値テーブルから、行動価値の点数の大きい項目を優先して、フィルタを変更する項目を決定することにより行われる。その後、決定された項目に基づいてフィルタを変更しステップＳ２０２に戻ってフィルタのノイズ成分、ノイズ量、応答性に関する行動価値が最良となるようにする。
【００４６】
以上説明したように、本発明の実施例に係る機械学習装置及び機械学習装置を備えたモータ駆動装置及びモータ駆動システム並びに機械学習方法によれば、機械学習によって、システム／機械の稼動状態で、外部ノイズを取り除く最適なフィルタを設定することができる。
【符号の説明】
【００４７】
１    機械学習装置
２    状態観測部
３    学習部
４    意思決定部
５    報酬計算部
６    関数更新部
７    フィルタ部
８    モータ駆動装置
９    機械指令部
【図１】
0006259428.tif 000004
【図２】
0006259428.tif 000005
【図３】
0006259428.tif 000006
【図４】
0006259428.tif 000007