(57)【要約】【課題】歩行運動のような周期運度の安定化に有効な位相反応曲線を更新させる位相反応曲線学習方法などを提供する。【解決手段】本発明に係る位相反応曲線学習装置１においては、同期事象検出部１２にて、制御器３と２足歩行ロボット５との間で同期を確立すべき事象（同期事象という）が発生したか否かを検出する。同期事象検出部１２にて同期事象の発生が検出された場合、成否判定部１３は同期事象の成否を判定する。報酬設定部１４は、成否判定部１３による判定結果に基づいて各事象の達成度としての報酬を設定し、曲線パラメータ更新部１５は、報酬設定部１４にて設定された各事象の報酬の累計値が最大になるように曲線パラメータ１１ａを更新する。制御器３は、位相反応曲線学習装置１によって最適化された位相反応曲線に基づいて位相のリセットを行なうことによって制御器３と２足歩行ロボット５との間で同期を確立させる。【選択図】図１
2007175860.tif 000002
【特許請求の範囲】
【請求項１】
複数の事象が周期的に発生する周期的運動の外乱因子に対する位相の変化量を示す位相反応曲線を強化学習によって更新させる位相反応曲線学習方法であって、
各事象の成否を判定し、判定結果に基づいて各事象の達成度を設定し、設定した各事象の達成度の累計値が最大になるように前記位相反応曲線のパラメータを更新すること
を特徴とする位相反応曲線学習方法。
【請求項２】
複数の事象が周期的に発生する周期的運動の外乱因子に対する位相の変化量を示す位相反応曲線を強化学習によって更新させる位相反応曲線学習装置であって、
各事象の成否を判定する手段と、
判定結果に基づいて各事象の達成度を設定する手段と、
設定した各事象の達成度の累計値が最大になるように前記位相反応曲線のパラメータを更新する手段と
を備えることを特徴とする位相反応曲線学習装置。
【請求項３】
複数の事象が周期的に発生する周期的運動の制御対象を、制御器が該制御対象の状態に基づいて制御する周期的運動制御方法であって、
請求項１に記載の位相反応曲線学習方法によって更新された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行なって制御器及び制御対象の同期を確立させること
を特徴とする周期的運動制御方法。
【請求項４】
複数の事象が周期的に発生する周期的運動の制御対象を、該制御対象の状態に基づいて制御する周期的運動制御装置であって、
請求項１に記載の位相反応曲線学習方法によって更新された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行なって前記制御対象との間で同期を確立させる手段を備えること
を特徴とする周期的運動制御装置。
【請求項５】
複数の事象が周期的に発生する周期的運動を制御対象に実行させる制御器と、
前記周期的運動の外乱因子に対する位相の変化量を示す位相反応曲線を強化学習によって更新させるべく、
各事象の成否を判定する手段、
判定結果に基づいて各事象の達成度を設定する手段、及び
設定した各事象の達成度の累計値が最大になるように前記位相反応曲線のパラメータを更新する手段
を備える位相反応曲線学習装置と
を有し、外乱因子に対応して周期的運動のパターンを変更するようにしてあることを特徴とする周期的運動制御装置。
【請求項６】
パラメータを更新された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行い、制御対象との間で同期を確立するようにしてある請求項５に記載の周期的運動制御装置。
【請求項７】
前記制御対象は２足歩行ロボットであり、該ロボットの足の接地時に前記リセットを行う請求項６に記載の周期的運動制御装置。
【請求項８】
前記２足歩行ロボットは５リンクを有し、転倒回避のために股関節角及び／または膝関節角を変位するパターン変更を行う請求項７に記載の周期的運動制御装置。
【請求項９】
前記２足歩行ロボットは５リンクを有し、転倒回避のために股関節角及び膝関節角を正方向に変位するパターン変更を行う請求項８に記載の周期的運動制御装置。  
【請求項１０】
前記２足歩行ロボットは５リンクを有し、転倒回避のために股関節軌道及び／または膝関節軌道を変位するパターン変更を行う請求項７乃至９のいずれかに記載の周期的運動制御装置。
【請求項１１】
前記２足歩行ロボットは５リンクを有し、転倒回避のために股関節軌道を負方向に、膝関節軌道を正方向に各変位するパターン変更を行う請求項７乃至１０のいずれかに記載の周期的運動制御装置。
【請求項１２】
周期的歩行を行う２リンクの２足歩行ロボットを、該ロボットの状態に基づいて制御する歩行運動制御装置であって、
【数１】
2007175860.tif 000020
φは位相で表される周期軌道をロボットに追従させる制御器と、
歩行運動の成否を判定する手段、
該手段での判定結果に基づいて各歩行の達成度を設定する手段、及び
該手段で設定した達成度の累計値が最大になるように、外乱因子による歩行運動の位相の変化量を示す位相反応曲線のパラメータを更新する手段
を備える位相反応曲線学習装置と
を有し、
パラメータを更新された位相反応曲線に基づいて、歩行運動を規定する位相をリセットし、ロボットとの間で同期を確立させるようにしてあることを特徴とする歩行運動制御装置。
【請求項１３】
前記ロボットの足の接地時に前記リセットを行う請求項１２に記載の歩行運動制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歩行運動のような周期的運動の安定化に有効な位相反応曲線を更新させる位相反応曲線学習方法及び装置並びにこれらを用いた周期的運動制御方法及び装置並びに歩行運動制御装置に関する。
【背景技術】
【０００２】
近年、産業用のみならず、エンタテインメント性が高く玩具的要素を有するロボット、住居の監視を行なうような実用的要素を有するロボットなど、様々なロボットが開発されている。なかでも、ヒトの動作をモデルにした２足歩行ロボットは、姿勢制御が極めて困難である反面、動作の多様性に優れ、様々な用途での利用が考えられる。
【０００３】
ところで、歩行運動のような周期的運動においては、制御器と該制御器の制御対象とを同期させることが重要であると考えられている。例えば、同期を確立すべき事象が生じたタイミングにおける制御器の変化量Δφを位相φの関数として表した位相反応曲線を用いて位相をリセットすることにより、迅速に制御器と制御対象との間で同期を確立させる技術が提案されている（例えば、非特許文献１、非特許文献２及び非特許文献３参照。）。２足歩行ロボットにおいては、各脚が接地するたびに、一方（接地側）の脚の位相φを０に、他方（非接地側）の脚の位相φをπにする。
【０００４】
図１３は位相反応曲線３０の一例を示している。位相反応曲線３０は、複数の事象が周期的に発生する周期的運動の外乱因子に対する位相の変化量を示したものである。例えば、周期的運動が行なわれている振動子に外乱を与えた場合、長時間経過後の振動子の周期は元の周期に収束するが、位相ずれ（位相の変化）が生じる。外乱を加えたタイミング（位相φ）を横軸に、位相の変化量Δφを縦軸に取って、位相φと位相の変化量Δφとの関係を示したものがこの位相反応曲線３０である。
【非特許文献１】山崎大河、他２名（T.Yamasaki,T.Nomura,and S.Sato）著，歩行における位相リセットの機能的役割（Possible functional roles of phase resetting  during walking），「バイオロジカル・サイバネティックス（Biological Cybernetics）」，２００３年，第８８巻，第６号,ｐ．４６８−４９６
【非特許文献２】土屋和雄、他２名（K.Tsuchiya,S.Aoi,and K.Tsujita）著，非線形振動子を用いた２足歩行ロボットの歩行制御（Locomotion control of biped locomotion robot using nonlinear oscillators），「ＩＥＥＥ／ＲＳＪ知的ロボット及びシステム国際会議予稿集（In Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems」」，ラス・ベガス（米国）,２００３年，ｐ．１７４５−１７５０
【非特許文献３】中西淳、他５名（J.Nakanishi,J.Morimoto,G.Endo,G.Cheng,S.Schaal,and M.Kawato）著，２足歩行のデモンストレーション及び適応からの学習（Learning from demonstration and adaptation of biped locomotion），「ロボット自律システム（Robotics and Autonomous Systems）」，２００４年，第４７巻，ｐ．７９−９１
【非特許文献４】Ｒ．Ｓ．サットン、他１名（R.S.Sutton and A.G.Barto）著，強化学習Reinforcement Learning: An Introduction），エムアイティー・プレス（MIT Press），ケンブリッジ，１９９８年
【非特許文献５】銅谷賢治著（K.Doya）著，連続的な時間及び空間における強化学習（Reinforcement Learning in Continuous Time and Space），「ニューラル・コンピュテーション（Neural Computation）」，２０００年，第１２巻，第１号，ｐ．２１９−２４５
【非特許文献６】佐藤雅昭、他１名（M.Sato and S.Ishii）著，オンラインＥＭアルゴリズムに基づく強化学習（Reinforcement learning based on on-line EM algorithm. (In M.S.Kearns,S.A.Solla,andD.A.Cohn editors)），「神経情報処理システムの進歩（Advances in Neural Information Processing Systems 11），エムアイティー・プレス（MIT Press），ケンブリッジ，１９９９年，ｐ．１０５２−１０５８
【非特許文献７】森本淳、他１名（J.Morimoto and K.Doya）著，階層的強化学習を用いたリアルロボットによる起き上がり動作の習得（Acquisition of stand-up behavior by a real robot using hierarchical reinforcement learning），「ロボット自律システム（Robotics and Autonomous Systems），２００１年，第３６巻，ｐ．３７−５１
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、現状では位相反応曲線の設計方法が確立されていないことから、人間が個々のロボットを実際に歩行させ、歩行実験を繰り返すことによって位相反応曲線を設計しているのが実情である。したがって、新たにロボットを開発するたびに、個々のロボットに応じて歩行実験を行なう必要があり、ロボット開発に膨大な時間を要するという問題があった。また、設計者の意図が位相反応曲線に加味されることから、客観性に欠けるという問題があった。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、歩行運動のような周期的運動における複数の事象のそれぞれに対して成否を判定し、判定結果に基づいて各事象の達成度を設定し、設定した各事象の達成度の累計値が最大になるように位相反応曲線のパラメータを更新することにより、位相反応曲線を人が設計することなく、また全探索的に設計することなく、客観性に優れ、位相反応曲線を更新させて周期的運動の安定化を実現することができる位相反応曲線学習方法及び位相反応曲線学習装置の提供を目的とする。
また本発明は、強化学習された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行なって制御器及び制御対象の同期を確立させることにより、安定した周期的運動を実現することができる周期的運動制御方法及び周期的運動制御装置の提供を目的とする。
【０００７】
また本発明は、歩行運動のような周期的運動における複数の事象のそれぞれに対して成否を判定し、判定結果に基づいて各事象の達成度を設定し、設定した各事象の達成度の累計値が最大になるように位相反応曲線のパラメータを更新する一方、外乱因子に応じて周期的運動のパターンを変更することにより、位相反応曲線を人が設計することなく、また全探索的に設計することなく、客観性に優れ、位相反応曲線を更新させ、また周期的運動及び歩行運動の安定化を実現することができる周期的運動制御装置及び歩行運動制御装置の提供を目的とする。
また本発明は、強化学習された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行なって制御器及び制御対象の同期を確立させることにより、安定した歩行運動などの周期的運動を実現することができる周期的運動制御装置及び歩行運動制御装置の提供を目的とする。
【課題を解決するための手段】
【０００８】
第１発明に係る位相反応曲線学習方法は、複数の事象が周期的に発生する周期的運動の外乱因子に対する位相の変化量を示す位相反応曲線を強化学習によって更新させる位相反応曲線学習方法であって、各事象の成否を判定し、判定結果に基づいて各事象の達成度を設定し、設定した各事象の達成度の累計値が最大になるように前記位相反応曲線のパラメータを更新することを特徴とする。
第２発明に係る位相反応曲線学習装置は、複数の事象が周期的に発生する周期的運動の外乱因子に対する位相の変化量を示す位相反応曲線を強化学習によって更新させる位相反応曲線学習装置であって、各事象の成否を判定する手段と、判定結果に基づいて各事象の達成度を設定する手段と、設定した各事象の達成度の累計値が最大になるように前記位相反応曲線のパラメータを更新する手段とを備えることを特徴とする。
第３発明に係る周期的運動制御方法は、複数の事象が周期的に発生する周期的運動の制御対象を、制御器が該制御対象の状態に基づいて制御する周期的運動制御方法であって、第１発明の位相反応曲線学習方法によって更新された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行なって制御器及び制御対象の同期を確立させることを特徴とする。
第４発明に係る周期的運動制御装置は、複数の事象が周期的に発生する周期的運動の制御対象を、該制御対象の状態に基づいて制御する周期的運動制御装置であって、第１発明の位相反応曲線学習方法によって更新された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行なって前記制御対象との間で同期を確立させる手段を備えることを特徴とする。
【０００９】
第５発明に係る周期的運動制御装置は、複数の事象が周期的に発生する周期的運動を制御対象に実行させる制御器と、前記周期的運動の外乱因子に対する位相の変化量を示す位相反応曲線を強化学習によって更新させるべく、各事象の成否を判定する手段、判定結果に基づいて各事象の達成度を設定する手段、及び設定した各事象の達成度の累計値が最大になるように前記位相反応曲線のパラメータを更新する手段を備える位相反応曲線学習装置とを有し、外乱因子に対応して周期的運動のパターンを変更するようにしてあることを特徴とする。
第６発明に係る周期的運動制御装置は、パラメータを更新された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行い、制御対象との間で同期を確立するようにしてあることを特徴とする。
第７発明に係る周期的運動制御装置は、前記制御対象は２足歩行ロボットであり、該ロボットの足の接地時に前記リセットを行うことを特徴とする。
【００１０】
第８発明に係る周期的運動制御装置は、前記２足歩行ロボットは５リンクを有し、転倒回避のために股関節角及び／または膝関節角を変位するパターン変更を行うことを特徴とする。
第９発明に係る周期的運動制御装置は、前記２足歩行ロボットは５リンクを有し、転倒回避のために股関節角及び膝関節角を正方向に変位するパターン変更を行うことを特徴とする。
第１０発明に係る周期的運動制御装置は、前記２足歩行ロボットは５リンクを有し、転倒回避のために股関節軌道及び／または膝関節軌道を変位するパターン変更を行うことを特徴とする。
第１１発明に係る周期的運動制御装置は、前記２足歩行ロボットは５リンクを有し、転倒回避のために股関節軌道を負方向に、膝関節軌道を正方向に各変位するパターン変更を行うことを特徴とする。
【００１１】
第１２発明に係る歩行運動制御装置は、周期的歩行を行う２リンクの２足歩行ロボットを、該ロボットの状態に基づいて制御する歩行運動制御装置であって、
【００１２】
【数１】
2007175860.tif 000003
【００１３】
φは位相で表される周期軌道をロボットに追従させる制御器と、歩行運動の成否を判定する手段、該手段での判定結果に基づいて各歩行の達成度を設定する手段、及び該手段で設定した達成度の累計値が最大になるように、外乱因子による歩行運動の位相の変化量を示す位相反応曲線のパラメータを更新する手段を備える位相反応曲線学習装置とを有し、パラメータを更新された位相反応曲線に基づいて、歩行運動を規定する位相をリセットし、ロボットとの間で同期を確立させるようにしてあることを特徴とする。
第１３発明に係る歩行運動制御装置は、前記ロボットの足の接地時に前記リセットを行うことを特徴とする。
【００１４】
第１発明及び第２発明にあっては、周期的運動における複数の事象のそれぞれに対して成否を判定し、判定結果に基づいて各事象の達成度を設定し、設定した各事象の達成度の累計値が最大になるように位相反応曲線のパラメータを更新する。
第３発明及び第４発明にあっては、上述のようにして更新された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行なって制御対象との間で同期を確立させる。
【００１５】
第５発明及び第１２発明にあっては、周期的運動または歩行運動における複数の事象のそれぞれに対して成否を判定し、判定結果に基づいて各事象の達成度を設定し、設定した各事象の達成度の累計値が最大になるように位相反応曲線のパラメータを更新する。そして第５発明では外乱因子に応じて周期的運動のパターンも変更し、運動の安定性を確保する。
第６発明及び第１３発明にあっては、上述のようにして更新された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行なって制御対象との間で同期を確立させる。そして第７発明及び第１３発明では２足歩行ロボットの足の接地時をリセットタイミングとして制御側と非制御側との同期を確立する。
第８乃至第１１発明にあっては、躓きに対処して転倒回避を図るべく足下げ(lowering)及び足上げ(elevating)をそれぞれ行う。
【発明の効果】
【００１６】
第１発明及び第２発明によれば、歩行運動のような周期的運動における複数の事象のそれぞれに対して成否を判定し、判定結果に基づいて各事象の達成度を設定し、設定した各事象の達成度の累計値が最大になるように位相反応曲線のパラメータを更新することにしたので、位相反応曲線を人が設計することなく、また全探索的に設計することなく、客観性に優れ、位相反応曲線を更新させて周期的運動の安定化を実現することができる。強化学習によって自動的に位相反応曲線を更新することから、設計者の意図が位相反応曲線に加味されることはない。
第３発明及び第４発明によれば、強化学習された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行なって制御器と制御対象との間の同期を確立させることにしたので、安定した周期的運動を実現することができる。したがって、例えば、個々のロボットごとの歩行実験が不要となり、ロボット開発に要する時間を大幅に短縮することができる等、優れた効果を奏する。
【００１７】
第５発明によれば、歩行運動のような周期的運動における複数の事象のそれぞれに対して成否を判定し、判定結果に基づいて各事象の達成度を設定し、設定した各事象の達成度の累計値が最大になるように位相反応曲線のパラメータを更新するとともに、外乱因子に対応して周期的パターンを変更するので、位相反応曲線を人が設計することなく、また全探索的に設計することなく、客観性に優れ、位相反応曲線を更新させて周期的運動の安定化を実現することができ、外乱に対しても例えば転倒することなく歩行運動などの周期的運動を継続することができる。また設計者の意図が位相反応曲線に加味されることはない。
第６、７発明によれば、周期的運動を規定する位相のリセットを行なって制御器と制御対象との間の同期を確立させることにしたので、安定した周期的運動を実現することができる。そして２足歩行ロボットにおいては物理的に特定しやすく、また動作の安定性が高い状態で同期が確立される。
第８乃至第１１発明によれば５リンク２足歩行ロボットが躓きに対処して転倒することなくなる。
第１２発明によれば、２リンクの２足歩行ロボットにおいて強化学習によって獲得された強化学習された位相反応曲線に基づいて、周期的運動を規定する位相のリセットを行なって制御器と制御対象との間の同期を確立させることにしたので、安定した周期的運動を実現することができる。したがって、例えば、個々のロボットごとの歩行実験が不要となり、ロボット開発に要する時間を大幅に短縮することができる等、優れた効果を奏する。
第１３発明よれば、２足歩行ロボットで物理的に特定しやすく、また動作の安定性が高い状態で制御器との同期が確立される。
【発明を実施するための最良の形態】
【００１８】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
【００１９】
図１は本発明に係る位相反応曲線学習装置が接続された２足歩行ロボットの構成を示すブロック図である。
本発明に係る位相反応曲線学習装置１は、制御対象（２足歩行ロボット）５の姿勢制御に用いる位相反応曲線３０（図１３参照）を強化学習により更新させるためのものである。
【００２０】
周期的運動制御装置としての制御器３は、位相反応曲線学習装置１によって最適化された位相反応曲線３０に基づいて位相のリセットを行なうことによって制御器３と２足歩行ロボット５との間で同期を確立させる。
【００２１】
２リンクの２足歩行ロボット５は、図２に示すように、ヒトの腰に対応する腰部５０の左右に、股関節としてのアクチュエータ５１，５２を備え、アクチュエータ５１，５２にヒトの脚に対応する脚部５３，５４が設けられている。同図において、θＬ，θＲは、脚部５３，５４の垂直軸Ａとなす角度をそれぞれ示す。
【００２２】
位相反応曲線学習装置１は、ＣＰＵで構成された制御部１０を備えている。制御部１０は、記憶部１１、同期事象検出部１２、成否判定部１３、報酬設定部１４、曲線パラメータ更新部１５などと接続され、記憶部１１に予め格納されているコンピュータプログラムに従って、各部と協働して各種の機能を果たす。
【００２３】
記憶部１１には位相反応曲線３０を規定する曲線パラメータ１１ａが記憶されている。位相反応曲線学習装置１は、制御対象に生じた事象に応じて曲線パラメータ１１ａを更新し、位相反応曲線３０の最適化を行なう。なお、学習前に予め曲線パラメータ１１ａを記憶部１１に記憶する必要があるが、学習前の曲線パラメータ１１ａはユーザにより適宜決定しておく。また、記憶部１１には価値関数１１ｂが記憶されている。
【００２４】
同期事象検出部１２は、歩行運動における各脚の接地のような制御器３と２足歩行ロボット５との間で同期を確立すべき事象（同期事象という）が発生したか否かを検出する。例えば、２足歩行ロボット５の脚部５３，５４の脚底に接地センサを設け、脚部５３，５４のうちの一方の脚部の脚底が地面に接地した場合に接地センサで接地を判断し、同期事象検出部１２へ通知信号を出力することにより、同期事象検出部１２は、脚部の接地を判定して同期を確立させるべき事象が生じたと判断することができる。
【００２５】
同期事象検出部１２にて同期事象の発生が検出された場合、成否判定部１３は同期事象の成否を判定する。報酬設定部１４は、成否判定部１３による判定結果に基づいて各事象の達成度としての報酬ｒを設定し、曲線パラメータ更新部１５は、報酬設定部１４にて設定された各事象の報酬ｒの累計値が最大になるように曲線パラメータ１１ａを更新する。なお、２足歩行ロボット５が、同期事象の成否を判定し、判定結果に基づいて各事象の報酬ｒを設定するようにしてもよい。
【００２６】
［価値関数・時間差分誤差（Temporal Difference誤差：以下、ＴＤ誤差）］
同期事象（タスク失敗の事象を含む）における制御器３の位相φの状態遷移確率を式（１）で表す。
【００２７】
【数２】
2007175860.tif 000004
【００２８】
式（１）において、位相リセット量Δφは、位相反応曲線３０に応じて決定される。報酬ｒは、式（２）のように、制御器３の位相φ及び位相リセット量Δφの条件付確率によって与えられると仮定する。
【００２９】
【数３】
2007175860.tif 000005
【００３０】
位相反応曲線３０を生成する確率分布π（Δφ（ｔ）｜φ（ｔ））のもとで、位相φ（ｔ）における価値関数を式（３）のように表す。
【００３１】
【数４】
2007175860.tif 000006
【００３２】
また、式（３）の両辺の時間に対する差分から、式（４）の価値関数に対する拘束条件が導出される。
【００３３】
【数５】
2007175860.tif 000007
【００３４】
そして、式（５）を価値関数の予測値とする。
【００３５】
【数６】
2007175860.tif 000008
【００３６】
ここで、状態予測が正当である場合、価値関数は式（４）を満足することになるが、状態予測が不当である場合、式（６）のようなＴＤ誤差（例えば、非特許文献４参照）を減少させるように価値関数の学習を行なう。
【００３７】
【数７】
2007175860.tif 000009
【００３８】
ＴＤ誤差は、状態系列間の価値関数の時間的差分であって、時刻ｔ＋１における報酬ｒ（ｔ＋１）及び状態価値の推定量Ｖ（ｔ＋１）から時刻ｔにおける状態価値Ｖ（ｔ）を差分したものである。なお、状態価値の推定量Ｖ（ｔ＋１）には価値関数の割引率γを考慮する。ＴＤ誤差とは、状態の推定と、実際の行動結果としての状態との誤差であり、その状態の推定が正しかったか否かを示す指標といえる。例えば、ＴＤ誤差が正の時は、推定した以上に報酬が得られたということであり、負の時は推定よりも報酬が得られなかったということになる。
【００３９】
［位相反応曲線の更新］
上述では離散的な時間を対象とした価値関数について説明したが、連続状態における価値関数を取り扱うためには、例えば、式（７）のような正規化ガウス関数ネットワークを用いる（例えば、非特許文献５及び非特許文献６参照。）。
【００４０】
【数８】
2007175860.tif 000010
【００４１】
式（７）において、価値関数のパラメータに対するエリジビリティ・トレース（eligibility trace）と、ＴＤ誤差を用いた価値関数のパラメータの更新式は式（８）及び式（９）のように表す。
【００４２】
【数９】
2007175860.tif 000011
【００４３】
［位相反応曲線の更新］
また、位相反応曲線の位相φは、式（１０）のように、確率的な行動則の実現値として表す。
【００４４】
【数１０】
2007175860.tif 000012
【００４５】
よって、その実現値は、式（１１）のように表すことができる。
【００４６】
【数１１】
2007175860.tif 000013
【００４７】
式（１１）において、平均μ及び標準偏差σに関するエリジビリティ（eligibility）は、式（１２）及び式（１３）のように表すことができる。
【００４８】
【数１２】
2007175860.tif 000014
【００４９】
さらに、平均μを正規化ガウス関数ネットワーク（例えば、非特許文献５及び非特許文献７参照。）によって表し（式（１４））、標準偏差σをシグモイド関数及び正規化ガウス関数ネットワークによって表す（式（１５））。
【００５０】
【数１３】
2007175860.tif 000015
【００５１】
また、位相反応曲線を規定するための曲線パラメータに対応するエリジビリティは、式（１６）及び式（１７）のように導出される。
【００５２】
【数１４】
2007175860.tif 000016
【００５３】
以上のようにして、位相反応曲線の更新則は式（１８）及び式（１９）のように表すことができる。
【００５４】
【数１５】
2007175860.tif 000017
【００５５】
また、学習率のエリジビリティ・トレースは、式（２０）及び式（２１）のように表せる。
【００５６】
【数１６】
2007175860.tif 000018
【００５７】
上述のようにして、ＴＤ誤差を用いて価値関数のパラメータの更新（式（８）、式（９））と、位相反応曲線の更新（式（１８）、式（１９））とを行なうことによって、各事象の報酬の累計値が最大になる。新たにロボットのような制御対象を開発するたびに位相反応曲線を人が設計する必要はなく、強化学習によって位相反応曲線を更新してリズムに同調する周期的運動を実現することができる。したがって、個々のロボットごとの歩行実験が不要となり、ロボット開発に要する時間を大幅に短縮することができる。また、強化学習によって自動的に位相反応曲線を更新することから、設計者の意図が位相反応曲線に加味されることはない。
【００５８】
実施例１．
本発明に係る位相反応曲線学習装置１を用いて、２リンクの２足歩行ロボット５に対して位相反応曲線３０の更新を行なった。制御器３として、式（２２）及び式（２３）に示す周期軌道を追従するようなものを用いた。なお、学習時の報酬として、転倒時に報酬ｒ＝−１、遊脚接地時に報酬ｒ＝０．１を与え、報酬の累計値が最大になるように強化学習を行なうものとする。
【００５９】
【数１７】
2007175860.tif 000019
【００６０】
図３は本発明に係る位相反応曲線学習装置によって得られた位相反応曲線３０及び価値関数を示す図であり、（ａ）は価値関数、（ｂ）は確率的な位相反応曲線をそれぞれ示し、破線は標準偏差を示す。
位相反応曲線は、確率的に表現された位相反応曲線を示している。これは、確率的な表現を可能にする強化学習の枠組みを用いていることに起因する。
【００６１】
図４は学習過程である累積報酬値の時間的変化を示す図である。
図４において、強化学習を略７０回繰り返すことによって、累積報酬値が所定値（ここでは５）に収束（最大化）していることがわかる。つまり、本発明の強化学習においては、強化学習を略７０回繰り返すことによって位相反応曲線を最適化することができる。
【００６２】
次に、２リンクの２足歩行ロボット５において、位相リセットを行なうことによる姿勢制御への有用性を調べるために、位相リセット及び強化学習による歩行への影響について調べた。
【００６３】
図５は位相リセットを行なわない場合の歩行軌道を示す図、図６は予め設計した線形の位相反応曲線に応じて位相リセットを行なった場合の歩行軌道を示す図、図７は本発明に係る位相反応曲線学習装置によって得られた位相反応曲線に応じて位相リセットした場合の歩行軌道を示す図である。なお、図５、図６及び図７において、（ａ）は位相反応曲線、（ｂ）は歩行軌道をそれぞれ示す。
【００６４】
図５及び図６より、位相リセットを全く行なわない場合、略５回の歩行回数で２足歩行ロボット５が転倒するが、位相リセットを行なって制御器３と２足歩行ロボット５との同期を確立することによって、歩行回数を略１０回まで維持できることがわかる。しかしながら、線形の位相反応曲線では、略１０回の歩行回数で２足歩行ロボット５が転倒することから、実用化には不適である。
【００６５】
図６及び図７より、強化学習によって位相反応曲線を最適化することによって、２リンクの２足歩行ロボット５が転倒しないように、ロボット自身で姿勢の制御ができたことが分かる。このように、本発明の強化学習により位相反応曲線を更新し、リズムに同調する歩行運動のような周期的運動を極めて短時間で開発することができる。
【００６６】
実施例２．
次に、さらに複雑な制御系でも本発明に係る位相反応曲線学習装置の有用性を調べるべく、５リンクの２足歩行ロボットを制御対象にして位相反応曲線の更新を行なった。
【００６７】
図８は５リンクの２足歩行ロボットの骨格モデルを示す模式図である。
５リンクの２足歩行ロボット６は、ヒトの腰に対応する腰部６０に左右に、股関節としてのアクチュエータ６１，６２を備え、アクチュエータ６１，６２にヒトの大腿に対応する上脚部６３，６４が設けられている。また、腰部６０にヒトの脊髄に対応する柱部６５が設けられている。同図において、θpitchは柱部６５の垂直軸Ａとなす角度を、θl_hip，θr_hipは上脚部６３，６４の柱部６５となす角度をそれぞれ示す。
【００６８】
また、上脚部６３，６４には、それぞれアクチュエータ６６，６７を備え、アクチュエータ６６，６７にヒトの下腿に対応する下脚部６８，６９が設けられている。同図において、θl_knee，θr_kneeは、下脚部６８，６９の上脚部６３，６４となす角度をそれぞれ示す。
【００６９】
図９は本発明に係る位相反応曲線学習装置によって得られた位相反応曲線及び価値関数を示す図であり、（ａ）は価値関数、（ｂ）は確率的な位相反応曲線をそれぞれ示し、破線は標準偏差を示す。
位相反応曲線は、確率的に表現された位相反応曲線を示している。これは、確率的な表現を可能にする強化学習の枠組みを用いていることに起因する。
【００７０】
次に、５リンクの２足歩行ロボット６において、位相リセットを行なうことによる姿勢制御への有用性を調べるために、位相リセット及び強化学習による歩行への影響について調べた。
【００７１】
図１０は位相リセットを行なわない場合の歩行軌道を示す図、図１１は予め設計した線形の位相反応曲線に応じて位相リセットを行なった場合の歩行軌道を示す図、図１２は本発明に係る位相反応曲線学習装置によって得られた位相反応曲線に応じて位相リセットした場合の歩行軌道を示す図である。なお、図１０、図１１及び図１２において、（ａ）は位相反応曲線、（ｂ）は歩行軌道をそれぞれ示す。
【００７２】
図１０及び図１１より、位相リセットを全く行なわない場合も、位相リセットを行なって制御器３と５リンクの２足歩行ロボット６との同期を確立する場合も、３回の歩行回数で、５リンクの２足歩行ロボット６が転倒することがわかる。つまり、複雑な制御系になればなるほど、姿勢制御に対する位相反応曲線の重要度が増すことになる。
【００７３】
図１１及び図１２より、強化学習によって位相反応曲線を最適化することによって、５リンクの２足歩行ロボット６が転倒しないように、ロボット自身で姿勢の制御ができたことが分かる。
【００７４】
実施例３．
実施例１及び２は強化学習で得た位相反応曲線によって歩行運動などの周期的運動を、転倒などさせずに安定的にて行わせんとするものである。しかしながら障害物などの存在によって躓いた場合には転倒を回避しきれないことがある。人間が躓いた場合に転倒を回避せんとする動きは
(1) elevating strategy（躓きによって素早く脚を上げること：脚上げによる回避戦略）
(2) lowering strategy（躓きによって素早く脚を下げること：足下げによる回避戦略） 
(3) elevating strategyに失敗してlowering strategyとなる
の３パターンに分類されることが知られている。実施例３では、５リンク２足歩行ロボットが障害物に躓いた時に、人間に観察される(1)(2)の動作を行なうよう設計したものである。以下の数値的条件は人間の動作観察の結果を参考に決定した。
【００７５】
具体的には，躓き時の位相がφ＝５．４rad 以降の場合はlowering strategy、それ以前ではelevating strategyを行なうようにした。それぞれの転倒回避戦略は以下のように目標軌道の変化によって実現する。
lowering strategyについては躓いた脚の股関節角を正方向（図８で時計回り方向）に０．３rad，膝関節角を正方向に０．１rad変位させることにより実現した。
elevating strategyは、躓いた脚の股関節軌道を負方向（図８で反時計方向） に０．２rad、膝関節軌道を正方向に０．３rad 変位させることにより実現した。
【００７６】
図１４は位相反応曲線による位相リセットのみを行った場合の歩行軌道を、図１５は位相反応曲線による位相リセットに加えてelevating strategyを実行した場合の歩行軌道を示している。前者では躓きの後転倒しているのに対し、後者では歩行を継続している。図１６は位相反応曲線による位相リセットのみを行った場合の歩行軌道を、図１７は位相反応曲線による位相リセットに加えてlowering strategyを実行した場合の歩行軌道を示している。前者では躓きの後転倒しているのに対し、後者では歩行を継続している。なお、elevating strategyおよびlowering strategyは躓いたときの制御器の位相に応じていずれを用いるかを切り替えている。
【００７７】
なお、実施の形態では、制御対象として２足歩行ロボットに本発明を適用した形態について説明したが、周期的運動一般について本発明を適用することができることは言うまでもない。
【図面の簡単な説明】
【００７８】
【図１】本発明に係る位相反応曲線学習装置が接続された２足歩行ロボットの構成を示すブロック図である。
【図２】２リンクの２足歩行ロボットの骨格モデルを示す模式図である。
【図３】本発明に係る位相反応曲線学習装置によって得られた位相反応曲線及び価値関数を示す図である。
【図４】学習過程である累積報酬値の時間的変化を示す図である。
【図５】位相リセットを行なわない場合の歩行軌道を示す図である。
【図６】予め設計した線形の位相反応曲線に応じて位相リセットを行なった場合の歩行軌道を示す図である。
【図７】本発明に係る位相反応曲線学習装置によって得られた位相反応曲線に応じて位相リセットした場合の歩行軌道を示す図である。
【図８】５リンクの２足歩行ロボットの骨格モデルを示す模式図である。
【図９】本発明に係る位相反応曲線学習装置によって得られた位相反応曲線及び価値関数を示す図である。
【図１０】位相リセットを行なわない場合の歩行軌道を示す図である。
【図１１】予め設計した線形の位相反応曲線に応じて位相リセットを行なった場合の歩行軌道を示す図である。
【図１２】本発明に係る位相反応曲線学習装置によって得られた位相反応曲線に応じて位相リセットした場合の歩行軌道を示す図である。
【図１３】位相反応曲線の一例を示す図である。
【図１４】位相リセットのみを行った場合の歩行軌道を示す図である。
【図１５】位相リセットに加えて目標軌道変更を行った場合の歩行軌道を示す図である。
【図１６】位相リセットのみを行った場合の歩行軌道を示す図である。
【図１７】位相リセットに加えて他の目標軌道変更を行った場合の歩行軌道を示す図である。
【符号の説明】
【００７９】
１  位相反応曲線学習装置
３  制御器（周期的運動制御装置）
５  ２リンクの２足歩行ロボット（制御対象）
６  ５リンクの２足歩行ロボット（制御対象）
１０  制御部
１１  記憶部
１１ａ  曲線パラメータ
１１ｂ  価値関数
１２  同期事象検出部
１３  成否判定部
１４  報酬設定部
１５  曲線パラメータ更新部
【図１】
2007175860.tif 000021
【図２】
2007175860.tif 000022
【図３】
2007175860.tif 000023
【図４】
2007175860.tif 000024
【図５】
2007175860.tif 000025
【図６】
2007175860.tif 000026
【図７】
2007175860.tif 000027
【図８】
2007175860.tif 000028
【図９】
2007175860.tif 000029
【図１０】
2007175860.tif 000030
【図１１】
2007175860.tif 000031
【図１２】
2007175860.tif 000032
【図１３】
2007175860.tif 000033
【図１４】
2007175860.tif 000034
【図１５】
2007175860.tif 000035
【図１６】
2007175860.tif 000036
【図１７】
2007175860.tif 000037