(57)【要約】【課題】  １入力１出力の非線形２次のダイナミクスについて、漸近安定性を保証する学習適応制御装置を提供する。【解決手段】  状態フィードバックを用いた１入力１出力の非線形２次系の学習適応制御装置３２であって、位置ゲインＫp及び速度ゲインＫDなるフィードバック制御器４２と、軌道追従誤差ベクトルｅに対して所定演算を行なって得られる値を用いて未知パラメータが更新される関数近似器４６と、フィードバック制御器４２の出力ｕfb、被制御対象３０の出力の所望の加速度ｕff、及び関数近似器４６の出力ｕadに基づいて被制御対象３０への入力ｕを生成するための演算部４４、４８とを含み、位置ゲインＫp及び速度ゲインＫDの値は、予め定められる条件を充足するように選択されている。【選択図】        図１
2005044135.tif 000002
【特許請求の範囲】
【請求項１】
状態フィードバックを用いた１入力１出力の非線形２次系の学習適応制御装置であって、
被制御対象の出力と所望の軌道入力との間の軌道追従誤差を受ける、位置ゲインＫp及び速度ゲインＫDなるフィードバック制御器と、
前記軌道追従誤差ベクトルに対して所定演算を行なって得られる値を用いて未知パラメータが更新される関数近似器と、
前記フィードバック制御器の出力、被制御対象の出力の所望の加速度、及び前記関数近似器の出力に基づいて前記比制御対象への入力を生成するための演算手段とを含み、
位置ゲインＫp及び速度ゲインＫDの値は、予め定められる条件を充足する様に選択されている、学習適応制御装置。
【請求項２】
前記学習適応制御装置は軌道追従誤差ベースの適応側を用いるものであり、
前記所定演算は、前記軌道追従誤差ベクトルｅに対し、
【数１】
2005044135.tif 000033
で定義される演算であり、かつベクトルｃ＝［Λ1、Λ2］で表され、
前記位置ゲインＫP、前記速度ゲインＫD、並びに前記ベクトルｃの要素Λ1及びΛ2は、
Λ1−Λ2ＫD＜０ただしΛ2＞０、ＫP＞０、ＫD＞０
なる条件を充足する様に選ばれている、請求項１に記載の学習適応制御装置。
【請求項３】
前記学習適応制御装置はフィードバック誤差学習を用いるものであり、
前記位置ゲインＫp及び速度ゲインＫDの値は、ＫD2＞ＫPただしＫP＞０、ＫD＞０なる条件を充足する様に選ばれている、請求項１に記載の学習適応制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は非線形適応制御に関し、特に、系の力学的特性を記述する非線形関数又はパラメータが未知の場合、それらを学習により近似又は同定し、漸近安定な軌道追従を行なう制御装置に関するものである。
【背景技術】
【０００２】
従来、ロボット等の非線形性を有するダイナミクスに未知パラメータを含む系又はその力学的特性が未知である系の軌道追従制御系の設計において、モデルベース適応制御系（後掲の非特許文献３、５）や非線形関数近似器を用いた学習適応制御系が提案されてきている（非特許文献１、２、４）。また、後掲の非特許文献６により、ヒトの小脳の内部モデルの学習モデルとしてのフィードバック誤差学習が提案されており、ロボットアームの制御に適用されている。
【０００３】
これらの制御系は一般的には、系の非線形性を近似又は同定する要素と誤差フィードバック制御器とにより構成され、パラメータ更新則により、未知ダイナミクスの近似又は同定を行なう。この様な学習適応制御系において、安定な制御系を実現するにあたって、設計者はフィードバック制御器のゲインを選定する必要がある。
【０００４】
しかし、従来は、リアプノフ安定理論による漸近安定性の解析において、誤差ダイナミクスの「強正実性」を満たす様に選べば制御系の漸近安定性が保証されるという数学的に抽象的な条件が示されるのみで、物理系の制御を考えたときの具体的なフィードバックゲインの選定手法は示されていない。従って、実際に物理系に対する学習適応制御系を設計するにあたって、漸近安定性を保証する具体的なフィードバックゲインの選定基準が不明確で、フィードバックゲインの選び方如何によっては学習が収束せず、漸近安定な軌道追従が実現できないという問題が発生しうる。
【０００５】
【非特許文献１】Ｊ．Ｙ・チョイ及びＪ．Ａ．ファレル著  「区分線形近似ネットワークを用いた非線形適応制御」ＩＥＥＥトランザクションズ・オン・ニューラルネットワークス、第１１巻、第２号、ｐｐ．３９０−４０１、２０００年３月（Choi,  J.  Y.  and  Farrell,  J.  A.,  Nonlinear  adaptive  control  using  networks  of  piecewise  linear  approximations,  IEEE  Transactions  on  Neural  Networks,  Vol.  11,  No.  2,  pp.    390-401,  March  2000.）
【非特許文献２】中西  淳、Ｊ．Ａ．ファレル及びＳ．シャール著「構造適応を持った局所重み付き複合学習適応制御」、ＩＥＥＥ／ＲＳＪインテリジェントロボット及びシステム国際会議予稿集、２００２年スイスローザンヌ（Nakanishi,  J.,  Farrell,  J.  A.,  and  Schaal,  S.,  A  locally  weighted  learning  composite  adaptive  controller  with  structure  adaptation.  Proceedings  of  the  IEEE/RSJ  International  Conference  on  Intelligent  Robots  and  Systems,  pp.  882-889,  Lausanne,  Switzerland,  2002.）
【非特許文献３】Ｋ．Ｓナレンドラ及びＡ．Ｍ．アナスワミ著「安定適応制御」プレンティス・ホール出版、１９８９年（Narendra,  K.  S.  and  Annaswamy,  A.  M.,  Stable  Adaptive  Systems,  Prentice  Hall,  1989.）
【非特許文献４】Ｒ．サナー及びＪ．−Ｊ．Ｅ．スロッティーン著「直接適応制御のためのガウシアンネットワーク」、ＩＥＥＥトランザクションズ・オン・ニューラルネットワークス、第３巻、第６号、ｐｐ．８３７−８６３、１９９２年１１月（Sanner,  R.  and  Slotine,  J.-J.  E.,  Gaussian  networks  for  direct  adaptive  control.  IEEE  Transactions  on  Neural  Networks,  Vol.  3,  No.  6,  pp.  837-863,  November  1992.）
【非特許文献５】Ｊ．−Ｊ．Ｅ．スロッティーン及びＷ．リー著「応用非線形制御」、プレンティス・ホール出版、１９９１年（Slotine,  J.-J.  E.  and  Li,  W.  Applied  Nonlinear  Control.  Prentice  Hall,  1991.）
【非特許文献６】川人光男著、「脳の計算理論」、産業図書、１９９６年
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以上の様に、従来の学習適応制御手法においては未知な対象ダイナミクスを持った系に対し、漸近安定な軌道追従を実現するフィードバックゲインの選定基準が具体的でないという問題点が存在する。
そこで本発明では、
１．系の漸近安定性（軌道追従誤差の収束性）を保証するフィードバック制御器のゲインの具体的な条件の導出
２．特に、軌道誤差ベースによる学習適応制御手法及びフィードバック誤差学習における１入力１出力の非線形２次のダイナミクスについて漸近安定性を保証するためのフィードバックゲインの選定法
によってパラメータが設定される学習適応制御装置を提供する事を目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る学習適応制御装置は、状態フィードバックを用いた１入力１出力の非線形２次系の学習適応制御装置であって、被制御対象の出力と所望の軌道入力との間の軌道追従誤差を受ける、位置ゲインＫp及び速度ゲインＫDなるフィードバック制御器と、軌道追従誤差ベクトルに対して所定演算を行なって得られる値を用いて未知パラメータが更新される関数近似器と、フィードバック制御器の出力、被制御対象の出力の所望の加速度、及び関数近似器の出力に基づいて比制御対象への入力を生成するための演算手段とを含み、位置ゲインＫp及び速度ゲインＫDの値は、予め定められる条件を充足する様に選択されている。
【０００８】
好ましくは、学習適応制御装置は軌道追従誤差ベースの適応則を用いるものであり、所定演算は、軌道追従誤差ベクトルｅに対し、
【０００９】
【数１】
2005044135.tif 000003
で定義される演算であり、かつベクトルｃ＝［Λ1、Λ2］で表され、位置ゲインＫP、速度ゲインＫD、並びにベクトルｃの要素Λ1及びΛ2は、
Λ1−Λ2ＫD＜０ただしΛ2＞０、ＫP＞０、ＫD＞０
なる条件を充足する様に選ばれている。
【００１０】
又は、この学習適応制御装置は、学習適応制御装置はフィードバック誤差学習を用いるものであり、位置ゲインＫp及び速度ゲインＫDの値は、ＫD2＞ＫPただしＫP＞０、ＫD＞０なる条件を充足する様に選ばれている。
【発明を実施するための最良の形態】
【００１１】
上記の非線形系に関する学習適応制御手法において、本発明で提案する非常に簡便な基準によりフィードバックゲインを選定する事で、漸近安定性を保証する事が可能となる。以下、本発明の一実施の形態に係る学習適応制御装置について説明する。
【００１２】
なお、以下の議論において使用される記号「＾」「〜」は、本来その記号の直後の文字の直上に記載すべき記号でああり、式中にはその様に記載しているが、テキスト中では、記載の制限により文字の直前に記載する事にする。また、ベクトルについても、式中ではブロック体で記載しているが、テキスト中では通常の文字で記載してある。
【００１３】
一般的に制御の対象となるシステムは
【００１４】
【数２】
2005044135.tif 000004
ただしｘ∈Ｒnは状態、ｚ∈Ｒpは出力、ｕ∈Ｒmは制御入力、ｆ：Ｒn→Ｒn、ｇ：Ｒn→Ｒn、Ｇ：Ｒn→Ｒnxmは未知の非線形関数である。ｈ：Ｒn→Ｒpは状態から出力への写像を表す。
【００１５】
従来の学習適応制御系では、まず、これに対し、関数近似器を用いた入出力線形化適応フィードバック制御器を構成し、その誤差ダイナミクスを導出する。次にリアプノフ理論により漸近安定性を保証するための誤差ダイナミクスの満たすべき条件がその「強正実」性である事が知られている。しかし、一般的な高次のダイナミクスを持つ系に対し、強正実性を満たすフィードバック制御器のゲインの具体的な選定基準の導出は容易ではない。
【００１６】
そこで、本発明では、系のダイナミクスが２次系の場合、後掲の参考文献１に記載の定理３．２を適用する事により、漸近安定性を保証するフィードバック制御器のゲインをどの様に選べばよいかを具体的に導出する。
【００１７】
以下、本発明の一実施の形態について述べる。図１に示す様な非線形性が未知の系に関し、系のダイナミクスを学習し、目標軌道ｘdに対する漸近安定な追従を実現する学習制御系を考える。図１に示す学習適応制御系２０は、制御の対象となる、非線形性が未知のプラントダイナミクス３０と、このプラントダイナミクス３０を制御するための、本実施の形態に係る適応コントローラ３２とを含む。
【００１８】
適応コントローラ３２は、プラントダイナミクス３０の出力ｘから所望の軌道を減算して誤差ｅを出力するための減算器４０と、減算器４０の出力する誤差ｅに対する、フィードバックゲインベクトルＫのフィードバック制御器４２と、所望のフィードフォワードコマンドｘd(n)である値ｕffからフィードバック制御器４２の出力ｕfbを減算するための減算器４４と、プラントダイナミクス３０の出力ｘに対する非線形の関数近似を行ない出力ｕadを出力するための関数近似器４６と、減算器４４の出力と関数近似器４６の出力とを加算しフィードバック制御器４２に与えるための加算器４８とを含む。フィードフォワードコマンドｘd(n)においてｎ＝２であり、このｘd(2)は所望の軌道の加速度を表す。
【００１９】
本発明では議論を簡単にするため、ｇ（ｘ）＝１が既知であり、かつ１入力１出力系の場合のシステムを考える。
【００２０】
【数３】
2005044135.tif 000005
本実施の形態のシステムでは、基底関数
【００２１】
【数４】
2005044135.tif 000006
に対し、パラメータ線形である関数近似器４６を用いる。
【００２２】
【数５】
2005044135.tif 000007
ここで、θは
【００２３】
【数６】
2005044135.tif 000008
定義されるパラメータベクトルであり、以下に述べる適応則によって推定される。
【００２４】
ｆ（ｘ）が未知の場合、システムに対する制御則として以下の式で表されるものを用いる。
【００２５】
【数７】
2005044135.tif 000009
ここで、
【００２６】
【数８】
2005044135.tif 000010
と定義する。＾ｆはｆの推定値であり、
【００２７】
【数９】
2005044135.tif 000011
で定義される。ただし＾θはθの推定値である。ｕadは非線形項を打ち消すための、関数近似器４６から出力される制御入力、ｕff  はフィードフォワード入力、ｕfbは誤差フィードバック制御器４２の出力である。また、
【００２８】
【数１０】
2005044135.tif 000012
である。
【００２９】
さらに、未知パラメータの更新則として、
【００３０】
【数１１】
2005044135.tif 000013
を用いる。ただし、Γは正定な学習係数行列である。
【００３１】
このとき、軌道追従誤差及び軌道追従誤差ベクトルをそれぞれ
【００３２】
【数１２】
2005044135.tif 000014
と定義するとシステムの軌道追従誤差ダイナミクスは状態方程式を用いて
【００３３】
【数１３】
2005044135.tif 000015
の様に表す事ができる。ただし、
【００３４】
【数１４】
2005044135.tif 000016
である。また、〜θは
【００３５】
【数１５】
2005044135.tif 000017
で定義されるパラメータ推定誤差ベクトルである。このときフィードバックゲインベクトルＫは行列Ａが安定（すべての固有値の実部が負）になる様に選ばなくてはならない。
【００３６】
また、関数近似器の未知パラメータを更新するために必要な変数e1を式（８）の誤差ダイナミクスの出力として
【００３７】
【数１６】
2005044135.tif 000018
の様に定義する。ただし、漸近安定な軌道追従を保証するためには
【００３８】
【数１７】
2005044135.tif 000019
は
【００３９】
【数１８】
2005044135.tif 000020
が最小実現（可制御、可観測）かつ伝達関数
【００４０】
【数１９】
2005044135.tif 000021
が強正実である様に選ばなくてはならない事がリアプノフの安定理論より適応制御理論では知られている（例えば非特許文献１）。また、非特許文献６において提案されたフィードバック誤差学習の場合は上記のｃがＫである場合と等価である。
【００４１】
以上をまとめると一般的なｎの場合に対しては漸近安定な軌道追従を実現するための条件は、Ａが安定行列になる様にＫを選びかつ
【００４２】
【数２０】
2005044135.tif 000022
が強正実である様にｃを選ぶ。
【００４３】
しかし、上記の条件は、数学的に抽象的であり、一般的な高次元のシステムに対しては、その判定は困難である。一般的に、物理系は２次のダイナミクスで記述される事が多いため、本発明では、ｎ＝２の場合に対し、具体的かつ簡便な条件を導出する。また、この条件は系のダイナミクスそのものには依存せず、独立に選ぶ事が可能である。
【００４４】
ｎ＝２のとき、
【００４５】
【数２１】
2005044135.tif 000023
となる。以下、フィードバック制御器のゲインを位置ゲインＫP＝Ｋ1、速度ゲインＫD＝Ｋ2と表記する。このとき、式（８）は
【００４６】
【数２２】
2005044135.tif 000024
となる。ここで、参考文献１の定理３．２を用いると漸近安定性を保証するためのＫ及びｃが満たすべき条件は以下の様に具体的に求める事ができる。参考文献１の定理３．２の各条件は以下の通りである。
１．Ａのすべての固有値の実部は負である：ＫP及びＫDはＫP＞０かつＫD＞０となる様に選ぶ。
【００４７】
２．
【００４８】
【数２３】
2005044135.tif 000025
３．
【００４９】
【数２４】
2005044135.tif 000026
これを計算すると
【００５０】
【数２５】
2005044135.tif 000027
となる。
【００５１】
以上をまとめると本実施の形態の装置における安定条件は以下の様になる。
・軌道追従誤差ベースの適応則の場合には
Λ1−Λ2ＫD＜０ただしΛ2＞０、ＫP＞０、ＫD＞０                    （１２）
とＫ及びｃを選べばよい。
・フィードバック誤差学習の場合にはｃ＝Ｋであるので、漸近安定性を保証するためにはフィードバックゲインは
ＫD2＞ＫPただしＫP＞０、ＫD＞０                                  （１３）
と選べばよい。
【００５２】
［数値シミュレーション］
本実施の形態の効果を確認するために、数値シミュレーションを行なった。このシミュレーションでは以下の様なｎ＝２である物理系を考える。
【００５３】
【数２６】
2005044135.tif 000028
ここでｍ＝１は既知とし、ｄ及びｋは未知とする。
【００５４】
制御系の実現にはまず系のダイナミクスを
【００５５】
【数２７】
2005044135.tif 000029
の様に書き直し、関数近似器として基底関数が
【００５６】
【数２８】
2005044135.tif 000030
なる線形の関数近似器
【００５７】
【数２９】
2005044135.tif 000031
を用いる。制御入力はｆ推定値＾ｆを用い
【００５８】
【数３０】
2005044135.tif 000032
となる。以下のシミュレーションでは系のパラメータがｄ＝ｋ＝２、学習係数がΓ＝２．０Ｉ、目標軌道のｘd（ｔ）＝ｓｉｎ（２πｔ）の場合について結果を示す。初期値はｘ（０）＝０、＾θ＝０とする。以下、シミュレーション結果のプロットでは上段の図において実線で軌道ｘ、破線で目標軌道ｘdを表す。中段の図では軌道追従誤差ｅ、下段の図ではパラメータの推定値＾θを表す。
【００５９】
［トラッキング誤差ベース学習適応制御のシミュレーション結果］
図２にＫp＝５．０、ＫD＝１．０、Λ1＝０．１、Λ2＝１．０の場合のシミュレーション結果を示す。このとき、式（１２）の条件を満たすので、漸近安定性は保証される。この結果より軌道追従誤差がゼロに収束し、系のパラメータが正しく推定できている事が分かる。パラメータ推定値＾θはθ＝［−ｋ、−ｄ］T＝［−２、−２］Tに収束している。
【００６０】
これに対し、図３にＫp＝５．０、ＫD＝１．０、Λ1＝４．０、Λ2＝１．０の場合のシミュレーション結果を示す。このとき、式（１２）の条件を満たさず、漸近安定性は保証されないため、軌道追従誤差はゼロに収束していない。また、パラメータ推定値も＾θも収束していない。
【００６１】
［フィードバック誤差学習のシミュレーション結果］
図４にＫP＝５．０、ＫD＝３．０の場合のシミュレーション結果を示す。このとき、式（１３）の条件を満たすので、漸近安定性は保証される。この結果より軌道追従誤差がゼロに収束し、系のパラメータが正しく推定できている事が分かる。
【００６２】
これに対し、図５にＫP＝５．０、ＫD＝１．０の場合のシミュレーション結果を示す。このとき、式（１３）の条件を満たさず、漸近安定性は保証されないため、軌道追従誤差はゼロに収束していない。また、パラメータ推定値も＾θも収束していない。
【００６３】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【００６４】
［参考文献１］
Ｇ．タオ及びＰ．Ａ．イオアノウ著「強正実行列のための必要十分条件」、ＩＥＥプロシーディングスＧ、回路、デバイス及びシステム、第１３７巻、第５号、ｐｐ．３６０−３６６、１９９０年（Tao,  G.  and  Ioannou,  P.  A,  Necessary  and  sufficient  conditions  for  strictly  positive  real  matrices.  IEE  Proceedings  G,  Circuits,  Devices  and  Systems,  Vol.  137,  No.  5,  pp.  360-366,  1990.）
【図面の簡単な説明】
【００６５】
【図１】本発明の一実施の形態に係る学習適応制御装置のブロック図である。
【図２】安定な軌道誤差ベース学習適応制御の結果を示すグラフである。
【図３】不安定な軌道誤差ベース学習適応制御の結果を示すグラフである。
【図４】安定なフィードバック誤差学習の結果を示すグラフである。
【図５】不安定なフィードバック誤差学習の結果を示すグラフである。
【符号の説明】
【００６６】
２０  学習適応制御系、３０  プラントダイナミクス、３２  適応コントローラ、４０  減算器、４２  フィードバック制御器、４４  減算器、４６  関数近似器、４８  加算器
【図１】
2005044135.tif 000034
【図２】
2005044135.tif 000035
【図３】
2005044135.tif 000036
【図４】
2005044135.tif 000037
【図５】
2005044135.tif 000038
【手続補正書】
【提出日】平成16年6月24日(2004.6.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
状態フィードバックを用いた１入力１出力の非線形２次系の学習適応制御装置であって、
被制御対象の出力と所望の軌道入力との間の軌道追従誤差を受ける、位置ゲインＫp及び速度ゲインＫDなるフィードバック制御器と、
前記軌道追従誤差ベクトルに対して所定演算を行なって得られる値を用いて未知パラメータが更新される関数近似器と、
前記フィードバック制御器の出力、被制御対象の出力の所望の加速度、及び前記関数近似器の出力に基づいて前記比制御対象への入力を生成するための演算手段とを含み、
位置ゲインＫp及び速度ゲインＫDの値は、予め定められる条件を充足する様に選択されている、学習適応制御装置。
【請求項２】
前記学習適応制御装置は軌道追従誤差ベースの適応則を用いるものであり、
前記所定演算は、前記軌道追従誤差ベクトルｅに対し、
【数１】
2005044135.tif 000039
で定義される演算であり、かつベクトルｃ＝［Λ1、Λ2］で表され、
前記位置ゲインＫP、前記速度ゲインＫD、並びに前記ベクトルｃの要素Λ1及びΛ2は、
Λ1−Λ2ＫD＜０ただしΛ2＞０、ＫP＞０、ＫD＞０
なる条件を充足する様に選ばれている、請求項１に記載の学習適応制御装置。
【請求項３】
前記学習適応制御装置はフィードバック誤差学習を用いるものであり、
前記位置ゲインＫp及び速度ゲインＫDの値は、ＫD2＞ＫPただしＫP＞０、ＫD＞０なる条件を充足する様に選ばれている、請求項１に記載の学習適応制御装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
又は、この学習適応制御装置は、フィードバック誤差学習を用いるものであり、位置ゲインＫp及び速度ゲインＫDの値は、ＫD2＞ＫPただしＫP＞０、ＫD＞０なる条件を充足する様に選ばれている。