3(57)【特許請求の範囲】【請求項１】 非線形性や非定常性などを有する制御対象を目標とする時間軌道に沿って制御するための学習制
御方法であって、運動指令が与えられたとき前記制御対象の状態を予測する順モデルと、前記目標とする時間軌道が与えられたとき制御対象への入力信号となる運動指令を推定する逆モ
デルが対として設けられた複数の制御モジュールを有し、前記複数の制御モジュールの各順モデルによって推定さ 10れた状態予測と、前記制御対象からの実際の状態とを比較して各々の順モデルの予測誤差を計算し、その予測誤差に基づいて前記複数の制御モジュールのうち予測の良好な順モデルを含む制御モジュールにより大きな責任信号を与え、この責任信号で重み付けして前記複数の逆モ

4デルからの出力を線形加算した前向き運動信号とフィードバック運動指令信号とを加算した制御信号を出力し、前記責任信号は、前記各制御モジュールに与えられる０から１の間の数であって、前記各制御モジュールに与えられる数の和が１になるように正規化されていることを特徴とする、学習制御方法。
【請求項２】 非線形性や非定常性などを有する制御対象を目標とする時間軌道に沿って制御するための学習制御装置であって、それぞれが運動指令の与えられたとき前記制御対象の状態を予測する順モデルと、目標軌道が与えられたとき前記制御対象への入力信号となる運動指令を推定する逆モ
デルとを含み、前記順モデルによって推定された状態予測と前記制御対象からの実際の状態とを比較して前記順モデルの予測誤差を計算する複数の制御モジュール、

(2)5前記各制御モジュールから出力された予測誤差に基づいて、前記複数の制御モジュールのうちの予測の良好な順モデルを含む制御モジュールにより大きな責任信号を与える責任信号推定手段、および前記責任信号推定手段からの責任信号で重み付けして、前記複数の逆モデルからの出力信号を線形加算した前向き運動信号とフィードバ
ック運動指令信号とを加算した制御信号を前記制御対象に与える加算手段を備え、前記責任信号は、前記各制御モジュールに与えられる０から１の間の数であって、前記各制御モジュールに与えられる数の和が１になるように正規化されていることを特徴とする、学習制御装置。
【請求項３】 前記制御モジュールは、制御を開始する
前にいずれかの制御モジュールが選択されるように前記
責任記号推定手段からの責任信号を教師信号として学習する責任信号予測手段を含む、請求項２に記載の学習制御装置。
【請求項４】 前記順モデルは、前記加算手段から出力された制御信号とフィードバック運動指令信号との和を入力として受ける入力部と、前記制御対象の状態を推定する出力部とを有する神経回路を含む、請求項２に記載の学習制御装置。
【請求項５】 前記神経回路は、前記制御対象の実際の状態から前記制御対象の状態の推定を差し引いた信号と、前記神経回路が含まれるモジュール単位の責任信号との積を教師有り学習則の誤差信号としてパラメータを学習することを特徴とする、請求項４に記載の学習制御装置。
【請求項６】 前記逆モデルは、前記目標とする時間軌
道を入力として受ける入力部と、前記制御対象への入力信号となる運動指令を推定する出力部とを有する神経回路を含むことを特徴とする、請求項２に記載の学習制御装置。
【請求項７】 前記神経回路は、フィードバック誤差学
習，順逆モデリング，直接逆モデリングなど所定の学習
制御教師有り学習則から得られる誤差信号と、前記逆モ
デルが含まれるモジュールの責任信号の積を誤差信号としてパラメータを学習することを特徴とする、請求項６に記載の学習制御装置。
【請求項８】 前記責任信号推定手段は、前記各制御モ
ジュール内の順モデルが出力する状態の予測値と前記制
御対象の実際の状態との誤差を計算する入力部と、前記責任信号予測手段の予測と前記入力部の誤差の積を計算する中間部と、前記制御モジュールについて大きな誤差には小さな責任信号を単調減少飽和型関数で計算する出力部とを含む、請求項３に記載の学習制御装置。
【請求項９】 前記責任信号予測手段は、前記責任信号
推定手段によって計算される責任信号を教師信号として所定の教師有り学習則によりパラメータを学習することを特徴とする、請求項３に記載の学習制御装置。

10

20

30

40

50

特許２９９６９５２
6【発明の詳細な説明】【０００１】【発明の属する技術分野】この発明は学習制御方法および学習制御装置に関し、特に、非線形性や非定常性などを有する制御対象を目標とする時間軌道に沿って制御する学習制御方法および学習制御装置であって、エレベー
タやロボットや自動車エンジンやブレーキなどの制御に適用される。
【０００２】【従来の技術】従来の制御のほとんどは線形のフィードバック制御で行なわれているが、制御対象の特性に強い
非線形性があったり、特性が時間的に急激に変動する場
合には目標とする軌道に高い精度で追従することはできない。
【０００３】ロボット制御の分野では、適応制御と呼ばれる一種の学習制御則が提案されてきた。これはロボッ
トの逆ダイナミクスをラグランジュ方程式などで記述しておき、入出力データに基づいて未知のパラメータを推定する方法である。しかし、この方法は制御対象のダイナミクスがかなり正確に解析式で表現されていることを前提としているなどの理由で実用化に至っていない。
【０００４】一方、ニューラルネットワークの分野では、多層前向き神経回路やRadial basis function netw
ork などと学習則を組合せて、制御対象の逆ダイナミク
スモデルを獲得する試みがなされてきた。そのような例
としては、たとえば特開平２−５４３０４号公報や、特開平４−１０２１０２号公報や、特開平６−１９５０８号公報において知られている。
【０００５】【発明が解決しようとする課題】しかし、非常に強い非線形性や非定常性がある場合に１個の神経回路を獲得することは非常に困難である。さらに、ニューラルネット
ワークの分野では、複数個のモジュールをgating‑expert アーキテクチャという方式で同時に学習し、切換える方式がたとえばR. A. Jacobs, et al: Adaptive mixtur
es of local experts. Neural Computation, Vol. 3, 7
9‑78（1990）で提案されている。これを学習制御に応用する試みもさなれている。しかし、このアーキテクチャ
では、多数のモジュールを同時並列に学習し、かつ安定にスイッチングを起こすことが大変困難である。その理由は、主に以下の２つのためである。
【０００６】第１に、多数のモジュールのうち、どのモジュールがある時点で最も環境や動作点など制御対象の特性をよく再現しているのかを調べるためには、実際にあるモジュールを使って制御し、その制御性能を異なる時点で比較するしか方法がなかった。これはある時点では１つのモジュールの性能しか評価できないことを意味しているので、多数のモジュールのどれが多数の環境のうちのどれによく適応しているかを推定するには、モジュール数の指数関数的な時間が必要となって、モジュー(3)7ルのスイッチングや学習が極端に困難になるという結果につながる。
【０００７】第２にモジュールのスイッチングはgating
ネットワークと呼ばれる単一の神経回路が行なうが、これは大変困難な課題となっている。なぜなら、少し複雑な問題に対して、スイッチングを正しく生じさせるためには、非常に多次元の空間を複雑で非線形な多数の境界で分割しなければならないが、これは神経回路の学習をもってしても困難である。
【０００８】Narendraらは、予測器と制御器の対を複数用意しておき、最も予測器の性能の高い制御器を１つ選んで制御するスイッチング制御方式を提案している（K.
Narendra, et al.: Adaptation and learning using multiple models, switching,and tuning. IEEE Control
Systems Magazine, June, 37‑51 （1995））。しかし、この方式では多数のモジュールの出力の組合せを臨
機応変に選択して新しい環境に対応することが全くできない。また、制御器の学習を行なうこともできず、さらに制御を行なうまでには予めスイッチングを起こすことができない。
【０００９】それゆえに、この発明の主たる目的は、制御対象の軌道追従制御を高い性能でかつ学習で行なうことができるような学習制御方法および学習制御装置を提供することである。
【００１０】【課題を解決するための手段】請求項１に係る発明は、
非線形性や非定常性などを有する制御対象を目標とする
時間軌道に沿って制御するための学習制御方法であって、運動指令が与えられたとき制御対象の状態を予測する順モデルと、目標とする時間軌道が与えられたとき制御対象への入力信号となる運動指令を推定する逆モデル
が対として設けられた複数の制御モジュールを有し、複数の制御モジュールの各モデルによって推定された状態
予測と制御対象からの実際の状態とを比較して各々の順
モデルの予測誤差を計算し、その予測誤差に基づいて複数の制御モジュールのうち予測の良好な順モデルを含む
制御モジュールにより大きな責任信号を与え、この責任信号で重み付けして複数の逆モデルからの出力を線形加算した前向き運動信号とフィードバック運動指令信号とを加算して制御信号を出力し、責任信号は各制御モジュールに与えられる０から１の間の数字であって、各制御モジュールに与えられる数の和が１になるように正規化される。
【００１１】請求項２に係る発明は、非線形性や非通常性などを有する制御対象を目標とする時間軌道に沿って制御するための学習制御装置であって、それぞれが運動
指令の与えられたとき制御対象の状態を予測する順モデ
ルと、目標軌道が与えられたとき制御対象への入力信号となる運動指令を推定する逆モデルとを含み、順モデル
によって推定された状態予測と制御対象からの実際の状

10

20

30

40

50

特許２９９６９５２
8態とを比較して順モデルの予測誤差を計算する複数の制
御モジュールと、各制御モジュールから出力された予測
誤差に基づいて、複数の制御モジュールのうちの予測の良好な順モデルを含む制御モジュールにより大きな責任信号を与える責任信号推定手段と、責任信号推定手段からの責任信号で重み付けして、複数の逆モデルからの出力信号を線形加算した前向き運動信号とフィードバック
運動指令信号とを加算した制御信号を制御対象に与える加算手段を備え、責任信号は各制御モジュールに与えられる０から１の間の数字であって、各制御モジュールに与えられる数の和が１になるように正規化される。
【００１２】【００１３】請求項３に係る発明では、請求項２の制御モジュールは、制御を開始する前にいずれかの制御モジ
ュールが選択されるように責任信号推定手段からの責任
信号を教師信号として学習する責任信号予測手段を含む。
【００１４】請求項４に係る発明では、請求項２の順モ
デルは、最終的な制御信号を入力として受ける入力部と、制御対象の状態を推定する出力部とを有する神経回路を含む。
【００１５】請求項５に係る発明では、請求項４の神経
回路は、制御対象の実際の状態から制御対象の状態の推定を差し引いた信号と、神経回路が含まれるモジュール単位の責任信号との積を教師有り学習則の誤差信号としてパラメータを学習する。
【００１６】請求項６に係る発明では、請求項２の逆モ
デルは、目標とする時間軌道を入力として受ける入力部と、制御対象への入力信号となる運動指令を推定する出力部とを有する神経回路を含む。
【００１７】請求項７に係る発明では、請求項６の神経回路はフィードバック誤差学習，順逆モデリング，直接
逆モデリングなど所定の学習制御教師有り学習則から得られる誤差信号と、逆モデルが含まれるモジュールの責
任信号の積を誤差信号としてパラメータを学習する。
【００１８】請求項８に係る発明では、請求項３の責任
信号推定手段は、各制御モジュール内の順モデルが出力する状態の予測値と制御対象の実際の状態の誤差を計算する入力部と、責任信号予測手段の予測と入力層の誤差の積を計算する中間部と、制御モジュールについて大きな誤差に小さな責任信号を単調減少飽和型関数で計算する出力部とを含む。
【００１９】請求項９に係る発明では、請求項３の責任
信号予測手段は、責任信号推定手段によって計算される責任信号を教師信号として所定の教師有り学習則によりパラメータを学習する。
【００２０】【発明の実施の形態】図１はこの発明の一実施形態の全体の構成を示すブロック図である。図１において、順モ
デル２と逆モデル３と責任信号予測器４とを含む複数の

(4)特許２９９６９５２

910i
制御モジュール１１，１２…１ｎが設けられる。各制御＊ 番目の順モデル２は時刻ｔでの次の状態の予測ｘ＾モジュール１１，１２…１ｎには、文脈情報信号と運動t+1を第（１）式より計算する。
指令信号と腕の目標軌道信号とが与えられる。ここで、【００２５】
文脈情報信号は、運動指令や制御対象の状態以外の信号【数１】で制御対象の動作点や環境、その種類などに関して得られる信号である。たとえば、後述の図６の物体操作の例
では物体の視覚情報となる。
i【００２１】順モデル２と逆モデル３とは対になってお【００２６】ここで、ｗ t は順ダイナミクスをモデル
り、各順モデル２は並列的に状態を予測して予測信号を化するために用いられる関数近似器中のパラメータであ減算器２１，２２…２ｎに出力する。各減算器２１，２ 10 り、より具体的には、ニューラルネットワークのシナプ
２…２ｎには制御対象９としての腕の動きから検出されス荷重である。
i
た実現された腕軌道の信号ｘt が与えられており、各減【００２７】これらの次の状態の予測ｘ＾ t+1 は、実算器２１，２２…２ｎはこれらの信号と予測信号とを減際の次の状態と減算器２０３で比較され、各順モデル２
算することによって、予測誤差信号を責任信号推定器５がどの程度現在の制御対象の振る舞いを説明しているかに出力する。各制御モジュール１１，１２…１ｎの責任を表わす責任信号を計算するのに使われる。すなわち、信号予測器４は、文脈情報信号に基づいて制御開始時に順モデル２の出力層２０２は制御対象の実際の状態ｘt
適当な制御モジュールが選択されるように学習を行なから遅延回路（ＤＬ）２０４の出力である制御対象の推う。
定を差し引いた信号ｘ＾t と、そのニューラルネットワ
i【００２２】責任信号推定器５は、各順モデル２が運動ークが含まれるモジュール単位の責任信号λ t との積指令から制御対象９の状態を推定する誤差に基づいて予 20 を所定の教師有り学習則の誤差信号としてパラメータを測の良好な順モデルを含む単位により大きな責任信号λ学習する。ここで、ｉ番目の責任信号は、責任信号推定を与えるものである。この責任信号λは、対応の逆モデ器５によって次の第（２）式に示すソフトマックス関数
ル３からの運動指令信号と乗算器６１によって乗算さで計算される。
れ、各乗算出力が加算器７によって加算される。そし【００２８】て、その総和が加算器８によってフィードバック制御器【数２】３０からのフィードバック運動指令Ｕfb と加算されて最終的な運動指令として制御対象９に与えられる。最終的な運動指令は、さらに順モデル２の入力層２０１に与えられる。制御対象９は上述の腕のみならず手や物体などであってもよい。
30 【００２９】ここで、ｘt は真の状態、σはスケール定【００２３】図２は順モデル２の動作を説明するため数である。ソフトマックスは、指数関数と正規化によっに、図１の順モデル２に関連する部分を抽出して示したて責任信号が「０」と「１」の間に入って、かつすべて図である。図２において、順モデル２は運動軌道が与えの単位モジュールで足し合わせると１になるようにしてられたとき、予測軌道を計算する。これに対して、逆モいる。現在の振る舞いをよく再現し、したがって予測誤
デル３は目標軌道が与えられたとき、それを実現する運差の小さな単位が大きな責任信号を持つことになる。責動指令を計算する。これらのモデルは、いずれも少なく
任信号は図１と次の第（３）式に示すように、順モデル
とも入力層と出力層とを含むニューラルネットワークに２の学習を競合的に制御するためにも使われる。つまよって構成される。順モデル２では、一般的にニューラ
り、責任信号の大きい単位モジュールはそれに比例してルネットワークの入力層２０１に入力信号としての運動
誤差信号を多く受取る。したがって、責任信号の値が指令信号ｕt が与えられると、出力層２０２から制御対 40 「１」に近い程その制御モジュールは責任が大きいことi
象状態を特定するための予測軌道ｘ＾ t+1 が出力されになり、制御にもそれだけ大きく貢献し、順モデルと逆る。
モデルの学習もそれに比例して速く進むことになる。
【００２４】図２に示した例では、現在の状態信号ｘt【００３０】と運動指令信号Ｕt とが順モデル２の入力層２０１に与【数３】えられる。制御モジュール１１，１２…１ｎのうちのｉ＊【００３１】図３は逆モデル３の動作を説明するために、図１の逆モデル３に関連する部分を抽出して示した 50図である。図３において、逆モデル３は、前述のごとく目標とする時間軌道を入力信号として受ける入力層３０

(5)特許２９９６９５２

1112１と、制御対象への入力信号となる運動指令を特定する＊ お、出力層３０２には、フィードバック誤差学習，順逆
出力層３０２とを含むニューラルネットワークで構成さモデリング，直接逆モデリングなど所定の学習制御教師
れている。
有り学習則から得られる誤差信号を入力して学習を行な【００３２】より具体的に説明すると、逆モデル３の入う。
*
力層３０１には、次の目標状態ｘ t+1 と現在の状態信
【００３３】
号ｘt とが入力され、第ｉ番目の逆モデル３は運動指令【数４】i
信号ｕ t+1 を次の第（４）式のように計算する。な ＊ii【００３４】ここで、α t はある関数近似器Ψのパラ※ 号λ t による重み付け加算して得られる。
メータ、具体的にはニューラルネットワークのシナプス【００３５】
荷重である。最終的な運動指令は、加算器７によって第【数５】（５）式に示すようにｎ個の逆モデル３の出力の責任信※i*【００３６】図３において、責任信号λ t は乗算器３ 20★ 運動指令信号ｕ t が必要となって、一般にそれは得ら
i*０３によって運動指令ｕ t+1 と乗算される。同様に責れないが、フィードバック誤差学習に基づいて（ｕ tii
任信号λ t は乗算器３０４によって運動指令の誤差ｕ−ｕ t ）をフィードバック制御器３０から与えられる
fb
t と乗算され、逆モデル３の学習に重みが付けられフィードバック運動指令ｕfb で置換えて第（６）式のよる。これによって、対となる順モデル２が正しい予測をうに学習できる。このような教師付学習については、特しているときだけ逆モデル３が制御し、学習することが許第２６７６３９７号において知られている。
保証される。
【００３８】【００３７】なお、教師付学習の場合には、目標とする★
【数６】i【００３９】ここで、責任信号λ t は３通りに使われている。第１に第（３）式で明らかなように順モデル２の学習を制御し、第２に第（６）式で明らかなように逆モデル３の学習を制御し、第３に第（５）式で明らかなように逆モデル３の最終運動指令への寄与を制御する。
【００４０】図４は責任信号予測器の動作を説明するために、図１の責任信号予測器に関連する部分を抽出して示した図である。責任信号予測器４も入力層４０１と出力層４０２とを含むニューラルネットワークによって構 40
成されていて、入力層４０１には文脈情報信号ｙt が入力され、出力層４０２はそれぞれの単位に対して責任信i
号推定器５によって計算される責任信号の予測値λ＾t を次の第（７）式に基づいて計算する。
【００４１】【数７】i【００４２】これらの責任信号予測値λ＾tは責任信 50i

号推定器５によって計算された実際の責任信号λ t と減算器４０３によって比較される。これらの誤差は、責任信号予測器４のパラメータを教師有り学習によって更新するために使用される。
【００４３】なお、責任信号推定器５は、各制御モジュール１１，１２…１ｎが出力する状態の予測値と制御対
象の状態との誤差を計算する入力部４０４と、責任信号予測器４による予測と入力部４０４の誤差の積を計算す
る中間層４０５と、制御モジュール１１，１２…１ｎのそれぞれに関して大きな誤差には小さな責任信号を単調減少飽和型関数で計算する出力部４０６とから構成されている。
【００４４】図５は図２〜図４で説明した順モデル２と逆モデル３と責任信号予測器４との関連を理解しやすいように系統的に示した図である。
【００４５】順モデル２は運動指令信号に基づいて、フィードフォワード的に次の状態を予測し、減算器２１によって予測値とフィードバックされた現在の状態とを減算して予測誤差が求められる。この予測誤差は尤度モデ

(6)特許２９９６９５２1314iルとされる。
＊ ィードバック的に責任信号推定値つまり、事後確率λ【００４６】図４で説明したように、責任信号予測器４t が計算されて出力される。責任信号推定器５によってi
によって文脈情報信号に基づいて演算された予測値λ＾
最終的に計算される責任信号λ t は第（８）式のよう
it は事前確率とみなされる。この事前確率は乗算器１にBayes の法則によって決定される。
０１によって前述の尤度モデルと乗算されて正規化され【００４７】
責任信号推定器５に入力され、責任信号推定器５からフ＊【数８】【００４８】逆モデル３は目標軌道から運動指令を演算 10※ に示すように、目標軌道と実現した軌道とをほぼ一致さし、乗算器６１で運動指令と責任信号推定値とが乗算させることができた。すなわち、時間０〜０．５×１
444
れ、加算器７で他の制御モジュールの運動指令が加算さ
０ ，１．５×１０ ，２．０×１０ の２つの時間帯
れてフィードフォワード運動指令となる。また、フィー
では、物体Ａを操作するためのモジュールαが正しくス
ドバック運動指令は乗算器６２によって責任信号推定値
イッチオンされていることがわかる。一方、時間０．５444と乗算され、逆モデル３の学習の誤差信号として用いら
×１０ 〜１．０×１０ 〜２．０×１０ 〜２．５×
4
れる。
１０ では、物体ＢのためにモジュールＢが、時間１．
4
4
4【００４９】図６〜図８はこの発明の効果を説明するた
０×１０ 〜１．５×１０ ，２．５×１０ 〜３．０
4めの図であって、特に、図６は操作される物体を手で保×１０ では物体Ｃのためにモジュールγが正しくスイ持している状態を示し、図７はこの発明の学習の過程をッチオンされている。
示す図であり、図８は操作物体を制御するためのスイッ 20 【００５４】全体として非常に短い時間の誤動作（縦方44
チングがこの発明の学習の結果得られた３つの制御モジ向の線分として０．９×１０ ，２．２×１０ 、２．
4
ュールによって高い精度で行なわれている様子を示す図８×１０ あたりに３回出現している）を除いて、ほぼである。
１００％の精度で、新しい物体が把持されるたびに古い【００５０】図６において、操作される物体の質量をＭモジュールがスイッチオフされ、正しいモジュールがスとし、弾性をＫとし、粘性をＢとする。
イッチオンされている。
【００５１】図７において、目標として与えられる３種【００５５】これらの結果、本願発明は前述の特開平６
類の物体α，β，γの特性を推定できれば、目標を達成−１９５０８号公報で提案された学習制御装置に比べてしたことになる。学習であるので、最初の３つのモジュ
圧倒的に優れていることがわかる。
ールＡ，Ｂ，Ｃの物理的特性はランダムに選ばれ、異な【００５６】表１はこの発明によって学習される４つのる点の初期状態から出発し、学習していくうちにそれぞ 30 物体α，β，γ，δのパラメータとしての質量Ｍ，粘性れのモジュールＡ，Ｂ，Ｃの３つの順モデルがモデル化
Ｂ，弾性Ｋである。
する操作対象物体α，β，γの特性に学習で収束してい【００５７】
ることがわかる。
【表１】【００５２】図８（ａ），（ｂ），（ｃ）は学習初期に
３つのモジュールＡ，Ｂ，Ｃが図８（ｄ）に示す目標軌
道を追従する場合の責任信号のスイッチング状態を示している。学習初期では、責任信号は皆同じく１／３の値を保っていてスイッチングできず、図８（ｄ）に示すよ
うに、目標軌道ａと実現した軌道ｂとが大きく異なっている。
40【００５３】これに対して、図８（ｅ），（ｆ），【００５８】表２はこの発明の学習の結果得られた順モ（ｇ）はモジュールＡ，Ｂ，Ｃの責任信号の一例を示し
デルと逆モデルの物理的特性を示している。
ており、この発明による学習をした結果５０００ステッ【００５９】
プごとに正しくスイッチングが生じており、図８（ｈ）※
【表２】

(7)
15
【００６０】表２は表１に記載された４つの物体のうちα〜γの３つの物体についてのみ学習を行なった結果で
F
F
Fあり、Ｍ j ，Ｂ j ，Ｋ j は順モデルによるモジュI
Iールの物理特性のパラメータであり、Ｍ j ，Ｂ j ，I
Ｋ j は逆モデルのモジュールによる物理特性のパラメータである。表２の物体と表１の最初の３つの物体とを対比すれば明らかなように、表２の順モデルおよび逆モ
デルで学習されたパラメータは、表１のパラメータにかなり近い値となっていることがわかり、この発明の優位性がわかる。
【００６１】次に、物体の数が単位の数に比べて大きい
場合もテストした。まず、表１に示した４つの物体α，β，γ，δを学習しておき、次に新しい物体η（Ｍ，Ｂ，Ｋ）＝（２．０２，３．２３，４．４７）を与えた。（Ｍ，Ｂ，Ｋ）の空間での線形和のベクトルは、理論的には（０．１５，０．２０，０．３５，０．３０）である。この理論的な値は、次の２つの式を解くことによって一意に解かれた答である。
【００６２】η＝ａ1 α＋ａ2 β＋ａ3 γ＋ａ4 δ
ａ1 ＋ａ2 ＋ａ3 ＋ａ4 ＝１
これに対して、この発明では、（０．１４，０．２４，
０．３７，０．２６）となり、全く学習していない物体も最初から学習なしで常に学習済の単位をうまく組合せて制御できることがわかった。これは、１時点では１つの制御器しか使えないNarendraとは全く異なる望ましい特性である。
【００６３】なお、この発明は、物体の物理特性のみならず、物体の視覚形状と物理的特性の組合せを、責任信号予測器によって学習するようにしてもよい。その場合には、前述の特開平６−１９５０８号公報に記載されている視覚パターンと同じ視覚刺激を用いて形状と物体を形状１−α，形状２−β，形状３−γのように組合せて学習すればよい。
【００６４】【発明の効果】以上のように、この発明によれば、複数の制御モジュールの各順モデルによって推定された状態
予測と制御対象からの実際の状態とを比較して各々の順
モデルの予測誤差を計算し、その予測誤差に基づいて複数の制御モジュールのうちの予測のよい順モデルを含む
制御モジュールにより大きな責任信号を与え、この責任信号に基づいて複数の逆モデルからの出力を線形加算して制御信号を出力するようにしたので、たとえば制御対象であるロボットが把持している物体の種類や力制御を行なっている環境の違いによらず、常に所望の軌道追従性能を発揮することができる。

10

20

30

40

特許２９９６９５２
16【図面の簡単な説明】【図１】この発明の一実施形態の全体の構成を示すブロ
ック図である。
【図２】順モデルの動作を説明するために図１の順モデルに関連する部分を抽出して示した図である。
【図３】逆モデルの動作を説明するために、図１の逆モデルに関連する部分を抽出して示した図である。
【図４】責任信号予測器の動作を説明するために、図１の責任信号予測器に関連する部分を抽出して示した図である。
【図５】責任信号予測器によってフィードフォワード的に推定された事前確率と順モデルの予測に基づいてフィードバック的に計算された予測誤差を組合せる機構を示す図である。
【図６】操作される物体を手で保持している状態を示す
図である。
【図７】操作対象物体に対応して複数のモジュールの特性がこの発明の学習で収束する様子を示す図である。
【図８】この発明による学習前と学習後の目標軌道を追従するための効果を説明するための図である。
【符号の説明】
２ 順モデル３ 逆モデル
４ 責任信号予測器
５ 責任信号推定器
７，２１〜２ｎ，２０３，４０３ 減算器
８，６１〜６３，３０３，３０４ 乗算器
９ 制御対象１１〜１ｎ 制御モジュール
３０ フィードバック制御器
２０１，３０１，４０１，４０４ 入力層
２０２，３０２，４０２，４０６ 出力層【要約】【課題】 制御対象の軌道追従制御を高い性能でかつ学習で行なうことのできるような学習制御方法および学習制御装置を提供する。
【解決手段】 順モデル２と逆モデル３と責任信号予測器４とを有する多数の制御モジュール１１，１２…１ｎが設けられ、各順モデル２の状態予測とフィードバック
された実際の状態とを比較して各順モデルの予測誤差を計算し、この予測誤差と責任信号予測器４の出力とに基づいて、責任信号推定器５が責任信号を計算し、この責任信号で各逆モデル３の出力を加重して最終的な運動指令を計算し、制御対象９に与える。

(8)特許２９９６９５２

【図１】

【図２】

【図４】

(9)

【図３】

【図５】

特許２９９６９５２

【図６】

【図７】

(10)

特許２９９６９５２【図８】─────────────────────────────────────────────────────
フロントページの続き(72)発明者

春野 雅彦
京都府相楽郡精華町大字乾谷小字三平谷
５番地 株式会社エイ・ティ・アール人間情報通信研究所内(56)参考文献

特開 平８−152902（ＪＰ，Ａ)
特開 平６−19508（ＪＰ，Ａ)
特開 平６−222839（ＪＰ，Ａ)
特開 平３−123902（ＪＰ，Ａ)
田中健一、外１名、「運動系ニューラ
ルネットワークとロボット制御」、シス
テム／制御／情報、システム制御情報学会、平成４年10月15日、第36巻、第10号、Ｐ．653−660
7(58)調査した分野(Int.Cl. ，ＤＢ名)
G05B 13/00 ‑ 13/04
ＪＩＣＳＴファイル（ＪＯＩＳ)