逆システムの直列結合による仮想フィードバック誤差学習○野口 慎，杉本 謙二 （奈良先端科学技術大学院大学）

Virtual Feedback Error Learning by means of Cascade Connectionof an Inverse System∗Makoto Noguchi and Kenji Sugimoto (Nara Institute of Science and Technology)
Abstract– In this paper, Virtual Feedback Error Learning (VFEL) is proposed. Conventional schemes for
FEL have a drawback that a time variant block is embedded into the closed loop system as a side eﬀect from
eliminating an assumption of positive realness for stability. In the scheme of VFEL, the embedded block is
separated from the closed loop system by means of cascade connection of an inverse system. As a result,designers do not need to pay attention to the eﬀect of the block to stability. Finally, this paper shows theeﬀectiveness of VFEL in terms of simulation.
Key Words: Virtual Feedback Error Learning (VFEL), Strictly Proper Plant, Multi-input Multi-output(MIMO) systems, Feedforward Control

1

はじめに
1)

フィードバック誤差学習（FEL）は Kawato ら に
よって提案された生体の運動制御における学習モデルである．近年，FEL は線形制御理論の観点からも活発に研究が進められている．まず，Miyamura ら 2) が，一入出力（SISO）系に対する線形制御器型の FEL を提案し，ある種の近似のもと，その安定性を正実性に基づいて保証した．Alali ら 4) は Miyamura らの手法を多入出力（MIMO）系へ拡張した．一方，Muramatsu
ら 3) は，近似によらず，また正実性の仮定をも必要とせずに収束を保証できる学習則を提案した．
FEL 制御系では，制御対象が厳密にプロパの場合，
プレフィルタを用いて相対次数による遅れを補償していたが，学習パラメータの冗長性の問題があった．そこで，著者ら 5) はその冗長性を改善するため，プレフィ
ルタ統合型 FEL（PIT-FEL）を提案した．さらに，その構成のもと，Muramatsu ら 3) の手法を MIMO 系に拡張し，正実性によらない PIT-FEL を提案した 6) ．
しかしながら，文献 3, 6) の FEL には，(1) プラントに有限零点がある場合，正実性の仮定を除去したために閉ループ系に時変ブロックが挿入される問題がある．
また上記全ての FEL では，(2) 閉ループ系への入力点
が 2 点必要となる 2 自由度構成ゆえに，プラントは正方（m × m）に限定される，(3) 学習型フィードフォ
ワード（FF）制御器で速応性を改善する代償として，
FF 制御信号は急激な変化を伴い，そのため，その信号が出力に影響を与える，などの問題がある．このため，
時変ブロックや FF 制御信号の影響に対して，閉ループ
系が十分に耐えられることが必要である．(1),(3) に関しては，特に実験の際，問題になるものと考えられる．
そこで，本論文では，上記問題点を解決するため，閉ループ系の前段に学習型 FF 制御器を直列結合し，仮想フィードバック誤差（目標値と被制御量との差）に基づいて閉ループ系の逆システムを学習する仮想フィードバック誤差学習（VFEL）を提案する．なお，学習則には，Muramatsu ら 3) の手法を援用する．
以下の節では，m 次の単位行列は Im と表すが，文脈から明らかなときは次数を明記しないこともある．多項式 ℓ(s) が Hurwitz とは，その零点が安定領域 C− ={s ∈ C| Re(s) < 0} にのみ存在するときをいう．また，
行列 A, B の Kronecker 積を A ⊗ B で表す．FF 制御器の実際の構成は時変系となるが，各時刻における動特性を表すために伝達行列など時不変系の用語を流用する．

2

問題の定式化と準備

まず，一般表現された既存の FEL の構成（文献 3,
4, 5, 6) の構成を全て包含）を Fig. 1 に示す．とくに，
文献 4) では，点線 A, B の両方が，文献 3) では，点線A のみが，また，文献 5) では，点線 B のみが存在しない構成となる．さて，FEL では，フィードバック誤FF controller

u(t)

r(t)

A

r(t)

Ìw

Q¦(s)
uff(t)

w(t) e(t)W(s) +
Prefilter(given)-B

Kfb(s)ufb(+t) u(t) P(s)+y(t)

FB controller

Plant(given)(unknown)

Fig. 1: Conventional FEL schemes
差 e(t)（もしくは uf b (t)）に基づき，FF 制御器 QΘ (s)のパラメータ Θ を調整することによって，制御目的
y(t) → w(t) を達成していた．しかしながら，これらのFEL には，1 節で述べた問題点 (1)〜(3) がある．
そこで，本論文では，その問題点を解決するために，
新しく Fig. 2 のような構成，すなわち，多入出力仮想
フィードバック誤差学習（MIMO - Virtual Feedback
Error Learning : MIMO-VFEL）を提案する．この構成により，閉ループ系への入力点が１つに削減されるため，問題点 (2), (3) を回避でき，また，仮想フィードバッ
ク誤差信号を学習に用いるため，問題点 (1) も回避できる．以下，問題の定式化を行っていく．Fig. 2 において，P (s) は未知のプラント，Kf b (s) は P (s) を安定化するために設計者が与えるフィードバック（FB）制御器，

Prefilter-Integration-Type¦

FF controller Q

S W (s)

r(t)

W (s)

w(t)

Prefilter

(s)

(t)

~

E

() +

VF (s)F t

VF (s)G t() +Closed loop systemP(s)

+
+

~

u(t)

+
-

Kfb (s)

u(t)

P(s)

y(t)

w(t)

+

-

~

e(t)(Virtual Feedback Error)y(t)Fig. 2: Proposed MIMO-VFEL schemeを調整することによって改善を図る．よって，制御目
的は，y(t) が w(t) に追従するように入力信号 ũ(t) を加えることである．
以下では，まず，閉ループ系に対して直列結合される学習型 FF 制御器の構成を示す．次に，学習型 FF
制御器が閉ループ系の逆システムとして動作するよう，
Muramatsu ら 3) の手法を援用し，学習則を導く．最後に，シミュレーションで提案法の有効性を検討する．

3

Q̃Θ (s) は調整パラメータ Θ = [F, G, E] を含むプレフィ
ルタ統合型 FF 制御器，w := W (s)r は Q̃Θ (s) 内に統合されているプレフィルタ W (s) の出力で目標値信号，ẽ(t) は仮想フィードバック誤差信号 (:= w(t) − y(t))，
を表している．u(t) のみ m̄ 次元，その他の信号は m 次
元ベクトル値を取る連続時間関数であるとする．

プレフィルタ統合型 FF 制御器
FF 制御器の出力の真値信号は，
ũ0 = Q̃(s)r = P̃ (s)−1 W (s)rと与えられる．しかし，閉ループ系 P̃ (s) が未知である
ため仮想フィードバック誤差 ẽ(t) を利用して学習パラ
メータ Θ を調整したい．まず，

プラント P (s) は，m × m̄ の多入出力線形時不変系

P (s) = (A, B, C)

Kf b (s) = (AK , BK , CK , DK )−1=

(I + P (s)Kf b (s))=(Ap , Bp , Cp )P (s)Kf b (s)(3)の 行 列 Ap , Bp , Cp は 未 知 と な る が ，行 相 対 次 数
ρ1 , · · · ,∑ρm は既知とし，これらの和，最大値をそれぞm
れ ρ = i=1 ρi , ρ̄ = max1≤i≤m ρi とおく（行相対次数の詳細については，文献 5) を参照）．
以上の前提の下，プレフィルタ W (s) をW (s) = L(s)−1 , L(s) = diag(ℓ1 (s), · · · , ℓm (s))(4)

と設定する．ただし ℓi (s) は ℓi (0) = 1 となる ρ̄ 次
Hurwitz 多項式であり，設計者が任意に与える．
上記仮定より P̃ (s) が安定かつ最小位相であるので，P̃ (s)Q̃(s) = W (s)(5)

を満たす安定バイプロパな伝達行列 Q̃(s) が存在する．
これは未知であるが，もし Fig. 2 において Q̃Θ (s) =Q̃(s) のときは，どのような r(t) に対しても仮想フィードバック誤差が以下のようになる．

ẽ(t) = w(t) − y(t) → 0 (t → ∞)と分解し，R̃(s) の McMillan 次数を ν とする（ν は P̃ (s)の有限零点の数である）．このとき，以下の補題によって，プレフィルタ統合型 FF 制御器の真値を与える．

(2)であり，これは，モデルを用いずに設計者が与える．
Kf b (s) は最小位相であるとする．P (s) が未知である
ことから，閉ループ系

P̃ (s)P̃ (s)−1 = M (s) + R̃(s),{M (s) : 多項式行列R̃(s) : 厳密にプロパな有理式行列(1)であり，行列 A, B, C は未知であるとする. P (s) は安定でなくてもよいが，最小位相であるとする．FB 制御
器 Kf b (s) は，m̄ × m の多入出力線形時不変系

(7)

(6)

いま，FB 制御器 Kf b (s) によって閉ループ系 P̃ (s)は安定化されているが，目標値追従特性は十分でないと仮定する．そのため，FF 制御器 Q̃Θ (s) を接続し，Θ

【補題 1】 ν 次モニック Hurwitz 多項式 f (s) =sν + f1 sν−1 + · · · + fν を設定し，Af = Im ⊗ Āf Bf = Im ⊗ B̄f ,
(8)




0
1
0
0


 .. ..
.
Āf =  , B̄f =  . 
 0


1
0 
−fν · · · −f2 −f1
1
とおく．ただし， ν := q − ρ，Af ∈ Rνm×νm , Bf ∈Rνm×m である．このとき，パラメータ F0 , G0 , H0 ,J01 , · · · , J0ρ̄ が存在し，(7) 式の信号 ũ0 は，以下のフィルタによって生成できる．ここに，κ := (2ν + ρ̄ + 1)mである．
η̇1 (t) = Af η1 (t) + Bf w(t) η̇2 (t) = Af η2 (t) + Bf ũ0 (t)(9)
ũ0 (t) = Θ0 η(t)

Θ0 = [F0 , G0 , E0 ] ∈ Rm×κ ,(10)

E0 = [H0 , J01 , · · · , J0ρ̄ ] ,
(11)
[
]
T
∈ Rκ , (12)η(t) = η1 (t)T η2 (t)T ξw (t)T()ξw = S̃W (s) ⊗ W (s) r,
(13)
[
]T
,
S̃W (s) = 1 s · · · sρ̄SW (s) := S̃W (s) ⊗ Im
(証明)1
, (14)
f (s)
]T
sν−1
(15)

VF (s) := (sI − Af )−1 Bf = SF (s)SF (s) = Im ⊗

[

1

s ···

を定義し，(9) 式に利用すると，r(t) → ũ0 (t) の関係は，
ũ0 = {Im − G0 VF (s)}−1

×{F0 VF (s)W (s) + H0 W (s) + J01 sW (s)+ · · · + J0ρ̄ sρ̄ W (s)}r−1= [X̃(s)](16)

Ỹ (s)W (s)r(17)

X̃(s) = [f (s)Im − G0 SF (s)],= Θ0 ξ + G0 VF (s)P̃ (s)−1 ẽ − P̃ (s)−1 ẽỸ (s) = [sρ̄ f (s)J0ρ̄ + sρ̄−1 f (s)J0(ρ̄−1)= Θ0 ξ − (Im − G0 VF (s))P̃ (s)−1 ẽ+ · · · + sf (s)J01 + f (s)H0 + F0 SF (s)]−1−1と表される．[X̃(s)] Ỹ (s) が P̃ (s) に一致するように，F0 , G0 , H0 , J01 , · · · , J0ρ̄ を求めれば良い．詳細は
略す．
⋄

4

となる．ただし，(22) 式を用いている．以上の準備のもと， (23) 式に (24) 式を代入すると，ξ1ũ = [F0 , G0 , E0 ]  ξ2 + VF (s)P̃ (s)−1 ẽ  − P̃ (s)−1 ẽξwとなる．ここで，(16) 式，(17) 式および [X̃(s)]−1 Ỹ (s) =P̃ (s)−1 を (25) 式へ用いると，ũ = Θ0 ξ − {F0 VF (s) + H0 + sJ01 + · · · + sρ̄ J0ρ̄ }ẽ
(26)

学習則

本節では Muramatsu ら 3) の発想をもとに，パラメー
タを調整するための学習則を導く．(9) 式では，FF 制
御器の出力の真値信号 ũ0 (t) を使っているが，これは未知なので，閉ループ系 P̃ (s) への入力 ũ(t) を用いると，実際の前置型 FF 制御器 Q̃Θ (s) の構成は， 以下のようになる1 ．
ξ˙1 (t) = Af ξ1 (t) + Bf w(t) (18)ξ˙2 (t) = Af ξ2 (t) + Bf ũ(t)
uf f (t) = Θ(t)ξ(t)Θ(t) = [F (t), G(t), E(t)] ∈ Rm×κ ,(19)

E(t) = [H(t), J1 (t), · · · , Jρ̄ (t)] ,
(20)
]
[
T
ξ(t) = ξ1 (t)T ξ2 (t)T ξw (t)T∈ Rκ (21)
ここで， 学習パラメータ F0 , G0 , H0 , J01 , · · · , J0ρ̄ を調整可能な係数行列 F (t), G(t), H(t), J1 (t), · · · , Jρ̄ (t) に置き換えている2 ．したがって，閉ループ系 P̃ (s) への制御入力は，ũ(t) = uf f (t) = Θ(t)ξ(t) と与えられる．
いま，仮想フィードバック誤差 ẽ(t) に基づき，(19) 式のパラメータを調整するための学習則を導く．そのために，まずは，制御入力 ũ(t) を Θ0 によって線形パラ
メータ表示する．ここで，

ũ0 − ũ = P̃ (s)−1 W (s)r − P̃ (s)−1 y = P̃ (s)−1 ẽ (22)となる．いま，(26) 式がプロパ性を満たすように，適当な ρ̄ 次モニック Hurwitz 多項式 ℓ(s) をとり，
{
1
1
1
1
ũ = Θ0ξ − F0 VF (s)ẽ + H0
ẽ
ℓ(s)
ℓ(s)
ℓ(s)
ℓ(s)
}
1
1
+J01 sẽ + · · · + J0ρ̄ sρ̄
ẽ
ℓ(s)
ℓ(s)
˜
= Θ0 ξ,(27)
1
VF (s) ℓ(s) ẽ
1
,
ξ˜ =
ξ−
0
ℓ(s)
ξe
(
(
))
]
[
1
ρ̄ T
1 s ··· s
ξe =
⊗ Im
ẽ
ℓ(s)
1
とする．ただし，sk ℓ(s)(k = 1, · · · , ρ̄) はプロパである．
よって，未知パラメータに線形な誤差モデル

ϵ=1 提案法では，文献 5, 6) と同様に，閉ループ系 P̃ (s) が有限零点を持たない場合（SISO では分子が定数の場合）には，ν = 0 とな
り，フィルタ VF (s) は不要となる．
2 学習を開始させるためには，初期値 Θ(0) ̸= 0 を与えなければならない．

˜û(t) = Θ(t)ξ(t)(28)

d˜ T, α > 0
Θ(t) = αϵ(t)ξ(t)
(29)
dt
d
˜ T Z(t),Θ(t) = ϵ(t)ξ(t)
(30)
dt
d
˜ ξ(t)
˜ T Z(t), Z(0) = σI, σ ≫ 1
Z(t) = −Z(t)ξ(t)
dt

(23)

(23) 式の記述で， η(t) の要素 η2 (t) は学習に利用できない． なぜなら，η2 (t) は， 未知の信号 ũ0 (t) を用いて (9) 式の第 2 式によって生成されるからである． その問題を回避するため，(23) 式を，学習に利用できる
ξ(t) を用いた形式へ変形する．まず，(9) 式と (18) 式を比較し，両フィルタの安定性から}
η1 → ξ1(24)
η2 → ξ2 + VF (s)P̃ (s)−1 ẽ1ũ − û,ℓ(s)が得られる．この ϵ(t) を用いることで，固定ゲイン型および可変ゲイン型の学習則をそれぞれ，(29) 式, (30) 式のように構成できる．

の関係と (10)，(12) 式から次のように記述する．

ũ = ũ0 − P̃ (s)−1 ẽ = Θ0 η − P̃ (s)−1 ẽ

(25)

5

シミュレーション

本節では，特に，問題点 (1) に対して検討を行い，従来法 3, 6) と提案法とを比較する．以下のシミュレー
ションでは，外生信号として，r = [r1 , r2 ]T ，r1 =sin(2π(1/5)t), r2 = 0.8 sin(2π(1/4)t) を用いる．
有限零点を含む例として，MIMO プラント[ 2]
1
s + 4s + 1−2s − 19
P (s) =,
d(s) 2s2 + 9s + 7 s2 + 5s − 18d(s) = s3 + 8s2 + 19s + 23

となる．また，ν = n − γ = 1 より，FF フィルタを
[
]
[
]
−a 0
1 0
Af =
, Bf =
, a=3
0 −a
0 1
と設定する．FB 制御器は Kf b (s) = diag [0.5, 0.5] と定める．従来法 6) による目標軌道追従特性を Fig. 3に示している．ただし，可変ゲイン型の学習則を用い，
σ = 300 と設定している．従来法では，閉ループ系が不安定化してしまう．
3
w1

w2

y1

w1, w2, y1, y2

1
0
-1
-2
3

6

9
time[s]

12

15

18

Fig. 3: Tracking by the conventional scheme
次に，提案法について検討する．このとき，P (s) お
よび Kf b (s) から構成される閉ループ系は，[]
P11 (s) P12 (s)P̃ (s) =,P21 (s) P22 (s)0.5
1P11 (s) =, P21 (s) =,s + 4.5
s + 4.5−s − 9.5
P12 (s) = 3,
s + 9s2 + 23.75s + 15.75
0.5s2 + 2.75s − 7.75
P22 (s) = 3
s + 9s2 + 23.75s + 15.75
であり，q = 3, ρ1 = 1, ρ2 = 1, ρ = 2, ρ̄ = 1 となるから，L(s) = diag((1/6)s + 1, (1/7)s + 1) と定める．また，ν = q − ρ = 1 より，従来法と全く同じ FF フィル
タ (Af , Bf ) を設定する．提案法による目標軌道追従特性を Fig. 4 に示している．ただし，可変ゲイン型の学習則を用い，σ = 5 × 104 と設定している．
1.5
w1

w2

y1

y2

w1, w2, y1, y2

1

(1,1)

(1,2)

(1,3)

(1,4)

(1,5)

(1,6)

(1,7)

(1,8)

(2,1)

(2,2)

(2,3)

(2,4)

(2,5)

(2,6)

(2,7)

(2,8)

4

2

0

-2
-4
0

20

40

60

80

100

time[s]

最後に，VFEL の特徴について補足する．VFEL では，非正方のプラントを理論上扱えるため，問題点 (2)を回避できることは明らかである．また，次の事も言える．いずれにせよ，従来の FEL，VFEL ともに，閉ループ系に入力される目標値信号（従来の FEL では
w(t)，VFEL では ũ(t)）の急激な変化は，出力信号に対して影響を及ぼすであろう．しかしながら，VFEL
では構造上，プラントへの入力信号は FB 制御器の出力信号のみである．このため，プラントの直前へ FF 制
御信号（急激に変化する外乱とみなせる）が加え合わされることはなく，この信号が従来の FEL のように，出力に対して影響を与えることはない．ゆえに，問題
点 (3) も回避できることがわかる．したがって，提案法は，1 節の問題点 (1)〜(3) を全て回避できる．

参考文献
1) M. Kawato，K. Furukawa and R. Suzuki: A hierarchical neuralnetwork model for control and learningof voluntary movement, Biol. Cybern.，57，169/185(1987)
2) A. Miyamura and H. Kimura: Stability of feedback
error learning scheme, Systems & Control Letters ，45，
303/316 (2002)
3) E. Muramatsu and K. Watanabe: Feedback error
learning control without recourse to positive realness, IEEE Trans. on Automatic Control ，49-10，
1762/1767 (2004)
4) B. Alali，K. Hirata and K. Sugimoto: Generalizationof Feedback Error Learning (FEL) to MIMO Systems,
計測自動制御学会論文集，43-4，293/302 (2007)5) 野口, 杉本: プレフィルタの状態を利用したフィードバッ
ク誤差学習, システム制御情報学会論文誌, 23-5, 105/110(2010)

0.5
0
-0.5
-1
-1.5
0

6

Fig. 5: Time evolution of learning parameter Θ(t)

y2

2

-3
0

提案法は，直列結合型の FF 制御器を用いているため，良好な目標軌道追従を達成できていることがわかる．以下に，提案法における学習パラメータ Θ(t) の時間発展も示す．短時間で収束していることがわかる．

time evolution of Thetaを考える（なお，プラントの行相対次数を γ1 , γ2 ，その和，最大値をそれぞれ γ, γ̄ とおく）．このとき，n =3, γ1 = 1, γ2 = 1, γ = 2, γ̄ = 1 であるから，L(s) =diag((1/6)s + 1, (1/7)s + 1) と与えると，この最小実
現 (Aw , Bw , Cw ) は，
[
]
[
]
[
]
−6 0
1 0
6 0
Aw =
, Bw =, Cw =
0 −7
0 1
0 7

5

10
time[s]15

20

Fig. 4: Tracking by the scheme of MIMO-VFEL

6) 野口，杉本: 正実性によらない多入出力フィードバック
誤差学習—プレフィルタ統合型学習則の改善—, (ISCIE
論文誌に掲載予定), also appeared in: K. Sugimotoand M. Noguchi: Improved Feedback Error Learningwith Preﬁlter State Variables and RLS Criterion, The
2010 IEEE Multi-Conference on Systems and Control(MSC), pp. 41-46 (2010)