ハミルトン系の変分対称性と学習制御
藤本健治 (名大)佐藤 訓志 (名大)玄 相昊 (ATR/JST)

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.1/44

Outline

1. 学習制御とは?
2. ハミルトン系の変分対称性と最適制御
3. 応用例
4. おわりにIBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.2/44

基本的な考え方「広すぎず狭すぎず」扱う制御対象を適切に限定
機械系
電気回路
非ホロノミック拘束
物理系の性質を活用
エネルギー保存系/散逸系 (受動性)
対称性
ϕ1

HL

ϕ2 HC

Y
Q

u2q3
R1

V0q2

u1q1
X

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.3/44

制御工学における学習とは?
学習制御とは制御対象や環境の情報を与えられたデータから推定し，ある意味で最適な制御を行う
手法．

➥ 統計的な性質を利用したものなどもあるが，勾配法に基づく最適化をベースとしたものも多い．

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.4/44

典型的な問題設定
制御対象Σ:ẋ = f (x, u,t)y = h(x, u,t)

評価関数

Γ=Z T
0y(τ )T Q y(τ ) + u(τ )T R u(τ ) dτ

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.5/44

勾配法の復習
パラメータ空間 X ∋ x において評価関数 Γ : X → Rを最小化する問題．

➥ 勾配法とは，Γ(x) の勾配 ∇Γ(x) とは反対方向に xを変化させてゆく方法．
x(k+1) = x(k) − K · ∇Γ(x)2

1.5

10.5–1–1–0.5–0.5t

10.5 s1IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.6/44

有限次元の場合
有限次元 (X = Rn ) では，原始的な方法が使える➥ 十分小さい ∆x1 6= 0 に対して，Γ(x0 ) と Γ(x0 + ∆x1 )のデータから次の近似が得られる．
∇Γ(x0 )T ∆x1 ≈ Γ(x0 + ∆x1 ) − Γ(x0 )
|{z}
=:∆Γ1

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.7/44

有限次元の場合
有限次元 (X = Rn ) では，原始的な方法が使える➥ 十分小さい ∆x1 6= 0 に対して，Γ(x0 ) と Γ(x0 + ∆x1 )のデータから次の近似が得られる．
∇Γ(x0 )T ∆x1 ≈ Γ(x0 + ∆x1 ) − Γ(x0 )
|{z}
=:∆Γ1

➥ さらに一次独立な ∆x1 , . . . , ∆xn を集めて∇Γ(x0 )T (∆x1 , . . . , ∆xn ) ≈ (∆Γ1 , . . . , ∆Γn )したがって∇Γ(x0 ) ≈ (∆x1 , . . . , ∆xn )−T (∆Γ1 , . . . , ∆Γn )TIBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.7/44

有限次元の場合 2勾配を推定するのに n + 1 個以上のデータが必要⇒ 補償器のパラメータチューニング (IFT) に用いられる
本質的に無限次元の信号を推定する問題には使えず，問題を有限次元近似 (有限個の基底で展開等) が必要．
⇒ 一部の反復学習手法で利用

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.8/44

最適制御と無限次元の勾配制御対象 Σ : U → Y の構造を利用しようẋ = f (x, u,t)y = Σ(u) :y = h(x, u,t)
評価関数は Γ : U ×Y → R，探索空間を U とする．
Z T
(例)y(τ )T Q y(τ ) + u(τ )T R u(τ ) dτ
Γ=0

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.9/44

最適制御と無限次元の勾配
制御対象 Σ : U → Y の構造を利用しようẋ = f (x, u,t)y = Σ(u) :y = h(x, u,t)
評価関数は Γ : U ×Y → R，探索空間を U とする．
Z T
(例)y(τ )T Q y(τ ) + u(τ )T R u(τ ) dτ
Γ=0

➥ その微分はdΓ(u, y)(du, dy) ====h∇u Γ, duiU + h∇y Γ, dyiYh∇u Γ, duiU + h∇y Γ, dΣ(u)(du)iYh∇u Γ, duiU + h(dΣ(u))∗ ∇y Γ, duiUh(∇u Γ + (dΣ(u))∗ ∇y Γ), duiU
IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.9/44

最適制御と無限次元の勾配➥ すなわち勾配 ∇Γ(u, Σ(u)) は，∇Γ(u, Σ(u)) = ∇u Γ(u, y) + (dΣ(u))∗ ∇y Γ(u, y)のようになるが，(dΣ(u))∗ の情報が必要となる．逆にここがうまく推定できれば，学習ができることになる．

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.10/44

(dΣ)∗ の中身
制御対象 Σ

Σ:変分系 dΣẋ = f (x, u)y = h(x, u) ẋ = f (x, u)dΣ : ẋv = ∂∂ xf xv + ∂∂ uf uv
 y = ∂hx + ∂huv
∂x v
∂u v

変分随伴系 (dΣ)∗

 ẋ
∗

(dΣ) :

= f (x, u)ẋa =yv =∂fT∂hT− ∂ x xa − ∂ u ua
∂fT∂hT
∂ u xa + ∂ u ua
IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.11/44

自己共役性と変分対称性散逸を有するハミルトン系 (J = −J T , R = RT  0)ẋ = (J − R) ∇x H(x, u)
y = ΣH (u) :y = −∇u H(x, u)
変分系 dΣH は線形のハミルトン系となる!
ẋv = (J − R) ∇xv Hv (x, u, xv , uv )
 y = −∇ H (x, u, x , u )v vv
uv v
yv = dΣH (u)(uv ) :T



xxv
v
2

∇ H(x, u) Hv =uv
uv
IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.12/44

自己共役性と変分対称性 2ハミルトン系 (R = 0)
自己共役: (dΣH (u))∗ = dΣH (u)
勾配系 (J = 0)
変分対称: (dΣH (u))∗ と dΣH (ū) が時間反転
一般の場合
ある条件のもとで変分対称性を有する➥ この性質を使うと，無限次元空間の学習が可能!
∇Γ(u, Σ(u)) = ∇u Γ(u, y) + (dΣ(u))∗ ∇y Γ(u, y)

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.13/44

Outline

1. 学習制御とは?

2. ハミルトン系の変分対称性と最適制御
3. 応用例
4. おわりに

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.14/44

反復学習による最適制御
反復学習制御- 学習則u(i+1)- メモリu(i)q - 制御対象

y(i) , x(i)6➥ 以下では u(i) , y(i) , x(i) を時間区間 t ∈ [t 0 ,t 1 ] の i 回目の実験データとし，実験回数 i を増やすごとに u(i)が最適入力に近づくようなカラクリを考える．
➥ 実験データを利用することで制御対象の情報をうまくフィードバックして最適入力を求める!
IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.15/44変分対称性と勾配
勾配∇Γ(u, Σ(u)) = ∇u Γ(u, y) + (dΣ(u))∗ ∇y Γ(u, y)

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.16/44

変分対称性と勾配
勾配∇Γ(u, Σ(u)) = ∇u Γ(u, y) + (dΣ(u))∗ ∇y Γ(u, y)変分対称性(dΣ(u))∗ の挙動が dΣ(u) を時間反転したものと一致(dΣ(u))∗ ≈ R ◦ dΣ(u) ◦ RR➥ 学習途中の軌道の時間反転軌道回りでデータをとることで，勾配が計算できる．
dΣ(u)(v) ≈ Σ(u + v) − Σ(u)IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.16/44

一般化正準変換を用いた制御系
反復学習制御系- 学習則u(i+1)- メモリu(i)q - 制御対象

y(i) , x(i)6IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.17/44

一般化正準変換を用いた制御系
一般化正準変換を用いた反復学習制御系(ハミルトン系の形を保存するフィードバック変換)

r-Hamiltonian system
x(i) , y(i)ū(i+1)ū(i) + u(i)- memory- g - Σqk
−6x(i)66

β 

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.17/44

一般化正準変換を用いた制御系
一般化正準変換を用いた反復学習制御系(ハミルトン系の形を保存するフィードバック変換)

r-Hamiltonian system
x(i) , y(i)ū(i+1)ū(i) + u(i)- memory- g - Σqk
−6x(i)
66

β +?
g
−dx

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.17/44

評価関数の例
評価関数 Γ(x(t 1 ), y, u)
軌道追従制御:Γ=Z t1t0ky(t) − yd (t)k2 dt

終端状態達成:1d 2

Γ = kx(t ) − x k + γu
1Z t1
t0ku(t)k2 dt

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.18/44

Outline

1. 学習制御とは?

2. ハミルトン系の変分対称性と最適制御
3. 応用例
4. おわりにIBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.19/44

軌道追従制御 1
実験装置

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.20/44

軌道追従制御 2
実験結果
0.6
output10.4

y1 [rad]

0.2

0−0.2

−0.4−0.60t [sec]

0.5

11.5

22.5

3IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.21/44

最適制御 1
入力飽和
飽和関数 φ (·) で特徴づけられる入力飽和
φ(u)umaxũ - φu-Σ

y0u

−umax

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.22/44

最適制御 2
入力飽和 (シミュレーション)
入力飽和を考慮しない場合

5000−5000.5

00.5

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.23/44

最適制御 2
入力飽和 (シミュレーション)
入力飽和を考慮しない場合

5000−5000.500.5

入力飽和を考慮した場合 (飽和: 50 [Nm])5000−5000.500.5IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.23/44

非ホロノミック系の制御 1☞ 適用可能条件: Γ, R が定数➥ 非ホロノミック系には適用できない!
➥ フィードバックを用いて，サブシステムが条件を満たすようにする➥ 制御対象の情報をできるだけ用いずに，フィードバックを近似的に構成
φL

θ

yx
IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.24/44

非ホロノミック系の制御 2
速度拘束の情報のみを用いてフィードバックを設計
0.40.3

y (m)

0.2

φ
L
y0.1

0

θ

-0.1-0.2x-0.3
01

23x (m)4567

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.25/44

繰り返し制御にむけて 1
歩行現象やリミットサイクル等，非線形系の周期運動の制御への応用➥ 反復学習制御ではなく繰り返し制御型の学習則が必要
反復学習制御:y0yT

t0yydTt

繰返し制御:yyyd0

T2Tt

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.26/44

繰り返し制御にむけて 2
仮定: 制御対象: あらかじめ漸近安定化
目標軌道: 周期 T の周期軌道で周期間で時間対称
手順 1: 周期 T の間は反復学習の入力を入力し、その後は 0 を入力する
手順 2: 状態 x が kxk ≤ δ を満たすと、手順 1 に戻り反復学習を行う
yyε1

ε2...

0T T + ε1

2T + ε1 ...

t

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.27/44

繰返し制御にむけて 3


仮定: 時間区間 T の反復学習が最適値に収束する



結果 1: εi → ε as i → ∞結果 2: ε → 0 as δ → 0yyε1ε2...

0T T + ε1

2T + ε1 ...

t

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.28/44

繰返し制御にむけて 4
評価関数
軌道追従:

Γ(y) = kd ky − yd k2L2
軌道生成:

Γ(y) = kd kF(t)(y − yd )k2L2 + kt ky − R(y)k2L2 + ku kuk2L2
R(): 時間反転作用素
時間区間 [0, T ] 上で (R(u))(t) = u(T − t) が成立

F(t): フィルタ関数 (0 ≤ F(t) ≤ 1)

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.29/44

繰返し制御にむけて 5
軌道追従 (シミュレーション)
theta1,theta2

theta1,theta2

0.6
0.5

1.2theta1
theta2

1

theta1
theta2desire heta1tdesire heta2
t0.8
amplitude

amplitude

0.4
0.3
0.2

0.6
0.4

0.1

0.2

00−0.1
01020
time

30

40−0.2

cost function

4802803time

804805convergence time

010

801

10

3

10−1time

amplitude

10
2

10−2

10
1

10−30

10

020

4060
step

80

100

10020

i

4060

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.30/44

繰返し制御にむけて 6軌道生成 (シミュレーション)
theta1 1,2,5,10,20,30,40,50,60steps

theta1 − 15 steps −

1.2

0.6

10.8
amplitudeamplitude

0.4

0.2

0.6
0.4
0.2

00−0.2050time1000150

cost function

313480100

convergence time

0102time

102timeamplitude10

110−110010−1

100−22040

i60

80

100

1002040

i60

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.31/44

ジャンプロボットの受動走行軌道生成 1
ジャンプロボット [Hyon’04]
Khφmb
Jbd

τ

rJu mlθ

Leg spring

KlZX

ρ

1
Vertical height [m]Hip spring

Stance phase Flight phase

0.8
0.6
0.4
0.2
0Foot
(no-mass)

−0.2
−0.5

00.5
1
Horizontal distance [m]➥ このロボットは受動走行を行う!
➥ ハミルトン系モデル (y = θ ) を使って学習したくなる…

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.32/44

ジャンプロボットの受動走行軌道生成 2➥ ここではこれまでに得られている受動走行軌道の対称性に着目して，次のような評価関数を最小化した
Γ(u, y; ẏ; x0 ) = k1 kuk2L2 +k2 ky+R(y)k2L2 +k3 kẏ−R(ẏ)k2L2
これにより対称性を保ちつつ，エネルギーを最小化➥ 出力の時間微分 ẏ を評価できるように工夫した➥ はじめは (こけてしまうため) 反復学習制御，走行軌
道に近づいた時点で繰返し制御に切り替える

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.33/44

ジャンプロボットの受動走行軌道生成 3
cost function

210
Stance phase Flight phase

0.8

amplitude

Vertical height [m]

10.6
0.4
0.2

010−2

100−4

10

00.5
1
Horizontal distance [m]θ0.340
step6080

before learningθ D in the last iteration
before learning

0.14
amplitude

amplitude

20in the last iteration

0.2
0−0.1
−0.2
−0.3
−0.4
−0.5

02
0−2

0.2

0.3

0.4
time

0.5

0.6

0.2

0.3

0.4 0.5
time

0.6

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.34/44

受動歩行ロボットの軌道生成 1
受動歩行ロボット [McGeer’90]
ylabu2yg

mHgmm

θ2θ1u1xgxφ➥ スロープの受動歩行➥ ハミルトン系モデル (y = (θ1 , θ2 ) を使った軌道生成を行ってみる
IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.35/44

受動歩行ロボットの軌道生成 2➥ ジャンプロボットと同様に対称な歩行軌道を仮定した評価関数を設定
Γ(u, y; ẏ; x0 ) = k1 kuk2L2 +k2 ky+R(y)k2L2 +k3 kẏ−R(ẏ)k2L2
t=t

00t +t1

t= 2t=t1
Phase portrait −−Passive Walk−−2
1.5
1θ2.

θ1

θ1Dθ

.

1

0.5
0−0.5

−θ2−1.
θ2−θ1 θ1.

−1.5

θ2−2−0.4

−0.2

0
θ10.2

0.4

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.36/44

受動歩行ロボットの軌道生成 3
cost function

amplitude

amplitude

norm of the input "u1"
1.4
1.2
10.8
0.6
0.4
0.2
0020

10.8
0.6
0.4
0.2
00200

amplitude

1002040
step

60

80

Phase portrait

4060

80

10080

100

Phase portrait −−Passive Walk−−2

1.5

1.5

1

1

0.5

0.5
Dθ1Dθ160
step
norm of the input "u2"

step

2

00
−0.5

−0.5

−1

−1

−1.5

−1.5
−2−0.440−2−0.20θ10.2

0.4

−0.4

−0.2

0θ10.2

0.4

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.37/44

受動歩行ロボットの軌道生成 4
平地での歩行でも同様なツールが使えるか?

➥ 必ずしも対称でない軌道
衝突方程式の学習とこれを含めた評価関数
Γ(u, y; ẏ; x0 ) = k1 kuk2L2 + k2 ky + Fy (y)k2L2 + k3 kẏ − Fẏ (ẏ)k2L2
t=t

θ2.
θ200t +t

1

t= 2.

.

θ1

θ1−θ1 θ1

t=t1−θ2.
θ2

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.38/44

Iterative Feedback Tuning (IFT)への応用 1
ILC と IFT

どちらも有限時間 t ∈ [t 0 ,t 1 ] の実験を繰り返す➥ ILC は FF 入力を，IFT は FB 制御器をチューニン
グする
IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.39/44

Iterative Feedback Tuning (IFT)への応用 2
フィードバック系は一般化正準変換を用いて構成➥ ハミルトン関数が可調整パラメータ k ∈ Rm を含むとすると T∂H(x,t,k) ẋ = (J − R)
∂x
Z t1
T

∂
H(x,t,k) z = −dt∂kt0
写像 k 7→ z は変分対称性を持つ!

➥ すなわち k と z で表される評価関数の k に関する勾配は，実験データで求めることができる．
➥ m + 1 回実験が必要な通常の IFT に比べ，実験は 2回で良い
IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.40/44

Iterative Feedback Tuning (IFT)への応用 3➥ たとえばマス・バネ・ダンパ系のハミルトン関数はバネ定数 k を用いて次のようになる
1k2
H(q, p) =kpk + kqk22m2z = −Z t1t0kqk2 dt

したがって次の評価関数を小さくすることができる

Γ(k, z) =Z t1(k q k2 + γ k kq k2 )dt|{z}|{z}t0
出力
入力
IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.41/44

まとめ
勾配をいかに推定するか∇Γ(u, Σ(u)) = ∇u Γ(u, y) + (dΣ(u))∗ ∇y Γ(u, y)ハミルトン系の変分対称性を用いて推定

この性質を用いた反復学習型最適制御
軌道追従 FF 入力の推定
最適歩行軌道生成への応用
パラメータチューニング
課題
軌道対称性等の条件の緩和
非ハミルトン系への応用
統計的アプローチとの融合
IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.42/44

御静聴ありがとうございました．

URL: http://www.haya.nuem.nagoya-u.ac.jp/˜fujimoto/
Email: k.fujimoto@ieee.org

IBIS2008, 仙台国際センター, 仙台, 2008/10/29-31 – p.43/44