サポートベクター回帰による制御理論的スプラインのロバスト化
Robust Design of Control Theoretic Splines via Support Vector Regression○ 永原 正章 (京都大学)

Masaaki Nagahahara (Kyoto University)
Abstract
In this article, we propose a robustiﬁcation method for control theoretic splines.
Control theoretic splines are either interpolating or smoothing splines, depending on the constraints
and cost function, with a constraint written as a system of linear diﬀerential equations. Whileconventional control theoretic splines are eﬀective for Gaussian noise, they are very sensitive tooutliers. To achieve robustness against them, we propose to use support vector regression which
can reduce outliers. A numerical example shows the eﬀectiveness of our method.

1u を設計したい．この設計問題に対して，次の 2 ノルム

はじめに与えられた有限個のデータに連続時間線形システムの出力をフィッティングさせる最適制御入力は制御理論的ス
プラインによって記述できることが知られている [2, 3]．
これは，データに対する経験的リスクを 2 ノルムで測り，かつパラメータに対する 2 ノルムの正則化項を加えて最適化を行うもので，データに加わる変動をガウス分布と仮定したものと解釈できる．しかし，現実のデータには，ガウス分布の仮定では非常に小さい確率でしか起こ評価関数を考える:

J2 (u) := λ2

この手法では，経験的リスクをε不感応関数によって測ることによって，ガウス分布よりも裾の広い確率分布に0N
wi (y(ti ) − yi )2 .

(2)i=1する重みである．この評価関数 J2 (u) を最小化する最適制御入力は，次式で表されることが知られており，制御理論的スプラインと呼ばれる [2, 3]:u(t) =回帰誤差が非常に大きくなる可能性がある．そこで，本Regression) の手法 [1] を導入し，データの外れ値に対してロバストな制御理論的スプラインの設計を提案する．

u(t)2 dt +ここで，wi > 0 は各データ点へのフィッティングに対りえない外れ値が混入することもあり，そのような場合，研究ではサポートベクター回帰 (SVR, Support Vector

 TN

θi gi (t).

(3)

i=1

関数 gi (t) は⎧⎨c eA(ti −t) b,gi (t) :=⎩0,

if ti > t,if ti ≤ t(4)従う雑音を考慮する．サポートベクター回帰の標準的なで定義され，係数 θ := [θ1 , . . . , θN ] は θ = (λ2 W −1 +手法を用いて，最適制御入力の設計が 2 次計画問題として記述できることを示し，数値例によって外れ値に対しG)−1 y で与えられる．ここで，y := [y1 , . . . , yN ] であり，また行列 G は Gij = gi , gj , i, j = 1, . . . , N で定てロバストなフィッティングが可能であることを示す．

義される．

2

評価関数 (2) はデータに対する経験的リスク（第 2 項）問題設定
次の線形システム P を考える:
ẋ(t) = Ax(t) + bu(t),P :y(t) = c x(t),を 2 ノルムで測っている．これは，データに加わる変動をガウス確率変数と仮定したときの最尤推定に対応する [1]．しかし，ガウス分布の仮定下ではほとんど起こt ∈ [0, ∞).

(1)

ここで A ∈ Rn×n , b, c ∈ Rn とし，x(0) = 0 とする．また，(A, b) は可制御，(c , A) は可観測とする．
このシステムの出力信号 y に対して，データ点 D :={(t1 , y1 ), (t2 , y1 ), . . . (tN , yN )} を与える．各 ti は時刻を表すデータで 0 < t1 < t2 < · · · < tN =: T とする．その各時刻において，システムの出力 y(ti ) が yi に近くなるように，すなわち y(ti ) ≈ yi となるように制御入力

りえない大振幅の変動が混入した場合，上記の方法ではこの変動の影響で回帰誤差が非常に大きくなる．
これに対応するため，データに加わる変動をガウス分布ではなく次の  不感応確率分布 [1] と呼ばれる分布と仮定する．

p(ξ) =1exp(−|ξ| ).
2(1 + )ここで， > 0 はパラメータであり，|ξ| := max(|ξ| −, 0) と定義する．この分布はガウス分布よりも裾が広yerror

521.84
1.6
1.4

31.2
2

10.8

10.6
00.4
0.2

−100.5

11.5

22.5

33.5

44.5

0050.5

1

1.5

2

2.5

33.5

44.55

図 1: Original curve y(t) = sin 2t (dash), sampled data

図 2: Reconstruction error: via SVR (solid) and via 2D (circles), reconstructed curve via SVR (solid) andvia 2 optimization (dash-dots).

optimization (dash-dots).

く，外れ値に強い回帰が可能なことが知られている．こ1, 2, . . . , 21} とし，データ yi を正弦波 yi = sin 2ti に外れ値を含む変動が加わったものとする（図 1 を参照）．の分布のもとでの経験リスクを考慮して，次の評価関数(2) の評価関数 J2 を最小化する入力および (5) を最小を最小化することを考える．

化する入力を計算し，回帰を行った結果を図 1 に示す．

N 

1 
J := θ22 + Cθ ϕi − yi 2
i=1

この結果からわかるように，(2) の評価関数 J2 を最小(5)化する入力，すなわち 2 最適化による回帰では，データの外れ値に対して敏感に反応してしまい，外れ値付近

ただし C > 0 は正則化項と経験リスクのバランスをとで回帰がうまくいっていないことがわかる．一方，提案

法のサポートベクター回帰では， 不感応関数を用いたるパラメータであり，また ϕi := [Gi1 , Gi2 , . . . , GiN ]ことにより，外れ値に対してロバストな回帰が達成されである．
この最適化問題は，サポートベクター回帰の手法 [1]ていることがわかる．図 2 に復元誤差を示す．この図を用いて解くことができる．すなわち，問題は次の最適より，従来の 2 最適化法では，外れ値に対してロバス化問題に帰着する．

トではないことがわかり，また提案法は外れ値に対してN1
ξi + ξˆiminimize θ22 + C
2i=1

subject to

強い復元性能を得ていることがわかる．

4

おわりに
本稿では，制御理論的スプラインに対して，データに

yi ≤ θ ϕi +  + ξi , yi ≥ θ ϕi −  − ξˆi ,ξi ≥ 0,

外れ値が含まれる場合でもロバストに復元が可能な手法を提案した．外れ値に対応するために  不感応関数を導ξˆi ≥ 0.

入し，サポートベクター回帰問題として定式化することこの問題は凸計画問題であり，最適解を効率よく求めるにより，問題は凸計画問題となり，効率的に解が得られことができる．

る．また，数値例により，提案手法の有効性を示した．

3

参考文献

数値例
対象となる線形システム P の実現を

A=0 1,
1 0

b=1,0c = 0 1 .

1とする．すなわち，P (s) = (s+1)(s−1)
である．データ

D のサンプル時刻を ti = 0.1 + (i − 1) × 0.25, i =[1] B. Schölkopf and A. J. Smola, Learning with Kernels,
MIT Press, 2002.
[2] S. Sun, M. B. Egerstedt, and C. F. Martin, Controltheoretic smoothing splines, IEEE Trans. on Automatic Control, Vo. 45, No. 12, pp. 2271–2279, 2000.
[3] M. Egerstedt and C. Martin, Control TheoreticSplines, Princeton University Press, 2010.