GS01-11
目的関数近似に用いる RBF ネットワークの基底関数の半径に関する解析的考察○片田喜章 （摂南大学）
概要 最適化問題における目的関数の評価に非現実的な時間・コストがかかり，進化計算などの確率的最適化手法の適用が困難になる場合がある．この問題に対し，目的関数の値をサンプリングし，近似目的関数を使用するアプローチがある．本研究では，RBF ネットワークによる関数近似に関して基底関数の半径について解析的な考察を行い，最大化問題に関し有効な範囲を導出した．
キーワード: 確率的最適化，関数近似，ラジアル基底関数ネットワーク

1

はじめに2

進化計算をはじめとする確率的探索手法を適用すべき最適化問題では解の目的関数評価に膨大な時間がかかるものがある．例として，エンジンやプラントの評価などの実機で計測し目的関数値を得るものや，流体や気体などの力学シミュレーションから目的関数値を得るものなどがある．この問題に対するアプローチとして，実際に評価した解候補から目的関数を近似し，近似目的関数を評価に組み入れる手法が提案されている
1, 2, 3, 4)．このとき，(1) 近似関数として何を使用するか(2) 近似関数の構築・更新はオンラインかオフラインか(3) 解のサンプルはどのタイミングで，解空間のどこから，どれだけ採るか(4) 最適化過程のどこで近似関数を使うかといった考慮すべき点があり，それぞれについて提案がなされている 5, 6, 7, 8, 9, 10) ．本稿では近似関数として，ラジアル基底関数ネットワーク (以下，RBF ネットワーク) の使用を想定する．RBF ネットワークは 3 層
フィードフォワード型ニューラルネットワークの 1 つであり，基底関数としてガウス関数が用いられる．複数の基底関数に重みをかけ，それらを足し合わせることで関数を近似する．基底関数で設定する必要のあるパラメータは基底の中心位置およびその半径であり，それらの設定が関数近似の精度・汎化性能に大きな影響を与える．2 節で詳細を述べるが，サンプル点を基底の中心にとることが一般的である．一方，半径については最適化問題の決定変数に含めるアプローチ 9, 11) も提案されているが，サンプル点数や決定変数空間の大きさを考慮して事前に決定されることが多い．
本稿では，最大化問題における目的関数近似に RBFネットワークを利用する場合の基底関数の半径について解析的な考察を行う．考察の結果，基底関数の中心間距離を基準とする有効な半径の範囲が存在することを確認した．第 2 節では RBF ネットワークの学習過程と既存の基底関数の半径式について説明する．第 3 節
では目的関数を近似していく手法の 1 つである逐次近似最適化の手順とそれが有効に機能する状況を概観す
る．第 4 節では最大化問題において 2 つのサンプル点を基底関数を用いて近似する場合について，解析的な考察を行い，有効な半径の範囲を導出する．第 5 節では数値計算を行い，前節で得られた半径の範囲の妥当性を検証する．

システム・情報部門学術講演会2016（2016年12月6日-8日・大津）RBF ネットワーク

2.1 学習過程
RBF ネットワークは 3 層フィードフォワード型ニューラルネットワークの 1 つである．m 入力 1 出力の関数近似を行うときの RBF ネットワークの出力は以下で与えられる．
m∑O(x) =ωj hj (x)(1)
j=1

ここで，m は隠れ層のユニット数，ωj は隠れ層の j 番目のユニットから出力ユニットへの結合荷重，hj () は基底関数として与えられる j 番目のユニットの出力関数を表す．一般的に，基底関数としてガウス関数が用いられ，次式で表される．
()(x − cj )T (x − cj )hj (x) = exp −(2)rj2
ここで，cj と rj はそれぞれの j 番目のユニットのガウス関数の中心と半径を表す．
教師データ集合における入力と出力の組は(xi , yi ), i = 1, 2, · · · , p (ただし，p は教師データ数) で与えられる．RBF ネットワークの出力と教師データの誤差の二乗和に重みに対する抑制項を加えた
エネルギ関数 E は次式で表される．

E=p∑
i=1

(yi − O(xi ))2 +m∑

λj ωj2(3)j=1

RBF ネットワークの学習は，(3) 式を最小化するような結合荷重 ω = (ω1 , ω2 , · · · , ωm )T を求めることに帰着される．
ω は次式で求められる 6) ．
ω = (HT H + Λ)−1 HT y
ここで，H, Λ, y はそれぞれ以下で与えられる．

h1 (x1 ) h2 (x1 ) · · · hm (x1 )h1 (x2 ) h2 (x2 ) · · · hm (x2 )


H= .
..
.. ..
 ..
.
.
. h1 (xp ) h2 (xp ) · · · hm (xp )
λ1 0 · · ·0
 0 λ2 · · ·0 


Λ= .
.
.. .
..
..
 ..
. 000 λm- 32 -(4)

(5)

(6)

SY0011/16/0000-0032 © 2016 SICEy = (y1 , y2 , · · · , yp )T(7)基底関数の中心と半径が与えられると，RBF ネット
ワークの学習は逆行列 (HT H + Λ)−1 を含む (4) 式を求める問題となる．

10.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

2.2 基底関数の半径式
基底関数の半径の決め方については以下が提案されている 10, 5, 6) ．
dmax
r= √(8)nnN

142

3x1dj,max
r= √ √
nnN −1(9)dmaxr=√ √nnN(10)

ここで，dmax はサンプル点間の最大距離，n は決定変数の数，N は総サンプル数である．dj,max は j 番目のサンプル点からの最大距離を表し，各基底関数毎に設定されることになる．文献 10, 5, 6) では，いずれも最小化問題において有効性を検証している．

30

逐次近似最適化のシナリオ

逐次近似最適化 3, 5, 6, 10) とよばれる，最適化問題における探索法の複数回試行の間に目的関数を近似していく手法がある．逐次近似最適化では一般的に以下の手順をとる．
ステップ 1 初期サンプル点をランダムに生成し1 ，関数近似を行う．
ステップ 2 近似関数に対し探索手法を適用する．
ステップ 3 探索の終了時にサンプル点を生成・追加し，近似関数を更新する．
ステップ 4 サンプル点数が最大サンプル数以下の場合ステップ 2 にもどる．そうでないなら終了．
ステップ 3 において，サンプル点の追加はつぎの領域に行われることが多い．

• 近似関数における最良解付近，• それまで得られている真の目的関数の最良解付近，• 探索空間においてサンプルがあまり行われていない疎な領域，そして，これらのバランスが重要であると指摘されている 6) ．
Fig.1 のような例を考えてみたい．いま，2 つのサンプル点が得られており，それぞれを中心とする基底関数を配置する．これらを近似目的関数として捉える．もし，基底関数の半径が小さければ，中心の間で基底関数の重なりは小さい．最小化問題での探索シナリオを考えると，この状況では 2 つの山がつくる谷の部分もしくは平面のどこかに最良解を見つけて探索は終了する．この最良解付近にサンプルを追加すれば，その真の目的関数値が良くても悪くても近似関数の形状は大きく更新されるだろう．ところが，最大化問題での探索シナリオを考えると，どちらかの山の頂上付近で最1 本稿ではサンプル点を生成するとは，最適化問題の解候補を生成して，真の目的関数値を得ることを意味する．

231x24 0Fig. 1: Gaussian functions
良解を見つけて探索は終了する．この最良解付近にサンプルを追加すれば，最良解付近の精度は上がるものの，それ以外の部分の更新は限定的であると予想される．最大化問題では，近似関数において最良解が更新されなければ，疎な領域への（ランダム）サンプリング以外ですでに得られている真の目的関数の最良解が更新される可能性は極めて低いことなる．つまり，サンプル点の間で重なりが大きく生じるように基底関数の半径を適切に設定し，サンプル点間に近似関数の最良解が現れるように促す必要がある．
2.2 節で述べた半径式はすべて最小化問題で検証されている．これらの半径式は次元数およびサンプル数の組合せによっては半径が非常に小さくなり，上述の議論から最大化問題ではうまく機能しない可能性がある．
しかし，これらの半径式の有効性が最小化問題に限定されるという議論はなされていない．Table 1 に 2.2 節
で述べた半径式が使われた参考文献と，そこで扱われた問題が最小化問題 (min) か最大化問題 (max) かを示す．半径の行の optimization は半径を最適化問題の決定変数として扱ったことを表す．この表からわかるように，上述の半径式が適用された大部分が最小化問題
を対象としている．
Table 1: References employing each equation of theradius of Gaussian function for optimization problems

radius, rminmax

Eq.(8)

Eq.(9)

Eq.(10)

optimization5)10)

5)7)

6)9)

9)

12)

11)

これまでの議論から，次節では最大化問題における基底関数の半径がとるべき範囲を解析的に考察する．

4

2 つの同出力サンプルの関数近似における解析的考察

本節では，以下に述べる条件の下で，解析的な考察を行う．教師データにおける 2 組の入出力 (x1 , y1 ), (x2 , y2 )を考える．ただし，解析を容易にするために x1 ̸=x2 , y1 = y2 = Y, Y ∈ R を仮定する．また，(6) 式において λj = 0 と仮定する．教師データの入力 xi を基底関数の中心に置くこととし，半径を各基底関数で等しく設定する (rj = r)．(2) 式の cj に x1 , x2 をそれ- 33 -

ぞれ代入し，次式を得る．
()2
 h1 (x) = exp − (x−x21 )r()2
 h2 (x) = exp − (x−x22 )r(11)

したがって，(5) 式の H は以下のように計算される．
[]
h1 (x1 ) h2 (x1 )H =h1 (x2 ) h2 (x2 )() 22)1
exp − (x1 −x2r()= 21)
exp − (x2 −x1r2
() 21
exp − Xr2)
,(= 21
exp − Xr2
ここで，X = x(2 − x1)(̸= 0), X ∈ R．表現を簡素化す
2るために，exp − Xr2[H=1EE
1[HT H =(H H)−1X][, HT =

1 + E22E

1E2E
1 + E21H =1 − E2T

[1−EE
1x1x2

Fig. 2: An intermediate point between two otherpoints
ことが望ましい．O(x1 ) = Y ,O(x2 ) = Y であることから，O(x3 ) ≥ Y を仮定すると以下のようになる．

]
,

≥1⇔
X 2 α2X 2 (1 − α)2X2exp(− 2 ) + exp(−)−exp(−)−1rr2r2≥0(15).

−2E
1 + E2]

任意の α (∃ α ∈ [0.0, 1.0]) に関して，O(x3 ) ≥ Y ，つまり，(15) 式が成り立つ条件を考える．
(15) 式の左辺をつぎのように f (α) とおく．

,].

f (α) = e−β α + e−β (1−α) − e−β − 1,22222(16)ここで，β = X/r であり，X ̸= 0 より β > 0 となる．
f (α) の境界条件は以下になる．

これと y = (y1 , y2 )T を (4) 式に代入する．
[][]
11−EYω =1Y
1 − E 2 −E
[ Y ]
1+E=Y

f (0) = 1 + e−β − e−β − 1 = 02−β 2f (1) = e(12)1+E2−β 2+1−e(17)−1=0(18)α に関する一階微分を求める．

したがって，RBF ネットワークの出力は以下のように表される．

f ′ (α) = −2β 2 αe−β α + 2β 2 (1 − α)e−β (1−α)
222(19)(13)f ′ (0) =Fig. 2 に示すように，x1 と x2 の間に x3 を設定し，
x3 = αX, 0 ≤ α ≤ 1, α ∈ R とおく．(13) 式に x3 を代入する．
{YX 2 α2( X 2 ) exp(− 2 )r
1 + exp − r2′f (1) =2β 2 e−β > 022 −β 2−2β e(20)<0(21)

つぎに f ′ (α) = 0 の条件を考える．

f ′ (α) = 0X (1 − α) }+ exp(−) (14)r222f ′ (α) の境界条件は以下になる．

Y(O(x) =2 ) (h1 (x) + h2 (x))
1 + exp − Xr2O(x3 ) =x3

Y
X 2 α2X 2 (1 − α)2( X 2 ) (exp(− 2 ) + exp(−))
rr2
1 + exp − r2≥Y ⇔1X 2 α2X 2 (1 − α)2( X 2 ) (exp(− 2 ) + exp(−))
rr2
1 + exp − r2]−E1(1-α)XαX

を E とおく．

∆ = (1 − E 2 )2 ̸= 0 のため，[
11 + E2T−1(H H) =22−2E(1 − E )TY2

すでに述べたように最大化問題を仮定していること，
3 節での議論から，x1 と x2 の間のサンプル点 x3 に関して，O(x3 ) ≥ O(x1 ) かつ O(x3 ) ≥ O(x2 ) が成り立つ- 34 -⇔⇔⇔⇔⇔−2β αe2−αeαe(22)−β 2 α2−β 2 α2−β 2 α2+ 2β (1 − α)e2−β 2 (1−α)2−β 2 (1−α)2+ (1 − α)e=0=0−β 2 −β 2 α2 2β 2 α= (1 − α)eee−β 2 2β 2 αα = (1 − α)ee2α= e−β (1−2α)
1−α(23)

(23) 式の右辺 e−β (1−2α) は 0 ≤ α ≤ 1 の範囲で α に対し単調増加を示す．また，(23) 式は α = 0.5 のときに成り立つことから，α = 0.5 は (23) 式の唯一の解である．以上の結果から，f (α) の増減表は Table.2 のようになる．
Table 2: Increase decrease table of f (α)
2αf ′ (α)
f (α)

···
+
↗

0+
00.50f (0.5)

···
−
↘

0.2
0.10.0-0.1g(β) α=0.5-0.2
-0.3
-0.4
-0.5
-0.6

1−
0-0.7-0.8
-0.9
-1.0
0.0

0.5

1.0(16) 式に α = 0.5 を代入する．
2− β4f (0.5) = 2e−β 2−eg(β) = 2e−β−e2−1− 1, β > 0= g(0) = 2 − 1 − 1 = 0(26)lim g(β)= −1(27)3g( )2g(1.6)≃ 0.034g(1.8)≃ −0.149

2⇔ 0<(28)⇔g ′ (β) = 0(29)−β2+ 2e=0√ln 2⇔ β=0 ∪ β=2≃ 0.9613√g(24.55.0Table 3 の増減表，Fig.3 および上記の値から，g(β) >0 を満たす β の範囲を下のようにとる．

g ′ (β) = 0 の条件を考える．

⇔ β = 0 ∪ −e4.0≃ −0.0230<β≤g ′ (β) = β(−e− 4 + 2e−β )2− β43.5g(2) ≃ −0.282g(β) に関する一階微分を求める．
β23.0

きない．そこで，Fig. 3 を参考に β ∈ {3/2, 1.6, 1.8, 2}に対する g(β) を計算してみる．

(25)

lim g(β)

β→∞

2.5
β(24)

g(β) の境界条件は以下になる．
β→02.0Fig. 3: g(β)

Table.2 より，f (0.5) ≥ 0 ならば，0 ≤ α ≤ 1 の範囲で f (α) ≥ 0 が成り立つ．つぎに，f (0.5) を β の関数として g(β) とおく．
2− β41.5ln 24 ln 2ln 2) = 2e− 3 − e− 3 − 1 ≃ 0.191
3g ′ (0.5) ≃ 0.31′g (2) ≃ −0.66X3≤r22X≤r
3O(x3 ) ≥ Y, s.t.

(32)(33)

以上の結果から，g(β) の増減表は Table.3 のようになる．

Table 3: Increase decrease table of g(β)√β0 · · · 2 ln32 · · ·∞′g (β) 0 +0−g(β) 0 ↗
0.191↘ −1(34)(34) 式が成り立つとき，g(β) > 0，つまり，f (0.5) >0 となる．よって，Table 2 より，f (α) ≥ 0 となる．(15)
式と (16) 式より，次式が得られる．

(30)

(31)

322X≤r3(35)(35) 式は，基底関数の半径が 2 つのサンプル点間の距離の 2/3 以上であるとき，2 点間の任意のサンプル点の出力値はそれら 2 点の出力値よりも大きくなることを意味する．

5

数値計算による検証

本節では，前節で得られた結果を数値計算により検証する．2 組の教師データを考え (m = 2, n = 1)，(x1 , y1 ) = (2, 1) および (x2 , y2 ) = (4, 1) とする．2 点間の距離は X = 2 となる．RBF ネットワークの出力は (13) 式より，以下のようになる．

O(x) =

1− r42{ (x−2)2}(x−4)2e− r2 + e− r2(36)

1+eFig. 3 に数値計算を行った g(β) のグラフを示す (β >0). g(β) = 0 を満たす β(> 0) を解析的に解くことはで基底関数の半径が (35) 式の条件を満たす場合の RBF
ネットワークの出力結果のグラフを Fig.4(a) に，満たさない場合の出力結果のグラフを Fig.4(b) に示す．(35)式の条件を満たす場合，2 ≤ x ≤ 4 の範囲で O(x) が- 35 -参考文献

O(x)

2.0

1.01) Y. Jin: A comprehensive survey of fitness approximation in evolutionary computation, Soft Computing
9(1), pp.3–12, (2005)
2) G. Wang and S. Shan: ”Review of MetamodelingTechniques in Support of Engineering Design Optimization”, Journal of Mechanical Design, 129(4),pp.370–380 (2006)

0.0

3) 中山, 岡部, 荒川, 尹: 多目的最適化と工学設計―しなやかシステム工学アプローチ, 現代図書, (2008)4) M.D. Schmidt and H. Lipson: Coevolution of Fitness
Predictors, IEEE Transactions on Evolutionary Computation 12(6), pp.736–749, (2008)

r=3.0
r=2.0
r=1.5245) 北山，荒川，山崎: 一般化ランダム・トンネリング・ア
ルゴリズムによる大域的最適化（第 5 報，RBF ネットワークを利用した近似最適化），日本機械学会論文集 (C編)， 73(729), pp.27–34, (2007)

x(a) O(x) when 2X/3 < rO(x)2.06) 北山，安田，山崎: RBF ネットワークと Particle SwarmOptimization による統合的最適化, 電気学会論文誌 C,Vol.128, No.4, pp.636–645 (2008)

r=1.2
r=1.0
r=0.57) 北山，荒川，山崎: RBF ネットワークによる逐次近似最適化 (サンプル関数の基礎的検討)，日本機械学会論文集(C 編)， 76(768), pp.98–107, (2010)1.08) 下山, 鄭, 大林: 多目的最適化における Kriging 応答曲面法のためのサンプル追加指標の比較, 進化計算学会論文誌, 3(3), pp.173–184, (2012)9) 島谷, 岡本, 小圷, 平田: 基底半径最適化を伴うラジアル
基底関数ネットワークを用いた応答曲面法, 第 48 回シス
テム工学部会研究会資料, pp.5–9, (2010)10) H. Nakayama, M. Arakawa, R. Sasaki: A Computational Intelligence Approach to Optimization with
Unknown Objective Functions, Artificial Neural Networks —ICANN 2001, pp.73–80, (2001)

0.024x(b) O(x) when 2X/3 > r

Fig. 4: Output of RBF network varying r
教師データの出力値 1 以上になっていることが確かめられる (Fig.4(a))．(34) 式の範囲に近い r = 1.2 の場合(Fig.4(b)) では，サンプル点近くで出力値 1 を超える領域があることが確認できるが，2 ≤ x ≤ 4 の範囲すべてではない．以上の議論は決定変数の数が n > 1 の場合であっても成り立つ．

611) 荒川, 中山, 石川: RBF ネットワークと領域遺伝型アルゴリズムを用いた近似最適化 (推奨関数の提示と基礎的な検討), 日本機械学会論文集 (C 編)， 70(697), pp.112–119,(2004)
12) 原, 元木, 山崎, 安田: RBF ネットワークと遺伝的アルゴリズムによる自律移動ロボットコントローラの構築, 電気学会論文誌 C, Vol.131, No.5, pp.1000–1008 (2011)

おわりに

本稿では，最大化問題における目的関数近似に RBF
ネットワークを利用する場合の基底関数の半径について解析的な考察を行い，基底関数の中心間距離を基準とする有効な半径の範囲が存在することを確認した．また，簡単な数値計算を行い，得られた半径範囲の妥当性を確認した．本研究では，2 つのサンプル点の目的関数値が等しいことを仮定し，解析を行った．目的関数値が異なる，より一般的な場合における考察を予定している．逐次近似最適化のように，複数のサンプル点からなる複数の基底関数を重ね合わせる場合，本研究の結果をどのように適用するべきかについてはいくつかのパターンが考えられる．これについても，今後検討していきたい．

- 36 -