平成 23 年電気学会電子・情報・システム部門大会

TC3-6

誤差逆伝播法を
誤差逆伝播法を用いたニューラルネットワークにおけるＮＫランドスケープのＮＫランドスケープの近似
ランドスケープの近似

大島直人†

片田喜章（摂南大学）

Approximation of NK Fitness Landscape by Neural Networks with Back Propagation
Naoto Ohshima†, Yoshiaki Katada (Setsunan University)

Abstract:
Abstract: One of the advantages of evolutionary computations over other approaches in metaheuristics
would be its parallel population search. Due to the population search, it takes a long time to evaluate anentire population in certain problems. Thus, such techniques as to shorten the time have been required.
In this study, we conduct a series of computer simulations with the NK fitness functions, tunably rugged
landscapes, in order to investigate whether neural networks with back propagation can approximate
those functions according to the degree of ruggedness.

キーワード：関数近似，適応度関数，遺伝的アルゴリズム，誤差逆伝播法(Function approximation, Fitness function, Genetic algorithm, Back propagation)

1.

し，最急降下法により出力値と教師データとの誤差はじめに遺伝アルゴリズム（GA）などの進化計算で個体が小さくなるように結合荷重を繰り返し修正し近の適応度を計算するためには，膨大な計算時間が必似を行う．これにより， GA における個体の適応度要となる．この問題に対し，RBF ネットワークとを推定することが可能になる．しかしながら，適応応答曲面法を用いて適応度関数を推定し，近似モデ

度景観の形状が進化計算のパフォーマンスに影響

ル上での近似最適解の探索を効率よく行う研究がを与えるように，誤差逆伝播法による適応度関数の多く行われている[1][2][3]．RBF ネットワークでは，近似能力および汎化能力にも影響を与えると予想入力値として連続的な変数を扱い，ガウス関数の重される．そこで本研究では，進化計算分野で適応度ね合わせとして出力を得る．しかし，ビットストリ景観の形状を調節できるテスト関数として広く利ングを用いる GA では設計変数は 0 または 1 の 2 値用されている NK ランドスケープ[5]の適応度近似をとるため，RBF ネットワークは GA の適応度推を行う．そして景観の形状がどのように近似能力に定に適さないと考えられる．

影響を与えるかを調べる．

本研究では，近年さまざまな分野で応用されてい2.

るシグモイド関数と誤差逆伝播法[4]を用いたニュNK ランドスケープーラルネットワークの関数近似能力に着目する．誤NK ランドスケープ[5]は適応度景観の特徴量で差逆伝播法を用いて，あらかじめ入力データ(設計ある凹凸を調節できるという特徴をもつテスト関変数)とそれに対応する教師データ(適応度)を用意数である．景観パラメータとして遺伝子長 N およ179平成 23 年電気学会電子・情報・システム部門大会

び遺伝子間のエピスタシス(連関)数 K (< N )をもつ．

(900 個)の組み合わせを変更したものを 10 セット

K が大きくなると適応度地形を表す凹凸が増し，K用意する．このデータセットおよび Nh のそれぞれ＝N －１のとき，凹凸が最大となる．

に対し，初期結合荷重値を変えた BP の試行を 10

適応度はビットストリングで表わされた遺伝子回行う．

型に対して以下のように計算される． 番目の遺伝子座の適応度に対する貢献値
1,は01,3.2 計算機実験結果, N の範囲の実数としてランダムに生成される．

図 1-5 に K を 0 から 9 まで変化させた場合の学1 つの遺伝子型の適応度 V は各遺伝子座の貢献値

習回数に対する 2 乗誤差の推移を示す．どの Nh にを平均してつぎのように得られる．

おいても学習回数 2000 回以内で誤差がある程度に収束している．さらに最終学習回数での各 K による1誤差を比較すると，K が増加するにつれて誤差が増1加することが確認できる．これは K の増加に対応して BP による探索において局所解に陥る傾向が増す

3.

ことによると考えられる．しかし，Nh ={1,2}では K

誤差逆伝播法を誤差逆伝播法を用いた適応度関数近似
いた適応度関数近似＝5 の場合は K = 7 の場合よりも誤差が大きくなる

3.1 計算機実験設定
計算機実験設定
景観パラメータは N＝10，K ={0,1,3,5,7,9}と設定という例外も存在する．

する．この場合，遺伝子型空間(設計変数空間)のサつぎに，図 6-11 に各 K に対して Nh を変化させイズは 210=1024 となる．したがって，10 ビットのた場合の 2 乗誤差の推移を示す（ただし，各 Nh に遺伝子を入力データとし，その適応度((1)式により対して誤差の推移を明確にするため，図 1-5 よりも計算)を教師データとする．

縦軸のスケールを拡大している）．各 K における近上述の 1024 個のデータのうち，900 個を入力デ似誤差は，Nh が増えると減少していることが確認ータとする．学習上限回数 5000 回，BP の学習係できる．また図 1-5 では，誤差は収束しているよう

数を 0.6，中間層数 1 とする．逐次修正方式を用いに見えるが，詳細に調べると，K が大きくなるほどて，隠れ層ユニット数を Nh ={1,2,3,4,5}と変化させ(Kて実験を行う．ただし，各 Nh に対し，入力データ徐々に減少していることがわかる．

図 1 各 K に関する 2 乗誤差の推移 (Nh = 1)3)，または，Nh が増えるほど(N4)，誤差は

図 2 各 K に関する 2 乗誤差の推移 (Nh = 2)280

平成 23 年電気学会電子・情報・システム部門大会

図 3 各 K に関する 2 乗誤差の推移 (Nh = 3)

図 4 各 K に関する 2 乗誤差の推移 (Nh = 4)

図 5 各 K に関する 2 乗誤差の推移 (Nh = 5)

図 6 各 Nh に関する 2 乗誤差の推移 (K = 0)

図 7 各 Nh に関する 2 乗誤差の推移 (K = 1)381

平成 23 年電気学会電子・情報・システム部門大会

図8

各 Nh に関する 2 乗誤差の推移 (K = 3)

図 9 各 Nh に関する 2 乗誤差の推移 (K = 5)

図 10 各 Nh に関する 2 乗誤差の推移 (K = 7)

4.

図 11

おわりに各 Nh に関する 2 乗誤差の推移 (K = 9)

参考文献

本研究では，BP を用いたニューラルネットワー[1] 小野，岡本，小圷，平田：半径の最適化をともなうラクにより NK ランドスケープを近似し，エピスタジアル基底関数ネットワークを用いた最適化，第 20 回

シス数の増加よる適応度を計算機実験によって調インテリジェント・システム・シンポジウム講演論文集，べた．その結果，エピスタシス数の増加により誤差No.87 (2010)が増加する傾向を確認した．これはエピスタシス数[2] 苗 村 ， 下 山 ， 鄭 ， 大 林 ： 強 非 線 形 関 数 の た め のの増加に対して BP の探索が局所解に陥ることを示

Kiring/RBF ハイブリッド応答曲面の提案法，第 6 回進す．また，Nh を増やすと近似誤差は減少すること

化計算フロンティア研究会資料集，pp. 142-147 (2011)[3]北山，安田，山崎：RBF ネットワークと Particle Swarmを確認した．

Optimization による統合的最適化，電気学会論文誌 C ，今後，本実験で得られたニューラルネットワーク

Vol.128，No.4, pp. 636-645 (2008)の汎化能力を検証する．また，NK ランドスケープにおける次元(N の値)や，中間層数とそのユニット[4]D. E. Rumelhart : Backpropagation : Theory, Archi-数を増やして実験を行いたい．さらに，GA による

tectures, and Applications ， Lawrence Erlbaum

探索中にどのように教師データを随時追加していAssociate Publishers (1995)[5] S. A. Kauffman : The Origins of Oder， Oxford Uni-

くかについて検討していく．

versity Press (1993)

482