BP 学習におけるゆとりニューラルネットワークのもつ柔軟性について
Flexibility of an Aﬀordable Neural Network
for Back Propagation learning
上手洋子 †西尾芳文 †† 徳島大学工学部電気電子工学科

Yoko Uwate†
Yoshifumi Nishio†
Dept. of Electrical and Electronic Eng., Tokushima University†1を入力したときに，入力と同じ時系列パターンを日本では，これまでの「詰め込み」教育が批判さ 出力できるかの調査を行う．また，中間層ニューロれ，子どもたちの多様な能力をのばすために，い ンの切り替わり方法として，カオス，規則，ランわゆる「ゆとり」教育が導入されている．我々は， ダムの場合についての比較を行う．
ニューラルネットワークの学習においても，「ゆとり」という概念が柔軟性や創造性に対して非常に 2 ゆとりニューラルネットワーク重要であると考える．
ニューラルネットワークはバックプロパゲーショ 実際の脳構造を反映させるために中間層にゆとりン (BP) 学習 [1] が提案されて以来，パターン認識 ニューロンを導入する．あらかじめ必要以上の中や制御，信号処理など様々な分野で活用され，その 間層ニューロンを用意し，全ての中間層ニューロン有効性が明らかにされている [2]-[4]．実際の脳が何 を用いるのではなく，動作する中間層ニューロンがらかの処理をする際には，全てのニューロンが常に 毎更新時に切り替わるというものである．つまり，一斉に動作しているのではなく，関連するニューロ 毎回の更新時に動作していないニューロンが存在ンが必要に応じて動作していると考えられる．我々 することになる．これがゆとりニューロンである．
はこの概念を階層型ニューラルネットワークの中 ゆとりニューロンを導入した階層型ネットワーク間層に応用したネットワークを提案した [5]．この モデルを図 1 に示す．
ネットワークは中間層に必要以上のニューロンを用意し，全ての中間層ニューロンを用いるのではなく，動作する中間層ニューロンが毎更新時に切りChaos替わるというものである．つまり，毎回の更新時Chaosに動作していないニューロンが存在することになる．このネットワークのことを “ゆとりニューラル
Chaosネットワーク”と呼んでいる．文献 [5] では，簡単
Chaosな二次関数を学習させるシミュレーションを行い，Chaos
ゆとりニューラルネットワークの有効性を確認しOutput layer
Chaosている．
Input layer
本研究では，より難しい問題を対象として様々Chaosな計算機シミュレーションを行い，ゆとりニューラ
Affordable
Chaos
neuronルネットワークのもつ様々な性能の調査を行う．具
体的な学習例としては，skew tent map によってHidden layer生成されるカオス時系列を用いる．まず，系列長が 10 の時系列を 100 パターン学習するときの学習精度，収束速度について評価を行う．さらにネット
図 1: ゆとりニューラルネットワーク.
ワークの学習が終わったあとで，学習に用いた 100
パターンとは異なる未知のカオス時系列パターン
はじめに

2.1

2.2

カオス的動作方法

カオス以外の切り替わり方法

我々はこれまで組み合わせ最適化問題を解く Hop- 文献 [5] では中間層ニューロンの切り替わり方法
ﬁled NN のニューロンにカオスノイズを注入する として，skew tent 写像を用いることによってカオことで局所解脱出がスムーズになり性能が向上す ス的な切り替わり方をするネットワークを提案しることを確認している．ランダムノイズとの比較 たが，本章では，規則的またはランダムに中間層も行い，カオスをノイズとして用いた場合で最も良 ニューロンが切り替わった場合についての調査をい結果が得られている [6]-[7]．これらのことから， 行う．規則的な切り替わり方とは，中間層の動作すニューラルネットワークでの局所解脱出にカオス るニューロンを順番に選ぶ方法である．ランダムが有効であると推測できる．本研究では，更新時 な切り替わり方は，skew tent 写像の時系列の代わにどのニューロンを動作するかを判定するために， りに乱数を用い，乱数の値が大きい中間層ニューカオス写像である skew tent map を用いる．ここ ロンから動作するニューロンと決定する．
ではカオスはあくまでどの中間層ニューロンを選 3 BP 学習アルゴリズムぶかに用いるのであって，ネットワークやニューロンがカオス的な動作になるのではない．skew tent BP 学習アルゴリズムとして D.E. Rumelhart らにmap はカオスを発生させる非常にシンプルな写像 よって提案された標準的なものを用いる [1]．本研
究では結合荷重の修正法として一括修正法を使用である．skew tent map は式 (1) で表され，図 3 にした．一括修正法は全データに対する誤差を小さ示すように tent map の頂点座標が a だけずれたくするような結合荷重の組み合わせを探索する．
ものである．今回は a = 0.05 の skew tent map をネットワークの評価関数として，教師信号と出用いた．中間層ニューロンに初期値の異なる skewtent map をそれぞれ用意し，更新時に skew tent 力値の 2 乗誤差 E を考える．
 N

map の値が大きい順にいくつかの中間層ニューロPP
1
ンを使用する.
E=Ep =(tpi − opi )2 )
(2)
2 i=1
p=1p=1
ここで，P は入力データのパターン数，N は出力層のニューロン数，tpi は入力データ p を提示した
ときの教師信号値，opi は入力データ p を提示したときの出力値を表している．結合荷重は E を最小に変化すればよいので，結合荷重の変化量は次式のようになる．

1x n+10k−1,kk−1,kwi,j(m + 1) = wi,j(m) +k−1,k∆p wi,j(m) = −η0 a=0.05xn1

図 2: skew tent 写像.

k−1,k∆p wi,j(m) = −ηxn+1 =⎧2xn + 1 − a⎪⎪⎪⎪1+a⎪⎪⎪⎪⎨⎪⎪−2xn + 1 + a⎪⎪⎪⎪
⎪
1−a⎪
⎩

k−1,k∆p wi,j(m)k−1,k∂wi,j∂Ep

k−1,k∂wi,jk−1,k+ ζ∆p wi,j(m − 1)

ここで ζ は慣性係数である．

4(−1 ≤ xn ≤ a)(1)
(a < xn ≤ 1)

p=1

(3)
k−1,k
ここで，wi,jは第 k − 1 層の i 番目のニューロンと第 k 層の j 番目のニューロンとの結合荷重，mは学習回数，η は学習係数である．本研究では，学習の発散を防ぎ，学習の高速化をはかるために次式右辺第 2 項のような慣性項を導入する．

-1-1

∂EpP


(4)

シミュレーション結果

本研究では，学習パターンとして skew tent map によって生成されるカオス時系列を用いる．ここでカオス時系列の系列長は 10 で，パターン数は 100 とした．我々は，これらの学習に対するゆとりニューError for learning pattern

0.14
ラルネットワークの性能評価を行う．さらにネット
Chaos
ワークの学習後に，学習パターン以外のカオス時0.12Regular
系列を入力したときの出力についての調査も行う．
Random
本シミュレーションで用いたパラメータは以下のよ0.1
うに設定した．ネットワークの学習係数 η = 0.05,0.08
慣性係数 ζ = 0.02．また，ネットワークの重みの初期値は −1.0 から 1.0 の一様乱数で与えた．中間0.06
層ニューロンを 20 個用意し，ゆとりニューロンを0.040 から 10 個に変化させたときの学習精度について調査を行う．学習精度のシミュレーション結果を0.02
図 3 に示す．縦軸は学習パターンに対するネット
0
ワーク出力の誤差，横軸は動作する中間層ニュー1086420
Number of affordable neurons in hidden layer
ロンの数である．この図から，ゆとりニューロンがあるネットワークのほうが学習の精度がよいこ
図 3: 学習パターンに対するネットワークの誤差.とが確認できる．また，中間層ニューロンの切り替わり方法としては，規則的な切り替わりをするよりもカオスまたはランダムに切り替わるほうが0.004
ネットワークの学習に有効であることがいえる．
Chaos

0.0035

次に，学習後に学習パターン以外の未知の入力パターンに対する学習精度の結果を図 4 に示す．縦軸は未知の入力パターンに対するネットワークの誤差，横軸は動作する中間層ニューロンの数である．先ほどと同様に未知の入力パターンに対しても，ゆとりニューラルネットワークのほうがよい性能を得ることが確認できる．また，中間層ニューロンの切り替わり方法としてはカオスまたはランダムに切り替わるネットワークのほうが有効であることがいえる．未知の入力データに対する出力の一例を図 5 に示す．図 5(a) はゆとりニューロンの存在しない従来のネットワーク，(b) はカオス的切り替わるゆとりニューラルネットワーク (ゆとりニューロン数：2)，(c) は規則的に切り替わるゆとりニューラルネットワーク (ゆとりニューロン数：2)，(d) はランダムに切り替わるゆとりニューラルネットワーク (ゆとりニューロン数：2) の場合を表している．これらの図より，ゆとりニューラルネッ
トワークは未知データに対しても誤差が小さいのに対して，従来のネットワークは誤差が大きいことがわかる．

Error for learning pattern

RegularRandom

0.003
0.00250.002
0.00150.0010.0005
01086420

Number of affordable neurons in hidden layer

図 4: 未知のパターンに対するネットワークの誤差.

5まとめ

本研究では，BP 学習を行うときに必要以上の中間層ニューロンを用意し，毎更新時に全ての中間層ニューロンを用いるのではなく，動作する中間層ニューロンが切り替わるゆとりニューラルネットワークの性能評価を行った．学習パターンとして，今回の学習例では，入力パターンをそのまま出 skew tent 写像によて生成されるカオス時系列を用力するようなネットワークの学習であるので，比 いた．さらに，ネットワークの学習後に未知の入較的簡単な問題ではあるが，学習パターン以外の 力パターンに対する出力についての調査を行った．
パターンが入力されたときなどには，これまでの シミュレーションの結果，ゆとりニューラルネットネットワーク構造では困難であることがわかった． ワークのほうがネットワークの学習精度，また学それに対してゆとりニューロンを用いたネットワー 習後の未知の入力パターンに対してもよい性能をクは未知のパターンに対して有効であることが確 示すことがわかった．中間層ニューロンの切り替認できた．ニューラルネットワークの学習には過 わり方法として，カオス，規則，ランダムの場合学習という問題点があるが，ゆとりニューラルネッ においてシミュレーションを行ったが，規則的に切トワークを用いることで，汎化能力の高いネット り替わるよりも，カオスやランダムに切り替わるワーク構造を形成することができるのではないか ほうがよい学習精度が得られ，未知の入力パターンに対しても有効であることを確認できた．と考える．

References
0.8

0.6

0.4

0.2

Input
Output

0012

3456

78

9time

(a) 従来のネットワーク.
Chaotic time series by skew tent map

10.8

0.6

0.4

0.2

InputOutput

00123456789time(b) ゆとりニューロン 2 個 (カオス).
Chaotic time series by skew tent map

10.80.60.40.2

Input
Output00123456789time(c) ゆとりニューロン 2 個 (規則).
1

Chaotic time series by skew tent map[8] Y. Uwate, Y. Nishio, T. Ueta, T. Kawabe andT. Ikeguchi, “Performance of Chaos and Burst
Noise Injected to the Hopﬁeld NN for Quadratic
Assignment Problems,” IEICE Transactions on
Fundamentals, vol. E87-A, no. 4, pp. 937-943,
Apr. 2004.

Chaotic time series by skew tent map

1[1] D.E. Rumelhart, G.E. Hinton and R.J. Williams,“Learning Internal Representations by Error
Propagation,” Parallel Distributed Processing,vol. 1, MIT Press, MA, pp. 318-362, 1986.
[2] Y. LeCun, B. Boser, J.S. Denker, et al,“Handwritten Digit Recognition with a BackPropagation Network,” Advances in Neural Information Processing Systems, vol. 2, MIT Press,
MA, 1990.
[3] M. Kawano, Y. Uno, M. Isobe and R. Suzuki, “AHierarchical Neural Network Model for Voluntary
Movement with Application to Robotics,” IEEEControl Systems Magazine, vol. 8, pp. 8-16, 1988.
[4] T.J. Sejnowski and C.R. Rosenberg, “Parallel Networks that Learn to Pronounce English
Text,” Complex Systems, vol. 1, pp. 145-168,
1987.
[5] 上手洋子, 西尾芳文 “ゆとりニューロンを導入した
階層型ニューラルネットワークの BP 学習,” 2004
年 電子情報通信学会 ソサイエティ大会 講演論文集, no. A-2-9, p. 42, Sep. 2004.
[6] T. Ueta, Y. Nishio and T. Kawabe, “Comparison
between Chaotic Noise and Burst Noise on Solving Ability of Hopﬁeld Neural Networks,” Proc.
NOLTA’97, vol. 1, pp. 409-412, Nov. 1997.
[7] Y. Uwate, Y. Nishio and A. Ushida, ”MarkovChain Modeling of Intermittency Chaos and its
Application to Hopﬁeld NN,” IEICE Transactions on Fundamentals, vol. E87-A, no. 4, pp.
774-779, Apr. 2004.

0.8

0.6

0.4

0.2

Input
Output00123456

789time(d) ゆとりニューロン 2 個 (ランダム).
図 5: 異なる中間層ニューロンの切り替わりによる未知パターンに対する出力結果.