社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

ゆとりニューラルネットワークの学習プロセスによって形成される重みベクトルの類似性に関する研究
上手 洋子†

西尾 芳文†† 徳島大学大学院ソシオテクノサイエンス研究部〒 770–8506 徳島市南常三島 2–1
E-mail: †{uwate, nishio}@ee.tokushima-u.ac.jp
あらまし 我々はこれまでに、セルアセンブリ機能を階層型ニューラルネットワークの中間層に応用したゆとりニューラルネットワークを提案している。本ネットワークに逆誤差伝播法を適用し、関数近似およびパターン認識問題について学習を行った場合、従来のネットワークより学習能力および汎化能力が優れていることを確認している。しかしながら、ゆとりニューラルネットワークのどのような学習プロセスが、よい性能を生み出すかといった原因は明らかにされておらず、より詳細な調査が必要である。そこで本研究では、重みの変化量および学習後の重みの類似度に着目する。コンピュータシミュレーションの結果、ゆとりニューラルネットワークは従来のネットワークに比べ重みの変化量が多く、学習後の重みの類似度は低いことが分かった。
キーワード

ゆとりニューラルネットワーク、ベクトル類似性、逆誤差伝搬法、パターン認識

Weight Vector Similarity of Aﬀordable Neural Network
by Learning Process
Yoko UWATE† and Yoshifumi NISHIO†† Tokushima University 2–1 Minami Josanjima, Tokushima, 770–8506 Japan
E-mail: †{uwate, nishio}@ee.tokushima-u.ac.jp
Abstract We have recently proposed a novel neural network structure called an “Aﬀordable Neural Network”(AfNN), in which aﬀordable neurons of the hidden layer are considered as cell assembly function observed in humanbrain function. We have conﬁrmed that the AfNN gains good performance both of the generalization ability andthe learning ability. Furthermore, the AfNN has durability, because the AfNN still performs well even if some ofneurons in the hidden layer are damaged after learning process. In this study, we study the characteristics of weightsof the AfNN during the learning process to make clear the reason of that the AfNNs can perform well for learningand generalization abilities and operate as usually against damaging neurons.
Key words Aﬀordable Neural Network, Vector Similarity, Backpropagation Learning, Pattern Recognition1. Introduction

我々はこれまでの研究で，BP 学習を行う階層型ニューラルネットワークの中間層にゆとりニューロンを持たせたゆとり

近年の脳神経科学の飛躍的な発展に伴い，これまで明らかにニューラルネットワーク (ゆとり NN) を提案している [1]．コされていなかったさまざまな脳の高次機能が明らかになってきンピュータシミュレーションの結果，ゆとり NN が従来のネッている．そのため，生物学モデルを取り入れた人工ニューラルトワークよりも学習能力および汎化能力が優れていることを確ネットワークの研究も盛んに行われている．しかしながら，実認した．また，学習後に中間層ニューロンの一部にダメージを際の生物ネットワークと生物モデルを応用した人工ニューラル与えた場合についても調査を行い，ゆとり NN は性能を保持でネットワークにはまだ大きなギャップが存在する．我々は，そきることも確認している [2]．のギャップを少しでも埋めていくことで，より複雑な高次機能

しかしながら，ゆとり NN のどのような特徴が学習能力や耐を備えた人工ニューラルネットワークの実現が可能になると考久性の良さに影響しているのかについては明らかにしていない．

えている．

そこで、本研究ではゆとり NN の中間層ニューロンの重みの変—1—化量と重みベクトルの類似性について調査を行う．コンピュー

次に，BP 学習の基礎的な例として，y(x) = x2 の関数近似をタシミュレーションの結果、ゆとりニューラルネットワークは行ったときの性能評価について述べる．本問題において，入力従来のネットワークに比べ重みの変化量が多く、学習後の重みデータの範囲は [−1.0, 1.0] とし，サンプリング幅は 0.01 としの類似度は低いことが分かった。

た．シミュレーションにおいて，学習係数および慣性項パラー

2. ゆとりニューラルネットワーク (ゆとり NN)
我々はこれまでに，3 層階層型ニューラルネットワークの中間層にゆとりニューロンを持たせたゆとりニューラルネットワー
ク（ゆとり NN）を提案している [1]．ゆとり NN の中間層では，すべてのニューロンが動作するのではなく，いくつかのニューロンは正常に学習を行うが，残りのニューロンはゆとりニューメータはそれぞれ η = 0.1， ζ = 0.01 に設定し，重みの初期値は [−1, 1] の乱数を与えた．また学習係数は，M = 20000 である．
学習能力の性能を評価するために，“Average Error Eave ”
を以下の式によって提案する．

1 ∑Eave =PP

p=1ロンとして選択される．ゆとりニューロンの特徴は以下のとおりである．

{1(tp − op )22}(3)

ここで，P は入力データの数である (P = 200)．

•

ゆとりニューロンの出力はゼロとする．

•

ゆとりニューロンと結合している重みベクトルは更新し

図 2 に中間層ニューロンの総数は 8 個とし，ゆとりニューロンの数を 1〜4 個に変化させたときの学習エラー曲線を示す．

ない．

この図より，ゆとりニューロン数が 3 個以下の場合は，ゆとりなお、本研究では，ゆとりニューロンの選択はランダムに行う．

NN が従来のネットワークよりも小さい誤差に収束している．

ゆとり NN モデルを図 1 に示す．

このように，ゆとりニューロン数を適切に設定することで，ゆとり NN は従来のネットワークよりもよい学習能力を得られることがわかる．
0.1
AfNN (8-1)
AfNN (8-2)
AfNN (8-3)
AfNN (8-4)
Conventional NN (8-0)

E ave

0.01

Output layer

Input layer

AffordableNeurons

0.001

0.0001

Hidden layer

0.00001
01000020000
30000
Iteration time

図 1 ゆとり NN モデル．
図2

40000

50000

学習曲線．

3. 重みの変化量
ゆとり NN のどのような特徴が学習能力の良さに影響していまず，ゆとり NN のどのような特徴が学習能力の良さに影響しているのかについて調査を行う. ここでは，ゆとり NN にBP 学習を適応させたときの，ゆとり NN の中間層と出力層間の重みの変化量に着目する．BP 学習は，ラメルハートによっるのかについて調査を行うために，本章では，学習プロセス中の重みの変化量に着目する．
中間層と出力層間の重みベクトルの変化量を以下の式で定義する．て提案された標準 BP を用いる [4]. 重みベクトルの更新式は以下のように表される．

k−1,kCi,j=k−1,kk−1,kwi,j(m + 1) = wi,j(m) +P∑MP

m=1

p=1

k−1,k∆p wi,j(m),p=1k−1,k∆p wi,j(m) = −η1 ∑ ∑k−1,k∆p wi,j|(m) |M(4)(k = 3).
(1)∂Ep,k−1,k∂wi,j

図 3 に重みベクトルの変化量のシミュレーション結果を示す．
この図は，変化量を簡単に理解するために学習後，それぞれのネットワークにおいて重みの変化量によって小さい順にソート

ここで，m は学習回数，η は学習係数を示す．本研究では，以下の式で示される慣性項付き重み更新式を適用する．
k−1,k∆p wi,j(m) = −η∂Ep
k−1,k+ ζ∆p wi,j(m − 1),
k−1,k∂wi,j

ここで ζ は慣性項のパラメータである．

した結果である．この図より，ゆとり NN のほうが従来のネットワークよりも重みの変化量が多いことがわかる．次に，重み(2)ベクトルの変化量の平均と学習能力の関係を表 1 にまとめた．
ゆとりニューロンが 2 個のときに，最もよい学習性能を得ることが確認できる．

—2—

2,3
ここで, wi,1は中間層の i 番目のニューロンから出力層の 1 番0.05

AfNN (8-1)
AfNN (8-2)
AfNN (8-3)
AfNN (8-4)
Conventional NN (8-0)

0.04
0.035

2,3目のニューロンへの重みを表す．また，wi,b中間層の i 番目のニューロンのバイアスである．
図 5 にゆとり NN と従来ネットワークの典型的な重みベク0.03トルの結果を示す．ゆとり NN の場合 (Fig. 5 (a))，それぞれ0.0250.02の重みベクトルがベクトルスペース全体に広がっている．それ0.015に対して従来のネットワークの場合 (Fig. 5 (b))，多くの重み0.01ベクトルが同じ方向を示している．

0.005

12345678

neuron number of hidden layer

図 3 重みの変化量．

Ch=1 i,j

Eave

AfNN (8-1)

0.16305

0.624e-3

AfNN (8-2)

0.14237

0.562e-3

AfNN (8-3)

0.12916

0.586e-3

AfNN (8-4)

0.13918

0.679e-3

Conv. NN (8-0)

0.11161

0.626e-3wi,b∑8010-0.5-15

表 1 Total amount of weight change and Eave (average: 100).

Network type15-1.50wi,bamount of weight change

0.045-5-2-2.5-10-3-15-3.5-20-12 -10 -8 -6 -4 -2 0

2-4-1 0 1

4 6 8 102

3 4 5wi,j

6 7 8

9 10wi,j(a) AfNN (8-4).

(b) Conventional NN (8-0).

図 5 学習後の重みベクトル分布 (Hidden layer: 8)．

4. 重みベクトル類似性

我々は，図 5 のベクトル図の特徴を評価するために，以下の次に，ゆとり NN の耐久性の要因を明らかにするために，学習後の重みベクトルの類似性について調査を行う．

式で示される Cosine similarity を用いる．

Ws(a,b) = cos(θ) =学習後，ある中間層ニューロンの出力をゼロにすることでダメージを与える．図 4 に，2 章と同様の y = x2 を学習させた後

wa,j · wb,jkwa,j kkwb,j k(6)

ゆとり NN および従来ネットワークの 100 回平均のベクトルに，ダメージを与えたときの性能結果を示す．この図より，ゆ類似性および行列のノルムを以下の行列に示す．

とり NN，従来ネットワークともにダメージのニューロン数がゆとり NN のベクトル類似性 AfNN (8-4):

多くなるほど性能が悪くなっているのがわかる．しかし，性能

1234567

8

1.00

0.24

0.18

0.12

0.26

0.24

0.15

0.21

1.00

0.25

0.26

0.40

0.34

0.28

0.25

1.00

0.20

0.35

0.32

0.23

0.26

0.20

1.00

0.31

0.20

0.07

0.40

0.350.31

1.00

0.48

0.34

0.34

0.32

0.20

0.48

1.00

0.24

0.07



4  0.12
Ws =
5  0.26

6  0.24
7  0.15

0.28

0.23

0.07

0.34

0.24

1.00



0.18 

0.36 

0.29 
0.26 

0.06

80.40

0.33

0.18

0.36

0.29

0.26

1.00

はゆとり NN のほうがより小さい誤差を示していることが確認

2  0.24

できる．

3  0.18

0.1
0.09
0.08

Eave

1

0.21

0.05

0.40 
0.33 

Norm of similarity matrix: 3.526

0.04
0.03

AfNN (8-1)
AfNN (8-2)
AfNN (8-3)
Conventional NN (8-0)

0.02
0.01
0

0123
Number of damaged neurons

従来ネットワークのベクトル類似性 Conventional NN (8-0):1234567

81.00

0.43

0.38

0.43

0.51

0.40

0.38

0.45


4  0.43
Ws =
5  0.51

6  0.40
7  0.38

1.00

0.40

0.51

0.49

0.42

0.42

0.40

1.00

0.49

0.59

0.55

0.47
0.34

841

2  0.43

図 4 ダメージに対する Eave の結果．

3  0.38

次に，ゆとり NN の持つ耐久性のメカニズムを明らかにするために，学習後の重みベクトルの類似性について調査を行う．3
層階層型ニューラルネットワークにおいて， y = x2 を学習す

0.45



0.46 

0.51

0.491.00

0.62

0.42

0.49

0.59

0.62

1.00

0.56

0.44

0.42

0.55

0.42

0.56

1.00

0.50

0.42

0.47

0.34

0.44

0.50

1.00

0.39 
0.45 

0.40 
0.40 

0.46

0.44

0.39

0.45

0.40

0.40

1.00

0.44 

る場合，出力層のニューロン数は 1 個である．よって，中間層の i 番目のニューロンの重みベクトルは以下の式のように表現できる．
2,32,32,3wi,j= {wi,1, wi,b},

Norm of similarity matrix: 4.447
これらの行列では，すべてのベクトルの組み合わせ Ws を計(5)算した結果である．従来ネットワークのほうがゆとり NN に比—3—べて，ベクトル類似性の値が大きい値を示している．つまりこ表 2 Norm of similarity matrix.

れは，従来ネットワークによって学習した中間層ニューロンのNetwork typeNorm

重みベクトルがよく似たベクトルであることを意味している．

AfNN (16-2)

5.151

AfNN (16-4)

4.823

AfNN (16-6)

4.505

AfNN (16-8)

4.273

AfNN (16-10)4.108行列全体の評価を行うために，ノルムを行列の下に表記してあるが，従来ネットワークのほうがノルムも大きい値になっている．
これらの結果から，ゆとり NN の場合は中間層ニューロンのConventional NN (16-0) 5.253

それぞれの重みベクトルは異なる特徴になるように学習が行われる．これは，ゆとりニューロンが毎更新時に切り替わるため

120

5.4

Recognition rate (before damage)であると考えられる．

5.2

本章では，より一般的な問題としてパターン認識を行うゆとり NN のベクトル類似性について調査を行う．今回対象とする
パターン認識は，図 6 に示す 4 つのアルファベット B, U, C,Recognition rate [%]5. パターン認識におけるベクトル類似性

Recognition rate
(after 2 neurons damaged:
zero output)

80

4.860
4.640

Recognition rate
(after 2 neurons damaged:random output)

S である．入力層のニューロン数は 35，出力層のニューロン数
20

4.4

4.2は 4 となる．これまでの研究でゆとり NN がパターン認識においても，すぐれた認識率を持つことを確認している (図 7)．

5Norm vallue of similarity matrix
002468101214

Norm value of similarity matrix

1004

Number of affordable neurons
図 8 重みベクトル類似性のノルムと認識率の関係．

6. Conclusions
pattern 1pattern 2pattern 3

pattern 4

本研究ではゆとり NN の中間層ニューロンの重みの変化量と重みベクトルの類似性について調査を行った．コンピュータシ

図 6 パターン認識．

ミュレーションの結果、ゆとりニューラルネットワークは従来のネットワークに比べ重みの変化量が多く、学習後の重みの類

Recognition rate [%]100

似度は低いことが分かった。

AfNN (16-10)
AfNN (16-12)
Conventional NN (16-0)
AfNN (16-2)
AfNN (16-14)
Conventional NN (4-0)

80

文

6040
2000

12
3
Number of damaged neurons45

図 7 ダメージに対する認識率．

本パターン認識の場合，中間層ニューロンの重みベクトルは以下の式で表される．
2,32,32,32,32,32,3wi,j= {wi,1, wi,2, wi,3, wi,4, wi,b},

献[1] Y. Uwate and Y. Nishio, “Performance of Aﬀordable Neural
Network for Back Propagation Learning,” IEICE Transactions on Fundamentals, vol. E89-A, no. 9, pp. 473-478, Nov.
2005.
[2] Y. Uwate, Y. Nishio and R. Stoop, “Durability of Aﬀordable Neural Networks against Damaging Neurons,” IEICE
Transactions on Fundamentals, vol. E92-A, no. 2, pp. 585593, Feb. 2009.
[3] Y. Sakurai, “Dependence of Functional Synaptic Connections of Hippocampal and Neocortical Neurons on Types ofMemory,” Neuroscience Letters, vol. 158, pp. 181-184, 1993.
[4] D.E. Rumelhart, G.E. Hinton and R.J. Williams, “Learning Internal Representations by Error Propagation,” Parallel Distributed Processing, vol. 1, MIT Press, MA, pp.
318-362, 1986.

(7)

表 2 に重みベクトル類似性の行列から得られたノルムの結果をまとめた．ゆとり NN のノルムは従来のネットワークよりも小さい値であることがわかる．これは，先ほどの y = x2 を学習させた場合と同じ結果である．
最後に，ベクトル類似性のノルムと認識率の関係についてまとめたものを図 8 に示す．ゆとりニューロン数の増加に伴いノルムの値が小さくなると，ダメージを受けた場合の認識率が向上することが確認できる．

—4—