社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

ニューロン新生を持つフィードフォーワードニューラルネットワークの性能評価に関する研究
横山裕太†

粂野紘範†

上手洋子†

西尾芳文†

† 徳島大学工学部 〒 770–8506 徳島県徳島市南常三島町 2-1
E-mail: †{yuta, kumeno, uwate, nishio}@ee.tokushima-u.ac.jp
あらましニューロン新生とは，脳内で新たなニューロンが生成されることである．生物学上では，このニューロン新生により新たなニューロン同士の結合が形成され，記憶能力や思考力が向上することが知られている．私たちは，ニューロン新生を人工ニューラルネットワークへ適応する．本研究では，ニューロン新生を階層型パーセプトロン(MLP) に応用し、ニューロン新生を含む新たなネットワーク構造を提案する．また，ニューロンを新生するタイミン
グとして周期的，およびカオス的新生を提案する．ニューロンを新生する MLP と従来法において，関数近似，およびパターン認識の性能について比較を行う．このニューロン新生を MLP に応用することにより，学習性能が向上することをシミュレーションによって示す．
キーワード

新生ニューロン，階層型パーセプトロン，パターン認識

Performance of Feed-Forward Neural Network with Neurogenesis
Yuta YOKOYAMA† , Hironori KUMENO† , Yoko UWATE† , and Yoshifumi NISHIO†† Department of Electrical and Electronic Engineering, Tokushima University
2-1 Minami-Josanjima, Tokushimashi, Tokushima, 770-8506, Japan
E-mail: †{yuta, kumeno, uwate, nishio}@ee.tokushima-u.ac.jp
Abstract The neurogenesis is that new neurons are generated in the human brain. It is known that the neurogenesis improves memory and thinking ability by combining new neurons with biological neural network. We consider
that the neurogenesis can be applied to an artificial neural network. In this study, we adapt the neurogenesis
to a Multi-Layer Perceptron (MLP). We propose the introduction method as periodic and chaotic of MLP withneurogenesis. We compare the performance of the MLP with neurogenesis to the conventional MLP for approximation of function and pattern recognition. We show the MLP with neurogenesis has better performance than theconventional MLP by computer simulations.
Key words Neurogenesis, Multi-Layer Perceptron, Pattern Recognition

1. ま え が き
数年前まで成人の脳内では，ニューロンは死滅し続ける一方

私たちは，このニューロン新生の生物学的な特徴を捉え，人工ニューラルネットワークに対しニューロン新生を応用する研究を行ってきた [4]．

だとと考えられていた．このニューロンが死滅する過程は，ア

本研究では，MLP (Multi-Layer Perceptron) にニューロンポトーシスと呼ばれている．その上，ニューロンの死滅は，ア新生を応用したニューラルネットワークを提案する．学習中のルコール，タバコの多量摂取などが促進させていると考えられ

MLP では，ニューロン新生によって中間層の既存のニューロンている [1]．しかし，近年の研究において，成人の脳内においてが死滅し，新生ニューロンが生成される．新生ニューロンの生も新たなニューロンが生成されていることが報告された [2], [3]．

成により，新たなネットワークが構築され，MLP の学習性能

この過程は，ニューロン新生と呼ばれ，新生ニューロンを活用が向上することをシミュレーションで示す。また，本研究では，することにより，脳細胞数が増え、脳内ネットワークが充実す関数近似，およびパターン認識性能について比較を行う [5], [6]．

るので、記憶能力，学習能力，および思考力等における問題解決能力が向上していくと考えられている．

—1—

2. 新生ニューロンを組み込んだ階層型パーセプ
トロン
MLP は，最も有名なフィードフォーワードニューラルネット

号，opi はパターン p を提示した時の出力値である．これらより，結合荷重は，式 (5) に示す．
k−1,kk k−1∆p wij= ηpj
opi = −η

ワークのひとつであり，パターン認識やパターン分類等の様々な問題に使用されている．この MLP は，複数のニューロン層∂Ep,k−1,k∂wi,j(5)k−1,kただし， wi,jは k − 1 層の i 番目のニューロンと k 層の jによって構成されており，異なった層のニューロン同士のみが結合することにより構成されている．また，私たちは，MLPの学習法のひとつである誤差逆伝搬法 (BP) を使用し，学習を番目のニューロン間の荷重，η は学習率である．

2. 2 ニューロン新生
ニューロン新生は，従来，発育期においてしか行われないと行う [7]-[9]．
本研究では，3 層の MLP を使用し，そのネットワークの中間層にあるニューロンの新生，および死滅を行う．図 1 は，ニューロンの新生，および死滅を行う中間層を持った MLP のネット考えられてきた．しかし近年，成人の脳内でも新たなニューロンが生成され，ニューロン新生が一生涯続いていることが1990 年代後半に Erickson らによって発見された [2]，[3]．このニューロン新生を活用することで，脳細胞数が増え，脳内ネッワーク構造例である．

トワークが充実するため，記憶能力，学習能力，および思考力等における問題解決能力が向上していくと考えられている．私たちは，ニューロン新生の特徴を，人工ニューラルネットワー
クへ応用する．
本研究では，MLP へニューロン新生を応用する．ニューロンの新生として以下の方法で行う．まず，アポトーシスの工程として，MLP の中間層にある既存のニューロンをランダムに削除

Input layer

する．同時に，削除されたニューロンに繋がる全ての結合は削Output layer

除される．次に，ニューロン新生の工程として，新たにニューロンが生成させる．新生ニューロンによりランダムな値をもっHidden layer: Existing neuron

た結合が生成される．ニューロン新生により生成された新たな: Apoptosis

結合荷重により，再び計算を行う．

: Neurogenesis

また，ニューロン新生と死滅のタイミングとして以下の 2 種類のタイミングで行う．ひとつは，周期的にニューロンの新生，死滅を行う MLP．もうひとつは，カオス的にニューロンの新

図 1 新生ニューロンを組み込んだ MLP．

生，死滅を行う MLP である．

2. 1 ニューロンの更新則
ニューロンの更新則は，式 (1) のように表される．
( n)∑xi (t + 1) = fwij (t)xj (t) − θ ,3. シミュレーション
本研究では，MLP の学習性能を 2 種類の問題を用いて評価(1)

jする．まず，関数近似性能を示し，その後，パターン認識性能を示す．比較のために従来 MLP，ニューロン新生，死滅を周

ただし，x はニューロンの入力および出力，w は結合荷重，θ期的に新生した MLP，およびカオス的に新生した MLP の 3

はしきい値，f は出力関数である．本研究では，出力関数にシつの異なる MLP を用いた．

グモイド関数を用い，そのシグモイド関数を式 (2) に示す．

f (a) =1.
1 + e−a(2)また，BP で用いられる評価関数として，教師信号と出力値のE =慣性項は η = 0.01，α = 0.2 とする．結合荷重の初期値として-1.0 から 1.0 の間のランダムの値を与えてシミュレーションを行う．

3. 1 関数近似性能

二乗誤差 E を式 (3)，(4) に示す．
P∑

また，20000 回の学習を繰り返すとともに，学習係数およびまず初めに，Chebysev 多項式の学習を行い，関数近似性能Ep(3)を示す．Chebyshev 多項式は，式 (6) で表される．

p=1T0 (x) = 1,1∑(tpi − opi )2 ,2 i=1nEp =(4)

ただし，E はエラー値，P は入力データ数，N は出力層のニューロン数，tpi はパターン p を提示した時のユニット i の教師信T1 (x) = x,(6)Tn+1 (x) = 2xTn − Tn−1 .
Chebyshev 多項式の T0 は定数，T1 は一次式となっており，Tn—2—yは n 次式となっている．本研究では，Chebyshev 4 次式 T4 ，お1.2

よび 5 次式 T5 を用いて関数近似性能を示す．

0.8

なお，以下に示すパラメータを用いてシミュレーションを行

0.4

習開始時の中間層のニューロン数を 6 とする．ニューロン新生，0.2死滅のタイミングとして周期的に新生した MLP は，18000 回

Conventional

0.6

う．MLP の入力層および出力層のニューロン数を 1 とし，学x0-1-0.5-0.2 0の学習までの 5000 回ごとにニューロンの新生，6000 回ごとに-0.4ニューロンの死滅を行う．また，カオス的に新生した MLP にお

-0.6

0.5

Neurogenesis(periodic)
Neurogenesis(chaotic)

1-0.8

いては，ロジスティックマップを用いる．ロジスティックマップ-1の更新式を式 (7)，β = 4 のときのカオス時系列を図 2 に示す．

y(n + 1) = βy(n)(1 − y(n)),

Teach

1-1.2

図 4 入出力特性 (Chebyshev : T4 ).

(7)
-0.2y
Teach
Conventional-0.4Neurogenesis(periodic)
Neurogenesis(chaotic)-0.6

y-0.8-1x-1.2-1

time-0.9-0.8-0.7-0.6-0.5

図 5 入出力特性拡大図 (Chebyshev : T4 ).
図 2 ロジスティックマップ．

ロジスティックマップは β を変更することで特性が変化する．

a をカオス時系列からニューロンの新生および死滅の頻度を決定するパラメータとし，ここでは a = 0.003 とする．y が 0.5から 0.5 + a の値をとるときニューロン新生，0.5 から 0.5 - a

図 3 より，全ての MLP において学習が進むごとにエラー率は減少しており，提案した 2 つの MLP のどちらの場合でも，そのエラー率は，従来法の MLP のエラー率に比べると減少していることがわかる．しかし，図 4 で示している入出力特性でみると，どの MLP もほとんど教師信号と等しい波形になっの値をとるときニューロンの死滅を行う．ていることがわかる．そこで図 4 の波形の頂点部分を拡大し1. Chebyshev 多項式 : T4たものを図 5 に示す．図 5 より，頂点部分では，教師信号とChebyshev 4 次式 T4 は，式 (8) で表される．

MLP の入出力特性に誤差が生じている．しかし，提案手法に
T4 (x) = 8x − 8x + 1.
42(8)式 (8) を学習させたときのイタレーションごとのエラー率の変化を図 3 に，学習終了あとの教師信号と MLP の入出力関係をよる MLP が従来法による MLP よりも教師信号に近いことがわかる．最も教師信号に近いのは，カオス的に新生した MLPであることがわかる．

2. Chebyshev 多項式 : T5

図 4 に示す．

Chebyshev 5 次式 T5 は，式 (9) で表される
10T5 (x) = 16x5 − 20x3 + 5x.

Error [%]

1(9)式 (9) を学習させたときのイタレーションごとのエラー率の変化を図 6 に，学習終了後の教師信号と MLP の入出力関係を0.1

図 7 に示す．

0.01

は減少しており，最も良い性能は，周期的に新生した MLP で

図 6 より，全ての MLP において学習が進むごとにエラー率
Conventional
Neurogenesis (periodic)
Neurogenesis (chaotic)

0.001
05000

10000ある．また，カオス的に新生した MLP の場合，そのエラー率は，従来法の MLP のエラー率とほぼ等しいことがわかる．し15000

The number of learning time
図 3 学習曲線 (Chebyshev : T4 ).

20000

かし，図 7 で示している入出力特性でみると，どの MLP もほ
とんど教師信号と等しい波形になっていることがわかる．4 次式の場合と同様に図 7 の波形の頂点部分を拡大したものを図 8に示す．図 8 より，頂点部分では，教師信号と MLP の入出力

—3—10Error [%]

10.1

0.01
Conventional
Neurogenesis (periodic)
Neurogenesis (chaotic)

0.001
05000

10000

15000

20000

The number of learning time

図 9 学習パターン. (A)-(D) 入力パターン. (a)-(d) 教師パターン.

図 6 学習曲線 (Chebyshev : T5 ).

なお，以下に示すパラメータによりシミュレーションを行う．
1.2yTeach1
Conventional

0.80.6

Neurogenesis(periodic)
Neurogenesis(chaotic)

0.4
0.2

x0-1-0.5-0.2 00.5

始時の中間層のニューロン数を 10 および 19 とする．ニューロン新生，死滅のタイミングとして周期的に新生した MLP は，14000 回の学習までの 3000 回ごとにニューロンの新生，3500
回ごとにニューロンの死滅を行う．また，カオス的に新生した

MLP においては，関数近似性能で用いたロジスティックマップ

1-0.4を同様に用いる (式 (7))．a をカオス時系列からニューロンの-0.6

図7

MLP の入力層および出力層のニューロン数を 36 とし，学習開-0.8

新生および死滅の頻度を決定するパラメータとし，ここでは a-1= 0.002 とする．y が 0.5 から 0.5 + a の値をとるときニュー-1.2

ロン新生，0.5 から 0.5 - a の値をとるときニューロンの死滅を行う．

入出力特性 (Chebyshev : T5 ).

以上の条件を元にシミュレーションを行った結果，従来の

y1.2

TeachMLP，および提案した 2 つのどちらの場合でも完全なパターン
Conventional
1Neurogenesis(periodic)
Neurogenesis(chaotic)0.8

認識を行うことができた．そこで本研究では，汎化能力性能について調査する．このシミュレーションでは，学習後の MLPに対して学習で用いた入力データにノイズを注入し，初期値とは異なる初期値から学習を行う．なお，入力データには，3bits，0.6および 6bits のノイズを注入し，1000 回の平均を示す．

1. 中間層のニューロン : 100.4

表 1 は，MLP の中間層のニューロン数を 10 としたときの汎0.2
00.1

0.2

0.30.40.5x

図 8 入出力特性拡大図 (Chebyshev : T5 ).

化能力性能の結果である．表 1 より，3bits，および 6bits のノイズを注入した場合の汎化能力性能は，どの MLP もほぼ等しいシミュレーション結果になっている．

特性に誤差が生じている．しかし，提案手法による MLP が従表1(1) 3bits ノイズ注入．

来法による MLP よりも教師信号に近いことがわかる．最も教師信号に近いのは，周期的にニューロン新生した MLP である

汎化能力性能 (中間層 = 10)．

Network

Accuracy rates [ % ](A)→(a)(B)→(b)(C)→(c)(D)→(d)

Ave.

Conv.

94.64

92.62

89.88

93.40

92.63

これらの結果より，ニューロン新生を MLP に組み込むこと

Periodic

97.23

97.47

86.79

94.19

93.92

で学習性能の向上がみられた．また，4 次式よりも 5 次式のシ

Chaotic

95.37

95.00

87.04

92.75

92.54

ことがわかる．

ミュレーション結果において従来法との差が大きく生じたため，ニューロン新生を応用した MLP は，より難しい問題に適して(2) 6bits ノイズ注入．
Network

Accuracy rates [ % ](A)→(a)(B)→(b)(C)→(c)(D)→(d)

Ave.

Conv.

81.09

77.23

75.73

78.03

78.02

3. 2 パターン認識性能

Periodic

81.35

79.9669.2180.1977.67

次に，MLP によるパターン認識性能について示す．図 9 にChaotic

81.43

81.29

74.83

75.30

78.21

いるのではないかと考えることができる．

示す 4 つのアルファベットパターンを用いてパターン認識性能を示す．

—4—

2. 中間層のニューロン : 19
表 2 は，MLP の中間層のニューロン数を 19 としたときの汎化能力性能の結果である．表 2 より，3bits，および 6bits のノイズを注入した場合の汎化能力性能は，提案手法による MLP[5]が従来法による MLP よりも向上したことがわかる．3bits ノ
イズ注入の場合では，カオス的に新生した MLP が最も良いシ[6]ミュレーション結果であり，従来法による MLP よりも約 4%向上したと言える．また，6bits ノイズ注入の場合でも，カオス的に新生した MLP が最も良いシミュレーション結果であり，[7]従来法による MLP よりも約 2% 向上したことがわかる．
表2[8]汎化能力性能 (中間層 = 19)．

(1) 3bits ノイズ注入．
Network[9]Accuracy rates [ % ](A)→(a)(B)→(b)(C)→(c)(D)→(d)

Ave.

Conv.

87.36

89.03

85.20

91.08

88.17

Periodic

86.67

92.31

84.49

92.86

89.86

Chaotic

94.10

92.71

88.61

95.31

92.69

“Improvement of Learning Performance of Neural Network Using Neurogenesis,” Proceedings of RISP International Workshop on Nonlinear Circuits and Signal Processing (NCSP’12), pp. 365-368, Mar. 2012.
Y. Uwate and Y. Nishio, “Durability of Aﬀordable NeuralNetworks against Damages,” International Joint Conferenceon Neural Networks (IJCNN’06), pp. 8365-8370, July. 2006.
C. Ikuta, Y. Uwate and Y. Nishio, “Multi-Layer Perceptron
Having Neuro-Glia Network,” International Symposiumon Nonlinear Theory and its Applications (NOLTA’10),
pp. 189-192, Sep. 2010.
D.E. Rumelhart, G.E. Hinton and R.J. Williams, “Learning Representations by Back Propagation Error,” Nature,
vol. 323-9, pp. 533-536, 1986.
D.E. Rumelhart, J.L. McClelland, and the PDP ResearchGroup, “Parallel distributed processing,” MIT Press, 1986.
Takeshi Agui, Hiroshi Nagahashi, Hiroki Takahashi, “Neural Program,” Shokoudou corp., pp. 11-18, 20-42, 1995.

(2) 6bits ノイズ注入．
Network

Accuracy rates [ % ](A)→(a)(B)→(b)(C)→(c)(D)→(d)

Ave.

Conv.

70.81

81.30

61.76

79.36

73.31

Periodic

71.47

79.22

66.15

79.83

74.17

Chaotic

78.33

76.82

69.59

77.50

75.56

これらの結果より，ニューロン新生を MLP に組み込むことで汎化能力性能の向上がみられることがわかった．

4. ま と め
本研究では，新生ニューロンを MLP に組み込むことによって，MLP の学習がどのように変化するかを示した．比較方法
として，関数近似性能，およびパターン認識性能の 2 種類の問題を用いて評価した．また，ニューロンの新生，死滅のタイミングとして 2 種類のタイミングで行った．ひとつは，ニューロンの新生，死滅を周期的タイミングに行う MLP，もうひとつは，ニューロンの新生，死滅をカオス的タイミングに行う MLPを提案した．
関数近似性能によるシミュレーション結果は，ニューロン新生を MLP に組み込むことで学習性能の向上がみられた．また，パターン認識性能によるシミュレーション結果でも，ニューロン新生を MLP に組み込むことで汎化能力性能の向上がみられた．
文献[1] H. satoi, H. Tomimoto, R. Ohtani, T. Kondo, M. Watanabe, N. Oka, I. Akiguchi, S. Furuta, Y. Hirabayashi and T.
Okazaki, “Astroglial Expression of Ceramide in Alzheimer’s
Disease Brains: A Role During Neuronal Apoptosis,” Neuroscience, vol. 130, pp. 657-666, 2005.
[2] S. Becker, J. M. Wojtowicz, “A Model of Hippocampal Neurogenesis in Memory and Mood Disorders,” Cognitive Sciences, vol. 11, no. 2, pp. 70-76, 2007.
[3] R. A. Chambers, M. N. Potenza, R. E. Hoﬀman,
W. Miranker, “Simulated Apotosis/Neurogenesis Regulates
Learning and Memory Capabilities of Adaptive Neural Networks,” Neuropsychopharmacology, pp. 747-758, 2004.
[4] Y. Yokoyama, T. Shima, C. Ikuta, Y. Uwate and Y. Nishio,—5—