社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

ニューロン新生が階層型ニューラルネットワークに及ぼす影響の調査
横山 裕太†

生田 智敬†

上手洋子†

西尾 芳文†† 徳島大学工学部 〒 770–8506 徳島県徳島市南常三島町 2-1
E-mail: †{yuta, ikuta, uwate, nishio}@ee.tokushima-u.ac.jp
あらましニューロン新生とは，脳内で新たなニューロンが生成されることである．私たちは，ニューロン新生の生物学的な特徴に注目する．これまでの研究で，我々は脳内で新たなニューロンが生成されるニューロン新生を応用した階層型ニューラルネットワーク (Multi-Layer Perceptron with Neurogenesis : MLP with Neurogenesis) を提案した．提案したネットワークは，学習中に新たなニューロンを中間層に生成し、新しいネットワークを構築する．本研
究では，パターン認識を用いてニューロン新生が階層型ニューラルネットワークに与える影響を調査する．同時にパラメータ依存性の調査を行うことでニューロン新生が与える影響についてより詳細な調査を行う．
キーワード

ニューラルネットワーク，新生ニューロン，パターン認識

Research of Influences of Neurogenesis in Multi-Layered neural network
Yuta YOKOYAMA† , Chihiro IKUTA† , Yoko UWATE† , and Yoshifumi NISHIO†† Department of Electrical and Electronic Engineering, Tokushima University
2-1 Minami-Josanjima, Tokushimashi, Tokushima, 770-8506, Japan
E-mail: †{yuta, ikuta, uwate, nishio}@ee.tokushima-u.ac.jp
Abstract Neurogenesis is that new neurons are generated in the human brain. We focus on the characteristicof the neurogenesis with biologically. In the previous study, we have proposed artiﬁcial network model which wasapplied the neurogenesis to Multi-Layer Perceptron (MLP). In this study, we show the eﬀectiveness of the proposed network with neurogenesis for pattern recognition. And we investigate the parameter dependency for detailed
research on the inﬂuences of neurogenesis on MLP.
Key words Neural Network, Neurogenesis, Pattern Recognition

1. ま え が き
成人の脳内には，約 10 万個のニューロンが存在していると言われている．脳内ネットワークは，様々なニューロンが結合

2. 新生ニューロンを応用した階層型パーセプトロン
2. 1 新生ニューロンすることにより構成されている．数年前まで成人の脳内では，ニューロン新生は，従来，発育期においてしか行われないとニューロンは死滅し続ける一方だと考えられていた．しかし，近考えられてきた．すなわち，成人においては，ニューロンの新年の研究において，成人の脳内においても新たなニューロンが生が行われないと言われていた．しかし近年，成人の脳内でも生成されていることが報告された [1]-[3]．この過程は，ニュー新たなニューロンが生成され，ニューロン新生が一生涯続いてロン新生と呼ばれ，成人の脳内で新生ニューロンを活用するこいることが 1990 年代後半に Erickson らによって発見されたとにより，脳細胞数が増え，脳内ネットワークが充実するので[1]-[3]．このニューロン新生を活用することで，脳細胞数が増

記憶能力，学習能力等における問題解決能力が向上していく

え，脳内ネットワークが充実するため，記憶能力，学習能力，と考えられている．私たちは，このニューロン新生の生物学的および思考力等における問題解決能力が向上していくと考えらな特徴に注目し，以前から人工ニューラルネットワークに対しれている．私たちは，このニューロン新生の生物学的な特徴にニューロン新生を応用する研究を行ってきた [4]-[5]．本研究で注目し，人工ニューラルネットワークに応用する．

は，提案手法の学習性能を調査すると同時に様々なアプローチで応用することにより，新生ニューロンが人工ニューラルネットワークへ与える影響についての調査を行う．

2. 2 ニューロンの更新則
本研究では，フィードフォーワードニューラルネットワークの中でも最も有名なネットワークであり，パターン認識や時系列予—1—

測やノイズ除去等の様々な問題に使用されている Multi-Layer

イミングで行う．ひとつは，周期的にニューロンの新生を行う．

Perceptron (MLP) を使用する．この MLP は，複数ニューロ

この場合，ニューロン新生は，学習中の 10 回ごとに行う．もうン層 (入力層・中間層・出力層) によって構成されており，異ひとつのは，カオス的にニューロンの新生を行う．カオスを用なった層のニューロン同士のみが結合することにより構成されいる理由として，カオス的動作が解探索問題に有効である [9]ている．また，MLP による学習では，学習ごとに結合荷重に変と報告されたからである．この場合のニューロン新生は，ロジ化が生じるという特徴を持っている．また，本研究では，MLPスティックマップを用いる．ロジスティックマップの更新式をの学習法のひとつである誤差逆伝搬法 (BP) を使用し，学習を式 (4) に示す．

行う [6]-[8]．
また，ニューロンの更新則は，従来法である MLP で示されている更新則を用いる．
)( n∑wij (t)xj (t) − θ ,xi (t + 1) = fy(n + 1) = αy(n)(1 − y(n)).

(4)

ロジスティックマップは α を変更することで特性が変化する．
本研究では，比較のため α = 3.82740 と α = 4.0 を用いる．

(1)jα = 3.82740 の場合，周期部分とバースト部分に分かれたイン
ターミッテンシーカオス時系列とする．また，α = 4.0 の場合，ただし，x はニューロンの入力および出力，w は結合荷重，θ完全なカオス時系列とする．同時に，本研究では，y = 0.6 をはしきい値，f は出力関数である．本研究では，出力関数にシ基準とする．y が 0.6 から 0.7 の値をとるときにニューロンのグモイド関数を用いる．また，BP で用いられる評価関数とし新生行う．て，教師信号と出力値の二乗誤差 E を式 (2) に示す．

1 ∑∑E =(tpi − opi )2 ,2 p=1 i=1p

3. シミュレーションn(2)本研究では，0 と 1 で構成されている 26 種類のアルファベットを用いてパターン認識を行い，学習性能の評価を行う．図 2

ただし，E はエラー値，P は入力データ数，N は出力層のニューに用いた入力パターンデータを示す．

ロン数，tpi はパターン p を提示した時のユニット i の教師信号，opi はパターン p を提示した時の出力値である．これらより，結合荷重は，式 (3) に示す．
k−1,kk k−1∆p wij= ηpj
opi = −η

∂Ep,k−1,k∂wi,j(3)k−1,kただし， wi,jは k − 1 層の i 番目のニューロンと k 層の j番目のニューロン間の荷重，η は学習率である．

図 2 入力パターンデータ.

本研究では，3 層構造のネットワークを用いる．また，入力層のニューロン数を 35 ニューロン，出力層のニューロン数を 26

本研究では，3 層の MLP を使用し，そのネットワークの中と設定する．同時に，学習スタート時の提案手法で用いるネッ間層においてニューロンの新生を応用する．図 1 は，ニューロトワークの中間層のニューロン数を 10 とする．学習中に中間層ン新生を応用した中間層を持った MLP のネットワーク構造例

で新生するニューロン数の最大数を設定し，1 度の学習に対し，である．

学習回数を 5000 回と設定し，100 回の平均値をとる．学習係数および結合荷重の初期値として，η = 0.005，−0.5 から +0.5の間のランダム値を与えてシミュレーションを行う．また，性能評価の比較対象として以下に示す 5 種類の MLP を用いる．
（ 1 ） The conventional MLP（ 2 ） The MLP with random neurogenesis（ 3 ） The MLP with periodic neurogenesis（ 4 ） The MLP with intermittently chaotic neurogenesis（ 5 ） The MLP with fully chaotic neurogenesis
性能評価には，式 (5) で示している平均二乗誤差 (MSE) を用いる．
図 1 ニューロン新生を応用した MLP.

ニューロンの新生として以下の方法で行う．まず，ニューロン新生の工程として，新たにニューロンを生成する．新生ニューロンによりランダムな値をもった結合が生成される．ニューロン新生により生成された新たな結合荷重により，再び計算を行う．また，ニューロン新生タイミングとして以下の 2 種類のタ

1 ∑(tn − on )2 .
N n=1
N

M SE =(5)3. 1 学習性能の調査
この調査では，5 つの異なるネットワークの学習性能を比較，検討する．まず，結合荷重の初期値を統一し，5000 回の学習を行う．また，比較のため従来法である conventional MLP の中間層のニューロン数を 30 と設定する．同時に，ニューロン新生—2—

を応用したネットワークは，学習スタート時の中間層のニュー表 1 学 習 性 能.

ロン数を 10 と設定し，学習中に 10 個のニューロンを新生する(a) 中間層のニューロン数．(b) 学習処理時間の平均値．(c) エラー率の平均値．
(d) 最小エラー率．(e) 最大エラー率．(f) 標準偏差値.

ように設定する．これらの条件を設定し，シミュレーションした学習性能を図 3 に示す．

(1) The conventional MLP.
(a)

(b)

(c)

(d)

(e)

(f)

101.230.00813

0.003410.01460

0.0021820

2.14

0.003210.00084

0.007470.0015430

3.04

0.002820.00051

0.00809

0.0016140

3.98

0.002960.00045

0.007840.0017450

4.83

0.003300.00035

0.009100.00201(2) The MLP with random neurogenesis.
(a)

(b)

(c)

(d)

(e)

(f)

20

2.77

0.003070.00085

0.006700.0014030

3.65

0.002440.00055

0.006730.00142(3) The MLP with periodic neurogenesis.
(a)

(b)

(c)

(d)

(e)

(f)

20

2.07

0.00306

0.000840.009480.00160

2.83

0.002480.00055

0.006620.0013730

図35 つの異なる MLP の学習性能の一例.

図 3 より，それぞれのネットワークでエラー率は低下していることがわかる．そこで，私たちは，ネットワークに用い(4) The MLP with intermittently chaotic neurogenesis.
(a)

(b)

(c)

(d)

(e)

(f)

20

2.13

0.00288

0.00095

0.008180.0014830

2.96

0.002440.00060

0.007920.00156(5) The MLP with fully chaotic neurogenesis.

られている中間層のニューロン数に注目する．従来法である

(a)

(b)

(c)

(d)

(e)

(f)

conventional MLP では，学習終了時の中間層のニューロン数は

20

2.13

0.002920.000840.00670

0.0012130 と設定している．一方で，ニューロン新生を応用した MLP

30

2.97

0.002340.00059

0.007920.00152の中間層のニューロン数は，学習終了時の中間層のニューロン数は 20 である．すなわち，ニューロン新生を応用したネット

3. 2 パラメータ依存性の調査

ワークは，従来法である conventional MLP の中間層のニュー

この調査では，ニューロン新生を応用したネットワークに用ロン数より少ないニューロン数で同等もしくは，それ以上のエいたいくつかのパラメータを変更し，パラメータ依存性についラー率低下を示すことができた．て調査する．

次に，従来法である conventional MLP での最適な中間層の3. 2. 1 ロジスティックマップのパラメータの変更ニューロン数を調査する．同時に，ニューロン新生を応用した

この調査では，カオス的にニューロンの新生を行うために用ネットワークでは，学習スタート時の中間層のニューロン数をいたロジスティックマップのパラメータである α の変更を行う．

10 と設定し，学習中に 10 個もしくは，20 個のニューロンを新

この α を変更することでロジスティックマップの特性が変化す生する場合の学習性性能を調査する．

る．α を変更した場合の結果を図 4，5 に示す．

表 1(1) は，従来法である conventional MLP の学習性能を示している．表より，従来法での最適な中間層のニューロン数は，エラー率が最も低い 30 であるということが言える．そこ
で，中間層のニューロン数を 30 と設定した conventional MLPとニューロン新生を応用したネットワークの学習性能を比較する．表 1(2), (3), (4), (5) は，ニューロン新生を応用したネットワークのそれぞれの学習性能を示している．表 1 より，ニューロン新生を応用したネットワークは，最適な中間層のニューロン数である 30 を設定した従来法よりも少ないニューロン数で

図 4 異なる α の学習性能 (α = 3.7〜3.825).

高いもしくは，同等な学習性能を得ることが出来ていると言える．同時に，学習処理時間も従来法である conventional MLPよりもニューロン新生を応用したネットワークが速くなっていることがわかる．すなわち，ニューロン新生を応用することにより，学習に大きな影響を与えている結合荷重が変化することにより学習性能の向上に繋がったと考えられる．また，ニューロン新生を応用したネットワークは，従来法よりも少ない中間層のニューロン数のため学習処理速度の高速化に繋がったと考えられる．

図 5 異なる α の学習性能 (α = 3.875〜4.0).

—3—図 4，5 は，ロジスティックマップの 3 周期部分以外を示し

表 3 異なる新生ニューロンの結合荷重の学習性能.ている．これらの図より，大きな変化は見ることが出来ないが，(a) 新生するニューロンの結合荷重. (1) ランダム値. (2) 新生するニューロン

ロジスティックマップの 3 周期前後の部分でエラー率が低下しのひとつ上の結合荷重のコピー. (3) 新生するニューロンのひとつ上の結合荷重の分割. (4) 定数 (正値：+0.25). (5) 定数 (負値：-0.25).ていることがわかる．すなわち，完全なカオス状態でニューロンを新生させるよりも周期解前後のカオス状態が有効であると(1) エラー値の平均.
(a)考えられる．

Proposed network types
Random

3. 2. 2 ニューロンが新生し始めるタイミングの変更
この調査では，ニューロンの新生を行い始めるタイミングの変更を行う．このパラメータは，小さいほど学習中の速い段階でニューロンが新生される．

Periodic

Conv.

Intermittently

Fully

0.00282(1)0.003070.00306

0.00288

0.00292(2)0.003160.003140.00300

0.00313(3)0.003130.003170.00305

0.00306(4)

0.008880.00937

0.00872

0.00883(5)0.008610.008630.008240.00855(2) 標準偏差値.
(a)Proposed network types
RandomPeriodic

Conv.

Intermittently

Fully

0.00161(1)0.001610.001400.00160(2)0.001460.001180.001680.001210.00156(3)0.001030.001180.00101

0.00112(4)0.00272

0.00280

0.00325

0.00296(5)0.002450.002210.00235

0.00238

図 6 ニューロン新生のスタートのタイミングを変更した場合の学習性能.

図 6 より，ニューロンの新生は，学習の遅い段階で行うよりも速い段階で行うことで学習性能が向上すると考えられる．

3. 2. 3 1 度に新生するニューロン数の変更
この調査では，1 度に新生するニューロン数を変更し，学習能力の変化を示す．このパラメータは，大きいほど 1 度に新生するニューロンの数が多いことを示している．
表 2 1 度に新生するニューロン数を変更した場合の学習性能.
(a) 1 度に新生するニューロン数. (b) エラー値の平均.
(a)125(b)

0.00288

0.00287

0.00257

するニューロンのひとつ上の結合荷重のコピー，分割することにより，性能を向上することが出来た．これは，使用しているネットワークである MLP の中間層のニューロンは，学習によりニューロン間の情報を共有していることで得られた結果であると考えられる．すなわち，中間層に存在するニューロンの結合荷重に近い結合荷重をニューロン新生で用いることで学習性能の向上に繋がると考えられる．

4. ま と め
本研究では，ニューロン新生の生物学的な特徴に注目し，パターン認識を用いてニューロン新生が階層型ニューラルネット

表 2 より，大きな変動が見られないが 1 度に新生するニューロン数が多いほうがエラー率が低下していると言える．

3. 2. 4 新生するニューロンの結合荷重の変更
この調査では，新生するニューロンの結合荷重を 5 つ用意し，学習性能の比較，検討を行う．比較対象として，以下に示す 5つの結合荷重を新生するニューロンに与える．
（ 1 ） ランダム値 (−0.5〜 + 0.5)
（ 2 ） 新生するニューロンのひとつ上の結合荷重のコピー（ 3 ） 新生するニューロンのひとつ上の結合荷重の分割（ 4 ） 定数 (正値：+0.25)（ 5 ） 定数 (負値：−0.25)
表 3(1) より，新生ニューロンの結合荷重に定数を与えた場
合，エラー値が高くなり悪い結果となった．すなわち，ニューロン新生に用いる結合荷重には，常に一定である定数を設定するのは，学習性能の低下に繋がると考えられる．しかし，定数以外の結合荷重を設定したネットワークは，新生ニューロンの結合荷重をランダムで与えた場合との大きな変化はみられなかった．
表 3(2) では，標準偏差値を示している．この表より，新生ワークに与える影響を調査した．同時にパラメータ依存性の調査を行うことでニューロン新生が与える影響についてより詳細な調査を行った．比較方法として，5 つの異なる MLP を用いて学習性能を評価した．
ニューロン新生を応用したネットワークに様々なアプローチで応用することにより，学習性能の向上を示すことが出来た．
その結果，学習性能を向上させるための最適な新生タイミング，新生するニューロン数，結合荷重等を示すことが出来たと考えられる．

謝辞
本 研 究 の 一 部 は, 日 本 学 術 振 興 会 の 科 学 研 究 費 補 助 金(24·10018) により得られた成果である.
文

献[1] S. Becker, J. M. Wojtowicz, “A Model of Hippocampal Neurogenesis in Memory and Mood Disorders,” Cognitive Sciences, vol. 11, no. 2, pp. 70-76, 2007.
[2] R. A. Chambers, M. N. Potenza, R. E. Hoﬀman,W. Miranker, “Simulated Apotosis/Neurogenesis Regulates
Learning and Memory Capabilities of Adaptive Neural Networks,” Neuropsychopharmacology, pp. 747-758, 2004.

—4—

[3] H. Satoi, H. Tomimoto, R. Ohtani, T. Kondo, M. Watanabe, N. Oka, I. Akiguchi, S. Furuta, Y. Hirabayashi and T.
Okazaki, “Astroglial Expression of Ceramide in Alzheimer’s
Disease Brains: A Role During Neuronal Apoptosis,” Neuroscience, vol. 130, pp. 657-666, 2005.
[4] Y. Yokoyama, T. Shima, C. Ikuta, Y. Uwate and Y. Nishio,“Improvement of Learning Performance of Neural Network Using Neurogenesis,” Proceedings of RISP International Workshop on Nonlinear Circuits and Signal Processing (NCSP’12), pp. 365-368, Mar. 2012.
[5] Y. Yokoyama, C. Ikuta, Y. Uwate and Y. Nishio, “Performance of Multi-Layer Perceptron with Neurogenesis,” Proceedings of International Symposium on Nonlinear Theory
and its Applications (NOLTA’12), pp.715 718, Oct. 2012.
[6] D.E. Rumelhart, G.E. Hinton and R.J. Williams, “Learning Representations by Back Propagation Error,” Nature,
vol. 323-9, pp. 533-536, 1986.
[7] D.E. Rumelhart, G.E. Hinton and R.J. Williams, “Learning Internal Representations by Error Propagation,” Parallel Distributed Processing, vol. 1, pp. 318-362, 1986.
[8] D.E. Rumelhart, J.L. McClelland, and the PDP ResearchGroup, “Parallel distributed processing,” MIT Press, 1986.
[9] M Hasegawa, T Ikeguchi, T Matozaki and K Aihara,“An analysis on additive eﬀects of nonlinear dynamics forcombinatorial optimization,” IEICE Trans. Fundamentals,
vol. E80-A, no. 1, pp. 206-213, 1997.

—5—