社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

ニューロ・グリアネットワークをもった階層型パーセプトロンの提案
生田智敬†

上手洋子†

西尾芳文†

† 徳島大学〒 770-8506 徳島県徳島市南常三島町 2-1
E-mail: †{ikuta, uwate, nishio}@ee.tokushima-u.ac.jp
あらまし

本研究では，ニューロ・グリアネットワークをもった階層型パーセプトロン (MLP) を提案する．ニュー

ロ・グリアネットワークとは，脳内に存在するグリア細胞とニューロンの相互関係をモデル化したネットワークであり，グリア細胞からはニューロンのしきい値へ，ニューロンからはグリア細胞の出力へ影響を与える．このニューロ・グリアネットワークを MLP が保持していることにより従来法と比して優れた解探索が可能であることを二重らせん問題を解くことにより示す．
キーワード グリアネットワーク，階層型パーセプトロン，二重らせん問題

Multi-Layer Perceptron Having Neuro-Glia NetworkChihiro IKUTA† , Yoko UWATE† , and Yoshifumi NISHIO†† Dept. of E.E. Eng., Tokushima University, 2-1 Minami-Josanjima, Tokushima 770-8506, JAPANE-mail: †{ikuta, uwate, nishio}@ee.tokushima-u.ac.jp
Abstract In this paper, we propose a Multi-Layer Perceptron (MLP) having neuro-glia network. Neuro-glia network is a network of model which glial cells interrelate neurons in the brain. Glial cells affect to neurons’ thresholds
and neurons affect to glial cells’ output. By computer simulations for solving Two Spiral Problem (TSP), we confirm
that the proposed MLP having neuro-glia network gains better performance than the conventional MLP.
Key words Glial Network, Multi-Layer Perceptron, Two-Spiral Problem

1. ま え が きことができない．このため，脳内で働いている細胞はもっぱらニューロンであると考えられていた．しかし，近年の観測技術

誤差逆伝播法（BP 法）[1] は，1986 年に Rumelhart によっの向上に伴い，グリア細胞がイオンを用いて情報伝達を行ってて提案された学習アルゴリズムであり，フィードフォワードいることが明らかになってきた [3]．このイオンは，ニューロンニューラルネットワークの学習法として広く利用されている．の電気信号に比べ非常に伝達速度が遅いが，脳の広範囲に対ししかし，BP 法は最急降下法を用いたアルゴリズムであるためて伝搬してニューロンと他のグリア細胞に影響を与えている．

局所最適解に陥りやすいという欠点を持っている．この問題のまた，グリア細胞は様々なイオンの受容体を持っており，ニュー緩和手法として，ニューロンに振動的な値ときにはカオスを加ロンの動作を監視していることも知られている [4] [5]．この例

えることにより解探索能力が向上することが示されている [2]．

として，ニューロンが興奮時に出すグルタミン酸や，その逆のここで，ひとつの疑問が生ずる．ニューラルネットワークとは，ATP 等の濃度調整を行っている．このように，グリア細胞の人間の脳の神経細胞をモデル化したものである．実際の脳内にはたらきはニューロンに対して不可欠なものだと考えられる．

おいても最適な処理をするために，上記のようにニューロンに本研究では，グリア細胞同士が相互作用するグリアネット作用する振動を発生する何かが存在しているのではないかと考ワークとニューラルネットワークを結合したニューロ・グリアえられる．

ネットワークを提案する．また，二重らせん問題 [6] [7] と呼ばそこで，私たちはニューロンとともに脳を形成する細胞である「グリア細胞」に着目した．グリア細胞は長い間，ニューロンに養分を供給する等の補佐的な役割を行う細胞であると認識されてきた．その理由として，ニューロンは情報伝達を行うのに電気信号を用いているが，グリア細胞は電気信号を用いるれる問題を用いて提案手法と従来法の MLP の性能比較を行う．

2. ニューロ・グリアネットワークをもった MLP
この章では，私たちが提案する「ニューロ・グリアネットワー
ク」について説明する．

—1—

2. 1 階層型パーセプトロン
MLP は最も有名なフィードフォワードニューラルネットワー
クであり，パターン想起，パターン分類，データマイニング等様々なアプリケーションに利用されている．この MLP は複数のニューロン層によって構成されており，それぞれ入力層，隠れ層，出力層とに区別される．一般的に，MLP を構成したニューロン数および，層数が多くなるほど複雑な問題を解くことが可能となる．本研究では，図 1 のような隠れ層を 2 つ持った 4 層型の MLP を用い，隠れ層の第二層のニューロンにグリアネットワークを結合した．なお，各層のニューロン数は入力層から 2-20-40-1 という構成になっている．

Ψi (t) =mX

β |k| ψi+k (t − |k|)

(4)

k=−m

なお，ψ は乱数，β は減衰項，k は伝搬範囲を表す．この式 (2)は私たちが提案したモデルであり，各グリア細胞が乱数を生成し，その値が他のグリアに伝搬する [8]．また，伝搬中には，その信号は減衰していくものと考えられるため減衰項 β をかけている．

2. 4 ニューロ・グリアネットワーク
上記の式 (4) では，グリアネットワークから一方的な信号を与えていた．しかし，実際の脳の中ではニューロンとグリア細胞が互いに影響しあうことによって，脳の高次機能を保っていると考えられている．そこで，次のように式 (4) を変化させた．

Ψi (t) =Neural network

Glial network

mX

k=−m


β |k| ψi+k (t − |k|) 0.5 − Oi+k (t − 1)

(5)

ここで O は各ニューロンの出力である．式 (5) では，ニューx

ロンの出力の大きさにあわせて，グリアネットワークの出力が変化する．このような働きを付加することにより，ニューラル・・・・・・

yO

ネットワークの動作に対応した振動を生成可能になると考えている．
ニューロ・グリアネットワークは図 2 のように表現できる．

Input Layer

Hidden Layer

各グリア細胞の発生した振動がグリア細胞間のネットワークをOutput Layer通じて伝搬される．また，個々にニューロンとグリア細胞は結図 1 ニューロ・グリアネットワークをもった MLP.

合しており，それぞれのニューロンの出力に影響される．
Propagating Oscillation

2. 2 ニューロンモデルの更新式

Glial Cell

式 (1) にニューロンの更新式を示す．式 1 はグリアネットワー
クとの結合を持たないニューロンの更新式であり，従来から提案されているモデルと等しい．

xi (t + 1) = fnXwij (t)xj (t) − θi (t)j=1

Neuron!

(1)
O1

なお x はニューロンの入力及び出力，w は結合荷重，θ はし

O2O3

図 2 ニューロ・グリアネットワーク中の振動の伝播.

きい値，f は出力関数である．
次にグリアネットワークを結合したニューロンの更新式を式

3. グリアネットワークの発生する振動2 に示す．
xi (t + 1) = fnXwij (t)xj (t) − θi (t) + αΨi (t)

j=1!

(2)

式 (2) では従来の更新式のしきい値に Ψ というグリアネットワーク項を加えている．これは，グリア細胞が発生するイオンの振動がニューロンの膜電位に対して影響するという現象をモデル化したものである．また，式 (1)，式 (2) ともに出力関数 fにはシグモイドを用いた．

f (a) =11 + e−a

本章では，グリアネットワークがシミュレーション内で実際に振動を出力している様子を示す．今回は，最もグリア細胞同士の相互関係が強くなる隣同士のグリア細胞を観測した結果を示す．

3. 1 各グリア細胞が発生している振動
各グリア細胞は，異なった振動を発生している．ある隣同士のグリア細胞の時間に対する出力の変化を観測する．図 3 中で，点で示した値は実際に 1 個グリア細胞が毎時発生している出力(3)

2. 3 グリア細胞による振動の発生
2.2 において新たなニューロンの更新式を提示した．式 (2) のである．対して，線で示したのは一定時間内の移動平均である．
この図 3 より，隣同士のグリア細胞は全く異なる振動を発生していることがわかる．

Ψ の生成機構を次に示す．

—2—

0.03

0.06
0.05
0.04
0.030.01

ψ1(t)，ψ2(t)ψ1(t)，ψ2(t)0.02

0-0.010.02
0.010-0.01-0.02

-0.02

-0.03

-0.03

-0.04

050100150200250050100150200250tt

図 3 グリア細胞の発生する振動の時間変化.

図 5 ニューロ・グリアネットワークが発生する振動の時間変化.

3. 2 グリアネットワークが発生している振動ベンチマークとして二重らせん問題を用いた．

次に，グリアネットワークが発生している振動を図 4 に示す．

4. 1 二重らせん問題

この出力は，式 (4) で定義されたシステムにより生成されてい二重らせん問題の例を図 6 に示す。二重らせん問題とは，二る．図 3 と比較して図 4 では振動の仕方に偏りが生まれていつの渦を形成する点の座標を学習し，入力された座標がどちらの渦に属するかを解く問題である．この問題は，非線形性の0.1高い問題であることが知られており，ニューラルネットワーク0.08の非線形処理能力を測るためによく用いられる．本シミュレー

ψ1(t)，ψ2(t)0.06

ションでは，学習点の数が 98 および 130 の問題を用いた．

0.04
0.02
0-0.02
-0.04
-0.06
-0.08
050

100

150200250t

図 4 グリアネットワークが発生する振動の時間変化.

る．そして，二つのグリア細胞が発生する値が非常に似たものになっている．このことは，それぞれの移動平均線がほぼ同じ
図 6 二重らせん問題.

軌道を取っていることからもわかる．

3. 3 ニューロ・グリアネットワークが発生している振動
最後に，本研究において提案するニューロ・グリアネットワー
クが発生する振動について示す．上記の二種類の振動の生成機
構ではともに 0 を中心とした振動となっていた．対して，ニューロ・グリアネットワークでは，各振動が異なった中心を持っている．これは，ニューロンの出力によってバイアスがかけられているためである．また，二つの振動はグリアネットワークの4. 2 シミュレーション結果
本研究では，シミュレーション結果を学習回数に対する誤差の変化によって示す．誤差の定義は次式で表される．

n T rue : |ti − Oi | <= 0.2
F alse : |ti − Oi | > 0.2

特徴を保持しており，非常に似た振動となっている．図 5 のように各ニューロンの動作に近い値に対して振動が加わることにより，より大きな影響を与えることができると考えられる．

4. シミュレーション

E=P(F alse)
,N

(6)

(7)

入力座標に対して，出力の値が教師信号と 0.2 以上異なっていた場合，その結果を誤りとし，その誤り数が学習点に対していくつあるかによって最終的な誤差とした．結果の表には，誤差

本章では，私たちが提案するニューロ・グリアネットワークをもった MLP の学習能力を評価する．比較のために従来法通りの MLP，グリアネットワークをもった MLP，しきい値に乱が 0 となった（つまりすべての点において 0.2 以下となった）
割合，誤差が 0.1 以下となった割合，そして全シミュレーションの平均誤差を示した．

数を加えた MLP をあわせてシミュレーション行った．今回は，—3—4. 2. 1 98 点の二重らせん問題

手法が明らかに他の MLP と異なっていることがわかる．他の98 点で構成される二重らせんを各 MLP に学習させた結果をMLP が大きく振れているのに対し，提案手法の学習曲線はほ

表 1 に示す．この結果より，ニューロ・グリアネットワークをとんど振動することなく学習が収束している．

もった MLP が最も良い結果を取っていることがわかる．また，Err< 0.1 の結果に比して Err= 0 が他の MLP より大きく改善1されている．このことから，4 種類の MLP の中で最も局所解0.9から抜け出す能力を持っていると言える．

0.8

MLP having neuro-glia network
MLP with glia network
MLP with glia cell

0.7

表1

98 点を学習した時のシミュレーション結果
60%

83%

4.9%

Glia Network

35%

70%

8.4%

Glia Cell

30%

75%

9.3%Conventional

45%80%

7.6%

Error

Err = 0% Err < 10% AVG
Neuro-Glia

Conventional MLP

0.6
0.50.40.30.20.1

図 7 は 98 点を学習した時の学習曲線の一例である．この図のように，提案手法を用いると学習にかかる収束の時間が他の00100000

MLP に比べ早くなっていることが解る．また，曲線が比較的図8なめらかに変化していることから，局所解の影響を小さく出来ていると言える．

500000130 点を学習した時の学習曲線.

4. 2. 3 二重らせんの分類

1

最後にニューロ・グリアネットワークを用いて二重らせん問

0.9

MLP having neuro-glia network

0.8

MLP with glia network

0.7

MLP with glia cell

0.6

Conventional MLP

題を解く．学習が終了した MLP のに 0.1 < x, y < 0.9 の間ですこしずつ異なる座標を入力していく．そのとき MLP から得られる出力が 0 と 1 のどちらに近いかを調べ色分けした．図 9をみると，一部に誤りが生じているが大局的には二つのらせん

0.5
Error

200000300000400000The number of learning pointが平面上に描かれていることが解る．

0.40.30.90.20.80.100.70100000

2000003000004000005000000.6
y

The number of learning point

図798 点を学習した時の学習曲線.

0.50.44. 2. 2 130 点の二重らせん問題

0.3

次に，130 点を各 MLP が学習した結果を表 2 および図 8 に0.2示す．表 2 より，提案手法を用いた結果が他の結果と比して良い結果となっている．理由として，学習点が増加すると解を得0.10.1ることが難しくなることが上げられる．多くのシミュレーショ

0.50.7

0.9xンにおいて局所解に捕まり，学習点全体を学習することが困難となっている．その点において，本結果よりニューロ・グリア

0.3

図 9 提案手法を用いた二重らせんの分類.

ネットワークをもった MLP は非線形性の強い問題に対しても良い解を得られる可能性が高いことが分る．図 8 から，提案
表 2 130 点を学習した時のシミュレーション結果

Err = 0% Err < 10% AVG

5. ま と め
本研究では，ニューロ・グリアネットワークをもった MLPを提案した．ニューロ・グリアネットワークとは，ニューロン

Neuro-Glia

27%60%13%

Glia Network

3.3%

30%

24%

Glia Cell

0.0%

20%

26%

れを MLP に加えることにより，従来法に比べ解探索能力が向Conventional

6.7%

17%29%

上することを二重らせん問題を解くことにより示した．とグリア細胞の生物学的な特徴をモデル化したものである．こ—4—6. 謝辞

本 研 究 の 一 部 は ，日 本 学 術 振 興 会 の 科 学 研 究 費 補 助 金（22500203）により得られた成果である．
文

献[1] D.E. Rumelhart, G.E. Hinton and R.J. Williams, “Learning Representations by Back-Propagating Errors,” Nature,
vol. 323-9, pp. 533-536, 1986.
[2] L. Holmstrom, P. Koistinen, “Using additive noise in backpropagation training,” IEEE Transactions on Neural Networks, vol. 3, no. 1, pp. 24-38. 1992.
[3] P.G. Haydon, “Glia: Listening and Talking to the Synapse,”
Nature Reviews Neuroscience, vol. 2, pp. 844-847, 2001.
[4] S. Koizumi, M. Tsuda, Y. Shigemoto-Nogami and K. Inoue, “Dynamic Inhibition of Excitatory Synaptic Transmission by Astrocyte-Derived ATP in Hippocampal Cultures,”Proc. National Academy of Science of the U. S. A, vol. 100,
pp. 11028-11028, 2003.
[5] S. Ozawa, “Role of Glutamate Transporters in Excitatory
Synapses in Cerebellar Purkinje Cells,” Brain and Nerve,
vol. 59, pp. 669-676, 2007.
[6] J.R. Alvarez-Sanchez, “Injecting knowledge into the Solution of the Two-Spiral Problem,” Neural Computing & Applications, vol. 8, pp. 265-272, 1999.
[7] H. Sasaki, T. Shiraishi and S. Morishita, “High precision
learning for neural networks by dynamic modification oftheir network structure,” Dynamics & Design Conference,
pp. 411-1–411-6, 2004.
[8] C. Ikuta, Y. Uwate and Y. Nishio, “Chaos Glial Network Connected to Multi-Layer Perceptron for Solving TwoSpiral Problem,” Proc. ISCAS’10, May 2010. (Accepted)—5—