社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

グリアパルス連鎖をもつ多層パーセプトロンの研究
生田智敬†

上手洋子†

西尾芳文†

† 徳島大学〒 770-8506 徳島県徳島市南常三島町 2-1
E-mail: †{ikuta,uwate,nishio}@ee.tokushima-u.ac.jp
あらまし

私たちは，脳の中に存在するグリア細胞に注目してきた．グリアは長い間，その活動がニューロンの補助と考えられてきた．しかし，近年の研究により，ニューロンのような情報伝達が可能であり，ニューロンとグリア細胞が互いに影響しあっていることが知られるようになった．そのため，現在，グリア細胞は人の思考活動に密接に関わっていると考えられている．本研究では，グリアの情報伝達に注目し，グリアパルス連鎖をもつ MLP を提案する．
このグリアパルス連鎖は，あるグリアがニューロンにより励起したとき，その励起状態を引き金として，周りのグリアが連鎖的にパルスを発生するモデルである．このグリアによるパルスは，脳内のグリア細胞の生物学的特徴から，ニューロンの膜電位に対して影響するように定義した．このグリアパルス連鎖を MLP に加えることにより，ネットワークの学習性能が向上することをシミュレーションによって示す．
キーワード

グリアネットワーク，階層型パーセプトロン，外部刺激

Investigation of Multi-Layer Perceptron with Pulse Glial Chain
Chihiro IKUTA† , Yoko UWATE† , and Yoshifumi NISHIO†† Dept. of E.E. Eng., Tokushima University, 2-1 Minami-Josanjima, Tokushima 770-8506, JAPANE-mail: †{ikuta,uwate,nishio}@ee.tokushima-u.ac.jp
Abstract A glia is a nervous cell in the brain. Currently, the glia is known as a important cell for the human’s
cerebration. Because the glia transmits signals to neurons and other glias. We notice features of the glia and consider
to apply it for an artiﬁcial neural network. In this paper, we propose a Multi-layer perceptron (MLP) with pulse
glial chain. The pulse glial chain is inspired from the features of the glia. The glia generates a pulse by a connecting
neuron and it excites neighborhood neurons and glias. The pulse is generated as diﬀerent glia, thus, these pulses
look like propagating into the network. We show the MLP with pulse glial chain has better performance than theconventional MLP by computer simulations.
Key words Glial network, MLP, External stimulusに，ニューロンの膜電位に対しても影響する．このようなこと

1. ま え が きから，グリア細胞とニューロンの関係は人の脳の思考活動を研

近年，グリア細胞と呼ばれる脳内の神経細胞が生物学あるい究する上で重要視しなければならない要素である．

は医学分野で盛んに研究されている [1] [2]．グリア細胞は長い

私たちは，このグリア細胞の生物学的な特徴を捉え，人工間，ニューロンの補佐的な役割をする細胞であると考えられてニューラルネットワークに対しグリアによるネットワークを付おり，ニューロンのように研究がなされることはなかった．しか与する研究を行ってきた [4] [5]．当研究においては，グリアがし，脳内のイオンによる活動が観測できるようになり，ニューそれぞれ異なった振動を生成しており，グリア同士が互いに影ロンと同様に活発に活動していることが解ってきた [3]．ここ

響を与え合う．その影響がニューロンに対して伝搬することにで用いられるイオンには，グルタミン酸やアデノシン三リンよりニューラルネットワークの学習性能が向上することを示し

酸，Ca2+ 等ニューロンの活動にも重要なイオンである．特に，てきた．

グリア細胞が様々なイオンの受容体を持っていることや，脳内2+2+

本研究では，多層パーセプトロン (MLP) にパルスグリア連

濃度鎖を付与したニューラルネットワークを提案する．パルスグリの変化は，グリア細胞同士の情報伝達に用いられているとともア連鎖では，ニューロンの近くに存在するグリアがパルス状のCa濃度を変化させることは非常に重要である．Ca—1—

出力を生成する．また，あるグリアがニューロンの出力により，ただし，ψ はグリアの出力，α はグリアとニューロン間の結合励起されたとき，近くに存在するグリアが連鎖的に励起する．

荷重である．グリアの Ca2+ はニューロンの膜電位に影響する

このように，連鎖的に励起することによりパルスがあたかもことが知られているため，本研究では，ニューロンのしきい値

ネットワーク内を伝搬しているように見える．このグリアパルに対してグリアからの影響が入力される．このグリア項は，BPス連鎖が MLP ニューロンに対して影響することにより，MLP法により学習されず独立して働くため，MLP に対して局所解の学習性能が向上することをシミュレーションによって示す．の影響を緩和できると期待される．なお，出力関数にはシグモ

2. グリアパルス連鎖をもつ多層パーセプトロン
MLP は，最も有名なフィードフォワードニューラルネットワークのひとつである．このニューラルネットワークでは，イド関数を用いる．シグモイド関数は次式で表される．

f (a) =

1
1 + e−a(3)2. 2 グリアパルス連鎖

ニューロンが層状に配置されており，異なった層のニューロン

この章では，グリアが生成するパルスとそれに伴い発生する同士が影響し合うことによって，パターン想起，パターン分グリアパルス連鎖について説明する．実際の脳内に存在するグ類，データマイニング等の処理が可能である．本研究で用いる

リア細胞は，Ca2+ ，グルタミン酸，アデノシン三リン酸等様々

MLP は 3 層のニューロン層から構成されており，入力層，中なイオン受容体を持っている．また，グリア細胞は Ca2+ の濃間層，出力層それぞれ 4，10，1 個のニューロンを持っている．

度変化を引き起こすことが確認されており，この Ca2+ の濃また，今回提案するグリアパルス連鎖を中間層に与えている．

度変化を用いて情報伝達を行っていると考えられている [7] [8]．

図 1 にグリアパルス連鎖をもつ MLP のモデルを示す．

Ca2+ の濃度変化は，ニューロンによってグリア細胞が励起されたときにパルス状に生成される．また，あるグリア細胞が励起したとき連鎖的に周りに存在するグリア細胞が励起する Ca2+ウェーブと呼ばれる状態が観測される．
以上のような，生物学的な特徴を模したグリアパルス連鎖を提案する．本研究では，1 番目のグリアのみがニューロンの出力によって励起されると仮定し，他のグリアは 1 番目のグリアの励起によって連鎖的に励起される．式 (4) に一番目のグリアのパルス発生条件を示す．
{1, (θn < y1 ) ∩ (θg > ψ1 (t))
ψ1 (t + 1) =γψ1 (t), else,(4)ただし，θn はグリアがニューロンの出力によって励起されるし
図1

グリアパルス連鎖をもつ MLP.

きい値，θg は不応期間の長さ，γ はグリアのパルスの減衰項である．式 (4) では，一番目のグリアが結合したニューロンの出

2. 1 ニューロンの更新式

力が θn を超えたとき一定量のパルスが発生する．その後，時間ニューロンは多入力，単出力のモデルで与えられ，一般的にと共に指数関数的に減少する．また，グリアはニューロンと同更新式は式 (1) で表される．
( n)∑yi (t + 1) = fwij (t)xj (t) − θi (t) ,様に一度発火したとき，次の発火が起こるまで不応期間を持っている．この不応期間をしきい値 θg で表している．次に，一(1)番目のグリア以外のグリアの励起条件について式 (5) に示す．

j=1{

ここで，y はニューロンの出力，x は前の層のニューロンからの入力，w は各ニューロン間の結合荷重，θ はしきい値，f は

ψi (t + 1) =1, (θt < ψ1 (t − i ∗ D)) ∩ (θg > ψi (t))γψi (t), else,(5)出力関数を表す．MLP では，結合荷重を変化させることによただし，θt はそのグリアが励起するために必要な一番目のグリり様々な問題を解くことが可能である．この結合荷重の学習法

アのパルスの大きさ，D はグリア間でパルスが伝搬するときにには誤差逆伝播法 (BP) が用いられる [6]．ただし，この BP 法どれだけの時間が必要かを示している．

は最急降下法を用いているため，局所解の影響が大きく頻繁に以上の条件より，D = 1 のときの各グリアが出すパルス出力問題となる．この局所解の影響の緩和には様々な手法が提案さの例を図 2 に示す．D = 1 であるため，一番目のグリアが励起れている．

してから 1 回ずつずれたタイミングで次のグリアが励起してい次に，グリアパルス連鎖を結合したニューロンの更新式を示す．

xi (t + 1) = f( n∑j=1

よってニューロンの学習に影響することが考えられる．

)
wij (t)xj (t) − θi (t) + αψi (t) ,る．このように，近いグリア同士が似た時間に励起することに比較のために，各グリアがランダムに励起したときのパルス(2)

出力を図 3 示す．各グリアが関係性を持たず，ランダムに励起しているため，ほぼ同時に励起する場合と，全く異なった時間—2—に励起する場合が見られる．本研究では，この 2 種類のパルス(1) 従来法 (Conventional MLP)

発生条件を用いて，それぞれが MLP の学習性能に与える影響(2) グリアパルス連鎖をもつ MLP (D = 1, MLP with pulseを調査する．

glial chain)(3) グリアパルス連鎖をもつ MLP (D = 0, MLP with pulse
glial chain)(4) ランダムにパルスが入力される MLP (MLP with random

0.5timing pulse).

0.4
0.3
0.2
0.1
0
975311

図2112131415161718191141
121 131101 111

グリアパルス連鎖によるパルス伝搬 (D = 1)

図 4 Skew tent map.

3. 1 学 習 性 能

0.50.4

表 1 にシミュレーション結果を示す．表 1 より，提案手法で0.3あるグリアパルス連鎖をもつ MLP が最も学習性能が高いこと

0.20.1がわかる．また，従来法の誤差の最大値 0.06 付近であるのに0対して，提案手法では 0.02 付近まで減少されることが出来て97いる．この結果より，従来法にくらべ局所解脱出能力高いこと

5311112131415161718191141121 131101 111が言える．また，D = 1 と D = 0 において，最大誤差は似ているものの，平均誤差で大きく違いが生じている．このことから，局所解脱出能力だけではなく初期値に対する依存性も他の図 3 ランダムに生成されるパルス.

MLP に比べ性能が高くなったことが言える．
表 1 Learning performance.

3. 結果

Avg. Err.

Max.

St. Dev.

(1)0.00290.0001 0.0605

Min.

0.0079

本研究では，提案する MLP に skew tent map から生成され(2)

0.00080.0001 0.0202

0.0022たカオス時系列を学習させる．skew tent map は式 (6) によっ(3)0.0017

0.0001 0.0209

0.0037て与えられる．

(4)0.00120.0001 0.0603

0.0048{ 2ϕ(t)+1−A (−1 <= ϕ(t) <= A)
1+A,

ϕi (t + 1) =−2ϕ(t)+1+A
1−A(6)(A < ϕ(t) <= 1)

次に，各 MLP の学習曲線の例を図 5 示す．まず，従来法は早い段階で収束している．また，D = 0 のグリアパルス連鎖をもつ MLP も同様な軌道をとっている．対して，ランダムにパなお，ϕ は skew tent map の各時間ごとの値，A は skew tent

map の特性を決定する項である．本シミュレーションでは，
A = −0.1，A = 0.1 の異なった skew tent map から時系列データを生成し，各時系列データがどちらの skew tent map から生成されたものかを学習させる．図 4 は skew tent map の写像である．
学習性能を学習後の誤差平均 (Avg. Err.)，全シミュレーション中の最小誤差 (Min.)，全シミュレーション中の最大誤差(Max.)，結果の標準偏差 (St. Dev.) を用いる．また，シミュレーションには，4 種類の MLP 用い，それぞれ 200 回のシミュレーションから上記の結果を得る．

ルスを発生する機能を持った MLP と D = 1 のグリアパルス連鎖をもつ MLP は局所解を抜け出し，より優れた解を見つけることができていることがわかる．この 2 種類の MLP 比較したとき，両学習曲線とも振動的になっている．ここで，提案手法がより良い解を得た理由として，複数のグリアが短い間隔で連続的に励起するため，同時に大きなエネルギーを MLP に対して与えることができる．また，不応期間があるため，ほとんどMLP に対してエネルギーが加えられない時間も存在する．この不応期間によって，与えられたエネルギーによって局所解を抜けだしたあと，正しい入力をもとに学習が行われるため，効率よく学習が進んだと考えられる．

—3—

10.5

Conventional MLP

0.4

MLP with pulse glial chain (D=1)

0.1

0.3

MLP with pulse glial chain (D=0)

0.2

MLP with random timing pulse

0.1

MSE

090.017530.001

11

図71121314151

61

71

8191

141
121 131101 111

グリアパルス連鎖によるパルスの伝搬 (D = 9).

0.0001010000

20000

30000

40000

50000

Learning time

図54. ま と め

各 MLP の学習曲線.

本研究では，MLP にグリア細胞の特徴を模したグリアパル
ス連鎖を与えたグリアパルス連鎖をもつ MLP を提案した．グ3. 2 パラメータ依存性
最後に，グリアパルス連鎖をもつ MLP のパラメータによる学習性能を示す．本シミュレーションでは，グリアパルス連鎖の特性に最も寄与しているパラメータである D と α を変化させたときの学習性能を図 6 に示す．なお，シミュレーション回数を 100 回とし，学習後の平均誤差を表している．図 6 より，α が小さくなるに従い平均誤差が悪くなる傾向が見られる．この理由として，他のパラメータに関係なく α が小さくなることによってニューロンに入力されるパルスの最大値が制限されるからである．そのため，MLP 局所解につかまりやすくなってしまうと考えられる．次に，D についてみると，D = 1 とリアパルス連鎖では，一番目のグリアがニューロンの出力によって励起され，そのグリアのパルスが連鎖的に他のグリアに影響を与える．これにより生じた各グリアのパルスが，ニューロンのしきい値に入力される．
このグリアパルス連鎖をもつ MLP が従来法を含めた他のMLP と比較して，学習性能が優れていることをシミュレーションによって示した．また，グリアパルス連鎖に関わるパラメー
タの学習性能に対する影響を調査し，優れた結果が得られるパラメータを示した．

謝辞D = 9 において α に大きく依存することなく平均誤差が小さくなっていることがわかる．この要因として，D = 1 あるいはD = 9 においては，必ずほぼ同時に励起するグリアが存在する事が挙げられる．図 7 に D = 9 のときのグリアパルス連鎖の例を示す．このとき，2 個のグリアがほぼ同時にパルスを生成していることがわかる．また，D = 1 のときは近接したグリア同士はほぼ等しい時間に励起する．以上より，同時にパルスがニューロンに対して与えられることにより大きなエネルギーを与えることが可能であると言え，そのエネルギーにより，局所解の影響を緩和できると考えれる．

x 10−3876MSE

543210108160.8
D0.640.420.20

図6α0グリアパルス連鎖をもつ MLP のパラメータ依存性.

本 研 究 の 一 部 は 、日 本 学 術 振 興 会 の 科 学 研 究 費 補 助 金(22500203) により得られた成果である。
文

献[1] P.G. Haydon, “Glia: Listening and Talking to the Synapse,”
Nature Reviews Neuroscience, vol. 2, pp. 844-847, 2001.
[2] S. Koizumi, M. Tsuda, Y. Shigemoto-Nogami and K. Inoue, “Dynamic Inhibition of Excitatory Synaptic Transmission by Astrocyte-Derived ATP in Hippocampal Cultures,”Proc. National Academy of Science of U.S.A, vol. 100,
pp. 11023-11028, 2003.
[3] S. Ozawa, “Role of Glutamate Transporters in Excitatory
Synapses in Cerebellar Purkinje Cells,” Brain and Nerve,vol. 59, pp. 669-676, 2007.
[4] C. Ikuta, Y. Uwate and Y. Nishio, ‘ニューロ・グリアネット
ワークをもった階層型パーセプトロンの提案” , 電気情報通信学会 非線形問題研究会 技術報告, no. NLP2010-31, pp. 13-17,Jul. 2010.
[5] C. Ikuta, Y. Uwate and Y. Nishio, ‘局所的な外部刺激を受けるグリアネットワークを持つ階層型パーセプトロンの研究”, 電気情報通信学会 非線形問題研究会 技術報告, no. NLP2010-126& NC2010-90, pp. 7-11, Jan. 2011.
[6] D.E. Rumelhart, G.E. Hinton and R.J. Williams, “Learning Representations by Back-Propagating Errors,” Nature,vol. 323-9, pp. 533-536, 1986.
[7] G. Perea and A. Araque, “Glial Calcium Signaling andNeuro-Glia Communication,” Cell Calcium, vol. 38, 375382, 2005.
[8] S. Kriegler and S.Y. Chiu, “Calcium Signaling of Glial Cells
along Mammalian Axons,” The Journal of Neuroscience,
vol. 13, 4229-4245, 1993.

—4—