社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

局所的な外部刺激を受ける
グリアネットワークを持つ階層型パーセプトロンの研究
生田智敬†

上手洋子†

西尾芳文†

† 徳島大学〒 770-8506 徳島県徳島市南常三島町 2-1
E-mail: †{ikuta,uwate,nishio}@ee.tokushima-u.ac.jp
あらまし

私たちは，人間の脳内に存在するグリアと呼ばれる細胞の特徴を模したグリアネットワークについて研究を行ってきた．このグリアネットワークは，グリアがそれぞれ異なった振動を発生しており，その振動が互いに影響し合うことによって階層型パーセプトロン (MLP) の性能が向上するというものである．本研究では，各グリアは振動を発生しておらず，一個のグリアに対して外部刺激が加えられたモデルを仮定した．この外部刺激が，グリアネットワーク内を伝搬し他のグリアに伝えられるとともにニューロンに対して入力される．このように外部刺激が加えられたときの MLP の関数近似性能，被ダメージ性能，および汎化性能を示す．
キーワード グリアネットワーク，階層型パーセプトロン，外部刺激

Investigate of Multi-Layer Perceptron with Glial Network Receiving
Local External Stimulus
Chihiro IKUTA† , Yoko UWATE† , and Yoshifumi NISHIO†† Dept. of E.E. Eng., Tokushima University, 2-1 Minami-Josanjima, Tokushima 770-8506, JAPANE-mail: †{ikuta,uwate,nishio}@ee.tokushima-u.ac.jp
Abstract We have proposed the glial network which was inspired from the feature of brain. In the glial network,glias generate independent oscillations and these oscillations propagated neurons and other glias. We confirmedthat the glial network improved the learning performance of the Multi-Layer Perceptron (MLP) by connecting theneurons more effectively than the conventional networks. In this article, we investigate the glial network when
the glias do not oscillate by themselves but only one glia is stimulated by an external noise. The external noisepropagates the glial network and influences to the MLP. By the effect of the one-way influence via the glial network,a kind of position-depending-feature appears in the MLP. The simulation results show that the proposed networkspossesses better learning performance, more biased anti-damaging property, and better generalization capability
than the conventional networks.
Key words Glial network, MLP, External stimulus

1. ま え が き

ロンが複雑に結合し互いに情報交換することによって精神活動を行っている．ただし，人工ニューラルネットワークのように現在，様々なニューラルネットワークが提案されている．中一様な動作ではなく，一部は非常に活発に活動するニューロン，でも，階層型パーセプトロン (MLP) と呼ばれるフィードフォあるいは特定の条件時だけ活動するニューロン等，様々なニューワードニューラルネットワークは，構造が分かりやすく扱いやロンが存在しており，これらは，ニューロンの存在する脳内ですいため様々な種類の問題を解くために用いられている．MLPの位置に依存していると考えられる．外部に近いニューロンはは，ニューロンが層を作っており，異なった層のニューロンと常に外部刺激に影響される状態にあり，対して，内部は安定的結合することによって出力を得ることができる．このとき，同に動作できると考えられる．つまり，実際の脳内のニューロンじ層内でのニューロン同士は結合していない．

は不均一に動作していると仮定できる．

ここで，生物の脳内について考えてみる．脳内では，ニュー本研究では，外部刺激によってニューロンの学習が不均一に—1—

クとして，グリアが形成したグリアネットワークに注目した．

1
1 + e−aグリアとは，ニューロンと似た特徴を持った神経細胞であり，2. 2 グリアネットワーク

脳内に存在している [1]．このグリアは，イオン濃度を変化させ生物学におけるニューラルネットワークでは，グリアの出力ることで脳の状態を保っている [2] [3]．この働きから，外部刺が近くのニューロンに作用するとともに，その影響が広く伝搬激が脳表面に与えられたとき，その外部刺激を内部に伝搬してしていくことで知られている．私たちは，このグリアの特徴かいくと仮定した．このようにグリアによって伝搬された外部刺らグリアネットワークを提案した [5]．

なったモデルを仮定する．この外部刺激が伝搬するネットワー激が，ニューロンの学習にどのように寄与するか調査する．

f (a) =(3)

本研究では，単一のグリアに外部刺激が連続的に加えられ，その外部刺激がグリアネットワークを通じてニューラルネット

2. 外部刺激を受ける階層型パーセプトロンワークに加えられる．以上のようなグリアネットワークの動作

階層型パーセプトロン (MLP) は，最も有名なフィードフォを式 (4) のように定義した．

ワードニューラルネットワークのひとつであり，パターン認識

Ψi (t) = β i−1 ψ(t − i − 1)やデータマイニング等様々な問題を処理できることで知られている．MLP では，ニューロンが層のようになって存在しており，異なった層のニューロン同士が結合することによってネットワークを形成する．本研究では，3 層の MLP(2-10-1) を用い，その隠れ層のニューロンにグリアネットワークを結合する．
そして，1 番目のグリアに外部刺激を入力し，その刺激がグリアネットワークを通じてニューロンに伝えられる図 1 に，外部刺激を受けるグリアネットワークを持った MLP の例を示す．

(i = 1, 2, 3, · · · 10),(4)

ここで，ψ は一番目のグリアに与えられた外部刺激，β は減衰項である．一番目のグリアに入力された外部刺激は，次のグリアに伝搬されるたびに β によって減衰されるとともに 1 サイクル毎に遅れが発生する．このため，ニューロンのしきい値に入力される外部刺激は伝搬しながら徐々に小さくなり，ニューロンの動作に偏りが生まれる．

3. 結

果

この章では，提案する MLP の特性についてカオス時系列データを学習させることによって明らかにする．なお，このカ

External stimulus

オス時系列には式 (5) で与えられるロジスティックマップを用いる．

x(t + 1) = ax(t){1 − x(t)}.

…

ロジスティックマップは a を変更することで特性が変化するこ

Neuron…とで知られており，本研究では，a = 4.0 としてシミュレーションを行う．a = 4.0 のとき，ロジスティックマップは，ランダムGliad(5)振動のように振舞う．私たちは，比較のために 5 つの異なった

図 1 外部刺激を受けるグリアネットワークを持った MLP.

MLP を用いた．
•

従来法による MLP

2. 1 ニューロンの更新則•

グリアネットワークを持った MLP(α = 0.15, β = 0.9)

一般的なニューロンの更新則は，式 (1) のように表される．
!
nXxi (t + 1) = f
wij (t)xj (t) − θi (t) ,(1)•グリアネットワークを持った MLP(α = 0.2, β = 0.8)•

グリアネットワークを持った MLP(α = 0.4, β = 0.6)•

ランダムノイズ注入 MLP(ノイズの振幅 = 0.1)

j=1

ただし，x はニューロンの入力および出力，ω は結合荷重，θ

なお，α，β およびノイズの振幅は，すべてのグリアの振幅値の平均が 1.0 となるように定義した．

はしきい値，f は出力関数である．また，結合荷重としきい値
1は誤差逆伝播法 (BP) によって学習する [4]．
次に，隠れ層のニューロンの更新則について示す．グリアネッ

0.8

トワークの影響はニューロンのしきい値に対して影響すること

0.6が知られているため，式 (1) のしきい値にグリアネットワーク0.4の項を加える．このグリアネットワークを結合したニューロン
0.2の更新則を式 (2) に示す．

xi (t + 1) = fnX
j=1!

wij (t)xj (t) − θi (t) + αΨi (t) ,

0(2)

020

406080100Time

図 2 カオス時系列データ (a = 4.0).

ここで，Ψ はグリアの出力，α はグリアの出力の振幅である．
また，出力関数に用いたシグモイド関数を式 (3) に示す．

図 2 は，ロジスティックマップに，ある初期値を与えたとき生—2—成されるカオス時系列データである．図 3 のように，各 MLPた，加えられるノイズの振幅が一様でない場合，近似性能が減はカオス時系列上の連続した 2 つの値が入力され，その値の時退することから一部のニューロンが局所解から脱出できなくな系列的に次の値を教師データとして受ける．その後，教師デーると考えられる．

タと MLP の出力の差から誤差を求め，BP によって結合荷重

3. 2 被ダメージ性能を変化させることにより学習する．なお，2 入力と教師データ

次に，MLP を構成する隠れ層のニューロンを 1 つ除去したを 1 つの学習データセットとし，100 個の異なった学習データときの関数近似性能を示す．図 4 は，1 番目のニューロンを除セットとして学習する．

去した例である．学習時，隠れ層のニューロンは上記の関数近
Input 1

Input 20.80.60.40.8

Learning

0.60.4

Learning

0.20.2000

1st learning step

1 2 3 4 5 6 7 8 9 10

2nd learning step

するニューロンの位置を 1 番目から 10 番目まで変化させる．以Input 2

0.60.4

Input 20.2

1 2 3 4 5 6 7 8 9 10を行った後，隠れ層のニューロンを 1 つ除去する．また，除去

10.8

Input 1

似性能の学習と等しく 10 ユニット持っている．500000 回学習

Learning

1

1

上を 200 回繰り返し，その平均から MLP の被ダメージ性能をInput 1示すとともに，ニューロンに与えられる振幅の変化による学習
1 2 3 4 5 6 7 8 9 10

3rd learning step

後のニューロンの状態の変化を示す．

図 3 MLP の学習手順.

本研究では，上記のようにカオス時系列を学習したときの，MLP の学習性能を 3 種類の手法によって示す．

•汎化性能

…

被ダメージ性能

また，比較指標として，式 (6) で表される平均二乗誤差 (MSE)…

関数近似性能•…

•図 4 一個のニューロンが除去された MLP の例.

を用いる．
図 5 は 5 種類の MLP に関しての被ダメージ性能である．横

N

M SE =

1 X(ti − Oi )2 .
N i=1

(6)

中において，MSE が大きくなるということは，除去したニュー3. 1 関数近似性能
私たちは，学習後の MLP の出力と教師データの差から MSEを求め，MSE の大きさから各 MLP の関数近似性能を示す．なお，各 MLP は 500000 回学習を繰り返すとともに，異なった初期値を結合荷重に与え 200 回シミュレーションを行う．また，結果の比較として全シミュレーション中の MSE の平均(Avg. Err.)，最小値 (Min.)，最大値 (Max.)，および標準偏差(St. Dev.) を示す．

–ロンが MLP の出力の制御に関して重要な働きをしているということである．対して，MSE が小さくなるということは，そのニューロンが除去されたとしても学習結果に大きな影響が出ないことを示している．図 5 より，従来法やランダムノイズ注
入 MLP はグラフが水平に近くなっている．これは，各 MLP中のニューロンが均等に学習されていることを示している．その要因として，ある程度は初期値に依存するものの，各層内でのニューロンの学習は等価であることが考えられる．対して，
グリアネットワークを結合した MLP においては，β の大きい

表 1 関数近似性能 (10−3 ).

Conv.

軸は除去したニューロンの番号，縦軸は MSE を示している．図

Glia

Glia

Glia

β = 0.9 β = 0.8 β = 0.6

Noise

MLP のほうがよりグラフの傾きが大きくなる傾向が見られる．

–

また，MSE の変化の小さい除去ニューロンは 1 番目に偏ってAvg. Err.

0.327

0.162

0.194

0.2480.121

いる．この 1 番目のニューロンは，グリアネットワーク中で最Min.

0.075

0.054

0.054

0.062

0.058も大きな外部刺激を受けている部分である．この結果から，大Max.

1.467

1.720

1.564

1.4990.163

St. Dev.

0.478

0.2040.304

0.382

0.024

きな外部刺激を受けたニューロンは，MLP の中での重要度が低くなると考えられる．
0.2

表 1 の誤差の平均から，従来法による関数近似は他の MLP

0.180.16

注入 MLP が最も高い関数近似性能を示した．また，β が大き0.14

Convntional

0.12

Glial network (β=0.9)

くなるに従い MSE の平均が小さくなっていることがわかる．

MSE の最小値は，5 種類の MLP の結果がほとんど等しくなっErrorに比べて性能が劣ることがわかる．対して，ランダムノイズ

0.1ている．このことから，局所解の影響が小さい場合は従来法であっても関数近似が同程度に可能であることが言える．以上の0ノイズは一様な振幅を持っていたほうが良いことが言える．まGlial network (β=0.6)

0.06
0.04

結果より，関数近似においては，MLP の学習中に加えられる

Glial network (β=0.8)

0.08
Noise0.02
123456789
The number of neuron position10図 5 一個のニューロンが除去されたときの MLP の関数近似性能.

—3—ここで，図 5 の結果は，200 回のシミュレーションの平均で3. 3 汎 化 性 能あるため結果のばらつきが考慮されていない．そこで次に，200最後に，MLP の汎化性能について示す．このシミュレーショ回のシミュレーションで得た MSE の値を図 6–9 にヒストグラ

ンでは，学習後の MLP に対して学習に用いた初期値とは異なムとして表す．なお，左から順番に隠れ層の 1 番目のニューロる初期値から生成したカオス時系列データを与える．入力に用ン，4 番目のニューロン，10 番目のニューロンをそれぞれ除去いたカオス時系列データの例と学習に用いたカオス時系列デーしたときの結果である．従来法では，3 つのヒストグラムに差タを図 10 に示す．なお，このシミュレーションでは，同様にが見られない．この結果から，ニューロンの位置に依存せず学して生成したテストデータを 10 個用意し，200 個の学習後の習していることがわかる．

MLP に入力したときの MSE の平均を示す．
1200

200200150

150

150

100

100

1000.75050

500.6

0000.90.8

00.2

0.40Error

0.20.4

Learning data

0.50Error

0.20.4

Error

Test data

0.40.3(a) 1st neuron(b) 4th neuron(c) 10th neuron

0.20.1

図 6 従来法の被ダメージ時 MSE ヒストグラム.

00囲に集中している．対して，10 番目のニューロンのヒストグラβ が大きいとき，より強くなることが図 7 と図 8 の比較からいえる．

406080100

図 10 学習データとテストデータ.

様に，1 番目のニューロンのヒストグラムが MSE の小さい範
ムでは，全体に分散し平均的になっている．さらにこの傾向は，20Time次に，グリアネットワークを結合した MLP では，図 5 と同

表 2 は，各 MLP の汎化性能のシミュレーション結果である．
関数近似性能で示した学習結果の性能と同様の傾向を示しているが，従来法と他の MLP との差が小さくなっている．ただし，従来法では標準偏差が非常に大きくなっており，結果のばらつ

200200200150150150100100100505050000.20.4000.20.40

きが他の MLP と比して大きいと言える．
表 2 汎化性能 (10−3 )Conv.
00.20.4

Error

Error

Error

(a) 1st neuron(b) 4th neuron(c) 10th neuron

図 7 グリアネットワークを持った MLP の被ダメージ時 MSE ヒス
トグラム (α = 0.15).

–Glia

GliaGlia

β = 0.9 β = 0.8 β = 0.6

Noise
–

Avg. Err.

0.386

0.353

0.343

0.342

0.355

Min

0.057

0.076

0.083

0.068

0.120

Max

2.131

2.522

2.823

2.845

0.532

St. Dev.

0.550

0.230

0.280

0.418

0.271

200

200

200

150

150

150

100

100

100

次に，テストデータに対して最大 5% のノイズを加えた場合

505050の MSE を示す．ノイズが含まれるため入力されるテストデー

000.20.4000.20.4000.20.4

Error

Error

Error

(a) 1st neuron(b) 4th neuron(c) 10th neuron

タは，MLP が記憶している関数とは異なったデータとなる．このシミュレーションによって，MLP のノイズ除去性能を調べ

図 8 グリアネットワークを持った MLP の被ダメージ時 MSE ヒス
トグラム (α = 0.40).

ることが可能である．表 3 に結果を示す．
上記のノイズを含まない場合と比べて性能が劣化していることがわかる．さらに，従来法は他の MLP と比較して悪い結果

ランダムノイズ注入 MLP は，ほぼ従来法と近い結果となった．ただし，MSE が 0.2 付近での分布が少し変化している．となっていることから，ノイズ除去性能は学習時にノイズを与えられていた場合のほうが高いと言える．また，β が小さくなるに従い結果が良くなっているとともに，ランダムノイズ注入

200200200150150150100100100505050000.2

0.4000.20.40

MLP が最も良い性能を示した．

4. ま と め
00.20.4

Error

Error

Error

(a) 1st neuron(b) 4th neuron(c) 10th neuron

図 9 ランダムノイズ注入 MLP の被ダメージ時 MSE ヒストグラム.

本研究では，グリアネットワークによって伝搬された外部刺激によって，MLP の学習がどのように変化するかを示した．1番目のグリアに入力された外部刺激は，グリアネットワークを通じて他のグリアに伝搬される．伝搬中に振動が減衰されてい—4—

表 3 ノイズを含むデータによる汎化性能 (10−3 )

Conv.
–

Glia

Glia

Glia

β = 0.9 β = 0.8 β = 0.6

Avg. Err.

8.748

6.243

6.562

7.7729Noise–6.000Min3.635

3.195

3.428

3.316

3.222

Max

58.99

20.97

17.39

42.99

17.84

St. Dev.

4.779

1.340

1.457

3.404

1.254

くために各ニューロンに入力される振動は振幅の異なった値となる．
シミュレーション結果より，従来法と比較して振動を入力した MLP は関数近似性能が高いことを示した．また，外部刺激を強く受けるニューロンは，MLP の出力に寄与する割合が減少する傾向が見られた．現実の脳内のニューラルネットワークの働きにおいても，それぞれのニューロンの存在する位置に対してその働きが依存すると考えらる．私たちは，人工ニューラルネットワークにおいても，このような位置依存性を考慮する必要があると考えており，本研究がその第一歩となると期待している．
文

献[1] P.G. Haydon, “Glia: Listening and Talking to the Synapse,”
Nature Reviews Neuroscience, vol. 2, pp. 844-847, 2001.
[2] S. Koizumi, M. Tsuda, Y. Shigemoto-Nogami and K. Inoue, “Dynamic Inhibition of Excitatory Synaptic Transmission by Astrocyte-Derived ATP in Hippocampal Cultures,”Proc. National Academy of Science of U.S.A, vol. 100,
pp. 11023-11028, 2003.
[3] S. Ozawa, “Role of Glutamate Transporters in Excitatory
Synapses in Cerebellar Purkinje Cells,” Brain and Nerve,
vol. 59, pp. 669-676, 2007.
[4] D.E. Rumelhart, G.E. Hinton and R.J. Williams, “Learning Representations by Back-Propagating Errors,” Nature,
vol. 323-9, pp. 533-536, 1986.
[5] C. Ikuta, Y. Uwate and Y. Nishio, ‘ニューロ・グリアネット
ワークをもった階層型パーセプトロンの提案” , 電気情報通信
学会 非線形問題研究会 技術報告, no. NLP2010-31, pp. 13-17,
Jul. 2010.

—5—