社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

二種類のニューロンを含むニューラルガスとその振る舞い
神田 恵子†

松下 春奈†

西尾 芳文†† 徳島大学工学部 〒 770–8506 徳島県徳島市南常三島 2–1
E-mail: †{kanda,haruna,nishio}@ee.tokushima-u.ac.jp
あらまし

本研究では, 二種類のニューロンを含むニューラルガス (Neural Gas Containing Two Kinds of Neurons:TN-NG) と，二種類の更新関数を含むニューラルガス (Neural Gas Containing Two Kinds of Update Functions:
TF-NG) の２つの手法を提案する．TN-NG では，全てのニューロンがそれぞれ個々の性質に従って学習する．一方，
TF-NG では，全てのニューロンが勝者ニューロンの性質に従って学習する．TN-NG および TF-NG の振る舞いを調査し，従来のニューラルガスよりも効果的な学習結果を得ることを確認する．
キーワードニューラルガス (NG)，特徴抽出，ノイズ除去

Neural Gas Containing Two Kinds of Neurons and its Behaviors
Keiko KANDA† , Haruna MATSUSHITA† , and Yoshifumi NISHIO†† Department of Electrical and Electronic Engineering, Tokushima University
2–1 Minami-Josanjima, Tokushima 770–8506, Japan
E-mail: †{kanda,haruna,nishio}@ee.tokushima-u.ac.jp
Abstract In this study, we propose two new Neural Gas algorithms. One method is the Neural Gas Containing
Two Kinds of Neurons (called TN-NG). In TN-NG, all neurons learn according to own character at each learning.
The other method is the Neural Gas Containing Two Kinds of Update Functions (called TF-NG). In TF-NG, allneurons learn according to winner’s character at each learning. The behavior of TN-NG and TF-NG is investigatedwith computer simulation. We conﬁrm that TN-NG and TF-NG can obtain the more eﬀective learning results thanthe conventional Neural Gas.
Key words neural gas, feature extraction, noise reduction

1. は じ め に
近年，私たちは画像や統計などの多次元量かつ線形分離不可能な膨大な量のデータを扱うことから，比較的小さい計算量で良好な解を得ることが求められている．そこで，脳を簡略化したモデルであるといわれている様々なニューラルネットワークが注目されている．ニューラルネットワークは，教師信号の入力によって問題の最適化を行う教師あり学習と、教師信号を必要としない教師なし学習に分けられ，パターン認識やデータマイニングなど，さまざまな分野に応用されている．そのなかで，画像認識やクラスタリング手法の１つとして注目されているものに，ニューラルガス（Neural Gas: NG） [1] がある．NG は1991 年に Martinetz と Schulten によって提案された順位学習型教師なしニューラルネットワークの１つで，生物学に端を発するモデルであると言われている．NG の学習過程では，入力ベクトルに近い重みベクトルを持つニューロン順に順位付けを行い，その順位に従ってニューロンの重みベクトルの更新を繰り返すことで学習が行われる．しかし，入力の形や密度によっては，離れた複数のクラスタを学習することや，クラスタの端まで分布状態を反映した学習が困難であるといった問題点がある．また，全てのニューロンが全ての入力に反応してしまうた
め，ノイズを含むデータに対しては正確な学習を行えないことも問題点として挙げられる．
その一方で，実社会においては，例えばゾウは遅い心拍速度，ネズミは早い心拍速度を持ち，それぞれ時間に対する感覚が異なっていると言われているように，それぞれが個々に個性を持ちながら行動している．このように，実社会では様々な異なる特徴や感覚を持ったものが共存し，様々な得意不得意といったそれぞれの特徴を補い合っている．また，同じ一個体のあいだでも，年齢やそのときの状況などに応じて，感覚は様々に変化するのが常である．しかし，ニューラルガスネットワークにおいては，全てのニューロンが常に同じ性質を持ち，同じ方式に従って学習している．そこで本研究では, 二種類のニューロンを含むニューラルガス (Neural Gas Containing Two Kinds ofNeurons: TN-NG) と，二種類の更新関数を含むニューラルガス (Neural Gas Containing Two Kinds of Update Functions:TF-NG) の２つの手法を提案する．TN-NG では，近傍順位関数の異なる二種類のニューロンが存在し，それぞれが個々の性質に従って学習する．一方 TF-NG では，全てのニューロンの学習率が，勝者ニューロンの性質に従って変化する．つまり，—1—

TN-NG は二種類のニューロンが個々の特徴を補い合う学習を行う手法であり，TF-NG はその状況に応じて個々のニューロンの能力が変化する手法だと言える．
これらの手法をシミュレーションすることで，TN-NG および TF-NG の振る舞いを調査する．また，それぞれの学習結果の特徴から，TN-NG はノイズリダクションへ，TF-NG は特徴抽出への応用を行い，従来のニューラルガスよりも効果的な学習結果を得ることを確認する．

2. ニューラルガス (NG)(TN-NG1) d 次元の入力ベクトル xj を 1 つ選び、全てのニューロンに入力する．
(TN-NG2) 入力ベクトル xj と，全ての重みベクトル wi の間の距離 dji を， 式 (1) に従って計算する．
(TN-NG3) それぞれのニューロン ci を，距離 dji の短い順に順位付け k = 0, · · · , (M − 1) を行う.
(TN-NG4) ニューロンの重みベクトルを更新する．
wi (t + 1) = wi (t) + E(t)hλT K (t)(xj − wi (t))(5)

hλT K (t) は TN-NG における近傍順位関数である．

従来の NG の学習アルゴリズムについて説明する．NG ネッ
トワークには M 個のニューロンの集合 A = {c1 , c2 , · · · , cM }が存在し，各ニューロン ci (i = 1, 2, · · · , M ) は d 次元の重みベクトル wi = (wi1 , wi2 , · · · , wid ) を持っている. 重みベクト
ルの初期値は入力空間全体にランダムに配置する．

(NG1) d 次元の入力ベクトル xj = (xj1 , xj2 , · · · , xjd ) (j =1, 2, · · · , N ) を 1 つ選び、全てのニューロンに入力する．
(NG2) 入力ベクトル xj と全ての重みベクトル wi との距離
dji を計算する．
dji = kxj − wi khλT K (t, k) = exp (−ki /λT K (t))(6)

このとき，次式に従い，A1 に属するニューロンと A2 に属するニューロンでは異なった λT K (t) を用いる．

( λ ) Tt
f,ci ∈ A1
 λ0

λ0


() Tt
λT K (t) =(7)p(p + λ0 − λf )p+λ−λ
0f
+λf − p,ci ∈ A2(1)

ここで k · k はユークリッド距離を表す．
(NG3) 距離 dji が短い順に，それぞれのニューロン ci に順位
k = 0, · · · , (M − 1) を与える. ここで ki はニューロン ci の順位とする. 順位 0 は xj に最も近いニューロン (勝者ニューロン) を，順位 (M − 1) は xj に最も遠いニューロンを意味する.
(NG4) ニューロンの重みベクトルを更新する．

wi (t + 1) = wi (t) + E(t)hλ (t, k)(xj − wi (t))(2)

t は学習回数，E(t) は学習率，hλ (t, k) は近傍順位関数である．
hλ (t, k) = exp (−ki /λ(t))(3)

λ(t) は近傍順位関数の収束速度を制御する関数であり，E(t) とλ(t) は時間と共に減少する．
t

E(t) = E0 (E0 /Ef ) T ,tλ(t) = λ0 (λ0 /λf ) T(4)

ここで E0 と Ef は E(t) の，λ0 と λf は λ(t) の初期値と最終値をそれぞれ表し，T は最大学習回数である．
(NG5) t < T を満たす間，全入力データに対して (NG1) から (NG4) を繰り返す.

3. 提 案 手 法
3. 1 二種類のニューロンを含むニューラルガス (TN-NG)
1 つ目の提案手法である，TN-NG について説明する．TNNG では，ネットワークに存在する M 個のニューロンのうち，m1 個のニューロンを集合 A1 に，m2 個のニューロンを集合A2 にランダムに分類する (M = m1 + m2 ). A1 と A2 に属するニューロンに対し，近傍順位関数の収束速度を変えることで，A1 に属するニューロン群は急速に収束し，A2 に属するニューロン群はゆっくりと収束するというように，それぞれに異なった特徴を持たせる．重みベクトルの初期値は，従来の NG と同様に，入力空間全体に広がるようにランダムに設定する．

ここで，p は λT K の収束速度を調整するパラメータであり，p < λf とする. これにより，A1 に属するニューロンは急速に収束し，A2 に属するニューロンはゆっくりと収束するという特徴を持つ．
(TN-NG5) t < T を満たす間，全入力データに対して (TNNG1) から (TN-NG4) を繰り返す.

3. 2 二種類の更新関数を含むニューラルガス (TF-NG)
2 つ目の提案手法である，TF-NG について説明する．TF-NG
では，ネットワークに存在する M 個のニューロンのうち，m1個のニューロンを集合 A1 に，m2 個のニューロンを集合 A2 にランダムに分類する (M = m1 + m2 ). 学習率の収束速度を変化させることで，A1 に属するニューロンが勝者ニューロンになった場合は全てのニューロンが急速に収束し，A2 に属するニューロンが勝者ニューロンになった場合はゆっくりと収束するというような特徴を持たせる．重みベクトルの初期値は，従来の NG と同様に，入力空間全体に広がるようにランダムに設定する．
(TF-NG1) d 次元の入力ベクトル xj を 1 つ選び、全てのニューロンに入力する．
(TF-NG2) 入力ベクトル xj と，全ての重みベクトル wi の間の距離 dji を、 式 (1) に従って計算する．
(TF-NG3) それぞれのニューロン ci を，距離 dji の短い順に順位付け k = 0, · · · , (M − 1) を行う. ここで，ki = 0，すなわ
ち xj に最も近いニューロンを，勝者ニューロン c とする.
(TF-NG4) ニューロンの重みベクトルを更新する．
wi (t + 1) = wi (t) + EF (t)hλ (t)(xj − wi (t))(8)

このとき，次式に従い，勝者ニューロン c が A1 と A2 のどちらに属するかで，全てのニューロンの学習率 EF (t) を決定する.

—2—

11

11

0.9

0.9

0.9

0.9

0.8

0.8

0.8

0.8

0.7

0.7

0.7

0.7

0.6

0.6

0.6

0.6

0.5

0.5

0.5

0.5

0.4

0.4

0.4

0.4

0.3

0.3

0.3

0.3

0.2

0.2

0.2

0.2

0.1

0.1

0.1

000.2

0.4

0.6

0.8

1

00(a)

0.2

0.4

0.6

0.8

1(b)

00

0.1
0.2

0.4

0.6

0.8

100

0.2

0.4

(c)

0.6

0.8

1(d)

図 1 2 次元データに対するシミュレーション．(a) 入力データ． (b) 従来の NG の学習結果．
(c) TN-NG の学習結果． ● は A1 ，★ は A2 に属するニューロンを表す．(d) TF-NG の学習結果．● は A1 ，★ は A2 に属するニューロンを表す．

( E ) Ttf,c ∈ A1
 E0
E0) Tt(EF (t) =(9)q(q + E0 − Ef )

q+E−E

0f


+ Ef − q,c ∈ A2

ここで，q は EF の収束速度を調整するパラメータであり，p < Ef とする. これにより，EF の値が勝者ニューロンの性質に従って学習ごとに毎回変化する．
(TF-NG5) t < T を満たす間，全入力データに対して (TFNG1) から (TF-NG4) を繰り返す.

4. シミュレーション結果
まず，図 1(a) のような二次元の入力データに対して, 従来のNG，TN-NG および TF-NG のシミュレーションを行う．入力データ数は 1000 個で，全てのデータはランダムに並べ替えている．従来の NG は M = 200 個のニューロンを持ち，TN-NG
および TF-NG では m1 = m2 = 100 個のニューロンを用いる．
学習は全ての入力データに対して 5 回繰り返す (T = 5000)．学
習パラメータは，以下のように設定する．

(NG)

E0 = 0.7, Ef = 0.01, λ0 = 70, λf = 0.2(TN-NG)

E0 = 0.7, Ef = 0.01, λ0 = 70, λf = 0.2, p = 50

(TF-NG) E0 = 0.7, Ef = 0.01, λ0 = 70, λf = 0.2, q = 50
NG と TN-NG，TF-NG の学習結果を，それぞれ図 1 (b)，(c)，(d) に示す．これを見ると，TN-NG では，二種類のニューロンがそれぞれクラスタの中心部分と外側の部分に分かれ，ニューロンの種類によって領域を持っていることがわかる．これは，二種類のニューロンでは，入力に対する集束力が異なるからである．また、従来の NG と TF-NG では，学習結果の視覚的違いが少なく判断が難しいため、量子化誤差を用いてそれぞれの学習精度を評価する．
ここで，量子化誤差 Qe とは，それぞれの入力ベクトルと勝者ニューロンとの距離の平均を求めたものであり，Qe の値が小さいほど学習精度がよいと言える [3]．
1 ∑kxj − wj kNN

Qe =(10)j=1

表 1 2 次元データに対する量子化誤差 Qe
従来の NG TN-NG

Qe

0.01460.0155

TF-NG
0.0138

表 1 に示されるように，量子化誤差の点においては，従来のNG に比べ TF-NG は優れた値を出しており, 相対誤差で 5.47%の改善がみられるが，TN-NG では逆に学習精度が劣っている．

5. TN-NG のノイズリダクションへの応用
図 1 に対するうシミュレーション結果より，二種類のニューロンでクラスタの中心への集束力が異なることを利用して，TN-NG をノイズリダクションへ応用する．
図 2(a) に示す，ノイズを含む入力データに対してシミュレーションを行う．全データ数は 1000 で，そのうちクラスタの入力データ数は 700 個，ノイズの入力データ数は 300 個であり，全てのデータはランダムに並べ替えている．学習は全ての入力データに対して 5 回繰り返す（T = 5000）．学習パラメータは，
図 1 に対するシミュレーションと同様の値を使用する．
NG と TN-NG の学習結果を，それぞれ図 2(b)，(c) に示す．
これを見ると，従来の NG では全てのニューロンがノイズの影響を受けながら学習してしまっていることがわかる．対して
TN-NG は，入力に対する集束力が強い A2 のニューロンがクラスタを，集束力が弱く A2 のニューロンによってクラスタから追い出された A1 のニューロンがノイズを学習している．
図 2(d) は，図 2(c) の TN-NG の学習結果より，各入力データの勝者ニューロンを調べ，その勝者ニューロンが A2 に属する入力データのみを抽出した結果である．これを見ると，入力データからノイズが除去され，クラスタのみが抽出されていることがわかる．よって，TN-NG はノイズリダクションに利用可能であると言える．

6. TF-NG の特徴抽出への応用
図 3(a) に示されるような，2 次元のターゲットデータ [2] を考える．図 1 に対するシミュレーションにおいて，TF-NG が量子化誤差を減少できたことから，TF-NG を特徴抽出へ応用する．このデータは中心の円とその周りを囲む輪，そして四隅の点の計 6 つのクラスタからなっているが，各クラスタは互いに密度や大きさがそれぞれ異なるため，特徴抽出が困難な問題を含んでいる．データ数 N は 770 個であり，学習条件は図 1の場合と同じとする．

wj は，xj に対する勝者ニューロンの重みベクトルである．
—3—

11

1

10.9

0.9

0.9

0.9

0.8

0.8

0.8

0.80.70.7

0.7

0.7

0.6

0.6

0.6

0.6

0.5

0.5

0.5

0.5

0.4

0.4

0.4

0.4

0.3

0.3

0.3

0.3

0.2

0.2

0.2

0.2

0.1

0.1

0.1

00

0.2

0.4

0.6

0.8

01

0

0.1

0.2

0.3

0.4

(a)

0.5

0.6

0.7

0.8

0.9

0.2

0.3

0.4

0.5

0.6

0.7

1

1
0.9

0.8

0.8

0.8

0.7

0.7

0.7

0.6

0.6

0.6

0.5

0.5

0.5

0.4

0.4

0.4

0.3

0.3

0.3

0.2

0.2

0.2

0.1

0.1

0.1

00
0.4

0.6

0.8

1

0.20.4

00.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

10.8

100.2

0.4

0.6

0.8

1(c)

ターゲットデータに対するシミュレーション．(a) 入力データ． (b) 従来の NG の学習結果．(c) TF-NG の学習結果．

0.01620.0128

従来の NG と TF-NG のシミュレーション結果を図 3(b)，(c)に示す．これを見ると，NG の結果では四隅のクラスタまでニューロンが学習し切れていないのに対し，TF-NG の結果では同じ学習回数でニューロンが四隅のクラスタまで達しているのがわかる．これは，全てのニューロンの学習率関数が学習ごとに変化することにより，入力への集束力と安定性の両方の特徴を持つからである．
0.022

0.020.019
0.018
Qe 0.017
0.016
0.015
0.014
0.013
2.5

33.5421.0% もの改善が見られることがわかる．
また，図 4 は入力データを繰り返す回数 Tmax を変化させ，シミュレーションを行ったときの，量子化誤差をグラフにしたものである (T = N × Tmax )．これを見ると，いずれの回数でも TF-NG のほうが小さい，すなわち優れた値が出ていることがわかる．また，従来の NG に対し入力を 5 回繰り返したときよりも，TF-NG に対し 1 回しか入力しなかったときの方が，良い結果が得られている．したがって，TF-NG は NG に比べて，収束が早く，少ない学習でよい結果が得られることから，特徴抽出に有効であると言える．

7. ま と め
本研究では，二種類のニューロンを含むニューラルガス（TNNG）および二種類の更新関数を含むニューラルガス (TF-NG)を提案した．TN-NG では，それぞれのニューロンが個々に二種類どちらかの近傍順位関数に従って学習し，TF-NG では，毎回の学習ごとに全てのニューロンが勝者ニューロンの属する学習率に従って学習する．また，シミュレーションを行うことで，
TN-NG および TKF-NT の振る舞いを調査し，その結果から，TN-NG はノイズリダクション，TF-NG は特徴抽出への有効性があることを確認した．
文
献Conventional NG
TKF−NG0.021

20.6(b)

従来の NG TF-NG

1.5000ターゲットデータ Qe に対する量子化誤差

Qe1

ノイズを含むデータに対するシミュレーション．(a) 入力データ． (b) 従来の NG の学習結果．(c) TN-NG の学習結果．(d) TN-NG によって抽出されたクラスタ．

0.9

図30.9(d)10.20.8(c)(a)

4.55Tmax

図40.10.900.012
10.10(b)図2

表201

入力の繰り返し回数 Tmax を変化させたときの量子化誤差．

表 2 は，従来の NG と TF-NG のターゲットデータの学習
結果に対する量子化誤差を計算したものである．これを見ると，TF-NG のほうが NG よりも優れた値を持ち，相対誤差で[1] T. M. Martinetz and K. J. Schulten, “A “neural-gas”
network learns topologies. In T. Kohonen, K. Mäkisara,
O. Simula, and J. Kangas, editors,” Artiﬁcial Neural Networks, pp. 397–402, 1991.
[2] A. Ultsch, “Clustering with SOM: U*C”, Proc. Workshop
on Self-Organizing Maps, pp. 75–82, 2005.
[3] T. Kohonen, Self-organizing Maps, 2nd ed., Berlin,Springer, 1995.

—4—