141

数理解析研究所講究録
第2011巻 2016年 141-146

On conservation of states and learning processes
in basic self‐organizing maps
with one‐dimensionally indexed array(1次元配列 SOM における状態保存性と学習プロセスについて)
秋田県立大学システム科学技術学部

星野満博(Mitsuhiro Hoshino)

Faculty of Systems Science and Technology, Akita Prefectural University1

自己組織化マップモデル

本報告は Kohonen 型アルゴリズム [8] として知られている自己組織化マップの学習プロセスモデルにおける数理的特性についての一つの理論的考察である.自己組織化マップは,アルゴリズムとして非常にシンプルである.また,非常に実用的であり広範囲に応用例を有する.

自己組織化マップの学習プロセスモデルにおけるノードの配列とノードの値との間に現れるある種の数理的特性について,ノードからノード値への写像としてのモデル関数とその推移について論ずる.特に,整列化の形成過程と状態クラスの閉性に注目する.
本報告では,1次元配列1次元入力を有する自己組織化マップモデルにおける吸収状態クラスである単調性の保存則に関して,より一般的な不均一 な学習率をもつ学習プロセスに拡張した場合について言及する.また,そこでの数値例において,不均一な学習率の違いによって,その収束の速さがどのように変化するかについての数値計算結果を与える.
本報告では,自己組織化マップモデルをノード,ノードの値,インプット,学習プロセスの4つの要素によって,以下の様に定義する.

(I, VX, \{m_{k}(\cdot)\}_{k=0}^{\infty})(i) I をすべてのノードの集合とする. I は,距離 d をもつある距離空間の加算部分集合とする.

(ii) 各ノードは,それぞれ1つの値をもつ.

V をノードの値の空間とする.

空間であると仮定する. V におけるノルムを \Vert\cdot\Vert とする.

m(i) をノード i の値として,その対応 m:I\rightarrow V をモデル関数と呼ぶことにする.また,全体,mo: I\rightarrow V を初期モデル関数とする.

(iii) X\subset V を入力集合とする.

x_{0}, x_{1}, x_{2} ,.

.

.

V はノルム\in X を入力列とする.

M をモデル関数の142(iv) 学習プロセスが次のように定義する.

m_{k+1}(i)=(1-$\alpha$_{mx}k,k)m_{k}(i)+$\alpha$_{mx}x_{k}k,k0\leq$\alpha$_{mx}k,k\leq 1 を満たす学習率を表す.

ここで, $\alpha$_{m_{k},x_{k}} は,例えば,(1)n がある場合を考える.そのそれぞれに対してノードの個のノード1, 2,値 m_{0}(1) m_{0}(2)m_{0}(n) が与えられているとする.このとき,入力とこれに伴う学習
n.

,,.

.

.

.

,.,

により各ノードの値が更新される. x_{0}\in X が入力されたならば,m_{1}(i)=(1-$\alpha$_{m_{0},x0})m_{0}(i)+$\alpha$_{m0,x0}x_{0}により,ノードの値を更新する.入力 x_{1}, x_{2}, x_{3}に対して,これを繰り返すことにより,モデル関数 m_{1}, m_{2}, m_{3}が逐次に生成され,ノードの更新が更新される.学習を繰り返したとき,各ノードとそれらの値との間に,ある種の規則性が高い頻度で現れる.
本報告では,この現象をモデル関数の推移とその数理的な特性として捉え,議論する.
,,.

2.

.

.

.

.

.

1次元ノード配列 \mathbb{R} 値モデルと状態保存

次のような設定の下での本質的かつ単純な自己組織化マップモデルを考える.

(\{1,2, \ldots, N\}, V\subset \mathbb{R}, X\subset \mathbb{R}, \{m_{k}(\cdot)\}_{k=0}^{\infty})
学習プロセス以外を以下のように仮定する.

(i)

ノート.

I=\{1, 2, . . . , N\}\subset \mathbb{N}, d(i,j)=|i-j| とする.

(ii) ノード値. V\subset \mathbb{R},m:I\rightarrow V とする.ここで,ノード値の空間 V におけるノルムとして絶対値を用いることする.

(iii) 入力. \{x_{k}\}_{k=0}^{\infty}\subset X\subset \mathbb{R} とする.
基本的な学習プロセスとして次のタイプが挙げられる.この学習プロセスに対して以下の基本的な性質が成り立つ.
Theorem 1

1次元入力型自己組織化マツプ(\{1,2, \ldots, N\}, V\subset \mathbb{R}, X\subset \mathbb{R}, \{m_{k}(\cdot)\}_{k=0}^{\infty})
において,次の学習プロセスを仮定する.
学習プロセス L_{A} (1 次元配列, \mathbb{R} ‐値ノード,$\epsilon$=1 )(a) 学習範囲 :I(m_{k}, x_{k})=\{i^{*}\in I|i^{*}=\mathrm{a}\mathrm{r}_{i\in I}\mathrm{g}\mathrm{m} |m_{k}(i)-x_{k}|\},
inN_{1}(i)=\{j\in I||j-i|\leq 1\} (i\in I).

(m_{k}\in M, x_{k}\in X)

,

143

(b) 学習率: 0\leq $\alpha$\leq 1.
(c) 更新後の値:

m_{k+1}(i)=\left\{ begin{ar y}{l (1-$\alpha$)m_{k}(i)+$\alpha$x_{k}&(i\n bigcup_{ki^*}\inI(m_{k},x)N_{1}(i^{*})\tex{のとき})\ m_{k}(i)&(i\not\in bigcup_{ki^*}\inI(mxk)},N_{1}(i^{*})\tex{のとき}) \end{ar y}\right.
k=0 , 1, 2,..

.

.

このとき,モデル関数に対して以下が成り立つ.

(i) モデル関数 m_{k} が I 上で単調増加であるならば,モデル関数 m_{k+1} も I 上で単調増加である.

(ii) モデル関数 m_{k} が I 上で単調減少であるならば,モデル関数 m_{k+1} も I 上で単調減少である.

(iii) モデル関数 m_{k} が I 上で狭義単調増加であるならば,モデル関数 m_{k+1} も I 上で狭義単調増加である.

(iv) モデル関数 m_{k} が I 上で狭義単調減少であるならば,モデル関数 m_{k+1} も I 上で狭義単調減少である.

ここでの単調増加性,単調減少性のように,モデル関数が一度その状態になると,その状態が保存されるという意味において,このような状態のクラスを自己組織化マップモデ
ルの閉じた状態クラスと呼ぶことにする.
3.

不均一学習率モデルにおける閉状態クラス

本報告では,1次元配列1次元入力をもつ自己組織化マップモデルにおける吸収状態クラスである単調性の保存則に関する結果を,より一般的な不均一 な学習率を伴う学習プロセスを有する場合に拡張すると共に,その下で閉性を有するための十分条件を与える.証明は [7] を参照.
Theorem 2

1次元入力型自己組織化マツプ(\{1,2, \ldots, N\}, V\subset \mathbb{R}, X\subset \mathbb{R}, \{m_{k}(\cdot)\}_{k=0}^{\infty})
において,次の学習プロセスを仮定する.
学習プロセス L_{A}( $\epsilon$=1,2, \ldots, $\alpha$_{i})(a) 学習範囲 :I(m_{k}, x_{k})=\displaystyle \{i^{*}\in I|i^{*}=\arg\min_{i\in I} |m_{k}(i)-x_{k} (m_{k}\in M, x_{k}\in X)
N_{ $\epsilon$}(I(m_{k}, x_{k}) =\displaystyle \bigcup_{ki^{*}\in I(mxk)},\{i\in I| i-i^{*}|\leq $\epsilon$\}.

,

144

図1: 箱ひげ図 (最小値,平均値一SD, 平均値,平均値 +\mathrm{S}\mathrm{D} 最大値). ($\alpha$_{i^{*}-1}, $\alpha$_{i}*, $\alpha$_{i^{*}+1}) は学習率の組.外れ値を考慮せず.同一入力列.分散分析を実施した結果,有意な差が認められる.
,(b) 学習率 $\alpha$_{i}:\{$\alpha$_{i}\}\subset[0 1) かつ各 i^{*}\in I(m_{k}, x_{k}) に対して,$\alpha$_{i}\leq$\alpha$_{i+1},

i=i^{*}- $\epsilon$, i^{*}- $\epsilon$+1$\alpha$_{i}\geq$\alpha$_{i+1},

i=i^{*}, i^{*}+1,.

.

.

,,.

.

.

,i^{*}-1,i^{*}+ $\epsilon$-1を満たす.

(c) 値の更新 :m_{k+1}(i)=\left\{ begin{ar ay}{l (1-$\alpha$_{i})m_{k}(i)+$\alpha$_{i}x,\ m_{k}(i), \end{ar ay}\right.

i\in N_{ $\epsilon$}(I(m_{k}, x_{k})) のとき,上記以外のとき.

このとき,モデル関数 m_{k} が I 上で単調増加であるならば,モデル関数 m_{k+1} も I 上で単調増加である.
上記の結果から以下が成り立つ.
Theorem 3Theoreml で,学習プロセス L_{A} の学習範囲を $\epsilon$=1 2,,.

.

.とし,学習率を0\leq $\alpha$<1 とした場合においても,同様に単調性が保存される.

4.

不均一学習率の違いよる収束性

ここでは,数値例を与え,不均一な学習率の違いによって,その収束の速さがどのように変化するかについて数値計算を実施し,検証する.
Example 1 学習プロセス \mathrm{L}_{\mathrm{A} ( $\epsilon$=1) をもつノードの個数が30である場合を考える.ノー10 \} 上の一様分布により発生させた値を用い,入力は \{0 10 \} 上のドの初期値は \{0 1,,.

.

.

,,145

単調化回数(30nodes, 60 times)
35000

籍ひげ国 [最小値,平均値\tilde{}

S\mathrm{D}, 平均値,平均値 *\mathrm{S}\mathrm{D},最大値》

30000

25000

麟20000回

薯團15000
10000

5000

0

\{0.5_{l}0.5_{l}0.5)(0.75, 0.75, 0.75)(0.95, 0.95 o.95),{o.375. o.75, o.375}(o.45. o.9. o.45 \}学習率の組

図2: 箱ひげ図 (最小値,平均値一SD, 平均値,平均値 +\mathrm{S}\mathrm{D} 最大値). ($\alpha$_{i^{*}-1}, $\alpha$_{i}*, $\alpha$_{i^{*}+1}) は学習率の組.外れ値を考慮せず.
,単鋼化回数 (60nodes, 20 lmes)
鏑ひげ図 (最小値,四分位凱中央価四分位凱最大鋤

{0.5,0.5, 0. \mathrm{S})(0.75,0.75, 0.75)(0.95,0.95,0.95)( 0.375,0.75,0.375 \}(0.45,0.9,0.45 \}学習率の組

図3: 箱ひげ図 (最小値,四分位数,中央値,四分位数,最大値). ($\alpha$_{i^{*}-1}, $\alpha$_{i}*, $\alpha$_{i^{*}+1}) は学習率の組.
外れ値を考慮せず.同一入力列.更新回数の上限を120,000回として実施したが,上限回数で単調化していないものは,上限値として作成している.

一様分布によって発生させたものを用いている.図1は,5種類の学習率の組のそれぞれに対して,20回の実験を実施し単調化するまでの回数を比較したものである.口
図2は,上記の例と同じ設定のノードの個数が30の場合において,5種類の学習率の組のそれぞれに対して,入力列も変えて60回の実験を実施し単調化するまでExample 2の回数を比較したものである.口Example 3 図3は,前述の例と同じ設定で,ノードの個数が60の場合おける結果である.5種類の学習率の組のそれぞれに対して,20回の実験を実施し単調化するまでの回数

146を比較したものである.三つの例のそれぞれの結果において,同様の傾向をみることができる

口

参考文献

[1] M. Cottrell and J.‐C. Fort, Étude dun processus dauto‐organisation, Annales de lInstitut
Henri Poincaré, 23(1) (1987), pp.1‐20 (in French)[2] E. Erwin, K. Obermayer, and K. Schulten, Convergence properties of self‐organizing maps,
In T. Kohonen, K. Mäkisara, O. Simula, and J. Kangas, editors, Artificial Neural Networks,

Amsterdam Netherlands Elsevier (1991), pp.409‐414[3] E. Erwin, K. Obermayer and K. Schulten, Self‐organization maps: stationary states,metastability and convergence rate, Bio. Cybern., 67 (1992), pp. 35‐45.
E.
Erwin, K. Obermayer and K. Schulten, Self‐organization maps: ordering, convergence[4]
properties and energy functions, Bio. Cybern., 67 (1992), pp. 47‐55.
[5] M. Hoshino and Y. Kimura, Ordered states and probabilistic behavior of self‐organizing
maps, Nonlinear Analysis and optimization (Shimane, 2008), Yokohama Publishers, pp.
31−44[6]M. Hoshino and Y. Kimura, State preserving properties in self‐organizing maps with inputs
inan

inner product space, Nonlinear

Analysis and Convex Analysis (Tokyo, 2009), pp.

65‐76.

[7] M. Hoshino, On state preserving property and nonexpansivity in self‐organizing maps, tobe published in J. Nonlinear and Convex Analysis, Vol.16 (2015).
[8] T. Kohonen, Self‐Organizing Maps, Third Edition, Springer, 2001.