数理解析研究所講究録
第 1643 巻 2009 年 157-166

157

Ordered states and absorbing states in basic self-organizing maps
(自己組織化マップモデルにおける整列状態と吸収状態について)
秋田県立大学システム科学技術学部 星野満博 (Mitsuhiro Hoshino)
Faculty of Systems Science and Technology, Akita Prefectural University

1.

基本的な自己組織化マップモデル

本報告は Kohonen 型アルゴリズム [7] として知られている自己組織化マップモデルにおける整列化とモデル関数の性質に関するーつの理論的考察である. 自己組織化マップモデ
ルにおけるノードの配列とノードの値との間に現れるある種の規則性について, モデルの吸収状態と整列化の形成過程における確率的挙動に注目して考察する.
自己組織化マップは非常に実用的であり広範囲に応用例を有し, アルゴリズムも非常にシンプルであるが, その数学的構造はあまり明らかではない.
本報告では, 自己組織化マップモデルをノード, ノードの値, インプット, 学習プロセ
スの 4 つの要素によって, 以下の様に定義する.

(i)

$I$

をすべてのノードの集合とする.

$I\#h$ ,距離をもつある距離空間の加算部分集合

$d$

とする.

(ii) 各ノードは, それぞれ 1 っの値をもつ. $V$ をノードの値の空間とする. $V$ はノルム空間であると仮定する. $V$ におけるノルムをとする. $m(i)$ をノード の値として, その対応 $m:Iarrow V$ をモデル関数 (model function, reference function) と呼ぶことにする. また, $M$ をモデル関数の全体,: $Iarrow V$ を初期モデル関数とする.
$\ldots\in X$ を入力列とする.
(iii) $X\subset V$ を入力集合とする.
(iv) 学習プロセスとして以下の 2 つを仮定する.
$i$$\Vert\cdot\Vert$$m_{0}$$x_{0},$ $x_{1},$ $x_{2},$学習プロセス$L_{m}$(a) 学習範囲:$I(m_{k}, x_{k})= \{i^{*}\in I|\Vert m_{k}(i^{*})-x_{k}\Vert=\inf_{i\in I}\Vert m_{k}(i)-x_{k}\Vert\}$$(m_{k}\in M, x_{k}\in X)$$N_{1}(i)=\{j\in I|d(j, i)\leq\epsilon\}(i\in I)$,.

(b) 学習率: $0\leq\alpha\leq 1$ .
(c) 更新後の値:$m_{k+1}(i)=\{\begin{array}{l}(1-\alpha)m_{k}(i)+\alpha x_{k} if i\in\bigcup_{xi^{*}\in I(m_{k,k})}N_{\epsilon}(i^{*}),k=0,1,2, \ldots.m_{k}(i) if i\not\in_{i^{*}\in I(}\bigcup_{m_{k},x_{k)}}N_{\epsilon}(i^{*}),\end{array}$

158
学習プロセス$L_{m}$(a) 学習範囲 :$J(m_{k}, x_{k})= \min\{i^{*}\in I|\Vert m_{k}(i^{*})-x_{k}\Vert=\inf_{i\in T}\Vert m_{k}(i)-x_{k}\Vert\}$$(m_{k}\in M, x_{k}\in X)$$N_{\epsilon}(i)=\{j\in I|d(j, i)\leq\epsilon\}(i\in I)$,.

(b) 学習率: $0\leq\alpha\leq 1$ .
(c) 更新後の値:$m_{k+1}(i)=\{\begin{array}{l}(1-\alpha)m_{k}(i)+\alpha x_{k} if i\in N_{\epsilon}(J(m_{k}, x_{k})),k=0,1,2, \ldots.m_{k}(i) if i\not\in N_{\epsilon}(J(m_{k}, x_{k})),\end{array}$

上記の 2 っの学習プロセスは, 初期ノードの値によっては, 学習反復の初期段階において学習結果に違いが生ずるが, 多くの場合, それ以降の反復においては, あまり差が現れない.

2.

$\mathbb{R}$

値ノード,

1 次元ノード配列モデル

最も単純な自己組織化マップモデルである,の場合について述べる.
ここでは,$\mathbb{R}$

値ノード, 1 次元ノード配列(i) 有限個のノードを仮定する. $I=\{1,2, \ldots, n\}\subset \mathbb{N}$ .
(ユークリッドノルム) とする. $m_{0}=[m_{0}(1),$ $m_{0}(2),$(ii) ノード値の空間をなどと記すことにする.
を入力列とする.
(iii)(iv) 以下の学習プロセスの一方を仮定する.
-値ノード,)( 次元配列,学習プロセス$\mathbb{R}$$x_{0},$ $x_{1},$ $x_{2},$$\cdots,$$m_{0}(n)]$$\ldots\in X\subset \mathbb{R}$$L_{A}$$\epsilon=1$$\mathbb{R}$$1$(a) 学習範囲 :$I(m_{k}, x_{k})= \{i^{*}\in I||m_{k}(i^{*})-x_{k}|=\inf_{i\in I}|m_{k}(i)-x_{k}|\}$$(m_{k}\in M, x_{k}\in X)$$N_{1}(i)=\{j\in I||j-i|\leq 1\}$$(i\in I)$,.

(b) 学習率: $0\leq\alpha\leq 1$ .
(c) 更新後の値:,$(1-\alpha)m_{k}(i)+\alpha x_{k}$if$i \in\bigcup_{m_{k}i^{*}x_{k}},N_{1}(i^{*})$$m_{k}(i)$if$i\not\in UN_{1}(i^{*})i^{*}\in I(m_{k},x_{k})$ ’$k=0,1,\dot{2},$ $\ldots$$m_{k+1}(i)=\{$.

159
学習プロセス( 次元配列,$L_{m}$$1$$\mathbb{R}$-値ノード,$\epsilon=1$)(a) 学習範囲:$J(m_{k}, x_{k})= \min\{i^{*}\in I||m_{k}(i^{*})-x_{k}|=\inf_{i\in I}|m_{k}(i)-x_{k}|\}$$(m_{k}\in M, x_{k}\in X)$$N_{1}(i)=\{j\in I||j-i|\leq 1\}$$(i\in I)$,.

(b) 学習率: $0\leq\alpha\leq 1$ .
(c) 更新後の値:$m_{k+1}(i)=\{\begin{array}{l}(1-\alpha)m_{k}(i)+\alpha x_{k} if i\in N_{1}(J(m_{k}, x_{k})),k=0,1,2, \ldots.m_{k}(i)if i\not\in N_{1}(J(m_{k}, x_{k})),\end{array}$

今,

個のノ $-$ ド 1, 2, . . . , があり, そのそれぞれに対してノードの値 $m_{0}(1),$ $m_{0}(2),$,$m_{0}(n)$ が与えられている.
このとき, 入力とこれに伴う学習により各ノードの値が更新される. $x_{0}\in X$ が入力されたならば, $m_{0}(1),$ $m_{0}(2),$$m_{0}(n)$ のなかでと最も近いものを選び, その値に対応するノードとその周囲のノード に対して学習
$n$

$n$

$\ldots$$x_{0}$$\ldots,$$i^{*}$$i$$m_{1}(i)=(1-\alpha)m_{1}(i)+\alpha x_{1}$が適用され, それ以外のノードに対しては学習が適用されず, $m_{1}(i)=m_{0}(i)$ となる. イ
ンプット
に対して, これを繰り返すことにより, 逐次にノードの更新がおこ
なわれ, 同時にモデル関数
が逐次に生成される.
$x_{1},$ $x_{2},$ $x_{3},$$\ldots$$m_{1},$ $m_{2},$ $m_{3},$$\ldots$

このような学習を十分な回数, 繰り返したとき, モデル関数において, 単調性等, 各ノードの値の配列にある種の規則性が現れることがある. 実際, 様々なノード集合, ノー
ドの値の空間, 学習方法において, 単調化等の幾つかの興味深い現象が現れる. また,れらの性質を利用することにより, 多くの実問題へ応用されている.
こ

3.
次の定理は,

モデルの吸収状態について

自己組織化マップモデルにおけるモデル関数の単調性保存に関する基本的な結果である.

Theorem 1 学習プロセス$L_{A}$

を仮定する. モデル関数$m_{1},$ $m_{2},$ $m_{3},$$\ldots$に対して以下が成り立つ.

(i) モデル関数$m_{k}$

が $I$ 上で単調増加であるならば,

モデル関数 $m_{k+1}$ も$I$

上で単調増加$m_{k}$

が $I$ 上で単調減少であるならば,

モデル関数 $m_{k+1}$ も$I$

上で単調減少$m_{k}$

が $I$ 上で狭義単調増加であるならば, モデル関数 $m_{k+1}$ も $I$ 上で狭義である.

(ii) モデル関数
である.

(iii) モデル関数

単調増加である.
が(iv) モデル関数
単調減少である.
$m_{k}$$I$

上で狭義単調減少であるならば, モデル関数 $m_{k+1}$ も

$I$

上で狭義

160
Theorem 2

学習プロセス$L_{m}$

を仮定する. モデル関数$m_{1},$ $m_{2},$ $m_{3},$$\ldots$に関して, 次が成り立っ.
が(i) モデル関数
単調増加である.
が(ii) モデル関数
単調減少である.
$m_{k}$$m_{k}$$I$

上で狭義単調増加であるならば, モデル関数 $m_{k+1}$ も

$I$

上で狭義

$I$

上で狭義単調減少であるならば, モデル関数 $m_{k+1}$ も

$I$

上で狭義

ここでの単調増加性, 単調減少性のように, モデル関数が一度その状態になると, その状態が保存されるという意味において, このような状態を自己組織化マップモデルの吸収状態と呼ぶことにする. モデルの吸収状態として後で述べる意味での準凸性, 準凹性などがある [6].

2 次元ノード配列の場合

4.
ここでは,

以下の自己組織化マップモデルを考える.

(i) ノード集合 $I=I_{1}\cross I_{2}$ . ただし$I_{1}=\{1,2, \ldots, N_{1}\}\rangle I_{2}=\{1,2, \ldots, N_{2}\}$,$d_{I}((i,j), (k, l))=|i-k|+|j-l|$をもつ内積空間とする.
(ii) ノード値空間 $V$ は内積$\ldots\in X\subset V$ は入力列とする.
(iii)(iv) 学習プロセス$\langle\cdot,$$\cdot\rangle$$x_{0},$ $x_{1},$ $x_{2},$(a) 学習範囲:$I(m, x)= \{i^{*}\in I|||m(i^{*})-x||=\inf_{i\in I}||m(i)-x\Vert\}$$(m\in M, x\in X)$ ,$N_{1}(i)=\{j\in I|d_{I}(j, i)\leq 1\}$$(i\in I)$.

(b) 学習率: $0\leq\alpha\leq 1$ .
(c) 更新後の値:$m’(i)=\{\begin{array}{l}(1-\alpha)m(i)+\alpha x if i\in\bigcup_{i^{*}\in I(m,x)}N_{1}(i^{*}),k=0,1,2, \ldots.m(i) if i\not\in.\bigcup_{i\in I(m,x)}N_{1}(i^{*}),\end{array}$Condition 5 すべての $(i,j)\in I$ に対して$\Vert m(i+1, j)-m(i,j)||\leq||m(i+2,j)-m(i, j)||$$||m(i-1,j)-m(i,j)||\leq||m(i-2,j)-m(i,j)||$$||m(i,j+1)-m(i,j)||\leq||m(i,j+2)-m(i,j)||$$\Vert m(i,j-1)-m(i,j)||\leq||m(i,j-2)-m(i,j)||$が成り立っ.

161
ここで,Condition5 はモデルの吸収状態にならないが, 以下の性質をもつことがわかる.

Theorem 3 上の 2 次元ノード配列モデルを仮定する. 等式$\Vert m(i^{*},j^{*})-x\Vert=\min_{(i,j)\in I}\Vert m(i,j)-x\Vert$.

を満たす $(i^{*},j^{*})$ が一意に存在すると仮定する.

(1)

このとき, 以下が成り立っ.

$(a)(i,j),$ $(i+1,j),$ $(i+2,j)\not\in N_{1}(i^{*},j^{*})$ に対して $\Vert m(i+1,j)-m(i,j)\Vert\leq\Vert m(i+$$2,j)-m(i,j)\Vert$ ならば, すべてのに対して $\Vert m’(i+1,j)-m^{f}(i,j)\Vert\leq\Vert m’(i+$$2,j)-m’(i,j)\Vert$ が成り立つ.
$(b)(i,j),$ $(i-1,j),$ $(i-2,j)\not\in N_{1}(i^{*},j^{*})$ に対して $\Vert m(i-1,j)-m(i,j)\Vert\leq\Vert m(i-$$2,j)-m(i,j)\Vert$ ならば, すべての$\alpha,$$x$$\alpha,$$x$に対して $\Vert m’(i-1,j)-m’(i,j)\Vert\leq\Vert m’(i-$$2,j)-m’(i,j)\Vert$ が成り立っ.

$(c)(i,j),$ $(i,j+1),$ $(i,j+2)\not\in N_{1}(i^{*},j^{*})$ に対して $\Vert m(i,j+1)-m(i,j)\Vert\leq\Vert m(i,j+$$2)-m(i,j)\Vert$ ならば,すべてのに対して $\Vert m’(i, j+1)-m’(i,j)\Vert\leq\Vert m’(i,j+$$2)-m’(i,j)||$ が成り立つ.
$(d)(i,j),$ $(i,j-1),$ $(i,j-2)\not\in N_{1}(i^{*},j^{*})$ に対して $\Vert m(i,j-1)-m(i,j)\Vert\leq\Vert m(i,j-$$2)-m(i,j)\Vert$ ならば, すべてのに対して $\Vert m’(i,j-1)-m’(i,j)\Vert\leq\Vert m’(i,j-$$2)-m’(i,j)\Vert$(2)$\alpha,$$x$$\alpha,$$x$が成り立っ.

, すべてのに対して $\Vert m’(i^{*},j^{*})-m’(i^{*}-1,j^{*})\Vert\leq\Vert m’(i^{*}+1,j^{*})-m’(i^{*}-1$ ,j 川が$(a)||m(i^{*},j^{*})-m(i^{*}-1, j^{*})\Vert\leq\Vert m(i^{*}+1,j^{*})-m(i^{*}-1,j^{*}$ 川ならば$\alpha,$

$x$

$*$

成り立つ.
$(b)\Vert m(i^{*},j^{*})-m(i^{*}+1,j^{*})\Vert\leq\Vert m(i^{*}-1,j^{*})-m(i^{*}+1,j^{*})\Vert$

ならば, すべてのに対して $\Vert m’(i^{*},j^{*})-m’(i^{*}+1,j^{*})\Vert\leq\Vert m’(i^{*}-1,j^{*})-m’(i^{*}+1,j^{*})||$ が成り立っ.

$\alpha_{\ovalbox{\tt\small REJECT}}x$$(c)\Vert m(i^{*},j^{*})-m(i^{*},j^{*}-1)\Vert\leq\Vert m(i^{*},j^{*}+1)-m(i^{*},j^{*}-1)\Vert$$\alpha,$$x$ならば, すべてのに対して $||m’(i^{*},j^{*})-m^{l}(i^{*},j^{*}-1)\Vert\leq\Vert m’(i^{*},j^{*}+1)-m’(i^{*}, j^{*}-1)||$ が成り立つ.
$(d)\Vert m(i^{*},j^{*})-m(i^{*},j^{*}+1)\Vert\leq\Vert m(i^{*},j^{*}-1)-m(i^{*},j^{*}+1)\Vert$$\alpha,$$x$ならば, すべてのに対して $\Vert m’(i^{*},j*)$ –m’ が $, j^{*}+1)\Vert\leq\Vert m’(i^{*},j^{*}-1)-m’(i^{*},j^{*}+1)\Vert$ が
$($

成り立つ.

(3)

$(a)||m(i^{*}+1,j^{*})-m(i^{*},j^{*})\Vert\leq\Vert m(i^{*}+2,j^{*})-m(i^{*},j^{*})\Vert$

ならば, すべての$\alpha,$$x$

1 こ対して $\Vert m’(i^{*}+1,j^{*})-m’(i^{*},j^{*})\Vert\leq\Vert m’(i^{*}+2,j^{*})-m’(i^{*},j^{*})\Vert$ が成り立つ.
$(b)\Vert m(i^{*}-1,j^{*})-m(i^{*},j^{*})\Vert\leq\Vert m(i^{*}-2,j^{*})-m(i^{*}$$\ovalbox{\tt\small REJECT}$,j 川ならば, すべての$*$$\alpha,$$x$

こ対して $\Vert m’(i^{*}-1,j^{*})-m’(i^{*},j^{*})\Vert\leq\Vert m’(i^{*}-2,j^{*})-m’(i^{*},j^{*})\Vert$ が成り立つ.

ならば, すべてのこ対して $||m’(i^{*},j^{*}+1)-m’(i^{*},j^{*})\Vert\leq||m’(i^{*},j^{*}+2)-m’(i^{*},j^{*})||$ が成り立つ.
$(d)||m(i^{*},j^{*}-1)-m(i^{*},j^{*})\Vert\leq\Vert m(i^{*},j^{*}-2)-m(i^{*},j^{*})\Vert$ ならば, すべてのに対して $\Vert m’(i^{*},j^{*}-1)-m’(i^{*},j^{*})\Vert\leq||m^{;}(i^{*},j^{*}-2)-m’(i^{*},j^{*})\Vert$ が成り立つ.
$(c)\Vert m(i^{*},j^{*}+1)-m(i^{*},j^{*})\Vert\leq\Vert m(i^{*},j^{*}+2)-m(i^{*},j^{*})||$$\alpha,$$x$$\alpha,$

$x$

$t$

PROOF.
$m(i^{*}+2,j^{*})$(1),(2) は明らかである. (3) を示す. $m_{0}=m(i^{*},j^{*}),$ $m_{1}=m(i^{*}+1,j^{*}),$ $m_{2}=$とおくとき,$||m_{1}-m_{0}\Vert\leq\Vert m_{2}-m_{0}\Vert$が成り立つならば, 次の不等式が成り

162

立っ.
$\Vert m_{2}’-m_{0}’\Vert^{2}-\Vert m_{1}’-m_{0}’\Vert^{2}$$=\Vert m_{2}-(1-\alpha)m_{0}-\alpha x||^{2}-\Vert(1-\alpha)m_{1}+\alpha x-(1-\alpha)m_{0}-\alpha x||^{2}$$=\Vert(1-\alpha)(m_{2}-m_{0})+\alpha(m_{2}-x)||^{2}-\Vert(1-\alpha)(m_{1}-m_{0})\Vert^{2}$$=(1-\alpha)^{2}||m_{2}-m_{0}||^{2}+2(1-\alpha)\alpha\langle m_{2}-m_{0},$ $m_{2}-x\rangle+\alpha^{2}\Vert m_{2}-x\Vert^{2}$$-(1-\alpha)^{2}\Vert m_{1}-m_{0}||^{2}$$=(1-\alpha)^{2}(\Vert m_{2}-m_{0}\Vert^{2}-\Vert(m_{1}-m_{0})\Vert^{2})$$+2(1-\alpha)\alpha(\Vert m_{2}-x\Vert^{2}-\langle m_{0}-x, m_{2}-x\rangle)+\alpha^{2}\Vert m_{2}-x\Vert^{2}$$\geq(1-\alpha)^{2}(\Vert m_{2}-m_{0}||^{2}-\Vert m_{1}-m_{0}||^{2})$$+2(1-\alpha)\alpha(\Vert m_{2}-x\Vert^{2}-\Vert m_{0}-x\Vert||m_{2}-x\Vert)+\alpha^{2}||m_{2}-x\Vert^{2}$$\geq(1-\alpha)^{2}(||m_{2}-m_{0}\Vert^{2}-\Vert m_{1}-m_{0}\Vert^{2})$$+2(1-\alpha)\alpha(\Vert m_{2}-x\Vert^{2}-\Vert m_{2}-x\Vert\Vert m_{2}-x\Vert)+\alpha^{2}||m_{2}-x\Vert^{2}\geq 0$

同様に $m_{0}=m(i^{*},j^{*}),$ $mi=m(i^{*}-1,j^{*}),$ $m_{2}=m(i^{*}-2,j^{*})$ , または $m_{0}=m(i^{*},j^{*}),$ $m_{1}=$$m(i^{*},j^{*}+1),$ $m_{2}=m(i^{*},j^{*}+2)$ , または $m_{0}=m(i^{*},j^{*}),$ $m_{1}=m(i^{*},j^{*}-1),$ $m_{2}=m(i^{*},j^{*}-$

2 とおくことにより, 残りの命題が成立することを示すことができる.

$\square$$)$

十分な学習を繰り返した後においては強い条件ではない. 多くの数値モデルにおいて殆ど成り立っ.
定理 3 における仮定は,

5
ここでは,

1 次元ノード配列,$\mathbb{R}^{2}$-値ノードの場合について

以下のモデルを仮定する.

(i) ノード集合 $I=\{1,2, \ldots, n\}$ .
(ii) モデル関数 $m:Iarrow \mathbb{R}^{2}$ .
$\sqrt{(x_{1}-y_{1})^{2}+(x_{2}-y_{2})^{2}}$

ここで,距離を $d_{I}(i,j)=|i-j|$ によって定義する.

各 $x=(x_{1}, x_{2}),$ $y=(y_{1}, y_{2})$ に対して,$||x-y\Vert=$とする.

.
(iii) 入力(iv) 学習プロセス $L_{A}(1$ 次元配列,$x_{0},$ $x_{1},$ $x_{2},$ただし,$\ldots\in X\subset \mathbb{R}^{2}$$\epsilon=1)$(a) 学習範囲 :$I(m, x)= \{i^{*}\in I|||m(i^{*})-x||=\inf_{i\in I}\Vert m(i)-x\Vert\}$$(m\in M, x\in X)$ ,$N_{1}(i)=\{j\in I|d_{I}(j, i)\leq 1\}$$(i\in I)$.

(b) 学習率: $0\leq\alpha\leq 1$ .
(c) 更新後の値:$m’(i)=\{\begin{array}{l}(1-\alpha)m(i)+\alpha x if i\in\bigcup_{i\in I(m,x)}N_{1}(i^{*}),k=0,1,2, \ldots.m(i) if i\not\in\bigcup_{i^{*}\in I(m_{2}x)}N_{1}(i^{*}),\end{array}$

163
以下の 1 次元ノード配列,て考察する。

$\mathbb{R}^{2}$-値ノードをもつ自己組織化マップモデルの数値例についExample 1 以下の 15 個のノードをもつ自己組織化マップモデルを考える.
(1) ノード集合 $I=\{1,2,3, \ldots, 15\}$ .
(2) 初期モデル関数$m_{0}=[(2,5),$ $(9,0),$ $(1,9),$ $(10,7),$ $(9,8),$ $(5,8),$ $(8,3),$ $(8,5),$ $(5,5),$ $(7,1)$,(3, 1), 5, $0),$ $(2,8),$ $(1,10),$ $(8,6)]$$($各ノードの初期値と初期入力$x_{0}$

を図示すると以下の様になる.

図 1:$m_{0}$(3) 入力として, $\{0,1,2, \ldots, 10\}\cross\{0,1,2, \ldots, 10\}$ 上の離散一様分布に従$A\searrow$発生させた.

$x=(7,10),$ $(5,2),$ $(7,3),$ $(10,8),$ $(2,7),$ $(0,0),$ $(8,2),$ $(7,5),$ $(8,3),$ $(4,4)$ ,(10, 1), (8, 2), (6, 4), (7, 2), $(0,9),$ $(7,2),$ $(6,6),$ $(4,10),$ $(1,3),$ $(2,8),$(4) 学習プロセス$L_{A}$

を仮定する.

$($

学習率:$\ldots$$\alpha=\frac{1}{2})$このとき, 上の学習プロセスにより, モデル関数は以下の様に更新される (図 2).
$m_{1}=[(2,5),$ $(9,0),$ $(1,9),$ $(8.5,8.5),$ $(8,9),$ $(6,9),$ $(8,3),$ $(8,5),$ $(5,5),$ $(7,1),$ $(3,1)$$($,

5, $0),$ $(2,8),$ $(1,10),$ $(8,6)]$$m_{2}=[(2,5),$ $(9,0),$ $(1,9),$ $(8.5,8.5),$ $(8,9),$ $(6,9),$ $(8,3),$ $(8,5),$ $(5,5),$ $(7,1),$ $(4,1.5)$ ,(5, 1), (3.5, 5), (1, 10), (8, 6)$]$$m_{3}=[(2,5),$ $(9,0),$ $(1,9),$ $(8.5,8.5),$ $(8,9),$ $(6.5,6),$ $(7.5,3),$ $(7.5,4),$ $(5,5),$ $(7,1)$ ,(4, 1.5), (5, 1), (3.5, 5), (1, 10), (8, 6)

$]$

口

164

図 2:

Example 2

左上から右に向かって$m_{2},$ $m_{4},$ $m_{7},$ $m_{14},$ $m_{30},$ $m_{99}$

例 1 のモデルにおけるモデル関数に注目する. モデル関数$m_{14}$$m_{14}=[(4,5),$ $(5.75,3.75),$ $(5.75,6.25),$ $(9.25,8.25),$ $(8,6.75)$ , (7.125, 45),

(8.84375, 2.1875), (7.73438, 2), (7.5625, 2.125), (6.375, 1625), (2, 0.75),(3.25, 2.25), (3.75, 4.5), (2.5, 7), (8, 6)$]$

は,

入力 $x_{14}=(2,4)$ により, 次のように更新される.
$m_{14}’=[(4,5),$ $(5.75,3.75),$ $(5.75,6.25),$ $(9.25,8.25),$ $(8,6.75)$, (7.125, 45),

(8.84375, 2.1875), (7.73438, 2), (7.5625, 2.125), (6.375, 1625), (2, 0.75),(2.625, 3.125), (2.875, 4.25), (2.25, 5.5), (8, 6)$]$を順に結合してで各ノードの値としての点 $m_{14}(1),$ $m_{14}(2),$の交点の数は 2 であるが, 更新後の値
きる折れ線において, 交点の数に注目すると,でも, 交点の数は 2 のままである. 例えば, 入力を $x_{14}=(2,6)$ にすると
このとき,$\ldots,$$m_{14}(15)\in \mathbb{R}^{2}$$m_{14}$$m_{14}’$$m_{14}’=[(4,5),$ $(5.75,3.75),$ $(5.75,6.25),$ $(9.25,8.25),$ $(8,6.75)$ ,(7.125, 45),

(8.84375, 2.1875), (7.73438, 2), (7.5625, 2.125), (6.375, 1625), (2, 0.75),(3.25, 2.25), (2.875, 5.25), (2.25, 6.5), (5, 6)$]$と更新され, 同様に交点を数えると更新後の値$m_{14}’$において, 交点の数は$0$となる. 入力

を $x_{14}=(10,6)$ にすると
$m_{14}’=[(4,5),$ $(5.75,3.75),$ $(5.75,6.25),$ $(9.25,8.25),$ $(8,6.75)$, (7.125, 45),

(8.84375, 2.1875), (7.73438, 2), (7.5625, 2.125), (6.375, 1625), (2, 0.75),(3.25, 2.25), (3.75, 4.5), (6.25, 6.5), (9, 6)
$]$

165
と更新され, 更新後の値$m_{14}’$において,交点の数は 3 となる.

例 1 のモデルにおける各更新回数でのノードの値に対して, 入力
標 0.1 刻みで変化させた場合について考える.
$x=(p, q)$ ,

入力

$x$

$p,$

$q=0,0.1,0.2,$$\ldots,$$x$を以下の様に, 各座$9.9,10$を変化させた場合におけるモデル関数 $m$ に対する更新後のモデル関数 $m’$ の交点数の増減について, 増加する, 変化していない, 減少する, それぞれの入カると以下の様になる.

また, 入力$x$$x$の頻度を調べを変化させた場合における交点の増減頻度と更新回数の関係を調べると以下の様になる (図 3).

Reiative frequency

図 3:交点の増減の相対度数と更新回数の関係 学習率 $\alpha=0.5)$
$($

166
更新回数が十分大きくなると,交点の数が変化しない相対度数が殆ど 1 になることが観測される.
同様に, 学習率が 0.1 の場合について調べると, 学習率 0.5 の場合と同様の傾向となる
が, 学習が緩やかになるので, 交点数が変化しなくなる相対度数が (殆ど) 1 となる更新

回数は学習率 0.5 の場合よりも多くなる.
また, モデル関数 $m_{14}$ を固定して, 学習率を$0$から 1 まで変化させた場合, 学習率を大きくすると, 交点数が減少する相対度数は増加する傾向にあるが, 同時に交点数が増加す

る相対度数も増加してしまう傾向にあることが観測される.

口

参考文献[1] P. Billingsley, Probability and Measure, John Wiley&Sons, 1979.
[2] R. M. Dudley, Real Analysis and Probability, Wadsworth&Brooks, 1989.
[3] E. Erwin, K. Obermayer and K. Schulten, Self-organization maps: stationary states,
metastability and convergence rate, Bio. Cybem., 67 (1992), pp. 35-45.
[4] E. Erwin, K. Obermayer and K. Schulten, Self-organization maps: ordering, convergenceproperties and energy functions, Bio. Cybem., 67 (1992), pp. 47-55.
study[5] W. Fujiwara, E. Itou, M. Hoshino, I. Kaku, A. Sakusabe, M. Sasaki and H. Kosaka,
Proceedings
approach,usinginspecting
a neural networkon the effective method of extemalof 6th ICIM (2002), pp. 369-375[6] M. Hoshino, Y. Kimura and I. Kaku, Quasi-convexity and monotonicity of modd functionof node in self-organizing maps, Proceedings of 8th ICIM (2006), pp. 1173-1177[7] T. Kohonen, Self-Organizing Maps, Third Edition, Springer, 2001.
[8] W. Takahashi, Nonlinear hnctional Analysis, Yokohama publishers, 2000.
[9] K. Tanaka, 凸解析と最適化理論, 牧野書店, 1994.
[10] P. L. Zador, Asymptotic quantization $emr$ of continuous signals and the quantization dimension, IEEE Trans. Inform. Theory, vol. IT-28, No. 2, March (1982), pp. 139-149.
$A$