159

Some Conditions for Monotonization of Model Function

in Basic Self‐Organizing Maps
1次元配列 SOM におけるモデル関数の単調化形成条件について
秋田県立大学システム科学技術学部

星野満博 (Mitsuhiro Hoshino)

Faculty of Systems Science and Technology, Akita Prefectural University1.

自己組織化マップモデル

本報告は Kohonen 型アルゴリズム [5] として知られている自己組織化マップの学習プロセスモデルを扱い,その数理的特性について考察する.自己組織化マップは,アルゴリズ

ムとして非常にシンプルであり,広範囲に応用例を有する.
自己組織化マップの学習プロセスモデルにおいて,ノードからノードの値への写像としてのモデル関数とその推移の過程を数学的に論ずる.特に,順序化や整列化の形成過程に注目する.

本報告では,1次元配列1次元入力を有する自己組織化マップの学習プロセスモデルにおいて,モデル関数が単調性をもつような状態クラスの形成過程に注目して,その形成への入力の条件と局所的なふるまいについて言及する.

本報告では,自己組織化マップモデルをノード,ノードの値,インプット,学習プロセスの4つの要素によって,以下の様に定義する.

(I, V, X, \{m_{k}(\cdot)\}_{k=0}^{\infty})(i)

I をすべてのノードの集合とする.

I は距離付けされた加算な集合とする.

(ii) 各ノードは,それぞれ1つの値をもつ. V をノードの値の集合とする. (V, \Vert\cdot\Vert) をノルム空間と仮定する. m(i) をノード i の値として,その対応 m:Iarrow V をモデル関数と呼び,(iii)

M をモデル関数の全体,X\subset V を入力集合とする.

x_{0}, x_{1}, x_{2},m_{0}: Iarrow V を初期モデル関数とする.

\in X を入力列とする.

(iv) 学習プロセスは次のように定義される.各 i\in I, x_{k}\in X に対して

m_{k+1}(i)=(1-\alpha_{m_{k},x_{k}})m_{k}(i)+\alpha_{m_{k},x_{k}}x_{k} .
ここで,\alpha_{m_{k},x_{k}} It,0\leq\alpha_{m_{k},x_{k}}\leq 1 を満たす学習率を表す.

(1)

160
2.

1次元ノード配列 \mathbb{R} 値モデルと状態クラスの保存性

次のような1次元ノード配列の1次元入力自己組織化マップの学習プロセスモデルを考える.

(\{1,2, \ldots, N\}, V\subset \mathbb{R}, X\subset \mathbb{R}, \{m_{k}(\cdot)\} _{k=0}^{\infty})
学習プロセス以外を以下のように仮定する.

(i) ノード:

I=\{1,2, N\}\subset \mathbb{N},(ii) ノード値:

V\subset \mathbb{R},d(i,j)=|i-j| とする.

m:Iarrow V とする.空間 V におけるノルムとして絶対値を用いる.

(iii) 入力 :\{x_{k}\}_{k=0}^{\infty}\subset X\subset \mathbb{R} とする.

以下の基本的な性質が成り立つ.
定理1

1次元入力型自己組織化マツプ(\{1,2, \ldots, N\}, V\subset \mathbb{R}, X\subset \mathbb{R}, \{m_{k}(\cdot)\} _{k=0}^{\infty})
において,次の学習プロセスを仮定する.

学習プロセス L_{A} ( 1 次元配列,\mathbb{R}‐値ノード)(a) 学習範囲:
I(m_{k}, x_{k})={ i^{*}\in I|i^{*}=ar_{i\in I}gmin |m_{k}(i)-x_{k}| },Nı(i) =\{j\in I||j-i|\leq 1\}(b) 学習率:(m_{k}\in M, x_{k}\in X),(i\in I) .

0<\alpha<1.

(c) 更新後の値: 各 k=0,1,2 , . . . に対して

m_{k+1}(i)=\{ begin{ar y}{l (1-\alpha)m_{k}(i)+\alphax_{k} (i\n\bigcup_{m_{k}i^{*}x_{k},N_{1}(i^{*}) のとき） m_{k}(i) (i\not\in_{i^*}\inI(m_{k},x_{k})UN_{1}（の とき） \end{ar y}
このとき,更新前のモデル関数 m と更新後の m のモデル関数 m' に対して以下が成り立つ.

(i) 任意の入力 x に対して,モデル関数 m が I 上で単調増加 (m(i)\leq m(i+1), \forall i) であるならば,モデル関数 m' も I 上で単調増加である.

(ii) 任意の入力 x に対して,モデル関数 m が I 上で単調減少 (m(i)\geq m(i+1), \forall i) であるならば,モデル関数 m' も I 上で単調減少である.

(iii) 任意の入力 x に対して,モデル関数 m が I 上で狭義単調増加 (m(i)<m(i+1), \forall i)であるならば,モデル関数 m' も I 上で狭義単調増加である.

161
161

(iv) 任意の入力 x に対して,モデル関数 m が I 上で狭義単調減少 (m(i)>m(i+1), \forall i)であるならば,モデル関数 m' も I 上で狭義単調減少である.

ここで発生する単調増加性,単調減少性のように,モデル関数が一度その状態になると,その状態が保存されるという意味において,このような状態のクラスを自己組織化マップモデルの閉じた状態クラスと呼ぶことにする.
ここで,一つの数値例を与え,単調化する様子を示す.
value

value

denode numberep

図1:
上の二つの図において,横軸,縦軸はそれぞれ,ノードのインデックス,ノードの値を表す.左下の図は入力分布を生成させた確率密度関数とその実現値のヒストグラムである.右下の図において,横軸,縦軸はそれぞれ,更新回数,最大 (最小) ノードのインデックスを表す.

例1 図1 (上) は,ある50 ノードモデルにおいて20000回更新させた場合のノードの値の推移を初期値,更新回数6000, 15000, 20000の場合について表したものである.
ここ162
で,入力 x は標準正規分布に従い生成している (図1の左下を参照) . 図1 (右下) の上側の軌跡は,各回の更新後でのモデル関数において最大値をとるノードのインデックスの\square
推移を表し,下側の軌跡は最小値をとるノードのインデックスの推移を表す.

3.

モデル関数の順序化における局所的なふるまいについて

ここでは,1次元配列1次元入力をもつ自己組織化マップモデルにおいてモデル関数が単調化する過程において微視的な考察をおこなうと共に,その状態の変化の局所的なふるまいを数理的に記述したい.

定理2

1次元入力型自己組織化マツプ(\{1,2, \ldots, N\}, V\subset \mathbb{R}, X\subset \mathbb{R}, \{m_{k}(\cdot)\} _{k=0}^{\infty})
において,定理1と同じ学習プロセス L_{A} を仮定する.また,ある回数の更新後のモデル
関数 m に対してm(1)>m(2), m(2)<m(3)<. . . <m(N)が成り立っているものとする.

m(2)を入力 x によって学習したときの更新後のモデルを m'とする.このとき,以下が成り立っ.

(i) m(1)\geq m(3) のとき,m' は,どのような入力 x に対しても単調増加にならない.

(ii) m(1)<m(3) のとき,m' が狭義単調増加になるための必要十分条件は,入力\max\{\frac{m(1)+m(3)}{2}, (1-\frac{1}{\alpha})m(2)+\frac{1}{\alpha}m(1)\} <x\leq\frac{m(3)+m(4)}{2}xが(3)を満たす範囲にあることである.

証明 (i) m(1)\geq m(3) とする.
I(m, x)=\{i\} または I(m, x)=\{i, i+1\} (ただし i\geq 4 ) のとき,\{\begin{ar ay}{l } m'(j)=m(j) (j=1,2 のとき) m'(j)=(1-\alpha)m(j)+\alpha x (j=i-1, i, i+1 のとき) \end{ar ay}であるから,仮定より m'(1)>m'(2), m'(i-1)<m'(i)<m'(i+1) . したがって,m' は非単調である.

I(m, x)=\{1, i\} (ただし i\geq 4 ) のとき,同様に仮定より

m'(1)>m'(2), m'(i-1)<m'(i)<m'(i+1).

I(m, x)=\{1\} のとき,仮定より m'(1)>m'(2), m'(3)<m'(4) が成り立つ.
I(m, x)=\{3\} または I(m, x)=\{3,4\} のとき,仮定より m'(2)<m'(3)<m'(4) . また,x<m(1) よりm'(1)—m'(2)=m(1)-(1-\alpha)m(2)-\alpha x>(1-\alpha)(m(1) -- m(2))>0.

163
よって,m'(1)>m'(2) を得る.
2\in I(m, x) または{1,3} \subset I(m, x) のとき, j=1,2,3 に対して m'(j)=(1-\alpha)m(j)+\alpha xであるから,仮定より m'(2)<m'(3)\leq m'(1) が成り立つ.
以上から, m(1)\geq m(3) のとき,任意の入力に対して m' は単調増加にならない.
(ii) m(1)<m(3) とする.
I(m, x)=\{i\} または I(m, x)=\{i, i+1\} (ただし i\geq 4 ) のとき,m'(1)>m'(2), m'(i-1)<m'(i)<m'(i+1)
が成り立つので,m' は非単調である.

I(m, x)=\{3\} のとき, m'(j)<m'(j+1), j=2,3,5,6 , . . . が成り立つ.ここで x<m(5)よりm'(5)であるので,—

m'(4)=m(5)-(1-\alpha)m(4)-\alpha x>(1-\alpha)(m(5)-m(4))>0m'(4)<m'(5) を得る.また,m'(1)<m'(2) であるための条件は,m(1)<(1-\alpha)m(2)+\alpha x
よりx>(1- \frac{1}{\alpha})m(2)+\frac{1}{\alpha}m(1)(4)である.

I(m, x)=\{3,4\} のとき, I(m, x)=\{3\} の場合と同様に m'(j)<m'(j+1), j=2,3 , . . .
が成り立ち, m'(1)<m'(2) であるための条件は, x が不等式 (4) を満たすことである.
I(m, x)=\{1\} のとき, m'(1)>m'(2), m'(3)<m'(4) が成り立つ.
2\in I(m, x) または I(m, x)=\{1,3\} のとき, m'(2)<m'(1)<m'(3) を得る.
以上から, m(1)>m(3) のとき, m' が狭義単調増加となるための必要十分条件は,不等式 (3) が成り立つことである.口
定理31次元入力型自己組織化マップ(\{1,2, \ldots, N\}, V\subset \mathbb{R}, X\subset \mathbb{R}, \{m_{k}(\cdot)\} _{k=0}^{\infty})
において,定理1と同じ次の学習プロセス L_{A} を仮定する.また,ある回数の更新後のモデル関数 m とあるノード q(3\leq q\geq N-2) に対してm(1)>m(2)> >m(q), m(q)<m(q+1)< <m(N)が成り立つものとする.

m(5)を入力 x によって学習したときの更新後のモデルを m' とする.

このとき,以下が成り立つ.

164
(i)

mと xがm(q-1)<m(q+1)<m(q-2) ,(6)\max\{\frac{m(q-1)+m(q+1)}{2}, (1-\frac{1}{\alpha})m(q)+\frac{1}{\alpha}m(q-1) \}<x< \frac{m(q+1)+\min\{m(q-2),m(q+2)\}}{2}(7)m'(1)>m'(2)> >m'(q-1), m'(q-1)<m'(q)< <m'(N)(8)

を満たすならば,が成り立つ.

(ii)

mと xがm(q+1)<m(q-1)<m(q+2) ,(9)\max\{\frac{m(q-1)+m(q+1)}{2}, (1-\frac{1}{\alpha})m(q)+\frac{1}{\alpha}m(q+1) \}<x< \frac{m(q-1)+\min\{m(q-2),m(q+2)\}}{2}(10)を満たすならば,m'(1)>m'(2)>>m'(q+1), m'(q+1)<m'(q+2)<. . . <m'(N)(11)が成り立つ.
証明は省略する.

参考文献[1] M. Cottrell and J.‐C. Fort, Étude d’un processus d’auto‐organisation, Annales de l’Institut
Henri Poincaré, 23(1) (1987), pp.1‐20 (in French)[2] M. Hoshino and Y. Kimura, Ordered states and probabilistic behavior of self‐organizing
maps, Nonlinear Analysis and optimization (Shimane, 2008), Yokohama Publishers, pp.
31-44[3] M. Hoshino and Y. Kimura, State preserving properties in self‐organizing maps with inputs
in an inner product space, Nonlinear Analysis and Convex Analysis (Tokyo, 2009), pp.
65‐76.

[4] M. Hoshino, On state preserving property and nonexpansivity in self‐organizing maps, tobe published in J. Nonlinear and Convex Analysis, Vol.16 (2015).

[5] T. Kohonen, Self‐Organizing Maps, Third Edition, Springer, 2001.