数理解析研究所講究録
1072 巻 1998 年 144-161

144

カオス・ニューロンを用いた離散時間
自己想起形連想記憶モデルの解析
吉永哲哉, 川上Tetsuya Yoshinaga$\mathrm{t}\mathrm{y}$博Hiroshi Kawakami

徳島大学工学部電気電子工学科

1

はじめに

脳における記憶のメカニズムを表す簡単なモデルの 1 つとして, 相関形連想記憶モデ
ルがある. このモデルは, 低次元 (1 ないし 2 次元) 離散力学系を単位ニューロンと考え,この低次元系を複数個接続して次元の大きな力学系を構成し, 記憶パタンに対応した安定
固定点を意図的につくり出すように工夫された力学系である. うまく設計された系では,アトラクタは記憶したいパタンに対応した安定固定点のみであり, 状態空間はこれらのアトラクタの引力圏 (basin) によって分割されている. したがって, 任意の初期状態から出発した運動は, この軌道が属する引力圏内にあるアトラクタへと収束していく. アトラク
タが記憶パタンに対応し, 引力圏内の状態がこの記憶を呼び出す (連想させる) 初期値に対応している.
このモデルでは, 1 つの記憶パタンが呼び出されると, 状態は対応するアトラクタに留まるので, 別の記憶パタンを呼び出したいときには系に入力などの摂動を加える必要がある. また, アトラクタとしては安定固定点でなくとも他のアトラクタと区別できる安定な不変集合であればよい. したがってアトラクタとしては, たとえば安定固定点が周期倍分岐してできた適切なサイズのカオス状態でもよい.
さて, この力学系のアトラクタをカオス的なものとし, 更に系の設計をうまくしてアトラクタが引力圏の境界を僅かに突き破る程度の系を得たとしよう. この系では, 孤立していた個々の記憶パタンに対応したアトラクタが相互にゆるく繋がり, 大きなカオスアト
ラクタが構成されて, 運動は記憶パタン間をカオス的に遍歴するようになるであろう.
実際, 合原 [1] は彼が提案したカオスニューロン (2 次元離散力学系) を 100 個接続した神経回路網を構成してこのような現象を観察している $[2, 3]$ . また, 徳田・長島 [4]等は, 16 個のニューロンを接続した回路の分岐現象の解析を試みている. 我々は更に個数
を 4 個にまで減らして現象を力学的に明らかにしょうと解析を進めてきた $[5, 6]$ . 小室 [7]は, この集会において同様な努力を 8 個の場合について行った結果を報告している.
以下, 次節において神経回路網モデルの導出し, $N=2^{n}$ 個のカオスニューロンを用いた神経回路網に $m$ 個の記憶パタンを埋め込んだ系は, $m$ 個の低次元非線形系に還元で145きることを示す. すなわち, 記憶パタン埋め込み行列の構成法から生じる神経回路網の対称性をうまく利用すれば, 系の運動を低次元化して考察できることを示す. そのあと 4 個の場合の数値解析例を述べる. これらを通して, この系にみられる 「カオス遍歴」 は上述のいわゆる 「アトラクタの boundary」 であることを例示したい.
$\mathrm{c}\mathrm{r}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{S}$

2

問題の記述
ここでは,

個のカオスニューロンを用いた自己想起形離散時間モデルを考える. そのため, 基本単位となる低次元力学系としてのニューロン, それらを接続した神経回路網 (neural network), 記憶パタン, 記憶パタンを埋め込むための接続行列の構成法などについて簡単に紹介する.

2.1$N=2^{n}$ニューロン

基本単位となるニューロンは, 1 ないし 2 次元の離散力学系で与えられる. この力学系は, 興奮状態と非興奮状態と呼ばれる 2 つのアトラクタを持つように設計されている.
最も簡単な例として 1 次元の力学系を対応させると, たとえば次のような離散時間系(差分方程式) を考えるとよいであろう.
$\eta(t+1)=k_{f\eta}(t)+\sum_{j}wju_{j}(t)$$x(t)$(1)$=f(\eta(t))$$u_{j}\in R$ と $x\in R$ は,それぞれ, このニューロン
は離散時刻 $t\in Z$ を表し,の内部状態, 他のニューロンからの入力, およびこのニューロンの出力を表している. また, $w_{j}\in R$ は入力の結合係数である.
.
式 (1) の第 1 式が系の内部状態の進展を表す状態方程式, 第 2 式が出力特性を表す出力方程式となっている. この出力は他のニューロンの入力となって回路を構成することとなる. 出力方程式に含まれる非線形特性は飽和形非線形特性であり, 通常シグモイド関数と呼ばれている. たとえば, 興奮状態を 1 近傍の値に, 非興奮状態を $-1$ 近傍の値に対応させる場合には

ここに,

$t$

$\eta,$$u$$f(y)–\tan^{-1}(\alpha y)\underline{2}$
$\pi$

(2)

$f(y)=\tanh(\alpha y)$などの関数を使えばよい.
他方, 合原等 [1] によって提案されたカオスニューロンは, 状態が 2 次元の離散系である. その状態方程式は$\mathrm{t}$$\eta(t+1)=k_{f\eta}(t)+\sum_{j}w.ju_{j}(t)$(3)$((t+1)=k_{r}((t)-\alpha x(t)+a$で与えられる. ここに,$x(t)=f(\eta(t)+\zeta(t))$

(4)

146

はこのニューロンの出力であり, その非線形特性は次式で定義される.

(5)$f(y)= \frac{1}{1+e^{-\not\simeq}e}$

このニューロンでは, パラメータ

た非興奮状態が2.2$0$$\epsilon$

を適当に小さく選んで, 興奮状態が 1 近傍の値に, ま

近傍の値に設定されている.

神経回路網個のニューロンを用いた自己想起形離散時間モデルを構成しよう. これには $N$ 個のニューロンを用意して, それらの出力を適当に自分あるいは他のニューロンの入力に接続すればよい. したがって, 先に述べた 1 次元ニューロンでは次の回路が得ら
さて,$N=2^{n}$れる.
$\eta_{i}(t+1)=k_{j\eta_{i}}(t)+\sum_{j=1}^{N}w_{ij}f(\eta j(t))$,$i=1,2,$$\cdots$, $N=2^{n}$(6)あるいは, ベクトル方程式として次式で表される.
$\eta(t+1)=kf\eta(t)+Wf(\eta(t))$

ここに,$W=(w_{ij})$

(7)

および

$\eta=[\eta_{1}$,$\cdot$..,$\eta_{N}]^{T}$,$f=[f(\eta_{1}), \cdot’\cdot\cdot, f(\eta_{N})]^{T}$を表し, $()^{T}$ は転置を表す.
また, 合原ニューロンでは同様に次式の回路方程式となる.
$\eta_{i}(t+1)=k_{J\eta_{i}}(t)+\sum_{j=1}w_{1}jfN.(\eta j(t)+(_{j}(t))$(8)$(_{i}(t+1)=k_{r}\zeta_{i}(t)-\alpha f(\eta_{i}(t)+(_{i}(t))+a$$i=1,2,$$\cdots,$$N=2^{n}$あるいは, 等価的にベクトル方程式で次式となる.
$\eta(t+1)=k_{f\eta}(t)+Wf(\eta(t)+\zeta(t))$$\zeta(t+1)=k_{r}\zeta(t)-\alpha f(\eta(t)+\zeta(t))+a$

ここに,$a=[a$ ,$\cdot$..,(9)$a]^{T}$を表す.
さて, 問題はニューロン間の結合を表す行列 $W=(w_{ij})$ をいかに定めるかということである. これは, この回路に埋め込みたい記憶パタンとそのパタンの個数によって定められる. 次にこれを検討しよう.

147

2.3

記憶パタン

すこし唐突ではあるが, 記憶パタンの基本ベクトルを, 次のようにして作った $N$ 個の$N$

次元ベクトルで与えよう.
まず, 2 つの状態$(\eta_{1}, \eta_{2})$の互換がつくる群$C_{2}$の 2 次元表現を(10)$C_{2}=\{g_{1}, g_{2}\}$とする. ここに,$g_{1}=I_{2}=$ ,
とおいた.

また,

$C_{2}$の既約指標を 2$\mathrm{x}2$$g_{2}=$(11)の行列に表示して$H_{2}=$

(12)

とする.
の
次に, この指標表
個の直積を考える. その表現行列は行列 (12) から
Kronecker 積をとって求めることができる. たとえば,$H_{2}$$n$$H_{4}=H_{2}\otimes H_{2}=$$H_{\epsilon}=H_{2^{\otimes}}H_{2}\otimes H2=H4\otimes H_{2}=$$-1-\mathrm{i}-1-11111$$-1-111$$-1-1-1-11111$$-1-111$’$-1-1-1-11111$$.-1-1-1-11111$$H_{2^{n}}$$-1-1-1-11111$

個の

(13)

$n=2$

$H_{2^{n--}}$ , $n=n$などとなる.

$n$$-1-1-1-11111$

’

$n=3$

(14)

(15)

は Hadamard 行列と呼ばれている.

そこで, この行列の $N$ 本の列べクトルを個別に取り出して,と定義する 1.

これを記憶の基本パタン
したがって, この力学系では, 最大 $N$ 個の基本パタンが定義できる 2. 各パは対称行列なので, 行ベクトルを抜き出して基本パタンと考えてもよい. ここでは, 列べクト
1 行列
ルで定義した.
の第 1 列は 1 のみからなるパタンとなり, 一様なパタンであるから応用上は意味がない. ま2 行列
た, このパタンだけを用いて次節で述べる埋め込み行列 $W$ を構成するとすべてのニューロンが–様に結合した系が得られる. 通常は, 2 列目以下の列べクトルを記憶パタンとして用いる.
$H_{k}$$H_{k}$

148

タンベクトルは通常のユークリッドノルムで互いに直交している. またパタンベクト
は
ルは長さを 1 に正規化しておいた方が便利なのでそのように定義しておこう. 行列$H_{2^{k}}$$H_{2^{k}}^{T}=H_{2^{k}}$

,

(16)

$H_{2^{k}}\cdot H_{2^{k}}=2^{k}I_{2^{k}}$の性質を持っている. したがって
ゐ$P_{2^{k}}=P_{2^{k}}^{-1}= \frac{1}{\sqrt{2^{k}}}H_{2^{k}}=\frac{1}{\sqrt{2^{k}}}H_{2}\otimes\cdots\otimes H_{2}\wedge$(17)を定義すると, これは対称な直交行列となる.

【基本パタンベクトルの定義】
直交行列$P_{2^{k}}$の$2^{k}$

本の列べクトル:$p^{1},$(18)$p^{2^{k}}$$\cdot p^{2},$$\cdots,$

を記憶の基本パタンベクトルと呼ぶ.
たとえば $N=4$ の場合の 4 本の基本パタンベクトルは次のようになる.

$p^{1}= \frac{1}{2}$,$p^{2}= \frac{1}{2}$,$p^{3}= \frac{1}{2}$,$p^{4}= \frac{1}{2}$(19)

なお, これらの基本パタンベクトルは普通, 長方形状にベクトルの成分を並び換えて表示し, 成分が 1 の部分を白に, $-1$ の部分を黒に塗って, 2 次元パタンとして見やすくして議論される.

【基本パタンベクトルの反転パタンベクトルの定義】
基本パタンベクトルの成分を 「 を $-1$ に, $-1$ を 1 に」入れ換えたパタンを反転パタンと呼ぶことにする. すなわち, p ゐを基本パタンベクトルとすると, その反転パタン$1$ベクトルは,$-p^{k}$である.

の符号数 (signature)を定義しておこう. これは, パ
タンベクトルの成分を 1 行目 (これは必ず 1) から最後の行まで見ていって, 符号が変化する数と定義する. たとえば, 上の述べた例では
さて, ここで基本パタン$p^{k}$$\sigma(p^{\text{ゐ}})$$p^{\text{ゐ}}$$\sigma(p^{1})=0$,$\sigma(p^{2})=3$,$\sigma(p^{3})=1$,$\sigma(p^{4})=2$(20)となる. パタンの符号数は, 基本パタンの複雑さ (表現するための次元の高さ) を表していると考えられる. すなわち,$2^{k}$

次元のパタンベクトルを考えると,$\sigma(p^{l})<2^{k}-1$の基本パタンベクトルは, 次元がてよい. たとえば,$2^{\text{ゐ}-1}$(21)の基本パタンを単に次元を高くしただけと見なし$\lceil 1\rceil$$p^{3}= \frac{1}{2}=\frac{1}{2}\lfloor_{-1}^{1}\rfloor\otimes\lfloor_{1}^{1}\rfloor$

(22)

149

となって,
$2^{k}$

この$P^{3}$

は 2 次元パタン $[1, -1]$ の次元を 4 次元としただけと言える. そこで

次元ベクトルで初めて表現できるパタンは(23)$2^{k-1}\leq\sigma(p^{l})\leq 2^{\text{ゐ}}-1$を満足するパタンベクトルであると言うことができる.

2.4

基本パタンベクトルの別の記法

画節で定義する記憶パタンの埋め込み行列の性質を見やすくするために, 基本パタン.
ベクトルの記法を変えて定義しておく. まず, 2 次元の基本パタンベクトルを,$p^{(1)}= \frac{1}{\sqrt{2}}$(24)$p^{(2)}= \frac{1}{\sqrt{2}}$で定義する. 次に 4 次元の基本パタン. ベクトルをこれらのテンソル積で定義し, 上付き
添字を併記する. すなわち$p^{(1,1)}=p^{(1)} \otimes p(1)=\frac{1}{2}$,$p^{(1,2)}=p \otimes(1)p=(2)\frac{1}{2}$(25)$p^{(2,1)}=p^{(2)} \otimes p(1)=\frac{1}{2}$,$p^{(2,2)}=p^{(2)} \otimes p^{(}2)=\frac{1}{2}$

この操作を帰納的に行って,次元の記憶パタンの基本ベクトル次元の基本ベクトルを次式で定義する.
$2^{k}$$p^{(\cdots,ii_{k})}i_{1},i_{2},k,+1$$l:$から $2^{k+1}$.

$p^{(i_{1},i_{2},\cdots,ii_{k+1})}k,=p^{(i_{1},i}2,\cdots,i_{k})\otimes p^{(}ik+1)$$=p^{(i_{1})}\otimes p^{(i)}\otimes 2.$,.

$\otimes p^{(}\otimes pi_{k})$$(ik+1)$(26)

は 1 または 2 を表す.
次に, これらのベクトルが座標の互換に対して, 符号の反転性を除いて不変となることを見ておこう. そのためにまず式 (10) で定義した互換を改めてここに, 上付き添字の$i_{\ell},$$\ell=1,2,$ $\cdots,$ $k$$G_{2}=\{g^{(1)},$(27)$g^{(2)}\}$

ここに,$g^{(1)}=$ ,と書き, この群の$k$$g^{(2)}=|_{1}^{0}$$01$個の直積群を.

$G_{2^{k}}=G_{2^{\otimes}}\cdot\cdot\otimes G_{2}\wedge k$$=\{g^{(i_{1},i\cdots,i)}2,k|i_{l}=1$(28)
or 2; $P=1,2,$$\cdots,$

$k\}$

150

と書くことにする. たとえば
$G_{4}=G_{2}\otimes c_{2}=\{g^{(1,1)},g,g,g\}(1,2)(2,1)(2,2)$

(29)

ここに

$g^{(1,1)}=g^{(1)_{\otimes}}g(1)=$$0001$$0001$$g^{(1,2)}=g^{(1)}\otimes g(2)=$$0001$’(30)$g^{(2,1)}=g^{(2)}\otimes g(1)=$$0001$$0001$,$g^{(2,2)}=g^{(2)}\otimes g^{(}2)=$である.

【基本パタンベクトルの互換に対する不変性】
2 次元の基本パタンベクトルに互換を作用させると次式となる.
$G_{2}$’$g^{(2)}g^{()}2=-p^{(2}=p^{(1)},$$g^{()}g^{(1)}1=p^{(2}=p^{(1)}),$

)

(31)

最後のベクトルが反転するが, この符号を無視すると, 基本ベクトルは互換によって不変と言える. このことは, 一般に成り立つ. すなわち$g^{(j_{1},j_{2},\cdots,\mathrm{j}k})(p^{()})i_{1},i_{2},\cdots,i_{k}=(-1)^{r}p(i_{1},:_{2},\cdots,ik)$

ここに,

$r$

(32)

は $g^{(2)}(P^{()})2$ の出現する個数を表す.

【証明】実際に計算すると得られる.

2.5

記憶パタンの埋め込み行列 $W$ の定義

いま, 神経回路網に $m$ 個の記憶パタンを以下のように構成しよう. ここに,きた $m$ 個のベクトルであることを表す.
まず, 基本パタンベクトルから $N$ 個の行列$W$

$k_{1},$$\cdots,$$W_{k}=(w_{i\mathrm{j}})=p^{k}\cdot(p^{k})^{T}$

この行列は, 状態空間

$R^{N}$

を記憶させるために接続行列
基本パタンベクトルから取って$p^{k_{1}},p^{k}2,$ $\cdots,p^{k_{m}}$$k_{m}\text{は},$,.

$W_{k}$を作っておく.

$k=1,$$\cdots,$

$N$

(33)

の線形写像と考えると, それぞれのパタンの張る 1 次元部分空間への射影となっている. 実際,$V_{k}=\{ap^{k}\in R^{N}|a\in R\}$

とおくと,

(34)

151

$\bullet$

任意のベクトル $x\in R^{N}$ に対して,$W_{k^{X}}\in V_{k}$$\bullet W_{k}\cdot W_{k}=W_{k}$となっている.

そこで, 回路の接続行列 $W$ を次のように定義する.

【接続行列 $W$ の定義】

..

, .

に対応して, 上で作った $m$,
いま, 埋め込みたい $m$ 個の記憶パタンを単に線形結合した行列を作り, . これを $W$ と定義する. す個の射影$p^{k_{2}},$$p^{\text{ゐ_{}1}}$$W_{k_{1}},$$W_{k_{2}},$$\cdots,$$p^{k_{m}}$$\cdots,$$W_{k_{m}}$

なわち,

.

:.
$m$

(35)

.,

$W= \sum_{=\ell 1}W_{kp}$

たとえば, $N=4$ の場合の例を考えると,め込んだ場合の接続行列はパタンベクトル (19) より,$W= \frac{1}{4}$となる. 同様に$p^{2}$と$p^{3}$$p^{2}$

のみを埋

(36)

を埋め込んだ場合は(37)$W= \frac{1}{2}$となる.

の構成法は次のようにもう少し–般化して考えることもできる. 上で定義しを基底とするベクトル空間を考え, $W$ をこの空間の点であると定義す
た $N$ 個の射影
なお,

$W$

$W_{k}$

る.

このときは
ガ
$W= \sum_{k=1}\beta_{\text{ゐ}}Wk$となって, 各基本パタン$p^{k}$

が重み$\beta_{k}$

,

(38)

$\sqrt k\in R$

付きで埋め込まれたこととなる. 通常は, 重みを 1

として $N/2$ 個程度までのパタンを埋め込んだ系が考えられている.

2.6

..

記憶パタンの埋め込み行列 $W$ の定義 : 別の記法

前節の定義を別の記法で表し, その性質を考えよう. $N=2^{n}$ の場合を考える. まず,) を作る.
から $N$ 個の基本接続行列
基本パタン. ベクトル$p^{(i\cdots,i)}i_{1},2,n$$W^{(i_{1},\cdots,i_{n})(i\cdots,i)}=p1,n(p^{(i_{1},\cdots,i_{n})})^{T}$

ここに,$i_{l},$$\ell=1,2,$ $\cdots,$ $n$【基本接続行列$W^{(i_{1},\cdots,i_{n})}$は 1 または 2 を表す.

の性質】

$W^{(i_{1},i_{2}}’\cdots,i_{n}$

(39)

152

基本接続行列は,$n$個の互換が作る直積群 (28)$gW^{(i_{1},\cdots,i_{h}})g^{-}1=W^{(i_{1},\cdots,:_{n})}$の変換に関して次の性質を持つ.

$G_{2^{n}}$

,

(40)

$\forall g\in G_{2^{n}}$このことから, 基本接続行列の線形結合として構成した接続行列 $W$ も同様な性質を持
つ. すなわち$W= \sum\beta_{(:\cdots,i}\iota,n)W^{(i_{1n}}’\ldots,:)$(41)$gWg^{-1}=W$,

(42)

をつくると

【基本接続行列基本接続行列$W^{(i_{1},\cdots,i_{n}}$)$\forall g\in G_{2}n$の構成法】) は, 次のように順次構成できる.
まず, 2 次元の場合は$W^{(i_{1},\cdots,i_{n}}$,$W^{(1)}= \frac{1}{2}$(43)$W^{(2)}= \frac{1}{2}$となる. 次に 4 次元の場合は次式となる.
$W^{(2)}W^{(2)}$$W^{(2)}W^{(2)}]$(44)$W^{(2,2}W^{(2}W^{(,)}1,1)2)===W^{(2)} \otimes W^{(2})W^{()}2\otimes W^{(1}W^{()}1\otimes W^{(2})=)=\frac{1}{4}=\frac{1}{4}\frac{1}{4}\{$$-W^{(}-W^{(1})W^{(2})W^{(}1)2)$

一般に,$W^{(i\cdots,i)}1,k$から,$W^{(i_{1},\cdots,ii)}k,k+1$$-W^{(2)}-WW^{(2})W^{(1})(1)]$をつくるには,(45)$W^{()}:_{1},\cdots,i_{k+1}=W^{(}i_{k+\iota})\otimes W^{(\iota}i,\cdots,ik)=\{$$[_{-W^{()}}^{W^{(_{1},\cdot i)}}.\cdot i_{1},\cdots,ikk$$-W^{(_{1}}W^{(i_{1}}\dot{.},\cdot’.\cdot.,\cdot i.,k)i_{k})],$$i_{k+1}=2$の計算で, 2 倍の基本接続行列を作ればよい.

2.7

基本接続行列による回路のグラフ的な性質) を用いて接続した回路は, グラフとして基本接続行列ことをみておこう.
接続の基本行列は前節の式 (45) から分かるように$W^{(i_{12}},:,\cdots,:_{n}$$W^{(i_{1},\cdots,ii)}k,k+1=$

or$G_{2^{n}}$の対称性を持つ)$[-W^{()}iW^{(i_{1}},\cdots,i_{k}$$-W(i_{1},\cdot|W^{(i_{1}}.\cdot.\cdot,i_{k}.,))i_{k}]$$\iota,\cdots,i_{k}$となっている. このことから, 回路は次のような特殊な接続となっている.
$\bullet$

2 つのブロック対角要素は同じで$W^{(i_{1},\cdots,i_{k})}$となっている.

153$\bullet$

2 つの非対角要素も同じである. これらは符号が反転する場合とそうでない場合の 2
種類しかない.

そこで,$\bullet$$\bullet$$2^{k+1}$次元の回路は, すべて次の操作から構成されていることが分かる.

次元の回路を 2 つ用意する. それぞれの回路の同じ位置にあるニューロンに同じ番号を付して 1 と 1’ のように対応づけをする.

接続行列が$W^{(:_{1},\cdots,i_{k})}$となっている$2^{k}$

非対角要素は, 上述の対応するニューロン間の接続行列を表している.
そのまま使う場合と, $\text{符号を反転し_{て}使う場合があ^{る}}$ .

$W^{(i_{1},\cdots,i_{k})}$

を

$r$

$-$

$\bullet$

このようにして構成された回路は, はじめに用意した 2 つの 2 ゐ次元の回路の互換に対して不変である. このことから基本接続行列から構成された回路は,対称を$G_{2^{k+1}}$持つこととなる.
$\bullet$

基本接続行列の線形結合によってできる接続行列から構成した回路は, 基本接続行列と同じ対称性を持つ.

3構成した神経回路網の性質

3.1

神経回路網の対称性$N=2^{n}$個のカオスニューロンを用いた自己想起形離散時間モデル (7) あるいは (9)を考える. すなわち

(46)$\eta(t+1)=k_{f\eta}(t)+Wf(\eta(t))$

あるいは$\eta(t+1)=k_{f\eta}(t)+Wf(\eta(t)+\zeta(t))$(47)$\zeta(t+1)=k_{f}\zeta(t)-\alpha f(\eta(t)+\zeta(t))+a$を考える. どちらの方程式も同じ接続行列 $W$ を持っているので, 結合の性質は同じである. これらは, 式 (10) で定義した状態の互換の個の直積群に関して対称な性質を持っ
$n$

ている.

そこでまず,$C_{2}$の $n$ 個の直積群を$G=\{g_{1}, g_{2}\}\otimes\cdot.\wedge n.\otimes\{g1, g_{2}\}=\otimes^{n}\{g_{1}, g_{2}\}$とする. $G$ の各要素は行列 (11) をこのとき, 次の性質がある.

$n$

(48)

回 Kronecker 画することによって求められる.

【命題 1 】
$gW=Wg$ ,$\forall g\in G$(49)と $W$ は, 式 (17) で定義した行列は可換群であり, したがってによって同時に対角化できる. このことから式 (49) を得る. なお, この具体的な計算は次の

【証明】

$G$

小節で行う.

$\forall g\in G$$P_{N}$

154

したがって, 式 (46), (47) で定義された系は群 $G$ に対して同心 (equivariant) となり,この群の各要素で状態を変換する操作に関して対称性を持つ.

3.2

神経回路網の座標変換が可換群であることに対して対称性を持ち,
式 (46), (47) で定義された系が群はに関する 1 次元既約部分空間に分解できる. この分解によって,から, 状態空間
式 (46), (47) は, $N-m$ 個の独立な 1 次元線形系と, $m$ 個の 1 次元非線形系に変換できる. ここに $m$ は埋め込んだ記憶パタン・ベクトルの個数である. 次に, このことを具体的に計算しよう. 式 (46) について考えよう. 式 (47) についても同様である.
によって座標変換する. すなわち, 変換
まず, 状態を式 (17) で定義した行列
$G$

$G$

$R^{N}$$G$$P_{N}$$\eta$$u=P_{N}\eta$

,

(50)

$\eta=P_{N}u$を考える. この変換によって, 式 (46) は次式となる.

(51)$\tau\iota(t+1)=k_{f}u(t)+W_{u}h(u(t))$

ここに$W_{u}=P_{N}WP_{N}^{-1}$

とおいた.

,

(52)

$h(u(t))=P_{N}f(P_{N}u(t))$

この方程式は, 系のダイナミクスを $N$ 個の基本パタンを基底ベクトルに取り直して表した方程式である.
そこで, 行列 $P_{N}WP_{N}-l$ を計算しよう. 直接計算して次の結果を得る.

【命題 2】$0\rceil$$\lceil d_{1}$$d_{2}$$..$$W_{u}=P_{N}WP^{-1}N=\lfloor_{0}$.

(53)$d_{N}\rfloor$

ここに, 右辺は対角行列であり, 対角要素以外はすべて零を表す.
$m$

また, 対角要素は次の個を残して他は零となる.
$d_{\ell}=\{$

1,
,

$0$

$l\in\{k_{1}, \cdots, k_{m}\}$$\ell=1,$$\cdots,$

(54)

$N$

$\ell\not\in\{k_{1}, \cdots, k_{m}\}$

このことから, 最初に述べた性質が導かれる. すなわち,【命題 3】 $N=2^{n}$ 個のカオスニューロンを用いた神経回路網 (46) を考えよう. この系
は, $m$ 個のパタンを埋め込んだ行列 $W$ で結合しているものと仮定する. このとき, 回路の運動 (46) は座標変換 (50) によって, 埋め込んだパタン軸上の運動
u ゐ\ell $(t+1)=k_{f}u_{k}l(t)+h_{k_{\ell}}(u(t))$ ,$l=1,$$\cdots,$

$m$

(55)

と, 他のパタン軸上の運動$u_{k}(t+1)=k_{f}u_{k}(t)$

(56)

155

に分解される.
[2 個のパタンを埋め込んだ $N=4$ の例】

24 節で例示した $N=4$ で,
変換行列$P_{N}$

パタン$p^{2}$と$p^{3}$を埋め込んだ場合の運動を取りあげよう.

と接続行列 $W$ は次式となる.
.

(57)$P_{N}= \frac{1}{2}$

したがって
$[0$

$0$

$0$

$0$

$P_{N}WP_{N}^{-1}=$(58)

これより, 系の運動方程式 (51) は次式となる.
$u_{1}(t+1)=k_{f}u_{1}(t)$$u_{4}(t+1)=k_{f}u_{4}(t)$$u_{2}(t+1)=k_{f}u_{2}(t)+h_{2}(u(t))$(59)$u_{3}(t+1)=k_{f}u_{3}(t)+h_{3}(u(t))$

ここに$\frac{1}{2}(u_{1}+u_{2}+u_{3}+u_{4}))-f(\frac{1}{2}(u_{1}-u_{2}+u_{3}-u_{4}))$$h_{2}(u)= \frac{1}{2}\{f+f\{$$\frac{1}{2}(u_{1}+u_{2}-u_{3}-u_{4}))-f(\frac{1}{2}(u_{1}-u_{2^{-}}u_{3}+u_{4}))\}$$h_{3}(u)= \frac{1}{2}\{f($ $\frac{1}{2}(u_{1}+u_{2}+u_{3}+u_{4}))+f(\frac{1}{2}(u_{1}-u_{2}+u_{3}-u_{4}))$(60)$-f$ $( \frac{1}{2}(u_{1}+u_{2^{-u_{3}-u))}}4-f(\frac{1}{2}(u_{1}-u_{2^{-}}u_{3}+u_{4}))\}$

とおいた.

3.3

既約部分空間での運動

前節の命題 3 より, 系のパラメータ$k_{f}$

が$|k_{f}|<1$(61)と選ばれている場合には, 式 (56). にしたがっ , パタンの埋め込まれていない座標の運動は零となる.. このことを仮定すると, パタンの埋め込まれた座標からなる部分空間の運動
が, これまで議論してきた神経回路網の運動にとって本質的となる. 言い換えると, この$-\dot{\tau}$

神経回路網では埋め込んだパタンの個数に等しい低次元系の挙動を知ることで回路網全体の運動を把握できる.
【命題 4】 パタン軸上の低次元系は, 次の方程式で表される.
$W_{u}u(t+1)=k_{f}W_{u}u(t)+W_{u}h(W_{u}u(t))$

(62)

156

【証明】命題 2, 3 から直接計算するとよい.
既約部分空間内の運動を元の神経回路網の運動に変換するには, パタンの埋め込まれていない座標に零を, パタンの埋め込まれた座標に命題 4 の座標を, それぞれの成分とするベクトル $u$ を作り, このベクトルを式 (50) にしたがって状態に変換すればよい.
たとえば, 前節の $N=4$ の例の場合, 元の回路に変換すると次式となる.
$\eta$$=P_{4}= \frac{1}{2}$

3.4

(63)

2 個のパタンを埋め込んだ合原回路の例と本節では, これまでに例として挙げてきた, $N=4$ の合原モデルに 2 つのパタンを埋め込んだ系を対象とし, 適当なパラメータ設定においてカオス遍歴現象がみられる
ことや, その発生メカニズムには周期的カオスアトラクタ集合の boundary crisis がかかわっていることなどを分岐現象の立場で明らかにする.
尚, ここでの「カオス遍歴現象」 とは, カオス的に運動する解が状態空間のなかの複数個の部分空間をしばらく滞在しながら巡回する現象 $[8, 9]$ であると定義する. このような$p^{2}$$P^{3}$

曖昧な定義をしているのは現象の発生メカニズムがこれまでにほとんど解明されていない
ことによるもので, 今後, 解析がすすむにつれ, 応用への意義とも絡めて厳密な定義をおこなう必要があると考えている.
とさて, 式 (57) の接続行列 $W$ より, 変数の組の運動は互いに独立であり, それぞれ等価なダイナミクスで記述されることが容易にわかる. また, 前節の考察$(\eta_{1}, \eta_{4})$$(\eta_{2}, \eta_{3})$およびより, パタンの埋め込まれていない座標の運動は零となることか
結局,
ら,
系の本質的な運動は, 次式で記述される写像を解析すればよい.
$\eta_{2}+\eta_{3}$$\eta_{1}+\eta_{4}$

$T$

ただし,

:

$R^{3}arrow R^{3}$$|\vdasharrow$

;

(64)

(), $z=\eta_{1}(\text{または}, \eta_{2})$ である.
解析結果を示す前に, 以降で使用する用語と記号を簡単に説明しておく. まず, 周期点を表す記号として kD 野またはを用いる. ここに, 周期点の特性乗数が $(-\infty, -1)$ にを, 奇数のときとする. また,存在する個数が偶数のとき記号は不安定次元の個数, $m$ は周期の次数を表す. 下付きの添字 l よ単に同じ性質の周期点を区別するための数
字である. 固定点または周期点に生じた周期倍分岐 (特性乗数の つが -1 となる) に対し,
分岐図中では記号を用いる. ただし, $m$ は周期の次数を,#よ同じ種類の別集合を示す必要がある際の数字である. 尚, 周期点の分岐集合の計算には文献 $[10, 11]$ の方法を用$x=(_{1}(\text{または}, \zeta_{2}),$$y=\zeta_{4}(\text{または},$$kI_{l}^{m}$

$D$

$I$

$k$

$l$

–

$l$

$I_{l}^{m}$

いた.

次に, 式 (64) の構造に関する定義を述べる. すなわち,$P$:$R^{3}arrow R^{3}$$|=$$|$; $\mapsto P$

(65)

157

としたとき, $T$ と $P$ は可換である. 変換 $P$ に関する不変部分空間は $x=y,$ $z=0$ を満たす直線となり, 記号で表す.
最後にカオス集合についての定義を挙げておく. アトラクタ集合 $A$ が $m$ 個の非連結なのアトラクタ集合であるとき,により $A= \bigcup_{i}^{m-1}=0iA$ で表わされ, 各人が写像集合$L$$T^{m}$$A_{:}$

集合 $A$ は周期 $m$ で周期的であるという [12].
とを除くパラメータは $\alpha=4,$ $a=0.8,$
いま, 式 (64) において,.
固定する. このとき, カオス遍歴が生じるシナリオは次のようになる.
$k_{f}$$k_{f}$$\epsilon=0.015$に【周期点から同相カオスヘ】上の周期点に注
図 1 は, 直線
目した分岐図である. 熱中の周期倍$(m=2^{k}, k=2,3,4,5)$
分岐集合
はパラメータ
軸に平行な直線であり, このときの $DT$ の固有値 $-1$ に関する固有ベクトルは直線 の方向にある. すなわち, 発生した倍周期の周期点も直線 上に存在する. 無結合系でもみられる分岐であるということもできる. -方,で示した曲
線をパラメータが通過すると対称性を破壊する方向に周期倍分岐が生じを増加させたとき,
る. パラメータ
安定な 2 のべき乗周期点は 2 度の周期倍分岐を通過する. これにより発生した $2D^{m}(m=4,8,16,32)$ 型周期点が存在するパラメータ領域を機中,$L$$I_{1}^{m}$$k_{f}$$L$$L$$I_{2}^{m}$$k_{f}$$,$ $,$

それぞれ,$\ovalbox{\tt\small REJECT}$, お聖で示した. ここで,の特性乗数において,の周期点 2よび$L$$\ovalbox{\tt\small REJECT}$$D^{m}$

その値が $-1$ 未満の実数となるもの
が 2 つあるが, そのうち, $(\pm q, \mp q, r)$はある実数) を満たす固有ベ(と書
クトル方向の -枝を$q,$$k_{f}arrow$$r$$\chi^{+}(_{2}D^{m})$$\alpha$くことにする.

図 1: 式 (64) にみられる周期点の分岐図.

を増加させたとき, 周期倍分岐の連鎖によりカオスが生じる. 図 2(a)に制限した運動の最大リアプノブ指数である. 図中の点 は倍周期連鎖
は, 状態を直線
によるカオス発生パラメータを示す. -方, 図 2(b) は, ある非対称な初期値から出発し. パラメータ$k_{f}$$L$$a$

た軌道のりアプノブ指数を示す. いま, カオス発生直後のパラメータ (すなわち, 図 2(b)中の点が示すパラメータ値よりわずかに大きな値. たとえば, $k_{f}=$ 0.8706) に固定し,状態の初期値を直線 の近傍に与えたとき, 直線 の近傍を彷下するカオス状態 (ほぼ同相のカオス) がみられる (直線 上に制限されたカオスは数値計算の誤差等により観察
$a$

$L$

$L$

$L$

158

できない). ほぼ同相カオスが発生するメカニズムは周期点のの性質で説明することができる.

$\kappa_{t}-$$\alpha$-枝, すなわち,$\chi^{+}.(_{2}D^{m})$,$\kappa_{\mathrm{r}}arrow$

(a)

(b)

にみられる軌道のりアプノブ指数 . (a) においては軌
道を直線に制限してある. また, (b) において, 太線と細線はそれぞれ, 第 1, 第 2 リ
アプノブ指数を表わす.
図 2: 式 (64), ただし,

$k_{f}=0.3$ ,$\sigma$$L$

同相カオスの発生直前でみられるカオスの例を図 3(a) に挙げた. T32-不変な周期的アトラクタ集合 $A_{i}(i=0, \ldots, 31).\text{がみられる}$ . このアトラクタは $2D^{16}$ の \alpha -枝の周辺で解が振る舞うことによって生じる. 非連結なアトラクタ集合
は次の性質を持つ $P(A_{i})=A_{j}$$A_{i}$:$15$ ).
($j=(i+16)$ mod 32, $i=0,$
すなわち, 入と $P(A_{i})$ の組は T16-不変である.
ここで, 同相カオスが発生するようにパラメータを増加させたとき, $A_{i}\cap P(Ai)\neq\phi$となり, 相図は図 3(b) のようになる. 新しくできたアトラクタ集合は 16 周期となる. こと $P(\chi^{+}(_{2}D^{16}))$ の交差にともなって生じたものである.
の現象は
図 4 において記号で示した曲線の内部領域 (影を付したパラメータ領域) では,$\ldots,$$\chi^{+}(_{2}D^{16})$$H^{m}$

159

が成り立ち, $m$ 周期同相カオスアトラクタ集合がみられる.
パラメータ集合の計算には文献 $[13, 14]$ の方法を応用した. 各領域の大域的な位置関係よを増加させたとき, $H^{2^{k}}(karrow\infty)$ で同相カオスが発り, 次が予想できる パラメータ
生し,の減少と共に周期的アトラクタ集合の周期が減少する. このとき, $H^{2^{k}}(karrow\infty)$が生じるとみられるベラメータ (図 2(b) の点 ) と倍周期連鎖の集積点 (図 2(a) の点 ). .とは同じ値であることも予想され, 興味深い.

$\chi^{+}(_{2}D^{m})\mathrm{n}P(x(_{2}+Dm))\neq\phi$:$k_{f}$

$k$

$a$

$a$

$\cdot$【同相カオスの崩壊によるカオス的遍歴現象の発生】
以下, 周期的同相カオスアトラクタ集合が崩壊する過程について考察する. 図 5 は,をほん
図 2(b) 中の点 が示すパラメータ値の前後における相図である. パラメータがのわずか増加させることにより, 図 5(a) でみられた 4 周期アトラクタ集合, .. . ,同図 (b) のように互いに連結し, 同相状態を崩すような空間を点列が彷裡する様子が観察できる. このカオスアトラクタは, 4 周期点の \alpha -枝の近傍を運動しており,$b$$k_{f}$$A_{4}$$A_{1}$$\chi^{+}(_{2}D^{4})\cap\chi^{+}(\tau^{n}(_{2}D4))\neq\phi$

,

(66)

$n=1,2,3$の発生と同時に boundary crisis が生じ, 同相カオスが崩壊する.

$- \mathrm{o}s0B0-4z\mathrm{k}^{\mathrm{r}-}- 20^{\cdot}..\cdot$$- 0B\mathrm{o}s^{z}0-$$2-0\varpi_{-0s}0\mathrm{B}0z_{8}$$\mathrm{q}\varpi_{-0}\mathrm{o}s_{\mathrm{H}_{0}z}s0_{\wedge 6\mathrm{n}}z/\prime J//\mathrm{B}$$/0$$\mathrm{o}sz$$\mathrm{q}$

2

$y$

2

$*$

$y$

.

$0$

$.\cdot.|$$\mathrm{k}^{\mathrm{k}_{A_{0}}^{\mathrm{b}^{\sim}}}":^{\mathrm{s}}\cdot A_{1}$$- 20$$- 2$$g^{l_{q}}$$\mathrm{k}_{A}^{\neg};A_{3}$

$z$

$- 4$
$- 4$

$2X$
$- 2$

$z$

$-4-0S$$0$$0$(a) $k_{f}=0.87777$
図 5: 式 (64), ただし,

$k_{f}$$\mathrm{o}s$$\mathrm{o}s$(b) $k_{f}=0.87778$.

$=0.3$ ,にみられる同相カオスの崩壊前後の相図.

毎の点列を示す. 同図 (a) より, 4 つの準安定状態が存在し, ある準安定状態でしばらく滞在した後, 別の状態へ切り替わる様子がわかる. 同図 (b) は, 時間が $[720, 1300]$における相図である. 別の準安定状態へ切り替わる際に, 点列は– つの準安定状態の外にを 4 周期点としたとき, $T(\chi^{+}(u))\subset\chi^{+}(\tau(u))$ であある状態に短期間滞在する. いま,るので, 任意の点 $P\in\chi^{+}(T^{n}(u))$ に対し, $T(p)\in\chi^{+}(\tau^{n+}1(u))$ が成り立つ $(n=0,1, \ldots)$ .
そこで, 点 $p_{1}\in\chi^{+}(u)\cap\chi+(\tau(u))$ が存在するならば, $T(p_{1})\in\chi^{+}(T(u))\cap x^{+}(T^{2}(u))$ と図6に$T^{4}$$u$160-枝の交差が 1 つでも存在すると, 交点が周期点でない限り交差は無限個存在することになる. すなわち, 準安定状態を遍歴する現象は停止することがない.
なる.

したがって,$\alpha$

(a)

図 6:

$T^{4}$(b)による配列の (a) 時系列, および (b) 相図 $(720<t< 1300)$ . 式 (64) のパラメー

タは $k_{f}=0.3,$ $k_{r}=0.87778$.

【記憶パタンの遍歴】
さて, boundary crisis による準安定状態の切り替わりとネットワ一クにおける記憶パ

タン想起の関係についてみてみよう.
図 5 より, 準安定状態が切り替わるときの冷肉は大きなの値を持つことがわかる
またはと(). このとき,の運動は互いに独立かつカオス的であるので, 準安定状態が同時に切り替わる状況が生じ得る. -方, 式 (63) より, $u_{2}=\eta 1^{-}\eta 2,$であるから,
平面に写影した点列が逆相および同相となるとき, それぞれ, パタンの埋め込まれた座標成分が増大することを意味する. すなわち, 式 (64) において周期的同相カオス集合の崩壊, すなわち, boundary crisis が生じるとき, ネットワ一 の出力が記憶パタンを想起する現象が開始するといえる. 同相カオスの崩壊直後のパラメー
タにおいては記憶パタンを想起する期間は非常に短いが, パラメータをより大きな値に設定すると, 各埋め込みパタンをしばらく滞在するような遍歴がみられる.
尚, 式 (38) のように埋め込みパタン間に重み付けを施すことにより, 状態とが弱く結合した系について解析をおこなった結果は文献 [6] にある.
$|z|$$z=\eta_{1}$$\eta_{2}$$\eta_{1}$$\eta_{2}$$u_{3}=\eta_{1}+\eta_{2}$$(\eta_{1},\eta_{2})$$P^{2},$$P^{3}$$i^{7}$$k_{f}$$\eta_{1}$4$\eta_{2}$むすびカオスニューラルネットワークに埋め込んだパタンの対称性を利用して, 系の運動を低次元化するための系統的な方法を述べた. また, 2 つの直交パタンを埋め込んだ 4 個結合系にみられるカオス遍歴の発生シナリオを分岐現象の立場で明らかにし, 準安定状態の切り替わりが埋め込みパタン軸上の成分を増大させ, 記憶パタンの想起を引き起こすメ
カニズムを例証した.
非直交パタンを埋め込んだネットワークは応用面から重要である. 直交パタンの座標成分の合成によって運動を説明できるかどうか実際に検証することが必要である.
また, 4 周期カオスアトラクタ集合の崩壊と同時に, 4 周期点の \alpha -枝が状態空間の広161

い範囲に急激に伸びる現象が観察されているが, この興味深い現象の発生メカニズムを解明するため, 他の周期点に関する多様体を調べることなども今後の課題である.

参考文献.
[1] K. Aihara. “Chaotic neural networks”. In H. Kawakami, editor, Bifurcation Phenomena
in Nonlinear Systems and Theory of Dynamical Systems, pages 143-161. World Scientific,
Singapore, 1989.
[2] K. Aihara, T. Takabe, and M. Toyoda.
$\mathrm{A}(144):333-340$ , 1990.

“Chaotic neural networks”.

Physics Letters,[3] M. Adachi, K. Aihara, and A. Cichocki. “Separation of mixed patterns by a chaotic neuralnetwork”. Proc. of the NOLTA ’ , pages 93-96, 1996.
$\mathit{9}\theta$[4] 宮崎淳, 城木芳隆, 徳田功, 長島知正. “ カオスニューラルネットにおける同期に基づく動的連想記憶の生成のシナリオ”. NOLTA Workshop’96 論文集, 2:11-15, 1996.
[5] 吉永哲哉, 井沼康祐, 川上博. “ あるカオスニューラル・ネットワークにみられるカオス的遍歴現象の解析”. 電子情報通信学会技術報告, NLP97-102:25-32, 1997.
[6] 吉永哲哉, 井沼康祐, 川上博. “ あるカオスニューラルネットワークにみられるカオス的遍歴現象の解析 (II). 電子情報通信学会技術報告, NLP97-164:23-30, 1998.
[7] 小室元政. “大域結合写像とカオスニューラルネットワークにおけるカオス的遍歴のメカ $–$ ズ
ムについて”. In 京都大学数理解析研究所研究集会 「力学系の不変量とその応用」, 1998.
[8] K. Nakano. “Association –a model of associative memory”. IEEE
388, 1972.
[9] T. Kohonen. “Correlation matrix memories”. IEEE$\mathcal{I}\vdash ans.,$$\mathcal{I}\succ ans.$$\mathrm{C}(22):353-359$, SMC(2):381-, 1972.

[10] H. Kawakami. “Bifurcation of periodic responses in forced dynamic nonlinear circuits: computation of bifurcation values of the system parameters”. IEEE Trans. Circuits and Systems,
CAS-31(3):246-260, 1984.
[11] H. Kawakami and T. Yoshinaga. Codimension two bifurcation and its computational algorithm. In J. Awrejcewicz, editor, Bifurcation and Chaos: Theory and Applications, pages
97-132. Springer-Verlag Berlin Heidelberg, 1995.
[12] C. Mira, D. Fournier-Prunaret, L. Gardini, H. Kawakami, and. Cathala. “Basin bifurcations of two-dimensional noninvertible maps: Fractalization of basins”.
mational
Joumal of Bifurcation and Chaos, $4(2):343-381$ , 1994.
$\mathrm{J}.\mathrm{C}$$Inte\backslash$[13] T. Yoshinaga, H. Kitajima, H. Kawakami, and C. Mira. “A method to calculate homoclinic
points of a two-dimensional noninvertible map”. Trans. IEICE, E80-A(9) $:1560_{-1}566$ , Sep.

1997.
[14] 吉永哲哉, 北島博之, 川上博, C. Mira. “ ある 2 次元非可逆写像にみられるホモクリニック点の計算方法”. 電子情報通信学会技術報告,,1996.
$\mathrm{N}\mathrm{L}\mathrm{P}96- \bm{3}\bm{3}:165^{-1}72$