OMMQ !"#$%&'()*'

SA-2-3
インターミッテンシー・カオスの連想メモリニューラルネットワークへの応用
Application of Intermittency Chaos for Associative Memory

1.

西尾 芳文
Y. Nishio(徳島大学)

はじめに組み合わせ最適化問題を解く Hopfield NN にノイズを注入する方法が提案されており，なかでも，カオスノイズの 3 周期窓付近が最もよい性能を得られると報告されている．
本研究では，連想記憶を行う Hopfield NN にインターミッテンシー・カオスをノイズとしてネットワークに注入した際の収束性能について調査を行う．コンピュータシミュレーションによって，インターミッテンシー・カオスを注入することで想起の収束速度が向上することを確認する．またインターミッテンシー・カオスの良さを明らかにするために，マルコフ・チェインによってインターミッテンシー・カオスのモデリングを行う．
マルコフ・チェインによって得られる時系列でもインターミッテンシー・カオスと同様の良い性能が得られることを確認する．

2.

Hopfield NN を用いた連想記憶の解法

池口 徹
T. Ikeguchi(埼玉大学)

コントロールパラメータ α を変化させると式 (4) は周期倍分岐を経てカオス的にふるまう．図 1(a) にインターミッテン
シー・カオスの時系列を示す．

1100000.90.80.7

^
z(t)

1000

0.6Freaquency

上手 洋子
Y. Uwate(徳島大学)

0.5

0.4

100

0.3

0.2

0.1
0200

400

600

800

1000

101t

10
Period of laminar part(a)100(b)

図 1: インターミッテンシー・カオス (α = 3.827940).

Hopfield NN はエネルギー関数の極小点を与える状態に収束するように動作する．このような特性をうまく利用すると，連 (a) 時系列．(b) ラミナ−部の持続時間長.
想記憶の実現が可能になる．ここでは，Hopfield NN のニューロンを 2 次元に配置して，その出力値 (0,1) の作る 2 値パター 4. マルコフ・チェイン・モデリング
ンを想起する画像として扱う．想起させたい画像に対し，ネットマルコフ・チェインのモデリングについては以前に提案したワークのパラメータをうまく決めることができれば，不完全な2 値パターンをネットワークの初期状態としたときに，記憶さ 手法を用いる [1]．まず，ラミナー部の持続時間長 (サイクル数)せておいた完全な 2 値パターンを想起させることが可能となる． の分布をカウントした．ロジスティックマップを 100000 イタ
M 個のパターンを記憶させたネットワークのエネルギー関数 レーション繰り返す間に発生したラミナー部のおのおのの持続時間長の頻度を図 1(b) に示す．この図より，その分布は簡単なは以下の式で定義される．
スケーリング則に従っていないことがわかる．我々は，この性

1
E=−wij xj −θi x i(1) 質がインターミッテンシー・カオスの特性を最も特徴づけるも2ののであると考える．
i=ji
インターミッテンシー・カオスの上述の特性をモデリングす連想記憶を実現するための i 番目のニューロンと j 番目のニュー るために，図 2 に示すようなマルコフ・チェインモデルを提案
ロンの結合係数 wij ，i 番目のニューロンのしきい値 θi は以下 する．ここで， P (Sk |Sl ) は状態が Sl から Sk に移り変わる確の式で記述される．
率で,M wij= m=1(2xmi − 1)(2xmj − 1)

(2)

0

θi

=

P (Sk+1 |Sk ) + P (S0 |Sk ) = 1(i = j)(i = j)0

次に，ニューロンの状態は以下の式で非同期に更新する．

xi (t + 1) = fM(k = 0 ∼ L − 1)

(5)を満足しなければならない．このマルコフ・チェインモデルでは S0 はバースト部に対応し，S1 ∼ SL の状態はラミナー部の1 サイクル {0.956,0.160,0.514} に対応する．そして，Sk の添
字の k はその時のラミナー部の持続時間長を表す．

wij xj (t) + θi + βzi

P( S1 | S0)(3)

P( S2 | S1 )P( S3 | S2 )P( SL | SL-1 )P( S0 | S0 )

j=i

S0

ここで zi はネットワークに注入するノイズで，β はノイズの振幅を調整するパラメータである．また関数 f はシグモイド関数を用いた．本研究では，ニューロンの出力値が 0.5 以上で発火とみなす．

S1S2SLP ( S0 | S1)
P( S0 | S2 )1

3.

カオスノイズ

本研究では，次式のロジスティックマップで生成されるカオス時系列をカオスノイズとして用いる．

ẑim (t + 1) = αẑim (t)(1 − ẑim (t)).

(4)

図 2: マルコフ・チェイン・モデル.
図 2(a) に L = 15 のときのマルコフ・チェインモデルにより得られた時系列を示す．得られた時系列の統計的な特性を調

S-5

SA-2-3

OMMQ  !"#$%&'()*'
べるために，ラミナー部の持続時間長を計算した．その結果を250
図 2(b) に示す．図 2(b) の結果は図 1(b) とよく似ていることDが分かる．
200
ECdH

150
1

10000

0.9

A

100

0.8

0.7

1000

0.6

50

B

Freaquency

^z(t)

0.5

0.4

0100

0.3

05000

10000

15000

20000

25000

30000

t

0.2(a) インターミッテンシー・カオスノイズ

0.1
0100

200

300

400

500

600

700

800

900

1000

10t(a)

110Period of laminar part

100250(b)D200

図 3: マルコフ・チェイン (L=15).(a) 時系列．(b) ラミナ−部の持続時間長.

AEC

dH1501005.

解析結果

B50Sconv = 1.0 −min[収束時間, Repeat]
Repeat(6)

Repeat はネットワークの総更新回数であり，本研究では 50000回とした．ここで，インターミッテンシー・カオスの分岐パラメータ α = 3.827940 とし，これに対応するマルコフ・チェインのラミナ−部の持続時間長は L = 15 の時系列をノイズとして注入した．また，ノイズの振幅を調整するパラメータは β = 50.0とし，Hopfield NN のパラメータは ε = 0.02 とする．
ハミング距離を可変とし，パターン数が 5 のときのインターミッテンシー・カオスとマルコフ・チェインモデルの Sconv の結果を図 5 に示す．この結果から，マルコフ・チェインモデル
はインターミッテンシー・カオスと同様の性能を得ることがわかる．したがって，マルコフ・チェインモデルはインターミッテ
ンシー・カオスの持つ良い性質 (連想記憶を行う Hopfield NNにおける収束率，収束速度改善) を保持しているといえる．

6.

05000

10000

15000

20000

25000

30000

(b) 完全に発達したカオスノイズ
250200DBdH

150100AEC

50005000

10000

15000

20000

25000

30000

t(c) ノイズなし

図 4: シミュレーション結果 (5 パターン).
ミッテンシー・カオスの良さを明らかにするために，マルコフ・チェインによってインターミッテンシー・カオスをモデリングする方法を提案し，マルコフ・チェインによって得られる時系列でもインターミッテンシー・カオスと同様の性能を得ることがわかった．
0.7
Intermittency Chaos
Markov Chain

0.6
0.50.40.3
0.20.1
0100120140160180dH200220240260

図 5: Sconv のシミュレーション結果 (5 パターン).

まとめ

本研究では，連想記憶を行う Hopfield NN にインターミッテンシー・カオスをノイズとしてネットワークに注入した際の収束性能について調査を行った．コンピュータシミュレーションの結果，インターミッテンシー・カオスを注入することで想起の収束率，収束速度が向上することを確認した．またインター0t

Sconv

本研究では，記憶パターンとして，ランダムに生成される20 × 20 の 2 値のパターンを用いる．ここでパターン間の距離の定義としては，ハミング距離 dH を用いる．全ての記憶パターンから，あるハミング距離だけ離れたパターンを初期パターンとして生成する．図 4 は，記憶パターン数を 5，初期パターンとのハミング距離を 150 として連想記憶を行った結果である．横軸が時間，縦軸がハミング距離である．図 4 の (a) はインターミッテンシー・カオスノイズを注入した場合，(b) は完全に発達したカオスノイズを注入した場合，(c) はノイズなしの場合を示している．図からわかるように，ノイズなしでは収束しておらず，想起ができていないのに対して，ノイズを用いると振動しながらも収束し，想起できている．特に，インターミッテンシー・カオスノイズの方が，完全に発達したカオスノイズよりも速く想起できているのがわかる．
次に，収束速度を 10 段階で評価する Sconv を提案する．Sconvは式 (6) で定義される．Sconv の値が 1.0 に近いほど，速く収束したことを表す．先ほど提案したマルコフ・チェインモデルがインターミッテンシー・カオスをうまく模擬できていることを明らかにするために，この評価方法において双方のノイズを比較する．

参考文献[1] 上手洋子，西尾芳文，牛田明夫，“インターミッテンシー・カオスのマルコフ・チェインによるモデリング” 第 16 回 回路とシステム (軽井沢) ワークショップ論文集, pp. 13-18, 2003.

S-6