混沌系工学特論 配布資料 #2
担当 : 井上 純一 (情報科学研究科棟 8-13)
URL : http://chaosweb.complex.eng.hokudai.ac.jp/˜j inoue/

平成 16 年 11 月 1 日

目次
1.9

補足 : クロストークの数値的評価について . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

1.9.1

サンプリングとヒストグラム. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

1.9.2 ガウス分布からのずれの検出 : 高次キュムラント . . . . . . . . . . . . . . . . . . . 18
1.10 非対称に結合した回路網の動作特性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.10.1 非対称 Hebb 則とリミットサイクル解の出現 . . . . . . . . . . . . . . . . . . . . . . 20
1.10.2 計算機シミュレーションで動作を確かめる . . . . . . . . . . . . . . . . . . . . . . . 22

1.9

補足 : クロストークの数値的評価について

1.9.1

サンプリングとヒストグラム

前小節で記憶容量の評価をする際に, 各ニューロンにおけるクロストーク :Ciν≡ξν   µ µ ν− i
ξi ξj ξj
N j(40)µ=νの統計的性質を調べたわけであるが, これは独立なランダムパターン ξµ の和であるから, 中心極限定理よりこの確率変数は平均がゼロ, 分散が σ 2 = p/N のガウス分布に従うはずであるとして話を進めた1 . しかし, 実際に様々ξµ を変えて Ciν をサンプリングし, ヒストグラムを作った上で, それから Ciν の従う分布の大まかな形を予想することもできる. その例を図 12 に載せる. この図は p = 50, N = 500 (このとき中心極限定理から予想される分散は σ 2 = p/N = 0.1 である) と選び 1000 回のサンプリングからヒストグラムを作ってある. もちろん, 中心極限定理は和の要素数が十分に大きな場合の話であるから, 数値的に得られたヒストグラムには統計誤差が残るが, 中心極限定理からの結果とまあまあ良く合ってはいる. また, このサンプリングから平均や分散を求めることもできる.

1.9.2

ガウス分布からのずれの検出 : 高次キュムラント

上の例は答えがわかっている場合の確認を示したに過ぎないが, 場合によっては数値的評価が有効になることもある. (40) 式では回路網の状態が想起パターンに一致した場合, すなわち, S → ξ ν のときのクロ

1 中心極限定理に関する証明は例えば少々資料は古いがhttp://chaosweb.complex.eng.hokudai.ac.jp /˜j inoue/ENS/STATPHYS/stat99-2.pdf の 問題 3 , 及びその解答 http://chaosweb.complex.eng.hokudai.ac.jp /˜j inoue/ENS/STATPHYS/stat99-2ans.pdf を見てください.

18

大学院 混沌系工学特論 2004

-3-2

連想記憶の数理 part 2 (担当 : 井上 純一)

-1

0

1

2

3

Ciµ の µ を 様々変 え た サ ン プリ ン グ に よる ヒ ス ト グラ ム と 中 心極 限 定 理 から 予 測 さ れる 答 え : P (Ciν ) =(1/ 2πσ2 ) exp[−(Ciν )2 /2σ2 )]. ここでは p = 50, N = 500 (σ2 = p/N = 0.1) であり 1000 回のサンプリングからヒストグラムを作った.

図 √12:

ストークを求め, この想起パターン ξ ν が安定である条件を求めたわけであるが, 実際には回路網の状態 Sはダイナミックス :Si (t + 1)

=sgn N

wij Sj (t)

(41)

j=1

に従って時間的に変化しているわけであり, 後の節で詳しく見るが, 回路網のダイナミックスを調べる場合には各ステップで時間依存するクロストーク :Ci (t) ≡−Si (t)   µ µξi ξj Sj (t)Nj(42)µ=νがどのような分布に従うか, を知る必要が出てくる. この (42) 式の場合には和の中に現れる各項はもはや独立ではないので中心極限定理に従うと断言することができない. 場合によっては Ci (t) は依然としてガウス分布かも知れないし, ガウス分布からずれているかもしれない. このようなとき, 以下に説明する高次のキュムラントを数値的に調べることによってガウス分布からのずれを検出することができる.
まずは, 注目する分布関数 p(x) のフーリエ変換で分布 p(x) の特性関数 :φx (k)ikx

≡ e

=

 ∞
−∞

dx eikxp(x) =∞
(ik)nn=0n!

xn を定義する. ここで最後の変形では eikx を展開し, 項別に積分したものをモーメント : ∞xn  ≡dxxn p(x)

(43)

(44)

−∞

ここは 19 ページ目

大学院 混沌系工学特論 2004

連想記憶の数理 part 2 (担当 : 井上 純一)で書き換えてある. さて, (43) 式は log(1 + x) の展開を用いると次のように書き換えることができることに注意しょう.

φx (k)= 1+∞
(ik)nn!
n=1
 

xn 

= exp log 1 +∞(ik)nn=0n!

xn (ik)2 2(ik)3 3
x  +x  + · · ·26(ik)2 2(ik)3 3
x  +
x  + · · ·= exp 1 + (ik)x +26

= exp log 1 + (ik)x +12(ik)x +(ik)3 3(ik)2 2
x  +
x  + · · ·262−(ik)3 3(ik)2 2
x  +x  + · · ·(ik)x +263+13− · · · ≡ exp∞ (ik)nn=1n!

Cn (x)(45)

最後の等号の両辺で n の次数の同じもの同士を等しいをおけば

C1 (x)=x

C2 (x)=2(46)

x  − x

C3 (x)=

x3  − 3xx2  + 2x32(47)··· ··· ···(48)が得られる. この Cn (x) を確率変数 x の n 次のキュムラントと呼ぶ. これからわかるように C1 (x) は x の平均, C2 (x) は分散に等しく, p(x) がガウス分布のときには C3 (x) 以降, 高次のキュムラントはゼロとなる(各自確かめてみること. また, ここでの考え方に慣れるために図 12 に示したように, 問い 2 で作成したプ・・がゼロになるか否かをログラムを用いて Ciν をサンプリングし, 実際に 3 次以降のキュムラント C3 (x)・確かめてみると良いと思う). 従って, 回路網のダイナミックスの過程で高次のキュムラントをプロットし,それがゼロか否かを確認することにより, 確率変数がガウスか否かをチェックすることができる.

1.10

非対称に結合した回路網の動作特性

1.10.1

非対称 Hebb 則とリミットサイクル解の出現ここまででパーセプロトンと呼ばれる神経細胞のモデルを多数つなげたとき, 我々が日常的に「連想記憶」と呼んでいる現象と同じような動作が実現できることを学んだ. この際, どのように素子どうしをつなげれば良いのか, が本質的には重要であり, うまく連想記憶を実現するためには任意の神経素子 i と j とをp 個のパターン ξ µ (µ = 1, · · · , p) から作られる Hebb 則 :pwij=1  µ µξ ξN µ=1 i j(49)として選べば良かった. ここで, この式 (49) を次のように一般化しておこう.
pwij=p1  µξ Aµν ξjν
N µ=1 ν=1 i(50)

ここは 20 ページ目

大学院 混沌系工学特論 2004

連想記憶の数理 part 2 (担当 : 井上 純一)

すると, 我々がここまで調べてきたのは Aµν = δµ,ν の場合に相当する. 添え字 i と j を交換しても変わらないわけであるから, この場合を対称結合と呼ぼう.
ところで現実の脳の回路網では, あるニューロンから他のニューロンへの結合が対称であるとは限らない. むしろ, 「脳神経系の多様性」という観点からは非対称であると考えた方が自然であるような気もする. 従って, 今まで我々が調べてきた結合の対称性を破り, 非対称な結合を用いた場合の回路網の動作特性を調べておくことは意味のあることであろう.
そこで, ここでは行列 Aµν を Aµν = δµ+1,ν と選ぶ. すなわち
p=wij1  µ+1 µξξjN µ=1 i(51)とする. もはやこの場合には添え字 i, j の交換に対して不変ではないことに注意しておく. また, 添え字 µに関しては周期的な境界条件を課しておくことにする. つまり, µ = p + 1 は µ = 1 である.
具体的に p = 3 の場合を書き下してみると

1 2 1(ξ ξ + ξi3 ξj2 + ξi1 ξj3 )N i j=

wij(52)となる.
このときの回路網の動作を簡単に考えてみよう. そこで今, 回路網の状態が 1 番目のパターン S = ξ 1 であるとしてみよう. すると, i 番目の神経素子の内部ポテンシャル hi は=hiNwij ξj1 =j=1= ξi2 +N

1  2 1(ξ ξ + ξi3 ξj2 + ξi1 ξj3 )ξj1N j=1 i j

1  3 2(ξ ξ + ξi1 ξj3 )ξj1
N ij i j(53)√となるが, それぞれのパターンの各成分が無相関であるならば上式 (53) の右辺第 2 項は O(1/N · N ) =√O(1/ N ) のオーダとなり, 素子数 N が十分大きければ無視できる2 . 従って, hi = ξi2 となり, 全ての神経素子に対して

ξi2=sgn(hi ) = sgn(ξi2 )(54)が成り立つ. 従って, 回路網の状態は S = ξ 2 となるので 2 番目のパターンが安定となる. 次に, S = ξ2 としたときの内部ポテンシャルはhiNN

1  2 1(ξi ξj + ξi3 ξj2 + ξi1 ξj3 )ξj2
Nj=1j=1
11= ξi3 +(ξi2 ξj1 + ξi1 ξj3 )ξj2 = ξi3 + O √N ij
N=wij ξj1 =(55)となるので, 明らかに回路網の状態は S = ξ3 となり, 今度は 3 番目のパターンが安定となる. そこで最後に S = ξ 3 としたときの内部ポテンシャルを書き出してみると hi = ξi1 となるので, 回路網の状態は S = ξ1となり, 1 番目のパターンが安定となる. 以上の考察から直ちに, このような非対称結合 (51) を採用することにより, 回路網は

ξ1 → ξ2 → ξ 3 → ξ 1 → · · ·(56)のような周期的な運動 (リミットサイクル) を生成する.
2  1 , 2 ,  3 のそれぞれが無相関であるのならば, ξ 3 ξ 2 ξ 1 等はランダムに ±1 をとる変数となる. 原点を中心とした歩幅 1 のラi j j√Nξ 3 ξ 2 ξ 1 のオーダ (stochastic
ンダム・ウォークの t ステップ後の減点からのずれは t であったことを思い出すと,
j=1 i j j√order) はN となる.

ここは 21 ページ目

大学院 混沌系工学特論 2004

1.10.2

連想記憶の数理 part 2 (担当 : 井上 純一)

計算機シミュレーションで動作を確かめる

ここでも例によって簡単なシミュレーションで回路網の動作を確かめておこう.
まずは p = 3 の場合. 回路網に埋め込むパターンをわかりやすいように図 13 のような 3 つの 2 値画像に選ぶ. また, 回路網のある時刻での状態をモニタリングするために, 次の 3 種類の重なりを各ステップで観図 13: 回路網に埋め込む 3 つのパターン. 左から, 1 , 2 , 3 . 画像サイズは 80 × 50.
察することにしょう.

m1 (t)=N
1 11  1
ξ · S(t) =ξ Si (t)N
N j=1 i(57)m2 (t)

=

N
1 2
1  2
ξ · S(t) =ξ Si (t)N
N j=1 i(58)m3 (t)

=

N
1 3
1  3
ξ · S(t) =ξ Si (t)N
N j=1 i(59)つまり, 先ほどの考察が正しければ, 回路網の状態 S は全ての時刻で ξ 1 , ξ 2 , ξ 3 どれかに一致しているはずなので, 各時刻の各パターンからの近さを重なりで測ろうというわけだ. 結果を図 14 に載せる. この図からきれいなリミットサイクルが確認できる. 図 15 に最初の 6 ステップの回路網の状態を載せる. この図で

t = 1 のときの画像が ξ 1 から若干ずれているのは, 初期条件を ξ 1 に 20% 程度のノイズをかけた初期状態
かた出発したためである. しかし, 十分に時間が立ち, 「リミットサイクル・アトラクタ」に軌道が落ち込んだ後にはきれいに ξ 1 → ξ 2 → ξ 3 → ξ 1 → · · · という画像が現れる.
次に p = 4 の場合を考える. 埋め込むパターンの画像としては図 16 の 4 枚の画像を選ぶ. この図 16 の 4 番目のパターン ξ 4 は全ての要素が 1 であるようなパターンであることに注意しておこう. また, p = 3 の場合に観察した重なり m1 , m2 , m3 の他に 4 番目のパターンと回路網の近さを測る量として

m4 (t) =N
1 41  4
ξ · S(t) =ξ Sj (t)N
N j=1 j(60)を導入し, 合計 4 つの重なりを各ステップで観察する. 結果を図 17 に載せる. この図 17 から明らかに p = 3の場合と異なる点はパターン ξ 1 , ξ 4 と回路網の重なりが時間が経過した後であっても 1 にはならない点である (図 18 も合わせて参照).
これは奇妙に思えるかもしれないが, 図 16 からわかるように, これら 2 つのパターン ξ 1 , ξ 4 はお互い画√
像が黒っぽくかなり強い相関を持っている. 従って, (53) 式の右辺第 2 項のように我々が O(1/ N ) の寄与として無視した項がもはや無視できなくなり, O(1) の量になってしまっていることが原因であると考えられる.

ここは 22 ページ目

大学院 混沌系工学特論 2004

連想記憶の数理 part 2 (担当 : 井上 純一)

1m20.8m

m10.6

0.40.2m3

0-0.2-0.4
2468101214t
図 14: p = 3 の場合の 3 つの重なり m1 , m2 , m3 の時間変化.
具体的には, 回路網のある時点での状態が ξ4 であるとき, 素子 i の内部ポテンシャルは
11  2 1 41hi = ξi +
ξ (ξ ξ ) + O √N j i j j
N(61)となり, 上式右辺の第 2 項は ξ 1 , ξ 4 の相関が強くなるとオーダ O(1) の量であり3 , 第 1 項と同じ寄与を及ぼし, これがパターン ξ1 の想起を阻害しているわけである.

✬✩

問 3 : リミットサイクルとしてのパターン分離性がこの節の最後に述べたようにパターン間の相関によって阻害されるとするのであれば, 直交パターンを 4 つ持ってきてそれらを用いて回路網を構成す
れば全て 4 つのパターンがきれいに分離された形でリミットサイクルが実現できることが予想される. そこでこれを計算機シミュレーションにより確かめよ. 直交パターンとしては前回説明したように各成分にランダムに ±1 を割り振るのが手っ取り早いが, 他の方法で直交パターンを作れる場合にはそれを用いても良い. 具体的には m1 , m2 , m3 , m4 の時間発展を図示せよ.
✫3 極端な話,  1 = 4 であるとすれば, (61) 式の右辺第 2 項は (1/N)

するノイズとして寄与する.

✪ξ 2 (ξ 1 ξ 4 ) = ξi2 となり, これが第 1 項のシグナルに対j i j j

ここは 23 ページ目

大学院 混沌系工学特論 2004

連想記憶の数理 part 2 (担当 : 井上 純一)

図 15: 回路網の状態の変遷. 左上から右下に t = 1, · · · , 6 の回路網の状態.

図 16: 回路網に埋め込む 4 つのパターン. 左から, 1 , 2 , 3 , 4 . 画像サイズは 80 × 50.

1m3m20.8
m10.6m0.40.20-0.2-0.4
m4-0.6-0.80510t

152025t
図 17: p = 4 の場合の 4 つの重なり m1 , m2 , m3 , m4 の時間変化.

ここは 24 ページ目

大学院 混沌系工学特論 2004

連想記憶の数理 part 2 (担当 : 井上 純一)

図 18: p = 4 の場合の回路網の状態の変遷. 左上から右下に t = 1, · · · , 6 の回路網の状態. t = 1, 4, 5 のとき, 1 , 4 に対応するパターンがうまく分離されていない.

ここは 25 ページ目