ニューラルネットワークによる連想仮定のシュミレーション
2009SE155 松井裕介
指導教員：小藤俊幸

1

はじめにコンピューターは大量の計算を高速で実行できるという点で人間より優れている. しかし, コンピュータを使って何かを処理を行なわせようとすると, プログラムが少しでも間違っていると, 正しい結果が得ることができない.
そして音声、文字などから認識する問題を人間と同じくらいの精度で解けるプログラムは存在しないのである. では人間はどのようにこれらの問題を解いているのか, そんな時に出会ったのがニューラルネットワークである. 人間の脳に含まれる 100 億個の脳細胞 (ニューロン) がつながり合い他のニューロンと信号をやりとりし、それらの結合から構成されるネットワークによって音声, 文字などの処理を行う事ができるのである. この仕組を全て理解することは現在不可能とされているが, ニューラルネットワー
クの代表例であるホップフィールドモデルを用いて連想仮定においての脳細胞のプログラミング, および数値実験の考察を行い, ニューラルネットワークの理解に努めていきたい.

2

E=−を導入する. この wi,j をシナプス結合として表す. シナプ
ス結合はひとつの細胞が動くことによって周りが全て反応し, その反応の大きさを表す. このエネルギー関数を小さくすると答えに近づくように設定してある. そのときのシナプス結合荷重 wi,j の設計方法について考えてみる. いま○と＋の 2 つのパターン

xs = (xs1 , xs2 , ..., xsn )ホップフィールドモデルはアメリカの物理学者のホップフィールド (j.j.Hopﬁeld) によって作られた数学モデルである. 特徴として階層型ネットワークとは異なり, 入力,出力というものが存在せず, 結合荷重と閾値を変更するといった学習機能を持ち合わせていない. 自分以外のの全てのユニットと結合し, ネットワークのエネルギーを最小を目指す. なのでエネルギーが最小になるような結合荷重を決めてやらなければならない. 代表例として n 個の 2 値
出力 (-1 または 1) のニューロンからなるホップフィール
ドもデルを考えたい. いま, 離散時刻 t(= 0, 1, 2...) におけるニューロン i(= 0, 1, 2.....n) の内部状態を ui (t), 出力をxi (t), 時刻 t における各ニューロン i の出力値 xi (t), シナプス結合荷重 wi,j , しきい値 θi (t) として、モデル化する.
ui (t) > 0 のとき
 1,xi (t + 1) =(1)xi (t), ui (t) = 0 のとき 0,ui (t) < 0 のとき

j=1

wi,j xj (t) − θi (t)(4)を記銘する最も単純な方法は, シナプス結合荷重をwi,j =2∑

xsi xsj ,i = 1, 2, .., n,

j = 1, 2, .., n(5)とすることができる. この場合, 式 (3.5) で θi = 0 としたエネルギー関数の値 E はnnnn21 ∑∑1 ∑∑∑ s swi,j xi xj = −x x xi xj
2 i=1 j=1
2 i=1 j=1 s=1 i j( n)22n
2n
1 ∑ ∑ s ∑ s 
1∑ ∑ s=−x xix xj = −x xi2 s=1 i=1 i j=1 j
2 s=1 i=1 i

E=−

ホップフィールドモデル

ui (t) =(3)f =1

ニューラルネットワークとはn∑nnn∑
1 ∑∑wi,j xi xj +
θ i xi
2 i=1
i=1

s=1

ニューラルネットワークはコンピュータに学習能力を持たせることによってさまざまな問題を解決するアプロー
チである. ニューラルネットワークは教師信号 (正解) の入力によって問題を最適化されていく教師あり学習と, 教師信号を必要としない教師なし学習に分けられる. 今回は教師なし学習であるホップフィールドモデルについて理解を深めていく.

3ニューロンの数を n とすると, 各ニューロンの出力値が,1,1 の二通りなので, ニューラルネットワークの状態の数は 2n 個となる. そして, このニューラルネットワークのエネルギー関数=2∑E s (x)(6)s=1と表される. ここで,

1E (x) = −2s( n∑)2
xsi xi(7)i=1である. 式 (3.16) は, エネルギー関数のうちパターン xs による部分である. xi は,-1 または 1 をとるので,E s (x) は,x= xs のときに最小値をとることが分かるのである. したがって, これらを足しあわせた E(x) は,,x =xs (s=1,2) のときに, ニューラルネットワークのエネルギーが極小となることが近似的といえる. そしてニューラルネットワークのエネルギーは減少していくことを以下に示す. まず, シ
ナプス結合荷重に関する以下の式 (4)(5) の条件が仮定されている.

wi,i = 0,i = 1, 2, .., n(8)(2)
wi,j = wj,i ,i = 1, 2, .., n,

j = 1, 2, .., n(9)ホップフィールドモデルでは, 各ニューロンは非同期的に内部状態を変化させると仮定されているので, ひとつのニューロンの内部状態変化に伴うエネルギー変化を調べるだけで, 式 (1),(2) で示された条件で一般的にエネルギーが減少するかを調べることができる. そこで, エネルギー関数を k 番目のニューロンに関する項とそれ以外の項に分ける.

E=−∑
1 ∑∑wi,j xi xj +
θi xi
2i6=k j6=kn
∑

i=kn
∑

1
1wk,j xj − xk
wi,k xi + θk xk (10)
− xk
2 j=1
2 i=1
そして, ある時刻 t+1 に k 番目のニューロンの出力変化
xk (t) − xk (t + 1) が生じたとする. この出力変化 ∆xk =xk (t + 1) − xk (t) によるニューラルネットワークのエネ
ルギー変化 ∆Ek は,k 番目のニューロン以外のニューロンの出力が変化しないことを考慮すると, 式 (6) より

nn
∑
1 ∑
E=−wk,j xi xj +wi,k xi  ∆xk + θk ∆xk
2 j=1i=1( n ()∑ wk,i + wi,k )=−xi+ θk ∆xk(11)
2i=1となる。ここで, シナプス結合荷重に対する対称性の条(w +w )件式 (5) から, wi,j = i,j 2 j,i となるのでE=−( n∑)wk,i xi − θk∆xk(13)と表せられる。ここで, 各ニューロンの出力値は-1 か 1 のいずれかの 2 値であることと,2 値ホップフィールドモデ
ルの動作規則式 (式 (1)) を用いると,(a)∆xk > 0 のとき
は,xk (t) = 0 → xk (t + 1) = 1 を意味し,(b)∆xk < 0 のときは,xk (t) = 1 → xk (t+1) = 0 を意味する. そして, 式 (1)から,(a) の場合には、uk (t) > 0 でありしたがって, 式 (8)から ∆Ek < 0 となる。(b) の場合は,uk (t) < 0 となり, 式(1) から ∆Ek < 0 となる。また (c)xk (t) = xk (t + 1) = 1,または,xk (t) = xk (t + 1) = 0 である ∆xk (t) = 0 の場合には,∆Ek = 0 となる.(a),(b),(c) のいずれの場合でも,(14)が成り立つ. つまりニューラルネットワークは, 最終的に必ずある平衡常態に到達し, エネルギー最小の状態であるといえる.

4################################################################
####
####
########################○の形のままとどまった.
sf=0.5 の場合################################################################################################################################

形が乱れてしまった.

5となる。そして, 式 (2)(8) より,∆Ek < 0sf=0.1,0.2,0.3,0.4 の場合

(12)

i=1

∆Ek = −wk ∆xk

は白か黒に変わる確率変数とおき, 形がどのように変わるかを確認した.

数値計算

プログラミングを基にシミュレーション結果を以下に示す. 今回は○のパターンを参照する. sf を黒か白もしくおわりに実験の結果として, ホップフィールドモデルのパターン認識で元の読み込んだ形に対してノイズが小さい場合は,読み込んだ形は変わらずノイズが除去された. しかしノイズが入りすぎると形が変わってしまい想定していた答えと違っていた為認識に限界があるということが分かった.
しかしニューラルネットワークを想定したプログラムの実験としては成功したといえる. 今後の課題として○と＋だけではなく色々なパターンの形で実験を行うこと.i,j の範囲を増やしたことで, パターン認識が今までの結果と変わっていくのかということも調べていきたい.

参考文献[1] 吉富康成，朝倉邦造 編：『ニューラルネットワーク』，朝倉書店，東京，2011.
[2] 矢部孝, 川田重夫 編：『シミュレーション物理入門』，厚生統計協会，東京，2007.
[3] 村 上 研 究 室
u.ac.jp/column/neural/

http://ipr20.cs.ehime-[4] ニューラルネットワーク入門
www-ailab.elcom.nitech.ac.jp/lecture/neuro/menu.html