記憶のモデル

アソシアトロンと連想記憶
森田 昌彦

はじめに子が，双方向に同じ強さで結合していた場合，各素子の出連想記憶とは，情報をパターンとして表現した上で分散力値を掛け，さらに結合の強度(興奮性の場合は正，抑制性的に記銘し，そのパターンの一部を与えると元のパターンの場合は負の値を取るものとする)を掛けた値の−1 倍を，全体が再現される，という形で情報を蓄え，読み出す記憶

この 2 素子からなる系の｢エネルギー｣と定義する．そうす方式である．正確に言えば，これは｢自己想起型｣の連想記ると，例えば結合強度が正，つまり互いに興奮性に結合し憶と呼ばれるものであり，この他に二つのパターンの一方ていた場合，一方が 1 で他方が−1 を出力する状態より両から他方を読み出す｢相互想起型｣の連想記憶もあるが，後方が 1 または−1 を出力する状態の方が低エネルギーとな者は層状の神経回路によって実現され，パターン認識を行る．実際，前者は不安定で，後者が安定である．結合強度

うのと本質的な差はない．

が負の場合はその逆となる．

ここでは，回帰型(素子同士が双方向で結合している)神素子が n(＞2)個あるシステムの場合には，うち二つの経回路によって実現される，自己想起型の連想記憶を扱う

素子の組み合わせすべてについて同様にエネルギーの値をが，そのような神経回路モデルとして 1969 年に中野によっ計算し，それらを全部足し合わせたものを，そのシステム1)て提案されたのがアソシアトロン である．その後，1982全体のエネルギーと定義する．そうすると，系の状態は基年に Hopfield が類似のモデルを提唱し2)，連想記憶だけで本的にエネルギーが減る方向にしか変化しないため，やはなく，巡回セールスマン問題のような最適化問題を解くのりエネルギーが低い状態ほど安定となる．素子の出力が 2に使えることを示して多くの注目を集めた．このいわゆる値ではなく連続値の場合にも，ほぼ同様なエネルギーが定

Hopfield モデルに対し，スピングラスという物理系との類義できる．

似性から多数の物理学者が興味を持ち，種々の数理的解析

システム全体が取りうるすべての状態について，エネルギーの値を計算してグラフの｢高さ｣として表現すると，図を行った．
その結果，記憶容量をはじめとして，このモデルが持つ1 のようなエネルギーの｢地形｣が描かれることになる(図種々の性質が 1980 年代に明らかになったが，後述するモでは状態を横軸 1 次元で表しているが，実際には n 次元のデルの問題点はそのままであった．これらを解決する方法

空間である)．この地形中の一点がシステムの現在状態をが提案されたのは 1990 年以降であり，その多くは筆者が表すが，この点は時間と共にエネルギーの谷の方へ移動し行ったものである．本稿では，アソシアトロンの原理からていき，最終的に谷底で留まることになる．このような谷出発して，問題点とその解決法，脳との関係など，その後底のことを｢アトラクタ｣と呼ぶ．の研究成果について極力わかりやすく紹介したい．

原理
叿吤呂吅呎

アソシアトロンの原理をなるべく直観的に理解しやすいよう，Hopfield モデルで導入された｢エネルギー｣の概念を用いて説明する．これは，システム(神経回路網)の安定性を示す指標であり，｢エネルギー｣が低い状態ほど取りやすいことを意味している．
簡単のため，±1 のいずれかを出力する素子(モデル化されたニューロン)が二つある場合で考える．この二つの素もりた まさひこ

S1S2ᅇ㊰⥙䛾ฟຊ䝟䝍䞊䞁

図 1

筑波大学システム情報系教授921

叿吤呂吅呎
S1S2ᅇ㊰⥙䛾ฟຊ䝟䝍䞊䞁

図 2ab

図 3

図 4

さて，アソシアトロンにおける記銘は，記憶したい n 素はいくつかの問題点がある．

子の活動パターン S がアトラクタ，つまりエネルギーの谷一つは，記憶装置としての性能がかなり低いことである．になるよう素子間の結合強度を変えることによって行う．

例えば，記憶できるパターンの数(記憶容量)は素子数の具体的には，1 と 1 のように同じ値を出力する素子間の結15％程度であるし，容量以下であっても記憶量がある程度合を強め，1 と−1 の素子間の結合を弱める(負の方向に強増えると想起能力が大きく低下し，記憶したパターンとの化する)のが最も単純な方法である(自己相関型連想記憶)．

誤差も増大する．また，記憶するパターン同士が無相関でS がアトラクタになっていれば，その周囲の状態を与えたないと，干渉が生じて容量や想起能力が著しく低下する．

とき，システムは状態 S に変化する．これが想起の過程でこれらの問題は，学習アルゴリズムを変えることによってある．また，その後何も入力を与えなくても状態 S を保持ある程度解消できるが，そうすると計算が複雑になり生物するが，これは短期記憶に相当する．

学的な妥当性に疑問が生じる．
関連する問題点として，記憶したパターン以外のアトラ問題点クタである｢偽の記憶｣がある．偽の記憶は，複数のパターアソシアトロンのような自己相関型の連想記憶は，脳のンを記憶すると必ず生まれ，例外的な状況を除いてその数記憶のモデルとして考案された．実際，｢一部の素子が壊れは真の記憶の数よりも圧倒的に多い．この問題は，学習アても特定の記憶が失われることはない｣，｢多くのパターンルゴリズムをどのように変えても解消しない．かつて｢夢を記憶させるほど想起が難しくなる｣など，脳の記憶に似は偽の記憶を想起した結果であり，それを反学習することた性質を持つ．また，各素子は他の素子からの信号に結合によって偽の記憶を消去している｣という仮説3) に基づい強度を掛けて足し合わせるという単純な計算をするだけてモデル4)が提出されたが，実際にはそのような反学習にで，学習アルゴリズム(結合強度の修正方法)も単純であり，ほとんど効果はない．

生物学的に無理がない．しかし，一方で脳のモデルとして
922

Clinical Neuroscience

脳のニューロン活動との違いも問題点の一つである．例
vol. 34 no. 8（2016―8）

xc
えば，アトラクタはポジティブフィードバックによって生

T 3(C 3)S(C 3)

じると考えてよいので，記憶したパターンを想起した状態

T3において，各素子は必ずほぼ取りうる最大または最小の値を出力する．しかし，実際のニューロン活動はそうなってT1

S(C 2)いない．例えば，ある特定の図形を提示した後に持続的にS
xb

活動するサル下側頭葉ニューロンの発火頻度は，取りうる最大値よりもかなり小さく，また図形によって違っていT2(C 2)た5)．また，サルに 2 枚の図形を連合学習させ，一方の図形から他方を想起させると，ニューロン群の活動が徐々にシS(C 1)

T2

T1(C1)

xa

フトする現象が観察された6)が，このような形でのパターンからパターンへの連想は，自己相関型の連想記憶モデル

図 5では実現できない．てゆっくり移動することになる．このようなエネルギーの非単調神経回路網溝のことを｢軌道アトラクタ｣と呼び，これによって時間的

上記のような問題点の原因のほとんどは，学習アルゴリに徐々に変化する時空間パターンの記憶が実現できる8)．

ズムではなく，システムの動作規則，つまりダイナミクス

ただし，非単調出力関数を持つ素子というのは，脳のにある．例えば，Hopfield モデルのエネルギーの地形は，ニューロンのモデルとしては不自然である．より生物学的

実際には図 1 のような滑らかな形状ではなく，むしろ図 2妥当性の高いモデルとして，図 4 のような興奮性の細胞とのような切り立った形状をしている．つまり，アトラクタ抑制性の細胞のペアからなるユニットを相互結合したものに近いところほど傾斜が急になっており(アトラクタに引が提案されている9)．ユニットへの入力を 0 から徐々に増きつける力が強いことを意味する)，また強いアトラクタ

やしていったとき，最初は出力も増加していくが，ある程(記憶したパターン)は孤立していて，その中間には偽の記度まで増加すると抑制性細胞の働きによって減少に転じ憶だらけの領域が広がっている．

る．

この問題を解決するために考案されたのが，各素子の入このモデルは，比較的少数のユニットのみが出力を出す

出力関係を表す関数(出力関数)を，これまで用いられてき状態をアトラクタとして記憶することができるが，このとた図 3 a のような単調増加飽和型(シグモイド)関数から，きのモデルの振る舞いは，前述したサル下側頭葉ニューロ

7)

図 3 b のような非単調関数に変える方法である ．このよン群の活動とよく合致する．例えば，ユニットの出力値はうなシステム(非単調神経回路網)では，エネルギーが減る0 と最大値に 2 極化するのではなく，その中間にも分布す方向以外に変化することがあるものの，エネルギー地形がる．また，軌道アトラクタを形成することもできるため，図 1 のような滑らかなものになる．これは，強いアトラクあるパターンを与えると，別のパターンに徐々に変化する

タの周辺では，各素子が受ける入力の絶対値が大きくなり，ような連想が可能である10)．

各素子の出力が 0 に近づいてアトラクタの吸引力が弱まる

文脈依存的連想からである．
このようにエネルギー地形が滑らかになる結果，偽の記

人間は，ある一つの手掛かりから状況や文脈によって異憶がほとんど存在しなくなり，正しい記憶パターンを想起なるものを連想することができる．ところが，連想記憶のする能力が大きく向上する．
正しく想起できない場合には，場合にこれを実現するのは難しい．一般には，文脈を表すしばしばカオス状態になって出力パターンがいつまでも変素子群を用意しておいて，｢手掛かり＋文脈｣を表すパター化しつづける．

ンと想起すべきパターンとを連合して記憶する方法が用い

非単調神経回路網のもう一つ重要な性質は，孤立した点アトラクタだけでなく，線状に連なるアトラクタ(エネルられるが，この方法は極めて効率が悪く，記憶パターンや文脈の数がごく少数の場合にしかうまくいかない．

ギーの溝)を形成できる，ということである．しかも，その理由を説明するために，手掛かりとなるパターン Siと文中に緩やかな流れが生じるようにできるため，システムの脈を表現するパターン Cj の組み合わせに応じて異なるパ状態は，溝の底に向かって強く引き寄せられた後，溝に沿っターン Tijを想起するという問題を考える．手掛かりと文Clinical Neuroscience

vol. 34 no. 8（2016―8）923

脈がそれぞれ m 種類あったとすれば，m2通りの連想を記む す び

憶することになる．このとき，各手掛かりパターン Siは，連想記憶装置アソシアトロンと，それを発展させた回帰それぞれ m 個の異なるパターン Ti1，…，Timと連合され型神経回路モデルについて解説した．紙面の関係で詳細にることになるが，これは Ti1，…，Timを平均したパターンは触れていないが，興味のある方は解説論文14〜16) その他

Tiと連合されたのと同じことである．したがって，システの文献を参照されたい．

ムは手掛かり Siから Tiを想起しようとする．同様に，文脈残念ながら，多層神経回路に比べて連想記憶が工学的にCjから，T1j，…，Tmjを平均したパターンを想起しようと応用されることはほとんどなかったし，近年の deep learn-する．結果として，目的とする Tijは想起されない．

ing を中心とした人工知能ブームとも今のところ無縁であ

この問題を解決するために考案されたのが，｢選択的不る．しかし，人間の知性は脳の記憶の仕組みと密接に関係感化法｣である11)．これは，Siを表現する素子群の一部(通していると考えられるため，未経験の状況において適切に常は約半分)を Cjに応じて選び，それらを機能させない(常判断する能力などを持つ人工知能を実現するためには，連に中立値を出力させる)という手法である．Siが±1 を成分想記憶を用いる必要があると思われる．具体的にどう用いとする 2 値パターンであった場合，選択的不感化を行うこるかが難しいが，一つの試みとしては，非単調神経回路網とにより{1，0，−1}の 3 値パターンに変化する．この 3 値と選択的不感化を用いたパターンベース推論17)がある．

パターンは文脈情報を含んでいるが，Cjは Tijと直接連合されないため，前述の問題が生じない．

本解説が，連想記憶の新たな活用につながれば幸甚の至りである．

さて，この手法を非単調神経回路網に適用すると，かなり自在な連想が可能になる．例えば，パターン S1，S2，S3，S4を点アトラクタとして記憶した上で，C1という文脈(約半数の素子が不感化された状態)において S1 → S2 → S3 →S1という軌道アトラクタを形成し，同様に文脈 C2，C3，C4
において S1 → S3 → S4 → S1，S1 → S4 → S2 → S1，S2 → S4 →S3→ S2という軌道アトラクタをそれぞれ形成すれば，文脈を切り替えることによって，どのようなパターン系列であっても想起することができる．その仕組みを模式的に示したのが図 5 である．
最初，何の文脈も与えない，すなわち選択的不感化を行わない状態でパターン S1の一部を与えたとすると，システ
ムは完全なパターン S1を想起し，その状態を維持する．そこで文脈 C1 を与えると，システムの状態はある部分空間に射影され，そこで S2に向かって遷移する．ただし，このとき約半数の素子は不感化されており，想起されるのは成分の約半数が 0 である 3 値パターンである．しかし，それが S2 に近づいた時点で選択的不感化を解除するとすぐに完全なパターン S2が想起されるし，別の文脈 C4に切り替えれば S4に向かっての状態遷移が生じる．
このような仕組みは，実際の脳にもある可能性がある．
実際，画面の色に応じて想起すべき図形が変化する課題を実行中のサル下側頭葉のニューロン活動12)には，これまでの考え方では説明がつかないものがあったが，選択的不感化を取り入れたモデルはその点も含めて非常によく整合する13)．

924

Clinical Neuroscience文献

1) 中野 馨．アソシアトロン―連想記憶のモデルと知的情報処理．昭晃堂；1979．
2) Hopfield JJ. Neural networks and physical systems with emergent
collective computational abilities. Proc Natl Acad Sci USA. 1982；
79：2554-8.
3) Crick FC, Mitchison G. The function of dream sleep. Nature. 1983；
304：111-4.
4) Hopfield JJ, Feinstein DI, Palmer RG.�Unlearning�has a stabilizing
effect in collective memories. Nature. 1983；304：158-9.
5) Miyashita Y. Neuronal correlate of visual associative long-term
memory in the primate temporal cortex. Nature. 1988；335：817-20.
6) Sakai K, Miyashita Y. Neural organization for the long-term memoryof paired association. Nature. 1991；354：152-5.
7) Morita M. Associative memory with nonmonotone dynamics. NeuralNetw. 1993；6：115-26.
8) Morita M. Memory and learning of sequential patterns by nonmonotone neural networks. Neural Netw. 1996；9：1477-89.
9) Morita M. Computational study on the neural mechanism ofsequential pattern memory. Brain Res Cogn Brain Res. 1996；5：137-46.
10) Morita M, Suemitsu A. Computational modeling of pair-association
memory in inferior temporal cortex. Brain Res Cogn Brain Res.
2002；13：169-78.
11) 森田昌彦，松沢浩平，諸上茂光．非単調神経素子の選択的不感化を用いた文脈依存的連想モデル．電子情報通信学会論文誌(D-Ⅱ)．2002；
85：1602-12．
12) Naya Y, Sakai K, Miyashita Y. Activity of primate inferotemporal
neurons related to a sought target in pair-association task. Proc Natl
Acad Sci USA. 1996；93：2664-9.
13) 末光厚夫，諸上茂光，森田昌彦．下側頭葉における文脈依存的連想の計算論的モデル．電子情報通信学会論文誌(D-Ⅱ)．2004；87：166577．
14) 森田昌彦．連想記憶の神経回路モデル．甘利俊一，酒田英夫，編．脳とニューラルネット．朝倉書店；1994．p. 127-42．
15) 森田昌彦．時系列パターンの学習・記憶の計算論．外山敬介，杉江 昇，編．脳と計算論．朝倉書店；1997．p. 54-69．
16) 森田昌彦．記憶と思考の神経回路モデル．丹治 順，吉澤修治，編．脳の高次機能．朝倉書店；2001．p. 211-29．
17) 山根 健，蓮尾高志，末光厚夫，他．軌道アトラクタを用いたパターン
ベース推論．電子情報通信学会論文誌(D)．2007；90：933-44．

vol. 34 no. 8（2016―8）