論文

非単調神経素子の選択的不感化を用いた文脈依存的連想モデル
森田 昌彦†

松沢 浩平††

諸上 茂光††A Model of Context-Dependent Association Using Selective Desensitization of
Nonmonotonic Neural Elements
Masahiko MORITA† , Kouhei MATSUZAWA†† , and Shigemitsu MOROKAMI††

あらまし 分散情報表現を用いた神経回路網において，同じ入力から文脈に応じて異なるパターンを連想する
際には，主に入力パターンに文脈を表すパターンを連結する方法が用いられてきた．しかし ，この方法には本質的な問題点があり，入力及び文脈パターンの数に関して強い制約が生じていた．本論文では，これとは異なる文
脈修飾の方式を非単調神経回路網に適用することによって，従来の問題点を解決する文脈依存的連想モデルを構築する．このモデルでは，入力及び文脈パターン数に関係なく，学習できる連合の数が素子数にほぼ比例して増加する．また，文脈を切り換えることによって，アトラクタ間の状態遷移を自在に制御することができる．本モ
デルは，素子数や学習時間の爆発を招くことなく任意の有限オートマトンの動作を模擬可能であると同時に，完全な分散表現に基づく高い汎化能力を備えており，従来の記号処理の限界を打破する可能性を秘めている．
キーワード

非単調連想モデル，軌道アトラクタ，積型文脈修飾，文脈主導型連想，有限オートマトン

1. ま え が き

神経回路網の文脈処理能力は極めて乏しい．分散情報

一般に人間の情報処理は文脈に強く依存しており，ているが，ご く小規模な場合にしかうまく動作しない

高度に知的で柔軟な情報処理を工学的に実現するためのが実状である．2. で詳しく論じるように，その主な表現に基づいて文脈を扱うモデルもいくつか提案されには，文脈依存性の問題を避けて通ることはできない．

原因は従来用いられてきた文脈修飾，すなわち入力パ

人工神経回路網の場合も例外ではなく，文脈に依存しターンに文脈を表すパターンを単に連結するという方法（ 以下，直和型文脈修飾と呼ぶ ）にある．この方法

た情報処理の機能は非常に重要である．
一口に「文脈」といっても様々な意味と役割があり，を用いる限り，ある入力パターン群を異なる多数の文

一般的に扱うのは困難であるが，ここでは「 文脈が異脈に応じて別々の出力パターン群に対応づけることはなれば ，同一の入力に対する望まし い出力が変わる」

本質的に困難なのである．

という基本的な観点から議論する．すなわち，本論文

このほかに文脈に応じて入出力関係が大きく変化すでいう「文脈」とは，系の入出力関係に影響を与える

る場合にしばしば 用いられ るのが ，いわゆるエキ ス

情報のことである．このように入力情報を修飾して出

パートネットモデル [1]，すなわち文脈ごとに特化した力を変化させる機能は，文脈が果たす役割の大部分に回路網を切り換えながら使用する方法である．確かに，

共通し ，文脈処理をモデル化する際の基礎となるとい

この方法では後述の非直交性及び平均化の問題は生じ

えよう．

ない．しかしながら，文脈の数だけ回路網が必要であ

しかしながら，この観点から見たとき，従来の人工るため，素子の利用効率は非常に悪い．更に問題なのは，この方法は文脈修飾の際，実質的に文脈をシンボ†

筑波大学機能工学系，つくば市

ルとして扱っていることである．そのため，文脈情報

Institute of Engineering Mechanics and Systems, University

をどのように適切にシンボル化するかという新たな問of Tsukuba, 1–1–1 Tennodai, Tsukuba-shi, 305–8573 Japan††筑波大学大学院システム情報工学研究科，つくば市

題が生じ る一方で，異なる文脈の間で全く汎化が起きDoctoral Program in Systems and Information Engineering,

ない．これでは神経回路網によるパターン情報処理のUniversity of Tsukuba, 1–1–1 Tennodai, Tsukuba-shi, 305–

利点を十分に生かすことができない．

8573 Japan1602

電子情報通信学会論文誌 D–II

Vol. J85–D–II No. 10 pp. 1602–1612 2002 年 10 月

論文／非単調神経素子の選択的不感化を用いた文脈依存的連想モデル

本論文では，直和型とは異なる分散文脈修飾方式を提示し ，これを非単調素子を用いた連想記憶モデルに適用することによって，神経回路網による情報処理の大きな足かせとなっていた上記の問題を解決する．以下では，まず従来の文脈修飾法の問題点，及び提案するモデルのもととなる非単調神経回路網について説明する．次に，文脈パターンの積型修飾及び素子の選択的不感化について述べた上で，これを非単調神経回路
網に適用することによって，規模の制約なく文脈依存的な連想を実現できることを示す．また，文脈主導型

Fig. 1図 1 Elman ネットの構造
Structure of the Elman network.

連想モデルを構築し ，これによって有限オートマトンの動作が模擬できることを示す．
第 1 に，第 1 層のパターン同士がかなり類似してし

2. 従来手法の問題点

まうという点である．例えば ，(S 1 , C 1 ) と (S 1 , C 2 )ここでは，文脈依存的な出力を行う代表的な神経回とは少なくとも n1 個の成分が一致するし ，(S 1 , C 1 )路網である Elman のモデル（ Elman ネット ）[2] を例と (S 2 , C 1 ) は n2 個以上の成分が重なる．したがっに ，従来の分散文脈表現が 抱える問題点を明らかにて，仮に S µ や C ν が相互に十分離れていたとしても，する．
図 1 は Elman ネットの構造である．基本的には 3x に関する直交性は低い．特に，n1 と n2 の値が大きく違うときにこれが顕著である．一般に x から y を層からなる層状の回路網であるが ，第 1 層には入力中間層を介さずに連想する場合，入力パターンの直交部に加えて文脈部がある．第 2 層は状態層と呼ばれ，性が低いほど 干渉によるノイズが増え，目的のパター

第 3 層は出力層である．離散時刻 t における文脈部のンが出力されるよう結合荷重を設定するのは難しくな

活動パターンが，1 時刻前における状態層のパターン

る．p 及び q が増えると類似したパターンの組合せがy (t − 1) そのもの（より一般的なモデルでは，y (t − 1)

飛躍的に増大するから，結局 p と q が比較的小さく，によって決まるあるパターン ）となっているのが特徴

かつ n1  n2 でなければ ，上記の目的の達成は困難である．第 3 層のパターン z(t) は純粋に y (t) にのみということになる．これを非直交性の問題と呼ぶ．

依存するから，異なる z を出力するためには第 2 層

第 2 は，1 対多対応による平均化の問題である．例の活動パターンが異なっていなければならない．そこ

えば入力パターンが S 1 のとき，状態層の活動パター

で，第 3 層のことは無視して，入力部と文脈部を合わ

ンは T 1,1 から T 1,q の q 通りをとる．このとき，入せた第 1 層のパターン x から y を出力する単純な 2

力部から 状態層への 結合荷重は ，S 1 を 入力すると層の回路について考えよう．

T 1,1 , . . . , T 1,q を平均化したパターン T̄ 1 を連想する

今，この回路の入力部に p (≥ 2) 通りのパターン
p1

ような値に設定せざ るを得ないし ，荷重を学習によっ

S , . . . , S が入力され，文脈部には q (≥ 2) 通りのパて決めるならば ，ど んな学習則を用いるにせよそれ

ターン C 1 , . . . , C q が現れるものとしよう．S µ と C νに近い値に近づく．同様に，S µ を入力したときにははそれぞれ n1 及び n2 次元のパターンとすると，両は最大 p × q 通りあることになる．これらに対して，

T µ,1 , . . . , T µ,q を平均化したパターン T̄ µ が連想される．ところが，q が大きければ大きいほど 平均化の効
果が 顕著になり，T̄ 1 , . . . , T̄ p はど れも似たようなパ

それぞれ独立に決められたパターン T 1,1 , . . . , T p,q をターンとなる．これは，どの S µ が入力されても状態者を連結した n1 + n2 次元のパターン x = (S µ , C µ )y として出力する回路網を構成しようとすると，以下層の各素子が受け取る信号には大差がないということのような問題が生じ る（ 実際には pq 通りのパターン

であり，入力部から状態層への結合がほとんど 無意味

すべてが現れるとは限らないが，ある入力 S µ に対すになるということである．とすれば状態層の出力は文る出力パターンが C ν に依存して変わり，かつ同一の脈パターン C ν によって決めるしかないが ，全く同νµ文脈 C における出力パターンが S によって異なる様な議論が文脈部についても成り立つ．すなわち，あのであれば ，同じ議論が成り立つ）．

る一つの文脈 C ν に多数の T µ,ν が対応するならば ，1603

電子情報通信学会論文誌 2002/10 Vol. J85–D–II No. 10

文脈部から状態層への結合もまた平均化によって無意数をもつ神経素子（ 非単調神経素子）が相互に全結合味になってし まうのである．したがって，p または q

した回路網である．ここでは，非単調出力関数としてが十分小さくない限り，目的の回路網は実現不可能である．
これらの問題点のうち，後者の平均化の問題はかな
り根が深く，容易には解消されない．例えば ，入力部
や文脈部と状態層の間に別の中間層を設けるとしても，
第 1 層と中間層または中間層と状態層の間の問題に変f (u) =

習がより難しくなり，むしろ性能が低下するおそれが強い）．また，アトラクタへの引込みといったリカレン
ト結合によるダ イナミックスを用いても，若干の量的(1)を用い（ c，c ，h は正の定数），連続時間のダ イナミッ
クスに従って動作するものとする．すなわち，i 番目の素子の出力 yi は次式で与えられる．

dui= −ui +
wij yj + zi
dt(2)

yi = f (ui )(3)n

わるだけで，それだけでは何ら本質的な解決にならない（ Elman ネットの場合，4 層の回路網になるため学

1 − e−cu 1 − ec (|u|−h)·1 + e−cu 1 + ec (|u|−h)τj=1

ここで n は素子の数，ui は素子の内部電位，wij は

改善はともかく，質的な改善は得られない．例えば 1

j 番目の細胞からの結合荷重，zi は外部からの入力信対多の連想モデル HASP [4] はその例であるが，記憶号，τ は時定数を表す．

するパターン数が増えると，想起すべきパターンとのこ の モデ ル で は 内 部 電 位 ui の 符 号が 重 要な のみ高い相関をもつパターンをバイアスとして入力しな

で ，xi = sgn(ui ) を 考え（ sgn(u) は u > 0 のとい限り連想が うまくいかない [5]．つまり，HASP は

き 1，u ≤ 0 で −1 を と る 符 号 関 数 ），ベ クト ル

平均化の問題を解決するものでは全くなく，むしろこx = (x1 , . . . , xn ) のことを回路網の状態と呼ぶ．あるの問題が生じ る典型的な例である．更に，直和型以外

時刻における回路網の状態 x は，2n 個の可能な状態の修飾方式（ 後述の積型も含む）を用いても，それだからなる状態空間中の 1 点で表される．また，各 xi

けで直ちに解決するようなものではない．

は非同期的に変化するから，x が別の状態に遷移する

理論的には，Elman ネットは任意の有限オートマト

際には，ほとんどの場合隣の点（ 成分が一つだけ違うンと同等な動作が可能である [3]．しかし，これは無限状態）に移動する．したがって，状態空間には時間と個の素子が使用可能な場合の話にすぎないし ，学習にともに x の連続的な軌跡が描かれることになるが，こよって実現できることを保証しているわけでもない．

れを x の軌道と呼ぶ．

サイズが有限である現実の回路網では，上記の理由か

非単調神経回路網は，非常に優れた連想記憶の能力

ら大規模なオートマトンは実現できないし ，誤差逆伝をもち，他の神経回路モデルにはない多くの特長をも搬法による学習の計算量や収束可能性を考えると，実つ [8]．その一つに，パターンの直交性がかなり低くて際に実現可能なのはご く小規模なものに限定され る．

も，Hebb 型の単純な学習則によって記憶が可能とい

有限オートマトンはシンボルを用いた基本的な文脈処

う性質がある [9]．これが本研究でこのモデルを採用す

理のモデルともいえるから，このことは Elman ネッ

る一つの大きな理由である．

トの文脈処理能力の限界を示している．そして，この本研究に関係するもう一つの重要な特長は，状態空ような限界は，Elman ネットに限らず，同様な文脈の間中のある連続的な軌道に沿って，任意の状態から任表現及び修飾方法を用いた神経回路モデル一般に共通

意の状態へ安定に遷移可能ということである．このよするものである．

うな軌道のことを軌道アトラクタと呼び ，これを用い

3. 非単調連想モデルて様々な時空間パターン処理が実現できる [7], [10]．な

上記の問題の解決法を提示する前に，非単調神経回を組み合わせて等価的に非単調素子を実現しない限り，

路網による動的連想モデル（ 以下，非単調連想モデル

こうした軌道アトラクタを形成することは極めて困難と呼ぶ ）について簡単に説明する．詳細については文である [6]．

献 [6], [7] を参照されたい．

3. 1 回路網のダ イナミックス
非単調神経回路網 [8] は，ある種の非単調な出力関1604

お，通常の単調な出力関数を用いた場合，複数の素子

3. 2 学習と連想
ここでは，ある空間パターン群 S 1 , . . . , S m から対応する別の空間パターン群 T 1 , . . . , T m を連想するこ論文／非単調神経素子の選択的不感化を用いた文脈依存的連想モデルとを考えよう．ここで S µ と T µ (µ = 1, . . . , m) はい
ずれも ±1 を成分とする n 次元ベクトルであるが，前者を cue パターン ，後者を target パターンと呼ぶことにする．つまり，S µ を始点とし，T µ を終点とする

m 本の軌道アト ラクタによって，cue から target の連想を実現しようというわけである．
このような軌道アト ラクタは ，以下のようにし て形成する．まず，S µ から T µ へ至るある連続的な軌道（ 交差しない限り任意であるが通常は最短経路でよい）に沿って変化する時空間パターンを作成し，これを学習信号 r として回路網の学習を行う．具体的には，x = S µ を初期状態として式 (1)〜(3) に従って回

図2

軌道アトラクタが形成された回路網のエネルギー地
形の模式図
Fig. 2 Schematic energy landscape of the networkwith trajectory attractors.

路網を動作させた上で，r を zi = λri (t) の形（ ri は

r の成分，λ は入力強度）で各素子に入力する．これ

い領域に複数のものが存在可能である．また，状態空と並行して，すべての結合荷重 wij を間の次元 n は十分に大きく，2 点を結ぶ軌道は多数存

τ

dwij
= −wij + αri yj
dt

在するから，軌道アトラクタ同士が途中で交差する可(4)に従って更新する．ここで，τ  は学習の時定数であり，

τ   τ である．α は学習係数であり定数でもよいが，|ui | の増大とともに α を減少させると学習性能が高まるため，ここでは α = α xi yi とする（ α は正定数）．
学習信号 r が変化すると，回路網の状態 x は r の能性はまずない．そのため，仮に二つの cue パターンS 1 と S 2 がかなり近かったとしても，それぞれから
任意の target パターン T 1 と T 2 を連想することができる．

3. 3 文脈修飾による軌道の分離
このように，非単調連想モデルでは，cue パターン

少し後を追従しながら，ほぼその軌道に沿って遷移す

間にかなりの類似性があってもよく，前述の非直交性

る．r が終点，すなわち T µ に達したら，しばらくのの問題は大幅に軽減され る．し かし ，完全に 同一の間（ x が r に十分近づくまで ）r = T µ としたまま学習を続ける．以上をすべての µ について行えば，1 回

cue から異なる target を連想するのは，原理的に無理である．これを可能にするには，文脈に応じて S µ にの学習が終了する．これを何回か繰り返すが，回を重修飾を加え，軌道アトラクタの始点が変わるようにす

ねるごとに r の入力強度 λ を弱めていくとよい．

る必要がある．

図 2 は，学習後の回路網の状態空間における仮想的その手段として最も簡単なのは，Elman ネットと同なエネルギー地形を模式的に表現したものである．平様に直和型修飾を用いること，すなわち cue パターン

面上の各点は回路網の状態を，深さはその状態のポテ

S µ と文脈パターン C ν の直和ベクトル (S µ , C ν ) をンシャルエネルギー（ 安定度）を表す．直観的にいう

入力パターンとすることである．これによって，cue

ならば，式 (4) の学習則は r 周辺における回路網のエパターンの空間で重なっている軌道が回路網全体の状

ネルギーを低くする．したがって，r が S µ から T µ

態空間では分離され，複雑に重なり合う軌道をもつ時まで連続的に変化することによって，図に描かれてい空間パターンでも処理が可能になる [10]．

るような溝が刻まれることになる．更に，r が x より

しかしながら，この方法を用いる限り，前述の平均も少し先行することによって，x から r の方向，すな化の問題は避けられない．実際 4.3 の数値実験で示す

わち S µ から T µ へ向かう緩やかな流れが溝の底に作

ように，いくら素子数を増やしても，S µ や C ν の数

られる．その結果，回路網の初期状態として S µ やそには制限がある．そこで，本研究では直和型修飾に代の近傍のパターンを与えるだけで，x は r の軌道にわるものとして次に述べる積型文脈修飾を用い，このほぼ 沿って Tµに達し ，目的とする target が連想さ問題の解決を図る．

れる．
非単調回路網の性質により，このような軌道アトラ
クタは，交差または極端に相互に接近しない限り，近1605

電子情報通信学会論文誌 2002/10 Vol. J85–D–II No. 10

式 (5) と同じ または類似した素子はこれまでもいく

4. 文脈依存的連想モデルの原理

つかのモデルで使われてきたし ，G が 文脈を表現す

4. 1 積型文脈修飾と選択的不感化るという積型修飾自体はそれほど 目新しいものではな

入力の変化に対する感度が可変な神経素子を考える．

い．しかし ，これまで平均化の問題が解決されなかっ具体的には，回路網の i 番目の素子の出力がyi = gi · (f (ui ) − ȳi ) + ȳi

たのは，一つには次節で述べる理由からであるが，そ(5)

れ以前にこの問題の本質が十分に認識されていなかったことや，この問題における不感化の意義がよく理解によって与えられ，ゲ イン gi を変えることができる

されていなかったことも大きな理由だと思われる（ 5.2

ものとする．ここで，ui は素子の内部ポテンシャル参照）．

（ 離散時間モデルの場合は入力の荷重和），ȳi は素子の以下では，議論をわかりやすくするために，次のよ

平均出力レベルである．このとき，各素子の gi を順うな最も単純化した場合を扱う．まず，すべての素子に並べた感度ベクトル G = (g1 , . . . , gn ) が ，文脈をについて ȳi = 0 とする．出力関数 f (u) が式 (1) の表現するパターン C に依存して決まる，すなわち C

ような奇関数の場合，この仮定は妥当なものであろうの関数 G(C) で与えられるというのが，積型文脈修飾（ 厳密には成り立たなくても ȳi  0 であればほとんの基本的な概念である．

ど 影響ない）．また，感度ベクトル G を文脈パターン

とき，文脈が 違えば 不感化され る素子の組合せは異C と同一視し ，両者を 1 対 1 に対応させる．すなわ
ち，C は ±1 の 2 値をとる n 次元のパターンとし ，gi = (1 + ci )/2 とする (ci は C の成分 ）．更に，パターン中の 1 と −1 の数はほぼ均等になるようにする（この条件は，n が十分大きければ ci をランダムに決なっていなければならない（ さもないと文脈の違いがめても満たされ るから，大きな制約とならない ）．こ

反映されない）．また，パターン C の空間の大きさ，のとき，素子の約半数が不感化されて yi = 0 を出力

すなわち文脈を表現する能力を最大にするために，あし ，それ以外は通常の素子と同様に yi = f (ui ) を出る素子が不感化を受ける文脈は素子ごとに独立に選ば力することになる．

この修飾方式によって前述の平均化の問題を解決しようとするとき本質的な役割を果たすのが，一部の素子について gi = 0，すなわち入力に関係なく yi ≡ ȳiとする操作である．これを選択的不感化と呼ぶ．このれるべきである．このように，文脈ごとに不感化されこのような修飾を受けているときの回路網の状態をる素子の組合せが変わり，また一つの素子が非常に多x(C) ≡ (g1 xi , . . . , gn xn ) と表すことにしよう．x(C)数の文脈で用いられたり不感化されたりする点で，エは成分として 0, ±1 の 3 値をとるベクトルである．こキスパートネットなどで用いられるゲートによる素子のとき，何も修飾を受けていない状態 x は，ベクト群の選択とは本質的に異なる．なお，不感化された素ル I ≡ (1, . . . , 1) による修飾を受けた状態，すなわち子であっても，入力信号に応じて内部ポテンシャル ui

x(I) と表現される．

が不感化されないときと同様に変化することに注意さ

同 様に し て ，cue パ タ ーン S や target パ タ ー

れたい（ただしこのことはあまり本質的ではなく，ui

ン T へ の 修飾を 考え るこ とが で き る ．すな わ ち ，が一定であっても大きな違いはない）．

文 脈 パ タ ー ン C に よ る 積 型 修 飾 を 受け た S をこのような修飾によって ，仮に 同じ 状態で 同じ パ

S(C) ≡ (g1 s1 , . . . , gn sn ) と 定義する（ T に 関し てターンが入力されていたとしても，出力パターンは C

も同様 ）．S や T の成分が ±1 の 2 値をとるとすれによって変化することになり，異なる target の連想がば ，S(C) や T (C) は x(C) と同じ く 3 値パターンと可能となる．また，この過程における C の影響は間接なる．

的なものであって，C を表現する素子群と target を

4. 2 非単調連想モデルへの適用

表現する素子群とが直接連合されるわけではない．こ積型文脈修飾や素子の選択的不感化は，ほとんどののことが，平均化の問題から逃れられる可能性を生む

神経回路モデルに適用することができ，それによる効のである．ただし ，不感化された素子の出力が ȳi で果も多少は期待できる．しかし ，その効果を最大限にないと，修飾されたパターン y (C) と文脈パターン C発揮するためには，適用するモデルが以下の条件を満との間に相関が生じ るため，C と target との 1 対多

たすことが望ましい．

対応による平均化の問題が残ってしまう．
1606

第 1 に，文脈修飾を受けるパターンが 回路網のア論文／非単調神経素子の選択的不感化を用いた文脈依存的連想モデル

トラクタになっていることである．例えば ，ある状態

x = S がアトラクタであるとし よう．この状態である文脈パターン C 1 の修飾を受けた直後には，ui の符号が変わる可能性はほとんどないから，不感化された素子も含めて高い確率で xi = si が成り立つ．つまり x(C 1 ) = S(C 1 ) かつ x  S である．この状態で修飾が外されたならば ，ほとんど 瞬時に x = S に戻ることになる．また，文脈パターンが C 1 から別のパ
ターン C 2 に切り換わったとしても，x  S のままであり，x(C 2 )  S(C 2 ) が成り立つ．このように，Sがアトラクタであれば ，文脈修飾や文脈の切り換えによって情報が失われてしまう心配はない．

Fig. 3図 3 文脈依存的連想過程の模式的表現
Schematic representation of the process ofcontext-dependent association.

なお，S がアトラクタなら S(C) もアトラクタであるとは限らないし ，逆に S(C) がアトラクタでも必ずれらのパターンを学習信号として短時間学習する．

し も S はアト ラクタではない．しかし ，十分多数の

学習後の回路網では，文脈によって異なる部分状態

C ν に関して S(C ν ) がアトラクタなら，S は必ずア空間に軌道アトラクタが形成されており，これを用いトラクタである．したがって，いくつかの文脈において文脈依存的連想が実現される．その様子を模式的にて S(C ν ) がアトラクタになるよう学習すれば ，文脈表したのが図 3 である．

修飾を受けない状態で学習をしなくても，S（ 少なく

この図では，回路網の n 次元状態空間が 3 次元的ともそれに非常に近いパターン ）はアトラクタとなり，に表現されている．すなわち，x = (xa , xb , xc ) であ

上記の条件は満たされる．

る．説明の都合上，文脈パターン C 1 ，C 2 ，C 3 によっ

第 2 の条件は，非直交性の問題が生じないことであてそれぞれ xc ，xb ，xa に対応する素子群が不感化る．S(C 1 ) と S(C 2 ) は，C 1 と C 2 が全く独立なパ

されて 0 を出力するとしよう（ 実際には，異なる二つターンであっても比較的大きな類似性をもつ．また，の文脈で不感化される素子は約半数が重なるし ，それ文脈に関しても分散表現を採用するからには，C 1 と以上重なってもかまわない）．このとき，回路網に例

C 2 が 類似する場合に対処できなくてはならないが ，その場合 S(C 1 ) と S(C 2 ) の直交性は更に低い．した

えば C 1 による修飾を加えることは ，x を部分空間

がって，直和型修飾の場合と同様に，非直交性の問題て回路網を動作させることに相当する（ O は 0 ベクトを解決する必要がある．

ル）．したがって，cue パターン S が初期状態として(xa , xb , O) に射影し，そこでのダ イナミックスに従っこれらの条件を満足し ，しかも非常に単純な構造を与えられたならば ，この部分空間に形成された軌道アもつのが，3. で説明した非単調連想モデルである．こトラクタによって x(C 1 ) は S(C 1 ) から T 1 (C 1 ) に遷れに選択的不感化を導入することにより，2. で述べた

移する．前述のように，T 1 がアトラクタならばこの問題をすべて解消し ，文脈に依存した連想を大規模に

時点で x  T 1 であるし ，C = I とすれば正確に T 1

実現することができる．具体的には，モデルを以下のを想起することができる．同様に，C 2 や C 3 によるように修正する．

修飾を加えると，それぞれ別の部分空間に形成された

まず，回路網の動作は，式の上では式 (3) が式 (5)に置き換わるだけである．ただし ，cue から target を起動アトラクタに沿って状態遷移し ，T 2 及び T 3 が連想される．

連想する過程で，ある一定の文脈パターン C ν を継続

ここで重要なのは，同一及び異なる部分空間に形成的に与える．学習方法も基本的に 3.2 と同じであるが，された軌道アトラクタ間の干渉を避けることである．

S µ (C ν ) から T µ,ν (C ν ) へ変化する時空間パターンを学習信号 r とし，C ν の修飾を加えたまま学習を行う

例えば x を (xa , xb , Xc ) に射影する（ Xc は ±1 を（ 不感化された素子に関しては学習しない ）点が異な

根の強い干渉が生じ る．これに対して，不感化された

る．このほか必要ならば，S µ や T µ,ν がアトラクタに素子の出力をその平均値に近づければ ，このような干なるよう，文脈修飾を加えない状態（ C = I ）で，こ渉を最小限に抑えることができるのである．

成分とするあるパターン ）のでは，平均化の問題と同1607

電子情報通信学会論文誌 2002/10 Vol. J85–D–II No. 10

4. 3 数 値 実 験
非単調連想モデルに積型文脈修飾を適用したモデル（ 以下，積型モデルと略称する）について計算機シミュ
レーションを行い，その性質を実験的に調べた．また，比較のため，直和型の文脈修飾を適用した場合（以下，
直和型モデル ）についても実験した．
実験に用いたのは，p 個の cue パターン S 1 , . . . , S pと q 個の文脈パターン C 1 , . . . , C q のすべての組合せ（ただし p, q ≥ 2 ）に対して，それぞれ与えられた

target パターン T µ,ν (µ = 1, . . . , p，ν = 1, . . . , q) を連想するという課題である．これらのパターンは，各成分が 1/2 の確率で 1 または −1 をとるようランダ
ムに作成した．積型モデルの場合，S µ と C ν の次元
はいずれも回路網の素子数 n と等しい．一方，直和型の場合，n 個の素子のうち cue 及び target を表現する
ものを n1 個，文脈を表現するものを n2 個としたと

図 4 target パターンに重複のない場合の連想の容量
Fig. 4 Capacity of association when the targets haveno duplication.

き，S µ 及び T µ,ν は n1 次元，C ν は n2 (= n − n1 )次元のパターンとなる．
まず，p = q かつ T µ,ν はすべて異なるという条件の下で，正し く連想できる p の範囲を調べた．なお，

m = pq 通りすべての連合について，正しい target との類似度（パターンベクトル間の方向余弦で定義する）
が 0.75 以上のパターンを想起するとき（ 実際にはほとんどの場合，類似度は 1 に達するか小さな値にとどまるかのど ちらかである ），連想可能と判断した．また，直和型モデルでは，n1 と n2 の比を変えながら実験を行い，最適と思われる値を用いた．両モデルで共通のパラメータは，以下のとおりである．

c = 50.0, c = 10.0, h = 0.5, α = 2.0
学習の際の学習信号 r の時間長（ cue から target まで変化するのに要する時間）は 5τ としたが ，target

図 5

多数の target パターンが重複している場合の連想
容量Fig. 5 Capacity of association when the same
pattern is repeatedly used for many targets.

パターンを学習信号とする学習を 1τ の期間追加した．
学習は必要な回数だけ繰り返し たが ，各連合につき

10〜30 回程度で十分であり，それ以上増やしてもほとんど 変化は見られなかった．
図 4 は，3 通りの n について，学習可能な m の最大値（ 連想の容量）をプロットしたグラフである．積型モデル（ 実線）の方が直和型モデル（ 破線）より容という条件下では容量が n に比例して増加するから，
このような効率の低下は 1 対多対応による平均化の問題が原因であると考えられる．
この傾向は，T µ,ν に重複があって，target が S µ やν

し ，後者では n に対する容量の比が n の増加ととも

C と多対多に対応するとき，より顕著に現れると考えられる．そこで，表 1 に示すように，target を p 個のパターンに限定して同じ 実験を行った．表の µ 行 νに減少していることである．直和型でも，一つの S µ

列が T µ,ν を表し，µ + ν の値に応じて T 1 , . . . , T p のが q 個の C ν のうちごく少数による修飾しか受けない

いずれかのパターンとなっている．各行及び列に関す量がかなり大きいことがわかる．更に重要な点は，前者では容量がほぼ n に比例して増加しているのに対

1608

論文／非単調神経素子の選択的不感化を用いた文脈依存的連想モデル
表 1 平均化効果が顕著に現れる連合の例
Table 1 Example of associations causing a strong
averaging eﬀect.
C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 C 9 C 10
S1
S2
S3
S4
S5
S6
S7
S8
S9
S 10

T 1 T 2 T 3 T 4 T 5 T 6 T 7 T 8 T 9 T 10
T 10 T 1 T 2 T 3 T 4 T 5 T 6 T 7 T 8 T 9
T 9 T 10 T 1 T 2 T 3 T 4 T 5 T 6 T 7 T 8
T 8 T 9 T 10 T 1 T 2 T 3 T 4 T 5 T 6 T 7
T 7 T 8 T 9 T 10 T 1 T 2 T 3 T 4 T 5 T 6
T 6 T 7 T 8 T 9 T 10 T 1 T 2 T 3 T 4 T 5
T 5 T 6 T 7 T 8 T 9 T 10 T 1 T 2 T 3 T 4
T 4 T 5 T 6 T 7 T 8 T 9 T 10 T 1 T 2 T 3
T 3 T 4 T 5 T 6 T 7 T 8 T 9 T 10 T 1 T 2
T 2 T 3 T 4 T 5 T 6 T 7 T 8 T 9 T 10 T 1

Fig. 6図 6 モデルの状態遷移図の例
Example of the state transition diagram of themodel.

る target パターンの平均はすべて等しいから，このとき前述の平均化効果が非常に強く生じ るはずである．

Table 2

結果を図 5 に示す．直和型モデル（破線）では，tar-

get に重複のない場合（ 図 4 ）に比べて容量が極端に小さいことがわかる．更に，n の増加に対して容量が増えるどころか，かえって減少している．このような性能の低下は，一つには強い平均化効果によって生じるが，もう一つの理由として，図 4 の実験では target
パターンが強いアトラクタであればあるほど target の連想が容易になった（各 target パターンは一つの cue
及び 文脈パターンに対応するので ，仮に target が非

表 2 実験に用いた状態遷移規則
State transition rules used for the experiment.
C 1 C 2 C 3 C 4 C 5 C 6 C 7 C 8 C 9 C 10

S1
S2
S3
S4
S5
S6
S7
S8
S9
S 10

S 1 S 2 S 3 S 4 S 5 S 6 S 7 S 8 S 9 S 10
S 10 S 2 S 1 S 3 S 4 S 5 S 6 S 7 S 8 S 9
S 9 S 10 S 3 S 1 S 2 S 4 S 5 S 6 S 7 S 8S 8 S 9 S 10 S 4 S 1 S 2 S 3 S 5 S 6 S 7
S 7 S 8 S 9 S 10 S 5 S 1 S 2 S 3 S 4 S 6
S 5 S 7 S 8 S 9 S 10 S 6 S 1 S 2 S 3 S 4
S 4 S 5 S 6 S 8 S 9 S 10 S 7 S 1 S 2 S 3
S 3 S 4 S 5 S 6 S 7 S 9 S 10 S 8 S 1 S 2S 2 S 3 S 4 S 5 S 6 S 7 S 8 S 10 S 9 S 1
S 1 S 6 S 7 S 2 S 8 S 3 S 9 S 4 S 5 S 10

常に強いアトラクタであればそれだけで連想が可能である）のに対し ，この場合一つの target が複数の S µ及び C ν に対応しているため，そのような効果が生じないことが挙げられる．
一方，積型モデルでは，容量が n にほぼ比例して増して次々とパターンを連想できる．このとき文脈を能動的に切り換えることによって，連想するパターンの系列を制御することも可能である．このように，cue
パターン S は初期状態においてのみ与え，その後は加しているだけでなく，その値は図 4 よりも大きい．

文脈パターン C だけを入力して行う連鎖的連想のこ

このことから，積型の場合 target に重複があっても全とを，文脈主導型連想と呼ぶことにする．

く問題なく，むしろ target パターン数の減少により容量が増えることがわかる．

文脈主導型連想では，C を回路網への制御入力とみなし ，これによって回路網の状態 x が S µ1 からの場合も同様である．様々な p と q の組合せで実験

S µ2 へ遷移するという見方ができる（ S と C の関係
が Elman ネットとは逆になることを注意しておく ）．

したところ，直和型では規模が大きくなったり target

ここでは特に，任意の S µ1 から任意の S µ2 へ直接遷以上は p = q という条件での実験であるが，p = qに重複があると性能が低下するのに対し ，積型ではど移できる場合を考えよう．例えば p = 4 のとき，最低んな場合でも 0.16n 以上の容量があった．

四つの文脈パターン C 1 〜C 4 があれば，図 6 のように

5. 文脈主導型連想
前節の数値実験では，target パターン T µ,ν と cueµ

すべての状態遷移が実現できる．同様に，p = q = 10の場合，表 2 に例示するような連合関係があれば，任意の状態間の遷移が可能である．

パターン S とは全く別々に選んでいた．しかし ，実5. 1 実 現 例

際には両者に共通するものがあってもかまわない．特実際に表 2 の連合を n = 1000 のモデルに学習させに，すべての target パターンが cue パターンのいず

た．モデルのパラメータや学習方法は 4.3 とほとんどれかであるとき，連想した target パターンを cue と同じだが，r = S µ (I) の状態での学習は必要ないので1609

電子情報通信学会論文誌 2002/10 Vol. J85–D–II No. 10

そのほか，すべての (S µ , C ν ) の組合せについて正しいパターンが連想されることが確かめられた．また，

x  S µ の状態であれば ，C をどのように切り換えても意図した状態遷移が生じることも確認された．このことは，適当な C の入力によって，任意の S µ の系
列を想起可能であることを意味する．

5. 2 考察

図 6 はある 4 状態 4 入力の有限オート マトンの状
態遷移図にほかならない．同様に，表 2 は 10 状態 10(a)

入力有限オート マトンの状態遷移規則の一例である．
したがって，前節の回路網が表 2 のとおりに状態遷移するということは，この表で表される有限オートマト
ンが回路網上に実現されたといってよい．
しかも，このオートマトンはすべての状態間を直接遷移する経路をもつから，これが実現できるならば ，同じ 大きさの有限オートマトンはすべて実現できるはずである．更に，p = q である必要は全くないこと，
素子数を増やせば それに比例して p や q をいくらでも増やせることを考慮すると，このモデルは任意の p(b)

状態 q 入力オートマトンの動作を模擬する能力をもつ
図 7 文脈主導型連想モデルの動作
Fig. 7 Behavior of the context-directed association
model.

といえる．また，このとき必要な素子数は n = 10 m
程度（ m は遷移の経路数で m ≤ pq ）にすぎない．更に，軌道アトラクタの形成に必要な学習回数は n によ

行っていない．学習回数は各連合につき 22 回である．
学習後のモデルの挙動を図 7 に示す．これは，回路網の状態 x とパターン S 1 〜S 10 との類似度

1
xi sµinn

らずほぼ一定であり，かつ原理的には全素子が完全に並列動作するから，学習に要する時間は m に比例して増加する程度である．
ただし ，以上のことは本モデルが p 状態 q 入力有限オートマトンと全く等価であることを意味するもの

i=1

ではない．まず，回路網がとり得る状態の数は p よの時間変化をプロットしたグラフである．

りもはるかに多く，S µ やその間を結ぶ状態だけでな(a) は，x = S を初期状態とした上で，文脈パター

く，未知の入力に対してその他の状態をとることもあンとして C 1 を入力し続けた場合である．x は S 6 かる．また，S µ ，C ν ともに分散表現に基づいているたら S 5 ，S 7 などの状態を次々に経て S 1 に達し，そのめ，汎化が生じ ることも大きな違いである．汎化にも後は同じ 状態にとど まっていることがわかるが，これいろいろなレベルがあるが，少なくとも C ν に十分近は表 2 の 1 列目に示されているとおりの状態遷移でいパターンを入力したとき C ν の入力時と同じ状態遷6ある．一方，(b) は t = 10τ までは (a) と全く同じで移が行われることは，アトラクタの性質から保証されあるが，その後 C を切り換え，10τ < t ≤ 25τ ではる．また，いくつかの異なる文脈で同一の連合を学習

C ，25τ < t ≤ 38τ では C ，38τ < t ≤ 45τ では
C 5 をそれぞれ入力した場合である．この例が示すように，任意の順に S µ を連想したり，一時的に S µ を保持し続けたりすることが可能である．また，t = 38τ
で C を C 7 から C 5 に切り換えているが，このようしたとき，学習していない全く新しい文脈下でもそれに状態遷移の途中で文脈パターンが変化しても，たい

デルにはより高度な汎化の能力があることを示唆する

ていの場合問題なく連想を続けることができる．

結果も得られているが，これに関する詳細な検討は今

8

1610

7

と同じ 連想をすることが予備的実験によって確かめられている（もちろん別の連合を学習することも可能である）．このような複数の文脈に渡る汎化は，エキス
パートネットモデルにはないものである．更に，本モ

論文／非単調神経素子の選択的不感化を用いた文脈依存的連想モデル

後の課題としたい．

両者の類似性は表面的なものにすぎないことがわかる．

ところで ，文脈依存的連想を行いオート マトンとこのように，文脈依存的連想における平均化の問題を同様の状態遷移が 可能な神経回路モデルには ，望月

完全に解決し ，完全な分散表現に基づいて大規模な有と大森 [11] が提案し PATON と名づけたモデルがあ限オートマトンを模擬可能な神経回路モデルは，今のる．このモデルは，分散表現以外にシンボルに対応す

ところ本モデル以外に知られていない．もちろんこのる局所表現を用いている点で，分散表現の枠組みの中ことは，そのようなモデルがほかに存在しないことをで可能性を広げようとする本研究とは方向性が異なる

意味するものではないが，少なくとも本モデルより単が，文脈に応じて一部の素子の出力ゲ インを 0 にする

純なものはないと思われる．

という点で本モデルと類似している．しかしながら，

PATON に関しては，数十個の素子からなる小規模な

6. む

す び

回路網に簡単な例題を実行させたシミュレーション結分散情報表現を用いた神経回路網における従来の文果が示されているだけで，平均化の問題など モデルの脈修飾方式が抱える問題点について考察し，選択的不大規模化に伴う問題点が解決されているわけではない．

感化による文脈修飾を非単調神経回路網に適用したモ

実際，以下の理由から，PATON は大規模化が困難だ

デルによってこの問題が解決されることを明らかにしと考えられる．

た．また，このモデルが多数の文脈に応じてそれぞれ

第 1 に，PATON では素子の平均出力は 0 ではない
（ 出力は 0 から 1 の値をとる）にもかかわらず，ゲ イ

多数の異なるパターンを連想できること，更に任意の有限オートマトンを模擬可能であることを示した．

ンが 0 の素子は出力も 0 である．これは不活性化と以上の結果は ，神経回路網による情報処理の可能いうべきものであって，本モデルの不感化とは意味が性を大きく広げ るとともに ，分散表現のみを用いて違う．前述のように，このような不活性化では平均化

記号処理と同等以上の文脈依存的情報処理を実現での問題が完全には解消されないはずである．第 2 に，きる可能性を示唆するものであり，いわゆる symbol

PATON における不活性化は各属性に対応する素子群

grounding 問題や frame 問題に起因する従来の記号処の単位で行われるから，同一属性の素子は同一の文脈

理の限界を打破する糸口を与えるかもしれない．この修飾を受ける．そのため，ある属性を表現する素子群可能性を検証するためには，表現に何らかの構造（パに注目したとき，そこに不活性化されない状態で同じターン間の類似関係）を導入してモデルの類推能力を特徴パターンが 繰り返し 現れ ，それが 多数の target

調べることなどが必要であるが，これは今後の研究課と対応する場合に，平均化の問題が生じ る．第 3 に，

題である．

PATON ではいくつかの素子群を不活性化することにまた，本論文では脳との関連性について全く触れな

よってエネルギー関数を動的に変化させ，あるアトラ

かったが，筆者らは脳の神経回路においても実際に選クタから目的のアトラクタへの状態遷移を実現してい択的不感化が用いられていると考えている．これにはるが，この方法には大きな問題点がある．それは，分十分な計算論的及び生理学的な根拠があるのであるが，散表現を用いた場合，アトラクタの形成しようとした

これについてはまた別の機会に論じたい．

状態以外に多数のエネルギー極小点ができてしまうことである．この現象は出力関数が単調な素子を用いた

謝辞

本研究は，文部科学省科学技術振興調整費目的達成型脳研究「文脈主導型，認識・判断・行動機能

場合に顕著であり，その数は素子数の指数オーダで増実現のための動的記憶システムの研究」の補助を受け加するから，素子数が数百（ 形成するアトラクタの数て行われた．
文にもよる）以上になると無数のエネルギー極小状態が目的のアトラクタを取り囲むことになる．素子のゲ イ[1]Hinton, “Adaptive mixture of local experts,” Neural

ンを変えてもこの状況は変わらないため，このときエネルギー極小状態にトラップされることなく目標状態

Computation, vol.3, pp.79–87, 1991.
[2]

J.L. Elman, “Finding structure in time,” Cognitive[3]

A. Cleeremans, D. Servan-Schreiber, and J.L. Mc-まで遷移させるのは容易でない．
以上の議論から，本モデルと PATON モデルとは，構造や情報表現が大きく異なるだけでなく，文脈修飾の方法やダ イナミックスの点でも本質的な違いがあり，

献

R.A. Jacobs, M.I. Jordan, S.J. Nowlan, and G.E.

Science, vol.14, pp.179–211, 1990.
Clelland, “Finite state automata and simple recurrent networks,” Neural Computation, vol.1, pp.372–
381, 1989.

1611

電子情報通信学会論文誌 2002/10 Vol. J85–D–II No. 10[4]

Y. Hirai, “A model of human associative processor (HASP),” IEEE Trans. Syst. Man. & Cybern.,
vol.SMC-13, no.5, pp.851–857, 1983.

[5]

川村正樹，岡田真人，平井有三，“1 対多の連合を記憶する
相関型連想記憶モデルの解析，” 信学論（ D-II ），vol.J81D-II, no.6, pp.1336–1344, June 1998.

[6]

森田昌彦，“非単調ダ イナミクスを用いた時系列パターンの連想記憶，” 信学論（ D-II ），vol.J78-D-II, no.4, pp.679–[7]

M. Morita, “Memory and learning of sequential pat-

688, April 1995.
terns by nonmonotone neural networks,” Neural Networks, vol.9, no.8, pp.1477–1489, 1996.
[8]

M. Morita, “Associative memory with nonmonotone
dynamics,” Neural Networks, vol.6, no.1, pp.115–126,

[9]

1993.
森田昌彦，吉澤修治，中野 馨，“非単調ダ イナミクスを用いた構造をもつパターンの連想記憶，” 信学論（ D-II ），vol.J75-D-II, no.11, pp.1884–1891, Nov. 1992.
[10]

森田昌彦，村上 聡，“非単調神経回路網に よる時系列
パターン の認識，” 信学論（ D-II ），vol.J81-D-II, no.7,
pp.1679–1688, July 1998.

[11]

望月彰子，大森隆司，“PATON：文脈依存性を表現する
動的神経回路網モデル，” 日本神経回路学会論文誌，vol.3,[12]

T. Omori, A. Mochizuki, K. Mizutani, and M.

no.3, pp.81–89, Sept. 1996.
Nishizaki, “Emergence of symbolic behavior frombrain like memory with dynamic attention,” Neural
Networks, vol.12, no.7–8, pp.1157–1172, 1999.

（ 平成 14 年 2 月 20 日受付，5 月 15 日再受付）

森田昌彦 （ 正員）

昭 61 東大・工・計数卒．平 3 同大大学
院博士課程了．日本学術振興会特別研究員，
東京大学工学部助手を経て，平 4 筑波大学
電子・情報工学系講師．現在，同大学機能工学系助教授．生体の情報処理機構及び神経回路網の研究に従事．平 5 日本神経回路
学会研究賞，平 6 同学会論文賞，平 11 日本心理学会研究奨励
賞受賞．

松沢

浩平

平 12 筑波大・工学システム学類卒．現在，同大大学院システム情報工学研究科在学中．神経回路モデルの研究に従事．

1612

諸上

茂光 （ 学生員）

平 12 筑波大・工学システム学類卒．現在，同大大学院システム情報工学研究科在学中．神経回路モデルの研究に従事．