神経力学系間の相互作用に基づく文脈依存的時空間パターン処理
Context-Dependent Processing of Spatiotemporal Patterns
Based on Interaction Between Neurodynamical Systems
蓮尾 高志†
Takashi Hasuo

1.

山根 健†
Ken Yamane

森田 昌彦†
Masahiko Morita

はじめに近年，自律ダイナミクスをもった情報処理系の重要性が指摘されている [1]．変化が微分方程式で表される現実世界を扱うには，このような系の方が記号処理系よりも適していると考えられるからである．本論文では，その代表的なものである，連続時間で動作する神経回路網がつくる力学系（神経力学系）を対象とし，それによる時空間パターンの処理について論じる．
一般に神経力学系では素子間の結合荷重行列 W が力学系を定めるが，学習を終えて実際に情報処理を行う際には W を一定とすることが多い．W を変化させると，目的とする情報処理を安定的に行えないからである．しかし，このような時間的に不変な力学系では，同じ状態から異なる状態へ自律的に遷移することが不可能であるため，大きな制約がある．例えば，同じパターンが繰り返し現れるような複雑な時空間パターンを，完全に自律的に想起しようとするならば，系の一部の素子が文脈を表現し，その活動パターンに応じて異なる状態遷移を行うようにしなければならない．しかし，通常の方法では1 対多対応による平均化の問題 [2, 3] が生じるために，素子数を増やして多数の時空間パターンを扱うことはできない．
この問題への解決策として，荷重行列すなわち神経力学系を複数用意しておいて状況や文脈に応じてそれらを切り替えて用いる方法 [4] や，一つの神経回路網の素子の様々な組み合わせを切り替えて用いる方法 [2] が提案されている．しかしながら，このような切り替えは離散的な操作であり，神経力学系よりも記号処理系に適したものである．力学系による情報処理の可能性を追究するのであれば，力学系の変化も同様の神経力学系によって行われるべきであろう．
そこで，本論文では連続的に神経力学系を変化させる新たな手法を提案し，これによって神経力学系の変化を別の神経力学系によって制御できるようにする．また，この手法を用いて二つの非単調神経回路網が相互に相手の力学系を連続的に変化させながら動作する動的連想記
憶モデルを構築し，これによって複雑に絡み合った時空間パターンの認識や連想が可能であることを示す．
† 筑波大学大学院システム情報工学研究科, Doctoral Program in
Systems and Information Engineering, University of Tsukuba

図 1: 選択的不感化による文脈依存的状態遷移の模式図

2.

原理とモデル

2.1

動的不感化

一つの神経回路網がつくる神経力学系を離散的に変化させる仕組みとして，選択的不感化法 [2, 3] がある．これは，修飾パターンによって決まる約半数の素子を不感化する（出力を入力に関係なく中立値にする）ことによって，回路網の状態をある部分空間に射影する手法である．
これにより回路網の状態はその部分空間に形成された力学系に従って動くので，修飾パターンを切り替えることによって，同一の状態から異なる状態へ遷移させることができる（図 1（a））．また，この方法を非単調神経回路網に適用することにより，任意の有限オートマトンの動作が模擬可能であることも示されている [2]．
しかし，このモデルでは，ある一定の部分空間に軌道アトラクタ [5] を形成することによって安定的な状態遷移を行うため，修飾パターンは時間的に一定な空間パターンに限っていた（以下，静的不感化と呼ぶ）．これに対して本論文では，不感化する素子を連続的に入れ替える，すなわち修飾パターンを動的な時空間パターンとする手法を提案し，これを動的不感化と呼ぶ．
動的不感化を行った場合，図 1（b）に模式的に示すよ
うに，回路網の状態が射影される部分空間は時間と共に連続的に変化する．そのため，静的不感化の場合のように部分空間ごとに軌道アトラクタを形成することはできないので，目的の状態に遷移させられるという保証はない．しかし，修飾パターンの変化が比較的緩やか（回路網の状態遷移と同程度かそれ以下の速さ）ならば，静的不感化の場合と同様な学習によって各部分空間に微少な図 3: 各回路網の状態遷移図

図 2: モデルの構造
軌道アトラクタが形成され，それらをつなぎ合わせた軌道が一つの軌道アトラクタのように振る舞う結果，目的の状態遷移が達成されると考えられる．これを計算機シミュレーションにより検証することも，本論文の目的の一つである．

2.2

yi = g(vi ) · f (ui )ここで，ui は素子の内部電位，wij は同じ回路網の j 番
目の素子からの結合荷重，zi は回路外部からの入力信号，
τ は時定数を表し，f (ui ) は非単調出力関数0モデルの構造とダイナミクス

f (u) =

一般に神経力学系の出力は連続的に変化する時空間パターンであるので，これを動的不感化の際の修飾パターンとして用いることができる．このことを利用して，二つの非単調神経回路網が相互に動的不感化することによって文脈依存的時空間パターン処理を行うモデルを構築した．
このモデルでは，図 2 に示すように各回路網を構成す
る n 個ずつの素子が 1 対 1 に対応しており，一方の内部状態に応じて他方が不感化される．二つの回路網は，構造およびダイナミクスに関しては全く同じで対称な関係であるが，一方（図の下側）の回路網は外部から入力される時空間パターンを，もう一方（上側）は入力パターンの履歴をそれぞれ扱う．前者を入力部，後者を文脈部と呼ぶ．
入力部が学習する時空間パターンは複数ある（それぞれを「系列」と呼ぶ）が，一つの系列中に同じ空間パターンが繰り返し現れたり，複数の系列が部分的に同じ時空間パターンを含んでいたりするような，複雑な系列群である（但し便宜上，初期パターンはすべて同一のパターン O とする）．一方，文脈部が学習するのは，対応する入力系列の変化に応じて同一の初期パターン O0 から徐々に枝分かれしていく系列である（図 3）．
いずれの回路網も，i 番目の素子の動作は次式で表される．

τnX
dui
wij yj + zi
= −ui +dt
j=1

(2)

(1)

1 − e−cu 1 − ec (|u|−h)·1 + e−cu 1 + ec0 (|u|−h)(3)である（c，c0 ，h は正の定数）．また，vi はこの素子を修飾するもう一方の回路網の素子の内部電位であり，g(v)は 0 から 1 の値をとる単調なシグモイド関数

g(v) =11 + e−cv(4)

である．
式（2）
および
（4）
が通常の非単調神経回路網のダイナミ
クス [5] と異なる部分である．すなわち，vi が正の大きな値ならば yi ' f (ui ) であるが，vi が負の大きな値のときには yi ' 0，すなわち不感化される．
なお，このモデルでは内部電位 ui の符号が重要なので，xi = sgn(ui ) も観測できるものとし（sgn(u) は u > 0のとき 1，u ≤ 0 で −1 をとる符号関数），ベクトルx = (x1 , . . . , xn ) のことを回路網の状態と呼ぶ．また，xが状態空間中を連続的に遷移していくとき，その軌跡をx の軌道と呼ぶ．

2.3

学習方法

入力部と文脈部が学習する系列の組を s(t) と c(t) としよう．これらはいずれも n 次元ベクトルであり，その成分 si (t) および ci (t) は約半数が 1，残りが −1 をとるものとする．これらを動的不感化された入力部および文脈部がつくる力学系の軌道アトラクタにすることが学習の目的である．その具体的な手順は以下の通りである．
まず，入力部と文脈部の初期状態を s(0) および c(0)に設定する．各素子への外部入力 zi として，入力部には

λsi (t)，文脈部には λci (t) を与えつつ，式（1）～（4）で表されるダイナミクスに従って回路網を動作させる．ここで λ は学習するパターンの入力強度を表す定数である．
これと並行して，入力部の素子間の結合荷重を
τ0dwij= −wij + αsi (t)yjdt(5)表 1: 入力部が学習する時空間パターン
s1 = {OABCD}T s2 = {OABCB}T
s3 = {OABDC}T s4 = {OACBD}T
s5 = {OBCBD}T s6 = {OBDAC}T
s7 = {OCADB}T s8 = {OCADA}T
s9 = {ODADC}T s10= {ODCDA}Tに従って，文脈部の素子間の結合荷重を

τ0dwij= −wij + αci (t)yjdt(6)

に従って，それぞれ更新する. ここで τ 0 は学習の時定数で，τ 0 À τ である．また α は学習係数であるが，学習性能を向上させるため [5]，定数ではなく α = α0 xi yi とする (α0 は正の定数)．
以上をすべての系列の組について行うと，1 回の学習が終わる．これを λ を徐々に減らしながら繰り返し，λ = 0にしても各回路網の状態が s(t) および c(t) に追従するようになれば，学習の完了である．
なお，上記の過程で入力部および文脈部においてそれぞれ x ' s(t) および x ' c(t) が成り立つので，式（2）の g(vi ) の代わりに (ci (t) + 1)/2（入力部の場合）または (si (t) + 1)/2（文脈部の場合）を用いても，ほぼ同じ結果が得られる．こうすると二つの回路網を別々に学習することができるので，計算機シミュレーションが容易になる．

3.

計算機シミュレーション

各回路網が n = 800 個の素子で構成されるモデルを用いて，計算機シミュレーションを行った．
入力部に学習させたパターン系列を表 1 に示す．時間長はすべて T = 20τ とした．それぞれのアルファベッ
トは経由点であり，いずれもランダムに選んだ 800 次
元の 2 値ベクトルである．各経由点の間では，成分が 1つずつ一定の順で変化する．また，文脈部が学習する系
列 c1 , . . . , c10 は，図 3 に示すように，O0 を始点とし，3つの経由点を通って終点 C 1 , . . . , C 10 に達する，時間長
T = 20τ の時空間パターンである．これらの経由点および終点も，すべてランダムに選んだ．
各パラメータは c = 50，c0 = 10，h = 0.5，τ 0 =5000τ ，α0 = 2 であり，λ は学習回数が増えるにつれ 0.2から 0 まで徐々に減少させた．各系列の学習回数は 30回である．
学習後のモデルに，様々な時空間パターンを入力し（入力強度 λ = 0.4），その挙動を調べた．動作例を図 4 に示す．図の各グラフは，下から順に入力パターン，入力部の状態，文脈部の状態を表しており，縦軸はそれらと経由点等との類似度（パターンベクトル間の方向余弦で定義する），横軸は時定数 τ を単位とする時間である．なお，文脈部に関しては，最も近い経由点または終点との類似度のみを表示している．

（a）は，系列 s2 に対して，10%の成分を反転した上で，一部の区間で時間伸縮を施した時空間パターンを入力した場合である．入力部の状態がほぼ入力パターンからノイズを除いたものになっていること，文脈部の状態はほぼ c2 の軌道に沿って遷移し，最終的に C 2 に到達していることがわかる．このことから，入力した時空間パターンは 2 番目の系列として認識されたと言うことができよう．同様の実験をすべての系列について行ったところ，すべて正しく認識されることが確認された．
次に，（b）は系列の一部を断続的に入力した場合である．最初，O から D に変化する途中のパターン D0 まで入力した後，しばらく何も入力しないと，入力部の状態は D の近くまで自律的に遷移した後，A および C にわずかに寄った地点で停留した．また，このとき文脈部の状態も最初の経由点付近で停留した．これは，複数の軌道アトラクタが拮抗した状態と考えられる．
その後，D0 から A の方向へ変化するパターンを短時間に入力したところ，入力部は A → D → C と状態遷移し，同時に文脈部は c9 の軌道に沿って C 9 まで状態遷移した．このことは，モデルがこの入力パターンを 9 番目の系列と認識したことを意味するが，「ある系列を認識するとは，その系列の続きを自律的に再生できることである」と考えるならば，文脈部の状態が C 9 に達したときではなく，最後の分岐を過ぎた時点（t = 15τ 付近）で認識したと見なせる．
ここで，入力部の状態が s10 の軌道から離れてしばらくしてから，文脈部の状態が c10 の軌道から離れていることに注意されたい．これは，入力部による動的不感化によって，文脈部の状態が c9 に対応する軌道アトラクタを含む部分空間に射影される結果，文脈部が軌道アトラクタ間の拮抗状態から抜け出すことを反映していると考えられる．逆に，入力部が A から D へ状態遷移する
際には，文脈部の状態が追いつくまで入力部が少し待っており，文脈部による動的不感化が入力部にとっても重要な働きをしていることがわかる．
以上の結果から，動的不感化がうまく機能することが確認されると共に，本モデルにおいて二つの回路網が自律的かつ協調的に動作し，複雑な時空間パターンの認識および想起が可能であることが示された．

図 4: 複雑な時空間パターンの認識と想起の例

4.

おわりに謝辞

動的不感化によって神経力学系を連続的に変化させる
本研究の一部は，文部科学省科学研究費補助金基盤研方法を提案し，これを用いて神経力学系同士が相互作用
究 (B)（No.15300068）および特定領域研究「情報爆発」しながら文脈依存的な時空間パターン処理を行うモデル（No.18049008）の補助を受けた．
を構築した．このモデルは，複雑な時空間パターンを認
参考文献
識できるだけでなく，ノイズや時間方向の伸縮に強い，[1] 松山隆司, 杉本晃宏, 佐藤洋一, 川嶋宏彰, “人間と共系列の途中まで入力しただけでそれ以降を想起できる，生する情報システムの実現を目指して”, 人工知能といった優れた能力をもつ．
学会誌, vol.19, no.2, pp.257—266, 2004.
本モデルを構成する二つの非単調神経回路網は，全く同じ構造とダイナミクスをもつ，独立に学習できる，両[2] 森田昌彦, 松沢浩平, 諸上茂光, “非単調神経素子の選者を結ぶのは素子数と同数の固定結合のみであるなど，択的不感化を用いた文脈依存的連想モデル” 信学論モジュール性が高い．更に重要なのは，二つの回路網を(D-II), vol.J85-D-II, no.10, pp.1602—1612, October
従来の方法で連結すると，ダイナミクスはそのままで単2002.に素子数が 2 倍の神経力学系ができるだけであるのに対[3] 森田昌彦, 村田和彦, 諸上茂光, 末光厚夫, “選択的不し，両者を動的不感化によって結合するのはそれとは全感化法を適用した層状ニューラルネットの情報統合
く異なるということである．そのため，単一の神経力学能力” 信学論 (D-II), vol.J87-D-II, no.12, pp.2242—
系ではできない処理が可能であり，また多数の回路網を2252, December 2004.
同様に結合すれば，より複雑で高度な情報処理が実現で[4] J. Tani and S. Nolfi, “Learning to perceive theきると考えられる．このように，本研究の結果は，神経
world as articulated: an approach for hierarchical
力学系による情報処理，ひいては自律ダイナミクスをもlearning in sensory-motor systems”. Neural Netつ情報処理系全般の可能性を拡げるものと言えよう．
works, vol.12, no.7-8, pp.1131—1141, 1999.
今後，回路網の数を増やすなど本モデルを発展させる[5] M. Morita, “Memory and learning of sequential
と共に，これを動画像の認識やロボットの行動制御などpatterns by nonmonotone neural networks”. Neuへ応用したいと考えている．そのためには，モデル自体
ral Networks, vol.9, no.1, pp.1477—1489, 1996.の研究以外に，現実世界の情報を本モデルで扱うのに適した時空間パターンに変換する方法についても検討が必要である．