計測自動制御学会東北支部第176回研究集会〔1998・7・24）
資料番号176−3

リカレントニューラルネットワークの複雑さの制御に関する一考察

StudyonComplexityControIMethodshrRecurrentNeuralNetworks○酒井正夫■，本間経康＝，阿部健一−
OSakaiMasao−，NoriyasuHonma出andKenichiAbe｝♯東北大学大学院工学研究科，…東北大学医療技術短期大学部＃GraduateSchoolofE・ngineerlng，TohokuUniversity…CollegeofMedicalSciences，TohokuUniversity
キーワード：リカレントニューラルネットワーク（r亡Currentneuralnetworks），カオス〔chaos），リアプノフ指数（Lyapunov門pOnen叫
連絡先：〒9即−8訂9 仙台市青葉区荒巻字青葉05東北大学大学院工学研究科電気・通信工学専攻阿部研究室
酒井正夫，TeI∴〔0㍊）217−7D74，臨x・：〔022）263−9290，E−mail：S濾ai触be・QCei・tOhoku・a亡−jp

著者らはこれまでに，フィードバック結合を持ち1．はじめに複雑なネットワークダイナミクスが実現可能であここL−一テルネットワークとは，ニューロンと呼るリカレントニューラルネットワーク（RecurTent

ばれる単純な入出力特性をもつ素子の組み合わせⅣeuralⅣetworksニ以下RNⅣと略す）を対象としたにより生物の脳を模Lた人工的な情報処理システ

複雑さ制御〔ComplexityContro上＝CC）法のプロトムである．1986年にRumelhartによって誤差逆伝タイプを塩素した5）．本稿では，その提案法の制搬（Backprop関山ion：BP）学習法が提案され，階層型ニュー御性能を計算機シミュレーションの結果を基に詳ラルネットワークに人間が行うようなしく考察し，より制御能力の高い手法を提案する．

パターン認識や運動制御，および非線形モデルにょるシステム同定の実現が可能となった叶2．RecurrentNe11ralNetworks

しかし，従来のネットワークでは実現できない．
より高精度な同定，およぴより生物的で柔軟な認本研究では．様々な相互作用（多様な複雑さのダ識機構を実現するためには．代表的な誤差逆伝搬イナミグス）を表現可能なニューラルネットワーク

学習法では考慮Lていないネットワークダイナミとして，各ニューロンの写像関数がシグモイド関

クスの複雑さを制御する草が重要である事が．軌

数で次式で時間発展していく．離散時間系完全結物実酎）ぉよび計算機シミュレーション5）．4）など合型RNNを用いる．の結果より報告されている†−1−∫（坤〕）＝［J小串）），ム（叫）），叫．J。（コ中川T〔6）の最大リアプノフ指数は次式で計算される．

苫再十1）

1＋紺P（−2ぶi（上十1）／β。）コ
〃

fエ（r）

A＝lim

咄＋1）＝ ∑町州＋軋

ナ三石コT

（ヨ〕

．≠＝1

慧‖光聖t］，（7J

上（0川

ただし上（0〕は可0）を中心とした無限小のm次元

訂i（f）＝ 項≠（3）

球体の直径ベクトルであり，上（叫もその球体を董
ただし，fは離散時間（±＝1，2，＝・）で，．Ⅳはニュー回遷移したときに得られる叫〕を中心とした楕円

ロン数，g壱，肌，軋 β。はニューロンの内部ポテ件の最大の主軸ベクトルであが〕．

ンシャル，出力，間借，シグモイド関数の定数でRNNの最大リアプノア指数は，RⅣNの様々なパあり，叫はニューロンjからニューロン古への結合ラメータに依存する値である．本研究では簡単の係数である．

ため，結合係数叫以外のパラメータを固定と考えこれらのパラメータ叫．βfなどを変化させるこる・託巾〕におけるヤコピ行列をかダ〔正〔り）とおくとによって，且NNは，無秩序でカオス的な振舞いと，アトラクタ近傍で線形化して，から規則的で単純な振舞いまで様々なダイナミク
エ（f＋1〕＝かダ（コ申〕）叫）スを示す叶

桝となるから．次式を得る．
no町Onユ入＝塩log
請［刀ア〔項）上（吉〕ll上（川【ここで，分子の計算が発散しないように．叫＋1）を正規化して五（亡＋1）＝かア（坤））∂上〔t），（10）とする・ただし，叫）＝胚〔拙として，（1り・i工二■＝・

Fig．1Fu11yconnectedre亡urrentneuralnetworksである．最大リアプノフ指数を求める場合には，

叫0）は任意方向のn次元ベクトルで良いから6），次式が得られる．

3．複雑さの定義
ユ＝虹舶廿

本稿ではダイナミクスの複雑さの定量的指標と（12）f＝0して，最大リアプノブ指数を用いる．一般に，最（1）〜〔3）のRNNの場合，ヤコピ行列の（り）要素大リアプノブ指数の値が負の場合ネットワークダ

口彗j（コ申）〕は．次式で表わされる・

イナミクスは規則的で単純であり，正の場卑カオ

2叩J（可瑚＝岬（ト叫（1一項十川・（13〕ス的で複雑あか）．
したがって，上（り＝［エバ叶上2（り，‥．エ〃M］Tの要

円陣差分方程式

素は，次式で表わされる．
叫＋1）〒 ∫（叫））t項〕＝［詔1帆ヱ拍），…，訂。（り〕T．

〃（4）2瑚＋1）＝三脚＋1）∑叫叫（り・（14）
〔5）

一2¶

Iまた，＝一軒ユ叫）芸（18）

上（り＝で与えられる・ここで，叩（＞0）は学習係数である．
である・ただし，化〔f）＝［兄1帆比刷．・＝，比Ⅳ州T∂Å／∂叫は式〔12）より，とし・苫（り＝項Ⅲ1−rf（f））とする■∂人

以上より・RⅣⅣの出力時系列可1），嘩｝，川，葦〔r）

柘＝ノ忠妄義欝はRNNのニューロンの初期状駄叫）が決まればRNN（19）であり，∂叫）／∂wfjは（呵式よりの結合係数叫により計算できることから，任意の賢孟姜珊欝

ル叫0川＝1となるm次元ベクトルと可0）を準備す

一れば，（14）式の最大リアプノフ指数は，RNNの結〔20）である・また∂上．H／∂叫は，△jたをクロネッカーの合係数現により計算できる．すなわちデルタとして
A＝アユ（Ⅵ′．芯〔0〕）．

〃（16）∂エ良（七＋1〕∂∬た（土＋1）
上＿J

∂叫

ただし

∂叫 m＝1211l＋凡燕＋1〕［△ik叫〔f）

．．．

．．．

1つ−22JV
即上m（＋∑叫仙（17）

W
¶

Wlun
U

ひサー

凹

∂叫丹l＝1

り

ここで，∂耳挿＋1）／∂叫ゴは，＝（1一柳〕

4．複雑さ制御法（22）となり，∂ご拍）／∂鞘は，式（1卜■（3）より

前節で示したようにRNⅣの複雑さの定量的指標である最大リアプノプ指数は，結合係数叫と初期鮎た（七〕∂頼り鮎た（り∂叫J∂軸〔t）∂叫j

状態可0〕によって決定される．したがって，初期状轟甜））凪た・項−1）

態正（0）を固定した場合，ある複雑さ入をもつR即Ⅳ」Ⅴ＋∑鞘mを，目標とする複雑さ入叫に設定する問題は，結鮎m〔上−1n‖●〔23）恥j）

合係凱 jを適当な値瑠咄改変する問題に帰着さで求まり，諾〔0）は結合係数叫に依存しないのでれる，∂現（0）／∂鞘＝仇∂項1）／∂叫＝△長一f（占た〔1）〕り（0）である．ここで，fはシグモイド関数′の微分∂J／恥4．1 提案法である．

著者らが提案した複雑さ制御法は，ネットワー

また，∂化m（り／∂叫は，（11）式よりクパラメータを適当な値で初期化して，最急降下∂祀m〔り1空圭迎法を用いて適切な改変豊前叫碍る方法である．す飢叫

l上〔珊コ∂叫∂E上（t）il叫）l−Ⅶ
上，−、（り∂叫ゴ（24）

なわち，RNNの複雑さがん 目標値が入瑚の場合結である・初期値∂兄m（0）／飢叫は，比m（0）が叫に

合係数叫の改変鮎叫は■目酎直との二乗誤差をよらないので朗エm（0）／∂叫j＝0とおくと，（21）式
e入＝（ユー人叫）コ／2としてより∂上（1）／∂叫jが計算できる・これらより（24〕式∂e入を用いて批m（1）／∂叫Jが計算できるから，以下同叫＝−り石打−3−5様に∂叫）／∂叫が計算でき餌付勒が求まり，最終r．≠山一∴

・l的にJl叫が計算できる・

く■
軋

∧UT

ペ一 ■ i 岳 L 己 ゝ i ゝ ﹂った．

乱RNNの最大リアプノフ指数はA＝−1．533であ︻∨

5．シミュレーション結果
結合係数をランダムに初期化した〃＝4の完全ロ

コ班

Ⅷ

仙叫

8【0〕 1腑

ほM l棚0［ttr島【；帥

結合型RNNを，任意の目標値に制御することを試みる・ここでは，目標値をユ叫1＝川と，ユ冒叫2＝
正一与ぎ亭8■邑．し■■才一一

レーションにおいてランダムに初期化されたRNNの最大リアプノア指数はÅ＝−1．533であった．

−一一−−8．0とし，古。＝0．2，T＝100とした．なお，シミュ5．1提案法の制御性能の検証
0

提案法の計算式をそのまま用いてシミュレーショ

2∝I l〔旧 和 書∝1 1q知 1賀Ⅹ1 1棚 lⅢ l那n 凹凸Il■柑山肌ンを行うと，（23）式．（24）式の値が発散してしまうことが原因で古叫j→00となって計算が行えな

Fig．3 TheLyapunovexponent入asafunctionof

い場合がある・その対策として匝叫世上隈を適当

theiteratioTlbytheproposedcon亡orolme七hod．

な値に制限している・（A叫1の場合：1．0．Å；ふJ2の場

叫の微小な改変が大きな変化を与えるためと考合＝0．叫えられる．

しかし，人叫＞0の場合は，ほとんどの結合係

その対策として，本稿では（23）式と（24）式の値

軌叫で改変皇毎Jの値が発散してしまい制御のたを適当な範囲の値に制限した．−1〜＋1の範囲にめ町適切な改変鄭判が得られず制御に失敗する

制限した場合のシミュレーション結果をFig．3に示場合がある（Fig，2ト この原因は，Å叫＞0の領域す．この結果より，最大リアプノフ指数の制御にでネットワークダイナミクスがカオス的なために成功していることがわかる．

−

以上のように，提案壮による制御では，目標とする最大リアプノフ指数の値によって，RⅣNの初nJ■∪■− らを必要とする場合がある．

tLtゾ

一■

Y︼邑b■宣己qユ

期パラメータや計算アルゴリズムに何らかの調整

血t一l

6．まとめq l∝船 2正D コ閥 棚 印 刷 l∝O l（血 糊 lm

著者等がこれまで提案していた手法によって，【t■r伽

RNⅣのネットワークダイナミクスの複雑さ（最大Fig．2 TheLyapunovexponentlaBafunctionof

リアプノフ指数）を目標の値に制御できることを，

theiteratlonbythepropo日edcontorolmethod．

−4−

シミュレーションにて検証した．その結果，提案

法をそのまま用いると．計算が発散してしまう場合があるなどの問題点を確認し，その改善策を示した．

白襟とする最大リアプノフ指数が違うと．提案
法では，改変畳計算に用いるアルゴリズムや定数の値を適切に補正する必要がある．このことから，RNNのパラメータ空間上の1曲面は，非常に複雑であり，最大リアプノフ指数の値によって大きく変化していると予想される．したがって．より実用に適した最大リアプノア指数制御法の構築のためにもRNNのパラメータ空間上のÅ曲面の解析が必要である．

また，対象空間が複雑な場合に用いられるランダム探索法ヤシンプレックス法などによる設計法との融合も今後の課題である．

参考文献1〕合原一幸＝カオス，サイエンス社（19901
2）中野肇他ニニューロコンピュータ，第ヨ章，技術評論社（19拍）

3）喜劃Il，本間，阿部＝リカレントニューラル
ネットワークの創哉的学習手軌 計測自動制
御学会論文集，33−11，1093／1098（1997）

4）鎌内，本間，阿部：生物的な認識ダイナミ
クスをもとに構成した文字認識ニューラル
ネットワークによる未知パターンの認識，第10回自律分散システム・シンポジウム資料，
1紆呵19叫5ト本間，酒井，阿乱竹田：神経回路網ダイナ
ミクスの複雑さの制御法．計測自動制御学会
論文集（投稿刊
6）A■Wolf，J，B．Swift，H．L．Swinney且ndJ．A，Vas−

tanoニ1］etemlinlngLyapunovExponentsfrom
atimeseries，Physica，16D，28与／315（1989）−5−