計測自動制御学会刺ヒ支那第177剛恍度会〔199呂．10．叫
資料再考177−11

連続時間によるニューラルネットワークを使った制御形のアルゴリズム
TheControIAlgorithmusingNeuralNetwork
On CoIltinuous Time
0荒尾竜太朗，大久保重儲

ORyotaroMioっShigenoriOkubo
lLt形大学Ⅵ皿agataUniv訂Sity
キーワード＝ ニューラルネットワーク制御〔NeuralN軋wurkcorltrOL）丁辿統時間〔cont血りUStjrne），
行列計算（111a亡Ⅰ、ixc孔Ictl1日血Il）

連絡先＝ 〒992 山形児米抑行城南4▼3＿16
山形大学人学院工学研究科博士前期扇某程機械システム丁半研究科大久保研究喜美尾竜太助
恥1∴（口23印6−32仏Fax∴（023印4−6′肱E−m扇1＝ryOmio鮎止p3470・yZ−y乱ma脚ta−u．a亡．jp

1．はじめに
刷〟山

構造が未知である制御対象に対し、パックプロ
パゲーーション法を川いてニューラルネットワnクl（以後Nニ寸とする）をオンラインで適応的に学習さFl昌■1Nolllineal・〔〕＝1trrll町Stemせることを考える。今匝‖ま評価関数をモデル追従方式のものではなく、レギュレータ方式のものを層NNを使い、系を安定にする制御系を設計する。

使うことにより、零への収束を目的としたものを使う。また、バックプロパゲーション法による学習

女＝ノー1（Ⅹ〔り＝u〔瑚＋d〔り〔りにおいても各要素を行列化して扱うことにより、ここで1Ⅹ（り∈J凹ま系の状態、u何∈月mは制御学習過程を簡略化したものを扱う。

入れd（⊥）∈兄mは有罪で未知の外乱とする。

2．一般的な外乱を考慮した連続

土→∞の時、Ⅹ〔り→0となるので、式〔1）は次のようになる。

時間非線形システムの安定化、 亡＋Jl制御

ナ （Ⅹ〔丁），u（「））dT

Ⅹ（土＋呵 ＝ Ⅹ（り＋．王F料1のような非線形に対してFig．2のような3＋J…d仰1¶（2〕

、l乙均値の定理より〔0くβく1）、2．2 N Nの学習

X（けノ了）＝ Ⅹ〔り＋止F〔Ⅹ（け叫，u〔け叫）NNの学習はバックプロパゲー∵ンヨン法によって行う。しかし、本稿ではNN内の各成分は行列＋ノ1d〔t＋叫（3）表記になっていることに注意しなければならない。

ヨ．1・NNの構成∂且（古＋り例として、を行列の微分の公式に当ては打＼＼・了lりめると、式〔11）のようになる。
∂且（亡＋7i）∂Ul （り∂忙丁伺∂Sl 〔り∂W（ま∂W何 ∂U〔壬〕∂｝Ⅰ（り［JxTl」［JxJn】［J叫［Jx呵∂ul 〔t）∂uT（土＋叫x ∂S（り ∂u〔り匝xm一］［r托XTTtl

触T〔t÷叫∂叫＝・可x∂u〔ト＋純）触（f＋／1）［T几×叩］ 巨IXl］（11）

Fi昌・2 Ne11mlnctwork
ここで各成分の要素は以￣Fのようになる。
∂且（豪＋可NNの要素の行列，ベクトル表示における方程

触〔t＋可式は次のようになる。

Q・Ⅹ（孟＋可Imx1】〔12）触r〔f＋可∂u（亡＋的〕U〔り ＝ W〔りⅩ（り十叩）〔4）H（り ＝ d五和（J）U（り（5）（Ⅹ（り∂u（トト仙）＋／ユダ〔Ⅹ（孟＋叫，u（f＋帥））＋んd〔薫＋的）‡［TTIXTlj〔13）∂ur（け叫S（t）＝ Ⅴ（申項目−「イり∂仇巾＋鈍）［ 1）＜ア¶］（14）（G〕∂u（りu（り ＝ 軸り（／〕S（り血叩［エコー−Jヱ〔S〔と川〔7）・一一．／．

ここで、U何∈月ほ1、1V（f）∈Jヱ上xm、叩〕∈月Jx−［mx叫 （1ニ〕．：、ノST・り、H〔f）∈月hl、Ⅴ（り∈肝IXヱ、5（り∈乃mX−、州∈∂Ⅴ（亡〕

Jまm王1である0なお式中のd如ト）は対角要素以外［芸謝〜農耕［〔mxりxml〔16）は0のpxpの対角行列であるrp＝い丁川）。什〕はLJxnt］〔17〕VT（りニュ1￣ロンの入Ⅲ力特性であり，⊥拍〕でうーえられ
血叩F上2−J2（U（上川るものとする0また、什）は式桝のようになる。

・l．．∴［JxりJ回 ＝ 上t訓山1（エi11u∂UT〔り拍）＝けユ什刷（：111 ・：り［蒜許〜，完封よ（ヱ×可×J］（呵

評価関数を式（10）のようにおき、印）を掛」、にす
ここで九だけ時間が経過した非線引引ま式（20）のる制御則を求める。
ようになり、

叶ト′り＝ⅩT（＝牌〔＝刊（10）

卓〔Ⅹ〔り，u（りコ叩））＝Ⅹ（りただしQ二q了「＞0とする。

＋／岬〔叫＋叫，u（け叫〕＋d（壬＋帥）］（2D）−−2−〔18）

亦T〔x（り，u軌叩）〕

触r（け可∂印＋ん）
x飢項＋叫触（けた）（26）∂u（f＋仙〕［mx71］ 巨1Xl］∂ダr〔Ⅹ〔トf一叫，u（土＋叫〕

＝Jl

（21）

∂u（ト十叫Ⅴ（り故に学習による更新塁△W（f）は、一芸［諾卜与謝］血叫紳ノ2−−ノー2（S＝）］△W｛り＝−11〔蒜誌）

こ・ Q瑚（27）

抑T〔Ⅹ帆u（瑚 坦∂u（り＝ W（け可−W（り （22）

∂UT（り∂Hl潮∂ST（ま〕∂叫〕∂U〔り ∂H〔りとなり〔凸ほ学習係数）、式〔11）〜式（21）を式（22〕に［＝＝］［〜叫 工JxTTl】

代入し、整理すると以下のようになる。

∂uT（り∂uT（⊥＋叫x ∂S〔t） ∂u（りW〔盲＋研一W（f〕こ汀よX叫 恒xm］ん

触T（トト呵∂印÷可X∂り∂1）（28〕＝ 一亡tx榔2一冊〔ま川Vll国叩〕∂u（亡＋抽）軸軋欄〕）］∂u何

一誌［笥計〜苛賢］
x亡血泄2ノ■2〔U（り〕トVl （り鋸1甘〔）巾＋紬〕，u（トト叫〕
Xx（加封エコーJ2〔印川∂u（け帥）

×‡Ⅹ（亡〕＋／岬（Ⅹ巨」−叫，u（トト叫）X∂FT（x（りコ1巾））・Qx（と〕（29）∂u〔り＋d（f＋批）】トQx（土＋呵∂ST〔り ∂uT（り∂uT（け叫（23〕∂T（f） ∂S（り 仇1〔子〕

式（23〕の両辺の掩限をとると、1iln

W（上＋ナ且）」W〔りム→O【mx叫［mxr′ノ上］［mX呵X∂亡り∂Ⅹr〔ト＋呵別項卜呵＝W拘Jl

二 FT〔Ⅹ〔け抽），U（f＋叫）
1itTl

九・∴白（叫∂u（L＋蝕〕∂ダγ（Ⅹ〔り，uい〕）仰）∂u〔り∂u（壬＋帥〕

×df叩「エコ叫J2（S〔棋］［mx叫＝Ⅰ】：111」憲二［認許〜篭甜

克二白 ∂u（f）∂∫T〔Ⅹ（畑Il〔り）（Ⅹ（り＋岬（叫＋叫・∂u何u〔占＋叫〕−卜d〔ト＋帥〕］ユ＝Ⅹ〔り・qX〔t）（31）

以⊥により、ト∵ヾの学習を行う。
（24〕

よって式（24〕を式〔23）に代入すると、≠▼：ノーi3．安定性の解析一品［完訃〜⊃器］

このシステムの原点近傍の安定性を考える。

相和世一ブコ〔U（瑚］・Ⅴ■Jl（りXd血占甚2一門姉川
肝■γ（Ⅹ（れtl〔瑚X女 ＝

J〔Ⅹ（畑u（t）トトd（t）

11〔り ＝ 町項上・Qx〔り （25）∂u〔り同様にして、Ⅴ〔畑帥〕、う車〕を求める。（町βは学丑項）≡tl〔り〕を原点近傍でテーラー展開すると、習係数）∂掛り∂ST（り ∂uT国∂tlT（ま＋叫∂Ⅴ（り こ∂VM ∂S（t） ∂u（りこ√丁い・−Jl［mxTTlり卜r上Xm一】［mxrJrL］−3−〔32）∂Ⅸ〔x。〔り）∂tl口（り∂ⅩT〔り ＝J州，u（Ⅲ＝J（Ⅹ仙1拍）〕＋［町〔和〔畑un〔り）

触T〔り【TTlX叫

よって、式（35）に代入し、Gを求めると、

即（Ⅹr直），uO（り）（−Ju‥＝叶項卜欄刷）＋・・・

G＝A−2B空〕）

（33〕

すると、

A＝［01耳∫仙）】u口（t））＋［竺†U‖｝

例として、機械系のプラントで計算してみると、式〔33〕より、高次の項を切り捨て、式〔32〕に代入坤）〔4叫【汀1×7ユ】、B−∫I＝ ￣面 ∵万J〔Ⅹ0（畑un〔り）∂打（和（り〕∂打（Ⅹ0〔土））∂∬（Ⅹ0（瑚−−1Ⅹ丁：．J：ご即（xo帆u□〔甘）∂11拍）∂芳2（壬〕∂Ⅹ的∂t巾）〔42〕

X〔Ⅹりトxo（り）＋d（りG＝J（Ⅹ0（頼uo〔り）

0〔正＋ユ∂悪幣）岬十2三こ二法」W．1す

即〔Ⅹ0（れuu（瑚よって、特性方程式亜ⅠⅦGlは〔Ⅹ（り−Ⅹ0〔川触刷即（Ⅹn（り四っ（り〕∂uu〔t）
肋申）

ー1

lpI−G

触（f〕

一・〔・J半呈上

二＝二⊥ユニ」．け

X（Ⅹ（り−Ⅹ0〔紺＋d〔り1＝ ㍉−ト即（Ⅹu（往uo（り〕ルーJ〕＋

桝2・＝rlx・：り∂J（Ⅹ0〔畑uo（瑚 ∂uL，（t）粘け〕∂叫）1√ト√．。∂打（Ⅹ0（刷＋匪＋2二二二、（44））

触1（ま〕

よって、特性多項式の儒はIpI−G」＝0より、

（34〕

−む土vm
即（Ⅹ0〔りっuD（瑚G∂Ⅹ1「〔り壁担払uo〔り〕∂打〔Ⅹ0（瑚

〔占二丁孟（机2∂uo（り〕
小一ご・−り〔35〕∂uT〔り触r（り∂打（Ⅹ0〔t））

亡＝（打・←2とすると、特性方掛村山−qを求臥その地が）〕〔叫∂ご1〔t）

この極が常に負であるための条件は．占≧口、亡≧0

負であ才lば、Gは安定であると言える。

である。式（叫中の打、乃、Mは定数なので常に正式（32）を線形近似し、Gを求めると次のようにである0つまり、旦諾粁≧n、旦驚粁≧0ならなる。

ば、この系は安定となる。
女い〕＝ Aコ巾トBu〔り 〔3G）u（り ＝ −K〔Ⅹけ））

4．評価関数の拡張（37）（t〕⊃un（川「−ノゝノミJさいIXrl」

A

この制御系の応答の改善の一例として∴詐イ苗関

巨1X可− B

数を二次形式にする方法がある。

∂K（Ⅹ0（瑚∂xT〔り〔3日〕

ご1〔f）

叫）＝

r一托＞叫［打LX■J】［町（Ⅹ0（り1un〔川B［托XTrL】、〉・」：：、い〔46）］

鞘＝ⅩT〔柚（り（39）汀4−〔47）

となっているが、これを次のようにする。

また、制御系を用いる既に未知である部分は以下のようになる。

E（り＝［荒）］（4呂）∂ダT（Ⅹ（古い1（瑚帥＝zT〔伸（f）＝［0去］∂Ll（t〕（49）（52）

これ以後にシミュレーhション結児を挙げる。訓すると∂印）／蝕周は以下のようになる。

期値はいずれも∬＝0．n、Tノ＝0．5である．ちなみ1鮎r（り ∂j叩）にそれぞれの条件は以下の通りである。

2 触 ∂坤〕
l一つ山

Fig．4 制御無し∂〔ⅩT何，ⅩT■L2】㈲ ∂〔El−（f）qE（り）

Fig．5 NN制御

且：J．きTリ：＝［控芸㌘］qE（りFig．6 評価関数を拡張したNN制御（50）

Fig．7 オンライン苧軌こよるNN制御

Fig．呂 評価関数を拡張した

これは式〔12）と比べ、変数の影響がより大きくなっオンライン学習によるNN制御ているのが分かる。よって、こちらを使う方が応答が改善されると考えられる。
nUnU

5． シミュレーションnU︻s盲﹈㌔﹇阜言5．1機械系の制御
この轟の運動方程式は次のようになる。

4〔） 6【】 別J l臼U」lす曇十岬1＋β2ご2）止十（勘＋∬2∬2）￡＝71（叫T■in−仁王scc】〟［瑚台車系の等価質量
且．い叫叫 粘性減衰係数Fig．4］鮎叩I）llSe口f∬andu

打m［〃／nl］ ばね係数
今回のシミュレーションではそれぞれ」lす ＝1−0、β1＝0．1、〃ユ＝D．nl、打1＝2．0、吋2＝1．nとnl′＿√l−・−−−−ヒ顔面示‥−・−：Nト：出力u‖U＿■．．J亡．．三1．．．．■

lnU﹇邑已豆盲テ二せ；する。

I Il＼Jヽ′l丁〔j㌢・・−−−」

1日

515Tjnl亡rS巳可叫
Fig・5 Rcsponscofxandv＋NNcDntrOl』「■￣」

Fig・3 九すe⊂tlanical吋Stelll【5−5．2 倒立振子nUー：位置Ⅹ
速度vlNN出力u′￣￣￣，−■■■−■−−−■−・−・−・−−−−nU

冒言古盲チエ盲；nU1nU0川

515Tjnl巳「盟C］

Figr9InverLedpcll〔1t111ユmFig・6 R出P〔）nSeDfごandu寸∴ⅣNcoIlt1・01

倒立振子の運軌方程式は、ラグランジュの方程nUn（財＋mほ＋・n止鮎ロ5β−げよ一Tr止が如β ＝ 仇 （53〕nUnU

l邑p■︻己n二s盲丁二旦H式より次のようになる。

」7正加甜＋け＋〃止2〕∂＋C†β−7了Ig⊥即丁7・β ＝ 0（54）TjT舵［㌍C】

また、各記号は以下で示すとおりである。

掴 L拍

白市系の等価質量G［叩t■′】電圧／トルク変換係数

Fig．7 Response〔1fごaIldl」＋ⅣNc〔〕nl．r口1afl■el・1e皿山1g

1⊥ ［Vjモータへの人力電圧

F ト］

台車系の等仙摩擦係数〔丁 ト］

軸の鞘性摩擦係数叩l【桓］ 振子の質量nU nUnU
︻U■■宮古二号且；二阜丁J い㌧川］ 振子の慣性モーメント拙から振子の重心までの距離⊥lm】〝 巨n／5ヱ】重力加速度
ここでこの制御系を用いるために未知であった亜素を求める。
∂ダT（Ⅹ帆11（机1I） 20 3【） 4tI 50

け＋丁71Jl〕仁∂u（り〔Jmヱco6βGTi】Ile［甑ニ］］

Fig・8 Respons巳りrコ1an止u＋ⅣNcolltrOld 二〔」M＋ l）（J＋雨り一画此鵬吋

arlerl巳arnlng」6（叫シミュレーション結果は以下のようになった。

たれたまま系全体が静I卜してしまうためだと思われる。この間讃はプラントによる影響もあり、NNの学習係数や定数ノ∴qの調整である軽度は政︻己コト﹇モ且㌔﹇阜丁茜されるが、基本的な解決にはなっていない。今後はこの制御がより有効的に使えるようにしていきたい。

参考文献】〕斉藤 秀夫＝⊥業基礎振動学．養賢堂〔19叫2）金井 喜美班＝制御システム設計槙書店（1983）′【、血e［s巳C］

3〕大船 繁＝ ニューラルネットワークによる適応制

子凱電気学会雅紀Vol−112，No，7」5【〕町50呵19叫
Fig・10 Responseor￡aIld♂a上β＝3叫鞘】

4）馬目 聡，荒 乱銘木 穎二＝ニュゝ−・−「ラルネソトワークによる倒立振子の制御，第33回SICE学術
抑寅会予稿集，335／ごj叫199rl）﹇己コ言s＼且＞二且珂：位でエ・ L．一、 ・＼レ■ヾンーlJm「．■〟1￣−・ ヽJ l

ヽ−−ニニ．：．．N 丁出九ulO

2TimGLs∝］

上1i昌・11RespullSeDfェilIl｛1β；1t∂＝叫加g】

6．おわりにシミュレーション結果より今回の制御方法が有効なことが分かった。特に機械系の結果から全く学習していないNNでもある程度の効果がみられるし、同じ外乱を5回与えて学習させたものは応答が改善され、また評価l巣】数を拡張したものはより収束が早くなっていてこの制御が有効である事が分かる。しかし、いくつかの結果からも分かる
ように位置がある−一定の数値から変化しなくなり、零に収束しない場合があった。これはNNの学習の段階で士や自力†零になると、l′レやlンも窮となりNNの州ナ抽が更新されなくなり、一定の出力が保7¶