ニューラノレネットワークと予測
安達雅春，合原一幸
川
11川
11川
11川
11川
11川
11川
11川
1111川
川
11川
11川
11111
川
川
11川
11川
11川
11川
11川
11川
11川
11川
11川川
11川
11川川
11川川
11川川
11川
11川
11l川
川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11111
川
川
11川川
11川
11川
11川
11川
11川
11川
11川
11川
111111111
川
川
11川
11川
11川
11川
11川
11川
11川川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川川
11川川
11川川
11川
111刊川
1川1川
11川
11川
11川
11川
11川
11川
11川川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川川
11川
11川
11川
11111
川
川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11川
11附川
11111
川
川
11川
11川
11川
11川
11川
11川
11川
11川
11l川
川
1111111
川
川
11川
11川
11川
11川
11川
11川
11川
111111
川
川
11川
11川
11川
11川
11川
11川
11川
1111111
川
川
11川
11川
11川
11川
11川
11川
11川
1111111
川
川
11川
11川
11川
11川
11川
11111
附
111
川
川
11川
11川
11川
11川
11川
11111
附
111
川
川
11川
11川
11川
11川
11川
11削
111111
附
川
111
l

1.

はじめに非線形システムにおける時系列データ，特にカオスIN1(t)[1J 的な時系列データに関しては一般に長期予測は不可能である.しかし，短期の予測に限れば，観測で得られた時系列データを用いて，対象システムの同定を行なうことによってかなりの精度の予測が可能である.このINN(t)ような「決定論的非線形予測」の研究は最近大きく進展しているが [2 J ，本稿では，システム同定手法として，階層型人工ニューラルネットワークにパックプロパゲー

ション学習則 [3 J を適用したネットワークモデル(以下，BP ニューラルネットワークと記述)を用いる手法

中間層

図 1

[4J [5J について紹介する.

アトラクタまたは時系列学習用の BP
ニューラルネットワ -tl

アトラクタ学習:

2. 予測手法および評価法

INí(t)=aí (t), TEACH(t+l)t)=a (本章では標準的な BP ニューラルネットワークを用いたカオス的時系列の短期予測について概説する.この手法は，既知の時系列データの 1 タイムステップごとの写(i =I , …, N)
時系列学習:INí ( 7: )=x( τ +(i- 1) L)(τ + (i ー I)L+l)

像を BP ニューラネルットワークに学習させることによ

TEACH t ( τ )=x(i=l ,…, D)

り対象システムの非線形ダイナミックスを推定し，これをもとに時系列データの短期予測を行なうものである.
2.1

一般に ，d は，となる.

V( 7:)( τ=0 ， 1 ， 2 ，… ， m ;m=n ー (D ー I)L ー 1)

予測手法
N次元の力学系から観測できるデータの次元d<N となることが多く，このような場合最悪の場合には d=1

すなわち，V( 7: )=[x( 7:)， x( 7: +L) ， x( τ +2L) ， … ， x( τ+(D‑1)L)J

fTakens の埋め込み定理」[6J にもとづいて，適当な次元 D とラグ L の時間シフで，この時系列データが表現される(時系列データの埋ト座標軸を用いて，もとの N次元相空間上のアトラクタめ込み).

この時系列データの学習に用いるニューラルを位相的に保存したアトラクタを再構成する必要があ

ネットワークはる.

入力層および出力層では時系列データの埋め込み次元にはじめに，時系列データ学習過程において，与えられ合わせて D とし，中間層については，数理モデルのデーラタに関してはそのモデルの写像の分析により決定し，実(n ー (D ー I)L) 個

データに関しては時系列データ学習を何回か試行し，そた時系列データ x(t) (t =O ， 1 ， 2 ，… ， n ー 1) を次元 D ，グ L の時間シフト空間に埋め込むと ，3 層構造で，各層のニューロン数は，の収束状況に応じて決定する(図 1 ).時系列データ学のベクトル

習過程においては具体的には{入力，出力}の組としてあだち

まきはる，あいはらかずゆき{V( τ) ， V( 7: +1) }, {V( 7: +1) , V( τ+2) }，…

東京電機大学工学部電子工学科

を順次 BP ネットワークに提示し，このベクトル間の写

千 101 千代田区神田錦町 2-2

像を学習させる(図 1 ).

336(22)© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オベレーションズ・リサーチ

2.
2 予測値の評価2.1 で述べたようにして得られた予測値の評価には，次に示すような 3 種類の指標を用いる.
①相関

N タイムステップ分の実際の時系列データおよびこれに対する予測値 x (t ')(t'=1 ， 2 ， … ， N) の 2 つの系列聞の相関係数 p:
主(ピ +(D-l)L士L; (x(t') ー x)(x(t')-x)

+l+n)

t'

4V~ぉ(乏仰(μt' ) 一J引孟刈10X∞o (%刻6ρ(1 )
ここで ，x および x は，それぞれ x(t')(t'=1 ， 2 ， …，N) , x (t ')(t'=1 ， 2 ， … ， N) の平均値である.

RMSE (RootMeanSquare Error)(図 2

RMSE=J元(川 )-X(t'))2

アトラクタ再生または時系列予測用ニューラルネットワーク

RRMSE (Relativ
eRootMeanSquareError)(

アトラクタ再生:RMSE(3)

RRMSE= 一一て一一一INITt =O.I , OUTt (t)= 向 (t)v(i=l , …, N)
時系列予測(イテレーション n ー 1 固い

ここでq:r は，:r

予測対象の時系列データの標準偏差である.また，この RRMSE は，INIT(t')=x(t'+(i‑1)L) OUTdt'+n ーtl) =x(t'+(i ー I)L+1+n)(2)(i=l , …, D)

RRMSE=O(4)のとき完全な予測が行なわれたことを示し，

RRMSE=1
次に，予測過程では，基本的には，時系列データ学習終了後のネットワークの出力を入力層にフィードパックした，リカレント型のネットワークを用いる.また，予測時聞を次のように定義する.のときは，単に平均値を予測した場合と等価であり，したがって平均と偏差が同じオーダーである多くのカオスの場合にはほとんど無意味であることを示す.

3.

予測時間い
フィードフォワード型ネットワークに V (t ')=[x(t') , x(t'+L) , x(t'+2L) , …, x (t '+(D-1 )LJ を入力し，出力層の D 番目のニューロンの出力値として予測値 x (t' ート (D ー I)L+1) を得る

(図 1)
.

BP.= ューラルネットワークによるカオスアトラクタの学習・再生
本章では， 2. で述べた時系列データの埋め込みによって再構成されたアトラクタの学習およびそれにもとづく短期予測の実例を示す前に，カオスアトラクタを生み出すような力学系の写像構造が，予浪1時間 2 :リカレント型ネットワークに V(t') =[x(t') , x(t'+L) , x(t'+2L) ， ・ ， x(t'+(D ー I)L)J を初期(5)BP ユューラルネットワークによって同定できることを実例で示す.
3 層 BP ニューラルネットワークを用いてn 次元の値として入力し，イテレーション 1 回の後に予測値離散時間力学系のアトラクタを以下のように学習・再生

x(t'+(D-1)L+2) を得る(図 2 ).

する.アトラクタ学習過程では学習対象アトラクタの各点、を表わす N 次元ベクトル A(t)=[adt) ， a2(t) , …,予測時間 n:
リカレント型ネットワークに V (t' )=[x(t') , x(t '+L) , x (t '+2L) , …, x(t'+(D- I) L)J を初期値として入力し，イテレーション n ー 1 回の後に予測値 x(t'+(D ー I)L+n) を得る(図 2 ).
1992 年 7 月号

aN(t)J のベクトル聞の遷移を望ましい入出力関係としてニューラルネットワークに提示する(図 1 ).

アトラクタ再生過程では，学留終了後のネットワークにフィードパック結合を加え，初期値のみを与え，イテ© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

(23)337uaU0.
1000000.5∞ ω。

旬、.句、、; ~........、

a令\-求:""'.，.ー\、.令、、ヘ、/jO.
OOODClO

f‑F

ロ.0∞自由。

/ｭ.

.・-・r

,...If'.

.~d同_.・'‑0.100000~~-1.3白白白目白b.
・・・・­

・-一・・

.....・"'-

戸.，...--0.5ωω。

0.000白自白

1.3目白白0口~. 00.350000-目.5目白000

E
白 .500000

0.0目。。目白'‘

0.5ω000c

矢目

b0.000000

O. 目白自由。ロ‑0.350000‑0.
500000e，、

目，、

xx-1.20白白目。

白.目白白目。。

1.
200000‑0.500000

c0.
000000白.5目白目白白白 .0000目白口 .50自白自由U0.
3500000.5000白日

c0.000000

0.00000白‑0.350000-0.500目。。

x-1.2目白白O口図 3日.口∞白白目

1.2白目。∞

エノン写像アトラグタの一例およびその図 4再生されたアトラクタおよびニューラルネットワークのグリッドイメージ特性

グリッドイメージ特性a) エノン写像のアトラクタの一例b) 写像構造を見るための入力格子c) b) の格子を入力としたエノン写像の出力-0. 500日目。

a) 学習終了後のリカレントネットワー
クが描いたアトラクタの一例b) 写像構造を見るための入力格子c) b) の格子を入力としたネットワー
タの出力

338 (24)© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オベレーションズ・リザーチ

100908010090ミ史

8070"

60‘・・ ‘・・"-司、。・h-“ ‘・. ‘・.

白、一仁

50‘・.

司、、

‘・- -v__ ー、邑企‘c、、、

号
40830

60『圃・ h・。
、、、、

2010401。

24357689 10Pred刷。nT加e2エノ γ 写像のアトラクタに関する時系列

図 S

合 [6J またはアトラクタのボックスカウント次元の 2

代表的な 2 次元離散時間力学系であるエノン写像(式(6-7)) のストレンジアトラクターの一例およびそのグリッドイメージ特性[7]を図 S に，このアトラグタを学習した BP ユューラルネットワーク(各層のユユーロ

中間層 9 ，出力層 2 )が再生したアトラクタの一例およびそのグリッドイメージ特性を図 4 にそれぞれ示す.
2(x(t+1)=y(t)+1 ー 1. 4xt)

(6)y(t+1)=0.3x(t)(7)

図 3 と図 4 を比較することにより，BP ネットワークが対象となる 2 次元カオス写像のストレンジアトラクタの構造や変換特性をよく再現していることがわかる.

BP= ューラルネットワークによるカオス時系列データの短期予測
本章では，数理モデル，実モデル双方に関して， 2. で倍より大きい場合 [8J であるが，実際にはこれ以下でも(この場合には D=2) 高い精度の予測が場合によっては可能であることを示している.
4.2

太陽黒点データの 145 ポイント分を学習し，その後のみた.埋め込みは次元 D=3 ， ラグ L=1 で行な L 、，BP

ニューラルネットワークの各層のユユーロン数は，入力層 3 ，中間層 20，出力膚 3 とした.このときの予測l時間に対する相関を図 B に示す.

この場合は，学習精度が高いものの方が予測精度が低くなっており，学習データに対する近似がよすぎて未知データに対する成績が悪、くなってしまうという，いわゆる「過学習 j の状態を示しているものと考えられる.これは，中間層ニューロン数が多すぎることが 1 つの原因であると考えられる.

5. その他の手法

4.
1 ヱノン写像の時系列の短期予測
2 次元の力学系から 2 次元の観測データ

太陽黒点データの短期予測

142 ポイント分に関する予測時間 1-4 の短期予測を試述べた手法による時系列の短期予測の実例を示す.

3. の解析は

太陽黒点データに関する時系列短期予測
結果

レーショ γ を行なう(図 2 ).

ン数:入力層 2 ，3PredictionTime
ロ Leam Er.
<0.
0
2 +LearnEr.
=
O.
02 0LearnEr.
=O.
05

短期予測結果4.

hg 5070

図 Sぷ.
.

.
.

。

上述のような手法のほか，学習則としてはパックプロが得られた場合に相当するが，ここで、は次元の観測パゲーション則を用いているが，ネットワークの構造等データしか得られない場合を想定して，式 (6-7) におを工夫したモデルを用いる手法が提案されている [9J

ける z の時系列データのみを用いて，[12J. そこで，本章では，これらの手法について概説すットワークに学習させ，BP ニューラルネ短期予測を行なった結果を示す.

る.

5.1 松葉らによるモデル [9J

図 5 に埋み込み次元 D=2 ，ーロン

9 中間層ニューロン

ラグ L=I ，

2 入力層ニュ

本節では，松葉育雄らによって提案された時系列予測l2 出力層エユーロンの用ユューラルネットワーク(本稿では，松葉モデルと記BP ニューラルネットワークを用いた場合の予測時間に述する)について概説する.このモデルは，図 7 に示す対する相関のグラフを示す.この図から予測時間が 5 ， 6ような構造を持ち，比較的長期の予測を行なうことがで程度まで、は，かなり高い精度の予測がなされているといきるようになっている.

える.また，埋み込みが保証されるのは，埋め込み次元

このモデルは，基本的には階層構造であり，学習則もD がもとのカ学系の状態空間の次元の 2 倍 +1 以上の場

基本的には BP 則を用いている.このモデルと 2. や 4. で1992 年 7 月号

© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

(25)339ま ('+11+ 1)x{t)
図 73;(1十町)x (t 十 n) x(t 十 η + 1)

x(t+N)。 1511山命日間h 加の習oid

松葉モデルのアーキテクチャ(文献 [9 J)

述べたものとの大きな違いは，学習時に，予測値に対応するニューロンの出力値と実際の値との差の絶対値を入力層の一部に提示するようなフィードパックが付加されている点である.この構成では，予測時には，予測値と実際の値との差は O に近くなっているため(このようになっていなければ学習が不十分であることになる)，

事実上フィードパック結合は消滅するようになっている.

図 8

佐藤モデルのアーキテクチャ(文献 [12J)
MdXt(t)/dt=L:WtmZm(t) (i=l ,"‘ =1…, N) (8)ジグモイドユエット

Zm( 巾fC~1 VmtXt (t) 十九)(m=l ，...， M)( 9)
ここで，各変数は，つまり，学習時には，時系列聞の時間相関を利用し，予Xi (t い i 番目のダイナミックユユットの出力測時には，これを必要としないような巧みなネットワー

Zm(t):m 番目のシグモイドユニットの出力
W im:m 番目のシグモイドユニットから i 番目のク構造が実現されたモデルといえる.
また，このモデルにおいては，ダイナミックユニットへの結合係数

A 1C を用いた中間層ニューロンの最適数の決定法や，対象データのフラクタ

V mi :

ル次元にもとづく入出力ニューロン数の決定法 [9J[IOJ が検討され，さらに，このフラクタル次元から予

8m :m 番目のシグモイドユニットへのパイアス入力

測の確信度の評価 [IIJ も経験論的に行なわれており，f: シグモイド関数

この点では，比較的長期の予測モデルとしては，実用的を表わす.

なものであるといえる.

5.2番目のダイナミッグユニットから m 番目のシグモイドユニットへの結合係数

佐藤らによるモデル日 2J [13J

本節では，佐藤雅昭らによって提案された連続時間力

このモデんを用いて，代表的な連続時間力学系であるロレンツ系の方程式(式 (10ー 12)} の解軌道を教師信Dynamic Units に与学系のストレンジアトラクタを学習するニューラルネッ号として，図 8 に示す Visible

トワーク(本稿では，佐藤モデルと記述する)についてえ，その誤差が小さくなるように学醤を行なうと，アト概説する.

ラクタが再構成できるのみならず，アトラクタ近傍ではこのモデルは，ダイナミックユニット，シグモイドユニットと呼ばれる 2 種類のニューロンから構成され，図S に示すようなリカレント型のネットワークになっている.これらのユユットの動作は，次式 (8-9) で定義される [12J

[13].

ダイナミックユニット

340 (26)

ロレンツ方程式自体をよく近似できたと報告されている[12J[13J.
ロレンツ方程式

dx/dt=10(y‑x)(10)

dy/dt=‑y+(28‑z)x(11)dz/dt= 一 (8/3)z+xy(12)© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

オベレーションズ・リサーチ

抽出 j ，数理科学，

6. おわりに
本稿で、は，時系列予測にニューラノレネットワークを用いると L 、う手法，特に，対象データがカオス的な場合について述べた.このような問題は，

No.338, pp.31‑37 (1991).

[IOJ 増井裕也，蛇島伸吾，松葉育雄: 1992年電子情報BP ユューラルネッ

トワークの研究として重要な汎化能力を実用的な面から考察するための興味深い例題ともなっている.また，カオス的な時系列予測の予測値の評価法は，2.2 で‘述べたような指標では十分とは言えず，埋め込み [6J の諸パ
ラメータの最適化とともに，カオス自体の研究としても通信学会春季大会講演論文集，

D‑59 (1992).

[IIJ 蛇島伸吾，増井裕也，松葉育雄: 1992年電子情報通信学会春季大会講演論文集，

D‑58 (1992).

[12J 佐藤雅昭: r リカレントネットとカオスと情報処
理 j ，数理科学，

No.338 , pp.63‑68 (1991).

[13J M.Sato , Y.Murakamiand K.Joe:Learnｭing Chaotic Dynamics by Recurrent NeuralNetworks , Proceedings of the International
ConferenceonFuzzyLogic& NeuralNetworks ,今後の重要な課題である.
なお，本稿の内容の一部は，東京電機大学総合研究所

pp.601‑604 (1990).

研究 Q89-S64 として行なった研究成果にもとづくものである.

参宏文献[1J 合原一幸編: r カオスーカオス理論の基礎と応用 j ，サイエンス社 (1990).

[2J 合原一幸: r カオス一応用を目指して J ，数理科学，No.348 (1992).
. Hinton and R. J.
[3J D. E. Rumelhart , G. E
Williams:LearningRepresentations by Backｭ
Propagating Errors. Nature 323 , pp.533‑536(1986).
. A. Huberman , D. E.
[4J A. S. Weigend , B
Rumelhart:Predicting The Future:Aconnec.
nternationalJournalofNeuｭ
tionistApproach , I1990).
ralSystems , Vo l. l , No.3 , pp.193‑209 (会合記録[5J 合原一幸，安達雅春:東京電機大学総合研究所年

5 月 18 日(月)

庶務幹事会

6名

[6J F. Takens:Detecting Strange Attractores

5 月 19 日(火)研究普及委員会

9名

in turbulence , inDynamical Systemsand Tur.

5 月 20 日(水)

編集委員会

6名

bulence. Lecture Note in Mathematics , 898 ,5 月 21 日(木)理事会

15 名報，No.11 (1992).

pp.366-381 , Springer (1981).

第 1 回理事会議題F吋，，η444. Mees , K. Aihara and M.
[7J K. Judd , A. 1

Toyoda: “ Grid Imagingf
oraTwo.Dimensional
Map".InternationalJournalofBifurcationand
97(1991).
Chaos. Vo l. l , No.l , 1. Yorke and M. Casdagli[8J T. Sauer , J
IUTAMSymposiumonInterretation ofTimeSeries from Nonlinear Mechanical Systems

3. 平成 4 年度通常総会議事録の件
4. 入退会の件

5. 各支部総会報告の件
6. 平成 4 年度委員会委員・幹事委嘱の件(1991).
[9J 松葉育雄: r パックプロパゲーションによる特徴
1992 年 7 月号

1
. 平成 3 年度評議員会議事録の件
2. 平成 3 年度第 7 回理事会議事録の件

7. 各委員会報告(合，今年度の運営方針)© 日本オペレーションズ・リサーチ学会. 無断複写・複製・転載を禁ず.

(27)341