修士論文 要旨

非線形時系列予測のためのロバストな Echo State Network の設計
数理情報学専攻 48186201
指導教員

秋山 貴則
田中 剛平 特任准教授

法である [2] が，出力層のスケーリング，リザバーの隣

1 はじめに接行列 A のスペクトル半径 ρ などのハイパーパラメー

非線形ダイナミクスは，天候・経済・音声データなどに現れ，その予測は我々の実生活に広く貢献する技術である．近年，予測手法として高速学習可能な Reservoir

Computing (RC) が広く注目を浴びている．特に RCの代表的なモデルである Echo State Network (ESN)

タに強く性能が依存する，という課題がある．

3 多段階学習 Echo State Network
3.1

機構

提案法の機構を図 2 に示す． 多段階学習 ESN は，入Reservoir 1 ଵ ሺሻは，非線形時系列予測に有効であるが，ハイパーパラメータに性能が強く依存するという問題点を持つ．
本論文では，ハイパーパラメータの変化にロバストな࢛ሺ‫ݐ‬ሻ࢟ሺ‫ݐ‬ሻ

Input 1Readout 1ሺଵሻࢃ௜௡ሺଵሻ
ࢃ௢௨௧

ESN として，多段階学習 ESN と，敵対的学習を用いた

1stTraining࡭ଵ

ESN の 2 つを提案する．本研究では，これら 2 つの提案手法に関して，非線形時系列予測のベンチマークタス

Reservoir 2 ଶ ሺሻෞሺ‫ݐ‬ሻ࢟ଵ࢛ሺ‫ݐ‬ሻ

クを用いた実験的解析を通じて，ロバストな ESN の構ሺଶሻሺଶሻ

ࢃ௜௡

2 Echo State Networkɾɾ
ɾ

Reservoir Computing (RC) は，Recurrent NeuralNetwork (RNN) の一種であり，高速学習可能な計算モデルである．図 1 に RNN と RC の比較図を示す．RCෞሺ‫ݐ‬ሻ࢟ଵ࢘ଶ ሺ‫ݐ‬ሻෞሺ‫ݐ‬ሻଶ
Readout 2 ࢟

Input 2築に有用である事を確認した．

ࢃ௢௨௧2ndTraining࡭ଶɾɾɾReservoir  ே ሺሻは，入力層とリザバーと呼ばれる隠れ層の結合重みを固Input 

定し，出力層のみを更新するため，時間方向に遡って勾ࢃ௜௡ɾɾɾሺேሻࢃ௢௨௧

配を伝播させる必要がなく，計算コストが小さい． 特ෝሺ‫ݐ‬ሻ࢛࢟ሺ‫ݐ‬ሻ
InputOutputFixed࡭ே

Learning ࢟ሺሻ࢟ሺሻ

InputthTraining

図 2. N 段階学習 ESN の機構．

ෝሺ‫ݐ‬ሻ
࢛࢟ሺ‫ݐ‬ሻɾɾɾෝሺ‫ݐ‬ሻ
Readout  ࢟ሺேሻLearningෞሺ‫ݐ‬ሻ࢟ଵ

力層，リザバー，出力層を有する予測器 N 個から構成

Output

され，N 個の出力層が段階的に学習される．各予測器
図 1. RNN と RC の比較．の出力が次の予測器の入力層と出力層の両方に入力さに，Echo State Network (ESN) [1] は，RC の代表的なれるのが特徴である．まず，各予測器の入力層重み，リモデルであり，入力層とリザバーの重みをランダムに決ザバーの隣接行列をランダムに決定する．次に，各予測定する．ESN において，入力 u(t) から出力 y(t) の予器の出力層を段階的に学習する．各予測器の学習は，通測を考える．u(t) は入力層により，高次元空間に写像

常の ESN と同様に解析的に計算できる．最終的に，Nされ，リザバーの状態ベクトルは以下の式で発展する：

個目の予測器の出力を，全体の予測信号として利用すr(t + ∆t) = tanh [Ar(t) + W in u(t)]．

る．本提案手法は，予測誤差が予測器を経る毎に減少す(1)

出力層は，関数 fout と重み W out を用いて，ŷ(t) =るモデルになっている．

3.2

実験的評価

fout (r(t), W out ) として予測値を出力する．通常，線形Lorenz 方程式と，NARMA10 の予測を通じて提案変換が用いられる事が多い．これらから，最小二乗誤差法の有効性を評価する．合計リザバーサイズが同一と規範及び，リッジ回帰によって解析的に最適な出力層重いう条件の下で，2 段階学習 ESN と，通常の ESN のみ Ŵ out を得る．ESN は非線形時系列予測に有効な手予測精度を比較した．評価指標は，Lorenz 方程式では

非線形時系列予測のためのロバストな Echo State Network の設計 (秋山 貴則)

入力データが実データか ESN が生成したデータである8かを判別する．全体の損失関数は従来の二乗誤差と敵対的誤差の重み付き和として定義され，ESN の出力層4と Discriminator の重みが交互に最適化される．詳細

Valid Time

6なアルゴリズムは Algorithm1 を参考にされたい．

2ESN
Multi-step ESN

0100

200300400 500
Dr600700800

図 3. Lorenz 方程式の予測精度の比較．

Valid Time [4]，NARMA10 では RMSE を用いる．図
3 に Lorenz 方程式の結果を示す．結果から，提案法は通常の ESN を上回る精度で予測が可能である事が分かる． また，本研究では，ESN と多段階学習 ESN のリアプノフ指数を計算し，提案法がスペクトル半径の変化に対してロバストに力学系への適応性能を発揮する事が示された（図 4）．
1st Lyapnov exponent
1.24.2

実験的評価

1.00.080

0.8

0.075

2nd Lyapnov exponent

0.05

0.070

0.00

RMSE

−0.05

3rd Lyapnov exponent−10−200.6

0.8

1.0Spectrum radius

1.21.4図 4. Lorenz 方程式の予測におけるリアプノフ指数の比較．

0.062
0.061
0.060
0.059
0.058

0.00.2

0.4

0.6
0.8
1.0wD
図 6. 敵対的誤差の重み ωD と NARMA10 の予測精度の関係．

本研究では，リザバーの隣接行列のスペクトル半径が4 敵対的誤差を用いた Echo State Network適切でない（ρ = 0.4）場合に，NARMA10 の予測精度が改善されるかを実験した．図 6 の結果から，敵対的4.1 機構誤差の導入により予測精度が改善される事が分かる．

Reservoir ሺሻReal dataෝሺ‫ݐ‬ሻ࢛࢟ሺ‫ݐ‬ሻࢃ௢௨௧ࢃ௜௡

or5 結論࢟ሺሻSample  ǡ ǥ ǡ   ൅ ሺ െ ͳ ሻ

ESN を提案し，ロバストな ESN の構築に有用である事

࡭Sample  ǡǥǡ  ൅  െ ͳ 

本研究では，多段階学習 ESN と敵対的学習を用いた

Concat&Flatten

0 or 1
Labelを実験的に示した．実データへの応用が今後の展望として考えられる．

Discriminator ሺ·ሻ

図 5. 敵対的学習を用いた ESN の概要図．

提案法の機構を図 5 に示す．本提案手法は，Genera-tive Adversarial Network (GAN) [3] の枠組みを ESNに適用したモデルであり，幅広い RC モデルに応用可能である．ESN の出力は，時間遅れ座標系に変換された後，Discriminator に入力される．Discriminator は，

参考文献[1] H. Jaeger, GMD Report 148, 2001.
[2] H. Jaeger and H. Haas, Science, Vol.304, No. 5667,pp. 78–80, 2004.
[3] I. Goodfellow et al., Advances in Neural Information
Processing Systems 27, pp. 2672–2680, 2014.
[4] J. Pathak et al., Chaos: An Interdisciplinary Journalof Nonlinear Science, Vol. 28, No. 041101, 2018.