jh220007

偏った訓練データに基づく力学系の機械学習モデリング齊木 吉隆 （一橋大学 大学院経営管理研究科）

概要
近年、機械学習の一種で、リカーレントニューラルネットワークをもったリザーバーコンピューティングが決定論的構造を背後にもつ時系列予測などに有効であることが報告されている。我々はこの機械学習手法を用いて比較的平穏な流体のエネルギー変数のモデルを構成し、予想を成功させている (Nakai and Saiki, Physical Review E, 2018)。時間発展モデリングにおける機械学習の適切な活用のために、どのようなクラスの決定論的ダイナミクスが機械学習を用いてどのような観点、どのような精度でモデル化しうるかといったことを明らかにすることが期待されている。本研究では、力学系の基本的な構造である周期軌道を学習することを通して時系列モデリングに必要な学習データを力学系理論の観点から明らかにした。

1 共同研究に関する情報• その他の共同研究者 小林幹 (立正大学 経済学部): 背後にある数学的構造の解明

共同研究を実施した拠点名• その他の共同研究者 武藤誠 (日本大学 経• 東京大学 情報基盤センター済学部 経済学科): トレーニングデータの• 名古屋大学 情報基盤センター

作成

1.1

1.2

課題分野

• 大規模計算科学課題分野
1.3

共同研究分野 (HPCI 資源利用課題のみ)• 超大規模数値計算系応用分野
1.4

参加研究者の役割分担

本共同研究は 4 人体制でおこなわれている。

• 研究代表者 齊木吉隆: 背後にある数学的構造の解明、リザーバーコンピューティングによる数理モデル構築• 副代表者 中井拳吾 (東京海洋大学 学術研究院

流通情報工学部門): トレーニング

データの作成、リザーバーコンピューティ
ングによる数理モデル構築

研究の各側面でスーパーコンピュータが活用されている。

2 研究の目的と意義
機械学習の利用は分類、画像認識等の静的なものに留まらず、決定論的なダイナミクスに関する時間発展モデリングなど動的な対象へも広がりつつある。研究代表者らは、流体乱流の時系列予測を可能とする機械学習を活用した時間発展モデリングに 2018 年に世界ではじめて成功した。また訓練データがもつ力学系的な情報を機械学習で得た時間発展モデルが保持するかといった観点の研究も行ってきた。
実際のデータの学習において、豪雨や干ばつといった平年から外れた発生頻度の低い状態を活用することによって研究目標の達成が実現で平年のデータのみを学習した機械学習モデルかきた。

ら予測するようなレアイベントをとらえるモデリングが可能か明らかにすることは興味深い問題である。力学系理論の観点からこのレアイベントの学習可能性を解明するため、本研究では特定の状態のデータを学習データから作為的に除外した場合に、その特定の状態をモデルが再

4 前年度までに得られた研究成果の概要新規課題のため該当しない。

5 今年度の研究成果の詳細現可能かどうかを明らかにする。特に、力学系

本計算資源を利用した研究では、既知の力学理論の分野で長年研究をしてきた研究代表者ら系 A が生み出す周期軌道の時系列データのみが、時間発展モデルの力学系的性質に注目してを学習し得られた機械学習時間発展モデル B学習可能性を明らかにする。本研究は、力学系を構築し、もとの力学系 A と機械学習モデル

理論、数理モデリング、機械学習、大規模計算

B を力学系構造の観点から対比する。当初の目にまたがる真の学際的・融合的研究であると言標であった次の２つの研究が完了し論文としてえる。

まとめている。

3 当拠点公募型研究として実施した意義
リザーバーコンピューティングに基づく物理ダイナミクスの予測に関しては、アメリカのメ• 研究項目 1. 周期軌道による機械学習によるモデリング• 研究項目 2. 作為的に選んだ周期軌道による機械学習によるモデリングリーランド大学のグループがこれまでリードしまずはじめに本研究の要である機械学習モデてきたが、リザーバーコンピューティングを用リングの学習手法であるリザーバーコンピュー

いた流体乱流の数理モデリングならびにそれをティングについて言及した後、研究項目 1、2用いた予測に、我々、研究代表者と副代表者のの結果について述べる。

グループがはじめて成功した。拠点公募型共同

リザーバーコンピューティング. 力学系研究として数学・経済学・大規模計算の学際的なチームを編成して多くのスーパーコンピューdϕ= f (ϕ)
dt

タ資源を用いた研究を推進することによって、に関し、変数 u = h1 (ϕ) ∈ RM と s = h2 (ϕ) ∈リザーバーコンピューティングモデルの力学系RP について考える。ただし、時系列データ u解析においても我が国が世界をリードすることは s の時系列を予測する時刻にデータはないとが期待される。

する。リザーバーベクトル r ∈ RN (N ≫ M )本研究課題では時系列データの機械学習によは次の式で支配されている。

るモデリングを行った。時系列データの力学系構造を精度良く学習するためには、大量の時系列データを取得し大規模な計算資源を使うことr(t+∆t) = (1−α)r(t)+α tanh(Ar(t)+Win u(t)),(1)が必要不可欠である。

ただし、∆t は時間幅を表す。また、行列 A,このためには、JHPCN の枠組みを最大限に

Win は N × N , N × M 行列である。パラメー

タ α (0 < α ≤ 1) は r の力学系の非線形性を∗として時系列 ŝ を得る。Woutは次のように書表し、式 (1) の ∆t に依存して決める。リザーくことができることが知られている:

バーベクトルの初期値はその各成分を (0, 1] の∗Wout= δSδRT (δRδRT + βI)−1 ,一様乱数から定めた r(−τ ) とする。ただし、τ /∆t (≫ 1) はトランジェント時間のステップ

ただし、数に相当する。

r=

行列 Win の各列はただ一つのみに [−σ, σ]L∑r(l∆t)/L, s =l=1の一様乱数から値を与え、それ以外は 0 とする。行列 A は D × N 個の非零成分を持つ疎(4)L∑s(l∆t)/Ll=1とし、I は N × N の単位行列、δR, δS はそ行列とする。D × N 個の非零成分は [−1, 1] のれぞれ l 行が r(l∆t) − r, s(l∆t) − s となるよ一様乱数から値を与える。さらに、 行列 A にうな行列とする。
また、予測時間 t > T での時系列データ uは利用できないため、 u(t) として 式 (1) で得た ŝ(t) を用いる:

ついては最大固有値が ρ になるように行列のすべての要素を調整する。
リザーバーベクトル r はr(t+∆t) = (1−α)r(t)+α tanh(Ar(t)+Win ŝ(t)).

ŝ(t) = Wout r(t)学習に用いる変数 X(t) のそれぞれの成分により、得たいベクトルに変換する。これによを対等に扱うために正規化した X̃(t) を用い

り L = T /∆t ステップのリザーバーベクトルる: X̃(t) = [X(t) − X1 ]/X2 . ただし、X1 は平{r(l∆t)}Ll=1 を得る。

均値、X2 は標準偏差を表す。予測時間の時系0 < t ≤ T (学習時間と呼ぶ) での 時系列 ŝ

列データ X(t) を X̃(t) から再現するときは、が既知の時系列 s の近似になるように Wout

学習時間の正規化に用いた X1 と X2 を用いを決定する。この決定がリザーバーコンピューる。この正規化より σ の調整を避けることがティングの学習に相当する。これは次の二次形できる。

式が最小値をとるように Wout を決定することに計算資源の大半を利用している。特に (4) がに対応する。
L∑

このリザーバーコンピューティングの計算メインの計算であり、当然計算上は逆行列は避けつつ、この行列-行列積を効率よく計算して∥Wout r(l∆t) − s(l∆t)∥2いる。

l=1T+ β[T r(Wout Wout)],(2)

ただし q に対して ∥q∥2 = qT q とし、β(≥ 0)を含む項は Wout の過剰適合を避けるために導入している。この決定が妥当であれば、

t > T (予測時間と呼ぶ) での ŝ(t) は s(t) を再現できるはずである。二次形式 (2) を最小化す∗
る解を Woutとすると予測時間では∗ŝ(t) = Woutr(t),5.1

研究項目 1：周期軌道による機械学習によるモデリング

カオスを示すローレンツ方程式には可算無限個の周期軌道が存在することが知られている。
本研究では、まず、周期の短い周期軌道を網羅的に検出し、周期の短いものから 240 個分の時系列を学習して機械学習モデルを構成した。

z = 27 というポアンカレ断面で定義されるポ(3)アンカレ写像で周期 10 までのものを用いている。図１は周期の短いいくつかの周期軌道とその時系列をあらわしている。図 1 は周期軌道を周期の短いものから番号づけして、縦軸に周reservoir
actual期、横軸に番号をあらわしている。周期軌道の個数はポアンカレ写像周期が大きくなるに連れて指数的に増えることが知られている。得られた機械学習モデルを用いて時系列予測 (図 2)や長時間発展させた様子の比較 (図 3) を行っ

45301503015-30 -1500た。これは機械学習モデルによってカオスアト15-1530 -30(a)ラクタが再現されていることを意味している。

2010reservoir
actualperiodic time

981076054-10321-20000100200300400500

図1

ローレンツ方程式の周期軌道の周期と個数. ローレンツ方程式の周期軌道を周期の短いものから番号づけして、縦軸に周期、横軸に番号をあらわしている。

246810(b)図 2 機械学習モデルによる短時間の時系列
予測. ローレンツ方程式の周期の短い周期軌
道を短い方から 240 個分学習した機械学習モ
デルにより予測した短時間 (T = 8) 軌道 (赤色) とローレンツ方程式を直接数値計算して得られた時系列 (青色) を図 (a) に書き出し

次に周期軌道を周期の短いものから 12 個分のみの周期軌道時系列を学習して機械学習モデた。また、x 変数に注目しその時系列も書き出した (図 (b))。

ルを構成した。用いた周期軌道のうち短いものから 6 個の周期軌道を図 4 に描いた。これはポアンカレ写像の周期 6 までのものを用いている。この学習に用いた 12 個の周期軌道だけでは変数の出現頻度分布はローレンツ方程式のアトラクタを再現できないと予想された。しかツ方程式のアトラクタを再現することが明らかし、この学習によって得られた機械学習モデルになった。学習する周期軌道の量を更に減らしを用いた時系列予測の様子 (図 5) や長時間発た場合には、機械学習モデルのアトラクタが元展させて得られた x 変数の出現頻度分布の計のアトラクタを再現する度合いは次第に小さく算結果 (図 6) から、機械学習モデルもローレンなっていく。

40actual60z 20z0402002060
4530
150-20-10x

0

10-10

100 y-20-10x

20 -2001020 -30-20

0-10 y(a)1020(b)30-30 -15

150015-15
30 -30

60(a)

z

60

40

z

20
040
200-20100-10x

010

20 -30-20

20-20-10 y-10x010-10-20
20 -30100 y(c)2030(d)reservoir
60
45
30
15060
z

60

40

z

20030
-30 -15x01020 -20-10

100 y

20

30-20-10x0

10-10-20
20 -30100 y(e)

-15

20

30(f)

30 -30(b)図3-101515200-200040

機械学習モデルによる長時間発展の様

子. ローレンツ方程式の周期の短い周期軌道

図4

ローレンツ方程式の周期軌道の周期.

ローレンツ方程式の周期の短い周期軌道を短い方から 6 つのみ書き出した。

を短い方から 240 個分学習した機械学習モ
デルにより得られた長時間軌道を図 (a) に、ローレンツ方程式を直接数値計算して得られた軌道を図 (b) に書き出した。

6 今年度の進捗状況と今後の展望
実施計画において次の２つの項目

5.2

研究項目 2：作為的に選んだ周期軌道による機械学習によるモデリング

作為的に周期軌道を選択し、それを学習し得られた時間発展機械学習モデルの特性を明らか

1. 周期軌道による機械学習によるモデリング
2. 作為的に選んだ周期軌道による機械学習によるモデリングにする。ローレンツ方程式は 2 つの羽を行きを予定していた。いずれも研究が完了し論文と来することが知られており、また周期軌道は右してまとめている。

羽を多く回るものや左羽を多く回るものがある

今後、力学系構造の再現性、特に実際の現象が、例えば右羽を多く回るものばかりを学習しに多く見られると考えられてる非双曲的な力て機械学習時間発展モデルを構成した場合に学学系構造の再現性の解明に関する研究を計画し習が失敗することを明らかにした。ている。その予備的研究としてその種の非双曲0.45
reservoir output
actualreservoir output
actual0.4
0.350.3
PDF

504030z201000.250.2
0.15

30-20-10x0-15

100.1

15
0 y0.05

20 -300-20(a)-100x1020

図 6 機械学習モデルによる長時間発展の様
子. ローレンツ方程式の周期の短い周期軌道を短い方から 12 個分学習した機械学習モデ

20reservoir output
actual15ルにより得られた x 変数の出現頻度分布を(赤色) とローレンツ方程式を直接数値計算して得られた x 変数の出現頻度分布 (青色) を10x5書き出した。

0-5-10

only a scalar time-series about contin--15

uous time chaotic dynamics, Chaos 32,-200

図512345t678910(b)091101 (2022).

機械学習モデルによる短時間の時系列

予測. ローレンツ方程式の周期の短い周期軌

国際会議プロシーディングス

道を短い方から 12 個分学習した機械学習モ

国際会議発表デルにより予測した短時間 (T = 10) 軌道 (赤色) とローレンツ方程式を直接数値計算して得られた時系列 (青色) を図 (a) に書き出し（査読あり）（査読なし）

1. K. Nakai, Dynamics days europe 2022,“Evaluation of a data-driven model us-た。また、x 変数に注目しその時系列も書き

ing reservoir computing from dynamical

出した (図 (b))。

system point of view” The University ofAberdeen, (United Kingdom), 2022 年 8月.

構造をもつ力学系を研究して論文 (Kobayashi,

2. K. Nakai, Hirosaki University Workshop

Nakai, Saiki and Tsutsumi, Physical Review

on Nonlinear Science 2022, “DynamicalE, 2018) を執筆した。

system analysis of a data-driven model

7 研究業績一覧（発表予定も含む）
学術論文 （査読あり）

constructed by reservoir computing” Hirosaki University, 2022 年 11 月.
3. K. Nakai, International Workshop ona. N. Tsutsumi and K. Nakai and Y. Saiki,

Ergodic Theory, Dynamical Systems,

Constructing diﬀerential equations usingand Climate Sciences, “Constructing

a data-driven model of intraseasonal2022」, “いくつかの低次元次元力学系ト

weather time-series using machine learn-イモデルについて” グリーンヒルホテル尾ing” Hokkaido University, 2023 年 3 月.

道, 2022 年 12 月.

4. Y. Saiki, International Workshop on Er-

7. 中井拳吾, 応用数学合同研究集会, “機械学godic Theory, Dynamical Systems, and習による気象現象のデータ駆動型時間発展

Climate Sciences, “On some small mod-モデルの構築” 龍谷大学, 2022 年 12 月.

els to understand high dimensional dy-

8. 中井拳吾, 現象と数理, “機械学習による気namics” Hokkaido University, 2023 年 3

象現象のデータ駆動型時間発展モデルの構月.

築” 明治大学, 2023 年 2 月.

5. M.U. Kobayashi, International Workshop on Ergodic Theory, Dynamical Systems, and Climate Sciences, “Reconstruction of nonhyperbolic properties inchaotic dynamical systems by a datadriven model using reservoir computing”
Hokkaido University, 2023 年 3 月.
国内会議発表（査読なし）

1. 齊 木 吉 隆, 京 都 力 学 系 セ ミ ナ ー, “Heterochaos baker map and twisted bakermap” 京都大学, 2022 年 6 月.
2. 齊木吉隆, RIMS 研究集会 「力学系の理論と諸分野への応用」, “カオス的時系列データに基づく微分方程式推定” 京都大学, 2022 年 6 月.

3. 中井拳吾, 日本応用数理学会 2022 年度年会, “機械学習時間発展モデルの力学系解析” 北海道大学 (ハイブリット), 2022 年 9月.

4. 齊木吉隆, RIMS 研究集会「ランダム力学系・非自励力学系研究の展望：理論と応用」, “Simple examples of heterochaoticdynamics” 京都大学, 2022 年 9 月.
5. 中井拳吾, 複雑系知能セミナー, “機械学習による気象現象のデータ駆動型モデルの構築” はこだて未来大学, 2022 年 11 月.

6. 齊木吉隆, 研究集会「現象と数理モデル公開したライブラリ等
その他（特許，プレス発表，著書等）