マスター タイトルの書式設定

強化学習による理論解析手法の開拓~Alpha Zero for Physicsに向けて~

Yoshihiro Michishita(Riken CEMS / Proxima Technology)（コードはhttps://github.com/YoshihiroMichishita/julia/tree/master/AlphaZeroForPhysics で公開中）(part1の内容は、https://github.com/YoshihiroMichishita/julia/blob/master/tutorial_RL.ipynb をどうぞ)1Outline
マスター タイトルの書式設定
l Introduction

Ø 機械学習と物理学
Ø 物理学における理論解析手法
Ø 今回の研究の目標

l Quick Review

Ø 強化学習(RL)Ø Alpha ZeroØ Symbolics Physics Learnerl Results2

マスター
タイトルの書式設定
Recentapplicationof ML to physics

3(＊物性屋目線です) 1/14

Detect the phase transition

Calcu. equilibrium or steady state
RBMでスピン系の計算(Science: 335.602-606(2017))(PRB: 96.205152(2017))
RBMでSSの計算 (PRB: 99.214306(2019))

Ising magnetization

glass transition(Nat. Phys: 13.431(2017))(Nat. Phys: 10.1038(2020))

Materials Infomatics

RNNを用いた基底状態の表現(PRR: 2.023358(2020))

Remove noise or enhance the accuracy
Gaussian Processを仮定して (IEICE: 10.1587(2010))
NV centerに適用 (Sci. Rep.: 12.13942(2022))(Advanced Science: 6.1900808(2019))

マスター理論解析手法とは何か？
タイトルの書式設定

42/14

lScale separation & Reduction
Ø Nonlinear system=>reduction

Ø The Hubbard model (Lattice model)=> Heisenberg modelØ Open quantum system=>

Markov app., GKSL equation

Ø Periodic driving system=>

high-frequency expansion

Ø (Renormalization Group=>

cutoff scale)Ø (DMRG, Tensor network=>

SVD & reduction)

適切な射影orユニタリ変換が必要＊下の二つも人為的なスケール分離(カットオフ)を導入して次元削減を行うので、「scale separation & reduction」に分類される

マスター理論解析手法とは何か？
タイトルの書式設定

53/14l言いたい事
Ø スケールの分離がある場合、変数の消去(redcution)が出来る場合があるØ スケールの分離がある時に、reductionや摂動論を用いたい場合、一般にはそれが出来るframeにユニタリ変換や射影を行う必要がある
なので、物理の(手でできる範囲の)理論解析とは、ここを機械学習(強化学習)にやらせたい

1. (scaleの分離がある場合に)摂動論やreductionが出来る良いframeを見つける
2. (妥当な近似として)摂動論やreductionを実行し有効模型を作る
3. 個々の物性を得られた模型で解析

マスター
タイトルの書式設定
強化学習のすすめ（個人的なお気持ち）l理論からのアプローチとして(良質な)学習データは集めづらいØ

既存の数値シュミレーション手法でデータを集める=>既存の手法の置き換えにしかならないØ

既存の手法でアプローチできない領域で正しさを確認出来ないØ

計算資源勝負みたいなところもあるのでアカデミアで研究するのはしんどい(?)

l強化学習は事前データが要らないØ

どちらかと言えば探索アルゴリズム大事(?)Ø

解析手法の探索はこれしかない(？)

Ø

物理で有用なフレームの探索はターン制のゲームだと思うとAlpha Zero等のコードが流用できる

64/14

マスター タイトルの書式設定
Quick review of RL

75/14

lRL
・環境・エージェントから成る系を考える
・環境の状態を与えられ、エージェントが判断して行動を起こす
・エージェントの行動によって環境が変化(行動によって報酬が与えられる)
エージェント行動: 𝑎! ∈ 𝒜

環境

探索と活用

方策関数: 𝜋 (𝑠! → 𝑎! )行動価値関数: Q (𝑠! , 𝑎! )状態: 𝑠! ∈ 𝒮 ,報酬: 𝑟!

(例えば)∑𝒕 𝒓𝒕 を最大化するように方策をアップデート

マスター タイトルの書式設定
Alpha Zero8
6/14

l概要(ざっくりしたイメージ)
・プレイヤーとコーチ(NN)と環境(ボードゲームのルール・盤面)からなるプレイヤー

盤面の状況
ルール

環境

(P + UCT (MCTS)による探索)

コーチのアドバイスをある程度従い探索

探索の結果をコーチに伝える

アドバイスと行動の評価値を教える
コーチ(CNN+ Dual(Dueling) network)

探索の結果を踏まえてコーチングを修正(学習)マスター タイトルの書式設定
Alpha Zero9
7/14

lプレイヤーについて
Ø UCT(Upper Confidential Bound (applied to Trees))𝑎! = argmax "∈$ [𝑞! 𝑠! , 𝑎 + 𝑐
コーチの行動評価

log ∑" 𝑚! 𝑠! , 𝑎 + 1]
𝑚! 𝑠! , 𝑎 + 1(UCB... リグレット(探索の効率の悪さ)の上限をO(log(t))で与える探索法 )やった事ない行動を時々試してみる

シミュレーションでq値と訪問回数mの更新を繰り返しながら上記の式でシミュレーション行動を選択、一定数回シミュレーションを行った後、最も練習した(シミュレーションした)行動を選択(本番行動)。
ゲームが終了するまで行動を実行。これを繰り返す。
(練習の後に本番。本番の成果と練習内容をコーチに伝える)

Ø P+UCTlog ∑" 𝑚! 𝑠! , 𝑎𝑎! = argmax "∈$ [𝑞! 𝑠! , 𝑎 + 𝑐 𝑝(𝑠! , 𝑎)]𝑚! (𝑠! , 𝑎)
コーチからのオススメ行動(深く探索するために重要)マスター タイトルの書式設定
Alpha Zero

10
8/14

lコーチ(NNの中身, 学習)について
Ø 中身(CNN+ Dual(Dueling) network)(3*3の畳み込み層+Batch正則化+ReLu+ResNet)*19 (ここで状況判断)

1*1の畳み込み層+Batch正則化+ReLu(次の一手の優先度)(コーチのアドバイス)

Batch正則化+ReLu + tanh
(勝率)(コーチからの行動の評価)

Ø 学習
1𝐿 𝑚 = A 𝑟% − 𝑣 𝑚 𝑠%
𝑁&− 𝜋% log 𝑝(𝑚(𝑠% )) + 𝜂 ∑𝑚. 𝑤%

コーチの行動評価の間違い

コーチのアドバイスを聴いてくれたか(有効さ)&

過学習しないためのweight decay(過激なコーチングの禁止)マスター
タイトルの書式設定
Symbolic
Physics Learner

119/14l 物理の方程式を木の形でする=>AlphaZeroと同じ文脈に載せられる与えられたダイナミクスに近い方程式を木で表現してMCTSで探索(論文では二重振り子のダイナミクスの推定)
exp 𝐴 + 𝐵 =exp+AB

Nodeの種類としてfunction, branch, variableの３つで表現

例えば縮約や射影を行いやすいようなフレームに写すユニタリ変換が知りたい時に、肩に乗ってるのはエルミートな演算子なのでFunction…∑', exp, log, ∫ 𝑑𝑥, 𝜕(Branch… +, -, -i[ , ], { , }Variable…𝜓' , 𝜓')(この場合は、多体系でも手の広さは将棋の中盤と割と同じくらい？)マスター
タイトルの書式設定
SymbolicPhysics Learner

1210/14l Symbolic Physics Learnerにおける“ルール”

・SPLの手順∫ 𝑑𝑥 exp 𝐴 − 𝑖[𝐴, 𝐵(𝑥)] =①②③∫ 𝑑𝑥exp+④A⑥
A−𝑖[, ]

・SPLの“ルール”⑤B⑦

1. (Variableの数) ≤ (現存するBranchの数+1) になるようにする(等式成立で方程式が完成)
2. Branchの後に同じBranchを続けてはいけない(方程式(演算)の対称性からくるルール)3. Expの後にlogを連続させない(冗長性を消す)(方程式における“千日手”)
Function…∑', exp, log, ∫ 𝑑𝑥, 𝜕(Branch… +, -, -i[ , ], { , }Variable…𝜓' , 𝜓')マスター
タイトルの書式設定
Quick reviewof Floquet theory & RF

13
11/14

Ø Formalism

𝑑! 𝑡 |𝜓 𝑡 >|𝜓 𝑡 > = 𝐻! 𝑡 = exp[𝑖 𝐾! 𝑡 ]𝑈
𝑑𝑡
𝑑𝑑!" 𝑡 = 𝑈! 𝑡 (𝐻! 𝑡 − 𝑖𝜕# )𝑈!$ 𝑡
0! 𝑡 |𝜓 𝑡 >= 𝐻!" 𝑡 |𝜓0 𝑡 >𝐻𝑖 |𝜓 𝑡 > = 𝑖 𝑈
𝑑𝑡𝑑𝑡! 𝑡 =𝐻! 𝑡 + 𝑇 のとき、𝑈!% 𝑡 = 𝑈!% 𝑡 + 𝑇 , 𝐻!" 𝑡 = 𝐻!% を満たす𝑈% (𝑡)が存在
𝐻! 𝑡 =𝐻%! + 𝑉(𝑡)'𝐻𝑖

さらに高周波領域 𝐻! ≪ Ωの時、𝑈% 𝑡 , 𝐻% を1 /Ω展開する方法がある(van-Vleck, Floquet-Magnus)
𝐻" 𝑡1(')= 𝐻% + 𝑂( ')* , 𝑡)ΩØ Floquet pre-thermalization
Hamiltonianがlocalかつ、𝑡 = 𝑚𝑇の時
(arXiv:1509.03968(2015))||𝒯 exp −𝑖∫ 𝑑𝑠 𝐻 𝑠'− exp −𝑖𝐻% 𝑡 || ≦ exp −𝑂 Ω 𝑡

Demonstration
マスター タイトルの書式設定
lModel14
12/14

𝑉 𝑡 = 𝑉(𝑡 + 𝑇)

Ø Interacting quantum Two-Spin model under driving
V 𝒕 =𝑯
X𝟎 + 𝑽V (𝒕)𝑯
X𝟎 = − A(𝑱𝜶 𝑺X𝜶𝟏 ⊗ 𝑺X𝜶𝟐 + 𝒉𝜶 A 𝑺X𝜶𝟏 )𝑯𝜶𝒊

𝐽V 𝒕 = − A 𝝃𝜶 𝒔𝒊𝒏(𝛀𝐭) A 𝑺X𝜶𝒊𝑽𝜶𝑱⃗ = 𝑱𝒙 , 𝑱𝒚 = 𝟎, 𝑱𝒛 ,𝒊𝒉 = 𝒉𝒙 = 𝟎, 𝒉𝒚 = 𝟎, 𝒉𝒛 , 𝝃 = (𝝃, 𝟎, 𝟎))𝒓 𝒕 − 𝑯, 𝒓 𝒕 − 𝜹𝒕 )^𝟐
Maximize the Reward = −𝒍𝒐𝒈∫ 𝒅𝒕 𝒕𝒓(𝑯Results
マスター タイトルの書式設定

15
13/14
Remarks:l Max̲length=8の時
AlphaZero(ちょこちょこ手を加えてます)ε-greedy法(強化学習の原始的手法)(こっちもちょっと工夫しちゃってます)

Model:! 𝒕 =𝑯%𝟎 + 𝑽! (𝒕)
𝑯%𝟎 = *(𝑱𝜶 𝑺%𝜶𝟏 ⊗ 𝑺%𝜶𝟐 + 𝒉𝜶 * 𝑺%𝜶𝟏 )𝑯𝜶𝒊! 𝒕 = − * 𝝃𝜶 𝒔𝒊𝒏(𝛀𝐭) * 𝑺%𝜶𝒊
𝑽𝜶𝒊

Formalism:!𝒓 𝒕 = 𝑼! 𝒕 (𝑯! 𝒕 − 𝒊𝝏𝒕 )𝑼!( 𝒕𝑯

∫ 𝑑𝑥

+∫ 𝑑𝑥

−𝑖[, ]

𝐻2! 𝒕 = 𝐞𝐱𝐩[𝒊𝑲! 𝒕 ]𝑼𝒅! 𝒕 =! 𝒕𝑲′𝑲
𝒅𝒕

環境が返す報酬:𝑉(𝑡)%𝒓 𝒕 − 𝑯! 𝒓 𝒕 − 𝜹𝒕 )^𝟐−𝒍𝒐𝒈∫ 𝒅𝒕 𝒕𝒓(𝑯高周波展開と等価!
(2)= ∫ 𝑑𝑡 (𝑉 𝑡 − 𝑖 ∫ 𝑑𝑡 [𝐻2 , 𝑉(𝑡)])これを最大化するような木を作る

𝑉(𝑡)Results
マスター タイトルの書式設定

1614/14Remarks:l Max̲length=8の時
AlphaZero(ちょこちょこ手を加えてます)

PPO +Actor-Critic法(Proximal Policy Optimization)

Model:! 𝒕 =𝑯%𝟎 + 𝑽! (𝒕)
𝑯%𝟎 = *(𝑱𝜶 𝑺%𝜶𝟏 ⊗ 𝑺%𝜶𝟐 + 𝒉𝜶 * 𝑺%𝜶𝟏 )𝑯𝜶𝒊! 𝒕 = − * 𝝃𝜶 𝒔𝒊𝒏(𝛀𝐭) * 𝑺%𝜶𝒊
𝑽𝜶𝒊

Formalism:!𝒓 𝒕 = 𝑼! 𝒕 (𝑯! 𝒕 − 𝒊𝝏𝒕 )𝑼!( 𝒕𝑯

∫ 𝑑𝑥
(6)

+(3)

(6)

(4)

∫ 𝑑𝑥

−𝑖[, ]

𝑉(𝑡)

(1)
𝐻2
𝑉(𝑡)

(2)
高周波展開と等価!
(2)= ∫ 𝑑𝑡 (𝑉 𝑡 − 𝑖 ∫ 𝑑𝑡 [𝐻2 , 𝑉(𝑡)])! 𝒕 = 𝐞𝐱𝐩[𝒊𝑲! 𝒕 ]𝑼𝒅! 𝒕 =! 𝒕𝑲′𝑲𝒅𝒕

環境が返す報酬:%𝒓 𝒕 − 𝑯! 𝒓 𝒕 − 𝜹𝒕 )^𝟐−𝒍𝒐𝒈∫ 𝒅𝒕 𝒕𝒓(𝑯
これを最大化するような木を作るRemarks & Outlook
マスター タイトルの書式設定
lまとめØ 方程式を木の形で表現する事で「ある性質を満たす方程式の探索」の問題を「ゲームの最善戦略の探索」の問題にマッピングできる。
(ので、強化学習で“解ける”)
Ø Alpha Zeroのアルゴリズムを用いて、「高周波展開」を導出する事ができた。(もちろん他の理論解析手法の導出に対しても使えるはず)

17Remarks & Outlook
マスター タイトルの書式設定
lOutlookØ いろんな(もう少し難しい)問題に適用してみる

・“環境”部分を変えるだけなので問題を思いつけばすぐ試せるはず
・格子系や力学系への適用・転移学習が出来るか？

Ø 「関数ノード」の種類をどう設定するか？

・問題によってはこれが本質的になるので考えないといけない・「物理の問題でよく出てくる関数セット」みたいなのを考える必要あり

18