深層学習と物理学
橋本幸士 （阪大理）富谷昭夫さん（理研BNL）

永井佑紀さん（原子力機構）

田中章詞さん（理研iTHEMS）

3

4

6

7

8

9

10

11

12

13

14

物理学から見る深層学習
1. ニューラルネットワーク
2. 深層学習3. 逆問題と物理学の革新

深層学習による物理学
4. 物性物理学と深層学習
5. 量子重力理論
6. AdS/CFT対応と深層学習

1. ニューラルネットワーク
多くの種類が発明されてきた

http://www.asimovinstitute.org/neural-network-zoo/

16

17

1. ニューラルネットワーク
機械学習 ＝ 関数近似f
入力： (v1 ,v2 , v3, …) ! 出力： f (v1 , v2 , v3 ,…)<latexit sha1_base64="w97oUmYU+2jmpuE86fFEsxS0uG0=">AAACZHichVHLSsNAFD2Nr1qrrRZBEKRYKq7K1AeKq6Ibl33YB9RSkjitoWkSkrRQiz+gW8WFKwUR8TPc+AMu+gOCuKzgxoW3aUC0qHeYmTNn7rlzZkYyVMWyGet4hKHhkdEx77hvwj85FQhOz+QsvWHKPCvrqm4WJNHiqqLxrK3YKi8YJhfrksrzUm2nt59vctNSdG3Pbhm8VBermlJRZNEmKlUpByMsxpwID4K4CyJwI6kHb7GPA+iQ0UAdHBpswipEWNSKiIPBIK6ENnEmIcXZ5ziGj7QNyuKUIRJbo7FKq6LLarTu1bQctUynqNRNUoYRZU/sjnXZI7tnL+zj11ptp0bPS4tmqa/lRjlwMpd5/1dVp9nG4ZfqT882Kth0vCrk3XCY3i3kvr55dNHNbKWj7SV2zV7J/xXrsAe6gdZ8k29SPH0JH31A/OdzD4LcSiy+GltPrUUS2+5XeDGPRSzTe28ggV0kkaVzOU5xhnPPs+AXQsJsP1XwuJoQvoWw8AnUkInt</latexit><latexit sha1_base64="9FeMx4OJVeD/w8UjL/PXwgxtQ3k=">AAACbnichVHLSsNAFD2N7/poVRBBRLFUXJWpDxRXRTcuq7UqVClJHOvQNAmTaUWLP+BeXAiKgoj4GW78ARf9BHEjKLhx4W0aEBX1hsmcOXPPnTN3DNcSnmKsFtKamlta29o7wp1d3T2RaG/fmueUpcmzpmM5csPQPW4Jm2eVUBbfcCXXS4bF143iYn1/vcKlJxx7Ve27fKukF2yxI0xdEZXblKKwq3Qpnb18NMYSzI/RnyAZgBiCSDvRa2xiGw5MlFEChw1F2IIOj74ckmBwidtClThJSPj7HIcIk7ZMWZwydGKL9C/QKhewNq3rNT1fbdIpFg1JylHE2QO7YS/snt2yR/b+a62qX6PuZZ9mo6Hlbj5yNJh5+1dVollh91P1p2eFHcz5XgV5d32mfguzoa8cnLxk5lfi1XF2yZ7I/wWrsTu6gV15Na+W+copwvQAye/t/gnWJhPJqcTM8nQstRA8RTuGMIYJ6vcsUlhCGlm/Y8c4w3noWRvQhrWRRqoWCjT9+BLaxAff1I6Q</latexit>

ニューラルネットワーク ＝ 関数のアンザッツ

パーセプトロン 模型[Rosenblatt 1958][Rumelhart, McClelland 1986]

ボルツマンマシン[Ackley, Hinton, Sejnowski 1985]- 万能近似定理:
多層・多ユニットのニューラルネットワークはあらゆる関数を近似できる [Cybenko 1989] [Roux, Bengio 2008]18

1. ニューラルネットワーク
パーセプトロンは分類を学習“ユニット” (丸印) : ベクトル成分値“重み” (線) : 線形変換、のちに最適化
f = Wi(2)φ (Wij(1) xj)“活性化関数” (線の端) :非線形な成分ごとの作用、固定
1
φ(x) ≡
1 + e −x

学習の方法
1) {入力値, 出力値} セット（学習データ）を大量に用意
2) W を変更していくことで、誤差関数 E ≡ ∑ f − Wi(2)φ (Wij(1)xj) を小さくする 19
data1. ニューラルネットワーク
ボルツマンマシンは確率分布を学習“ユニット” (丸印) : スピン値
“可視ユニット” (黄色): 入力“隠れユニット” (緑色): 積分“重み” (線) : スピンスピン結合（のちに最適化）

学習の方法
1) 入力＋出力 {(vi, Pex(vi))} のセットを大量に用意
2) W を変更していくことで、誤差関数
E ≡ DKL (Pex(vi) | | P(vi)) を小さくする
20物理学から見る深層学習
1. ニューラルネットワーク
2. 深層学習3. 逆問題と物理学の革新

深層学習による物理学
4. 物性物理学と深層学習
5. 量子重力理論
6. AdS/CFT対応と深層学習

2. 深層学習
深層ニューラルネットワーク
パーセプトロン を何層にも重ねる(n−1)(n)
yin = fn(ai(n)x+b)
iiin n−1n−1n(n−2)(n−1)
xi(n−1) = fn−1(ai(n−1)
x+b))
iii
n−1n−1 n−2n−2n−1xi(1) = f1(ai11i0 xi0 + bi11)
1

パラメータ :a (1), a (k), ⋯, a (n) 「重み」
定数b (1), b (k), ⋯, b (n)関数 f1(x), f2(x), ⋯, fn(x) 「活性化関数」
22

2. 深層学習
深層学習 ＝ 多層ニューラルネットワークでの学習
a (1)

f1

a (2)

f2

fny

最終層

xa (2) x 1

初期層＼ (1)x2

1f(ax)=x1a x

第一層

かくれ層

23

2. 深層学習
活性化関数は非線形性を与える
学習の効率化NNの性質… など目的に応じて選ぶ
1） sigmoid関数
1f(x) = −x
e +1

ニューロンの発火をまねて考えられた値

f10xx < 0 で発火しない
x = 0 が発火のしきい値
x > 0 で発火

24

2. 深層学習
多用される標準的な活性化関数2） ReLu (Rectified Linear unit)
x (x ≥ 0)
f(x) ={0 (x < 0)

f(x)

0x

多層化による勾配消失の問題を回避できる∂E′ ′′=fff（ ∂a (1)n n−1 n−2⋯ とかけあわされる問題）

25

物理学から見る深層学習
1. ニューラルネットワーク
2. 深層学習3. 逆問題と物理学の革新

深層学習による物理学
4. 物性物理学と深層学習
5. 量子重力理論
6. AdS/CFT対応と深層学習

3. 逆問題と物理学の革新
物理学の「問題」には種類がある関数 y = f(x) についての問題とは？
xy知知知未知未知 知

未知知知f<latexit sha1_base64="w97oUmYU+2jmpuE86fFEsxS0uG0=">AAACZHichVHLSsNAFD2Nr1qrrRZBEKRYKq7K1AeKq6Ibl33YB9RSkjitoWkSkrRQiz+gW8WFKwUR8TPc+AMu+gOCuKzgxoW3aUC0qHeYmTNn7rlzZkYyVMWyGet4hKHhkdEx77hvwj85FQhOz+QsvWHKPCvrqm4WJNHiqqLxrK3YKi8YJhfrksrzUm2nt59vctNSdG3Pbhm8VBermlJRZNEmKlUpByMsxpwID4K4CyJwI6kHb7GPA+iQ0UAdHBpswipEWNSKiIPBIK6ENnEmIcXZ5ziGj7QNyuKUIRJbo7FKq6LLarTu1bQctUynqNRNUoYRZU/sjnXZI7tnL+zj11ptp0bPS4tmqa/lRjlwMpd5/1dVp9nG4ZfqT882Kth0vCrk3XCY3i3kvr55dNHNbKWj7SV2zV7J/xXrsAe6gdZ8k29SPH0JH31A/OdzD4LcSiy+GltPrUUS2+5XeDGPRSzTe28ggV0kkaVzOU5xhnPPs+AXQsJsP1XwuJoQvoWw8AnUkInt</latexit>

順問題
逆問題(1) 初期値問題
逆問題(2) システム決定問題

逆問題の一般的性質

・ 直接測れない・ 結果から原因を知る
・ 物理定数を決定する
・ 物理法則の同定逆問題(1)
逆問題(2)
29

3. 逆問題と物理学の革新深層学習はシステム決定問題を解く
逆問題 (2) システム決定問題 とは：
データ {(x1, y1), (x2, y2), ⋯} を元に、関数 f(x) を決定する問題
y0

深層学習は「f 」を求める

x33

3. 逆問題と物理学の革新
逆問題を解くことは物理学の革新を導く
ティコ・ブラーエ (1546-1601)
詳細な惑星観測を行なった
ヨハネス・ケプラー (1571-1630)
ティコ・ブラーエの観測データから「ケプラーの第一法則」を発見（惑星の運動は太陽を焦点とした楕円軌道である）
35

3. 逆問題と物理学の革新
科学の流れと機械学習
科学の流れ
関数形

モデル
実験

データ

[フィッティング]

具体的関数

予言

機械学習の位置づけ？
教師付き学習： 関数形の制限がないフィッティング
教師なし学習： データの自動分類
強化学習： 解けなかったモデルを解くトライアル 36

物理学から見る深層学習
1. ニューラルネットワーク
2. 深層学習3. 逆問題と物理学の革新

深層学習による物理学
4. 物性物理学と深層学習
5. 量子重力理論
6. AdS/CFT対応と深層学習https://subarutelescope.org/Pressrelease/2019/05/29/j_index.html

38

田中章詞さん（理研iTHEMS）

富谷昭夫さん（理研BNL）

「機械学習と物理」のトピック
量子多体系の基底状態の波動関数[Carleo Troyer Science355 (2017)602]

NNの時空解釈と物理系への応用[Tanaka Tomiya Sugishita KH Phys.Rev.D98(2018)046019]

自己学習モンテカルロ、有効理論構築[Liu Qi Meng Fu Phys.Rev.B95(2017)]

分子動力学法[Behler J.Chem.Phys.145(2016)170901]

相図の予想、相転移の検出 [Ohtsuki Ohtsuki JPSJ85 (2016)123706][Tanaka Tomiya JPSJ86(2017)963001]

物理量の関係間の写像[Fujimoto Fukushima Murase Phys. Rev.D98(2018)]

解の探索と分類[He Phys.Lett.B774(2017)564][Carifio Halverson Krioukov Nelson JHEP09(2017)157]

4. 物性物理学と深層学習
基底状態のためのアンザッツ
N個のスピンの波動関数： ψ(s1, s2, ⋯, sN )与えられたハミルトニアンでエネルギーを最小に？
E=∑{s1,s2,⋯,sN}ψ †(s1, s2, ⋯, sN ) Ĥ ψ(s1, s2, ⋯, sN )- 行列積状態
ψ(s1, s2, ⋯) = tr[A (s1) A (s2)⋯]- テンソルネット状態
ψ(s1, s2, ⋯) =∑m,nBmn Ams1s2 Ans3s4

4. 物性物理学と深層学習
ニューラルネットワーク状態- ボルツマンマシン状態[Carleo Troyer `17],[Nomura, Darmawan, Yamaji, Imada `17], ..

- 深層ボルツマンマシン状態[Carleo, Nomura, Imada `18], ..

| ψ⟩ = lim e −τH | any⟩ = e −ΔτH e −ΔτH⋯ | any⟩τ→∞- フィードフォワードニューラルネット状態[Saito `18], ..

ψ(s1, ⋯, sN ) =f σ
W s + bi∑ i
∑ ij jij49

4. 物性物理学と深層学習
深層学習が勝る場合がある
例：２次元反強磁性
ハイゼンベルグ模型[Carleo, Troyer `17]

ボルツマン
マシン状態のエネルギー様々な状態の間の関係
1) ボルツマンはテンソルネット

隠れ層の数[Chen, Cheng, Xie, Wang, Xiang `18]2) テンソルネットは深層ボルツマン[Gao, Duan `17] [Huang, Moore `17]3) テンソルネットは「積プーリング」のフィードフォワード[Cohen, Shashua `18]50

物理学から見る深層学習
1. ニューラルネットワーク
2. 深層学習3. 逆問題と物理学の革新

深層学習による物理学
4. 物性物理学と深層学習
5. 量子重力理論
6. AdS/CFT対応と深層学習

5. 量子重力理論
ミクロの時空はネットワークである
２０世紀物理学の最後の宿題： 量子重力理論[Regge 1961]

テンソル
ネットワーク

力学的単体分割

[Swingle `09]

レッジェ計算[Ambjorn, Loll 1998]

ホログラフィー
原理の量子コード[Pastawski, Yoshida,Harlow, Preskill `15]

5. 量子重力理論
量子重力の歴史
1970年 南部、Susskind、Nielsen、ハドロンの弦理論。
1974年 米谷、ScherkとSchwarz が、弦理論が重力を含むことを発見。重力の量子論へ。
Yoneya, Prog.Theor.Phys. 51 (1974) 1907.
Scherk, Schwarz, Nucl.Phys. B81 (1974) 118.

1976年 Hawking、ブラックホールの情報喪失問題。
1988年 ループ量子重力。

Hawking, Phys.Rev.D14(1976)2460.
Rovelli, Smoilin.

1997年 Maldacena が AdS/CFT 対応を発見。
（ホログラフィー原理の具体例。）
ある量子重力理論が定義される

Maldacena, Adv.Theor.Math.Phys. 2 (1998) 231.
53

5. 量子重力理論
量子重力の歴史2002年 ホログラフィックQCD。

Karch, Katz, JHEP 0206:043.
Kruczenski,Mateos,Myers,Winters JHEP 0405:041.
Sakai, Sugimoto, PTP 113 (2004) 843.

2006年 笠、高柳、エンタングルメント公式の発見。
2008年 ホログラフィック超伝導。

Ryu,Takayanagi, JHEP 0608:045.

Hartnoll, Herzog, Horowitz, PRL 101(2008)031601.

2009年 量子重力を創発する条件。

Heemskerk,Penedones,Polchinski,Sully, JHEP 0910:079.

2014年 KitaevがSYK模型（重力双対量子力学）を発見。
2017年 アインシュタイン方程式（非線形）の導出。

Faulkner,Haehl,Hijano,Parrikar,Rabideau,Van Raamsdonk, JHEP 1708:057.
54

5. 量子重力理論
未だ証明の無い AdS/CFT対応[Maldacena, Adv.Theor.Math.Phys. 2 (1998) 231]

“AdS”（重力側）“CFT”（量子力学側）
d次元時空上の場の量子論
ラージN極限＋強結合＝(d+1)次元時空上の量子重力
古典アインシュタイン重力・ 未証明（物理的にも、いわんや数学的にも）・ 左が与えられた時にどうやって右を得るか？
・ 物理量の一致が多例で知られている・ Maldacenaの論文は高エネルギー物理業界で最も引用
55

5. 量子重力理論
辞書：分配関数の一致[Gubser, Klebanov, Polyakov, Phys.Lett.B428(1998)105][Witten, Adv.Theor.Math.Phys. 2 (1998) 253]

量子力学の分配関数
ZR[Dq(t)]eZ

重力理論の分配関数＝dtL[q,q̇]

Z[Dgµ⌫ (t, z)]e[Dq(t)]etdtL[q,q̇]J(t)RdtJ(t)O[q]dtdz (pdet gR[g]+··· )古典化

ソース J(t)を導入
RR＝ etRdtdz (pdet gR[g]+··· )J(t) = gtt (t, z = 0)gµ⌫ (t, z) 古典解z

物理学から見る深層学習
1. ニューラルネットワーク
2. 深層学習3. 逆問題と物理学の革新

深層学習による物理学
4. 物性物理学と深層学習
5. 量子重力理論
6. AdS/CFT対応と深層学習

6. AdS/CFT対応と深層学習
時空をニューラルネットワークと見る

深層学習
「猫」

ホログラフィー
原理[Maldacena ‘97]

物理系

創発時空

ブラックホール

6. AdS/CFT対応と深層学習
時空をニューラルネットワークと見る

ホログラフィー
創発空間方向
重力場

深層学習
層の深さ
ネットワークの重み

量子系の実験データ
ブラックホール条件
重力相互作用

入力データ
出力データ
活性化関数
[田中、富谷、杉下、橋本 `18]59

6. AdS/CFT対応と深層学習
最も簡単化した 重力側の理論を用意
未知の5次元時空上のスカラー場理論
Z
4

S=d⌘d x<latexit sha1_base64="TFyvaO4nUBjzbL0k2HMZOKHqRSU=">AAACtXichVFNaxNBGH66ftX40VQvgpfBUIkHw6QfVApC0YvHtDFpIZOG2d1JMnSyu85Ogm3oH+gf6MGTgoh49w948Q94KHhVEI8VvHjwzWZBtKjvMDPPPPM+7zwz4ydGp47z4xnvzNlz5y/MXixcunzl6lxx/lozjYc2UI0gNrHd9mWqjI5Uw2ln1HZilRz4Rm35uw8n+1sjZVMdR4/dXqLaA9mLdFcH0hHVKdbq7D4TOnIsFMpJFu4sP2UifWLdWITKsd4BE0Z1XYuVRSKt09J0skSR9PWdnUV2lzXLGRZW9/qu3SmWeIVnwU6Dag5KyKMWF19BIESMAEMMoBDBETaQSKm1UAVHQlwbY+IsIZ3tKxygQNohZSnKkMTu0tijVStnI1pPaqaZOqBTDHVLSoYF/oG/5if8PX/Dv/Aff601zmpMvOzR7E+1KunMHd6of/+vakCzQ/+X6p+eHbq4l3nV5D3JmMktgql+tH90Ul/bXBjf5i/4V/L/nB/zd3SDaPQteLmhNp+hQB9Q/fO5T4PmYqW6VFnZWC6tP8i/YhY3cQtleu9VrOMRamjQuW/xEZ/w2Vv12l7odaep3kyuuY7fwot/AlMkp1I=</latexit>

ds2 =p⇥det g (@⌘ )

2V( )

⇤

1802.08313
1809.10536

f ( )dt2 + d 2 + g( )(dx21 + · · · + dx2d 1 )f g
境界 () でAdS :ブラックホール (0) :fexp[2 /L]

2, gconst.

辞書：運動方程式の解は量子力学の応答 ⟨ψ̄ ψ⟩mq
境界 (ホライズン ([Klebanov, Witten `98]) : ϕ = mq e −η + ⟨ψ̄ ψ⟩ e −3η0 ) では :=0=0606. AdS/CFT対応と深層学習
運動方程式をNNで表す
運動方程式2+ h( )

V[ ]=0

メトリック h( )空間を離散化
ハミルトン形式( +( +)= ( )+)= ( )+log

f ( )g( )d 1( )h( ) ( )V ( ( ))
( )Feedforward NN 表現=0==0=061

6. AdS/CFT対応と深層学習
量子力学(QCD)のデータでNNを学習させる

学習された (AdS 半径)-1 : 1/L = 237(3)[MeV]
スカラー場の自己結合 : λ/L = 0.0127(6)626. AdS/CFT対応と深層学習
学習で創発した時空から、予言してみる学習で創発した時空Cf) 人間が慮った時空

e cz /2
12ds = 2(1 − z 4)dt 2 + dxi2 +dz 24)
z (1−z2

Volumefactor[Andreev, Zakharov, `06, `07]丘
アインシュタイン方程式の解では無い。量子重力効果？ Cf [Hyakutake `14]64

6. AdS/CFT対応と深層学習
学習で創発した時空から、予言してみる
学習で創発した時空

クォーク間ポテンシャル

Volumefactor

丘Procedures
based on
[Maldacena][Rey,Theisen,Yee][Petreczky, `10]65

物理学から見る深層学習
1. ニューラルネットワーク
2. 深層学習3. 逆問題と物理学の革新

深層学習による物理学
4. 物性物理学と深層学習
5. 量子重力理論
6. AdS/CFT対応と深層学習

A-1 物理学における機械学習は「第３の実験」

実験理論

第１の実験 実世界での実験
第２の実験 数値実験 （仮想世界での実験）
第３の実験 機械学習
70