2021/4/8

DLAP2021

Gauge covariant neuralnetwork for 4 dimensional
non-abelian gauge theory
富谷昭夫 (RIKEN-BNL)
Y. Nagai
原子力機構

akio.tomiya_AT_riken.jp
https://arxiv.org/abs/2103.11965

2021/4/8

DLAP2021

ゲージ共変なニューラルネットと4次元非可換ゲージ理論への応用
富谷昭夫 (RIKEN-BNL → 大阪国際工科専門職大学, テニュア助教)
akio.tomiya_AT_riken.jp
Y. Nagai
原子力機構

https://arxiv.org/abs/2103.11965

自己紹介

Akio Tomiya

理研-ブルックヘブン国立研究所, 素粒子物理、機械学習
なにをしてる人？
素粒子物理の理論的研究をしています。
機械学習を理論計算の効率化に使いたいです。
主な論文
ニューラルネットを使った相検出

格子QCDを用いたU(1)量子異常の消失の証拠

量子コンピュータ

略歴2010: 兵庫県立大学理学部物質科学科卒、超伝導2015: 大阪大学で博士号取得。素粒子論。

2015 - 2018 : 華中師範大学でポスドク (中国、武漢)2018 - 2021 : 理研/BNLでポスドク (米国、NY)
2021 DLAP2021: 大阪国際工科専門職大学、助教

Gauge covariant neural network

3

Akio Tomiya

もくじ
2つの話

1. ニューラルネットと畳込み、フィルタ
ニューラルネットと対称性の話
ゲージ対称性を保ったニューラルネットの話

2. 格子QCD
3. スメアリング
4. ゲージ共変ニューラルネット
5. 自己学習HMCでの応用

応用編

6. まとめDLAP2021

Gauge covariant neural network4

動機と結果Akio Tomiya

ゲージ対称性とニューラルネット(個人的な)動機 2017年からゲージ対称性を尊重するニューラルネットを作りたかった(機械学習を場の理論の配位生成に応用した世界初の例)

arXiv: 1712.03893

明らかにしたこと

arXiv: 2103.11965

1. “非可換ゲージ対称性を保つニューラルネット” = (調整できる)スメアリング
UμNN(n)[U ] = Uμ(3)(n) Uμ(2)(n) Uμ(1)(n)[Uμ(n)][]][2. 非可換ゲージ対称性を保つニューラルネットを使って自己学習HMC。成功。

DLAP2021

Gauge covariant neural network

5

背景

Akio Tomiya

ニューラルネットと物理学
Deep learning

AdS/CFT, Holography

1.

5.
Trivializing map

2.

9.

8.

Covariant neural net★

Neural ODE

3.
RG
7.
Gradient ow

6.

黒: 先行研究
1.arXiv: 1802.08313
2.arXiv: 1904.12072
3.arXiv:hep-th/0212314
4.arXiv: 1006.4518
5.arXiv:1903.00804
6.arXiv: 1806.07366
7.arXiv: 1802.07897
8.arXiv: 0907.5491
9. arXiv: 1707.03982
赤: この仕事★. arXiv: 2103.11965

4.
★

ResNetSmearing

今までの研究で知られていたこと
1.深層ニューラルネット 〜
2.ニューラルネット→

AdS

gradient ow〜

ニューラルODE

3. (ゲージ)対称性は、物理でもニューラルネットでも重要
本研究では、 上記の3つの文脈に沿ったニューラルネットの構造を発見
ゲージ共変ニューラルネットのニューラルODE 〜

Gauge covariant neural network

6
fl

fl

fl

DLAP2021“gradient ow” ということも見つけたニューラルネットと畳込み、フィルタ(ここに書いてある説明です)7ニューラルネットとは？

Akio Tomiya

線形変換と要素ごとの非線形変換の合成関数
行列[W x ]⃗ i =∑j

wij xj

任意の線形変換を表現できる
ニューラルネットの構成

ui(xj) =

{

(l)
(l)
(l)
zi =
wij xj + bi
アフィン変換∑j(l) (l)
要素ごと (局所的)の関数
ui = σ (zi )全結合ニューラルネット(l=2)(l=2) (l=1)(l=1) ⃗⃗fθ( x ) = σ
(W
σ
(W
x ))

θ はパラメータの集合, wij(l), bi(l), ⋯ニューラルネットはベクトルを入出力する複合関数
DLAP2021

Gauge covariant neural network8

ニューラルネットとは？

Akio Tomiya

ニューラルネット = 万能関数近似器
6x6
~

0.000
0.000
0.84340.756
0.3456
=
0.64
0.251
0.11
0.23
⋮

ニューラルネット

36 dimension

入力

画像はベクトル1
10 dimension

Images of “1”2
Images of “2”

事実: ニューラルネットは、”どんな関数”でも近似できる！
(直感的には、内部のユニット数 ~ フーリエ展開の項の数)

この例では、画像(36次元ベクトル)と数字のラベル(10次元ベクトル)を結ぶ写像を”真似た”
DLAP2021

Gauge covariant neural network9ニューラルネットとは？

Akio Tomiya

畳み込みレイヤー = 学習可能フィルタ
画像フィルタラプラシアンフィルタ

*

0

1

0

1

-2

1

0

1

0

(∂ 2 の離散化

=

エッジ検出

= 色の変曲点を検出)

畳み込みレイヤー

Fukushima, Kunihiko (1980
Zhang, Wei (1988) + a lot!

調整可能なフィルタ*

w11 w12 w13
w21 w22 w23
w31 w32 w33

=

エッジ検出
平滑化(ぼかし)…

平滑化: ガウシアンフィルタ

1
16

1

2

1

2

4

2

1

2

1

(どういうフィルタになるかはトレーニングによる)うまく特徴を抽出する
Gauge covariant neural network)

DLAP2021

10

ニューラルネットとは？

Akio Tomiya

畳み込みも合成できる
もちろん畳み込みレイヤーも合成関数としてつかえる((*

w11 w12 w13
w21 w22 w23
w31 w32 w33)*

w11 w12 w13
w21 w22 w23
w31 w32 w33

Fukushima, Kunihiko (1980
Zhang, Wei (1988) + a lot!

)*

w11 w12 w13
w21 w22 w23
w31 w32 w33

1. 畳み込みが画像認識タスクの向上に役立ち、近年のブームの1つのきっかけになった
2. フィルターは画素の絶対的な座標には依存しない = 入力データの並進対称性を尊重する
下記の画像はどっちも「犬」である

現代的な視点:対称性をつかうとニューラルネットの性能をあげられる (T. Cohen+, group equivariant NN)(回転対称性: Spherical convolution T. Cohen+), 模倣する関数が対称性をもつことを保証している。

機械学習の文脈でも、「ゲージ対称性を持ったデータ」を取り扱うことがある。専用のニューラルネットを作れる。
(T. Cohen+, gauge equivariant NN)

https://towardsdatascience.com/translational-invariance-vs-translational-equivariance-f9fbc8fca63a)

DLAP2021

11

ニューラルネットとは？

Akio Tomiya

畳み込みレイヤー + 全結合ニューラルネットもOK
Fukushima, Kunihiko (1980
Zhang, Wei (1988) + a lot!

例:fθ( x )⃗ = σ(l=2)

v ⃗ = Flatten(( ( ((W(l=2) (l=1)

σ

(W

*

)

w11 w12 w13
w21 w22 w23
w31 w32 w33

(l=1)

*

⃗
v ))

w11 w12 w13
w21 w22 w23
w31 w32 w33)*

w11 w12 w13
w21 w22 w23
w31 w32 w33)

畳み込みレイヤーのパラメータも全結合ネットと同じようにトレーニングできる(現代的にはmulti-channel にして、Global average pooling とかにすべきだが、置いておく)

物理系に使うと重みから系の情報を抽出できたりする

Gauge covariant neural network)

DLAP2021(AT+ 2016)

12格子QCD13格子QCD

Akio Tomiya

電磁気学 = U(1) ゲージ対称性を持つ理論(相対論的記法の)電磁気学

1
S = d x[ − FμνF μν + ψ̄(i∂/ + eA/ − m)ψ]∫4
4Fμν = ∂μ Aν − ∂ν Aμ

Aμ(x) ∈ ℝ
μ = 0,1,2,3• 身の回りの電気・磁気現象を記述: F0iが電場、Fij が磁場 (i, j = 1,2,3)• U(1)ゲージ対称性が鍵: Sは、以下の変換で不変
Aμ(x) → Aμ(x) − ∂μΩ(x)Ω(x) ∈ ℝ

相対論的量子電磁気学[E(x), A(y)] ∼ δ(x − y)| ψ(t)⟩ = e−iHt | ψ(0)⟩量子化

H: 上記のSから作ったハミルトニアン• 量子化した電磁気学• 世界一精密な理論(実験と12桁あう)
DLAP2021

Gauge covariant neural network

14格子QCD

Akio Tomiya

QCD = 量子色力学、電磁場を行列にした。クォークとグルーオンの理論

QCD (Quantum Chromo-dynamics) in 3 + 1 dimension

1
S = d x[ − tr FμνF μν + ψ̄(i∂/ + gA/ − m)ψ]∫2
4

Fμν = ∂μ Aν − ∂ν Aμ − ig[Aμ, Aν]Aμ(x) ∈ su(3), 3x3 トレースレス、エルミート行列| ψ(t)⟩ = e−iHt | ψ(0)⟩ H: 上記のSから作ったハミルトニアン
Rajan Gupta

12

d
D

0

K
c

s
W

e−
ν

Fig. 3. The Feynman diagram for the semi-leptonic decay D − → K 0 e− ν e . The QCD
corrections are illustrated by the various gluons being exchanged between the initial andfinal hadrons. The leptonic vertex can be calculated reliably using perturbation theory,
whereas the hadronic vertex requires non-perturbative methods.

The second area in which perturbative estimates are not reliable is in
the calculation of the matrix elements occurring in the weak decays ofhadrons. The reason is that the non-perturbative QCD corrections to thebasic weak process can be large due to the exchange of soft gluons between
the initial and final states. This is illustrated in Fig. 3 for the case of
the semi-leptonic decay D → Klν. In this case the matrix element of
the weak interactions Hamiltonian between the initial D meson and final
kaon receives large corrections from QCD which cannot be estimated using
PQCD.
The result of the experiment is a number, i.e. the decay rate. To check
whether the Standard Model prediction is in agreement with this number
theorists must derive an analytical expression for the same process. This
expression, in general, consists of a product of three parts: a combinationof the parameters in the SM , matrix elements (M E) of the interaction
Hamiltonian between the initial and final states, and kinematic factors.
(This is the well-known Fermi’s golden rule.) Schematically one can write
this “master” equation as follows.
!
"!
"!
"
Expt.# = SM parameters matrix elements kinematic factors . (3.2)
Thus, for each such experimental number one gets a constraint on one
particular combination of the SM parameters provided the M E are known.

DLAP2021• 量子電磁気学の一般化 Aμ(x)が行列 (Yang-Mills-内山)• これ1つで以下が(原理的には)計算できる• 中性子星などの状態方程式、相転移温度、原子核間の力• 原子核内部のクォークとグルーオンの様子、散乱• 陽子と中性子の仲間(ハドロン)の質量, などなど
• カイラル対称性の自発的破れ(南部)、とじこめ力(南部)• g >> 1 なので電磁気の計算法は使えない• 基底状態の性質を解き明かせば1億円もらえる (ミレニアム懸賞金)
Gauge covariant neural network

15

格子QCD

Akio Tomiya

ゲージ対称性が理論を決める
QCD (Quantum Chromo-dynamics) in 3 + 1 dimension

1
S = d x[ − tr FμνF μν + ψ̄(i∂/ + gA/ − m)ψ]∫2
4

Fμν = ∂μ Aν − ∂ν Aμ − ig[Aμ, Aν]Aμ(x) ∈ su(3), 3x3 トレースレス、エルミート行列| ψ(t)⟩ = e−iHt | ψ(0)⟩ H: 上記のSから作ったハミルトニアン
U(1)のゲージ変換:

Fμν = ∂μ Aν − ∂ν Aμα(x) ∈ ℝ

Aμ(x) → Aμ(x) − ∂μα(x){ ψ(x) → eiα(x)DLAP2021

ψ(x)

}

ゲージ共変

covariant

FμνF μν → FμνF μν

ゲージ不変

iα(x)
i∂
/
+
gA
/
−
m
ψ
→
e
(
)
(i∂/ + gA/ − m)ψ

ゲージ共変

ψ(i∂/ + gA/ − m)ψ → ψ(i∂/ + gA/ − m)ψ

ゲージ不変

invariant

ゲージ対称性が作用の形を決定する(ゲージ原理)
Gauge covariant neural network

16

格子QCD

Akio Tomiya

実時間でも虚時間でも同じハミルトニアン、得意な計算が違う
4次元ユークリッド時空の経路積分表示のQCD

1
S = d x[ + tr FμνFμν + ψ̄(∂/ − igA/ + m)ψ]
∫
2
4

Z=

∫

A ψ̄ ψe −S| ψ(τ)⟩ = e−Hτ | ψ(0)⟩• 3+1次元ミンコフスキー時空の理論でも4次元ユークリッド
時空の理論でも同じハミルトニアン、時間発展が違う• ハミルトニアンの固有値(ハドロンの質量！)などは同じ。
• (時間依存するもの, 例えば n点グリーン関数は解析接続の関係)

DLAP2021

この積分ができればいい

𝒟

𝒟

∫

A ψ̄ ψe −S

𝒟

𝒟

𝒟

𝒟

Z=

Gauge covariant neural network

17

格子QCD

Akio Tomiya

格子化=時空の離散化。巨視的な物理量の期待値は同じ
1
S = d x[ + tr FμνFμν + ψ̄(∂/ − igA/ + m)ψ]∫2

K. Wilson 1974

4

格子正則化
Uμ = eaigAμ1
S[U, ψ, ψ̄] = a− Re tr Uμν + ψ̄(D/ + m)ψ]∑ [ g2n4

どちらも(低エネルギーでは)同じ期待値を返す(無限個のIrrelevant operatorsしか違わない)

a は格子間隔 (カットオフa −1)−1 2 4 2
Re Uμν ∼g a Fμν + O(a 6)2例

積分値は(離散化が十分細ければ)精度の範囲で同じにできる
DLAP2021

Gauge covariant neural network

18

格子QCD

Akio Tomiya(2次元時空の)場 ~ 画像
K. Wilson 1974

1
S = d x[ + tr FμνFμν + ψ̄(∂/ − igA/ + m)ψ]∫2
4

1
S[U, ψ, ψ̄] = a− Re tr Uμν + ψ̄(D/ + m)ψ]∑ [ g2n4

格子正則化
Uμ = eaigAμ

どちらも(低エネルギーでは)同じ期待値を返す

a は格子間隔 (カットオフa −1)(無限個のIrrelevant operatorsしか違わない)ϕ(nx, ny)

２次元時空、スカラー場での図示
ϕ(x, y)nyy 格子正則化
nxx

連続時空上の場−1 2 4 2
Re Uμν ∼g a Fμν + O(a 6)
2

=
上から見た

格子上の場

(色の濃さ = 高さ)
画像みたいなもの

DLAP2021

Gauge covariant neural network

19格子QCD

Akio Tomiya

格子化上でもゲージ変換は定義できる。作用はゲージ不変
1
S = d x[ + tr FμνFμν + ψ̄(∂/ − igA/ + m)ψ]∫2

K. Wilson 1974

4

1
S[U, ψ, ψ̄] = a− Re tr Uμν + ψ̄(D/ + m)ψ]∑ [ g2n4

格子正則化
Uμ = eaigAμ

どちらも(低エネルギーでは)同じ期待値を返す(無限個のIrrelevant operatorsしか違わない)

a は格子間隔 (カットオフa −1)−1 2 4 2
Re Uμν ∼g a Fμν + O(a 6)2ゲージ変換は格子上のほうが単純

Aμ(x) → G(x)Aμ(x)G −1(x) − G(x)∂μG −1(x)ゲージ場が辺に乗っててゲージ変換は点の上の関数

DLAP2021

格子正則化⟶
n + μ̂

Uμ(x) → G(n)Uμ(x)G −1(n + μ)̂

ゲージ変換

n

Uμ(n)

Gauge covariant neural networknn + μ̂
G(n) Uμ(x) G −1(n + μ)̂
20

格子QCD

Akio Tomiya

格子化した経路積分
1
S = d x[ + tr FμνFμν + ψ̄(∂/ − igA/ + m)ψ]∫2

K. Wilson 1974

4

1
S[U, ψ, ψ̄] = a− Re tr Uμν + ψ̄(D/ + m)ψ]∑ [ g2n4

格子正則化
Uμ = eaigAμ

どちらも(低エネルギーでは)同じ期待値を返す(無限個のIrrelevant operatorsしか違わない)

a は格子間隔 (カットオフa −1)−1 2 4 2
Re Uμν ∼g a Fμν + O(a 6)
2

1
1
−S
Ue −Sgauge[U] det(D + m) (U)⟨ ⟩=U ψ̄ ψe
(U) =
Z∫
Z∫
1
Se [U] = Sgauge[U] − log det(D/ [U] + m)=
Ue −Se [U] (U)
Z∫

𝒪

𝒪

𝒟

𝒪

𝒟
ff

ff

𝒟

𝒟

𝒟

𝒪

この積分を計算すれば良い。

DLAP2021

Gauge covariant neural network

21

格子QCD

Akio Tomiya

格子QCDは定量的。実験と理論を結ぶ重要、場の理論の計算道具
arXiv:0906.3599

Great successes!

他にわかること？
- 核力ポテンシャル- エンタングルメントエントロピー- 形状因子- パートン分布,
etc…

DLAP2021

Gauge covariant neural network

22格子QCD

Akio Tomiya

小さいサイズならノートパソコンでできます
Juliaの公開コードを作りました！
https://github.com/akio-tomiya/LatticeQCD.jl
お手元のパソコンで簡単にできます
HMC/heatbath/SLMC + Measurements
Fortranのコードと同等のスピード
You can start in 3 steps (in 10 min)
1. Download Julia binary
2. Add the package through Julia function
3. Execute!

A.T.
DLAP2021

Y. Nagai
Gauge covariant neural network

23

格子QCD

Akio Tomiya

Remarks
量子ゲージ論の格子化は数値計算のためだけではない場の理論の1つの定義
場の理論の経路積分を離散化してるので、定義になってる。
リーマン和で積分を定義してるようなもの。ハミルトン形式もうまくいく。

∑
if (xi)δxi → d x f (x)∫J. Kogut+ 1975
M. Creutz 1976
M. Luscher 1977
K. Osterwalder+ 1977

閉じ込めやメソンの性質の探索
Wilson は格子正則化した非可換ゲージ理論の強結合展開から閉じ込めが理解できることを見た
さらにメソンも導入して理論の構造も理解できる。摂動を超えて理解できる例。

物性にもつかえる

K. Wilson 1974
N. Kawamoto+ 1981

A. Sekine+ arXiv: 1301.4424
M. Hirotsu arXiv: 1303.2886
A. G. Grushin arXiv: 1909.02983

Staggered fermion: グラフェン
Wilson fermion: トポロジカル絶縁体

双対性の計算T. Furusawa+ arXiv: 1810.11808

くりこみ群の上流で格子化した作用を持ってきて、違った場をintegrating out
すると双対な理論が得られる

数学における指数定理(Atiyah-Patodi-Singer 等)の証明

H. Fukaya+ 2017 etc

正則化したディラック演算子(共変微分)の固有モードとゲージ場のトポロジーが理解できる
境界付き多様体の上のゲージ場のトポロジーとディラック演算子の0モードの関係
DLAP2021

Gauge covariant neural network24

スメアリング
ゲージ対称性をたもった平滑化
M. Albanese+ 1987
R. Ho mann+ 2007
C. Morningster+ 2003

ff

25

スメアリング

Akio Tomiya

平滑化すると性質が良くなる
荒い画像

例

平滑化した画像

ガウシアンフィルタ
1
16

1

2

1

2

4

2

1

2

1

ピクセルの数値微分がガタガタ

ピクセルの数値微分がなめらか
トポロジーを調べるに細かい構造は失われるがは、微分の積分をする
大域的構造(トポロジーとか)はOK (ガウスボネ)

格子QCDでも同じことできる？
ゲージ対称性を保ちながら。
2タイプの平滑化:

ff

DLAP2021

APE-type smearing (こっちだけ説明)
Stout-type smearing
Gauge covariant neural network

M. Albanese+ 1987
R. Ho mann+ 2007
C. Morningster+ 2003
26

スメアリング

Akio Tomiya

ゲージ対称性を保つ平滑化操作
M. Albanese+ 1987
R. Ho mann+ 2007

APE-type smearing, α ∈ ℝ>0 は定数Uμ(n) → Uμfat(n) =Vμ†[U](n) =図的に書くと∑μ≠να †(1 − α)Uμ(n) + Vμ [U](n)[]6̂ ν†(n + μ)̂ + ⋯Uν(n)Uμ(n + ν)U

規格化

[M] =

M
M †M

もしくは射影Vμ†[U ](n)とUμ(n)は同じゲージ変換性を持つ→Uμfat[U ](n)も同じゲージ変換性を持つ= [+(1 − α)

+

α
6 ∑
ν

]

計算グラフ的には、
1−α

V

Mult
Sum

α /6

+

[⋯]

U (1)

DLAP2021
ff

𝒩

𝒩

𝒩

𝒩

U

Gauge covariant neural network27

スメアリング

Akio Tomiya

スメアリングは2つの操作に分解できる
APEtype もstout typeもをまとめて、以下のように書ける

DLAP2021{ Uμfat(n) =(zμ(n))

ゲージ対称性を保った和
局所的な関数𝒢𝒩

Uμfat(n) =zμ(n) = w1Uμ(n) + w2 [U]Gauge covariant neural network28

スメアリング

Akio Tomiya

スメアリング 〜 ニューラルネット！
AT Y. Nagai arXiv: 2103.11965

APEtype もstout typeもをまとめて、以下のように書けるUμfat(n) ={ Uμfat(n) =zμ(n) = w1Uμ(n) + w2 [U](zμ(n))

ゲージ対称性を保った和
局所的な関数

ニューラルネットを思い出すと、同じ構造をもつ

ui(xj) =

{

(l)
(l)
(l)
zi =
wij xj + bi∑j(l) (l)ui = σ (zi )アフィン変換
要素ごと (局所的)の関数(ニューラルネットのi の添字は、n やμ というインデックスに対応。ニューラルネットは物理屋の言葉で”スカラー場”の発展)

多段のスメアリング = ディープラーニング (ただし従来はパラメータ固定)

DLAP2021

𝒢𝒩

実は、スメアリングも普通のニューラルネットと同様に”学習”できる
Gauge covariant neural network

29

Gauge covariant neuralnetwork
ゲージ共変ネットワーク
AT Y. Nagai arXiv: 2103.11965

30

ゲージ共変ネットワーク

Akio Tomiya

トレーニングできるスメアリング
AT Y. Nagai arXiv: 2103.11965

ゲージ共変ネットワーク = トレーニングできるスメアリング

Uμ(l+1)(n)[U (l)] =

(l+1)
(z
{ μ (n))zμ(l+1)(n) = w1(l)Uμ(l)(n) + w2(l)

(l)
[U]
θ̄

(重みw は場所と向きに依存しても良い = 全結合的になる。対称性の情報は使わない)

UμNN(n)[U] = Uμ(3)(n) Uμ(2)(n) Uμ(1)(n)[Uμ(n)][]][良い性質: ゲージ対称性、格子上の並進対称性、格子上の回転対称性が明白(畳み込みニューラルネットと同様に、系にある対称性の情報を活用)

NN
NN
Uμ(n) ↦ Uμ (n) = Uμ (n)[U]𝒢𝒩

ゲージ場を入れたら、ゲージ場が出てくる複合関数、対称性を保つ

DLAP2021

Gauge covariant neural network31ゲージ共変ネットワーク

Akio Tomiya

トレーニングは、(拡張した)backprop でできる
AT Y. Nagai arXiv: 2103.11965

ゲージ不変なloss function を組むには、ゲージ不変な作用を使えば良い

S NN[U] = S [UμNN(n)[U]]Loss function

Lθ[U] = f (S NN[U])

S:ゲージ作用 or フェルミオン作用(Behler-Parrinello type neural net)
(DLAP2020の永井さんのスライド参照)

f は例えば mean-square,
ミニバッチにもできる

トレーニング: gradient descent を使える。(AdamなどももちろんOK)θ(l)∂Lθ[U]←θ −η∂θ (l)(l)θ (l) は第l層のパラメータ

Lの微分は、行列微分が出てくるのでbackprop (delta rule)を拡張する必要あり∂Lθ[U] ∂L ∂f ∂S NN ∂U (l+1) ∂z (l+1)=∂θ (l)∂f ∂S NN ∂U (l+1) ∂z (l+1) ∂θ (l)

この部分は実はよく知られたsmeared force と同じ(-> Extended delta rule, skipped)

DLAP2021

Gauge covariant neural network32ゲージ共変ネットワーク

Akio Tomiya

Neural ODE of Cov-Net = “gradient ow”⃗
u \(l−1)

Res-Net
Layer の
連続極限

+

(t)
⃗

du
dt

=

(t)
⃗

(u )

arXiv: 1512.03385

arXiv: 1806.07366(Neural IPS 2018 のbest paper)

𝒢

𝒢

Neural ODE

⃗
u (l)

Gauge covariant neural networkfl

DLAP2021

33

ゲージ共変ネットワーク

Akio Tomiya

Neural ODE of Cov-Net = “gradient ow”⃗
u \(l−1)

Res-Net+

Layer の

(t)
⃗

連続極限

du
dt

Neural ODE

U

Gauge-cov net
Layer の
連続極限

Neural ODE
for Gauge-cov net

(u )
θ̄

(t)
dUμ (n)=arXiv: 1512.03385

(t)
⃗

=

(l)

dt

⃗
u (l)

arXiv: 1806.07366(Neural IPS 2018 のbest paper)

U (l+1)+(t)(Uμ (n))θ̄AT Y. Nagai arXiv: 2103.11965

Gradient ow (と同じ形)

2010 M. Luscher

𝒢

𝒢

𝒢

𝒢

“連続版のStout はGradient ow”
fl

fl

fl

Gauge covariant neural network

DLAP2021

34ゲージ共変ネットワーク

Akio Tomiya

ここまでのまとめ対称性

今までのニューラルネット

畳み込み: 並進対称性

ゲージ対称性、
ゲージ共変ネット
AT Y. Nagai arXiv: 2103.11965

並進対称性、
回転対称性

レイヤーの

パラメータ固定

畳み込み: 画像フィルタ
境界検出、平滑化

スメアリング
(平滑化)

学習

連続化
Res-Net-> Neural ODE

デルタルール連続群に値を“Gradient” ow

取る関数用のデルタルール

次のページから応用編(スメアリングを可変にしたところで役に立つのか)
Gauge covariant neural networkfl

DLAP2021

35

Demonstration(応用の一例)AT Y. Nagai arXiv: 2103.11965

36格子QCD

Akio Tomiya

格子化した経路積分 = 1000次元積分: 台形則は宇宙年齢でも計算時間足りない

1
S = d x[ + tr FμνFμν + ψ̄(∂/ − igA/ + m)ψ]∫2

K. Wilson 1974

4

1
S[U, ψ, ψ̄] = a− Re tr Uμν + ψ̄(D/ + m)ψ]∑ [ g2n4

格子正則化
Uμ = eaigAμ

どちらも(低エネルギーでは)同じ期待値を返す(無限個のIrrelevant operatorsしか違わない)

1
1
−S
⟨ ⟩=
U ψ̄ ψe
(U) =
Z∫
Z∫
1
=
Ue −Se [U] (U)
Z∫
4

∏ 4∏

=

n∈{ℤ/L} μ=1dUμ(n)

a は格子間隔 (カットオフa −1)−1 2 4 2
Re Uμν ∼g a Fμν + O(a 6)2

Ue −Sgauge[U] det(D + m) (U)>1000 次元。台形則やシンプソン則などのニュートンコーツ型の数値積分は計算できない

𝒪

𝒪

𝒟

𝒪

𝒟

ff

𝒟

𝒟

𝒟

𝒪

(誤差をコントロールしようとすると計算時間が宇宙年齢を超える)
DLAP2021

Gauge covariant neural network

37

格子QCD

Akio Tomiya

格子化した経路積分 〜 統計力学。統計力学の計算法が使える
格子QCD (経路積分表示の場の量子論) Se

1
⟨ ⟩=
Z∫

Ue −Se [U] (U)イジング模型 (統計力学)

K. Wilson 1974
M. Creutz 19801
̂ ν†(n) + ⋯̂ μ†(n + ν)U= 2
tr Uμ(n)Uν(n + μ)U
∑
g ∑
n μ<ν

Uμ(n) ∈ SU(N )∫U 可能なすべてのUの配位の和

11H[σ] = −σiσj∑
T
T <i,j>1− T1 H[σ]
⟨ ⟩=
e
(σ)
Z∑
{σ}

∑
{σ}

σi ∈ ℤ2

可能なすべてのσの配位の和

見た目も構造もだいたい同じ
場の量子論といえど、統計力学の計算手法がつかえる
1. 高温展開(QCDの強結合展開), 低温展開(QCDの弱結合展開)
2. くりこみ群 (歴史的には場の理論→統計系?)
3. 数値計算、特にモンテカルロ法

𝒪
𝒪

𝒟
𝒟

ff

ff

𝒪

𝒪

以下ではモンテカルロ法に注目
DLAP2021

Gauge covariant neural network

38

格子QCD

Akio Tomiya

モンテカルロ積分の誤差は次元性によらない
M. Creutz 1980

1
⟨ ⟩=
Z∫

Ue −Se [U] (U)U1

U2

Se [U] = Sgauge[U] − log det(D/ [U] + m)

1 −S [U]モンテカルロ法: 確率 “P[U] = e e”に従って場の配位を作って平均すれば積分できるZ

サンプ → サンプ

U3

→ サンプ

→…

HMC: Hybrid (Hamiltonian) Monte-Carlo
デファクトスタンダードのアルゴリズム
大体メトロポリス法

𝒪
ff

ff

ff

𝒟

𝒪

1 2
S(x, y) = (x + y 2 + xy)2
DLAP2021

Gauge covariant neural network

39

格子QCD

Akio Tomiya

モンテカルロ法の誤差はサンプルの数で決まる
M. Creutz 1980

1
⟨ ⟩=
Z∫

Ue −Se [U] (U)U1

U2

Se [U] = Sgauge[U] − log det(D/ [U] + m)

1 −S [U]モンテカルロ法: 確率 “P[U] = e e”に従って場の配位を作って平均すれば積分できるZ
U3

サンプ → サンプ

→ サンプ

→…

積分の誤差は、サンプリングの回数で完全に決まる。定量的。

1

NsampleNsample ∑k

Nsample)𝒪𝒪[Uk] ± O(

ff

ff

ff

𝒟

𝒪

𝒪

⟨ ⟩=

1

DLAP2021

Gauge covariant neural network40

Demonstration

Akio Tomiya

HMC = Metropolis test + molecular dynamics
M. Creutz 1980

1
⟨ ⟩=
Z∫

Ue −Se [U] (U)U1

U2

Se [U] = Sgauge[U] − log det(D/ [U] + m)

1 −S [U]モンテカルロ法: 確率 “P[U] = e e”に従って場の配位を作って平均すれば積分できるZ

サンプ → サンプ

U3

→ サンプ

→…

アルゴリズムが厳密(＝期待値が常に正しく計算できる)でないと誤差が未知のため実験と比較できない。アルゴリズムの厳密性は証明可能。

𝒪
ff

ff

ff

𝒟

𝒪

一方、ニューラルネットは近似器。厳密性…?

DLAP2021

Gauge covariant neural network41

Demonstration

Akio Tomiya

機械学習を使った場の理論の配位生成徐々に良くなってきている
Restricted Boltzmann machine + HMC: 2次元スカラー場

A. Tanaka, AT 2017
機械学習+ 格子場の配位生成の最初の挑戦。相転移点で物理量の分布が偏る。厳密でもない。

GAN (Generative adversarial network): 2次元スカラー場
計算結果は良さそう。厳密性の証明はなし(無理？)J. Pawlowski+ 2018
G. Endrodi+ 2018

Flow based model: 2次元スカラー場, 純U(1), 純SU(N)ゲージ場

2019 …
MIT+
ニューラルネットを使って自明化写像を模倣 (可逆なニューラルネット。計算しやすいJacobianをもつ)
厳密アルゴリズム、動的フェルミオンなし。非可換ゲージ対称性も対角化して取り扱う。2次元で実演。

Self-learning Monte Carlo for lattice QCD

arxiv 2010.11900 Y. Nagai, AT, A. Tanaka

動的フェルミオンの入った、4次元の非可換ゲージ理論
線形モデルを使ってゲージ不変な有効作用を作る
厳密アルゴリズム、計算が重い(フェルミオンを対角化)
arxiv 2103.11965 Y. Nagai, AT
Self-learning Hybrid Monte Carlo for lattice QCD (以下で見る)
動的フェルミオンの入った、4次元の非可換ゲージ理論
共変ニューラルネットを使ってゲージ不変な有効作用を作る
厳密アルゴリズム、計算が軽い
DLAP2021

Gauge covariant neural network42

Demonstration

Akio Tomiya

従来アルゴリズム: HMC = Hybrid (or Hamiltonian) Monte Carlo
HMC: 仮想的な運動量を入れて”確率的量子化”, 厳密アルゴリズム

1H=
tr[πμ2(n)] + S[U]2∑μ,nS. Duane + 1987
M. Luscher+ 2011

πμ(n)仮想的なランダム運動量、手で入れる
作用S をポテンシャルとみなす

P [U′ U] = Pacc (H[U, π], H[U′, π′]) TMD [(U, π) → (U′, π′)] PGauss(π)

TMD: Molecular dynamics = 仮想的なハミルトン力学
Uμ(n) ← eiπμ(n)Uμ(n)∂S
Fμ(n) ∼
∂Uμ(n)

πμ(n) ← πμ(n) + ϵFμ(n)(ゲージ対称性を拘束条件とする運動方程式)

メトロポリス法はエネルギー保存するアップデートをすると良い運動方程式の解はエネルギー保存する、動的フェルミオンもOK手で加えた仮想運動量は結果に影響しない

DLAP2021

Gauge covariant neural network

￼

￼

￼

￼

￼

30年来、デファクトスタンダードのアルゴリズム
43

Demonstration

Akio Tomiya

SLHMC = Self-learning (自己学習) HMC、厳密
Yuki Nagai+ 1807.04955

SLHMC: 運動方程式に使うポテンシャルをニューラルネットで変分近似 Yuki Nagai+ 1909.02255

1H=
tr[πμ2(n)] + S[U]2∑μ,nπμ(n)仮想的なランダム運動量、手で入れる
作用S をポテンシャルとみなす

θ
P [U′ U] = Pacc (H[U, π], H[U′, π′]) TMD[(U, π) → (U′, π′)] PGauss(π)θ
TMD: ニューラルネットを使った作用でのMolecular dynamics(NN)∂S
Fμθ(n) ∼∂Uμ(n)

Uμ(n) ← eiπμ(n)Uμ(n)πμ(n) ← πμ(n) + ϵFμθ(n)(ゲージ対称性を拘束条件とする運動方程式)

メトロポリス法はTの詳細を気にせず、エネルギー保った時間反転対称なアルゴリズムでOK. ニューラルネットを使った作用でも良し。
これは厳密アルゴリズム. もしS (NN)とS が違いすぎると受理されず、効率が0
DLAP2021

Gauge covariant neural network

￼

￼

￼

￼

￼

逆に学習がうまく行けば、受理される。ニューラルネットのテストになる44

Demonstration

Akio Tomiya

HMC とSLHMC の比較
HMC

arXiv: 2103.11965 and reference therein

U

U

U

U

U

U
Metropolis

SLHMC

U

ϕ

π′
ϕ

U

U

U

U

Metropolis

U′
Eom

Eom

π

Eom

Gauss

U

Eom

Eom

Eom

U

Both use

HHMC =

運動方程式(Eom) を数値的に解くときに誤差が入るが、メトロポリステストで
厳密化

Metropolis

Eom

Eom

U′
π′
ϕ

SLMC for LQCD

Metropolis

ϕ

Eom

Gauss
￼

￼

￼

￼

DLAP2021

π

Eom

Eom

H=
U

∑

π 2 + Sg + Sf∑

Eom

π 2 + Sg + Sf[U]

Eom

H=

∑

π 2 + Sg + Sf[U NN[U]]

作用をニューラルネットで近似してるが厳密

45Demonstration

Akio Tomiya

Lattice setup
arXiv: 2103.11965

物理系

Two color QCD (plaquette + staggered (not rooted) )アルゴリズムSLHMC, HMC (比較用)

パラメータ

L=4, m = 0.3, beta = 2.7

対象系の作用ニューラルネット
有効作用

S[U] = Sg[U] + Sf[ϕ, U; m = 0.3],

Metropolis Test用

Sθ[U] = Sg[U] + Sf[ϕ, UθNN[U]; mh = 0.4],(問 MDの作用が違ってもMetropolis Testとおるか?)

MD用(Sは示量変数なのでmがちょっとでも違うとSの値がぜんぜん違う, 学習で差が減らせるか？)

計算する量
コード

Plaquette (エネルギー密度), Polyakov loop (閉じ込め相転移の秩序変数)
Chiral condensate (カイラル相転移の秩序変数) ⟨ψ ψ⟩
Juliaで書いたコード

AT+ (in prep)(をもとに改造したもの)

DLAP2021

Gauge covariant neural network46

Demonstration

Akio Tomiya

Network: trainable stout (plaq+poly)
arXiv: 2103.11965

全部の ρ が重みOはループ演算子

ニューラルネットの構成(Stout smearingにPolyakov loop+plaq を入れた
回転対称性を減らしてある)Uμ(l+1)(n) = exp(Qμ(l)(n))Uμ(l)(n)ベンチマークなので適当に選んだ。
もっと工夫できる。

UμNN(n)[U] = Uμ(2)(n) Uμ(1)(n)[Uμ(n)][]ニューラルネットでパラメトライズした作用:

Loss function:

Training strategy:

TA: トレースを引く、アンチエルミート化

Sθ[U] = Sg[U] + Sf[ϕ, UθNN[U]; mh = 0.4],

2層のstout smear型
全部で6パラメータ
作用はゲージ場の関数
ニューラルネットとしてパラメトライズ2
1
Lθ[U] =
Sf[U NN [U], ϕ, m = 0.4] − Sf[U, ϕ, m = 0.3] ,2

1.HMC でパラメータを調整 (online training+SDG)
2.固定したパラメータで SLHMC(SLHMCやりながら学習もできるが今回はわけた)

DLAP2021

Gauge covariant neural network47

Demonstration

Akio Tomiya

結果: Loss は学習でちゃんと減ってる
Loss function:

2

1
Lθ[U] =
Sf[U NN [U], ϕ, m = 0.4] − Sf[U, ϕ, m = 0.3] ,2

Prior HMC run (training)

arXiv: 2103.11965

Loss の履歴, ちゃんと減ってる

C: ΩからUを1つ除いた物、共変
Λ: Uの多項式、共変

この値を入れて、SLHMCを実行する
DLAP2021

Gauge covariant neural network48

Demonstration

Akio Tomiya

自己学習HMC: ニューラルネットを使った作用でも厳密
arXiv: 2103.11965 + 統計

エネルギー密度閉じ込め相転移の秩序変数
期待値: 完璧に合ってる

Acceptance = 40%
カイラル相転移の秩序変数
DLAP2021

Gauge covariant neural network

49

Summary and future work 1/2

Akio Tomiya

まとめ: ゲージ対称性を保つニューラルネットの提案とその応用をした
arXiv: 2103.11965• 畳み込みレイヤー = 学習で調整する画像フィルター、対称性を尊重• 共変ニューラルネット = 調整できる”スメアリング”(平滑化)、パラメータによっては平滑化するとは限らない• 学習のために拡張したデルタルールを作成(skipped)。smear機能を持つ既存の格子QCDのコードならすぐに実装可• ゲージ不変なloss function• U(1)ゲージ理論、APE型を考えて格子間隔aで展開、weight sharing をやめる

→ 普通の全結合ニューラルネット(skipped)。普通のニューラルネットの拡張。

• 共変ニューラルネットのニューラルODE = “gradient ow”(ただし、なにかのgradient として書ける必要はない。書けても良い)• 自己学習HMC = HMC+ニューラルネットでパラメータ付した作用を使ったmolecular
dynamics、厳密アルゴリズム。

• トレーニング: 6パラメータしかないが、loss がO(1)に減少。学習できた。
• 自己学習HMC の結果は、HMCの結果と一致。4次元の(フェルミオンの量子効果の入った)
非可換ゲージ理論の正しい配位が作れた

Gauge covariant neural networkfl

DLAP2021

50

Summary and future work 2/2

Akio Tomiya

Possible future works
arXiv: 2103.11965• 共変ネット: どんな関数が近似できるのか。深層化した時に万能近似性を持つか？
• 共変ネット: 機械学習の文脈の応用はないか？ (T. Cohen et al は離散ゲージ対称性を持つデータを使った。
連続ゲージ対称性を持ったタスク？)• 共変ネット: ゲージ配位を細かい配位にコンバートできないか？ ニューラルネットでの画像の高精細化はできる• 共変ネット: (A. Tanaka AT 2016) のように、新たなオーダーパラメータの抽出につかえないか。topologicalchargeの推定もできる(Kitazawa+ 2020)？

• 共変ネット: GAN などを作れる？ RBM化したり、 ow based と組み合わせられるか？
• 共変ネット: AdS/DL 的な解釈を持つか？ ゲージ場を取り扱えるので相性は良さそう。
• 共変ネット: HISQ(Highly improved staggered quark, 2段スメア) よりよい1段階スメアフェルミオンの構成？
• 共変ネット: ニューラルネット~Gradient owとわかった。逆にニューラルネットの解析に場の理論の手法？
(J. Halverson+ 2020 との関係？)。生成分布がわかってるので、loss が厳密にわかるはず。

• SLHMC: SU(N>2) に拡張する。一部実装にSU(2)の特殊性を使ってるがstout と同じようにSU(3)化できる。
• SLHMC: 違うフェルミオン作用の近似(たとえばDW/OV)。ゲージ場作用の方も同じトリックを使えるので改良？

• SLHMC: メトロポリステストの受理率を上げるニューラルネットの構成？
• SLHMC: もっと大きな系でtopological charge を測る。トポロジーを変える作用？
flGauge covariant neural networkfl

DLAP202151

52