物理学における観測と機械学習- 中性子星の事例 福嶋 健二
東京大学大学院理学系研究科物理学専攻
東京大学 知の物理学研究センター (iπ)
June 25, 2020 @ DLと物理学

1

今日ここで議論したいこと
脳の構造を変えずに、教え方でもっと頭を良くするにはどうしたらいいか？
（教師あり学習の話）

June 25, 2020 @ DLと物理学

2

今日ここで議論したいこと
脳の構造を変えずに、教え方でもっと頭を良くするにはどうしたらいいか？
NN構造をどうデザインするか？
背景にある数理的な原理？定式化？
よりシンプルな(少レイヤーの)DNN
June 25, 2020 @ DLと物理学

3

今日ここで議論したいこと
脳の構造を変えずに、教え方でもっと頭を良くするにはどうしたらいいか？
NNのアーキテクチャーを変更せずに訓練データの加工によって学習性能を向上させることはできるか？
June 25, 2020 @ DLと物理学

4

今日ここで議論したいこと
NNのアーキテクチャーを変更せずに訓練データの加工によって学習性能を向上させることはできるか？
訓練データの最適化はたいへん・・・
既存データの生成とプロセス・コスト
を変えずにできないか？
June 25, 2020 @ DLと物理学

5

今日ここで議論したいこと
NNのアーキテクチャーを変更せずに訓練データの加工によって学習性能を向上させたいより速く損失関数が小さくなる
損失関数がより小さくなる (local minimum)
過学習をより微調整なく回避できる
June 25, 2020 @ DLと物理学

6

今日ここで議論したいこと（概念図）
local minimum

損
失
関
数

saddle point

訓練データ

評価データ
（過学習）

（より速くより小さく）

学習ステップ（エポック／ミニバッチ）
June 25, 2020 @ DLと物理学

7

今日ここで議論したいこと（傾向：訓練データを固定したとき）NNが単純すぎるとlocal minimumやsaddle pointにつかまりやすい
NNが複雑すぎると表現能力が高すぎて過学習しやすい
June 25, 2020 @ DLと物理学

8

今日ここで議論したいこと（傾向：訓練データを固定したとき）NNを複雑化するのが手っ取り早い・・・
訓練データ生成は計算コストが大きい（NNを計算コスト削減に使いたかったりする）

NNが複雑すぎると表現能力が高すぎて過学習しやすい
June 25, 2020 @ DLと物理学

9今日ここで議論したいこと
どうしてこんなことを考えるのか物理でないデータとの違い
well-definedな正解はもともと存在していない
Aさんの6はBさんの0かも？
（cf. 教師なし学習）(MNIST)
June 25, 2020 @ DLと物理学

10今日ここで議論したいこと
どうしてこんなことを考えるのか物理でないデータとの違い人工的に「正解」から程よく揺らいだ訓練データを生成できるか？「正解」の定義や揺らがせ方に強い依存性(MNIST)
June 25, 2020 @ DLと物理学

11今日ここで議論したいこと
どうしてこんなことを考えるのか物理で扱うデータの特性ある（原理的な）正解の周りで精度保証
されて揺らいだ観測データを扱う
中性子星の事例をすぐ後で紹介します
誤差
誤差

非線型写像
June 25, 2020 @ DLと物理学

12今日ここで議論したいこと
どうしてこんなことを考えるのか

物理でのNN応用の現状
（時短）
非線型写像

（分類）
非線型写像
June 25, 2020 @ DLと物理学

（診断）
13

今日ここで議論したいこと
どうしてこんなことを考えるのか

物理でのNN応用の現状
（時短）
非線型写像
物理で扱うデータの特性をまだ十分に深堀りできていないのではないか？
非線型写像
June 25, 2020 @ DLと物理学

（分類）
（診断）
14

今日ここで議論したいこと
2019年3月の学会にて（機械学習シンポ）
議論（2）
コピーをたくさん作って適当に揺らがせたデータで訓練すると学習が速く進む（適当に間違った教材を”たくさん”使って勉強した人が速く賢くなる？）学習 = 極小をさけ最小をみつける（狭く深い最小 = 過学習をさける）

訓練データの初期揺らぎ
揺らぎで

極小を回避

損失関数

量子力学（経路積分）の時間発展に似ている？

March 16, 2019 @ 学会 in 福岡

1年前に学会で述べた
speculationについて数値実験してみた結果を専門家である
聴衆の皆さんと議論したい19

June 25, 2020 @ DLと物理学

15

高エネルギー物理での応用事例【クォークグルーオンプラズマ現象論】
L.-G. Pangのスライドより相転移の分類:EB ME PB PQOR QROB FP BK LABA FK QEB BSLIRQFLK EFPQLOV⌧ = 0.4 fm⌧ = 1.9 fm⌧ = 3.7 fm⌧ = 6.7 fm

?

?

•

The space-time evolution histories are visually clearly seen for two EoSs.

•

Whether we can see the differences in final particle spectra?

•

Whether deep neural network can decode the phase transition type from complex
output of heavy ion collisions?

June 25, 2020 @ DLと物理学
LongGang Pang

16

Exploring the quantum chromodynamics phase transition with deep learning 28

year. A true instance of Big
ope to catch glimpses of new

n
e
s
p

most image recognition tasks. We apply a deep convolutional architecture to Jet Images, andperform model selection. Below, we visualize a simple architecture used to great success.

高エネルギー物理での応用事例

ra, with events captured as
eural Networks in Computerents in new ways.

We found that architectures with large filters captured the physics response with a higher level ofaccuracy. The learned filters from the convolutional layers exhibit a two prong and location based
structure that sheds light on phenomenological structures within jets.
ReLU

tor【ジェットの識別】

Dropout

ReLU

Dropout

Local
Response
Normalization

Fully
Connected
ReLU Unit

内部構造の診断at the LHC. The 100 million
40 million times per second.
camera in cylindrical space.

Jets as Images

11

Jet ImageM. Kaganのスライドより抜粋
Boosted Boson Type Tagging
Jets at the LHC

Jet-Images and Computer Vision3

Jet ETmiss
Generic
slide GoingEven
moreoverview
non-linearity:
Jet Deep
Convolution

Max-Pool

Convolution

Max-Pool

Boosted• ABoson
Typeof Tagging
jet induces a distributionenergy over 2 − 4Calorimeter

14

FlattenJet Image-32-

Convolved
EssentiallyhowenergyfromSchartzmana jet is seen by calorimeters
Benjamin– Nachman
and
Ariel
FeatureLayersConvolutions
Jet
ETmiss• Jet-image– fixed size
2D representation of the jet
SLAC, Stanford
University
as a distribution of energy– Can make use of the full power of Computer Vision!

March 26,
Benjamin Nachman
and2014
Ariel Schartzman

3xFC

logistic

SLAC, Stanford University

Ssv

March 26, 2014 Max-Pooling
Image from B. Nachman

W’→ WZ event

B. Nachman (SLAC)

ages

Boosted Boson Type Tagging

March 26, 2014

1 / 21

Repeat3x Repeat

grid that allows for an imagee deposited in pixels in (η, φ)ities in a greyscale analogue.
group [JHEP 02 (2015) 118],n and computer vision.. We
alize each image, as is often
e in pixel intensities.

arXiv:1511.05190

Jet-image based
developmentslearning(not complete)
Apply
deep
techniques on jet images! [3]

標準的な方法として市民権を獲得している
Cogan et al.(SLAC)
1407.5675 (W-tagging)
B. J.
Nachmanconvolutional nets are aLearning
standard image
Visualizing
processing technique; also consider maxout
Boosted Boson Type Tagging

L. De Oliveira et al. 1511.05190 (W-tagging)
P. Baldi et al. 1603.09349 (W-tagging)
J. Barnard et al. 1609.00607 (W-tagging)
P. Komiske et al. 1612.01551 (q/g-tagging)
L. de Oliveira et. al. 1701.05927 (jet-image GAN)
G. Kasieczka et al. 1701.08784 (top-tagging)
K. Fraser et al. 1803:08066 (jet charge, q/g-tagging)

March 26, 2014

1 / 21

CNNの他、ジェットのシークエンス解析にRNN
Below, we have the learned convolutional filters (left) and the difference in between the averages to distinguish between asignal and background image after applying the learned convolutional filters (right). This novel
difference-visualization
techniquehelps understand what the network learns.
June 25, 2020
@ DLと物理学
17md

高エネルギー物理での応用事例【場の量子論の数値シミュレーション】
M. Chernodubの最近の仕事より

計算高速化
4

4

Casimir energy – deformed circles in (2+1)dCasimir energy – deformed circles in (2+1)d

2

4

2

45

5

3

3

1

1

Mean action – deformed circles in 2d

Mean action – deformed circles in 2d

3

2

2

3

4

4

5

5

1
FIG. 1. (left) The neural network used to predict the Casimirenergy ES for the static boundary S placed at the spatial
L ⇥ L lattice cross-section of the 3d model. The size of theof eachlayer used
is indicatedon thetheleft.Casimir
The same network
FIG. 1. (left) Theinputs
neuralnetwork
to predict
is employed for the mean action in the 2d model. (right)
energy ES for thestatic boundary S placed at the spatial
The examples of the quasi-parallel, corrugated lines used for
L ⇥ L lattice cross-section
the 3d model. The size of the
training andofprediction.

1
FIG. 2. Learning curves for (top) the Casimir energy ES in 3dand (bottom) the mean action hSi in 2d scalar
June 25, 2020scalar@ modelDLと物理学
model for the set of the deformed circles at 255 and 256

inputs of each layer is indicated on the left. The same network
is employed for the mean action in the 2d model. (right)(255, 255)

(256, 256)2

3

lattices, respectively. The inset histograms confront, statisti-

FIG. 2. Learning(top) theCasimir ofenergyES in 3dcally, the curves
real vs. forpredicted
distributions
the Casimirener(bottom)
the formean
actionhSisets,
in 2d
scalargies Eandactions hSi,
the 3dand 2drespectively.
(512,scalar512) model
S and

18

高エネルギー物理での応用事例
3【中性子星の状態方程式(EoS)構築】

8

2. EoS (“Ours”
drawnstars.
by blue Theline) deduced from the experimental data of 14 neutron stars as. 1. (Left) Contour plot of the distributions of M and R forFIG.
observed
14 neutron

Fujimoto-Fukushima-Murase:
shown in Fig. 1. The 1711.06748
light red and blue shades represent[nucl-th]
our 68% credibility band (“validation” anded regions are encircled by probability contours of 1 (i.e., 68.27%).a (Right) Two represen-

Fujimoto-Fukushima-Murase:
1903.03400 [nucl-th]
candidates, the EFT prediction and results inferred from Bayesian methods (Steiner et al. [20“10 NNs”) evaluated in di↵erent ways; see Sec. II D for the precise meaning. Phenomenological EoS

ves of the neutron star data on the R-M plane.

and Özel & Freire [3]) are overlaid for reference. The former [20] represents 68% CL, and thehe original data is downloadable from http://xtreme.as.arizona.edu/NeutronStars/.
latter [3] shows the contour of eJune 25, 2020
@ DLと物理学

1 of the maximum likelihood.

19

Here, we propose a new method to utilize the neural network in the deep learning machin-

M -R curves corresponding to the EoSs in Fig. 2. We see that our deduced EoS (blue curve)

高エネルギー物理での応用事例
3【中性子星の状態方程式(EoS)構築】

8

誤差のついた観測データから誤差のついた結果

2. EoS (“Ours”
drawnstars.
by blue Theline) deduced from the experimental data of 14 neutron stars as. 1. (Left) Contour plot of the distributions of M and R forFIG.
observed
14 neutron

shown in Fig. 1. The light red and blue shades represent our 68% credibility band (“validation” anded regions are encircled by probability contours of 1 (i.e., 68.27%).a (Right) Two represen-を推定したい（多くの物理に共通の問題）

ves of the neutron star data on the R-M plane.

“10 NNs”) evaluated in di↵erent ways; see Sec. II D for the precise meaning. Phenomenological EoS
candidates, theEFT prediction and results inferred from Bayesian methods (Steiner et al. [20and Özel & Freire [3]) are overlaid for reference. The former [20] represents 68% CL, and thehe original data is downloadable from http://xtreme.as.arizona.edu/NeutronStars/.
latter [3] shows the contour of eJune 25, 2020
@ DLと物理学

1 of the maximum likelihood.

20

Here, we propose a new method to utilize the neural network in the deep learning machin-

M -R curves corresponding to the EoSs in Fig. 2. We see that our deduced EoS (blue curve)

高エネルギー物理での応用事例
3【中性子星の状態方程式(EoS)構築】

8

誤差のついた観測データから誤差のついた結果

2. EoS (“Ours”
drawnstars.
by blue Theline) deduced from the experimental data of 14 neutron stars as. 1. (Left) Contour plot of the distributions of M and R forFIG.
observed
14 neutron

shown in Fig. 1. The light red and blue shades represent our 68% credibility band (“validation” anded regions are encircled by probability contours of 1 (i.e., 68.27%).a (Right) Two represen-↑入力の不確かさ

ves of the neutron star data on the R-M plane.

↑出力の確かさ“10 NNs”) evaluated in di↵erent ways; see Sec. II D for the precise meaning. Phenomenological EoS
candidates, theEFT prediction and results inferred from Bayesian methods (Steiner et al. [20and Özel & Freire [3]) are overlaid for reference. The former [20] represents 68% CL, and thehe original data is downloadable from http://xtreme.as.arizona.edu/NeutronStars/.
latter [3] shows the contour of eJune 25, 2020
@ DLと物理学

1 of the maximum likelihood.

21

Here, we propose a new method to utilize the neural network in the deep learning machin-

M -R curves corresponding to the EoSs in Fig. 2. We see that our deduced EoS (blue curve)

高エネルギー物理での応用事例
3【中性子星の状態方程式(EoS)構築】

8

ひとつのアプローチ：確率分布をパラメトライズ

2. EoS (“Ours”
drawnstars.
by blue Theline) deduced from the experimental data of 14 neutron stars as. 1. (Left) Contour plot of the distributions of M and R forFIG.
observed
14 neutron

shown in Fig. 1. The light red and blue shades represent our 68% credibility band (“validation” anded regions are encircled by probability contours of 1 (i.e., 68.27%).a (Right) Two represen-

cf. Bayesian解析 /（制限）ボルツマンマシン

ves of the neutron star data on the R-M plane.

“10 NNs”) evaluated in di↵erent ways; see Sec. II D for the precise meaning. Phenomenological EoS
candidates, theEFT prediction and results inferred from Bayesian methods (Steiner et al. [20and Özel & Freire [3]) are overlaid for reference. The former [20] represents 68% CL, and thehe original data is downloadable from http://xtreme.as.arizona.edu/NeutronStars/.
latter [3] shows the contour of eJune 25, 2020
@ DLと物理学

1 of the maximum likelihood.

22

Here, we propose a new method to utilize the neural network in the deep learning machin-

M -R curves corresponding to the EoSs in Fig. 2. We see that our deduced EoS (blue curve)

高エネルギー物理での応用事例
3【中性子星の状態方程式(EoS)構築】

8

確率分布：Fokker-Planck的2. EoS (“Ours”
drawnstars.
by blue Theline) deduced from the experimental data of 14 neutron stars as. 1. (Left) Contour plot of the distributions of M and R forFIG.
observed
14 neutron

shown in Fig. 1. The light red and blue shades represent our 68% credibility band (“validation” anded regions are encircled by probability contours of 1 (i.e., 68.27%).a (Right) Two represen-→ 我々のアプローチ：Langevin的 (数値計算に有利)

ves of the neutron star data on the R-M plane.

“10 NNs”) evaluated in di↵erent ways; see Sec. II D for the precise meaning. Phenomenological EoS
candidates, theEFT prediction and results inferred from Bayesian methods (Steiner et al. [20and Özel & Freire [3]) are overlaid for reference. The former [20] represents 68% CL, and thehe original data is downloadable from http://xtreme.as.arizona.edu/NeutronStars/.
latter [3] shows the contour of eJune 25, 2020
@ DLと物理学

1 of the maximum likelihood.

23

Here, we propose a new method to utilize the neural network in the deep learning machin-

M -R curves corresponding to the EoSs in Fig. 2. We see that our deduced EoS (blue curve)中性子星の物理【原子核＝陽子・中性子の多体系】
Fe~Niが最も安定
中心部の密度ほぼ一定（飽和）
標準核密度 ⇢0 ' 2.7 ⇥ 1017 kg/m3

重い原子核は核分裂<latexit sha1_base64="D39m7XOC2xQTN1GieIr7wtV4Qgw=">AAACknichVG7ThtBFD1sgBCHgElSRKJZxSJKg3MXIjkijcFNCgrAGJBYsHY3gxl5X+yOLZGVf4CWgoIqSChCfAFtaPIDKfiEiNJINClyvV4pSlDCHc3MmTP33DkzY4eujBXR1YD2YHBo+OHIo9zj0Sdj4/mJp2tx0IocUXMCN4g2bCsWrvRFTUnlio0wEpZnu2LdblZ6++ttEcUy8FfVfii2PKvhyx3pWIqpen7ajHaDOulmLD2xp88US6ZiFOsGbSdGqWO+T8zI05uNN972bKeeL1CR0tDvAiMDBWSxFOS/wMRHBHDQggcBH4qxCwsxt00YIITMbSFhLmIk032BDnKsbXGW4AyL2SaPDV5tZqzP617NOFU7fIrLPWKljin6TmfUpW90Tj/o5z9rJWmNnpd9nu2+VoT18YMX1dt7VR7PCru/Vf/1rLCDd6lXyd7DlOndwunr25+OutW5lankFZ3QNfv/TFd0yTfw2zfO6bJYOUaOP8D4+7nvgrWZojFbpOW3hfJC9hUjmMRLvOb3LqGMD1hCjc89xAW+4lJ7rs1p81qln6oNZJpn+CO0xV+GmpmY</latexit>【中性子星＝超巨大原子核】
中心部の密度⇢ & 5⇢0

重力で束縛
静水圧条件で構造決定
重力と圧力の釣合い<latexit sha1_base64="I670y3B0UL9kE8gj6bkVmTWPl50=">AAACeXichVHLSsNAFD2N7/qqj4XgploUcVFufaC4Et24bNWqYKUkcazBvEimBS3+gD/gwo0KItXPcOMPuOgniEsFF7rwJg2IinpDZs49c8+dMzOaaxq+JKrHlKbmlta29o54Z1d3T2+ir3/Dd8qeLvK6Yzrelqb6wjRskZeGNMWW6wnV0kyxqR0sB+ubFeH5hmOvy0NX7FhqyTb2DF2VTBUTgwVv30kWSpJLrORskBWpmEhRmsJI/gSZCKQQRdZJXKOAXTjQUYYFARuSsQkVPn/byIDgMreDKnMeIyNcFzhGnLVlrhJcoTJ7wGOJs+2ItTkPevqhWuddTP49ViYxRg9Uo2e6p1t6pPdfe1XDHoGXQ561hla4xd6TobXXf1UWzxL7n6o/PUvsYT70arB3N2SCU+gNfeXo9HltYXWsOk6X9MT+L6hOd3wCu/KiX+XE6hni/ACZ79f9E2xMpTPTacrNpBaXoqdoxzBGMcH3PYdFrCCLPO97hHPUcBN7U0aUCWWyUarEIs0AvoQy/QEdtZGx</latexit>

June 25, 2020 @ DLと物理学

24中性子星の物理
M-R関係

密度 ρ

１対１対応

中心部の密度を

質量 M

圧力 p

状態方程式

媒介変数にした
曲線を描く

半径 R

中性子星の物理の専門家になると計算しなくてもM-R関係を見ただけで、元の状態方程式の性質を推定できるようになる（つまり経験的に学習する）
June 25, 2020 @ DLと物理学

25

中性子星の物理
M-R関係

密度 ρ

１対１対応

中心部の密度を

質量 M

圧力 p

状態方程式

媒介変数にした
曲線を描く

半径 R

「学習」を専門家でなく機械にさせたい

June 25, 2020 @ DLと物理学

26

中性子星の物理

密度 ρ

１対１対応

尤もらしい答え

質量 M

M-R関係

圧力 p

状態方程式

観測データは有限個＋誤差半径 R
限られた観測データ

Bayesian解析が威力を発揮
June 25, 2020 @ DLと物理学

27

Bayesian解析について
ベイズの定理規格化

P (A|B)P (B) = P (B|A)P (A)
観測のもとでのLikelihood

prior
モデル

EoSの確率分布

観測数(中性子星の数)が増えればLikelihoodが中心極限定理で鋭い関数になりprior依存性は消える・・・が現状ではprior依存性はかなり大きい
June 25, 2020 @ DLと物理学

28

１ 対 ns(>1) 対応

（雑音）

半径 R

質量 M

（正解）

質量 M

圧力 p

（劣化）

半径 R

ランダム状態方程式
ひとつ生成する

密度 ρ

質量 M

我々(藤本・福嶋・村瀬）のアイデア

半径 R
エラーバー程度に揺らいだデータを
ns 個生成するJune 25, 2020 @ DLと物理学

29

１ 対 ns(>1) 対応

質量 M

我々(藤本・福嶋・村瀬）のアイデア
（劣化）
（雑音）

計算コストなし

質量 M

圧力 p

（正解）

半径 R
密度 ρ
主な計算コスト

質量 M

半径 R

ランダム状態方程式
ひとつ生成する

半径 R
エラーバー程度に揺らいだデータを
ns 個生成するJune 25, 2020 @ DLと物理学

30

我々(藤本・福嶋・村瀬）のアイデア対応するM-R関係

正解の状態方程式10 0

10 - 1

を

ではなくて

2

1

10 - 20.1

M / M⊙

p / ρc2

3

0.2

0.5

1

ρc2 [GeV/fm3 ]

0

10

12

14

16

R [km]

評価データによる検証

その周りでサンプリングしたデータ

10 0

2

から推定

1

0

p / ρc2

M / M⊙

3

10 - 110 - 2
10

12

14

0.1

16

0.2

0.5

1

ρc2 [GeV/fm3 ]R [km]

Fujimoto-Fukushima-Murase (2018)
June 25, 2020 @ DLと物理学

31

M -R curves are reconstructed well similarly to exam
discussed above. To quantify the overall reconstrucaccuracy, we calculated the root mean square (RMS
radius deviations using 196 validation data for sev
masses as shown in Tab. II. We defined the RMS fromdeviations between not the observational data points
the genuine and reconstructed M -R relations (i.e.
tances between the solid and the dashed lines in Fig
FIG. 3. Two examples of the randomly generated EoSs
that is, R(M ) = R(rec) (M ) R(0) (M ). The RMS(dashed lines) and the machine learning outputs (solid lines)
ues in Tab. II are around ⇠ 0.1 km for all masses!
reconstructed from one observation of 15 M -R points [seeindicates that our method works surprisingly goodFig. 4 for actual (Mi , Ri )].
memberthat data points have random fluctuation3
R ⇠ 0.5 km. It should be noticed that, even wit
neutron stars around M = 0.6–0.8M in our setup,100
RMS of the corresponding radii are still reconstru
3
within the accuracy of the order ⇠ 0.1 km.

我々(藤本・福嶋・村瀬）のアイデア（計算の詳細：正解の分かっている検証実験）
Layer index Nodes Activation
0
1
2
3
4

30
60
40
40
5

N/A
ReLU
ReLU
ReLU
tanh

T

p / ρc2

M / M⊙

Finally, let us comment on the relation to Bayem2
10-1 analysis using symbolic notations. In our analysi
parametrized the EoS by ✓ := {c2s,i }, which spansrameter space ⇥, and generated EoSs by a probab
1
distribution Pr(✓). Then, we sampled D = {(Mi ,M
TABLE I. Our neural network design in this work. In the
zeroth layer 30 nodes correspond to input 15 points of the
10-2 by an observational distribution, Pr(D|✓) for eachd
The neural network is a function f to obtain an EoSaf
mass and the radius. In the last layer 5 nodes correspond to0data points, i.e. f (D|W ) 2 ⇥, where W represents
5 output parameters of the EoS.
r
10
12
14
16
0.1
0.2
0.5
1
s
fitting parameters. The training is actually a procesm
R [km]
minimize the following
loss 3function:
ρc2 [GeV/fm]
din this work.
Zt
FIG. 4. Randomly sampled 15 data points and the M -R relat
h`[f
]i
=
d✓dD
Pr(✓)
Pr(D|✓)`(✓,f(D)).
For numerics we make use of a Python library,tions with the reconstructed EoS (solid lines) and the original
FIG.
3.(dashed
Two examples of the randomly generated EoSs
t
FIG.
2.
Loss
function
estimatedforthetraining
data
Keras [22] with TensorFlow [23] as a backend. The design
EoS (dashed lines). The red and blue colors correspond to two(dashed lines)
and the machine learning outputs (solid lines)ulines)
andthevalidationdata(solidlines)
asfunctions
of
the
EoSs
shown
with
the
same
color
in
Fig.
3.
of our neural network is summarized in Tab. I. Our purHere,translate Bayesiananalysisfrom letoneusobservationof 15 M -R
pointsinto[seethe ain
epoch. The observation number is denoted byreconstructedns .
pose is to construct neural network that can give us one
language.
Ini )].Bayesian analysis a prior distributio
Fig. 4 for actual(Mi , REoS in the output side in response to one observation,
the EoS is assumed to be Pr(✓). The posterior EoSm

訓練データ
200 x 100 (n )疑似発生した観測データ → EoS推定 → MRに戻す(破線)→ 正解と比較する(実線)4(Mi , Ri ) (i = 1, . . . 15) in the input side. Thus, inthetribution is obtained by Bayesian updating; Pr(✓|D
observationfromthe genuine
M -R
ingwithdata.error
Thedeviations
red solid anddashedlines show
the resultsnzeroth layer 30 nodes should match 15 M -R points (30in- (which is shown by the dashed lines). Thus, eachPr(✓) Pr(D|✓). To determine the most likely EoS, we
relationwith ns = 100, i.e. 194800 data set, where ns is the obput data). For the practical reason we sort 30 data points
use the MAP (maximum a posteriori) estimator, R
set of 15 points
is considered
as mock
the neutronservation
number per
EoS. data
The ofdashedline is the lossw
by their masses in ascending order. The output nodes
star observation.
thetraining
neural network
learns throughfunctionSince
for thedata minimized
through learnf
(D)
=
arg
max
[Pr(✓)
Pr(D|✓)].
for the prediction target in the last layer correspondtoMAP
the training
errors,ing,data
andthatthe thesolidobservationline is the contains
loss function
forthethe valida✓
5 (sound velocity) parameters characterizing an EoS.
We likely EoS is reconstructed from one observation ofamosttion data showing the performance of neural network. We
find that the learning proceeds faster if data are normal15 pointsmonitor
with errors.
Thehistory
reconstructed
EoSs are overde- epochs,
This can be interpreted as an approximation of fp
the wholeof these quantities
ized appropriately; we use Mi /Mnorm and Ri /Rnormpictedwith by solid lines in Fig. 3. We can see that the rer
minimizes Eq. (3). This means that machine learningwhich is useful to judge when the training is optimally
Mnorm = 3M and Rnorm = 20 km.
dconstructed
EoSs agree
well withWe
theseeoriginal
EoSs
compasses
Bayesian analysis as a particular limit. He
stoppedbeforequite
overfitting.
that thetrainingisb
We choose the activation function at the output for
layer
these
examples.
It
would
also
be interesting
to makein Fig.
an 2.
advantage of machine learning over Bayesianana
June25, 2020@ 10
DLと物理学32
completedwithinepochsfor this exampleTas (4) (x) = tanh(x) since the speed of sound is aautocomparisonof the-R relations
to the bylies
For thetestM
purposeto see corresponding
the efficiency improved
ns in, the direct design of the loss function or optim
dmatically bounded in [0, 1]. For other layers we choose
original andreconstructed
EoSs.
solid
and
we alsoshow results
withThens =1 by
thedashedblue solidtion
andtarget, suited for problems under consideration.
fi
the ReLU, i.e. (k) (x) = max{0, x} (k = 1, 2, 3), which

Mass (M ) 0.6 0.8 1.0 1.2 1.4 1.6 1.8
RMS (km) 0.16 0.12 0.10 0.099 0.11 0.11 0.12

簡単に性能を出せたので驚いた・・・

TABLE II. Root mean square of radius deviations for fixedmasses.

我々(藤本・福嶋・村瀬）のアイデア
Bayesian解析との比較
事前確率 (prior) 依存性はどこに？
EoSを特徴付けるパラメータのランダムな選び方観測された中性子星の数が極端に少なかったら学習の効果が少なく出力されるEoSは初期値の分布の影響 (prior依存性) を強く受ける損失関数の選び方も不定性の起原
困難保存の法則
June 25, 2020 @ DLと物理学

33

我々(藤本・福嶋・村瀬）のアイデア
6（計算の詳細：実際の観測データを用いた解析）
4

Layer

Number of neurons Activation function

0 (Input)

56

N/A

1

60

ReLU

2, 3

40

ReLU

4 (Output)

5

tanh

Our neural network architecture in this work. In the input layer 56 neurons correspond

訓練データ
rrespond to 5 parameters of the EoS.
500 x 100 x 100 (ns)ters of 14 points of the mass, the radius, and their variances. In the output layer 5

the activation function at the output layer as(4)

14個の中性子星の(x)= tanh(x),so that theregions are encircled by probability contours of 1 (i.e., 68.27%). The original data is downloadable

FIG. 2. Contour plot of the distributions of M and R for observed 14 neutron stars. The shaded

FIG. 2. EoS (“Ours” drawn by blue line) deduced from the experimental data of 14 neutron starfrom http://xtreme.as.arizona.edu/NeutronStars/.
ocity automatically satisfies the causal bound. For hidden
layers 観測の1σ領域
the activation
shown in Fig. 1. The light red and blue shades represent our 68% credibility band (“validation”

s the ReLU, i.e.,(k)(x) = max{0, x} (k = 1, 2, 3), which
is known to evade theNNs”)
evaluatedin di↵erent ways; see Sec. II D for the precise meaning. Phenomenological Eof M and R consist of what is called an M -R relation. The“10mapping
betweenthe M -R

relation and the EoS is in one-to-one correspondence [24], andcandidates,
the precision theand accuracy
EFT prediction and results inferred from Bayesian methods (Steiner et al.
gradient problem and a standard choice in deep learning[34]. We implement the入力(観測)の誤差は訓練データのノイズコピー
of experimental M -R data are expected to improve (see Ref. [25]), so that the EoS can be

ion by the mean square logarithmic errors (msle). The
optimization
method ofconstrained
better in the future.

and Özel & Freire [3]) are overlaid for reference. The former [20] represents 68% CL, andlatter [3] shows the contour of e 1 of the maximum likelihood.

In the past
several years
a parallel avenue of the progress has taken place with theis Adam [35] with the batch size 1000. We initialized neuralnetworkparameters
Bayesian analysis [26–29]. Now, the Bayesian analysis is one of the standard methods to

出力(推定)の誤差はどうやって評価するか？

Glorot uniform distribution [36].

infer physics information from experimental observations, which
to notonly theM is-Rapplied
curvescorresponding
to the EoSs in Fig. 2. We see that our deduced EoS (blue cur
M -R relation of the neutron star but also the detection of gravitational waves [30]. The

certainly supports massive neutron stars above two solar mass [43–45].

theory of the analysis is firmly founded on the Bayes theorem. In the Bayesian inference theD.

posterior probability, which is what we want to know finally, is given by a convolution of the
Uncertainty estimate from credibility of reproducibility
likelihood function and the prior distribution. If the number of available observational data

June 25, 2020 @ DLと物理学

is sufficiently large, the likelihood would be well localized such that the choice of the priorstrategy we took care of the probability distribution in the observational side

the deduced EoS also has such a probability distribution around the most likely

B.

Discussions

34

One may want to know why the uncertainty band of our deduced EoS looks such narr

我々(藤本・福嶋・村瀬）のアイデア
出力(推定)の誤差はどうやって評価するか？
専門家に質問 → それは今後研究したい
でも我々は今すぐ答えが欲しい・・・
ひとつの知られている方法：Bootstrap法
異なる訓練データセットから独立な予測モデルを複数構成して出力の揺らぎから信頼幅を推定する※ Bootstrap法は重複を許してランダムに再標本化するサンプリング方法のこと (信頼幅推定は用途)
June 25, 2020 @ DLと物理学

35

我々(藤本・福嶋・村瀬）のアイデア
出力(推定)の誤差はどうやって評価するか？
8
Bootstrapで得られる信頼幅は
ひとつの枠組みの中での出力の再現性の確からしさを表す
constraintが弱ければ乱数的に大きく揺らぐはずなので指標として悪くない・・・気がする
物理では統計誤差と系統誤差がある

oS (“Ours” drawn by blue line) deduced from the experimental data of 14 neutron stars as

系統誤差は(かなり)過小評価している可能性あり

Fig. 1. The light red and blue shades represent our 68% credibility band (“validation” and) evaluated in di↵erent ways; see Sec. II D for the precise meaning. Phenomenological EoSs, theJune 25,2020(Steiner@ DLと物理学
EFT prediction and results inferred from Bayesian
methods
et al. [20]& Freire [3]) are overlaid for reference. The former [20] represents 68% CL, and the36今日ここで議論したいこと
Fujimoto-Fukushima-Murase (2018)

過学習
過学習を回避June 25, 2020 @ DLと物理学

37

今日ここで議論したいこと【簡単な用語の復習】
学習：損失関数を勾配に沿って落としていく
勾

バッチ学習：訓練データを全部使って計算

配（時間がかかる）計オンライン学習：訓練データひとつずつ計算

算
方法（揺らぎが大きい）
ミニバッチ学習：訓練データからランダムにミニバッチを選んで計算

エポック：訓練データ全体を使った１プロセス
June 25, 2020 @ DLと物理学

38

今日ここで議論したいこと
Fujimoto-Fukushima-Murase (2018)

訓練データのサイズが100倍になると1エポックに100倍の学習過程が含まれている

過学習
過学習を回避注目したいもの

June 25, 2020 @ DLと物理学

39

今日ここで議論したいこと【物理屋の発想】
ほとんど自明とも言える最もシンプルな状況設定を使ってアイデアをテストする
・inputもoutputも1変数・関数フィットの問題（雰囲気はスペクトル
関数っぽくして・・・）
・劣化＋雑音は手で処理
f (x) = (10x2

6x3 + x4 ) e x
June 25, 2020 @ DLと物理学

40

今日ここで議論したいこと【物理屋の発想】
ほとんど自明とも言える最もシンプルな状況設定を使ってアイデアをテストする
結構local minimumに落ちる
ReLuは全然ダメ(dying ReLu)
sigmoidの方がずっとよい
我々はLeaky ReLuを使う
f (x) = (10x2

6x3 + x4 ) e x
June 25, 2020 @ DLと物理学

41

今日ここで議論したいこと【物理屋の発想】
物理の問題ではf(x)の計算コストが高い
プロトタイプで時間をかけず試行・実験
結構local minimumに落ちる
ReLuは全然ダメ(dying ReLu)
sigmoidの方がずっとよい
我々はLeaky ReLuを使う
f (x) = (10x2

6x3 + x4 ) e x
June 25, 2020 @ DLと物理学

42

今日ここで議論したいこと【わざと過学習を起こす設定にしておく】
１層だとlocal minimumに落ちる○
x○ ２層だとほぼフィットできるy

隠れ層
1-2-2-1: 13パラメータ
1-4-4-1: 33パラメータ
1-9-9-1: 118パラメータ

訓練データが十分ないと過学習“極端”な状況設定
ランダムなxを20個えらぶ → f(x)を計算（計算コスト大）それぞれのxにランダムノイズdxをのせる
June 25, 2020 @ DLと物理学

43

今日ここで議論したいこと【わざと過学習を起こす設定にしておく】“極端”な状況設定
ランダムなxを20個えらぶ → f(x)を計算（計算コスト大）それぞれのxにランダムノイズdxをのせる
ns個のランダムdxで訓練データかさ増し（計算コストゼロ）
中性子星のとき観測誤差を扱った方法のモデル化

June 25, 2020 @ DLと物理学

44

今日ここで議論したいこと【わざと過学習を起こす設定にしておく】
1-4-4-1で過学習した場合

June 25, 2020 @ DLと物理学

45

今日ここで議論したいこと【わざと過学習を起こす設定にしておく】

Loss

1-4-4-1で過学習した場合
0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0

Test (ns=100)
Train (ns=100)
Test (ns=1)
Train (ns=1)

・100回訓練した平均
・実際はns=5程度で十分・横軸はエポックではない

過学習
を抑制！
1

10

100 1000 100001000001x106#BatchJune 25, 2020 @ DLと物理学

46

今日ここで議論したいこと【物理屋らしくもっと極端な設定にする】

Loss

1-9-9‒1で酷い過学習した場合
0.55
0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0

Compare ns
Normal (ns = 1)
ns = 10ns = 100

NN1991, nbase = 20
Dashed: train loss
1

10

100

1000 10000 100000 1x106#BatchJune 25, 2020 @ DLと物理学

47

今日ここで議論したいこと

Loss【物理屋らしくもっと極端な設定にする】
0.65
0.6
0.55
0.5
0.45
0.4
0.35
0.3
0.25
0.2

Compare ns
Normal (ns = 1)
ns = 10ns = 100

他のグラフでは幅は平均値の幅を示す
このグラフでの幅は標準偏差を表す
過学習が抑えられると平均だけでなく個別でも大きく外すことがない

1

10

100

1000 10000 100000 1x106#BatchJune 25, 2020 @ DLと物理学

48

今日ここで議論したいこと【物理屋らしくもっと極端な設定にする】
過学習すると何が起きるのかOvertting (Normal)
2.5

Original
NN #0

2
1.5

1.5

1

1

0.5

0.5

0

0

-0.5

0

2

4

6

8

Original
NN #1

2

y

y

Overtting (Normal)
2.5

-0.5

10

0

2

4

x

Original
NN #2

0

2

4

8

10

Overtting (Normal)yyOvertting (Normal)
2
1.8
1.6
1.4
1.2
1
0.8
0.6
0.4
0.2
0
-0.2

6
x

6

8

10

2
1.8
1.6
1.4
1.2
1
0.8
0.6
0.4
0.2
0

Original
NN #3

0

2

x

4

6

8

10

x

June 25, 2020 @ DLと物理学

49

今日ここで議論したいこと
dxの揺らぎはbの揺らぎと等価

fi (W i · xi + bi )W i · (xi + xi ) + bi

= W i · xi + (W i · xi + bi ){Wi, bi}はもともと乱数的に発生していたのでは？
（学習は{Wi, bi}の初期値に強く依存する）
Heの初期化 / Xavierの初期化
June 25, 2020 @ DLと物理学

50

今日ここで議論したいこと
dxの揺らぎはbの揺らぎと等価

fi (W i · xi + bi )W i · (xi + xi ) + bi

= W i · xi + (W i · xi + bi )パラメータの初期化は学習の最初だけdxによる揺らぎはミニバッチ毎（勾配計算毎）
ミニバッチ毎に{Wi, bi}を揺らがせたらどうなるか？
June 25, 2020 @ DLと物理学

51

今日ここで議論したいこと
0.55
0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0

Compare ns
Normal (ns = 1)
ns = 10ns = 100

Loss

Loss

ミニバッチ毎に{Wi, bi}を揺らがせたらどうなるか？

NN1991, nbase = 20
Dashed: train loss
1

10

100

1000 10000 100000 1x106#Batch

0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0

Compare ns
NormalNoised (W1,b1)  = 0.2
Noised (W1,b1)  = 0.4

NN1991, nbase = 20
Dashed: train loss
1

10

100

1000 10000 100000 1x106#Batch１層目の{W, b}を揺らがせるとほぼ同じ結果を得る（全ての層の{W, b}を揺らがせるとさらに少し改善）
June 25, 2020 @ DLと物理学

52

今日ここで議論したいこと
ほぼコストゼロで乱数的に訓練データを複製
NNのbの揺らぎを「外から」コントロールできる

脳の構造を変えずに、教え方でもっと頭を良くするにはどうしたらいいか？
部分的に達成できた？
June 25, 2020 @ DLと物理学

53

今日ここで議論したいことLoss

脳の構造を変えれば過学習を回避する方法はある
0.55
0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0

Normalns = 10
Noised (W1,b1)  = 0.2
Dropout 10%

1-9-(dropout)-9‒1
dropoutは実装するのはいちばんシンプルな方法

NN1991, nbase = 20
Dashed: train loss
1

10

100

1000 10000 100000 1x106#Batch

いまの問題だとdropoutはnsのデータ複製はある種のアンサンブル学習に実効的に対応している(かも)１層目の{W, b}の揺らぎとほぼ同じ過学習抑制効果
June 25, 2020 @ DLと物理学

54

今日ここで議論したいこと
我々の方法の持つ利点
・NNの構造には手を加えない・dropout等のように学習の各プロセスで乱数発生させる必要がないので学習スピード
はいちばん速い・物理の観測データはもともと
こうやって与えられている
June 25, 2020 @ DLと物理学

55

皆さまへのお願い
We are wondering:・こういう問題設定は意味ある研究になっているのだろうか？
・先行研究は絶対にあるに違いない・・・
・異分野すぎて研究のまとめ方がサッパリ分からない・・・
Your comments/feedback are welcome!
June 25, 2020 @ DLと物理学

56

まとめ
物理のデータ = 真値＋観測誤差□物理の問題には原理的な正解が存在する□データは正解の周りである精度で揺らいでいる

中性子星の事例□訓練データにノイズ入り複製を作る□Bootstrap法で信頼幅を推定 (系統誤差を過小評価)

過学習を抑制する新しい手法としての可能性□ノイズ入り複製はパラメータにバッチ揺らぎを入れることに相当：dropoutと同等の性能を確認
June 25, 2020 @ DLと物理学

57