11th Symposium

学際大規模情報基盤共同利用・共同研究拠点 萌芽型共同研究 平成31年度採択課題
EX19306 (東京大学情報基盤センター推薦課題)

田中 和幸 (鳥取大学大学院持続性社会創生科学研究科)

高速化データ駆動科学を用いた陽電子回折実験のデータ解析

謝辞(計算科学/HPC)：星健夫(鳥取大)， 山本有作(電通大)， 深谷猛(北大)謝辞(陽電子回折):望月出海，一宮彪彦， 兵頭俊夫(KEK物構研)
謝辞（予算): 科研費(超並列マシンを用いた計算統計と測定技術の融合),
ポスト「京」重点課題7(次世代の産業を支える新機能デバイス・高性能材料の創成)

P1

P3

P2

測定実験：全反射高速陽電子回折

背景：データ駆動科学普及による物質開発の新局面〜高速・高信頼データ解析への需要〜
先端（2次元）物質＝表面付近の数原子層の領域
・3次元物質（結晶）では，エックス線による構造決定（原子座標の決定）が支配的．
例：DNA二重螺旋構造解明（1962年ノーベル賞）
・2次元物質は，構造決定実験が非常に困難 → 本研究の対象合成構造（回折）
測定

物質開発
サイクル
機能評価

・2次元構造解析（物質表面付近の原子座標特定）へのブレークスルー．
・陽電子線の物理的性質により，表面構造についての超高精度測定が可能に．
・日本発，世界を圧倒的にリード．世界展開目前．
現在稼働している実用的実験装置は，世界で，KEK物構研のみ．
[a](総説) Fukaya, et al., J. Phys. D 52, 013002 (2019)[b] (総説) 兵頭, 固体物理，2018年11月号p.141

本研究：HPCによる高速・高信頼データ解析• Full operation
started Dec.
• Oﬃcial Prog
started on A2017
• 25 PFLOPS peak
• 8208 KNL CPUs
• Fat-Tree (fullbisection BW)
OmniPath

ボトルネック（産業展開）
電池・触媒・超薄型デバイス

Impacts of extreme scale computing (2017/11/2)

8P4
解析手法（概論）：大域探索型の逆問題解析(2/3)
・原子座標Xの探索原理：実験回折データと計算回折データの残差関数(R-factor) を最小化

・探索手法
(I) 局所探索：初期値依存性あり(局所ミニマムにトラップされる可能性)
本研究(a) Nelder-Mead法( 微分を使わない関数最適化,「降り続ける」)
Stage 1 : 大域探索(b)(II)大域探索：初期値依存性なし
Stage 2 : 局所探索(a)(b) グリッド型(メッシュ上の「絨毯爆撃」)(c) モンテカルロ型(確率的サンプリング，「酔歩」)(展望)(a) 局所探索(b) 大域探索(グリッド型)

例(側面図):ルチル型TiO2(110)-(1x1)

方位角φ

視射角θ

試料

・ノード数P=128~2,048(OFPの1/4)・計算系：Si(001)-2x1表面（変数：第1層Si原子座標, Si(up), Si(down)）
・並列可能度数=グリッド点数：M=102,400
Si(up)

消費時間（秒）Si(down)

P6・解析プログラム(開発中)■Python3+mpi4py(上位ルーチン，プロセス制御など）■Fortran(下位ルーチン，偏微分方程式解法)

・適応細分化(Adaptive Reﬁnement)を伴う多段階グリッド法「粗い」
グリッド→R(X)が小さい領域のみに，
「細かい」
グリッド

解析手法（概論）：大域探索型の逆問題解析(3/3)

z

手法：多段階グリッド計算

概念図

第0段階
(グリッド間隔)=h

プログラム概念図
プロセス0

P8

第1段階
(グリッド間隔)=h/2

第2段階(グリッド間隔)=h/4

偏微分方程式解法

偏微分方程式解法

偏微分方程式解法

テスト計算：ルチル型TiO2(110)-(1x1)表面

田中和幸, 星健夫, 望月出海, 一宮彪彦, 兵頭俊夫，応用物理学会, 2019年3月

・d=5自由度探索, 表面構造は既知([e]の文献)．
[e](TRHEPD測定) Mochizuki, et al., Phys. Chem. Chem. Phys., 18, 7085 (2016).
・3つのOサイト(O1, O2, O3), 2つのTiサイト(Ti1, Ti2)について，z方向の座標探索．
R=R(X), X≡ (z(O1), z(O2), z(03), z(Ti1), z(Ti2))
・大域探索(4段階グリッド法)→表面構造(既知)を得た(R=1.03%)．
図 ルチル型TiO2(110)-(1x1)表面O1
側面図zO2Ti1 O2
Ti2
Ti2

図 先行研究[e]での回折データ比較

0・各段階で，総メッシュ数Mは同程度になるように設定．典型的には，M≒106 (100万).
例：d=5自由度の一様メッシュ(第0段階)では，一方向につきm=16メッシュに相当．
( M=m5=165≒106 )P9

展望：次世代スパコンによる階層的超並列計算

・超並列モンテカルロ法(*)によるベイズ推定 (PMC=105以上の並列度数）(*)福島孝治(東大)ら,Population annearling 法(AIP Conf. Proc. 690, 200 (2003))
・高速・高信頼なデータ解析(0)「親」
プロセス：交差検証では複数(自明な並列)(1)「子」
プロセス：原子座標Xごとの並列
超並列モンテカルロ法(2)「孫」
プロセス：実験条件ごとの(自明な)並列(3) 順問題(PDE等)に対する，並列数値解法

親プロセス
（複数）
子
孫

丸:実験，
赤線:計算

子
孫

孫

CPU(core)
(1)

a/2

211

(TRHEPD)

P5

O3

29210
ノード数 P（多数）

一宮, JJAP22, 176 (1983)

プロセス2

Oakforest-PACS(OFP)での強スケーリングテスト（予備的結果）28

計算（試行座標X）: xy方向のみ周期的

Dexp

? ? ?

P7

27

Dcal(X)

実験(c) 大域探索(モンテカルロ型)?

103

一致するものを探す( Dcal(X)≒ Dexp )視射角θ（度）回折データ

プロセス1

104

Dexp

実験（○）
計算(赤線)

散乱量子方程式（多重散乱効果）

解析

陽電子線e+• HPL 13.55 PFLOPS: #1 in Japan (201
WW #6(2016/11)➙#7(2017/6)• HPCG WW #3(2016/11)➙#5(2017/6

回折データ（実験・理論）

表面構造(原子座標X)TRHEPD実験の概念図

Oakforest-PACS
Oakforest-PACS

(構造)
データ
解析

(a) 原子座標に対する，大域（初期値不要）探索→高速性・高信頼性・「知性」（事前知識が不要）(b) 探索原理：回折データにおける，実験データ Dexpと計算データDcal(X) の一致

00スポット強度I(θ)

先端物質開発サイクル（左図）
・データ駆動科学の普及で，合成・測定は劇的に加速．
・(構造)データ解析がボトルネック．
・本研究：HPCとの融合による，高速・高信頼データ解析へ

解析手法（概論）：大域探索型の逆問題解析(1/3)(Total-Reﬂection High-Energy Positron Diﬀraction, TRHEPD,トレプト)

孫(0)(1)(2)(3)並列度数の典型(または最大)値は，
P0=102, P1=PMC=105, P2=102, P3=10
より，全並列度数：P = P0 P1 P2 P3 = 1010（100億）(2)(3)

X(1)
X(2)

zθ

学際大規模情報基盤共同利用・共同研究拠点 第11回シンポジウム
2019年 7月11日, 12日