星班「複合数理原理による超大規模超並列電子状態計算」

京コンピュータにおける1 億原子電子状態計算
星健夫・秋山洋平(鳥取大)共同研究：曽我部知広(愛知県立大), 宮田考史・張紹良(名古屋大),井町宏人(東大)

注：次講演（宮田）とは、つながりがある。

1. イントロ : Application-Algorithm-Architecture co-design
2. 京コンピュータにおける1 億原子(100nmスケール)計算→実アプリ「ELSES」

3. 数理ソルバーの汎用性と行列公開(ʼopen dataʼ)4.次世代ソフト中核に資するコンポーネント開発（への布石）(a) コード：「数値計算エンジン」と「擬似アプリ」(b) 研究：複合数理原理ソルバー→ 例：中間固有対問題(→次講演(宮田))

5. まとめ星班「複合数理原理による超大規模超並列電子状態計算」

京コンピュータにおける1 億原子電子状態計算
星健夫・秋山洋平(鳥取大)共同研究：曽我部知広(愛知県立大), 宮田考史・張紹良(名古屋大),井町宏人(東大)

注：次講演（宮田）とは、つながりがある。

1. イントロ : Application-Algorithm-Architecture co-design
2. 京コンピュータにおける1 億原子(100nmスケール)計算→実アプリ「ELSES」

3. 数理ソルバーの汎用性と行列公開(ʼopen dataʼ)4.次世代ソフト中核に資するコンポーネント開発（への布石）(a) コード：「数値計算エンジン」と「擬似アプリ」(b) 研究：複合数理原理ソルバー→ 例：中間固有対問題(→次講演(宮田))

5. まとめOverview : Application-Algorithm-Architecture co-design
a common concept in the current computational physics

Materials research
Application : with electronic structure

Algorithm :Numerical linear algebrafrom top-class supercomputers
Architecture : to small (personal) computers

Overview : Application-Algorithm-Architecture co-designa common concept in the current computational physics

Materials research
Application : with electronic structure

３つの「レイヤー」は、それぞれ多様→新しいアイディアとその最適な組み合わせで、Algorithm : ブレークスルーを。
Numerical linear algebrafrom top-class supercomputers
Architecture : to small (personal) computershttp://www.elses.jp‘ELSES’ : Our code for ‘order-N’ electronic state calculations

Hoshi et al.,JPCM24, 165502 (2012); JPSJ 82, 023710 (2013); This work

Benchmark with nanomaterials ( ~100M atoms ⇄ Si : (126nm)3region)aPF :amourphous-like conjugated polymer, poly-(9,9 dioctil-fluorene),NCCS: sp2-sp3 nano composite carbon solid(a) Order-N scaling(b) Parallel efficiency (strong scaling)on the K computer ( ~ all nodes )Elapse time (sec)

aPF

104

103

NCCS (10M ) (100M)

NCCS

102

103
102
105

Elapsetime
time(sec)(sec)
Elapse

4
103
10105

108
Number of atoms N
106

107

102

aPF
w/
100M atoms

101011 410103(10M)

5104
106105 10106

Numberof CPU
cores
P
Numbefof CPUcoreshttp://www.elses.jp‘ELSES’ : Our code for ‘order-N’ electronic state calculations

Hoshi et al.,JPCM24, 165502 (2012); JPSJ 82, 023710 (2013); This work

Benchmark with nanomaterials ( ~100M atoms ⇄ Si : (126nm)3region)aPF :amourphous-like conjugated polymer, poly-(9,9 dioctil-fluorene),
NCCS: sp2-sp3 nano composite carbon solid
Methodology

aPF

Elapsetimetime(sec)(sec)
ElapseElapse time (sec)(a)Oringinal
Order-N scaling(b) Parallel
efficiency (strong scaling)・
linear-algebraic order-N
algorithms
the K computer ( ~ all nodes )with generalized shifted linearonequations
410105310NCCS (10M ) (100M)

4Applicable both to metals and insulators
103 NCCS
10・・Modelled (TB-type) systems, based on ab initio calc.,
102 formulation (optional)
・A DFT-derived charge-self-consistent
102
103

102
105

108
Number of atoms N
106

107

aPF
w/100M atoms

101011 410103

(10M)

5104
106105 10106

Numberof CPUcoresP
Numbefof CPUcores

Examples of nano-material studies with ‘ELSES’Motivations(i) industrial application(ii) new material (from Japan)(iii) standard material

Amourphous-like conjugated polymer(poly-(9,9 dioctyl ﬂuorene)

Ionic liquid (PP13‒TFSI)

Li+ diﬀusion
in solids(Nishino et al.)helical gold nanowire
L=12nmsilicon brittle fracture

sp2-sp3 nano-composite carbon solid( for nano-polycrystalline diamond )MD17 nm

謝辞（共同研究・データ提供） 西野信也・藤原毅夫(東大), 山元進(東京工科大)，山崎久嗣(トヨタ自動車）,善甫康成(法政大), 石田雅也(住友化学)

星班「複合数理原理による超大規模超並列電子状態計算」

京コンピュータにおける1 億原子電子状態計算
星健夫・秋山洋平(鳥取大)共同研究：曽我部知広(愛知県立大), 宮田考史・張紹良(名古屋大),井町宏人(東大)注：次講演（宮田）とは、つながりがある。

1. イントロ : Application-Algorithm-Architecture co-design
2. 京コンピュータにおける1 億原子(100nmスケール)計算→実アプリ「ELSES」

3. 数理ソルバーの汎用性と行列公開(ʼopen dataʼ)4.次世代ソフト中核に資するコンポーネント開発（への布石）(a) コード：「数値計算エンジン」と「擬似アプリ」(b) 研究：複合数理原理ソルバー→ 例：中間固有対問題(→次講演(宮田))

5. まとめBenchmark on the K computer

Elapse time (sec)Parallel efficiency (’strong scaling’)
103

102

Previous report*
10M atoms, ~100K cores(* Hoshi, et al.
JPSJ 82, 023710 (2013) )w/ 100M atoms

101
104

105

100M atoms, ~665K (all) cores

106

Number of CPU cores P

Material: sp2-sp3 nano-composite carbon solid

HPC issues on the K computer
1. Optimal balance between
operation, communication and memory costs→ novel linear-algebraic algorithmcommunication-saving workﬂow
memory-saving workﬂow
2. Massively parallel ﬁle IO→ (hard) built-in parallel ﬁle IO function (ʼrank-directoryʼ)(soft) split XML ﬁles
3. Limit of standard numerical formats (4-byte integer, 8-byte real)→Mixed format
4. Load unbalance→(Not yet well investigated) (→Auto Tuning techniques)
5. Post-simulaiton analysis as ʻbig dataʼ problem→ Ex. Hoshi, et al. JPSJ 82, 023710 (2013)

星班「複合数理原理による超大規模超並列電子状態計算」

京コンピュータにおける1 億原子電子状態計算
星健夫・秋山洋平(鳥取大)共同研究：曽我部知広(愛知県立大), 宮田考史・張紹良(名古屋大),井町宏人(東大)注：次講演（宮田）とは、つながりがある。

1. イントロ : Application-Algorithm-Architecture co-design
2. 京コンピュータにおける1 億原子(100nmスケール)計算→実アプリ「ELSES」

3. 数理ソルバーの汎用性と行列公開(ʼopen dataʼ)4.次世代ソフト中核に資するコンポーネント開発（への布石）(a) コード：「数値計算エンジン」と「擬似アプリ」(b) 研究：複合数理原理ソルバー→ 例：中間固有対問題(→次講演(宮田))

5. まとめOverview : Application-Algorithm-Architecture co-design
a common concept in the current computational physics

Materials research
Application : with electronic structure

Algorithm :Numerical linear algebrafrom top-class supercomputers
Architecture : to small (personal) computersApplication-Algotirhm-Architecture co-design→ Construct optimal workﬂow for each target physical quantities

iterative loop
matrixgeneration

matrix solver

calc. of quantum
physical quantities

conventional

G. Eigen-Value eqn.

presentG. Shifted Linear eqn.

Physicalquantities

Novel linear algebraic algorithms[1] Teng et al., PRB 83, 165103 (2011); [2] Hoshi et al, JPCM 24, 165502 (2012).
[3] Sogabe JCP 231, 5669 (2012); [4] Yamashita et al., Trans. JSIAM 21, 241 (2011).

→ Iterative (Krylov subspace) solvers for generalized shifted linear equation

non-hermitianMathematicalprinciples

S≠I

S=I *

Gerlerkin Principle

gLanczos, gArnoldi,
mArnodi, Arnoldi (M;W;G)

subs. diag.

Collinear Residual

gsCOCG,
gsQMR

sCOCG,sQMR*Takayama et al., JPSJ73, 1519 (2004); Takayama et al. PRB 73, 165108(2006);
Sogabe et al. ETNA31, 126 (2008)

Physics papers with shifted Krylov subspace and the collinear residual theorem(1) (a) A. Frommer, Computing 70, 87 (2003) [ Original paper](b) J. C.R. Bloch, T. Breu, A. Frommer, et al., Comp. Phys. Comm. 181, 1378 (2010)→ QCD(2) R. Takayama, T. Hoshi, T. Sogabe, S.-L. Zhang, and T. Fujiwara, PRB 73, 165108 (2006).
→ large-scale electronic structure calculation [present work](3) S. Yamamoto, T. Fujiwara, and Y. Hatsugai, PRB 76, 165114 (2007);
S. Yamamoto, T. Sogabe, T. Hoshi, S.-L. Zhang and T. Fujiwara, JPSJ 77,114713 (2008).
→ many-body electron [full-CI type, multi-orbital extended Hubbard model, LaSrNiO](4) T. Mizusaki, K Kaneko, M. Honma, T. Sakurai, PRC 82, 024310 (2010)→ Shell-model calculation(5) F. Giustino, M. L. Cohen, and S. G. Louie, PRB 81, 115105 (2010)→ GW method with the self-consistent Sternheimer equation(6) 篠原康、二村保徳、矢花一浩、櫻井鉄也、
日本物理学会, 2012年3月.
→ TDDFT(linear response)Physics papers with shifted Krylov subspace and the collinear residual theorem(1) (a) A. Frommer, Computing 70, 87 (2003) [ Original paper](b) J. C.R. Bloch, T. Breu, A. Frommer, et al., Comp. Phys. Comm. 181, 1378 (2010)
有用性は、行列の数理構造→ QCD(疎密性・固有値分布など）による(2) R. Takayama, T. Hoshi, T. Sogabe, S.-L. Zhang, and T. Fujiwara, PRB 73, 165108 (2006).
→ Application-Algorithmwork]→ large-scale electronic structure calculation [present(-Architecture)
co-design(3) S. Yamamoto, T. Fujiwara, and Y. Hatsugai, PRB→76,165114 (2007);
数理の目で、物理を俯瞰する必要性
S. Yamamoto, T. Sogabe, T. Hoshi, S.-L. Zhang and T. Fujiwara, JPSJ 77,114713 (2008).
→ many-body electron [full-CI type, multi-orbital extended Hubbard model, LaSrNiO](4) T. Mizusaki, K Kaneko, M. Honma, T. Sakurai, PRC 82, 024310 (2010)→ Shell-model calculation(5) F. Giustino, M. L. Cohen, and S. G. Louie, PRB 81, 115105 (2010)→ GW method with the self-consistent Sternheimer equation(6) 篠原康、二村保徳、矢花一浩、櫻井鉄也、
日本物理学会, 2012年3月.
→ TDDFT(linear response)http://www.elses.jp/matrix/

行列データの一般公開(ELSES matrix library)→応用数理系研究者からの要望で、アルゴリズム研究用に行列データを提供。
→「物質⇄行列性質(疎密性・固有値分布)⇄計算アルゴリズム」の連携研究(Application-Algorithm-Architecture co-design)

実問題の行列例(a) Solid gold

( 行列次元：M = 102 ~106 )(b) 有機EL型アモルファス状共役高分子（ポリフルオレン）

http://www.elses.jp/matrix/

行列データの一般公開(ELSES matrix library)→応用数理系研究者からの要望で、アルゴリズム研究用に行列データを提供。
→「物質⇄行列性質(疎密性・固有値分布)⇄計算アルゴリズム」の連携研究(Application-Algorithm-Architecture co-design)

参考：疎行列データを研究用に提供している既存サイト
Matrix Market
http://math.nist.gov/MatrixMarket/

University of Florida Sparse Matrix Collection
http://www.cise.uﬂ.edu/research/sparse/matrices/

星班「複合数理原理による超大規模超並列電子状態計算」

京コンピュータにおける1 億原子電子状態計算
星健夫・秋山洋平(鳥取大)共同研究：曽我部知広(愛知県立大), 宮田考史・張紹良(名古屋大),井町宏人(東大)注：次講演（宮田）とは、つながりがある。

1. イントロ : Application-Algorithm-Architecture co-design
2. 京コンピュータにおける1 億原子(100nmスケール)計算→実アプリ「ELSES」

3. 数理ソルバーの汎用性と行列公開(ʼopen dataʼ)4.次世代ソフト中核に資するコンポーネント開発（への布石）(a) コード：「数値計算エンジン」と「擬似アプリ」(b) 研究：複合数理原理ソルバー→ 例：中間固有対問題(→次講演(宮田))

5. まとめ汎用な「数値計算エンジン」「擬似アプリ」開発（への布石）(1/2)
・Application-Algorithm-Architecture co-design→ 新しいアイディアとその最適な組み合わせで、高速性を達成。
→ 次世代(ポストペタ時代)へむけて、実アプリごとの個別開発には限界。
→ 汎用「数値計算エンジン」を開発し、実アプリ(分野)間で共有→問題点：汎用性と個別最適性は相反する

実アプリ

A

数値計算エンジン

ABB

コード長長短BC汎用な「数値計算エンジン」「擬似アプリ」開発（への布石）(2/2)
・汎用「数値計算エンジン」開発→問題点：汎用性と個別最適性は相反する→実アプリ実装の前に、「擬似アプリ」*でテストする。
（エンジンの評価・比較・カスタマイズ・複合化)→次ページ

実アプリABB

コード長長短A

数値計算エンジンAB

BC

擬似アプリ*

C*固有値関連：Eigen Test (試験公開) : http://www.damp.tottori-u.ac.jp/~hoshi/eigen̲test/

研究：複合数理原理ソルバー構築(へむけて)・種々の数理原理を複合させた数理ソルバー→Application-Algorithm-Architecture co-designでの活用→特に、疎行列むけ(「射影型」）
ソルバー・密行列むけ(「変換型」)ソルバー

物理の目で数理を俯瞰
本研究以外で、シーズとなりうる数理的研究・コードの例（固有値関連）
・当領域メンバー
櫻井鉄也(筑波大)
今村俊幸(理研)
山本有作(神戸大)・海外コードELPA ( http://elpa.rzg.mpg.de/ )FEAST ( http://www.ecs.umass.edu/~polizzi/feast/ )研究：複合数理原理ソルバー構築(へむけて)・種々の数理原理を複合させた数理ソルバー→Application-Algorithm-Architecture co-designでの活用→特に、疎行列むけ(「射影型」）
ソルバー・密行列むけ(「変換型」)ソルバー

物理の目で数理を俯瞰
問題例：中間固有対問題→ 一般化固有値方程式で、k番目の固有対を計算(k:given)。
→ 次講演（宮田）
背景：HOMO, LUMO, Fermiレベル付近の固有対への高精度計算。
ex. πconjugated polymer:
poly-(9,9 dioctil ﬂuorene)
Ref. Hoshi, et al. JPCM 24,165502 (2012)

まとめ
1. Application-Algorithm-Architecture co-design→ 新しいアイディアとその最適な組み合わせで、ブレークスルーを。
2. 実アプリ(ELSES) : http://www.elses.jp/→京コンピュータにおける1 億原子電子状態計算
3. 数理ソルバーの汎用性（と行列の個別性）→行列公開(ʼopen dataʼ): http://www.elses.jp/matrix/
4.次世代ソフト中核に資するコンポーネント開発（への布石）(a) コード：「数値計算エンジン」と「擬似アプリ」→擬似アプリ(試験公開): http://www.damp.tottori-u.ac.jp/~hoshi/eigen̲test/(b) 研究：複合数理原理ソルバー→ 例：中間固有対問題 →次講演(宮田)
将来展望：クラウドサービス化（hard+soft+(big)data+community)→スパコンの産業利用

Thank you