HPCの将来動向	
日本原子力研究開発機構
井戸村泰宏
プラズマ・核融合学会計算科学研究部会第１回総会、東京、2013年12月5日
ü 関連プロジェクト
HPCI戦略プログラム分野４”ものづくり”体制構築課題「次世代計算科学ソフトウェアの革新的アルゴリズムの創生と核融合プラズマ流体解析への応用」	
HPCI京一般利用課題「核融合プラズマの乱流輸送シミュレーション」
G8 Nuclear Fusion Simulation@Exa-scale
将来のHPCIシステムのあり方調査研究「アプリケーション分野」
ü 研究協力者
前山伸也、仲田資季、矢木雅敏、小関隆久（JAEA核融合）
河村拓馬、三木一弘、山田進、町田昌彦（JAEA計算科学）
渡邊智彦、沼波政倫、石澤明宏（核融合研）
今村俊幸（理研）、松岡清吉（RIST神戸センター）
朴泰祐、奴賀秀男、藤田典久（筑波大）

1

ペタスケール計算機の急速な発展	

K(Riken)

Helios(IFERC)
BX900(JAEA)

BX900(Fujitsu,Rank84)	

Helios(Bull,Rank12)	

K(Fujitsu/Riken,Rank2)	

Nehalem-EP(4core)	

SandyBridge-EP(8core)	

SPARC64VIIIfx(8core)	

Performance	

0.2PFlops	

1.5PFlops	

11.3PFlops	

Memory(B/F)	

51TB(0.25)	

282TB(0.19)	

1,410TB(0.12)	

B/F ratio	

0.54	

0.3	

0.5	

Cores	

17,072	

70,560	

705,024	

CPU	

Network	

InfinibandQDR8x(8GB/s)	 InfinibandQDR4x(4GB/s)	

Tofu(5GB/s x 4)	

Topology	

Fat Tree	Fat Tree	

6D Torus	

Power	

0.83MW	

2.2MW	

12.7MW	

2HPCI京利用一般課題「核融合プラズマの乱流シミュレーション」	
nn

n

割り当て資源：19Mnodeh（H24.10-H25.9）+2Mnodeh（H25.10-H26.3）	
ITERにおける核燃焼プラズマの特徴	
n 閉じ込め性能を向上するために装置サイズを大型化	
n 核融合反応で発生する3.5MeVのα粒子による電子加熱	
課題１：プラズマ乱流輸送の装置サイズスケーリング	n 実機試験が難しい装置サイズスケーリングを第一原理乱流計算で評価		n

課題２：マルチスケール電子乱流による電子熱輸送	
n 核燃焼プラズマで重要な電子熱輸送を第一原理乱流計算で評価		

GT5Dによるイオン系乱流のサイズスケーリング

GKVによるイオン系-電子系の乱流計算	


 a	(a) a/ρi =100	
(b) a/ρi =150	
eφ/Ti	

[Jolliet,NF2012]	

(c) a/ρi =230	

[Nakata,POP2012]	

特徴的スケール
電子軌道半径〜0.1mm
イオン軌道半径〜5mm→503倍の解像度	

3

S
Strongscalingli
ffor
multi-scalel il siion theh strong scalingli

京におけるプラズマ乱流コードのストロングスケーリング	
Map.+Simul.Comm.
GT5D [Idomura,NF09]+Overlap(spectral+finite diff.)
M+SilC
Map.+Simul.Comm.
589,824cores+Overlap(spectral)
K (2013)	
Map.+Simul.Comm.
Map.
65,536cores
Helios (2012)	

No optimizations
16,384cores
BX900 (2011)	

¾ The optimizations
arecritical to(NR,Nζ,NZ,Nv//,Nµ)=(768,64,768,128,32)
achieve linear
er of cores [x103]
speedup over ~10k
10kcores.
[Idomura, Int.
J. HPC Appl. 2013]

Problemsize:(256, 256
256, 32
32, 32
32,P bli((nx, ny, nz, nv, nǋ, ns) = (256(1024, 1024, 32, 32, 32, 1) for K(Middle), (1024, 1024, 9Parallelization: (Nxy, Nz, Nv, Nǋ, Ns, Nthreads) = (2-4, 4, 4, 4((8-64,, 4,, 4,, 4,, 1,, 8)) for K(Middle),(), ((8-64,, 12,, 12,, 4,, 2,, 8))

GKV [Watanabe,NF06]	

103

TFlo
T ops

nx, ny, nz, nv, nǋ, ns) = ((1024, 1024, 32, 32, 32, 1))(Nxyy, Nz, Nv, Nǋ, Ns, Ntthreadseads) = (8-64, 4, 4, 4, 1, 8) on K¾

(Nx,Ny,Nz,Nv//,Nµ,Ns)=(1024,1024,96,96,32,2)

K(Large)for multiscalel sim.

102

10K(Medium)

1103

BX900(Sll)
BX900(Small)
104

105

106

Number of cores[Maeyama, SC13 Best Poster Award]

scale
plasmaturbulence simulationsn
京フルシステムまで良好なストロングスケーリングを達成

ale plasma
turbulence simulation from electron to ion scales is first enabled usinn 対ピーク性能比~10%,並列化率~99.9999%
owth-raten electron
turbulence is suppressed by ion-scale turbulence, which dom
通信スレッドの実装による演算と通信の同時処理技術

ar instabilities
Evolution
potential in muoo ofo the electrostaticopon 京の通信機構に対するプロセス配置の最適化技術
electron to ion scales
ETGs rapidly growマルチコアプロセッサのコア間共有キャッシュの最適化技術
ITGs slowly grow up.
and saturate.
→ペタスケール核融合シミュレーションに向けたコード最適化を完了
55n

ITGemperature

2.5

2.5004

ITER規模に至るイオン系乱流の装置サイズスケーリング	

[Idomura, submitted to Phys. Plasmas]	

GT5D, (a/ρi, Pin) = (150, 4MW), (300, 8MW), (450, 12MW), (600, 16MW)a/ρi=150	a	a/ρi =300	eφ/Ti	

a/ρi =450	

イオン系乱流の静電ポテンシャル構造	
Altix3700
2008
11TFlops	
n

BX900
2010
200TFlops	

Helios
2012
1.5PFlops	

a/ρi =600	K
2013
11PFlops	

従来の分布固定δfモデルがgyro-Bohm則を示す大型装置領域a/ρi>300でも、加熱固定full-fモデルでa/ρiとPinをスケールするとBohm則を観測	
n 臨界勾配付近（R/Lti~6）に温度分布が拘束され、加熱パワースキャンと同様の温度分布の硬直性、輸送特性（PDF等）の変化を観測→大型装置領域a/ρi>300の輸送スケーリングに加熱パワー依存性が影響

5

mperature gradient modes (ITGs) to ETGs (x40).
(TEMs) smoothly transit to ETGs.
ct slightly reduces the growth rate of ETGs.

GKVによるマルチスケール電子乱流計算	
Snapshot of the electrostaticCyclone
parameter, β=0.5%, mi/me=1836, λDe/ρte=0.89
potential fluctuations

stabilities[Maeyama,ICNSP2013]	

52.50-2.5-5ETG10ber kyǏtiElectrostatic Potentialnn18新手法によりエントロピーバランスを満たす高精度計算[Maeyama,CPC2013]
京を利用した実質量比（503倍の解像度）、高βのマルチスケール計算n イオンスケール乱流によって電子スケール乱流が抑制される
n 電子スケール乱流の寄与によってイオンスケールの輸送係数が増大n 実験値に対して輸送係数（熱拡散係数、熱輸送比）を定量的に改善→核燃焼プラズマで重要な電子系乱流のマルチスケールスペクトルを同定

6

将来のHPCIシステムのあり方調査研究「アプリケーション分野」（アプリFS）の概要	
n

アプリFS発足の経緯
n

n

n

n

H23後半に次世代計算機システムの開発に向けたアプリケーション検討の場として文科省にアプリケーション作業部会を設置
戦略プログラム5分野を中心に今後5~10年間の各分野のサイエンスロードマップをとりまとめた「計算機ロードマップ白書」を公開
上記ロードマップの精査およびシステム評価アプリ構築を目的にJST委託研究として理研・東工大チームを中心とするアプリFSプロジェクトをH24に採択

アプリFSの概要
nn

戦略プログラム5分野（生命、物質、防災、ものづくり、基礎物理）を中心にロードマップ執筆メンバーを構成し、理研チームが全体をとりまとめn 社会的・科学的課題の抽出n 分野横断的課題の抽出→プラズマ・核融合では原子力機構が分野4「ものづくり」に参画
プロジェクトメンバーからペタスケールコードを公募し、東工大チームがシステ
ム評価用ミニアプリを構築→原子力機構からGT5Dコードを提供	

7

計算科学ロードマップ白書の概要	
n

白書の構成（2013.7概要を公開・パブコメ募集、2014.3文科省に最終報告）
第1章：序論
第2章：HPCが貢献しうる社会的課題（医療、防災、エネルギー・環境、社会経済）
第3章：分野連携による新しい科学（基礎科学連携、ビッグデータ、大型実験連携）
第4章：各分野の社会的・科学的課題（生命、物質、地球、ものづくり、基礎物理）
別添：2020年に必要な計算機資源量の見積もり→プラズマ・核融合分野は第2章クリーンエネルギー、第4章ものづくりに記載n

プラズマ・核融合分野のロードマップ（執筆：井戸村、渡邉、前山）
戦略プログラムで開発したペタスケールコードに基づくロードマップを構築→ロードマップをGT5D、GKVによるプラズマ乱流シミュレーションに特化n
ITERにおける核燃焼プラズマの“物理”解明をブレークスルーと位置づける→核融合エネルギーフォーラムの議論を反映し“ものづくり”としないことを明記
n
エクサスケールシミュレーションの課題n 時空間の拡大：ITER規模×エネルギー閉じ込め時間スケールn 物理モデルの詳細化：3次元磁場×イオン-電子マルチスケール→現在のストロングスケーリング+メニーコア最適化で見通せる課題を設定
n

8科学計算ロードマップ 概要
ロードマップ白書概要における核融合分野の位置付け	
http://www.riken.go.jp/pr/topics/2013/20130719_1/	

今後の計算科学が貢献しうる社会的課題

エネルギー・環境問題

エネルギー技術と環境との調和

従来の研究 物質科学分野、ものづくり分野、気象・気候分野が独立して研究
 理論・実験中心での研究

社会への貢献今後の科学計算からのアプローチ
 複合材料の構造とエネル
ギー変換効率との相関の理
解、材料性能の劣化機構の解明と予測 高精度・高分解能な気象モ
デル プラズマ乱流現象の解明
 電気化学過程の解明や、触媒や電極として用いられる希少元素の代替物の探索
 シミュレーションによるものづくり
 高信頼性の気候システムモ
デルによる現状把握と予測

高精細な風況評価による風力発電サイトの適切な立地

 安定的、高効率な再生可能エネルギーの創成 核融合炉の科学的・技術的実証
 二次電池や燃料電池など電力を効率的に貯蔵し取り出す技術の開発
 電子デバイスや輸送機器の省エネルギー化
 エネルギー利用による地球環境への影響の監視

高性能・低環境負荷・
高信頼性エンジン開発

9