地球シミュレータ(ES4)とストレージシステムの紹介

国⽴研究開発法⼈海洋研究開発機構
付加価値情報創⽣部⾨ 地球情報基盤センター
計算機システム技術運⽤グループ
中川 剛史
Dec.10 2021 JLUG 2021

JAMSTEC
http://www.jamstec.go.jp/

Agenda1. JAMSTECの紹介
2. ES4計算ノードとストレージの紹介
3. ストレージの性能と運⽤状況の紹介

Dec.10 2021 JLUG 2021

海洋研究開発機構(JAMSTEC)とは︖
海洋研究開発機構（Japan Agency for Marine-Earth Science and Technology：JAMSTEC ジャムステック）は、平和と福祉の理念に基づき、海洋に関する基盤的研究開発、海洋に関する学術研究に関する協力等の業務を総合的に行うことにより海洋科学技術の水準の向上を図るとともに、学術研究の発展に資することを目的とした組織
JAMSTECは、海洋・地球・生命の統合的理解のため、（1）地球環境変動の統合的理解とその予測（2）地球内部ダイナミクスの統一像の構築と地震・津波の防災研究（3）生命の進化と海洋地球生命史（4）資源研究・海洋地球生命工学の新たな展開が主な研究開発テーマ。地球深部探査船「ちきゅう」や有人潜水調査船「しんかい6500」、スーパーコンピュータ「地球シミュレータ」を運用

地球惑星分野における幅広い研究領域がターゲット
Dec.10 2021 JLUG 2021

3

JAMSTEC Super Computer & Storage

SGI UV1000

Feb 2018 HPE Apollo6000 & 2000
380 Nodes; 760 CPU (30400 cores);1.16 PFLOPS
76.3 TB memory
5 PB storage (DDN EXAScaler(Lustre))

Mar 2021 NEC SX-Aurora TSUBASA & HPE Apollo 2000 & 6500
1412 Nodes; 2104 CPU (134656 cores);5472 VE; 64 GPU; Total 19.5 PFLOPS
556.5 TB memory
60 PB + 1.3 PB storage (DDN EXAScaler(Lustre))
Dec.10 2021 JLUG 2021

4Earth Simulator since 2002
System for prediction andSystem for Marine-Earth Science creation of Marine-Earth Science dataand information for Society“Computenik” (Jack Donguarra,NY Times, April 20, 2002)

Utilize Simulation, Prediction
and data for Society

Proof of Feasibility ofSimulation and Prediction

Foundation of Marine- Earth Simulation
100 PFLOPSMarch 2021
Earth Simulator (ES4)
19.5 PFLOPS / 556 TB

Peak Performancex15

June 2015
Earth Simulator (ES3)
1.3PFLOPS / 320TB

10 PFLOPS

Peak Performancex10

1 PFLOPS

March 2009
Earth Simulator (ES2)131TFLOPS / 20TB

Peak Performance x3
100 TFLOPSMarch 2002
Earth Simulator (1st)
40TFLOPS / 10TB

マルチアーキテクチャ構成（x86/VE/GPU）を採用

10 TFLOPS
2002

2003

2004

200520062007

200820092010

2011

2012

2013

20142015

2016

201720182019

2020

2021

2022

2023

20245

History of ES Storage system

100 PB

800 GB/s

320 GB/s

12.8PB
10 PB

1 PB

1.46PB

Data region x8

Data region x13

4.5PB

Data region x3

400 GB/s

1.3PB

160 GB/s

450TB

Work領域(All-Flash; Shared FS)

500TB

82 GB/s

Work領域(Node Local FS)
ファイルステージング機構 95TB

182.5TB
Data領域

100 TB

60PB

45TB

Home領域

120TB

40TB

10 TB20022003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

2014

2015

2016

Dec.10 2021 JLUG 2021

2017

2018

2019

2020

2021

2022

2023

2024

2025

2026

6システム構成
VE搭載ノード
各VE搭載ノードは、AMD EPYC 7742 と 128 GiB DDR4 および 8基のNEC SX-Aurora TSUBASA Vector Engine ( VE ) を搭載しています。 VEは2.45 TFLOPS の演算性能と 48 GiB のHBM2を搭載しています。各ノードの性能は 21.9 TFLOPS で、全 648 ノードで 14.9 PFLOPS になります。
CPUノードCPUノードは2基の AMD EPYC 7742 と 256 GiB DDR4 を搭載しています。各ノードの性能は4.6 TFLOPSです。CPUノードは720ノードあり、ピーク性能は3.3 PFLOPS、メモリ容量は180 TiBになります。
GPU搭載ノード
各GPUノードは2基のAMD EPYC 7742 と 4 TiB DDR4 、 8基の NVIDIA
A100 Tensor Core GPUを搭載しています。GPUの性能は 19.5 TFLOPS( DP, Tensor Core ) です。さらにこのノードはアプリケーションの一時的なストレージとして7つの 3.2TB NVMe SSDを搭載しています。

インターコネクト
右記に記載の全ての機器は、HDR 200GのInfinibandファブリック（fattree構成）に接続されます。さらにVE搭載ノードは演算通信のみで利用するインターコネクトとして、前述とは別のHDR 200G InfiniBandファブリック（3つのfat-treeで構成されるDragonfly+）に接続されています。

ストレージ
Data Direct Networks社製の2つのストレージがあり、1つは61 PBのLustre ファイルシステムで、合計800 GB/s の帯域があります。もう1つは1.3 PB のオールフラッシュLustreファイルシステムで、30M IOPSの性能があります。

Dec.10 2021 JLUG 2021

7

計算ノードの仕様およびアーキテクチャ
VE搭載ノード
684ノードCPUノード720ノード

684台あるVE搭載ノードは5472基のNEC SX-Aurora TSUBASA Vector
Engineにより、新システムの中で最も強力な演算性能、最も大きなメモリ容量、最も広いメモリ帯域を提供します。
VE搭載ノード部は、現行地球シミュレータの代表的なワークロードに対応します。

720台のHPE Apollo 2000は1440基のCPUと180 TiBのメモリを搭載し、3.3PFLOPSのピーク性能を提供します。このCPUノード部は、x86アーキテクチャに最適化されたアプリケーションや商用アプリケーションなど様々なアプリケーションに対応します。

GPU搭載ノード
8ノード

各GPU搭載ノードは4 TiBのメモリと8基のNVIDIA A100及び7基の3.2 TB
NVMe SSDを搭載します。このGPU搭載ノード部は、GPUアプリケーションやML/DLアプリケーションのワークロードに対応します。さらに、大容量メモリや高速なI/O性能が必要なアプリケーションにも対応します。

CPUAMD EPYC 7742 @ 2.25
GHzCPU

Dual AMD EPYC 7742 @2.25 GHz

CPU

Dual AMD EPYC 7742
@ 2.25 GHz

メモリ

128 GiB DDR4メモリ

256 GiB DDR4メモリ

4 TiB DDR4アクセラレータ

8 SX-Aurora TSUBASAType 20B (2.45 TFLOPS,48 GiB per VE)
Dec.10 2021 JLUG 2021

8 NVIDIA A100 TensorCore
アクセラレータ(19.5 TFLOPS, 40 GiB
HBM2 per GPU)8

ストレージ構成
Home領域
120 TB•••

ホームディレクトリが置かれ、ユーザ利用環境（ソースコードやツールなど）の保存領域
総容量: 120 TB(=60 TB 2パーティション)定期バックアップあり

Data領域
60 PB

•••
•

計算ノードからの大規模I/O用途
ES3におけるデータ領域とワーク領域の役割を兼ねる
総容量：60 PB (=30 PB 2パーティション)IO性能：400 GB/s, Meta 630K IOPS
※パーティション毎の性能

Work領域
1.3 PB•••••

短時間における大量データへのI/O用途
シミュレーションとデータ解析の連携
NVMe SSDで構成
総容量：1.3 PB、1パーティション
IO性能：400 GB/s, Meta 315K
IOPS, 4K rand 30M IOPS

ファイルシステム：DDN EXAscaler(Lustre)
計算ノードから透過的にアクセス可能※ファイルステージングシステムは未採用

Dec.10 2021 JLUG 2021

9ES4ストレージの詳細

データ領域(data)

File System

DDN EXAScaler (Lustre 2.12.6)

Lustre MDS

16x DDN 1U Sever

Lustre MDT

4x DDN SFA200NV, 44x 1.92TB NVMe SSD

Lustre OSS/OST

40x DDN SFA200NVXE, 41x DDN SS9012,
7021x 12TB HDD

Monitoring Server

1x DDN 1U Server

Usable Capacity

61 PB (内1PBはバックアップ領域やソフトウェア環境に利用)

Maximum inode22 billion

Dec.10 2021 JLUG 2021

30PB

●
●
●
●

2パーティションで運用
BW 400 GB/s, Meta 630 kIOPS /1parts.
MDT 8ユニット&OST 80ユニット/1parts.
ユーザDirはDNE Phase1がデフォルト

30PB

10

ES4ストレージの詳細

ワーク領域(work)

File System

DDN EXAScaler (Lustre 2.12.6)

Lustre MDS

4x DDN 1U Sever

Lustre MDT

1x DDN SFA200NV, 21x 1.92TB NVMe SSD

Lustre OSS/OST

20x DDN SFA200NVXE, 480x 3.84TB NVMe SSD

Monitoring Server

1x DDN 1U ServerUsable Capacity

1.3 PB

Maximum inode11 billion

1.3PB

Dec.10 2021 JLUG 2021

●
●
●
●

1パーティションで運用
BW 400 GB/s, Meta 315 kIOPS
MDT 4ユニット&OST 80ユニット
ユーザDirはDNE Phase1がデフォルト11

ES3ストレージとES4ストレージの⽐較（ハードウェア）
ES3

ES4

容量

4.5 PB (data; 7 partitions)12.8 PB (work with file staging)

60 PB (data合計; 2 partitions)
1.3 PB (work; 1 partitions)#IO server (OSS)

28 (data; 7 partitions)
80 (work; 40 partitions)

40 (data合計; 2 partitions)
20 (work)#metadata server(MDS)↑16 (data合計)
4 (work)

ファイルステージングシステム○×

ファイルシステムNEC ScaTeFS

DDN EXAscaler (Lustre)

IO Network BW / node

1.0 GB/s

25 or 50 GB/s

Total IO BW

112 GB/s (data合計)
320 GB/s (work合計)

800 GB/s (data合計)
400 GB/s (work)

Dec.10 2021 JLUG 2021

12

ファイルシステムモニタリング（DDN LustreMon）
DDN LustreMon• リアルタイムのI/Oモニタリングが可能• IO size, File System Usage, Load Average• Throughput, Metadata operation• 計算ノード毎・ユーザ毎・グループ毎・バッチジョブ毎・キュー毎

モニタリング・障害対応以外にも、ユーザサポートの原因切り分けにも活用中
実際のユーザサポート時の原因切り分け例「MPIプログラムの実行時間が数か月前より2倍以上遅くなった」①HW障害の有無やSW（コンパイラやライブラリ）の確認②ユーザ毎やグループ毎、バッチジョブ毎のIO量を確認→該当MDSで大量のメタデータアクセス有③ソースコードにおけるIOルーチン部分の確認→MPIIOも利用している特徴があったが、該当箇所に問題無し→原因は、全MPIプロセスでstdoutへ詳細なログをLustreへ書き出していること+ジョブの同時実行と判明
Dec.10 2021 JLUG 2021

13

ES4ストレージの利⽤状況（Lustreモニタリングによる利⽤⽅法の分類）
計算ノードにおけるユーザジョブ単位で以下の情報をLustreモニタリングで取得※利用者も自身のジョブに関して、ログインサーバでチェック可能・Total IOサイズ (MB)・Read/Writeサイズ (MB)・Max Read/Write (MB/sec)
・メタデータ(ops)情報

ユーザジョブIOの見える化

利用ストレージ領域の選択や利用者の高度利用に繋げる予定

Lustremon コマンドのアウトプット例

Dec.10 2021 JLUG 2021

※モニタリングデータ3ヵ月分(2021 9月-11月)

14ストレージ利⽤状況（Lustreモニタリングより）※モニタリングデータ3ヵ月分(2021 9月-11月)

Home領域

Data領域利用率 25 %利用率 23 %（2021年12月時点）

Work領域
利用率 35 %※運用部門利用やテスト利用者も多い

BW < 10GB/s & Meta < 10Kops

BW < 10GB/s & Meta < 25Kops

BW 50-100GB/s & Meta100-200Kops

Dec.10 2021 JLUG 2021

複数ストレージの使い分けが課題！
Work領域への誘導など
15

ES4ストレージの性能⽐較
1ノード内での評価

複数ノードでの評価

IOR (MB/s per 1node; 1MB seq IO)

データ領域構築時（暫定4パーティション環境）を用いた性能試験で1パーティション基礎性能を確認

45,00040371.39

40,00037659.39

36882.96

35,00032234.77

30,00025,000

IOバンド幅（IOR；FilePerProcess）：

23269.46

23126.91

15,00010,000

VE搭載ノード：12ノード192MPI（16 per node）
Write:200 GB/s
Read:
200 GB/s

23337.97
23099.57

22594.1

20,0007632.865706.975108.855,000
06751.37

5536.157767.536122.766004.812623.59419.54491.02

SX-ACE
work00/[ScaTeFS]（評価機）
SX-Aurora
data17/[ScaTeFS]

ES4CPUdata[Lustre]

ES4VE
data
[Lustre]ES4VE (8VE)
data[Lustre]ES4GPUdata[Lustre]ES4CPU
work[Lustre]

ES4VE
work
[Lustre]ES4VE (8VE)
work[Lustre]ES4GPU
work[Lustre]ES3と比較してプロセスあたり数倍のIO性能を提供可能に
MDTEST (uniqueDir) 1process

9000

メタデータ性能（MDTEST）：

File Create

8000

File Stat

File Read

File Remove

7000
6000

VE搭載ノード：32ノード1024MPI(32 per node)File creation：
250,000 ops
File stat:
1,100,000 ops
File read:
430,000 ops
File removal:
180,000 ops

5000
4000
3000
2000
1000
0
ES3work(評価機)SX-Aurora
data17

Dec.10 2021 JLUG 2021

ES4moondata00ES4moonwork00ES4VE-VE
data00ES4CPU
data00ES4GPU
data00ES4VE-VE
work00ES4CPU
work00ES4GPU
work0016

ES4ストレージ評価（安定性評価）
複数の実ユーザプログラム（シミュレーションコード）に基づいた小～中サイズ問題を、ジョブスケジューラを用いて、それぞれ平均1000本程度連続的にランダム同時実行
条件：VE搭載ノードまたはCPUノードを利用
データ領域• 平均で17％の計算時間のブレあり
ワーク領域• 平均で17%の計算時間のブレあり• データ領域よりもわずかに速い傾向があるが、ほぼ同等計算ノードのアーキテクチャの違いやIBネットワーク自体の影響も考えられるが、計算時間への影響の観点からは、データ領域とワーク領域で大きな差は無かった
ワーク領域の容量制限があるため、データ解析、もしくは、シミュレーションとデータ解析の連携などに利用する？
Dec.10 2021 JLUG 2021

17

ES4ストレージ性能確認（ユーザアプリでの⼤規模実⾏）
スペクトル法を用いた地震波形シミュレーションコード(Fortran)でのメッシュ生成部およびソルバー部の大規模実行（エレメント数4200万）を評価
条件：VE搭載ノードのVE部（646ノード;5166VE）・Data領域・DNE PHASE1
実行時オプション（エンディアン変換無・入出力バッファ10MB設定）
メッシュ生成部
総プロセス数：41334MPI
実行時間：29分12秒
Input：数MB程度
Output：合計41 TB （合計約50万ファイル）
Write時間：2分程度(推定値)（=350-400 GB/s）
ソルバー部
総プロセス数：41334MPI
必要メモリ量：111TB実行時間：5時間（波形ファイル25分間分）
Input：合計41TB （合計約50万ファイル）
Output：数GB程度
Read時間：98.86秒（＝414 GB/s）

Lustreモニタリングで捉えられたIO
メッシュ生成ソルバー部

実アプリでの大規模MPI実行においても、設計値通りのIO性能を発揮
Dec.10 2021 JLUG 2021

18

ES4でのIO500ベンチマーク測定結果
IO500の10ノードチャレンジをData領域およびWork領域で測定
条件：VE搭載ノードのVH部で測定・DNE PHASE2・メンテナンス時のサイレント環境で実行

IOバンド幅(GiB/s)：
ワーク領域がデータ領域の約2倍の性能

メタデータ性能(kIOPS)：
MDSの台数が多いデータ領域の方が、ワーク領域より性能が高い（項目によっては最大2倍）

Dec.10 2021 JLUG 2021

19

ES4でのIO500ベンチマーク測定結果(スコア)

データ領域

ワーク領域

総合スコア

79.14

101.87

BWスコア[GiB/s]

21.26

48.19

MDスコア
[kIOPS]294.61215.38

総合スコアは、ワーク領域の方が大きい。
ワーク領域の結果をISC21リストへ登録し、10ノードチャレンジで18位（SC21リストでは23位）
更なる性能改善と大規模環境での測定評価を目指し、結果を分析中。
Dec.10 2021 JLUG 2021

20

まとめと今後の展望• ES4計算ノードおよびストレージ紹介• 計算ノード：マルチアーキテクチャ構成（x86/VE/GPU）• ストレージ：研究開発を行う上での十分なディスク容量• データ領域： 60 PB, 1パーティション 30PB, 400 GB/s, 630 kIOPS• ワーク領域 ：1.3 PB, 400 GB/s, 315 kIOPS• ストレージのIO性能評価• IO500 10ノードチャレンジ（SC21リスト）でWork領域23位、Data領域26位相当• 実ユーザアプリにおいても、計算能力向上分をカバーするストレージ能力を確認• IOモニタリング情報の活用• 障害監視に加えて、ユーザサポートの原因切り分けにも利用• 利用方法の検討• 分散共有ファイルシステム（HDD or NVMe SSD）と計算ノードローカルストレージとの効果的な使い分けと利用者の高度利用促進のための情報提供
ご清聴ありがとうございました
Dec.10 2021 JLUG 202121