JCAHPCの新スパコンシステム
Miyabiの準備状況 (Part-I)
朴泰祐 塙敏博
最先端共同HPC基盤施設 (JCAHPC)
筑波大学計算科学研究センター
東京大学 情報基盤センター

2024/06/28

PCC Workshop@すずかけ台

1

JCAHPCことはじめ: T2Kオープンスパコンアライアンス(2008~2013)筑波⼤・東⼤・京⼤による次世代スパコン技術の推進のための同時調達システムn 計算科学・計算⼯学における研究・教育・システム共⽤に関する⼤学のリーダーシップの確⽴
n 2008年6⽉、3システムが国内1,2,4位の性能を達成
nKyoto Univ.
416 nodes (61.2TF) / 13TB
Linpack Result:
Rpeak = 61.2TF (416 nodes)
Rmax = 50.5TF

2024/06/28

オープン ハードウェアアーキテクチャ（コモディティ技術による）
n オープン ソフトウェアスタック（オープンソースミドルウェアとツール）n オープン な利⽤とユーザ知識・アプリケーションの共有
nUniv. Tokyo
952 nodes (140.1TF) / 31TB
Linpack Result:
Rpeak = 113.1TF (512+256 nodes)
Rmax = 83.0TF

PCC Workshop@すずかけ台

Univ. Tsukuba
648 nodes (95.4TF) / 20TB
Linpack Result:
Rpeak = 92.0TF (625 nodes)
Rmax = 76.5TF

2

2024/06/28

T2KからJCAHPCへ• T2Kオープンスパコンアライアンスの効果– 3台のスパコンは同時に調達・運⽤され，システム構築技術や性能チューニング技術等を共有し，⼤学間の強いHPC研究コミュニティの発展につながった。

• T2Kの後，異なる次期システム調達スケジュールやシステム開発ポリシーの違いにより，発展的に解消– 京⼤︓4年間サイクルの調達– 筑波⼤︓演算加速器系システムに傾注 (HA-PACS)– 東⼤︓T2KだけでなくFACシステムとしてFX10を導⼊ (Oakleaf-FX,Oakbridge-FX)• そしてOakforest-PACS@JCAHPC– 2013年，筑波⼤学と東京⼤学による新たなスパコン導⼊の枠組みà JCAHPC– T2Kを越える，より強固な連携によるシステム調達à Oakforest-PACS (OFP)PCC Workshop@すずかけ台

32024/06/28

4JCAHPCの体制• 2⼤学が調達と運⽤に関して共に責任を持つ

運営委員会• 国内初の試み、世界的にも例を⾒ない• ⽇本で最⼤規模のシステムを実現

研究開発
部⾨

• 筑波⼤学と東京⼤学の間の密な連携・協⼒• 両センターの教員、技術職員が参加• ⽂科省下で前例のない試み

東京⼤学
柏キャンパス• 仕様に加え調達プロセスを⼀本化、単⼀のシステム

広報・企画
部⾨

運⽤技術部⾨

最先端共同HPC基盤（スパコン）

予算

予算
運⽤

運⽤

2024年度からのJCAHPC運営委員会の体制
歴代委員

施設長

副施設長

研究開発部門長

運用支援部門長/副部門長

広報・企画部門長

第4期 (2024/4-)

朴泰祐（筑波大）千葉滋（東京大）中島研吾 (東京大)塙敏博 (東京大)/
建部修見 (筑波大)

高橋大介 (筑波大)PCC Workshop@すずかけ台

運営委員
メンバー

9名

2024/06/28

5

JCAHPCの成果• 2大学の主要スパコン予算を合算することで– 2016年11月、OFPは「京」コンピュータを抜き国内最高性能システムとなった（世界第6位）– HPCI一般課題及び両大学の各種プログラムで活用され、日本を代表するスパコンとして広く世界に認知された• メニーコア・アーキテクチャを採用したOFPにより– メニーコア特有のアプリケーションチューニングのノウハウ– 「富岳」の基本的なシステムソフトウェア開発に貢献• メニーコア向けOS McKernelの開発• メニーコア向けOmni並列コンパイラの開発• 大規模高性能システムとして– 「京」から「富岳」への端境期の資源不足をカバー、数々の大規模アプリケーションの開発– 国際協力：LBNL/NERSC (Cori)、KISTI (Nurion)⇒ Post-OFPシステムを引き続きJCAHPCとして共同調達・運営することを決定PCC Workshop@すずかけ台

FY13

スパコンの変遷＠筑波大CCS＆東大ITC

14151617HA-PACS Cray

1819202122232526Cygnus NEC

802 TFLOPS+364 TFLOPS

27282930

Post-Cygnus ???

Intel Xeon SKX + NVIDIA V100 + Intel Stratix10

CPU+GPU unified memory system

2.4 PFLOPS + 64 FPGACOMA Cray

Pegasus NEC

1 PFLOPS

T2K
Tsukuba

24Intel Xeon SRP + DCPMM + NVIDIA H100

6 PFLOPS

Cray-Appro
95TFLOPS

Miyabi (OFP-II) Fujitsu

Oakforest-PACS (OFP) Fujitsu,
Intel Xeon Phi

T2KTokyoHitachi

NVIDIA GH200, Intel SRP-HBM
78.8PF + 1.3PF

25PFLOPS, 919.3TB

140TF, 31.3TB

Wisteria-Mercury (4yrs)

Oakleaf-FX: Fujitsu PRIMEHPC FX10,SPARC64 IXfx

Intel Xeon SPR + NVIDIA H100

Wisteria/BDEC-01 Fujitsu,

1.13 PFLOPS, 150 TB

FX1000+(Intel ICX+NVIDIA A100)

Oakbridge-FX

Integration of “Simulation, Data, and Learning”

136.2 TFLOPS, 18.4 TB

33.1 PFLOPS

Yayoi: Hitachi SR16000/M1
IBM Power-7

BDEC-02
150+ PFOakbridge-CX FujitsuIntel Xeon CLX

54.9 TFLOPS, 11.2 TB

Reedbush-U/H, HPE

6.61 PFLOPSIntel BDW + NVIDIA P100
1.93 PFLOPS

Reedbush-L HPE
1.43 PFLOPS

2024/06/28

mdx Fujitsu“Data platform”
PCC Workshop@すずかけ台

62024/06/28

7

JCAHPC第2期システム共同調達のポリシー• システムの基本仕様– 演算加速装置（GPU）を含む超並列PCクラスタ– HPC・AI向け：最先端プロセッサ＋GPU– GPU搭載部とCPU部の2つのサブシステムを相互結合網と共有ファイルシステムで結合
à HPCとAIの双方で絶対的な性能を持つGPU搭載部をメインに
à GPU化しづらいアプリケーションの継続的吸収のためCPU部も– フラットに利用可能な柔軟性を持つ相互結合網
à 共有ファイルシステムへのアクセス、スケジューリングの容易さ• スケールメリットを活かす– 超大規模な単一ジョブ実行も可能とする– 大学基盤センター・スパコンセンターとして最大規模のシステムへ• GPUへの移行をスムーズに行うため、まずGPU種をプレベンチマークにより決定– ユーザの準備期間の確保– GPUベンダーの協力の下、GPU移植作業を先行して開始
PCC Workshop@すずかけ台2024/06/28

GPU移植・移行の計画• NVIDIA Japanの協力• 3,000人以上のOFP利用者：2つの形態• 「自己移植（Self Porting）」：様々なオプション– 1週間のハッカソン（ミニキャンプ），3ヶ月に1回，オンライン・ハイブリッド，Slack併用– 毎月開催される「相談会」（Zoom，非ユーザーも自由に参加できる）– 素晴らしく充実した「移行ポータルサイト」，各種講習会• https://jcahpc.github.io/gpu_porting/• 「サポート移植（Surpported Porting）」，2022年10月開始– 多くのユーザーを有するコミュニティコード（17種類，次頁），OpenFOAM（NVIDIA）– 外注のための予算も確保（落札ベンダーが担当する予定）– 「サポート移植」グループメンバー（主に若手）はハッカソン・相談会にも積極的に参加• 基本的にOpenACC/StdPar（Standard Parallelism）推奨
PCC Workshop@すずかけ台

82024/06/28

9

Miyabi システム・ハイライト• Miyabi = Miyabi-G + Miyabi-C + Interconnect + File System + misc.
• Miyabi-G: GPU・CPU一体型ノード– NVIDIA GH200 (Grace-Hopper Superchip) x 1120 nodes– Theoretical peak (FP64): 78.8 PFLOPS (GPU+CPU)• Miyabi-C: CPUノード– Intel Xeon CPU Max 9480 x 2sockets x 190 nodes– Theoretical peak (FP64): 1.3 PFLOPS• システム総性能：80.1 PFLOPS• 2023年11月：富士通により落札・契約⇒ 2024年12月納入完了⇒ 2025年1月より稼働開始

PCC Workshop@すずかけ台

PCCC Workshop in すずかけ台
2024年6月28日（金）JCAHPCの新スーパーコンピュータ
Miyabiの準備状況
塙 敏博
朴 泰祐
最先端共同HPC基盤施設 (JCAHPC)
東京大学 情報基盤センター
筑波大学 計算科学研究センター
2024/6/28

PCCC Workshop in すずかけ台

12024/6/28

2

Miyabiについて• 2024年4月名称を公開• “Miyabi”という名前には、単に理論性能が優れているというだけでなく、その持てる能力を難なく発揮できるように、という思いが込められています。
• 両センターは緊密な協力のもと新システム Miyabiの導入および運用を遂行し，「計算・データ・学習」融合による，高度に洗練された計算科学を推進することによって，安心・安全・信頼に基づく社会の実現に貢献していきます。
PCCC Workshop in すずかけ台

Miyabi (OFP-II)の概要 (1/3)
2025年1月運用開始
Miyabi-G(演算加速ノード): 78.8 PFLOPS, 5.07 PB/s

Supermicro
CPU+GPU:富士通 PRIMERGY Server

NVIDIA GH200 Superchip

CPU: NVIDIA Grace(72コア, 2.6 GHz, 117MB L3 Cache)Mem: 111 GiB (LPDDR5X, 512 GB/sec)
GPU: NVIDIA H100
(66.9 TFLOPS, NVLink C2C接続 450 GB/sec)
Mem: 89.4 GiB (HBM3, 4.022 TB/sec)

Miyabi-C(汎用CPUノード): 1.3 PFLOPS, 608 TB/s

CPU:× 1,120

InfiniBand NDR200(200 Gbps)

Intel Xeon CPU Max 9480 x 2ソケット(56コア, 1.9GHz, 112.5MB L3 Cache) x2
Mem: 128 GiB (HBM2E, 3.2 TB/sec)

InfiniBand NDR200(200 Gbps)

InfiniBand NDR (400 Gbps), Full-bisection Fat-Tree
1.0 TB/s

共有ファイルシステム
Lustre FS

11.3 PBAll FlashDDN
ES400 NVX2 x102024/4/12Login
Login
Login
ログイン
node
node
nodeノード

汎用CPUノード＋プリポスト用

演算加速ノード用Intel Xeon 8480+ x2

設置・運用：
富士通
外部接続ルータ

Ethernet
RDMA

ログインノード+プリポスト
Login
Login
Login
ログイン
nodenodenodeノード

× 190

NVIDIA Grace
CPU Superchip

明治大学 特別講義

大規模共通ファイルシステム(東大)
Ipomoea-01
Lustre FS

26 PB

3

2024/4/12

Miyabi(OFP-II)の概要 (2/3)• Miyabi-G: 演算加速ノード: NVIDIA GH200– 計算ノード: NVIDIA GH200 Grace-Hopper Superchip• Grace: 72c, 3.45 TF, 120 GB, 512 GB/sec (LPDDR5X)• H100: 66.9 TF DP-Tensor Core, 96 GB, 4,022 GB/sec (HBM3)– CPU-GPU間はキャッシュコヒーレント• NVMe SSD for each GPU: 1.9TB, 8.0GB/sec, GPUDirect Storage– 合計 (CPU+GPUの合計値)• 1,120 ノード, 78.8 PF, 5.07 PB/sec, IB-NDR 200• Miyabi-C: 汎用CPUノード: Intel Xeon Max 9480(SPR)– 計算ノード: Intel Xeon Max 9480 (1.9 GHz, 56c) x 2• 6.8 TF, 128 GiB, 3,200 GB/sec (HBM2e only)– 合計• 190 ノード, 1.3 PF, IB-NDR 200• 372 TB/sec for STREAM Triad (Peak: 608 TB/sec)
明治大学 特別講義

42024/4/12

Miyabi(OFP-II)の概要 (2/3)• Supermicro ARS-111GL-DNHR-LCC– 1U 2ノード、直接水冷明治大学 特別講義

5

2024/4/12

Miyabi(OFP-II)の概要 (3/3)• ファイルシステム: DDN EXAScalar, Lustre FS– 10.3 PB (NVMe SSD) 1.0TB/sec, “Ipomoea-01” (26 PB) も利用可能• Group-A/B の全ノードはフルバイセクションバンド幅Fat Treeで接続– (400Gbps/8)×(32×20＋16×1) = 32.8 TB/sec• 2025年1月運用開始、Group-A/B間の通信は
h3-Open-SYS/WaitIO により実現
IB-NDR（400Gbps）
IB-HDR（200）
IB-NDR200（200）Group-AIntel Xeon Max(HBM2e) 2 x 190
1.3 PF, 608 TB/sec

Group-B

NVIDIA GH200 1,120
78.2 PF, 5.07 PB/sec

Ipomoea-01

大規模共通ストレージ
26 PBFile System

DDN EXA Scaler
10.3 PB, 1.0TB/sec
明治大学 特別講義

62024/4/12

Miyabi(OFP-II) 仕様まとめ
演算加速ノード

78.8 PFLOPS

1.29 PFLOPS

ノード数

1,120190

合計メモリ容量

241.9 TB

23.75 TiB

合計メモリバンド幅

5.07 PB/sec

608 TB/sec

インタコネクトトポロジ

InfiniBand NDR200 (200 Gbps)
Full-bisection Fat Tree

理論ピーク性能

共有ファイルシステム
M
DS

7

汎用CPUノード

サーバ
サーバ数(VM)

Lustre FS
DDN ES400NVX2
1 (4)inode数

appx. 23.5 B

サーバ

DDN ES400NVX2

O サーバ数S
S 容量
理論バンド幅10 set11.3 PB (All Flash)
1.0 TB/sec

項目サーバ
プロセッサ名プロセッサ数 (コア数)
C 周波数
P 理論演算性能Uメモリ
メモリ容量
メモリ帯域幅プロセッサ名プロセッサ数SM数G 理論演算性能
P メモリ
U
メモリ容量
メモリ帯域幅CPU-GPU間接続
NVMe SSD
明治大学 特別講義

演算加速ノード

汎用CPUノード

Supermicro
FUJITSU Server
ARS-111GL-DNHR-LCC
PRIMERGY CX2550 M7Intel Xeon CPU Max
NVIDIA GH200 Grace HopperSuperchip, NVIDIA Grace
9480 （Sapphire Rapids）

1 (72)
3.0 GHz
3.456 TFLOPSLPDDR5X
120 GB
512 GB/s
NVIDIA Hopper
1132
66.9 TFLOPSHBM396 GB
4.02 TB/s
NVLink C2C 450 GB/sec
キャッシュコヒーレント

2 (56+56)
1.9 GHz6.8096 TFLOPS
HBM2E
128 GiB
3.2 TB/s

1.92 TB, PCIe Gen4 x4--72023/12/7

GPU移植・移行の計画• NVIDIA Japanの協力• 3,000人以上のOFP利用者：2つの形態• 「自己移植（Self Porting）」：様々なオプション– 1週間のハッカソン（ミニキャンプ），3ヶ月に1回，オンライン・ハイブリッド，Slack併用– 毎月開催される「相談会」（Zoom，非ユーザーも自由に参加できる）– 素晴らしく充実した「移行ポータルサイト」，各種講習会• https://jcahpc.github.io/gpu_porting/• 「サポート移植（Surpported Porting）」，2022年10月開始– 多くのユーザーを有するコミュニティコード（19種類，次頁），OpenFOAM（NVIDIA）– 外注のための予算も確保（富士通が担当する予定）– 「サポート移植」グループメンバー（主に若手）はハッカソン・相談会にも積極的に参加• 基本的にOpenACC/StdPar（Standard Parallelism）推奨
PCCC23 「HPC基盤技術と生成AI」

8

Category

Name (Organizations)Target, Method etc.

Language

FrontISTR (U.Tokyo)
FrontFlow/blue (FFB) (U.Tokyo)
Engineering
FrontFlow/red (AFFr) (Advanced Soft)(5)
FFX (U.Tokyo)
CUBE (Kobe U./RIKEN)ABINIT-MP (Rikkyo U.)
Biophysics
UT-Heart (UT Heart, U.Tokyo)(3)
Lynx (Simula, U.Tokyo)
MUTSU/iHallMHD3D (NIFS)
Physics
Nucl_TDDFT (Tokyo Tech)(3)
Athena++ (Tohoku U. etc.)
SCALE (RIKEN)
Climate/Weather/ NICAM (U.Tokyo, RIKEN, NIES)
Ocean
MIROC-GCM (AORI/U.Tokyo)(4)
Kinaco (AORI/U.Tokyo)
OpenSWPC (ERI/U.Tokyo)

Solid Mechanics, FEM
CFD, FEM
CFD, FVM
CFD, Lattice Boltzmann Method (LBM)
CFD, Hierarchical Cartesian Grid
Drug Discovery etc., FMO
Heart Simulation, FEM etc.
Cardiac Electrophysiology, FVM
Turbulent MHD, FFT
Nuclear Physics, Time Dependent DFT
Astrophysics/MHD, FVM/AMR
Climate/Weather, FVM
Global Climate, FVM
Atmospheric Science, FFT etc.
Ocean Science, FDM
Earthquake Wave Propagation, FDM

FortranFortranFortranFortranFortranFortranFortran, CC
FortranFortranC++
FortranFortranFortran77
FortranFortranEarthquake SPECFEM3D (Kyoto U.)(4)hbi_hacapk (JAMSTEC, U.Tokyo)
sse_3d (NIED)

Earthquake Simulations, Spectral FEM

FortranEarthquake Simulations, H-Matrix
Earthquake Science, BEM (CUDA Fortran)

FortranFortran

9

May 23, 2024

10

Miyabiの特徴• CG1 (GH200, Grace-Hopper: 1 socket/node)– 他の多くのGH200システムは 4ソケット/ノード• Cray/HPE: CSCS Alps, LANL Venado, Bristol Isambard AI, Cyfronet Helios,…
• Eviden/Bull/Atos: Julich JUPITER, CEA Jules Verne– TACC “Vista” by Dell, CG1 (Gigabyte製？)• InfiniBand NDR200, Fat-tree フルバイセクションBW– Cray/HPE: SlingShot– Eviden: BXIv2 (CEA-JV), IB-NDR200 (JUPITER)– InfiniBand: Vista、トポロジ不明• GPUDirect Storageが利用可能 èノード内NVMe-SSD, Lustre Filesystem (Allflash)– SlingShot は未サポート (BXIもおそらく未サポート)• Intel Xeon Sapphire Rapids HBMの計算ノードと密結合• 富士通による設計と運用、Supermicro製計算ノード
European Workshops on HPC Infrastructures 2024 @Sitges

11

Graceからのメモリビュー• NUMAとして見える– First Touchが大事
NUMA
Domain 0• 従来のCUDAのメモリモデルも使えて普通に動く＋転送が速い– cudaMalloc() + cudaMemcpy()

NVIDIA GH200 Grace Hopper Superchip
GRACE CPULPDDR5X
120 GB

72c, 2.6 GHz

NUMA
Domain 1HopperGPU

NVLink C2C

HBM3
96 GB450 GB/s

512 GB/s

4.02 TB/s

PCIe Gen4x4

NVMe SSD
1.92 TB

PCIe Gen5x8

IB NDR HCA
ConnectX-7
IB NDR200(200 Gbps)

12Hopperからのメモリビュー• Graceでのアドレスを使って直接アクセス可能
NVIDIA GH200 Grace Hopper Superchip
GRACE CPULPDDR5X
120 GB

72c, 2.6 GHz

HopperGPU

NVLink C2C

HBM396 GB

450 GB/s

512 GB/s

4.02 TB/s

PCIe Gen4x4

NVMe SSD
1.92 TB

PCIe Gen5x8

IB NDR HCA
ConnectX-7
IB NDR200(200 Gbps)

2024/6/28

GH200の予備評価• 空冷版のGrace-Hopper (Supermicro製)で評価中– Miyabi-Gとの違い• Graceメモリ容量 120 GB è 480 GB• Graceメモリバンド幅 512 GB/sec è 384 GB/sec• OS: Rocky Linux 9.4 aarch64– kernel: 5.14.0-427.{20,22}.1.el9_4.aarch64+64k– 64Kページ、irqbalance無効, transparent huge page 無効、とかもろもろ、、– 参考• https://docs.nvidia.com/grace-patch-config-guide.pdf• https://docs.nvidia.com/grace-performance-tuning-guide.pdf••••

CUDA 12.4, CUDA Driver: 550.90.7
OFED 24.04-0.6.6
NVHPC 24.5-2
コンテナ– Apptainer 1.3.2, Enroot (+caps) 3.5.0
PCCC Workshop in すずかけ台

132024/6/28

14• 評価結果は後日公開予定

PCCC Workshop in すずかけ台

2024/6/28

15

OFP (2016年5月契約): 106円/ドル

導入に向けたスケジュール

2022年2月 ウクライナ危機(135円/ドル)• GPUアーキテクチャ決定: 2022年6月末(148円/ドル) ~4.5 MW, 150+(~180) PF• 資料招請(RFI): 2022年11月上旬• 意見招請(RFC): 2023年5月上旬(137円/ドル) ~3.0 MW, 100+(~120) PF• 入札広告(RFP): 2023年8月下旬
2023年10月 ガザ・イスラエル問題• 開札: 2023年11月上旬(146~151円/ドル) ~3.0 MW, 70+ PFLOPS• 運用開始: 2025年1月15日
2.0 MW, 80 PFLOPS
è導入期間: 14ヶ月、
高圧ケーブル不足è解消
調達作業を始めて運用開始まで足掛け3年、、3456… 11 12GPU
プリベンチ GPU決定

1資料招請2202520242023202234567

意見招請
仕様書原案

8910 11 12

入札公告

開札

最終仕様書
PCCC Workshop in すずかけ台

123導入

45678910 11 121…

運用

2023/12/7

まとめ• Miyabi (OFP-II)の導入中– 運用開始: 2025年1月、導入、運用：富士通• 設置場所：東京大学 柏キャンパス （OFPと同じ部屋、ずっと小さい）– Miyabiの合計性能 80.1 PFLOPS : OFP (25 PFLOPS)の約3.2倍の性能• Miyabi-G: 演算加速ノード, NVIDIA GH200 Superchip– CPU: Grace, 3.456 TFLOPS, 120 GB, 512 GB/s (LPDDR5X)+
GPU: Hopper, 66.9 TFLOPS, 96 GB, 4.02 TB/s (HBM3), キャッシュコヒーレント, 1.9TB NVMe SSD– 合計: 1,120 node, 78.8 PFLOPS, 5.07 PB/s

• Miyabi-C: 汎用CPUノード, Intel Xeon Max 9480
– 計算ノード: 6.8 TFLOPS, 128GiB, 3.2 TB/s (HBM2e only)– 合計: 190 ノード, 1.3 PFLOPS, 608 TB/s

• ストレージ: DDN Lustre 11.3 PB, All Flash– GH200を採用する国内初のオープンシステム、世界的に見ても特徴あるシステム
16