PCCC23 2023年12月7日（木）JCAHPCの新スーパーコンピュータ
OFP-II： 導入までの道のり塙 敏博
最先端共同HPC基盤施設 (JCAHPC)
東京大学 情報基盤センター
筑波大学 計算科学研究センター （客員）2023/12/7

PCCC23 「HPC基盤技術と生成AI」

1

2023/12/7

2

概要• Oakforest-PACS (OFP)導入の経緯・スケジュール• JCAHPCの体制• OFPの果たした役割• OFP-IIに向けて• OFP-IIへの道• OFP-IIの概要• まとめ
PCCC23 「HPC基盤技術と⽣成AI」

OFPまでの道: T2Kオープンスパコンアライアンス (2008~2012?)
筑波⼤・東⼤・京⼤による次世代スパコン技術の推進のための同時調達システムn 計算科学・計算⼯学における研究・教育・システム共⽤に関する⼤学のリーダーシップの確⽴
nKyoto Univ.
416 nodes (61.2TF) / 13TB
Linpack Result:
Rpeak = 61.2TF (416 nodes)
Rmax = 50.5TF

2023/12/7

オープン ハードウェアアーキテクチャ（コモディティ技術による）
n オープン ソフトウェアスタック（オープンソースミドルウェアとツール）n オープン な利⽤とユーザ知識・アプリケー
ションの共有nUniv. Tokyo
952 nodes (140.1TF) / 31TB
Linpack Result:
Rpeak = 113.1TF (512+256 nodes)
Rmax = 83.0TF

PCCC23 「HPC基盤技術と生成AI」

Univ. Tsukuba
648 nodes (95.4TF) / 20TB
Linpack Result:
Rpeak = 92.0TF (625 nodes)
Rmax = 76.5TF

3

2023/12/7

T2Kから「ポストT2K」へ• T2Kオープンスパコンアライアンスの効果– 3台のスパコンは同時に調達・運⽤され，システム構築技術や性能チューニング技
術等を共有し，⼤学間の強いHPC研究コミュニティの発展につながった。

• T2Kの後，異なる次期システム調達スケジュールやシステム開発ポリシーの違いにより，発展的に解消– 京⼤︓4年間サイクルの調達– 筑波⼤︓演算加速器系システムに傾注 (HA-PACS)– 東⼤︓T2KだけでなくFACシステムとしてFX10を導⼊ (Oakleaf-FX,
Oakbridge-FX)• そして「ポストT2K」へ– 2013年，筑波⼤学と東京⼤学による新たなスパコン導⼊の枠組みà JCAHPC– T2Kを越える，より強固な連携によるシステム調達à Oakforest-PACS
PCCC23 「HPC基盤技術と⽣成AI」

4

2023/12/7

5

JCAHPCの体制• 2⼤学が調達と運⽤に関して共に責任を持つ• 国内初の試み、世界的にも例を⾒ない• ⽇本で最⼤規模のシステムを実現

運営委員会
研究開発
部⾨

• 筑波⼤学と東京⼤学の間の密な連携・協⼒• 両センターの教員、技術職員が参加• 仕様に加え調達プロセスを⼀本化、単⼀のシステム

東京⼤学
柏キャンパス

広報・企画
部⾨

運⽤技術
部⾨

最先端共同HPC基盤（スパコン）

予算

予算
運⽤

運⽤

JCAHPC運営委員会の歴代委員
歴代委員

施設⻑

副施設⻑

研究開発部⾨⻑運⽤⽀援部⾨⻑
/副部⾨⻑

広報・企画
部⾨⻑

第1期(2013/4-2015/3)

佐藤三久 (筑波⼤)⽯川裕 (東京⼤)第2期(2015/4-2018/3)

中村宏 (東京⼤)梅村雅之 (筑波⼤)中島研吾 (東京⼤)朴泰祐 (筑波⼤)建部修⾒ (筑波⼤)第3期(2018/4-2019/3)

⽥浦健次朗 (東京⼤)朴泰祐 (筑波⼤)

中島研吾 (東京⼤)朴泰祐 (筑波⼤)建部修⾒ (筑波⼤)(2019/4-)

⽥浦健次朗 (東京⼤)朴泰祐 (筑波⼤)

中島研吾 (東京⼤)塙敏博 (東京⼤)/
建部修⾒ (筑波⼤)⾼橋⼤介 (筑波⼤)PCCC23 「HPC基盤技術と⽣成AI」

運営委員
メンバー

6名〜
10名

2023/12/7

JCAHPC共同調達のポリシー～2センターで共有したこと～• T2Kの精神に基づき、オープンな最先端技術を導入– T2K： 2008年に始まったTsukuba, Tokyo, Kyoto の3大学でのオープンスパコンアライ
アンス、3機関の研究者が仕様策定に貢献、システムへの要求事項を共通化• システムの基本仕様

2010年8月頃: 次世代メニーコアCPUに決定Intel Knights Ferry (KNF)
Intel Knights Corner (KNC)• 2013年: 東大ITC 実験クラスタ• 2014年4月：筑波大CCS COMAシステム– 超並列PCクラスタ– HPC用の最先端プロセッサ、アクセラレータは不採用
à 広範囲なユーザとアプリケーションのため
à ピーク性能追求より、これまでのコードの継承を優先– 使いやすい高効率相互結合網– 大規模共用ファイルシステム
Intel Knights Landing (KNL)

Oakforest-PACS• スケールメリットを活かす– 超大規模な単一ジョブ実行も可能とする
PCCC23 「HPC基盤技術と⽣成AI」

6

2023/12/7

JCAHPC︓OFP共同調達〜運⽤終了• 2013年: 「最先端共同HPC基盤施設」(JCAHPC)設⽴– 3⽉: 筑波⼤学と東京⼤学との間で「計算科学・⼯学及びその推進のための計算機科学・⼯学の発展に資するための連携・協⼒推進に関する協定」を締結• 本協定の下、筑波⼤学計算科学研究センターと東京⼤学情報基盤センターが JCAHPC を設置• 2013年7⽉: 資料招請 (RFI: Request For Information)– 共同調達は既定路線ではなかった、双⽅の⼤学から公⽰– システム割合は 筑波⼤︓東⼤ = 1:2 に定める è その後、負担割合全般に適⽤• 2015年1⽉: 意⾒招請 (RFC: Request For Comments) à1システムとして調達へ– 複数⼤学による初めての「1システム」共同調達– 東京⼤が事務⼿続き窓⼝を担当、筑波⼤の担当者も参加

•
•
•
•
•

2016⽉1⽉: ⼊札公告 (RFP: Request For Proposal)~4⽉落札決定: 富⼠通
2016年10⽉: ⼀部稼働開始（416ノード）
2016年12⽉: 全系稼働開始 (8,208ノード)
5年6ヶ⽉
2017年4⽉︓⼀般利⽤、全国共同利⽤開始
2022年3⽉︓OFP運⽤終了
PCCC23 「HPC基盤技術と⽣成AI」

78

2023/12/7

研究分野別利用CPU時間割合 Engineering
データ科学・
データ同化
FY.2017

地球・宇宙
科学
エネルギー・
物理学（QCD）

材料科学

データ科学・
データ同化
生物科学・
生体力学
地球・宇宙
科学
エネルギー・
物理学（QCD）
材料科学

FY.2020

Engineering
FY.2018
Earth/Space
Material
Energy/Physics
地球・宇宙
Information Sci.
科学
Education
Industry
材料科学
Bio エネルギー・
物理学（QCD）
Social Sci. & Economics
Data

Engineering
Earth/Space
工学
Material
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms地球・宇宙
Info.エネルギー・
Sci. : AI
科学
Education
物理学（QCD）
Industry
Bio
Bioinformatics 材料科学
FY.2021SocialSci. & Economics
PCCC23 「HPC基盤技術と生成AI」

Engineering
Earth/Space
Material
Energy/Physic
Info. Sci. : Syst
Info. Sci. : AlgrInfo. Sci. : AI
Education
Industry
Bio
Bioinformatics
Social Sci. & Ec
Data

Earth/SpaceFY.2019
Material
Energy/Physics
Info. Sci. : System
地球・宇宙
Info. Sci. : Algrorithms科学
Info. Sci. : AI
エネルギー・
Education
物理学（QCD）
Industry
Bio
材料科学
Bioinformatics
Social Sci. & Economics
Engineering
Data
■ 教育
■Earth/Space
工学・ものつくり■ 産業利用■Material
地球科学・
Energy/Physics■ 生物科学・
宇宙科学
Sci. : System
生体力学■Info.
材料科学
Sci. : Algrorithms ■ バイオ■Info.
エネルギー・
Info. Sci. : AI
インフォマティクス
物理学
Education■Industry
情報科学：システム ■ 社会科学・経済■ データ科学・■Bio情報科学：
データ同化
Bioinformatics
アルゴリズムSci. & Economics■Social
情報科学：AI

2023/12/7

9

Oakforest-PACSの果たした役割• OFPは第二階層ではトップクラス– 4年半経過でWisteria/BDEC-01に交代• 京è富岳移行期の計算資源、大規模ジョブの受け皿として機能– 常時2,048ノードジョブ実行可– HPCIへの資源提供(JCAHPCとして一体で実施)• 2017, 2018年度: 1,600ノード/年• 2019年度〜: 3,300ノード/年(参考)2022, 23年度はJCAHPCとしてWisteria-Odyssey
を提供• 2,304ノード/年(2022年度)

OFP運⽤終了を記念して (2022年3⽉31⽇)

PCCC23 「HPC基盤技術と生成AI」

2023/12/7

10

OFP-IIに向けて• OFP-IIも第2階層システムのトップマシンでありたい• OFP導入の際の理念を継承– システムのオープン性– 導入時点のトレンドを見据えた先端アーキテクチャの採用• さらなる幅広い応用に資する– 大規模アプリケーションのユーザを引き続き支援– AI for HPC / ScienceといったAIを活用する新計算科学手法の推進– 「計算・データ・学習」の融合によるSociety 5.0を支えるプラットフォー
ム
PCCC23 「HPC基盤技術と生成AI」

FY13

スパコンの変遷＠筑波大CCS＆東大ITC

14

15

16

17

HA-PACS Cray

18

19

20

21

22

23

25

26

27

28

29

30

Cygnus NEC

802 TFLOPS+364 TFLOPSIntel Xeon SKX + NVIDIA V100 + Intel Stratix10
2.4 PFLOPS + 64 FPGACOMA Cray
1 PFLOPS

T2K
Tsukuba24

Pegasus NEC

Intel Xeon SRP + DCPMM + NVIDIA H100

6 PFLOPS

Cray-Appro
95TFLOPS

Oakforest-PACS (OFP) Fujitsu,
Intel Xeon Phi

T2K
Tokyo
Hitachi

OFP-II(6 years)

25PFLOPS, 919.3TB

140TF, 31.3TB

Wisteria-Mercury (4yrs)

Oakleaf-FX: Fujitsu PRIMEHPC FX10,SPARC64 IXfx

Intel Xeon SPR + NVIDIA H100

Wisteria/BDEC-01 Fujitsu,

1.13 PFLOPS, 150 TB

FX1000+(Intel ICX+NVIDIA A100)

Oakbridge-FX

Integration of “Simulation, Data, and Learning”

136.2 TFLOPS, 18.4 TB

33.1 PFLOPS

Yayoi: Hitachi SR16000/M1
IBM Power-7

BDEC-02
150+ PFOakbridge-CX FujitsuIntel Xeon CLX

54.9 TFLOPS, 11.2 TB

Reedbush-U/H, HPE

6.61 PFLOPSIntel BDW + NVIDIA P100
1.93 PFLOPS

Reedbush-L HPE
1.43 PFLOPS

2023/12/7

mdx Fujitsu“Data platform”
PCCC23 「HPC基盤技術と生成AI」

11

12
12

2023/12/7

OFP-IIへの道（1/3）• 2019年11月頃： JCAHPCとして2代目も継続して設計・運用することを確認• 2021年2月：システム名を “Oakforest-PACS II (OFP-II)” とすることに決定• スパコンへの性能要求，省電力，脱炭素化⇒演算加速器搭載は不可避（電気代も高騰）– 2021年秋には方針決定

2.00

System(Top/Green 500)

HW

GF/W

Henri (255,1)

NVIDIA H100

65.4

Frontier (1,6)

AMD MI250X

52.6

Leonardo (4,15)

NVIDIA A100

32.2

Fugaku (2, 49)

A64FX

15.4

Ratio over Cost in FY.2021 (19JPY/kWh)

1.50

PCCC23 「HPC基盤技術と生成AI」

1.00

0.50

0.00

電力単価推移（対2021年度比）

2023/12/7

13

OFP-IIへの道（2/3）• ヘテロな構成– 汎用CPUクラスタ（Group-A）＋GPUクラスタ（Group-B）– 「計算・データ・学習」融合路線は継続• 先行してGPUを選定– OFPユーザー（3,000人以上）のGPUへの移行には18-30ヶ月必要– GPUへの移行用の環境を事前に導入、OFP-IIと同アーキテクチャ
でないと意味がない è Wisteria-Mercury導入– 2021年10月 GPUの選定を先行して行うことを決定– 2022年2~3月 各社にプリベンチマークを打診、配布– 2022年6月 プリベンチマーク結果の報告を元にGPUアーキテク
チャ決定

PCCC23 「HPC基盤技術と生成AI」

Group-A
CPU only
Group-B
CPU+GPU

13

14
14

2023/12/7

OFP-IIへの道（3/3）• GPU検討のためのベンチマークを
提供コードをそのまま実行（As各社に依頼
CPU版のコードに A-1– 7種類，計算科学系

A• OpenMP+MPI or GPU化済み• それぞれについて右表のような対応• ベンチマークは次ページ

èNVIDIA H100またはその後継
に決定
– 決め手

B

C

対してホストCPU
での性能を評価

CPU版のコードをGPU化

GPU化済みの
コードを最適化• 性能そのもの• Fortranで記述されたアプリケーションのポータビリティ

Is）

A-2

最適化したコードを使用

B-1

OpenACC, OpenMP, Standard
Language等の手法でGPU化

B-2

当該GPUで最大限の性能が出せるようチューニング

C-1

提供コードまたは既存コードを実行

C-2

当該GPUで最大限の性能が出せるようチューニング– OpenACC/StdPar（Standard Parallelism）によるGPU化は比較的簡単，
OpenMP/MPIハイブリッドによって並列化されたプログラムに適している
PCCC23 「HPC基盤技術と生成AI」

2023/12/7

15

Seven Benchmarks
A: Benchmark for General CPU è GPU
B: Already GPU-enabled
Code

Description
3-D Poisson’s Equation by Finite
P3D
Volume Method
GeoFEM/ICCG Finite Element Method

Lang.

Parallelization GPU

C

OpenMP

Fortran OpenMP, MPI

N/A

H-Matrix

Hierarchical-Matrix calculation

Fortran OpenMP, MPI

N/A

QCD

Quantum-Chromo Dynamics
simulation

Fortran OpenMP, MPI

CUDA

N-BodyN-Body simulation using FDPSC++OpenMP, MPI

CUDAGROMACS

Molecular Dynamics simulation

C++

OpenMP, MPI

CUDA, HIP,SYCLSALMON

Ab-initio quantum-mechanical
Fortran OpenMP, MPI
simulator for optics and nanoscience(OpenACC)

PCCC23 「HPC基盤技術と生成AI」

Category

N/A

A

B

A

2023/12/7

GPU移植・移行の計画• NVIDIA Japanの協力• 3,000人以上のOFP利用者：2つの形態• 「自己移植（Self Porting）」：様々なオプション– 1週間のハッカソン（ミニキャンプ），3ヶ月に1回，オンライン・ハイブリッド，Slack併用– 毎月開催される「相談会」（Zoom，非ユーザーも自由に参加できる）– 素晴らしく充実した「移行ポータルサイト」，各種講習会• https://jcahpc.github.io/gpu_porting/• 「サポート移植（Surpported Porting）」，2022年10月開始– 多くのユーザーを有するコミュニティコード（17種類，次頁），OpenFOAM（NVIDIA）– 外注のための予算も確保（落札ベンダーが担当する予定）– 「サポート移植」グループメンバー（主に若手）はハッカソン・相談会にも積極的に参加• 基本的にOpenACC/StdPar（Standard Parallelism）推奨
PCCC23 「HPC基盤技術と生成AI」

16

2023/12/7

Category

17
17

Name (Organizations)Target, Method etc.

FrontISTR (U.Tokyo)
Engineering
FrontFlow/blue (U.Tokyo)(3)
FrontFlow/red (Advanced Soft)ABINIT-MP (Rikkyo U.)
Biophysics
UT-Heart (UT Heart, U.Tokyo)(3)
Lynx (Simula, U.Tokyo)
MUTSU/iHallMHD3D (NIFS)
Physics
Nucl_TDDFT (Tokyo Tech)(3)
Athena++ (Tohoku U. etc.)
Climate/ SCALE (RIKEN)
Weather/ NICAM (U.Tokyo, RIKEN, NIES)
Ocean
MIROC-GCM (AORI/U.Tokyo)(4)
Kinaco (AORI/U.Tokyo)
OpenSWPC (ERI/U.Tokyo)

Solid Mechanics, FEM
CFD, FEM
CFD, FVM
Drug Discovery etc., FMO
Heart Simulation, FEM etc.
Cardiac Electrophysiology, FVM
Turbulent MHD, FFT
Nuclear Physics, Time Dependent DFT
Astrophysics/MHD, FVM/AMR
Climate/Weather, FVM
Global Climate, FVM
Atmospheric Science, FFT etc.
Ocean Science, FDM
Earthquake Wave Propagation, FDM

Earthquake Simulations, Spectral FEM
Earthquake SPECFEM3D (Kyoto U.)(4)hbi_hacapk (JAMSTEC, U.Tokyo)Earthquake Simulations, H-Matrix
sse_3d (NIED)

Earthquake Science, BEM (CUDA Fortran)

PCCC23 「HPC基盤技術と生成AI」

Language
FortranFortranFortranFortranFortran, CC
FortranFortranC++
FortranFortranFortran77
FortranFortranFortranFortranFortran2023/12/7

Category

18
18

Name (Organizations)Target, Method etc.

FrontISTR (U.Tokyo)
Engineering
FrontFlow/blue (U.Tokyo)(3)
FrontFlow/red (Advanced Soft)ABINIT-MP (Rikkyo U.)
Biophysics
UT-Heart (UT Heart, U.Tokyo)(3)
Lynx (Simula, U.Tokyo)
MUTSU/iHallMHD3D (NIFS)
Physics
Nucl_TDDFT (Tokyo Tech)(3)
Athena++ (Tohoku U. etc.)
Climate/ SCALE (RIKEN)
Weather/ NICAM (U.Tokyo, RIKEN, NIES)
Ocean
MIROC-GCM (AORI/U.Tokyo)(4)
Kinaco (AORI/U.Tokyo)
OpenSWPC (ERI/U.Tokyo)

Solid Mechanics, FEM
CFD, FEM
CFD, FVM
Drug Discovery etc., FMO
Heart Simulation, FEM etc.
Cardiac Electrophysiology, FVM
Turbulent MHD, FFT
Nuclear Physics, Time Dependent DFT
Astrophysics/MHD, FVM/AMR
Climate/Weather, FVM
Global Climate, FVM
Atmospheric Science, FFT etc.
Ocean Science, FDM
Earthquake Wave Propagation, FDM

Earthquake Simulations, Spectral FEM
Earthquake SPECFEM3D (Kyoto U.)(4)hbi_hacapk (JAMSTEC, U.Tokyo)Earthquake Simulations, H-Matrix
sse_3d (NIED)

Earthquake Science, BEM (CUDA Fortran)

PCCC23 「HPC基盤技術と生成AI」

Language
FortranFortranFortranFortranFortran, CC
FortranFortranC++
FortranFortranFortran77
FortranFortranFortranFortranFortran2023/12/7

Category

19
19Name (Organizations)Target, Method etc.

FrontISTR (U.Tokyo)
Engineering
FrontFlow/blue (U.Tokyo)(3)
FrontFlow/red (Advanced Soft)ABINIT-MP (Rikkyo U.)
Biophysics
UT-Heart (UT Heart, U.Tokyo)(3)
Lynx (Simula, U.Tokyo)
MUTSU/iHallMHD3D (NIFS)
Physics
Nucl_TDDFT (Tokyo Tech)(3)
Athena++ (Tohoku U. etc.)
Climate/ SCALE (RIKEN)
Weather/ NICAM (U.Tokyo, RIKEN, NIES)
Ocean
MIROC-GCM (AORI/U.Tokyo)(4)
Kinaco (AORI/U.Tokyo)
OpenSWPC (ERI/U.Tokyo)

Solid Mechanics, FEM
CFD, FEM
CFD, FVM
Drug Discovery etc., FMO
Heart Simulation, FEM etc.
Cardiac Electrophysiology, FVM
Turbulent MHD, FFT
Nuclear Physics, Time Dependent DFT
Astrophysics/MHD, FVM/AMR
Climate/Weather, FVM
Global Climate, FVM
Atmospheric Science, FFT etc.
Ocean Science, FDM
Earthquake Wave Propagation, FDM

Earthquake Simulations, Spectral FEM
Earthquake SPECFEM3D (Kyoto U.)(4)hbi_hacapk (JAMSTEC, U.Tokyo)Earthquake Simulations, H-Matrix
sse_3d (NIED)

Earthquake Science, BEM (CUDA Fortran)

PCCC23 「HPC基盤技術と生成AI」

Language
FortranFortranFortranFortranFortran, CC
FortranFortranC++
FortranFortranFortran77
FortranFortranFortranFortranFortranFrontFlow/blue (FFB) Flow Solver
n FEM-based incompressible/compressible Flow Solver
n Developed for Industrial Applications of WR-LES
n Features Automated Mesh Refinement and Overset Method
Cavitating Hydrofoil

Marine Propeller

Automobile Wake[c/o Prof. C. Kato (UTokyo)]

20

Porting FFB on A100 through OpenACC-1■ Porting of a main kernel GRAD3X completed just by adding directives
DO 1000 IP = 1 , NP
FXBUF=0.0E0
FYBUF=0.0E0
FZBUF=0.0E0
DO 1100 I = 1 , 8
IE=IENP(I,IP)SWRK = S(IE)FXBUF=FXBUF-SWRK*DNXYZP(I,1,IP)
FYBUF=FYBUF-SWRK*DNXYZP(I,2,IP)
FZBUF=FZBUF-SWRK*DNXYZP(I,3,IP)
1100
CONTINUEFXYZ(1,IP)=FXBUF*CM(IP)FXYZ(2,IP)=FYBUF*CM(IP)FXYZ(3,IP)=FZBUF*CM(IP)1000 CONTINUE

Original code!$acc kernels
DO 1000 IP = 1 , NP
FXBUF=0.0E0
FYBUF=0.0E0
FZBUF=0.0E0!$acc loop seq
DO 1100 I = 1 , 8
IE=IENP(I,IP)SWRK = S(IE)FXBUF=FXBUF-SWRK*DNXYZP(I,1,IP)
FYBUF=FYBUF-SWRK*DNXYZP(I,2,IP)
FZBUF=FZBUF-SWRK*DNXYZP(I,3,IP)
1100
CONTINUEFXYZ(1,IP)=FXBUF*CM(IP)FXYZ(2,IP)=FYBUF*CM(IP)FXYZ(3,IP)=FZBUF*CM(IP)1000 CONTINUE!$acc end kernels[c/o Prof. C. Kato (UTokyo)]

Code with directives

21Performance of FFB• FFB is memory bound• Reasonable performance for peakmemory bandwidth• High GPU utilization by using GPU Direct toreduce communication time

Performance per CPU or GPU

UP is good

Halo exchange by GPU Direct

One Iteration

8 A100-40GB GPUs used

OFP-IIの概要 (1/3)
2023年11月開札

演算加速ノード: 78.2 PFLOPS, 5.07 PB/s

汎用CPUノード: 1.3 PFLOPS, 608 TB/s

Supermicro

富士通 PRIMERGY Server

CPU+GPU:NVIDIA GH200 Superchip

CPU: NVIDIA Grace(72コア, 2.6 GHz, 117MB L3 Cache)
Mem: 111 GiB (LPDDR5X, 512 GB/sec)
GPU: NVIDIA H100
(66.9 TFLOPS, NVLink C2C接続 450 GB/sec)
Mem: 89.4 GiB (HBM3, 4.022 TB/sec)

CPU:× 1,120

InfiniBand NDR200(200 Gbps)

Intel Xeon CPU Max 9480 x 2ソケット(56コア, 1.9GHz, 112.5MB L3 Cache) x2
Mem: 128 GiB (HBM2E, 3.2 TB/sec)

InfiniBand NDR200(200 Gbps)

InfiniBand NDR (400 Gbps), Full-bisection Fat-Tree
1.0 TB/s

共有ファイルシステム
Lustre FS

10.3 PBAll Flash2023/12/7
DDN ES400 NVX2 x10

汎用CPUノード＋プリポスト用設置・運用：
富士通
外部接続
ルータ

Ethernet
RDMA

ログインノード+プリポスト
Login
Login
Login
ログイン
node
node
node
ノード

× 190

Login
Login
Login
ログイン
node
node
node
ノード
演算加速ノード用

NVIDIA GraceIntel Xeon 8480+ x2
CPU Superchip
PCCC23 「HPC基盤技術と生成AI」

大規模共通ファイルシステム(東大)
Ipomoea-01
Lustre FS

26 PB

23

2023/12/7

OFP-IIの概要 (2/3)• Group-A: 汎用CPUノード: Intel Xeon Max 9480 (SPR)– 計算ノード: Intel Xeon Max 9480 (1.9 GHz, 56c) x 2• 6.8 TF, 128 GiB, 3,200 GB/sec (HBM2e only)– 合計• 190 ノード, 1.3 PF, IB-NDR 200• 372 TB/sec for STREAM Triad (Peak: 608 TB/sec)• Group-B: 演算加速ノード: NVIDIA GH200– 計算ノード: NVIDIA GH200 Grace-Hopper Superchip• Grace: 72c, 2.9 TF, 111 GiB, 512 GB/sec (LPDDR5X)• H100: 66.9 TF DP-Tensor Core, 89.4 GiB, 4,022 GB/sec (HBM3)– CPU-GPU間はキャッシュコヒーレント• NVMe SSD for each GPU: 1.9TB, 8.0GB/sec, GPUDirect Storage– 合計 (CPU+GPUの合計値)• 1,120 ノード, 78.2 PF, 5.07 PB/sec, IB-NDR 200

PCCC23 「HPC基盤技術と生成AI」

24

2023/12/7

OFP-IIの概要 (2/3)• Supermicro ARS-111GL-DNHR-LCC– 1U 2ノード、直接水冷

PCCC23 「HPC基盤技術と生成AI」

25

2023/12/7

OFP-IIの概要 (3/3)• ファイルシステム: DDN EXAScalar, Lustre FS– 10.3 PB (NVMe SSD) 1.0TB/sec, “Ipomoea-01” (26 PB) も利用可能• Group-A/B の全ノードはフルバイセクションバンド幅Fat Treeで接続– (400Gbps/8)×(32×20＋16×1) = 32.8 TB/sec• 2025年1月運用開始、Group-A/B間の通信は
h3-Open-SYS/WaitIO により実現
IB-NDR（400Gbps）
IB-HDR（200）
IB-NDR200（200）Group-AIntel Xeon Max(HBM2e) 2 x 190
1.3 PF, 608 TB/sec

Group-B

NVIDIA GH200 1,120
78.2 PF, 5.07 PB/sec

Ipomoea-01

大規模共通ストレージ
26 PB

File System

DDN EXA Scaler
10.3 PB, 1.0TB/sec

PCCC23 「HPC基盤技術と生成AI」

26

2023/12/7

OFP-II 仕様まとめ
演算加速ノード

1.29 PFLOPS

1,120

190

合計メモリ容量

220.0 TiB

23.75 TiB

合計メモリバンド幅

5.07 PB/sec

608 TB/sec

インタコネクトトポロジ

InfiniBand NDR200 (200 Gbps)
Full-bisection Fat Tree

ノード数

共有ファイルシステム
M
D
S

サーバ
サーバ数(VM)

Lustre FS
DDN ES400NVX2
1 (4)inode数

appx. 23.5 B

サーバ

DDN ES400NVX2

O サーバ数S
S 容量
理論バンド幅10 set10.3 PB (All Flash)
1.0 TB/sec

項目
サーバ

78.2 PFLOPS

理論ピーク性能27

汎用CPUノード

プロセッサ名プロセッサ数 (コア数)
C 周波数
P 理論演算性能
U
メモリ
メモリ容量
メモリ帯域幅プロセッサ名プロセッサ数SM数G 理論演算性能
P メモリ
U
メモリ容量
メモリ帯域幅CPU-GPU間接続
NVMe SSD
PCCC23 「HPC基盤技術と生成AI」

演算加速ノード

汎用CPUノード

Supermicro
FUJITSU Server
ARS-111GL-DNHR-LCC
PRIMERGY CX2550 M7Intel Xeon CPU Max
NVIDIA GH200 Grace HopperSuperchip, NVIDIA Grace
9480 （Sapphire Rapids）

1 (72)
2.6 GHz
2.9952 TFLOPSLPDDR5X
111.7 GiB (120 GB)
512 GB/s
NVIDIA Hopper1
132
66.9 TFLOPS
HBM3
89.4 GiB (96 GB)
4.02 TB/s
NVLink C2C 450 GB/sec
キャッシュコヒーレント

2 (56+56)
1.9 GHz6.8096 TFLOPS
HBM2E
128 GiB
3.2 TB/s

1.92 TB, PCIe Gen4 x4

-

-

27

2023/12/7

まとめ• OFP-IIの調達完了、導入へ– 運用開始: 2025年1月 (13ヶ月後)、導入、運用：富士通• 設置場所：東京大学 柏キャンパス （OFPと同じ部屋、ずっと小さい）– Group A: 汎用CPUノード, Intel Xeon Max 9480
• 計算ノード: 6.8 TFLOPS, 128GiB, 3.2 TB/s (HBM2e only)• 合計: 190 ノード, 1.3 PFLOPS, 608 TB/s

– Group B: 演算加速ノード, NVIDIA GH200 Superchip• CPU: Grace, 2.99 TFLOPS, 111 GiB, 512 GB/s (LPDDR5X)+
GPU: Hopper, 66.9 TFLOPS, 89.4 GiB, 4.02 TB/s (HBM3), キャッシュコヒーレント, 1.9TB NVMe SSD• 合計: 1,120 node, 78.2 PFLOPS, 5.07 PB/s

– OFP-IIの合計性能 79.5 PFLOPS : OFP (25 PFLOPS)の約3.2倍の性能– GH200を採用する国内初のシステム• スケジュール
2023

2022

3

4

5

GPU
プリベンチ

6

… 11 12

GPUの
決定

1

資料招請

2

3

4

5

6

意見招請
仕様書原案

7

8

9

2024
10 11 12 1 2

202… 51 …

開札

入札公告
PCCC23「HPC基盤技術と生成AI」
最終仕様書

導入

運用

28