Wisteria/BDEC-01 と
h3-Open-BDEC
中島 研吾
東京大学情報基盤センター
PCCC-OSSSワークショップ
2023年3月30日

スーパーコンピューティングの今後• ワークロードの多様化– 計算科学，計算工学：Simulations– 大規模データ解析– AI，機械学習

生物科学・
生体力学
産業利用
エネルギー・
物理学

工学・
ものつくり

材料科学

CPU Cluster
Oakbridge-CX

Engineering
Earth/Space
Material
バイオ
Energy/Physics
インフォマティクス
Info. Sci. : System材料科学
Info. Sci. : Algrorithms
Info. Sci. : AI
情報科学：
生物科学・
Education
アルゴリズム
生体力学
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data

GPU Cluster

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

Reedbush-L• （シミュレーション（計算）＋データ＋学習）融合 ⇒ Society 5.0実現に
有効：Digital Twin
– フィジカル空間とサイバー空間の融合• S:シミュレーション（計算）（Simulation）• D:データ（Data）• L：学習（Learning）– Simulation + Data + Learning =
S+D+L

2

3

（シミュレーション（計算）＋データ＋学習）融合（S+D+L）• 東大情報基盤センターでは，2015年頃から「（S+D+L）融合」の重要性に注目し，それを実現するためのハード
ウェア，ソフトウェア，アプリケーション，アルゴリズムに関する研究開発を開始– BDEC計画（Big Data & Extreme Computing）– 「データ＋学習」による，より高度な「シミュレーション」• AI for HPC, AI for Science– 地球科学関連では自然な発想（すでに実施されている）• 2021年5月に運用を開始した「Wisteria/BDEC-01」は「BDEC計画」の1号機– Reedbush，Oakbridge-CXは「BDEC」のプロトタイプと位置づけられる– 「計算・データ・学習（S+D+L）」融合を実現する，世界でも初めてのプラットフォーム

4

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速5Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速6Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

7

Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

8

シミュレーションのためのモデル・パラ
メータのデータ解析，AI/機械学習による最適化（S+D+L）

9SC22における諸ランキング（2022年11月）
Odyssey

Aquarius

TOP 500

23

125

Green 500

45

28

HPCG

12

68

Graph 500 BFS

4-HPL-MxP(HPL-AI)14-

h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/① 変動精度演算・精度保証・自動チューニングによる新計算原理に基づく革新的数値解法② 階層型データ駆動アプローチ
等に基づく革新的機械学習手法③ ヘテロジニアス環境（e.g.
Wisteria/BDEC-01）におけるソフトウェア，ユーティリティ群

Big Data &ExtremeComputing10Adaptive Precision Computing with FP21/FP42

11

In recent years, the usefulness of low-precision floating-point
representation has been studied in various fields such as machinelearning. Low accuracy can be expected to have effects such as
shortening calculation time and reducing power consumption. For
example, in an application with a memory bandwidth bottleneck, theeffect of reducing the calculation time by reducing the amount ofmemory transfer is significant. However, in fields such as iterative
methods, it is common to use FP64 because the calculation accuracy
strongly affects the convergence, and there are few application
examples of low-precision arithmetic. This study investigates theHeat Conduction withapplicability of low-precision representation to the Krylov subspace
Heterogeneous Material Property
and stationary iterative methods. In this research, we focus on the FP32,
120
30
FP64-FP64 FP42-FP64
FP64-FP64
FP16, and FP42, FP21, which are not standardized by IEEE754.
FP32-FP32 FP21-FP32
FP42-FP64
100
25
FP32-FP32
Developed method has been evaluated for ICCG solver, which solves
FP21-FP32
20
80
linear equations derived from 3D FVM code for steady-state head
15
60
conduction with heterogeneous material property (λ1=100, λ2=100~109).
1040
Generally, computation with lower precision (e.g. FP32-FP32, FP215
20FP32) becomes unstable, if condition number of the coefficient matrix
00
1.E+00
1.E+01
1.E+02
1.E+03
1.E+04
1.E+00
1.E+03
1.E+06
1.E+09is larger (λ2 is larger), FP21-FP32 provides the best performance if λ2
λ2
λ2
is up to 104. (“FP21-FP32” means “matrices are in FP21, and vectors
Computation Time for ICCG Solver
Various Types of Precisions on Intel Xeon Cascadelake are in FP32)
Computational time [s]Computational time [s]Masatoshi Kawai (kawai@cc.u-tokyo.ac.jp)

12Acceleration of Transient CFD Simulations using ML/CNN
Integration of (S+D+L), AI for HPC/AI for Science

Simulations: LBM

CNN Predictions[c/o Takashi Shimokawabe (ITC/U.Tokyo)]Prediction of CFD Simulation by ML/CNN

13

Takashi Shimokawabe (shimokawabe@cc.u-tokyo.ac.jp)
Simulations: LBM

CNN Predictions

Computational fluid dynamics (CFD) is widely used in science andengineering. However, since CFD simulations requires a large
number of grid points and particles for these calculations, these kindsof simulations demand a large amount of computational resources
such as supercomputers. Recently, deep learning has attracted
attention as a surrogate method for obtaining calculation results by
CFD simulation approximately at high speed. We are working on a
project to develop a parallelization method to make it possible toapply the surrogate method based on the deep learning to large scale
geometry. Unlike the model parallel computing, the method we are
currently developing predicts large-scale steady flow simulation
results by dividing the input geometry into multiple parts andapplying a single small neural network to each part in parallel. Thismethod is developed based on considering the characteristics of CFD
simulation and the consistency of the boundary condition of eachdivided subdomain. By using the physical values on the adjacentsubdomains as boundary conditions, applying deep learning to each
subdomain can predict simulation results consistently in the entire
computational domain. It is possible to predict the simulation resultsin about 36.9 seconds by the developed method, compared to about
286.4 seconds by the conventional numerical method. In addition tothis, we are also attempting to develop a method for fast predictionof time evolution calculations using deep learning.

Machine learning slow molecular dynamics
Our proposal ー BOnd Targeting Network (BOTAN)INPUTOUTPUTnodes = particle typenodes = particle motion
Graph
NeuralNetworks

edges= relative positions

edges = relative motion

H. Shiba, M. Hanai, T. Suzumura, and T. Shimokawabe, arXiv:2206.14024 (2022)

2022/4/27

AI for HPC，
AI for Scienceの実現へ向けて• Odyssey-Aquarius連携– MPIによる通信は不可• O-Aを跨いでMPIプログラムは動かない– Odyssey-Aquarius間はInfiniband-EDR（2TB/sec）で結合されている• ソフトウェア開発– 高機能カプラー：h3-Open-UTIL/MP– O-A間通信：h3-Open-SYS/WaitIO• IB-EDR経由（WaitIO-Socket）• 高速ファイルシステム（FFS）経由連携（WaitIOFile）

15

h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/① 変動精度演算・精度保証・自動チューニングによる新計算原理に基づく革新的数値解法② 階層型データ駆動アプローチ
等に基づく革新的機械学習手法③ ヘテロジニアス環境（e.g.
Wisteria/BDEC-01）におけるソフトウェア，ユーティリティ群

Big Data &ExtremeComputing16

17

h3-Open-SYS/WaitIO
データ受け渡しライブラリ〔松葉，2020〕〔住元他，HPC-181，2021〕• ヘテロジニアス環境下での異なるコンポーネン
ト間ファイル経由連携ライブラリとして考案• 機能 Odyssey～Aquarius間連携
 IB-EDR経由通信（WaitIO-Socket）
 ファイル経由（WaitIO-File）

 外部からのデータ取得（観測データ等）
 読み込み・書き出しの同期• API：C/C++，Fortranから呼び出し可能
 MPIライクなインタフェースを提供

18

API of h3-Open-SYS/WaitIO-Socket
PB (Parallel Block): Each Application
WaitIO API

Description

waitio_isend

Non-Blocking Send

waitio_irecv

Non-Blocking Receive

waitio_wait

Termination of waitio_isend/irecv

waitio_init

Initialization of WaitIO

waitio_get_nprocs

Process # for each PB (Parallel Block)waitio_create_group
Creating communication groups
waitio_create_group_wranks among PB’s
waitio_group_rank

Rank ID in the Group

waitio_group_size

Size of Each Group

waitio_pb_size

Size of the Entire PB

waitio_pb_rank

Rank ID of the Entire PB[Sumimoto et al. 2021]

19

連成シミュレーションのためのカプラー〔荒川，八代〕• 従来のカプラー（Coupler）：ppOpen-MATH/MP– 複数（通常2つ：大気（NICAM）＋海洋（COCO））のアプリケーションの弱連成（Weak Coupling）をサポート– 各アプリケーションは1種類の計算をやる「計算＋データ＋学習」融合を支援する
多機能カプラーh3-Open-UTIL/MP• 異なる物理モデル連成のアンサンブル実行を支援・統合するための機能– MPI通信、時刻同期、格子系間マッピング等の管理機能の他、従来のカプラーには無い、複数の弱連成結合シミュレーションのアンサンブル実行、片側のモデルのみをアンサン
ブル実行する多対１の弱連成結合が可能– スパコン上で、全地球大気海洋連成シミュレーションによって動作検証済み• Fortran/Cコード（物理モデル）とPythonコードの弱連成を実現する機能– FortranやCで記述されたプログラ
ム同士の連成計算に限って開発を行ってきたカプラーを、Pythonによって記述されたAI・機械学習、可視化処理系のワークロードからも活用できるよう機能拡充。

Fortran/CアプリとPythonアプリの連成計算の模式図〔八代・荒川 2020〕

20

21

h3-Open-UTIL/MP (h3o-U/MP) +h3-Open-SYS/WaitIO-Socket
ARM: A64FX

IceLake+A100

h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO-Socket連携
2022年6月から利用可能
2022年度はFS経由のWaitIO-File整備：名大Aquarius

Odyssey

IB-EDR

2021年4月：MPI通信可能な環境を前提

2022年6月：Coupler＋WaitIO
22解説記事：h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO-Socket• h3-Open-UTIL/MP– https://www.cc.u-tokyo.ac.jp/public/VOL24/No3/13_202205-Wisteria-2.pdf– http://nkl.cc.u-tokyo.ac.jp/files/202207UtilMPfinal.pdf• h3-Open-SYS/WaitIO-Socket– https://www.cc.u-tokyo.ac.jp/public/VOL24/No2/10_202203Wisteria-1.pdf– https://www.cc.u-tokyo.ac.jp/public/VOL24/No3/12_202205-Wisteria-1.pdf

23

24

リアルタイムデータ同化＋
3D強震動シミュレーション融合
JDXnetによるリアルタイム観測データ活用

JDXnetJDXnet[c/o Prof. T.Furumura(ERI/U.Tokyo)]

25

長周期地震動シミュレーション＋観測データ同化
Output&Movie

JDXnetObserved Data

Data/Learning
Nodes: Aquarius

External Server
for Observed
Data

Visualizer

Intel Ice Lake + NVIDIA A100

7.20 PF, 578.2 TB/s
Obs. Data

FilterFiltered
Results

WaitIO-Socket

Comp.
Results

2.0 TB/s

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Seism3D/
OpenSWPC-DAF
Mesh DataUG ModelCommunications by WaitIO-Socket
Aquarius: SEND

[Kasai et al. 2021]

Odyssey: RECV

program dmy_filter<省略: 型宣言等>
call mpi_init (ierr)call mpi_comm_size (MPI_COMM_WORLD, nprocs, ierr)call mpi_comm_rank (MPI_COMM_WORLD, myrank, ierr)call WAITIO_CREATE_UNIVERSE (WAITIO_COMM_UNIVERSE, ierr)
if (myrank==0) thenopen(100,file='./obsfile_list.txt’, form=‘formatted’, status=‘old’, iostat=ierr)
do i=1,300<省略: obsデータ読み込み処理>
print *,"Send obs data ...... "call WAITIO_MPI_ISEND (NTMAX1_o, 1,
WAITIO_MPI_INTEGER, 2,1, WAITIO_COMM_UNIVERSE,req(1,1), ierr)call WAITIO_MPI_ISEND (DT_o,1,
WAITIO_MPI_FLOAT,
2,2, WAITIO_COMM_UNIVERSE,req(1,2), ierr)call WAITIO_MPI_ISEND (NST_o,1,
WAITIO_MPI_INTEGER, 2,3, WAITIO_COMM_UNIVERSE,req(1,3), ierr)call WAITIO_MPI_ISEND (AT_o,1,
WAITIO_MPI_FLOAT,
2,4, WAITIO_COMM_UNIVERSE,req(1,4), ierr)call WAITIO_MPI_ISEND (T0_o,
1,
WAITIO_MPI_FLOAT,
2,5, WAITIO_COMM_UNIVERSE,req(1,5), ierr)call WAITIO_MPI_ISEND (ISO_X_o, NSMAX,WAITIO_MPI_INTEGER, 2,6, WAITIO_COMM_UNIVERSE,req(1,6), ierr)call WAITIO_MPI_ISEND (ISO_Y_o, NSMAX,WAITIO_MPI_INTEGER, 2,7, WAITIO_COMM_UNIVERSE,req(1,7), ierr)call WAITIO_MPI_ISEND (ISO_Z_o, NSMAX,WAITIO_MPI_INTEGER, 2,8, WAITIO_COMM_UNIVERSE,req(1,8), ierr)call WAITIO_MPI_ISEND (ISTX_o,NST,WAITIO_MPI_INTEGER, 2,9, WAITIO_COMM_UNIVERSE,req(1,9), ierr)call WAITIO_MPI_ISEND (ISTY_o,NST,WAITIO_MPI_INTEGER, 2,10,WAITIO_COMM_UNIVERSE,req(1,10),ierr)call WAITIO_MPI_ISEND (ISTZ_o,NST,WAITIO_MPI_INTEGER, 2,11,WAITIO_COMM_UNIVERSE,req(1,11),ierr)call WAITIO_MPI_ISEND (STC_o,
6*NST,WAITIO_MPI_CHAR,
2,12,WAITIO_COMM_UNIVERSE,req(1,12),ierr)call WAITIO_MPI_ISEND (VxAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
2,13,WAITIO_COMM_UNIVERSE,req(1,13),ierr)call WAITIO_MPI_ISEND (VyAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
2,14,WAITIO_COMM_UNIVERSE,req(1,14),ierr)call WAITIO_MPI_ISEND (VzAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
2,15,WAITIO_COMM_UNIVERSE,req(1,15),ierr)call WAITIO_MPI_WAITALL (15,req, status, ierr)call sleep(1)enddoclose (100)endifcall WAITIO_FINALIZE (ierr)call mpi_finalize (ierr)end

26

Results at Kotoh ▲ (N.KOTH)

Data Assimilation + Pure Simulation/Forecast N 35°37.0’
E 139°46.9’

482 K-NET, KiK-net Observation

Assimilation by 70s forecast(A+S)⇒(Pure S)@30s(A+S) (Pure S)

Epicenter

50s

70s

Input
P

S

Point at Kotoh(Tokyo)
▲

90s

110s

Obs

70s for Assimilation27

28

Odyssey-Aquarius連携• 総ノード数– Odyssey：7,680ノード，やや空いている– Aquarius: 45ノード, 360 GPUs，混雑• Aquariusのうち1ノードを（S+D+L）融合型ワークロード向けにリザーブ– Odyssey，Aquariusそれぞれに対する2つのジョブスクリプトをサブミットする必要がある– 両ジョブがリソースを確保⇒実行開始• より柔軟な仕組みを整える必要あり– このようなシステム，運用例は世界的に見ても例がほとんどない29

ジョブスクリプト例 [Sumimoto, Arakawa]Odyssey for Simulation

Aquarius for AI#!/bin/bash#PJM -N "test_waitio"#PJM -L rscgrp=coupler-lec-o#PJM -L node=10:noncont#PJM --mpi proc=80#PJM -L elapse=00:10:00#PJM -g gt00
#PJM -j#PJM -e err#!/bin/bash#PJM -N "test_waitio"#PJM -L rscgrp=coupler-lec-a#PJM -L node=1#PJM --mpi proc=10#PJM -L elapse=00:10:00#PJM -g gt00
#PJM -j#PJM -e err

module load fj
module load fjmpi
module load waitio

module unload aquarius
module unload gcc ompi
module load intel
module load impi
module load waitio

export WAITIO_MASTER_HOST=`hostname`export WAITIO_MASTER_PORT=7100
export WAITIO_PBID=0
export WAITIO_NPB=2
hostname
waitio-serv-a64fx -d -m $WAITIO_MASTER_HOST#mpiexec -oferr-proc errnicam -np 160 ./nicam
mpiexec -np 80 ./nicam

export WAITIO_MASTER_HOST=`waitio-serv -c`
export WAITIO_MASTER_PORT=7100
export WAITIO_PBID=1
export WAITIO_NPB=2
module unload intel
module unload impi
module load gcc ompi
mpiexec -n 10 ./ada

30

Heterogeneous Architecture• If you want to integrate (Simulation/Data/Learning) (S+D+L), thearchitecture should be heterogeneous (My Personal Perspective)– Wisteria/BDEC-01 (U.Tokyo)– Modular Supercomputing Architecture (JSC, Germany)

Joint Proposal for FY.2023 JHPCN (accepted)
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/en/• Innovative Computational Science by Integration of
Simulation/Data/Learning under Heterogeneous Computing Environment– FY.2021 & 2022: Focused on Earthquake Simulations• Univ. Tokyo (ITC, ERI), Nagoya U., Kyushu U., NIES, Fujitsu– FY.2023-2025 (plan): Other applications and International Collaborations• Jülich Supercomputing Centre（JSC）：Modular Supercomputing• Rudjer Boskovic Institute, Centre for Informatics and Computing, Croatia• Friedrich-Alexander-Universität Erlangen-Nürnberg（FAU）• French Atomic Energy Commission (CEA)• Target Systems in Japan– Wistreia/BDEC-01，Flow@Nagoya U., mdx

31