「計算・データ・学習」融合とポストコロナ時代のスーパーコンピューティング
中島 研吾
東京大学情報基盤センター
2022年6月24日
PCクラスタワークショップ in 神戸2022「クラウドとHPC」

• 大学卒業後（工学部航空学科）• 三菱総合研究所（1985-1999）

中島 研吾「地球シミュレータ」に翻弄された 導かれた人生– 原子力関連諸業務– テキサス大学（Dept. Aerospace Eng. & Eng. Mechanics）（1991-1993）• 高度情報科学技術研究機構（RIST）（1999-2004）– GeoFEMやってました– 博士（工学）（東京大学大学院）（2003）• 東京大学– 理学系研究科地球惑星科学専攻（2004-2008） COE特任教員– 情報基盤センター（2008-）• 海洋研究開発機構（非常勤）（2008-2011）• 理化学研究所– 計算科学研究機構（非常勤）（2009-2018）– 計算科学研究センター・副センター長（2018-）• 数値流体力学，計算力学，数値線形代数，並列アルゴリズム2

3

クラウドとHPC（1/2）• 「Grid」のことを久々に思い出す• 昔昔，「Grid vs. スパコン」というような議論が盛んだった時期がある• 事業仕分けのときも「1PFのシステム10個揃えたら？」というような人が居た• 今も「クラウド vs. HPC」という図式で捉え，「バッチジョブのスパコンは時代遅れ」と言いたがる人もある程度はいる。ただ今回はそういう場ではないはず。
• 少し前の話をふりかえってみることに・・・
今日，話しの主題の一つにしたいことが書かれていた4

2001-2005
Hitachi SR8000
1,024 GF

2006-20102011-20152016-2020

Hitachi SR11000
J1, J2

Hitachi SR16K/M1
Yayoi

5.35 TF, 18.8 TF

54.9 TF

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

2026-2030

OBCX(Fujitsu)
6.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PF

Fujitsu FX10
Oakleaf-FX

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外2021-2025

OFP-II
100+ PF

Fujitsu
33.1 PF

1.13 PFBDEC02250+ PF

ReedbushU/H/L (SGI-HPE)
3.36 PF

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

5

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

HARP-1E

2011-20152016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM Power76.61 PF

OakforestPACS (Fujitsu)

Hitachi HA8000
T2K Todai
AMD OpteronAcceleratorsIntel Xeon Phi
Fujitsu FX10
Oakleaf-FX

BDEC02

Fujitsu
33.1 PF

1.13 PFSPACR64 IXfx

加速装置付

OFP-II
100+ PF

25.0 PF

140 TF

汎用CPU

2026-2030

Intel CLX
OBCX(Fujitsu)

SR8000

疑似ベクトル2021-2025

ReedbushU/H/L (SGI-HPE)

250+ PFA64FX,
Intel Icelake+
NVIDIA A100

Accelerators

3.36 PFIntel BDW +NVIDIA P100

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)
• 2019年7月～2023年6月末（予定）• 6.61 PF, #119 in 59th TOP500 (June 2022)

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#20)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#115)• 33.1 PF, #20 in 59th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Simulation Nodes（Odyssey）

Data/Learning Nodes（Aquarius）

Reedbush

Oakforest-PACS

Oakbridge-CX

“Data Platform”• High-performance virtualization environment focusing on leveraging
data with security like “Cloud” using same HW as supercomputers.
• National joint usage system
jointly operated by 9 universities
and 2 research institutes• Located at Kashiwa II campus of
U.TokyoJune 6, 2022

8

クラウドとHPC（2/2）• クラウド＝「やりたいこと」を「やりたい時」にできる環境– 昨日のAmazonさんの話し• それぞれの計算機は得意な計算をやる– ヘテロジニアスな環境になりうる

2022/4/27

92021年度分野別 ■汎用CPU，■GPUOdyssey，Aquariusは8月以降，RB-H，RB-Lは11月末時点
Engineering
工学・ものつくりEngineering
RB-H
バイオ
インフォマ
ティクス
材料科学
生物科学・
生体力学
情報科学：
AI
生物科学・
生体力学
企業利用

工学・
ものつくり

エネルギー・
物理学
材料科学

OBCX

地球科学・
宇宙科学

Engineering
Earth/Space 社会
RB-L
科学
Material
材料科学
Energy/Physics
Info. Sci. : System
Info. Sci.
: Algrorithms
バイオ
情報科学：AI
インフォマ
Info. Sci.
: AI
ティクス
Education
Industry
Bio
生物科学・
Bioinformatics 生体力学
SocialSci. & Economics
Engineering
データ
Data
Earth/Space 科学
Material生物科学・Energy/Physics
生体力学
工学・
Info. Sci. : System ものつくり
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
地球科学・
Industry
宇宙科学
Bio
Bioinformatics
OdysseySocial Sci. & Economics

Earth/Space
Material
OFP
工学・
Energy/Physics ものつくり
Info. Sci. : System
Info. Sci. : Algrorithms
地球科学・
Info.エネルギー・
Sci. : AI
宇宙科学
Education
物理学
Industry
Bio
Bioinformatics 材料科学
SocialSci. & Economics
Engineering
Data
Earth/Space
工学・
Material
ものつくり
Energy/Physics
Info. Sci. : System
情報科学：
Info. Sci. : Algrorithms地球科学・
AI
宇宙科学
Info. Sci. : AI
アルゴリズム
Education
Industry
材料科学
Bio
Bioinformatics
Aquarius
Social Sci. & Economics

地球科学・宇宙科学
Earth/Space
材料科学
Material
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info. Sci. : Algrorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
Engineering
データ科学・データ同化
Data
Earth/Space
Material
Energy/Physics
地球科学・宇宙科学
Info. Sci. : System⇒
分野ではOFP
Info. Sci. : Algrorithms
Wisteria/BDEC-01
Info. Sci. : AIへの移行が順調に進Education
んでいるIndustry
Bio
Bioinformatics
Social Sci. & Economics

10

クラウドとHPC（2/2）• クラウド＝「やりたいこと」を「やりたい時」にできる環境– 昨日のAmazonさんの話し• それぞれの計算機は得意な計算をやる– ヘテロジニアスな環境になりうる• Wisteria/BDEC-01における経験をもとに，「スーパーコンピューティング」の視点から，東大センターが研究機関，資源提供機関（企業利用含む）として，「クラウド＋HPC」にどのような貢献ができるか，について語る– 多様な計算機資源の利用– 大量の計算機資源の確保• セキュリティ，ストレージ，ネットワーク・・・普通の話しはしない（できない）– HPC≒Computational Science & Engineering （CSE），ではあるが，D（Data），L（
Learning）も含む

現状：ノード固定：OBCX，Aquarius

11

OBCX，Aquarius
計算ノード• ノード占有，個別なカスタマイズが可能– 高度な機密性• 専用ログインノード，専用ストレージ，専用回線– 個別ソフトウェア，商用コードインストール– 「長時間専有希望」原則×⇒増えつつある，MLユーザー• 審査（ヒアリング）あり，負担金は通常の1.5倍• T2K東大（2008年）より実施– GOSAT「いぶき」観測データ自動処理（国立環境研）– 医療画像処理（東大病院）• Aquarius：8GPU/ノード– ノード固定（8GPU）– GPU専有（1,2,4GPU）（審査無し）• 特定のノードのGPUを利用，どのGPUを使うかは変動– OdysseyはHWの構成上「ノード固定」はない⇒トークン消費量
1.50倍の優先キューがある• mdx：よりフレキシブルに「ノード固定」実現

専用ログイン
ノード
データ転送

処理結果
匿名化

データベース

ユーザー側システム

12（シミュレーション（計算）＋データ＋学習）融合（S+D+L）• 東大情報基盤センターでは，2015年頃から「（S+D+L）融合」の重要性に注目し，それを実現するためのハード
ウェア，ソフトウェア，アプリケーション，アルゴリズムに関する研究開発を開始– BDEC計画（Big Data & Extreme Computing）– 「データ＋学習」による，より高度な「シミュレーション」• AI for HPC，AI for Science，Digital Twin

– 地球科学関連では自然な発想（すでに実施されている）• 2021年5月に運用を開始した「Wisteria/BDEC-01」は「BDEC計画」の1号機– Reedbush，Oakbridge-CXは「BDEC」のプロトタイプと位置づけられる– 「計算・データ・学習（S+D+L）」融合を実現する，世界でも初めてのプラットフォーム

13

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速14Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

15Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

16

h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/

Big Data &ExtremeComputing① 新計算原理に基づく革新
的数値解法② 革新的機械学習手法③ ヘテロジニアス環境（e.g.
Wisteria/BDEC-01）におけるソフトウェア，ユーティ
リティ群（第3の柱）

17

Adaptive Precision Computing with FP42/FP21

18

In recent years, the usefulness of low-precision floating-point
representation has been studied in various fields such as machinelearning. Low accuracy can be expected to have effects such as
shortening calculation time and reducing power consumption. For
example, in an application with a memory bandwidth bottleneck, theeffect of reducing the calculation time by reducing the amount ofmemory transfer is significant. However, in fields such as iterative
methods, it is common to use FP64 because the calculation accuracy
strongly affects the convergence, and there are few application
examples of low-precision arithmetic. This study investigates theHeat Conduction withapplicability of low-precision representation to the Krylov subspace
Heterogeneous Material Property
and stationary iterative methods. In this research, we focus on the FP32,
120
30
FP64-FP64 FP42-FP64
FP64-FP64
FP16, and FP42, FP21, which are not standardized by IEEE754.
FP32-FP32 FP21-FP32
FP42-FP64
100
25
FP32-FP32
Developed method has been evaluated for ICCG solver, which solves
FP21-FP32
20
80
linear equations derived from 3D FVM code for steady-state head
15
60
conduction with heterogeneous material property (λ1=100, λ2=100~109).
1040
Generally, computation with lower precision (e.g. FP32-FP32, FP215
20FP32) becomes unstable, if condition number of the coefficient matrix
00
1.E+00
1.E+01
1.E+02
1.E+03
1.E+04
1.E+00
1.E+03
1.E+06
1.E+09is larger (λ2 is larger), FP21-FP32 provides the best performance if λ2
λ2
λ2
is up to 104. (“FP21-FP32” means “matrices are in FP21, and vectors
Computation Time for ICCG Solver
Various Types of Precisions on Intel Xeon Cascadelake are in FP32)
Computational time [s]Computational time [s]Masatoshi Kawai (kawai@cc.u-tokyo.ac.jp)

Prediction of CFD Simulation by Deep Learning

19

Takashi Shimokawabe (shimokawabe@cc.u-tokyo.ac.jp)
Computational fluid dynamics (CFD) is widely used in science andengineering. However, since CFD simulations requires a large
number of grid points and particles for these calculations, these kindsof simulations demand a large amount of computational resources
such as supercomputers. Recently, deep learning has attracted
attention as a surrogate method for obtaining calculation results by
CFD simulation approximately at high speed. We are working on a
project to develop a parallelization method to make it possible toapply the surrogate method based on the deep learning to large scale
geometry. Unlike the model parallel computing, the method we are
currently developing predicts large-scale steady flow simulation
results by dividing the input geometry into multiple parts andapplying a single small neural network to each part in parallel. Thismethod is developed based on considering the characteristics of CFD
simulation and the consistency of the boundary condition of eachdivided subdomain. By using the physical values on the adjacentsubdomains as boundary conditions, applying deep learning to each
subdomain can predict simulation results consistently in the entire
computational domain. It is possible to predict the simulation resultsin about 36.9 seconds by the developed method, compared to about
286.4 seconds by the conventional numerical method. In addition tothis, we are also attempting to develop a method for fast predictionof time evolution calculations using deep learning.

h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/

Big Data &ExtremeComputing① 新計算原理に基づく革新
的数値解法② 革新的機械学習手法③ ヘテロジニアス環境（e.g.
Wisteria/BDEC-01）におけるソフトウェア，ユーティ
リティ群（第3の柱）

20

21

Wisteria/BDEC-01: The First “Really
Heterogenous” System in the World

2022/4/27

AI for HPC，
AI for Scienceの実現へ向けて• Odyssey-Aquarius連携– MPIによる通信は不可• O-Aを跨いでMPIプログラムは動かない– Odyssey-Aquarius間はInfiniband-EDR（2TB/sec）で結合されている• ソフトウェア開発– 高機能カプラー：h3-Open-UTIL/MP– O-A間通信：h3-Open-SYS/WaitIO• IB-EDR経由（WaitIO-Socket）• 高速ファイルシステム（FFS）経由連携（WaitIOFile）

22

h3-Open-SYS/WaitIO
データ受け渡しライブラリ〔松葉，2020〕〔住元他，HPC-181，2021〕• ヘテロジニアス環境下での異なるコンポーネン
ト間ファイル経由連携ライブラリとして考案• 機能 Odyssey～Aquarius間連携
 IB-EDR経由通信（WaitIO-Socket）
 ファイル経由（WaitIO-File）

 外部からのデータ取得（観測データ等）
 読み込み・書き出しの同期• API：C/C++，Fortranから呼び出し可能
 MPIライクなインタフェースを提供

23

24

API of h3-Open-SYS/WaitIO-Socket
PB (Parallel Block): Each Application
WaitIO API

Description

waitio_isend

Non-Blocking Send

waitio_irecv

Non-Blocking Receive

waitio_wait

Termination of waitio_isend/irecv

waitio_init

Initialization of WaitIO

waitio_get_nprocs

Process # for each PB (Parallel Block)waitio_create_group
Creating communication groups
waitio_create_group_wranks among PB’s
waitio_group_rank

Rank ID in the Group

waitio_group_size

Size of Each Group

waitio_pb_size

Size of the Entire PB

waitio_pb_rank

Rank ID of the Entire PB[Sumimoto et al. 2021]

「計算＋データ＋学習」融合を支援する
多機能カプラーh3-Open-UTIL/MP• 異なる物理モデル連成のアンサンブル実行を支援・統合するための機能– MPI通信、時刻同期、格子系間マッピング等の管理機能の他、従来のカプラーには無い、複数の弱連成結合シミュレーションのアンサンブル実行、片側のモデルのみをアンサン
ブル実行する多対１の弱連成結合が可能– スパコン上で、全地球大気海洋連成シミュレーションによって動作検証済み• Fortran/Cコード（物理モデル）とPythonコードの弱連成を実現する機能– FortranやCで記述されたプログラ
ム同士の連成計算に限って開発を行ってきたカプラーを、Pythonによって記述されたAI・機械学習、可視化処理系のワークロードからも活用できるよう機能拡充。

Fortran/CアプリとPythonアプリの連成計算の模式図〔八代・荒川 2020〕

25

26

h3-Open-UTIL/MP (h3o-U/MP) +h3-Open-SYS/WaitIO-Socket
ARM: A64FX

IceLake+A100

h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO-Socket連携
2022年6月から利用可能
2022年度はFS経由のWaitIO-File整備：名大Aquarius

Odyssey

IB-EDR

2021年4月：MPI通信可能な環境を前提

2022年6月：Coupler＋WaitIO27

28

リアルタイムデータ同化＋
3D強震動シミュレーション融合
JDXnetによるリアルタイム観測データ活用

JDXnetJDXnet[c/o Prof. T.Furumura(ERI/U.Tokyo)]292022/4/27

長周期地震動シミュレーション＋観測データ同化
Output&Movie

JDXnetObserved Data

Data/Learning
Nodes: Aquarius

External Server
for Observed
Data

FilterVisualizer

Intel Ice Lake + NVIDIA A100

7.20 PF, 578.2 TB/s
Obs. Data

他

Filtered
Results

WaitIO-Socket

Comp.
Results

2.0 TB/s

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Seism3D/
OpenSWPC-DAF
Mesh DataUG Model（計算・データ・学習）融合へ向けた（更なる）取り組み• 大地震時：正確な地震波動伝播予測– 地震波観測データを同化して得られる変位分布を初期条件として入力– 100秒先の予測を10秒以内に計算– 的確な避難計画の策定，震源は遠い場合• 通常時：地下構造モデル改良– 地下構造は複雑，不均質，実はよくわかっておらず，大小の地震時の逆解析等によりモデルを少しずつ改良する，のが現状– 観測データ・三次元シミュレーション・データ
解析を元に地下構造モデルの改良に使う
 例えばMw=3.0+の地震が起きた場合
 機械学習により精度高いモデル生成– ⇒（S+D+L）融合へ

30

31

MATLABの導入「S+D+L」融合，
AI for HPCの実現• 2022年3月からOBCX，Aquariusで利用可能• MATLAB
 多様な機能 ユーザーのプログラムからの関数呼び出し重視⇒
データ解析，機械学習系の豊富な機能⇒高度化
 MATLABはAquarius（データ・学習ノード群）でのみ稼働するが，h3-Open-BDECと連携させて，
Odyssey（シミュレーションノード群）上で実施する大規模シミュレーションのパラメータ最適化に適用する⇒「S+D+L」融合，AI for HPC• h3-Open-BDECは様々な環境で動作⇒MATLABと組み合わせた使用による普及

32

大規模共通ストレージシステム「Ipomoea」• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途• 東大センターでは従来ストレージは各システムに附属して導入され，各システ
ムのストレージは独立• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，東大センターの全システムからアクセス可能な共通ストレージの導入が強く求められていた• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入決定– OFP運用終了が契機– 1システムを約5–6 年使用し，約3年ごとに新しいストレージシステム（25+PB）を導入
し，入れ替えることを想定している

33

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

HARP-1E

2011-20152016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM Power76.61 PF

OakforestPACS (Fujitsu)

Hitachi HA8000
T2K Todai
AMD OpteronAcceleratorsIntel Xeon Phi
Fujitsu FX10
Oakleaf-FX

BDEC02

Fujitsu
33.1 PF

1.13 PFSPACR64 IXfx

加速装置付

OFP-II
100+ PF

25.0 PF

140 TF

汎用CPU

2026-2030

Intel CLX
OBCX(Fujitsu)

SR8000

疑似ベクトル2021-2025

ReedbushU/H/L (SGI-HPE)

250+ PFA64FX,
Intel Icelake+
NVIDIA A100

Accelerators

3.36 PFIntel BDW +NVIDIA P100

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

で？

34

35

2001-2005
Hitachi SR8000
1,024 GF

2006-20102011-20152016-2020

Hitachi SR11000
J1, J2

Hitachi SR16K/M1
Yayoi

5.35 TF, 18.8 TF

54.9 TF

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

2026-2030

OBCX(Fujitsu)
6.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PF

Fujitsu FX10
Oakleaf-FX

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外2021-2025

OFP-II
100+ PF

Fujitsu
33.1 PF

1.13 PF

ReedbushU/H/L (SGI-HPE)

BDEC02250+ PF

Mercury

3.36 PF

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

36

東大センター将来構想（1/2）• スパコンへの性能要求，省電力，脱炭素化⇒
演算加速器搭載は不可避• Wisteria-Mercury（2023年6月～）– GPUクラスタ– OFP-IIプロトタイプ（32＋ノード，128＋GPU）• OFP-II（2024年4月）– OFP後継機（JCAHPC）– GPUクラスタ（Mercuryと同じ，もしくはその同型
GPU），100＋PF– CPU Onlyのノード群もあり

37

2001-2005
Hitachi SR8000
1,024 GF

2006-20102011-20152016-2020

Hitachi SR11000
J1, J2

Hitachi SR16K/M1
Yayoi

5.35 TF, 18.8 TF

54.9 TF

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

2026-2030

OBCX(Fujitsu)
6.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PF

Fujitsu FX10
Oakleaf-FX

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外2021-2025

OFP-II
100+ PF

Fujitsu
33.1 PF

1.13 PF

ReedbushU/H/L (SGI-HPE)

BDEC02250+ PF

Mercury

3.36 PF

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

38

東大センター将来構想（2/2）• BDEC-02（2027秋～2028春）– 「S+D+L」融合プラットフォーム– DPU，IPU，Quantum-Inspired Deviceによる（D+L）
ワークロードサポートを検討，でも買うと高い！
 Graphcore, SambaNova, Cerebras
 PIUMA@Intel Digital Annealer@Fujitsu• 東大情基セ：Digital Annealer使用（2019年～）– 組み合わせ最適化問題への適用• DPU/IPU/QID/DAとスパコンのクラウド経由連携– プログラミング環境，通信ライブラリ整備必要
 WaitIOの拡張：WaitIO-over-Cloud– 各社からは「OFP-IIの段階で行ける」との声が
 ALCF AI Testbed，NECさんのご発表eX3@Simula Research Laboratory, Norway

39

Experimental Infrastructure for Exploration of Exascale Computing
https://www.ex3.simula.no/resources/• The eX3 infrastructure includes an IPUPOD, consisting of 64 Colossus Mk2
GC200 IPUs with 1,472 cores each,making up a total of more than 94K cores.
• The total In-Processor Memory™ is morethan 57 GB supported by a memory
bandwidth of 47.5 TB/s per IPU. This IPUPOD is capable of 16 petaflops mixed
precision peak performance. The IPU
processor has been designed bottom-up
for machine learning and AI workloads.

Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

40

41

Webベース
シミュレーション体験・
データ利活用システム• 「3D長周期地震動＋リアルタイムデータ同化」融合シミュレーションシステ
ムの「防災・減災」啓蒙・教育へ向けた利用・展開を図るため，Webベースのシミュレーション体験・データ利活用環境を構築（2022年度）• 利用者はWeb Server（mdx上）にア
クセスし，スパコン（Wisteria/BDEC01）上でのシミュレーションの実施，計算結果，観測結果の可視化処理，表示等を行う。
• Web経由でデータ群をスパコン上で処理するフレームワークは様々なア
プリケーションへの転用が可能

実現象の10分の1の時間で計算：O(103)ノード必要• I/O用通信が含まれている(A+S) min.
(A+S) max.
(Pure S) min.
(Pure S) max.

1.00E+03– min.：通信含まず– max.：通信含む
1.00E+02• （A+S）
sec.

– 現実の半分（100秒）で計算20秒：
できれば良い現実の1/10
1.00E+01– 300-400ノード程度• （Pure S）– 現実の10分の1（20秒）が求められる– 1,000ノード以上（OBCX）

1.00E+00

1.00E-01
18

32

64

128

256

Node #

512

768

1024 1280
42

43

理研R-CCS人材育成プログラムにおけるシミュレーション・計算科学体験システム• 計算科学体験システムとして理研R-CCSの人材育成への活用を検討中
 「富岳」のクラウド的利用，ウェブサーバーをmdxに置く• 2022年度はまず大学生以上向けに「構造解析」を題材に作成
 小中高生向けに広報Gと連携して2023年度以降プログラム整備
 今後様々なアプリに拡張

で？
どうやって1,000ノード確保するの？

44

45

Urgent ComputingとResource Provisioning• 中島，住元，塙，Urgent Computingに向けたアプリケーション，第178回
HPC研究会，2021年3月• Urgent Computingとは– 地震，津波，台風，森林火災等大規模な自然災害等の緊急事態が生じた場合に，スーパーコンピュータのリソースを集中的に投入して，迅速な被害想定と減災のための意志決定を実施– 東北大学サイバーサイエンスセンターではシステムレベルのチェックポインティングを常時実施することにより，大規模な地震，津波等を想定したUrgent Computingに対応• HPCI「COVID-19」課題– 東大：全14課題のうち6課題（2020年度）– 数百ノード規模の資源を優先して割り当てる必要が生じた– ジョブの優先度を高めることで何とか対応– もっと柔軟にリソース割り当てができないものか，と考えた⇒研究としても成立（多分）46「COVID-19」対応HPCI臨時公募課題全14のうち6課題が東大システムを利用（2020年度）
課題名

代表者（所属）新型コロナウイルスの主要プロテアーゼに関するフラグメント分子軌道計算

望月 祐志（立教大学）

COVID-19治療の候補薬: chloroquine、hydroxychloroquine、azithromycinの催不整脈リ
スクの評価ならびにその低減策に関する研究

久田 俊明（株式会社UTHeart研究所 / 東大）

新型コロナウィルス表面のタンパク質動的構造予測

杉田 有治（理化学研究所）

使用システムOakforest
PACS〔資料提供：望月祐志教授（立教大学）〕

計算機解析によるSARS-CoV-2増殖阻害化合物の 星野 忠次
探索（千葉大学）
室内環境におけるウイルス飛沫感染の予測とその対策：富岳大規模解析に向けたケーススタディ

坪倉 誠（神戸大学）

Spreading of polydisperse droplets in a turbulent Marco Edoardo Rosti
puff of saturated exhaled air（OIST）

Oakbridge
CX〔資料提供：坪倉誠教授（神戸大学）〕

47

COVID-19時代のUrgent Computing• 実行優先度と計算機資源消費率の異なる複数のジョブクラスを提供することも可能であるが，計算機リソースを予め優先度の高低によって分割しておく必要があり，計算機資源の効率的な利用が困難となる。
• 突発的な自然災害に迅速に対応することが中心であった従来のUrgent
Computingでは，通常のジョブは全て一旦停止して，災害対応のワークロードに資源を集中して配分することが主要な課題であった• COVID-19時代では，対応は長期間にわたる一方，創薬，変異種への対応など迅速な対応が求められるフェーズもあり，より柔軟な枠組みが必要• アプリケーション，システムソフトウェアが備えるべき機能について検討– ULFM-MPI（User Level Failure Mitigation）によって，ジョブの実行途中で利用計算機資源量を変化させる場合を想定し，アプリケーションを試作，Oakbridge-CX上での評価を実施［中島・住元・塙
– Fault Tolerance, Fault Resilienceの研究成果を活用
HPC178（2021）］

［中島・住元・塙HPC178（2021）］

ULFM-MPIによる先行研究：耐故障関連• 本研究：ULFM-MPIによりMPIプロセス数を動的に変動• User Level Failure Mitigation（ULFM）– MPIの拡張規格，または実装– 利用者がMPIにおけるプロセス故障を管理できる– 現在ULFMによって提供される関数群や定数群はMPI標準規格には含まれていないが，既に実アプリケーションも含めた応用事例が多数ある• CRAFT（Checkpoint-Restart and Automatic Fault Tolerance）– ULFM-MPIを利用したチェックポイントリスタートに基づく，並列科学技術計算向けの耐故障性を有するライブラリ[Shahzad et al. 2019]• ESSEX-II（DFG/SPPEXA-II）で開発（Equipping Sparse Solvers for Exascale）（Leading PI：
Prof. Gerhard Wellein (FAU Erlangen-Nuremberg)）– pFEM-CRAFT [Fukasawa et al. SIAM PP18]は，MPIを使用した並列有限要素法
による非定常熱伝導アプリケーション（pHEAT-3Dと同じ）に対して，CRAFTを使用して，Spare Nodeを使用しない耐故障フレームワークを提案，実装，動作を検証

48

49

pFEM-CRAFT
Spare Node無しのFault Resilient機能付き
並列FEMアプリ[Fukasawa, Shahzad, Nakajima,
Wellein, SIAM PP18]

PE #0

PE #1

PE #2

PE #3

PE #4

PE #5

PE #6

PE #7

File
#0

File
#1

File
#2

File
#3

File
#4

File
#5

File
#6

File
#7

PE #0

PE #1

PE #2

PE #3

PE #4

PE #5

PE #6

PE #7

File
#0

File
#1

File
#2

File
#3

File
#4

File
#5

File
#6

File
#7

PE #0

PE #1

PE #2

PE #3

PE #4

PE #5

PE #6

PE #7

File
#0

File
#1

File
#2

File
#6

File
#7

File
#3

File
#5

File
#4

PE #0

PE #1

PE #2

PE #3

PE #4

PE #5

File
#0

File
#1

File
#2

File
#3

File
#4

File
#5

Startingwith 8 Proc’s#3 & #5 failed

Files of #3 & #5
are read by #0 &#1 (Merging)

Repartitioning &Data Migration

50

提案手法
• ジョブ実行途中で利用計算機資源量を変化（減少）させる• 一定のノード数で開始したジョブが，よりプライオリティの高いジョブに，利用している計算ノードの一部を供出する– Job-A，Job-B，Job-Cが実行中に，より優先度，緊急性の高いジョブJob-X投入– Job-X終了後は元のノード数を回復• もどらない場合も可能

Amount of Resources• Job-A，Job-B，Job-Cの一部のノードをJobXへ移動することによって，先行3ジョブを停止することなく，Job-X
を実行

Job-A

Job-B

Job-C

Job-A

Job-B
Job-C
Job-X with Higher
Priority

Job-X with Higher
Priority submitted

Resource Migration/Redistribution– 資源のマイグレーショ
ン・再配分

Resource Migration/Redistribution

TIME

Job-A

Job-B

Job-C

Job-X completed

51

この部分の知見・将来展望• ジョブの実行を止めることなく，より柔軟にUrgent Computingを実施することを目的として，アプリケーションの備えるべき機能を検討• いくつかの機能（Repartitioning，Checkpointing, Data Migration）を付加することによって，有限要素法，差分法，有限体積法等についてはUrgent
Computing向けの並列アプリケーションを少ない追加作業で開発できる見通しがついた。
– ULFM-MPIも実装，動作確認ができた– Repartitioning/Data Migration/Checkpointingのライブラリ化• 今後は関係各位との協力のもと，スーパーコンピュータの実運用への適用を継続して検討していく予定である。
– 各ジョブ間の利用計算機資源の移動（減少，増加），様々な運用形態– 利用資源減少を受け入れるインセンティヴ⇒ノード時間消費率（トークン）を減らす– アプリケーション書き換えの手間の削減

全体のまとめJapan• 多様な計算機資源の利用

WaitIOover
Cloud 「計算・データ・学習」融合推進
 WaitIO over Cloud：長いWaitが必要か・・・
 WaitIOは中島の考え方を根本的に変えた– 翼がないと自分で飛べることの意義はわからない• 大量の計算機資源の確保

Norway Urgent Computing（Fault Resilience）の知見• ソフトウェア開発を継続：協力者求ム• （追記）ストレージ 「超大規模計算＝超大規模データ」ではない– Ipomoea-01のデータ移行量はさほどではなかった・・・ Digital Twin系では膨大になり得る：宇宙物理の例– Odyssey10ノード×20ｈの計算を数千～数万ケース– 1ケース500GB級出力⇒ペタスケール– Gfarmによる広域共有⇒Wisteria/BDEC-01は良い！

PE #0

PE #1

PE #2

PE #3

PE #4

PE #5

PE #6

PE #7

File
#0

File
#1

File
#2

File
#3

File
#4

File
#5

File
#6

File
#7

PE #0

PE #1

PE #2

PE #3

PE #4

PE #5

PE #6

PE #7

File
#0

File
#1

File
#2

File
#3

File
#4

File
#5

File
#6

File
#7

PE #0

PE #1

PE #2

PE #3

PE #4

PE #5

PE #6

PE #7

File
#0

File
#1

File
#2

File
#6

File
#7

File
#3

File
#5

File
#4

PE #0

PE #1

PE #2

PE #3

PE #4

PE #5

File
#0

File
#1

File
#2

File
#3

File
#4

File
#5

Startingwith 8 Proc’s#3 & #5 failed

Files of #3 & #5
are read by #0 &#1 (Merging)

Repartitioning &Data Migration52

（データ同化＋シミュレーション（A+S））から（Pureシミュレー
ション（Pure S））への移行[c/o Prof. T. Furumura, ERI/U.Tokyo]

Residual
Obs.
Comp.

Assim. Comp.
Comp.

Assim.
: Wave Propagation
simulation: Time Step

53

: Weighting Matrix