2023/6/21 PCCCワークショップ in 大阪2023

Wisteria/BDEC-01におけるビッグデータとHPC― シミュレーション、データ、学習の融合 ―住元 真司
東京大学 情報基盤センター

講演の概要• 東京大学情報基盤センターの紹介• Wisteria/BDEC-01とh3-Open-BDECプロジェクト• Wisteria/BDEC-01システムにおけるビッグデータとHPC事例

2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

Copyright 2023, Shinji Sumimoto@The University of Tokyo2東京大学情報基盤センター• 東京大学大型計算機センター（1965年）• 東京大学情報基盤センター（1999年～）• 全国共同利用施設• 学際大規模情報基盤共同利用・共同研究拠点 中核拠点（2010年～）• 革新的ハイパフォーマンス・コンピューティング・インフラ(HPCI) 構成機関
（2010年～）• 最先端共同HPC基盤施設（JCAHPC）（2013年～）• 筑波大学計算科学研究センター・東大情報基盤センター：OFP• 2023年6月現在• 2式のシステムを運用• Oakforest-PACS（OFP）：2022年3月末に運用終了• Oakbridge-CX（OBCX） ：2023年9月30日に運用終了予定• Wisteria/BDEC-01（ 「計算・データ・学習」融合スーパーコンピュータシステム）：2021年
5月運用開始• データ活用社会創成プラットフォーム（mdx）：2021年3月設置

32001-2005
Hitachi SR8000
1,024 GF

2006-20102011-20152016-2020

Hitachi SR11000
J1, J2

Hitachi SR16K/M1
Yayoi

5.35 TF, 18.8 TF

54.9 TF

2021-2025

Hitachi
SR2201

Hitachi
SR8000/MPP

OBCX(Fujitsu)

307.2GF

2,073.6 GF

6.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PF

Fujitsu FX10
Oakleaf-FX

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外2026-2030

OFP-II
150+ PF

Fujitsu
33.1 PF

1.13 PFBDEC02250+ PF

ReedbushU/H/L (SGI-HPE)
3.36 PF
Ipomoea03

Ipomoea-01 25PB

Ipomoea-02
4

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

2011-20152016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM
Power72021-2025

Hitachi
SR2201

Hitachi
SR8000/MPP

Intel CLX
OBCX(Fujitsu)

307.2GF

2,073.6 GF

6.61 PF

HARP-1E

SR8000

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PFAMD Opteron

疑似ベクトル
汎用CPU
加速装置付

OFP-II
150+ PF

AcceleratorsIntel Xeon Phi
Fujitsu FX10
Oakleaf-FX

2026-2030

BDEC02

Fujitsu
33.1 PF

1.13 PFSPACR64 IXfx
ReedbushU/H/L (SGI-HPE)

250+ PFA64FX,
Intel Icelake+
NVIDIA A100

Accelerators

3.36 PFIntel BDW +NVIDIA P100

Ipomoea03

Ipomoea-01 25PB

Ipomoea-02
5Platform for Integration of (S+D+L)
Big Data & Extreme Computing

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Shared File
System
（SFS）
25.8 PB, 500 GB/s

2.0 TB/s

Data/Learning
Nodes: AquariusIntel Ice Lake + NVIDIA A100

Fast File
System（FFS）
1 PB, 1.0 TB/s

7.20 PF, 578.2 TB/s

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末（予定）• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)

800 Gbps

External
Resources

External
Resources
External Network

Simulation Nodes（Odyssey）• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末（引退）• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF

Data/Learning Nodes（Aquarius）• 2019年7月～2023年9月30日運用終了予定• 6.61 PF, #110 in 58th TOP500-June 2023 (Plan)

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#17)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#106)• 33.1 PF, #13 in 57th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Reedbush

Oakforest-PACS

Oakbridge-CX
6

Wisteria/BDEC-01とh3-Open-BDECプロジェクト

2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

Copyright 2023, Shinji Sumimoto@The University of Tokyo7

スーパーコンピューティングの今後• ワークロードの多様化– 計算科学，計算工学：Simulations– 大規模データ解析– AI，機械学習• （シミュレーション（計算）＋データ＋学習）融合 ⇒ Society 5.0実現に
有効：Digital Twin
– フィジカル空間とサイバー空間の融合• S:シミュレーション（計算）（Simulation）• D:データ（Data）• L：学習（Learning）– Simulation + Data + Learning =
S+D+L

生物科学・
生体力学
産業利用

エネルギー・
物理学

工学・
ものつくり

材料科学

CPU Cluster
Oakbridge-CX

Engineering
Earth/Space
Material
バイオ
Energy/Physics
インフォマティクス
Info. Sci. : System材料科学
Info. Sci. : Algrorithms
Info. Sci. : AI
情報科学：
生物科学・
Education
アルゴリズム
生体力学
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data

GPU Cluster

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

Reedbush-L

5.0: Super Smart
4.0：情報3.0：工業
2.0：農耕1.0：狩猟89（シミュレーション（計算）＋データ＋学習）融合（S+D+L）• 東大情報基盤センターでは，2015年頃から「（S+D+L）融合」の重要性に注目し，それを実現するためのハード
ウェア，ソフトウェア，アプリケーション，アルゴリズムに関する研究開発を開始– BDEC計画（Big Data & Extreme Computing）– 「データ＋学習」による，より高度な「シミュレーション」• AI for HPC, AI for Science– 地球科学関連では自然な発想（すでに実施されている）• 2021年5月に運用を開始した「Wisteria/BDEC-01」は「BDEC計画」の1号機– Reedbush，Oakbridge-CXは「BDEC」のプロトタイプと位置づけられる– 「計算・データ・学習（S+D+L）」融合を実現する，世界でも初めてのプラットフォーム

10

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

800 Gbps– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

1PB, 1.0TB/s

External
Resources
External Network
外部ネットワーク

外部リソース

Simulation Nodes

計算科学コード

Odyssey
25.9 PF, 7.8 PB/s

シミュレーション
最適化されたモデル， ノード群，Odyssey
Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

11

パラメータ

計算結果

Wisteria/BDEC-01
機械学習，DDA

データ・学習ノード群
Aquarius

観測データ

データ同化
データ解析
サーバー
シミュレーションのためのモデル・パラ
ストレージ
外部
DB
メータのデータ解析，AI/機械学習によ
センサー群
リソース
他
外部ネットワークる最適化（S+D+L）

12

Wisteria/BDEC-01 Jun. 2023 (ISC23)の諸ランキング
Wisteria/BDEC-01のシミュレーションノード群（Odyssey）とデータ・学習ノード
群（Aquarius）は別々に測定・申請
System

HPL-MxP

TOP500

Green500

HPCG

Graph500

連立一次方程式（密行列）

TOP500：消費電力
当たり計算性能

連立一次方程式
（疎行列）

グラフ処理

連立一次方程式（密行列・混合精度）

Oakbridge-CX

140

92

85

-

-

Wisteria/BDEC-01（Odyssey）

25

50

12

6

14

Wisteria/BDEC-01（Aquarius）

136

32

68

-

-

(HPL-AI)AI for HPC，
AI for Scienceの実現へ向けて• Odyssey-Aquarius連携

Platform for Integration of (S+D+L)
Big Data & Extreme Computing
シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）Intel Ice Lake + NVIDIA A100

25.8 PB, 500GB/s

7.20PF, 578.2TB/s

800 Gbps

External
Resources– MPIによる通信は不可• O-Aを跨いでMPIプログラムは動かない

External Network
外部ネットワーク– Odyssey-Aquarius間はInfiniBand-EDR（2TB/sec）で結合されている

h3-Open-BDEC• ソフトウェア開発– 高機能カプラー：h3-Open-UTIL/MP– O-A間通信：h3-Open-SYS/WaitIO• IB-EDR経由（WaitIO-Socket）• 高速ファイルシステム（FFS）経由連携（WaitIOFile）

1PB, 1.0TB/s

シミュレーション＋データ＋学習（S+D+L）
数値アルゴリズム・ライブラリ
新しい計算原理

h3-Open-MATH

制御 & ユーティリティ

h3-Open-APP:
Simulation

h3-Open-SYS

計算科学アプリケーション

h3-Open-VER

h3-Open-DATA: Data

h3-Open-AT

h3-Open-DDA:
Learning

自動チューニング

統合＋通信＋
ユーティリティ

アプリ開発フレームワーク

高性能・高信頼性・
混合/変動精度アルゴリズム

精度保証

外部リソース

データ科学

制御 ＆ 統合

h3-Open-UTIL

大規模計算向け
ユーティリティ群

データ駆動・機械学習
13

14

h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/① 変動精度演算・精度保証・自動チューニングによる新計算原理に基づく革新的数値解法
Numerical Alg./Library② 階層型データ駆動アプローチ
New Principle for
Computations等に基づく革新的機械学習手法
h3-Open-MATH
Algorithms with HighPerformance, Reliability,③ ヘテロジニアス環境（e.g.
Efficiency
Wisteria/BDEC-01）におけるソh3-Open-VER
フトウェア，ユーティリティ群
Verification of Accuracy
h3-Open-AT
Automatic Tuning

Big Data &ExtremeComputingh3-Open-BDEC
App. Dev. Framework

Control & Utility

Simulation + Data +Learning

Integration +Communications+Utilities

h3-Open-APP: Simulation
Application Developmenth3-Open-SYS
Control & Integration

h3-Open-DATA: Data
Data Scienceh3-Open-UTIL
Utilities for Large-Scale
Computingh3-Open-DDA: Learning
Data Driven Approach14

15

h3-Open-SYS/WaitIO
データ受け渡しライブラリ〔松葉，2020〕〔住元他，HPC-181，2021〕

計算科学コード

シミュレーション
最適化されたモデル， ノード群，Odyssey
パラメータ

計算結果

Wisteria/BDEC-01
機械学習，DDA• ヘテロジニアス環境下での異なるコンポーネン
ト間ファイル経由連携ライブラリとして考案• 機能

データ・学習ノード群
Aquarius
データ同化
データ解析

サーバー
ストレージ
DB
センサー群
他

外部ネットワーク Odyssey～Aquarius間連携
 IB-EDR経由通信（WaitIO-Socket）
 ファイル経由（WaitIO-File）

 外部からのデータ取得（観測データ等）
 読み込み・書き出しの同期• API：C/C++，Fortranから呼び出し可能
 MPIライクなインタフェースを提供

観測データ

外部
リソース

h3-Open-BDEC
シミュレーション＋データ＋学習（S+D+L）
数値アルゴリズム・ライブラリ
新しい計算原理

h3-Open-MATH

アプリ開発フレームワーク

制御 & ユーティリティ

h3-Open-APP:
Simulation

h3-Open-SYS

高性能・高信頼性・
混合/変動精度アルゴリズム

計算科学アプリケーション

h3-Open-VER

h3-Open-DATA: Data

h3-Open-AT

h3-Open-DDA:
Learning

精度保証

自動チューニング

統合＋通信＋
ユーティリティ

データ科学

データ駆動・機械学習

制御 ＆ 統合

h3-Open-UTIL

大規模計算向け
ユーティリティ群1616

API of WaitIO: PB (Parallel Block) == Each Application• Application is able to select communication processes among PBs
WaitIO API

Description

waitio_isend

Non-Blocking Send

waitio_irecv

Non-Blocking Receive

waitio_wait

Termination of waitio_isend/irecv
p4

p1

waitio_init

waitio_get_nprocs

Initialization of WaitIO

Process # for each PB (Parallel Block)

WG
p2

p3

waitio_create_group
Creating communication groups
waitio_create_group_wranks among PB’s

waitio_group_rank

Rank ID in the Group

waitio_group_size

Size of Each Group

waitio_pb_size

Size of the Entire PB

waitio_pb_rank

Rank ID of the Entire PB
Copyright 2023, Shinji Sumimoto@The University of Tokyo[Sumimoto et al. 2021]

17「計算＋データ＋学習」融合を支援する
多機能カプラーh3-Open-UTIL/MP• 異なる物理モデル連成のアンサンブル実行を支援・統合するための機能– MPI通信、時刻同期、格子系間マッピング等の管理機能の他、従来のカプラーには無い、複数の弱連成結合シミュレーションのアンサンブル実行、片側のモデルのみをアンサン
ブル実行する多対１の弱連成結合が可能– スパコン上で、全地球大気海洋連成シミュレーションによって動作検証済み• Fortran/Cコード（物理モデル）とPythonコードの弱連成を実現する機能– FortranやCで記述されたプログラ
ム同士の連成計算に限って開発を行ってきたカプラーを、Pythonによって記述されたAI・機械学習、可視化処理系のワークロードからも活用できるよう機能拡充。

Fortran/CアプリとPythonアプリの連成計算の模式図〔八代・荒川 2020〕

17

18

h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO-Socket連携
2022年6月から試験利用開始、2022年11月から一般ユーザへ利用開放

h3open modules
Jcup modules

Jcup modules

jcup_mpi_lib.f90

jcup_mpi_lib.f90

Aquarius

Fortran APP(NICAM)

Python APP(PyTorch)

h3open modules

IB-EDR

h3opp.pyh3open_py.f90
h3open modules

Jcup

h3opp.pyh3open_py.f90

h3-Open-UTIL/MP

Python APP(PyTorch)

h3open modules

Jcuph3-Open-UTIL/MP

Fortran APP(NICAM)

OdysseyJcup modules

Jcup modules

jcup_mpi_lib.f90

jcup_mpi_lib.f90

MPI wrapper

MPI
MPI

WaitIOMPI

MPI+WaitIO

2021年4月：MPI通信可能な環境を前提

2022年6月- ：Coupler＋WaitIO
18

Wisteria/BDEC-01システムにおけるビッグデータとHPC事例

2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

Copyright 2023, Shinji Sumimoto@The University of Tokyo

19

Wisteria/BDEC-01システムにおけるビッグデータとHPC事例• リアルタイムデータを活用したビッグデータ＋HPC事例• リアルタイムデータ同化＋3D強震動シミュレーション融合• シミュレーションデータを活用したビッグデータ＋ HPC+AI事例• 気候シミュレーションの高精度・高速化• 極端気象現象のシミュレーションの予測精度向上• 海洋エコシステム予測

2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

Copyright 2023, Shinji Sumimoto@The University of Tokyo

20

2023/6/21 PCクラスタワークショップ in 大阪2023「ビッグデータとHPC」

21
21

リアルタイムデータ同化＋
3D強震動シミュレーション融合

Simulation
Codes
Optimized Models &Parameters

Simulation Nodes
Odyssey

Wisteria/BDEC-01

MachineLearning, DDA

Data/Learning
Nodes, Aquarius

Results

Observation
Data

Data Assimilation
Data Analysis
Server,Storage,DB,
Sensors,etc.

JDXnetによるリアルタイム観測データ活用

事例１
ライフライン事業者（電気、Observation Network
for Earthquake:O(105)）観測網（数万？）Points
ガス、鉄道etc,
震度観測網（約4000点）

強震観測網（約2000点）

External
Resources[c/o Furumura]

External Network（例）東京ガス
超高密度地震防災システム（4000点）

JDXnetNIED

Fast Network

University’s

Originallydeveloped in
ERI/U.Tokyo

JDXnetERI

Case 1IP Network

Case 2

TDX

Univ.

Local univ.

L2VPN

JMA

SINET5 / JGN

IP Network

Case N

Real-Time Data/Simulation Assimilation
Real-Time Update of Underground Model[c/o Prof. T.Furumura(ERI/U.Tokyo)]22「A+S:同化＋シミュレーション」⇒「Pure S:シミュ
レーション予測」

Assim. Comp.

Comp.

: Weighting Matrix

Assim.

(Pure S) Pure Simulation/Forecast

FD
M

FDM

FDM

FDM

[c/o Prof. T. Furumura, ERI/U.Tokyo]: Time Step

: Wave Propagation
simulation(A+S) Assimilation+Simulation

FD
M

Residual
Obs.
Comp.

2023/6/21 PCクラスタワークショップ in 大阪2023「ビッグデータとHPC」

23

2007年新潟県中越沖地震（Mw=6.6）
482 K-NET, KiK-net Observation（A+S）70秒（Pure S）

東京都江東区 ▲ (N.KOTH)
N 35°37.0’
E 139°46.9’(A+S)⇒(Pure S)@30s(A+S) (Pure S)

震源12.8MB50s
21.4MB70s
29.9MB

Input
P

S

東京都
江東区
▲

90s
38.5MB110s
47.1MB

観測結果：上下動（A+S）70秒間
232023/6/21 PCクラスタワークショップ in 大阪2023「ビッグデータとHPC」

24

長周期地震動シミュレーション＋観測データ同化
NIED
University’s
Originallydeveloped in
ERI/U.Tokyo

Output
&
Movie

ERI

TDX

JDXnetIP Network

Univ.

Local univ.

動画 0.5-1MB/sec
グラフ20-70KB/sec

L2VPN

JMA

SINET5 / JGN

IP Network

977Kバイト/sec(764地点)

Observed Data

Data/Learning
Nodes: Aquarius

External Server
for Observed
Data

Visualizer

Intel Ice Lake + NVIDIA A100 438Kバイト/sec(368地点)

7.20 PF, 578.2 TB/s
Obs. Data

FilterFiltered
Results

WaitIO-Socket

2.0 TB/s

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Comp.
Results
動画14.1MB/sec
グラフ126MB/10sec

Seism3D/
OpenSWPC-DAF
Mesh DataUG ModelWaitIO-Socketによる通信
Aquarius: SEND

[Kasai et al. 2021]

Odyssey: RECV

program dmy_filter<省略: 型宣言等>
call mpi_init (ierr)call mpi_comm_size (MPI_COMM_WORLD, nprocs, ierr)call mpi_comm_rank (MPI_COMM_WORLD, myrank, ierr)call WAITIO_CREATE_UNIVERSE (WAITIO_COMM_UNIVERSE, ierr)
if (myrank==0) thenopen(100,file='./obsfile_list.txt’, form=‘formatted’, status=‘old’, iostat=ierr)
do i=1,300<省略: obsデータ読み込み処理>
print *,"Send obs data ...... "WAITIO_MPI_INTEGER, 2,1, WAITIO_COMM_UNIVERSE,req(1,1), ierr)call WAITIO_MPI_ISEND (NTMAX1_o, 1,
2,2, WAITIO_COMM_UNIVERSE,req(1,2), ierr)
WAITIO_MPI_FLOAT,
1,
call WAITIO_MPI_ISEND (DT_o,
WAITIO_MPI_INTEGER, 2,3, WAITIO_COMM_UNIVERSE,req(1,3), ierr)1,
call WAITIO_MPI_ISEND (NST_o,
2,4, WAITIO_COMM_UNIVERSE,req(1,4), ierr)
WAITIO_MPI_FLOAT,
1,
call WAITIO_MPI_ISEND (AT_o,
2,5, WAITIO_COMM_UNIVERSE,req(1,5), ierr)
WAITIO_MPI_FLOAT,
1,
call WAITIO_MPI_ISEND (T0_o,
WAITIO_MPI_INTEGER, 2,6, WAITIO_COMM_UNIVERSE,req(1,6), ierr)call WAITIO_MPI_ISEND (ISO_X_o, NSMAX,WAITIO_MPI_INTEGER, 2,7, WAITIO_COMM_UNIVERSE,req(1,7), ierr)call WAITIO_MPI_ISEND (ISO_Y_o, NSMAX,WAITIO_MPI_INTEGER, 2,8, WAITIO_COMM_UNIVERSE,req(1,8), ierr)call WAITIO_MPI_ISEND (ISO_Z_o, NSMAX,WAITIO_MPI_INTEGER, 2,9, WAITIO_COMM_UNIVERSE,req(1,9), ierr)
NST,
call WAITIO_MPI_ISEND (ISTX_o,
WAITIO_MPI_INTEGER, 2,10,WAITIO_COMM_UNIVERSE,req(1,10),ierr)
NST,
call WAITIO_MPI_ISEND (ISTY_o,
WAITIO_MPI_INTEGER, 2,11,WAITIO_COMM_UNIVERSE,req(1,11),ierr)
NST,
call WAITIO_MPI_ISEND (ISTZ_o,
2,12,WAITIO_COMM_UNIVERSE,req(1,12),ierr)
WAITIO_MPI_CHAR,
6*NST,
call WAITIO_MPI_ISEND (STC_o,
2,13,WAITIO_COMM_UNIVERSE,req(1,13),ierr)call WAITIO_MPI_ISEND (VxAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
2,14,WAITIO_COMM_UNIVERSE,req(1,14),ierr)call WAITIO_MPI_ISEND (VyAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
2,15,WAITIO_COMM_UNIVERSE,req(1,15),ierr)call WAITIO_MPI_ISEND (VzAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
call WAITIO_MPI_WAITALL (15,req, status, ierr)call sleep(1)enddoclose (100)endifcall WAITIO_FINALIZE (ierr)call mpi_finalize (ierr)
end

438KバイトOutput&Movie

Data/Learning
Nodes: Aquarius

FilterVisualizer

Intel Ice Lake + NVIDIA A100

7.20 PF, 578.2 TB/s

h3-Open-SYS/WaitIO-Socket

2.0 TB/s

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Seism3D/
OpenSWPC-DAF
Mesh DataUG Model2023/6/21 PCクラスタワークショップ in 大阪2023「ビッグデータとHPC」

26

Platform for Integration of (S+D+L)
Big Data & Extreme Computing

Odyssey-Aquarius連携

Simulation Nodes:
Odyssey• 総ノード数– Odyssey：7,680ノード，やや空いている– Aquarius: 45ノード, 360 GPUs，混雑

Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Shared File
System
（SFS）
25.8 PB, 500 GB/s

• Aquariusのうち1ノードを（S+D+L）融合型ワークロード向けにリザーブ– Odyssey，Aquariusそれぞれに対する2つのジョブスクリプトをサブミットする必要がある– 両ジョブがリソースを確保⇒実行開始• より柔軟な仕組みを整える必要あり– このようなシステム，運用例は世界的に見ても例がほとんどない

2.0 TB/s

Data/Learning
Nodes: AquariusIntel Ice Lake + NVIDIA A100

Fast File
System（FFS）
1 PB, 1.0 TB/s

7.20 PF, 578.2 TB/s

800 Gbps

External
Resources

External
Resources
External Network

HPC App(Fortran)Analysis/ML
App(Python)Surrogate
Model
Visualiztion

F<->P adapter

A huge amount ofsimulation data
outputh3o-U/MP

h3o-U/MP

Statistics

Coupling

IB-EDR
Odyssey

Aquarius

27

Data Assimilation
JDXnet3D Simulation• リアルタイムデータ観測・同化による地震波
伝播の正確な予測

Filtering– 安全な避難のための緊急情報に活用

3D UG
Model

Resultsof Sim’s

Optimization of 3D
UG Model by ML• ３次元地下モデルの改善への適用– 不均一、観察が難しい– 地下モデルの構造予測には地震波のインバージョン解析が重要– 平常時の小規模地震の解析時にMLを活用し地下構造モデルの改善 (e.q. Mw < 3.0)
– より洗練されたデータ解析メソッドの適用 (e.g.
4DVar:４次元変分法)

FilteredObs. Data

h3-Open-SYS/WaitIO
h3-OpenUTIL/MPaa’

Visualization

リアルタイム地震シミュレーションのS+D+L 将来の方向性

気候シミュレーションの高精度・高速化

事例2• 気候シミュレーション: 大気や海洋だけでなく温室効果ガスの吸収放出や植生、雪や氷など多様な現象をシミュレーション• 年単位での長期的なシミュレーションが必要• 雲の形成：特に複雑で膨大な計算を必要とするプロセス• 雲を詳しく表現するには高い解像度が必要• 気候のように長期間の積分が必要な計算を、実行することは最先端のスパコンでも困難• 課題：地球全体の気候シミュレーションでは解像度を落とし、パラメータを含めて簡略化した計算に限定：精度低下• 解決手法：高解像度の入力値から雲の計算を行い、入力値とシミュレーション結果を
教師データとして機械学習により高速化
2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

Copyright 2023, Shinji Sumimoto@The University of Tokyo28

大気とMLのカップリング[Yashiro (NIES), Arakawa (ClimTech/U.Tokyo)] この実験の動機
 2 種類の大気モデル: 雲の高解像大気 VS 雲のパラメータ化
 高解像モデル: 気候シミュレーションに使用するのが困難 パラメータ化されたモデル: 多くの前提条件を含有

 低解像度の雲のプロセス計算を ML に置き換える！

Odyssey

Aquarius

ML App(Python)Input
h3-Open-UTIL/MP
Coupling without
Physical processCoupling with
Grid Remapping
Grid Remapping(Coupler)
Output+高解像度大気モデル（対流分解モード）
h3-Open-SYS/WaitIO

75%
2023/6/21 PCクラスタワークショップ in 大
阪2023「ビッグデータとHPC」

Coupling Phase 1
高解像度でのトレーニング
NICAMデータ

Coupling Phase 2
物理プロセスの置き換え
低解像度NICAMで機械学習を使用

大気モデルに ML を適用する手順

この部分をAIに置換え低解像度大気モデル(対流パラメータ化モード)

25%

~0%
29

NICAM-AI連成：大気密度の時間変化量比較• 大気密度の時間変化量についてモデルによる計算値とAIによる再現値• 機械学習ライブラリ：PyTorch、学習アルゴリズム：３層MLP• 単純アルゴリズムにも関わらず全体的な場の再現性は良好

モデル計算による結果

2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

AI学習による再現値

Copyright 2023, Shinji Sumimoto@The University of Tokyo30

WaitIO：アプリケーション性能比較• 同じアプリケーションをSocket, File, Hybridで比較• WaitIO-Hybridが最も高速であった
Sec.
• NICAM(1.44倍),ADA(1.68倍)
異種システム実行が高速

700

600

Seconds

SocketNICAM+ADA Application Performance

Odyssey + Odyssey
同種システム実行

Odyssey + Aquarius
異種システム実行

NICAM-o ADA-o NICAM-a ADA-a

320.3

467.9

293.9

350.1

500

File

370.7

576.6

247.3

303.8

400

Hybrid

306.5

452.1

213.1

268.4

300

200

• 同種実行と異種実行でSocketとFileの性能が逆転しているのはSocketのGIO
性能律速による。
2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

100

0

NICAM-oCopyright 2023, Shinji Sumimoto@The University of Tokyo

ADA-oSocketNICAM-a
File

ADA-a

Hybrid31

NICAM+ADAにおけるデータ転送量• NICAM: アプリケーション内部時間で6時間分シミュレーション• 1時間あたり160プロセスで367MBをADAに通信（Total: 2569MB）

ADA

時間

• ADA：NICAMと同様アプリケーション
内部時間で6時間分データ受信• 1時間当たり81MBをNICAM 160プロ
セスに通信• 最後の2つのデータについて100エポックのMLを実行（Total: 567MB）

IceLake+A100

ARM: A64FXHPC App(Fortran)Analysis/ML
App(Python)Surrogate
Model
Visualiztion

F<->P adapter

A huge amount ofsimulation data
outputh3o-U/MP

h3o-U/MP

Statistics

Coupling

IB-EDR
Odyssey2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

Copyright 2023, Shinji Sumimoto@The University of Tokyo

Aquarius

32

極端気象現象のシミュレーションの予測精度向上
事例3 極端気象現象予測における不確実性定量化• 地球温暖化に伴う異常気象が深刻さを増す中、ゲリラ豪雨、線状降水帯、台風など気象現象のシミュレーションの予測は容易でなかった

Y. Sawada (U.Tokyo)• 既存の気象シミュレーションは様々な初期値・境界値を設定してシミュレーションを行い。気象の予測を行っていた。このため想定外の異常気象の予測は困難• 本研究は、初期値・境界値だけではなく、パラメータとモデル選択まで踏みこんで不確実性を定量化することにより予測精度の向上を目指す
提案方式
既存方式

JHPCN-jh220020
2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220020

33

極端気象シミュレーションの不確実性定量化手法の開発• 目標：予測の不確実性要因の網羅的理解• 内在するすべての不確実性を効率よくベイズ推定する方式の開発• 課題：無限大の組み合わせのシミュレーションをどうやって解くか• 超並列で解くとしても限界あり

計算格子が解像できないプロセ
スのパラメータリゼーションを行うモデルの選択と、そのモデル
内のパラメータの不確実性を両方定量化する2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220020

34不確実性定量化手法の概要

https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220020• 気象モデルとしてはBlended model：
感度解析を行いパラメータ数を削減• マルコフ・モンテカルロ(MCMC)法を用いてベイズ推定：
Surrogate model(機械学習)採用で計算負荷削減

離散的なモ
デル構造へ
の対応

気象モデルのパラメータ数の絞り込み

2015年関東・東北豪雨と鬼怒川洪水

ベイズ推定の計算負荷削減(MCMCなら106回程度モデ
ルの評価要）
機械学習
2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

35

Wisteria/BDEC-01上で開発中のシステム• Odyssey上で1000メンバーアンサンブルシミュレーションを行った結果をAquarius
で機械学習によるSurrogate model化、数理最適化・感度分析を連動して評価しパラメータのベイズ推定を行う

Wisteria/BDEC-01の計算+データ+学習の力を引き出してリアルタイムにその場その場のシ
ミュレーションに内在する不確実性の定量化を可能にする！

2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220020

36

極端気象現象のデータ同化による更なる高精度化• シミュレーション結果と最新鋭の静止気象衛星の画像データを用いデータ同化により高精度化
台風アンサンブル再解析/再予報データ
•
•

•
•
•
•

台風150個の再解析を60アンサンブル、空間解像度2kmで提供 (画像データ1枚 30MB)
WRFシミュレーション1メンバーあたり8GB、1台風あたり
60アンサンブルでは480GB
台風150個では72TBのデータ量
全天候静止気象衛星データ同化で高品質を実現
台風以外の極端気象も視野に入れる
全世界の気象コミュニティに向けて共用予定

Wisteria/BDEC-01におけるシミュレーション計画とデータ量••

世界初！最新鋭の静止気象衛星の全天候観測とシミュレーションの統 ••合による、アンサンブル情報を付与した台風の再解析/再予報データ
この膨大なデータを解析することで台風予測の不確実性の起源に迫る

WRFシミュレーション1メンバーあたり8GB、2日間予測で80メンバーアンサンブルで640GB
1メンバーあたりOdyssey 1ノードでCPU時間30分
空間解像度2kmのひまわり画像とデータ同化
経過によりアンサンブルパターンを変化1週間分くらい評価

Odyssey:気象シミュレーション（WRF）+Aquarius：データ同化とSurrogate modeｌ(機械学習)
h3-Open-SYS/WaitIO+h3-Open-UTIL/MPで 計算＋データ＋学習を融合
2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220020

37

海洋エコシステム予測 JHPCN-jh220055

事例4

沿岸海洋の物理場・化学場・微生物場を予測し将来的に魚群の位置や規模の予測へ
観測（理研＆東北大）
連続自動観測・
採水データの環境オミクス解析

機械学習（理研＆東大）https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220055

すでに赤潮予報の高精度化にある程度成功！

環境DNA測定

Sato e al. (2018)

シミュレーション（理研＆大阪大）
海洋モデル・気象モデル
河川モデル

広域・高解像度
長期間の計算萌芽研究で実施

沿岸ビッグデータの機械学習への適用
入出力データの面的・空間的構造を考慮（萌芽では観測点のみ）

現代的な生化学モデルでのシミュレー
ション・データ同化

システムの高度化により魚群の予測を可能とする
38

数値シミュレーションシステムの概要
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220055

相模・東京湾での赤潮予測の結果

河川流入モデル（小槻等 2012）

大気モデル（JMA MSM）

海洋モデル(UCLA-ROMS
神戸大内山教授提供)

萌芽研究で用いた
システム

データ同化
システム

• データ同化の実施を予定• シミュレーション部分のフレームワークは萌芽研究と同様だが，内側領域のモデルは変更を検討⇒大阪大モデル

萌芽研究でおおむね妥当なシミュ
レーション結果が得られている

39

海洋微生物・化学モデルの概要
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220055

萌芽研究で利用(Fasham et al. 1990)(入江 et al. 2011)

窒素循環のみを考えた
シンプルなモデル

より現代的なモデルの例
40

採水データの環境オミクス解析データ

機械学習概要✔ 時系列データの取得

Sato e al. (2018)

シミュレーションデータ

その他の観測データ

海洋・気象・河川モデル

連続自動観測等✔ データセットの作成

leapSeqlars2 gbm

pls

earth

glm

WM
knn

svmRadialbridgelars
icr

extraTrees
pcr

xgbLinear qrf
lm
rbf
foba SBC
kknn
dnn
rfRules rf cubist

evtree RRFglobal ppr

bagEarth mlp

例）環境DNAの変動予測

krlsRadial penalized
rbfDDA
bartMachine svmLinear
RRF parRF svmPoly
leapForward

Rboristglmboost cforest
brnn
ctree2 rvmRadial blasso

svmRadialSigmarqlasso

ANFIS

gaussprRadialelm

xgbTreennet
rvmPoly

bayesglm

svmRadialCost

・結果出力（面データを考慮）
・転移学習

krlsPoly
pcaNNet widekernelpls

mlpSGD

nodeHarvest svmLinear2
bagEarthGCV
rqnc

DENFIS

mlpWeightDecay

glmStepAIC✔ 予測モデル作成 (RNN)

RNNによる
予測モデル作成
svmLinear3
rvmLinear・欠損データの補完
・次元削減（データ圧縮）
・知識ベースによる次元削減
・重要度抽出

simpls・シミュレーションデータ
・ 公共の観測データ
・表層海水の採水データ※要12S等の環境DNA抽出作業

gcvEarth
avNNet

ctree

lasso
nnls
glmnetplsRglm
relaxoBstLmkernelpls

blassoAveraged
enetsuperpc
gaussprPoly mlpML

Pred.
Obs.

gaussprLinear lmStepAIC
partDSA leapBackward
mlpWeightDecayML

https://jhpcn-kyoten.itc.u-tokyo.ac.jp/abstract/jh220055
41東京大学情報基盤センターの利用制度の紹介• 一般利用• 大学・公共機関に在籍の方（大学院生は代表者としては申し込めません）• 電気代相当料金の利用負担金支払いが必要• 企業利用• 企業に在籍の方• 利用負担金は一般利用の約1.2倍• 書面・ヒアリング審査あり，成果報告（公開）義務あり• 若手・女性利用• 大学・公共機関に在籍の方• 4月1日現在40歳以下の若手，または女性，または学生• 利用負担金なし• 書類審査あり，成果報告義務あり• 学際大規模情報基盤共同利用・共同研究拠点（JHPCN）への課題申請• HPCI課題への課題申請
https://www.cc.u-tokyo.ac.jp/guide/
ご興味を持たれた方ご活用ください
2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

Copyright 2023, Shinji Sumimoto@The University of Tokyo

42

43
43

Co-Authors• Kengo Nakajima, Information Technology Center, University of Tokyo– HPC, Management• Takashi Furumura, Earthquake Research Institute, University of Tokyo– Simulations: Seism3D/OpenSWPC-DAF• Hiroshi Tsuruoka, Earthquake Research Institute, University of Tokyo– Observation/Monitoring Network: JDXnet• Hisashi Yashiro, National Institute for Environmental Studies, Japan– Climate, Coupling Utilities• Shinji Sumimoto, Information Technology Center, The University of Tokyo– System Software for Communications on Heterogeneous Environments• Takashi Arakawa, CliMTech/The University of Tokyo– Climate, Coupling Utilities

Contributors• National Institute ofEnvironmental Studies (NIES)• Information Technology Center,– H. Yashiro
The University of Tokyo• Nagoya University– K. Nakajima, T. Hanawa, T. Arakawa– T. Hoshino, M. Kawai– T. Shimokawabe, H. Matsuba• Kyushu University• Earthquake Research Institute,– S. Oshima

The University of Tokyo– T. Furumura, H. Tsuruoka– T. Ichimura, K. Fujita– H. Nagao, S. Ito• University of Hyogo– H. Shiba• Fujitsu– Y. Sakaguchi, S. Sumimoto(2021), Y.
Kasai et al.

44
44

45
45

Acknowledgements• JSPS Grant-in-Aid for Scientific Research (S)(19H05662)• New Energy & Industrial Technology Development
Organization (NEDO): Cross-ministerial Strategic
Innovation Promotion Program (SIP): Big-Data and AIEnabled Cyberspace Technologies• Joint Usage/Research Center for Interdisciplinary
Large-scale Information Infrastructures (JHPCN)– jh210022-MDH, jh220029, jh230017 , jh220020 , jh220055

46

解説記事：h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO-Socket• h3-Open-UTIL/MP– https://www.cc.u-tokyo.ac.jp/public/VOL24/No3/13_202205-Wisteria-2.pdf– http://nkl.cc.u-tokyo.ac.jp/files/202207UtilMPfinal.pdf• h3-Open-SYS/WaitIO-Socket– https://www.cc.u-tokyo.ac.jp/public/VOL24/No2/10_202203Wisteria-1.pdf– https://www.cc.u-tokyo.ac.jp/public/VOL24/No3/12_202205-Wisteria-1.pdf

46

まとめ
• Wisteria/BDEC-01とh3-Open-BDEC• シミュレーション、データ、学習の融合を目指したシステムとソフトウェア群• リアルタイムデータを活用したビッグデータ＋HPC事例• リアルタイムデータ同化＋3D強震動シミュレーション融合• シミュレーションデータを活用したビッグデータ＋ HPC+AI事例• 気候シミュレーションの高精度・高速化• 極端気象現象のシミュレーションの予測精度向上• 海洋エコシステム予測• 今後も世の中に役に立つ実アプリケーションの研究開発を進めていく
2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

Copyright 2023, Shinji Sumimoto@The University of Tokyo

47

Questions?
2023/6/21 PCクラスタワークショップ in
大阪2023「ビッグデータとHPC」

Copyright 2023, Shinji Sumimoto@The University of Tokyo

48