Wisteria/BDEC-01「計算・データ・学習」融合
スーパーコンピュータシステム
東京大学情報基盤センター
https://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/1

2

東京⼤学情報基盤センター• 東京⼤学⼤型計算機センター（1965年）• 東京⼤学情報基盤センター（1999年〜）• 全国共同利⽤施設• 学際⼤規模情報基盤共同利⽤・共同研究拠点 中核拠点（2010年〜）• ⾰新的ハイパフォーマンス・コンピューティング・インフラ(HPCI) 構成機関
（2010年〜）• 最先端共同HPC基盤施設（JCAHPC）（2013年〜）• 筑波⼤学計算科学研究センター・東⼤情報基盤センター：OFP• 2024年1⽉• 現在運⽤中のシステム• Wisteria/BDEC-01（ 「計算・データ・学習」融合スーパーコンピュータシステム）：2021年
5⽉運⽤開始• Ipomoea-01（⼤規模共通ストレージ）（2022年1⽉運⽤開始，利⽤開始は6⽉）• データ活⽤社会創成プラットフォーム（mdx）：2021年3⽉設置

3

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

Hitachi
SR2201

Hitachi
SR8000/MPP

HARP-1E

SR8000307.2GF

2011-2015

2021-2025

2016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM
Power72023年9月末退役
Intel CLX
OBCX(Fujitsu)

2,073.6 GF

6.61 PF

140 TFAMD Opteron

利用者2,600+名
55％は学外加速装置付

OFP-II
75+ PF25.0 PFIntel Xeon Phi
Fujitsu FX10
Oakleaf-FX

東京大学情報基盤
1.13 PFSPACR64 IXfx
Reedbushセンターのスパコ
U/H/L (SGI-HPE)
3.36 PF
疑似ベクトルン
Intel BDW +汎用CPU

NVIDIA H100

OakforestPACS (Fujitsu)

Hitachi HA8000
T2K Todai

2026-2030

NVIDIA P100

BDEC02

Fujitsu
33.1 PFA64FX,
Intel Icelake+
NVIDIA A100

150+ PF

Accelerators

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

Platform for Integration of (S+D+L)
Big Data & Extreme Computing

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Shared File
System
（SFS）
25.8 PB, 500 GB/s

2.0 TB/s

Data/Learning
Nodes: AquariusIntel Ice Lake + NVIDIA A100

Fast File
System（FFS）
1 PB, 1.0 TB/s

7.20 PF, 578.2 TB/s

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末（予定）• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)

800 Gbps

External
Resources

External
Resources
External Network

Simulation Nodes（Odyssey）• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末（引退）• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF

Data/Learning Nodes（Aquarius）• 2019年7月～2023年9月末（予定）• 6.61 PF, #110 in 58th TOP500-Sep 2023 (Plan)

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#17)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#106)• 33.1 PF, #13 in 57th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Reedbush

Oakforest-PACS

Oakbridge-CX
4

5

柏キャンパス
Ipomoea
OFP-II（2025年1月）

柏IIキャンパス
Wisteria/BDEC-01，mdx
ABCI/ABCI-II

TX「柏の葉キャンパス」駅

6

2022年度分野別 ■汎用CPU，■GPU
バイオ
インフォマ
生物科学・ティクス
生体力学

エネルギー・
物理学

材料科学

工学・
ものつくり

地球科学・
宇宙科学

OBCX
CascadeLake

Engineering
Earth/Space
Material
工学・
ものつくり
Energy/Physics
Info. Sci. : System
Info. Sci. : Algorithms
地球科学・エネルギー・
Info. Sci. : AI
宇宙科学
物理学
Education
Industry
材
Bio
料
Bioinformatics科
学
Social Sci. & Economics
Data

Odyssey
A64FX

データ科学・
工学・
データ同化
Engineering
バイオインフォものつくり
Earth/Space
マティクス

Material
地球科学・
Energy/Physics
エネルギー・
工学・
宇宙科学
Info.
Sci. : System
物理学
情報科学：
ものつくり
AIInfo. Sci. : Algorithms
Info. Sci. : AI
材料科学
Education
地球科学・
アルゴリズム宇宙科学
Industry
Bio
材料科学
Bioinformatics
Social Sci. & Economics
Data

Aquarius
A100

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
Industry
産業利用
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Data
データ科学・データ同化

7

2023年度分野別（4月～12月末）■汎用CPU，■GPU
バイオ
インフォマ
生物科学・ティクス
生体力学

エネルギー・
物理学

工学・
ものつくり

地球科学・
宇宙科学
材料科学

OBCX
CascadeLake
2023年9月末退役

Engineering
Earth/Space
Material 工学・ものつくり
Energy/Physics
Info. Sci. : System
エネルギー・
Info. Sci. : Algorithms
物理学
Info. Sci. : AI 地球科学・
宇宙科学
Education
材
Industry
Bio 料
科
Bioinformatics
学
Social Sci. & Economics
Data

OdysseyA64FXEngineering
データ科学・
データ同化
Earth/Space工学・
バイオインフォ
Material
ものつくり
マティクス
Energy/Physics 地球科学・
Info. Sci. : System
宇宙科学
生物科学・
Info. Sci. : Algorithms
生体力学Info. Sci. : AI
Education
材料科学
情報科学：
Industry
Bio AI
Bioinformatics
Social Sci. & Economics
Data

Aquarius
A100

工学・ものつくりEngineering
地球科学・宇宙科学
Earth/Space
材料科学
Material
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

8

全地球大気環境シミュレーション
東大大気海洋研究所，東大理学系研究科等

NICAM:
Semi-Unstructured Grid

NICAMAgrid
NICAMZMgrid

MIROC-A:
FDM/Structured GridApp. A

MIROC-A

Atmospheric
Model-1* Also applicable to full coupling,
multiple applications

2. Send-data extraction fromthe buffer, and data sending

Atmospheric
Model-2

ひまわり SST (1時間毎)

J-cup

ppOpen-MATH/MP
Coupler•Grid Transformation• Multi-Ensemble•IO•Pre- and post-process•Fault tolerance•M×N

Ocean Model

COCO
Regional COCO
Matsumuramodel

Post-Peta-Scale
System-System S/W-Architecture

1. Data-packing
into a buffer
4. Data extraction
from the buffer

3. Data-packing after theinterpolation process
COCO: Tri-Polar FDM

Regional Ocean Model
Non Hydrostatic Model

モデル SST（6時間毎）

App. B〔画像提供：佐藤正樹教授・
羽角博康教授（東大・大気海洋研）〕

地震シミュレーション・地殻変動

9〔画像提供：古村孝志教授・
市村強教授（東大・地震研）〕

東大地震研究所，東大理学系研究科等○ 使用データ(K-N ET, KiK-net 446点)(a) 同化波動場(b ) 予測波動場

都心の長周期地震動予測結果c) Resident evacuationa) Earthquake wave propagation

0 km

-7 km

Two million agents evacuating to nearest safe site

Ikebukuro

応答スペクトル予測結果

Earthquake
Ueno

Shinjuku

Tokyo station

Shinbashi
Shibuya

90秒間の同化à予測計算b) City response simulation〔画像提供：
安藤亮輔准教授（東大・理学系）〕

Post earthquake10

二酸化炭素地下貯留シミュレーション
大成建設，理化学研究所等〔画像提供：
山本肇博士（大成建設）〕(a) Tokyo Bay Model–Large scale hydro-geological model–
InjectionWell

30 million DoF

Yamamoto et al. (2009)

10km(b) DDC (Diffusion-Dissolution-Convection)–Highly non linear process model–
Injection Well

Caprock (Low permeable seal)
Supercritical
CO2

Reservoir

Local-scale
Model

Native Groundwater (Brine)

6 million DoF(c) SPE 10 Model–Highly heterogeneous reservoir model–
Producer

3.3 million DoF
Injector

Injector

Original
Reservior Model
Christie and Blunt (2001)
Qi et al. (2009)
Audigane et al.(2011)

Yamamoto et al. (2013)※DOF: degrees of freedom

CO2 behavior(No upscaling)ゲリラ豪雨予測のリアルタイム実証実験 （理化学研究所）

Foreca st

D a ta a ssim ila tion

Au g u st 2019

全体のワークフロー
15: 30: 00

PAW R
Ob s

SCALELETK F
An a lysis〔画像提供：三好建正博士（理化学研究所）〕

15: 40: 00

N ovem b er 2019Bu g
• M PI com m unicator
Op tim iza tion
Very sta b le! • Obs pre-processing• Visualization• N W P m odel setting

計算性能の向上。上段はデータ同化、下段は30分予報にかかった時間(秒)。
(左)2019年8月、(右)2018年11月。
FT= 0m in
FT= 10m in
FT= 20m in

15: 50: 00

dBZ R
PAW
Ob s

dBZ

SCALE
Foreca st

2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALE11
2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALELETKFによる予報で得られたレーダー反射強度(dBZ)を示す。
LETKFによる解析で得られたレーダー反射強度(dBZ)を示す。

12
12「COVID-19」対応HPCI臨時公募課題全14のうち6課題が東大システムを利用（2020年度）
His41

課題名

代表者（所属）使用システム-11.88 Thr25

中央：全体図

-4.82
9.32
-3.14
-8.50

7.41
-3.36
-6.76

Asp187

新型コロナウイルスの主要プロテアーゼに関するフラグメント分子軌道計算

望月 祐志（立教大学）
Met165COVID-19治療の候補薬: chloroquine、hydroxychloroquine、azithromycinの催不整脈リ
スクの評価ならびにその低減策に関する研究

久田 俊明（株式会社UTHeart研究所 / 東大）

新型コロナウィルス表面のタンパク質動的構造予測

杉田 有治（理化学研究所）

Asn142

Glu166

Oakforest
PACS-10.0313.55-4.41-10.88! " !# $+, - . /. .

%&+, 0 1 /2 .

Glu166

Asp187-47.70
5.45
-3.70
-8.38

-32.70
0.38
-0.80
-2.09

%'
, 2 , /3 0

-4.91
13.38
-5.98
-9.99
(!
+4 0 /- 3)*+, 2 . /5 -〔資料提供：望月祐志教授（立教大学）〕

計算機解析によるSARS-CoV-2増殖阻害化合物の 星野 忠次
探索（千葉大学）
室内環境におけるウイルス飛沫感染の予測とその対策：富岳大規模解析に向けたケーススタディ

坪倉 誠（神戸大学）

Spreading of polydisperse droplets in a turbulent Marco Edoardo Rosti
puff of saturated exhaled air（OIST）

Oakbridge
CX〔資料提供：坪倉誠教授（神戸大学）〕

13

YouTubeチャンネルのご紹介
研究事例紹介や、セミナー・講習会の録画などをご覧になれます。
• 「東京大学情報基盤センター」チャンネル
https://www.youtube.com/channel/UC2CHaGp1AO-vqRlV7wmU0-w– Wisteria/BDEC-01システム紹介
https://www.youtube.com/watch?v=SXjYtatzo4&list=PLobjSv_ny85lW03OAPUJ9DWJoHhNiQgvY&index=3&t=104s– 第10回JCAHPCセミナー
https://www.youtube.com/playlist?list=PLobjSv_ny85mfPTuCC2i7r_sPQYKZvy2e– 柏キャンパス一般公開
https://www.youtube.com/playlist?list=PLobjSv_ny85kr1Ig2m-bUiMC2a9W6k53u
https://www.youtube.com/watch?v=q-0QtU7Ops4&t=116s– JCAHPCセミナー：「人類と地球を護るスーパーコンピューティング」
https://www.youtube.com/playlist?list=PLobjSv_ny85l-z-VJCy690ZjlAA04xCRA– お試しアカウントつき講習会
https://www.youtube.com/playlist?list=PLobjSv_ny85kXY2Mtnhn1k7pM-epQaD2y

14

スーパーコンピューティング
の今後

生物科学・
生体力学
産業利用

エネルギー・
物理学• ワークロードの多様化– 計算科学，計算工学：Simulations– 大規模データ解析– AI，機械学習• （シミュレーション（計算）＋データ＋学習）融合⇒Society 5.0実現に有効，2015年頃から取り組み– フィジカル空間とサイバー空間の融合• S:シミュレーション（計算）（Simulation）• D:データ（Data）• L：学習（Learning）– Simulation + Data + Learning =
S+D+L

工学・
ものつくり

材料科学

CPU Cluster
Oakbridge-CX

Engineering
Earth/Space
Material
バイオ
Energy/Physics
インフォマティクス
Info. Sci. : System材料科学
Info. Sci. : Algrorithms
Info. Sci. : AI
情報科学：
生物科学・
Education
アルゴリズム
生体力学
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data

GPU Cluster
Reedbush-L

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data（シミュレーション（計算）＋データ＋学習）融合（S+D+L）

15• 東大情報基盤センターでは，2015年頃から「（S+D+L）融合」の重要性に注目し，それを実現するためのハード
ウェア，ソフトウェア，アプリケーション，アルゴリズムに関する研究開発を開始– BDEC計画（Big Data & Extreme Computing）– 「データ＋学習」による，より高度な「シミュレーション」• AI for HPC– 地球科学関連では自然な発想（すでに実施されている）• 2021年5月に運用を開始した「Wisteria/BDEC-01」は「BDEC計画」の1号機– Reedbush，Oakbridge-CXは「BDEC」のプロトタイプと位置づけられる– 「計算・データ・学習（S+D+L）」融合を実現する，世界でも初めてのプラットフォーム

16

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

800 Gbps– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

1PB, 1.0TB/s

External
Resources
External Network
外部ネットワーク

外部リソース

17

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

800 Gbps– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

1PB, 1.0TB/s

External
Resources
External Network
外部ネットワーク

外部リソース

18

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

800 Gbps– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

1PB, 1.0TB/s

External
Resources
External Network
外部ネットワーク

外部リソース

19

システム構成図
シミュレーションノード︓7,680ノード (総理論演算性能 25.9 PFLOPS、総メモリバンド幅 7.8 PB/s)
データ・学習ノード︓45ノード (総理論演算性能 7.2 PFLOPS、総メモリバンド幅 578.2 TB/s)
外部接続ルータ (Ethernet)
シミュレーションノード群

ログインノード

データ・学習ノード群

7,680ノード

ログインノード共有ファイルシステム

20ノード

45ノード

FUJITSU Server
PRIMERGY RX2530 M5 x 20ノード
総理論演算性能(倍精度)︓96TFLOPS
総メモリ容量︓7.5TiB
FUJITSU Supercomputer
シミュレーションノード間
PRIMEHPC FX1000 x 7,680ノード (20ラック) ネットワーク
総理論演算性能(倍精度) : 25.9PFLOPS(TofuインターコネクトD)
バイセクションバンド幅︓13TB/s
総メモリ容量︓240TiB
総メモリバンド幅 : 7.8PB/s

FUJITSU Server
PRIMERGY GX2570 M6 x 45ノード(ノードあたり Intel Xeon Platinum 8360Y
Processor (2.40GHz, 36コア) x2)(ノードあたり NVIDIA A100 x 8基)
総理論演算性能(倍精度)︓7.2PFLOPS
総メモリ容量︓36.5TiB,総メモリバンド幅︓578.2TB/s

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX60 S5 x 1
有効利⽤容量︓14.4TB

データ・学習ノード間ネットワーク 兼 ノード群結合ネットワーク (InfiniBand EDR/HDR)
ライフネットワーク/管理ネットワーク (Ethernet)
⾼速ファイルシステム
MDS,MDT x1セット

OSS,OST x16セット

ファイルシステム︓FEFS
1PB
ストレージデータ転送速度︓1.0TB/s
MDS︓PRIMERGY RX2530 M5 x 2
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 2VM/CM, DDN SFA400NVXE x 16

FUJITSU CONFIDENTIAL

管理サーバ群

共有ファイルシステム
MDS,MDT x1セット

管理サーバ群ネットワークストレージ

OSS,OST x16セット
FUJITSU Server
PRIMERGY RX2530 M5
x 13(ジョブ管理x5、運⽤管理x2、
認証x2、Webポータルx2、セキュリティログx2)

ファイルシステム︓FEFS
25PB
ストレージデータ転送速度︓0.5TB/s
MDS︓PRIMERGY RX2530 M5 x 4
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 1VM/CM, DDN SFA7990XE x 16

19

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX100 S5 x 1
有効利⽤容量︓420TB

・外部ネットワーク
・柏キャンパス・mdxシステム

項目

総理論演算性能
総ノード数
総主記憶容量ネットワークトポロジー

共有ファイルシステム

高速ファイルシステム

20

Wisteria-O (Odyssey)

Wisteria-A (Aquarius)

25.9 PFLOPS

7.2 PFLOPS

7,680

45

240.0 TiB

36.5 TiB

6 次元メッシュ / トーラス

Full-bisection Fat Tree

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA7990XE

サーバ(OSS)数16

ストレージ容量

25.8 PB

ストレージデータ転送速度

504 GB/s

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA400NVXE

サーバ(OSS)数16

ストレージ容量

1.0 PB

ストレージデータ転送速度

1.0 TB/sWisteria-O (Odyssey)
FUJITSU Supercomputer
PRIMEHPC FX1000

項目

マシン名
プロセッサ名
CPU

GPU

A64FX

プロセッサ数 (コア数)

1 (48+アシスタントコア2 or 4)

2 (36+36)

周波数
理論演算性能
メモリ容量
メモリ帯域幅プロセッサ名
SM数（単体）
メモリ容量（単体）
メモリ帯域幅（単体）
理論演算性能（単体）
搭載数

2.2 GHz
3.3792 TFLOPS
32 GB
1,024 GB/s

2.4 GHz5.53 TFLOPS
512 GiB
409.6 GB/s
NVIDIA A100
108
40 GB
1,555 GB/s
19.5 TFLOPS
8PCI Express Gen4 x 16レーン(1レーンあたり片方向32 GB/s)
NVLink x 12本(1本あたり片方向25GB/s)-

CPU-GPU間接続
GPU間接続
21

Wisteria-A (Aquarius)
FUJITSU Server PRIMERGY
GX2570 M6Intel Xeon Platinum 8360Y（開発コード名：Ice Lake）

インターコネクト

TofuインターコネクトD

InfiniBand HDR(200Gbps) x 4

22
22

ソフトウェア群
項目

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

OS

Red Hat Enterprise Linux 8 (aarch64)

Red Hat Enterprise Linux 8 (x86_64)

コンパイラ

GNU コンパイラ

GNU コンパイラ

メッセージ通信ライブラリ

富士通社製 コンパイラ(Fortran77/90/95/2003/2008、C、
C++)

Intel コンパイラ(Fortran77/90/95/2003/2008、
C、C++)NVIDIA HPC SDK(Fortran77/90/95/2003/2008、C、C++、
OpenACC 2.7)
NVIDIA CUDA SDK(CUDA C、CUDA C++)

富士通社製MPIIntel MPI、Open MPI

23
23

項目

ライブラリ

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

SuperLU、 SuperLU MT、 SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PTScotch、PETSc、Trillinos、FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、HDF5、Parallel HDF5、CMake、Miniconda、Xabclib、ppOpen-HPC、MassiveThreads、Boost C++、
mpiJavaIntel社製ライブラリ(MKL)(BLAS、CBLAS、LAPACK、富士通社製ライブラリ(BLAS、CBLAS
ScaLAPACK）、NVIDIA社製ライブラリ(cuBLAS、、LAPACK、 ScaLAPACK)
cuSPARSE、cuFFT、cuDNN、NCCL)、MAGMA

アプリケーションOpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP-Coupler、
REVOCAP-Refiner、OpenMX、MODYLAS、GROMACS、BLAST、R packages、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、ROOT、Geant4、
LAMMPS、CP2K、NWChem、DeepVariant、Paraview、Vislt、POV-Ray、TensorFlow、Chainer、
PyTorch、Keras、Horovod、MXNet
Theanoフリーソフトウェア

autoconf、automake、bash、bzip2、cvs、emacs、findutils、gawk、gdb、make、grep、gnuplot、
gzip、less、m4、python、perl、ruby、screen、sed、subversion、tar、tcsh、tcl、vim、zsh、git など
Globus Toolkit、Gfarm、FUSE

コンテナ仮想化
商用アプリ

Singularity Community Edition
MATLAB (New!)

24

SC23における諸ランキング（2023年11月）
Odyssey

Aquarius

TOP 500

25⇒33

136⇒168

Green 500

55

35

HPCG

14

73

Graph 500 BFS

6-HPL-MxP(HPL-AI)

14(June2023 ?)

Platform for Integration of (S+D+L)
Big Data & Extreme Computing
Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Shared File
System
（SFS）
25.8 PB, 500 GB/s

2.0 TB/s

Data/Learning
Nodes: AquariusIntel Ice Lake + NVIDIA A100

Fast File
System（FFS）
1 PB, 1.0 TB/s

7.20 PF, 578.2 TB/s-

800 Gbps

External
Resources

External
Resources
External Network

62nd TOP500 List (Nov., 2023)
Site

Rmax: Performance of Linpack (TFLOPS) http://www.top500.org/
Rpeak: Peak Performance (TFLOPS), Power: kW

Computer/Year Vendor

Cores

Rpeak
Rmax
(PFLOPS) (PFLOPS)

25

Power
(kW)

Frontier, 2022, USA
1 DOE/SC/Oak Ridge National Laboratory

HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC 64C 2GHz,
AMD Instinct MI250X, Slingshot-11

8,699,904

1,194.00(=1.194 EF)

1,679.82

22,703

Aurora, 2023, USA
2 DOE/SC/Argonne National Laboratory

HPE Cray EX - Intel Exascale Compute Blade, Xeon CPU Max
9470 52C 2.4GHz, Intel Data Center GPU Max, Slingshot-11, Intel

4,742,808

585.34

1,059.33

24,687

Eagle, 2023, USA
3 Microsoft

Microsoft NDv5, Xeon Platinum 8480C 48C 2GHz, NVIDIA H100,
NVIDIA Infiniband NDR

1,123,200

561.20846.84

Fugaku, 2020, Japan
4 R-CCS, RIKEN

Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz, Tofu-D

7,630,848

442.01537.21

29,899

LUMI, 2022, Finland
5 EuroHPC/CSC

HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC 64C 2GHz,
AMD Instinct MI250X, Slingshot-11

2,752,703

379.70531.51

7,107

Leonard, 2022, Italy
6 EuroHPC/Cineca

BullSequana XH2000, Xeon Platinum 8358 32C 2.6GHz, NVIDIA
A100 SXM4 64GB, Quad-rail NVIDIA HDR100

1,824,768

238.70304.46

7,404

Summit, 2018, USA
7 DOE/SC/Oak Ridge National Laboratory

IBM Power System AC922, IBM POWER9 22C 3.07GHz, NVIDIA
Volta GV100, Dual-rail Mellanox EDR InfiniBand

2,414,592

148.60200.7910,096

MareNostrum 5 ACC, 2023, Spain
8 EuroHPC/BSC

BullSequana XH3000, Xeon Platinum 8460Y+ 40C 2.3GHz,
NVIDIA H100 64GB, Infiniband NDR200, EVIDEN

680,960

138.20265.572,560

Eos NVIDIA DGX SuperPOD
9 NVIDIA Corporation

NVIDIA DGX H100, Xeon Platinum 8480C 56C 3.8GHz, NVIDIA
H100, Infiniband NDR400, Nvidia

485,888

121.40188.65Sierra, 2018, USA
10 DOE/NNSA/LLNLIBM Power System S922LC, IBM POWER9 22C 3.1GHz, NVIDIA
Volta GV100, Dual-rail Mellanox EDR InfiniBand

1,572,480

94.64

125.71

7,438

ABCI 2.0, 2021, Japan
32 AIST

PRIMERGY GX2570 M6, Xeon Platinum 8360Y 36C 2.4GHz,
NVIDIA A100 SXM4 40 GB, InfiniBand HDR

504,000

22.21

54.34

1,600

PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofu interconnect D

368,640

22.12

25.95

1,468

Wisteria/BDEC-01 (Odyssey), 2021,

33 Japan ITC, University of Tokyoスパコンプログラミング (1), (I)TOP 500
Rank

Green 500 Ranking (Nov., 2023)
System1

293

Henri, Flatiron Institute, USA2

44

Frontier TDS, ORNL, USA

3

17

Adastra, GENCI-CINES, France

425

Setonix-GPU, Paswey SCC, Australia

5

92

Dardel GPU, KTH, Sweden

6

8

MareNostru 5 ACC, BSC, Spain

7

5

LUMI, EuroHPC/CSC, Finland

8

1

Frontier, ORNL, USA

984

Goete-NHR, Universitaet Frankfurt,
Germany10496

Olaf, (Science Institute), South Korea

12

226

Pegasus, University of Tsukuba, Japan

35

168

Wisteria/BDEC-01 (Aquarius), The
University of Tokyo, Japan

Accelerator
NVIDIA H100
80GB
AMD Instinct
MI250X
AMD Instrinct
MI250X
AMD Instrinct
MI250X
AMD Instrinct
MI250XNVIDIA H100
64GB
AMD Instinct
MI250X
AMD Instinct
MI250X
AMD Instinct
MI210
NVIDIA H100
80GB
NVIDIA H100
80GB
NVIDIA A100
40GB

Cores

26

http://www.top500.org/

HPL Rmax(Pflop/s)

Power
(kW)

GFLOPS/W

8,288

2.88

44

65.396

120,832

19.20

309

62.684

319,072

46.10

921

58.021

181,248

27.16

477

56.98352,8648.26

146

56.491

680,960

138.202,560

53.9842,752,704

379.707,10753.4288,699,904

1,194.00

22,70352.592

96,7689.09

19546.543

3,936

2.03

45

45.117

21,6003.48

6841.12342,120

4.425

183

24.06
2023/10/3

スパコンプログラミング (1), (I)27

HPCG Ranking (Nov., 2023)

1

Fugaku7,630,848

HPL Rmax(Pflop/s)
442.01

2

Frontier

8,730,112

1,102.00

1

14.0543

LUMI

2,752,704

379.70

5

4.587

4

Leonardo

1,824,768

238.70

6

3.114

5

Summit2,414,592

148.600

7

2.926

6

Perlmutter

761,856

70.870

12

1.905

7

Sierra1,572,480

94.640

10

1.796

8

Selene555,52063.460

13

1.622

9

JUWELS Booster Module

449,280

44.120

18

1.275

10

AOBA-S

64,512

17.22

50

1.089

14

Wisteria/BDEC-01 (Odyssey)

368,640

22.12133

0.817

Computer

http://www.hpcg-benchmark.org/

Cores

TOP500
Rank
4

HPCG(Pflop/s)
16.0042023/10/3

2023/10/3

http://graph500.org/?page_id=942

Graph500 BFS, Nov. 2023
Site
1

Fugaku, 2020, Japan
R-CCS, RIKEN

Computer/ Vendor
Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz, Tofu-D

Wuhan Supercomputer, 2023, China
HUST Kunpeng 920+Tesla A100, Custom
Wuhan Supercomputing Center
Frontier, 2022,USA
HPE, Cray EX235a, Slingshot-11
3
DOE/SC/ORNL
Pengcheng Cloudbrain-II, 2022, China
HUST Kunpeng 920+Ascend 910
4
HUST-Pengcheng Lab-HUAWEI
Sunway TaihuLight, 2016, China
Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway
5
National Supercomputing Center in Wuxi
2

6
7
8
9
10

Wisteria/BDEC-01 (Odyssey), 2021, Japan
ITC, University of Tokyo

Toki-Sora, 2021, Japan
JAXA

NAPS-FX1000, 2023, JapanJMA

LUMI-C, 2021, Finland
EuroHPC/CSC

Summit (CPU Only), 2018, USA
DOE/SC/Oak Ridge National Laboratory

Fujitsu PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofuinterconnect D
PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofu interconnect
D
PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofu interconnect
D
Cray EX, SlingShot-10
IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

スパコンプログラミング (1), (I)

Cores

Scale

GTEPS

7,299,072

42

138867

6,999,552

41

115357.6

8,730,1124029654.6

93,6964028463.1

10,599,680

40

23755.7

368,640

37

16118

276,48036

10813

221,18436

10158

190,97638

8467.72,414,592

40

7665.728

2023/10/3

29

HPL-MxP (旧HPL-AI) (Nov. 2023) 低精度演算利用による性能向上

https://hpl-mxp.org/results.md

Site

Frontier, 2022, USA

Computer/Vendor
HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC 64C
2GHz, AMD Instinct MI250X, Slingshot-11

Cores

HPL-AIHPL Rmax
Top500Speedup(EFLOPS)(EFLOPS)1

1.1940

8.3

2.35

5

0.3797

6.2

2.0

4

0.44204.5

1,463,616

1.842

6

0.2387

7.7

IBM Power System AC922, IBM POWER9 22C 3.07GHz,
2,414,592
DOE/SC/Oak Ridge National Laboratory NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

1.411

7

0.1486

9.5

555,5200.630

90.06359.9

761,856

0.590

12

0.079

7.4

449,2800.470

180.0441

10.7

319,0720.303

170.0461

6.6

HPE Cray EX235a, AMD Optimized 3rd Generation
181,248
EPYC 64C 2GHz, AMD Instinct MI250X, Slingshot-11
Wisteria/BDEC-01 (Odyssey), 2021, Fujitsu PRIMEHPC FX1000, A64FX 48C 2.2GHz,
368,640
14 Japan ITC, University of Tokyo
Tofu interconnect D

0.175

25

0.0272

6.4

0.10

33

0.0221

4.5

1
2
3
4
5
6
7

DOE/ORNL
LUMI, 2022, Finland
EuroHPC/CSC

Fugaku, 2020, Japan
R-CCS, RIKEN

Leonardo, 2022, Italy
EuroHPC/Cineca

8,730,112 9.9507

HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC 64C
2,752,704
2GHz, AMD Instinct MI250X, Slingshot-11
Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz,
7,630,848
Tofu-D
BullSequana XH2000, Xeon Platinum 8358 32C 2.6GHz,
NVIDIA A100 SXM4 64GB, Quad-rail NVIDIA HDR100

Summit, 2018, USA
Selene, 2020, USA
NVIDIA

Perlmutter, 2021, USA

DOE/NERSC/LBNL
JUWELS Booster Module, 2020,
8 Germany Julich (FZJ)
Adastra, 2022, France
9
GENCI-CINES
Setonix-GPU, 2022, Australia
10 Pawsey SC

NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz,
NVIDIA A100 SXM4 40 GB, Slingshot-10
Bull Sequana XH2000, AMD EPYC 7402 24c 2.8GHz,
NVIDIA A100, Mellanox InfiniBand HDR
HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC 64C
2GHz, AMD Instinct MI250X, Slingshot-11

スパコンプログラミング (1), (I)30

GFLOPS（ピーク性能）当たり利用負担（円）：電気代
GFLOPS/W（Green 500）（2023年度から値上げ）
JPY/GFLOPS
Small is GoodGFLOPS/W
Large is Good

Oakleaf-FX/Oakbridge-FX (Fujitsu)(Fujitsu SPARC64 IXfx)

125

0.866

Reedbush-U (HPE) (Intel Xeon Broadwell (BDW))

61.9

2.310

Reedbush-H (HPE) (Intel BDW+NVIDIA P100x2/node)

15.9

8.575

Reedbush-L (HPE) (Intel BDW+NVIDIA P100x4/node)

13.4

10.167

Oakforest-PACS (Fujitsu) (Intel Xeon Phi/KNL)

16.5

4.986

Oakbridge-CX (Fujitsu) (Intel Xeon Cascade Lake)

20.7

5.076

Wisteria-Odyssey （Fujitsu/Arm A64FX）

17.8

15.069Wisteria-Aquarius （Intel Xeon Ice Lake + NVIDIA A100x8）

9.00

24.058System利⽤制度の紹介• ⼀般利⽤• ⼤学・公共機関に在籍の⽅（⼤学院⽣は代表者としては申し込めません）• 電気代相当料⾦の利⽤負担⾦⽀払いが必要• 企業利⽤• 企業に在籍の⽅• 利⽤負担⾦は⼀般利⽤の約1.2倍• 書⾯・ヒアリング審査あり，成果報告（公開）義務あり• 若⼿・⼥性利⽤• ⼤学・公共機関に在籍の⽅• 4⽉1⽇現在40歳以下の若⼿，または⼥性，または学⽣• 利⽤負担⾦なし• 書類審査あり，成果報告義務あり• 学際⼤規模情報基盤共同利⽤・共同研究拠点（JHPCN）への課題申請• HPCI課題への課題申請
31

32

一般利用コース
https://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/course.php• グループコース（1人またはそれ以上から構成されるグループ）– Wisteria/BDEC-01から「パーソナルコース」は廃止– 代表者は大学・公共機関所属者• トークン（ノード時間）を購入
Platform for Integration of (S+D+L)
Big Data & Extreme Computing– Odyssey，Aquariusを利用できる– O/Aでそれぞれ消費係数が異なる• 一般利用• ノード固定– Aquariusの1ノード（8GPU）を占有して利用– 審査有り（ヒアリング）• GPU占有– Aquariusの1・2・4GPUを占有して利用– 審査無しシミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

1PB, 1.0TB/s

800 Gbps

External
Resources
External Network
外部ネットワーク

外部リソース33

ジョブクラスhttps://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/job.php• インタラクティヴ• バッチジョブ• プリポスト• 現状ではOdyssey，Aquariusは同時利用はできない• Wisteria-O（Odyssey）:シミュレーションノード群– XXX-o– priority-o：優先キュー，トークン消費量1.5倍• Wisteria-A（Aquarius）:データ・学習ノード群– XXX-a– share-XXX

ノード単位
GPU単位

• MIG（Multi-Instance GPU）により，GPU内を更に分割可能だが，本システムでは採用せず

スーパーコンピュータシステムの詳細• https://www.cc.u-tokyo.ac.jp/guide をご覧ください• 利⽤申請⽅法• 運営体系• 料⾦体系• 利⽤の⼿引き• 利⽤制度説明会（1/17）の資料• https://www.cc.u-tokyo.ac.jp/events/seminar/20240117.php

34

35
35

• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Ipomoea-01• h3-Open-BDEC

36

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

Hitachi
SR2201

Hitachi
SR8000/MPP

HARP-1E

SR8000307.2GF

2011-20152016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM
Power7

6.61 PF

140 TFAMD Opteron

加速装置付

OFP-II
75+ PF25.0 PFIntel Xeon Phi
Fujitsu FX10
Oakleaf-FX

東京大学情報基盤
1.13 PFSPACR64 IXfx
Reedbushセンターのスパコ
U/H/L (SGI-HPE)
3.36 PF
疑似ベクトルン
Intel BDW +汎用CPU

NVIDIA H100

OakforestPACS (Fujitsu)

Hitachi HA8000
T2K Todai

2026-2030

Intel CLX
OBCX(Fujitsu)

2,073.6 GF

利用者2,600+名
55％は学外2021-2025

NVIDIA P100

BDEC02

Fujitsu
33.1 PFA64FX,
Intel Icelake+
NVIDIA A100

150+ PF

Accelerators

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

37
37

大規模共通ストレージシステム「Ipomoea」• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途• 東大センターでは従来ストレージは各システムに附属して導入され，各システ
ムのストレージは独立• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，東大センターの全システムからアクセス可能な共通ストレージの導入が強く求められていた• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入決定– OFP運用終了が契機– 1システムを約5–6 年使用し，約3年ごとに新しいストレージシステム（25+PB）を導入
し，入れ替えることを想定している

Ipomoea-01

柏IIキャンパス• 2022年1⽉運⽤開始，25+PB• 富⼠通製• OFPのLustre 領域の必要ファイルの移⾏完了，2022年6⽉から公開• 割当容量• 東⼤センターのシステムのいずれかに利⽤者番号（教育利⽤，講習会除く）を有する場合• 各利⽤者ごとに5TB• 各グループごとに登録システムで付与されている容量の15％を無償で付与• 追加負担⾦（企業はこの2割増し）

400G x2

400G x2

100G
x2

⼤容量HDD
ストレージ
16 PB, Lustre

100G x2• 7,200円/TB/年，2,100,000円/PB/年• Ipomoea-01のみの利⽤申込みも可能
柏キャンパス

100G x2

ログインノード兼接続⽤サーバ

400G x2
ログイン
ノード

25.9 PB
Lustre外部共有
オブジェクトストレージ
10 PB,
S3/Lustre
⾼速NVMeストレージ
1.0 PB, Lustre

共有ファイルシステム
25.8 PB, FEFS

⾼速ファイル
システム
1.0 PB, FEFS

OFP-II(2025年1⽉稼働開始予定)

Ipomoea-01
第2総合研究棟 2階

Aquarius
ノード群

Odysseyノード群
Wisteria/BDEC-01
38

39
39

• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Ipomoea-01• h3-Open-BDEC

h3-Open-BDEC「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤
科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/① 変動精度演算・精度保証・自動チューニングによる新計算原理に基づく革新的数値解法
Numerical Alg./Library② 階層型データ駆動アプローチ
New Principle for
Computations等に基づく革新的機械学習手法
h3-Open-MATH
Algorithms with HighPerformance, Reliability,③ ヘテロジニアス環境（e.g.
Efficiency
Wisteria/BDEC-01）におけるソh3-Open-VER
フトウェア，ユーティリティ群
Verification of Accuracy
h3-Open-AT
Automatic Tuning

Hierarchical,
Hybrid,Heterogeneous
Big Data &ExtremeComputingh3-Open-BDEC
App. Dev. Framework

Control & Utility

Simulation + Data +Learning

Integration +Communications+Utilities

h3-Open-APP: Simulation
Application Developmenth3-Open-SYS
Control & Integration

h3-Open-DATA: Data
Data Scienceh3-Open-UTIL
Utilities for Large-Scale
Computingh3-Open-DDA: Learning
Data Driven Approach40

2022/4/27

AI for HPC，
AI for Scienceの実現へ向けて• Odyssey-Aquarius連携

Platform for Integration of (S+D+L)
Big Data & Extreme Computing
シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）Intel Ice Lake + NVIDIA A100

25.8 PB, 500GB/s

7.20PF, 578.2TB/s

800 Gbps

External
Resources– MPIによる通信は不可• O-Aを跨いでMPIプログラムは動かない

External Network
外部ネットワーク– Odyssey-Aquarius間はInfiniband-EDR（2TB/sec）で結合されている

h3-Open-BDEC• ソフトウェア開発– 高機能カプラー：h3-Open-UTIL/MP– O-A間通信：h3-Open-SYS/WaitIO• IB-EDR経由（WaitIO-Socket）• 高速ファイルシステム（FFS）経由連携（WaitIOFile）

1PB, 1.0TB/s

シミュレーション＋データ＋学習（S+D+L）
数値アルゴリズム・ライブラリ
新しい計算原理
h3-Open-MATH

制御 & ユーティリティ

h3-Open-APP:
Simulation

h3-Open-SYS

計算科学アプリケーション

h3-Open-VER

h3-Open-DATA: Data

h3-Open-AT

h3-Open-DDA:
Learning

自動チューニング

統合＋通信＋
ユーティリティ

アプリ開発フレームワーク

高性能・高信頼性・
混合/変動精度アルゴリズム

精度保証

外部リソース

データ科学

制御 ＆ 統合

h3-Open-UTIL

大規模計算向け
ユーティリティ群

データ駆動・機械学習41

42

h3-Open-SYS/WaitIO
データ受け渡しライブラリ〔松葉，2020〕〔住元他，HPC-181，2021〕

計算科学コード

シミュレーション
最適化されたモデル， ノード群，Odyssey
パラメータ

Wisteria/BDEC-01

機械学習，DDA• ヘテロジニアス環境下での異なるコンポーネン
ト間ファイル経由連携ライブラリとして考案• 機能ü Odyssey～Aquarius間連携
p IB-EDR経由通信（WaitIO-Socket）
p ファイル経由（WaitIO-File）

ü 外部からのデータ取得（観測データ等）
ü 読み込み・書き出しの同期• API：C/C++，Fortranから呼び出し可能
ü MPIライクなインタフェースを提供

データ・学習ノード群
Aquarius

計算結果
観測データ

データ同化
データ解析
サーバー
ストレージ
DB
センサー群
他

外部ネットワーク外部リソース

h3-Open-BDEC
シミュレーション＋データ＋学習（S+D+L）
数値アルゴリズム・ライブラリ
新しい計算原理
h3-Open-MATH

アプリ開発フレームワーク

制御 & ユーティリティ

h3-Open-APP:
Simulation

h3-Open-SYS

高性能・高信頼性・
混合/変動精度アルゴリズム

計算科学アプリケーション

h3-Open-VER

h3-Open-DATA: Data

h3-Open-AT

h3-Open-DDA:
Learning

精度保証

自動チューニング

統合＋通信＋
ユーティリティ

データ科学

データ駆動・機械学習

制御 ＆ 統合

h3-Open-UTIL

大規模計算向け
ユーティリティ群

43

API of h3-Open-SYS/WaitIO-Socket
PB (Parallel Block): Each Application
WaitIO API

Description

waitio_isend

Non-Blocking Send

waitio_irecv

Non-Blocking Receive

waitio_wait

Termination of waitio_isend/irecv

waitio_init

Initialization of WaitIO

waitio_get_nprocs

Process # for each PB (Parallel Block)waitio_create_group
Creating communication groups
waitio_create_group_wranks among PB’s
waitio_group_rank

Rank ID in the Group

waitio_group_size

Size of Each Group

waitio_pb_size

Size of the Entire PB

waitio_pb_rank

Rank ID of the Entire PB[Sumimoto et al. 2021]

44

連成シミュレーションのためのカプラー〔荒川，八代〕• 従来のカプラー（Coupler）：ppOpen-MATH/MP– 複数（通常2つ：大気（NICAM）＋海洋（COCO））のアプリケーションの弱連成（Weak Coupling）をサポート– 各アプリケーションは1種類の計算をやる
App. A* Also applicable to full coupling,
multiple applications

2. Send-data extraction fromthe buffer, and data sending

1. Data-packing
into a buffer
4. Data extraction
from the buffer

3. Data-packing after theinterpolation process

App. B

「計算＋データ＋学習」融合を支援する
多機能カプラーh3-Open-UTIL/MP• 異なる物理モデル連成のアンサンブル実行を支援・統合するための機能– MPI通信、時刻同期、格子系間マッピング等の管理機能の他、従来のカプラーには無い、複数の弱連成結合シミュレーションのアンサンブル実行、片側のモデルのみをアンサン
ブル実行する多対１の弱連成結合が可能– スパコン上で、全地球大気海洋連成シミュレーションによって動作検証済み• Fortran/Cコード（物理モデル）とPythonコードの弱連成を実現する機能– FortranやCで記述されたプログラ
ム同士の連成計算に限って開発を行ってきたカプラーを、Pythonによって記述されたAI・機械学習、可視化処理系のワークロードからも活用できるよう機能拡充。

Fortran/CアプリとPythonアプリの連成計算の模式図〔八代・荒川 2020〕

45

46

h3-Open-UTIL/MP (h3o-U/MP) +h3-Open-SYS/WaitIO-Socket
IceLake+A100

ARM: A64FXHPC App(Fortran)

A huge amount ofsimulation data
outputAnalysis/ML
App(Python)Surrogate
Model
Visualiztion

F<->P adapter
h3o-U/MP

h3o-U/MP

Statistics

Coupling

Odyssey

IB-EDR

Aquarius

h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO-Socket連携
2022年6月から利用可能
2022年度はFS経由のWaitIO-File整備：名大h3open modules
Jcup modules

Jcup modules

jcup_mpi_lib.f90

jcup_mpi_lib.f90

Aquarius

Fortran APP(NICAM)

Python APP(PyTorch)

h3open modules

IB-EDR

h3opp.pyh3open_py.f90
h3open modules

Jcup

h3opp.pyh3open_py.f90

h3-Open-UTIL/MP

Python APP(PyTorch)

h3open modules

Jcuph3-Open-UTIL/MP

Fortran APP(NICAM)

OdysseyJcup modules

Jcup modules

jcup_mpi_lib.f90

jcup_mpi_lib.f90

MPI wrapper

MPI
MPI

WaitIOMPI

MPI+WaitIO

2021年4月：MPI通信可能な環境を前提

2022年6月：Coupler＋WaitIO
47

解説記事：h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO-Socketl 住元真司，荒川隆，坂口吉生，松葉浩也，八代尚，塙敏博，中島研吾，WaitIO-Socket：異種システム
上の複数MPIプログラムを結合する通信ライブラリの試作，情報処理学会研究報告（2021-HPC-18107），2021
l h3-Open-SYS/WaitIO-Socket，h3-Open-UTIL/MP概要：
https://www.dropbox.com/s/k1nd0p98p5cbdeg/KN_HPC182x.pdf?dl=0
l 住元真司他：Wistera/BDEC-01利用事例（3）データ受け渡しライブラリh3-Open-SYS/WaitIO（1/2）
https://www.cc.u-tokyo.ac.jp/public/VOL24/No2/10_202203Wisteria-1.pdf
l 住元真司他：Wistera/BDEC-01利用事例（4）データ受け渡しライブラリh3-Open-SYS/WaitIO（2/2）
https://www.cc.u-tokyo.ac.jp/public/VOL24/No3/12_202205-Wisteria-1.pdf
l 住元真司，荒川隆，坂口吉生，松葉浩也，八代尚，大島聡史，塙敏博，中島研吾，WaitIO-Hybrid:共有
ファイルシステムとSocketを併用可能なシステム間通信ライブラリ，情報処理学会研究報告（2022HPC-187-06），2022
l 荒川隆他：Wistera/BDEC-01利用事例（5）マルチプログラム連成ライブラリh3-Open-UTIL/MP（1/2）
https://www.cc.u-tokyo.ac.jp/public/VOL24/No3/13_202205-Wisteria-2.pdf
l 荒川隆他：Wistera/BDEC-01利用事例（6）マルチプログラム連成ライブラリh3-Open-UTIL/MP（2/2）
https://www.cc.u-tokyo.ac.jp/public/VOL24/No4/09_202207-Wisteria-1.pdf

48

49
49

参考リンク（ビデオ）• Wisteria/BDEC-01利用説明会– https://www.youtube.com/watch?v=1bbZVO6-UQg• h3-Open-BDEC：プロジェクトHP– https://h3-open-bdec.cc.u-tokyo.ac.jp/• Wisteria/BDEC-01 & h3-Open-BDEC紹介講演（日本語）– https://www.youtube.com/watch?v=CsJ_9aGNXCg– https://www.pccluster.org/ja/event/pccc20/exhibition/itc-u-tokyo.html• Wisteria/BDEC-01 & h3-Open-BDEC紹介講演（英語）– https://www.youtube.com/watch?v=jX51NF2LniE