Wisteria/BDEC-01「計算・データ・学習」融合
スーパーコンピュータシステム
東京大学情報基盤センター
https://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/1

東京⼤学情報基盤センター• 東京⼤学⼤型計算機センター（1965年）• 東京⼤学情報基盤センター（1999年〜）• 全国共同利⽤施設• 学際⼤規模情報基盤共同利⽤・共同研究拠点 中核拠点（2010年〜）• ⾰新的ハイパフォーマンス・コンピューティング・インフラ(HPCI) 構成機関
（2010年〜）• 最先端共同HPC基盤施設（JCAHPC）（2013年〜）• 筑波⼤学計算科学研究センター・東⼤情報基盤センター：OFP• 2022年4⽉現在• 2式のシステムを運⽤• Oakforest-PACS（OFP）：2022年3⽉末に運⽤終了• Oakbridge-CX（OBCX）• Wisteria/BDEC-01（ 「計算・データ・学習」融合スーパーコンピュータシステム）：2021年
5⽉運⽤開始• データ活⽤社会創成プラットフォーム（mdx）：2021年3⽉設置

22001-2005
Hitachi SR8000
1,024 GF

Hitachi
SR2201307.2GF

2006-2010
Hitachi SR11000
J1, J25.35 TF, 18.8 TF

2011-20152016-20202026-2030

Hitachi SR16K/M1
Yayoi
54.9 TF

Hitachi
SR8000/MPP

OBCX(Fujitsu)

2,073.6 GF

6.61 PF

OakforestPACS (Fujitsu)

Hitachi HA8000
T2K Todai
Fujitsu FX10
Oakleaf-FX

東京大学情報基盤センターのスパコン

OFP-II

100+ PF

25.0 PF

140 TF

利用者2,600+名
55％は学外2021-2025

Fujitsu
33.1 PF

1.13 PFBDEC02250+ PF

ReedbushU/H/L (SGI-HPE)
3.36 PF

Ipomoea03

Ipomoea-01 25PB

Ipomoea-02
3

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

Hitachi
SR2201

Hitachi
SR8000/MPP

HARP-1E

SR8000307.2GF

2011-20152016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM
Power7

6.61 PF

OakforestPACS (Fujitsu)

Hitachi HA8000
T2K Todai
140 TFAMD Opteron

汎用CPU
加速装置付

2026-2030

Intel CLX
OBCX(Fujitsu)

2,073.6 GF

疑似ベクトル2021-2025

OFP-II

100+ PF

25.0 PF

AcceleratorsIntel Xeon Phi
Fujitsu FX10
Oakleaf-FX

SPACR64 IXfx

BDEC02

Fujitsu
33.1 PF

1.13 PF

ReedbushU/H/L (SGI-HPE)

A64FX,
Intel Icelake+
NVIDIA A100

250+ PF

Accelerators

3.36 PFIntel BDW +NVIDIA P100

Ipomoea03

Ipomoea-01 25PB

Ipomoea-02
4Platform for Integration of (S+D+L)
Big Data & Extreme Computing

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Shared File
System
（SFS）
25.8 PB, 500 GB/s

2.0 TB/s

Data/Learning
Nodes: AquariusIntel Ice Lake + NVIDIA A100

Fast File
System（FFS）
1 PB, 1.0 TB/s

7.20 PF, 578.2 TB/s

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末（予定）• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)

800 Gbps

External
Resources

External
Resources
External Network

Simulation Nodes（Odyssey）• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末（引退）• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF

Data/Learning Nodes（Aquarius）• 2019年7月～2023年6月末（予定）• 6.61 PF, #110 in 58th TOP500-June 2023 (Plan)

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#17)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#106)• 33.1 PF, #13 in 57th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Reedbush

Oakforest-PACS

Oakbridge-CX
5

66

柏キャンパス
OFP，OBCX

柏IIキャンパス
Wisteria/BDEC-01，mdx
ABCI/ABCI-II

TX「柏の葉キャンパス」駅

7

各システムの月平均利用率履歴
100

Utillization Rate (%)

90
80

70
60
50
40
30

20
10
0

Oakleaf-FX

Oakbridge-FX

Reedbush-U

Reedbush-H

Reedbush-L

Oakforest-PACS

Oakbridge-CX

8

研究分野別利用CPU時間割合（2020年度）
工学・
ものづくり
データ
科学
生物科学
生体力学
地球科学・
宇宙科学
エネルギー・
物理学
材料科学

メニィコアクラスタ
Intel Xeon Phi(Oakforest-PACS)

Engineering
Earth/Space
Material
生物科学
生体力学
Energy/Physics
Info. Sci. : System
エネルギー・
工学・
Info.
Sci. : Algrorithms
物理学
ものづくり
Info. Sci. : AI
Education
Industry
材料科学
Bio
Bioinformatics
地球科学・Social Sci. &宇宙科学
Economics
Data
マルチコアクラスタ
Intel CLX
(Oakbridge-CX)

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

9

研究分野別利用CPU時間割合（2020年度）
バイオインフォマ
ティクス・医療画像処理・ゲノム解析

工学・
ものづくり

地球科学・ Engineering
宇宙科学 Earth/Space

生物科学
生体力学
材料科学
情報科学：AI
情報科学：
アルゴリズムGPUクラスタ (2GPUs/node)Intel BDW + NVIDIA P100
(Reedbush-H)

工学・
ものづくり

バイオインフォマ
Material
ティクス・医療画像
Energy/Physics
処理・ゲノム解析
Info. Sci. : System 材料科学
Info. Sci. : Algrorithms
Info.
Sci. : AI
生物科学
情報科学：
生体力学
アルゴリズム
Education
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data
GPUクラスタ (4GPUs/node)Intel BDW + NVIDIA P100
(Reedbush-L)

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
Industry
産業利用
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Data
データ科学・データ同化

10

2020年度分野別 ■汎用CPU，■GPU
RB-H

バイオ
インフォマ
ティクス

生物科学・
生体力学
材料科学
情報科学：AI
情報科学：
アルゴリズム
生物科学・
生体力学
産業利用
エネルギー・
物理学

工学・
ものつくり

材料科学

OBCX

Engineering
Engineering
Earth/Space データ
Earth/Space
Material
RB-L
OFP 科学
Material
バイオ
Energy/Physics
Energy/Physics
生物科学・
インフォマ
Info. Sci.
: SystemInfo. Sci.ティクス: System 材料科学
生体力学
Info. Sci. : Algrorithms 地球科学・
Info. Sci. : Algrorithms
生物科学・Info. Sci. : AI
宇宙科学
情報科学：
Info.
Sci. : AI
生体力学
エネルギー・
アルゴリズム Education
Education
物理学
Industry
Industry
情報科学：AI
Bio
Bio
Bioinformatics
材料科学
Bioinformatics
Social Sci. & Economics
Social Sci. & Economics
Engineering
Data
Data
Earth/Space
Material
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
Industry
Bio
Bioinformatics
Social Sci. & Economics

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

11

2021年度分野別 ■汎用CPU，■GPU
は 月末時点 Engineering
Odyssey，Aquariusは8月以降，RB-H，RB-L
Engineering 11
工学・ものつくり
RB-H
バイオ
インフォマ
ティクス
材料科学
生物科学・
生体力学
情報科学：
AI
生物科学・
生体力学
企業利用

工学・
ものつくり

エネルギー・
物理学
材料科学

OBCX

地球科学・
宇宙科学

Engineering
Earth/Space 社会
RB-L
科学
Material
材料科学
Energy/Physics
Info. Sci. : System
Info. Sci.
: Algrorithms
バイオ
情報科学：AI
インフォマ
Info. Sci.
: AI
ティクス
Education
Industry
Bio
生物科学・
Bioinformatics 生体力学
SocialSci. & Economics
Engineering
データ
Data
Earth/Space 科学
Material生物科学・Energy/Physics
生体力学
工学・
Info. Sci. : System ものつくり
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
地球科学・
Industry
宇宙科学
Bio
Bioinformatics
OdysseySocial Sci. & Economics

Earth/Space
Material
OFP
工学・
Energy/Physics ものつくり
Info. Sci. : System
Info. Sci. : Algrorithms
地球科学・
Info.エネルギー・
Sci. : AI
宇宙科学
Education
物理学
Industry
Bio
Bioinformatics 材料科学
SocialSci. & Economics
Engineering
Data
Earth/Space
工学・
Material
ものつくり
Energy/Physics
Info. Sci. : System
情報科学：
地球科学・
Info. Sci. : Algrorithms
AI
宇宙科学
Info. Sci. : AI
アルゴリズム
Education
Industry
材料科学
Bio
Bioinformatics
Aquarius
Social Sci. & Economics

地球科学・宇宙科学
Earth/Space
材料科学
Material
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algrorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
Engineering
データ科学・データ同化
Data
Earth/Space
Material
Energy/Physics
地球科学・宇宙科学
Info. Sci. : System⇒
分野ではOFP
Info. Sci. : Algrorithms
Wisteria/BDEC-01
Info. Sci. : AIへの移行が順調に進Education
んでいるIndustry
Bio
Bioinformatics
Social Sci. & Economics

12

全地球大気環境シミュレーション
東大大気海洋研究所，東大理学系研究科等

NICAM:
Semi-Unstructured Grid

NICAMAgrid
NICAMZMgrid

MIROC-A:
FDM/Structured GridApp. A

MIROC-A

Atmospheric
Model-1* Also applicable to full coupling,
multiple applications

2. Send-data extraction fromthe buffer, and data sending

Atmospheric
Model-2

ひまわり SST (1時間毎)

J-cup

ppOpen-MATH/MP
Coupler•Grid Transformation• Multi-Ensemble•IO•Pre- and post-process•Fault tolerance•M×N

Ocean Model

COCO
Regional COCO
Matsumuramodel

Post-Peta-Scale
System-System S/W-Architecture

1. Data-packing
into a buffer
4. Data extraction
from the buffer

3. Data-packing after theinterpolation process
COCO: Tri-Polar FDM

Regional Ocean Model
Non Hydrostatic Model

モデル SST（6時間毎）

App. B〔画像提供：佐藤正樹教授・
羽角博康教授（東大・大気海洋研）〕

地震シミュレーション・地殻変動

13〔画像提供：古村孝志教授・
市村強教授（東大・地震研）〕

東大地震研究所，東大理学系研究科等○ 使用データ(K-N ET, KiK-net 446点)(a) 同化波動場(b ) 予測波動場

都心の長周期地震動予測結果c) Resident evacuationa) Earthquake wave propagation

0 km

-7 km

Two million agents evacuating to nearest safe site

Ikebukuro

応答スペクトル予測結果

Earthquake
Ueno

Shinjuku

Tokyo station

Shinbashi
Shibuya

90秒間の同化à予測計算b) City response simulation〔画像提供：
安藤亮輔准教授（東大・理学系）〕

Post earthquake

14

二酸化炭素地下貯留シミュレーション
大成建設，理化学研究所等〔画像提供：
山本肇博士（大成建設）〕(a) Tokyo Bay Model–Large scale hydro-geological model–
InjectionWell

30 million DoF

Yamamoto et al. (2009)

10km(b) DDC (Diffusion-Dissolution-Convection)–Highly non linear process model–
Injection Well

Caprock (Low permeable seal)
Supercritical
CO2

Reservoir

Local-scale
Model

Native Groundwater (Brine)

6 million DoF(c) SPE 10 Model–Highly heterogeneous reservoir model–
Producer

3.3 million DoF
Injector

Injector

Original
Reservior Model
Christie and Blunt (2001)
Qi et al. (2009)
Audigane et al.(2011)

Yamamoto et al. (2013)※DOF: degrees of freedom

CO2 behavior(No upscaling)ゲリラ豪雨予測のリアルタイム実証実験 （理化学研究所）

Foreca st

D a ta a ssim ila tion

Au g u st 2019

全体のワークフロー
15: 30: 00

PAW R
Ob s

SCALELETK F
An a lysis〔画像提供：三好建正博士（理化学研究所）〕

15: 40: 00

N ovem b er 2019Bu g
• M PI com m unicator
Op tim iza tion
Very sta b le! • Obs pre-processing• Visualization• N W P m odel setting

計算性能の向上。上段はデータ同化、下段は30分予報にかかった時間(秒)。
(左)2019年8月、(右)2018年11月。
FT= 0m in
FT= 10m in
FT= 20m in

15: 50: 00

dBZ R
PAW
Ob s

dBZ

SCALE
Foreca st

2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALE15
2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALELETKFによる予報で得られたレーダー反射強度(dBZ)を示す。
LETKFによる解析で得られたレーダー反射強度(dBZ)を示す。

16
16「COVID-19」対応HPCI臨時公募課題全14のうち6課題が東大システムを利用（2020年度）
His41

課題名

代表者（所属）使用システム-11.88 Thr25

中央：全体図

-4.82
9.32
-3.14
-8.50

7.41
-3.36
-6.76

Asp187

新型コロナウイルスの主要プロテアーゼに関するフラグメント分子軌道計算

望月 祐志（立教大学）
Met165COVID-19治療の候補薬: chloroquine、hydroxychloroquine、azithromycinの催不整脈リ
スクの評価ならびにその低減策に関する研究

久田 俊明（株式会社UTHeart研究所 / 東大）

新型コロナウィルス表面のタンパク質動的構造予測

杉田 有治（理化学研究所）

Asn142

Glu166

Oakforest
PACS-10.0313.55-4.41-10.88! " !# $+, - . /. .

%&+, 0 1 /2 .

Glu166

Asp187-47.70
5.45
-3.70
-8.38

-32.70
0.38
-0.80
-2.09

%'
, 2 , /3 0

-4.91
13.38
-5.98
-9.99
(!
+4 0 /- 3)*+, 2 . /5 -〔資料提供：望月祐志教授（立教大学）〕

計算機解析によるSARS-CoV-2増殖阻害化合物の 星野 忠次
探索（千葉大学）
室内環境におけるウイルス飛沫感染の予測とその対策：富岳大規模解析に向けたケーススタディ

坪倉 誠（神戸大学）

Spreading of polydisperse droplets in a turbulent Marco Edoardo Rosti
puff of saturated exhaled air（OIST）

Oakbridge
CX〔資料提供：坪倉誠教授（神戸大学）〕

17

YouTubeチャンネルのご紹介
研究事例紹介や、セミナー・講習会の録画などをご覧になれます。
• 「東京大学情報基盤センター」チャンネル
https://www.youtube.com/channel/UC2CHaGp1AO-vqRlV7wmU0-w– Wisteria/BDEC-01システム紹介
https://www.youtube.com/watch?v=SXjYtatzo4&list=PLobjSv_ny85lW03OAPUJ9DWJoHhNiQgvY&index=3&t=104s– 第10回JCAHPCセミナー
https://www.youtube.com/playlist?list=PLobjSv_ny85mfPTuCC2i7r_sPQYKZvy2e– 柏キャンパス一般公開
https://www.youtube.com/playlist?list=PLobjSv_ny85kr1Ig2m-bUiMC2a9W6k53u
https://www.youtube.com/watch?v=q-0QtU7Ops4&t=116s– JCAHPCセミナー：「人類と地球を護るスーパーコンピューティング」
https://www.youtube.com/playlist?list=PLobjSv_ny85l-z-VJCy690ZjlAA04xCRA– お試しアカウントつき講習会
https://www.youtube.com/playlist?list=PLobjSv_ny85kXY2Mtnhn1k7pM-epQaD2y

18

スーパーコンピューティング
の今後

生物科学・
生体力学
産業利用

エネルギー・
物理学• ワークロードの多様化– 計算科学，計算工学：Simulations– 大規模データ解析– AI，機械学習• （シミュレーション（計算）＋データ＋学習）融合⇒Society 5.0実現に有効，2015年頃から取り組み– フィジカル空間とサイバー空間の融合• S:シミュレーション（計算）（Simulation）• D:データ（Data）• L：学習（Learning）– Simulation + Data + Learning =
S+D+L

工学・
ものつくり

材料科学

CPU Cluster
Oakbridge-CX

Engineering
Earth/Space
Material
バイオ
Energy/Physics
インフォマティクス
Info. Sci. : System材料科学
Info. Sci. : Algrorithms
Info. Sci. : AI
情報科学：
生物科学・
Education
アルゴリズム
生体力学
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data

GPU Cluster
Reedbush-L

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

19

（シミュレーション（計算）＋データ＋学習）融合（S+D+L）• 東大情報基盤センターでは，2015年頃から「（S+D+L）融合」の重要性に注目し，それを実現するためのハード
ウェア，ソフトウェア，アプリケーション，アルゴリズムに関する研究開発を開始– BDEC計画（Big Data & Extreme Computing）– 「データ＋学習」による，より高度な「シミュレーション」• AI for HPC– 地球科学関連では自然な発想（すでに実施されている）• 2021年5月に運用を開始した「Wisteria/BDEC-01」は「BDEC計画」の1号機– Reedbush，Oakbridge-CXは「BDEC」のプロトタイプと位置づけられる– 「計算・データ・学習（S+D+L）」融合を実現する，世界でも初めてのプラットフォーム

20

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

800 Gbps– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

1PB, 1.0TB/s

External
Resources
External Network
外部ネットワーク

外部リソース

21

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

800 Gbps– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

1PB, 1.0TB/s

External
Resources
External Network
外部ネットワーク

外部リソース

22

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

800 Gbps– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

1PB, 1.0TB/s

External
Resources
External Network
外部ネットワーク

外部リソース

23

システム構成図
シミュレーションノード︓7,680ノード (総理論演算性能 25.9 PFLOPS、総メモリバンド幅 7.8 PB/s)
データ・学習ノード︓45ノード (総理論演算性能 7.2 PFLOPS、総メモリバンド幅 578.2 TB/s)
外部接続ルータ (Ethernet)
シミュレーションノード群

ログインノード

データ・学習ノード群

7,680ノード

ログインノード共有ファイルシステム

20ノード

45ノード

FUJITSU Server
PRIMERGY RX2530 M5 x 20ノード
総理論演算性能(倍精度)︓96TFLOPS
総メモリ容量︓7.5TiB
FUJITSU Supercomputer
シミュレーションノード間
PRIMEHPC FX1000 x 7,680ノード (20ラック) ネットワーク
総理論演算性能(倍精度) : 25.9PFLOPS(TofuインターコネクトD)
バイセクションバンド幅︓13TB/s
総メモリ容量︓240TiB
総メモリバンド幅 : 7.8PB/s

FUJITSU Server
PRIMERGY GX2570 M6 x 45ノード(ノードあたり Intel Xeon Platinum 8360Y
Processor (2.40GHz, 36コア) x2)(ノードあたり NVIDIA A100 x 8基)
総理論演算性能(倍精度)︓7.2PFLOPS
総メモリ容量︓36.5TiB,総メモリバンド幅︓578.2TB/s

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX60 S5 x 1
有効利⽤容量︓14.4TB

データ・学習ノード間ネットワーク 兼 ノード群結合ネットワーク (InfiniBand EDR/HDR)
ライフネットワーク/管理ネットワーク (Ethernet)
⾼速ファイルシステム
MDS,MDT x1セット

OSS,OST x16セット

ファイルシステム︓FEFS
1PB
ストレージデータ転送速度︓1.0TB/s
MDS︓PRIMERGY RX2530 M5 x 2
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 2VM/CM, DDN SFA400NVXE x 16

FUJITSU CONFIDENTIAL

管理サーバ群

共有ファイルシステム
MDS,MDT x1セット

管理サーバ群ネットワークストレージ

OSS,OST x16セット
FUJITSU Server
PRIMERGY RX2530 M5
x 13(ジョブ管理x5、運⽤管理x2、
認証x2、Webポータルx2、セキュリティログx2)

ファイルシステム︓FEFS
25PB
ストレージデータ転送速度︓0.5TB/s
MDS︓PRIMERGY RX2530 M5 x 4
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 1VM/CM, DDN SFA7990XE x 16

23

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX100 S5 x 1
有効利⽤容量︓420TB

・外部ネットワーク
・柏キャンパス・mdxシステム

項目

総理論演算性能
総ノード数
総主記憶容量ネットワークトポロジー

共有ファイルシステム

高速ファイルシステム

24

Wisteria-O (Odyssey)

Wisteria-A (Aquarius)

25.9 PFLOPS

7.2 PFLOPS

7,680

45

240.0 TiB

36.5 TiB

6 次元メッシュ / トーラス

Full-bisection Fat Tree

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA7990XE

サーバ(OSS)数16

ストレージ容量

25.8 PB

ストレージデータ転送速度

504 GB/s

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA400NVXE

サーバ(OSS)数16

ストレージ容量

1.0 PB

ストレージデータ転送速度

1.0 TB/sWisteria-O (Odyssey)
FUJITSU Supercomputer
PRIMEHPC FX1000

項目

マシン名
プロセッサ名
CPU

GPU

A64FX

プロセッサ数 (コア数)

1 (48+アシスタントコア2 or 4)

2 (36+36)

周波数
理論演算性能
メモリ容量
メモリ帯域幅プロセッサ名
SM数（単体）
メモリ容量（単体）
メモリ帯域幅（単体）
理論演算性能（単体）
搭載数

2.2 GHz
3.3792 TFLOPS
32 GB
1,024 GB/s

2.4 GHz5.53 TFLOPS
512 GiB
409.6 GB/s
NVIDIA A100
108
40 GB
1,555 GB/s
19.5 TFLOPS
8PCI Express Gen4 x 16レーン(1レーンあたり片方向32 GB/s)
NVLink x 12本(1本あたり片方向25GB/s)-

CPU-GPU間接続
GPU間接続
25

Wisteria-A (Aquarius)
FUJITSU Server PRIMERGY
GX2570 M6Intel Xeon Platinum 8360Y（開発コード名：Ice Lake）

インターコネクト

TofuインターコネクトD

InfiniBand HDR(200Gbps) x 4

26
26

ソフトウェア群
項目

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

OS

Red Hat Enterprise Linux 8 (aarch64)

Red Hat Enterprise Linux 8 (x86_64)

コンパイラ

GNU コンパイラ

GNU コンパイラ

メッセージ通信ライブラリ

富士通社製 コンパイラ(Fortran77/90/95/2003/2008、C、
C++)

Intel コンパイラ(Fortran77/90/95/2003/2008、
C、C++)NVIDIA HPC SDK(Fortran77/90/95/2003/2008、C、C++、
OpenACC 2.7)
NVIDIA CUDA SDK(CUDA C、CUDA C++)

富士通社製MPIIntel MPI、Open MPI

27
27

項目

ライブラリ

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

SuperLU、 SuperLU MT、 SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PTScotch、PETSc、Trillinos、FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、HDF5、Parallel HDF5、CMake、Miniconda、Xabclib、ppOpen-HPC、MassiveThreads、Boost C++、
mpiJavaIntel社製ライブラリ(MKL)(BLAS、CBLAS、LAPACK、富士通社製ライブラリ(BLAS、CBLAS
ScaLAPACK）、NVIDIA社製ライブラリ(cuBLAS、、LAPACK、 ScaLAPACK)
cuSPARSE、cuFFT、cuDNN、NCCL)、MAGMA

アプリケーションOpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP-Coupler、
REVOCAP-Refiner、OpenMX、MODYLAS、GROMACS、BLAST、R packages、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、ROOT、Geant4、
LAMMPS、CP2K、NWChem、DeepVariant、Paraview、Vislt、POV-Ray、TensorFlow、Chainer、
PyTorch、Keras、Horovod、MXNet
Theanoフリーソフトウェア

autoconf、automake、bash、bzip2、cvs、emacs、findutils、gawk、gdb、make、grep、gnuplot、
gzip、less、m4、python、perl、ruby、screen、sed、subversion、tar、tcsh、tcl、vim、zsh、git など
Globus Toolkit、Gfarm、FUSE

コンテナ仮想化
商用アプリ

Singularity Community Edition
MATLAB (New!)2022/11/22

28

Nov. 2022 (SC22)の諸ランキング
Wisteria/BDEC-01のシミュレーションノード群（Odyssey）とデータ・学習ノード群（Aquarius）は別々に測定・申請
System

HPL-MxP

TOP500

Green500

HPCG

Graph500

連立一次方程式（密行列）

TOP500：消費電力
当たり計算性能

連立一次方程式
（疎行列）

グラフ処理

連立一次方程式（密行列・混合精度）

Oakbridge-CX

129

85

83

-

-

Wisteria/BDEC-01（Odyssey）

23

45

12

4

14

Wisteria/BDEC-01（Aquarius）

125

28

68

-

-

スパコンプログラミング(1),(I)(HPL-AI)スパコンプログラミング(1),(I)

Rmax: Performance of Linpack (TFLOPS)th
60 TOP500 List (Nov., 2022)

http://www.top500.org/

29

Rpeak: Peak Performance (TFLOPS), Power: kW

Site
1
2
3
4
5
6
7

Frontier, 2022, USA
DOE/SC/Oak Ridge National Laboratory

Fugaku, 2020, Japan
R-CCS, RIKEN

LUMI, 2022, Finland
EuroHPC/CSC

Leonard, 2022, Italy
EuroHPC/Cineca

Summit, 2018, USA
DOE/SC/Oak Ridge National Laboratory

Sierra, 2018, USA
DOE/NNSA/LLNL

Sunway TaihuLight, 2016, China
National Supercomputing Center in Wuxi

Cores

Rmax
Rpeak
(PFLOPS) (PFLOPS)HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC 64C
2GHz, AMD Instinct MI250X, Slingshot-11

8,730,112

1,102.00(=1.102 EF)

1,685.65

21,100Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz,
Tofu-D

7,630,848

442,010(= 442.0 PF)

537,212.0

29,899HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC 64C
2GHz, AMD Instinct MI250X, Slingshot-11

2,220,288

309.10428.706,016

1,463,616

174.70255.755,610

2,414,592

148.60200.7910,096IBM Power System S922LC, IBM POWER9 22C 3.1GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

1,572,480

94.64

125.71

7,438

Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway

10,649,600

93.01

125.44

15,371

761,856

70.87

93.75

2,528

555,520

63.46

79.22

2,646

4,981,760

61.44

100.6818,482504,000

22.21

54.34

1,600

368,640

22.12

25.95

1,468

Computer/Year Vendor

BullSequana XH2000, Xeon Platinum 8358 32C 2.6GHz,
NVIDIA A100 SXM4 64GB, Quad-rail NVIDIA HDR100
IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

Perlmutter, 2021, USA

HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz, NVIDIA
A100 SXM4 40 GB, Slingshot-10
DOE/NERSC/LBNL
Selene, 2020, USA
NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
9
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
NVIDIA
TH-IVB-FEP Cluster, Intel Xeon E5-2692v2 12C 2.2GHz, TH
Tianhe-2A, 2018, China
10
National Super Computer Center in Guangzhou Express-2, Matrix-2000

8

22

ABCI 2.0, 2021, Japan
AIST

23

Wisteria/BDEC-01 (Odyssey), 2021,
Japan ITC, University of Tokyo

PRIMERGY GX2570 M6, Xeon Platinum 8360Y 36C
2.4GHz, NVIDIA A100 SXM4 40 GB, InfiniBand HDR
PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofuinterconnect D

2022/11/22

Power
(kW)

スパコンプログラミング(1),(I)TOP 500
Rank

Green 500 Ranking (Nov., 2022)
System1405

Henri, Flatiron Institute, USA2

32

Frontier TDS, ORNL, USA

3

11

Adastra, GENCI-CINES, France

4

15

Setonix-GPU, Paswey SCC, Australia

568

Dardel GPU, KTH, Sweden

61

Frontier, ORNL, USA

7

3

LUMI, EuroHPC/CSC, Finland

8

159

ATOS THX.A.B, Atos, France

9359

MN-3, Preferred Networks, Japan

10

331

28

125

Accelerator
NVIDIA H100
80GB
AMD Instinct
MI250X
AMD Instrinct
MI250X
AMD Instrinct
MI250X
AMD Instrinct
MI250X
AMD Instinct
MI250X
AMD Instinct
MI250XNVIDIA A100
SXM 64GB

Cores

30

http://www.top500.org/

HPL Rmax(Pflop/s)

Power
(kW)

GFLOPS/W

5,920

2.04

31

65.091

120,832

19.20

309

62.684

319,072

46.10

921

58.021

181,248

27.16

477

56.98352,8648.26

146

56.4918,730,112

1,102.00

21,10052.2272,220,288

309.106,016

51.382

25,0563.50

8641.411

MN-Core

1,664

2.181

53

40.901Champollion, HPE, France

NVIDIA A100
SXM 80GB

19,8402.32

60

38.555

Wisteria/BDEC-01 (Aquarius), Fujitsu,
Japan

NVIDIA A100

42,1204.425

183.9324.06

2022/11/22

スパコンプログラミング(1),(I)31

HPCG Ranking (Nov., 2022)

1

Fugaku7,630,848

HPL Rmax(Pflop/s)
442.01

2

Frontier

8,730,112

1,102.00

1

14.0543

LUMI

2,220,288

309.10

3

3.408

4

Summit2,414,592

148.600

5

2.926

5

Leonard1,463,616

174.70

4

2.567

6

Perlmutter

761,856

70.870

8

1.905

7

Sierra1,572,480

94.640

6

1.796

8

Selene555,52063.460

9

1.622

9

JUWELS Booster Module

449,280

44.120

12

1.275

10

Dammam-7

672,520

22.400

21

0.881

12

Wisteria/BDEC-01 (Odyssey)

368,640

22.12123

0.817

Computer

http://www.hpcg-benchmark.org/

Cores

TOP500
Rank
2

HPCG(Pflop/s)
16.0042022/11/22

2022/11/22

http://graph500.org/?page_id=942

Graph500 BFS, Nov. 2022
Site
1

Fugaku, 2020, Japan
R-CCS, RIKEN

Computer/ Vendor
Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz, Tofu-D

Pengcheng Cloudbrain-II, 2022, China
Huawei Atlas 900 AI Cluster
HUST-Pengcheng Lab-HUAWEI
Sunway TaihuLight, 2016, China
Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway
3
National Supercomputing Center in Wuxi
2

4
5
6
7
8
9

Wisteria/BDEC-01 (Odyssey), 2021, Japan
ITC, University of Tokyo

Toki-Sora, 2021, JapanJAXA

LUMI-C, 2021, Finland
EuroHPC/CSC

Summit (CPU Only), 2018, USA
DOE/SC/Oak Ridge National Laboratory

SuperMUC, 2018, Germany
Leibniz
Lise, 2021, Germany
ZIB
DepGraph Supernode, China

Fujitsu PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofuinterconnect D
PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofu interconnect
D
Cray EX, SlingShot-10
IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

ThinkSystem SD650, Xeon Platinum 8174 24C 3.1GHz, IntelOmni-Path
Bull Intel Cluster Intel Xeon Platinum 9242 48C 2.3GHz
Intel Omni-Path

10 National Engineering Research Center DepGraph +GPU Tesla A100
for Big Data Technology and System
スパコンプログラミング(1),(I)

Cores

Scale

GTEPS

7,630,848

41

102956

93,6964025242.9

10,599,680

40

23755.7

368,640

37

16118

276,48036

10813

190,97638

8467.72,414,592

40

7665.7

196,60839

6279.47

121,92038

5423.9412833

4623.379

32

2022/6/6

HPL-MxP (Nov. 2022)低精度演算利用による性
能向上
Site
1
2
3
4

Frontier, 2022, USA
DOE/ORNL

LUMI, 2022, Finland
EuroHPC/CSC

Fugaku, 2020, Japan
R-CCS, RIKEN

Leonard, 2022, Italy
EuroHPC/Cineca

Summit, 2018, USA

5 DOE/SC/Oak Ridge National
Laboratory

6
7

Selene, 2020, USA
NVIDIA

Perlmutter, 2021, USA

DOE/NERSC/LBNL
JUWELS Booster Module, 2020,
8
Germany Julich (FZJ)

910Adastra, 2022, France
GENCI-CINES

Setonix-GPU, 2022, Austraria

Pawsey Supercomputing Centre
Wisteria/BDEC-01 (Odyssey), 2021,
14
Japan ITC, University of Tokyo

Computer/Vendor

33

https://hpl-mxp.org/results.md

Rmax: Performance of Linpack (TFLOPS)Cores

HPL-AIHPL Rmax
Speedup
Top500(EFLOPS)(EFLOPS)HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC
64C 2GHz, AMD Instinct MI250X, Slingshot-11

8,730,112

7.942

1

1.102

7.2

HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC
64C 2GHz, AMD Instinct MI250X, Slingshot-11

2,174,976

2.168

3

0.3091

7.0

Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C
2.2GHz, Tofu-D

7,630,848

2.0

20.4420

4.5

1.842

4

0.1682

11.0

1.411

5

0.1486

9.5

555,5200.630

90.06309.9

761,8560.590

80.07098.3

449,2800.47

120.044010

319,0720.303

110.0461

6.6

181,2480.175

150.0272

6.4

368,6400.100

230.0220

4.5

BullSequana XH2000, Xeon Platinum 8358 32C
2.6GHz, NVIDIA A100 SXM4 64GB, Quad-rail NVIDIA 1,463,616
HDR100
IBM Power System AC922, IBM POWER9 22C
3.07GHz, NVIDIA Volta GV100, Dual-rail Mellanox
2,414,592
EDR InfiniBand
NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz,
NVIDIA A100 SXM4 40 GB, Slingshot-10
Bull Sequana XH2000, AMD EPYC 7402 24c 2.8GHz,
NVIDIA A100, Mellanox InfiniBand HDR
HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC
64C 2GHz, AMD Instinct MI250X, Slingshot-11
HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC
64C 2GHz, AMD Instinct MI250X, Slingshot-11

Fujitsu PRIMEHPC FX1000, A64FX 48C 2.2GHz,
Tofu interconnect D

利⽤制度の紹介• ⼀般利⽤• ⼤学・公共機関に在籍の⽅（⼤学院⽣は代表者としては申し込めません）• 電気代相当料⾦の利⽤負担⾦⽀払いが必要• 企業利⽤• 企業に在籍の⽅• 利⽤負担⾦は⼀般利⽤の約1.2倍• 書⾯・ヒアリング審査あり，成果報告（公開）義務あり• 若⼿・⼥性利⽤• ⼤学・公共機関に在籍の⽅• 4⽉1⽇現在40歳以下の若⼿，または⼥性，または学⽣• 利⽤負担⾦なし• 書類審査あり，成果報告義務あり• 学際⼤規模情報基盤共同利⽤・共同研究拠点（JHPCN）への課題申請• HPCI課題への課題申請
34

35

一般利用コース
https://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/course.php• グループコース（1人またはそれ以上から構成されるグループ）– Wisteria/BDEC-01から「パーソナルコース」は廃止– 代表者は大学・公共機関所属者• トークン（ノード時間）を購入
Platform for Integration of (S+D+L)
Big Data & Extreme Computing– Odyssey，Aquariusを利用できる– O/Aでそれぞれ消費係数が異なる• 一般利用• ノード固定– Aquariusの1ノード（8GPU）を占有して利用– 審査有り（ヒアリング）• GPU占有– Aquariusの1・2・4GPUを占有して利用– 審査無しシミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

1PB, 1.0TB/s

800 Gbps

External
Resources
External Network
外部ネットワーク

外部リソース36

ジョブクラスhttps://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/job.php• インタラクティヴ• バッチジョブ• プリポスト• 現状ではOdyssey，Aquariusは同時利用はできない• Wisteria-O（Odyssey）:シミュレーションノード群– XXX-o– priority-o：優先キュー，トークン消費量1.5倍• Wisteria-A（Aquarius）:データ・学習ノード群– XXX-a– share-XXX

ノード単位
GPU単位

• MIG（Multi-Instance GPU）により，GPU内を更に分割可能だが，本システムでは採用せず

スーパーコンピュータシステムの詳細• https://www.cc.u-tokyo.ac.jp/guide をご覧ください• 利⽤申請⽅法• 運営体系• 料⾦体系• 利⽤の⼿引き• 利⽤制度説明会（10/8）の資料• https://www.cc.u-tokyo.ac.jp/events/seminar/20211008.php

37

38
38

• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Ipomoea-01• h3-Open-BDEC39
39

大規模共通ストレージシステム「Ipomoea」• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途• 東大センターでは従来ストレージは各システムに附属して導入され，各システ
ムのストレージは独立• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，東大センターの全システムからアクセス可能な共通ストレージの導入が強く求められていた• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入決定– OFP運用終了が契機– 1システムを約5–6 年使用し，約3年ごとに新しいストレージシステム（25+PB）を導入
し，入れ替えることを想定している

40

2001-2005
Hitachi SR8000
1,024 GF

Hitachi
SR2201307.2GF

2006-2010
Hitachi SR11000
J1, J25.35 TF, 18.8 TF

2011-20152016-20202026-2030

Hitachi SR16K/M1
Yayoi
54.9 TF

Hitachi
SR8000/MPP

OBCX(Fujitsu)

2,073.6 GF

6.61 PF

OakforestPACS (Fujitsu)

Hitachi HA8000
T2K Todai
Fujitsu FX10
Oakleaf-FX

東京大学情報基盤センターのスパコン

OFP-II

100+ PF

25.0 PF

140 TF

利用者2,600+名
55％は学外2021-2025

Fujitsu
33.1 PF

1.13 PFBDEC02250+ PF

ReedbushU/H/L (SGI-HPE)
3.36 PF

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

Ipomoea-01

柏IIキャンパス• 2022年1⽉運⽤開始，25+PB• 富⼠通製• FPのLustre 領域の必要ファイルの移⾏完了，2022年6⽉から公開• 割当容量• 東⼤センターのシステムのいずれかに利⽤者番号（教育利⽤，講習会除く）を有する場合• 各利⽤者ごとに5TB• 各グループごとに登録システムで付与されている容量の15％を無償で付与• 追加負担⾦（企業はこの2割増し）• 7,200円/TB/年，2,100,000円/PB/年• Ipomoea-01のみの利⽤申込みも可能
柏キャンパス

ログインノード兼接続⽤サーバ

外部接続
ノード

40G x225.9 PB
Lustre

100G

400G x2
ログイン
ノード

12.4 PB
LustreIpomoea-01

Oakbridge-CX

第2総合研究棟 2階

第2総合研究棟 1階

外部共有
オブジェクトストレージ
10 PB,
S3/Lustre
⾼速NVMeストレージ
1.0 PB, Lustre
⼤容量HDD
ストレージ
16 PB, Lustre

100G x2

100G x2
ログイン
ノード

400G x2

400G x2

共有ファイルシステム
25.8 PB, FEFS

Aquarius
ノード群

⾼速ファイル
システム
1.0 PB, FEFS

Odysseyノード群
Wisteria/BDEC-01
41

42
42

• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Ipomoea-01• h3-Open-BDEC

（計算＋データ＋学習）融合によるエクサスケール
時代の革新的シミュレーション手法

43
43• エクサスケール（富岳＋クラス）のスパコンによる科学的発見の持続的促進のため，計算科学にデータ科学，機械学習のアイディアを導入した（計算＋データ＋学習（S+D+L））融合による革新的シミュレーション手法を提案– (計算+データ+学習)融合によるエクサスケール時代の革新的シミュレーション手法 （科研費基盤S，代表：中島研吾（東大情基セ），2019年度～2023年度）• 革新的ソフトウェア基盤「h3-Open-BDEC」の開発：東大BDECシステム（
Wisteria/BDEC-01），「富岳」等を「S+D+L」融合プラットフォームと位置づけ，
スパコンの能力を最大限引き出し，最小の計算量・消費電力での計算実行を実現するために，下記2項目を中心に研究– 変動精度演算・精度保証・自動チューニングによる新計算原理に基づく革新的数値解法– 階層型データ駆動アプローチ（hDDA：Hierarchical Data Driven Approach）等に基づく革新的機械学習手法– Hierarchical, Hybrid, Heterogeneous ⇒ h3

4444

h3-Open-BDEC「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤
https://h3-open-bdec.cc.u-tokyo.ac.jp/① 変動精度演算・精度保証・
自動チューニングによる新計算原理に基づく革新的
数値解法② 階層型データ駆動アプローチ（hDDA：Hierarchical
Data Driven Approach）
等に基づく革新的機械学
習手法
ü Hierarchical, Hybrid,
Heterogeneous ⇒ h3

h3-Open-BDEC
New Principle for
Computations

Simulation + Data +Learning

Numerical Alg./LibraryApp. Dev. Framework

h3-Open-MATH

h3-Open-APP:
Simulation

Algorithms with HighPerformance, High Reliability& Mixed/Adaptive Precision

Application Developmenth3-Open-VER

h3-Open-DATA: Data

h3-Open-AT

h3-Open-DDA:
Learning

Verification of Accuracy

Automatic Tuning

Data Science

Data Driven Approach

Integration +Communications+Utilities
Control & Utility

h3-Open-SYS

Control & Integration

h3-Open-UTIL

Utilities for Large-Scale
Computing4545

期待される成果と意義
http://nkl.cc.u-tokyo.ac.jp/h3-Open-BDEC/• 計算科学の専門家のみで（S+D+L）融合を容易に実現– 機械学習の専門家のサポートを必要としない• ソースコード，マニュアル類も含めて一般に公開，様々なエクサスケールシス
テムでの普及を目指す– ポスト富岳も含めたポストムーア時代への展開• h3-Open-BDEC利用による（ S+D+L ）融合シミュレーションにより従来手法と同等の正確さを保ちつつ，大幅な計算量・消費電力削減を目指す（10分の1が目標）。
• シミュレーション高度化：パラメータスタディのケース数を削減できる• リアルタイム災害シミュレーション等への適用

Wisteria/BDEC-01上における
h3-Open-BDECを使用した（S+D+L）融合• シミュレーションとデータ同化の融合– 典型的・伝統的な（S+D+L）融合• 気候・気象のための大気海洋連成シミュ
レーション– 東大大気海洋研，理研，国立環境研他• リアルタイム同化＋三次元強震動シミュレーション

App. A– 東大地震研

2. Send-data extraction fromthe buffer, and data sending• リアルタイム災害シミュレーション– 洪水，津波• 既存シミュレーションコードの（S+D+L）融合による高度化– OpenFOAM* Also applicable to full coupling,
multiple applications

1. Data-packing
into a buffer
4. Data extraction
from the buffer

3. Data-packing after theinterpolation process

App. B46

AI for HPCの実現• Odyssey-Aquarius連携

Platform for Integration of (S+D+L)
Big Data & Extreme Computing
シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）Intel Ice Lake + NVIDIA A100

25.8 PB, 500GB/s

7.20PF, 578.2TB/s

800 Gbps

External
Resources– MPIによる通信は不可• O-Aを跨いでMPIプログラムは動かない

External Network
外部ネットワーク– Odyssey-Aquarius間はInfiniband-EDR（2TB/sec）で結合されている

h3-Open-BDEC• ソフトウェア開発– O-A間通信：h3-Open-SYS/WaitIO• IB-EDR経由（WaitIO-Socket）• 高速ファイルシステム（FFS）経由連携（WaitIOFile）– 高機能カプラー：h3-Open-UTIL/MP

1PB, 1.0TB/s

シミュレーション＋データ＋学習（S+D+L）
数値アルゴリズム・ライブラリ
新しい計算原理
h3-Open-MATH

制御 & ユーティリティ

h3-Open-APP:
Simulation

h3-Open-SYS

計算科学アプリケーション

h3-Open-VER

h3-Open-DATA: Data

h3-Open-AT

h3-Open-DDA:
Learning

自動チューニング

統合＋通信＋
ユーティリティ

アプリ開発フレームワーク

高性能・高信頼性・
混合/変動精度アルゴリズム

精度保証

外部リソース

データ科学

制御 ＆ 統合

h3-Open-UTIL

大規模計算向け
ユーティリティ群

データ駆動・機械学習
47

48
48

h3-Open-SYS/WaitIO
データ受け渡しライブラリ〔松葉，2020〕• ヘテロジニアス環境下での異なるコンポーネン
ト間ファイル経由連携ライブラリとして考案• 機能ü Odyssey～Aquarius間連携

計算科学コード

シミュレーション
最適化されたモデル， ノード群，Odyssey
パラメータ

機械学習，DDA• API：C/C++，Fortranから呼び出し可能
ü MPIライクなインタフェースを提供• 多機能カプラー（h3-Open-UTIL/MP）との連携

データ・学習ノード群
Aquarius

計算結果
観測データ

データ同化
データ解析
サーバー
ストレージ
DB
センサー群
他

p IB-EDR経由通信（WaitIO-Socket）
p ファイル経由（WaitIO-File）

ü 外部からのデータ取得（観測データ等）
ü 読み込み・書き出しの同期

Wisteria/BDEC-01

外部ネットワーク外部リソース

h3-Open-BDEC
シミュレーション＋データ＋学習（S+D+L）
数値アルゴリズム・ライブラリ
新しい計算原理
h3-Open-MATH

アプリ開発フレームワーク

制御 & ユーティリティ

h3-Open-APP:
Simulation

h3-Open-SYS

高性能・高信頼性・
混合/変動精度アルゴリズム

計算科学アプリケーション

h3-Open-VER

h3-Open-DATA: Data

h3-Open-AT

h3-Open-DDA:
Learning

精度保証

自動チューニング

統合＋通信＋
ユーティリティ

データ科学

データ駆動・機械学習

制御 ＆ 統合

h3-Open-UTIL

大規模計算向け
ユーティリティ群

49

連成シミュレーションのためのカプラー〔荒川，八代〕• 従来のカプラー（Coupler）：ppOpen-MATH/MP– 複数（通常2つ：大気（NICAM）＋海洋（COCO））のアプリケーションの弱連成（Weak Coupling）をサポート– 各アプリケーションは1種類の計算をやる
App. A* Also applicable to full coupling,
multiple applications

2. Send-data extraction fromthe buffer, and data sending

1. Data-packing
into a buffer
4. Data extraction
from the buffer

3. Data-packing after theinterpolation process

App. B49

50「計算＋データ＋学習」融合を支援する
多機能カプラーh3-Open-UTIL/MP• 異なる物理モデル連成のアンサンブル実行を支援・統合するための機能– MPI通信、時刻同期、格子系間マッピング等の管理機能の他、従来のカプラーには無い、複数の弱連成結合シミュレーションのアンサンブル実行、片側のモデルのみをアンサン
ブル実行する多対１の弱連成結合が可能– スパコン上で、全地球大気海洋連成シミュレーションによって動作検証済み• Fortran/Cコード（物理モデル）とPythonコードの弱連成を実現する機能– FortranやCで記述されたプログラ
ム同士の連成計算に限って開発を行ってきたカプラーを、Pythonによって記述されたAI・機械学習、可視化処理系のワークロードからも活用できるよう機能拡充。

• O-A利用：WaitIOとの連携

Fortran/CアプリとPythonアプリの連成計算の模式図〔八代・荒川 2020〕

50

51

更に詳細な情報• A64FX（富士通）– https://www.fujitsu.com/jp/products/computing/servers/supercomputer/a64fx/– https://old.hotchips.org/hc30/2conf/2.13_Fujitsu_HC30.Fujitsu.Yoshida.rev1.2.pdf• FUJITSU PRIMEHPC FX1000– https://www.fujitsu.com/jp/products/computing/servers/supercomputer/• 3rd Gen Intel Xeon Scalable– https://www.intel.com/content/www/us/en/newsroom/news/3rd-gen-intel-xeon-scalablevideo.html#gs.zb3u0m– https://www.intel.com/content/www/us/en/newsroom/news/3rd-gen-xeon-scalableprocessors.html#gs.zb4d00– https://www.hotchips.org/assets/program/conference/day1/HotChips2020_Server_Processors_Intel_Irm
a_ICX-CPU-final3.pdf• NVIDIA A100 TENSORコア GPU– https://www.nvidia.com/ja-jp/data-center/a100/– https://www.hotchips.org/assets/program/conference/day1/HotChips2020_GPU_NVIDIA_Choquette_v01.pdf

5252

参考リンク（ビデオ）• Wisteria/BDEC-01利用説明会– https://www.youtube.com/watch?v=1bbZVO6-UQg• h3-Open-BDEC：プロジェクトHP（工事中）– http://nkl.cc.u-tokyo.ac.jp/h3-Open-BDEC/• Wisteria/BDEC-01 & h3-Open-BDEC紹介講演（日本語）– https://www.youtube.com/watch?v=CsJ_9aGNXCg– https://www.pccluster.org/ja/event/pccc20/exhibition/itc-u-tokyo.html• Wisteria/BDEC-01 & h3-Open-BDEC紹介講演（英語）– https://www.youtube.com/watch?v=jX51NF2LniE