（計算・データ・学習）融合
スーパーコンピュータ「Wisteria/BDEC-01」
10月22日（金）15:00-15:25
10月23日（土）11:30-11:55，15:00-15:25，16:30-16:55
10月24日（日）10:00-10:25，13:00-13:25，16:00-16:25

東京大学情報基盤センター
スーパーコンピューティング研究部門
http://www.cc.u-tokyo.ac.jp/
問合先：uketsuke@cc.u-tokyo.ac.jp

2

スーパーコンピュータ（スパコン）とは？
• CPU（Central Processing Unit，中央演算装置）のマルチコア化，メニィコア化

CPU
コア（Core）– 並列計算が基本：PC，スマホも同様• マルチコア・メニィコアCPU（+GPU）を高速
ネットワークで接続した並列計算機（
Parallel Computer）が「スパコン」

CPU

CPU

Core

Core

Core

Core

Core

Core

クァドコア
4 cores/CPU
Quad

デュアルコア2 cores/CPU
Dual

シングルコア1 cores/CPU
Single• GPU（Graphic Processing Unit）– 描画用途⇒高いデータ転送能力を計算に利用– 数百のコアを有する「メニィコア」

CPU

CPU

CPU

CPU

CPU

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

CPU

CPU

CPU

CPU

CPU

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

GPU
ManycoreGPU
ManycoreGPU
ManycoreGPU
ManycoreGPU
Manycore

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

C

3

スーパーコンピュータ（スパコン）の性能• FLOPS値（Floating Point Operations per Second，浮動小数点演算）– 1秒当たりの実数演算性能– 106 FLOPS= 1 Mega FLOPS = 1 MFLOPS– 109 FLOPS= 1 Giga FLOPS = 1 GFLOPS– 1012 FLOPS= 1 Tera FLOPS = 1 TFLOPS– 1015 FLOPS= 1 Peta FLOPS = 1 PFLOPS– 1018 FLOPS= 1 Exa FLOPS = 1 EFLOPS

（百万）
（十億）
（兆）
（千兆）
（百京） 京コンピュータ：10PFLOPS• 1秒間に704億回の倍精度実数演算– 全システム：7,680 ノード• 25.95 PFLOPS： 2京5,952兆2,600億回

PCIe コントローラ
CMG#2

CMG#0
0

1

2

3

4

5

6

7

8

9

10 11

0

1

2

3

4

5

6

7

8

9

10 11

CMG#1

リ
ン
グ
バ
ス

0

1

2

3

4

5

6

7

8

9

10 11

0

1

2

3

4

5

6

7

8

9

10 11

CMG#3

HBM2

• 3,379.2 GFLOPS= 3.379 TFLOPS– 3兆3,792億回

HBM2– 1ノード：48コア

TofuD コントローラ

HBM2– Fujitsu/Arm A64FX，1コア性能は70.4GFLOPS

HBM2• 東大センターの「Wisteria/BDEC-01（Odyssey）（シミュレーションノード群）」

4

TOP 500• http://www.top500.org/• 世界のスパコンのランキング（1993年から年2回（6月・11月）更新）• HPL（High-Performance Linpack）という大規模な連立一次方程式を解く
ベンチマークの性能（FLOPS値）でランク付け（iPhone・Android版もある）– iPhone・Androidも一種のマルチコアCPU：並列処理可能• 現在の1位は「富岳（理化学研究所）」（442 PFLOPS，物理ピーク性能514
PFLOPS）（2021年6月現在）– HPL計測時の消費電力は約30MW– 日本の原発の最大出力は1基1,000MW級（100万キロワット）

5

TOP500の歴史（1993年6月～）

http://www.top500.org/1019• 10-12年毎に1,000倍性能向 Exa: 1018
1017
上，というペース
1016• 1位システムは5-6年で圏外
15
Peta: 10– 世界的な経済停滞によりこのペースは鈍りつつある• 現トップクラスシステム

1014
1013
Tera: 1012

– 数100PFLOPS級（Peta=1015）
1011– Exa-FLOPS (=1018) の出現は
1010
2021年11月か？
Giga: 109
– 消費電力は数十MW級
108• 年間の電気代は1億円強/MW■ 1位~500位の性能合計◆ 1位のシステムの性能▼ 500位のシステムの性能

6

57th TOP500 List (June, 2021)

http://www.top500.org/

Rmax: Performance of Linpack (TFLOPS)
Rpeak: Peak Performance (TFLOPS), Power: kW

Cores

Rmax
Rpeak
(TFLOPS) (TFLOPS)

Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz,
Tofu-D

7,630,848

442,010(= 442.0 PF)

537,212.0

29.8992 Summit, 2018, USA

IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

2,414,592

148,600

200,795

10.0963 Sierra, 2018, USA

IBM Power System S922LC, IBM POWER9 22C 3.1GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

1,572,480

94,640125,712

7.438

4 Sunway TaihuLight, 2016, China

Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway

10,649,600

93,015

125,436

15.371

706,304

64,59089,794

2.528

555,520

63,46079,215.0

2.646

4,981,760

61,445

100,679

18.482449,280

44,12070,9801.764

669,760

35,45051,7202.252

448,448

23,51638,746Site
1Fugaku, 2020, Japan
R-CCS, RIKEN
DOE/SC/Oak Ridge National Laboratory
DOE/NNSA/LLNL

National Supercomputing Center in Wuxi

Perlmutter, 2021, USA

Computer/Year Vendor

HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz, NVIDIA
A100 SXM4 40 GB, Slingshot-10
NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
Selene,2020,
USA
6
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
NVIDIA
TH-IVB-FEP Cluster, Intel Xeon E5-2692v2 12C 2.2GHz, TH
Tianhe-2A,
2018,
China
7
National Super Computer Center in Guangzhou Express-2, Matrix-2000
JUWELS Booster Module, 2020,
Bull Sequana XH2000, AMD EPYC 7402 24c 2.8GHz,
8 Germany Julich (FZJ)
NVIDIA A100, Mellanox InfiniBand HDR
Dell C4140, Xeon Gold 6252 24c 2.1GHz, NVIDIA Volta
9 HPC5, 2020, Italy
GV100, Mellanox InfiniBand HDR
Eni S.p.A.
Dell C6420, Xeon Platinum 8280 28c 2.7GHz, Mellanox
10 Frontera, 2019, USA
InfiniBand HDR
Texas Advanced Computing Center

5

DOE/NERSC/LBNL

Power
(MW)

N/A

7

57th TOP500 List (June, 2021)

http://www.top500.org/

Rmax: Performance of Linpack (TFLOPS)
物理
HPL
Power: kW
Rpeak: Peak Performance (TFLOPS),

性能

ピーク
性能

消費
電力

Cores

Rmax
Rpeak
(TFLOPS) (TFLOPS)

Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz,
Tofu-D

7,630,848

442,010(= 442.0 PF)

537,212.0

29.8992 Summit, 2018, USA

IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

2,414,592

148,600

200,795

10.0963 Sierra, 2018, USA

IBM Power System S922LC, IBM POWER9 22C 3.1GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

1,572,480

94,640125,712

7.438

4 Sunway TaihuLight, 2016, China

Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway

10,649,600

93,015

125,436

15.371

706,304

64,59089,794

2.528

555,520

63,46079,215.0

2.646

4,981,760

61,445

100,679

18.482449,280

44,12070,9801.764

669,760

35,45051,7202.252

448,448

23,51638,746Site
1Fugaku, 2020, Japan
R-CCS, RIKEN
DOE/SC/Oak Ridge National Laboratory
DOE/NNSA/LLNL

National Supercomputing Center in Wuxi

Perlmutter, 2021, USA

Computer/Year Vendor

HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz, NVIDIA
A100 SXM4 40 GB, Slingshot-10
NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
Selene,2020,
USA
6
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
NVIDIA
TH-IVB-FEP Cluster, Intel Xeon E5-2692v2 12C 2.2GHz, TH
Tianhe-2A,
2018,
China
7
National Super Computer Center in Guangzhou Express-2, Matrix-2000
JUWELS Booster Module, 2020,
Bull Sequana XH2000, AMD EPYC 7402 24c 2.8GHz,
8 Germany Julich (FZJ)
NVIDIA A100, Mellanox InfiniBand HDR
Dell C4140, Xeon Gold 6252 24c 2.1GHz, NVIDIA Volta
9 HPC5, 2020, Italy
GV100, Mellanox InfiniBand HDR
Eni S.p.A.
Dell C6420, Xeon Platinum 8280 28c 2.7GHz, Mellanox
10 Frontera, 2019, USA
InfiniBand HDR
Texas Advanced Computing Center

5

DOE/NERSC/LBNL

Power
(MW)

N/A

8

57th TOP500 List (June, 2021)

http://www.top500.org/

Rmax: Performance of Linpack (TFLOPS)
Rpeak: Peak Performance (TFLOPS), Power: kW

GPU搭載システム
Site
1

Fugaku, 2020, Japan
R-CCS, RIKEN

Computer/Year Vendor
Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz,
Tofu-D

2 Summit, 2018, USA

IBM Power System AC922, IBM POWER9 22C 3.07GHz,
DOE/SC/Oak Ridge National Laboratory NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

Cores

Rmax
Rpeak
(TFLOPS) (TFLOPS)

Power
(MW)

7,630,848

442,010(= 442.0 PF)

537,212.0

29.8992,414,592

148,600

200,795

10.0963 Sierra, 2018, USA

IBM Power System S922LC, IBM POWER9 22C 3.1GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

1,572,480

94,640125,712

7.438

4 Sunway TaihuLight, 2016, China

Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway

10,649,600

93,015

125,436

15.371

706,304

64,59089,794

2.528

555,520

63,46079,215.0

2.646

4,981,760

61,445

100,679

18.482449,280

44,12070,9801.764

669,760

35,45051,7202.252

448,448

23,51638,746

DOE/NNSA/LLNL

National Supercomputing Center in Wuxi

Perlmutter, 2021, USA

HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz, NVIDIA
A100 SXM4 40 GB, Slingshot-10
NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
Selene,2020,
USA
6
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
NVIDIA
TH-IVB-FEP Cluster, Intel Xeon E5-2692v2 12C 2.2GHz, TH
Tianhe-2A,
2018,
China
7
National Super Computer Center in Guangzhou Express-2, Matrix-2000
JUWELS Booster Module, 2020,
Bull Sequana XH2000, AMD EPYC 7402 24c 2.8GHz,
8 Germany Julich (FZJ)
NVIDIA A100, Mellanox InfiniBand HDR
Dell C4140, Xeon Gold 6252 24c 2.1GHz, NVIDIA Volta
9 HPC5, 2020, Italy
GV100, Mellanox InfiniBand HDR
Eni S.p.A.
Dell C6420, Xeon Platinum 8280 28c 2.7GHz, Mellanox
10 Frontera, 2019, USA
InfiniBand HDR
Texas Advanced Computing Center

5

DOE/NERSC/LBNL

N/A

FY11

12

13

14

15

16

17

18

19

20

21

22

Yayoi, Hitachi SR16000/M1

Oakbridge-CX, Fujitsu

IBM Power-7
54.9 TFLOPS, 28.7 TB/sec.

Intel Xeon Cascade Lake
6.61 PFLOPS, 385.2 TB/sec.

T2K Tokyo, Hitachi

Oakforest-PACS (OFP) (JCAHC)AMD Opteron140.0 TF, 38.1 TB/sec.

Fujitsu, Intel Xeon Phi
25.0 PFLOPS, 8.51 PB/sec.

23

24

25

OFP-II(JCAHPC)
100+ PF ?

Oakleaf-FX, Fujitsu PRIMEHPC FX10

BDEC: Wisteria/BDEC-01, Fujitsu

SPARC64 IXfx
1.13 PFLOPS, 408.0 TB/sec.

Fujitsu A64FX (Odyssey) +Intel Xeon Ice Lake/NVIDIA A100
(Aquarius)
33.1 PFLOPS, 8.38 PB/sec.

Oakbridge-FX, Fujitsu
SPARC64 IXfx
136.2 TFLOPS, 49.0 TB/sec.

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外Integrated Supercomputer System for
Simulation, Data & Learning

Data Platform (mdx), FujitsuIntel Ice Lake/NVIDIA A100 etc.
8.50 PFLOPS, 0.665 PB/sec.

Reedbush-U/H, HPEIntel BDW + NVIDIA P100
1.93 PFLOPS, 258.6 TB/sec.

Reedbush-L, HPEIntel BDW + NVIDIA P100
1.43 PFLOPS, 197.2 TB/sec.

9

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末（予定）• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF（Reedbush-H/L）

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末（予定）• 25 PF, #32 in 57th TOP 500 (June 2020)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)
• 2019年7月～2023年6月末（予定）• 6.61 PF, #97 in 57th TOP500

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX• データ・学習ノード群（Aquarius）：Intel Xeon Icelake + NVIDIA A100)• 33.1 PF, #13 in 57th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Simulation Nodes（Odyssey）

Data/Learning Nodes（Aquarius）

Reedbush

Oakforest-PACS

Oakbridge-CX

11

全地球大気・海洋シミュレーション（気候・気象）
東大大気海洋研究所，東大理学系研究科等〔画像提供：佐藤正樹教授・
羽角博康教授（東大・大気海洋研）〕

地震シミュレーション・地殻変動
東大地震研究所，東大理学系研究科等〔画像提供：
安藤亮輔准教授（東大・理学系）〕〔画像提供：古村孝志教授・
市村強教授（東大・地震研）〕

12

13

二酸化炭素地下貯留シミュレーション
大成建設，理化学研究所等〔画像提供：
山本肇博士（大成建設）〕

14

ものづくり分野（流体シミュレーション，構造解析など）
様々な大学・研究機関・企業〔画像提供：日本自動車工業会（JAMA）〕〔画像提供：奥田洋司教授（東京大学新領域創成科学専攻）〕

15

材料科学・物性科学・分子科学
東大工，阪大基礎工, 物質・材料研究機構 他 様々な大学・研究機関
ディラック電子系・トポロジカル絶縁体のtight-binding計算

DFT-MDによる蓄電池用新型
電解液のミクロ物性解明

全固体電池の電極-電解質
界面のDFTミクロ解析〔画像提供：Gerhard Wellein教授（FAU，Germany）〕

ポリマーの相溶性判定のための全原子自由エネルギー計算
逐次伸張

高濃度水系電解液

高濃度消火性電解液

Nature Energy 2016

Nature Energy 2018

モノマーごとの相互作用考慮

Chem. Mater. 2020

〔画像提供： 山田研究室(東大工), 館山グループ （物材機構) 〕

Macromolecules 2020

〔画像提供：松林研究室（阪大）〕

16

バイオインフォマティックス：ゲノム解析
東大新領域創成科学研究科 等
ヒト個人ゲノムはどのよ
うに再解読するか？

ヒト腸内細菌叢から発見された
多様なプラスミド・
ファージ配列の全貌

新たに発見された疾患を引き起こすDNAの繰返し配列伸⻑異常：様々な動的計画〔画像提供：
法，de Bruijn グラフ探索等が活用
森下真一教授（東京大学新領域創成科学研究科）〕

バイオインフォマティックス：医療画像処理

17

東大病院等
深層学習自動チューニング
Reedbush-H/L
プラットフォーム
GPUクラスタジョブ投入モジュール(Xcrypt)
Hyper-parameter 1

Bayesian
optimization

開発中のソフトウェア
評価値

学習・評価
学習・評価

Hyper-parameter N

学習・評価

胸部X線写真の肺腫瘤検出

Nomura Y, J Supercomput. 20 Jan 2020 (Epub ahead)ゲリラ豪雨予測のリアルタイム実証実験 （理化学研究所）〔画像提供：三好建正博士（理化学研究所）〕

18

ゲリラ豪雨予測のリアルタイム実証実験 （理化学研究所）〔画像提供：三好建正博士（理化学研究所）〕

19

20「COVID-19」対応臨時公募採択課題
全国9国立大学等のスパコンによる課題
全14のうち6課題が東大システムを利用（2020年度）
課題名

代表者（所属）新型コロナウイルスの主要プロテアーゼに関するフラグメント分子軌道計算

望月 祐志（立教大学）

COVID-19治療の候補薬: chloroquine、hydroxychloroquine、azithromycinの催不整脈リ
スクの評価ならびにその低減策に関する研究

久田 俊明（株式会社UTHeart研究所 / 東大）

新型コロナウィルス表面のタンパク質動的構造予測

杉田 有治（理化学研究所）

使用シス
テム

OFP

〔資料提供：望月祐志教授（立教大学）〕

計算機解析によるSARS-CoV-2増殖阻害化合物の 星野 忠次
探索（千葉大学）
室内環境におけるウイルス飛沫感染の予測とその対策：富岳大規模解析に向けたケーススタディ

坪倉 誠（神戸大学）

Spreading of polydisperse droplets in a turbulent Marco Edoardo Rosti
puff of saturated exhaled air（OIST）

OBCX〔資料提供：坪倉誠教授（神戸大学）〕

Engineering
バイオ
Reedbush-H
Earth/Space
Reedbush-L
バイオ
インフォマ
Material インフォマ
ティクス
Energy/Physics
ティクス:
ゲノム解析
材料科学
Info.
Sci.
:
System
生物科学・
医用画像処理生体力学
Info. Sci. : Algrorithms
材料科学
Info. Sci. :生物科学・
AI
情報科学：
Education生体力学
アルゴリズム
情報科学：
Industry
AI
Bio
情報科学：AI
情報科学：
Bioinformatics
アルゴリズムSocial Sci. & Economics
Data
Engineering
生物科学・
Earth/Space
データ
生体力学
科学
Material
産業利用
Energy/Physics
生物科学・Info. Sci. :生体力学
Systemエネルギー・
Info.
Sci.
:
Algrorithms
地球科学・
物理学
工学・
Info. Sci. : AI
宇宙科学
ものづくり
Education
エネルギー・
Industry
物理学
材料科学
材料科学
Bio
Bioinformatics
Social Sci.
& Economics
Oakbrige-CX
Oakforest-PACS

21

Engineering
工学・ものづくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス（ゲノム解析・医用画像）
Bioinformatics
社会科学・経済学
Social Sci. & Economics
データ科学・データ同化
DataEngineering
Earth/Space
Material
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
Industry
Bio
Bioinformatics
Social Sci. & Economics

2020年度分野別
利用状況■CPUのみ■GPU（+CPU）

FY11

12

13

14

15

16

17

18

19

20

21

22

Yayoi, Hitachi SR16000/M1

Oakbridge-CX, Fujitsu

IBM Power-7
54.9 TFLOPS, 28.7 TB/sec.

Intel Xeon Cascade Lake
6.61 PFLOPS, 385.2 TB/sec.

T2K Tokyo, Hitachi

Oakforest-PACS (OFP) (JCAHC)AMD Opteron140.0 TF, 38.1 TB/sec.

Fujitsu, Intel Xeon Phi
25.0 PFLOPS, 8.51 PB/sec.

23

24

25

OFP-II(JCAHPC)
100+ PF ?

Oakleaf-FX, Fujitsu PRIMEHPC FX10

BDEC: Wisteria/BDEC-01, Fujitsu

SPARC64 IXfx
1.13 PFLOPS, 408.0 TB/sec.

Fujitsu A64FX (Odyssey) +Intel Xeon Ice Lake/NVIDIA A100
(Aquarius)
33.1 PFLOPS, 8.38 PB/sec.

Oakbridge-FX, Fujitsu
SPARC64 IXfx
136.2 TFLOPS, 49.0 TB/sec.

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外Integrated Supercomputer System for
Simulation, Data & Learning

Data Platform (mdx), FujitsuIntel Ice Lake/NVIDIA A100 etc.
8.50 PFLOPS, 0.665 PB/sec.

Reedbush-U/H, HPEIntel BDW + NVIDIA P100
1.93 PFLOPS, 258.6 TB/sec.

Reedbush-L, HPEIntel BDW + NVIDIA P100
1.43 PFLOPS, 197.2 TB/sec.

22

自然科学：実験＋理論
自然科学：「実験（Experiment）」と「理論（Theory）」 ⇒ 2本の柱

自然科学
実

理

験

論
23

第3の科学：計算科学
スーパーコンピュータ（スパコン）によるシミュレーションに基づく「計算科学」「第3の科学」，「科学の3本目の柱」

自然科学
実

計

理

験

算

論
24

「計算・データ・学習」融合へ
スーパーコンピュータの利用は「計算科学」から様々な分野に拡大「計算科学」，「データ科学」，「機械学習・AI」の融合による新しい科学「計算・データ・学習（S+D+L）」
融合による新しい科学
自然科学
実

計

理

験

算

論

計算・シミュレーション（Simulation: S）
データ（Data: D）

学習・AI（Learning:L）
25

Wisteria/BDEC-01
2021年5月14日から柏Ⅱキャンパスで運用を開始した国内最大級のシステム「Wisteria/BDEC-01」は，「計算・デー
タ・学習（S+D+L）」融合を実現する，世界でも初めてのプラットフォーム

26

27

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

28

Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

29

シミュレーションのためのモデル・パラ
メータのデータ解析，AI/機械学習による最適化（S+D+L）

30

柏キャンパスOakforest-PACS（OFP），
Oakbridge-CX（OBCX）

柏IIキャンパス
Wisteria/BDEC-01，mdx
ABCI

TX「柏の葉キャンパス」駅

31

http://www.top500.org/

of Linpack (TFLOPS)
57th TOP500 List (June, 2021) RR :: Performance
Peak Performance (TFLOPS), Power: kW
max

peak

Site

Computer/Year Vendor

Cores

Rmax
Rpeak
(TFLOPS) (TFLOPS)

Power
(MW)

1 Fugaku, 2020, Japan

Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz,
Tofu-D

7,630,848

442,010(= 442.0 PF)

537,212.0

29.899Summit, 2018, USA

IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

2,414,592

148,600

200,795

10.096IBM Power System S922LC, IBM POWER9 22C 3.1GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

1,572,480

94,640125,712

7.438

Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway

10,649,600

93,015

125,436

15.371

706,304

64,59089,794

2.528

555,520

63,46079,215.0

2.646

4,981,760

61,445

100,679

18.482449,280

44,12070,9801.764

669,760

35,45051,7202.252

Dell C6420, Xeon Platinum 8280 28c 2.7GHz, Mellanox
InfiniBand HDR

448,448

23,51638,746

N/S

Wisteria/BDEC-01 (Odyssey), 2021,

Fujitsu PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofuinterconnect D

368,640

22,121

25,952

1.468

Wisteria/BDEC-01 (Aquarius), 2021,

Fujitsu PRIMERGY GX2570 M6, Intel Xeon Platinum 8369Y
36C 2.4GHz, NVIDIA A100 SXM4 40GB, Infiniband HDR

42,120

4,425

7,269

0.184

R-CCS, RIKEN

2
3

DOE/SC/Oak Ridge National Laboratory

Sierra, 2018, USA
DOE/NNSA/LLNL

4 Sunway TaihuLight, 2016, China

National Supercomputing Center in Wuxi

5 Perlmutter, 2021, USA

HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz, NVIDIA
A100 SXM4 40 GB, Slingshot-10
NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
Selene, 2020, USA
6
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
NVIDIA
TH-IVB-FEP Cluster, Intel Xeon E5-2692v2 12C 2.2GHz, TH
Tianhe-2A,
2018,
China
7
National Super Computer Center in Guangzhou Express-2, Matrix-2000
JUWELS Booster Module, 2020,
Bull Sequana XH2000, AMD EPYC 7402 24c 2.8GHz,
8 Germany Julich (FZJ)
NVIDIA A100, Mellanox InfiniBand HDR
Dell C4140, Xeon Gold 6252 24c 2.1GHz, NVIDIA Volta
HPC5, 2020, Italy
9
GV100, Mellanox InfiniBand HDR
Eni S.p.A.
DOE/NERSC/LBNL

10 Frontera, 2019, USA

Texas Advanced Computing Center

13 Japan ITC, University of Tokyo
93 Japan ITC, University of Tokyo32

http://www.top500.org/

of Linpack (TFLOPS)
57th TOP500 List (June, 2021) RR :: Performance
Peak Performance (TFLOPS), Power: kW
max

peak

Site

Computer/Year Vendor

Cores

Rmax
Rpeak
(TFLOPS) (TFLOPS)

Power
(kW)

1 Fugaku, 2020, Japan

Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz,
Tofu-D

7,630,848

442,010(= 442.0 PF)

537,212.0

29.899Summit, 2018, USA

IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

2,414,592

148,600

200,795

10.096IBM Power System S922LC, IBM POWER9 22C 3.1GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

1,572,480

94,640125,712

7.438

Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway

10,649,600

93,015

125,436

15.371

706,304

64,59089,794

2.528

555,520

63,46079,215.0

2.646

4,981,760

61,445

100,679

18.482449,280

44,12070,9801.764

669,760

35,45051,7202.252

448,448

23,51638,746N/S

ABCI 2.0, 2021, Japan

Fujitsu PRIMERGY GX2570 M6, Xeon Platinum 8360Y 36C
504,000
日本2位・柏1位（産業技術総合研究所，柏IIキャンパス）2.4GHz, NVIDIA A100 SXM4 40 GB, InfiniBand HDR

22,20854,3411.600

Wisteria/BDEC-01 (Odyssey), 2021,

Fujitsu PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofu
日本3位・柏2位

22,121

25,952

1.468

R-CCS, RIKEN

2
3

DOE/SC/Oak Ridge National Laboratory

Sierra, 2018, USA
DOE/NNSA/LLNL

4 Sunway TaihuLight, 2016, China

National Supercomputing Center in Wuxi

5 Perlmutter, 2021, USA

HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz, NVIDIA
A100 SXM4 40 GB, Slingshot-10
NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
Selene, 2020, USA
6
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
NVIDIA
TH-IVB-FEP Cluster, Intel Xeon E5-2692v2 12C 2.2GHz, TH
Tianhe-2A,
2018,
China
7
National Super Computer Center in Guangzhou Express-2, Matrix-2000
JUWELS Booster Module, 2020,
Bull Sequana XH2000, AMD EPYC 7402 24c 2.8GHz,
8 Germany Julich (FZJ)
NVIDIA A100, Mellanox InfiniBand HDR
Dell C4140, Xeon Gold 6252 24c 2.1GHz, NVIDIA Volta
HPC5, 2020, Italy
9
GV100, Mellanox InfiniBand HDR
Eni S.p.A.
DOE/NERSC/LBNL

10 Frontera, 2019, USA

Texas Advanced Computing Center

12 AIST

13 Japan ITC, University of Tokyo

Dell C6420, Xeon Platinum 8280 28c 2.7GHz, Mellanox
InfiniBand HDRinterconnect D

368,640

Wisteria/BDEC-01（S+D+L）融合プラットフォーム• Wisteria （紫藤）– 手賀沼（柏市）に伝わる「藤姫伝説」• Odyssey– アポロ13号・司令船（Command
Module, CM）のコールサイン• Aquarius– アポロ13号・月着陸船（Lunar
Module，LM）のコールサイン• 人類と地球を護る

https://www.cc.u-tokyo.ac.jp/public/pr/pr-wisteria.php

33

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末（予定）• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF（Reedbush-H/L）

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末（予定）• 25 PF, #32 in 57th TOP 500 (June 2020)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)
• 2019年7月～2023年6月末（予定）• 6.61 PF, #97 in 57th TOP500

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX• データ・学習ノード群（Aquarius）：Intel Xeon Icelake + NVIDIA A100)• 33.1 PF, #13 in 57th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Simulation Nodes（Odyssey）

Data/Learning Nodes（Aquarius）

Reedbush

Oakforest-PACS

Oakbridge-CX

35

GFLOPS（ピーク性能）当たり利用負担（円）：電気代
SystemGFLOPSあたり電気代（円）：年間
小さいほど効率的

Oakleaf-FX/Oakbridge-FX (Fujitsu)(Fujitsu SPARC64 IXfx)（2012年度-2017年度）：「京」商用機

125

Reedbush-U (HPE) (Intel Xeon Broadwell (BDW))

61.9

Reedbush-H (HPE) (Intel BDW+NVIDIA P100x2/node)

15.9

Reedbush-L (HPE) (Intel BDW+NVIDIA P100x4/node)

13.4

Oakforest-PACS (Fujitsu) (Intel Xeon Phi/KNL)

16.5

Oakbridge-CX (Fujitsu) (Intel Xeon Cascade Lake)

20.7

Wisteria-Odyssey （Fujitsu/Arm A64FX）

17.8

Wisteria-Aquarius （Intel Xeon Ice Lake + NVIDIA A100x8）

9.00

36

（計算＋データ＋学習）融合によるエクサスケール
時代の革新的シミュレーション手法• エクサスケール（富岳＋クラス）のスパコンによる科学的発見の持続的促進のため，計算科学にデータ科学，機械学習のアイディアを導入した（計算＋データ＋学習（S+D+L））融合による革新的シミュレーション手法を提案– (計算+データ+学習)融合によるエクサスケール時代の革新的シミュレーション手法（科研費基盤S，代表：中島研吾（東大情基セ），2019年度～2023年度）• 革新的ソフトウェア基盤「h3-Open-BDEC」の開発– Wisteria/BDEC-01を「計算・データ・学習」融合プラットフォームと位置づけ，スパコンの能力を最大限引き出し，最小の計算量・消費電力での計算実行を実現する

h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/① 変動精度演算・精度保証・
自動チューニングによる新計算原理に基づく革新的
数値解法② 階層型データ駆動アプローチ（hDDA：Hierarchical
Data Driven Approach）
等に基づく革新的機械学
習手法
 Hierarchical, Hybrid,
Heterogeneous ⇒ h3

Big Data &ExtremeComputing37

38

三次元地震シミュレーション＋
リアルタイムデータ同化/観測
10月22日（金）15:30-15:55
10月24日（日）12:00-12:25

JDXnetJDXnet〔資料提供：古村孝志教授（東大・地震研）〕