「私たちの、過去、現在、未来」

Ludwig van Beethoven
1770-1827

苦悩から歓喜へ：T2K精神は永遠に
中島 研吾
東京大学情報基盤センター
PCCC21「『PCクラスタ』これからの10年」
2021年12月9日

2東京大学情報基盤センター• 東京大学大型計算機センター（1965年）• 東京大学情報基盤センター（1999年～）– 全国共同利用施設– 学際大規模情報基盤共同利用・共同研究拠点 中核拠点（2010年～）– 革新的ハイパフォーマンス・コンピューティング・インフラ(HPCI) 構成機関（2010年～）– 最先端共同HPC基盤施設（JCAHPC）（2013年～）• 筑波大学計算科学研究センター・東大情報基盤センター：OFP• 2021年12月現在– 3式のシステムを運用• Reedbush-H，Reedbush-L• Oakforest-PACS（OFP）：2021年度末に運用終了• Oakbridge-CX（OBCX）• Wisteria/BDEC-01（ 「計算・データ・学習」融合スーパーコンピュータシステム）：2021年5月運用開始– データ活用社会創成プラットフォーム（mdx）：2021年3月設置

3東京大学情報基盤センター• 東京大学大型計算機センター（1965年）• 東京大学情報基盤センター（1999年～）– 全国共同利用施設– 学際大規模情報基盤共同利用・共同研究拠点 中核拠点（2010年～）– 革新的ハイパフォーマンス・コンピューティング・インフラ(HPCI) 構成機関（2010年～）– 最先端共同HPC基盤施設（JCAHPC）（2013年～）• 筑波大学計算科学研究センター・東大情報基盤センター：OFP• お陰様でなんとかやっているが，2008年4月に小生が赴任した当時は2006年
から始まった改革の途上にあり，このままでは「共同利用・共同研究拠点」になれない，と言われていた。
– 2006年からの改革⇒すなわちT2K路線への転換，これなくして東大センターは語れない– 危機感が漲っていたが，大学の部局としては異様な活気，毎日仕事が降ってくる– 急遽「共同研究プロジェクト」を立ち上げ知り合いに声をかけまくる（地惑，生研等）

4

T2K東大が東大情報基盤センターにもたらしたもの
2010年7月12日 T2Kシンポジウムより• 2006年から始まった「T2K」導入に向けての取り組みは，「センター史上初」の様々なことを開始する契機となった（予算はあったが，それまでほぼ何もしていなかった）– 他大学への営業活動，公募型共同研究プロジェクト– お試しアカウント付き講習会，利用者による発表成果登録，公表– 可視化ソフト導入（AVS/Express PST） などなど
– 「ノード固定」⇒時代を先取りした利用法，GOSATデータ処理• 「世界史」，「日本史」と同じように「東京大学情報基盤センター史」というものがあるとすれば，「癸丑甲寅以来」のごとく「T2K以前」，「T2K以降」に明確に区分されることであろう• 東大情報基盤センターでは2008年を「T2K元年」とする「T2K暦」を採用

2001-2005
Hitachi SR8000
1,024 GF

2006-2010
Hitachi SR11000
J1, J2

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

5.35 TF, 18.8 TF

紀元前

T
2
K
元
年

2011-20152016-20202021-2025

2026-2030

2001-2005
Hitachi SR8000
1,024 GF

2006-20102011-2015

Hitachi SR11000
J1, J2

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

5.35 TF, 18.8 TF

紀元前Post SR8000/MPP ?

T
2
K
元
年

2016-20202021-2025

2026-2030

2001-2005
Hitachi SR8000
1,024 GF

2006-20102011-2015

Hitachi SR11000
J1, J2

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

5.35 TF, 18.8 TF

Post SR8000/MPP ?

Switching to
T2K

紀元前

T
2
K
元
年

2016-20202021-2025

2026-2030

2001-2005
Hitachi SR8000
1,024 GF

2006-20102011-20152016-2020

Hitachi SR11000
J1, J2

Hitachi SR16K/M1
Yayoi

5.35 TF, 18.8 TF

54.9 TF

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

2026-2030

OBCX(Fujitsu)
6.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PF

Fujitsu FX10
Oakleaf-FX

紀元前2021-2025

T
2
K
元
年

OFP-II
100+ PF

Fujitsu
33.1 PF

1.13 PFBDEC02250+ PF

ReedbushU/H/L (SGI-HPE)
3.36 PF

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

HARP-1E

2011-20152016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM Power76.61 PF

OakforestPACS (Fujitsu)

Hitachi HA8000
T2K Todai
AMD Opteron

紀元前

T
2
K
元
年

OFP-II
100+ PF

25.0 PF

140 TF疑似ベクトル

加速装置付

2026-2030

Intel CLX
OBCX(Fujitsu)

SR8000汎用CPU

2021-2025

AcceleratorsIntel Xeon Phi
Fujitsu FX10
Oakleaf-FX

BDEC02

Fujitsu
33.1 PF

1.13 PFSPACR64 IXfx
ReedbushU/H/L (SGI-HPE)

250+ PFA64FX,
Intel Icelake+
NVIDIA A100

Accelerators

3.36 PFIntel BDW +NVIDIA P100

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

10

11

T2K三国志説（あまり流行らなかったが）誰が曹操か？というあたりで話しが進まなくなる
蜀といえば諸葛孔明
現代の孔明と言えばこの人

魏：東大

蜀：京大

呉：筑波大

12

裏T2KとT2Kファミリー• 表T2K，T2K次官（t2k-jikan）（？）– T2Kの顔– 佐藤，朴，石川，中島（浩）– 中島（研）：2008年のある時期からMLには入っていた• 裏T2K– 当時の「若手」メンバー– 建部，中島（研），岩下：創設メンバー⇒将来の夢を語り合う– 片桐– なぜか石川さんが興味を示していた（入りたかったのか？）• T2Kファミリー（HT3NK2）– 筑波大，東大，京大，東工大– 北大，名古屋大，九大

2016年6月
カシマスタジアム

人工衛星による温室効果ガスの全球観測
ＧＯＳＡＴ プロジェクト ～概要～
@JAXA

温室効果ガス観測技術衛星（Greenhouse gases Observing SATellite: GOSAT）
愛称：「いぶき」
事業主体：宇宙航空研究開発機構（JAXA）、国立環境研究所（NIES)、環境省(MOE)
目的：主要な温室効果ガスである二酸化炭素とメタンの濃度を宇宙から観測する
打ち上げ：2009年1月23日（現在も運用中）（注：2014年5月の発表）
衛星の仕様： 【高度】地上約666km（下記左図）【回帰】3日間、約98分で地球を一周し44周回後元の位置に戻る【観測可能点数】数万点（←地上観測局200点ほど（下記中図右図））【センサ】温室効果ガス観測センサ（Fourier Transform Spectrometer; FTS）“TANSO-FTS”
雲・エアロソルセンサ（Cloud and Aerosol Imager; CAI）“TANSO-CAI”

GOSAT による観測概念図（左図）、地上観測点（中図）とGOSAT の軌道（右図、3 日間、44 周回分）

人工衛星による温室効果ガスの全球観測

ＧＯＳＡＴ プロジェクト@JAXA～定常処理とT2K東大版の役割（処理システム） ～【処理システム】
GOSAT データ処理運用処理施設(GOSAT DHF)、NIESスーパーコンピュータ、T2K東大版を利用【T2K東大版利用形態】
ノード固定契約（年度毎の契約状況は、下記の通り）

T2K東大版 利用ノードとコア占有時間
年度

ノード数

コア占有時間計（秒）

21年度

64ノード

92,144,660

22年度

64ノード

1,090,481,276

23年度

48ノード

827,633,311

24年度

48ノード

767,977,659

25年度

48ノード

1,624,529,166

東大情報基盤センター
HA8000GOSATデータ処理の流れ15

お疲れ様でした（2014年3月10日）

16

様々な活動
• 国内外プロジェクト– eScience プロジェクト「シームレス高生産・高性能. プログラム環境」（文部科学省）（2008-2011）（T2K）– Framework and Programming for Post Petascale Computing（FP3C）（JST-ANR，2010-13）（日仏共同）（T2K＋東工大＝T3K）⇒現在も様々な形で継続– 将来のHPCIシステムのあり方の調査研究（文科省，2012-2013）⇒ポスト京（富岳）– ppOpen-HPC＋ESSEX-II（JST-CREST・DFG-SPPEXA，2011-2018）（裏T2K）– ポスト京関連共同研究（理研AICS・R-CCS，2014-2020）– h3-Open-BDEC（科研費基盤（S），2019-2023）（裏T2K）• 最先端共同HPC基盤施設（JCAHPC）– 2013年発足，筑波大・東大，PCCC・T2K活動の賜物– Oakforest-PACS（OFP）設計・導入・運用⇒OFP-II– 京～ポスト「京」の間を埋めるという「大義」• 複数機関で一緒にやればコスト削減につながる，くらいのモチ
ベーションでは崩壊する・・・この話はまたそのうち

17

OFPの重要な役割
National Flagshipシステムの代替機• 「京」の退役：2019年8月末• OFPはHPCIにおける最大の共有計
算機資源• 富岳（ポスト京）運用開始（20202021）までの役割は重要• 富岳とはいくつかの特徴を共有– メニーコア– Wide SIMD
– 小容量で高速なメモリ（HBM）• 単体・NW性能，Scalabilityの絶妙なバランスはT2K東大を彷彿とさせたRatioDown is Good

“Tiny” Cases: Significant Improvement by
IHK/McKernel and AM-hCGA [KN ScalA19]

18

Computation time is normalized by that of hCGA
+20% by IHK/McKernel, +10% by AM-hCGA
1.10○ hCGA (=1.00)◆ AM-hCGA
1.00○ hCGA+McK+20%◆ AM-hCGA+McK
0.90
by McKernel
0.80

0.70

0.60
4096

K. Nakajima, B. Gerofi,
Y. Ishikawa,
M. Horikoshi, ParallelhCGA
AM-hCGA
Multigrid Methods on
hCGA+McK+10%: AM-hCGA Manycore Clusters with
AM-hCGA+McK
IHK/McKernel, ScalaA
8192
16384
32768
65536
131072 262144 19 in conjunction with
SC19, 2019
Core #

ありがとうOFP
京から富岳への狭間で咲いた大輪の花
2022年5月27日（金）午後@東大・柏（ハイブリッド）
第1部

開会

第4部

次の一手

1300-1305

開会

1605-1625

筑波大現状・動向

朴泰祐（筑波大）1305-1320

来賓挨拶等

1625-1645

東大現状・動向中島研吾（東大）

第2部

OFP概要

1645-1705

NGACI

近藤正章（理研）

1320-1430

JCAHPC設立の経緯と理念

佐藤三久（理研）

1705-1725

OFP-IIへ向けて

塙敏博（東大）1725-1740

ディスカッション

1340-1400

OFP導入と概要

朴泰祐（筑波大）1400-1415

京大 Camphor2

深沢圭一郎（京大）

1740-1745

閉会

1415-1430

北大 Polaire

岩下武史（北大）

1430-1445

ディスカッション

第3部

OFPによる成果

1455-1515

OFPの成果概要

中島研吾（東大）

1515-1535

研究事例1

三好建正（理研）

1535-1555

研究事例2

井戸村泰宏（JAEA）

田浦健次朗（東大）

石川裕（NII）

2022年5月27日（金）午後@東大・柏（ハイブリッド）
19

FY11

12

13

14

15

16

17

18

19

20

21

22

Yayoi, Hitachi SR16000/M1

Oakbridge-CX, Fujitsu

IBM Power-7
54.9 TFLOPS, 28.7 TB/sec.

Intel Xeon Cascade Lake
6.61 PFLOPS, 385.2 TB/sec.

T2K Tokyo, Hitachi

Oakforest-PACS (OFP) (JCAHC)AMD Opteron140.0 TF, 38.1 TB/sec.

Fujitsu, Intel Xeon Phi
25.0 PFLOPS, 8.51 PB/sec.

23

24

25

OFP-II(JCAHPC)
100+ PF ?

Oakleaf-FX, Fujitsu PRIMEHPC FX10

BDEC: Wisteria/BDEC-01, Fujitsu

SPARC64 IXfx
1.13 PFLOPS, 408.0 TB/sec.

Fujitsu A64FX (Odyssey) +Intel Xeon Ice Lake/NVIDIA A100
(Aquarius)
33.1 PFLOPS, 8.38 PB/sec.

Oakbridge-FX, Fujitsu
SPARC64 IXfx
136.2 TFLOPS, 49.0 TB/sec.

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外Data Platform (mdx), FujitsuIntel Ice Lake/NVIDIA A100 etc.
8.50 PFLOPS, 0.665 PB/sec.

Reedbush-U/H, HPEIntel BDW + NVIDIA P100
1.93 PFLOPS, 258.6 TB/sec.

Reedbush-L, HPEIntel BDW + NVIDIA P100
1.43 PFLOPS, 197.2 TB/sec.

Reedbushは2021年11月末で
運用終了

20

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末（予定）• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)
• 2019年7月～2023年6月末（予定）• 6.61 PF, #110 in 58th TOP500-June 2023 (Plan)

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#17)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#106)• 33.1 PF, #17 in 58th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Simulation Nodes（Odyssey）

Data/Learning Nodes（Aquarius）

Reedbush

Oakforest-PACS

Oakbridge-CX

22

2020年度分野別 ■汎用CPU，■GPUバイオ

RB-H インフォマ
ティクス
生物科学・
生体力学
材料科学
情報科学：AI
情報科学：
アルゴリズム
生物科学・
生体力学
産業利用
エネルギー・
物理学

工学・
ものつくり

材料科学

OBCX

Engineering
Engineering
Earth/Space データ
Earth/Space
Material
RB-L
Material
OFP 科学バイオ
Energy/Physics
Energy/Physics
生物科学・
インフォマ
Info. Sci.
: SystemInfo. Sci.ティクス: System 材料科学
生体力学
Info.
Sci.
: Algrorithms 地球科学・
Info. Sci. : Algrorithms
生物科学・Info. Sci. : AI
宇宙科学
Info.
Sci. : AI
情報科学：
生体力学
エネルギー・
Education
アルゴリズム
Education
物理学
Industry
Industry
情報科学：AI
Bio
Bio
Bioinformatics
材料科学
Bioinformatics
SocialSci.
&
Economics
Social Sci. & Economics
Engineering
Data
Data
Earth/Space
Material
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
Industry
Bio
Bioinformatics
Social Sci. & Economics

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algrorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

23

全地球大気・海洋シミュレーション（気候・気象）
東大大気海洋研究所，東大理学系研究科等〔画像提供：佐藤正樹教授・
羽角博康教授（東大・大気海洋研）〕

地震シミュレーション・地殻変動
東大地震研究所，東大理学系研究科等〔画像提供：
安藤亮輔准教授（東大・理学系）〕〔画像提供：古村孝志教授・
市村強教授（東大・地震研）〕

24

25

二酸化炭素地下貯留シミュレーション
大成建設，理化学研究所等〔画像提供：
山本肇博士（大成建設）〕

ゲリラ豪雨予測のリアルタイム実証実験 （理化学研究所）〔画像提供：三好建正博士（理化学研究所）〕

26

ゲリラ豪雨予測のリアルタイム実証実験 （理化学研究所）〔画像提供：三好建正博士（理化学研究所）〕

27

28「COVID-19」対応臨時公募採択課題
全国9国立大学等のスパコンによる課題
全14のうち6課題が東大システムを利用（2020年度）
課題名

代表者（所属）新型コロナウイルスの主要プロテアーゼに関するフラグメント分子軌道計算

望月 祐志（立教大学）

COVID-19治療の候補薬: chloroquine、hydroxychloroquine、azithromycinの催不整脈リ
スクの評価ならびにその低減策に関する研究

久田 俊明（株式会社UTHeart研究所 / 東大）

新型コロナウィルス表面のタンパク質動的構造予測

杉田 有治（理化学研究所）

使用シス
テム

OFP

〔資料提供：望月祐志教授（立教大学）〕

計算機解析によるSARS-CoV-2増殖阻害化合物の 星野 忠次
探索（千葉大学）
室内環境におけるウイルス飛沫感染の予測とその対策：富岳大規模解析に向けたケーススタディ

坪倉 誠（神戸大学）

Spreading of polydisperse droplets in a turbulent Marco Edoardo Rosti
puff of saturated exhaled air（OIST）

OBCX〔資料提供：坪倉誠教授（神戸大学）〕

スーパーコンピューティング
の今後

生物科学・
生体力学
産業利用
エネルギー・
物理学• ワークロードの多様化– 計算科学，計算工学：Simulations– 大規模データ解析– AI，機械学習

工学・
ものつくり

材料科学

CPU Cluster
Oakbridge-CX

Engineering
Earth/Space
Material
バイオ
Energy/Physics
インフォマティクス
Info. Sci. : System材料科学
Info. Sci. : Algrorithms
Info. Sci. : AI
情報科学：
生物科学・
Education
アルゴリズム
生体力学
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data

GPU Cluster

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

Reedbush-L• （シミュレーション（計算）＋データ＋学習）融合⇒Society 5.0実現に有効，2015年頃から取り組み– フィジカル空間とサイバー空間の融合• S:シミュレーション（計算）（Simulation）• D:データ（Data）• L：学習（Learning）– Simulation + Data + Learning =
S+D+L

29

30

（シミュレーション（計算）＋データ＋学習）融合（S+D+L）• 東大情報基盤センターでは，2015年頃から「（S+D+L）融合」の重要性に注目し，それを実現するためのハード
ウェア，ソフトウェア，アプリケーション，アルゴリズムに関する研究開発を開始– BDEC計画（Big Data & Extreme Computing）– 「データ＋学習」による，より高度な「シミュレーション」– 地球科学関連では自然な発想（すでに実施されている）• 2021年5月に運用を開始した「Wisteria/BDEC-01」は「BDEC計画」の1号機– Reedbush，Oakbridge-CXは「BDEC」のプロトタイプと位置づけられる– 「計算・データ・学習（S+D+L）」融合を実現する，世界でも初めてのプラットフォーム

31

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速32

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速33

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

34

35

November 2021 (SC21)の諸ランキング
Wisteria/BDEC-01のシミュレーションノード群（Odyssey）とデータ・学習ノード群（Aquarius）は別々に測定・申請
System

TOP500

Green500

HPCG

Graph500

HPL-AI

Oakforest-PACS

39

65

23

-

-

Oakbridge-CX

110

62

71

-

-

Wisteria/BDEC-01（Odyssey）

17

27

9

3

9

Wisteria/BDEC-01（Aquarius）

106

15

58

-

-

36

GFLOPS（ピーク性能）当たり利用負担（円）：電気代
SystemGFLOPSあたり電気代（円）：年間
小さいほど効率的

Oakleaf-FX/Oakbridge-FX (Fujitsu)(Fujitsu SPARC64 IXfx)（2012年度-2017年度）：「京」商用機

125

Reedbush-U (HPE) (Intel Xeon Broadwell (BDW))

61.9

Reedbush-H (HPE) (Intel BDW+NVIDIA P100x2/node)

15.9

Reedbush-L (HPE) (Intel BDW+NVIDIA P100x4/node)

13.4

Oakforest-PACS (Fujitsu) (Intel Xeon Phi/KNL)

16.5

Oakbridge-CX (Fujitsu) (Intel Xeon Cascade Lake)

20.7

Wisteria-Odyssey （Fujitsu/Arm A64FX）

17.8

Wisteria-Aquarius （Intel Xeon Ice Lake + NVIDIA A100x8）

9.00

37

本年度分野別（9月末時点） ■汎用CPU，■GPUOdyssey，Aquariusは8月・9月分
Engineering
Earth/Space

RB-H

RB-L
Material

バイオ
インフォマ
ティクス

材料科学

生物科学・
生体力学
情報科学：
AI

工学・
ものつくり

企業利用
エネルギー・
物理学

材料科学

OBCX

地球科学・
宇宙科学

社会
科学

Energy/Physics 材料科学
Info. Sci. : System
Info.バイオSci. : Algrorithms
インフォマ
Info. Sci. : AI
情報科学：AIティクス
Education
Industry
Bio
生物科学・
Bioinformatics
生体力学
Social Sci. & Economics
Engineering
Data
Earth/Space
Material
Energy/Physics
Info. Sci. : System 工学・ものつくり
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
Industry 地球科学・
宇宙科学
Bio
Bioinformatics
Social Sci.Odyssey& Economics

Engineering
Earth/Space
Material
OFP
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms 地球科学・
Info. Sci. : AI
宇宙科学
エネルギー・
Education
物理学
Industry
Bio
Bioinformatics
Social Sci. & Economics
Engineering
Data
Earth/Space
Material データ
科学
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms
Info. Sci. : AI
地球科学・
Education
宇宙科学
Industry
材料科学
Bio
Bioinformatics
Aquarius
Social Sci. & Economics

工学・ものつくりEngineering
地球科学・宇宙科学
Earth/Space
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
Industry
産業利用
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Engineering
Data
データ科学・データ同化
Earth/Space
Material
Energy/Physics
地球科学・宇宙科学
Info. Sci. : System⇒
分野ではOFP
Info. Sci. : Algrorithms
Wisteria/BDEC-01
Info. Sci. : AIへの移行が順調に進Education
んでいるIndustry
Bio
Bioinformatics
Social Sci. & Economics

h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/① 変動精度演算・精度保証・
自動チューニングによる新計算原理に基づく革新的
数値解法② 階層型データ駆動アプローチ（hDDA：Hierarchical
Data Driven Approach）
等に基づく革新的機械学
習手法
 Hierarchical, Hybrid,
Heterogeneous ⇒ h3

Big Data &ExtremeComputing38

Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

39

Wisteria/BDEC-01上における
h3-Open-BDECを使用した（S+D+L）融合• シミュレーションとデータ同化の融合– 典型的・伝統的な（S+D+L）融合• 気候・気象のための大気海洋連成シミュ
レーション– 東大大気海洋研，理研，国立環境研他• リアルタイム同化＋三次元強震動シミュレーション– 東大地震研（後述）• リアルタイム災害シミュレーション– 洪水，津波• 既存シミュレーションコードの（S+D+L）融合による高度化– OpenFOAM

40

41

三次元地震シミュレーション＋
リアルタイムデータ同化/観測
JDXnetの観測データを利用したリアルタイ
ムデータ同化/観測

JDXnetJDXnet〔資料提供：古村孝志教授（東大・地震研）〕

AI for HPCの実現へ向けて• Odyssey-Aquarius連携– MPIによる通信は不可• O-Aを跨いでMPIプログラムは動かない– Odyssey-Aquarius間はInfiniband-EDR（2TB/sec）で結合されている• ソフトウェア開発– O-A間通信：h3-Open-SYS/WaitIO• IB-EDR経由（WaitIO-Socket）• 高速ファイルシステム（FFS）経由連携（WaitIOFile）– 高機能カプラー：h3-Open-UTIL/MP42

h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/

Big Data &ExtremeComputing① 新計算原理に基づく革新
的数値解法② 革新的機械学習手法③ ヘテロジニアス環境（e.g.
Wisteria/BDEC-01）におけるソフトウェア，ユーティ
リティ群（第3の柱）

43

44

Wisteria/BDEC-01: The First “Really
Heterogenous” System in the World

h3-Open-SYS/WaitIO
データ受け渡しライブラリ〔松葉，2020〕〔住元他，HPC-181，2021〕• ヘテロジニアス環境下での異なるコンポーネン
ト間ファイル経由連携ライブラリとして考案• 機能 Odyssey～Aquarius間連携
 IB-EDR経由通信（WaitIO-Socket）
 ファイル経由（WaitIO-File）

 外部からのデータ取得（観測データ等）
 読み込み・書き出しの同期• API：C/C++，Fortranから呼び出し可能
 MPIライクなインタフェースを提供• 多機能カプラー（h3-Open-UTIL/MP）との連携

45

h3-Open-UTIL/MP (h3o-U/MP) +h3-Open-SYS/WaitIO
ARM: A64FX

IceLake+A100

46

47

h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO連携• h3-Open-UTIL/MP– （現状）MPIによるコンポーネント間通信：1対1，集団通信– Odyssey-Aquarius間はMPIによる通信は不可⇒
h3-Open-SYS/WaitIO-SocketによりO-A間通信実現 Odyssey

Aquarius

IB-EDR

現状：MPI通信可能な環境を前提

48

三次元地震シミュレーション＋
リアルタイムデータ同化/観測
JDXnetの観測データを利用したリアルタイ
ムデータ同化/観測

JDXnetJDXnet〔資料提供：古村孝志教授（東大・地震研）〕

49

長周期地震動シミュレーション＋観測データ同化
Output&Movie

JDXnetObserved Data

Data/Learning
Nodes: Aquarius

External Server
for Observed
Data

Visualizer

Intel Ice Lake + NVIDIA A100

7.20 PF, 578.2 TB/s
Obs. Data

FilterFiltered
Results

WaitIO-Socket

Comp.
Results

2.0 TB/s

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Seism3D/
OpenSWPC-DAF
Mesh DataUG Model50

AI for HPC：Society 5.0実現へ向けた人工知能・
データ科学による計算科学の高度化（試行）（1/2）
https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/• （計算＋データ＋学習（S+D+L））融合実現，データ科学，機械学習，人工知
能による計算科学の高度化を目指す提案を募集• 原則として，計算科学シミュレーション（自作またはオープンソース）を，データ科学，人工知能，機械学習等によって高度化，効率化することを目的とする– 大規模データ同化と人工知能を融合するような研究も受け付ける。
– プログラム本体のチューニング，アルゴリズム高度化などは対象外ですが，自動チュー
ニングによって最適アルゴリズムを選択するような提案は歓迎いたします。

• 応募者グループ・センター教員の共同研究として実施– 代表者：居住者（大学・研究機関・企業），メンバー：非居住者参加も可能– 次年度JHPCN共同研究課題応募を目指す

51

AI for HPC：Society 5.0実現へ向けた人工知能・
データ科学による計算科学の高度化（試行）（2/2）
https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/• 原則年1回募集– 次回は2022年年明け，2022年4月開始• 計算機資源を無償で提供（負担金50万円相当）– OFP（2021年度），OBCX，Wisteria/BDEC-01– Wisteria/BDEC-01（Odyssey+Aquarius）利用推進• Wisteria/BDEC-01向けソフトウェア群の共同開発– h3-Open-BDEC• 成果公開– 報告書（ニューズレターへの寄稿），報告会

52

これまでの採択課題
地球科学，計算＋データ同化＋機械学習融合
年度

代表者

課題名

使用計算機

澤田洋平
2020 （東京大学工学系研究科・准教授）

地球科学シミュレーションの不確実性定量化の新展開

Oakforest-PACS

澤田洋平
2021 （東京大学工学系研究科・准教授）

超巨大アンサンブル
計算と機械学習の協調による地球科学シミュレーションの不確実性定量化

Wisteria/BDEC-01（Odyssey）
Wisteria/BDEC-01（Aquarius）

菊地淳（理化学研
数値シミュレーションと機械
究所環境資源科学
2021
学習 との融合 による東京研究センター・チー
湾の赤潮予測ムリーダー）

Wisteria/BDEC-01（Aquarius）
Oakbridge-CX

備考

h3-Open-BDECの提供する
Odyssey-Aquarius連携ライ
ブラリの開発にも貢献しても
らう予定

53

大規模共通ストレージシステム「Ipomoea」• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途• 東大センターでは従来ストレージは各システムに附属して導入され，各システ
ムのストレージは独立• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，東大センターの全システムからアクセス可能な共通ストレージの導入が強く求められていた• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入決定– OFP運用終了が契機– 1システムを約5–6 年使用し，約3年ごとに新しいストレージシステム（25+PB）を導入
し，入れ替えることを想定している

54

大規模共通ストレージシステム「Ipomoea」• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途• 東大センターでは従来ストレージは各システムに附属して導入され，各システ
ムのストレージは独立• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，東大センターの全システムからアクセス可能な共通ストレージの導入が強く求められていた• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入決定– OFP運用終了が契機– 1システムを約5–6 年使用し，約3年ごとに新しいストレージシステム（25+PB）を導入
し，入れ替えることを想定している

55

Ipomoea-01• 2022年1月運用開始予定，25+PF– 富士通製• 2022 年6 月末までにOFPのLustre 領域の必要ファイルについて移行完了• 既存システム（2021年3月末）– OFP
50億ファイル 11 PB– OBCX 8.5億ファイル 2.6 PB

56

東大情報基盤センターのスパコン
FY16

17

18

19

20

21

22

23

24

25

Oakbridge-CX, Fujitsu

26

27

28

29

30

OFP-II (JCAHPC)Intel Xeon Cascade Lake
6.61 PFLOPS, 385.2 TB/sec.

100+ PF ?

Oakforest-PACS (OFP) (JCAHC)
Fujitsu, Intel Xeon Phi
25.0 PFLOPS, 8.51 PB/sec.

Wisteria-Mercury
BDEC: Wisteria/BDEC-01, Fujitsu

Yayoi
Oakleaf-FX
Oakbridge-FX

Fujitsu A64FX +Intel Xeon Ice Lake/NVIDIA A100
33.1 PFLOPS, 8.38 PB/sec.

BDEC-02 ?

Data Platform (mdx), FujitsuIntel Ice Lake/NVIDIA A100 etc.
8.50 PFLOPS, 0.665 PB/sec.

Reedbush-U/H/L, HPE

大規模共通ストレージ
システム群（Ipomoea）

Ipomoea-01

Ipomoea-03
Ipomoea-02

57

東大情報基盤センターのスパコン
FY16

17

18

19

20

21

22

23

24

25

Oakbridge-CX, Fujitsu

26

27

28

29

30

OFP-II (JCAHPC)Intel Xeon Cascade Lake
6.61 PFLOPS, 385.2 TB/sec.

100+ PF ?

Oakforest-PACS (OFP) (JCAHC)
Fujitsu, Intel Xeon Phi
25.0 PFLOPS, 8.51 PB/sec.

Wisteria-Mercury
BDEC: Wisteria/BDEC-01, Fujitsu

Yayoi
Oakleaf-FX
Oakbridge-FX

Fujitsu A64FX +Intel Xeon Ice Lake/NVIDIA A100
33.1 PFLOPS, 8.38 PB/sec.

BDEC-02 ?

Data Platform (mdx), FujitsuIntel Ice Lake/NVIDIA A100 etc.
8.50 PFLOPS, 0.665 PB/sec.

Reedbush-U/H/L, HPE

大規模共通ストレージ
システム群（Ipomoea）

Ipomoea-01

Ipomoea-03
Ipomoea-02

将来計画• OFP-II：2024年4月運用開始予定– Oakforest-PACS（OFP）の後継機– JCAHPCとして筑波大学と共同で導入，運用の予定– ピーク性能100＋PF（目標値），加速器付きノード群を含む– 「計算・データ・学習」融合路線を継承（予定）• Wisteria/BDEC-01（Mercury）：2023年4月運用開始予定– Wisteria-Mercury– 当初はAquariusを補助するCPUのみのノード群として計画されていたが，現状では次世代加速器を搭載したシステムとして検討中• 実は「Messenger」というIcelake 6ノードから構成される「Mercury」のプロトタイプは既にある• OFP-IIのプロトタイプとしての位置づけもある– ピーク性能6＋PF程度を想定（128+ GPU’s）– 2022年初頭に資料招請開始• BDEC-02：2028年4月運用開始予定

58

将来計画
• OFP-II：2024年4月運用開始予定– Oakforest-PACS（OFP）の後継機– JCAHPCとして筑波大学と共同で導入，運用の予定– ピーク性能100＋PF（目標値），加速器付きノード群を含む– 「計算・データ・学習」融合路線を継承（予定）• Wisteria/BDEC-01（Mercury）：2023年4月運用開始予定– Wisteria-Mercury– 当初はAquariusを補助するCPUのみのノード群として計画されていたが，現状では次世代加速器を搭載したシステムとして検討中• 実は「Messenger」というIcelake 6ノードから構成される「Mercury」のプロトタイプは既にある• OFP-IIのプロトタイプとしての位置づけもある– ピーク性能6＋PF程度を想定（128+ GPU’s）– 2022年初頭に資料招請開始• BDEC-02：2028年4月運用開始予定

59

60

Wisteria-Mercury
Winged Messenger• General Purpose CPU + Accelerators– Target Performance: 6+ PF, 128+GPU’s– Prototype of OFP-II• Supporting “Aquarius”– Also used for HPC Workload– Direct Link to External Network– Working with “Odyssey” directly• Some of infrastructures of Wisteria/BDEC01 are shared– Login Nodes, HW for Management– SFS, FFS, Job Management System etc.

• Operation starts in April 2023
– Intel SPR, AMD, Arm + InfiniBand

61

Wisteria-Messenger
Prototype of “Mercury”
CPU Only• Intel Xeon Gold 6348 (IceLake)– 2.6 GHz, 28 cores/socket– 2 sockets × 6 nodes– IB-HDR• Directly working with “Odyssey” forsupporting “Aquarius”– e.g. “Filtering” in the Earthquake Simulation– h3-Open-SYS/WaitIO-Socket• Under Operation– Public use after January 2022
– Various types of investigation for “Mercury”

62

まとめ
• 「計算・データ・学習」融合を掲げて6年あまり，2021年は特筆すべき年– 「計算・データ・学習」融合スーパーコンピュータシステム「Wisteria/BDEC-01」の導入，運用開始– 革新的基盤ソフトウェア「h3-Open-BDEC」開発の進展– 地球科学を中心とした様々な分野への応用– 萌芽型研究「AI for HPC：Society 5.0実現へ向けた人工知能・データ科学による計算科学の高度化」• Wisteria/BDEC-01は「計算・データ・学習」融合を実現する，ヘテロジニア
スなシステムとしては世界でも初めてのもの– HPCI，JHPCN構成機関とも協力して「計算・データ・学習」融合推進を継続する• 増大するデータ⇒Ipomoeaシリーズの導入– 東大センターとしては初の「共通ストレージ」システム• 20年，30年先を見据え，T2K精神のもと，様々な挑戦を続けていく– ここ数年はアプリ開発基盤を軸としていた

63

まとめ（続き）• スパコンへの性能要求，省電力，脱炭素化⇒加速器搭載は不可避– なんか最近急速に多様化が進んでいる– 東大センター：約3,000人のユーザー– プログラミング環境，コード移植が大きな問題• 「OpenMP＋MPI」をそのまま使えるというのが理想・・・と言っていたが，これはアプリ側から見れば切実な問題（ここにいる人には・・・）– 移植に当てる時間も人員もいない，「理想」ではなく「必須」と言ってもよい– というようなことを，産学官，ユーザー，ベンダー間で議論する場としてPCCCが機能してくれれば，と思ふ– スパコン調達・運用：研究開発要素が増大• 量子コンピュータ等（広義のDPU，IPU等も含む）– 2019年頃から「Fujitsu Digital Annealer」を利用• 組み合わせ最適化：Reordering⇒Intel PIUMA他– BDEC-02（2028年4月運用開始）：プログラミング・アプリ開発環境

64