JHPCNから「計算・デー
タ・学習」融合を目指す
学際大規模情報基盤共同利
用・共同研究拠点公募説明会
＠東大
東京大学情報基盤センター
スーパーコンピューティング研究部門
http://www.cc.u-tokyo.ac.jp/
問合先：uketsuke@cc.u-tokyo.ac.jp

2

本日の趣旨
• 東京大学情報基盤センターのスーパーコンピュータ群• 学際大規模情報基盤共同利用共同研究拠点（JHPCN）公募課題• 質疑• 現在運用中のシステム– Reedbush-H，Reedbush-L（2021年11月末運用終了）– Oakforest-PACS（2022年3月末運用終了）– Oakbridge-CX（2019年7月運用開始）– Wisteria/BDEC-01（2021年5月運用開始）

3

東京大学情報基盤センター• 東京大学大型計算機センター（1965年）• 東京大学情報基盤センター（1999年～）– 全国共同利用施設– 学際大規模情報基盤共同利用・共同研究拠点 中核拠点（2010年～）– 革新的ハイパフォーマンス・コンピューティング・インフラ(HPCI) 構成機関（2010年～）– 最先端共同HPC基盤施設（JCAHPC）（2013年～）• 筑波大学計算科学研究センター・東大情報基盤センター：OFP• 2021年11月現在– 5式のシステムを運用• Reedbush-H，Reedbush-L，Oakforest-PACS（OFP）：2021年度中に運用終了• Oakbridge-CX（OBCX）• Wisteria/BDEC-01（ 「計算・データ・学習」融合スーパーコンピュータシステム）：2021年5月運用開始– データ活用社会創成プラットフォーム（mdx）：2021年3月設置

FY11

12

13

14

15

16

17

19

20

21

Oakforest-PACS (OFP) (JCAHC)
Fujitsu, Intel Xeon Phi
25.0 PFLOPS, 8.51 PB/sec.

Oakleaf-FX, Fujitsu PRIMEHPC FX1025

OFP-II(JCAHPC)
100+ PF ?

Fujitsu A64FX (Odyssey) +Intel Xeon Ice Lake/NVIDIA A100
(Aquarius)
33.1 PFLOPS, 8.38 PB/sec.

Oakbridge-FX, Fujitsu

SPARC64 IXfx
136.2 TFLOPS, 49.0 TB/sec.

利用者2,600+名
55％は学外24

BDEC: Wisteria/BDEC-01, Fujitsu

SPARC64 IXfx
1.13 PFLOPS, 408.0 TB/sec.

東京大学情報基盤センターのスパコン

23Intel Xeon Cascade Lake
6.61 PFLOPS, 385.2 TB/sec.

IBM Power-7
54.9 TFLOPS, 28.7 TB/sec.

AMD Opteron140.0 TF, 38.1 TB/sec.

22

Oakbridge-CX, Fujitsu

Yayoi, Hitachi SR16000/M1
T2K Tokyo, Hitachi

18

Data Platform (mdx), FujitsuIntel Ice Lake/NVIDIA A100 etc.
8.50 PFLOPS, 0.665 PB/sec.

Reedbush-U/H, HPEIntel BDW + NVIDIA P100
1.93 PFLOPS, 258.6 TB/sec.

Reedbush-L, HPEIntel BDW + NVIDIA P100
1.43 PFLOPS, 197.2 TB/sec.

4

Platform for Integration of (S+D+L)
Big Data & Extreme Computing

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Shared File
System
（SFS）

25.8 PB, 500 GB/s

2.0 TB/s

Data/Learning
Nodes: AquariusIntel Ice Lake + NVIDIA A100

7.20 PF, 578.2 TB/s

Fast File
System（FFS）

1 PB, 1.0 TB/s

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末（予定）• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)

800 Gbps

External
Resources

External
Resources
External Network

Simulation Nodes（Odyssey）• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末（予定）• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF

Data/Learning Nodes（Aquarius）• 2019年7月～2023年6月末（予定）• 6.61 PF, #110 in 58th TOP500-June 2023 (Plan)

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#17)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#106)• 33.1 PF, #13 in 57th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Reedbush

Oakforest-PACS

Oakbridge-CX

6

2022年度以降諸制度（予定）（○：代表者，△：参加者）
制度名

✓

✓

一般

○

△

○

トライアル

○

△

○

お試し利用

○

○

○

JHPCN

○

○

△

書類

✓

✓

✓

○

△

△

書類

✓

✓

✓

書類

✓

✓

✓
✓

一般
若手女性

✓
✓

○

産業

○

○

インターン

報告書

✓

学生

一般・若手

無料

C

企業

HPCI

審査

B

大学等

通常利用

個人

A

種別

✓

○

✓

書類

✓

✓

○

✓

書類

✓

✓

AI for HPC

○

○

△

書類

✓

✓

HPCチャレンジ

○

○

○

書類

✓

✓

講習会

△

△

△

教育利用

○

○

○

書類

一般

△

○

△

＋面接

トライアル

△

○

△

＋面接

✓

✓

D

✓

✓

年度内

随時

✓

✓

1ヶ月限定

随時
年1回（1月）
年1回（10-11月）✓

年2回（8・2月）✓

年1回（夏季）✓年1回（2月）
年数回✓✓✓

1ヶ月有効UID

年20回程度

企業研修等可随時✓

年2回（8・2月）

企業利用
一部

募集
随時

✓
✓

備考

✓

✓

3ヶ月無料
年度内

随時，年４回審査（A：トークン移行， B:ノード固定，C：Odyssey⇔Aquarius移行可能，D：1システム1回限り応募可能）

7• JHPCNの概要• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Oakbridge-CX• Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み

8

学際大規模情報基盤共同利用共同研究拠点（JHPCN）
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/• 大規模スーパーコンピュータを有する8国立大学センターから構成されるネットワーク型拠点– 北海道，東北，東大（中核拠点），東工大，名古屋，京都，大阪，九州• 文部科学省「共同利用・共同研究拠点」として認可され，2010年4月から活動開始（6年に一回見直し（＋3年））– 東大：地震研，大気海洋研，物性研など• 学際的な共同研究課題の推進– 計算科学＋計算機科学– 各センタースパコン及び関連設備の利用（無料）• 2016年度以降は一般課題に加えて，国際，産業，萌芽の3カテゴリー– 萌芽は各センター独立：本学「若手・女性」，「AI-for-HPC」は「萌芽」の一つ• 2022年度から第3フェーズに入る– やや枠組みが変化する（11月中に公開予定JHPCN）

JHPCNの目的• グランドチャレンジ的な問題について，学際的な共同利用・共同研究を実施することにより，我が国の学術・研究基盤の更なる高度化と恒常的な発展に資する– 超大規模計算機，超大容量ストレージ，超大容量ネットワークなどの情報基盤– 地球環境，エネルギー，物質材料，ゲノム情報，Webデータ，学術情報，センサー
ネットワークからの時系列データ，映像データ，プログラム解析、その他• JHPCNには，上記の各分
野における多数の先導的研究者が在籍し，これらの研究者との共同研究によって，研究テーマの一層の発展が期待できる。

9

共同研究分野（2021年度まで）• 超大規模数値計算系応用分野– 地球環境，エネルギー，物質材料等の科学・工学分野における科学技術シミュレーション，関連するモデリング，数値解析アルゴリズム，可視化手法，情報基盤等• 超大規模データ処理系応用分野– ゲノム情報，Webデータ，学術情報コンテンツ，センサーネットワークからの時系列
データ，映像を始めとするストリームデータなどに対する高度なメディア情報処理，プ
ログラム解析，アクセスや検索，情報抽出，統計的・意味的分析、データマイニング• 超大容量ネットワーク技術分野– 超大規模データ共有のためのネットワーク品質の確保や制御，超大規模ネットワー
ク自体の構築と運用に必要な監視や管理，そのようなネットワークの安全性の評価と維持確保、およびこれら諸技術の研究開発の支援のための技術等• 上記研究分野を統合した超大規模情報システム関連研究分野– ペタスケール／エクサスケールコンピュータのアーキテクチャ，高性能計算基盤ソフ
トウェア，グリッド，仮想化技術，クラウドコンピューティング等

10共同研究分野（2022年度から）• 分野1：大規模計算科学分野：2021年度までのJHPCN– 本日はこれについてのみ説明する– 超大規模数値計算系応用分野– 超大規模データ処理系応用分野– 超大容量ネットワーク技術分野– 超大規模情報システム関連研究分野• 分野2：データ科学・データ利活用分野：2022年度からの新分野– mdxを中心に利用するような分野• 分野1にも「大規模データ処理系応用分野」があるが，分野2は人文・社会系も含むより広い範囲が対象，分野1の「データ処理系」は科学技術計算に関わるデータ処理，データ解析，その手法の開発，が中心

11

12

共同研究のポイント：全部を満たす，ということではない• 学際的研究体制– 情報科学分野（計算機科学・データ科学）と応用分野による，学際共同研究の推進– 審査においては学際的な研究体制の構築がなされていることを重視• ソフトウェアおよびデータ活用推進– 単なる公開だけでなく，成果の幅広い利活用を目指す取り組みを高く評価• IT 基盤技術開発– アーキテクチャー，システムソフトウェア，セキュリティ等，IT 技術の基盤的研究につながる課題を高く評価：各構成研究拠点の研究者との共同研究• 拠点連携– 複数構成拠点の資源を活用，複数拠点の研究者との連携体制– 広域分散型の大規模情報システム，アプリケーションのマルチプラットフォーム実装• 大規模データ・大容量ネットワーク利用• 計算機資源の利用のみではなく，研究開発的要素が大きい課題を採択

13

共同研究の分類• 一般共同研究課題（採択課題数全体の8 割程度）
• 国際共同研究課題（採択課題数全体の1 割程度）

– 国際共同研究課題は，国内の研究者のみでは解決や解明が困難である問題について，国外の研究者と学際的な共同研究を実施する– 国外の共同研究者との打ち合わせ等の出張旅費を助成する制度がある• 1名・2週間程度の滞在可能• 企業共同研究課題（採択課題数全体の1 割程度）
– 産業応用を重視した学際的な共同研究• 各課題とも，大学・研究機関，民間企業からの参加が可能• （分野1，分野2），（HPCI（スパコン利用），非HPCI）という組み合わせがあるが，ここでは（分野1・HPCI）に限定

応募資格• 課題代表者– 日本国内の機関（大学・研究機関，民間企業等）に所属する者• 学生参加– 大学院生のみ，課題代表者，副代表者にはなれない• 非居住者の参加（国際共同研究課題含む）– 利用する計算機を運用している構成拠点に所属している研究者が共同研究者として参加する必要がある⇒東大のスパコンを使う場合は必ず東大センターのメンバーを含む（ご相談ください）（規定★）• 国際共同研究課題– 副代表者として日本国外機関所属研究者を1名以上含む必要がある– 英文申込書による応募を必須，規定★を満たす• 企業共同研究課題– 課題代表者は必ず民間企業に所属する研究者– 副代表者の1名以上は規定★を満たす

14

その他
• 共同研究期間– 2022年4月1日～2023年3月31日• 利用負担金：無料• 課題審査：書類審査• 資源量– 単一拠点利用：各資源ごとの（利用資源量／最大資源量）の和の上限：1.00– 複数拠点利用：1.20• 東大の場合は必ずしもこれには準じていないので，個別にご相談ください• 応募方法（分野1・HPCI）– https://jhpcn-kyoten.itc.u-tokyo.ac.jp/ja/cfp– 様式記入，Web経由で登録，所属機関長（部局長）の連絡先を登録– 利用分野（数値計算，データ処理，ネットワーク，情報システム）師弟

15

16

留意事項
• 採択研究課題の目的にのみ研究資源等を利用すること。
• 平和利用目的の提案であること。
• 人権および利益保護への配慮を行うこと。
• 文部科学省「生命倫理・安全に対する取組」に適合すること。
• 厚生労働省「研究に関する指針について」に適合すること。
• 経済産業省「安全保障貿易管理について」に適合すること。
• 実質的に同一の研究課題と思われる課題（ほぼ同等の研究体制・研究
テーマの課題や，研究対象のみが異なる課題など）は採択しません。

17

スケジュール• 応募– 申込み締切：2022年1月6日（木）17:00（厳守）– 2022年3月中旬までに結果通知• 研究実施– 開始：2022年4月1日（金）– 第14回JHPCN シンポジウム（研究内容紹介）：2022年7月上旬– 中間報告書：2022年10月中旬– 共同研究期間終了：2023 年3月31日(金)– 最終報告：2023 年5月中旬– 第15回JHPCN シンポジウム（研究成果報告）：2023年7月上旬• 中間報告書（2ページ程度），最終報告書提出は必須• シンポジウム発表は必須（2020・2021年度は完全オンライン）

18• JHPCNの概要• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Oakbridge-CX• Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み

FY11

12

13

14

15

16

17

19

20

21

Oakforest-PACS (OFP) (JCAHC)
Fujitsu, Intel Xeon Phi
25.0 PFLOPS, 8.51 PB/sec.

Oakleaf-FX, Fujitsu PRIMEHPC FX1025

OFP-II(JCAHPC)
100+ PF ?

Fujitsu A64FX (Odyssey) +Intel Xeon Ice Lake/NVIDIA A100
(Aquarius)
33.1 PFLOPS, 8.38 PB/sec.

Oakbridge-FX, Fujitsu

SPARC64 IXfx
136.2 TFLOPS, 49.0 TB/sec.

利用者2,600+名
55％は学外24

BDEC: Wisteria/BDEC-01, Fujitsu

SPARC64 IXfx
1.13 PFLOPS, 408.0 TB/sec.

東京大学情報基盤センターのスパコン

23Intel Xeon Cascade Lake
6.61 PFLOPS, 385.2 TB/sec.

IBM Power-7
54.9 TFLOPS, 28.7 TB/sec.

AMD Opteron140.0 TF, 38.1 TB/sec.

22

Oakbridge-CX, Fujitsu

Yayoi, Hitachi SR16000/M1
T2K Tokyo, Hitachi

18

Data Platform (mdx), FujitsuIntel Ice Lake/NVIDIA A100 etc.
8.50 PFLOPS, 0.665 PB/sec.

Reedbush-U/H, HPEIntel BDW + NVIDIA P100
1.93 PFLOPS, 258.6 TB/sec.

Reedbush-L, HPEIntel BDW + NVIDIA P100
1.43 PFLOPS, 197.2 TB/sec.

19

Platform for Integration of (S+D+L)
Big Data & Extreme Computing

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Shared File
System
（SFS）

25.8 PB, 500 GB/s

2.0 TB/s

Data/Learning
Nodes: AquariusIntel Ice Lake + NVIDIA A100

7.20 PF, 578.2 TB/s

Fast File
System（FFS）

1 PB, 1.0 TB/s

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末（予定）• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)

800 Gbps

External
Resources

External
Resources
External Network

Simulation Nodes（Odyssey）• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末（予定）• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF

Data/Learning Nodes（Aquarius）• 2019年7月～2023年6月末（予定）• 6.61 PF, #110 in 58th TOP500-June 2023 (Plan)

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#17)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#106)• 33.1 PF, 2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Reedbush

Oakforest-PACS

Oakbridge-CX

21

柏キャンパス
OFP，OBCX

柏IIキャンパス
Wisteria/BDEC-01，mdx
ABCI/ABCI-II

TX「柏の葉キャンパス」駅

22November 2021 (SC21)の諸ランキング

Wisteria/BDEC-01のシミュレーションノード群（Odyssey）とデータ・学習ノード
群（Aquarius）は別々に測定・申請
System

TOP500

Green500

HPCG

Graph500

HPL-AI

Oakforest-PACS

39

65

23

-

-

Oakbridge-CX

110

62

71

-

-

Wisteria/BDEC-01（Odyssey）

17

27

9

3

9

Wisteria/BDEC-01（Aquarius）

106

15

58

-

-

23

各種ベンチマーク（1/2）• TOP 500（Linpack，HPL）– 連立一次方程式ソルバー（直接法），計算速度（FLOPS値）– 規則的な密行列：連続メモリアクセス– 計算性能• HPCG– 連立一次方程式ソルバー（反復法），計算速度（FLOPS値）– 有限要素法から得られる疎行列（ゼロが多い）• 不連続メモリアクセス• 実アプリケーションに近い– メモリアクセス性能，通信性能• Green 500– HPL（TOP500）実行時のFLOPS/W値

58th TOP500 List (Nov., 2021)
Site, Yearhttp://www.top500.org/

Rmax: Performance of Linpack (TFLOPS)
Rpeak: Peak Performance (TFLOPS), Power: kW

Computer, Vendor

Cores

Rmax
Rpeak
(TFLOPS) (TFLOPS)

24

Power
(kW)

1 Fugaku, 2020, Japan

Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz,
Tofu-D

7,630,848

442,010(= 442.0 PF)

537,212.0

29,8992 Summit, 2018, USA

IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

2,414,592

148,600

200,795

10,0963 Sierra, 2018, USA

IBM Power System S922LC, IBM POWER9 22C 3.1GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

1,572,480

94,640125,7127,438

4 Sunway TaihuLight, 2016, China

Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway

10,649,600

93,015

125,436

15,371

761,856

70,87094,7502,589

555,520

63,46079,215.0

2,646

4,981,760

61,445

100,679

18,482449,280

44,12070,9801,764

669,760

35,45051,7202,252

ND96amsr_A100_v4, AMD EPYC 7V12 48C 2.45GHz,
NVIDIA A100 80GB​, Mellanox HDR Infiniband

253,440

30,05039,531ABCI 2.0, 2021, Japan

Fujitsu PRIMERGY GX2570 M6, Xeon Platinum 8360Y 36C
2.4GHz, NVIDIA A100 SXM4 40 GB, InfiniBand HDR

504,000

22,20854,341

1,600

Wisteria/BDEC-01 (Odyssey), 2021,

Fujitsu PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofu

368,640

22,121

25,952

1,468

R-CCS, RIKEN

DOE/SC/Oak Ridge National Laboratory
DOE/NNSA/LLNL

National Supercomputing Center in Wuxi

5 Perlmutter, 2021, USA

HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz, NVIDIA
A100 SXM4 40 GB, Slingshot-10
DOE/NERSC/LBNL
NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
6 Selene, 2020, USA
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
NVIDIA
TH-IVB-FEP Cluster, Intel Xeon E5-2692v2 12C 2.2GHz, TH
7 Tianhe-2A, 2018, China
National Super Computer Center in Guangzhou Express-2, Matrix-2000
JUWELS Booster Module, 2020,
Bull Sequana XH2000, AMD EPYC 7402 24c 2.8GHz,
8 Germany Julich (FZJ)
NVIDIA A100, Mellanox InfiniBand HDR
Dell C4140, Xeon Gold 6252 24c 2.1GHz, NVIDIA Volta
9 HPC5, 2020, Italy
GV100, Mellanox InfiniBand HDR
Eni S.p.A.

10 Voyager-EUS2, 2021, USA
Azure East US 2

16 AIST

17 Japan ITC, University of Tokyo25

各種ベンチマーク（2/2）• Graph 500 BFS– グラフ処理におけるデータ処理効率– BFS（Breadth-First-Search，幅優先探索）• HPL-AI– AI・機械学習向けHPL（for TOP500）– 科学技術計算（HPL）⇒倍精度演算（FP64）– HPL-AI⇒低精度演算を含む混合精度演算

26

GFLOPS（ピーク性能）当たり利用負担（円）：電気代
GFLOPS/W（Green 500）
JPY/GFLOPS
Small is GoodGFLOPS/W
Large is Good

Oakleaf-FX/Oakbridge-FX (Fujitsu)(Fujitsu SPARC64 IXfx)

125

0.866

Reedbush-U (HPE) (Intel Xeon Broadwell (BDW))

61.9

2.310

Reedbush-H (HPE) (Intel BDW+NVIDIA P100x2/node)

15.9

8.575

Reedbush-L (HPE) (Intel BDW+NVIDIA P100x4/node)

13.4

10.167

Oakforest-PACS (Fujitsu) (Intel Xeon Phi/KNL)

16.5

4.986

Oakbridge-CX (Fujitsu) (Intel Xeon Cascade Lake)

20.7

5.076

Wisteria-Odyssey （Fujitsu/Arm A64FX）

17.8

15.069Wisteria-Aquarius （Intel Xeon Ice Lake + NVIDIA A100x8）

9.00

24.058System27

各システムの月平均利用率履歴
100

Utillization Rate (%)

90
80
70
60
50
40
30
20
10
0

Oakleaf-FX

Oakbridge-FX

Reedbush-U

Reedbush-H

Reedbush-L

Oakforest-PACS

Oakbridge-CX

28

研究分野別利用CPU時間割合（2020年度）
工学・
ものづくり
データ
科学
生物科学
生体力学
地球科学・
宇宙科学
エネルギー・
物理学
材料科学

メニィコアクラスタ
Intel Xeon Phi(Oakforest-PACS)

Engineering
Earth/Space
Material
生物科学
生体力学
Energy/Physics
Info. Sci. : System
エネルギー・
工学・
Info.
Sci. : Algrorithms
物理学
ものづくり
Info. Sci. : AI
Education
Industry
材料科学
Bio
Bioinformatics
地球科学・Social Sci. &宇宙科学
Economics
Data
マルチコアクラスタ
Intel CLX
(Oakbridge-CX)

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

29

研究分野別利用CPU時間割合（2020年度）
バイオインフォマ
ティクス・医療画像処理・ゲノム解析

工学・
ものづくり

地球科学・ Engineering
宇宙科学 Earth/Space

生物科学
生体力学
材料科学
情報科学：AI
情報科学：
アルゴリズムGPUクラスタ (2GPUs/node)Intel BDW + NVIDIA P100
(Reedbush-H)

工学・
ものづくり

バイオインフォマ
Material
ティクス・医療画像
Energy/Physics
処理・ゲノム解析
Info. Sci. : System 材料科学
Info. Sci. : Algrorithms
Info.
Sci. : AI
生物科学
情報科学：
生体力学
アルゴリズム
Education
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data
GPUクラスタ (4GPUs/node)Intel BDW + NVIDIA P100
(Reedbush-L)

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
Industry
産業利用
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Data
データ科学・データ同化

30

2020年度分野別 ■汎用CPU，■GPU
RB-H

バイオ
インフォマ
ティクス

生物科学・
生体力学
材料科学
情報科学：AI
情報科学：
アルゴリズム
生物科学・
生体力学
産業利用
エネルギー・
物理学

工学・
ものつくり

材料科学

OBCX

Engineering
Engineering
Earth/Space データ
Earth/Space
Material
RB-L
Material
OFP 科学バイオ
Energy/Physics
Energy/Physics
生物科学・
インフォマ
Info. Sci.
: SystemInfo. Sci.ティクス: System 材料科学
生体力学
Info. Sci. : Algrorithms 地球科学・
Info. Sci. : Algrorithms
生物科学・Info. Sci. : AI
宇宙科学
情報科学：
Info.
Sci. : AI
生体力学
エネルギー・
アルゴリズム Education
Education
物理学
Industry
Industry
情報科学：AI
Bio
Bio
Bioinformatics
材料科学
Bioinformatics
Social Sci. & Economics
Social Sci. & Economics
Engineering
Data
Data
Earth/Space
Material
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
Industry
Bio
Bioinformatics
Social Sci. & Economics

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algrorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

31

本年度分野別（9月末時点） ■汎用CPU，■GPUOdyssey，Aquariusは8月・9月分
Engineering
RB-H
バイオ
インフォマ
ティクス

材料科学

生物科学・
生体力学
情報科学：
AI

工学・
ものつくり

企業利用
エネルギー・
物理学

材料科学

OBCX

地球科学・
宇宙科学

Earth/Space社会
RB-L
Material
科学
Energy/Physics 材料科学
Info. Sci. : System
Info.バイオSci. : Algrorithms
Info.インフォマ
Sci. : AI
情報科学：AIティクス
Education
Industry
Bio
生物科学・
Bioinformatics
生体力学
Social Sci. & Economics
Engineering
Data
Earth/Space
Material
Energy/Physics
Info. Sci. : System 工学・ものつくり
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
Industry 地球科学・
宇宙科学
Bio
Bioinformatics
Social Sci.Odyssey& Economics

Engineering
Earth/Space
Material
OFP
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms 地球科学・
Info. Sci. : AI
宇宙科学
エネルギー・
Education
物理学
Industry
Bio
Bioinformatics
Social Sci. & Economics
Engineering
Data
Earth/Space
Material データ
科学
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms
Info. Sci. : AI
地球科学・
Education
宇宙科学
Industry
材料科学
Bio
Bioinformatics
Aquarius
Social Sci. & Economics

工学・ものつくりEngineering
地球科学・宇宙科学
Earth/Space
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
Industry
産業利用
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Engineering
Data
データ科学・データ同化
Earth/Space
Material
Energy/Physics
地球科学・宇宙科学
Info. Sci. : System⇒
分野ではOFP
Info. Sci. : Algrorithms
Wisteria/BDEC-01
Info. Sci. : AIへの移行が順調に進Education
んでいるIndustry
Bio
Bioinformatics
Social Sci. & Economics

32

全地球大気環境シミュレーション
東大大気海洋研究所，東大理学系研究科等

NICAM:
Semi-Unstructured Grid

NICAMAgrid
NICAMZMgrid

MIROC-A:
FDM/Structured GridApp. A

MIROC-A
Atmospheric
Model-1* Also applicable to full coupling,
multiple applications

2. Send-data extraction fromthe buffer, and data sending

Atmospheric
Model-2

ひまわり SST (1時間毎)

J-cup

ppOpen-MATH/MP
Coupler•Grid Transformation• Multi-Ensemble•IO•Pre- and post-process•Fault tolerance•M×N

Ocean Model

COCO
Regional COCO
Matsumuramodel

Post-Peta-Scale
System-System S/W-Architecture

1. Data-packing
into a buffer
4. Data extraction
from the buffer

3. Data-packing after theinterpolation process
COCO: Tri-Polar FDM

Regional Ocean Model
Non Hydrostatic Model

モデル SST（6時間毎）

App. B〔画像提供：佐藤正樹教授・
羽角博康教授（東大・大気海洋研）〕

地震シミュレーション・地殻変動

33〔画像提供：古村孝志教授・
市村強教授（東大・地震研）〕

東大地震研究所，東大理学系研究科等○ 使用データ(K-NET, KiK-net 446点)(a) 同化波動場(b) 予測波動場

都心の長周期地震動予測結果c) Resident evacuationa) Earthquake wave propagation

0 km

-7 km

応答スペクトル予測結果

Two million agents evacuating to nearest safe site

Ikebukuro

Earthquake
Ueno

Shinjuku

Tokyo station

Shinbashi
Shibuya

90秒間の同化予測計算b) City response simulation〔画像提供：
安藤亮輔准教授（東大・理学系）〕

Post earthquake

34

二酸化炭素地下貯留シミュレーション
大成建設，理化学研究所等〔画像提供：
山本肇博士（大成建設）〕(a) Tokyo Bay Model–Large scale hydro-geological model–
InjectionWell

30 million DoF

Yamamoto et al. (2009)

10km(b) DDC (Diffusion-Dissolution-Convection)–Highly non linear process model–
Injection Well

Caprock (Low permeable seal)
Supercritical
CO2

Reservoir

Local-scale
Model

Native Groundwater (Brine)

6 million DoF(c) SPE 10 Model–Highly heterogeneous reservoir model–
Producer

3.3 million DoF
Injector

Injector

Original
Reservior Model
Christie and Blunt (2001)
Qi et al. (2009)
Audigane et al.(2011)

Yamamoto et al. (2013)※DOF: degrees of freedom

CO2 behavior(No upscaling)ゲリラ豪雨予測のリアルタイム実証実験 （理化学研究所）
Data assimilation

August 201915:30:00

PAWR
Obs

SCALELETKF
Analysis〔画像提供：三好建正博士（理化学研究所）〕

15:40:00

November 2019

Bug
• MPI communicator
Optimization
Very stable! • Obs pre-processing• Visualization• NWP model setting

Forecast

全体のワークフロー

35

計算性能の向上。上段はデータ同化、下段は30分予報にかかった時間(秒)。
(左)2019年8月、(右)2018年11月。
FT=0min
FT=10min
FT=20min

15:50:00

dBZ
PAWR
Obs

dBZ

SCALE
Forecast

2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALE2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALELETKFによる予報で得られたレーダー反射強度(dBZ)を示す。
LETKFによる解析で得られたレーダー反射強度(dBZ)を示す。

36「COVID-19」対応HPCI臨時公募課題全14のうち6課題が東大システムを利用（2020年度）
課題名

代表者（所属）

-4.82
9.32
-3.14
-8.50

使用システム-11.88 Thr25

中央：全体図

His41

7.41
-3.36
-6.76

Asp187

新型コロナウイルスの主要プロテアーゼに関するフラグメント分子軌道計算

望月 祐志（立教大学）
Met165COVID-19治療の候補薬: chloroquine、hydroxychloroquine、azithromycinの催不整脈リ
スクの評価ならびにその低減策に関する研究

久田 俊明（株式会社UTHeart研究所 / 東大）

新型コロナウィルス表面のタンパク質動的構造予測

杉田 有治（理化学研究所）

Asn142

Glu166

Oakforest
PACS-10.0313.55-4.41-10.88TOTAL-185.55

ES-147.05

Glu166

Asp187-47.70
5.45
-3.70
-8.38

-32.70
0.38
-0.80
-2.09

EX
101.64

-4.91
13.38
-5.98
-9.99
CT
-34.86

DI-105.28〔資料提供：望月祐志教授（立教大学）〕

計算機解析によるSARS-CoV-2増殖阻害化合物の 星野 忠次
探索（千葉大学）
室内環境におけるウイルス飛沫感染の予測とその対策：富岳大規模解析に向けたケーススタディ

坪倉 誠（神戸大学）

Spreading of polydisperse droplets in a turbulent Marco Edoardo Rosti
puff of saturated exhaled air（OIST）

Oakbridge
CX〔資料提供：坪倉誠教授（神戸大学）〕

37

YouTubeチャンネルのご紹介
研究事例紹介や、セミナー・講習会の録画などをご覧になれます。
• 「東京大学情報基盤センター」チャンネル
https://www.youtube.com/channel/UC2CHaGp1AO-vqRlV7wmU0-w– Wisteria/BDEC-01システム紹介
https://www.youtube.com/watch?v=SXjYtatzo4&list=PLobjSv_ny85lW03OAPUJ9DWJoHhNiQgvY&index=3&t=104s– 第10回JCAHPCセミナー
https://www.youtube.com/playlist?list=PLobjSv_ny85mfPTuCC2i7r_sPQYKZvy2e– 柏キャンパス一般公開
https://www.youtube.com/playlist?list=PLobjSv_ny85kr1Ig2m-bUiMC2a9W6k53u
https://www.youtube.com/watch?v=q-0QtU7Ops4&t=116s– JCAHPCセミナー：「人類と地球を護るスーパーコンピューティング」
https://www.youtube.com/playlist?list=PLobjSv_ny85l-z-VJCy690ZjlAA04xCRA– お試しアカウントつき講習会
https://www.youtube.com/playlist?list=PLobjSv_ny85kXY2Mtnhn1k7pM-epQaD2y

38• JHPCNの概要• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Oakbridge-CX• Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込みSociety 5.0：日本が提唱する未来社会のコンセプト

39

デジタル革新・イノベーション（IoT，AI，ビッグデータ等）により，サイバー空間（仮想）とフィジカル空間（現実）を高度に融合させたシステムを構築し，経済発展と社会的課題の解決を両立する，超スマートな人間中心の社会
5.0: Super Smart
4.0：情報3.0：工業
2.0：農耕1.0：狩猟スーパーコンピューティング
の今後

生物科学・
生体力学
産業利用
エネルギー・
物理学• ワークロードの多様化– 計算科学，計算工学：Simulations– 大規模データ解析– AI，機械学習

工学・
ものつくり

材料科学

CPU Cluster
Oakbridge-CX

Engineering
Earth/Space
Material
バイオ
Energy/Physics
インフォマティクス
Info. Sci. : System材料科学
Info. Sci. : Algrorithms
Info. Sci. : AI
情報科学：
生物科学・
Education
アルゴリズム
生体力学
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data

GPU Cluster

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

Reedbush-L• （シミュレーション（計算）＋データ＋学習）融合⇒Society 5.0実現に有効– フィジカル空間とサイバー空間の融合• S:シミュレーション（計算）（Simulation）• D:データ（Data）• L：学習（Learning）– Simulation + Data + Learning = S+D+L• 2021年春に柏IIキャンパスで始動– BDEC（Wisteria/BDEC-01）：賢いスパコン– Data Platform（mdx）：Cloud的，よりフレキシブル

BDEC: S + D + L
mdx: S + D + L

40

41

（シミュレーション（計算）＋データ＋学習）融合（S+D+L）• 東大情報基盤センターでは，2015年頃から「（S+D+L）融合」の重要性に注
目し，それを実現するためのハードウェア，ソフトウェア，アプリケーション，ア
ルゴリズムに関する研究開発を開始– BDEC計画（Big Data & Extreme Computing）– 「データ＋学習」による「シミュレーション」• 2021年5月に運用を開始した「Wisteria/BDEC-01」は「BDEC計画」の1号機– Reedbush，Oakbridge-CXは「BDEC」のプロトタイプと位置づけられるWisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

42

シミュレーションノード群

Odyssey

Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System
共有ファイルシステム（SFS）

25.8 PB, 500GB/s

2.0TB/s

データ・学習ノード群
Aquarius

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

Fast File
System

高速ファイルシステム（FFS）
1PB, 1.0TB/s

800 Gbps

External
Resources
External Network
外部ネットワーク

外部リソース

Wisteria/BDEC-01（S+D+L）融合プラットフォーム
Platform for Integration of (S+D+L)
Big Data & Extreme Computing
Odyssey

Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

共有ファイルシステム（SFS）

25.8 PB, 500GB/s

2.0TB/s

データ・学習ノード群
Aquarius

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

Fast File
System

高速ファイルシステム（FFS）
1PB, 1.0TB/s

800 Gbps

External
Resources
External Network
外部ネットワーク– 手賀沼（柏市）に伝わる「藤姫伝説」• Odyssey

シミュレーションノード群

Shared File
System• Wisteria （紫藤）– アポロ13号・司令船（Command
Module, CM）のコールサイン• Aquarius– アポロ13号・月着陸船（Lunar
Module，LM）のコールサイン• 人類と地球を護る

外部リソースhttps://www.cc.u-tokyo.ac.jp/public/pr/pr-wisteria.php

43

システム構成図
シミュレーションノード：7,680ノード (総理論演算性能 25.9 PFLOPS、総メモリバンド幅 7.8 PB/s)
データ・学習ノード：45ノード (総理論演算性能 7.2 PFLOPS、総メモリバンド幅 578.2 TB/s)
外部接続ルータ (Ethernet)

シミュレーションノード群

ログインノード

データ・学習ノード群

7,680ノード

ログインノード共有ファイルシステム

20ノード

45ノード

FUJITSU Server
PRIMERGY RX2530 M5 x 20ノード
総理論演算性能(倍精度)：96TFLOPS
総メモリ容量：7.5TiB
FUJITSU Supercomputer
シミュレーションノード間
PRIMEHPC FX1000 x 7,680ノード (20ラック) ネットワーク(TofuインターコネクトD)
総理論演算性能(倍精度) : 25.9PFLOPS
バイセクションバンド幅：13TB/s
総メモリ容量：240TiB
総メモリバンド幅 : 7.8PB/s

・外部ネットワーク
・柏キャンパス・mdxシステム

FUJITSU Server
PRIMERGY GX2570 M6 x 45ノード(ノードあたり Intel Xeon Platinum 8360Y
Processor (2.40GHz, 36コア) x2)(ノードあたり NVIDIA A100 x 8基)
総理論演算性能(倍精度)：7.2PFLOPS
総メモリ容量：36.5TiB,総メモリバンド幅：578.2TB/s

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX60 S5 x 1
有効利用容量：14.4TB

データ・学習ノード間ネットワーク 兼 ノード群結合ネットワーク (InfiniBand EDR/HDR)
ライフネットワーク/管理ネットワーク (Ethernet)
高速ファイルシステム
MDS,MDT x1セット

OSS,OST x16セット

ファイルシステム：FEFS
1PB
ストレージデータ転送速度：1.0TB/s
MDS：PRIMERGY RX2530 M5 x 2
MDT：ETERNUS AF250 S3 x 1
OSS, OST : 2VM/CM, DDN SFA400NVXE x 16

FUJITSU CONFIDENTIAL

共有ファイルシステム
MDS,MDT x1セット

管理サーバ群

管理サーバ群ネットワークストレージ

OSS,OST x16セット
FUJITSU Server
PRIMERGY RX2530 M5
x 13(ジョブ管理x5、運用管理x2、
認証x2、Webポータルx2、セキュリティログx2)

ファイルシステム：FEFS
25PB
ストレージデータ転送速度：0.5TB/s
MDS：PRIMERGY RX2530 M5 x 4
MDT：ETERNUS AF250 S3 x 1
OSS, OST : 1VM/CM, DDN SFA7990XE x 16

44

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX100 S5 x 1
有効利用容量：420TB

Copyright 2020 FUJITSU LIMITED45

A64FX：CMG（Core Memory Group）
TofuD コントローラ

PCIe コントローラ
CMG#2

HBM2

1

2

3

0

1

2

3

4

5

6

7

4

5

6

7

8

9

10 11

8

9

10 11

0

1

2

3

0

1

2

3

4

5

6

7

4

5

6

7

8

9

10 11

8

9

10 11

2021/6/4

CMG#1

リ
ン
グ
バ
ス

講習会「Wisteria実践」

CMG#3

HBM2

0

HBM2

HBM2

CMG#0

46

Wisteria-OdysseyのTofu-D• Tofu-D 形状: 全20ラック• (X, Y, Z, a, b, c) = (10, 8, 8, 2, 3, 2) 3次元、2次元、1次元に展開して指定可能
典型的な例（全系）• 3次元: 20 x 24 x 16

シェルフ内に12枚搭載
シェルフ当たりは(1, 1, 2, 2, 3, 2)

c軸

X軸 (2シェルフ x 5ラック = 10) トーラス

• X*a, Y*b, Z*c• 2次元: 60 x 128• X*a*b, Y*Z*c• 1次元: 7680

Z軸
(2x4シェルフ=8)
• 参考：
トーラス
• ジョブ運用ソフトウェア

エンドユーザ向けガイド• MPI使用手引書

Y軸 (2シェルフ x 4ラック = 8) メッシュ
2021/6/4

講習会「Wisteria実践」

47

Aquariusの構成• Intel Xeon Platinum 8360Y (36c 2.4GHz) x 2ソケット, 512GBメモリ• ノード当たり8基のNVIDIA A100 GPU
メモリバンド幅：
409.6 GB/sec

DDR4
DDR4
DDR4
DDR4
DDR4
DDR4
DDR4
DDR4

x16

IBHDR
IB HDR:
200 Gbps x 4 link
(ノード当たり)x16

PCIe Gen4
x16

A100

UPI

CPU1
Intel Xeon Platinum
8360Y
(ICX)

CPU2
Intel Xeon Platinum
8360Y
(ICX)
x16

x16

PLX
x16

IBHDR

A100

x16

x16

PLX

PLX

x16

x16

x16

A100

A100

A100

PLX

x16
x16

A100

NVSwitch
NVSwitch
NVSwitch
NVSwitch
NVSwitch
NVSwitch
2021/6/4

DDR4
DDR4
DDR4
DDR4
DDR4
DDR4
DDR4
DDR4

講習会「Wisteria実践」

IBHDR

x16

A100

PCI Express:
Gen4 x16 = 16 GHz x 16 (128b130b)= 31.5 GB/s (片方向)
x16

IBHDR

PCIe Gen4
x16

A100

NVLink3:
GPU当たり 50 GHz x4x2 x6= 300 GB/s (片方向)48Wisteria-O (Odyssey)

Wisteria-A (Aquarius)

25.9 PFLOPS

7.2 PFLOPS

7,680

45

240.0 TiB

36.5 TiB

ネットワークトポロジー

6 次元メッシュ / トーラス

Full-bisection Fat Tree

インターコネクト

TofuインターコネクトD

InfiniBand HDR(200Gbps) x 4

項目
総理論演算性能
総ノード数
総主記憶容量共有ファイルシステム

高速ファイル
システム

49

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA7990XE

サーバ(OSS)数16

ストレージ容量

25.8 PB

ストレージデータ転送速度

504 GB/s

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA400NVXE

サーバ(OSS)数16

ストレージ容量

1.0 PB

ストレージデータ転送速度

1.0 TB/sWisteria-O (Odyssey)

項目

FUJITSU Supercomputer
PRIMEHPC FX1000

FUJITSU Server PRIMERGY GX2570
M6

A64FX

Intel Xeon Platinum 8360Y（開発コード名：Ice Lake）

プロセッサ数 (コア数)

1 (48+アシスタントコア2 or 4)

2 (36+36)

周波数
理論演算性能
メモリ容量
メモリ帯域幅プロセッサ名
SM数（単体）
メモリ容量（単体）
メモリ帯域幅（単体）
理論演算性能（単体）
搭載数

2.2 GHz
3.3792 TFLOPS
32 GB
1,024 GB/s

2.4 GHz5.53 TFLOPS
512 GiB
409.6 GB/s
NVIDIA A100
108
40 GB
1,555 GB/s
19.5 TFLOPS
8PCI Express Gen4 x 16レーン(1レーンあたり片方向32 GB/s)

マシン名
プロセッサ名CPUGPUCPU-GPU間接続
GPU間接続50

Wisteria-A (Aquarius)-

NVLink x 12本(1本あたり片方向25GB/s)

51

ソフトウェア群
項目

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

OS

Red Hat Enterprise Linux 8 (aarch64)

Red Hat Enterprise Linux 8 (x86_64)

コンパイラ

GNU コンパイラ

GNU コンパイラ

メッセージ通信ライブラリ

富士通社製 コンパイラ(Fortran77/90/95/2003/2008、C、
C++)

Intel コンパイラ(Fortran77/90/95/2003/2008、
C、C++)NVIDIA HPC SDK(Fortran77/90/95/2003/2008、C、C++、
OpenACC 2.7)
NVIDIA CUDA SDK(CUDA C、CUDA C++)

富士通社製MPIIntel MPI、Open MPI

52

項目

ライブラリ

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

SuperLU、 SuperLU MT、 SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PTScotch、PETSc、Trillinos、FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、HDF5、Parallel HDF5、CMake、Miniconda、Xabclib、ppOpen-HPC、MassiveThreads、Boost C++、
mpiJava
富士通社製ライブラリ(BLAS、CBLAS、
LAPACK、 ScaLAPACK)

アプリケーション

Intel社製ライブラリ(MKL)(BLAS、CBLAS、LAPACK、ScaLAPACK）、cuBLAS、cuSPARSE、cuFFT、MAGMA、cuDNN、NCCL

OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP-Coupler、
REVOCAP-Refiner、OpenMX、MODYLAS、GROMACS、BLAST、R packages、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、ROOT、Geant4、
LAMMPS、CP2K、NWChem、DeepVariant、Paraview、Vislt、POV-Ray、TensorFlow、Chainer、
PyTorch、Keras、Horovod、MXNet
Theanoフリーソフトウェア

autoconf、automake、bash、bzip2、cvs、emacs、findutils、gawk、gdb、make、grep、gnuplot、
gzip、less、m4、python、perl、ruby、screen、sed、subversion、tar、tcsh、tcl、vim、zsh、git など
Globus Toolkit、Gfarm、FUSE

コンテナ仮想化

Singularity Community Edition

53
53

技術的な特徴など• Odyssey– SVE (Scalable Vector Extension)• Armv8-A命令セットアーキテクチャをスーパーコンピュータ向けに拡張– FP16– 機械学習・AIワークロードへの適用• Aquarius– HPC・計算科学への適用– CPU：Intel Xeon Ice Lake
• 3rd Generation Intel Xeon Scalable Processors• 推論，単独での利用は難しいが– GPU：NVIDIA A100 Tensor Core
• Tensor Core + Tensor Float [TF32]• Odyssey-Aquarius– InfiniBand-EDR

Simulation Nodes

Odyssey

計算科学コード

25.9 PF, 7.8 PB/s

Fast File
SystemShared File
System

1.0 PB,
1.0 TB/s

25.8 PB,
0.50 TB/s

（FFS）

（SFS）

シミュレーション
最適化されたモデル， ノード群，Odyssey
パラメータ

機械学習，DDA

Data/Learning Nodes

データ・学習ノード群
Aquarius

観測データ

データ同化
データ解析

Aquarius

7.20 PF, 578.2 TB/s

サーバー
ストレージ
DB
センサー群
他
54

Wisteria/BDEC-01

計算結果

外部ネットワーク

外部
リソース

Simulation Nodes

Odyssey

計算科学コード

25.9 PF, 7.8 PB/s

Fast File
SystemShared File
System

1.0 PB,
1.0 TB/s

25.8 PB,
0.50 TB/s

（FFS）

（SFS）

シミュレーション
最適化されたモデル， ノード群，Odyssey
パラメータ

機械学習，DDA

Data/Learning Nodes

データ・学習ノード群
Aquarius

観測データ

データ同化
データ解析

Aquarius

7.20 PF, 578.2 TB/s

シミュレーションのためのモデル・パラ
外部
メータのデータ解析，AI/機械学習によリソース
外部ネットワークる最適化（S+D+L）

サーバー
ストレージ
DB
センサー群
他
55

Wisteria/BDEC-01

計算結果

56

更に詳細な情報• A64FX（富士通）– https://www.fujitsu.com/jp/products/computing/servers/supercomputer/a64fx/– https://old.hotchips.org/hc30/2conf/2.13_Fujitsu_HC30.Fujitsu.Yoshida.rev1.2.pdf• FUJITSU PRIMEHPC FX1000– https://www.fujitsu.com/jp/products/computing/servers/supercomputer/• 3rd Gen Intel Xeon Scalable– https://www.intel.com/content/www/us/en/newsroom/news/3rd-gen-intel-xeon-scalablevideo.html#gs.zb3u0m– https://www.intel.com/content/www/us/en/newsroom/news/3rd-gen-xeon-scalableprocessors.html#gs.zb4d00– https://www.hotchips.org/assets/program/conference/day1/HotChips2020_Server_Processors_Intel_Irm
a_ICX-CPU-final3.pdf• NVIDIA A100 TENSORコア GPU– https://www.nvidia.com/ja-jp/data-center/a100/– https://www.hotchips.org/assets/program/conference/day1/HotChips2020_GPU_NVIDIA_Choquette_v01.pdf

The article on the Wisteria/BDEC-01
appears in HPCwire

https://www.hpcwire.com/2021/02/25/japan-to-debut-integrated-fujitsu-hpc-ai-supercomputer-this-spring/

57

57

58

参考リンク（ビデオ）• Wisteria/BDEC-01利用説明会– https://www.youtube.com/watch?v=1bbZVO6-UQg• h3-Open-BDEC：プロジェクトHP（工事中）– http://nkl.cc.u-tokyo.ac.jp/h3-Open-BDEC/• Wisteria/BDEC-01 & h3-Open-BDEC紹介講演（日本語）– https://www.youtube.com/watch?v=CsJ_9aGNXCg– https://www.pccluster.org/ja/event/pccc20/exhibition/itc-u-tokyo.html• Wisteria/BDEC-01 & h3-Open-BDEC紹介講演（英語）– https://www.youtube.com/watch?v=jX51NF2LniE

59

Wisteria-Messenger• Intel Xeon Gold 6348 (IceLake)– 2.6 GHz, 28 cores/socket– 2 sockets × 6 nodes– IB-HDR• Directly working with “Odyssey” forsupporting “Aquarius”– can access external resources directly– e.g. “Filtering” in the Earthquake Simulation– h3-Open-SYS/WaitIO-Socket• Operation has started– JHPCN users can access– Plan for public use is pending• 本当は「Mercury」という計画があって，そのプロトタイプとしてMessengerがある。

Simulation
Nodes:
Odyssey

Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Fast File System（FFS）InfiniBand

1 PB, 1.0 TB/s

Data/Learning
Nodes: Aquarius

Shared File
SystemIntel Ice Lake + NVIDIA A100

7.20 PF, 578.2 TB/s

（SFS）

25.8 PB, 500 GB/s

External
Resources

Messenger

Router for External Connection

External Network

60• JHPCNの概要• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Oakbridge-CX• Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み

61
61

Oakbridge-CX（OBCX）

https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/• 富士通製• Intel Xeon Platinum 8280（Cascade Lake，CLX）（28コア）×2– 合計1,368ノード，Omni-Path Architecture（OPA）• 共有ファイルシステム（Lustre）• 128ノードはSSD搭載，総容量200TBの高速ファイルシステムとして運用可– SSD搭載128ノードのうち16ノードは外部ネットワークに直接接続しており（外部接続ノード），外部リソース（サーバ，ストレージ，センターネットワーク等）との通信可能• ピーク性能6.61 PFLOPS，TOP500で69位（2020年11月）• 更に外部ネットワークに直接接続し，OBCX各計算ノードと連携するGPUサーバ（通称Mini-DP，Wisteria/BDEC-01の「データ・学習ノード」に相当）を利用可能

Oakbridge-CX(OBCX)
世界第110位
2021年11月現在
Fujitsu PRIMERGY CX2550 M562x1,368 node
体性能

論演算性能：
記憶容量：
モリバンド幅：
ック数：
SD搭載：

6.61PF
256.5TiB
385.1TB/s
21ラック
128ノードノード単体

理論演算性能：4.8384 TF
手記憶容量： 192GiB
メモリバンド幅： 281.6GB/s

計算ノード間ネットワーク (Omni-Path Architecture)
通信性能 100Gbps
管理サーバ群x10
Fujitsu PRIMERGY CX400 M1
シャーシ当たりCX2550 M5×4搭載

ステム

x15
FUJITSU Server
PRIMERGY RX2530 M4 x 15
(ジョブ、運用、認証、Web、
セキュリティログ保存)

ストレージ装置

12.4PB

ストレージ装置：DDN ES18KE x2セット
ファイルシステム：DDN ExaScaler(Lustreベースファイルシステム)

63
63Intel Xeon Platinum 8280（Cascade Lake-SP，CLX）
Memory
96 GB

DDR4
DDR4
DDR4
DDR4
DDR4
DDR4

Intel® Xeon®
Platinum 8280

(Cascade Lake, CLX)
2.7GHz, 28-Cores
2.419 TFLOPS
Soc. #0: 0th-27th cores

2933 MHz×6ch
140.8 GB/sec

UPI
UPI
UPI

Intel® Xeon®
Platinum 8280

(Cascade Lake, CLX)
2.7GHz, 28-Cores
2.419 TFLOPS
Soc. #1: 28th-55th cores

Ultra Path Interconnect
10.4 GT/sec ×3= 124.8 GB/sec

DDR4
DDR4
DDR4
DDR4
DDR4
DDR4

Memory96 GB2933 MHz×6ch
140.8 GB/sec• Intel Xeon Platinum 8280 (Cascade Lake, CLX)，富士通– 1,368 nodes, 6.61 PF peak，385.1 TB/sec,– 4.2+ PF for HPL• Network: Intel Omni-Path, 100 Gbps, Full Bi-Section• Storage: DDN EXAScaler (Lustre)– 12.4 PB, 193.9 GB/sec• Power Consumption:– 950.5 kVA

Fujitsu PRIMERGY CX2550 M5

64

全体構成
項目

6.61 PFLOPS

総理論演算性能

1,368=1,240+112+16

総ノード数

256.5 TiB

総主記憶容量Full-bisection Fat Tree

ネットワークトポロジー

並列ファイルシステム

仕様

システム名

Lustreファイルシステム

サーバ(OSS)DDN ES18K

サーバ(OSS)数8

ストレージ容量

12.4 PB

ストレージデータ転送速度

193.9 GB/s

65

ノードの構成項目

仕様

製品名

Fujitsu PRIMERGY CX2550 M5
1240

ノード数

プロセッサ数(コア数)

2 (28+28)

周波数

2.7 GHz
4.8384 TFLOPS

理論演算性能Memory192 GiB(DDR4)

インターコネクト
容量SSD

112+16

Intel® Xeon® Platinum 8280
（開発コード名：CascadeLake）

プロセッサ名CPU

Fujitsu PRIMERGY CX2560 M5

読み出し性能書き込み性能Intel ® Omni-Path ネットワーク (100 Gbps)-

1.6 TB(NVMe)
3.20 GB/s
1.32 GB/s

66

ソフトウェア構成
項目

構成

OS

Red Hat Enterprise Linux 7, CentOS 7

コンパイラ

GNU コンパイラ
Intel コンパイラ(Fortran77/90/95/2003/2008, C, C++)

メッセージ通信ライブラリ

Intel MPI, Open MPI, Intel Omni-Path Fabric Software

ライブラリ

Intel社製ライブラリ(MKL)(BLAS, CBLAS), その他(LAPACK, ScaLAPACK, SuperLU, SuperLU MT,
SuperLU DIST, METIS, MT-METIS, ParMETIS, Scotch, PT-Scotch, PETSc, Trillinos, FFTW, GNU
Scientific Library, NetCDF, Parallel netCDF, HDF5, Cmake, Anaconda, Xabclib, ppOpen-HPC,
ppOpen-AT, MassiveThreads

アプリケーション

Mpijava, OpenFOAM, ABINIT-MP, PHASE, FrontFlow/blue, FrontISTR, REVOCAP-Coupler,
REVOCAP-Refiner, OpenMX, xTAPP, AkaiKKR, MODYLAS, ALPS, feram, GROMACS, BLAST, R
packages, Bioconductor, BioPerl, BioRuby, BWA, GATK, SAMtools, Quantum ESPRESSO,
Xcrypt, Paraview, Vislt, POV-Ray

フリー
ソフトウェア

Autoconf, automake, bash, bzip2, cvs, emacs, nndutils, gawk, gdb, make, grep, gnuplot, gzip,
less, m4, perl, ruby, sed, ubversion, tar, tcsh, tcl, zsh, FUSE, git 等

コンテナ仮想化

singularity (dockerイメージ利用可)

Oakbridge-CX（OBCX）：
BDECに向けた実験システム• 全1,368ノードのうち128ノードにSSD（
Solid State Drive）搭載– Intel SSD＋BeeGFS• 容量：1.6 TB/node• 読み書き性能： 3.20/1.32 GB/s/node• BeeOND（BeeGFS-on-Demand）によって合計200+TB （128×1.6）の高速ファイルシステムとして使用可能– データ科学アプリケーション• ソフトウェア類も充実

BeeGFS on Demand (BeeOND)
OBCX
N000
SSD
1.6TB

OBCX
N001
SSD
1.6TB

OBCX
N002
SSD
1.6TB

OBCX
N00n
SSD
1.6TB

OBCX
N003
SSD
1.6TB

Temporary Storage with (n+1)×1.6TB（Max 204.8TB）

Total: 1,368 nodes
128 nodes
with SSD– ステージング，チェックポイント– 128ノードのうち16ノードはSINET経由で外部 OBCXの16ノード（外部接続ノード）
SINET経由で外部計算機資源に直接接続，リソース（サーバー，ストレージ，センサーネット BDECにおけるデータ・学習ード群と同様の役割ワーク）に直接接続⇒外部接続ノード

16

67

Mini-DP（1/2）• GPUサーバ1 ×1台– Intel Xeon Gold 6230 (Cascade Lake, ) (20コア) ×2– NVIDIA Tesla V100 32GB ×2– 192 GBメモリ，100 G bit Ethernet• GPUサーバ2 ×1台– Intel Xeon Gold 6230
(CLX) (20コア) ×2– NVIDIA Tesla T4
16GB ×4– 192 GBメモリ + 1.5
TB不揮発メモリ (Intel
DCPMM, Optane
DIMM)– 100 G bit Ethernet

68
68

Mini-DP（2/2）• 高速ストレージサーバ
×2台 (3.2TB NVMe
SSD ×6枚搭載）• GPUサーバ1, 2はOBCXのログインノード
ファイルシステムをマウ
ント、高速ストレージサー
バのNVMe SSDを
NVMe over Fabricsによりブロックデバイスとして
attachして利用可能（構成変更も応相談）

69
69

70

Mini-DP（Data Platform）
Total: 1,368 nodes
128 nodes
with SSD16

OBCXの16ノード

SINET経由で外部計算機
資源に直接接続
BDECにおける外部ノード（EXN）と融合ノード（ITN）の中間的役割Mini-DPGPUサーバー with NVMe
SSD，BDECのデータ学習
ノードとmdxの中間的役割

External
Resources

71

Oakbridge-CXに関する情報• 全般– https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/• 利用コース– https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/course.php• ジョブクラス– https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/job.php• 利用申込・利用負担金– https://www.cc.u-tokyo.ac.jp/guide/application/• FAQ– https://www.cc.u-tokyo.ac.jp/faq/obcx.php

7272

大規模共通ストレージシステム「Ipomoea」（1/2）• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途– 「計算・データ・学習」融合分野では，大量の観測データ、パラメータスタディの結果ファ
イルなどを処理する必要がある• 当センターでは従来ストレージは各システムに附属して導入され，各システムのストレージは独立– 近年は当センターのシステム数も増加，利用者も目的や手法に応じて複数のシステム
を同時に利用する事例が増加– システムがリプレースされる場合には大量のデータをバックアップする必要があった– 個別のワークロードのデータ量も増加• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，当センターの全システムからアクセス可能な共通ストレー
ジの導入が強く求められていた73
73

大規模共通ストレージシステム「Ipomoea」 （2/2）• 筑波大学と共同で最先端共同HPC 基盤施設（JCAHPC）によって運用しているOakforest-PACS（OFP）は，ピーク性能25PFLOPS を有するナショナルフ
ラッグシップ級のシステム、2022 年3 月末に運用終了予定• 2021年春，mdx ，Wisteria/BDEC-01 が運用を開始• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入を決定– 「大規模共通ストレージシステム（Ipomoea）」は約5–6 年使用し，約3 年ごとに新しいストレージシステム（25+PB）を導入し，入れ替えることを想定している

Supercomputers in ITC/U.Tokyo

74

Information Technology Center, The University of Tokyo

FY16

17

18

19

20

21

22

23

24

25

Oakbridge-CX, Fujitsu

26

27

28

29

30

OFP-II (JCAHPC)Intel Xeon Cascade Lake
6.61 PFLOPS, 385.2 TB/sec.

100+ PF ?

Oakforest-PACS (OFP) (JCAHPC)
Fujitsu, Intel Xeon Phi
25.0 PFLOPS, 8.51 PB/sec.

Wisteria-Mercury
BDEC: Wisteria/BDEC-01, Fujitsu

Fujitsu A64FX (Odyssey) +Intel Xeon Ice Lake/NVIDIA A100 (Aquarius)
33.1 PFLOPS, 8.38 PB/sec.

Yayoi
Oakleaf-FX
Oakbridge-FX

Reedbush-U/H, HPEIntel BDW + NVIDIA P100
1.93 PFLOPS, 258.6 TB/sec.

Reedbush-L, HPEIntel BDW + NVIDIA P100
1.43 PFLOPS, 197.2 TB/sec.

BDEC-02

Large-Scale Common Shared Storage (Ipomoea-XY)
Ipomoea-01

Ipomoea-03
Ipomoea-02

75
75
東京大学
柏キャンパス

Ipomoea-01• 2022年1月運用開始予定，25+PF• 2022 年6 月末までにOFPのLustre 領域の必要ファイルについて移行完了• 既存システム（2021年3月末）

10G

移行用
移行用

移行用
移行用
ノード
ノード
ノード
ノード

100G x4

40G

26.0 PB
Lustre

ログイン
ノード

1 PB
IME
Oakforest-PACS (JCAHPC)

ログイン
ノード

100G x2

25G
/ノード

100G
40G x2

10G
/ノード
GPU
+DCPMM
Nodes– OFP
50億ファイル 11 PB– OBCX 8.5億ファイル 2.6 PB

Oakbridge-CX拡張

100G
x2

• OPA

Ipomoea-01

接続用
サーバ

スパコン室2（第2総合研究棟2階)

SINET525 PB

利用支援
Webサーバ

ログイン
ノード
外部接続
ノード
外部接続
ノード

12.4 PB
Lustre
NVMe
NVMe
SSD
NVMe
SSD
NVMe
SSD
NVMe
SSD
SSD

Oakbridge-CX

NVMe
NVMe
SSD
SSD

スパコン室1（第2総合研究棟1階)

25G / ノード
25G / ノード

ログイン
ノード

NFS
サーバ

共有ストレージ
25.8 PB, FEFS
高速ストレージ
1.0 PB, FEFS

Aquarius

Wisteria/BDEC-01

Odyssey

400G x2

SINET5100G
x2(プライベート,L2)

25G / ノード

東京大学
柏IIキャンパス

VM

VM

計算ノード

外部共有
オブジェクトストレージ
10 PB, S3/Lustre

スパコン室（情報基盤センター)

大容量HDD
ストレージ
16 PB, Lustre

高速NVMeストレージ
1.0 PB, Lustre

mdx

76

• JHPCNの概要• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Oakbridge-CX• Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み

（計算＋データ＋学習）融合によるエクサスケール
時代の革新的シミュレーション手法

77• エクサスケール（富岳＋クラス）のスパコンによる科学的発見の持続的促進のため，計算科学にデータ科学，機械学習のアイディアを導入した（計算＋データ＋学習（S+D+L））融合による革新的シミュレーション手法を提案– (計算+データ+学習)融合によるエクサスケール時代の革新的シミュレーション手法 （科研費基盤S，代表：中島研吾（東大情基セ），2019年度～2023年度）• 革新的ソフトウェア基盤「h3-Open-BDEC」の開発：東大BDECシステム（
Wisteria/BDEC-01），「富岳」等を「S+D+L」融合プラットフォームと位置づけ，
スパコンの能力を最大限引き出し，最小の計算量・消費電力での計算実行を実現するために，下記2項目を中心に研究– 変動精度演算・精度保証・自動チューニングによる新計算原理に基づく革新的数値解法– 階層型データ駆動アプローチ（hDDA：Hierarchical Data Driven Approach）等に基づく革新的機械学習手法– Hierarchical, Hybrid, Heterogeneous ⇒ h3

78

h3-Open-BDEC「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤
https://h3-open-bdec.cc.u-tokyo.ac.jp/① 変動精度演算・精度保証・
自動チューニングによる新計算原理に基づく革新的
数値解法② 階層型データ駆動アプローチ（hDDA：Hierarchical
Data Driven Approach）
等に基づく革新的機械学
習手法
 Hierarchical, Hybrid,
Heterogeneous ⇒ h3

h3-Open-BDEC
New Principle for
Computations

Numerical Alg./Libraryh3-Open-MATH

Simulation + Data +Learning
App. Dev. Framework

h3-Open-APP:
Simulation

Algorithms with HighPerformance, High Reliability& Mixed/Adaptive Precision

Application Developmenth3-Open-VER

h3-Open-DATA: Data

h3-Open-AT

h3-Open-DDA:
Learning

Verification of Accuracy

Automatic Tuning

Data Science

Data Driven Approach

Integration +Communications+Utilities
Control & Utility

h3-Open-SYS

Control & Integration

h3-Open-UTIL

Utilities for Large-Scale
Computing79
79

期待される成果と意義• 計算科学の専門家のみで（S+D+L）融合を容易に実現– 機械学習の専門家のサポートを必要としない• ソースコード，マニュアル類も含めて一般に公開，様々なエクサスケールシス
テムでの普及を目指す– ポスト富岳も含めたポストムーア時代への展開• h3-Open-BDEC利用による（ S+D+L ）融合シミュレーションにより従来手法と同等の正確さを保ちつつ，大幅な計算量・消費電力削減を目指す（10分の1が目標）。
• シミュレーション高度化：パラメータスタディのケース数を削減できる• リアルタイム災害シミュレーション等への適用

Wisteria/BDEC-01上における
h3-Open-BDECを使用した（S+D+L）融合• シミュレーションとデータ同化の融合– 典型的・伝統的な（S+D+L）融合• 気候・気象のための大気海洋連成シミュ
レーション– 東大大気海洋研，理研，国立環境研他• リアルタイム同化＋三次元強震動シミュレーション

App. A– 東大地震研（後述）2. Send-data extraction fromthe buffer, and data sending• リアルタイム災害シミュレーション– 洪水，津波• 既存シミュレーションコードの（S+D+L）融合による高度化– OpenFOAM* Also applicable to full coupling,
multiple applications

1. Data-packing
into a buffer
4. Data extraction
from the buffer

3. Data-packing after theinterpolation process

App. B80

AI for HPCの実現

Platform for Integration of (S+D+L)
Big Data & Extreme Computing
シミュレーションノード群

Odyssey

Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

共有ファイルシステム（SFS）• Odyssey-Aquarius連携

データ・学習ノード群
Aquarius

Intel Ice Lake + NVIDIA A100

25.8 PB, 500GB/s

7.20PF, 578.2TB/s

External Network
外部ネットワーク– Odyssey-Aquarius間はInfiniband-EDR（2TB/sec）で結合されている• IB-EDR経由• 高速ファイルシステム（FFS）経由連携– 高機能カプラー：h3-Open-UTIL/MP

1PB, 1.0TB/s

External
Resources• O-Aを跨いでMPIプログラムは動かない– O-A間通信：h3-Open-SYS/WaitIO

高速ファイルシステム（FFS）

800 Gbps– MPIによる通信は不可• ソフトウェア開発

Fast File
System

外部リソースh3-Open-BDEC
シミュレーション＋データ＋学習（S+D+L）
数値アルゴリズム・ライブラリ
新しい計算原理
h3-Open-MATH

アプリ開発フレームワーク

制御 & ユーティリティ

h3-Open-APP:
Simulation

h3-Open-SYS

高性能・高信頼性・
混合/変動精度アルゴリズム

計算科学アプリケーション

h3-Open-VER

h3-Open-DATA: Data

h3-Open-AT

h3-Open-DDA:
Learning

精度保証

自動チューニング

統合＋通信＋
ユーティリティ

データ科学

制御 ＆ 統合

h3-Open-UTIL

大規模計算向け
ユーティリティ群

データ駆動・機械学習81h3-Open-SYS/WaitIO

データ受け渡しライブラリ〔松葉，2020〕• ヘテロジニアス環境下での異なるコンポーネン
ト間ファイル経由連携ライブラリとして考案• 機能 Odyssey～Aquarius間連携

82

計算科学コード

シミュレーション
最適化されたモデル， ノード群，Odyssey
パラメータ

Wisteria/BDEC-01

機械学習，DDA

データ・学習ノード群
Aquarius

計算結果
観測データ

データ同化
データ解析
サーバー
ストレージ
DB
センサー群
他

外部ネットワーク外部リソース

 IB-EDR経由通信
 ファイル経由

 外部からのデータ取得（観測データ等）
 読み込み・書き出しの同期• API：C/C++，Fortranから呼び出し可能
 MPIライクなインタフェースを提供• 多機能カプラー（h3-Open-UTIL/MP）との連携

h3-Open-BDEC
シミュレーション＋データ＋学習（S+D+L）
数値アルゴリズム・ライブラリ
新しい計算原理
h3-Open-MATH

アプリ開発フレームワーク

制御 & ユーティリティ

h3-Open-APP:
Simulation

h3-Open-SYS

高性能・高信頼性・
混合/変動精度アルゴリズム

計算科学アプリケーション

h3-Open-VER

h3-Open-DATA: Data

h3-Open-AT

h3-Open-DDA:
Learning

精度保証

自動チューニング

統合＋通信＋
ユーティリティ

データ科学

データ駆動・機械学習

制御 ＆ 統合

h3-Open-UTIL

大規模計算向け
ユーティリティ群

連成シミュレーションのためのカプラー〔荒川，八代〕• 従来のカプラー（Coupler）：ppOpen-MATH/MP– 複数（通常2つ：大気（NICAM）＋海洋（COCO））のアプリケーションの弱連成（Weak Coupling）をサポート– 各アプリケーションは1種類の計算をやる
App. A* Also applicable to full coupling,
multiple applications

2. Send-data extraction fromthe buffer, and data sending

1. Data-packing
into a buffer
4. Data extraction
from the buffer

3. Data-packing after theinterpolation process

App. B83「計算＋データ＋学習」融合を支援する
多機能カプラーh3-Open-UTIL/MP• 異なる物理モデル連成のアンサンブル実行を支援・統合するための機能– MPI通信、時刻同期、格子系間マッピング等の管理機能の他、従来のカプラーには無い、複数の弱連成結合シミュレーションのアンサンブル実行、片側のモデルのみをアンサン
ブル実行する多対１の弱連成結合が可能– スパコン上で、全地球大気海洋連成シミュレーションによって動作検証済み• Fortran/Cコード（物理モデル）とPythonコードの弱連成を実現する機能– FortranやCで記述されたプログラ
ム同士の連成計算に限って開発を行ってきたカプラーを、Pythonによって記述されたAI・機械学習、可視化処理系のワークロードからも活用できるよう機能拡充。

• O-A利用：WaitIOとの連携

Fortran/CアプリとPythonアプリの連成計算の模式図〔八代・荒川 2020〕84h3-Open-UTIL/MP (h3o-U/MP) +h3-Open-SYS/WaitIO
IceLake+A100

ARM: A64FXHPC App(Fortran)
A huge amount ofsimulation data
outputh3o-U/MP

Analysis/ML
App(Python)Surrogate
Model
Visualiztion

F<->P adapter
h3o-U/MP

Statistics

Coupling

Odyssey

IB-EDR

Aquarius85

86

h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO連携• h3-Open-UTIL/MP– （現状）MPIによるコンポーネント間通信：1対1，集団通信– Odyssey-Aquarius間はMPIによる通信は不可⇒
h3-Open-SYS/WaitIOによりO-A間通信実現
Odyssey

Aquarius

Fortran APP(NICAM)

Python APP(PyTorch)

h3open modules
Jcup modules

Jcup modules

jcup_mpi_lib.f90

jcup_mpi_lib.f90

MPI

現状：MPI通信可能な環境を前提

h3open modules

IB-EDR

h3opp.pyh3open_py.f90
h3open modules

Jcup

h3opp.pyh3open_py.f90

h3-Open-UTIL/MP

Python APP(PyTorch)

h3open modules

Jcuph3-Open-UTIL/MP

Fortran APP(NICAM)

Jcup modules

Jcup modules

jcup_mpi_lib.f90

jcup_mpi_lib.f90

MPI wrapper
MPI

WaitIOMPI+WaitIO

MPI

Platform for Integration of (S+D+L)
Big Data & Extreme Computing

整備・公開のスケジュール

シミュレーションノード群• h3-Open-SYS/WaitIO-Socket

Odyssey– 2021年10月（Odyssey+Aquarius，直接通信）• h3-Open-SYS/WaitIO-File

Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System
共有ファイルシステム（SFS）– 2022年度（ファイルシステム経由）

2.0TB/s

データ・学習ノード群
Aquarius

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s• h3-Open-UTIL/MP（HPC+Python）– 2022年度JHPCN新規応募

External Network
外部ネットワーク

HPC App(Fortran)
A huge amount ofsimulation data
output

1PB, 1.0TB/s

External
Resources• h3-Open-UTIL/MP+h3-Open-SYS/WaitIOSocket• 協力者求む！

高速ファイルシステム（FFS）

800 Gbps– 2021年10月（Oのみ）– 2022年1月～4月（O+A，直接通信）

Fast File
Systemh3o-U/MP

Analysis/ML
App(Python)

外部リソース

Surrogate
Model
Visualiztion

F<->P adapter
h3o-U/MP

Statistics

Coupling

Odyssey

IB-EDR

Aquarius8788

h3-Open-SYS/WaitIO-SocketのAPI

89• JHPCNの概要• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Oakbridge-CX• Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み

90

2020年度東大利用課題（OB外：OBCX外部接続） （1/2）
課題番号

課題名・代表者（所属）

RB

OFP

OB

jh200002-NAH

電磁流体力学乱流の高精度・高並列LESシミュレーションコード開発研究三浦英昭（核融合科学研究所）

jh200005-NAH

大規模並列計算による格子の最短ベクトル探索の効率化に関する研究
柏原賢二（東京大学）○

jh200008-NAH

Developing Accuracy Assured High Performance Numerical Libraries for Eigenproblems
片桐孝洋（名古屋大学）○

jh200016-NAH

データサイエンスに基づく高分子材料の構造物性相関
天本義史（九州大学）○

jh200020-MDH

機械学習に基づくマクロ経済変動の数理モデリング齊木吉隆（一橋大学）○

jh200022-DAH

社会の分析とシミュレーションのための合成人口データ提供システム
村田忠彦（関西大学）

jh200023-NAHI

Hierarchical low-rank approximation methods on distributed memory and GPUs
横田理央（東京工業大学）○

jh200027-ISH

超巨大ニューラルネットワークのための分散深層学習フレームワークの開発とスケーラビリティの評価
田仲正弘（情報通信研究機構）○

jh200029-NAH

時空間領域境界積分方程式法の高速解法の開発と巨大地震シミュレーションへの応用
安藤亮輔（東京大学）○

jh200036-MDHI

High resolution simulation of cardiac electrophysiology on realistic whole-heart geometries
中島研吾（東京大学）○○

jh200037-NAH

高性能・変動精度・高信頼性数値解析手法とその応用
中島研吾（東京大学）

○

○

OB外

FENNEL

○

○

○

○

○

91

2020年度東大利用課題（OB外：OBCX外部接続） （2/2）
課題番号

課題名・代表者（所属）

RB

OFP

OB

jh200038-MDH

HPCと高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステム実証試験 村田健史（情報通信研究機構）

jh200041-NAH

Innovative Multigrid Methods II
藤井昭宏（工学院大学）

jh200042-DAH

Deep Learningを用いた医用画像診断支援に関する研究佐藤一誠（東京大学）

jh200043-MDHI

Development of Fast Surrogate for Approximating Large-scale 3D Blood Flow Simulation
下川辺隆史（東京大学）

jh200045-NAH

エクサスケール時代の数値計算手法に対する性能予測技術
深谷猛（北海道大学）

jh200046-DAH

分散機械学習技術を用いた大規模医用画像処理の実現に向けた研究大島聡史（名古屋大学）

jh200047-NWH

ハイブリッドクラウド構築とゲノム情報解析の効率的な運用に関した研究
長﨑正朗（京都大学）○

jh200051-NAHI

Scalable Multigrid Poisson solver for AMR-based CFD applications in Nuclear Engineering
小野寺直幸（日本原子力研究開発機構）○

jh200062-NAH

ゲリラ豪雨予測のリアルタイム実証実験
三好建正（理化学研究所）○

jh200064-NAH

機械学習を用いた風環境予測精度の向上と防災技術への応用
高木洋平（横浜国立大学）○

jh210003-NWJ

財務ビッグデータの可視化と統計モデリング
地道 正行（関西学院大学）

OB外

FENNEL

○
○

○

○

○

○

○

○

○

○

○

○
○

○
○

jh200002 電磁流体力学乱流の高精度・高並列LESシミュレーションコード開発研究 三浦英昭 核融合科学研究所

92

93

jh200029 時空間領域境界積分方程式法の高速解法の開発と巨大地震シミュレーションへの応用 安藤亮輔 東京大学

研究の流れと計算対象
地震発生の全過程の3次元モデル化• 動的地震破壊伝播• 地震サイクル

観測データによるモデル検証と改良
3次元断層モデル
JAXA

階層行列法(HACApK)による
大規模・高効率技術の開発～動弾性境界積分方程式法への拡張

計算例

断層のずれ量（左）と応力（右）の時間発展の様子
断層面を上から見たところ

標準モデルの構築
モデルの大規模化
積分核行列の高精度
階層的近似 O(N LogN) 日本列島スケールへの応用

産総研

巨大地震の再現計算の例
2016年（マグニチュード7.9）ニュージーランド地震••

観測史上最も複雑な断層形状を3次元で考慮
地震時の断層ずれ量分布と動的破壊パターンの再現に成功

2

jh200036 High resolution simulation of cardiac electrophysiology on realistic whole-heart geometries
中島研吾 東京大学

Background• Coordinated electrical activities in the heart
rely on proper calcium handling at the cellularand subcellular levels.
• Many questions about cardiac
electrophysiology remain unanswered.
• We need advances in the realism ofmathematical models and simulation
resolutions.
• These require developing simulators ofelectrophysiology that can effectively use
modern supercomputers to do “in-silico”
experiments.

Governing equations & numerical scheme• The 3D solution domain, of an irregular shape,
represents an entire heart.
• The mathematical model consists of two parts:• The PDE part is a diffusion equation withvariable conductivity properties;• The ODE part determines Iion based on asystem of nonlinear ODEs modeling a set ofstate variables inside each cell.

• The irregular 3D domain is discretized by an unstructured tetrahedral mesh.
• There already exists a simulator based on explicit time integration:• A 2nd-order finite volume method is used to discretize the PDE part;• The ODE part is also solved explicitly.
• The simulator’s efficiency and parallel scalability need an extensive study for
improvements.

94

95

jh200042 Deep Learningを用いた医用画像診断支援に関する研究 佐藤一誠 東京大学

深層学習自動チューニングプラットフォーム

プラットフォームを用いたチューニング例• ログインノード上で以下の処理を実行

胸部X線写真の肺腫瘤検出‒ ジョブ並列スクリプト言語(Xcrypt)で記述したジョブ投入モ
ジュールを実行‒ 非同期並列実行型ベイズ的最適化(BO)で生成したパラメータを用いた学習ジョブを計算ノードへ繰り返し投入
ジョブ投入モジュール(Xcrypt)
Hyper-parameter 1

Bayesian
optimization

Reedbush-H/LGPUクラスタ

評価値

学習・評価
学習・評価

Hyper-parameter N

学習ジョブ数と評価値(partial AUC)の最大値
との関係

学習・評価

図1：プラットフォームの構成
Nomura Y, J Supercomput. 20 Jan 2020 (Epub ahead)

開発中のソフトウェア

頭部造影MR画像の転移性脳腫瘍検出
村田, JAMIT2018

Nomura Y, J Supercomput. 20 Jan 2020 (Epub ahead)

造影MR画像の肝結節性病変検出
Takenaga T, CARS 2018

検出結果例
検出結果例
左：元画像、右：検出結果(マゼンダ)

頭部救急CT画像の異常検知

Sato D, SPIE MI 2018

上：元画像、下：検出結果（黄、緑丸：病変領域）（肝細胞がん、左：元画像、右：検出結果）●:検出、●:過検出、●:未検出

胸部X線画像の異常強調
花岡, MAIAMI 2019, JSAIMI 2020

脳梗塞症例

強調画像例

（左：元画像、右：異常度マップ）（左：元画像、右：強調結果、矢印：肺腫瘤）

96

jh200043 Development of Fast Surrogate for Approximating Large-scale 3D Blood Flow Simulation
下川辺隆史 東京大学
複数領域にまたがるシミュレーション結果の予測

血流シミュレーションの高速予測手法の開発• 単一の領域に対して学習したネットワークモデルを、複数の分割領域のそれぞれに適用して、各分割領域におけるシミュレーション結果を予測する。
• 分割領域の間で予測値の整合性を保つために、隣接する分割領域間で境界交換し、推論を繰り返すことで出力
入力
複数の分割領域• 物体表現する距離関数
全予測領域• 全領域の速度• 境界の速度（境界条件）
CNN• 背景と 目的• 近年，血流計算や冠動脈狭窄の重症度診断に数値流体力学（CFD）が利用されるようになってきてる。
• しかしながら、CFDは大規模な計算資源を必要とするため、その高速化が不可欠である。
• この問題を解決するために、大規模3次元血流シミュレーションを深層学習を用いて近似的に高速に予測する手法を構築することを目指す。

境界
領域分割

• チャレンジ

境界交換• 深層学習により定常流の結果を予測する手法の開発• 並列計算による大規模なCFDシミュレーション結果を予測する手法の開発
21

境界交換して、値が収束するまで推論を繰り返す

推論と境界交換による複数領域の予測結果

CNN 予測初期予測

u

シミュレーション結果
最終予測 （収束）uu

CNN + 境界交換3

97jh200047 ハイブリッドクラウド構築とゲノム情報解析の効率的な運用に関した研究 長﨑正朗 京都大学

ハイブリッドクラウド構築とゲノム情報解析の効率的な運用に関した研究【京大・長﨑】

ハイブリッドクラウド構築とゲノム情報解析の効率的な運用に関した研究

NICT・村田京都大学

・ゲノム医学センター
・オンプレサーバ

高速転送

Singularity v3を用いたパイプライン構築

コンテナの利用による再現性・再利用性・信頼性の担保

SINET5ヒトゲノム情報解析でより汎用的な解析が求められる解析パイプラン
パイプラインはPython / R / C++ / Javaなどさまざまなバイオインフォマティクス解析
ソフトウェアのワークフローで構成

パブリッククラウド

SINET5ヒトゲノム情報解析で超高速な解析が求められる解析パイプランの実装(Cray XC40) 京大・深沢・ゲノム医学センター
FPGAによる専用計算機

京大オンプレ＆AWS＆東大仮想環境 (Fennel) での共通実装

東京大学仮想環境
京大・関谷(Fennel)

SINET5 L2VPN(Direct Connect)

京都大学大規模電算機【京大・長﨑】

全世界のTOP500 supercomputers 60%で利用

ヒトゲノム情報解析でより汎用的な解析が求められる解析パイプランの実装

処理名称

パイプラインの概要

入力ファイル

出力ファイルGenotyping

SNPアレイ（Japonica Array (CEL)ファイル）から約66万か所の遺伝型をクラスタリングによって決定するためのパイプライン

CEL

VCF/BED

Imputation

国際1000人ゲノムやそのほかの全ゲノムリファレンスパネルを用いることでSNPアレイでタイピングされた約66万か所のSNPから数千万のSNP情報を復元するパイプライン

VCF/BED

VCF/BED

VCF/BED

TXT

VCF/BEDTXT

NICT・村田

高速転送

SINET5東京大学大規模電算機(Orkbridge-CX)

GWAS

インピュテーション （1KGP / GRIFFIN Panel など） によって復元された数千万か所の変異情報について指定された条件でフィルタリン
グを行った後に疾患群と健常群などのcase/controlまたは検査情報な
どの連続量についての各SNPの偏りを統計手法により検定を行うパ
イプライン

Annotation

GWASによってでてきた結果についてアノテーションを行うパイプ
ライン

98

jh200062 ゲリラ豪雨予測のリアルタイム実証実験 三好建正 理化学研究所
Data assimilation

August 2019

November 2019

Forecast

Bug• MPI communicator
Optimization
Very stable! • Obs pre-processing• Visualization• NWP model setting

計算性能の向上。上段はデータ同化、下段は30分予報にかかった時間(秒)。
(左)2019年8月、(右)2018年11月。

全体のワークフロー
15:30:00

PAWR
Obs

15:40:00

FT=0min

15:50:00

dBZ

SCALELETKF
Analysis
2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALELETKFによる解析で得られたレーダー反射強度(dBZ)を示す。

PAWR
Obs

FT=10min

FT=20min

dBZ

SCALE
Forecast

2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALELETKFによる予報で得られたレーダー反射強度(dBZ)を示す。

99

2021年度東大利用課題（OB外：OBCX外部接続）（1/2）
課題番号

課題名・代表者（所属）

RB

OFP

OB OB外W-O W-A○

jh210002-NAHI

Developing Accuracy Assured High Performance Numerical Libraries for Eigenproblems
片桐孝洋（名古屋大学）○

jh210003-NAH

GPU・CPU・ARMプロセッサに対する原子力CFDアプリケーション用の混合精度ポアソン解法
小野寺直幸（日本原子力研究開発機構）○

jh210004-NAH

電磁流体力学乱流の高精度・高並列LESシミュレーションコード開発研究三浦英昭（核融合科学研究所）

jh210009-MDH

HPCと高速通信技術の融合による大規模データの拠点間転送技術開発と実データを用いたシステ
ム実証試験 村田健史（情報通信研究機構）

h210011-DAH

Deep Learningを用いた医用画像診断支援に関する研究佐藤一誠（東京大学）

jh210015-NAH

高性能かつ高信頼な数値計算手法とその応用
荻田武史（東京女子大学）

jh210017-MDH

Development of physics informed machine learning for soft matter: polymer flows and beyond
John Molina（京大）○

Jh210018-NWH

ハイブリッドクラウド構築とゲノム情報解析の効率的な運用に関した研究
長﨑正朗（京都大学）○

jh210021-MDHI

High resolution simulation of cardiac electrophysiology on realistic whole-heart geometries
中島研吾（東京大学）○○

jh210022-MDH

三次元強震動シミュレーションとリアルタイムデータ同化の融合
中島研吾（東京大学）○○

jh210023-NAH

時空間領域境界積分方程式法の高速解法の開発と巨大地震シミュレーションへの応用
安藤亮輔（東京大学）

○

○

○

○
○

○

○
○

○

○

○
○

○
○
○

○

○

100

2021年度東大利用課題（OB外：OBCX外部接続）（2/2）
課題番号

課題名・代表者（所属）

RB

OFP

jh210024-NAHI

Hierarchical low-rank approximation methods on distributed memory and GPUs
横田理央（東京工業大学）

jh210026-NAH

Innovative Multigrid Methods II
藤井昭宏（工学院大学）○

jh210027-NAH

機械学習モデルのリアプノフ指数ならびにリアプノフベクトルの解析齊木吉隆（一橋大学）○

jh210030-DAH

大規模分散医用画像処理に向けた医用画像処理アプリケーションの最適化
大島聡史（名古屋大学）

jh210034-NAH

高レイノルズ数乱流のデータ科学プラットフォームの構築石原卓（岡山大学）

jh210035-NAH

GPUの高速並列計算で実現する交差禁止制御可能な高分子シミュレータの開発
萩田克美（防衛大学校）

jh210040-MDH

合成人口プロジェクト：従業地・通学地属性の確率的割当てと深層学習による空中写真からの住宅
判別 村田忠彦（関西大学）（HPCI共有ストレージ使用）

jh210044-NAH

エクサスケール時代の数値計算手法に対する性能予測技術
深谷猛（北海道大学）

jh210046-NAH

グラフ構造で一般化された動的負荷分散フレームワークの構築と重合メッシュ法への適用
森田直樹（筑波大学）

jh210049-MDH

Developing data driven analysis methods for extreme scale numerical simulations
朝比祐一（日本原子力研究開発機構）

jh210051-MDH

Development of Fast Surrogate for Approximating Large-scale 3D Blood Flow Simulation
下川辺隆史（東京大学）

jh211011-NWJ

財務ビッグデータの可視化と統計モデリング
地道 正行（関西学院大学）（FENNEL使用）

OB OB外W-O W-A
○

○

○

○

○
○
○

○

○

○

○
○
○

○

○

101

• JHPCNの概要• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Oakbridge-CX• Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み提案書（2022年度は若干変わる可能性あり）

102
102

• 3頁以内– 研究目的– JHPCN公募型共同研究として実施する必要性，研究の意義，研究計画– これまでの研究成果（継続の場合）– 拠点連携課題，大規模データ・大容量ネットワークにおける具体的計画– 主な関連発表成果• 資源利用計画等（別ファイル）• 執筆のポイント– 明確な目標，学際的な研究，学術的意義，JHPCN共同研究としての意義（次頁（再掲））– 新規課題は準備が十分整っている（と思わせる）ことが重要• これから並列化を始める，というのはやや難しいかも知れない：個別にご相談ください• 継続課題は前年度成果（特に中間報告書段階）をある程度重視– 審査は毎年実施されるが，複数年計画として「研究計画」を記述することは可能• 特に新規課題は，将来へ向けての全体像がより明確になる– 明確な資源利用計画（とは言え，なかなか事前に書くのは難しい）• ○ノード×○時間×○ケース

103

共同研究のポイント：全部を満たす，ということではない• 学際的研究体制– 情報科学分野（計算機科学・データ科学）と応用分野による，学際共同研究の推進– 審査においては学際的な研究体制の構築がなされていることを重視• ソフトウェアおよびデータ活用推進– 単なる公開だけでなく，成果の幅広い利活用を目指す取り組みを高く評価• IT 基盤技術開発– アーキテクチャー，システムソフトウェア，セキュリティ等，IT 技術の基盤的研究につながる課題を高く評価：各構成研究拠点の研究者との共同研究• 拠点連携– 複数構成拠点の資源を活用，複数拠点の研究者との連携体制– 広域分散型の大規模情報システム，アプリケーションのマルチプラットフォーム実装• 大規模データ・大容量ネットワーク利用• 計算機資源の利用のみではなく，研究開発的要素が大きい課題を採択

104

利用可能な資源• スパコン等：他大学（他拠点）の資源との併願も可能（推奨）– Oakbridge-CX（OBCX）• https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/• （要相談）外部接続ノード，Mini-DP利用– Wisteria/BDEC-01（Odyssey，Aquarius）• https://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/• （要相談）Odyssey-Aquarius連携，外部接続（Aquarius），Wisteria-Messenger利用– Ipomoea-01• 規定に応じて各ユーザーに配分（予定）• 基本的に資源の追加はできない– 自前の予算で追加することは可能（審査有り）• 利用ノード数の上限があるが，1ヶ月に一回「大規模HPCチャレンジ（後述）」
で，より大規模な資源を利用可能（後述）– 提案書に利用計画として記述することは可能• OBCX，Aquariusは「ノード固定」可能

105

ノード固定
https://www.cc.utokyo.ac.jp/supercomputer/reedbush/service/fixed_node.php• ライセンスサーバが必要な商用プログラムを利用したい• データに対するセキュリティを確保するために、専用ＨＤを使用したい• データ転送用に専用通信回線を敷きたい• 一般バッチジョブキューでは対応できないような長時間ジョブを実行したい• OBCX，Aquariusは「ノード固定」可能：事前に必ずご相談くださいOakbridge-CX（1/2）

106

• 概要

– Intel Platinum 8280（Cascade Lake）搭載– 全1,368ノードのうち128ノードに高速SSD搭載• うち16ノードは外部ネットワークに直接接続する「外部接続ノード」– ネットワーク経由でssh，scp/sftpを利用したログインノードアクセス，ファイル転送– 高速なNVMe-SSD搭載ノード，BeeGFS on Demand (BeeOND)によるオンデマンドな
単一の共有ファイルシステムを用いたビッグデータ解析• 特殊な利用形態（要相談）– 外部接続ノードを利用して，外部リソース（ストレージ，サーバー，データベース，センサ
ーネットワーク等）に直接接続，リアルタイムデータ取得– ノード固定，ログインノード持込・カスタマイズ– SINET L2VPN経由でログインノード，外部接続ノードへの直接接続– 東大センター担当窓口（uketsuke@cc.u-tokyo.ac.jp）宛てご相談ください）．

Oakbridge-CX（2/2）• 課題あたり資源配分（上限）– 16ノード年，ストレージ64TB（138,240ノード時間，1ノード年当たり4TB）– 投入可能ジョブ：最大256ノード（大規模HPCチャレンジ：1,280ノード）– 「外部接続ノード」は1課題あたり1ノードまで• ソフトウェア– 【言語コンパイラ】• Fortran，C，C++– 【ライブラリ】• MPI，BLAS，LAPACK/ScaLAPACK，FFTW，PETSc，METIS/ParMETIS– 【アプリケーションソフトウェア】• OpenFOAM，ABINIT-MP，PHASE，FrontFlow/Blue，FrontISTR，REVOCAP，ppOpen-HPC，
h3-Open-BDEC– 【コンテナ仮想化】• singularity （docker image可能）

107

108

大規模HPCチャレンジhttps://www.cc.u-tokyo.ac.jp/guide/hpc/• 月1回（月末）実施，公募制，無料– グループまたは個人– 基本的に居住者をグループ代表とすることを前提– 現ユーザーには限定せず，大学・研究機関・企業から幅広く募集– 外部専門家を含む審査委員会で審査• 全系を24時間占有利用，年3回募集（3~4ヶ月分をまとめて募集）– 2021年度は8時間（09:00-17:00）で実施，2022年1月から24時間体制の予定• Oakbridge-CX– 上限：1,280ノード• Wisteria/BDEC-01– Odyssey（6,144ノード）とAquarius（36nノード）は（当面は）別々に実施• 成果公開：ニューズレターへの寄稿，セミナー等での発表が義務

109
109

利用可能な資源とSINETとの接続
SINET6100G

sw

東京大学 柏キャンパス

sw

ログイン
ノード

ログインノード、外部接続ノードに対し、SINET L2VPNを接続可能（10G、応相談）GPU+DCPMM
Nodes

Oakbridge-CX拡張

外部接続
ノード
外部接続
ノード

12.4 PB
Lustre
NVMe
NVMe
SSD
SSD
NVMe
NVMe
NVMe
SSD
SSD SSD

NVMe
NVMe
SSD
SSD

Oakbridge-CX

100G
柏IIキャンパス

400G（予定）
SINET6
400G
（予定）

sw

ログイン
ノード

Aquarius

400G
ログインノード、Aquariusノード
に対し、SINET
L2VPNを接続可能（25G、応相談）

Wisteria/BDEC-01
共有
25.8 PB
FEFS

高速
1.0 PB
FEFS

Odyssey

Wisteria/BDEC-01（1/3）

110
110

• 概要

– Odyssey：シミュレーションノード群，Fujitsu A64FX 7,680ノード搭載– Aquarius：データ・学習ノード群，Intel Xeon Platinum 8360Y・NVIDIA A100
Tensorcore 45ノード搭載（ノード当たり8 GPU，合計360 GPU）
– ネットワーク経由でssh，scp/sftpを利用したログインノードアクセス，ファイル転送– 高速なファイルシステムを用いたビッグデータ解析が可能– OdysseyとAquariusを両方使用したい場合は，それぞれ別々に申し込む• 特殊な利用形態（要相談）– Aquariusの各ノードは，外部リソース（ストレージ，サーバー，データベース，センサーネットワーク等）に直接接続可能– Odyssey・Aquarius連携による「計算・データ・学習」融合（h3-Open-BDEC）– SINET L2VPN経由でログインノード，外部接続ノードへの直接接続– 東大センター担当窓口（uketsuke@cc.u-tokyo.ac.jp）宛てご相談ください）．

Wisteria/BDEC-01（2/3）：資源配分（上限）• ①Odyssey– 40ノード年，ストレージ80TB（345,600ノード時間，1ノード年当たり2TB）– 投入可能ジョブ：最大2,304ノード（大規模HPCチャレンジ：6,144ノード）• ②Aquarius（一般利用）– 16 GPU年，ストレージ96TB（138,240GPU時間，1GPU年当たり6TB）– 投入可能ジョブ：最大8ノード（64 GPU）（大規模HPCチャレンジ：36ノード）• ③Aquarius（GPU専有）– 8 GPU年，ストレージ48TB（69,120 GPU時間，1 GPU年当たり6TB）– 専有できるGPU数は「1,2,4,8」，申込書類には専有したいGPU数（1,2,4,8）を明記– 8GPU専有で申し込む場合は，ログインノード持込・カスタマイズ可能– 「Aquarius（GPU専有）」を申し込む場合は必ずuketsuke@cc.u-tokyo.ac.jp）に相談• Odyssey，Aquariusを両方利用したい場合は， ①及び②または③をそれぞれ申し込む，①・②・③を全て申し込むことも可能

111
111

Wisteria/BDEC-01（3/3）• ソフトウェア– 【言語コンパイラ】• Fortran，C，C++– 【ライブラリ】• MPI，BLAS，LAPACK/ScaLAPACK，FFTW，PETSc，METIS/ParMETIS– 【アプリケーションソフトウェア】（一部GPU化非対応）• OpenFOAM，ABINIT-MP，PHASE，FrontFlow/Blue，FrontISTR，REVOCAP，
ppOpen-HPC，h3-Open-BDEC– 【コンテナ仮想化】• singularity （docker image可能）

112
112

スパコン利用にあたっての指針（1/3）
OBCX，Odyssey，Aquarius• 基本的には，自作コード，オープンソースの利用を前提– OpenFOAM（流体）• OBCX，Odyssey• 今野雅博士（客員研究員）：OpenFOAM関連チュートリアル– FrontISTR，FrontFlow（東大生研）– ppOpen-HPC，h3-Open-BDEC（東大センター）• 商用コード– Altair HyperWorks（汎用CAEコード）• https://www.altairjp.co.jp/hyperworks/• OBCX，Aquarius（一部）• 国内大学教職員・学生のみ利用可能• 研究機関，企業の場合は別途ライセンス取得が必要– MATLAB（導入検討中）• OBCX，Aquarius

113

スパコン利用にあたっての指針（2/3）
OBCX，Odyssey，Aquarius• 計算科学・大規模シミュレーション（S）• データ科学（D）• 機械学習・AI（L）• 「S+D+L」融合• 全てのシステム（OBCX，Odyssey，Aquarius）がそれぞれの項目に対応
可能– Aquarius（データ・学習ノード）でもシミュレーションはできる• データ科学（D），機械学習・AI（L）– コンテナ仮想化（Singularity）により対応

114

115

スパコン利用にあたっての指針（3/3）
OBCX，Odyssey，Aquarius
OBCX

Odyssey

Aquarius

O+A

計算科学
データ科学
機械学習・AI「S+D+L」融合

◎
◎
○
○

◎
◎
○
○

◎
◎
◎
◎

◎

商用コード・
MATLAB等

○

×～△

○

-

その他の特徴• Intel Xeon CPUのため特殊なチューニング
は必要なく，そこそこの性能が出る• 外部接続ノード，SSD
搭載ノード

•
•
•
•

A64FX（Arm）
チューニング必須
FP16
商用コードへの対応がやや遅れている• CPU（Ice Lake）：高 • O-A連携についい推論性能てはソフトウェア• GPU（A100）：
開発中（h3Tensor Core +Open-BDEC，
Tensor Float [TF32]
WaitIO）• 超大規模シミュレー
ションには不向き

116

JHPCN共同研究課題への応募• 計算科学アプリケーションの並列化• 計算科学アプリケーションの最適化– 「GPU化」はテーマとなりうるが，MPI・OpenMPについては要相談– Odyssey向け最適化は十分それだけでテーマとなりうる– 得られた知見を利用者へ積極的に公開（Odyssey：名古屋大とも情報を共有）• マルチフィジックス連成• 「S+D+L」融合（S+D，S+L）– h3-Open-BDEC，h3-Open-UTIL/MP, WaitIO-Socket活用：検証，改良に貢献• 特に，リアルタイムデータ処理を含む場合– OBCX（外部接続ノード），Aquarius（またはMessenger）– 大規模並列処理が必要となるような場合を想定– 単にデータを取得，貯蔵する場合は「分野2」へ応募されるのが良いかも知れない• 困ったことがありましたら，お気軽にご相談ください。（募集要項が）威圧的な書き方ですみません。

117• JHPCNの概要• 東大情報基盤センターのスパコン概要• Wisteria/BDEC-01• Oakbridge-CX• Ipomoea-01• h3-Open-BDEC• 利用事例• JHPCN利用申込み• 番外編：代替制度

118

JHPCNは少しハードルが高いと感じられる場合• 無料・審査無し– お試しスパコン利用（無料体験）– お試しアカウント付き並列プログラミング講習会• 無料・審査あり：JHPCNの一歩手前の位置づけ– 若手女性利用– AI for HPC：特にこれから「計算＋データ＋学習」融合にとりかかろうとしている場合• 有料・報告義務あり– トライアル利用（通常の30％の負担金）– 企業の場合は事前審査あり，最初の3ヶ月間は無料• 「企業利用」も含めて2022年1月22日（金）1300-1500に来年度公募説明会を予定している• まだアプリを並列化できていない，という方々（講習会受講者）のための制度
を検討中

119

2022年度以降諸制度（予定）（○：代表者，△：参加者）
制度名

✓

✓

一般

○

△

○

トライアル

○

△

○

お試し利用

○

○

○

JHPCN

○

○

△

書類

✓

✓

✓

○

△

△

書類

✓

✓

✓

書類

✓

✓

✓
✓

一般
若手女性

✓
✓

○

産業

○

○

インターン

報告書

✓

学生

一般・若手

無料

C

企業

HPCI

審査

B

大学等

通常利用

個人

A

種別

✓

○

✓

書類

✓

✓

○

✓

書類

✓

✓

AI for HPC

○

○

△

書類

✓

✓

HPCチャレンジ

○

○

○

書類

✓

✓

講習会

△

△

△

教育利用

○

○

○

書類

一般

△

○

△

＋面接

トライアル

△

○

△

＋面接

✓

✓

D

✓

✓

年度内

随時

✓

✓

1ヶ月限定

随時
年1回（1月）
年1回（10-11月）✓

年2回（8・2月）✓

年1回（夏季）✓年1回（2月）
年数回✓✓✓

1ヶ月有効UID

年20回程度

企業研修等可随時✓

年2回（8・2月）

企業利用
一部

募集
随時

✓
✓

備考

✓

✓

3ヶ月無料
年度内

随時，年４回審査（A：トークン移行， B:ノード固定，C：Odyssey⇔Aquarius移行可能，D：1システム1回限り応募可能）

お試しスパコン利用（無料体験）

120

https://www.cc.u-tokyo.ac.jp/guide/trial/free_trial.php• スーパーコンピュータを初めてご利用される方を対象として、スーパーコンピュ
ータを無料でお試しいただけるサービスを提供– 研究者や技術者の方が、試しにちょっとスパコンに触れてみたい、お手持ちのプログラ
ム・アプリケーションを実行し性能・利用性等を評価したい、などスーパーコンピュータを本格的に利用するかどうか検討する機会としてご利用いただく• お試し利用終了後、「スパコンを本格的に利用したい」という見通しがつきましたら、一般利用やトライアルユース（有償）に移行することも可能• 利用期間1ヶ月間（延長無し），利用ノード数・実行時間制限有り（15分程度）– ウェブページやマニュアル等の情報のみを元に利用できる程度の経験と知見を有している方々によるご利用を想定– もしそのような経験がない場合には、「お試しアカウント付き並列プログラミング講習会」の受講を検討いただくお試しアカウント付き並列プログラミング講習会

https://www.cc.u-tokyo.ac.jp/events/lectures/ Wisteria/BDEC-01, Oakbridge-CX, Oakforest-PACSを利用した講習会
 2020年度から完全オンラインで実施：年20回程度，概して好評（移動不要）
 既存利用者に限定せず，企業の技術者・研究者も受講可能
 受講者の1/2~2/3は企業から受講：裾野拡大に大きな貢献
 PCクラスタコンソーシアム（実用アプリケーション部会）と共催• 1～2日間の講習，1ヶ月有効な「お試しアカウント」

 スパコン超入門：Linuxの使い方
 MPI基礎，MPI応用（並列有限要素法），マルチコアプログラミング GPUプログラミング，GPUミニキャンプ（ハッカソン）
 ライブラリ利用（センター教員開発のライブラリ普及）
 OpenFOAM（初級，中級）
 Altair HyperWorks
 利用ノード数，実行時間に制限あり，スパコンを使用しない講義もある

GPUミニキャンプ（オンライン）開催（1/2）• ミニキャンプとは？
– 参加者がコードやデータセットを持ち込み、
CUDA、OpenACC、Deep Learning など、GPUに関連した課題に対して、メンターからの助言を受けながら、その課題解決に取り組みます。

• メンター– エヌビディア合同会社、東大情報基盤センターなどから参加し、参加者の課題解決にご協力します。

• 高性能計算(HPC)と深層学習(DL)向けに、下記の日程で開催• HPC：6月22日（火）、29日（火）（23-28日は各チームで実践）• DL: 6月23日（水）、30日（水）（24-29日は各チームで実践）• 各チームで実践中は、 ベストエフォートでメンターがQ&A対応

終了

122

123

GPUミニキャンプ（オンライン）開催（2/2）• 実施形式– Zoom と Slack を使ったオンライン形式• 参加資格– 国公私立大学・高専の教員・学生・研究生– 研究機関研究員– 企業に所属する研究者・技術者（非営利目的に限る）– 作業に必要なコードおよびデータセット等をセンターに持ち込める方。
– コマンドラインによるLinux上での作業やエディタ利用に支障のない方– 基本的に 2 日間ご参加いただける方（途中の一時的な離席は自由）• 参加申込– 申込締切： 6月7日（月）（HPC、DLともに共通）– HPC、DLともに、それぞれ8チーム程度を募集• 詳細と参加申込はこちら– HPC: https://www.cc.u-tokyo.ac.jp/events/lectures/158/– DL: https://www.cc.u-tokyo.ac.jp/events/lectures/159/

終了

124

若手・女性利用
https://www.cc.u-tokyo.ac.jp/guide/young/• 対象– 若手研究者（各年度4月1日現在において40歳以下），女性研究者，学生• 一般枠（1月， 7月の年2回募集）（次回は2022年年明けに募集開始）– 個人研究，企業もOK– 非居住者は原則認めないが，来日6ヶ月未満の留学生＠国内は可能（閲覧制限等有）– 4月開始：1年または半年，10月開始：半年• インターン制度（6月頃募集）– 学部学生・大学院生を対象（個人研究），主に夏期（期間は半年）– グループ利用は2022年度から廃止（「教育利用」へ移行）• 成果公開– 報告書（ニューズレターへの寄稿），報告会• 特に優れた一般枠課題は，JHPCN萌芽型共同研究課題として推薦– 7月のシンポジウムでポスター発表できるAI for HPC：Society 5.0実現へ向けた人工知能・
データ科学による計算科学の高度化（試行）（1/2）
https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/• （計算＋データ＋学習（S+D+L））融合実現，データ科学，機械学習，人工知
能による計算科学の高度化を目指す提案を募集• 原則として，計算科学シミュレーション（自作またはオープンソース）を，データ科学，人工知能，機械学習等によって高度化，効率化することを目的とする– 大規模データ同化と人工知能を融合するような研究も受け付ける。
– プログラム本体のチューニング，アルゴリズム高度化などは対象外ですが，自動チュー
ニングによって最適アルゴリズムを選択するような提案は歓迎いたします。

• 応募者グループ・センター教員の共同研究として実施– 代表者：居住者（大学・研究機関・企業），メンバー：非居住者参加も可能– 次年度JHPCN共同研究課題応募を目指す

125

126

AI for HPC：Society 5.0実現へ向けた人工知能・
データ科学による計算科学の高度化（試行）（2/2）
https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/• 原則年1回募集– 次回は2022年年明け，2022年4月開始• 計算機資源を無償で提供（負担金50万円相当）• Wisteria/BDEC-01向けソフトウェア群の共同開発– h3-Open-BDEC• 成果公開– 報告書（ニューズレターへの寄稿），報告会

Aquarius

Fortran APP(NICAM)

Python APP(PyTorch)
h3opp.pyh3open_py.f90

h3open modules

h3open modules

Jcuph3-Open-UTIL/MP– OFP（2021年度），OBCX，Wisteria/BDEC-01– Wisteria/BDEC-01（Odyssey+Aquarius）利用推進

OdysseyJcup modules

Jcup modules

jcup_mpi_lib.f90

jcup_mpi_lib.f90

MPI wrapper
MPI

WaitIOMPI+WaitIO

MPI

127

大学・研究機関向け：トライアル• 負担金は「一般利用」の30％• 成果報告書（終了後1ヶ月以内）• 最大1年，年度末まで（例えば10月に初めても翌年3月末で終了）• 1システムにつき1回しかトライアルユースは利用できない• ノード固定・トークン移行不可（O⇔A可能）（2022年度から改訂予定）– Wisteria/BDEC-01，OBCX 1セット／年• https://www.cc.u-tokyo.ac.jp/guide/trial/

企業利用（トライアル）:2022年度から改善（予定）https://www.cc.u-tokyo.ac.jp/guide/trial/company.php• 「企業利用（トライアル）」：1システム1回限り– 「提案書＋面接審査」がある以外は「トライアル」とほぼ同じ，1システム1回限 Wisteria/BDEC-01 最大6セット（追加可能，合計最大6セット年（6ノード年）以下） OBCX 最大4セット（追加可能，合計最大4セット年（4ノード年）以下）– 負担金「企業利用（一般）」の30%– 最大12ヶ月（年度内，最初の3ヶ月無料（無料期間のみ可）– 随時申込受付，年4回審査（面接）– 最低1名は当該システムでの講習会受講経験あることが必要（当初申込時）– 成果報告書提出（終了後1ヶ月以内），中間報告会– ノード固定・トークン移行不可（O⇔A可能），ノード時間制限有り• パーソナル，グループの区別を無しとする（グループ・個人で応募可能）• 「企業利用（トライアル）」終了後の道筋⇒企業利用（一般）（別途審査あり）