第203回 お試しアカウント付き
並列プログラミング講習会「MPI基礎：並列プログラミング入門」
東京大学 情報基盤センター
三木 洋平

東京大学情報基盤センター• 東京大学大型計算機センター（1965年）• 東京大学情報基盤センター（1999年～）• 全国共同利用施設• 学際大規模情報基盤共同利用・共同研究拠点 中核拠点（2010年～）• 革新的ハイパフォーマンス・コンピューティング・インフラ(HPCI) 構成機関
（2010年～）• 最先端共同HPC基盤施設（JCAHPC）（2013年～）• 筑波大学計算科学研究センター・東大情報基盤センター：OFP• 2023年4月現在• 2式のシステムを運用• Oakforest-PACS（OFP）：2022年3月末に運用終了• Oakbridge-CX（OBCX）• Wisteria/BDEC-01（ 「計算・データ・学習」融合スーパーコンピュータシステム）：2021年
5月運用開始• データ活用社会創成プラットフォーム（mdx）：2021年3月設置

2001-2005
Hitachi SR8000
1,024 GF

2006-20102011-20152016-2020

Hitachi SR11000
J1, J2

Hitachi SR16K/M1
Yayoi

5.35 TF, 18.8 TF

54.9 TF

2021-2025

Hitachi
SR2201

Hitachi
SR8000/MPP

OBCX(Fujitsu)

307.2GF

2,073.6 GF

6.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PF

Fujitsu FX10
Oakleaf-FX

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外2026-2030

OFP-II
100+ PF

Fujitsu
33.1 PF

1.13 PFBDEC02250+ PF

ReedbushU/H/L (SGI-HPE)
3.36 PF

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

2011-20152016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM
Power72021-2025

Hitachi
SR2201

Hitachi
SR8000/MPP

Intel CLX
OBCX(Fujitsu)

307.2GF

2,073.6 GF

6.61 PF

HARP-1E

SR8000

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PFAMD Opteron

疑似ベクトル
汎用CPU
加速装置付

OFP-II
100+ PF

AcceleratorsIntel Xeon Phi
Fujitsu FX10
Oakleaf-FX

2026-2030

BDEC02

Fujitsu
33.1 PF

1.13 PFSPACR64 IXfx
ReedbushU/H/L (SGI-HPE)

250+ PFA64FX,
Intel Icelake+
NVIDIA A100

Accelerators

3.36 PFIntel BDW +NVIDIA P100

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

Platform for Integration of (S+D+L)
Big Data & Extreme Computing

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Shared File
System
（SFS）
25.8 PB, 500 GB/s

2.0 TB/s

Data/Learning
Nodes: AquariusIntel Ice Lake + NVIDIA A100

Fast File
System（FFS）
1 PB, 1.0 TB/s

7.20 PF, 578.2 TB/s

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)

800 Gbps

External
Resources

External
Resources
External Network

Simulation Nodes（Odyssey）• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF

Data/Learning Nodes（Aquarius）• 2019年7月～2023年9月末（予定）• 6.61 PF, #129 in 60th TOP500 (November 2022)

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#17)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#106)• 33.1 PF, #17 in 58th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Reedbush

Oakforest-PACS

Oakbridge-CX

2020年度分野別 ■汎用CPU，■GPU
RB: Reedbush, OFP: Oakforest-PACS, OBCX: Oakbridge-CX
RB-H

バイオ
インフォマ
ティクス

生物科学・
生体力学
材料科学
情報科学：AI

情報科学：
アルゴリズム
生物科学・
生体力学
産業利用
エネルギー・
物理学

工学・
ものつくり

材料科学

OBCX

Engineering
Engineering
Earth/Space データ
Earth/Space
Material
RB-L
Material
OFP 科学バイオ
Energy/Physics
Energy/Physics
生物科学・
インフォマ
Info. Sci.
: SystemInfo. Sci.ティクス: System 材料科学
生体力学
Info. Sci. : Algrorithms 地球科学・
Info. Sci. : Algrorithms
生物科学・Info. Sci. : AI
宇宙科学
情報科学：
Info.
Sci. : AI
生体力学
エネルギー・
アルゴリズム Education
Education
物理学
Industry
Industry
情報科学：AI
Bio
Bio
Bioinformatics
材料科学
Bioinformatics
Social Sci. & Economics
Social Sci. & Economics
Engineering
Data
Data
Earth/Space
Material
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
Industry
Bio
Bioinformatics
Social Sci. & Economics• 工学・ものつくり• 地球科学・宇宙科学• 材料科学

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algrorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data全地球大気・海洋シミュレーション（気候・気象）
東大大気海洋研究所，東大理学系研究科等

NICAM:
Semi-Unstructured Grid

NICAMAgrid
NICAMZMgrid

MIROC-A:
FDM/Structured GridApp. A

MIROC-A

Atmospheric
Model-1* Also applicable to full coupling,
multiple applications

2. Send-data extraction fromthe buffer, and data sending

Atmospheric
Model-2

ひまわり SST (1時間毎)

J-cup

ppOpen-MATH/MP
Coupler•Grid Transformation• Multi-Ensemble•IO•Pre- and post-process•Fault tolerance•M×N

Ocean Model

COCO
Regional COCO
Matsumuramodel

Post-Peta-Scale
System-System S/W-Architecture

1. Data-packing
into a buffer
4. Data extraction
from the buffer

3. Data-packing after theinterpolation process
COCO: Tri-Polar FDM

Regional Ocean Model
Non Hydrostatic Model

モデル SST（6時間毎）

App. B〔画像提供：佐藤正樹教授・
羽角博康教授（東大・大気海洋研）〕

バイオインフォマティックス：ゲノム解析
東大新領域創成科学研究科 等
ヒト個人ゲノムはどのよ
うに再解読するか？

ヒト腸内細菌叢から発見された
多様なプラスミド・
ファージ配列の全貌

A C G T標準ヒトゲノム（hg19/38）

長さ 100～150 塩基のDNA 断片を 10～20億本収集（ヒト1人当たり）

Nature Genetics 2018

新たに発見された疾患を引き起こすDNAの繰返し配列伸長異常：様々な動的計画〔画像提供：
法，de Bruijn グラフ探索等が活用
森下真一教授（東京大学新領域創成科学研究科）〕
接尾辞配列（suffix array）, Burrows-Wheeler 変換等が活用される

Microbiome 2019

バイオインフォマティックス：医療画像処理
東大病院等
深層学習自動チューニング
Reedbush-H/L
プラットフォーム
GPUクラスタジョブ投入モジュール(Xcrypt)
Hyper-parameter 1

Bayesian
optimization

開発中のソフトウェア
評価値

頭部造影MR画像の転移性脳腫瘍検出

造影MR画像の肝結節性病変検出

村田, JAMIT2018

Takenaga T, CARS 2018

学習・評価

学習・評価
Hyper-parameter N

学習・評価

検出結果例
検出結果例
左：元画像、右：検出結果(マゼンダ)

胸部X線写真の肺腫瘤検出

頭部救急CT画像の異常検知
Sato D, SPIE MI 2018

学習ジョブ数と評価値(partial AUC)の最大値との関係

上：元画像、下：検出結果（黄、緑丸：病変領域）（肝細胞がん、左：元画像、右：検出結果）●:検出、●:過検出、●:未検出

胸部X線画像の異常強調
花岡, MAIAMI 2019, JSAIMI 2020

脳梗塞症例

強調画像例

（左：元画像、右：異常度マップ ）（左：元画像、右：強調結果、矢印：肺腫瘤）

Nomura Y, J Supercomput. 20 Jan 2020 (Epub ahead)ゲリラ豪雨予測のリアルタイム実証実験 （理化学研究所）

Forecast

Data assimilation

August 2019

全体のワークフロー
15:30:00

PAWR
Obs

SCALELETKF
Analysis〔画像提供：三好建正博士（理化学研究所）〕

15:40:00

November 2019

Bug
• MPI communicator
Optimization
Very stable! • Obs pre-processing• Visualization• NWP model setting

計算性能の向上。上段はデータ同化、下段は30分予報にかかった時間(秒)。
(左)2019年8月、(右)2018年11月。
FT=0min
FT=10min
FT=20min

15:50:00

dBZ
PAWR
Obs

dBZ

SCALE
Forecast

2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALE2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALELETKFによる予報で得られたレーダー反射強度(dBZ)を示す。
LETKFによる解析で得られたレーダー反射強度(dBZ)を示す。

ゲリラ豪雨予測のリアルタイム実証実験 （理化学研究所）

Forecast

Data assimilation

August 2019

全体のワークフロー
15:30:00

PAWR
Obs

SCALELETKF
Analysis〔画像提供：三好建正博士（理化学研究所）〕

15:40:00

November 2019

Bug
• MPI communicator
Optimization
Very stable! • Obs pre-processing• Visualization• NWP model setting

計算性能の向上。上段はデータ同化、下段は30分予報にかかった時間(秒)。
(左)2019年8月、(右)2018年11月。
FT=0min
FT=10min
FT=20min

15:50:00

dBZ
PAWR
Obs

dBZ

SCALE
Forecast

2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALE2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALELETKFによる予報で得られたレーダー反射強度(dBZ)を示す。
LETKFによる解析で得られたレーダー反射強度(dBZ)を示す。

「COVID-19」対応HPCI臨時公募課題全14のうち6課題が東大システムを利用（2020年度）
課題名

代表者（所属）

-4.82
9.32
-3.14
-8.50

使用システム-11.88 Thr25

中央：全体図

His41

7.41
-3.36
-6.76

Asp187

新型コロナウイルスの主要プロテアーゼに関するフラグメント分子軌道計算

望月 祐志（立教大学）
Met165COVID-19治療の候補薬: chloroquine、hydroxychloroquine、azithromycinの催不整脈リ
スクの評価ならびにその低減策に関する研究

久田 俊明（株式会社UTHeart研究所 / 東大）

新型コロナウィルス表面のタンパク質動的構造予測

杉田 有治（理化学研究所）

Asn142

Glu166-10.0313.55-4.41-10.88

Oakforest
PACS

TOTAL
-185.55

ES-147.05

Glu166

Asp187-47.70
5.45
-3.70
-8.38

-32.70
0.38
-0.80
-2.09

EX
101.64

-4.91
13.38
-5.98
-9.99
CT
-34.86

DI-105.28〔資料提供：望月祐志教授（立教大学）〕

計算機解析によるSARS-CoV-2増殖阻害化合物の 星野 忠次
探索（千葉大学）
室内環境におけるウイルス飛沫感染の予測とその対策：富岳大規模解析に向けたケーススタディ

坪倉 誠（神戸大学）

Spreading of polydisperse droplets in a turbulent Marco Edoardo Rosti
puff of saturated exhaled air（OIST）

Oakbridge
CX〔資料提供：坪倉誠教授（神戸大学）〕

YouTubeチャンネルのご紹介
研究事例紹介や、セミナー・講習会の録画などをご覧になれます。
• 「東京大学情報基盤センター」チャンネル
https://www.youtube.com/channel/UC2CHaGp1AO-vqRlV7wmU0-w• Wisteria/BDEC-01システム紹介
https://www.youtube.com/watch?v=SXjYtatzo4&list=PLobjSv_ny85lW03OAPUJ9DWJoHhNiQgvY&index=3&t=104s• 第10回JCAHPCセミナー
https://www.youtube.com/playlist?list=PLobjSv_ny85mfPTuCC2i7r_sPQYKZvy2e• 柏キャンパス一般公開
https://www.youtube.com/playlist?list=PLobjSv_ny85kr1Ig2m-bUiMC2a9W6k53u
https://www.youtube.com/watch?v=q-0QtU7Ops4&t=116s• JCAHPCセミナー：「人類と地球を護るスーパーコンピューティング」
https://www.youtube.com/playlist?list=PLobjSv_ny85l-z-VJCy690ZjlAA04xCRA• お試しアカウントつき講習会
https://www.youtube.com/playlist?list=PLobjSv_ny85kXY2Mtnhn1k7pM-epQaD2y

スーパーコンピューティングの今後• ワークロードの多様化• 計算科学，計算工学：Simulations• 大規模データ解析• AI，機械学習• （シミュレーション（計算）＋データ＋学習）融合⇒Society 5.0実現に有効，2015年頃から取り組
み• フィジカル空間とサイバー空間の融合• S:シミュレーション（計算）（Simulation）• D:データ（Data）• L：学習（Learning）• Simulation + Data + Learning =
S+D+L

生物科学・
生体力学
産業利用

エネルギー・
物理学

工学・
ものつくり

材料科学

CPU Cluster
Oakbridge-CX

Engineering
Earth/Space
Material
バイオ
Energy/Physics
インフォマティクス
Info. Sci. : System材料科学
Info. Sci. : Algrorithms
Info. Sci. : AI
情報科学：
生物科学・
Education
アルゴリズム
生体力学
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data

GPU Cluster
Reedbush-L

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
DataWisteria/BDEC-01
2021年5月14日から柏Ⅱキャンパスで運用を開始した国内最大級のシステム「Wisteria/BDEC-01」は，「計算・データ・学習（S+D+L）」融合を実現
する，世界でも初めてのプラット
フォーム

Platform for Integration of (S+D+L)
Big Data & Extreme Computing
シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

1PB, 1.0TB/s

800 Gbps

External
Resources
External Network
外部ネットワーク

外部リソース

Wisteria/BDEC-01• 2021年5月14日運用開始• 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing• ~4.5 MVA（空調込み）, ~360m2• 2種類のノード群• シミュレーションノード群（S, SIM）：
Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF• 7,680ノード（368,640 コア），20ラック，Tofu-D

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

1PB, 1.0TB/s

800 Gbps– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

External
Resources
External Network
外部ネットワーク

外部リソース

Wisteria/BDEC-01• 2021年5月14日運用開始• 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing• ~4.5 MVA（空調込み）, ~360m2• 2種類のノード群• シミュレーションノード群（S, SIM）：
Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF• 7,680ノード（368,640 コア），20ラック，Tofu-D

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

1PB, 1.0TB/s

800 Gbps– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

External
Resources
External Network
外部ネットワーク

外部リソース

Wisteria/BDEC-01• 2021年5月14日運用開始• 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing• ~4.5 MVA（空調込み）, ~360m2• 2種類のノード群• シミュレーションノード群（S, SIM）：
Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF• 7,680ノード（368,640 コア），20ラック，Tofu-D

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

1PB, 1.0TB/s

800 Gbps– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

External
Resources
External Network
外部ネットワーク

外部リソース

Wisteria/BDEC-01（S+D+L）融合プラットフォーム
Platform for Integration of (S+D+L)
Big Data & Extreme Computing
シミュレーションノード群

Odyssey

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

7.20PF, 578.2TB/s• 手賀沼（柏市）に伝わる「藤姫伝説」• Odyssey

Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Intel Ice Lake + NVIDIA A100

• Wisteria （紫藤）

1PB, 1.0TB/s

800 Gbps• アポロ13号・司令船（Command
Module, CM）のコールサイン• Aquarius• アポロ13号・月着陸船（Lunar
Module，LM）のコールサイン

External
Resources
External Network
外部ネットワーク

外部リソースhttps://www.cc.u-tokyo.ac.jp/public/pr/pr-wisteria.php

システム構成図
シミュレーションノード：7,680ノード (総理論演算性能 25.9 PFLOPS、総メモリバンド幅 7.8 PB/s)
データ・学習ノード：45ノード (総理論演算性能 7.2 PFLOPS、総メモリバンド幅 578.2 TB/s)
外部接続ルータ (Ethernet)

シミュレーションノード群

ログインノード

データ・学習ノード群

7,680ノード

ログインノード共有ファイルシステム

20ノード

45ノード

FUJITSU Server
PRIMERGY RX2530 M5 x 20ノード
総理論演算性能(倍精度)：96TFLOPS
総メモリ容量：7.5TiB
FUJITSU Supercomputer
シミュレーションノード間
PRIMEHPC FX1000 x 7,680ノード (20ラック) ネットワーク
総理論演算性能(倍精度) : 25.9PFLOPS(TofuインターコネクトD)
バイセクションバンド幅：13TB/s
総メモリ容量：240TiB
総メモリバンド幅 : 7.8PB/s

FUJITSU Server
PRIMERGY GX2570 M6 x 45ノード(ノードあたり Intel Xeon Platinum 8360Y
Processor (2.40GHz, 36コア) x2)(ノードあたり NVIDIA A100 x 8基)
総理論演算性能(倍精度)：7.2PFLOPS
総メモリ容量：36.5TiB,総メモリバンド幅：578.2TB/s

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX60 S5 x 1
有効利用容量：14.4TB

データ・学習ノード間ネットワーク 兼 ノード群結合ネットワーク (InfiniBand EDR/HDR)
ライフネットワーク/管理ネットワーク (Ethernet)
高速ファイルシステム
MDS,MDT x1セット

OSS,OST x16セット

ファイルシステム：FEFS
1PB
ストレージデータ転送速度：1.0TB/s
MDS：PRIMERGY RX2530 M5 x 2
MDT：ETERNUS AF250 S3 x 1
OSS, OST : 2VM/CM, DDN SFA400NVXE x 16

共有ファイルシステム
MDS,MDT x1セット

管理サーバ群

管理サーバ群ネットワークストレージ

OSS,OST x16セット

ファイルシステム：FEFS
25PB
ストレージデータ転送速度：0.5TB/s
MDS：PRIMERGY RX2530 M5 x 4
MDT：ETERNUS AF250 S3 x 1
OSS, OST : 1VM/CM, DDN SFA7990XE x 16

FUJITSU Server
PRIMERGY RX2530 M5
x 13(ジョブ管理x5、運用管理x2、
認証x2、Webポータルx2、セキュリティログx2)

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX100 S5 x 1
有効利用容量：420TB

・外部ネットワーク
・柏キャンパス・mdxシステム

Simulation Nodes

計算科学コード

Odyssey
25.9 PF, 7.8 PB/s

シミュレーション
最適化されたモデル， ノード群，Odyssey
Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

パラメータ

計算結果

Wisteria/BDEC-01
機械学習，DDA

Data/Learning Nodes

データ・学習ノード群
Aquarius

観測データ

データ同化
データ解析

Aquarius
7.20 PF, 578.2 TB/s

サーバー
ストレージ
DB
センサー群
他

外部ネットワーク

外部
リソース

Simulation Nodes

計算科学コード

Odyssey
25.9 PF, 7.8 PB/s

シミュレーション
最適化されたモデル， ノード群，Odyssey
Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

パラメータ

計算結果

Wisteria/BDEC-01
機械学習，DDA

Data/Learning Nodes

データ・学習ノード群
Aquarius

観測データ

データ同化
データ解析

Aquarius
7.20 PF, 578.2 TB/s

シミュレーションのためのモデル・パラ
外部
メータのデータ解析，AI/機械学習によリソースる最適化（S+D+L）＝AI
外部ネットワークfor HPC

サーバー
ストレージ
DB
センサー群
他

November 2022 (SC22)の諸ランキング
Wisteria/BDEC-01のシミュレーションノード群（Odyssey）とデータ・学習ノード群（Aquarius）は別々に測定・申請
System

TOP500

Green500

HPCG

連立一次方程式 TOP500：消費電力 連立一次方程式（密行列）
当たり計算性能（疎行列）

Graph500

HPL-MxP

グラフ処理

連立一次方程式（密行列・混合精度）

Oakbridge-CX

129

85

83

-

-

Wisteria/BDEC01（Odyssey）

23

45

12

4

14

Wisteria/BDEC01（Aquarius）

125

28

68

-

-

60th TOP500 List (Nov., 2022)
Site

https://www.top500.org/
Rmax: Performance of Linpack (TFLOPS)
Rpeak: Peak Performance (TFLOPS), Power: kW

Computer/Year Vendor

Cores

Rmax
Rpeak
(PFLOPS) (PFLOPS)

Power
(kW)

1 Frontier, 2022, USA

HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC 64C
2GHz, AMD Instinct MI250X, Slingshot-11

8,730,112

1,102.00(=1.102 EF)

1,685.65

21,1002 Fugaku, 2020, Japan

Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz,
Tofu-D

7,630,848

442,010(= 442.0 PF)

537,212.0

29,8993 LUMI, 2022, Finland

HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC 64C
2GHz, AMD Instinct MI250X, Slingshot-11

2,220,288

309.10428.70

6,016

4 Leonardo, 2022, Italy

BullSequana XH2000, Xeon Platinum 8358 32C 2.6GHz,
NVIDIA A100 SXM4 64GB, Quad-rail NVIDIA HDR Infiniband

1,436,616

174.70255.755,610

5 Summit, 2018, USA

IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

2,414,592

148.60200.7910,096

6 Sierra, 2018, USA

IBM Power System S922LC, IBM POWER9 22C 3.1GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

1,572,480

94.64

125.71

7,438

7 Sunway TaihuLight, 2016, China

Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway

10,649,600

93.01

125.44

15,371

761,856

70.87

93.75

2,589

555,520

63.46

79.22

2,646

4,981,760

61.44

100.6818,482504,000

22.21

54.34

1,600

368,640

22.12

25.95

DOE/SC/Oak Ridge National Laboratory
R-CCS, RIKEN
EuroHPC/CSC

EuroHPC/CINECA

DOE/SC/Oak Ridge National Laboratory
DOE/NNSA/LLNL

National Supercomputing Center in Wuxi

8 Perlmutter, 2021, USA

HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz, NVIDIA
A100 SXM4 40 GB, Slingshot-10
DOE/NERSC/LBNL
NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
9 Selene, 2020, USA
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
NVIDIA
TH-IVB-FEP Cluster, Intel Xeon E5-2692v2 12C 2.2GHz, TH
10 Tianhe-2A, 2018, China
National Super Computer Center in Guangzhou Express-2, Matrix-2000

22 ABCI 2.0, 2021, Japan
AIST

23

Wisteria/BDEC-01 (Odyssey), 2021,
Japan ITC, University of Tokyo

PRIMERGY GX2570 M6, Xeon Platinum 8360Y 36C
2.4GHz, NVIDIA A100 SXM4 40 GB, InfiniBand HDR
PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofuinterconnect D

24

1,468

Green 500 Ranking (Jun., 2022)
TOP 500
Rank

System1405

Henri, Flatiron Institute, USA2

32

Frontier TDS, ORNL, USA

3

11

Adastra, GENCI-CINES, France

4

15

5

68

6

1

Frontier, ORNL, USA

7

3

LUMI, EuroHPC/CSC, Finland

8

159

ATOS THX.A.B, Atos, France

9359

MN-3, Preferred Networks, Japan

10

331

28

125

Accelerator
NVIDIA H100
80GB PCIeAMD Instinct
MI250X
AMD Instinct
MI250X
AMD Instinct
MI250X
AMD Instinct
MI250X
AMD Instinct
MI250X
AMD Instinct
MI250XNVIDIA A100
SXM4 64GB

Cores

https://www.top500.org/lists/green500

HPL Rmax(Pflop/s)

Power
(kW)

GFLOPS/W

5,920

2.04

31

65.091

120,832

19.20

309

62.684

319,072

46.10

921

58.021

181,248

27.16

477

56.98352,8648.26

146

56.4918,730,112

1,102.00

21,10052.2272,220,288

309.106,016

51.382

25,0563.50

8641.411

MN-Core

1,664

2.181

53

40.901Champollion, HPE, France

NVIDIA A100
SXM4 80GB

19,8402.32

60

38.555

Wisteria/BDEC-01 (Aquarius), Fujitsu,
Japan

NVIDIA A100

42,1204.425

183.93

24.06

Satonix--GPU, Pawsey Supercomputing
Centre, Australia
Dardel GPU, KTH - Royal Institute ofTechnology, Sweden

HPCG Ranking (November 2022)
ComputerCores

HPL Rmax(Pflop/s)

TOP500Rank

HPCG(Pflop/s)

1

Fugaku7,630,848

442.0102

16.0042

Frontier

8,730,1121102.00

1

14.0543

LUMI

2,220,288

309.10

3

3.408

4

Summit2,414,592

148.600

5

2.926

5

Leonardo

1,463,616

174.70

4

2.567

6

Perlmutter

761,856

70.870

8

1.905

7

Sierra1,572,480

94.640

6

1.796

8

Selene555,52063.460

9

1.622

9

JUWELS Booster Module

449,280

44.120

12

1.275

10

Dammam-7
Wisteria/BDEC-01(Odyssey)

672,520

22.40021

0.881

368,640

22.121

23

0.817

12

https://www.top500.org/lists/hpcg

Graph500 BFS, November 2022
Site
1 Fugaku, 2020, Japan
R-CCS, RIKEN

2

Pengcheng Cloudbrain-II, China

Pengcheng Lab

3 Sunway TaihuLight, 2016, China

National Supercomputing Center in Wuxi

4

Wisteria/BDEC-01 (Odyssey), 2021, Japan
ITC, University of Tokyo

5 Toki-Sora, 2021, Japan
JAXA

Computer/ Vendor
Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz, Tofu-D

Kunpeng 920 + Ascend 910
Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway

Fujitsu PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofuinterconnect D
PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofu interconnect
D

6 LUMI-C, 2021, Finland

Cray EX, SlingShot-10

7 Summit (CPU Only), 2018, USA

IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

8 SuperMUC, 2018, Germany

ThinkSystem SD650, Xeon Platinum 8174 24C 3.1GHz, IntelOmni-Path
Bull Intel Cluster Intel Xeon Platinum 9242 48C 2.3GHz
Intel Omni-Path

EuroHPC/CSC

DOE/SC/Oak Ridge National Laboratory
Leibniz

9 Lise, 2021, Germany

ZIB
DepGraph Supernode, China

10

National Engineering Research
DepGraph +GPU Tesla A100
Center for Big Data Technology and
Systemhttps://graph500.org

Cores

Scale

GTEPS

7,630,848

41

102956

93,6964025242.9

10,599,680

40

23755.7

368,640

37

16118

276,48036

10813

190,97638

8467.72,414,592

40

7665.7

196,60839

6279.47

121,92038

5423.9412833

4623.379

HPL-MxP (November 2022)
Site

Rmax: Performance of Linpack (EFLOPS)

Computer/Vendor

Cores

https://hpl-mxp.org/

HPL-AIHPL Rmax
Top500Speedup(EFLOPS)(EFLOPS)

1 Frontier, 2022, USA

HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC
64C 2GHz, AMD Instinct MI250X, Slingshot-11

8,730,112

7.942

1

1.10207.2

2 LUMI, 2022, Finland

HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC
64C 2GHz, AMD Instinct MI250X, Slingshot-11

2,174,976

2.168

3

0.3091

7.0

3 Fugaku, 2020, Japan

Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C
2.2GHz, Tofu-D

7,630,848

2.0

20.4420

4.5

4 Leonardo, 2022, Italy

BullSequana XH2000, Xeon Platinum 8358 32C
2.6GHz, NVIDIA A100, NVIDIA HDR100 InfiniBand

1,463,616

1.842

4

0.168211.0

Summit, 2018, USA

IBM Power System AC922, IBM POWER9 22C
3.07GHz, NVIDIA Volta GV100, Dual-rail Mellanox
EDR InfiniBand
NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz,
NVIDIA A100 SXM4 40 GB, Slingshot-10

2,414,592

1.411

5

0.1486

9.5

555,5200.630

90.06309.9

761,8560.590

80.07098.3

Bull Sequana XH2000, AMD EPYC 7402 24c 2.8GHz,
NVIDIA A100, Mellanox InfiniBand HDR

449,2800.47

120.044010

HPE Cray EX235a, AMD Optimized 3rd Gen. EPYC
64C 2GHz, AMD Instinct MI250X, Slingshot-11

319,0720.303

110.0461

6.6

rd
10 Satonix -- GPU, 2022, Australia HPE Cray EX235a, AMD Optimized 3 Gen. EPYC

181,2480.175

150.0272

6.4

368,6400.10

23

22,121

4.5

DOE/ORNL

EuroHPC/CSC

R-CCS, RIKEN

EuroHPC/CINECA

5 DOE/SC/Oak Ridge National
Laboratory

6 Selene, 2020, USA
NVIDIA

7 Perlmutter, 2021, USA

DOE/NERSC/LBNL
8 JUWELS Booster Module, 2020,
Germany Julich (FZJ)

9 Adastra, 2022, France
GENCI-CINES

14

Pawsey Supercomputing Centre

64C 2GHz, AMD Instinct MI250X, Slingshot-11

Wisteria/BDEC-01 (Odyssey), 2021,
Japan ITC, University of Tokyo

Fujitsu PRIMEHPC FX1000, A64FX 48C 2.2GHz,
Tofu interconnect D

Platform for Integration of (S+D+L)
Big Data & Extreme Computing
Simulation Nodes:
Odyssey

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Shared File
System
（SFS）
25.8 PB, 500 GB/s

2.0 TB/s

Data/Learning
Nodes: AquariusIntel Ice Lake + NVIDIA A100

Fast File
System（FFS）
1 PB, 1.0 TB/s

7.20 PF, 578.2 TB/s

• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)

800 Gbps

External
Resources

External
Resources
External Network• 2019年7月～2023年9月末（予定）• 6.61 PF, #129 in 60th TOP500 (November 2022)

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#17)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#106)• 33.1 PF, #17 in 58th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Simulation Nodes（Odyssey）

Data/Learning Nodes（Aquarius）

Reedbush

Oakforest-PACS

Oakbridge-CX

30

Oakbridge-CX（OBCX）
https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/• 富士通製• Intel Xeon Platinum 8280（Cascade Lake，CLX）（28コア）×2• 合計1,368ノード，Omni-Path Architecture（OPA）• 共有ファイルシステム（Lustre）• 128ノードはSSD搭載，総容量200TBの高速ファイルシステムとして運用可• SSD搭載128ノードのうち16ノードは外部ネットワークに直接接続しており（外部接続ノード），外部リソース（サーバ，ストレージ，センターネットワーク等）との通信可能• ピーク性能6.61 PFLOPS，TOP500で69位（2020年11月）• 更に外部ネットワークに直接接続し，OBCX各計算ノードと連携するGPU
サーバ（通称Mini-DP，Wisteria/BDEC-01の「データ・学習ノード」に相当）を利用可能

Oakbridge-CX(OBCX)
世界第129位
2022年11月現在
Fujitsu PRIMERGY CX2550 M5

Fujitsu PRIMERGY CX400 M1
シャーシ当たりCX2550 M5×4搭載

Oakbridge-CX（OBCX）： BeeGFS on Demand (BeeOND)
BDECに向けた実験システム• 全1,368ノードのうち128ノードにSSD（Solid State Drive）搭載

OBCX
N000
SSD
1.6TB

OBCX
N001
SSD
1.6TB

OBCX
N002
SSD
1.6TB

OBCX
N003
SSD
1.6TB

OBCX
N00n
SSD
1.6TB

• Intel SSD＋BeeGFS• 容量：1.6 TB/node• 読み書き性能： 3.20/1.32 GB/s/node• BeeOND（BeeGFS-on-Demand）によって合計200+TB （128×1.6）の高速ファイルシステムとして使用可能• データ科学アプリケーション

Temporary Storage with (n+1)×1.6TB（Max 204.8TB）

Total: 1,368 nodes• ソフトウェア類も充実• ステージング，チェックポイント
128 nodes• 128ノードのうち16ノードはSINET経由で外with SSD
部リソース（サーバー，ストレージ，セン
サーネットワーク）に直接接続⇒外部接続
OBCXの16ノード（外部接続ノード）
ノード
SINET経由で外部計算機資源に直接接続，BDECにおけるデータ・学習ード群と同様の役割

16

2021年度分野別（12月末時点） ■汎用CPU，■GPU
Engineering
Engineering
Odyssey，Aquariusは8月以降，RB-H，RB-Lは11月末時点
Earth/Space
Earth/Space 社会
Material
RB-H
RB-L
科学
OFP
Material
工学・
材料科学

バイオ
インフォマ
ティクス
材料科学
生物科学・
生体力学
情報科学：
AI
生物科学・
生体力学
工学・
ものつくり

企業利用

エネルギー・
物理学
材料科学

OBCX

地球科学・
宇宙科学

Energy/Physics
Info. Sci. : System
Info. Sci.
: Algrorithms
バイオ
情報科学：AI
インフォマ
Info. Sci.
: AI
ティクス
Education
Industry
Bio
生物科学・
Bioinformatics 生体力学
Social Sci. & Economics
Engineering
生物科学・ データ
Data
Earth/Space
生体力学 科学
Material
Energy/Physics
Info. Sci. : System 工学・ものつくり
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
地球科学・
Industry 宇宙科学
Bio
Bioinformatics
Social Sci.Odyssey& Economics

Energy/Physics
ものつくり
Info. Sci. : System
Info. Sci. : Algrorithms
地球科学・
Info.エネルギー・
Sci. : AI
宇宙科学
Education
物理学
Industry
Bio
Bioinformatics 材料科学
Social Sci. & Economics
Engineering
Data
Earth/Space
工学・
Material
ものつくり
情報科学：
Energy/Physics
AI Sci. : System
Info.
Info. Sci. : Algrorithms
アルゴリズム地球科学・Info. Sci. : AI
宇宙科学
Education
Industry
材料科学
Bio
Bioinformatics
Aquarius
Social Sci. & Economics

工学・ものつくりEngineering
地球科学・宇宙科学
Earth/Space
材料科学
Material
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algrorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
Engineering
データ科学・データ同化
Data
Earth/Space
Material
Energy/Physics
地球科学・宇宙科学
Info. Sci. : System⇒
分野ではOFP
Info. Sci. : Algrorithms
Wisteria/BDEC-01
Info. Sci. : AIへの移行が順調に進Education
んでいるIndustry
Bio
Bioinformatics
Social Sci. & Economics

スパコン利用にあたっての指針（1/2）
OBCX，Odyssey，Aquarius• 基本的には，自作コード，オープンソースの利用を前提• OpenFOAM（流体）• OBCX，Odyssey• 今野雅博士（客員研究員）：OpenFOAM関連チュートリアル• FrontISTR，FrontFlow，ABINIT（東大生研）• ppOpen-HPC，h3-Open-BDEC（東大センター）• 商用コード• Altair HyperWorks（汎用CAEコード）• https://www.altairjp.co.jp/hyperworks/• OBCX，Aquarius（一部）• 国内大学教職員・学生のみ利用可能• 研究機関，企業の場合は別途ライセンス取得が必要• MATLAB（2022年3月から利用可能）• OBCX，Aquarius

34スパコン利用にあたっての指針（2/2）
OBCX，Odyssey，Aquarius
OBCX
1,368ノード

Odyssey
7,680ノード

Aquarius
45ノード，360GPU

O+A

計算科学（S）

◎

◎

◎

-

データ科学（D）

◎

◎

◎

-

機械学習・AI
（L）

○

○

◎

-

大規模計算

○

◎

○

◎

「S+D+L」融合

○

○

◎

◎

商用コード

◎

△

○

-

•

特徴

•

•

こんな用途にIntel Xeon CPUのため•
特殊なチューニングは不要•
外部接続ノード（128）
SSD搭載ノード（16） ••富岳と同じA64FX搭載，高いメモリ性能
超大規模シミュレーショ
ン可FP16容易に利用可
チューニング必須••

大規模計算，FEM・差分法等によるシミュレー
ション

•
•

研究室内のマシン等での計算の大規模化•

高性能GPU（NVIDIA
A100）搭載
外部接続可能•O-A連携ソフト
ウェア開発中（h3-Open-BDEC，
WaitIO）

機械学習，深層学習
粒子法シミュレー
ション•（S+D+L）融合GFLOPS（ピーク性能）当たり利用負担（円）：電気代
GFLOPS/W（Green 500）
JPY/GFLOPS
Small is GoodGFLOPS/W
Large is Good

Oakleaf-FX/Oakbridge-FX (Fujitsu)(Fujitsu SPARC64 IXfx)

125

0.866

Reedbush-U (HPE) (Intel Xeon Broadwell (BDW))

61.9

2.310

Reedbush-H (HPE) (Intel BDW+NVIDIA P100x2/node)

15.9

8.575

Reedbush-L (HPE) (Intel BDW+NVIDIA P100x4/node)

13.4

10.167

Oakforest-PACS (Fujitsu) (Intel Xeon Phi/KNL)

16.5

4.986

Oakbridge-CX (Fujitsu) (Intel Xeon Cascade Lake)

20.7 ➔ 31.05

5.076

Wisteria-Odyssey （Fujitsu/Arm A64FX）

17.8 ➔ 26.7

15.07

Wisteria-Aquarius （Intel Xeon Ice Lake + NVIDIA A100x8）

9.00 ➔ 13.5

24.06

System

利用制度の紹介• 一般利用• 大学・公共機関に在籍の方（大学院生は代表者としては申し込めません）• 電気代相当料金の利用負担金支払いが必要• 企業利用• 企業に在籍の方• 利用負担金は一般利用の約1.2倍• 書面・ヒアリング審査あり，成果報告（公開）義務あり• 若手・女性利用• 大学・公共機関に在籍の方• 4月1日現在40歳以下の若手，または女性，または学生• 利用負担金なし• 書類審査あり，成果報告義務あり• 学際大規模情報基盤共同利用・共同研究拠点（JHPCN）への課題申請• HPCI課題への課題申請

一般利用コース
https://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/course.php• グループコース（1人またはそれ以上から構成されるグループ）– Wisteria/BDEC-01から「パーソナルコース」は廃止– 代表者は大学・公共機関所属者• トークン（ノード時間）を購入
Platform for Integration of (S+D+L)
Big Data & Extreme Computing– Odyssey，Aquariusを利用できる– O/Aでそれぞれ消費係数が異なる• 一般利用• ノード固定– Aquariusの1ノード（8GPU）を占有して利用– 審査有り（ヒアリング）• GPU占有– Aquariusの1・2・4GPUを占有して利用– 審査無しシミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

1PB, 1.0TB/s

800 Gbps

External
Resources
External Network
外部ネットワーク

外部リソースジョブクラス
https://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/job.php• インタラクティヴ• バッチジョブ• プリポスト• Wisteria-O（Odyssey）:シミュレーションノード群– XXX-o– priority-o：優先キュー，トークン消費量1.5倍• Wisteria-A（Aquarius）:データ・学習ノード群– XXX-a– share-XXX

ノード単位
GPU単位

• MIG（Multi-Instance GPU）により，GPU内を更に分割可能だが，本システムでは採用せず

スーパーコンピュータシステムの詳細• https://www.cc.u-tokyo.ac.jp/guide をご覧ください• 利用申請方法• 運営体系• 料金体系• 利用の手引き• 利用制度説明会（1/19）の資料• https://www.cc.u-tokyo.ac.jp/events/seminar/20230119.php

大規模共通ストレージシステム「Ipomoea」• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途• 東大センターでは従来ストレージは各システムに附属して導入され，各システムのストレージは独立• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，東大センターの全システムからアクセス可
能な共通ストレージの導入が強く求められていた• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入決定– OFP運用終了が契機– 1システムを約5–6 年使用し，約3年ごとに新しいストレージシステム（25+PB）を導入
し，入れ替えることを想定している

41

Ipomoea-01

柏IIキャンパス• 2022年1月運用開始，25+PB• 富士通製• FPのLustre 領域の必要ファイルの移行完了，2022年6月から公開• 割当容量• 東大センターのシステムのいずれかに利用者番号（教育利用，講習会除く）を有する場合• 各利用者ごとに5TB• 各グループごとに登録システムで付与されている容量の15％を無償で付与• 追加負担金（企業はこの2割増し）• 7,200円/TB/年，2,100,000円/PB/年• Ipomoea-01のみの利用申込みも可能
柏キャンパス

ログインノード兼接続用サーバ

外部接続
ノード

40G x225.9 PB
Lustre

100G

400G x2
ログイン
ノード

12.4 PB
LustreIpomoea-01

Oakbridge-CX

第2総合研究棟 2階

第2総合研究棟 1階

外部共有
オブジェクトストレージ
10 PB,
S3/Lustre
高速NVMeストレージ
1.0 PB, Lustre
大容量HDD
ストレージ
16 PB, Lustre

100G x2

100G x2
ログイン
ノード

400G x2

400G x2

共有ファイルシステム
25.8 PB, FEFS

Aquarius
ノード群

高速ファイル
システム
1.0 PB, FEFS

Odysseyノード群
Wisteria/BDEC-0142