第218回 お試しアカウント付き
並列プログラミング講習会

A64FXプログラミング入門
東京大学 情報基盤センター
担当：下川辺 隆史
shimokawabe @ cc.u-tokyo.ac.jp（内容に関するご質問はこちらまで）

講習会スケジュール
n プログラムü 10月31日（火）13：00 - 17：00
ü 13：00 - 13：30
Wisteria/BDEC-01 使い方講座
ü 13：30 - 14：20
A64FXアーキテクチャと並列プログラミング（座学）
ü 14：30 - 15：40
OpenMPを活⽤した並列プログラミング演習
ü 15：50 - 17：00
プロファイラを活⽤したチューニング演習
n 形態
ZoomとSlackを用いたオンライン講習会

2023/10/31

A64FXプログラミング⼊⾨

2

講習会について
nその他の講習会
https://www.cc.u-tokyo.ac.jp/events/lectures/ü 他の講習会も開催しております。
ü 他の多くの講習会はサンプルコードを用いて座学と実習を行うものです。

nスパコンイベント情報メール配信サービス
https://regist.cc.u-tokyo.ac.jp/announce/
ü 講習会や研究会の案内、トライアルユースの実施のお知らせなどを配信しています。

2023/10/31

A64FXプログラミング⼊⾨

3

お願い等
• ハンズオンのためのPC，Zoom及びスパコンへ接続するためのネットワーク
環境は各受講者でご準備ください。
• PCは Windows/Microsoft Update，Apple Security Updateなどで最新のセキュリティアップデートを⾏ってください。
• 必ずウィルス対策ソフトウェアをインストールし，ウィルス検索を実⾏して問題がないことを事前に確認してから受講してください。
• セキュリティ対策未実施の場合はオンライン講習会受講を認めません。

• OSは、Windows、Macどちらでも構いませんが、SSH (Secure Shell)を⽤いてセンターのスーパーコンピューターへ接続ができることが必要です（後述）。
• 演習の実施に当たり，受講⽣にセンターのスーパーコンピューターを1か⽉間利⽤できる無料アカウント（お試しアカウント）を発⾏します。

2023/10/31

A64FXプログラミング入門

4Zoom関連• 「⼿をあげる」機能• 質問がある際，全体の状況を確認するため使⽤• ブレークアウトセッション• 画⾯を共有しながらエラー対応する際に使⽤• （なるべく⼝頭でのやりとりやSlackで対応する予定）• https://utelecon.adm.u-tokyo.ac.jp/zoom/how_to_use

2023/10/31

A64FXプログラミング⼊⾨

5

「⼿を挙げる」⽅法
1. Zoomメニュー中の「リアクション」をクリック

2. ポップアップで表⽰された「⼿を挙げる」をクリック

2023/10/31

A64FXプログラミング⼊⾨

6

⼿が挙がっていることの確認⽅法
1. Zoomメニュー中の「参加者」をクリックして，参加者⼀覧を表⽰
2. 表⽰された参加者⼀覧の，⾃分のところを⾒ると⼿が挙がっている

2023/10/31

A64FXプログラミング⼊⾨

7

「⼿を降ろす」⽅法
1. Zoomメニュー中の「リアクション」をクリック

2. ポップアップで表⽰された「⼿を降ろす」をクリック

2023/10/31

A64FXプログラミング⼊⾨

8

ブレイクアウトルーム（1/6）• 演習時に使⽤するかもしれません• 演習中に「ヘルプを求める」ことができます• ホストを招待した後に「画⾯を共有」することで，皆さんの記述したプログラムを⼀緒に⾒ながら問題解決にあたります• Zoomメニュー中の「ブレイクアウトルーム」をクリック

2023/10/31

A64FXプログラミング⼊⾨

9

ブレイクアウトルーム（2/6）• 進⾏中のブレイクアウトルームのリストが表⽰されるので，空いている部屋に「参加」してください• 左の例では5部屋がすべて空室，右の例ではルーム1のみ参加者がいる

2023/10/31

A64FXプログラミング⼊⾨

10

ブレイクアウトルーム（3/6）• 「参加」をクリックすると確認画⾯が出てくるので，「はい」を選択すると⼊室できます

2023/10/31

A64FXプログラミング⼊⾨

11

ブレイクアウトルーム（4/6）• 再度メニュー中の「ブレイクアウトルーム」をクリックすると，「ヘルプを求める」が増えているのでクリックしてください

2023/10/31

A64FXプログラミング⼊⾨

12

ブレイクアウトルーム（5/6）• ポップアップで出てきた「ホストを招待」をクリック• ホスト（講師）の参加待ちに移⾏します（画⾯はそのまま）• 他の受講者のヘルプ中など，直ちに対応できない場合もあります

2023/10/31

A64FXプログラミング⼊⾨

13

ブレイクアウトルーム（6/6）• 問題解決後は，Zoomメニュー中の「ルームを退出する」• 「ブレイクアウトルームを退出」が表⽰されるのでクリックして，元の講習会会場にお戻りください• 間違えて「ミーティングを退出」すると講習会から退出します

2023/10/31

A64FXプログラミング⼊⾨

14

Slack関連• ブラウザ上で使う場合には：• https://w1590055008bgo338004.slack.com/archives/C05CMBRG3QB• 注：ログインには，事前にお配りしたリンクからの登録が必要です• 質問対応に使⽤• コードの貼り付け⽅• スレッドの確認⽅法• 以下，ブラウザ版で説明しますがアプリ版でも操作は同じです
2023/10/31

A64FXプログラミング⼊⾨

15質疑応答チャンネルへの移動• 左側のメニューバーのチャンネル一覧内に「第218回-」があるので，クリック• 表示されていない場合
1. 「チャンネルを追加する」をクリック
2. 「チャンネル一覧を確認する」をクリック
3. 「第218回-a64fxプログラミング入門」があるので，「参加する」をクリック

第218回-a64fxプログラミ…

メッセージの⼊⼒⽅法• 最下部に⼊⼒欄があるので，質問内容を記載して Ctrl+Enter• ⼊⼒後に右下の「メッセージを送信する」をクリックしても同じ（メッセージ⼊⼒前には，「メッセージを送信する」は押せない）
メッセージの⼊⼒欄
コードブロックの⽣成

メッセージを送信する• コードを⼊⼒する際には，「コードブロック」がおすすめ• 枠が⽣成されるので，この中にコピペするのが簡単かつ⾒やすい• ```（JIS配列ならばShift+@を3連打）しても枠が⽣成される
2023/10/31

A64FXプログラミング⼊⾨

17

⾃分が参加したスレッドのみの表⽰⽅法• 左上の「スレッド」をクリックすると，⾃分が参加しているスレッドの⼀覧が表⽰されます• 質問内容には，「スレッドで返信する」形式で回答するので，⾃分が聞いた内容のみが表⽰できます2023/10/31

A64FXプログラミング⼊⾨

18

Wisteria/BDEC-01

2023/10/31

A64FXプログラミング⼊⾨

19

2001-2005
Hitachi SR8000
1,024 GF

Hitachi
SR2201307.2GF

2006-20102011-20152016-20202026-2030

Hitachi
SR16K/M1
Yayoi

Hitachi SR11000
J1, J25.35 TF, 18.8 TF

54.9 TF

Hitachi
SR8000/MPP

OBCX(Fujitsu)

2,073.6 GF

6.61 PF

OakforestPACS (Fujitsu)

Hitachi HA8000
T2K Todai
Fujitsu FX10
Oakleaf-FX

東京大学情報基盤センターのスパコン

OFP-II

150+ PF

25.0 PF

140 TF

BDEC02

Fujitsu
33.1 PF

1.13 PF

250+ PF

ReedbushU/H/L (SGIHPE)
3.36 PF

利用者2,600+名
55％は学外2023/10/31

2021-2025

Ipomoea03

Ipomoea-01 25PB
A64FXプログラミング⼊⾨

Ipomoea-02
20

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010

Hitachi
SR8000/MPP

HARP-1E

SR80002016-2020

Hitachi
SR16K/M1
Yayoi
IBMPower7
54.9
TF

Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

Hitachi
SR2201307.2GF

2011-2015

6.61 PF

OakforestPACS (Fujitsu)

Hitachi HA8000
T2K Todai
140 TFAMD Opteron

汎用CPU

2026-2030

Intel CLX
OBCX(Fujitsu)

2,073.6 GF

疑似ベクトル2021-2025

OFP-II

150+ PF

25.0 PF

AcceleratorsIntel Xeon Phi
Fujitsu FX10
Oakleaf-FX

33.1 PF

1.13 PFSPACR64 IXfx

ReedbushU/H/L (SGIHPE)

加速装置付

BDEC02

Fujitsu

250+ PFA64FX,
Intel Icelake+
NVIDIA A100

Accelerators

3.36 PFIntel BDW +NVIDIA P100
2023/10/31

A64FXプログラミング⼊⾨

Ipomoea03

Ipomoea-01 25PB

Ipomoea-02
21

Platform for Integration of (S+D+L)
Big Data & Extreme Computing

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Shared File
System
（SFS）
25.8 PB, 500 GB/s

2.0 TB/s

Data/Learning
Nodes: AquariusIntel Ice Lake + NVIDIA A100

Fast File
System（FFS）
1 PB, 1.0 TB/s

7.20 PF, 578.2 TB/s

External
Resources
External Network

Simulation Nodes（Odyssey）
2023/10/31

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)

800 Gbps

External
Resources• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末（引退）• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF• 2019年7月～2023年9月末• 6.61 PF, #110 in 58th TOP500-Sep 2023

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#17)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#106)• 33.1 PF, #13 in 57th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Data/Learning
Nodes（Aquarius）

Reedbush
A64FXプログラミング⼊⾨

Oakforest-PACS

Oakbridge-CX
22

23

柏キャンパス
OFP，OBCX

柏IIキャンパス
Wisteria/BDEC-01，mdx
ABCI/ABCI-II

TX「柏の葉キャンパス」駅
2023/10/31

A64FXプログラミング⼊⾨

23

2021年度分野別 ■汎用CPU，■GPU
は 月末時点 Engineering
Odyssey，Aquariusは8月以降，RB-H，RB-L
Engineering 11
工学・ものつくり
RB-H
バイオ
インフォマ
ティクス
材料科学
生物科学・
生体力学
情報科学：
AI
生物科学・
生体力学
企業利用

工学・
ものつくり

エネルギー・
物理学

地球科学・
材料科学 宇宙科学

OBCXEngineering
Earth/Space 社会科学
RB-L
Material
材料科学
Energy/Physics
Info. Sci. : System
Info. Sci.
: Algrorithms
バイオ
情報科学：AI
Info. Sci.
: AI
インフォマ
ティクス
Education
Industry
Bio
生物科学・
Bioinformatics 生体力学
SocialSci. & Economics
Engineering
データ
Data
Earth/Space 科学
Material生物科学・Energy/Physics
生体力学
工学・
Info. Sci. : System
ものつくり
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
地球科学・
Industry
宇宙科学
Bio
Bioinformatics
Social Sci.Odyssey& Economics

Earth/Space
Material
OFP
工学・
Energy/Physics ものつくり
Info. Sci. : System
Info. Sci. : Algrorithms
地球科学・
Info.エネルギー・
Sci. : AI
宇宙科学
Education
物理学
Industry
Bio
Bioinformatics 材料科学
SocialSci. & Economics
Engineering
Data
Earth/Space
工学・
Material
ものつくり
Energy/Physics
Info. Sci. : System
情報科学：
地球科学・
Info.
AI Sci. : Algrorithms宇宙科学
Info. Sci. : AI
アルゴリズム
Education
Industry
材料科学
Bio
Bioinformatics
Aquarius
Social Sci. & Economics

地球科学・宇宙科学
Earth/Space
材料科学
Material
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info. Sci. : Algrorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
Engineering
データ科学・データ同化
Data
Earth/Space
Material
Energy/Physics
地球科学・宇宙科学
Info. Sci. : System⇒
分野ではOFP
Info. Sci. : Algrorithms
Wisteria/BDEC-01
Info. Sci. : AIへの移行が順調に
Education
進んでいるIndustry
Bio
Bioinformatics
Social Sci. & Economics

2022年度分野別 ■汎用CPU，■GPU
バイオ
インフォマ
生物科学・ティクス
生体力学

エネルギー・
物理学

工学・
ものつくり

材料科学

OBCX

地球科学・
宇宙科学

Engineering
Earth/Space
Material
工学・
ものつくり
Energy/Physics
Info. Sci. : System
Info. Sci. : Algorithms
地球科学・
Info. Sci. : AI
エネルギー・
宇宙科学
物理学
Education
Industry
材
Bio
料
Bioinformatics科
学
Social Sci. & Economics
Data

Odyssey

データ科

工学・
Engineering
学・データ
バイオイン 同化 ものつくり
Earth/Space
フォマティクス
Material
地球科学・
Energy/Physics
エネルギー・
工学・
宇宙科学
Info.
Sci. : System
物理学
情報科学：
ものつくり
Info. Sci. : Algorithms
AI
Info. Sci. : AI
材料科学
Education
地球科学・
アルゴリズム宇宙科学
Industry
Bio
材料科学
Bioinformatics
Social Sci. & Economics
Data

Aquarius

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algorithms
情報科学：アルゴリズム
Info.
Sci. : AI
情報科学：AI
Education
教育
Industry
産業利用
Bio
生物科学・生体力学
Bioinformatics
バイオインフォマティクス
SocialSci. & Economics
社会科学・経済学
Data
データ科学・データ同化

2023/10/31

26

全地球大気環境シミュレーション
東大大気海洋研究所，東大理学系研究科等

NICAM:
Semi-Unstructured Grid

NICAMAgrid
NICAMZMgrid

MIROC-A:
FDM/Structured Grid

MIROC-A

Atmospheric
Model-1* Also applicable to full coupling,
multiple applications

App. A

2. Send-data extraction fromthe buffer, and data sending

Atmospheric
Model-2

ひまわり SST (1時間毎)

J-cup

ppOpen-MATH/MP
Coupler•Grid Transformation• Multi-Ensemble•IO•Pre- and post-process•Fault tolerance•M×N

Ocean Model

COCO
Regional COCO
Matsumuramodel

Post-Peta-Scale
System-System S/W-Architecture

1. Data-packing
into a buffer
4. Data extraction
from the buffer

3. Data-packing after theinterpolation process
COCO: Tri-Polar FDM

Regional Ocean Model
Non Hydrostatic Model

モデル SST（6時間毎）

A64FXプログラミング入門
App. B〔画像提供：佐藤正樹教授・
羽角博康教授（東大・大気海洋研）〕

2023/10/31

地震シミュレーション・地殻変動

27〔画像提供：古村孝志教授・
市村強教授（東大・地震研）〕

東大地震研究所，東大理学系研究科等○ 使用データ(K-N ET, KiK-net 446点)(a) 同化波動場(b ) 予測波動場

都心の長周期地震動予測結果c) Resident evacuationa) Earthquake wave propagation

0 km

-7 km

Two million agents evacuating to nearest safe site

Ikebukuro

応答スペクトル予測結果

Earthquake
Ueno

Shinjuku

Tokyo station

Shinbashi
Shibuya

90秒間の同化à予測計算b) City response simulation〔画像提供：
安藤亮輔准教授（東大・理学系）〕

A64FXプログラミング入門

Post earthquake

2023/10/3128

二酸化炭素地下貯留シミュレーション
大成建設，理化学研究所等〔画像提供：
山本肇博士（大成建設）〕(a) Tokyo Bay Model–Large scale hydro-geological model–
InjectionWell

30 million DoF

Yamamoto et al. (2009)

10km(b) DDC (Diffusion-Dissolution-Convection)–Highly non linear process model–
Injection Well

Caprock (Low permeable seal)
Supercritical
CO2

Reservoir

Local-scale
Model

Native Groundwater (Brine)

6 million DoF(c) SPE 10 Model–Highly heterogeneous reservoir model–
Producer

3.3 million DoF
Injector

Injector

Original
Reservior Model
Christie and Blunt (2001)
Qi et al. (2009)
Audigane et al.(2011)

Yamamoto et al. (2013)※DOF: degrees of freedom

A64FXプログラミング入門

CO2 behavior(No upscaling)ゲリラ豪雨予測のリアルタイム実証実験 （理化学研究所）

Foreca st

D a ta a ssim ila tion

Au g u st 2019

全体のワークフロー
15: 30: 00

PAW R
Ob s

SCALELETK F
An a lysis

15: 40: 00

N ovem b er 2019Bu g
• M PI com m unicator
Op tim iza tion
Very sta b le! • Obs pre-processing• Visualization• N W P m odel setting

計算性能の向上。上段はデータ同化、下段は30分予報にかかった時間(秒)。
(左)2019年8月、(右)2018年11月。
FT= 0m in
FT= 10m in
FT= 20m in

15: 50: 00

dBZ R
PAW
Ob s

dBZ

SCALE
Foreca st〔画像提供：三好建正博士
2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALE2023/10/31
A64FXプログラミング⼊⾨
29
2019年8月24日の事例ついてのテスト結果。(上)レーダー観測と(下)SCALELETKFによる予報で得られたレーダー反射強度(dBZ)を示す。
（理化学研究所）〕
LETKFによる解析で得られたレーダー反射強度(dBZ)を示す。

2023/10/31

30
30「COVID-19」対応HPCI臨時公募課題全14のうち6課題が東大システムを利用（2020年度）
課題名

代表者（所属）

His41

使用システ
ム

-11.88 Thr25

中央：全体図

-4.82
9.32
-3.14
-8.50

7.41
-3.36
-6.76

Asp187

新型コロナウイルスの主要プロテアーゼに関する
フラグメント分子軌道計算

望月 祐志（立教大学）
Met165COVID-19治療の候補薬: chloroquine、
久田 俊明（株式会社UThydroxychloroquine、azithromycinの催不整脈リHeart研究所 / 東大）
スクの評価ならびにその低減策に関する研究
新型コロナウィルス表面のタンパク質動的構造予測

杉田 有治（理化学研究所）

計算機解析によるSARS-CoV-2増殖阻害化合物
の探索

星野 忠次
（千葉大学）

室内環境におけるウイルス飛沫感染の予測とその対策：富岳大規模解析に向けたケーススタディ

坪倉 誠（神戸大学）

Spreading of polydisperse droplets in aturbulent puff of saturated exhaled air

Marco Edoardo Rosti（OIST）A64FXプログラミング入門

Asn142

Glu166

Oakforest
PACS-10.0313.55-4.41-10.88! " !# $+, - . /. .

%&+, 0 1 /2 .

Glu166

Asp187-47.70
5.45
-3.70
-8.38

-32.70
0.38
-0.80
-2.09

%'
, 2 , /3 0

-4.91
13.38
-5.98
-9.99
(!
+4 0 /- 3)*+, 2 . /5 -〔資料提供：望月祐志教授（立教大学）〕

Oakbridge
CX〔資料提供：坪倉誠教授（神戸大学）〕

31

Wisteria/BDEC-01

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 2021年5⽉14⽇運⽤開始• 東京⼤学柏Ⅱキャンパス• 33.1 PF, 8.38 PB/sec. ，富⼠通製

Platform for Integration of (S+D+L)
Big Data & Extreme Computing• ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群• シミュレーションノード群 (S, SIM)：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF• 7,680ノード（368,640 コア），20ラック，Tofu-D• データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF

シミュレーションノード群

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）

25.8 PB, 500GB/s

Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

800 Gbps

External
Resources• 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサーネットワーク他）に直接接続• ファイルシステム：共有（大容量）＋高速
2023/10/3
1

A64FXプログラミング⼊⾨

1PB, 1.0TB/s

External Network
外部ネットワーク

外部リソース

2023/10/31

Wisteria/BDEC-01（S+D+L）融合プラットフォーム
Platform for Integration of (S+D+L)
Big Data & Extreme Computing
シミュレーションノード群

Shared File
System

2.0TB/s

Fast File
System

共有ファイル
システム（SFS）

データ・学習ノード群
Aquarius

高速ファイルシステム（FFS）Intel Ice Lake + NVIDIA A100

7.20PF, 578.2TB/s

1PB, 1.0TB/s

800 Gbps

External
Resources
External Network
外部ネットワーク– 手賀沼（柏市）に伝わる「藤姫伝説」• Odyssey

Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8PB/s

25.8 PB, 500GB/s• Wisteria （紫藤）– アポロ13号・司令船（Command
Module, CM）のコールサイン• Aquarius– アポロ13号・月着陸船（Lunar
Module，LM）のコールサイン• 人類と地球を護る

外部リソースA64FXプログラミング入門
https://www.cc.u-tokyo.ac.jp/public/pr/pr-wisteria.php

32

システム構成図
シミュレーションノード︓7,680ノード (総理論演算性能 25.9 PFLOPS、総メモリバンド幅 7.8 PB/s)
データ・学習ノード︓45ノード (総理論演算性能 7.2 PFLOPS、総メモリバンド幅 578.2 TB/s)
外部接続ルータ (Ethernet)

シミュレーションノード群

ログインノード

データ・学習ノード群

7,680ノード

ログインノード共有ファイルシステム

20ノード

45ノード

FUJITSU Server
PRIMERGY RX2530 M5 x 20ノード
総理論演算性能(倍精度)︓96TFLOPS
総メモリ容量︓7.5TiB
FUJITSU Supercomputer
シミュレーションノード間
PRIMEHPC FX1000 x 7,680ノード (20ラック) ネットワーク
総理論演算性能(倍精度) : 25.9PFLOPS(TofuインターコネクトD)
バイセクションバンド幅︓13TB/s
総メモリ容量︓240TiB
総メモリバンド幅 : 7.8PB/s

FUJITSU Server
PRIMERGY GX2570 M6 x 45ノード(ノードあたり Intel Xeon Platinum 8360Y
Processor (2.40GHz, 36コア) x2)(ノードあたり NVIDIA A100 x 8基)
総理論演算性能(倍精度)︓7.2PFLOPS
総メモリ容量︓36.5TiB,総メモリバンド幅︓578.2TB/s

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX60 S5 x 1
有効利⽤容量︓14.4TB

データ・学習ノード間ネットワーク 兼 ノード群結合ネットワーク (InfiniBand EDR/HDR)
ライフネットワーク/管理ネットワーク (Ethernet)
⾼速ファイルシステム
MDS,MDT x1セット

OSS,OST x16セット

ファイルシステム︓FEFS
1P
ストレージデータ転送速度︓1.0TB/s
MDS︓PRIMERGY RX2530 M5 x 2
B
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 2VM/CM, DDN SFA400NVXE x 16

FUJITSU CONFIDENTIAL

共有ファイルシステム
MDS,MDT x1セット

管理サーバ群

管理サーバ群ネットワークストレージ

OSS,OST x16セット

ファイルシステム︓FEFS
25PB
ストレージデータ転送速度︓0.5TB/s
MDS︓PRIMERGY RX2530 M5 x 4
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 1VM/CM, DDN SFA7990XE x 16

FUJITSU Server
PRIMERGY RX2530 M5
x 13(ジョブ管理x5、運⽤管理x2、
認証x2、Webポータルx2、セキュリティログx2)

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX100 S5 x 1
有効利⽤容量︓420TB

・外部ネットワーク
・柏キャンパス・mdxシステム

2023/10/31

項目

総理論演算性能

Wisteria-O (Odyssey)

Wisteria-A (Aquarius)

25.9 PFLOPS

7.2 PFLOPS

7,680

45

240.0 TiB

36.5 TiB

6 次元メッシュ / トーラス

Full-bisection Fat Tree

総ノード数
総主記憶容量ネットワークトポロジー

共有ファイルシステム

高速ファイル
システム

34

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA7990XE

サーバ(OSS)数16

ストレージ容量

25.8 PB

ストレージデータ転送速度

504 GB/s

システム名

FEFS（Fujitsu Exabyte File System）

サーバ(OSS)DDN SFA400NVXE

サーバ(OSS)数16

ストレージ容量

1.0 PB

ストレージデータ転送速度

1.0 TB/s
A64FXプログラミング入門

2023/10/31

Wisteria-O (Odyssey)
FUJITSU Supercomputer
PRIMEHPC FX1000

項目

マシン名

A64FX

Intel Xeon Platinum 8360Y（開発コード名：Ice Lake）

プロセッサ数 (コア数)

1 (48+アシスタントコア2 or 4)

2 (36+36)

周波数
理論演算性能
メモリ容量
メモリ帯域幅プロセッサ名
SM数（単体）
メモリ容量（単体）
メモリ帯域幅（単体）
理論演算性能（単体）
搭載数

2.2 GHz
3.3792 TFLOPS
32 GB
1,024 GB/s

2.4 GHz5.53 TFLOPS
512 GiB
409.6 GB/s
NVIDIA A100
108
40 GB
1,555 GB/s
19.5 TFLOPS
8PCI Express Gen4 x 16レーン(1レーンあたり片方向32 GB/s)

プロセッサ名CPUGPU-CPU-GPU間接続

NVLink x 12本(1本あたり片方向25GB/s)

GPU間接続35

Wisteria-A (Aquarius)
FUJITSU Server PRIMERGY
GX2570 M6

インターコネクト

TofuインターコネクトD
A64FXプログラミング入門

InfiniBand HDR(200Gbps) x 4

2023/10/31

GFLOPS（ピーク性能）当たり利用負担（円）：電気代
GFLOPS/W（Green 500）
JPY/GFLOPS
Small is GoodGFLOPS/W
Large is Good

Oakleaf-FX/Oakbridge-FX (Fujitsu)(Fujitsu SPARC64 IXfx)

125

0.866

Reedbush-U (HPE) (Intel Xeon Broadwell (BDW))

61.9

2.310

Reedbush-H (HPE) (Intel BDW+NVIDIA P100x2/node)

15.9

8.575

Reedbush-L (HPE) (Intel BDW+NVIDIA P100x4/node)

13.4

10.167

Oakforest-PACS (Fujitsu) (Intel Xeon Phi/KNL)

16.5

4.986

Oakbridge-CX (Fujitsu) (Intel Xeon Cascade Lake)

20.7

5.076

Wisteria-Odyssey （Fujitsu/Arm A64FX）

17.8

15.069

9.00

24.06

SystemWisteria-Aquarius （Intel Xeon Ice Lake + NVIDIA A100x8）
A64FXプログラミング入門

36

YouTubeチャンネルのご紹介
研究事例紹介や、セミナー・講習会の録画などをご覧になれます。
• 「東京大学情報基盤センター」チャンネル
https://www.youtube.com/channel/UC2CHaGp1AO-vqRlV7wmU0-w– Wisteria/BDEC-01システム紹介
https://www.youtube.com/watch?v=SXjYtatzo4&list=PLobjSv_ny85lW03OAPUJ9DWJoHhNiQgvY&index=3&t=104s– 第10回JCAHPCセミナー
https://www.youtube.com/playlist?list=PLobjSv_ny85mfPTuCC2i7r_sPQYKZvy2e– 柏キャンパス一般公開
https://www.youtube.com/playlist?list=PLobjSv_ny85kr1Ig2m-bUiMC2a9W6k53u
https://www.youtube.com/watch?v=q-0QtU7Ops4&t=116s– JCAHPCセミナー：「人類と地球を護るスーパーコンピューティング」
https://www.youtube.com/playlist?list=PLobjSv_ny85l-z-VJCy690ZjlAA04xCRA– お試しアカウントつき講習会
https://www.youtube.com/playlist?list=PLobjSv_ny85kXY2Mtnhn1k7pM-epQaD2y

Wisteria/BDEC-01の使い方

2023/10/31

A64FXプログラミング⼊⾨

38

ログインノードと計算ノード
Wisteria は主にログインノードと計算ノードから構成されています。
n ログインノード：プログラム作成、コンパイル、ジョブ投入
n 計算ノード： ユーザプログラムを実行• バッチジョブ実行：バッチジョブシステムに処理を依頼して実行する方法。スパコン環境で一般的。実行処理をスクリプトで指示。長時間、大規模実行。
• インタラクティブジョブ実行：PCでの実行のように、コマンド入力で対話的に実行する方法。デバッグ用、短時間、数ノード実行。（本講習会では使えません）

n /home はログインノードからのみ参照できます。/work はログインノードと計算ノード両方から参照できます。基本的には /work で作業します。

ログインノード
SSH接続

> ls

2023/10/31

・ プログラム作成
・ コンパイル・ ジョブ投⼊

バッチジョブ・ ⼤規模実⾏

計算ノード

インタラクティブジョブ
・ デバッグ利⽤/home
領域A64FXプログラミング⼊⾨/work 領域39

ディレクトリnhome と work ディレクトリ
• ログイン時のディレクトリ（/home/gt00/tVWXYZ）にはログイン時に必要なファイルのみを置いてください。
• プログラム作成や実行などに必要なファイルは /work 以下のディレクトリ
（/work/gt00/tVWXYZ）に置いてください。
• /home は計算ノードからは参照できません。

2023/10/31

A64FXプログラミング⼊⾨

40

コンパイルおよび実行のための環境準備
nコンパイルおよび実行のための環境を準備するために module
コマンドを使用する。これによって様々な環境を簡単に切り替えて使用できる。
$ module load <module_name>

モジュール名 <module_name> のモジュールをロードして環境を準備。環境変数PATHなどが設定される。
$ module avail

使用可能なモジュール一覧を表示する。
$ module list

使用中のモジュールを表示する。

2023/10/31

A64FXプログラミング⼊⾨

41

コンパイラの種類と実行(Odyssey)nログインノードとOdysseyの計算ノードとで、CPUの命令セットが大きく異なる• ログインノード：命令セットアーキテクチャ Intel CascadeLake＋AVX512, x86̲64• Odyssey計算ノード： Fujitsu A64FX, 命令セットアーキテクチャ ARM v8.2 + SVE, aarch64

Odysseyノード

ログインノード
バッチ処理
x86_64
ソース
コード

クロス
コンパイラ

aarch64

aarch64

ネイティブ
コンパイラ

a.out

インタラクティブ実⾏

a.out

n富士通製コンパイラ：module load odyssey• ネイティブコンパイラ： ＜コンパイラの種類名＞• クロスコンパイラ： ＜コンパイラの種類名＞+px• MPI: mpi+コンパイラ名 (例：mpifccpx)

2023/10/31

ソース
コード

A64FXプログラミング⼊⾨

aarch64

⾔語

ネイティブ
コンパイラ

クロス
コンパイラ

C

fcc

fccpx

C++

FCC

FCCpx

Fortranfrt

frtpx 42

Wisteriaでのプログラムの実行
nジョブスクリプト(〇〇.sh)を作成し、ジョブとして投入、実行する。
$ pjsub ./〇〇.shn投入されたジョブを確認する。（qstatではないので注意）$ pjstatn実行が終了すると、以下のファイルが生成される。
〇〇.sh.??????.out〇〇.sh.??????.err（?????? はジョブID）n上記の標準出力ファイルの中身を確認する。
$ cat 〇〇.sh.??????.out

n必要に応じて、上記のエラー出力ファイルの中身を確認する。
$ cat 〇〇.sh.??????.err
2023/10/31

A64FXプログラミング⼊⾨

43

ジョブスクリプトの例（Odyssey, MPIなし）#!/bin/bash#PJM -L rscgrp=tutorial-o#PJM -L node=1#PJM -L elapse=00:01:00#PJM -g gt00
module load odyssey./a.out

キュー名（リソースグループ名）：tutorial-o
利⽤ノード数
実⾏時間制限：１分
利⽤グループ名：gt00

2023/10/31

A64FXプログラミング⼊⾨

44

45

教育利用のジョブクラス：バッチジョブ（Odyssey）
ノード数

制限時間
（Elapsed）

メモリ容量
（GB）

lecture-o（教育利用全体で共有）

1 ～ 12

15 分

28

tutorial-o（この講習会の時間中のみ使用可能）

1 ～ 12

15 分

28

キュー名

ノード当たり 48コア è 最大576コアまで使用可能！

関連ドキュメント
nWisteria/BDEC-01システム利用手引書• わからないことがあれば、まずこちらを参照してください• https://wisteria-www.cc.u-tokyo.ac.jp/
で利用支援ポータルサイトへ入り、左のメニューから「ドキュメント閲覧」へ進み、「Wisteria/BDEC-01システム利用手引書」です。

n本講習会のオンライン講習会の手引書• すでに事前配布したものです。必要に応じて参照してください。
• https://www.cc.u-tokyo.ac.jp/events/lectures/218/20231031̲OnlineClass.pdf

n講習会「Wisteria実践」の資料• Odyssey の利用方法について動画で解説されています。
• https://www.cc.u-tokyo.ac.jp/events/lectures/205/

2023/10/31

A64FXプログラミング⼊⾨

46