Wisteria/BDEC-01 & h3-Open-BDEC（計算・データ・学習）融合によるSociety 5.0実現へ向けて
https://h3-open-bdec.cc.u-tokyo.ac.jp/
中島 研吾
東京大学情報基盤センター（理化学研究所計算科学研究センター）
サイエンティフィック・システム研究会（SS研）
科学技術計算分科会2021年度会合 2022年1月20日（オンライン）

2

謝辞• 新エネルギー・産業技術開発機構（NEDO）：戦略的イノベーション創造プロ
グラム（SIP）第2期／ビッグデータ・AIを活用したサイバー空間基盤技術• 科研費基盤研究S「(計算+データ+学習)融合によるエクサスケール時代の革新的シミュレーション手法 （19H05662）」（代表：中島研吾）• 学際大規模情報基盤共同利用共同研究拠点（JHPCN）2021年度研究課題（jh210022-MDH）（代表：中島研吾）

• h3-Open-BDEC（Co-PI）– 岩下武史（北海道大）– 八代 尚（国立環境研）– 長尾大道（東大・地震研）– 下川辺隆史（東大・情基セ）– 松葉浩也（東大・情基セ）– 荻田武史（東京女子大）– 片桐孝洋（名古屋大）• 研究協力者– 河合直聡（東大・情基セ）– 芝 隼人（東大・情基セ）– 塙 敏博（東大・情基セ）– 古村孝志（東大・地震研）– 市村 強（東大・地震研）– 鶴岡弘（東大・地震研）– 藤田航平（東大・地震研）– 荒川 隆（RIST）• 富士通関係者– 坂口吉生– 住元真司– 笠井良浩– 池田輝彦

3

4

中島 研吾
• 大学卒業後（工学部航空学科）• 三菱総合研究所（1985-1999）– テキサス大学（Dept. Aerospace Eng. & Eng. Mechanics）（1991-1993）• 高度情報科学技術研究機構（RIST）（1999-2004）• 東京大学– 理学系研究科地球惑星科学専攻（2004-2008） COE特任教員– 情報基盤センター（2008-）• 海洋研究開発機構（非常勤）（2008-2011）• 理化学研究所– 計算科学研究機構（非常勤）（2009-2018）– 計算科学研究センター・副センター長（2018-）• 数値流体力学，計算力学，数値線形代数，並列アルゴリズム

5• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Oakbrige-CX（OBCX）– Ipomoea-01（大規模共通ストレージ）• h3-Open-BDEC• 観測データ同化による長周期地震動リアルタイム予測• 「計算・データ・学習」融合へ向けた試み• 将来構想等

6

東京大学情報基盤センター• 東京大学大型計算機センター（1965年）• 東京大学情報基盤センター（1999年～）– 全国共同利用施設– 学際大規模情報基盤共同利用・共同研究拠点 中核拠点（2010年～）– 革新的ハイパフォーマンス・コンピューティング・インフラ(HPCI) 構成機関（2010年～）– 最先端共同HPC基盤施設（JCAHPC）（2013年～）• 筑波大学計算科学研究センター・東大情報基盤センター：OFP• 2022年1月現在– 3式のシステムを運用（富士通製）• Oakforest-PACS（OFP）：2022年3月末に運用終了• Oakbridge-CX（OBCX）• Wisteria/BDEC-01（ 「計算・データ・学習」融合スーパーコンピュータシステム）：2021年5月運用開始– データ活用社会創成プラットフォーム（mdx）：2021年3月設置（富士通製）

2001-2005
Hitachi SR8000
1,024 GF

2006-20102011-20152016-2020

Hitachi SR11000
J1, J2

Hitachi SR16K/M1
Yayoi

5.35 TF, 18.8 TF

54.9 TF

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

2026-2030

OBCX(Fujitsu)
6.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PF

Fujitsu FX10
Oakleaf-FX

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外2021-2025

OFP-II
100+ PF

Fujitsu
33.1 PF

1.13 PFBDEC02250+ PF

ReedbushU/H/L (SGI-HPE)
3.36 PF

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

2001-2005
Hitachi SR8000
1,024 GF

SR80002006-2010
Hitachi SR11000
J1, J2
5.35
18.8 TF
IBMTF,
Power5+

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

HARP-1E

2011-20152016-2020

Hitachi SR16K/M1
Yayoi
54.9
TF
IBM Power76.61 PF

OakforestPACS (Fujitsu)

Hitachi HA8000
T2K Todai
AMD Opteron

加速装置付

OFP-II
100+ PF

25.0 PF

140 TF

汎用CPU

2026-2030

Intel CLX
OBCX(Fujitsu)

SR8000

疑似ベクトル2021-2025

AcceleratorsIntel Xeon Phi
Fujitsu FX10
Oakleaf-FX

BDEC02

Fujitsu
33.1 PF

1.13 PFSPACR64 IXfx
ReedbushU/H/L (SGI-HPE)

250+ PFA64FX,
Intel Icelake+
NVIDIA A100

Accelerators

3.36 PFIntel BDW +NVIDIA P100

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))• データ解析・シミュレーション融合スーパーコンピュータ• 2016年7月～2021年11月末• 東大ITC初のGPUクラスタ，ピーク性能3.36 PF

Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC （筑波大CCS・東大ITC），2016年10月～2022年3月末（予定）• 25 PF, #39 in 58th TOP 500 (November 2021)

Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon CLX)
• 2019年7月～2023年6月末（予定）• 6.61 PF, #110 in 58th TOP500-June 2023 (Plan)

Wisteria/BDEC-01（Fujitsu）• シミュレーションノード群（Odyssey）：A64FX (#17)• データ・学習ノード群（Aquarius）：Intel Icelake+NVIDIA A100) (#106)• 33.1 PF, #17 in 58th TOP 500，2021年5月14日運用開始• 「計算・データ・学習（S+D+L）」融合のためのプラットフォーム• 革新的ソフトウェア基盤「h3-Open-BDEC」（科研費基盤（S） 2019年度～2023年度）

Simulation Nodes（Odyssey）

Data/Learning Nodes（Aquarius）

Reedbush

Oakforest-PACS

Oakbridge-CX

10

2020年度分野別
バイオ

RB-H インフォマ
ティクス
生物科学・
生体力学
材料科学
情報科学：AI
情報科学：
アルゴリズム
生物科学・
生体力学
産業利用
エネルギー・
物理学

工学・
ものつくり

材料科学

OBCX

■汎用CPU，■GPUEngineering
Engineering
Earth/Space データ
Earth/Space
Material
RB-L
Material
OFP 科学バイオ
Energy/Physics
Energy/Physics
生物科学・
インフォマ
Info. Sci.
: SystemInfo. Sci.ティクス: System 材料科学
生体力学
Info.
Sci.
: Algrorithms 地球科学・
Info. Sci. : Algrorithms
生物科学・Info. Sci. : AI
宇宙科学
Info.
Sci. : AI
情報科学：
生体力学
エネルギー・
Education
アルゴリズム
Education
物理学
Industry
Industry
情報科学：AI
Bio
Bio
Bioinformatics
材料科学
Bioinformatics
SocialSci.
&
Economics
Social Sci. & Economics
Engineering
Data
Data
Earth/Space
Material
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
Industry
Bio
Bioinformatics
Social Sci. & Economics• 工学・ものつくり• 地球科学・宇宙科学• 材料科学

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algrorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

11

全地球大気環境シミュレーション
東大大気海洋研究所，東大理学系研究科等〔画像提供：佐藤正樹教授・
羽角博康教授（東大・大気海洋研）〕

地震シミュレーション・地殻変動
東大地震研究所，東大理学系研究科等〔画像提供：
安藤亮輔准教授（東大・理学系）〕〔画像提供：古村孝志教授・
市村強教授（東大・地震研）〕

12

13

二酸化炭素地下貯留シミュレーション
大成建設，理化学研究所等〔画像提供：
山本肇博士（大成建設）〕

ゲリラ豪雨予測のリアルタイム実証実験 （理化学研究所）〔画像提供：三好建正博士（理化学研究所）〕

14

15「COVID-19」対応HPCI臨時公募課題全14のうち6課題が東大システムを利用（2020年度）
課題名

代表者（所属）新型コロナウイルスの主要プロテアーゼに関するフラグメント分子軌道計算

望月 祐志（立教大学）

COVID-19治療の候補薬: chloroquine、hydroxychloroquine、azithromycinの催不整脈リ
スクの評価ならびにその低減策に関する研究

久田 俊明（株式会社UTHeart研究所 / 東大）

新型コロナウィルス表面のタンパク質動的構造予測

杉田 有治（理化学研究所）

使用システムOakforest
PACS〔資料提供：望月祐志教授（立教大学）〕

計算機解析によるSARS-CoV-2増殖阻害化合物の 星野 忠次
探索（千葉大学）
室内環境におけるウイルス飛沫感染の予測とその対策：富岳大規模解析に向けたケーススタディ

坪倉 誠（神戸大学）

Spreading of polydisperse droplets in a turbulent Marco Edoardo Rosti
puff of saturated exhaled air（OIST）

Oakbridge
CX〔資料提供：坪倉誠教授（神戸大学）〕

スーパーコンピューティング
の今後

生物科学・
生体力学
産業利用
エネルギー・
物理学• ワークロードの多様化– 計算科学，計算工学：Simulations– 大規模データ解析– AI，機械学習

工学・
ものつくり

材料科学

CPU Cluster
Oakbridge-CX

Engineering
Earth/Space
Material
バイオ
Energy/Physics
インフォマティクス
Info. Sci. : System材料科学
Info. Sci. : Algrorithms
Info. Sci. : AI
情報科学：
生物科学・
Education
アルゴリズム
生体力学
Industry
Bio
情報科学：AI
Bioinformatics
Social Sci. & Economics
Data

GPU Cluster

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
Energy/Physics
エネルギー・物理学
Info.
Sci. : System
情報科学：システム
Info.
Sci. : Algrorithms
情報科学：アルゴリズム
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

Reedbush-L• （シミュレーション（計算）＋データ＋学習）融合⇒Society 5.0実現に有効，2015年頃から取り組み– フィジカル空間とサイバー空間の融合• S:シミュレーション（計算）（Simulation）• D:データ（Data）• L：学習（Learning）– Simulation + Data + Learning =
S+D+L

16

17

（シミュレーション（計算）＋データ＋学習）融合（S+D+L）• 東大情報基盤センターでは，2015年頃から「（S+D+L）融合」の重要性に注目し，それを実現するためのハード
ウェア，ソフトウェア，アプリケーション，アルゴリズムに関する研究開発を開始– BDEC計画（Big Data & Extreme Computing）– 「データ＋学習」による，より高度な「シミュレーション」• AI for HPC– 地球科学関連では自然な発想（すでに実施されている）• 2021年5月に運用を開始した「Wisteria/BDEC-01」は「BDEC計画」の1号機– Reedbush，Oakbridge-CXは「BDEC」のプロトタイプと位置づけられる– 「計算・データ・学習（S+D+L）」融合を実現する，世界でも初めてのプラットフォーム

18

Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速19Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

20Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速Wisteria/BDEC-01（S+D+L）融合プラットフォーム• Wisteria （紫藤）– 手賀沼（柏市）に伝わる「藤姫伝説」• Odyssey– アポロ13号・司令船（Command
Module, CM）のコールサイン• Aquarius– アポロ13号・月着陸船（Lunar
Module，LM）のコールサイン• 人類と地球を護る

https://www.cc.u-tokyo.ac.jp/public/pr/pr-wisteria.php

21

システム構成図
シミュレーションノード︓7,680ノード (総理論演算性能 25.9 PFLOPS、総メモリバンド幅 7.8 PB/s)
データ・学習ノード︓45ノード (総理論演算性能 7.2 PFLOPS、総メモリバンド幅 578.2 TB/s)
外部接続ルータ (Ethernet)

シミュレーションノード群

ログインノード

データ・学習ノード群

7,680ノード

ログインノード共有ファイルシステム

20ノード

45ノード

FUJITSU Server
PRIMERGY RX2530 M5 x 20ノード
総理論演算性能(倍精度)︓96TFLOPS
総メモリ容量︓7.5TiB
FUJITSU Supercomputer
シミュレーションノード間
PRIMEHPC FX1000 x 7,680ノード (20ラック) ネットワーク
総理論演算性能(倍精度) : 25.9PFLOPS(TofuインターコネクトD)
バイセクションバンド幅︓13TB/s
総メモリ容量︓240TiB
総メモリバンド幅 : 7.8PB/s

・外部ネットワーク
・柏キャンパス・mdxシステム

FUJITSU Server
PRIMERGY GX2570 M6 x 45ノード(ノードあたり Intel Xeon Platinum 8360Y
Processor (2.40GHz, 36コア) x2)(ノードあたり NVIDIA A100 x 8基)
総理論演算性能(倍精度)︓7.2PFLOPS
総メモリ容量︓36.5TiB,総メモリバンド幅︓578.2TB/s

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX60 S5 x 1
有効利⽤容量︓14.4TB

データ・学習ノード間ネットワーク 兼 ノード群結合ネットワーク (InfiniBand EDR/HDR)
ライフネットワーク/管理ネットワーク (Ethernet)
高速ファイルシステム
MDS,MDT x1セット

OSS,OST x16セット

ファイルシステム︓FEFS
1PB
ストレージデータ転送速度︓1.0TB/s
MDS︓PRIMERGY RX2530 M5 x 2
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 2VM/CM, DDN SFA400NVXE x 16

FUJITSU CONFIDENTIAL

管理サーバ群

共有ファイルシステム
MDS,MDT x1セット

管理サーバ群ネットワークストレージ

OSS,OST x16セット
FUJITSU Server
PRIMERGY RX2530 M5
x 13(ジョブ管理x5、運⽤管理x2、
認証x2、Webポータルx2、セキュリティログx2)

ファイルシステム︓FEFS
25PB
ストレージデータ転送速度︓0.5TB/s
MDS︓PRIMERGY RX2530 M5 x 4
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 1VM/CM, DDN SFA7990XE x 16

22

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX100 S5 x 1
有効利⽤容量︓420TB

Copyright 2020 FUJITSU LIMITED

23

24

ソフトウェア群
項目

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

OS

Red Hat Enterprise Linux 8 (aarch64)

Red Hat Enterprise Linux 8 (x86_64)

コンパイラ

GNU コンパイラ

GNU コンパイラ

メッセージ通信ライブラリ

富士通社製 コンパイラ(Fortran77/90/95/2003/2008、C、
C++)

Intel コンパイラ(Fortran77/90/95/2003/2008、
C、C++)NVIDIA HPC SDK(Fortran77/90/95/2003/2008、C、C++、
OpenACC 2.7)
NVIDIA CUDA SDK(CUDA C、CUDA C++)

富士通社製MPIIntel MPI、Open MPI

25

項目

ライブラリ

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

SuperLU、 SuperLU MT、 SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PTScotch、PETSc、Trillinos、FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、HDF5、Parallel HDF5、CMake、Miniconda、Xabclib、ppOpen-HPC、MassiveThreads、Boost C++、
mpiJava
富士通社製ライブラリ(BLAS、CBLAS、
LAPACK、 ScaLAPACK)

アプリケーション

Intel社製ライブラリ(MKL)(BLAS、CBLAS、LAPACK、ScaLAPACK）、cuBLAS、cuSPARSE、cuFFT、MAGMA、cuDNN、NCCL

OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP-Coupler、
REVOCAP-Refiner、OpenMX、MODYLAS、GROMACS、BLAST、R packages、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、ROOT、Geant4、
LAMMPS、CP2K、NWChem、DeepVariant、Paraview、Vislt、POV-Ray、TensorFlow、Chainer、
PyTorch、Keras、Horovod、MXNet
Theanoフリーソフトウェア

autoconf、automake、bash、bzip2、cvs、emacs、findutils、gawk、gdb、make、grep、gnuplot、
gzip、less、m4、python、perl、ruby、screen、sed、subversion、tar、tcsh、tcl、vim、zsh、git など
Globus Toolkit、Gfarm、FUSE

コンテナ仮想化

Singularity Community Edition

Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

26

27

June 2021 (ISC-HPC 2021 Digital)の諸ランキング
Wisteria/BDEC-01のシミュレーションノード群（Odyssey）とデータ・学習ノード
群（Aquarius）は別々に測定・申請
System

TOP500

Green500

HPCG

Graph500

HPL-AI

Oakforest-PACS

32

58

23

-

-

Oakbridge-CX

97

55

67

-

-

Wisteria/BDEC-01（Odyssey）

13

21

9

3

7

93

10
(IceLake+
A100として
は最高位)

53

-

-

Wisteria/BDEC-01（Aquarius）

28

November 2021 (SC21)の諸ランキング
Wisteria/BDEC-01のシミュレーションノード群（Odyssey）とデータ・学習ノード
群（Aquarius）は別々に測定・申請
System

TOP500

Green500

HPCG

Graph500

HPL-AI

Oakforest-PACS

39

65

23

-

-

Oakbridge-CX

110

62

71

-

-

Wisteria/BDEC-01（Odyssey）

17

27

9

3

9

Wisteria/BDEC-01（Aquarius）

106

15

58

-

-

29

58th TOP500 List (Nov., 2021)
Site, Yearhttp://www.top500.org/
Rmax: Performance of Linpack (TFLOPS)
Rpeak: Peak Performance (TFLOPS), Power: kW

Computer, Vendor

Cores

Rmax
Rpeak
(TFLOPS) (TFLOPS)

Power
(kW)

1 Fugaku, 2020, Japan

Fujitsu PRIMEHPC FX1000, Fujitsu A64FX 48C 2.2GHz,
Tofu-D

7,630,848

442,010(= 442.0 PF)

537,212.0

29,899Summit, 2018, USA

IBM Power System AC922, IBM POWER9 22C 3.07GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

2,414,592

148,600

200,795

10,096IBM Power System S922LC, IBM POWER9 22C 3.1GHz,
NVIDIA Volta GV100, Dual-rail Mellanox EDR InfiniBand

1,572,480

94,640125,712

7,438

Sunway MPP, Sunway SW26010 260C 1.45GHz, Sunway

10,649,600

93,015

125,436

15,371

761,856

70,87094,7502,589

555,520

63,46079,215.0

2,646

4,981,760

61,445

100,679

18,482449,280

44,12070,9801,764

669,760

35,45051,7202,252

ND96amsr_A100_v4, AMD EPYC 7V12 48C 2.45GHz,
NVIDIA A100 80GB, Mellanox HDR Infiniband

253,440

30,05039,531ABCI 2.0, 2021, Japan

Fujitsu PRIMERGY GX2570 M6, Xeon Platinum 8360Y 36C
2.4GHz, NVIDIA A100 SXM4 40 GB, InfiniBand HDR

504,000

22,20854,341

1,600

Wisteria/BDEC-01 (Odyssey), 2021,

Fujitsu PRIMEHPC FX1000, A64FX 48C 2.2GHz, Tofu

368,640

22,121

25,952

1,468

R-CCS, RIKEN

2
3

DOE/SC/Oak Ridge National Laboratory

Sierra, 2018, USA
DOE/NNSA/LLNL

4 Sunway TaihuLight, 2016, China

National Supercomputing Center in Wuxi

5 Perlmutter, 2021, USA

HPE Cray EX235n, AMD EPYC 7763 64C 2.45GHz, NVIDIA
A100 SXM4 40 GB, Slingshot-10
NVIDIA DGX A100 SuperPOD, AMD EPYC 7742 64C
Selene, 2020, USA
6
2.25GHz, NVIDIA GA100, Mellanox Infiniband HDR
NVIDIA
TH-IVB-FEP Cluster, Intel Xeon E5-2692v2 12C 2.2GHz, TH
Tianhe-2A,
2018,
China
7
National Super Computer Center in Guangzhou Express-2, Matrix-2000
JUWELS Booster Module, 2020,
Bull Sequana XH2000, AMD EPYC 7402 24c 2.8GHz,
8 Germany Julich (FZJ)
NVIDIA A100, Mellanox InfiniBand HDR
Dell C4140, Xeon Gold 6252 24c 2.1GHz, NVIDIA Volta
HPC5, 2020, Italy
9
GV100, Mellanox InfiniBand HDR
Eni S.p.A.
DOE/NERSC/LBNL

10 Voyager-EUS2, 2021, USA
Azure East US 2

16 AIST

17 Japan ITC, University of Tokyo

30

GFLOPS（ピーク性能）当たり利用負担（円）：電気代
GFLOPS/W（Green 500）
JPY/GFLOPS
Small is GoodGFLOPS/W
Large is Good

Oakleaf-FX/Oakbridge-FX (Fujitsu)(Fujitsu SPARC64 IXfx)

125

0.866

Reedbush-U (HPE) (Intel Xeon Broadwell (BDW))

61.9

2.310

Reedbush-H (HPE) (Intel BDW+NVIDIA P100x2/node)

15.9

8.575

Reedbush-L (HPE) (Intel BDW+NVIDIA P100x4/node)

13.4

10.167

Oakforest-PACS (Fujitsu) (Intel Xeon Phi/KNL)

16.5

4.986

Oakbridge-CX (Fujitsu) (Intel Xeon Cascade Lake)

20.7

5.076

Wisteria-Odyssey （Fujitsu/Arm A64FX）

17.8

15.069Wisteria-Aquarius （Intel Xeon Ice Lake + NVIDIA A100x8）

9.00

24.058System31

2020年度分野別
バイオ

RB-H インフォマ
ティクス
生物科学・
生体力学
材料科学
情報科学：AI
情報科学：
アルゴリズム
生物科学・
生体力学
産業利用
エネルギー・
物理学

工学・
ものつくり

材料科学

OBCX

■汎用CPU，■GPUEngineering
Engineering
Earth/Space データ
Earth/Space
Material
RB-L
Material
OFP 科学バイオ
Energy/Physics
Energy/Physics
生物科学・
インフォマ
Info. Sci.
: SystemInfo. Sci.ティクス: System 材料科学
生体力学
Info.
Sci.
: Algrorithms 地球科学・
Info. Sci. : Algrorithms
生物科学・Info. Sci. : AI
宇宙科学
Info.
Sci. : AI
情報科学：
生体力学
エネルギー・
Education
アルゴリズム
Education
物理学
Industry
Industry
情報科学：AI
Bio
Bio
Bioinformatics
材料科学
Bioinformatics
SocialSci.
&
Economics
Social Sci. & Economics
Engineering
Data
Data
Earth/Space
Material
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
Industry
Bio
Bioinformatics
Social Sci. & Economics

Engineering
工学・ものつくり
Earth/Space
地球科学・宇宙科学
Material
材料科学
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algrorithms
情報科学：AI
Info.
Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
データ科学・データ同化
Data

32

本年度分野別（12月末時点） ■汎用CPU，■GPUOdyssey，Aquariusは8月以降，RB-H，RB-Lは11月末時点
Engineering
工学・ものつくりEngineering
RB-H
バイオ
インフォマ
ティクス
材料科学
生物科学・
生体力学
情報科学：
AI
生物科学・
生体力学
工学・
ものつくり

企業利用
エネルギー・
物理学

材料科学

OBCX

地球科学・
宇宙科学

Engineering
Earth/Space 社会
RB-L
科学
Material
材料科学
Energy/Physics
Info. Sci. : System
Info. Sci.
: Algrorithms
バイオ
情報科学：AI
インフォマ
Info. Sci.
: AI
ティクス
Education
Industry
Bio
生物科学・
Bioinformatics 生体力学
Social Sci. & Economics
Engineering
生物科学・ データ
Data
Earth/Space
生体力学 科学
Material
Energy/Physics
Info. Sci. : System 工学・ものつくり
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
地球科学・
Industry 宇宙科学
Bio
Bioinformatics
Social Sci.Odyssey& Economics

Earth/Space
Material
OFP
工学・
Energy/Physics
ものつくり
Info. Sci. : System
Info. Sci. : Algrorithms
地球科学・
Info.エネルギー・
Sci. : AI
宇宙科学
Education
物理学
Industry
Bio
Bioinformatics 材料科学
Social Sci. & Economics
Engineering
Data
Earth/Space
工学・
Material
ものつくり
情報科学：
Energy/Physics
AI Sci. : System
Info.
Info. Sci. : Algrorithms
アルゴリズム地球科学・Info. Sci. : AI
宇宙科学
Education
Industry
材料科学
Bio
Bioinformatics
Aquarius
Social Sci. & Economics

地球科学・宇宙科学
Earth/Space
材料科学
Material
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algrorithms
情報科学：AI
Info. Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
Engineering
データ科学・データ同化
Data
Earth/Space
Material
Energy/Physics
地球科学・宇宙科学
Info. Sci. : System⇒
分野ではOFP
Info. Sci. : Algrorithms
Wisteria/BDEC-01
Info. Sci. : AIへの移行が順調に進Education
んでいるIndustry
Bio
Bioinformatics
Social Sci. & Economics

33

本年度分野別（12月末時点） ■汎用CPU，■GPUOdyssey，Aquariusは8月以降，RB-H，RB-Lは11月末時点
Engineering
工学・ものつくりEngineering
RB-H
バイオ
インフォマ
ティクス
材料科学
生物科学・
生体力学
情報科学：
AI
生物科学・
生体力学
工学・
ものつくり

企業利用
エネルギー・
物理学

材料科学

OBCX

地球科学・
宇宙科学

Engineering
Earth/Space 社会
RB-L
科学
Material
材料科学
Energy/Physics
Info. Sci. : System
Info. Sci.
: Algrorithms
バイオ
情報科学：AI
インフォマ
Info. Sci.
: AI
ティクス
Education
Industry
Bio
生物科学・
Bioinformatics 生体力学
Social Sci. & Economics
Engineering
生物科学・ データ
Data
Earth/Space
生体力学 科学
Material
Energy/Physics
Info. Sci. : System 工学・ものつくり
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
地球科学・
Industry 宇宙科学
Bio
Bioinformatics
Social Sci.Odyssey& Economics

Earth/Space
Material
OFP
工学・
Energy/Physics
ものつくり
Info. Sci. : System
Info. Sci. : Algrorithms
地球科学・
Info.エネルギー・
Sci. : AI
宇宙科学
Education
物理学
Industry
Bio
Bioinformatics 材料科学
Social Sci. & Economics
Engineering
Data
Earth/Space
工学・
Material
ものつくり
情報科学：
Energy/Physics
AI Sci. : System
Info.
Info. Sci. : Algrorithms
アルゴリズム地球科学・Info. Sci. : AI
宇宙科学
Education
Industry
材料科学
Bio
Bioinformatics
Aquarius
Social Sci. & Economics

地球科学・宇宙科学
Earth/Space
材料科学
Material
エネルギー・物理学
Energy/Physics
情報科学：システム
Info.
Sci. : System
情報科学：アルゴリズム
Info.
Sci. : Algrorithms
情報科学：AI
Info. Sci. : AI
教育
Education
産業利用
Industry
生物科学・生体力学
Bio
バイオインフォマティクス
Bioinformatics
社会科学・経済学
SocialSci. & Economics
Engineering
データ科学・データ同化
Data
Earth/Space
Material
Energy/Physics
地球科学・宇宙科学
Info. Sci. : System⇒
分野ではOFP
Info. Sci. : Algrorithms
Wisteria/BDEC-01
Info. Sci. : AIへの移行が順調に進Education
んでいるIndustry
Bio
Bioinformatics
Social Sci. & Economics

34

技術的な特徴など• Odyssey– SVE (Scalable Vector Extension)• Armv8-A命令セットアーキテクチャをスーパーコンピュータ向けに拡張– FP16– 機械学習・AIワークロードへの適用• Aquarius– HPC・計算科学への適用– CPU：Intel Xeon Ice Lake
• 3rd Generation Intel Xeon Scalable Processors• 推論，単独での利用は難しいが– GPU：NVIDIA A100 Tensor Core
• Tensor Core + Tensor Float [TF32]• Odyssey-Aquarius– InfiniBand-EDR

35

Oakbridge-CX（OBCX）
https://www.cc.u-tokyo.ac.jp/supercomputer/obcx/service/• 富士通製• Intel Xeon Platinum 8280（Cascade Lake，CLX）（28コア）×2– 合計1,368ノード，Omni-Path Architecture（OPA）• 共有ファイルシステム（Lustre）• 128ノードはSSD搭載，総容量200TBの高速ファイルシステムとして運用可– SSD搭載128ノードのうち16ノードは外部ネットワークに直接接続しており（外部接続ノード），外部リソース（サーバ，ストレージ，センターネットワーク等）との通信可能• ピーク性能6.61 PFLOPS，TOP500で69位（2020年11月）• 更に外部ネットワークに直接接続し，OBCX各計算ノードと連携するGPUサーバ（通称Mini-DP，Wisteria/BDEC-01の「データ・学習ノード」に相当）を利用可能

Oakbridge-CX（OBCX）：
BDECに向けた実験システム• 全1,368ノードのうち128ノードにSSD（
Solid State Drive）搭載– Intel SSD＋BeeGFS• 容量：1.6 TB/node• 読み書き性能： 3.20/1.32 GB/s/node• BeeOND（BeeGFS-on-Demand）によって合計200+TB （128×1.6）の高速ファイルシステムとして使用可能– データ科学アプリケーション• ソフトウェア類も充実– ステージング，チェックポイント– 128ノードのうち16ノードはSINET経由で外部リソース（サーバー，ストレージ，センサーネット
ワーク）に直接接続⇒外部接続ノード

36

Oakbridge-CX(OBCX)
世界第110位
2021年11月現在

37

スパコン利用にあたっての指針（1/3）
OBCX，Odyssey，Aquarius• 基本的には，自作コード，オープンソースの利用を前提– OpenFOAM（流体）• OBCX，Odyssey• 今野雅博士（客員研究員）：OpenFOAM関連チュートリアル– FrontISTR，FrontFlow，ABINIT（東大生研）– ppOpen-HPC，h3-Open-BDEC（東大センター）• 商用コード– Altair HyperWorks（汎用CAEコード）• https://www.altairjp.co.jp/hyperworks/• OBCX，Aquarius（一部）• 国内大学教職員・学生のみ利用可能• 研究機関，企業の場合は別途ライセンス取得が必要– MATLAB（導入実施中）• OBCX，Aquarius– ノード固定オプションによる個別カスタマイズ可能38

スパコン利用にあたっての指針（2/3）
OBCX，Odyssey，Aquarius• 計算科学・大規模シミュレーション（S）• データ科学（D）• 機械学習・AI（L）• 「S+D+L」融合• 全てのシステム（OBCX，Odyssey，Aquarius）がそれぞれの項目に対応
可能– Aquarius（データ・学習ノード）でもシミュレーションはできる• データ科学（D），機械学習・AI（L）– コンテナ仮想化（Singularity）により対応

39

40

スパコン利用にあたっての指針（3/3）
OBCX，Odyssey，Aquarius
OBCX

Odyssey

Aquarius

O+A

計算科学

◎

◎

◎

-

データ科学

◎

◎

◎

-

機械学習・AI

○

○

◎

-

「S+D+L」融合

○

○

◎

◎

商用コード・
MATLAB等

○

×～△

○

-

その他の特徴• Intel Xeon CPUのため特殊なチューニング
は必要なく，そこそこの性能が出る• 外部接続ノード，SSD
搭載ノード

•
•
•
•

A64FX（Arm）
チューニング必須
FP16
商用コードへの対応がやや遅れている• CPU（Ice Lake）：高 • O-A連携についい推論性能てはソフトウェア• GPU（A100）：
開発中（h3Tensor Core +Open-BDEC，
Tensor Float [TF32]
WaitIO）• 超大規模シミュレー
ションには不向き

41

大規模共通ストレージシステム「Ipomoea」• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途• 東大センターでは従来ストレージは各システムに附属して導入され，各システ
ムのストレージは独立• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，東大センターの全システムからアクセス可能な共通ストレージの導入が強く求められていた• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入決定– OFP運用終了が契機– 1システムを約5–6 年使用し，約3年ごとに新しいストレージシステム（25+PB）を導入
し，入れ替えることを想定している

42

大規模共通ストレージシステム「Ipomoea」• スーパーコンピュータの処理能力の向上に伴い，扱うデータ量も増加の一途• 東大センターでは従来ストレージは各システムに附属して導入され，各システ
ムのストレージは独立• このような状況（注：ストレージがシステム毎に独立）は利用者に多大な不便を強いることになり，東大センターの全システムからアクセス可能な共通ストレージの導入が強く求められていた• 各システムからアクセスできる「大規模共通ストレージ（Ipomoea）」導入決定– OFP運用終了が契機– 1システムを約5–6 年使用し，約3年ごとに新しいストレージシステム（25+PB）を導入
し，入れ替えることを想定している

2001-2005
Hitachi SR8000
1,024 GF

2006-20102011-20152016-2020

Hitachi SR11000
J1, J2

Hitachi SR16K/M1
Yayoi

5.35 TF, 18.8 TF

54.9 TF

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

2026-2030

OBCX(Fujitsu)
6.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PF

Fujitsu FX10
Oakleaf-FX

T
2
K
元
年

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外2021-2025

OFP-II
100+ PF

Fujitsu
33.1 PF

1.13 PFBDEC02250+ PF

ReedbushU/H/L (SGI-HPE)
3.36 PF

大規模共通
ストレージ
システム群

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

44

Ipomoea-01• 2022年1月運用開始予定，25+PB– 富士通製• 2022 年6 月末までにOFPのLustre
領域の必要ファイルの移行完了• 割当容量– 東大センターのシステムのいずれかに利用者番号（教育利用，講習会除く）を有する場合• 各利用者ごとに5TB• 各グループごとに登録システムで付与されている容量の15％を無償で付与– 追加負担金（企業はこの2割増し）• 7,200円/TB/年，2,100,000円/PB/年– Ipomoea-01のみの利用申込みも可能

45• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Oakbrige-CX（OBCX）– Ipomoea-01（大規模共通ストレージ）• h3-Open-BDEC– 概要– 低精度・混合精度演算，精度保証– 階層型データ駆動アプローチ• 観測データ同化による長周期地震動リアルタイム予測• 「計算・データ・学習」融合へ向けた試み• 将来構想等

46（計算＋データ＋学習）融合によるエクサスケール
時代の革新的シミュレーション手法（1/2）
http://nkl.cc.u-tokyo.ac.jp/h3-Open-BDEC/• エクサスケール（富岳＋クラス）のスパコンによる科学的発見の持続的促進のため，計算科学にデータ科学，機械学習のアイディアを導入した（計算＋デー
タ＋学習（S+D+L））融合による革新的シミュレーション手法を提案– (計算+データ+学習)融合によるエクサスケール時代の革新的シミュレーション手法 （科研費基盤S，代表：中島研吾（東大情基セ），2019年度～2023年度）

47（計算＋データ＋学習）融合によるエクサスケール
時代の革新的シミュレーション手法（2/2）
http://nkl.cc.u-tokyo.ac.jp/h3-Open-BDEC/• 革新的ソフトウェア基盤「h3-Open-BDEC」の開発：東大BDECシステム（
Wisteria/BDEC-01），「富岳」等を「S+D+L」融合プラットフォームと位置づけ，
スパコンの能力を最大限引き出し，最小の計算量・消費電力での計算実行を実現するために，下記2項目を中心に研究– 変動精度演算・精度保証・自動チューニングによる新計算原理に基づく革新的数値解法– 階層型データ駆動アプローチ（hDDA：Hierarchical Data Driven Approach）等に基づく革新的機械学習手法– Hierarchical, Hybrid, Heterogeneous ⇒ h3

h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/① 変動精度演算・精度保証・
自動チューニングによる新計算原理に基づく革新的
数値解法② 階層型データ駆動アプローチ（hDDA：Hierarchical
Data Driven Approach）
等に基づく革新的機械学
習手法
 Hierarchical, Hybrid,
Heterogeneous ⇒ h3

Big Data &ExtremeComputing48

49

低・変動精度演算による新計算原理の必要性• 低・変動精度演算– 計算量・計算時間・消費電力・メモリ容量・I/O削減• 科学技術計算の多くは倍精度（64bit）で実施されているが，条件の良い問題であれば，単精度（32bit）・半精度（16bit），混合精度でも可能– 我々は不必要に高精度な計算により貴重な時間やエネルギーを無駄にしている・・・かも• 昨今，低精度演算の活用は盛ん– 混合精度演算の研究，アプリへの適用は既に行われている– Approximate Computing：省電力のための研究• 元々は画像処理• FPGAを含むハードウェア，システムソフトウェア，コンパイラ– ポストムーア時代へ向けた重要な技術の一つ• 悪条件問題では，低精度演算では正解が得られない場合がある。
– 特に半精度演算は変数の範囲が限定されるため注意が必要であり，精度の要求されない反復法前処理等に適用するべきである。

50

三次元不均質ポアソン方程式 ICCG法
条件数（λ1/λ2）と反復回数・計算時間の関係
単精（FP32）／倍精度（FP64）の比：少ないほどFP32速い，Intel BDW
3.00

Iterations

λ1

sec.

2.50

λ2
∇ ⋅ ( λ∇φ ) + f = 0
Reedbush：
Intel Xeon Broadwell-EP
Single Node:18 cores x 2 soc’s

Ratio

λ1

+20%
単精度演算による反復回数増加

2.00

1.50

1.00

0.50

-50% 単精度演算による計算時間減少
0.00
1.E+00

1.E+01

1.E+02

1.E+03

1.E+04Lambda-1/Lambda-2

1.E+05

1.E+06[KN et al. 2018]

51[Sakamoto et al. 2020]
Results on Intel Xeon BDW λ1= λ2
N=1283, ■: CPU，■: Memory，●：Time
400.00Power: Watt

1.80

700.00

Energy: Joule

1.80

1.60

1.60

600.00
1.40

0.80
0.60

100.000.40

0.00
SingleFP32
SingleDoubleFP64
Double1.20
400.00

1.00

sec.

1.00
200.001.40
500.00

Energy Consumption (J)

1.20

sec.

Power Consumption (W)300.00300.000.80
0.60

200.000.40

0.20

100.00

0.00

0.00

0.20

FP32
SingleSingle0.00

FP64
DoubleDouble52

低・変動精度演算による新計算原理の必要性• 低・変動精度演算– 計算量・計算時間・消費電力・メモリ容量・I/O削減• 科学技術計算の多くは倍精度（64bit）で実施されているが，条件の良い問題であれば，単精度（32bit）・半精度（16bit），混合精度でも可能– 我々は不必要に高精度な計算により貴重な時間やエネルギーを無駄にしている・・・かも• 昨今，低精度演算の活用は盛ん– 混合精度演算の研究，アプリへの適用は既に行われている– Approximate Computing：省電力のための研究• 元々は画像処理• FPGAを含むハードウェア，システムソフトウェア，コンパイラ– ポストムーア時代へ向けた重要な技術の一つ• 悪条件問題では，低精度演算では正解が得られない場合がある。
– 特に半精度演算は変数の範囲が限定されるため注意が必要であり，精度の要求されない反復法前処理等に適用するべきである。

53

低・変動精度演算の活用，精度保証• 実問題（悪条件問題）では精度保証が重要– 近年のApproximate Computingに関する研究で，精度保証にまで立ち入った例はな
い：計算できればOK• これまでの精度保証研究は主として密行列対象– 疎行列・H行列の例は少ない：条件の良い問題が中心– 一般に精度保証には求解の数倍の時間を要する• 本研究で目指す精度保証手法（対象：疎行列，H行列）– 高速・正確・悪条件に対応– 自動チューニングによる最適精度選択• 荻田等による既存手法〔荻田・後・大石 2001〕– M行列向け（条件の良い行列，全非対角成分が0以下，全固有値の実部が正）– 現実的な時間で精度保証が可能なことは確認されたが，悪条件問題向けにより精密な手法が必要（2018年度）⇒より精密な手法の開発（2019年度）

54

本研究の精度保証手法〔Ogita & KN 2019〕（1/2）
①
②
③
④
⑤
⑥

離散化によって得られた連立一次方程式 Ax=b を解き，得られた近似解を x̂ とする
連立一次方程式 Ay=e (e はすべての要素が 1 のベクトル)を解く．得られた近似解を ŷ とする②の ŷ を用いて係数行列 A の M 行列性の保証を行う
残差 r = b − Axˆ を精度保証付きで計算し，残差の近似値を r̂ ，誤差
限界を er とする．
連立一次方程式 Az = rˆ を解き，近似解を ẑ とする．
以下の誤差評価式の右辺について，浮動小数点演算の丸めモードの変更を適宜使用しながら，厳密な上限を求める（右辺第 2 項の分母が 0 以下になった場合は精度保証失敗）： x − xˆ ≤ zˆ + yˆ ∞ b − A( xˆ + zˆ ) ∞∞∞1 − e − Ayˆ ∞55

本研究の精度保証手法〔Ogita & KN 2019〕（2/2）• ICCG法の反復の停止条件– ICCG法の反復中に計算される見かけの残差ベクトルを使用

Ax = b, b − Axˆ 2 / b 2 < ε1 (= 10−12 )Ay = e, e − Ayˆ ∞ < ε 2 (= 10−2 )Az = rˆ, rˆ − Azˆ 2 / rˆ 2 < ε 3 (= 10−9 )• 最大相対誤差上限・相対残差ノルム

xi − xˆimax,
1≤i ≤ nxib − Axˆ 2 / b 256

計算例（倍精度）：NX=NY=NZ=128
1.E+00Previous bound

FY.2018

New error bound

FY.2019

Improved error bound

λ1

1.E-02

Relative residual norm

λ2

1.E-04λ1∇ ⋅ ( λ∇φ ) + f = 0

Maximum relative error

10-5
max

1.E-06
1.E-08better10-4

Residual norm

1.E-101.E-12
1.E+0 1.E+1 1.E+2 1.E+3 1.E+4 1.E+5 1.E+6
lambda1 / lambda2

Computed error bounds are significantly improved!
[Ogita & KN 2019]P3D: Steady State 3D Heat
Conduction by FVM• Various Configurations– FP64 (Double), FP32 (Single), FP16 (Half) (just for preconditioning)– Matrix Storage Format (CRS, ELL, SELL-C-σ etc.)
C
σ

λ1

λ2
λ1
CRS

ELL

Sliced ELL

SELL-C-σ∇ ⋅ ( λ∇φ ) + f = 0
57

58

SystemAbbreviation
Architecture of CPU

OakforetPACS

OakbridgeCX

Oakleaf-7（FX700）

OFP

OBCX

OL7

Intel Xeon Phi 7250 Intel Xeon Platinum 8280
Fujitsu A64FX（1.8GHz）(Knights Landing, KNL)
(Cascade Lake, CLX)

Core#/Socket

68

28

48

Socket#/Node

1

2

1

3,046

4,838

2,765

192

32

202

809

Peak Performance (DP)(GFLOPS)/Node
Memory Capacity(GB)/Node
Memory Bandwidth(GB/sec), Stream Triad
Compiler

MCDRAM: 16
DDR4: 96MCDRAM: 490
DDR4: 84.5

Intel Parallel Studio 2019

Fujitsu
FCC 4.0.0

59

Ratio of Performance: FP64
Elapsed Computation Time for ICCG (DP),Normalized by OFP with CRS， λ1/ λ2 =1[KN et al. SWoPP 2020]

Medium：1283

Large：2563

5.00

5.00

OFP-D

4.00

4.00

Relative Performance

Relative Performance

OBCX-D■OFP，■OBCX，■FX700
OL7-D

OFP-D OBCX-D OL7-D■OFP，■OBCX，■FX700

Large is Good

Large is Good

3.00

2.00

1.00

0.00

3.00

2.00

1.00

0.00

CRS

CRS

ELL

ELL

Matrix Storage Format

ELLo

Opt.ELL

CRS

CRS

ELL

ELL

Matrix Storage Format

ELLo

Opt.ELL

60

Mixed Precision Computing of ICCG Solver
for P3D on FX700
SpMV, DAXPY,
Preconditioning
Dot Products
D-D
D-S
D-H
S-S
S-H

FP64
FP64
FP64
FP32
FP32

FP64
FP32
FP16
FP32
FP16

Vectors for
Preconditioning
FP64
FP32
FP32
FP32
FP32
[KN et al. SWoPP 2020]

Mixed Precision Computingfor P3D on FX700
Implementation of Forward
Substitution (CRS) in ICCG[KN et al. SWoPP 2020]

FP64
FP32
FP16

!$omp parallel do private(ip,i)do ip= 1, PEsmpTOT
do i= SMPindex((ip-1)*NCOLORtot)+1, SMPindex(ip*NCOLORtot)
Ws(i,Z)= Ws(i,R)
enddo
enddo

S-H

!$omp parallel private(ic,ip,ip1,i,WVALs,k)do ic= 1, NCOLORtot!$omp dodo ip= 1, PEsmpTOT
ip1= (ip-1)*NCOLORtot + ic
do i= SMPindex(ip1-1)+1, SMPindex(ip1)
WVALs= Ws(i,Z)
do k= indexL(i-1)+1, indexL(i)WVALs= WVALs - ALh(k) * Ws(itemL(k),Z)
enddo
Ws(i,Z)= WVALs * Wh(i,DD)
enddo
enddo
enddo
!$omp end parallel!$omp parallel do private(ip,i)do ip= 1, PEsmpTOT
do i= SMPindex((ip-1)*NCOLORtot)+1, SMPindex(ip*NCOLORtot)
Ws(I,Z)= W(I,R)
enddo
enddo

!$omp parallel do private(ip,i)do ip= 1, PEsmpTOT
do i= SMPindex((ip-1)*NCOLORtot)+1, SMPindex(ip*NCOLORtot)
Ws(i,Z)= W(i,R)
enddo
enddo

!$omp parallel private(ic,ip,ip1,I,WVALs,k)do ic= 1, NCOLORtot!$omp dodo ip= 1, PEsmpTOT
ip1= (ip-1)*NCOLORtot + ic
do i= SMPindex(ip1-1)+1, SMPindex(ip1)
WVALs= Ws(i,Z)
do k= indexL(i-1)+1, indexL(i)WVALs= WVALs - ALs(k) * Ws(itemL(k),Z)
enddo
Ws(i,Z)= WVALs * Ws(i,DD)
enddo
enddo
enddo
!$omp end parallel!$omp parallel private(ic,ip,ip1,i,WVALs,k)do ic= 1, NCOLORtot!$omp dodo ip= 1, PEsmpTOT
ip1= (ip-1)*NCOLORtot + ic
do i= SMPindex(ip1-1)+1, SMPindex(ip1)
WVALs= Ws(i,Z)
do k= indexL(i-1)+1, indexL(i)WVALs= WVALs - ALh(k) * Ws(itemL(k),Z)
enddo
Ws(i,Z)= WVALs * Wh(i,DD)
enddo
enddo
enddo
!$omp end parallel(Backward Substitution)(Backward Substitution)!$omp parallel do private(ip,i)do ip= 1, PEsmpTOT
do i= SMPindex((ip-1)*NCOLORtot)+1, SMPindex(ip*NCOLORtot)
W(I,Z)= Ws(I,Z)
enddo
enddo

!$omp parallel do private(ip,i)do ip= 1, PEsmpTOT
do i= SMPindex((ip-1)*NCOLORtot)+1, SMPindex(ip*NCOLORtot)
W(I,Z)= Ws(I,Z)
enddo
enddo

D-S

D-H

61

62

Mixed Precision Computation
D-H/S-H do not converge at λ1/ λ2

NZ

=106
z

Relative Error (%)

1.00E+01
Relative Error(%) compared to 1.00E+00
D-D @●

∆Z
∆Y

y

NY
x

∆X

NX

Error=0 for ●（D-S） & ○（D-H）

1.00E-01

1.00E-02

1.00E-03
D-S

D-H● D-S，○D-H
S-S
S-H▲ S-S，△S-H

1.00E-04

1.00E-05
1.00.E+00[KN et al. SWoPP 2020]

1.00.E+01

1.00.E+02

1.00.E+03

1.00.E+04

Lambda1/Lambda2
λ1/ λ2

1.00.E+05

1.00.E+06

63

Mixed Precision Computation[KN et al. SWoPP 2020]

D-H/S-H do not converge at λ1/ λ2 =106

Results of (D-S，
D-H) agree withthose of D-D (ifλ1/ λ2 ≦105)

2.50

Nomalized Iteration #Number of
Iterations(Normalized bythat of D-D)●～○～D-D，▲
～△

3.00

2.00

D-S
D-S
●
D-H
○ D-H
S-S
S-S
▲
S-H
△ S-H

1.50

1.00

0.50

0.00
1.00.E+00

1.00.E+01

1.00.E+02

1.00.E+03

1.00.E+04

Lambda1/Lambda2

λ1/ λ2

1.00.E+05

1.00.E+06

Data formats[Kawai, KN HPC Asia 2022]

Considering following data formats
sign 1bit
exp 11bits

frac 52bits

FP64
exp 11bits

frac 30bits

FP42
exp 8bits

frac 23bits

FP32
exp 8bits

frac 12bits
Adaptive precision(Not standardized by IEEE754)

FP21
exp 5bits frac 10bits

FP16
Use FP21 and FP42 reduces data transfer between memory and CPU to 2/3 compared with FP32
and FP64.
For computing FP21 and FP42, it require data casting because of unsupported by FPUs.
64

Performance improvement by low/adaptive precisions
Low/Adaptive precision shows reduce computational time.
Computational time [s]40FP64-FP64
FP32-FP64
FP21-FP32

FP42-FP64
FP32-FP32

 FP16-FP32 was the fastest within the good condition.
 17.3% compared with FP64-FP64
 FP21-FP32 was the fastest within the good condition.
20
on OFP and OBCX.
 18.4%(OFP), 18.6%(OBCX)
10
 FP32-FP64 was the fastest in intermediate conditions.
OFP FP21-FP32 was faster in worse condition, again.
0
1.00E+00 1.00E+02 1.00E+04 1.00E+06 1.00E+08 1.00E+10
 12.6％(OFP), 13.7%(OBCX)30

λ2

FP64-FP64
FP32-FP64
FP21-FP32

20

FP42-FP64
FP32-FP32

40

20

OBCX

Computational time [s]Computational time [s]6015SCS FP64-FP64
SCS FP32-FP32
SCS FP16-FP32

SCS FP32-FP64
SCS FP16-FP64

10
5

0
0
1.00E+00 1.00E+02
1.00E+00 1.00E+02 1.00E+04 1.00E+06 1.00E+08 1.00E+10
λ2[Kawai, KN HPC Asia 2022]

WO
1.00E+04

1.00E+06
λ2

1.00E+08

1.00E+1065h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/① 変動精度演算・精度保証・
自動チューニングによる新計算原理に基づく革新的数
値解法② 階層型データ駆動アプロー
チ（hDDA：Hierarchical
Data Driven Approach）
等に基づく革新的機械学習
手法
 Hierarchical, Hybrid,
Heterogeneous ⇒ h3

Big Data &ExtremeComputing66

67

階層型データ駆動アプローチ：
hDDA• シミュレーションに機械学習を適用して異なるパラメータでの解を予測するデータ駆動アプローチ（DDA, Data Driven
Approach）では，計算を繰り返して教師データを生成する必要がある。
• 階層型DDA（hDDA）は，特徴検知，MOR（Model Order Reduction），UQ（Uncertainty Quantification），スパースモ
デリング，適応格子等の諸機能を駆使して，計算量（メッシュ数，粒子数）を削減した簡易モデルを，機械学習により自動生成，教師データ生成用モデルとして利用する
 やや詳細なSurrogate Model68

機械学習による非定常数値流体力学シミュレーション高速化（計算＋データ＋学習（S+D+L））融合の実例

シミュレーション結果

機械学習による予測〔画像提供：下川辺隆史准教授（東京大学情報基盤センター）〕

CNNと境界交換による複数領域における予測手法
単一領域予測：学習に用いた領域サイズの予測しかできない、GPUメモリ容量に制限
計算領域を複数小領域に分割し、複数小領域にまたがるシミュレーション結果を予測• 単一領域に対し学習したネットワークモデルで各小領域の結果を予測• 複数の小領域間で予測値の整合性を保つため、隣接する分割領域間で境界交換し、推論し、予測値が収束するまで、これを繰り返す
入力
分割された複数の小領域
全領域
出力
符号付き距離関数（物体形状）

分割

境界

全領域の流速境界における流速

CNN
境界交換[T. Shimokawabe (ITC/U.Tokyo)]

反復ループ

69

境界交換による2次元計算の予測結果
CNNによる予測（初期状態）

CNNによる予測（収束後）

正解

誤差 = | CNN – LBM |uu (x方向の速度)

u

u

v

v (y方向の速度)vv

予測サイズ：748x364(分割数9)
平均誤差 ：3.89％
計算時間 ：3.82 s[T. Shimokawabe (ITC/U.Tokyo)]

高速かつ高精度に予測可能
70

時間発展予測CNNモデル

Datasets:
OpenFOAM simulation results (50 cases)[T. Shimokawabe (ITC/U.Tokyo)]再帰的な適用による予測結果（液相率）の比較[T. Shimokawabe (ITC/U.Tokyo)]72

Wisteria/BDEC-01上における
h3-Open-BDECを使用した（S+D+L）融合• シミュレーションとデータ同化の融合– 典型的・伝統的な（S+D+L）融合• 気候・気象のための大気海洋連成シミュ
レーション– 東大大気海洋研，理研，国立環境研他• リアルタイム同化＋三次元強震動シミュレーション– 東大地震研（後述）• リアルタイム災害シミュレーション– 洪水，津波• 既存シミュレーションコードの（S+D+L）融合による高度化– OpenFOAM

73

Challenges on Wisteria/BDEC-01(1)Multi Detailed-level＋Ensemble coupling
Low-resolution Ensemble

High-resolution

J-cup

Coupling

J-cup

Data assimilation
Good at detailed local weather

Nudging large-scale (lowwavenumber) states
Good at large-scale atmosphericstate and climatology

Faster than high-resolution ensemble data assimilation!

(S+D+L) workshop, 2021.12.3

75• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Oakbrige-CX（OBCX）– Ipomoea-01（大規模共通ストレージ）• h3-Open-BDEC• 観測データ同化による長周期地震動リアルタイム予測• 「計算・データ・学習」融合へ向けた試み• 将来構想等

76

地震に関するシミュレーション：それぞれに専門家• 地震発生サイクル– プレート境界・断層面応力蓄積– 数十年～数百年– 境界要素法，境界積分法• 動的破壊– 応力蓄積⇒破壊，地震のソースターム– 数十秒～数分– 境界要素法，境界積分法• 波動伝播– 地震波動伝播，強震動– 数十秒～数分– 有限要素法，差分法

長周期振動 長い固有周期 大きな建物を長時間揺らす 遠くまで伝わる

77

地震シミュレーション：
不確実性（Uncertainty）と隣り合わせ• 地震シミュレーション（強震動シミュレーション）– 応力蓄積過程⇒動的破壊⇒地震波動伝播（強震動）• 地下構造⇒不均質・不確定• シミュレーション・観測融合が不可欠• 伝統的なシミュレーション– いわゆるフォワードモデリング– 「メカニズムの理解」の域を出ない• データ同化・リアルタイム観測と融合した手法の開発が必要– シミュレーション（Simulation）：予測＋観測・データ
同化（Data Assimilation）：補正〔画像提供：古村孝志教授（東大・地震研）〕

78

地震波動伝播（強震動）
シミュレーション
Seism3D/OpenSWPC-DAF
Seismology：地震学[Furumura et al.]• 偏微分方程式（三次元運動方程式）を差分法（Finite Difference Method）によって解く
1  ∂σ xp+ ρ  ∂xn −1/2

n
p

v =v

n −1
p

+

n −1/2∂σ yp∂y∂σ zpn −1/2 
+
 ∆t
∂z 

( p = x, y , z )• 差分法⇒空間を細かい格子（メッシュ）に分割する– 直方体・立方体：規則正しい均一なメッシュ– 分割が細かいほど，精度は上がるが計算量が増える⇒スパコンが必要– 今回の2007年中越沖地震では9億近いメッシュ数〔画像提供：古村孝志教授（東大・地震研）〕

79

全国地震観測データ流通ネットワーク「JDXnet」• 国内地震観測点の観測データ（約2,000点，100Hz，3方向) をSINET経由でリアルタイムに取得可能– 気象庁，東大地震研，防災科技研，各大学– 1日のデータ量：100GB級〔資料提供：鶴岡弘准教授（東大・地震研）〕

「リアルタイムデータ同化＋シミュレーション」融合（大場，古村）
80

・最適内挿法によるデータ同化

Residual
Obs.
Comp.

Assim. Comp.
Comp.

（A）Pure S（B）A+S: Time Step
: Weighting Matrix

10 sec.

Assim.
: Wave Propagation
simulation（A）Pure S：

従来型シミュレーション：観測点（A） A+S

シミュレーション＋データ同化(震源情報不要)20 sec.

30 sec.
震源

80

80

「リアルタイムデータ同化＋シミュレーション」融合（大場，古村）
81

・最適内挿法によるデータ同化

Residual
Obs.
Comp.

Assim. Comp.
Comp.

（A）Pure S（B）A+S: Time Step
: Weighting Matrix

10 sec.

Assim.
: Wave Propagation
simulation（A）Pure S：

従来型シミュレーション：観測点（A） A+S

シミュレーション＋データ同化(震源情報不要)20 sec.

30 sec.
震源

81

81

「A+S:同化＋シミュレーション」⇒「Pure S:シミュ
レーション予測」[c/o Prof. T. Furumura, ERI/U.Tokyo]

Residual
Obs.
Comp.

Assim. Comp.
Comp.

Assim.
: Wave Propagation
simulation: Time Step82

: Weighting Matrix

83

三次元地震シミュレーション＋
リアルタイムデータ同化/観測
JDXnetの観測データを利用したリアルタイ
ムデータ同化/観測

JDXnetJDXnet〔資料提供：古村孝志教授（東大・地震研）〕

Oakbridge-CX（OBCX）• 全1,368ノードのうち128ノードにSSD（
Solid State Drive）搭載– Intel SSD＋BeeGFS• 容量：1.6 TB/node• 読み書き性能： 3.20/1.32 GB/s/node• BeeOND（BeeGFS-on-Demand）により200+TB （128×1.6）の高速ファイルシステムとして使用可能– データ科学アプリケーション• ソフトウェア類も充実– ステージング，チェックポイント• 128ノードのうち16ノードはSINET経由で外部リソース（サーバー，ストレージ，セン
サーネットワーク）に直接接続– 外部接続ノード84

85

三次元地震シミュレーション＋
リアルタイムデータ同化/観測
JDXnetの観測データ：リアルタイムデータ同化/観測・通常時：フィルタリング⇒観測データ内挿
・緊急時：データ同化＋シミュレーション

86

External Server

三次元地震シミュレーション＋
リアルタイムデータ同化/観測
JDXnetの観測データ：リアルタイムデータ同化/観測・通常時：フィルタリング⇒観測データ内挿
・緊急時：データ同化＋シミュレーション

87Filtering using Experimental Environment
External Server

OBCX: External Node88

計算例：2007年新潟県中越沖地震（Mw=6.6）• 観測データ：あらかじめ外部サーバ（mini-mdx）に格納• OBCX外部接続ノードで受け取ってフィルタリング• 「データ同化＋シミュレーション（A+S） 」と「シミュレーション予測（Pure S）」
は分離したプログラムだが，使用ノード数は同じで実施– 実はフィルタリングとは連動していない• 動画処理はシミュレーション終了後実施（O(10)秒）• Seism3D/OpenSWPC-DAF
n −1/2n −1/2∂σ yp∂σ zpn −1/2 – 三次元有限差分法（Finite Difference
1  ∂σ xp
v np = v np−1 + ++ ∆t ( p = x, y, z )∂y∂z ρ  ∂x
Method），Optimal Interpolation Technique: Time Step
Residual
Assim. Comp.
Obs.
Comp.
– メッシュ数 1,920×1,920×240（約8.85億）: Weighting Matrix– メッシュ幅 240m（立方体）Comp.
Assim.
: Wave Propagation– 460.8 km×460.8 km×57.6 km
simulation

89

2007年新潟県中越沖地震（Mw=6.6）

震源（Epicenter）■ Hi-net (Short Period) 349 pts● F-net (Broadband)18 pts[c/o Prof. T. Furumura,
ERI/U.Tokyo]

90

2007年新潟県中越沖地震（Mw=6.6）

震源（Epicenter）■ Hi-net (Short Period) 349 pts● F-net (Broadband)18 pts[c/o Prof. T. Furumura,
ERI/U.Tokyo]

91

2007年新潟県中越沖地震（Mw=6.6）

震源（Epicenter）■ Hi-net (Short Period) 349 pts● F-net (Broadband)18 pts[c/o Prof. T. Furumura,
ERI/U.Tokyo]

2007年新潟県中越沖地震（Mw=6.6）
482 K-NET, KiK-net Observation（A+S）70秒（Pure S）

東京都江東区 ▲ (N.KOTH)
N 35°37.0’
E 139°46.9’(A+S)⇒(Pure S)@30s(A+S) (Pure S)

震源

50s

70s

Input
P

S

東京都
江東区
▲

90s

110s

観測結果：上下動（A+S）70秒間92計算例：
2007年新潟県中越沖地震（Mw=6.6）

東京都江東区 ▲ (N.KOTH)
N 35°37.0’
E 139°46.9’(A+S)⇒(Pure S)@30s(A+S) (Pure S)• （A+S）– 観測結果を受け取りながら実施するため，実時間よりは前に進めない– ただ，フィルタリング等の前処理を考えると，実現象の半分く
らいの時間で計算できると良い• （Pure S）– 実現象の10分の1くらいで計算ができると良い– 例えば，50秒で（A+S）⇒（Pure S）へ切り替え，さらにその後の50秒分を5秒で計算できれば，震源から約250km離れた東京にピーク波が到着する時間（地震発生から100秒程
度）を十分に予測できる

50s

70s

90s

110s

観測結果：上下動

93

東京都江東区▲ (N.KOTH)
計算例：
N 35°37.0’
2007年新潟県中越沖地震（Mw=6.6） E 139°46.9’

50 sec.
A+S

50 sec.
Pure S• （Pure S）– 実現象の10分の1くらいで計算ができると良い– 例えば，50秒で（A+S）⇒（Pure S）へ切り替え，さらにその後の50秒分を5秒で計算できれば，震源から約250km離れた東京にピーク波が到着する時間（地震発生から100秒程度）を十分に予測できる94

計算時間：200秒分• I/O用通信が含まれている(A+S) min.
(A+S) max.
(Pure S) min.
(Pure S) max.

1.00E+03– min.：通信含まず– max.：通信含む
1.00E+02– 現実の半分（100秒）で計算できれば良い– 300-400ノード程度• （Pure S）– 現実の10分の1（20秒）が求められる– 1,000ノード以上

sec.

• （A+S）

1.00E+01

1.00E+00

1.00E-01
18

32

64

128

256

Node #

512

768

1024 1280
95計算時間：200秒分• I/O用通信が含まれている(A+S) min.
(A+S) max.
(Pure S) min.
(Pure S) max.

1.00E+03– min.：通信含まず– max.：通信含む
1.00E+02• （A+S）
sec.

– 現実の半分（100秒）で計算20秒：
できれば良い現実の1/10
1.00E+01– 300-400ノード程度• （Pure S）– 現実の10分の1（20秒）が求められる– 1,000ノード以上

1.00E+00

1.00E-01
18

32

64

128

256

Node #

512

768

1024 1280
96

97• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Oakbrige-CX（OBCX）– Ipomoea-01（大規模共通ストレージ）• h3-Open-BDEC• 観測データ同化による長周期地震動リアルタイム予測• 「計算・データ・学習」融合へ向けた試み– 地震シミュレーション on Wisteria/BDEC-01– ソフトウェア開発： h3-Open-SYS/WaitIO，h3-Open-UTIL/MP– 萌芽研究課題「AI for HPC」

• 将来構想等

リアルタイムデータ同化＋
3D強震動Sim. 融合（1/2） jh210022-MDH• 大地震時：正確な地震波動伝播予測– 地震波観測データを同化して得られる変位分布を初期条件として入力– 100秒先の予測を10秒以内に計算– 的確な避難計画の策定，震源は遠い場合• 通常時：地下構造モデル改良– 地下構造は複雑，不均質，実はよくわかっておらず，大小の地震時の逆解析等によりモデルを少しずつ改良する，のが現状– 観測データ・三次元シミュレーション・データ
解析を元に地下構造モデルの改良に使う
 例えばMw=3.0+の地震が起きた場合
 機械学習により精度高いモデル生成– ⇒（S+D+L）融合へ

98

99

リアルタイムデータ同化＋
3D強震動Sim 融合（2/2）• Wisteria/BDEC-01の利用• データ同化＋シミュレーション– Optimal Interpolation Technique：高速• 三次元地下構造モデル高度化– リアルタイム性はそれほど重要ではない– より高度なデータ同化手法（e.g.四次元変分法）を適用• Odyssey– データ同化，シミュレーション• Aquarius– フィルタリング，機械学習，可視化Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

100

AI for HPCの実現へ向けて• Odyssey-Aquarius連携– MPIによる通信は不可• O-Aを跨いでMPIプログラムは動かない– Odyssey-Aquarius間はInfiniband-EDR（2TB/sec）で結合されている• ソフトウェア開発– O-A間通信：h3-Open-SYS/WaitIO• IB-EDR経由（WaitIO-Socket）• 高速ファイルシステム（FFS）経由連携（WaitIOFile）– 高機能カプラー：h3-Open-UTIL/MP101

h3-Open-BDEC

Hierarchical,
Hybrid,「計算＋データ＋学習」融合を実現する革新的ソフトウェア基盤 Heterogeneous

科研費基盤研究（Ｓ）（2019年度～23年度，代表：中島研吾）
https://h3-open-bdec.cc.u-tokyo.ac.jp/

Big Data &ExtremeComputing① 新計算原理に基づく革新
的数値解法② 革新的機械学習手法③ ヘテロジニアス環境（e.g.
Wisteria/BDEC-01）におけるソフトウェア，ユーティ
リティ群（第3の柱）

102

103

Wisteria/BDEC-01: The First “Really
Heterogenous” System in the World

h3-Open-SYS/WaitIO
データ受け渡しライブラリ〔松葉，2020〕〔住元他，HPC-181，2021〕• ヘテロジニアス環境下での異なるコンポーネン
ト間ファイル経由連携ライブラリとして考案• 機能 Odyssey～Aquarius間連携
 IB-EDR経由通信（WaitIO-Socket）
 ファイル経由（WaitIO-File）

 外部からのデータ取得（観測データ等）
 読み込み・書き出しの同期• API：C/C++，Fortranから呼び出し可能
 MPIライクなインタフェースを提供• 多機能カプラー（h3-Open-UTIL/MP）との連携

104

105

h3-Open-SYS/WaitIO-SocketのAPI

106

長周期地震動シミュレーション＋観測データ同化
Output&Movie

JDXnetObserved Data

Data/Learning
Nodes: Aquarius

FilterVisualizer

Intel Ice Lake + NVIDIA A100

7.20 PF, 578.2 TB/s

h3-Open-SYS/WaitIO-Socket
Obs. Data

External Server
for Observed
Data

2.0 TB/s

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Seism3D/
OpenSWPC-DAF
Mesh DataUG Model107

動作確認用システム（現状）• WaitIO-Socketの動作確認のため，フィルタリング済みデー
タをWisteria/BDEC01上に置いて実施• 「Sender」が1秒ごとに送信

Output&Filtered Movie
Data

Data/Learning
Nodes: Aquarius

SenderVisualizer

Intel Ice Lake + NVIDIA A100

7.20 PF, 578.2 TB/s

h3-Open-SYS/WaitIO-Socket
2.0 TB/s

Simulation Nodes:
Odyssey
Fujitsu/Arm A64FX
25.9PF, 7.8 PB/s

Seism3D/
OpenSWPC-DAF
Mesh DataUG ModelOdyssey

先に起動

地下構造モデルファイルREAD

Aquarius

同化重みパラメータファイルREAD

入力データはコネクション
確立前に先に読み込む

コネクション確立
WaitIO-socket create

WaitIO-socket create

接続を待つ

Timestep

データ読込・処理

同化時間？

NO

YES
観測データ送信(WaitIO-socket)

観測データ送信

観測データ受信(WaitIO-socket)
同化処理

速度・応力計算

Aquarius⇒Odysseyにおけるテストプログラム
WaitIO-Socket通信

集計・結果WRITE
NO

Timestep終了？
YES

108

WaitIO-Socketによる通信（Aquarius側）
program dmy_filter<省略: 型宣言等>
call mpi_init (ierr)call mpi_comm_size (MPI_COMM_WORLD, nprocs, ierr)call mpi_comm_rank (MPI_COMM_WORLD, myrank, ierr)call WAITIO_CREATE_UNIVERSE (WAITIO_COMM_UNIVERSE, ierr)
if (myrank==0) thenopen(100,file='./obsfile_list.txt’, form=‘formatted’, status=‘old’, iostat=ierr)
do i=1,300<省略: obsデータ読み込み処理>
print *,"Send obs data ...... "call WAITIO_MPI_ISEND (NTMAX1_o, 1,
WAITIO_MPI_INTEGER, 2,1, WAITIO_COMM_UNIVERSE,req(1,1), ierr)call WAITIO_MPI_ISEND (DT_o,1,
WAITIO_MPI_FLOAT,
2,2, WAITIO_COMM_UNIVERSE,req(1,2), ierr)call WAITIO_MPI_ISEND (NST_o,1,
WAITIO_MPI_INTEGER, 2,3, WAITIO_COMM_UNIVERSE,req(1,3), ierr)call WAITIO_MPI_ISEND (AT_o,1,
WAITIO_MPI_FLOAT,
2,4, WAITIO_COMM_UNIVERSE,req(1,4), ierr)call WAITIO_MPI_ISEND (T0_o,
1,
WAITIO_MPI_FLOAT,
2,5, WAITIO_COMM_UNIVERSE,req(1,5), ierr)call WAITIO_MPI_ISEND (ISO_X_o, NSMAX,WAITIO_MPI_INTEGER, 2,6, WAITIO_COMM_UNIVERSE,req(1,6), ierr)call WAITIO_MPI_ISEND (ISO_Y_o, NSMAX,WAITIO_MPI_INTEGER, 2,7, WAITIO_COMM_UNIVERSE,req(1,7), ierr)call WAITIO_MPI_ISEND (ISO_Z_o, NSMAX,WAITIO_MPI_INTEGER, 2,8, WAITIO_COMM_UNIVERSE,req(1,8), ierr)call WAITIO_MPI_ISEND (ISTX_o,NST,WAITIO_MPI_INTEGER, 2,9, WAITIO_COMM_UNIVERSE,req(1,9), ierr)call WAITIO_MPI_ISEND (ISTY_o,NST,WAITIO_MPI_INTEGER, 2,10,WAITIO_COMM_UNIVERSE,req(1,10),ierr)call WAITIO_MPI_ISEND (ISTZ_o,NST,WAITIO_MPI_INTEGER, 2,11,WAITIO_COMM_UNIVERSE,req(1,11),ierr)call WAITIO_MPI_ISEND (STC_o,
6*NST,WAITIO_MPI_CHAR,
2,12,WAITIO_COMM_UNIVERSE,req(1,12),ierr)call WAITIO_MPI_ISEND (VxAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
2,13,WAITIO_COMM_UNIVERSE,req(1,13),ierr)call WAITIO_MPI_ISEND (VyAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
2,14,WAITIO_COMM_UNIVERSE,req(1,14),ierr)call WAITIO_MPI_ISEND (VzAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
2,15,WAITIO_COMM_UNIVERSE,req(1,15),ierr)call WAITIO_MPI_WAITALL (15,req, status, ierr)call sleep(1)enddoclose (100)endifcall WAITIO_FINALIZE (ierr)call mpi_finalize (ierr)
end

109

WaitIO-Socketによる通信（Odyssey側）
タイムステップ
同化時間?
YES

obsデータ
取得

NO

OPEN(40, FILE=trim(IN_OBS),FORM='UNFORMATTED',STATUS='OLD', IOSTAT=IER)<略>READ (40) NTMAX1_o, DT_o, NST_o
READ (40) AT_o, T0_o
READ (40) ISO_X_o,ISO_Y_o,ISO_Z_o,
ISTX_o,ISTY_o,ISTZ_o,STC_o
READ (40) VxAll_obs
READ (40) VyAll_obs
READ (40) VzAll_obs

WaitIO-socketに変更
call WAITIO_MPI_IRECV (NTMAX1_o, 1,
WAITIO_MPI_INTEGER, 0,1, WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (DT_o,1,
WAITIO_MPI_FLOAT,
0,2, WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (NST_o,1,
WAITIO_MPI_INTEGER, 0,3, WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (AT_o,1,
WAITIO_MPI_FLOAT,
0,4, WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (T0_o,
1,
WAITIO_MPI_FLOAT,
0,5, WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (ISO_X_o, NSMAX,WAITIO_MPI_INTEGER, 0,6, WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (ISO_Y_o, NSMAX,WAITIO_MPI_INTEGER, 0,7, WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (ISO_Z_o, NSMAX,WAITIO_MPI_INTEGER, 0,8, WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (ISTX_o,NST,WAITIO_MPI_INTEGER, 0,9, WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (ISTY_o,NST,WAITIO_MPI_INTEGER, 0,10,WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (ISTZ_o,NST,WAITIO_MPI_INTEGER, 0,11,WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (STC_o,
6*NST,WAITIO_MPI_CHAR,
0,12,WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (VxAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
0,13,WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (VyAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
0,14,WAITIO_COMM_UNIVERSE,...)
call WAITIO_MPI_IRECV (VzAll_obs,NST*NOBS_LEN,WAITIO_MPI_FLOAT,
0,15,WAITIO_COMM_UNIVERSE,...)
110

計算結果（A+S：60秒，Pure S：240秒）
Odyssey with A64FX：実はOBCXより少し遅い，OFP並
ノード数

（A+S）
60秒分

（Pure S）
240秒分

256

61.1

134.6

512

61.6

84.12

1,024

62.1

62.95

2,048

60.1

27.84
111

まとめ・今後の計画等• h3-Open-SYS/WaitIO-Socketを利用することによって，AquariusとOdysseyという異なるアーキテクチャによるノード群間の通信と連携をMPIとほぼ同じインタフェースで実現できることを示した。Wisteria/BDEC-01とh3-Open-BDECを使用した「計算・データ・学習」融合へ向けて有用な知見が得られた。
• 現状では，フィルタリング済みの結果をAquariusからOdysseyへ送っているが，今後は観測データ受信，フィルタリング処理も含めて実施するシステムを，本年度内を目標に構築– 多機能カプラh3-Open-UTIL/MPの活用も検討• 計算部分の最適化 on Odyssey with A64FX– 「計算＋通信」オーバーラップ– IO削減，通信効率化• リアルタイム化は技術的な困難多い・・・地下構造推定の方が役に立つかも– 震源が遠くになければならない・・・

112

連成シミュレーションのためのカプラー〔荒川，八代〕• 従来のカプラー（Coupler）：ppOpen-MATH/MP– 複数（通常2つ：大気（NICAM）＋海洋（COCO））のアプリケーションの弱連成（Weak Coupling）をサポート– 各アプリケーションは1種類の計算をやる113

「計算＋データ＋学習」融合を支援する
多機能カプラーh3-Open-UTIL/MP• 異なる物理モデル連成のアンサンブル実行を支援・統合するための機能– MPI通信、時刻同期、格子系間マッピング等の管理機能の他、従来のカプラーには無い、複数の弱連成結合シミュレーションのアンサンブル実行、片側のモデルのみをアンサン
ブル実行する多対１の弱連成結合が可能– スパコン上で、全地球大気海洋連成シミュレーションによって動作検証済み• Fortran/Cコード（物理モデル）とPythonコードの弱連成を実現する機能– FortranやCで記述されたプログラ
ム同士の連成計算に限って開発を行ってきたカプラーを、Pythonによって記述されたAI・機械学習、可視化処理系のワークロードからも活用できるよう機能拡充。

• O-A利用：WaitIOとの連携

Fortran/CアプリとPythonアプリの連成計算の模式図〔八代・荒川 2020〕114

Multi Detailed-level Coupling[Yashiro et al.]Low detailed level

High detailed level

J-cup

Coupling(S+D+L) workshop, 2021.12.3

J-cup

The process components (solvers) are resolution-dependent
Low-resolution
Atmospheric model・Clouds and convections are parameterized・Poor to reproduce heavy rainfall
・Climatology is well-tuned to the real world・Light workload

High-resolution
Atmospheric model・Clouds and convections are solved more explicitly
・Reproduce detailed meteorological phenomena
・There is non-negligible climatological biases
・Heavy workload (more than x1000!)[Yashiro et al.](S+D+L) workshop, 2021.12.3

Multi Detailed-level Coupling (low->high)Low-resolution
Atmospheric model[Yashiro et al.]High-resolution
Atmospheric model

J-cup

Coupling

J-cup

Faster simulation time

Good at detailed local weather

Nudging large-scale (lowwavenumber) states• If low-res simulations have some additional value in climatological reproducibility, it can be
helpful for covering the weakness of high-res simulations(S+D+L) workshop, 2021.12.3

[Yashiro et al.]Ensemble Coupling
Application A (e.g. Atmosphere Model)
App A1

App A2

App A3h3o-U/MP

h3o-U/MP
h3OpenMP

h3o-U/MP

Ensemble
Execution
Management

Coupling
w/ Grid Remapping

App A1

App A2

App A3h3o-U/MP

h3o-U/MP
h3OpenMP

h3o-U/MP

Ensemble Reduction/Broadcast

h3o-U/MP

h3OpenMP
h3o-U/MP

h3o-U/MP

h3o-U/MPApp B1

App B2

App B3

App B1

Application B (e.g. Ocean Model)

M x ( A + B ) execution( M x A ) + B execution(S+D+L) workshop, 2021.12.3

Challenges on Wisteria/BDEC-01(1)[Yashiro et al.]Multi Detailed-level＋Ensemble coupling
Low-resolution Ensemble

High-resolution

J-cup

Coupling

J-cup

Data assimilation
Good at detailed local weather

Nudging large-scale (lowwavenumber) states
Good at large-scale atmosphericstate and climatology

Faster than high-resolution ensemble data assimilation!

(S+D+L) workshop, 2021.12.3

Multi Detailed-level Coupling (high->low)
Low-resolution
Atmospheric model[Yashiro et al.]High-resolution
Atmospheric model

J-cup

Coupling

Light workload
Suitable to long-term simulation

J-cup

Good at detailed local weather

Can we use the results of high-resolution
simulations to further reduce uncertainty?
→Let's train parameterized component models!
(S+D+L) workshop, 2021.12.3

Multi Approach Coupling

J-cup[Yashiro et al.]Coupling

Physics-based model

J-cup

Data-driven model• Provide teaching data on-the-fly• Plug-in to target component of the application• To make the surrogate model in the component-level• Gradual transition from physics-based models/legacy
application(S+D+L) workshop, 2021.12.3

Multi Approach Coupling[Yashiro et al.]by Shuai Guo https://towardsdatascience.com/• Coupling with a legacy fortran application and a modern python ML library(S+D+L) workshop, 2021.12.3

Challenges on Wisteria/BDEC-01(2)Multi Detailed-level＋Multi Approach[Yashiro et al.]

App (Fortran)

ML App(Python)

Input
Component

Coupling
w/ Grid Remapping

OutputHigh Resolution
Atmospheric Model(Convection-Resolving Mode)

Low Resolution
Atmospheric Model(Convection-Parameterization Mode)• Extract input/output datasets of the cloud microphysics component from high-res simulation• Transfer datasets from high-res to low-res with spatial remapping• Train NN with the coarse-grained high-res input/output datasets• Then, trained NN is used as a cloud component (surrogate model) in low-res simulation(S+D+L) workshop, 2021.12.3

Temperature

Water vapor

StatesTendency(reference from highres)

Tendency(predicted by NN)[Yashiro et al.](S+D+L) workshop, 2021.12.3

h3-Open-UTIL/MP (h3o-U/MP) +h3-Open-SYS/WaitIO
ARM: A64FX

IceLake+A100[Arakawa et al.]

125

126

h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO連携• h3-Open-UTIL/MP– （現状）MPIによるコンポーネント間通信：1対1，集団通信– Odyssey-Aquarius間はMPIによる通信は不可⇒
h3-Open-SYS/WaitIO-SocketによりO-A間通信実現 Odyssey

Aquarius

IB-EDR

現状：MPI通信可能な環境を前提

整備・公開のスケジュール• h3-Open-SYS/WaitIO-Socket– 2021年冬（Odyssey+Aquarius，直接通信）• h3-Open-SYS/WaitIO-File– 2022年度（ファイルシステム経由）• h3-Open-UTIL/MP（HPC+Python）– 2021年10月（Oのみ）• h3-Open-UTIL/MP+h3-Open-SYS/WaitIOSocket– 2022年1月～4月（O+A，直接通信）• 協力者求む！
– 2022年度 AI for HPC応募

127

128

AI for HPC：Society 5.0実現へ向けた人工知能・
データ科学による計算科学の高度化（試行）（1/2）
https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/• （計算＋データ＋学習（S+D+L））融合実現，データ科学，機械学習，人工知
能による計算科学の高度化を目指す提案を募集• 原則として，計算科学シミュレーション（自作またはオープンソース）を，データ科学，人工知能，機械学習等によって高度化，効率化することを目的とする– 大規模データ同化と人工知能を融合するような研究も受け付ける。
– プログラム本体のチューニング，アルゴリズム高度化などは対象外ですが，自動チュー
ニングによって最適アルゴリズムを選択するような提案は歓迎いたします。

• 応募者グループ・センター教員の共同研究として実施– 代表者：居住者（大学・研究機関・企業），メンバー：非居住者参加も可能– 次年度JHPCN共同研究課題応募を目指す

129

AI for HPC：Society 5.0実現へ向けた人工知能・
データ科学による計算科学の高度化（試行）（2/2）
https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/• 原則年1回募集– 2022年2月28日締切，2022年4月開始• 計算機資源を無償で提供（負担金50万円相当）– OFP（2021年度），OBCX，Wisteria/BDEC-01– Wisteria/BDEC-01（Odyssey+Aquarius）利用推進• Wisteria/BDEC-01向けソフトウェア群の共同開発– h3-Open-BDEC• 成果公開– 報告書（ニューズレターへの寄稿），報告会

130

これまでの採択課題
地球科学，計算＋データ同化＋機械学習融合
年度

代表者

課題名

使用計算機

澤田洋平
2020 （東京大学工学系研究科・准教授）

地球科学シミュレーションの不確実性定量化の新展開

Oakforest-PACS

澤田洋平
2021 （東京大学工学系研究科・准教授）

超巨大アンサンブル
計算と機械学習の協調による地球科学シミュレーションの不確実性定量化

Wisteria/BDEC-01（Odyssey）
Wisteria/BDEC-01（Aquarius）

菊地淳（理化学研
数値シミュレーションと機械
究所環境資源科学
2021
学習 との融合 による東京研究センター・チー
湾の赤潮予測ムリーダー）

Wisteria/BDEC-01（Aquarius）
Oakbridge-CX

備考

h3-Open-BDECの提供する
Odyssey-Aquarius連携ライ
ブラリの開発にも貢献しても
らう予定

131

• 東大情報基盤センターのスパコン概要– Wisteria/BDEC-01– Oakbrige-CX（OBCX）– Ipomoea-01（大規模共通ストレージ）• h3-Open-BDEC• 観測データ同化による長周期地震動リアルタイム予測• 「計算・データ・学習」融合へ向けた試み• 将来構想等

2001-2005
Hitachi SR8000
1,024 GF

2006-20102011-20152016-2020

Hitachi SR11000
J1, J2

Hitachi SR16K/M1
Yayoi

5.35 TF, 18.8 TF

54.9 TF

Hitachi
SR2201

Hitachi
SR8000/MPP

307.2GF

2,073.6 GF

2026-2030

OBCX(Fujitsu)
6.61 PF

Hitachi HA8000
T2K Todai

OakforestPACS (Fujitsu)

140 TF25.0 PF

Fujitsu FX10
Oakleaf-FX

T
2
K
元
年

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外2021-2025

OFP-II
100+ PF

Fujitsu
33.1 PF

1.13 PFBDEC02250+ PF

ReedbushU/H/L (SGI-HPE)
3.36 PF

大規模共通
ストレージ
システム群

Ipomoea-01 25PB

Ipomoea03

Ipomoea-02

将来計画• OFP-II：2024年4月運用開始予定– Oakforest-PACS（OFP）の後継機– JCAHPCとして筑波大学と共同で導入，運用の予定– ピーク性能100＋PF（目標値），加速器付きノード群を含む– 「計算・データ・学習」融合路線を継承（予定）• Wisteria/BDEC-01（Mercury）：2023年4月運用開始予定– Wisteria-Mercury– 当初はAquariusを補助するCPUのみのノード群として計画されていたが，現状では次世代加速器を搭載したシステムとして検討中• 実は「Messenger」というIcelake 6ノードから構成される「Mercury」のプロトタイプは既にある• OFP-IIのプロトタイプとしての位置づけもある– ピーク性能6＋PF程度を想定（128+ GPU’s）– 2022年初頭に資料招請開始• BDEC-02：2028年4月運用開始予定

133

将来計画
• OFP-II：2024年4月運用開始予定– Oakforest-PACS（OFP）の後継機– JCAHPCとして筑波大学と共同で導入，運用の予定– ピーク性能100＋PF（目標値），加速器付きノード群を含む– 「計算・データ・学習」融合路線を継承（予定）• Wisteria/BDEC-01（Mercury）：2023年4月運用開始予定– Wisteria-Mercury– 当初はAquariusを補助するCPUのみのノード群として計画されていたが，現状では次世代加速器を搭載したシステムとして検討中• 実は「Messenger」というIcelake 6ノードから構成される「Mercury」のプロトタイプは既にある• OFP-IIのプロトタイプとしての位置づけもある– ピーク性能6＋PF程度を想定（128+ GPU’s）– 2022年初頭に資料招請開始：もうすぐ導入説明会やります• BDEC-02：2028年4月運用開始予定

134

135

Wisteria-Mercury
Winged Messenger• General Purpose CPU + Accelerators– Target Performance: 6+ PF, 128+GPU’s– Prototype of OFP-II• Supporting “Aquarius”– Also used for HPC Workload– Direct Link to External Network– Working with “Odyssey” directly• Some of infrastructures ofWisteria/BDEC-01 are shared– Login Nodes, HW for Management– SFS, FFS, Job Management System etc.

• Operation starts in April 2023
– Intel SPR, AMD, Arm, NVIDIA + IFB

136

Wisteria-Messenger
Prototype of “Mercury”
CPU Only• Intel Xeon Gold 6348 (IceLake)– 2.6 GHz, 28 cores/socket– 2 sockets × 6 nodes– IB-HDR• Directly working with “Odyssey” forsupporting “Aquarius”– e.g. “Filtering” in the Earthquake Simulation– h3-Open-SYS/WaitIO-Socket• Under Operation– Public use after January 2022
– Various types of investigation for “Mercury”

137

まとめ（1/2）• 「計算・データ・学習」融合を掲げて6年あまり，2021年度は特筆すべき年– 「計算・データ・学習」融合スーパーコンピュータシステム「Wisteria/BDEC-01」の導入，運用開始– 革新的基盤ソフトウェア「h3-Open-BDEC」開発の進展– 地球科学を中心とした様々な分野への応用⇒Society 5.0への貢献– 萌芽型研究「AI for HPC：Society 5.0実現へ向けた人工知能・データ科学による計算科学の高度化」• Wisteria/BDEC-01は「計算・データ・学習」融合を実現する，ヘテロジニア
スなシステムとしては世界でも初めてのもの– HPCI，JHPCN構成機関とも協力して「計算・データ・学習」融合推進を継続する• 増大するデータ⇒Ipomoeaシリーズの導入– 東大センターとしては初の「共通ストレージ」システム

138

まとめ（続き）• スパコンへの性能要求，省電力，脱炭素化⇒演算加速器搭載は不可避– 最近急速に多様化が進んでいる– 東大センター：約3,000人のユーザー– プログラミング環境，コード移植が大きな問題• 「OpenMP＋MPI」をそのまま使えるというのが理想・・・と言っていたが，これはアプリ側から見れば切実な問題– 移植に当てる時間も人員もいない，「理想」ではなく「必須」と言ってもよい– というようなことを，産学官，ユーザー，ベンダー間で議論することが必要– スパコン調達・運用：研究開発要素が増大• 量子コンピュータ等（広義のDPU，IPU等も含む）– 2019年頃から「Fujitsu Digital Annealer」を利用• 組み合わせ最適化：Reordering⇒Intel PIUMA他– BDEC-02（2028年4月運用開始）：プログラミング・アプリ開発環境

139

140

141

2022年度向け利用説明会（オンライン）• 2021年10月8日（金）1300-1500（全般，HPCI中心）– https://www.cc.u-tokyo.ac.jp/events/seminar/20211008.php• 2021年11月25日（木）1300-1500（JHPCN）– https://www.cc.u-tokyo.ac.jp/events/seminar/20211125.php• 2022年1月21日（金）1300-1600（企業，若手・女性，AI-for-HPC）– https://www.cc.u-tokyo.ac.jp/events/seminar/20220121.php• 2022年7月（予定）（企業，若手・女性）• 諸制度– 若手・女性– 企業利用– AI-for-HPC

https://www.cc.u-tokyo.ac.jp/guide/young/
https://www.cc.u-tokyo.ac.jp/guide/company/
https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/

142

YouTubeチャンネルのご紹介
研究事例紹介や、セミナー・講習会の録画などをご覧になれます。
• 「東京大学情報基盤センター」チャンネル
https://www.youtube.com/channel/UC2CHaGp1AO-vqRlV7wmU0-w– Wisteria/BDEC-01システム紹介
https://www.youtube.com/watch?v=SXjYtatzo4&list=PLobjSv_ny85lW03OAPUJ9DWJoHhNiQgvY&index=3&t=104s– 第10回JCAHPCセミナー
https://www.youtube.com/playlist?list=PLobjSv_ny85mfPTuCC2i7r_sPQYKZvy2e– 柏キャンパス一般公開
https://www.youtube.com/playlist?list=PLobjSv_ny85kr1Ig2m-bUiMC2a9W6k53u
https://www.youtube.com/watch?v=q-0QtU7Ops4&t=116s– JCAHPCセミナー：「人類と地球を護るスーパーコンピューティング」
https://www.youtube.com/playlist?list=PLobjSv_ny85l-z-VJCy690ZjlAA04xCRA– お試しアカウントつき講習会
https://www.youtube.com/playlist?list=PLobjSv_ny85kXY2Mtnhn1k7pM-epQaD2y