Wisteria/BDEC-01：『計算・データ・学習』融合によるSociety 5.0実現へ向けて中島 研吾（東京大学情報基盤センター）
PCクラスタワークショップ in 柏 2021
2021年6月18日（オンライン）• a. 東京大学情報基盤センター– 中島研吾a,b,c– 塙 敏博a,b,c– 下川辺隆史a,b– 伊田明弘（JAMSTEC） a,b– 芝 隼人a,b– 三木洋平a– 星野哲也a,b– 有間英志（TUM） a,b– 河合直聡a,b,c– 坂本龍一a,b– 近藤正章（慶應大） a,b• b. 科研費基盤研究S「(計算+データ+学習)融合によるエクサスケール時代の革新的シミュレーショ
ン手法 （19H05662）」（代表：中島研吾）– 岩下武史（北海道大） b– 八代 尚（国立環境研） b,c– 長尾大道（東大地震研） b,c– 下川辺隆史（東大情基セ） a,b– 松葉浩也（東大情基セ・日立） a,b,c– 荻田武史（東京女子大） b– 片桐孝洋（名古屋大） b• c. JHPCN共同研究課題（2021年度）「三次元強震
動シミュレーションとリアルタイムデータ同化の融合（jh210022-MDH）」（代表：中島研吾)– 古村孝志（東大地震研） b,c– 鶴岡 弘（東大地震研） c– 市村 強（東大地震研） b,c– 藤田航平（東大地震研） b,c– 大島聡史（名古屋大） b,c– 荒川 隆（RIST） b,c– 住元真司（富士通）c– 坂口吉生（富士通）c

2

3

謝辞
• 科研費基盤研究（S）（19H05662）• 新エネルギー・産業技術開発機構（NEDO）：
戦略的イノベーション創造プログラム（SIP）
第2期／ビッグデータ・AIを活用したサイバー
空間基盤技術• 学際大規模情報基盤共同利用共同研究拠点（JHPCN）– jh21015, jh210022, jh210026, jh210051

• Location: Tokyo & Kashiwa/Chiba, Japan• https://www.cc.u-tokyo.ac.jp/• Faculty & Staff: 20• System Software, Parallel Algorithms, Applications, Machine Learning• HPC Environment• Reedbush (HPE, Intel BDW + NVIDIA P100 (Pascal))• Integrated Supercomputer Sys. for Data Analyses & Scientific
Simulations, July 2016-November 2021 (Plan)• Our first GPU System• Oakforest-PACS (OFP) (Fujitsu, Intel Xeon Phi (KNL))• JCAHPC (U.Tsukuba & U.Tokyo), September 2016-March 2022
• 25 PF, #22 in 56th TOP 500 (November 2020) (#4 in Japan)• Oakbridge-CX (OBCX) (Fujitsu, Intel Xeon Cascade Lake)• 6.61 PF, #69 in 56th TOP500, July 2019-June 2023 (Plan)• Wisteria/BDEC-01 (Fujitsu, A64FX + Intel Xeon Icelake + NVIDIA A100)• 33.1 PF, Operation starts on May 14, 2021
• Platform for Integration of (Simulation + Data + Learning) (S+D+L)• h3-Open-BDEC: Innovative Software Platform for Integration of(S+D+L) funded by Japanese Government

Reedbush

Oakforest-PACS

Oakbridge-CX

FY11

12

13

14

15

16

17

18

19

20

21

22

Yayoi, Hitachi SR16000/M1

Oakbridge-CX, Fujitsu

IBM Power-7
54.9 TFLOPS, 28.7 TB/sec.

Intel Xeon Cascade Lake
6.61 PFLOPS, 385.2 TB/sec.

T2K Tokyo, Hitachi

Oakforest-PACS (OFP) (JCAHC)AMD Opteron140.0 TF, 38.1 TB/sec.

Fujitsu, Intel Xeon Phi
25.0 PFLOPS, 8.51 PB/sec.

23

24

25

OFP-II(JCAHPC)
100+ PF ?

Oakleaf-FX, Fujitsu PRIMEHPC FX10

BDEC: Wisteria/BDEC-01, Fujitsu

SPARC64 IXfx
1.13 PFLOPS, 408.0 TB/sec.

Fujitsu A64FX (Odyssey) +Intel Xeon Ice Lake/NVIDIA A100
(Aquarius)
33.1 PFLOPS, 8.38 PB/sec.

Oakbridge-FX, Fujitsu
SPARC64 IXfx
136.2 TFLOPS, 49.0 TB/sec.

東京大学情報基盤センターのスパコン
利用者2,600+名
55％は学外Integrated Supercomputer System for
Simulation, Data & Learning

Data Platform (mdx), FujitsuIntel Ice Lake/NVIDIA A100 etc.
8.50 PFLOPS, 0.665 PB/sec.

Reedbush-U/H, HPEIntel BDW + NVIDIA P100
1.93 PFLOPS, 258.6 TB/sec.

Reedbush-L, HPEIntel BDW + NVIDIA P100
1.43 PFLOPS, 197.2 TB/sec.

56Society 5.0：日本が提唱する未来社会のコンセプト
デジタル革新・イノベーション（IoT，AI，ビッグデータ等）により，サイバー空間（仮想）とフィジカル空間（現実）を高度に融合させたシステムを構築し，経済発展と社会的課題の解決を両立する，超スマートな人間中心の社会7

今後のスーパーコンピューティング• ワークロードの多様化– 計算科学，計算工学：Simulations– 大規模データ解析– AI，機械学習

Info. Sci.
Alg.
Engineering
Material
ScienceEngineering
Material
Science
Energy/Physics

Bio Simulations
Molecular Sim.
Biomechanics
生体力学
Info. Sci:

Earth/Space

Multicore Cluster
Intel BDW Only
(Reedbush-U)

Bio Informatics
Medical Image
Recognition
医療画像処理AICPU Cluster

GPU Cluster
Intel BDW + NVIDIA P100
(Reedbush-H)

GPU Cluster

Engineering
Earth/Space
Material
Energy/Physics
Info. Sci. : System
Info. Sci. : Algrorithms
Info. Sci. : AI
Education
Industry
Bio
Bioinformatics
Social Sci. & Economics
Data• （シミュレーション（計算）＋データ＋学習）融合⇒Society 5.0実現に有効– フィジカル空間とサイバー空間の融合• S:シミュレーション（計算）（Simulation）• D:データ（Data）• L：学習（Learning）

BDEC:

SDL
+

+

– Simulation + Data + Learning = S+D+L• 2021年春に柏IIキャンパスで始動– BDEC（Wisteria/BDEC-01）：賢いスパコン– Data Platform（mdx）：Cloud的，よりフレキシブル

mdx: S +DL+

8Wisteria/BDEC-01• 2021年5月14日運用開始– 東京大学柏Ⅱキャンパス

BDEC:「計算・データ・学習（S+D+L）」
融合のためのプラットフォーム（Big Data & Extreme Computing）• 33.1 PF, 8.38 PB/sec. ，富士通製– ~4.5 MVA（空調込み）, ~360m2• Hierarchical, Hybrid, Heterogeneous (h3)• 2種類のノード群– シミュレーションノード群（S, SIM）：Odyssey• 従来のスパコン• Fujitsu PRIMEHPC FX1000 (A64FX), 25.9 PF– 7,680ノード（368,640 コア），20ラック，Tofu-D– データ・学習ノード群（D/L, DL）：Aquarius• データ解析，機械学習• Intel Xeon Ice Lake + NVIDIA A100, 7.2 PF– 45ノード（Ice Lake：90基，A100：360基）, IB-HDR• 一部は外部リソース（ストレージ，サーバー，センサー
ネットワーク他）に直接接続– ファイルシステム：共有（大容量）＋高速

9

柏キャンパス
OFP，OBCX

柏IIキャンパス
Wisteria/BDEC-01，mdx
ABCI/ABCI-II

TX「柏の葉キャンパス」駅

10

Wisteria/BDEC-01ノード群構成• シミュレーションノード群：Odyssey– GPUクラスタ，という選択肢もあったが，短期間に利用者の移行は困難と判断– 利用者プログラムの移植性重視– 高いメモリバンド幅：計算力学系アプリケーション• データ学習ノード群：Aquarius– 当初からGPUクラスタ採用を念頭に• 結果的にヘテロジニアスな構成に・・・– 2019年秋頃までは，シミュレーションノード群をGPUクラスタにすることも視野に– Perlmutterの話を2019年9月に聞き気持ち萎える• Hierarchical, Hybrid, Heterogeneous ⇒ h3

Wisteria/BDEC-01（S+D+L）融合プラットフォーム• Wisteria （紫藤）– 手賀沼（柏市）に伝わる「藤姫伝説」• Odyssey– アポロ13号・司令船（Command
Module, CM）のコールサイン• Aquarius– アポロ13号・月着陸船（Lunar
Module，LM）のコールサイン• 人類と地球を護る

https://www.cc.u-tokyo.ac.jp/public/pr/pr-wisteria.php

11システム構成図
シミュレーションノード︓7,680ノード (総理論演算性能 25.9 PFLOPS、総メモリバンド幅 7.8 PB/s)
データ・学習ノード︓45ノード (総理論演算性能 7.2 PFLOPS、総メモリバンド幅 578.2 TB/s)
外部接続ルータ (Ethernet)

シミュレーションノード群

ログインノード

データ・学習ノード群

7,680ノード

ログインノード共有ファイルシステム

20ノード

45ノード

FUJITSU Server
PRIMERGY RX2530 M5 x 20ノード
総理論演算性能(倍精度)︓96TFLOPS
総メモリ容量︓7.5TiB
FUJITSU Supercomputer
シミュレーションノード間
PRIMEHPC FX1000 x 7,680ノード (20ラック) ネットワーク
総理論演算性能(倍精度) : 25.9PFLOPS(TofuインターコネクトD)
バイセクションバンド幅︓13TB/s
総メモリ容量︓240TiB
総メモリバンド幅 : 7.8PB/s

・外部ネットワーク
・柏キャンパス・mdxシステム

FUJITSU Server
PRIMERGY GX2570 M6 x 45ノード(ノードあたり Intel Xeon Platinum 8360Y
Processor (2.40GHz, 36コア) x2)(ノードあたり NVIDIA A100 x 8基)
総理論演算性能(倍精度)︓7.2PFLOPS
総メモリ容量︓36.5TiB,総メモリバンド幅︓578.2TB/s

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX60 S5 x 1
有効利⽤容量︓14.4TB

データ・学習ノード間ネットワーク 兼 ノード群結合ネットワーク (InfiniBand EDR/HDR)
ライフネットワーク/管理ネットワーク (Ethernet)
高速ファイルシステム
MDS,MDT x1セット

OSS,OST x16セット

ファイルシステム︓FEFS
1PB
ストレージデータ転送速度︓1.0TB/s
MDS︓PRIMERGY RX2530 M5 x 2
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 2VM/CM, DDN SFA400NVXE x 16

FUJITSU CONFIDENTIAL

管理サーバ群

共有ファイルシステム
MDS,MDT x1セット

管理サーバ群ネットワークストレージ

OSS,OST x16セット
FUJITSU Server
PRIMERGY RX2530 M5
x 13(ジョブ管理x5、運⽤管理x2、
認証x2、Webポータルx2、セキュリティログx2)

ファイルシステム︓FEFS
25PB
ストレージデータ転送速度︓0.5TB/s
MDS︓PRIMERGY RX2530 M5 x 4
MDT︓ETERNUS AF250 S3 x 1
OSS, OST : 1VM/CM, DDN SFA7990XE x 16

12

FUJITSU Server
PRIMERGY RX2530 M5 x 2
ETERNUS DX100 S5 x 1
有効利⽤容量︓420TB

Copyright 2020 FUJITSU LIMITED

13

14

GFLOPS（ピーク性能）当たり利用負担（円）：電気代
GFLOPS/W（Green 500）
*1: Fugaku, *2 NVIDIA DGX SuperPOD, TOP/Green 500@Nov. 2020
JPY/GFLOPS
Small is GoodGFLOPS/W
Large is Good

Oakleaf-FX/Oakbridge-FX (Fujitsu)(Fujitsu SPARC64 IXfx)

125

0.866

Reedbush-U (HPE) (Intel Xeon Broadwell (BDW))

61.9

2.310

Reedbush-H (HPE) (Intel BDW+NVIDIA P100x2/node)

15.9

8.575

Reedbush-L (HPE) (Intel BDW+NVIDIA P100x4/node)

13.4

10.167

Oakforest-PACS (Fujitsu) (Intel Xeon Phi/KNL)

16.5

4.986

Oakbridge-CX (Fujitsu) (Intel Xeon Cascade Lake)

20.7

5.076

Wisteria-Odyssey （Fujitsu/Arm A64FX）

17.8

14.66*1

Wisteria-Aquarius （Intel Xeon Ice Lake + NVIDIA A100x8）

9.00

26.20*2

System15

ソフトウェア群
項目

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

OS

Red Hat Enterprise Linux 8 (aarch64)

Red Hat Enterprise Linux 8 (x86_64)

コンパイラ

GNU コンパイラ

GNU コンパイラ

メッセージ通信ライブラリ

富士通社製 コンパイラ(Fortran77/90/95/2003/2008、C、
C++)

Intel コンパイラ(Fortran77/90/95/2003/2008、
C、C++)NVIDIA HPC SDK(Fortran77/90/95/2003/2008、C、C++、
OpenACC 2.7)
NVIDIA CUDA SDK(CUDA C、CUDA C++)

富士通社製MPIIntel MPI、Open MPI

16

項目

ライブラリ

Wisteria-O（Odyssey）

Wisteria-A（Aquarius）

SuperLU、 SuperLU MT、 SuperLU DIST、METIS、MT-METIS、ParMETIS、Scotch、PTScotch、PETSc、Trillinos、FFTW、GNU Scientific Library、NetCDF、Parallel netCDF、HDF5、Parallel HDF5、CMake、Miniconda、Xabclib、ppOpen-HPC、MassiveThreads、Boost C++、
mpiJava
富士通社製ライブラリ(BLAS、CBLAS、
LAPACK、 ScaLAPACK)

アプリケーション

Intel社製ライブラリ(MKL)(BLAS、CBLAS、LAPACK、ScaLAPACK）、cuBLAS、cuSPARSE、cuFFT、MAGMA、cuDNN、NCCL

OpenFOAM、ABINIT-MP、PHASE、FrontFlow/blue、FrontISTR、REVOCAP-Coupler、
REVOCAP-Refiner、OpenMX、MODYLAS、GROMACS、BLAST、R packages、bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、ROOT、Geant4、
LAMMPS、CP2K、NWChem、DeepVariant、Paraview、Vislt、POV-Ray、TensorFlow、Chainer、
PyTorch、Keras、Horovod、MXNet
Theanoフリーソフトウェア

autoconf、automake、bash、bzip2、cvs、emacs、findutils、gawk、gdb、make、grep、gnuplot、
gzip、less、m4、python、perl、ruby、screen、sed、subversion、tar、tcsh、tcl、vim、zsh、git など
Globus Toolkit、Gfarm、FUSE

コンテナ仮想化

Singularity Community Edition

Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

17

Simulation Nodes

Odyssey
25.9 PF, 7.8 PB/s

Fast File
System（FFS）
1.0 PB,
1.0 TB/s

Shared File
System
（SFS）
25.8 PB,
0.50 TB/s

Data/Learning Nodes

Aquarius
7.20 PF, 578.2 TB/s

18

シミュレーションのためのモデル・パラ
メータのデータ解析，AI/機械学習による最適化（S+D+L）

19• 5月14日（金）10:00 試験運用開始– https://www.cc.u-tokyo.ac.jp/supercomputer/wisteria/service/wisteria_test.php– 利用申込は引き続き受付中– 7月29日（木）09:00終了– 無料，ジョブ実行時間は正式運用時の半分程度• 正式運用に継続されない場合はファイルは消去します– 8月2日（月）09:00 正式運用開始• 利用形態– トークン（ノード時間）を購入：Odyssey，Aquariusを利用可能（消費係数異なる）– Aquarius：ノード固定（8GPU占有），GPU占有（1/2/4 GPU占有）のオプション• MIG（Multi-Instance GPU）によるGPU内分割は適用しない– Odyssey：消費係数1.5倍の優先キューあり（ノード固定無し）• 企業利用も募集中（10月から利用，8月中旬締切）– https://www.cc.u-tokyo.ac.jp/guide/company/• 現状ではOdyssey，Aquariusは同時利用はできない20

AI for HPC：Society 5.0実現へ向けた人工知能・
データ科学による計算科学の高度化（試行）https://www.cc.u-tokyo.ac.jp/guide/exploratory/AIforHPC/• （計算＋データ＋学習（S+D+L））融合実現，データ科学，機械学習，人工知
能による計算科学の高度化を目指す提案を募集（提案締切：6月30日1700）• 原則として，計算科学シミュレーション（自作またはオープンソース）を，データ科学，人工知能，機械学習等によって高度化，効率化することを目的とする– 大規模データ同化と人工知能を融合するような研究も受け付ける。
– プログラム本体のチューニング，アルゴリズム高度化などは対象外ですが，自動チュー
ニングによって最適アルゴリズムを選択するような提案は歓迎いたします。

• 応募者グループ・センター教員の共同研究として実施– 代表者：居住者（大学・研究機関・企業），メンバー：非居住者参加も可能– 2022年度JHPCN共同研究課題応募を目指す• OFP，OBCX，Wisteria/BDEC-01

21

講習会（申込締切）（O:Odyssey，A:Aquarius）
https://www.cc.u-tokyo.ac.jp/events/lectures/
実施予定日

名称

O

第154回 5月31日（月）OpenMPマルチコアプログラ
ミング○

https://www.cc.utokyo.ac.jp/events/lectures/154/

第155回 6月01日（火）OpenFOAM初級○

https://www.cc.utokyo.ac.jp/events/lectures/155/

第156回 6月04日（金）Wisteria実践○ ○https://www.cc.utokyo.ac.jp/events/lectures/156/

第157回 6月09日（水）GPUプログラミング入門○

https://www.cc.utokyo.ac.jp/events/lectures/157/

第158回 6月22・29日（火）GPUミニキャンプ（HPC編）○

https://www.cc.utokyo.ac.jp/events/lectures/158/

第159回 6月23・30日（水）GPUミニキャンプ（AI編）○

https://www.cc.utokyo.ac.jp/events/lectures/159/

A

URL

22

技術的な特徴など• Odyssey– SVE (Scalable Vector Extension)• Armv8-A命令セットアーキテクチャをスーパーコンピュータ向けに拡張– FP16– 機械学習・AIワークロードへの適用• Aquarius– HPC・計算科学への適用– CPU：Intel Xeon Ice Lake
• 3rd Generation Intel Xeon Scalable Processors• グラフ処理，推論等：単独での利用は難しいが– GPU：NVIDIA A100 Tensor Core
• Tensor Core + Tensor Float [TF32]• Odyssey-Aquarius– InfiniBand-EDR23（計算＋データ＋学習）融合によるエクサスケール
時代の革新的シミュレーション手法（1/2）
http://nkl.cc.u-tokyo.ac.jp/h3-Open-BDEC/• エクサスケール（富岳＋クラス）のスパコンによる科学的発見の持続的促進のため，計算科学にデータ科学，機械学習のアイディアを導入した（計算＋デー
タ＋学習（S+D+L））融合による革新的シミュレーション手法を提案– (計算+データ+学習)融合によるエクサスケール時代の革新的シミュレーション手法 （科研費基盤S，代表：中島研吾（東大情基セ），2019年度～2023年度）

24（計算＋データ＋学習）融合によるエクサスケール
時代の革新的シミュレーション手法（2/2）
http://nkl.cc.u-tokyo.ac.jp/h3-Open-BDEC/• 革新的ソフトウェア基盤「h3-Open-BDEC」の開発：東大BDECシステム（
Wisteria/BDEC-01），「富岳」等を「S+D+L」融合プラットフォームと位置づけ，
スパコンの能力を最大限引き出し，最小の計算量・消費電力での計算実行を実現するために，下記2項目を中心に研究– 変動精度演算・精度保証・自動チューニングによる新計算原理に基づく革新的数値解法– 階層型データ駆動アプローチ（hDDA：Hierarchical Data Driven Approach）等に基づく革新的機械学習手法– Hierarchical, Hybrid, Heterogeneous ⇒ h3

h3-Open-BDEC「計算＋データ＋学習」融合を実現する
革新的ソフトウェア基盤

Hierarchical,
Hybrid,Heterogeneous
Big Data &ExtremeComputing25

Wisteria/BDEC-01上における
h3-Open-BDECを使用した（S+D+L）融合• シミュレーションとデータ同化の融合– 典型的・伝統的な（S+D+L）融合• 気候・気象のための大気海洋連成シミュ
レーション– 東大大気海洋研，理研，国立環境研他• リアルタイム同化＋三次元強震動シミュレーション– 東大地震研• リアルタイム災害シミュレーション– 洪水，津波• 既存シミュレーションコードの（S+D+L）融合による高度化– OpenFOAM

26

27

全国地震観測データ流通ネットワーク「JDXnet」• 国内地震観測点の観測データ（約2,000点，100Hz，3方向) をSINET経由でリアルタイムに取得可能– 気象庁，東大地震研，防災科技研，各大学– 1日のデータ量：100GB級〔資料提供：鶴岡弘准教授（東大・地震研）〕

Example of Real-Time Assimilation of (Obs.+Comp.):2004 Kii Peninsula Earthquake (Mw 7.4) [c/o Oba & Furumura]○ Observation (K-NET, KiK-net 446 pts)(a) Sim. + Assim.

(b) Pure Simulation

Long Wave Propagation in Tokyo

Response Spectrum

28

29

三次元地震シミュレーション＋
リアルタイムデータ同化/観測
JDXnetの観測データを利用したリアルタイ
ムデータ同化/観測2019・2020年度はOBCXの外部接続ノードを使って，JDXnetの観測データ取得

リアルタイムデータ同化＋
3D強震動Sim. 融合（1/2）• 大地震時：正確な地震波動伝播予測– 地震波観測データを同化して得られる変位分布を初期条件として入力– 60秒先の予測を10秒以内に計算– 的確な避難計画の策定• 通常時：地下構造モデル改良– 地下構造は複雑，不均質，実はよくわかっておらず，大小の地震時の逆解析等によりモデルを少しずつ改良する，のが現状– 観測データ・三次元シミュレーション・データ
解析を元に地下構造モデルの改良に使う
 例えばMw=3.0+の地震が起きた場合
 機械学習により精度高いモデル生成– ⇒（S+D+L）融合へ

30

31

リアルタイムデータ同化＋
3D強震動Sim 融合（2/2）• Wisteria/BDEC-01の利用• データ同化＋シミュレーション– Optimal Interpolation Technique：高速• 三次元地下構造モデル高度化– リアルタイム性はそれほど重要ではない– より高度なデータ同化手法（e.g.四次元変分法）を適用• Odyssey– データ同化，シミュレーション• Aquarius– フィルタリング，機械学習，可視化

AI for HPCの実現• Odyssey-Aquarius連携– MPIによる通信は不可• O-Aを跨いでMPIプログラムは動かない– Odyssey-Aquarius間はInfiniband-EDR（2TB/sec）で結合されている• ソフトウェア開発– O-A間通信：h3-Open-SYS/WaitIO• IB-EDR経由• 高速ファイルシステム（FFS）経由連携– 高機能カプラー：h3-Open-UTIL/MP
32

33

h3-Open-SYS/WaitIO
データ受け渡しライブラリ〔松葉，2020〕• ヘテロジニアス環境下での異なるコンポーネン
ト間ファイル経由連携ライブラリとして考案• 機能 Odyssey～Aquarius間連携
 IB-EDR経由通信
 ファイル経由

 外部からのデータ取得（観測データ等）
 読み込み・書き出しの同期• API：C/C++，Fortranから呼び出し可能
 MPIライクなインタフェースを提供• 多機能カプラー（h3-Open-UTIL/MP）との連携

連成シミュレーションのためのカプラー〔荒川，八代〕• 従来のカプラー（Coupler）：ppOpen-MATH/MP– 複数（通常2つ：大気（NICAM）＋海洋（COCO））のアプリケーションの弱連成（Weak Coupling）をサポート– 各アプリケーションは1種類の計算をやる34

「計算＋データ＋学習」融合を支援する
多機能カプラーh3-Open-UTIL/MP• 異なる物理モデル連成のアンサンブル実行を支援・統合するための機能– MPI通信、時刻同期、格子系間マッピング等の管理機能の他、従来のカプラーには無い、複数の弱連成結合シミュレーションのアンサンブル実行、片側のモデルのみをアンサン
ブル実行する多対１の弱連成結合が可能– スパコン上で、全地球大気海洋連成シミュレーションによって動作検証済み• Fortran/Cコード（物理モデル）とPythonコードの弱連成を実現する機能– FortranやCで記述されたプログラ
ム同士の連成計算に限って開発を行ってきたカプラーを、Pythonによって記述されたAI・機械学習、可視化処理系のワークロードからも活用できるよう機能拡充。

• O-A利用：WaitIOとの連携

Fortran/CアプリとPythonアプリの連成計算の模式図〔八代・荒川 2020〕

35

36

h3-Open-UTIL/MP・
h3-Open-SYS/WaitIO連携• h3-Open-UTIL/MP– （現状）MPIによるコンポーネント間通信：1対1，集団通信– Odyssey-Aquarius間はMPIによる通信は不可⇒
h3-Open-SYS/WaitIOによりO-A間通信実現
Odyssey

Aquarius

IB-EDR

現状：MPI通信可能な環境を前提

整備・公開のスケジュール• h3-Open-SYS/WaitIO– 2021年10月（Odyssey+Aquarius，直接通信）– 2022年度（O+A，FFS経由）• h3-Open-UTIL/MP（HPC+Python）– 2021年10月（Oのみ）• h3-Open-UTIL/MP+h3-Open-SYS/WaitIO– 2022年1月～4月（O+A，直接通信）– 2022年度（O+A，FFS経由）• 協力者求む！
– ユーザーアカウント＋トークン付与– AI for HPCへの応募も可

37

38

まとめ
• 「計算・データ・学習」融合– スーパーコンピュータシステム「Wisteria/BDEC-01」– 革新的ソフトウェア基盤「h3-Open-BDEC」• 当面はAquarius-Odysseyは別運用– 2021年10月にはAquarius-Odyssey間通信ライブラリ（h3-Open-SYS/WaitIO）を公開– 協力していただける方募集中• やや後悔している点– データ・学習ノードにCPU-Onlyのノード群を設けるべきであった– 小規模ノードを増設予定（年内）– Wisteria-Mercury（次ページ）• TOP500，HPCG，Graph500，HPL-AI等についてはSWoPPで！

39

Wisteria-Mercury
翼の生えた使い（Winged Messenger）• Wisteria/BDEC-01（Aquarius）– CPUのみ使用⇒GPU8枚分負担金：割高– グラフ演算，整数演算，推論等Odysseyを使うよりも高速な場合ある• Mercury：汎用CPU，100＋ノード– Aquariusのサポート，連携• Aquarius～Mercuryの単独MPIジョブが走ると猶良い– HPC向けにも使用– SFS, FFSへのアクセス• 2023年4月運用開始に向けて導入– 様々なアーキテクチャ：Intel，AMD，Arm– 部分的にDPU，特殊用途加速装置等導入も検討

40

今後へ向けた課題（1/2）• アプリケーションの多様化（計算・データ・学習）– 利用方法の多様化– それに対応した環境整備（ハードウェア，ソフトウェア（オープンソース含む））• アーキテクチャ多様化– 演算加速装置不可避– プログラミング環境多様化– それなりの準備期間・体制が必要（2,600人以上のユーザー）– 一方で汎用CPUのみのシステムは必要• センターとしての継続的な研究開発が必要：特にJHPCNセンター群– 利用者サポートの重要性は更に増加– センター間協力の重要性：ppOpen-HPC⇒h3-Open-BDEC• 様々なツール，教育体制等の共有，研究開発連携（T2K⇒裏T2K⇒北大・東大・名古屋大＋筑波大）• T2K e-Scienceみたいなプロジェクトが必要– PCCC-OSS部会の活動

今後へ向けた課題（2/2）• 増大するデータ量– 共通データストレージシステム（次講演）• Urgent Computing 〔2021 HPC178〕• Witeria/BDEC-01のようなMH（マジでヘテロジニアスな）システムは今後も続く？
– 連携のためのソフトウェア（今回で言えばh3Open-BDEC）にかかっている– 他システムでもある程度使えるハズ• ただ，MHなシステムは「計算（S）・データ（D）・学習（L）」どこに力点を置くかが難しく，やりようによってはひどく中途半端になる可能性あり– Wisteria/BDEC-01は圧倒的に「計算（S）」重視– 複数の特徴あるシステムを，ゆるくかつ効率的に，Cloud的に（またはGrid的に）つな
ぐのが効果的かも知れない• システム調達⇒共同研究開発的フェーズがないと段々難しくなる

41

The article on the Wisteria/BDEC-01
appears in HPCwire
https://www.hpcwire.com/2021/02/25/japan-to-debut-integrated-fujitsu-hpc-ai-supercomputer-this-spring/42

The article on my presentation@CSE21
appears in SIAM Newshttps://sinews.siam.org/Details-Page/supercomputer-simulations-of-earthquakes-in-real-time

43

44

45

更に詳細な情報• A64FX（富士通）– https://www.fujitsu.com/jp/products/computing/servers/supercomputer/a64fx/– https://old.hotchips.org/hc30/2conf/2.13_Fujitsu_HC30.Fujitsu.Yoshida.rev1.2.pdf• FUJITSU PRIMEHPC FX1000– https://www.fujitsu.com/jp/products/computing/servers/supercomputer/• 3rd Gen Intel Xeon Scalable– https://www.intel.com/content/www/us/en/newsroom/news/3rd-gen-intel-xeon-scalablevideo.html#gs.zb3u0m– https://www.intel.com/content/www/us/en/newsroom/news/3rd-gen-xeon-scalableprocessors.html#gs.zb4d00– https://www.hotchips.org/assets/program/conference/day1/HotChips2020_Server_Processors_Intel_Irm
a_ICX-CPU-final3.pdf• NVIDIA A100 TENSORコア GPU– https://www.nvidia.com/ja-jp/data-center/a100/– https://www.hotchips.org/assets/program/conference/day1/HotChips2020_GPU_NVIDIA_Choquette_v01.pdf

46

参考リンク（ビデオ）• Wisteria/BDEC-01利用説明会– https://www.youtube.com/watch?v=1bbZVO6-UQg• h3-Open-BDEC：プロジェクトHP（工事中）– http://nkl.cc.u-tokyo.ac.jp/h3-Open-BDEC/• Wisteria/BDEC-01 & h3-Open-BDEC紹介講演（日本語）– https://www.youtube.com/watch?v=CsJ_9aGNXCg– https://www.pccluster.org/ja/event/pccc20/exhibition/itc-u-tokyo.html• Wisteria/BDEC-01 & h3-Open-BDEC紹介講演（英語）– https://www.youtube.com/watch?v=jX51NF2LniE