米国・欧州
各国のトップエンドHPC開発計画と気象気候研究との関わり

井上孝洋＠JAMSTEC
2022/05/16
第1回計算科学研究連絡会（気象・気候分野）

自己紹介・Disclaimer• 経歴• 1998年頃からなんらかの形でHPCに関わってる（が、研究者ではない）• 東大CCSR→（民間シンクタンク）→ RIST・理研（出向）・JAMSTEC（招聘）• 現職はRESTEC／JAMSTEC招聘• 共生・革新・創生・統合・先端（予定）各プログラムになんらかの形で参加• HPCI戦略プログラムでは取りまとめる側（MEXT委託業務）• 若かりし頃はHPC向けチューニングもやっていたが、近年は動向調査が主。

• 今日のお話• 概要をざっと。詳細は端折り気味で。
• オープンになっている情報ベース。裏情報や特ダネがあるわけでは無い。
• 計算能力の話だけ。
• ストレージの話も大事ですが、今日はしません。
• ソフトウエアの話はこの後の講演に任せます。
• 主な情報源• 19th Workshop on high performance computing in meteorology (HPCWS2021)• HPC USER Forum September 2021, March 2022
• HPCWire（英語、日本語）• 各機関のWebサイト• 一部の図・写真・内容の引用元はリンクとして入れてあります。

2022/05/16

第1回 気象・気候 計算科学研究連絡会

2アジェンダ2022/05/16

第1回 気象・気候 計算科学研究連絡会

3

歴史とトレンド

2022/05/16

第1回 気象・気候 計算科学研究連絡会

4HPCと気象気候••••

リチャードソンの夢（1922）
Charneyの数値予報 (1950)JNWPU, IBM701（1955）
気象庁, IBM704(1959)• 「気象庁は、予報に使える大型コンピュータを前から要求していたが、1957年に認められ（おそらく1958年度予算として）、1959年初め、IBM 704を設置した。3月12日、数値予報業務を開始。7月、台風5号の進路予想に活躍した。」(「新HPCの歩み －1959年(a)－」小柳義男)• 「IBM704は日本政府が行政用に導入した初めてのコンピュータで、導入当時は大きな話題となりました。ただし、その性能は今日のパーソナルコンピュータにも遠く及ばないため、当初の数値予報結果は現場の予報官の使用には耐えず、予報官の信頼を得るまでにはかなりの年月を必要としました。」

https://www.jma.go.jp/jma/kishou/know/whitep/1-3-2.html(「数値予報の歴史」気象庁）

https://celebrating200years.noaa.gov/foundations/nume
rical_wx_pred/701computer.html

https://www.jma.go.jp/jma/kishou/know/whitep/1-3-2.html

HPCなかりせば、気象気候研究は不可能と言ってもいい。
HPC製品も以前は主たる顧客は気象気候研究が多かった（気がする）。
2022/05/16

第1回 気象・気候 計算科学研究連絡会

5気象・気候分野とHPCベンダーが一同に介する機会
最先端並列計算機における次世代気候モデル開発に関わる国際ワークショップ（1999～2012）

iCAS／NCARHPCWS／ECMWF「天気」1999.11

他に（特に日本／アジアで）あれば教えて下さい。
https://events.ecmwf.int/event/169/contributions/27
85/attachments/1468/2651/HPC-WS_Weger.pdf
2022/05/16

第1回 気象・気候 計算科学研究連絡会

6

HPCのトレンド

もうすぐExa

https://twitter.com/HPC_Guru/status/1328461458124931074

https://twitter.com/top500supercomp/status/1328501542442340352

物質科学やその他分野に広がる。
何より、AI/ML。

https://www.r-ccs.riken.jp/fugaku/fugaku-annual-reports/2020/3/2
2022/05/16

第1回 気象・気候 計算科学研究連絡会

7

“Extreme Heterogeneity”

HPCWS2021の最初のキーノートのテーマ

2022/05/16

第1回 気象・気候 計算科学研究連絡会

8米国のHPC

2022/05/16

第1回 気象・気候 計算科学研究連絡会

9米国の主なHPCサイト（≒ DOEの研究所）

https://www.energy.gov/doe-national-laboratories より作成

2022/05/16

第1回 気象・気候 計算科学研究連絡会

10The DOE-led Exascale Computing Initiative (ECI)• DoEのOffice of Science (SC) とNational Nuclear Security Administration (NNSA)で2016年設立。
2020年代半ばまでにExascale Computingを実現することを目的。
• アプリ開発: SCのBiological and Environmental Research program と Basic Energy Sciences
program およびNNSA• システム調達: ALCF-3 (“Aurora”), OLCF-5 (“Frontier”), ASC ATS-4 (“El Capitan”)• Exascale Computing Project ：研究・開発・実装を主導

https://www.hpcuserforum.com/wp-content/uploads/2021/09/Exascale-Computing-Project-Update_ORNL_D.Kothe_Sept-2021-HPC-UF.pdf
2022/05/16

第1回 気象・気候 計算科学研究連絡会

11

ORNL：Frontier, ANL：Aurora• https://www.olcf.ornl.gov/frontier• Peak: >1.5EFlops• HPE Cray’s new EX architecture and Slingshot
interconnect• CPU：HPC and AI Optimized 3rd Gen AMD EPYC
CPU
• GPU：Purpose Built AMD Instinct 250X GPUs
• 2022年中（後半？）に運用開始• https://www.alcf.anl.gov/aurora• Peak Performance ≥ 2 Exaflop DP• Arch： HPE’s Cray EX architecture with Slingshot••••networking.
CPU： two Intel Shappire Rapids
GPU： six Ponte Vecchio
OneAPI as a new model for programming the nodes
across the entire system
2022年中にFull Delivery

Energy Exascale Earth System Model (E3SM) の研究開発、特に “A Baseline For Global
Weather and Climate Simulations At 1KM Resolution” などに利用される予定。

2022/05/16

第1回 気象・気候 計算科学研究連絡会

12

NERSC：Perlmutter• National Energy Research Scienetific Computing Center• LBNLの1ディビジョン
• NERSC is the principal provider of high performance•computing and data resources and services to Office ofScience programs — Advanced Scientific Computing
Research, Basic Energy Sciences, Biological andEnvironmental Research, Fusion Energy Sciences, HighEnergy Physics, and Nuclear Physics.
学術利用のためのHPC

2022/05/16

第1回 気象・気候 計算科学研究連絡会

13

NCAR：Cheyenne → Derecho••••

NWSC-2: SGI ICE XA Cluster, 5.34PF
CPU: Intel Xeon
NO GPU!
at the NCAR-Wyoming Supercomputing Center(NWSC) operational at the beginning of 2017.

•••2022/05/16

•
•
•
•

NWSC-3: HPE Cray EX cluster, 19.87PF
CPU: AMD Milan (2488 Nodes)
GPU: NVIDIA A100 (82 Nodes)
operational in Jan. 2023.

Cheyenneは“Conventional”なシステム。ユーザーの希望は、リスクより「枯れた」技術だった。
今回は調達前に利用者調査を行い、どこにどれだけ予算をかけるかを検討した。
• 計算能力vsストレージ• HPC vs High-Throughput• CPU vs GPU
結果として、GPUが20％程度、という比率。
https://www2.cisl.ucar.edu/sites/default/files/2021-10/Hart.pdf

第1回 気象・気候 計算科学研究連絡会

14欧州のHPC

2022/05/16

第1回 気象・気候 計算科学研究連絡会

15

The European High Performance Computing Joint Undertaking(EuroHPC JU)• 2018年設立, EUと加盟国33ヶ国による共同体• “HPC : a key element for the EU’s digital strategy”

https://www.hpcuserforum.com/wp-content/uploads/2021/09/EuroHPC_EuroCommission_L.Flores-Anover_Sept-2021-HPC-UF.pdf
2022/05/16

第1回 気象・気候 計算科学研究連絡会

16欧州のHPC計画
https://www.hpcuserforum.com/wp-content/uploads/2021/09/EuroHPC_EuroCommission_L.Flores-Anover_Sept-2021-HPC-UF.pdf

EuroHPC Pre-exascale system：3つのPreExascale (＋5つのPetascale)2022/05/16

第1回 気象・気候 計算科学研究連絡会

17

LUMI＠Finland

https://www.lumi-supercomputer.eu/• LUMI：2022 full operation 予定• 資源の半分はコンソーシアム10ヶ国で利用。
• 残りはEuroHPC JU経由で欧州研究者へ配分• PRACE のピアレビュープロセスと似た仕組み• Cray EX、AMD EPYC CPU、AMD Instinct GPU、552 PF• 100% hydropowered energy. Up to 200MWs are available.

• HIP、OpenMP5、Jupyter Notebook

2022/05/16

第1回 気象・気候 計算科学研究連絡会

18Leonardo@Italy, MareNostrum5@Spain• Leonardo＠CINECA（Italy）• CINECA：103の大学・公的機関からなるコンソーシアム• イタリアにおけるHPC、情報システムの開発・運用を担う• will be installed at the end of 2022
• 323PF(Peak), ATOS BullSequana XH2000
CPU(Intel Ice lake/Sapphire), GPU(NVIDIAAmpere) Hybrid module• 10 exaflops of FP16 AI performance.
• ECMWFの隣（Tecnopolo di Bologna）••
2022/05/16

•
••
•
•

MareNostrum5＠BSC（Spain）
スペイン、ポルトガル、トルコ、クロアチアがホスト
2021年6月に一旦入札中止、2022年1月再開。
2023運用開始予定
少なくとも205PF、GPUベース、CPUベースの2つのパーティ
ション

気象・気候研究にどの程度使われるかは現段階では不明だが、CINECAはイタリア国内の気象・気候研究の中心でもあるので、ある程度は利用されるのではないか。
BSCはIS-ENES3でも中心的役割を果たしているので、間違いなく活用されると思われる。
第1回 気象・気候 計算科学研究連絡会

19その他欧州の気象気候の現業・研究機関
ECMWF• 2021.09 New data center, Bull Sequana XH2000based• four “self-sufficient … clusters,”• AMD EPYC （Rome）, NO GPU.
• repurposed tobacco factory

DKRZ• HLRE-3 “Mistral”, 2015-2022• Bull DLC720, 3.6PF, Haswell/Broadwell, NO GPU.
• HLRE-4 “Levante”, 2021• Atos BullSequana XH2000,16+PF• CPU: AMD EPYC Millan, GPU: Nvidia A100
• ICON-A以外にGPU対応している
コードがない！
• → 1ラックだけGPUノードを導入

UKMO• “Supercomputer as a Service” with Microsoft Azure on
HPE Cray EX• AMD EPYC CPU• 1.5 million processor cores and over 60 petaflops,• becoming operational starting July 2022.

DWD• NEC SX-Aurora 5.6／4.3PF（Research用／現業用）,
2019-2023• 現業モデルがCOSMOからICON-LAMに代わる。
• →「次はGPUかもしれない。」

現業センターはトップエンドのHPCを追いかけるだけという訳にはいかない。

2022/05/16

第1回 気象・気候 計算科学研究連絡会

20

まとめ

2022/05/16

第1回 気象・気候 計算科学研究連絡会

21

まとめ
• 米国のトップエンドHPCはExascale目前• 欧州はやっとPre-Exa。ただし、3つ。
• いずれも、CPU-GPUハイブリッドが主。ただし、CPU（Inteｌ、AMD）・GPU（NVIDIA、AMD、Intel）の組合せが多様化。
• 現業機関はトップエンドからは一歩二歩後をついていく様子。

これからもこれまで同様、HPCは気象気候分野に不可欠。
だが、今後はHPC業界は気象気候分野に特別に注力する必要はない。

汎用に作られた道具、最先端の道具を自分たちの研究のために使いこなそうとおもえば、そのための能力と努力が必要。

2022/05/16

第1回 気象・気候 計算科学研究連絡会

22Thank You.