国内外の気象・気候シミュレーションモデル
開発動向について

八代
気象・気候

尚（国立環境研究所）

計算科学研究連絡会（第１回会合）

2022年5月16日

ベルの法則(Gordon Bell, 1972; 2008)

分散メモリ型
複数プロセッサ

PCクラスター

共有メモリ型
複数プロセッサ

Dongarra & Van der Steen (2012)

from https://www.nextplatform.com/• ほぼ10年ごとに、新しい低価格のコンピューターの「クラス」が形成され、新しい使用法と業界が確立される。
• メインフレーム→PC→ラップトップ→スマホ• スパコンの世界でも市場の変化の影響を受けて、主流は入れ替わっている•

90年代=ベクトル機 → 00年代=PCクラスター → 10年代=GPU → 20年代=?
第１回計算科学研究連絡会

2022年5月16日

日本の気象予報・気候研究が使ってきたスパコンの変遷
LINPACK Performance [PFLOPS]
1E+03

Total Memory Throughput [PB/s]
Fugaku1E+02
Oakforest-PACS
K computer1E+01

XC50

1E+00
1E-01

HA-8000
ES2

10000x
16000x

SR16000M1

1E-04
2002

2007

2012

1000x

1E+01

K computer
Oakforest-PACS
XC50

HA-8000
Earth Simulator

1E-02
1E-03

JMA

SR-8000E1

1E+02

1E-01

SR11000/K1+J1

1E-03

Fugaku1E+00

Earth Simulator

1E-02

1E+03

2017

2022

SR16000M1

ES2

SR11000/K1+J1

JMA

SR-8000E1

1E-04
2002

2007

• ムーアの法則：半導体のトランジスタ集積率は18ヶ月で2倍になる• 20年で10000倍に。しかしメモリ性能はもっと遅い

第１回計算科学研究連絡会

600x

2022年5月16日

2012

2017

2022

ハードウェアの変遷とソフトウェア開発の変革（１）• ハードウェア側の都合：電力性能の向上、コスト削減• 過去にソフトウェア側に大きなパラダイムシフトが求められたケース• プロセス並列化：MPIへの対応• ベクトル型からスカラー型へ：最適化手法の変更• アクセラレータ：GPUへの対応• どれも大幅なコードの書き換えが必要だった• もうハードウェアに振り回されたくない！
• 科学的要請と計算性能の分離→ドメイン特化言語（DSL）での記述へ第１回計算科学研究連絡会

2022年5月16日

ハードウェアの変遷とソフトウェア開発の変革（２）• ソフトウェアエコシステムを変えても、解決できない問題• 気象・気候モデルの計算性能向上がメモリ性能によって律速されているという事実• 近年のもう一つのトレンド：Approximate Computing• シミュレーションの「精度」を、新たな視点で捉える• 浮動小数点演算の精度を落とす：計算速度と保存データ量の両方に有効• さらに、物理モデルを代替する高速なデータ駆動型スキームの利用

第１回計算科学研究連絡会

2022年5月16日

GPUと気象・気候モデル• 気候・気象モデルとGPUは相性が悪い：ソースコードが多く全体をGPU化するまで性能が出ない• そもそもなぜ我々はGPUを使わなければいけないのか• 富岳以前：トップレベルのスパコンで世界最高峰のシミュレーションを実現するには、シミュレーションモデルの全体をGPU上で計算するようにしなければいけない• 富岳の登場：GPUなしでも、匹敵するメモリ性能と省エネ性能を持つ汎用CPUを作ればいいんだ！
→他のチップメーカーも追従する動き？
• しかし：メモリ性能の高いCPUはバカ高い。。。同じ購入予算なら、GPUの方が安く済む• 我々はGPUに対応しなければいけないか？
• 近い将来、国内の共用HPC資源の多くはGPUに置き換わる• GPUを利用出来るモデルはより多くの計算資源を得られる：ベクトル→スカラーの移行時と同じ状況

第１回計算科学研究連絡会

2022年5月16日

欧米の動きと日本の違い• 欧米は次の主流となりそうな計算科学の技術を取り入れて、気候・気象ソフトウェアを変革するスピードが速い• 現業機関であっても、常に次の一手を準備している• GPU化のための取り組みは日本よりも10年以上進んでいる• おそらくAI技術についても同様の状況になるだろう• 日本はコンサバで、まずは様子見• 冒険するだけの予算も人材も足りないというのが本音• すぐに新しい技術に飛びつかないから良いところもある•

OpenACCやJuliaが登場した今なら、GPUへの乗り換え労力もかなり減った•

ベクトル→スカラー→ベクトル的スカラーへの変遷で、スカラーをスキップ：カリカリにスカラー機でチューニングしていたら、京や富岳で性能が出しづらく再度全体を書き直しになっているところだった
WCRP WS on Future of Climate Modelling, 21-24 March, 2022

海外の動向１：CLiMA（米）• Caltech, MIT, NASA/JPLによるアライアンス、Schumidt財団等の巨大投資会社の後押し• 地上・衛星による地球観測情報から学習した地球システムモデルの構築• 機械学習やデータ同化を用いて、モデル化やパラメータ推定を進めている• プログラムコードはJulia言語を用いて構築• ClimateMachine.jl• EnsembleKalmanProcesses.jl• etc.
• Juliaの利点？
• PythonやRのようなモダンな動的言語の使いやすさ＋HPCに求められる高速性能• 並列計算、データ配列レイアウト変更、GPUを考慮した言語設計
第１回計算科学研究連絡会

2022年5月16日

海外の動向２：Vulkan Inc.（米）• ポール・アレン氏が設立した投資会社＋NOAA/GFDLによるタッグ• NOAAの新予報システムUFSの中核となったFV3を、DSL（GridTools&GT4Py）
で置き換える• 主要な物理過程はほぼ置き換え済み• GridTools / GT4Pyとは？
• スイスのスパコンセンター(CSCS)が開発したC++によるフレームワーク。
• 欧州の領域モデルCOSMOをCPU/GPU両対応にするべく開発された→スイス気象局は現業予報をGPUマシンで行なっている• GT4PyはPythonで記述したシングルカラム物理過程モデルのコードを全球モデル化する
第１回計算科学研究連絡会

2022年5月16日

海外の動向３：E3SM（米）• DOEによる地球システムモデル構築のための大プロジェクト• 全球高解像度気候シミュレーションを目標としている• 主要な過程はkokkosライブラリを用いたC++に書き換えを完了•大気力学コア：HOMME（Spectral Element）•大気物理過程：SHOC, P3, RRTMG• 陸面や海洋はOpenACCで• Kokkosとは？
• これもC++で記述されたフレームワーク• 気候・気象だけでなく様々な分野のモデルに適用されている第１回計算科学研究連絡会

2022年5月16日

海外の動向４：ESCAPE1/2（欧）• ECMWF主導によるプロジェクト（2015-2018, 2018-2021）• 大気モデルのための基本コンポーネントをDwarfと呼び、将来のマシンに最適なアルゴリズム、コーディン
グを模索：すべては全球1km予報を現実的な電力と予算で行うため•

Dwarfs: SH, biFFT, DG, MultiGrid, MPDATA, Semi-Lag., 雲微物理、放射 →ベンチマークセットHPCWへ•

DSLによる記述：ATLAS, CLAW, GridTools, PSyclone

Schematic description of the spectral transform method• 低精度シミュレーション、データ同化の積極的な推進：IFSは現業予報を単精度化し、鉛直層を増やした
in the ECMWF IFS model

Atlas: a library for NWP and climate modellinghttps://github.com/ecmwf

Alan Gray, Peter Messmer, NVIDIA

Deconinck et al. 2017

Gray et al., 201826

October 29, 201433

第１回計算科学研究連絡会

2022年5月16日

海外の動向４：Destination Earth（欧）• ECのデジタル戦略に基づくプラットフォーム構築（2022-2024, 2030年目標）• ESA：プラットフォームの開発運営。
• EUMESAT：データレイクの運営。Copernicusが協力サポート• ECMWF：デジタルツイン（気象・気候）の開発。
• 高解像度IFS＝Digital Twin Engine• 恐らく現業予報システムの完全GPUマシン移行＋EUの新スパコンを使った大規模計算が予定されている第１回計算科学研究連絡会

2022年5月16日

海外の動向５：NextGEMS（欧）• EUのHorizon 2020をファンドとする国際共同プロジェクト（2021-2025）• 嵐解像地球システムモデルの構築（3km ICON-ESM & EC-EARTH）• 嵐解像をキーワードとした物理過程のコンポーネント開発• 関連プロジェクト• EXCLAIM（ETH）：GridTools/GT4PyでICONの力学コアをPythonに置き換え• WarmWorld（MPI-M, DKRZ, Jülich）：ICON結合モデルの開発環境一新

第１回計算科学研究連絡会

2022年5月16日

海外の動向６：海外モデル on Fugaku• 富岳の性能は海外の研究者もかなり注目している• Fugakuでのシミュレーション実行をテストしたモデルたち• IFS、ICON、E3SM、もっとある？
• 低精度実験：理研R-CCSとの共同研究• 半精度での浅水波実験（Juliaで書いたモデル）を実施

第１回計算科学研究連絡会

2022年5月16日

海外の動向まとめ• 性能ポータビリティのために、Fortranを捨てる動きが加速している• コンピュータサイエンスの分野からの人材参入が大きい• C++フレームワーク or Julia• 科学的なブレークスルーのために達成したい水平解像度の目標（1-3km, 0.5-1SYPD）があって、それに合わせた最新コンピュータの利用、そのためのソフトウェア開発、という目的意識• グリーンディール政策が後押しする欧州、企業のコミットがより強まる米国• AI戦略については、温度感はまちまちだが、どこも既に手をつけている印象
第１回計算科学研究連絡会

2022年5月16日

国内の動向１：NICAMの場合• 富岳プロジェクトでの精力的なソフトウェア改良：システムーアプリケーションコデザイン• コードのクリーンナップ、計算性能評価• 単精度実験を可能に• 3.5km 1024アンサンブル、3.5km x 0.1deg 大気海洋結合を達成、超高解像度実験も準備中• さらなるソフトウェア開発に向けて• 2014年には力学コアのフルGPU化を完了• 2019年には力学コアをGridToolsで書き直す試みも• それでも2022年現在、GPUでのフルモデルのシミュレーション性能は低い：データ同化システム込みとなるとさらにハードルは高い
第１回計算科学研究連絡会

2022年5月16日

富岳の先へ：解決すべき課題
Resolution
並列度

ソフトウェア開発の高度化

Duration

Complexity

ストロングスケーリング問題• 伸ばしたいシミュレーションの方向性によって、難易度は異なる

並列度
Ensemble
第１回計算科学研究連絡会

2022年5月16日

国内の動向２：富岳成果創出加速プログラム「防災・減災に資する新時代の大アンサンブル気象・大気環境予測」(PI:佐藤(正)先生, FY.2020-2022)

キーワード: 大アンサンブル

NRI-NHMASUCASCALE-RM
Debris ow model

Theme1: Short-range regional prediction(P.I. Takuya KAWABATA, MRI)

(co-P.I. Takemasa MIYOSHI, RIKEN)

NICAM
NICAM-COCO
Typhoon, MJO

Goto, Uchida, Niwa,
Yamashita, Tanoue
Theme2: Global-scale prediction(P.I. Tomoki MIYAKAWA, AORI)

第１回計算科学研究連絡会
fl

NICAM-Chem
NICAM-TM
GHG, SLCF, SWI

Theme3: Advanced technology of data assimilation(P.I. Hisashi YASHIRO, NIES)

2022年5月16日

国内の動向３：気象庁・気象研の近年の活動• 線状降水帯の予測精度向上の加速化のための予測の強化：数値モデルの予測精度向上等の早期実現、富岳の活用• [2023年度末] 局地モデルの予報時間延長（10時間→18時間）←３年前倒し• [2025年度末] 局地モデルの高解像度化（解像度2km→1km）←４年前倒し• [2025年度末] 局地アンサンブル予報システムの運用開始←４年前倒し• 富岳政策対応枠「豪雨防災、台風防災に資する数値予報モデル開発」（R3年から利用、R4年課題）• 局地アンサンブル予報システム開発• 高解像度狭領域局地モデルリアルタイム予測実験• 様々な改良等のインパクト調査• 多数メンバーの知見を活かすための調査• 高解像度全球モデル開発：台風防災、次世代全球モデル開発に貢献

第１回計算科学研究連絡会

2022年5月16日

国内の動向４：気候変動予測先端研究プログラム• 20年（共生・革新・創生・統合）続くプロジェクトの後継• 日本の全球気候モデル・地球システムモデル資産の活用• 高解像度・大アンサンブル気候予測：d4PDFを発展• 衛星観測を活用した大気物理コンポーネントの高度化• さらなるコンポーネントモデルの結合強化：水循環、社会システム• 研究ワークフローを支援するソフトウェア基盤の構築：気候変動情報の迅速な提供

第１回計算科学研究連絡会

2022年5月16日

国内の動向５：ムーンショット課題• ムーンショット目標８「2050年までに、激甚化しつつある台風や豪雨を制御し極端風水害の脅威から解放された安全安心な社会を実現」（PD：理研三好先生）• 社会的意思決定を支援する気象−社会結合系の制御理論• 安全で豊かな社会を目指す台風制御研究←モデリング• ゲリラ豪雨・線状対流系豪雨と共に生きる気象制御• 気象制御のための制御容易性・被害低減効果の定量化• 台風下の海表面での運動量・熱流束の予測と制御←モデリング• 局地的気象現象の蓋然性の推定を可能にする気象モデルの開発 ←モデリング• 大規模自由度場のセンサ／アクチュエータ位置最適化と非直交・非線形最適制御則の構築• 台風制御の予測と監視に不可欠な海の無人機開発
第１回計算科学研究連絡会

2022年5月16日

国内の動向６：mdx• データ活用社会創成プラットフォーム(mdx)
東大が主導で9大学＋AIST+NIIの陣営で2019年あたりから整備• 大規模な解析を可能にするストレージ・計算機をもつ仮想化計算基盤、DIASとも繋がる• NIIの学認フェデレーションによるアカウント管理：多くの大学からアクセス可能• 複数の気候・気象に関するプロジェクトが既にmdxにテナントを構えつつある•

例えば：ClimCORE「地域気象データと先端学術による戦略的社会共創拠点」(PI. 中村尚先生)

from https://www.climcore.org/

第１回計算科学研究連絡会

2022年5月16日

国内の動向７：HPC研究課題（１）• 富岳利用• 雲乱流シミュレータによる乱流混合輸送と雲マイクロ物理過程の解明（2021,2022）• 全球大気ラージエディ解像シミュレーション（2022）• マルチスケール極端気象予測を目指した「ビッグデータ同化」の研究（2022）• 雲解像スケールの全球気候シミュレーション（2022）• ゲリラ豪雨予測を目指した「ビッグデータ同化」の研究（2021）• 同期マルチシミュレーションによる複合災害リスク評価の研究（2021）• 雲解像スケールを見据えた全球高解像度気候シミュレーション（2021）• 高レイノルズ数剥離乱流境界層の複雑物理とマルチフィデリティモデリング（2021）• Porting of E3SM to Fugaku（2021、トライアル）• 高解像モデルを用いた瀬戸内海の流動水質シミュレーション（2021、トライアル）• 都市・農地を含む高空間解像度土地被覆情報 を導入した熱帯気象シミュレーション（2021、トライアル）• 富岳政策対応枠• 豪雨防災、台風防災に資する数値予報モデル開発（2021, 2022）• 短寿命気候強制因子による気候変動の緩和策に資する定量的評価（2021）• 富岳国際連携課題• Simulation of Air-Sea Interactions with AI-Accelerated Computational Fluid Dynamics

第１回計算科学研究連絡会

2022年5月16日

国内の動向７：HPC研究課題（２）• HPCI一般利用• 気象の実際的問題への適用に向けた超水滴法の性能検証と改良（2021,2022）Grand Chariot• ヘテロジニアスアーキテクチャによるマルチスケール統合海洋モデリングプラットフォームの実 現（2022）TSUBAME• GPUクラスタを用いたマルチスケール海洋モデリングプラットフォームの構築（2021）TSUBAME• JHPCN• 格子ボルツマン法による洋上ウィンドファームの大規模シミュレーション（2022）• 超高解像度の即時予測の実現に向けた都市街区内風況データベースの構築（2022）• 日本全土の洪水氾濫被害と適応策の検討（2022）• 極端気象現象予測における不確実性の起源の解明（2022）• 多粒子分散系の乱流輸送に関する大規模シミュレーション（2021,2022）• 日本全土の洪水氾濫被害の将来展望（2019, 2021）• ゲリラ豪雨予測のリアルタイム実証実験（2020）• 機械学習を用いた風環境予測精度の向上と防災技術への応用（2020）• 東大HPCチャレンジ• ゲリラ豪雨予測のリアルタイム実証実験（2019）• 東大若手• 南極海における棚氷融解のフィードバック現象の解明（2020）• FDPSを用いた土/水連成数理モデルの開発に関する研究（2020）• Weather Forecasting: Physical Model Acceleration using Machine Learning and High-Performance Computing（2020）

第１回計算科学研究連絡会

2022年5月16日

国内の動向まとめ• 地に足のついた発展型開発を続ける姿勢• 欧州がいよいよ全球数kmに手が届くようになって、モデリング体制を刷新しつつあるのとは対照的• コンピュータシステムは、そこにあるものを活用するといった印象を受ける：計算機の革新に振り回されるリスクについての言及はほぼない• 解析プラットフォーム事業も始まっている• 計算資源を獲りに行く若手研究者が増えていない？

第１回計算科学研究連絡会

2022年5月16日

気象・気候シミュレーションモデルの開発に関する私見• モデリング研究の更なる発展を考えるなら、ソフトウェア開発の出来る人材はとても大事• 人材を得て育てるための長期大型予算獲得が大事• 予算を取りに行くためのキーワード（バズワード？）：AI、デジタルツイン、DX、etc.
• 新技術で成果を出す即戦力的人材がいない・・・以下ループ• 他分野を専攻してきた研究者の、気象・気候コミュニティへの参入を促進すべき• 学生・ポスドクだけでなく企業も巻き込む

第１回計算科学研究連絡会

2022年5月16日

本日のまとめ• 近年の気象・気候シミュレーションモデルの開発動向• 海外は2010年台半ばから、かなりドラスティックな変革が起きている：その前から種をまいてきた結果が目に見えてきている• 国内は今の延長線上での開発：水面下で次の一手を準備しているか、それとも。
• これからどうするべきか• HWへの提言：スパコン開発でのアプリケーションコデザインは非常に大事• SW開発体制：スパコン開発に口を出せるだけの材料を揃えて、戦略を立てたい• 現状把握：各コミュニティがやりたいこと、勉強したいこと、情報共有が必要→そのための研究連絡会！

第１回計算科学研究連絡会

2022年5月16日