JAXA スーパーコンピュータシステム利用成果報告(2022 年 2 月～2023 年 1 月)

GPM 全球降水マップのデータ同化手法の研究

報告書番号：R22JR0201
利用分野：宇宙技術
URL：https://www.jss.jaxa.jp/ar/j2022/20710/
責任者
沖理子, 第一宇宙技術部門地球観測研究センター
問い合せ先
第一宇宙技術部門 地球観測研究センター 久保田 拓志(kubota.takuji@jaxa.jp)
メンバ
寺崎 康児, Yingwen Chen, 金丸 佳矢, 小槻 峻司, 八代 尚

事業概要
GSMaP, GPM/DPR やその他の衛星観測データを, 先端的のアンサンブルデータ同化手法により数値天気予報モデルに取り込み, 大気客観解析及びこれを初期値とした予報に改善をもたらすと共に,衛星観測データと数値モデルの双方を活かした新たな降水プロダクト NEXRA(NICAM-LETKF JAXA
Research Analysis)を作成する.
参考 URL: https://www.eorc.jaxa.jp/theme/NEXRA/index_j.htm

JAXA スーパーコンピュータを使用する理由と利点
本研究では, 全球大気データ同化システム(NICAM-LETKF)による衛星観測データ同化及び予測計算を行うが, 大規模な全球大気モデル計算, 及び, アンサンブルデータ同化を行うために, JSS3 は必須である.

今年度の成果(1)GPM DPR レーダ反射率の同化による雲微物理パラメータの推定
GPM DPR の比較的少ない観測頻度や降水位置の誤差のため GPM DPR を直接同化することが難し
い. そこで, 本研究では GPM DPR の観測値を NICAM-LETKF システムで同化することで, 雲微物理パラメータに含まれる降雪の終端速度を推定した. パラメータ推定を適用した結果, 同化システムと観測のレーダ反射率の差は小さくなり, 6 時間降水予測や外向き長波・短波放射のバイアスが改善された(図 1, 2).
(2) 次期 NEXRA の構築
次期 NEXRA を見据えて, 理研(現・気象研究所)の寺崎康児博士と環境研究所の八代尚博士と共同でNICAM-LETKF のコード修正および確認を行なった. 修正したコードを用いて解像度を GL07(56km)- 154 -JAXA スーパーコンピュータシステム利用成果報告(2022 年 2 月～2023 年 1 月)に引き上げた次期 NEXRA システムを JSS3 上に構築した. 現在, 64 アンサンブルメンバーで最新時刻に追いつく計算を行なっているが, 将来的に 128 メンバーへ拡張する予定である. 図 3 は一例としてアップデート前後のシステムおよび GSMaP の降水量を示している. これからわかるように, アップ
デートしたシステムは運用中の現システムと定性的に同様の結果を示しており, アップデートが問題なく行われたといえる.
(3) 定常運用アンサンブル予測で見られた台風進路予測
今年度, 実験的に 00UTC を初期値とした 5 メンバーのアンサンブル予測を毎日実施し, 予測結果をToday's Earth Japan へ提供している. 図 4 は NEXRA を用いて 8 月 31 日 00UTC から 9 月 3 日 00UTCまで行った台風の進路に関するアンサンブル予測結果を示している. およそすべての予測結果において, 台風第 11 号が沖縄県南方に停滞した後に北進する様子が再現されていた. 8 月 31 日を初期値とした予測結果では, 台風の予測進路のばらつきが比較的大きいが, 初期時刻を進めると, 全アンサンブ
ルメンバーで黒点で示す実際の台風の進路に近い予測結果を示し, 韓国への上陸を高い精度で予測できていた.

図 1: パラメータ推定を行った TEST 実験(赤), 行っていない CTRL 実験(実験)における GSMaP NRT データに対する 6 時間降水予報値の RMSDの時系列. 破線は 6 時間予報値, 実線は 3 日間移動平均値を示す. x 座標は2014 年の月/日である.

- 155 -JAXA スーパーコンピュータシステム利用成果報告(2022 年 2 月～2023 年 1 月)

図 2: パラメータ推定を行った TEST 実験, 行っていない CTRL 実験における,2014 年 8 月の CERES データに対する全球平均放射バイアス(単位:W m^-2). 水(橙)色は外向き長波(短波)放射のバイアスを表している.

- 156 -JAXA スーパーコンピュータシステム利用成果報告(2022 年 2 月～2023 年 1 月)

図 3: 2022 年 1 月の雨量. 次期 NEXRA の(a)予報値, (b)解析値, (c)GSMaP 観測値, (d)予報値とGSMaP 観測値の差の絶対値, (e)解析値と GSMaP 観測値の差の絶対値, (f)(d)と(e)の差, 寒色の領域は同化によって雨量分布が改善した場所を示す. 単位は mm/6hr.

- 157 -JAXA スーパーコンピュータシステム利用成果報告(2022 年 2 月～2023 年 1 月)

図 4: 2022 年(a) 8 月 31 日, (b)9 月 1 日, (c), 9 月 2 日, (d)9 月 3 日 00UTC から行った NEXRAによる台風 11 号の進路のアンサンブル予測結果. 黒点は気象庁による実際の台風の進路, 灰・赤・オレンジ・青・緑・水色の線は NEXRA による各アンサンブルの予測進路を表している.

成果の公表-査読付き論文
Terasaki, K., and T. Miyoshi, 2022: A 1024-Member NICAM-LETKF Experiment for the July 2020
Heavy Rainfall Event, SOLA 2022 Volume 18A Issue Special_Edition Pages 8-14, doi:10.2151/sola.18A002
Kotsuki, S., Miyoshi, T., Kondo K., and Potthast R. 2022: A Local Particle Filter and Its Gaussian
Mixture Extension Implemented with Minor Modifications to the LETKF. Geosci. Model Dev., 15, 83258348, doi:10.5194/gmd-2022-69- 158 -JAXA スーパーコンピュータシステム利用成果報告(2022 年 2 月～2023 年 1 月)

Ohishi, S., T. Hihara, H. Aiki, J. Ishizaka, Y. Miyazawa, M. Kachi, and T. Miyoshi, 2022: An ensemble
Kalman filter system with the Stony Brook Parallel Ocean Model v1.0, Geosci. Model Dev., 15, 83958410, doi: 10.5194/gmd-15-8395-2022
LIANG Jianyu, TERASAKI Koji, MIYOSHI Takemasa, A Machine Learning Approach to theObservation

Operatorfor

Satellite

Radiance

Data

Assimilation,

JMSJ,

101,

79-95,

https://doi.org/10.2151/jmsj.2023-005
Ohishi, S., Miyoshi, T., and Kachi, M.: An ensemble Kalman filter-based ocean data assimilation system
improved by adaptive observation error inflation (AOEI), Geosci. Model Dev., 15, 9057-9073,
https://doi.org/10.5194/gmd-15-9057-2022
Momoi, M., Kotsuki, S., Kikuchi, R., Watanabe, S., Yamada, M., and Abe, S. (2023): Emulating rainfallrunoff-inundation model using deep neural network with dimensionality reduction. Artificial
Intelligence for the Earth Systems, 2, 1-25, doi:10.1175/AIES-D-22-0036.1
Kotsuki, S., Terasaki, K., Satoh, M., & Miyoshi, T. (2023). Ensemble-based Data Assimilation of GPM
DPR Reflectivity: Cloud Microphysics Parameter Estimation with the Nonhydrostatic Icosahedral
Atmospheric Model (NICAM). Journal of Geophysical Research: Atmospheres, 128, e2022JD037447,
https://doi.org/10.1029/2022JD037447 (in press)
Ohishi, S., T. Miyoshi, and M. Kachi: LORA: A local ensemble transform Kalman filter-based ocean
research analysis, Ocean Dynamics, in press-招待講演
2022/5/31

Takemasa Miyoshi. Data assimilation research using Fugaku at RIKEN, Meteorology

Colloquium, LMU Munich2022/6/9

Takemasa Miyoshi, A. Amemiya, T., Honda, T., Otsuka, S., Maejima, Y., Taylor, J.,Tomita, H., Nishizawa, S., Sueki, K.Yamaura, T., Ishikawa, Y., Satoh, S., Ushio, T., Koike, K., Hoshi, E.,
Big data assimilation: Real‐time 30‐s‐update forecast experiments using Fugaku in Tokyo in 2021,
ISDA2022, Fort Collins, Colorado, Keynote
2022/6/20

Takemasa Miyoshi, Fusing Big Data and Big Computation in Numerical Weather

Prediction, International HPC Summer School 2022, Athens, Greece, Keynote
2022/8/5

Takemasa MIYOSHI, Arata AMEMIYA, Takumi HONDA, Shigenori OTSUKA,Yasumitsu MAEJIMA, James TAYLOR, Hirofumi TOMITA, Seiya NISHIZAWA, Kenta SUEKI,Tsuyoshi YAMAURA, Yutaka ISHIKAWA, Shinsuke SATOH, Tomoo USHIO, Kana KOIKE, Erika
HOSHI, Big Data Assimilation: Real-time 30-s-update Forecast Experiments Using Fugaku in Tokyo in2021, AOGS2022 Annual Meeting, Online
2022/8/20

三好建正, 気象学会関西支部夏季大学「『富岳』を使った天気予報の先端研究」, オンライン
2022/8/24

Takemasa Miyoshi, Big Data Assimilation Real-Time 30-s-update Experiments Using

Fugakuin Tokyo in 2021, WWRP Symposium, Online2022/9/6

Takemasa Miyoshi, Big Data Assimilation Revolutionizing Numerical WeatherPrediction Using Fugaku, 2nd US-Japan Workshop on Data-Driven Fluid Dynamics, Kobe, Keynote
2022/9/7

三好建正, ビッグデータ同化:ゲリラ豪雨予測から予測科学へ , 日本計算機統計学会

企画セッション「先進的な計算機環境と応用分野」, 2022 年度 統計関連学会連合大会, 東京- 159 -JAXA スーパーコンピュータシステム利用成果報告(2022 年 2 月～2023 年 1 月)

2022/10/14

三好建正, ビッグデータ同化:ゲリラ豪雨予測から予測科学へ, GIR 公開セミナー, 東

京農工大学
2022/10/29

三好建正, 『富岳』を使ったゲリラ豪雨予報, 2022 年度スパコンセミナー スパコンって何に使われてるの?私たちの暮らしと計算の世界, 神戸
2022/11/15

Takemasa Miyoshi, Big Data Assimilation: Real-time 30-s-update Torrential Rain

Forecast Using Fugaku in Tokyo in 2021, The 5th ISEE Symposium Toward the Future of Space-EarthEnvironmental Research, Nagoya
2022/11/16

三好建正, ビッグデータ同化:ゲリラ豪雨予測から予測科学へ, 2022 年度武蔵野大学数理工学シンポジウム, 東京
2022/11/17

三好建正, ビッグデータ同化:ゲリラ豪雨予測から予測科学へ, 理研イノベーションセミナー, オンライン
2022/11/23

Takemasa Miyoshi, Big Data Assimilation Revolutionizing Numerical WeatherPrediction Using Fugaku, University of Reading Data Assimilation Research Center and RIKEN Online
Joint Seminar Series, Reading, UK
2022/11/24

Takemasa Miyoshi, Big Data Assimilation revolutionizing numerical weather prediction

using Fugaku, Statistical Science Seminar, University of College London, UK
2022/12/1

Takemasa Miyoshi, Big Data Assimilation Revolutionizing Numerical WeatherPrediction Using Fugaku", AOSC Seminar, University of Maryland, College Park, US
2022/12/6

三好建正, 「富岳」を使ったリアルタイムゲリラ豪雨予測, 情報処理学会連続セミナー2022「その先へ情報技術が貢献できること」, オンライン
2022/12/9

三好建正, 「富岳」を使ったリアルタイムのゲリラ豪雨予報, 第 15 回スーパーコンピューティング技術産業応用シンポジウム, オンライン
2022/12/9

三好建正, ビッグデータ同化～ゲリラ豪雨予測から, 予測科学へ～, 一般財団法人 工業所有権協力センター内部向けセミナー, オンライン
2023/1/28

Konduru Rakesh Teja, How to make high resolution simulations representative of futureclimate?, Examining the impact of Aerosol, Urbanization, and Irrigation on extreme rainfall occurrences
over India using Cloud - Resolving Simulations, Indian Institute of Technology Madras, Online
2023/2/3

Takemasa Miyoshi, Big Data Assimilation Revolutionizing Numerical Weather

Prediction Using Fugaku, DA Forum by University of Melbourne, Melbourne, Australia-口頭発表
2022/5/23

Ting-Chi Wu, Koji Terasaki, Shunji Kotsuki, and Takemasa Miyoshi, Examining theSensitivity of the Accuracy of EFSO to Ensemble Size, EGU 2022 General Assembly, Vienna, Austria(hybrid)
2022/5/23

Takemasa Miyoshi, Big Data Assimilation: Real-time 30-s-update Forecast

Experiments Using Fugaku in Tokyo in 2021, JpGU Meeting 2022, Chiba (hybrid)
2022/5/23

Takemasa Miyoshi, Advances and applications of satellite data assimilation of clouds,

precipitation, and the ocean, JpGU Meeting 2022, Chiba (hybrid)
2022/5/24

Takemasa Miyoshi, Experimental platform for design and advance evaluation offrequent satellite observations to innovate weather, ocean and land surface predictions, JpGU Meeting
2022, Chiba (hybrid)- 160 -JAXA スーパーコンピュータシステム利用成果報告(2022 年 2 月～2023 年 1 月)

2022/5/26

Kotsuki, S., and Bishop, C., A Multi-scale Localization for the Local Ensemble

Transform Kalman Filter with Attenuation of Ensemble Perturbation, JpGU Meeting 2022, Chiba(hybrid)
2022/5/26

Ohishi, Shun, Takemasa Miyoshi, and Misako Kachi, LETKF-based Ocean ResearchAnalysis (LORA) in the Western North Pacific region, JpGU Meeting 2022, Chiba (hybrid)
2022/5/27

三好建正, 世界初リアルタイム 30 秒更新ゲリラ豪雨予測実験, 第 11 回 JCAHPC セミナー(OFP 運用終了記念シンポジウム), 千葉(ハイブリッド)
2022/7/26

大石俊, 三好建正, 可知美佐子, LETKF-based Ocean Research Analysis(LORA)の精度評価, 海洋表層関連過程に関する分野間交流ワークショップ, 名古屋
2022/8/5

Jianyu Liang, Norihiko Sugimoto, and Takemasa Miyoshi, A Machine Learning

Approach To The Observation Operator For Satellite Radiance Data Assimilation, AOGS2022 AnnualMeeting, Online
2022/8/5

Shun Ohishi, Takemasa Miyoshi, and Misako Kachi, LETKF-based Ocean ResearchAnalysis (LORA) in the Western North Pacific region, AOGS2022 Annual Meeting, Online
2022/8/8

大石俊, 三好建正, 可知美佐子, LETKF-based Ocean Research Analysis(LORA)の精度評価, 第 26 回海洋データ同化夏の学校, 青森
2022/9/6

大石俊, 三好建正, 可知美佐子, LETKF-based Ocean Research Analysis(LORA)の精度評価, 日本海洋学会 2022 年度秋季大会, 愛知
2022/9/26

Takemasa Miyoshi, RIKEN's activities on fusing AI and data assimilation in numerical

weather prediction, Sea tech week 2022, Brest, France
2022/10/7

Shun Ohishi, Takemasa Miyoshi, and Misako Kachi, LETKF-based Ocean ResearchAnalysis (LORA) in the Western North Pacific region, ISDA-online, Online
2022/10/26

Rakesh Teja KONDURU, Jianyu Liang, Koji TERASAKI, and Takemasa MIYOSHI:

Estimating optimal vertical localization in assimilating AMSU-A satellite radiances at different
frequencies in the NICAM-LETKF OSSE framework, MSJ Autumn, Sapporo
2022/10/26

大石俊, 三好建正, 可知美佐子, LETKF-based Ocean Research Analysis(LORA)の精度評価, 日本気象学会 2022 年度秋季大会, 北海道
2022/10/26

三好建正, 大塚成徳, 雨宮新, 富田浩文, 牛尾知雄, 牛山朋來, 小西雅也, アルゼンチ

ンの大雨洪水防災の国際共同プロジェクト, 日本気象学会 2022 年度秋季大会, 北海道
2022/10/26

岡本幸三, 林昌宏, 中川雅之, 幾田泰酵, 石田春磨, 岡部いづみ, 神代剛, 川合秀明,

衛星搭載雲レーダを用いた気象庁全球気象・気候モデルの検証, 日本気象学会 2022 年度秋季大会, 北海道
2023/03/23 Ying-Wen Chen, Masaki Satoh, Koji Terassaki, Shunji Kotsuki, Takemasa Miyoshi, TakujiKubota, 気象情報システム NEXRA の開発について, GPM 衛星シミュ研究集会, オンライン-ポスター
2022/5/18

Ying-Wen Chen, 佐藤正樹, 寺崎康兒, 小槻峻司, 三好建正, 久保田拓司, 気象予測システム(NEXRA)の開発現状, 日本気象学会 2022 年度春季大会, オンライン
2022/8/3

Ying-Wen Chen, Koji Terasaki, Shunji Kotsuki, Kaya Kanemaru, Masaki Satoh,Takemasa Miyoshi, and Takuji Kubota: The development of a weather information system based on theNICAM-LETKF assimilation system, AOGS2022 Annual Meeting, Online- 161 -JAXA スーパーコンピュータシステム利用成果報告(2022 年 2 月～2023 年 1 月)

2022/11/15

Ohishi, Shun, Takemasa Miyoshi, and Misako Kachi, LETKF-based Ocean Research

Analysis (LORA): Assimilating high-frequency satellite observations, Joint Workshop of the OS-Eval TT
and CP-TT and SynObs Kick-Off, Tsukuba
2022/12/13

Takemasa Miyoshi, Shigenori Otsuka, Arata Amemiya, Jianyu Liang, Fusing AI anddata assimilation with HPC in numerical weather prediction, AGU Fall meeting (AGU22) , Chicago, US
2023/2/6

Ohishi, Shun, Takemasa Miyoshi, and Misako Kachi, LETKF-based Ocean Research

Analysis (LORA), The 5th R-CCS International Symposium, Kobe
2023/2/16

大石俊, 三好建正, 可知美佐子, LETKF-based Ocean Research Analysis (LORA)の精度評価, 第 13 回データ同化ワークショップ, 神戸-Web
https://earth.jaxa.jp/ja/earthview/2022/10/21/7342/index.html-その他
Otsuka, S., T. Awazu, C. A. Welzbacher, R. Potthast, and T. Miyoshi, 2023: Assimilating precipitation
features based on the fractions skill score: an idealized study with an intermediate AGCM. in "Numerical
Weather Prediction: East Asian Perspectives", edited by Park, S. K., Springer Nature, in press.

JSS 利用状況⚫ 計算情報
プロセス並列手法

MPI

スレッド並列手法

OpenMP

プロセス並列数

5 - 400

１ケースあたりの経過時間

12 時間- 162 -JAXA スーパーコンピュータシステム利用成果報告(2022 年 2 月～2023 年 1 月)

⚫ JSS3 利用量
総資源に占める利用割合※1 (%)： 2.99

内訳
計算資源
計算システム名CPU 利用量(コア・時)資源の利用割合※2 (%)

TOKI-SORA

81,682,519.97

3.56

TOKI-ST

0.00

0.00

TOKI-GP

0.00

0.00

TOKI-XM

0.00

0.00

TOKI-LM

0.00

0.00

TOKI-TST

0.00

0.00

TOKI-TGP

0.00

0.00

TOKI-TLM

0.00

0.00

ファイルシステム資源
ファイルシステム名

ストレージ割当量(GiB)

資源の利用割合※2 (%)/home

2,113.33

1.91/data 及び/data2

399,153.33

3.08/ssd

1,033.33

0.14

アーカイバ資源
アーカイバシステム名

利用量(TiB)

資源の利用割合※2 (%)

J-SPACE

31.160.14※1 総資源に占める利用割合：3 つの資源(計算,ファイルシステム,アーカイバ)の利用割合の加重平均※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合⚫ ISV 利用量
ISV ソフトウェア資源

ISV ソフトウェア(合計)

利用量(時)

資源の利用割合※2 (%)

0.00

0.00

※2 資源の利用割合：対象資源一年間の総利用量に対する利用割合- 163 -