天気予報を支えるHPC～「数値予報」の実際～
令和6年8月6日
気象庁 情報基盤部 数値予報課
長谷川昌樹
2024/08/06 SS研HPCフォーラム1

１．数値予報とは

2024/08/06 SS研HPCフォーラム2

こんにちの気象観測・予報業務
防災に資する各種気象情報⇒ 防災気象情報

解析・予測・情報作成

観測データ（国内外）
気象衛星観測網予報官 (全国の気象台)

特別警報・警報・注意報

今後の予測・情報の作成

特別警報

警報

注意報

発表なし

高層気象観測網
ラジオゾンデｳｨﾝﾄﾞﾌﾟﾛﾌｧｲﾗ
航空機
レーダー気象観測網

地上気象観測網
各気象官署
アメダス観測観測データ
収
集

24時間体制実況監視
予測資料の分析
スーパーコンピュータシステム
大気の状態予測（数値解析予報）

情報
発表

台風情報

海洋気象観測網
海洋気象観測船
一般船舶
気象情報伝送処理システム(アデス)

外国気象機関国内外のデータ収集・配信
取り扱うデータ量(R4年度)
１日に新聞約14,000年分(2.1TB)

気象情報
高解像度降水ナウキャスト
天気予報・週間天気予報
天気図 等
2024/08/06 SS研HPCフォーラム3

気象予報の中核：数値予報• 計算機（コンピューター）を用いて地球大気や海洋・陸地の状態の変化を物理法則に基づく数値計算（シミュレーション）によって予測– 計算機上に、「地球大気や海洋・陸地の状態」を再現：「数値予報モデル」
2024/08/06 SS研HPCフォーラム4

気象予報の中核：数値予報の流れ

2024/08/06 SS研HPCフォーラム5気象現象のスケールと、数値予報モデルの種類

2024/08/06 SS研HPCフォーラム

6データ同化による初期値の作成
第一推定値

観測データ

初期値

デー 修正量（インクリメント）
タ
同化
（客観解析
）

予報値

（予数測値計
予算報
モデルの実行）

観測情報の同化

予測対象
領域
次の時刻の観測データ
観測データ

時間

数値予報モデルによる同化情報の移流と伝播
同化情報の充填による推定精度の向上

全域の精度向上

2024/08/06 SS研HPCフォーラム7

解析予報サイクル
実時刻（UTC）全球サイクル解析 (Da)Ma00
Ma2100 Ea00

Ea18Da18Da12Ma1818

全球速報解析 (Ea)
06

Da00
Da06

Ma15Ma03

Ea12Ma06

Ea06• メソ予報のための解析• 全球解析からはほぼ独立しているものの、側面境界値を全球予報からもらっている

Ma1212Ma09

La09

La1015Ma12La11La12La13• 全球予報のための解析• Ea00,12はDa18,06解析値から第一推定値を作ることで、より高い精度の維持を図っている

メソ解析 (Ma)

12Ma0909• 一番内側で自己完結したサイクルで精度維持のための解析• そのため観測データの待ち時間が最も長い

La14

局地解析 (La)• 局地予報のための解析• メソ解析・予測値を最初の第一推定値として使っており、サイクルとはなっていない
2024/08/06 SS研HPCフォーラム

8数値予報計算の特徴• 対象とする現象のスケールに応じた、複数の種類がある– よりスケールの大きなモデルへの依存関係があることが多い• 単発の計算に閉じないことが多い– モデル本体以外の処理との依存関係も考慮が必要– 適切な初期値のために、「解析予報サイクル」による一定期間の計算の蓄積が必要• 計算時間の制約が強いことが多い– 予報のためには、実時間の処理が必要– 再現実験も、長期間を対象にすることが多い
2024/08/06 SS研HPCフォーラム9

２．業務処理（ジョブフロー）
制御ソフトウェア「ROSE」

2024/08/06 SS研HPCフォーラム10

気象観測・予報業務の成果物（製品）
防災に資する各種気象情報⇒ 防災気象情報

解析・予測・情報作成

観測データ（国内外）
気象衛星
観測網

予報官 (全国の気象台)

特別警報・警報・注意報

今後の予測・情報の作成

特別警報

警報

注意報

発表なし

高層気象観測網
ラジオゾンデｳｨﾝﾄﾞﾌﾟﾛﾌｧｲﾗ
航空機
レーダー気象観測網

地上気象観測網
各気象官署
アメダス観測観測データ収集

24時間体制実況監視
予測資料の分析
スーパーコンピュータシステム
大気の状態予測（数値解析予報）情報
発表

台風情報

海洋気象観測網
海洋気象観測船
一般船舶
気象情報伝送処理システム(アデス)

外国気象機関国内外のデータ収集・配信
取り扱うデータ量(R4年度)
１日に新聞約14,000年分(2.1TB)

気象情報
高解像度降水ナウキャスト
天気予報・週間天気予報
天気図 等
2024/08/06 SS研HPCフォーラム11

気象観測・予報業務の成果物（製品）
防災に資する各種気象情報⇒ 防災気象情報
特別警報・警報・注意報
特別警報

警報

注意報

発表なし

台風情報

気象情報
高解像度降水ナウキャスト
天気予報・週間天気予報
天気図 等• 明治38年(1905年)5月27日、対馬海峡付近の当日予報「天気晴朗ナルモ波高カルヘシ」• 令和6年(2024年)7月22日、千葉県北西部の翌日予報「晴れ 時々 くもり 所により 地域時系列予報
夕方 から 雨 で雷を伴う」
天気分布予報2024/08/06 SS研HPCフォーラム12

気象予報の中核：数値予報の流れ（再掲）2024/08/06 SS研HPCフォーラム13

JG（ジョブグループ）一覧
スパコン
スケジューラ
2024年4月現在
黒：NWPMAIN
デコード
緑：ENSEMBLE
NAPS11s
赤：HOURLY
青：DECODE※NAPS11sの場合は更にスケジューラ名の先頭に「11sR-」が付く。

季節予報

全球

デコード
Ftp ファイル取得

Dx データ取得・デコード

Dz データ長期保存

Dc Da,Ea,Ma用デコード

Dl Ha用デコード

Dq Qa用デコード

Ds Ks用デコード

De Ep用デコード

Dm Mp用デコード

Dk Kc用デコード

Dt TKS用デコード

Dr Aa用デコード

環

メソ・局地Ozf オゾン解析･予測

Ks 全球海氷解析

Da 全球サイクル解析

Em メソ用初期値切り出し

Kapr 気候プロダクト

Dp 全球解析プロダクト

Ma メソ解析

K4pr 3か月プロダクト

Ea 全球速報解析

Mf メソ予報Kcb 気候解析(JRA3Q)前処理

Mp メソ予報プロダクト

Kc 気候解析(JRA3Q)

K8pr 暖寒候期プロダクト

Ef 全球予報

境長期再解析

Kcf 気候解析(JRA3Q)延長予報

Sgl 領域大気汚染気象予測

Aer エーロゾル解析･予報

海洋

Nm 全球沿岸波浪予報

Ns 浅海波浪予報

Tg アジア域高潮予測

Ts 日本域高潮予測

Ceb 季節予報前処理

Ep 全球予報プロダクト

Msv/Mbl メソアンサンブル初期摂動

Coa 全球海洋データ同化

Sst 海面水温解析

Me メソアンサンブル予報

Ne 波浪アンサンブル予報

Te 日本域台風時高潮確率予報

Ce 季節アンサンブル予報

Sstp 海面水温プロダクト

Mep メソアンサンブルプロダクト

Oda/Oea 日本沿岸海況監視解析

Oef 日本沿岸海況監視予報

Cep 6か月プロダクト

Gsv 全球アンサンブル初期摂動

Ha 局地解析

Oep 日本沿岸海況監視プロダクト

Ge 全球アンサンブル予報

Hf 局地予報Gwp 全球アンサンブルプロダクト

Hp 局地予報プロダクト

解析・検証他

Gtp 台風予報プロダクト

Qa 三十分大気解析

Aa 天気図支援地上解析

Bi 観測データバイアス計算

Gem 全球アンサンブル予報(1か月)

Av 航空高層断面図

Wt WAFS WINTEM図Wx WAFS 悪天予想図

K2wpr 2週間予報プロダクト
K1[fs]pr 1か月予報プロダクト

2024/08/06 SS研HPCフォーラム14

業務処理の構造と用語
JG（ジョブグループ）

AAA
各ジョブ間には実行順序依存関係がある

START「ジョブ」は、バッチ投入の単位。
各ジョブでは、1つのスクリプトを実行ジョブジョブB

A

JG間にも実行順序依存関係がある

ステップ 100ステップ 110

ジョブC

モジュール
（プログラム）１つのロードモジュールの実行が、1ステップジョブD

JG BBB

ステップ XXXEND

JG CCC

2024/08/06 SS研HPCフォーラム

15

JGのジョブネット
（ジョブの実行順序）の例

陸面モデル
予報計算
積雪深解析
地面解析

JG：Ma_ex

JGの開始

観測データを結合

観測データの種別に応じた品質管理

解析（四次元同化計算）
本体
解析対象開始時刻の初期値作成
解析値作成のための解析対象期間の予報計算

注）最新の数値予報ルーチンとは異なる場合があります

JGの終了
2024/08/06 SS研HPCフォーラム16

ジョブグループ間のデータ依存関係の例
00 UTC

02 UTC

Da1204 UTC

03 UTC

Da00

Da18

全球サイクル解析
06→12
12→18
予報と解析

Ea00

Gsv00

Ge00

全球EPS
SV

全球EPS
00→132132→264

全球速報解析
18→00
予報と解析

01 UTC

Da06

全球サイクル解析
18→00 00→06
予報と解析

Ep00
全球ガイダンスとプロダクト

Ef00
全球予報
00→132

Nm00
波浪予報

Em00*
境界値作成
Ma00

Ma03

メソ解析
21→00
予報&解析

メソ解析
00→03
予報&解析

Mp00
Mf00
メソ予報
00→78

メソガイダンスとプロダクト

Mp03
メソガイダンスとプロダクト

Mf03
メソ予報
00→39

Ts00
高潮…
境界値

*メソ・局地モデルでは最新の境界値でなくても動作可能
注）最新の数値予報ルーチンとは異なる場合があります

Ha03

Ha04

Ha05

局地解析

局地解析

局地解析

Hf03

Hp03

Hf04

Hp04

Hf05

Hp05

局地予報
0→18

局地プロ
ダクト

局地予報
0→10

局地プロ
ダクト

局地予報
0→10

局地プロ
ダクト

2024/08/06 SS研HPCフォーラム17

ジョブグループ依存関係の全体像
実時刻（UTC）

概念図(概要)
再掲 Ma18Ma00
Ma2100 Ea00

Ea18

Da18
Da121806
Da00
Da06

Ma15

Ma03

Ea12

Ma06

Ea06

12Ma09Ma1209

12
Ma09

La09

La1015
Ma12

La11

La12

La13

La14

2024/08/06 SS研HPCフォーラム18

ジョブグループ依存関係の全体像
実時刻（UTC）

全体図
概念図
(概要)
再掲 Ma18Ma00
Ma2100 Ea00

Ea18Da18Da121806Da00Da06

Ma15Ma03

Ea12Ma06

Ea06

12Ma09• 業務処理全体の巨大化・複雑化→ 20年程前に、破綻の危機に

Ma120912Ma09

La09

La1015⇒ システム的な管理の導入へ

Ma12
La11

La12

La13

La142024/08/06 SS研HPCフォーラム

19業務処理のワークフロー制御•

ワークフロー制御のため、内製ツール「ROSE」を用いて、数値予報システムの運用と開発を実施––•

定時時刻起動（定時性の確保）
ノード障害等の異常時の再実行機能（可用性の確保）

DBMSを用いて、各種情報を管理–

ジョブ間・ワークフロー間の依存関係
•

–
–
–

各処理単位の入力ファイル・出力ファイルすべて各ジョブの構成要素（ソースや定数ファイルと、そのリビジョン）
業務処理の実行状況
PostgreSQLとRubyによる実装•

可用性に関してはスパコン自体を主副二重系で構成し、耐障害性を確保•

リアルタイムジョブ（運用ジョブ）と開発ジョブ（リアルタイム性不要）を同居させるため、ノードスケジュー
ラを開発
左図はノードスケジューラの状況「10」のノードは10分以下の開発ジョブしか実行できない（＝まもなくリアルタイムジョブをここで実行する）「180」のノードは180分以下の開発ジョブが実行可能（＝向こう３時間はリアルタイムジョブ実行予定がない）
この数字は動的に更新され、リアルタイム実行に必要な資源を確実に確保しつつ、開発用にも資源を随時解放できる
2024/08/06 SS研HPCフォーラム20

業務処理における要請（なぜ、こうなっているか）• 異常発生に際して、可及的速やかな回復・復旧が必要– 「適切な単位」での「再実行」（または「代替処理」）による回復が基本– 「再実行の単位」を、「ジョブ」としている– ジョブ間のデータ受け渡しは、永続的でありたい → ファイル渡し• 処理の状態遷移で重要なアトミック性の確保にも、ファイルシステムの機能（renameシステムコール等のアトミック性）を活用• 冪等性の確保を中心とした、いくつかの厳しい規則も– 入力と出力は、独立させる（入力を書き換えることは、禁止）– 「現在時刻」の参照禁止（時刻情報は、制御処理が与える）• 規則が自然に反映されるツール類も整備・活用
2024/08/06 SS研HPCフォーラム

21

「ROSE」の機能概要• ROSE外部の関連DBとの連携– 各ジョブの構成要素・入出力ファイルの情報を管理– ジョブ・ジョブグループ間の依存関係を管理• 実行管理サーバ– 業務処理実行状況を管理（時刻・条件に応じたジョブ投入、状況把握）– ノード資源のスケジュール制御• ユーザインタフェース– 業務処理実行状況を表示– 異常となった処理に関する手動介入操作– 異常発生に伴う運用者の行動支援（対応マニュアル表示）
2024/08/06 SS研HPCフォーラム22

３．数値解析予報実験システム「NAPEX」

2024/08/06 SS研HPCフォーラム

23

「実験システム」の動機• （理想実験ではない）実データを使った試験のためには– 適切な初期値（や、領域モデルでは境界値も）が必要– 統計的な比較評価のために、一定期間を対象とした蓄積が必要• いずれも、解析予報サイクルの実行が必要– 観測データだけでなく、複数回に及ぶ計算データの引継ぎなど、取り回しが非常に複雑になる– 対照計算も含め、実験に用いるデータやプログラムの管理も大変⇒ システム的な支援が求められた：2001年頃から開発開始
2024/08/06 SS研HPCフォーラム24

例：入力データの選択・準備
業務処理

業務処理：
リアルタイムで実行するため、Da,Oz,Dc の最新データが黄色で示したものであると容易にわかる

解析予報実験

例：Eaの実行にDa, Oz,Dcの最新データが必要であるとき

解析予報実験：過去の計算を行うため、当時の最新データがどの時刻のものなのかを判別しなければならない
2024/08/06 SS研HPCフォーラム

25

NAPEXによる「実験」作業
1. 「標準実験環境」の準備（管理者による）• 現業化された開発成果などをマージしたもの• 基本的に最新の業務環境に準ずる• 必要に応じて標準実験環境によるコントロール（対照）実験を実行

管理者

登録
実験環境リポジ
トリ・ＤＢ

・実験設定
・ソース・スクリプト・定数ファイル…etc

2. 「実験環境」の登録・実行（開発者による）• 雛形実験から実験環境を構築し、実験• 標準実験、他の開発者の実験なども指定可能

実験環境リポジトリ・ＤＢ

開発成果の業務化！
標準実験にも反映
登録開発者

環境

変更Ａ

変更Ｂ

実
験

雛形となる実験
手元の実験環境を改修雛形となる （リポジトリ・ＤＢにも反映される）環境を指定して、実験設定を登録 実験環境一式を実験
チェックアウト

スケジューラ使用

結果

2024/08/06 SS研HPCフォーラム

検証・評価
26

「NAPEX」の特徴• 複雑な処理・データ取り回しの支援– 知見・技術の共有：作業の効率化• バージョン管理– 再現性の確保• 業務システム（ROSE）との連携・共通化– 業務への組み込みを前提とした開発作業

2024/08/06 SS研HPCフォーラム27

4．気象庁の取組

2024/08/06 SS研HPCフォーラム28

気象庁HPCの歩み

2024/08/06 SS研HPCフォーラム29

近年の数値予報技術開発• 気象庁の取組：平成30年（2018年）～– 交通政策審議会気象分科会提言「2030年の科学技術を見据えた気象業務のあり方」– 気象庁「2030年に向けた数値予報技術開発重点計画」•

令和3年（2021年） ～– 線状降水帯の予測精度向上等に向けた取組の強化・加速化– 観測の強化、予測の強化 ⇒ 情報の改善「富岳」を活用した数値予報モデル開発の加速化• 令和3年度から、「富岳」の政策対応枠を活用し、局地アンサンブルや全球モデルの開発を実施中。令和4年度から、高解像度（1km）局地モデルのリアルタイムシミュレーション実験を実施。
• 業務向けの開発システムとほぼ同様の実験システムを「富岳」へ移植。
令和5年度から、公募による共同研究（観測データ高度利用に係る研究3件）を開始、研究機関等と連携した開発を推進。

スーパーコンピュータ「富岳」

文部科学省

開発を加速化「富岳」リアルタイムシミュレーション実験

理化学研究所
大学等
研究機関
気象庁

2024/08/06 SS研HPCフォーラム30

5．まとめ2024/08/06 SS研HPCフォーラム

31

まとめ
気象庁では、業務システムの重要な要素としてHPCを活用している天気の数値シミュレーション「数値予報」を24時間・365日、欠かすことなく実行• 観測データを用いる気象計算は、処理やデータの取り回しが複雑– 現象の規模に応じたモデル（の組み合わせ）が必要＋「解析予報サイクル」が必要– ジョブの実行状況監視や、後続ジョブの投入条件設定と制御、資源の予約など、ワークフローの管理には高度な機能が必要• 業務処理では、確実な実行と厳しい時間制約が求められる– 「ジョブの再実行」による状況回復 → ジョブの実行に関する冪等性が重要– 冪等性≒再現性の確保は、検証のためにも重要– 受け渡しデータは永続性≒ファイル渡しが必要：ストレージ/ファイルシステムが非常に重要• 開発作業では、大規模で複雑な処理の再現性確保が重要– 支援機能によって、使うデータや周辺処理も含めたバージョン管理も– 業務処理と共通の道具が活用できれば、開発成果の業務化作業も、より円滑に– 開発においても、冪等性・可用性・定時性は重要
2024/08/06 SS研HPCフォーラム

32

参考文献
• 気象庁情報基盤部、2024: 令和5年度 数値予報解説資料集
https://www.jma.go.jp/jma/kishou/books/nwpkaisetu/nwpkaisetu.html• 気象庁予報部、2017: 数値予報モデル開発のための基盤整備および開発管理、平成28年度 数値予報課報告・別冊 第63号
https://www.jma.go.jp/jma/kishou/books/nwpreport/nwpreport.html

2024/08/06 SS研HPCフォーラム

33