最近の天気予報に関する技術開発の動向
平成２２年７月１４日
神戸大学
気象庁予報部 数値予報班長 室井ちあしJapan Meteorological Agency

天気予報の役割

Japan Meteorological Agency

天気予報の流れ
観測資料

高層観測

気象衛星

航空機
船舶

レーダー

アメダス

実況監視
スーパーコンピュータ

予測資料
数値予報資料

予報
作
成

警報
作
成

予報作業 情報発表
気象庁HP
関係機関
報道機関
民間気象事業者国民（エンドユーザ)
Japan Meteorological Agency

テレビ、携帯電話、インターネット等

天気予報のニーズと技術的課題
時間スケールニーズ（例）

気象庁の主な情報

技術的課題

〜１日

大雨・台風に対する備えや避難注意報・警報
天気予報

短時間予報、ナウキャスト技術開発、豪雨メカニズム解明

１日〜３日

上記のほか、交通の安全・効率的運行
黄砂・スモッグ
太陽光発電、風力発電の量的予測

天気予報

スーパーコンピューター整備による数値予報の高度化（物理過程高度化、観測データ同化の推進）
アプリケーションの高度化

３日〜１０日レジャー、農業対策

週間予報

台風予報（転向・発達衰弱のメカニズ
ム、必要な観測網）

１０日〜１か月

産業活動の効率化

季節予報

マッデンジュリアン振動、モンスーンの予測可能性

１か月〜

天候の移り変わり、農業
対策

季節予報

大気海洋相互作用

１０年〜

地球温暖化対策
洪水への備え温暖化予測情報

モデルの不確実性の低減

Japan Meteorological Agency

災害原因別 死者･行方不明者

Japan Meteorological Agency

近年の災害例‐１
避難勧告等の判断・伝達に課題
避難勧告を受けても避難しない
高齢者等の災害時要援護者が被災Japan Meteorological Agency

近年の災害例‐２【竜巻・突風 災害】
平成17年12月25日 山形県庄内町（F1：死者5名）
平成18年9月17日 宮崎県延岡市（F2：死者3名）
平成18年11月7日 北海道佐呂間町（F3：死者9名）
平成21年7月19日 岡山県美作市（F2：負傷者2名）
平成21年7月27日 群馬県館林市（F1~2：負傷者21名）
平成21年7月19日岡山県美作市91

平成20年7月28日兵庫県神戸市!"#$% &'()

81

@A()

*+,-. $/071

B( CDEFG()

61
51
41
31
21=>31<=>26<=>21<=>6<:;74<:;69<:;64<:;59<1:;54<【落雷災害】
落雷により毎年数名の方が亡くなっている。平成21年5月24日には兵庫県でジョギング中に落雷で死亡する災害があった。

?

親水公園の急な増水【局地的な大雨（急な増水）災害】
平成20年7月28日 兵庫県神戸市（死者5名）
平成20年8月5日 東京都豊島区（死者5名）
平成21年8月19日 沖縄県那覇市（死者4名）

数分後

神戸市提供

Japan Meteorological Agency

細分区単位の発表→市町村単位の発表
現行：
細分区域単位の大雨警報

平成１９年７月６日９時４２分発表
熊本県 大雨警報

熊本県の細分区域大雨警報

大雨注意報

平成22年から：市町村単位の大雨警報
熊本県の大雨警報・注意報
発表・解除シミュレーション（平成１９年７月６日１０時０0分頃）

気象レーダーのエコー（平成19年7月6日10時）

大雨警報

大雨注意報

Japan Meteorological Agency

数値予報技術Japan Meteorological Agency

数値予報• 「コンピュータ・シミュレーション」は、理論、実験に次ぐ、第3の科学• 地球大気について、観測は不規則で十分でなく、古典的予報手法では社会のニーズに応えられない• 計算科学の進歩の後押しも受けながら、「気象のシミュレーション＝数値予報」が、５０年の時間をかけて進化• 数学、物理、それらの応用による「学際的研究開発」により、国民の安心安全に直接貢献
Japan Meteorological Agency

数値予報開始50年と計算機50年前の計算機の数10億倍

リチャードソンの人力数値予報の夢
Japan Meteorological Agency

数値予報モデルの発展
œ K?AB"#=#&'

Jœx_•=A%Až=A%A\"#>?&B=#&>Jœx_•$?AAž$$AA"#?'&$

Jœx_•
K¡%AAJ!!!!!"#$%&'

Jœx_•8M¡$"Až%AŸ
Jœx_•8K¡>$AJ" # $ ? & # 8ž & " %Jœx_•Jœ
M¡'$AAžB$A"##>&'%AA"&'Jœx_•Jœ
Mi$AAA¢"

Jœx_•JœMi""AAAžŸ"%AA>&'( ) * + ,- . / + 0 10 2 3 45 67 89' $ " :; <?%&=
アンサンブル予報モデルは除く( ) * + ,- . 5 67 89' $ " :; 8@ ' <?A&B( ) * C DE F GH 5 67 8IJK89' $ " :; 8@ B <?=&"IJK89' $ " :; 8@ $ <( ) * . L417 5 67 8JMK89% $ A :; 88@ " % <$'&'$$&'
N * 5 67 8O MK89% $ A :; 88@ " % <O MK89" $ A :; 88@ " > <P Q P R S T U 5 67 89' A B & $ :; 8@ B <$$&'O MK89" " A :; 88@ % " <>"&#?A&B$#&""
O MK89> A :; 88@ ' A <P Q P / C DE F GH / VWX- Y 3 Z [ 5 67 8\ @ K89" = % & B :; 8@ > <O MK89> A :; 88@ B A <]E,^,-Q [OMK?'&"A\ @ K89" % ? :; 8@ " A <89> A :; 8@ B A <\ @ K89" % ? :; 8@ " % <A=&%$'&'P Q P 5 67 8_MK89? = :; 8@ " > <$$&']E,^,-Q [OMK8` a b c d e 5 67 8f\ K89> ' & = :; 8@ " " <9% A :; 88@ > A <$'&'
f\ K89> ' & = :; 8@ " ' <$B&""` a b 5 67 8g MK89B A :; 8@ " # <$=&B$$&'#%&'g MK89' A :; 8@ % ' <h b 5 67 8iMK89% A :; 8@ ' > <iMK89% A :; 8@ B A <#$&'r U + ,- . / + 0 10 2 3 45 67 89' $ " :; <8>'&#Y jklmn5 678opqKMK89"A:; 8@'><opqKMK89"A:; 8@BA<
sopqKMK9"A:; 8@BA<AB&#

r U ' t u 5 67 8KIO 8v ' $ " w " # " w # = :; 8@ ' <r U 5 67 8xyK89= A :; 8@ $ z$$&'
xyK89B A :; 8@ " = <モデル名称、モデル略称（水平格子間隔、L：鉛直層数）
運用開始年．月{| }!~•€•kl‚ƒmnZ . F „•. …†…‡- 2 […ˆ…‰klŠ~mn5 67•‹ŒvP - •- H 7mn5 67Ž••‘’“”Ž•–‚—˜‰™š›kz
試験運用
本運用

sopqKMK89=:; 8@=A<xyK89% B :; 8@ % = <Japan Meteorological Agency

数値予報モデルが支える気象庁の業務
オゾン層（紫外線）監視・予測

エーロゾル（黄砂）監視・予測

海況監視・予測
地球温暖化予測

温室効果ガス監視海洋モデルと同化システム

化学輸送モ
デル
大気汚染
物質輸送モ
デル
火山灰監視・予測
海氷モデル

基盤モデル技術

気候系監視

結合

エルニーニョ予報

季節予報

全球大気モデルと同化システム

週間予報

海氷監視・予測
台風予報
波浪モデル

メソモデルと同化システム

波浪監視・予測

短期予報

観測システムの評価・設計
海上予警報業務

航空予報
降水短時間予報Japan Meteorological Agency

全球モデルによる予報例

Japan Meteorological Agency

なぜ予測ができるのか
数値予報の原理
432• 最初の状態がわかり• 現象を支配する法則がわかれば1 秒後0 秒後初期の状態から次々に予測原理的に予測可能

しかし
ボールの軌道計算のようには簡単ではない
Japan Meteorological Agency

数値予報の計算の中身

格子（箱）に観測データを反映、それを出発点に右の計算
流体力学や熱力学の方程式

Japan Meteorological Agency

数値予報の流れ

Japan Meteorological Agency

観測データ分布図(平成21年7月28日21時)

地上観測 (観測所・船舶・ブイ)

高層観測 (ゾンデ・航空機・ウィンドプロ
ファイラ・ドップラーレーダー)

静止衛星観測極軌道衛星観測Japan Meteorological Agency

衛星データの利用
GOES(米)75W

GOS；Global Observing System
GOES(米)135W

GMS(日)
140E

METEOSAT(欧)0E
METEOSAT(欧)63E

NOAA(米)；２機
極軌道

Japan Meteorological Agency

WMOホームページから

気象庁の数値予報
予報モデル

モデルを用いて発表する予報

予報領域と水平解像度

予報期間

実行回数

メソモデル

防災気象情報航空気象情報

日本周辺
５K m

15時間
33時間

1日８回

全球モデル

週間天気予報
府県天気予報航空気象情報
台風予報

地球全体
20K m

9日間
3.5日間1日４回

週間アンサンブ
ル予報モデル

週間予報

地球全体
60K m

9日間
51メンバー

1日1回

台風アンサンブ
ル予報モデル

台風予報

地球全体
60K m

5.5日間
11メンバー

1日4回

Japan Meteorological Agency

数値予報モデルの計算領域と地形
全球モデル

メソモデル

格子間隔 ~20km

Japan 格子間隔
Meteorological5km
Agency全球数値予報改良と精度の推移
対流パラメタリゼー
雲スキーム改良
対流パラメタリゼー
ション改良
60km30層 ション改良
60km40層 QuikSCAT
放射スキーム
MODIS
利用
改良
利用
3次元変分法 ATOVS
直接利用
SSM/IとTMIの利用
変分法バイアス補正

セミラグ化

20km60層

4次元変分法モデル高度化と、データ利用推進が精度向上に有効Japan Meteorological Agency

全球予報の精度向上
最近の３日先予報は1980年代半ばの１日先予報にほぼ匹敵する精度を有する。

上空約5000mの大気の流れ（500hPa高度）についての、数値予報の誤差（平方根平均２乗誤差）を北半球全体で平均した後に１ヶ月平均したもの（短い横線は年平均）Japan Meteorological Agency

台風アンサンブル予報例
進路予報の信頼性を事前評価
2007年7月29日12UTC
台風第5号

2007年9月2日18UTC
台風第9号

Japan Meteorological Agency

高度化した数値予報
超高解像度化

予報モデル
全球モデル
領域モデル

決定論的予報

初期値
観測
品質管
理情報
望まれる観測網

第一推定値
データ

データ同化
観測システム
品質管理
客観解析

拘束条件

バイアス
情報

モデル

確率的予報
予測可能性情報

初期値

アンサンブル
誤差評価

初期擾乱作成メンバ数の確保
変分法・LETKF

実況監視

モデル誤差の考慮

時間

Japan Meteorological Agency

数値予報の課題

Japan Meteorological Agency

＃ 大規模・総観規模（台風や温帯低気圧）
観測 ○
数値予報 ○（全球）＃ メソ（α〜β）スケール低気圧、組織化した対流降水系
観測 ○/△ /×
数値予報 ○/△/× （メソ）＃ メソγスケール（個々の積乱雲）
観測 △ /× 数値予報 ×＃ 小規模（竜巻）
観測 ×

数値予報 ×Japan Meteorological Agency

世界の数値予報モデル
全球モデル
国名またはセンター名

全球アンサンブル予報モデル
メンバ
数

領域モデルの格子間隔・予報期間 鉛直層数

格子間隔
鉛直層数

予報
期間

格子間隔
鉛直層数

日本

20km60層

9日間

60km60層51

9日間

5km50層

欧州中期予報センター（ECMWF)

16km91層

10日間

32km62層65km62層

51
51

10日間
+5日間なしイギリス（MetOffice)40km50層

6日間

90km38層

24

3日間

12km70層、4km60層フランス

37km60層

4日間

55km55層

11

2.5日間

2.5km60層ドイツ

40km40層

7日間

米国（NCEP)

52km64層105km64層

7.5日間
16日間

160km28層45

16日間

12km60層、4km50層カナダ

35km58層

10日間100km28層

20

16日間

10km58層

7km40層、2.8km50層なし

Japan Meteorological Agency

数値予報精度の 英国気象局 NWP index
国際競争
競いながら精度向上
数値予報による台風進路予報の誤差（ｋｍ）

UKMO
US-NCEP

ECMWF
JMA

DWD
Japan MeteorologicalAgency

数値予報技術の課題(社会のニーズを踏まえて）• メソ数値予報の改善（特に集中豪雨予測）– 災害の軽減のため、住民、地方公共団体の事前の避難等に使える予測情報– 水平境界の影響が強く、全球モデルも重要、将来は全球非静力モデル• 台風予報の改善（進路予測に加え、量的予測、発生予測等の改善）– 国内防災、アジア・太平洋地域の防災– 数値予報の総合性能を向上させる必要• 世界、アジアをリードする気象技術の実現
・ 台風、集中豪雨はアジアモンスーン地域共通の課題であり、この解決には世界最先端の研究・技術開発が必要、またそれで世界をリードすることが可能- モデリング技術として、積雲対流の精度向上は、メソから季節予報、温暖化予測に至るまで、共通する重要な課題。
- 衛星観測の利用技術についても、雲の同化が次世代の同化技術の一つの柱・ 気候変動に伴い、台風、集中豪雨の動向がどうなるかは、地域内各国の政策上も重要な情報
・ アジア・太平洋地域の防災、農業、航空等を支援する役割は国策上重要Japan Meteorological Agency

太線 : 数値予報モデル
細線 : 解析システム

数値予報モデルの長期計画
現在地
2122

23

NAPS-8週間アンサンブル全球モデル

24

25年度以降NAPS-9
TL319L60M51

６０ｋｍ

NAPS-10※変更の可能性あり
再予報

台風アンサンブル全球モデル

週間アンサンブル全球モデル

TL319L60M11
４０ｋｍ

TL959L60

台風アンサンブル全球モデル

TL959L100

２０ｋｍ
4次元変分法
TL319L60

T159L60
１０ｋｍ

アンサンブルカルマンフィルタ
メソアンサンブル
試験運用

メソモデル

5kmL504次元変分法 15kmL40
毎時大気解析
3次元変分法

全球非静力学
モデルの導入10kmL60M5
１日４回、４２時間予報
5kmL75、３３→３９時間予報

５ｋｍ

２ｋｍ

TL479L80M25)

海洋混合層結合
全球モデル

全球モデル

水平解像度TL479L100M51

10kmL75
高解像度局地モデル

2kmL603次元変分法31

Japan Meteorological Agency

LFMの試験運用

32• 概要– 飛行場予報プロダクト開発支援装置(SX-9 3ノード)で、局地モデルを継続的に運用し、プロダクトを試験的に主に航空気象ユーザーに提供する。
– プロダクト提供対象領域は、成田国際空港・羽田空港を対象とした300km四方の領域。

• 仕様– 解像度 水平2km、鉛直60層– 領域
1600km x 1100km(800 x 550 格子)– 予報頻度 1日8回9時間予報(初期時刻は、00, 03, 06, 09, 12,15, 18, 21UTC）

Japan Meteorological Agency

局地モデル（LFM）の開発

2013年運用開始予定

予定仕様
水平解像度2km, 鉛直60層

1日24回9時間予報

MSM(5km)

力学的短時間予報

降水短時間領域を力学的予報
飛行場予報

飛行場において重要となる局地的気象現象の予測

LFM(2km)33
Japan Meteorological Agency

7月5日局地的大雨（東京）:モデル間の違い
解析雨量

LFM（FT=3）

2010/07/05
09UTC R1
LFM:領域・強度ともに実況に近い降水を予報
MSM（FT=6）

GSM（FT=9）

MSM：領域は実況に近いが降水強度が弱
いGSM：弱い降水を広範囲にJapan予報
Meteorological Agency

局地的大雨（東京）: LFM初期値の違い
解析雨量

LFM（ 06UTC初期値
FT=4）

LFM（09UTC初期値
FT=1）

LFM（ 03UTC初期値
FT=7）2010/07/05
10UTC R1
FT=1:東京で地上風の収束は表現されているが、降水は表現されていない
FT=4:実況に近い予報
FT=7：降水強度が弱い
Japan Meteorological Agency

7月２日局地豪雨（九州南部: LFM初期値の違い
解析雨量

LFM（12UTC初期値
FT=5）

LFM（15UTC初期値
FT=2）

LFM（09UTC初期値
FT=8）2010/07/02
17UTC R1

直近の15UTC初期
時刻ではほとんど降水を予想していないが12UTC、09UTC
初期時刻の予想では概ね正しい位置に降水を予想している。ただし、解析雨量で100mmに対して50mm弱程度でありやや弱い。
Japan Meteorological Agency

大学との連携・期待Japan Meteorological Agency

大学との連携（現状）• 気象研究コンソーシアム（気象学会）– GPVの利活用推進– http://www.mri-jma.go.jp/Project/cons/index.html• モデル開発プラットフォーム– 現業モデルの貸与• 共同研究– 競争的資金の活用• 気象学会での交流– 研究連絡会• 地方気象台との交流

Japan Meteorological Agency

大学に期待すること（私見）• 人材育成– 「人材」は、何にも代え難い宝• 数値モデル、データの共同利用– 現業モデル以外にも、役に立てる／共同で取り組めることが山積– 次世代スパコン「京」では、All Japan 構想も• メカニズムの解析、検証– 現場・地方の人の方が詳しいことはよくある要望に応えていきたいJapan Meteorological Agency

GPU によるメソスケール気象モ
デル ASUCA の高速化
下川辺 隆史（東京工業大学）
青木尊之（東工大）、石田純一、室井ちあし（気象庁）

Japan Meteorological Agency

GPU (Graphics Processing Unit) とは
 もともと PC の3D描画専用の装置
 CG技術の向上とともに、programmableへ
 並列計算処理性能が高い
 ~ 240 の演算ユニット
 ~ 1 TFlops / board

 メモリバンド幅
 ~ 160 GB/sec

 低価格
 1 TFlops ~ $400
Japan Meteorological Agency

GPU and CPU
10007505002500

From NVIDIA̲CUDA̲Programming̲Guide̲2.3

42Japan Meteorological Agency

GPGPU General Purpose computing on GPU
 GPU を流体計算、N 体問題、FFT などに利用する
 開発環境.

 CUDA (NVIDIA) ATI Stream (AMD) OpenCL (Khronos Group)

Graphics

流体計算

GPGPU による H ig h -p erform ance computing へJapan Meteorological Agency

数値予報と GPGPU The Weather Research and Forecast (WRF) の GPU 利
用= Computation neck モジュールをGPUで部分的に加速 雲微物理モジュール WSM5 (WRF Single Moment 5-tracer)*水物質(水蒸気、 雲水、雨水、雲氷、雪)の混合比を予報
WRF の 1 % のコード、25%の実行時間⇒ 20 x 高速化( アプリケーション全体で 1.2-1.3倍の高速化）

領域化学輸送モデル WRF-Chem**
特定の領域における汚染気体の輸送や化学反応⇒ 8.5 x 高速化* Michalakes, J. and M. Vachharajani: GPU Acceleration of Numerical Weather Prediction. Parallel Processing Letters Vol. 18 No. 4.
World Scientific. Dec. 2008. pp. 531̶548**John C. Linford, John Michalakes, Manish Vachharijani, and Adrian Sandu. Multi-core acceleration of chemical kinetics forJapanAgency
simulation and prediction, proceedings of the 2009 ACM/IEEE conference on supercomputing (SC'09),
ACM,Meteorological2009.

ASUCA の GPU による高速化
 ASUCA

気象庁によって開発中の次世代メソスケールモデ
ルFortran によって開発中
 ASUCA の GPU アプリケーション化により
 フルGPU による数十倍高速化の実現
 高精度・大規模計算の実現
 低コスト 低消費電力 省スペース

実用アプリケーションへのフルGPU 利用
Japan Meteorological Agency

ASUCA : 支配方程式
 完全圧縮・非静力学方程式系
 フラックス形式
 一般座標系


運動方程式



温位の式
•Momentum :•Potential temperature :



連続の式

•Mass-virtual potential temperature :•Density :•Pressure :•Constant reference value of pressure :•Gravitational acceleration : 状態方程式•Gas constant :•Specific heat at constant pressure :•Specific heat at constant volume :•Force terms of the physical processes :•Force terms of the physical processes :•Jacobian :•Jacobian :Japan Meteorological Agency
46

ASUCA : 支配方程式
 water substances の式

water substances : Water vapor
 Cloud water Rain Cloud ice Snow
 Graupel Hailstone

47

Japan Meteorological Agency

GPU版ASUCAの初期の開発環境
 開発環境 GPU : NVIDIA GeForce GTX 285 (VRAM 2Gbyte)
浮動小数点ピーク性能 1063 GFlops
ピークメモリバンド幅 159 GB/sec
 CUDA 2.3
 Host Computer

GPUs
主電源CPUAMD Phenom 9750 Quad(2.4 GHz) x 4
メモリ 8 GByte

メモリ

Japan Meteorological Agency

ASUCA on a single GPU

49

Japan Meteorological Agency

アプローチ: WRF on GPU
 WRF
 モジュール単位の加速（アプリケーション全体はCPU実行）

WSM5

WRF-Chem

WRF
CPU

MemoryDDR3-1600
12.8 GB/s

GPU
1000BASE-T
0.125 GB/s

VRAM

GTX 285
159 GB/s

PCI Express 2.0 x16
8 GB/sInfiniBand QDR 4x
4 GB/sBottleneck!!!!
< 2Meteorological‒ 3 x Agency
Japan50

アプローチ: ASUCA on GPU
 ASUCA フル GPU アプリケーション
 全変数をGPU上のメモリに確保

全計算をGPU上で実行

ASUC
A
CPU

MemoryDDR3-1600
12.8 GB/s

GPU
1000BASE-T
0.125 GB/s

GTX 285
159 GB/s

VRAM
PCI Express 2.0 x16
8 GB/sInfiniBand QDR 4x4 GB/s
51

> 10 xJapan Meteorological Agency

CPU

初期値の入力GPU

初期値Long time step

移流項

GPU版
ASUCAの計算

Coriolis 力

Short time step
水平気圧傾度力
鉛直気圧傾度力 + 重力
（1次元 Helmholtz 方程式）
連続の式
温位の更新
圧力の更新（状態方程式）
降水量

境界値データ

境界値の更新
物理過程

予報の出力

データ転送

Japan Meteorological Agency

単一GPUによる ASUCA の演算性能
sin g le p recision / GPU44.3 GFlops(83.4 x Serial Fortranon AMD Opteron 2.4GHz)

d oub le p recision / GPUd oub le p recision / CPU (orig inal F ortran)

山岳波実験、single precision
NVIDIA Tesla S1070 card

320 x 256 x 4853Japan Meteorological Agency

ASUCA on Multi-GPU

54

Japan Meteorological Agency

Tokyo Tech
TSUBAME 1.2
Voltaire ISR9288 Infiniband x8
10Gbps x2 ~1310+50 Ports~13.5Terabits/s(3Tbits bisection)

Storage
1.5 Petabyte (Sun x4500 x 60)
0.1Petabyte (NEC iStore)
Lustre FS, NFS, CIF, WebDAV (over IP)
60GB/s aggregate I/O BW

NEC SX-8i

500GB48disks

10,000 CPU Cores
Unified Infiniband 300,000 SIMD Cores
network~900TFlops-SFP,
GCOE TSUBASAHarpertown-Xeon~170TFlops-DFP
90Node 720CPU
8.2TeraFlops
80TB/s Mem BW (x2 ES)

10Gbps+External NW

NEW: co-TSUBAME
72Node 586CPU (Low Power)~5TeraFlops

Sun x4600 (16 Opteron Cores)

32~128 GBytes/Node10480core/655Nodes
21.4TeraBytes
50.4TeraFlops
OS Linux (SuSE 9, 10)
NAREGI Grid MW

PCI-e

ClearSpeed CSX600
SIMD accelerator
360 648 boards,
35
52.2TeraFlops

170-Nvidia Tesla S1070: total 680 GPU cards
High Performance in Many BW-Intensive Apps
10% power increase over TSUBAME 1.0 (130TF SFP / 80TF DFP)
Japan Meteorological Agency
55
55

マルチGPU : 領域分割z 2次元分割
単一GPU複数GPUyxdecompose

56

Japan Meteorological Agency

マルチGPU : Halo exchangeGPU

PCI Express (cudaMemcpy)

CPUMPIyx

57

Japan Meteorological Agency

通信と計算のオーバラップ
 Optimization 1

Exploits data
independence within asingle variable
GPUCPUGPU

Data exchange

Computation
HaloCPU

Inside

D2H

MPI

H2D

D2H : GPU to CPU
H2D : CPU to GPU

58

Japan Meteorological Agency

通信と計算のオーバラップ
 Optimization 1

Exploits data
independence within asingle variable
Computation

InsideHaloGPU

CPUCPUGPU

Data exchange
D2H

MPI

H2D

D2H : GPU to CPU
H2D : CPU to GPU

Overlap
Comp Data exchange
Stream0

Halo

D2H

MPI

H2D

Computation
Stream1

Inside59Japan Meteorological Agency

通信と計算のオーバラップ
 Optimization 2

Exploits inter-variableindependence

GPUCPUCPUGPU A p p lied to ad vection of w ater sub stances
Computation

Data exchange

variable0
variable1
variable2

60

Japan Meteorological Agency

マルチGPUによる ASUCAの演算性能15.0 TFlops
GPU, オーバラップ

6956 x 6052 x 48
528 (22 x 24) GPUs

GPU, 非オーバラップ

CPU
山岳波実験、single precision NVIDIA Tesla S1070 cards on TSUBAME

61

Japan Meteorological Agency

実データを用いたGPU版
ASUCAの計算例
 6時間先まで予報した例

計算格子: 1900 x 2272 x 48
使用GPU数: 54GPUs
水平解像度: 500m
タイムステップ: 0.5sec
120GPUを用い、計算格子 3164 3028 48で、水平解像度 2km、タイムステップ 5sec で計算を行う場
合、日本列島全体をカバーする範囲の6時間の気象計算を70分で行うことが可能
台風の気象計算：
色は降水量、数字は気圧、矢印は風向を表す。
62

Japan Meteorological Agency

まとめ
気象庁次世代メソスケールモデル ASUCA の GPU による高速化について報告した。


単一GPUによる ASUCA
 フルGPUアプリケーションとして開発
 計算格子 320 x 256 x 48 に対して単精度計算で 44.3 GFlops を達成（Tesla S1070 cardを利用） オリジナルの ASUCA (Fortran, Opteron 2.4GHz x 1 core)と比較し単精度計算で83.4 x、倍精度計算で 26.3 x の高速化を達成
TSUBAME を利用したマルチGPUによる ASUCA
 通信と計算のオーバラップ手法の導入
 計算格子 6956 x 6052 x 48 に対して単精度計算で528GPUを利用して15.0 TFlops を達成
今後は 2010年11月稼動予定のTSUBAME 2.0 の 4000+ GPUs を利用して計算格子 12000×12000×100 程度の計算を行う。150TFlops達成を目標。
63

Japan Meteorological Agency