AWS Graviton2を用いた気象数値予報モデルの性能評価と運用HPCシステムのご紹介
2021年8月26日
株式会社ウェザーニューズ
予報センター開発チーム
高橋一成

株式会社ウェザーニューズ
よく遊べ、たくさん遊べ、仲間と遊べ

OWN
Original Weather Numerator

2005~
2020~

AWS
ParallelCluster

https://aws.amazon.com/jp/solutions/case-studies/weathernews/

性能評価用のOWNモデル設定
計算領域：Japanエリア
●
●
●

出力変数
出力間隔
並列処理

I/Oの影響を
降水のみ最小限に10分毎
MPIプロセス並列

利用料金
USD/1hour/Instance ＠バージニア北部（2021/08/23時点）
オンデマンドスポット

c5n.18x

3.89

1.17

c6gn.16x

2.76

約30%

1.09

AWS ParallelClusterを用いたマルチノード計算システム＠c5n
On-premiseAWS
us-east-1 region

Main Cluster
AWS ParallelCluster

MasterAuto Scaling Group︙

Data
distribution
serverDirectConnect
Compute InstancesAWS Systems Manager Session
Manager

Amazon EC2 C5nインスタンスは、向上したネットワークスループットおよびパケットレートパフォーマンスの利点を活かせるハ
イコンピューティングアプリケーション (ハイパフォーマンスコンピューティング(HPC) ワークロード、データレイク、ファイアウォールおよびルーターといったネットワークアプリケーション等) に最適です。
C5n インスタンスの最大 100 Gbps のネットワーク帯域幅および増量されたメモリは、C5 インスタンスを凌駕しています。
C5n.18xlarge インスタンスは Elastic
Fabric Adapter (EFA) をサポートしています。
https://aws.amazon.com/jp/ec2/instance-types/6

c5n.18x (36core)
EFA & Intel 19.1

全体の問題サイズを固定して投入ノード数を増やしていった場合（StrongScaling）、今回のモデル設定では、64ノード利用までスケールした。
ノード数と速度向上率のバランスから、今回のモデル設定では、16ノードの利用が良さそう。

(36)

(72)

(144)

(288)

(576)

(1152)(2304)
カッコはプロセス数

c5n.18xNumber of Nodes
1248163264

Run-time (min)

166

87

4624

138

5

SpeedUp12

4

7132133

Cost (USD)

10.8

11.3

11.9

12.4

13.5

16.6

20.7

AWS ParallelClusterを用いたマルチノード計算システム＠c6gn
On-premise

Amazon EC2 C6gnインスタンスは、Armベースの AWS Graviton2 プロセッサを搭載しています。このインスタンスは現行世代の C5nインスタンスよりも最大 40％ 優れたコストパフォーマンスと、最大 100Gbps のネットワークを提供します。
https://aws.amazon.com/jp/ec2/instance-types/AWS
us-east-1 region

Main Cluster
AWS ParallelCluster

MasterAuto Scaling Group︙

Data
distribution
serverDirectConnect
Compute Instances

Enabling Arm Architecture
Graviton2に最適化するためのコンパイラ
オプションとして以下を検討し、OWNを再コンパイル。

-march=armv8.2-a+fp16+rcpc+dotprod+
cryptoAWS Systems Manager Session
Manager

https://github.com/aws/aws-graviton-getting-started/blob/main/c-c++.md8

c5n.18x (36core)
EFA & Intel 19.1
vsc6gn.16x (64core)
EFA & gcc10.3
8ノードまでは純粋に速度向上が得られた。物理コアの差が効いたか？速度向上とノード単価の2効果でコストダウンを狙える結果。
16ノードではほぼ互角。32ノードでは速度低下の結果となった。プロセスあたりの問題サイズが小さくなりすぎたためと考えられる。

(32)

(64)

(128)

(256)

(512)

(1024)(2048)
カッコはプロセス数

c6gn.16x

Number of Nodes
1248163264

Run-time (min)

10252

32

181410SpeedUp

1236810

Cost (USD)

4.7

4.8

5.8

6.5

10.0

24.7

-Cost Reduction

8ノードまではノード単価と速度向上のダブル効果でコストダウンを狙える結果。
16ノードでは速度向上による効果はなくなるが、ノード単価による恩恵が26％残る。
32ノードでは、速度低下によるコスト増となった。
問題サイズに大きく依存する。

cost [USD]

Number of Nodes
1248163264

c5n.18x

10.8

11.3

11.9

12.4

13.5

16.6

20.7c6gn.16x

4.7

4.8

5.8

6.5

10.0

24.7

-

Reduction

56%

57%

51%

47%

26%

-49%

-運用システムの話

OWN高度化（クラウド移行）にあたって求められる3つの要件
パフォーマンス

コスト

信頼性（例）30分以内に24時間分の予報計算を完了させる

ビジネス的に適切なコストにおさえる

現行のシステムと同等以上の可用性

c5n.18xの場合は8ノード以上で達成可能

オンデマンドやSavings
Plansの適用以上にコストを削減したい

許容範囲は年に数回処理が失敗する程度

スポットインスタンスとはAmazon EC2 スポットインスタンスを使うと、AWS クラウド内の使用されていない EC2 キャパシティーを活用できます。
スポットインスタンスは、オンデマンド料金に比べ最大 90%の割引料金でご利用いただけます。
→ただし、余剰がなくなれば処理中であってもインスタンスが中断する可能性がある。

利用料金
USD/1hour/Instance ＠バージニア北部（2021/08/23時点）
オンデマンドスポット

c5n.18x

3.89

1.17

c6gn.16x

2.76

1.09

AWS ParallelCluster + フェイルオーバー構成
On-premiseAWS
us-east-1 region

ap-northeast-1 region

Main Cluster

Sub Cluster

AWS ParallelCluster

AWS ParallelCluster

MasterAuto Scaling Group

Auto Scaling Group

DirectConnect
Compute - Spot InstancesAWS Systems Manager Session
Manager

Amazon DynamoDB(status management)

︙

︙

Data
distribution
serverMasterCompute - On-demand Instances

Amazon DynamoDB(status management)

13

待機時
On-premise

気象データ

AWS
us-east-1 region

ap-northeast-1 region

Main Cluster
AWS ParallelCluster

AWS ParallelCluster

MasterData
distribution
server

Sub Cluster
MasterDirectConnect

Amazon DynamoDB(status management)

Amazon DynamoDB(status management)

14通常の計算処理の流れ
On-premise

気象データ

AWS
us-east-1 region

Main Cluster

Sub Cluster

AWS ParallelCluster$ sbatch run.sh

AWS ParallelCluster

MasterMaster

Auto Scaling Group︙

Data
distribution
serverap-northeast-1 region

DirectConnect
Compute - Spot Instances

Amazon DynamoDB(status management)

Amazon DynamoDB(status management)

15

通常の計算処理の流れ
AWS

気象データ

計算結果

On-premise

us-east-1 region

Main Cluster

Sub Cluster

AWS ParallelCluster$ sbatch run.sh

AWS ParallelCluster

MasterMasterAuto Scaling Group︙

Data
distribution
serverap-northeast-1 region

DirectConnect

Job実行の必要なし

Compute - Spot Instances

Jobの完了フラグをセット

Amazon DynamoDB(status management)

Amazon DynamoDB(status management)

16

通常の計算処理の流れ
AWS

気象データ

計算結果

On-premise

us-east-1 region

Main Cluster

Sub Cluster

AWS ParallelCluster$ sbatch run.sh

AWS ParallelCluster

MasterMaster
定期的にJobの状況を確認

Auto Scaling Group︙

Data
distribution
serverap-northeast-1 region

DirectConnect
Compute - Spot Instances

Amazon DynamoDB(status management)

Amazon DynamoDB(status management)

17

通常の計算処理の流れ
AWS

気象データ

計算結果

On-premiseus-east-1 region

Main Cluster

Sub Cluster

AWS ParallelCluster$ sbatch run.sh

AWS ParallelCluster

MasterMasterAuto Scaling Group

Auto Scaling GroupDirectConnect
Compute - Spot Instances

Amazon DynamoDB(status management)

︙

︙

Data
distribution
serverap-northeast-1 region

Compute - On-demand Instances

Jobの完了フラグをセット

Amazon DynamoDB(status management)

18

OWN高度化（クラウド移行）にあたって求められる3つの要件、の解決
パフォーマンス

コスト

信頼性

30分以内に24時間分の予報計算を完了させる

ビジネス的に適切なコストにおさえる

現行のシステムと同等以上の可用性

c5n.18xの場合は8ノード以上で達成可能

スポットインスタンスを利用した大幅なコスト削減

基本スポットで処理し、失敗したらオンデマンドで再処理を試みる

スポットインスタンス
非常に安価にインスタンスが利用できる反面、処理が中断する可能性がある。
フェイルオーバースポットを使うため、フェイルオーバーの発動をある程度許容する設計に。

まとめ
性能評価

運用システムAWS EC2 C6gnとC5nを用いて評価用OWNの性能評価を行い、C6gnはC5nに対して約57〜26％のコスト削減を得られる結果になった。

AWS ParallelClusterを使い、マルチリージョンのフェイルオーバーで信頼性を保ちつつ、スポットインスタンスの活用による低コストのHPC運用システムを設計。

発見:● ハイブリッド並列も含めたアプリケーション毎の最適解の模索● アプリケーションや問題サイズに起因する性能向上の限界

発見:● フェイルオーバーの発動をある程度許容する設計も必要

OWN@AWSの計算結果「ウェザーニュース」アプリで見られます！
12:0
0

13:0
0

他社
1時間間隔

ウェザーニュース

12:0
0

12:1
0

12:2
0

12:3
0

12:4
0

12:5
0

13:0
0

10分間隔

※1時間より先の予測

現在〜30分後

35分後〜1時間後

1時間後〜

他社

250mメッシュ/5分間隔

1kmメッシュ/5分間隔

1kmメッシュ/1時間間隔

ウェザーニュース

250mメッシュ/5分間隔

250mメッシュ/5分間隔

250mメッシュ/10分間隔

ダウンロード（無料）はこちら！（iOS版・Android版）→

https://weathernews.jp/app/ご視聴ありがとうございました