PCクラスタワークショップin 神戸2022

つくAWS ParallelCluster で創る
自分だけのクラウド HPC クラスタ

Specialist Solutions Architect, HPC
Daisuke Miyamoto
2022/06/23© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

宮本 大輔アマゾン ウェブ サービス ジャパン 合同会社
技術統括本部
HPC ソリューションアーキテクト

製薬・金融・気象といった分野を中心に
AWS 上で大規模な計算を行われるお客様の技術支援を担当© 2021,2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

© 2018, Amazon Web Services, Inc. or its affiliates. All rights reserved.

本日の流れ• クラウド HPC とは• AWS における HPC 関連サービス• クラウド HPC 活用パターン• 伸縮性、柔軟性• ワークロード全体を考慮したアーキテクチャ設計• AWS ParallelCluster で創（はじ）めるクラウド HPC© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クラウド HPC とは© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クラウド / クラウド HPC とは？（一例）

クラウドは拡張性・柔軟性・豊富なサービスを持ち「必要なリソース」を「必要な時」に「オンデマンド」で利用できるクラウドの持つ、このような特性を HPC に活用© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

必要な時に必要なだけ利用
スケーラブルなリソースによりジョブ実行待ちの無いHPC環境を実現
従来のクラスタ
構成は固定

Elastic Data
Center

ジョブが無い時は最小限のノード

M

ジョブが
無ければ
無駄発生

Corporate
Data Center© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS

必要な時に必要なだけ利用
スケーラブルなリソースによりジョブ実行待ちの無いHPC環境を実現
従来のクラスタ
構成は固定

Elastic Data
Center

必要に応じて必要な台数でクラスタを構成

M

ジョブが
無ければ
無駄発生

Corporate
Data Center© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS

必要な時に必要なだけ利用
スケーラブルなリソースによりジョブ実行待ちの無いHPC環境を実現
従来のクラスタ
構成は固定

Elastic Data
Center

M

ジョブが
無ければ
無駄発生

Corporate
Data Center© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

処理が終了すると
インスタンスを終了
課金停止

AWS

アプリケーションに合わせた構成のクラスタを構築可能
ユーザやタスク単位で専用のクラスタを構築できるため要件や規模に合わせて、最適構成のクラスタを作成可能
•
•
•
•
•

CPUコア/メモリ
ストレージ
アクセラレータ
ネットワーク
インストールするソフトウェア

One size does not fit all!
© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS における HPC 関連サービス© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS における主要な HPC 関連サービス

仮想サーバだけでなく高速ネットワーク、分散ストレージ、オーケストレーションなど
多様な HPC 関連 サービスを提供© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Amazon EC2 (Elastic Compute Cloud)
必要なときに必要な計算リソースを確保可能な仮想サーバサービス• 数分で起動し、秒単位の従量課金（一部タイプについては1時間単位）• 独自の仮想化基盤 Nitro System により、仮想化オーバーヘッドを極小化• ワークロードに応じて様々なインスタンスタイプを選択可能
高性能計算向けインスタンスタイプの例
高性能 CPU の選択肢

Intel Xeon processor AMD EPYC processor※(x86_64 arch)(x86_64 arch)
M6i インスタンス
Ice Lake
最大時全コア 3.5 GHz 駆動
M5zn インスタンス
Cascade Lake
最大全コア 4.5 GHz 駆動

M6a インスタンス
EPYC Milan
最大 3.3 GHz 駆動
Hpc6a インスタンス
EPYC Milan
HPC特化© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

アクセラレータの選択肢

AWS Graviton Processor(64-bit Arm arch)C7g インスタンス
64bit Arm Neoverse V1ベース
AWS Graviton3 CPU 搭載

NVIDIA GPU

Xilinx FPGA

P3 インスタンス
V100 GPU 搭載
P4d インスタンス
A100 GPU 搭載
P4de インスタンス※
A100 (80GB版) GPU 搭載
G5 インスタンス
A10G GPU 搭載

F1 インスタンス
Virtex UltraScale+
VU9P 搭載※ 2022年6月現在プレビュー提供中EC2 の仮想化基盤である Nitro Architecture
2017年に新しい仮想化基盤である Nitro Architecture を発表
仮想化のために必要な処理を、外部の専用ハードウェアにオフロード
仮想化オーバーヘッドによるパフォーマンス影響を極小化、セキュリティの向上

https://aws.amazon.com/blogs/hpc/bare-metal-performance-with-the-aws-nitro-system/© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Amazon EC2 Hpc6a instances
Amazon EC2で実行されるHPCワークロードに対して最高の価格パフォーマンスを提供するように設計

最大65％優れた価格パフォーマンスを提供

米国東部 (オハイオ)、欧州 (ストックホルム)、AWS GovCloud (米国) で利用可能© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS Graviton3
•
•
•
•
•
•

第三世代 AWS Graviton プロセッサ
Arm Neoverse V1 コア採用
bfloat16 対応
SVE (Scalable Vector Extensions) 対応
浮動小数点演算性能が最大 2倍
DDR5 メモリ採用により Graviton2 と比較してメモリバンド幅が +50 % 向上
AWS Graviton2 と比較してコストパフォーマンスが +25 % 向上

US East (N. Virginia) 及び US West (Oregon) にて一般提供済み
https://aws.amazon.com/blogs/aws/new-amazon-ec2-c7g-instances-powered-by-aws-graviton3-processors/© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

EFA: Elastic Fabric Adapter
MPI/NCCL で利用可能な低レイテンシネットワークアダプタ
c5n.18xlarge, c6gn.16xlarge, p4dn.24xlarge 等の EFA 対応インスタンスで利用可能
OpenMPI, Intel MPI, MVAPICH2 が対応
通信プロトコルとして、TCP/IP ではなく、独自の SRD (Scalable Reliable Datagram) を使用

計算ノード間の通信レイテンシが重要となる処理例

インスタンス間通信速度

C5n

c5n.18xlarge
100 Gbps

C6gn

c6gn.16xlarge
100 Gbps

流体解析

P4d

(GPUDirect RDMA対応)

EFA ありApplication

Application
User space

ENA network driver
ENA device

MPI implementation
Libfabric

TCP / IP stack© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

気象予測

EFA なしMPI implementation

p4d.24xlarge
400 Gbps

地震
シミュレーション

Kernel

EFA kernel driver
EFA device

[参考] SRD: Scalable Reliable Datagram
EFA が使用する AWS のデータセンター構成に特化した独自のプロトコル
マルチパスルーティング
データセンターの複数のネットワーク経路を活用
アウトオブオーダーでの転送
ブロックを抑制
レイテンシ・ジッターの低減
独自の link/switch ダウン検出、輻輳制御
配信保証
EC2のリソースを使用せずに保証を行う
L. Shalev, H. Ayoub, N. Bshara and E. Sabbag, "Supercomputing on Nitro in
AWS Cloud," in IEEE Micro, doi: 10.1109/MM.2020.3016891.
https://ieeexplore.ieee.org/document/9167399
How EFA works and why we don't use infiniband in the cloud.
https://youtu.be/IgPWzhIHX68© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

リンクダウン時の再接続

Amazon FSx for Lustre
高速な分散ファイルシステムである Lustre をフルマネージドで提供
Lustre は POSIX 準拠のファイルシステムとして利用可能
階層型ストレージの機能もあり、S3と透過的にデータの import/export が可能© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS ParallelCluster とは数コマンド操作でジョブ投入に応じて自動でスケールするクラスタを
AWS 上に構築可能な AWS 公式のオープンソースソフトウェア
AWS ParallelCluster の特徴• 既存のHPC向けジョブスケジューラ（Slurm）とAuto-Scaling を連携した環境を作成• MPI/NCCL 環境がセットアップ済みで、すぐに利用可能• 使用するOSやネットワーク環境、ストレージ構成などを柔軟にカスタマイズ可能• オープンソースソースのプロジェクトであり、誰でもソースコードを入手可能
https://github.com/aws/aws-parallelcluster

HPC stack on AWS
3D graphics virtual workstation

License managers and cluster headnodes with job schedulers

Cloud-based, auto-scaling HPC clusters

Shared file storage© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Storage cache

SINET 経由による高速な AWS 接続•••

SINET とAWSはIX(インターネットエクスチェンジ)で直接ピアリングしており、SINET 経由で Internet を利用している機関は申請不要で高速な帯域を活用可能（2）SINET クラウド接続サービスを利用することで「閉じた環境」での利用も可能（3）SINET AWS 間の接続に、複数の 100 Gbps 専用回線の追加 を発表（2022年度内提供予定）

https://aws.amazon.com/jp/about-aws/whats-new/2022/05/amazon-and-kek-announce-collaborate-for-driving-digital-transformation-scientific-research-in-japan/
https://aws.amazon.com/jp/blogs/news/sinet5-aws-explain/© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クラウド HPC 活用パターン

伸縮性・柔軟性© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

90
80
70
60
50
40
30
20
10
0

1.4B cell Siemens Simcenter STAR-CCM+
automotive CFD simulation
1.2
1

1

c5n
1

1

hpc6a

0.8

ideal (hpc6a)
ideal (c5n)
hpc6a
c5n
0

100

200

300

Instances© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

400

500

Cost

Iterations per minute

Siemens Simcenter STAR-CCM+ でのスケーラビリティ

0.6
0.4

0.38

0.35

0.41

0.2
0
64

128

Instances256

Harvard Medical School
巨大スケールでのドッキングシミュレーション事例
創薬領域では、薬の候補となる化合物を発見するため標的となるタンパク質と化合物の相互作用を予測するドッキングシミュレーションを実施する

大量の化合物でのドッキングを試すことで薬剤候補分子の発見につながるが、そのために長大な計算時間が必要（10 億化合物 × 1化合物あたり15 秒 = 475 年）
最大時 228万 vCPU を使用し、数十億化合物規模のドッキングシミュレーションを数時間で完了© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

https://www.youtube.com/watch?v=XqtnTSbDLUg

Mobileye での自動運転シミュレーション環境
大規模な自動運転のシミュレーション環境を AWS Batch を用いて構成
最大同時 500,000 CPUコアを利用して、1時間あたり70年分のコンピュー
ティングを実行、S3上のデータを1ヶ月あたり100PB処理
40万 vCPUhttps://d1.awsstatic.com/events/reinvent/2019/Navigating_the_winding_road_toward_driverless_mobility_AUT307.pdf© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クラウド HPC の拡張性・柔軟性活用例
AWS で実現するクラウド HPC 2022 春 ～最大 65% のコスト削減 HPC 向け
Hpc6a インスタンスに Deep Dive～• シーメンス株式会社• ヘキサゴンマニュファクチュアリングインテリジェンス• メトロウェザー株式会社• 株式会社 安藤・間
https://aws.amazon.com/jp/blogs/news/event-hpc-on-aws-apr-2022/

AWS Summit Japan 2022
• ソニーセミコンダクターソリューションズ株式会社• 「AWS を活用した半導体設計環境構築による設計力強化の実現」
https://aws.amazon.com/jp/summits/japan/© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クラウド HPC 活用パターン

ワークロード全体を考慮したアーキテクチャ設計© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クラウド HPC におけるアーキテクチャの重要性
対象となるワークロード全体の処理時間を短縮するためには
HPC に加え周囲の「システム」全体を考える必要がある

ワークロードごとのアーキテクチャを設計© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

マネージドサービスの活用と Building Block の考え方
多くのクラウド では、仮想サーバだけでなく、ユーザーが共通に利用するような• ストレージ• データベース• データレイク、データウェアハウス
• HPC クラスタ
といったサービスを提供している

これらのサービスを適材適所で組み合わせ、やりたいことを最小の手間で実現する→ Building Block の活用© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

実験データの「転送・保存・解析」アーキテクチャ
解析環境

オンプレミス環境

測定機器

Local
Storage
Server(NFS/SMB)

DataSync
AgentInternet / VPN
専用線等

Amazon S3
BucketAmazon Genomics CLIAWS DataSync

AWS BatchAWS Snow Family

郵送

ライフサイクル

Amazon FSx
for Lustre
AWS ParallelCluster

S3 Standard-IA

S3 Glacier
Deep Archive© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Amazon SageMaker

高エネルギー加速器研究機構でのクライオ電子顕微鏡単粒子解析プラットフォーム
構造同定のスループットを向上させるためクラウドのスケーラビリティを活用
AWS の HPC 関連サービスを組み合わせて利用
クラウド上に環境を構築することで、他の研究者や製薬企業にも展開

https://aws.amazon.com/jp/about-aws/whats-new/2022/05/amazon-and-kek-announce-collaboratefor-driving-digital-transformation-scientific-research-in-japan/© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AstraZeneca の創薬プラットフォーム構築事例

AstraZeneca は、現代の創薬に求められるHPC・AI等多種多様なワークロードをクラウド上で実現•

化合物動態・毒性予測プラットフォームでは、社内・社外両方から得られた様々な機械学習予測モデルを研究者に提供するための環境を Amazon EKS 上に構築•

化合物最適化フェーズでの結合予測では、Schrödinger 社の FEP+ を利用。スケーラブルなGPU 環境により年間 30万の FEP+ 計算を実行© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

https://www.youtube.com/watch?v=9fTF-kK4Ggw

AWS における機械学習統合環境である Amazon SageMaker のゲノム情報分析への活用© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

https://aws.amazon.com/jp/blogs/news/building-scalable-machine-learning-pipelines-for-multimodal-health-data-on-aws/
https://aws.amazon.com/jp/blogs/news/training-machine-learning-models-on-multimodal-health-data-with-amazon-sagemaker/

株式会社ウェザーニューズ様
台風やゲリラ豪雨など気象リスクに対して短い予報間隔・高い更新頻度の気象予報をユーザーに配信するためクラウドを活用
マルチリージョンクラスタ構成により大規模障害発生時には fail overAWS Summit Online Japan 2020
新たな気象リスクへの挑戦を可能にした HPC on AWS
https://resources.awscloud.com/aws-summit-online-japan-2020-on-demand-industry-3-12034/cus-98-aws-summit-online-2020weathernews© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

株式会社ウェザーニューズ様••

運用負荷軽減• オンプレミスに比べて 5 年間の TCO は 1/3 に• ハードウェア故障への対応が最低限
新しいチャレンジを行いやすい環境• ある程度の計算規模を必要とするサービスをすぐにローンチさせることができる• うまくいかない場合のサンクコストも最小限に

https://aws.amazon.com/jp/solutions/case-studies/weathernews/© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クラウド HPC におけるアーキテクチャ
ワークロード全体の要件に応じてデータ転送やコンテナオーケストレーション（Kubernetes 等）、
複数リージョン併用
といったコンポーネントをマネージドサービスを活用しながら柔軟に構成できる© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

はじ

AWS ParallelCluster で創めるクラウド HPC© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS ParallelCluster のポイント
ジョブスケジューラと連動してインスタンスの起動・停止を行う環境を少しのコマンド操作や API で構築できる

研究者が自分専用のクラスタを構築できる
他のサービスと組み合わせる「部品」としても扱うことができる© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS ParallelCluster の利用
まずは自分のPC等に ParallelCluster ソフトウェアをインストール（Python pip）
config ファイルを記述し、pcluster create コマンドを実行することで、ジョブ投入に応じて Auto-Scale するクラスタ環境が自動的に作成される
AWS CloudClusterUsers

AWS CloudFormation

Master

ジョブスケジューラ(Slurm)$ pcluster create-cluster <NAME>

Scale-Out / Scale-inconfig.yaml ファイル

HeadNode:
InstanceType: c6g.large
Scheduling:
Scheduler: slurm
SlurmQueues:- Name: queue0
ComputeResources:- Name: queue0-c6g16xlarge
MinCount: 0
MaxCount: 40
InstanceType: c6g.16xlarge© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

NFS mount/home/shared/sharedAuto-Scale
ComputeParallelCluster Manager
ウェブベースの GUI で ParallelCluster のクラスタ管理 が可能に
クラスタの作成・停止・削除に加え NICE-DCV での接続も可能
CloudFormation template の展開のみで利用可能

https://github.com/aws-samples/pcluster-manager© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クラスタ構成
NICE-DCVAWS ParallelCluster

queue0(Graviton2)
Head
Users

Job Scheduler(Slurm)SSH/NICE-DCV
queue1(Graviton3)
Shared Storage: /shared
Amazon FSx
for Lustre© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クラスタの作成© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

クラスタへのログインとジョブ投入© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

LLNL（ローレンスリバモア国立研究所）
HPCセンターとクラウドリソースの両方で実行可能なオープンソースソフト
ウェアコンポーネントの共通スタックを確立するためのAWSとの覚書（MOU）に署名（2022年5月26日発表）••

https://www.llnl.gov/news/llnl-amazon-web-services-cooperate-standardized-software-stack-hpc
https://aws.amazon.com/blogs/hpc/introducing-the-spack-rolling-binary-cache/© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

まとめ• クラウド HPC ではクラウドの持つ伸縮性、柔軟性、多様なサービスといった特徴を HPC に活用していくことが重要• クラウドでは HPC 以外の要素も含め、一体のアーキテクチャとして構築することができるため、ワークロード全体の時間短縮に貢献できる• AWS ParallelCluster では少しの操作で伸縮するクラスタ環境を構築できる
ため、研究者個人にとって扱いやすいだけでなく、アーキテクチャの中の「部品」としても有効活用できる
AWS ParallelCluster で自分だけのクラウドクラスタを作ってみませんか© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Appendix© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

各サービスについてより詳しく知りたい方はBlack Belt オンラインセミナー
HPC on AWS•

https://aws.amazon.com/jp/blogs/news/webinar-bb-hpconaws-2020/AWS ParallelCluster ではじめるクラウドHPC•

https://aws.amazon.com/jp/blogs/news/webinar-bb-aws-parallelcluster-cloudhpc-2020/

AWS Batch•https://aws.amazon.com/jp/blogs/news/webinar-bb-aws-batch-2019/

Amazon FSx for Lustre•

https://aws.amazon.com/jp/blogs/news/webinar-fsx-title-2019/

Amazon EC2•

https://aws.amazon.com/jp/blogs/news/webinar-bb-amazon-ec2-2019/

Amazon EC2 Deep Dive: AWS Graviton2 Arm CPU搭載インスタンス•

https://aws.amazon.com/jp/blogs/news/webinar-bb-aws-graviton2-2020/© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.