PCクラスタコンソーシアム

Amazon Web Services における Arm 活用

Specialist Solutions Architect, HPC
Daisuke Miyamoto
2021/08/26© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

自己紹介❏ 名前宮本 大輔 （みやもと だいすけ）❏ 所属
アマゾン ウェブ サービス ジャパン 株式会社
技術統括本部Specialist Solutions Architect, HPC© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

本日の概要• AWS Graviton2 登場までの歴史• AWS Graviton2 概要• AWS Graviton2 の HPC 活用© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS Graviton2 登場までの歴史© 2021, Amazon Web Services, Inc. or its Affiliates.

突然ですが…
AWS の仮想サーバサービスである
Amazon EC2 が登場したのは何年前でしょう？

© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Happy 15th Birthday Amazon EC2
仮想サーバのサービスである Amazon EC2 は、2006年8月25日に Beta 提供を開始“Your applications run on a “virtual CPU”, theequivalent of a 1.7 GHz Xeon processor, 1.75 GB ofRAM, 160 GB of local disk and 250 Mb/second ofnetwork bandwidth.”
ちなみに2006年当時のTop500 1位はIBM BlueGene/L で、Rmax=280.6 TFLOPS

https://aws.amazon.com/blogs/aws/happy-15th-birthday-amazon-ec2/
https://aws.amazon.com/blogs/aws/amazon_ec2_beta/© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Descartes Labs on Top500
Amazon EC2 による HPC クラスタを構築し 9.95 PFLOPS の性能を達成• Top500 June 2021 で 40 位
• 4,096 EC2 インスタンス (C5, C5d,R5, R5d, M5, and M5d)
• 172,692 cores• On-demand capacity reservation によるインスタンス確保
Descartes Labs は2019年にもチャレンジしており、その時は 1.93 PFLOPS（136位）であった
https://medium.com/descarteslabs-team/thunder-from-the-cloud40-000-cores-running-in-concert-on-aws-bf1610679978

https://www.top500.org/system/179974/
https://blog.descarteslabs.com/achieves-number-41-in-top500-cloud-based-supercomputing
https://aws.amazon.com/blogs/aws/planetary-scale-computing-9-95-pflops-position-41-on-the-top500-list/© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

現行 EC2 の仮想化基盤である Nitro Architecture
2017年に新しい仮想化基盤である Nitro Architecture を発表
仮想化のために必要な処理を、外部の専用ハードウェアにオフロード
仮想化オーバーヘッドによるパフォーマンス影響を極小化、セキュリティの向上

https://aws.amazon.com/blogs/hpc/bare-metal-performance-with-the-aws-nitro-system/© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Annapurna Labs によるチップ開発の歴史
I/O Accelerator Card

Nitro Card5+ years of innovation with Annapurna Labs
© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Annapurna Labs によるチップ開発の経験から
Arm アーキテクチャの採用によってよりコストパフォーマンスの高い選択肢をカスタマーに提供できるのではないか© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

第一世代 AWS Graviton プロセッサ2018 年 11 月に発表

64-bit Arm コア採用AWSカスタムチップ、16 物理コア搭載

A1 インスタンスファミリーとしてローンチ

顧客からのフィードバックのもとArm エコシステムの醸成に貢献© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

re:Invent 2019 – Graviton2 搭載 M6g, R6g, C6g 発表© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS Graviton2 概要© 2021, Amazon Web Services, Inc. or its Affiliates.

AWS Graviton2 プロセッサ
AWS が独自に設計した Arm Neoverse N1 コア採用のCPU• 1 チップに 64 物理コアを搭載• 7 nm プロセスルール、300億トランジスタ• 前世代 AWS Graviton と比較して 4 倍の vCPU 数、7 倍の CPU 性能© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS Graviton2-based instances
既存 x86 インスタンスと比較して最大 40 % のコストパフォーマンス向上
多くのインスタンスファミリーがローンチ済み

M6g T4g C6g R6g C6gn X2gd
General purposeworkloads

Burstable general
purpose workloads

Compute-intensive
workloads

Memory-intensive
workloads

100 Gbps Networking
38 Gbps EBS

Memory optimized
Lowest $/GiB of RAM

Local NVMe-based SSD storage 搭載:
general purpose (M6gd), compute-optimized (C6gd), and memory-optimized (R6gd & X2gd)
ベアメタルタイプも提供中:(M6g.metal, M6gd.metal, C6g.metal, C6gd.metal, R6g.metal, R6gd.metal, X2gd.metal )NVIDIA GPU搭載タイプも近日登場予定:

https://aws.amazon.com/blogs/machine-learning/aws-and-nvidia-to-bring-arm-based-instances-with-gpus-to-the-cloud/© 2021, Amazon Web Services, Inc. or its Affiliates.

AWS Graviton2 搭載インスタンスの利点
コスト：• x86 系インスタンスの同サイズと比較した場合、約 20 % 安価•

例： m5.16xlarge: 3.968 USD/hour
m6g.16xlarge: 3.168 USD/hour

パフォーマンス：• x86 系インスタンスでは 2 vCPU = 1 物理コア だが、
Arm 系インスタンスは 1 vCPU = 1 物理コア であり、同インスタンスサイズでは 2 倍の物理コアが利用可能•

例：m5.16xlarge: 64 vCPU = 32 物理コア
m6g.16xlarge: 64 vCPU = 64 物理コア
* All SPEC scores estimates, compiled with gcc v9 -O3 -march=native,
run on largest single-socket size for each instance type tested.

Webサーバ、コンテナ基盤、BigData処理、HPC、機械学習等様々なベンチマークで既存の x86 系インスタンスと比較して約 40 % のコストパフォーマンス向上© 2021, Amazon Web Services, Inc. or its Affiliates.

Processor Power Efficiency
Performance*/Watt
43.5
3

低消費電力
→ 高密度→ 安価なコスト→ 低いカーボンフットプリント

2.5
2
1.5
10.5
0
CPU Perf/Wattr5.metal© 2021, Amazon Web Services, Inc. or its Affiliates.

r6g.metal

Graviton2 – CPUコア
Arm Neoverse N1 コア
Arm v8.2 準拠• 各vCPU毎に64KB L1キャッシュ、1MB L2キャッシュを持つ• コヒーレント命令キャッシュ• 割り込み、仮想化、コンテキストスイッチにおいて少ないオーバーヘッド• 4命令同時デコード、8命令同時発行• Dual-SIMD ユニット
• ML推論をアクセラレートする命令セット: int8, fp16対応

https://www.hotchips.org/hc31/HC31_
1.2_20190816_Arm_Neoverse_N1_CPU.pdf

vCPUは物理コアと一対一で対応• 同時マルチスレッディング(SMT) は無く、1 vCPU = 1 物理コア
© 2021, Amazon Web Services, Inc. or its Affiliates.

Graviton2 – メモリ・インタコネクト
64コア間は~2TB/s メッシュ型インタコネクトで接続

32MB LLC• プライベートキャッシュと合わせ約100MBのアクセス可能なキャッシュを搭載
8 x DDR-3200チャネル (> 200GB/s)• インスタンス上のDRAMメモリの内容は常時AES-256で暗号化• 全てのコアからメモリ及び他のコアへのパスが同様に見える内部構成（NUMAの懸念の解消）
64レーン PCIe Gen4
• 異なるインスタンスの構成に対して柔軟に対応© 2021, Amazon Web Services, Inc. or its Affiliates.

メッシュインターコネクト例
https://www.hotchips.org/hc31/HC31_
1.2_20190816_Arm_Neoverse_N1_CPU.pdf

AWS Graviton2 を取り巻く Arm エコシステム
Arm エコシステムを重視し、多くの AWS サービスが Graviton2 をサポート
OPERATING SYSTEMSCONTAINERSINTEGRATED SERVICES

Amazon Linux 2

Ubuntu 16.04, 18.04
and newer
RedHat Enterprise Linux
7.6 and 8.0

Most Docker official images
support arm64

Amazon ECSAWSMarketplace

AWS
Systems
ManagerAWS
CloudWatchAWS
CodeCommit

AWS
Cloud9AWS
CodePipeline

SUSE Linux Enterprise Serverfor Arm 15

Amazon EKS
Docker DesktopCommunity and Docker
Enterprise Engine© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark

AmazonInspector

AmazonBatch

マネージドサービスでの Graviton2 活用

Amazon RDS(Open-Source Databases)

Amazon Aurora

Amazon EMR(Hadoop, Spark)

Amazon ElastiCache(Memcached and Redis)

Amazon ElasticsearchService• RDS: Graviton2 instances provide up to 35% performance improvement and up to 52% price/performance improvement for open source
databases depending on database engine, version, and workload.
• Aurora: Graviton2 instances provide up to 20% performance improvement and up to 35% price/performance improvement for Aurora
depending on database size.
• EMR: Amazon EMR provides up to 35% lower cost and up to 15% improved performance for Spark workloads on Graviton2-based instances
versus previous generation instances• Elasticache: Up to a 45% price/performance improvement over previous generation instances. Graviton2 instances are now the default
choice.
• ElasticSearch: Up to 38% improvement in indexing throughput, 50% reduction in indexing latency, and 30% improvement in query
performance when compared to the corresponding x86-based instances from the current generation (M5, C5, R5)

マネージドサービスでは、計算基盤が x86 であるか Arm であるかを意識する必要がほとんど無い
パフォーマンス検証は必要だが、ユーザ負担がほとんどなく Graviton2 を活用できる© 2021, Amazon Web Services, Inc. or its Affiliates.

Amazon Prime Day での AWS Graviton2 事例
Amazon は、Datapath と呼ばれる構造化データのクエリ・ルックアップ・結合を担当する内部サービスを Graviton2 に移植した• 53,200 台を超える C6g インスタンスを使用• 同等の第 5 世代 x86 ベースインスタンスと比較した場合、Graviton2 のコストパフォーマンスは最大 40% 優れていた• Graviton2 の電力効率は、気候変動に対処するための目標達成に役立つ
その他のデータ：
Amazon CloudFront - 1 分あたり 2 億 9,000 万件を超える HTTP リクエストのピーク負荷を処理し、合計 6,000 億件を超える HTTP リクエストを処理
Amazon Elastic Block Store - 159 ペタバイトのストレージを追加し、1 日あたり 614 ペタバイトを転送
Amazon Aurora - 3,715 インスタンスが 2,330 億件のトランザクションを処理し、1,595 テラバイトのデータを格納し、615 テラバイトのデータを転送
https://aws.amazon.com/jp/blogs/news/prime-day-2021-two-chart-topping-days/© 2021, Amazon Web Services, Inc. or its Affiliates.

日本でも様々なカスタマーが Graviton2 を活用中

https://awsj-compute.connpass.com/event/189336/
https://aws.amazon.com/jp/ec2/graviton/customers/?nc1=h_ls© 2021, Amazon Web Services, Inc. or its Affiliates.

その他の Graviton2 活用•

Compiling Unreal Engine 4 Dedicated Servers for AWS Graviton EC2Instances
https://aws.amazon.com/jp/blogs/gametech/compiling-unreal-engine-4dedicated-servers-for-aws-graviton-ec2-instances/•

ARM Native Android environment now on AWS by Genymotion
https://www.genymotion.com/blog/just-launched-arm-native-android-inthe-cloud-environment-on-aws/•

Announcing Anaconda Support on AWS Graviton2 by Anaconda
https://www.anaconda.com/blog/anaconda-aws-graviton2© 2021, Amazon Web Services, Inc. or its Affiliates.

AWS Graviton2 の HPC 活用© 2021, Amazon Web Services, Inc. or its Affiliates.

AWSなら、必要な時に必要なだけ利用可能スケーラブルなリソースによりジョブ実行待ちの無いHPC環境を実現© 2021, Amazon Web Services, Inc. or its Affiliates.

AWSなら、必要な時に必要なだけ利用可能スケーラブルなリソースによりジョブ実行待ちの無いHPC環境を実現© 2021, Amazon Web Services, Inc. or its Affiliates.

AWSなら、必要な時に必要なだけ利用可能スケーラブルなリソースによりジョブ実行待ちの無いHPC環境を実現© 2021, Amazon Web Services, Inc. or its Affiliates.

AWS における HPC 関連サービス
多様な HPC ワークロードに対応するための数多くのサービス
コンピュートネットワーク

管理自動化

可視化

Amazon EC2Placement GroupAWS ParallelCluster

NICE-DCV

用途に応じて多様なインスタンスを利用可能な仮想サーバサービス
P4d

NVIDIA A100 GPU
搭載
Xilinx Virtex
UltraScale+ 搭載
100 Gbps のネットワーク帯域

スポットインスタンスの活用で大幅なコスト減も可能

EC2インスタンスの基盤上の配置を制御してネットワークを高速化

Elastic Fabric AdapterMPI/NCCL 専用の低レイテン
シネットワークアダプタ

ストレージ
Amazon FSx for Lustre
S3連携可能な高速な分散ファイルシステムをフルマネージドで提供

AWS上に HPC クラスタを自動で構築。
Slurm / SGE / Torqueといったジョブスケジューラに対応しており既存HPC環境からの移行が容易

AWS Batch
コンテナベースの大規
模バッチジョブコン
ピューティング環境をフルマネージドで提供

AWS Graviton2 対応済み！
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

ブラウザや専用アプリケーションからクラウドのデスクトップ環境にアクセス可能でクラウド上でのPre/Post処理を実現。GPUアクセラレー
ションにも対応

EFA: Elastic Fabric Adapter
MPI/NCCL で利用可能な低レイテンシネットワークアダプタ
c5n.18xlarge, c6gn.16xlarge, p4dn.24xlarge 等の EFA 対応インスタンスで利用可能OpenMPI, Intel MPI, MVAPICH2 が対応
通信プロトコルとして、TCP/IP ではなく、独自の SRD (Scalable Reliable Datagram) を使用

計算ノード間の通信レイテンシが重要となる処理例

インスタンス間通信速度

C5n

c5n.18xlarge
100 Gbps

C6gn

c6gn.16xlarge
100 Gbps

流体解析

P4d

GPUDirect RDMA対応

EFA ありApplication

Application
User space

ENA network driver
ENA device

MPI implementation
Libfabric

TCP / IP stack© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

気象予測

EFA なしMPI implementation

p4d.24xlarge
400 Gbps

地震シミュレーション

Kernel

EFA kernel driver
EFA device

AWS ParallelCluster とはジョブ投入に応じて自動でスケールするクラスタをAWS 上に構築可能な AWS 公式のオープンソースソフトウェア
AWS ParallelCluster の特徴• 既存のHPC向けジョブスケジューラと Auto-Scalingを連携した環境を作成
Slurm / SGE / Torque ※に対応••••

少しのコマンド操作でクラスタ作成可能
MPI/NCCL 環境がセットアップ済みで、すぐに利用可能
使用するOSやネットワーク環境、ストレージ構成などを柔軟にカスタマイズ可能
オープンソースソースのプロジェクトであり、誰でもソースコードを入手可能
https://github.com/aws/aws-parallelcluster© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

※ 将来的にSGE/Torqueについてはサポートの終了がアナウンスされており、Slurmの利用を推奨

AWS ParallelCluster の利用イメージ
まずは自分のPC等に ParallelCluster ソフトウェアをインストール
config ファイルを記述し、pcluster create コマンドを実行することで、ジョブ投入に応じて Auto-Scale するクラスタ環境が自動的に作成される
AWS CloudClusterUsers

AWS CloudFormation

MasterScale-Out / Scale-in$ pcluster create <NAME>

NFS mount/home/sharedconfig ファイル[aws]
aws_region_name = ap-northeast-1[cluster slurm1]
master_instance_type = c5.large
compute_instance_type = c5.4xlarge
max_queue_size = 10
initial_queue_size = 0
scheduler = slurm
cluster_type = spot
© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

ジョブスケジューラ(Slurm/SGE/Torque)/sharedAuto-ScaleComputeHPC on Graviton2 例
OpenFOAM•
https://aws.amazon.com/blogs/compute/c6g-openfoam-better-price-performance/•
https://youtu.be/4WgE472wIqU
GROMACS•
https://aws.amazon.com/blogs/hpc/gromacs-price-performance-optimizations-on-aws/•
https://youtu.be/Zz91uPbk12Y
WRF•
https://aws.amazon.com/jp/blogs/hpc/numerical-weather-prediction-on-aws-graviton2/•
https://youtu.be/D2ppdRKSz5I
Genomics (BWA)•
https://aws.amazon.com/blogs/publicsector/accelerating-genome-assembly-aws-graviton2/•
https://aws.amazon.com/jp/blogs/publicsector/generalized-approach-benchmarking-genomicsworkloads-cloud-bwa-read-aligner-graviton2/
Arm 社の HPC Blog にも多くの Graviton2 活用事例が掲載中
https://community.arm.com/developer/tools-software/hpc/b/hpc-blog© 2021, Amazon Web Services, Inc. or its Affiliates.

FORMULA 1 での CFD Project
次世代 F1 カーの設計のための空力シミュレーションのために AWS を利用
AWS Graviton2 の活用により30 % のコスト削減を達成“This project with AWS was one of the mostrevolutionary in the history of Formula 1
aerodynamics.”−Pat Symonds, Chief Technical Officer ofFormula 1

https://www.aboutamazon.com/news/aws/formula-1-uses-aws-to-develop-next-generation-race-car© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

An Arm-on-Arm World••

Arm is moving the majority of its
Electronic Design Automation (EDA)
workloads to AWS, as part of our effort
to reduce our global datacenter
footprint by at least 45% and our onpremises compute capabilities by 80%
as we complete our migration to AWS.
Cadence, Mentor, Synopsys and otherleading EDA vendors are porting andoptimizing their technology to run on
Arm compute environments
https://www.arm.com/ja/company/news/2020/12/arm-moves-production-level-electronic-design-automation-to-thecloud-with-the-help-of-aws
https://community.arm.com/developer/tools-software/hpc/b/hpc-blog/posts/designing-arm-cortex-m55-cpu-on-armneoverse-powered-aws-graviton2-processors
https://community.arm.com/developer/tools-software/hpc/b/hpc-blog/posts/increasing-the-pace-of-innovation-witharm-and-aws-for-silicon-design-using-eda-software
https://aws.amazon.com/jp/solutions/case-studies/arm-case-study/© 2021, Amazon Web Services, Inc. or its Affiliates.

myPresto5 virtual screening on AWS Graviton2
国産の創薬ソフトウェアである myPresto5 によるバーチャルスクリーニング
株式会社バイオモデリングリサーチ様が検証を行い300 万化合物に対するドッキング計算で、c6g.16xlarge は c5.18xlarge と比較して 32 % のコスト削減

CBI 学会2020年大会における株式会社バイオモデリングリサーチ様のご登壇より© 2021, Amazon Web Services, Inc. or its Affiliates.
https://biomodeling.co.jp/2020/11/30/myprestoxaws/

AWS Graviton getting-started
Graviton/Graviton2利用時に最初にご確認いただきたいドキュメント
https://github.com/aws/aws-graviton-gettting-started• 推奨コンパイルオプション• OS サポート情報• 各種アプリケーションでの推奨バージョン、設定• デバッグ・プロファイル• 言語別考慮事項• etc..
移植時の注意事項などについては以下の資料も併せてご参照ください
https://speakerdeck.com/daisukemiyamoto/aws-graviton2-insutansufalsegoshao-jie© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AHUG Hackathon: Cloud Hackathon for Arm-based HPC
Arm + AWS 共催のハッカソンを開催（Week commencing July 12th 2021）
セッション動画も HPC Tech Shorts で公開中
• “Compilers in HPC, their use and abuse” with Will Lovett from Arm• “Performance Portability” with Tom Deakin from University of Bristol• “Profiling without printf()” with John Linford from Arm• “Application Scaling” with Jeff Hammond from NVIDIA

https://a-hug.org/hackathons/aws-hackathon/
https://www.youtube.com/channel/UChSIn5kcWQvJxW17KIjdLVw© 2021, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

まとめ••••AWS では、専用ハードウェア開発に継続的な投資を行っており、その成果の一つが AWS Graviton2
AWS Graviton2 は、既に国内外様々なお客様が活用しており、ウェブシステム・ビッグデータ処理・検索バックエンドなど多様なワークロードで最大40%のコストパフォーマンス向上が得られている
100 Gbps のネットワーク帯域 + EFA を持つ c6gn.16xlarge といったインスタンスタイプもローンチしており、HPC 領域でも活用が行われている
Hackathon の実施など様々な観点からエコシステムの拡充を実施

クラウドはすぐに始められるのがメリット
是非ご自身のアプリケーション・モデルでチャレンジを！
© 2021, Amazon Web Services, Inc. or its Affiliates.

© 2021, Amazon Web Services, Inc. or its Affiliates.