PCCC HPC クラウド部会

アマゾンウェブサービスで考える
クラウド HPC アーキテクチャ
Daisuke Miyamoto
Sr. Specialist Solutions Architect, Compute/HPC
Amazon Web Services Japan G.K.
2023/10/04© 2023, Amazon Web Services, Inc. or its affiliates.

© 2023, Amazon Web Services, Inc. or its affiliates.

宮本 大輔, Ph.D.
アマゾン ウェブ サービス ジャパン 合同会社
技術統括本部
シニアスペシャリストソリューションアーキテクト
製薬・金融・気象といった分野を中心にAWS 上で大規模な計算を行われるお客様の技術支援を担当© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

© 2023, Amazon Web Services, Inc. or its affiliates.

本日のテーマ

実際にクラウド HPC を活用いただいている事例を通じてクラウド HPC の現状や、メリット・デメリットについて議論を深めることができれば© 2023, Amazon Web Services, Inc. or its affiliates.

3

Agenda•クラウド HPC の考え方•

AWS のクラウド HPC 関連サービス•

AWS のクラウド HPC アーキテクチャ© 2023, Amazon Web Services, Inc. or its affiliates.

4

クラウド HPC の考え方

© 2023, Amazon Web Services, Inc. or its affiliates.

5

クラウド / クラウド HPC とは？

クラウドでは需要に応じてリソースを増減できる「拡張性」に加え、多様なワークロードに対応するための「柔軟性」や、「豊富なサービス」が提供されておりこれらを組み合わせて活用することができる
クラウドの持つ、このような特性を HPC に活用し、より効率的に課題を解決する© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

必要な時に必要なだけ利用
スケーラブルなリソースによりジョブ実行待ちの無いHPC環境を実現
従来のクラスタ
構成は固定

Elastic Data
Center

ジョブが無い時は最小限のノード

M

ジョブが無ければ無駄発生

Corporate
Data Center© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS

必要な時に必要なだけ利用スケーラブルなリソースによりジョブ実行待ちの無いHPC環境を実現
従来のクラスタ
構成は固定

Elastic Data
Center

必要に応じて必要な台数でクラスタを構成

M

ジョブが無ければ無駄発生

Corporate
Data Center© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS

必要な時に必要なだけ利用スケーラブルなリソースによりジョブ実行待ちの無いHPC環境を実現
従来のクラスタ
構成は固定

Elastic Data
CenterM

ジョブが無ければ無駄発生

Corporate
Data Center© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

処理が終了するとインスタンスを終了課金停止

AWS

アプリケーションに合わせた構成のクラスタを構築可能
ユーザやタスク単位で専用のクラスタを構築できるため要件や規模に合わせて、最適構成のクラスタを作成可能

••
•
•
•

CPUコア/メモリ
ストレージ
アクセラレータ
ネットワーク
インストールするソフトウェア

One size does not fit all!
© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

マネージドサービスの活用と Building Block の考え方
多くのクラウド では、仮想サーバだけでなく、ユーザーが共通に利用するような• ストレージ• コンテナプラットフォーム• データベース• データレイク、データウェアハウス
• HPC クラスタといったサービスを提供している
これらのサービスを適材適所で組み合わせ、やりたいことを最小の手間で実現する→ Building Block の活用© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

データドリブンなHPC環境とデータ活用
データのアップロードをトリガーにHPC環境を展開し自動で処理を行う
更にS3のデータレイク化により大規模シミュレーション結果を機械学習環境で活用
AI/ML
HPC Environment
Auto-Scale

Amazon SageMaker
Users

入力データ

Lambda

出力データ

Data Analytics

DeviceAmazon Athena© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

計算機管理の手間を抑える
・ハードウェア保守
・ネットワーク管理/保守
・電源管理
・空調管理
・設置場所の費用/運用
計算機の規模が大きくなればなるほど大変に、、、競争優位につながらない物理的管理はクラウドにお任せ
他社と差別化可能な部分に集中© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

継続的な改善によるコスト最適化
クラウド活用では、最初から最適を目指すよりも小さな改善のサイクルを継続的に実施していくことが重要

マイグレーション後の構成の見直しや新しいサービスの活用
典型的なTCO比較

On
Premises

Liftand Shift

Instance
Right Sizing

Improved
Elasticity© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

MeasureMonitorImprove

Optimized
EC2

Storage
Optimization

ServerlessArchitectureManagedServices

True AWS
Optimized

18

AWS のクラウド HPC 関連サービス© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

© 2023, Amazon Web Services, Inc. or its affiliates.

AWS における HPC 関連サービス
多様な HPC ワークロードに対応するための数多くのサービス
コンピュート

ストレージ

可視化

管理自動化

Amazon EC2

Amazon S3

NICE-DCVAWS ParallelCluster

用途に応じて多様なインスタンスを利用可能
な仮想サーバサービス
Hpc7a

C7g

P5

AMD EPYC(Genoa)
AWS Graviton3
アクセラレータとしてNVIDIA H100 GPU 搭載

スポットインスタンスの活用で大幅なコスト減も可能

高い耐久性と低コストでのデータ保管を実現する
オブジェクトストレージ

Amazon FSx for Lustre
S3連携可能な高速な分散ファイルシステムをフルマネージドで提供

AWS Snow ファミリーストレージ内蔵の筐体を郵送することで S3 にデータをImport/Export© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

GPUアクセラレーションに対応し、インタラクティブなアプリケーションに適したデスクトップ仮想化

AWS上に HPC クラスタを自動で構築。 Slurm
ジョブスケジューラに対応しており既存HPC環境からの移行が容易

AWS Batch
コンテナベースの大規模バッチジョブコン
ピューティング環境をフルマネージドで提供

Amazon EC2 (Elastic Compute Cloud)
必要なときに必要な計算リソースを確保可能な仮想サーバサービス• 数分で起動し、秒単位の従量課金（一部タイプについては1時間単位）• 独自の仮想化基盤 AWS Nitro System により、仮想化オーバーヘッドを極小化• ワークロードに応じて様々なインスタンスタイプを選択可能
高性能計算向けインスタンスタイプの例
高性能 CPU の選択肢
アクセラレータの選択肢

Intel Xeon processor(x86_64 arch)C6i インスタンス
Ice Lake
最大時全コア 3.5 GHz 駆動
R7iz インスタンス
Sapphire Rapids
最大全コア 3.9 GHz 駆動

AMD EPYC processor(x86_64 arch)C6a インスタンス
EPYC Milan
最大 3.3 GHz 駆動
Hpc6a インスタンス
EPYC Milan
HPC特化© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS Graviton Processor(64-bit Arm arch)C7g インスタンス
64bit Arm Neoverse V1ベース
AWS Graviton3 CPU 搭載※ 2023年6月現在プレビュー提供中

NVIDIA GPU

Xilinx FPGA

P4d インスタンス
A100 GPU 搭載
P4de インスタンス※
A100 (80GB版) GPU 搭載
G5 インスタンス
A10G GPU 搭載
P5 インスタンス
H100 GPU 搭載

F1 インスタンス
Virtex UltraScale+
VU9P 搭載

Amazon EC2 の仮想化基盤である AWS Nitro System
2017年に EC2 の新しい仮想化基盤である Nitro System を発表
仮想化のために必要な処理を、外部の専用ハードウェアにオフロード
仮想化オーバーヘッドによるパフォーマンス影響を極小化、セキュリティの向上

Nitro CardAWS re:Invent 2019 - Monday Night Live with Peter DeSantis
https://www.youtube.com/watch?v=GPUWATKe15E
https://twitter.com/_msw_/status/1201711880554741762

https://aws.amazon.com/blogs/hpc/bare-metal-performance-with-the-aws-nitro-system/© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

EFA: Elastic Fabric Adapter
MPI/NCCL で利用可能な低レイテンシネットワークアダプタ
c5n.18xlarge, c6gn.16xlarge, p4dn.24xlarge 等の EFA 対応インスタンスで利用可能
OpenMPI, Intel MPI, MVAPICH2 が対応
通信プロトコルとして、TCP/IP ではなく、独自の SRD (Scalable Reliable Datagram) を使用
インスタンス間通信速度

C6in

c6in.32xlarge
200 Gbps

C7gn c7gn.16xlarge
200 Gbps

計算ノード間の通信レイテンシが重要となる処理例
流体解析

P4d(GPUDirect RDMA対応)© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

気象予測

EFA なしEFA ありApplication

Application

MPI implementation

p4d.24xlarge
400 Gbps

地震シミュレーション

User space

Libfabric

TCP / IP stack
ENA network driver
ENA device

MPI implementation

Kernel

EFA kernel driver
EFA device

Scalable Reliable Datagram (SRD)AWS のデータセンターネットワーク向けに新たに開発されたトランスポートプロトコル• マルチパスルーティング：データセンターの複数のネットワーク経路を活用• アウトオブオーダーでの転送：ブロックを抑制• レイテンシ・ジッターの低減：独自の link/switch
ダウン検出、輻輳制御• 配信保証：EC2のリソースを使用せずに保証を行う

L. Shalev, H. Ayoub, N. Bshara and E. Sabbag, "Supercomputing on Nitro in AWS Cloud,"in IEEE Micro, doi: 10.1109/MM.2020.3016891.
https://ieeexplore.ieee.org/document/9167399© 2023, Amazon Web Services, Inc. or its affiliates.

リンクダウン時の再接続

2023年に登場した新しいインスタンスタイプ•

M7i インスタンス
第 4 世代 Intel Xeon スケーラブルプロセッサ (Sapphire Rapids) 搭載
Intel Advanced Matrix Extension (AMX) をサポート•

M7a インスタンス
第 4 世代 AMD EPYC プロセッサ (Genoa) 搭載•

C7g/M7g/R7g インスタンス
AWS Graviton3 プロセッサ搭載（東京リージョンでも利用可能）

第 7 世代インスタンスは全て DDR5 メモリを搭載しておりメモリバンド幅が向上© 2023, Amazon Web Services, Inc. or its affiliates.

24

AWS Graviton
AWS は独自ハードウェア開発に継続的な投資を行っており新たなプロセッサを発表し続けている
Graviton

Graviton2Graviton3

201820192021© 2023, Amazon Web Services, Inc. or its affiliates.

25

AWS Graviton を活用いただいているカスタマー

https://aws.amazon.com/ec2/graviton/© 2023, Amazon Web Services, Inc. or its affiliates.

AWS Graviton3E
HPC向けに最適化されたGraviton3の派生型プロセッサ
浮動小数点演算、ベクトル演算に最適化
Graviton3 と比較して最大35%の計算性能向上
・HPL (線形代数の並列計算ベンチマーク)：35%性能向上
・GROMACS(分子動力学シミュレーション)：12％性能向上
・金融におけるオプション価格決定：30%性能向上© 2023, Amazon Web Services, Inc. or its affiliates.

HPC 系インスタンスタイプ一覧
HPC に特化し、高いコストパフォーマンス・ネットワーク帯域を提供
Hpc6a: 2022年1月提供開始••

AMD EPYC 第3世代 (Milan) 搭載、ネットワーク帯域 100 GbpsHpc6id: 2022年11月提供開始••

Intel Xeon 第3世代 (Icelake) 搭載、ネットワーク帯域 200 Gbps

Hpc7g: 2023年6月提供開始 New!

••AWS Graviton3E 搭載、ネットワーク帯域 200 Gbps

Hpc7a: 2023年8月提供開始 New!

••

AMD EPYC 第4世代 (Genoa) 搭載、ネットワーク帯域 300 Gbps
© 2023, Amazon Web Services, Inc. or its affiliates.

HPC7g ローンチエンドースメント
エコシステムの拡大に注力し、日本のお客様や ISV からも Graviton 対応を進めていただいている

https://aws.amazon.com/ec2/instance-types/hpc7g/© 2023, Amazon Web Services, Inc. or its affiliates.

International Workshop on Arm-based HPC:
Practice and Experience (IWAHPCE-2024)
HPC Asia 2024 (2024年1月25-27日) 併催

https://arm-hpc-user-group.github.io/iwahpce-2024/© 2023, Amazon Web Services, Inc. or its affiliates.

33

Amazon EC2 Hpc7a インスタンス
••

•
•
•

AMD 第4世代 EPYC Genoaプロセッサを最大192コア、および768GB の DDR5 メモリを搭載。300Gbps の EFA ネットワークに対応
前世代のHPC6a インスタンスと比較して、コアとメモリの搭載量を最大2倍、有効メモリバンド幅が2.1倍
気象予測、流体解析等のワークロードに最適
1物理コアあたり $0.0375/ 時間*
Ohio, Ireland, GovCloud リージョンにて2023年8月より一般提供開始
vCPU
Instance

Hpc7a(物理コア)

hpc7a.12xlarge

24

hpc7a.24xlarge

48

Hpc7a.48xlarge

96

hpc7a.96xlarge

192

memoryEFA Network BW

On-Demand
Hourly rate

768GB

Up to 300Gbps$7.20

https://aws.amazon.com/blogs/aws/new-amazon-ec2-hpc7a-instances-powered-by-4th-gen-amd-epyc-processors-optimized-for-high-performance-computing/© 2023, Amazon Web Services, Inc. or its affiliates.

※ Ohio リージョンにおける2023年8月時点のオンデマンド価格

Amazon EC2 P5 インスタンス
8 枚の NVIDIA H100 Tensor Core GPU を搭載• 第二世代 EFA を採用し、NVIDIA GPUDirect RDMA に対応した

低レイテンシな 3,200 Gbps ネットワークを提供• 最大で 20,000 GPU を接続したクラスタ構成が可能• 北バージニア・オハイオリージョンで利用可能

https://nvidianews.nvidia.com/news/aws-and-nvidia-collaborate-on-next-generation-infrastructure-for-training-largemachine-learning-models-and-building-generative-ai-applications
https://press.aboutamazon.com/2023/3/aws-and-nvidia-collaborate-on-next-generation-infrastructure-for-training-largemachine-learning-models-and-building-generative-ai-applications© 2023, Amazon Web Services, Inc. or its affiliates.

Amazon EC2 Trn1/Trn1n インスタンス
AWS 独自設計高性能 ML トレーニングチップ AWS Trainium を搭載したインスタンス• 最大16個の AWS Trainium を搭載• 同等の GPU インスタンスと比較し 最大50%低価格を実現• 512GB の高速 HBM2 メモリ搭載• 最大 1600 Gbps の EFA ネットワーク帯域に対応• Trn1上で学習したモデルのデプロイ先は自由• 3万以上の1 Trainium を EC2 UltraCluster にデプロイ、6 エクサフロップスの演算性能を提供

NEW

インスタンスサイズ

Trainium

アクセラレータ
メモリ

vCPU

メモリ

NeuronLink

ネットワーク帯域

オンデマンド価格(USD/時間)

Trn1.2xlarge

132 GB

832 GB

N/A

最大 10 Gbps

1.34

Trn1.32xlarge

16512 GB128

512 GBYes

800 Gbps

21.5

Trn1n.32xlarge

16512 GB128

512 GB

Yes

1600 Gbps

24.78

https://aws.amazon.com/jp/ec2/instance-types/trn1/© 2023, Amazon Web Services, Inc. or its affiliates.

*2023年4月時点の米国東部 (バージニア北部)の価格

Amazon EC2 Inf2 インスタンス
最もコスト効率の高い 生成系 AI モデルに対応した推論向けインスタンス

NEWAWS Inferentia2• Inf1 と比較して最大4倍10分の１

Inferentia2

アクセラレータ
メモリvCPUメモリ

NeuronLink

ネットワーク帯域

オンデマンド価格(USD/時間)

Inf2.xlarge

132 GB

416 GB

N/A

最大 15 Gbps

0.76

Inf2.8xlarge

132 GB

32128 GB

N/A

最大 25 Gbps

1.97

Inf2.24xlarge

6192 GB96

384 GBYes

50 Gbps

6.49

Inf2.48xlarge

12384 GB192

768 GBYes

100 Gbps

12.98

インスタンスサイズ

https://aws.amazon.com/jp/ec2/instance-types/inf2/© 2023, Amazon Web Services, Inc. or its affiliates.

*2023年4月時点の米国東部 (バージニア北部)の価格

AWS では目的に応じて様々なアクセラレータの選択肢を提供

機械学習(トレーニング)

機械学習(推論)

P5

NVIDIA H100
Tensor Core GPU

Trn1AWS Trainium

P4d

NVIDIA A100
Tensor Core GPU

G5

NVIDIA A10GTensor Core GPU

Inf2AWS Inferentia2G4dn

NVIDIA T4 GPU

Inf1AWS Inferentia

G5

NVIDIA A10GTensor Core GPUグラフィックス

DL1

Habana Labs
Gaudi アクセラレーター

G4ad
G4dn

NVIDIA T4 GPU© 2023, Amazon Web Services, Inc. or its affiliates.

AMD Radeon Pro
V520 GPUAWS Summit Tokyo 2023 での実物展示© 2023, Amazon Web Services, Inc. or its affiliates.

Amazon S3AWS の提供するオブジェクトストレージサービス• 利用した容量に対する従量課金、容量制限なし(1オブジェクトは最大5TBまで）• データを3つ以上の AZ (データセンタ群) に保管し99.999999999% という高い耐久性• 低コストStandard: 0.023 USD/GB※～ S3 Glacier Deep Archive: 0.00099 USD/GB※• スケーラブルで安定した性能であり、ユーザが、サーバ台数、媒体本数やRAID、RAIDコントローラを考える必要がな
い※2022年6月現在のus-east-1での価格
価格はストレージクラスによって異なる
https://aws.amazon.com/jp/s3/pricing/© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Amazon FSx for Lustre
高速な分散ファイルシステムである Lustre をフルマネージドで提供

Lustre は POSIX 準拠のファイルシステムとして利用可能
階層型ストレージの機能もあり、S3と透過的にデータの import/export が可能© 2023, Amazon Web Services, Inc. or its affiliates.

Amazon File Cache
オンプレミスの NFS ストレージをクラウド側でキャッシュ

Amazon File Cache© 2023, Amazon Web Services, Inc. or its affiliates.

46

AWS Snow Family
ハードウェアアプライアンスを郵送することでオンプレミスーク
ラウド間のデータ移行を高速化
データの自動暗号化や不正開封防止筐体によるセキュリティ確保
一度に大量のデータを送ることができるが、郵送に時間や手間がかかる点には注意が必要
AWS Snowball Edge
Storage Optimized の場合、
約 22 kg の筐体に 100 TB の HDD を搭載

AWS Snowball EdgeAWS Snowcone
約 2 kg と軽量な筐体に 8TB or 12TB のストレージを搭載
AWS DataSync エージェントを実行できオンライン転送用環境としても利用可能※ AWS Snowball Edge/AWS Snowcone 共に東京リージョンで利用可能© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

AWS Snowcone

NICE DCV
• 機能と特徴ー 高性能なNICE DCVプロトコルにより、クラウド上のデスクトップ画面を高速にストリーミング、スムーズな画面描画による快適なVDI環境を実現
ー Windows、Linuxの両方に対応

ー GPU搭載インスタンスと組合せて使用することで、サーバー側に搭載されたGPUによる高度な3Dグラフィックス描画の他、H.264ハードウェアエンコードによりCPU負荷無く画面のストリーミングを実現 (non-GPU環境ではCPU処理で動作)
ー HTML5クライアントサポートにより、専用クライ
アントアプリの他、ブラウザでのリモートアクセ
スにも対応
ー Amazon EC2で利用する場合は追加のライセンスコスト無しで利用可能
NICE-DCVプロダクドページ → https://aws.amazon.com/hpc/dcv/© 2023, Amazon Web Services, Inc. or its affiliates.

AWS ParallelCluster とは数コマンド操作でジョブ投入に応じて自動でスケールするクラスタをAWS 上に構築可能な AWS 公式のオープンソースソフトウェア
AWS ParallelCluster の特徴• 既存の HPC 向けスケジューラ（Slurm）と連動しスケーラブルな計算環境を作成• MPI/NCCL 環境がセットアップ済み• x86/Arm 両方の環境に対応• 使用するOSやネットワーク環境、ストレージ構成などを柔軟にカスタマイズ可能• オープンソースソースのプロジェクトであり、誰でもソースコードを入手可能
https://github.com/aws/aws-parallelcluster© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Cluster
Headジョブスケジューラ(Slurm)

Scale-Out / Scale-in
NFS mount/home/shared/shared

Auto-ScaleCompute

AWS ParallelCluster の利用方法
コマンドラインツールに加え、ユーザーの AWS アカウント内で展開可能なウェブツールも提供
コマンドラインツールでクラスタを作成・管理$ pcluster create-cluster <NAME>
ParallelCluster 設定ファイル例
HeadNode:
InstanceType: c6g.large
Scheduling:
Scheduler: slurm
SlurmQueues:- Name: queue0
ComputeResources:- Name: queue0-c6g16xlarge
MinCount: 0
MaxCount: 40
InstanceType: c6g.16xlargeor© 2023, Amazon Web Services, Inc. or its affiliates.

ウェブツールでクラスタを作成・管理

AWS ParallelCluster アップデート
3.1.x Launched• Multi-user support• Cluster access without Internet

3.3 Release (2022-Nov)

3.5 Release (2023-Mar)• Flexible instance types for capacity mgmt

• ParallelCluster UI• Slurm job accounting• Enabled to call Pcluster func as Python libs

• Dynamic Filesystem mounting• Add log of compute node out to CW

3.2 Release (Launched)• Native ODCR support• Support for multiple file systems• Slurm upgrade (22.05)• Memory aware scheduling• Placement Groups per Compute resource• Support for new instance types

3.4 Release (2022-Dec)• OpenZFS, ONTAP support• Dynamic Queue Updates• Instance Fast Failover• Support for multiple AZs• Mount encrypted EFS filesystems via EFSUtils• Permission boundary policy extension• ParallelCluster lambda restricted to VPC© 2023, Amazon Web Services, Inc. or its affiliates.

3.6 (2023-May)• Slurm Upgrade to 23.02.2• Custom Slurm seting• RHEL8 support• Number of queue 10 -> 50• GPU healthcheck• Multi custom bootstrap script

https://github.com/aws/aws-parallelcluster/releases

AWS Batch とは大規模バッチ処理のため環境をフルマネージドで提供•

AWS Batch がインスタンスの起動や停止を行うため、スケジューラや計算ノードなどの 管理が不要•

ジョブは Docker コンテナイメージ を元に作成し、自動でスケールするコンピューティング環境で実行する•

コンピューティング環境ではインスタンスタイプや vCPU 数、スポットインスタンス利用有無などを任意に指定可能

コンテナイメージを用意するだけでスケーラブルな大規模バッチ処理環境が得られる© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Amazon HealthOmics

Multiomic andmultimodal
analysis

Population-level
scale

Fully-managed
bioinformatics
computation

Built-in security,
privacy, andcomplianceヘルスケアやライフサイエンス業界において、ゲノミクス、トランスクリプトミクスなどのオミックスデータを保存・検索・分析し、そのデータからインサイトの取得、健康改善、科学的発見を加速するための専用サービス

Amazon Braket AWS クラウド量子コンピューティング•

さまざまな量子ハードウェアを利用できる（QPU は随時アップデート）•

AWS のアカウントを取得すれば誰でも今すぐ量子ソフトウエア開発をスタート•

初期費用なし、オンデマンド・従量課金のためスモールスタートできる•

AWS の各種サービスとのシームレスな連携•

Amazon Braket SDK やライブラリ Hybrid Jobs などのデベロッパーツール© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

SINET 経由による高速な AWS 接続•••SINET とAWSはIX(インターネットエクスチェンジ)で直接ピアリングしており、SINET 経由で Internet を利用している機関は申請不要で高速な帯域を活用可能（B）
SINET クラウド接続サービスを利用することで「閉じた環境」での利用も可能（C）
2022年12月より SINET AWS 間の接続に、複数の 100 Gbps 専用回線を増強

https://aws.amazon.com/jp/blogs/news/sinet-100gbps/© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

HPC on AWS アーキテクチャ© 2023, Amazon Web Services, Inc. or its affiliates.

56

クラウド HPC アーキテクチャの考慮ポイント•

データの流れ•ユーザーインターフェース•

コラボレーション

概念の話が中心であり、どのように実装するかについては本日は詳しくは触れない© 2023, Amazon Web Services, Inc. or its affiliates.

57

「転送・保存・解析」アーキテクチャオンプレミス環境

測定機器

Local
Storage
Server(NFS/SMB)

解析環境

DataSync
AgentInternet / VPN
専用線等

Amazon S3Bucket

Amazon Genomics CLIAWS DataSync

AWS BatchAWS Snow Family

郵送

ライフサイクル

Amazon FSx
for Lustre
AWS ParallelCluster

S3 Standard-IA

S3 Glacier
Deep Archive© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Amazon SageMaker

大塚製薬様での創薬プラットフォーム
創薬研究環境を AWS 上に構築し、多様な研究者からの要求に迅速に対応可能に• クライオ電顕解析や機械学習（AlphaFold2）といったワークロードで活用• 一週間で解析用クラスタを構築し、1処理の解析時間も7日から2～3日に短縮

https://aws.amazon.com/jp/solutions/case-studies/otsuka-pharmaceutical-case-study/© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

60

HPC + ハイブリッドストレージ
オンプレミスの計算リソースが不足する際にクラウドにバースト••

複数の商用ジョブスケジューラがクラウドバーストに対応
Amazon FSx for NetApp ONTAP の FlexCache や Amazon File Cache を使用し、オンプレミスのデータをクラウドにキャッシュhttps://aws.amazon.com/jp/blogs/news/eda-scale-with-fsx-for-netapp-ontap-and-ibm-lsf/© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Stability AI: Stable Diffusion
Stability AI 社では Stable Diffusion のトレーニングを行うために4,000枚の NVIDIA A100 GPU を利用するクラスタを AWS 上に構築
（Stable Diffusion 2.0 のトレーニングには 200,000 A100・時間 が必要）
AWS ParallelCluster や Amazon FSx for Lustre といったサービスを活用

https://www.youtube.com/watch?v=7I854do63Lg© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

62

ユーザーインターフェース
ユーザーにはクラスタのアクセス権限ではなく専用のウェブフロントエンドを提供することで、利便性と管理のしやすさを両立

https://github.com/aws-samples/alphafold-protein-structure-prediction-with-frontend-app© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

第一三共株式会社様での創薬研究プラットフォーム
研究者のニーズを満たすプラットフォームを作る①利用中の研究ツールやソリューションを使い続けられること②計算処理ボリュームの変動に動的に対応できること
使い慣れた研究ツールや Web ツールからプラットフォームにアクセスできる
使用しているツールの例：
Pipeline Pilot, OpenEye, Schrödinger,Python x RDKit, R『データで新薬開発を加速！第一三共「創薬化学研究プラットフォーム」の全容』, 日経クロステック Active
https://active.nikkeibp.co.jp/atcl/sp/b/22/12/26/00828/© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

63メトロウェザー様での風況測定・予測システム
ドップラーライダーを用いたリアルタイムの風況測定・予測
IoT や HPC、ウェブフロントエンド等を組み合わせ、エンドユーザーに情報提供

https://aws.amazon.com/jp/blogs/startup/tech-interview-metroweather-2023/© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

65

コラボレーション
他の企業・研究機関とコラボレーションを行う際の計算環境• ParallelCluster を用いて同じクラスタを別アカウントで構築• 細かいアクセス権限管理により必要なデータのみにアクセス
社内アカウント

共同研究先アカウント

AWS ParallelCluster

AWS ParallelCluster

Infrastructure-as-Code による同一環境の構築
Amazon S3
Bucket

必要なデータにのみアクセス© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

高エネルギー加速器研究機構 (KEK) 様でのクライオ電顕データ解析プラットフォーム
KEK が構築した解析環境を他の研究機関や製薬企業に提供• Infrastructure-as-code を用いることで KEK が最適化した環境をユーザーの AWS 環境内に構築可能

https://www.youtube.com/watch?v=rdF1AzfadOY&t=595s© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

まとめ• クラウドの拡張性・柔軟性・多様なサービスを活用することで、より効率的な課題解決を目指す• クラウドでは新しいハードウエアや様々なサービスが利用可能
特に AWS では独自チップの開発に長年投資しており、Arm HPC エコシステムの展開にも注力• 目的に応じた設計・アーキテクチャへの考慮が重要
何をやりたいかによって前提は大きく変わってくる
本日は触れられませんでしたが、SaaS 活用やMLOpsと連携した分散機械学習や大規模データ分析等、既存HPC ユーザー以外のクラウド HPC 活用も興味深いトピック© 2023, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Thank you!

© 2022, Amazon Web Services, Inc. or its affiliates.

© 2023, Amazon Web Services, Inc. or its affiliates.