Supercomputing Japan 2024

HPC on AWS 最新動向

佐々⽊ 啓 (keissk@amazon.co.jp)
アマゾンウェブサービスジャパン合同会社
パブリックセクター技術統括本部
シニアソリューションアーキテクト
2024/3/13© 2024, Amazon Web Services, Inc. or its aﬃliates.

© 2024, Amazon Web Services, Inc. or its affiliates.

内容についての注意点
本資料では2023年 2⽉時点のサービス内容および価格についてご説明しています。最新の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。
資料作成には⼗分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違があった
場合、AWS公式ウェブサイトの価格を優先とさせていただきます。
価格は税抜表記となっています。⽇本居住者のお客様が東京リージョンを使⽤する場合、別途消費税をご請求させていただきます。
AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change inaccordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any
pricing information included in this document is provided only as an estimate of usage charges for AWS
services based on certain information that you have provided. Monthly charges will be based on youractual use of AWS services, and may vary from the estimates provided.

© 2024, Amazon Web Services, Inc. or its aﬃliates.

2

佐々⽊ 啓アマゾン ウェブ サービス ジャパン 合同会社
パブリックセクター技術統括本部
シニアソリューションアーキテクト
⼤学・研究機関のアカウントチームとして、AWS 上で研究・教育・事務のクラウド化を推進するお客様の技術⽀援を担当© 2024, Amazon Web Services, Inc. or its Aﬃliates. All rights reserved.

© 2024, Amazon Web Services, Inc. or its aﬃliates.

Amazon Web Services のHPC への取り組み© 2023,2024, Amazon Web Services, Inc. or its aﬃliates.
affiliates.

4

AWSにおける主要なHPC関連サービス

仮想サーバに加えて、⾼速ネットワーク、分散ストレージオーケストレーションなど多様な HPC 関連 サービスを提供© 2024, Amazon Web Services, Inc. or its affiliates.

5

AWS 上での HPC 構成例
お客様オフィス/研究室

AWS CloudVPC
Public subnet

ParallelCluster
NICE DCVUser

端末Internet / VPN / 専⽤線など
Head NodePrivate subnet

DataSync AgentInternet / VPN
専⽤線など

DataSync

Amazon S3 Amazon FSx
for Lustre

配送

AWS Snowball Edge

© 2024, Amazon Web Services, Inc. or its aﬃliates.

CPU queue

GPU queue

Compute NodeCompute Node6

HPC 最適化 Amazon EC2 インスタンス
Compute Intensive

Data and memory intensive
Compute & Network IntensiveIntel Ice Lake
2022年11⽉GA

2022年1⽉GA

High clocks and memory optimized
AWS Graviton3E
2023年6⽉GA

Hpc7a

AMD Genoa
2023年8⽉GA© 2024, Amazon Web Services, Inc. or its affiliates.

Intel Sapphire Rapids
2023年12⽉GAAWS Graviton の歴史
64 ビット Arm プロセッサコア搭載カスタム AWS シリコンGraviton
2018 リリース
AWS で搭載された
第 1 世代Graviton プロセッサ16nm プロセス
50億トランジスタ

Graviton2
2019 リリース
Core:Neoverse-N1
4 倍の vCPUs、7 倍の CPU 性能
x86 インスタンスより3.5 倍電⼒効率向上
EC2 初の 7nm プロセスチップ~ 300億トランジスタ

Graviton3

Graviton3E

2022 リリース
Core:Neoverse-V1
Graviton2 より25% 性能向上
x86 インスタンスより60% 消費電⼒削減
クラウド初の DDR5 採用~ 550億トランジスタ

re:Invent 2022で発表
Core:Neoverse-V1
Graviton3 をHPC 向けに最適化
最大35％ 計算性能向上

https://aws.amazon.com/jp/ec2/graviton/© 2024, Amazon Web Services, Inc. or its affiliates.

8

Amazon EC2 HPC7g インスタンス
HPC向けに最適化されたGraviton3の派⽣型プロセッサ••••AWS Graviton3E 搭載、 Nitro v5 プラットフォーム•Arm Neoverse-V1 2.6GHz 最⼤64物理コア•

128GiB DDR5メモリ•

第⼆世代 EFA 採⽤200Gbps ネットワーク帯域

前世代の C6gn インスタンスと⽐較して 2 倍の浮動⼩数点演算性能、同等の x86 インスタンスと⽐較して最⼤ 60% ⾼いエネルギーあたりの計算性能
気象予測、流体解析、⾦融リスク計算等のワークロードに最適
N.Virginia, GovCloud(US-West), Ireland, Tokyo リージョンにて利⽤可能© 2024, Amazon Web Services, Inc. or its affiliates.

HPC7g ローンチエンドースメント• AWSは、Armエコシステムの拡⼤に注⼒し、⽇本のお客様やISVからも Graviton対応を進めていただいている

Application deep-dive into the AWS Graviton3E-based Amazon EC2 Hpc7g instancehttps://aws.amazon.com/jp/blogs/hpc/application-deep-dive-into-the-graviton3e-based-amazon-ec2-hpc7g-instance/© 2024, Amazon Web Services, Inc. or its affiliates.

理化学研究所 計算科学研究センター様
バーチャル富岳プロジェクト
富岳で培われたアプリケーション・ソフトウェア
スタックをAWS Graviton 3/3E に展開/検証•• Arm HPC エコシステムの拡⼤• 富岳アプリの企業での商⽤利⽤•

既存の企業システムのワークロードに富岳アプリを組み込むことが可能•

幅広い企業が富岳の成果を活⽤できるように株式会社 理研数理様が 2023年12⽉よりGENESIS on AWSとして商⽤サービスを提供•••

GENESIS環境が構築されたAWSインスタンスを利⽤
GENESISの開発チームとの連携したサポート体制、富岳に整備されているGUIの実装になど「富岳」と同じ使い勝⼿を実現© 2024, Amazon Web Services, Inc. or its affiliates.

出典︓2023年9⽉22⽇株式会社理研数理 松崎様講演資料『バーチャル富岳の取り組み、その展開されるサービス』

プレAWS Graviton4 を発表
Graviton シリーズの中で最も強⼒でエネルギー効率の⾼いプロセッサ
幅広いクラウドワークロードに対応• Graviton3 の後継§ vCPU 数が Graviton3 の1.5倍（Arm Neoverse V2, 96vCPUs/socket）§ 1コアあたり 2MB の L2 キャッシュ§ DDR5-5600 12チャネル§ コヒーレントマルチソケットに対応• Graviton3 と⽐較して§ データベースを最⼤40%、ウェブアプリを最⼤30%、⼤規模 Java アプリを最⼤45% ⾼速化§ 単⼀システムで最⼤で 3倍のコア数、3倍のDRAMを利⽤可能• R8gインスタンスはプレビューを受付中
Press Release | AWS Blog | Adam's keynote | Deep dive© 2024, Amazon Web Services, Inc. or its affiliates.

12ビ

ューAWS では⽬的に応じて様々なアクセラレータの選択肢を提供

機械学習(トレーニング)

機械学習
(推論)

グラフィックスNVIDIA H200Tensor Core GPU

G6e

NVIDIA L40S GPU

Trn2AWS Trainium2P5

NVIDIA H100
Tensor Core GPU

P4d

NVIDIA A100
Tensor Core GPU

Trn1AWS Trainium

G6e

NVIDIA L40S GPU

G5

NVIDIA A10GTensor Core GPU

Inf2AWS Inferentia2G6

NVIDIA L4 GPU

G4dn

NVIDIA T4 GPU

Inf1AWS Inferentia

G6

NVIDIA L4 GPU

G5

NVIDIA A10G
Tensor Core GPU

P5e

NEWNEWNEWNEW
NEWNEW

G4ad
G4dn

NVIDIA T4 GPU© 2024, Amazon Web Services, Inc. or its affiliates.

AMD Radeon Pro
V520 GPU

内は2024年中にローンチ予定
内はアナウンスアナ

NVIDIA とのパートナーシップ強化
AWS re:Invent にてAdam Selipsky の基調講演に NVIDIA CEO Jensen Huangがゲスト登壇し、AWS と NVIDIA のパートナーシップの強化を発表
AWS が GH200 Grace Hopper 搭載の NVIDIA DGX Cloud を初めてホスト•

GH200 Grace Hopper Superchip を実装する初のクラウドサービスプロバイダとなる•

NVIDIA DGX Cloud が AWSにホストされ GH200 を搭載した初の DGX Cloud となる

Project Ceiba で NVIDIA の AI 開発を加速•

GH200 NVL32 と Amazon EFA interconnect を搭載したNVIDIAの研究開発⽤ AI スーパーコンピュータをAWS 上に構築

NVIDIA GPU ベースの、3つの新インスタンスを発表。2024年に利⽤可能予定•P5e（NVIDIA H200 Tensor Core 搭載)•G6e（NVIDIA L40S Tensor Core 搭載)
G6 （NVIDIA L4 Tensor Core 搭載）•© 2024, Amazon Web Services, Inc. or its affiliates.

NVIDIA Blog | Adam's keynote

14

ウンス

AWS 自社設計 ML チップ搭載インスタンス

AWS Inferentia

AWS Trainium

AWS Inferentia2

初代 ML 推論専用アクセラレータ
高性能かつ低価格

高性能 ML 学習向けアクセラレータ
学習コストを最大 50%削減

第２世代 ML 推論向けアクセラレータ
大規模言語モデルに対応

24 リージョンで利用可能
2019年12月 一般提供開始

米国リージョンで利用可能
2022年10月 Trn1、2023年4月 Trn1n
一般提供開始米国リージョンで利用可能
2023年4月 一般提供開始© 2024, Amazon Web Services, Inc. or its affiliates.

15

国内活⽤事例 - AWS LLM 開発⽀援プログラム

https://tech.stockmark.co.jp/blog/202310_stockmark_13b/https://huggingface.co/stockmark/stockmark-13b

https://rinna.co.jp/news/2023/12/20231221.html
https://huggingface.co/rinna/nekomata-14b© 2024, Amazon Web Services, Inc. or its affiliates.

16

アナ

AWS Trainium2 / Amazon EC2 Trn2 インスタンスを発表
AWS で基盤モデル学習する上で、最⾼レベルのコンピューティング性能を提供
より少ないエネルギーで、より早く、より低コストで基盤モデルを学習
Trainium 第1世代の後継• Trainium 第1世代と⽐較して、最⼤4倍のトレーニング性能、3倍のメモリ容量、2倍のエネルギー効率• 3000億パラメータの LLM のトレーニングを数ヶ⽉ → 数週間に短縮

Trn2 インスタンス• 1インスタンスが 16 枚の Trainium2 チップで構成• 最⼤ 100,000 チップからなる EC2 UltraCluster に導⼊することで最⼤ 65 exaflops の計算性能を発揮する© 2024, Amazon Web Services, Inc. or its affiliates.

Press Release | YouTube17

ウンス

⼀般

利⽤

開Amazon EC2 Capacity Blocks for ML
機械学習ワークロードの実⾏に必要な GPU キャパシティを数⽇間確保する仕組み
現在は以下のインスタンスタイプで利⽤可能• P5 インスタンス（オハイオ・バージニア北部）• P4d インスタンス（オハイオ・オレゴン）
予約するために必要な情報• 開始⽇（8週間先まで）• 利⽤期間（1⽇~14⽇間）• インスタンス数（1~64インスタンス）© 2024, Amazon Web Services, Inc. or its affiliates.

What's New | AWS Blog | YouTube18

始Capacity Blocks vs. On-Demand Capacity Reservation:
キャパシティ確保⽅法の使い分け
Capacity Blocks for ML は「将来」の予約、従来機能の On-Demand Capacity Reservations (ODCR) は「現時点から」の予約* ODCR をプロビジョンしたタイミングで、課⾦が開始される点に注意

Capacity Blocks と ODCR を組み合わせて最適化する• ⽉に3週間以下で利⽤するワークロードは Capacity Blocks• ⽉に3-4週間利⽤するワークロードは ODCR + Savings Plans

利⽤上の注意点• Capacity Blocks は Savings Plans や Reserved Instances の割引が適⽤不可© 2024, Amazon Web Services, Inc. or its affiliates.

YouTube | AWS Doc

19

⾃動でスケールするクラスタ︓AWS ParallelCluster• HPCワークロード管理・オーケストレーションのためのAWS公式オープンソースソフトウェア•

コマンドラインツールに加え、ユーザーの AWS アカウント内で展開可能なGUIも提供•

使⽤するOSやネットワーク環境、ストレージ構成などをカスタマイズ可能•

HPC クラスタで導⼊実績の多いジョブスケジューラ（Slurm）と連動しスケーラブルな環境を作成
GUIでクラスタを作成・管理

コマンドラインツールでクラスタを作成・管理

AWS ParallelCluster UI$ pcluster create-cluster <NAME>

設定ファイル例（YAML 形式）
HeadNode:
InstanceType: c6g.large
Scheduling:
Scheduler: slurm
SlurmQueues:- Name: queue0
ComputeResources:- Name: queue0-c6g16xlarge
MinCount: 0
MaxCount: 40
InstanceType: c6g.16xlarge© 2024, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

orAWS ParallelCluster アップデート
https://github.com/aws/aws-parallelcluster/releases

3.1.x Launched•

Multi-user support•

Cluster access without Internet

3.2 Release (Launched)

3.4 Release (2022-Dec)•

Support for multiple AZs•

Mount encrypted EFS filesystems via EFS Utils•

Permission boundary policy extension•

ParallelCluster lambda restricted to VPC•Support for multiple file systems•

Memory aware scheduling

3.5 Release (2023-Mar)•

OpenZFS, ONTAP support•

ParallelCluster UI•

Dynamic Queue Updates•

Enabled to call Pcluster func as Python libs•

Instance Fast Failover•

Add log of compute node out to CW

3.3 Release (2022-Nov)

3.6 (2023-May)

3.7 (2023-Aug)• Support for FSx FileCache• Memory-aware scheduling with multiple
instance types• Job-level scaling (aka all-or-nothing)• Support Login nodes.
• Ubuntu 22 support

3.7.2 (2023-Oct)• Slurm upgrade for security vulnerability•

Flexible instance types for capacity mgmt•

Slurm Upgrade to 23.02.2

3.8.0 (2023-Dec)•

Slurm job accounting•

Custom Slurm seting• Rocky Linux 8 support•

Dynamic Filesystem mounting•

RHEL8 support• EC2 Capacity Blocks for ML support•

Native ODCR support•

Number of queue 10 -> 50•

Slurm upgrade (22.05)•GPU healthcheck3.9.0 (2024-Mar) NEW!!!

•Placement Groups per Compute resource•

Multi custom bootstrap script• RHEL9 / Rocky Linux 9 support© 2024, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

• Dynamic Cluster capacity resize

AWSの生成AIスタック
基盤モデルを活用したアプリケーション
Amazon Q

Amazon Q in
Amazon Q in
Amazon QuickSight Amazon Connect

AmazonCodeWhisperer

基盤モデルを使って構築するためのツール
Amazon Bedrock
Guardrails

AgentsCustomiza2on capabili2es

トレーニングと推論のためのインフラストラクチャ
TrainiumGPUs
UltraClusters
EFA© 2024, Amazon Web Services, Inc. or its affiliates.

Inferentia
SageMaker
Nitro
EC2 Capacity Blocks

Neuron22AmazonBedrock
基盤モデルを活⽤した
⽣成 AI アプリケーションを簡単に構築、拡張できる⽅法

API を介してさまざまな基盤モデルにアクセス、インフラ管理は不要
お客様の業務⽤途に適した基盤モデルを選択
Amazon、AI21 Labs、
Anthropic、Cohere、Meta、Stability AI

データセキュリティやコンプライアンスを実現

エージェント機能、RAG 機能、⾮公開でのモデルのカスタマイズなど基盤モデルの効果を⾼める
さまざまな機能を提供

東京リージョン含む 6 つのリージョンで⼀般提供 ( 2024 年 1 ⽉時点)
© 2024, Amazon Web Services, Inc. or its affiliates.

23

Amazon Bedrock
幅広い基盤モデルの選択肢をご提供
Mistral AI

JURASSIC

CLAUDEMISTRAL& MIXTRAL

COMMAND& EMBEDLLAMA 2SDXL

AMAZON TITAN

テキスト

テキスト
& ビジョン

テキスト

テキスト

テキスト

画像

テキスト

Jurassic-2 Ultra
Jurassic-2 Mid

Claude 3 Opus

Mistral 7B
Mixtral 8X7B

CommandCommand Light

Llama-2-70b-chat
Llama-2-13b-chat

SDXL 1.0

Titan Text Express
Titan Text Lite

(Coming Soon)

Claude 3 Sonnet
Claude 3 Haiku(Coming Soon)

埋め込み

画像

Titan Image Generator

テキスト

Embed - Multiligual
Embed - English

埋め込み

Claude 2.1
Claude 2.0
Claude InstantTitan Multimodal Embeddings
Titan Text Embeddings© 2024, Amazon Web Services, Inc. or its affiliates.

※ 2024 年に発表あるいは⼀般提供開始

24

まずは AWS マネジメントコンソールからAmazon Bedrock サービスページ内 “Playground” から基盤モデルの利⽤をお試しできます

試したい基盤モデルを選択有効化したいモデルに ☑

基盤モデルの利用申請

Playground：Chat の例© 2024, Amazon Web Services, Inc. or its affiliates.

※ Playground での利用にも料金は発生します26

より学びを深めるコンテンツも充実
Amazon Bedrock を実際に動かして学ぶコンテンツが多数⽤意されています• 実際に⽣成 AI アプリケーションを構築し具体的なユースケースを体験したい⽅• ⽣成 AI 体験ワークショップ•

Generative AI Use Cases JP• Amazon Bedrock を使ったチャット AI アプリを体感してみたい⽅• Bedrock Claude Chat
• Amazon Bedrock の各機能を横断的に学びたい⽅• Amazon Bedrock Workshop• Amazon Bedrock と LangChain を組み合わせた開発について学びたい⽅• Building with Amazon Bedrock and LangChain…etc.
© 2024, Amazon Web Services, Inc. or its affiliates.

27

Thank you!

© 2022, Amazon Web Services, Inc. or its affiliates.

© 2024, Amazon Web Services, Inc. or its affiliates.