PCクラスターワークショップ in 神戸 2022

新しいクラウドHPCとMicrosoft Azureの最新情報のご紹介
日本マイクロソフト株式会社
クラウドインフラアーキテクト本部
クラウドソリューションアーキテクトshugo )五十木 秀一 (Shuichi Gojuki) (2022/06/23

自己紹介
五十木 秀一 SHUICHI GOJUKI (Ph.D in Physics)
所属：
日本マイクロソフト株式会社
エンタープライズアーキテクト統括本部 クラウドインフラアーキテクト本部
クラウド ソリューション アーキテクト
業種や業界は問わず、すべてのHPCなお客様へクラウドをご利用いただくための技術支援
特技：プログラムチューニング、ベンチマーク、コンピュータアーキテクチャ
専門分野：
理論物理学、ハイパフォーマンスコンピューティング

クラウドならではのHPCシナリオ

クラウドのメリット
オンデマンド乗換可能

従量課金と予約

メンテナンス不要

必要な時に、必要なリソースを選択し、必要な量のリソースを利用することができます。また、不要になったら、停止することでコスト削減が可能です。

新しいCPU, GPU, ネットワーク
インターコネクトがリリースされると、Azureでも最新のCPU,GPU, ネットワークインターコ
ネクトが搭載された仮想マシンが利用可能になります。いつでも最新のリソースに乗換可能なので、常に最新の計算機環境をご利用いただけます。

利用に応じて課金される従量課金方式と固定した利用見込みで予約するリザーブドインスタン
スで、利用シナリオに応じて従量課金と予約インスタンスを組み合わせてコスト最適化できます。

クラウドではハードウェアメンテナンスはクラウド事業者が行うため、ユーザによるハードウェアメンテナンスは不要です。
万が一、ハードウエアの障害が発生しても正常なリソースに移行して運用を継続することができます。

…………

ストレージの必要に応じて増減可能

NEW

いつでも乗換可能

固定利用を超える部分は従量課金で利用分のみのコスト
Compute Demand……

計算機リソースをオンデマンドに拡張・縮小可能

Flexible resources
Fixed resources
リザーブド インスタンス（予約）
固定的に利用が見込まれる２つのクラウド利用モデル
ハイブリッドモデル：オンプレミスと連携
フルクラウドモデル：固定リソースもクラウド（常に一定の需要が見込まれる場合）
固定リソースあり
需要に応じてスケールする
リソース

Compute Demand

固定リソース

フルクラウドモデル
計算実行時のみリソースが起動
計算需要に応じてスケール需要に応じてスケールするリソース✓ 需要に応じてリソースを増減✓ 利用した分だけ課金 （従量課金）✓ 固定した需要に対する固定リソース（リザーブドインスタンス）

固定リソースなし

利用しない時はリソースは停止

スケールアップとスケールアウト
IB搭載VM

1コアVM

×1

限られた計算ノードに複数のジョブを実行…
4ノード MPI-ジョブ

IB搭載VM

×64
64コアVM
シングルノードジョブで利用するコア数に応じてVMサイズを選択………
………
………………………
………
Nノード MPI-ジョブ

大規模マルチノードジョブに対応可能………………
需要に応じて計算ノードをスケールアウト様々なリソースに対応
Azure CycleCloudIntel系マルチノードジョブ用VM (HCシリーズ)
AMD系マルチノードジョブ用VM (HBv2/HBv3シリーズ)
GPU搭載VM (NC/ND/NVシリーズ)

マスターノードIntel系シングルノードジョブ用VM (F/Dd/Edシリーズ)
Intel系シングルノードジョブ用VM (D/Eシリーズ)
ディスクレス
AMD系シングルノードジョブ用VM (Dd/Edシリーズ)
AMD系シングルノードジョブ用VM (D/Eシリーズ)
ディスクレス

一つのクラスターに様々なリソースを準備可能。
計算ノードは計算実行時に起動し、利用しない時は停止させることで課金されない。

常に最新のリソースを利用可能
最新のCPUを搭載したAzure VMに乗換可能
HC

Q2 2019: HC (Intel Skylake)× 1.82

HBv2

Q1 2020: HBv2 (AMD EPYC Rome)× 2.01
HBv3

Q1 2021: HBv3 (AMD EPYC Milan)
× 3.57

HBv3

Q4 2021: HBv3 (AMD EPYC Milan-X)

最新のCPUを搭載したAzure VMを利用することで、最高のパフォーマンスの計算機環境を利用し続けることが可能Microsoft AzureにおけるHPCのご紹介▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪
▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

© Microsoft Corporation▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

▪

© Microsoft Corporation

Solve any HPC, AI workload—at any scale

H/N
Cray in Azure

L/M

D/E/F
A/B

H: メモリ最適化

High memory/IO VMs
General-purpose VMs

A/B series VMs
バースト可能 VM

D: 汎用Specialized VMs

L: 高速I/O SSD & IOPSM: 大規模メモリ

HB: メモリバンド幅

大規模から超大規模
HPCインフラストラクチャ

HC: コンピューティング

Azureネットワークに接続可能

NC: GP-GPU用途
ND: Deep learning

E: メモリ最適化

NV: グラフィックスアプリ

F: コンピューティング最適化

NP: FPGA

Small scale MPI(Handful of cores)

マネージド・カスタマイズ可能
ベアメタルサーバ

Extreme scale MPI(100k+ cores)

HPC用途 VM (H-Series)
HBv3

HBv2

HBHC

H

Workload Optimized

メモリバンド幅

メモリバンド幅

メモリバンド幅

高密度コンピューティング

大規模メモリHPC

CPU

AMD EPYC 3rd Gen
w/ 3D V-Cache“Milan-X”

AMD EPYC 2nd Gen“Rome”AMD EPYC 1st Gen“Naples”

Intel Xeon Platinum 1st Gen“Skylake”

Intel Xeon E5 v3“Haswell”

Cores/VM12012060

4416

TeraFLOPS/VM (FP64)

4 TF

4 TF

1.92 TF

2.6 TF.7 TF

Memory Bandwidth

350 GB/s

350 GB/s

263 GB/s

191 GB/s

80 GB/sMemory448 GB total

4 GB/core, 480 total

4 GB/core, 240 total

8 GB/core, 352 GB

14 GB/core, 224 GB

Local Disk

2 * 960 GB NVMe

960 GB NVMe

700 GB NVMe

2 TB SATA

InfiniBand

200 Gb HDR

200 Gb HDR

100 Gb EDR

56 Gb FDR

Network

50 GbE

50 GbE

50 GbE

16 GbE*All cores, non-AVX, peak Boost/Turbo frequenciesハードウェア インターコネクト
Connect-X 5 Adapter
 Powering HB/HC series VMs

 EDR 100Gb/s InfiniBand Up to 200M messages/second

Connect-X 6 Adapter
 HBv3/HBv2 VM

 HDR 200Gb/s InfiniBand Up to 215M messages/second
 PCI Gen4

Adaptive Routing on Reliable Transport | Enhanced vSwitch / vRouter Offloads

HBv3 Performance Benchmark

GPU コンピューティング
可視化

レンダリング

HPC/シミュレーション ディープラーニング/AI

PC/ワークステーションのワークロード
利用に応じて構成変更可能なGPUワークステーション

インタラクティブなコラボレーションのための
モダン・ワークスペース

MPIを用いたマルチノードHPC/MLワークロードをIBを用いてスケールアップ
高密度シングルノードでのトレーニングやHPCワークロードを高速なNVLINKで接続されたマルチGPU VMのスケールアップで実現コンピューティング用途 GPU VM (NC) & 可視化用途 GPU VM(NV)NCNCv2

NCv3

NCasT4_v3

Cores

6, 12, 24

6, 12, 24

6, 12, 24

4, 8, 16, 64

GPU

Tesla K80

Tesla P100

Tesla V100

Tesla T4

Memory56/112/224 GB

112/224/448 GB

112/224/448 GB

28/56/110/440 GB

Local Disk

340/680/1440 GB SSD

736/1474/2948 GB SSD

736/1474/2948 GB SSD

180/360/2880 GB SSD

Network

Azure Network + InfiniBand (largest size only)

NV

NVv3

NVv4

Cores

6, 12, 24

12, 24, 48

4, 8, 16, 32

GPU

Tesla M60

Tesla M60

Radeon Instinct MI25

Memory56,112,224 GB

112/224/448 GB

14/28/56/112 GB

Local Disk

340/680/1440 TB SSD

320/640/1280 GB SSD

88/176/352/704 GB

Network

Azure Networkディープラーニング向け GPU VM (ND Series)

ND

NDv2

ND A100 v4

NDm A100 v4

CPU Cores

6,12,24409696

GPU

1x, 2x, or 4x P40 GPUs

8x V100 32 GB (NVLink) GPUs

8x A100 40 GB GPUs

8x A100 80 GB GPUs

Memory12/224/448 GB

672 GB

900 GB

1900 GB

Local Disk

736/1474/2948 GiB SSD

2948 GiB SSD

6 TB SSD

6.4 TB SSD

Network

Azure Network +InfiniBand EDR

Azure Network + InfiniBand EDR+ NVLink GPU Interconnect

Azure Network + InfiniBand EDR +NVLink GPU Interconnect

Azure Network + InfiniBand EDR +NVLink GPU InterconnectAzure CycleCloud
ユーザ エンパワーメント• 既存のワークフローと使い慣れたスケジューラーをクラウドで利用可• 計算機環境へ簡単にアクセス可能• オートスケール機能、エラー処理を提供

IT マネジメント• オンプレミスと外部クラウドに対応したワークフローをリンク可能• 認証と承認にActive Directoryを使用可能• 一貫性のあるアクセスを提供

コスト管理• 使用量と支出をリンク可能• コストを管理・制御するためのツールを提供

Azure CycleCloud 利用イメージ
オンプレミスと使い慣れたジョブスケジューラーと利用方法をクラウド環境で提供••••

テンプレートを用いてクラウド上のHPC環境をカスタマイズ可能
計算リソースはジョブ実行時に自動起動、ジョブが終了すると自動停止
ジョブの本数、サイズに応じて計算機リソースをオートスケール（上限の設定が可能）
様々な計算機リソースをあらかじめ準備しておくことで、用途に応じてリソースの選択が可能•••クラウドの計算機リソースへジョブ投入
クラウドとオンプレミスのクラスターを選択可能
管理者はCycleCloudサーバのウェブインターフェイ
スでクラウド上のHPC環境を管理・運用・デプロイ

Data Scientist

HNC

LOB Manager

D/F
クラウド上のHPCクラスター

IT/Admin
オンプレミスのHPCクラスター

Azure CycleCloud がサポートするジョブスケジューラー

SymphonyAzure Update

HBv3 (AMD 3rd Gen EYPC w/ 3D V-Cache Milan-X)
HBv3 シリーズ VM は、流体力学、明示的および暗黙的な有限要素分析、気象モデリング、地震処理、貯水池シミュレーション、RTL シミュレーションな
ど、HPC アプリケーションのために最適化されています。
✓ AMD 第三世代 EPYCTM 7V73Xを搭載✓ あらゆるHPCワークロードに対応するためノード当たりのコア数を選択可能✓ ノード当たりのメモリ帯域幅 350MB/sを提供✓ 200Gbps HDR InfiniBand搭載✓ 960GiB NVMe x 2を搭載

HBv3

CPU周波数AMD EPYC 7V73X – Milan-X
1.9 GHz(max. single core: 3.5 GHz
all cores turbo: 3.0 GHz)

VMあたりのコア数

120(HB120rs_v3)
96(HB120-96rs_v3)
64(HB120-64rs_v3)
32(HB120-32rs_v3)
16(HB120-16rs_v3)

メモリバンド幅

350 GB/s

搭載メモリ量3.75 GiB - 28GiB /core,
448GiB

ローカルディスク

960 GiB NVMe x 2

InfiniBand

200 Gbps HDR InfiniBand

接続ネットワーク50 Gbps (40 Gbps利用可能）

Azure HBv3 (Milan-X)

HBv3

VMサイズそのままでCPUをAMD EPYC MilanからMilan-Xにアップデート
HBv3

Milan-X

MilanCPU

AMD EPYC 7V73X

AMD EPYC 7V13

CPU Frequency (base/peak)

1.9GHz/3.5GHz

2.45GHz/3.675GHz

L1d/L1i cache

32KB/32KB

L2 cacheL3 cache (per CCD)

512KB
96MB (3D V-Cache)

32MB

Cores(sockets)/node120(2)メモリバンド幅

350GB/s

搭載メモリ量448GiB

ローカルディスクInfiniBand
接続ネットワーク960 GiB NVMe x2

200Gbps HDR InfiniBand
50 Gbps

HBv3 update with “Milan-X”
Azure HBv3仮想マシンを第3世代 AMD EPYC Milan-X にアップデート
します。メモリ性能に依存するさまざなワークロードのパフォーマ
ンス、スケーリング効率、コスト効率を大幅に改善します。
CFD: 80%性能向上
EDA RTL: 60%性能向上
FEA(陽解法): 50%性能向上
気象シミュレーション: 19%性能向上

HBv3 update with “Milan-X”
スケール性能により、モデル規模が大きくなればなるほどよりコストメリットが高くなる
NVIDIA Quantum InfiniBand
大規模キャッシュ効果

線形以上のスケーリング効率を実現することにより、結果を得るまでの時間を劇的に短縮することができるだけなく、Azureのコンピュートコストを削減することができます。

NDm A100 v4
NDm A100 v4 シリーズの仮想マシンは、ハイエンドのディープ ラーニング トレーニングと密結合のスケールアップおよびスケールアウトの HPC ワー
クロード向けに設計された、Azure GPU ファミリに新たに追加された主力製品です。NVIDIA A100
80GB × 8 + AMD EPYC 7V12 + Mellanox HDR
InfiniBand × 8でさまざまなAI、MLのフレームワークを活用して優れたパフォーマンスを発揮します。
また、業界標準のNCCL2通信ライブラリに対応し、AIおよびHPCツールによってInfiniBand相互接続で優れたスケーラビリティを実現します。
✓ NVIDIA A100 80GB × 8 (NVLINK) 搭載✓ AMD 第2世代 EPYC 7V12 (96コア/ノード) 搭載✓ 200Gbps HDR InfiniBand × 8 で ノードあたり1.6Tb/sの相互接続帯域幅を提供

NDmv4

CPUAMD EPYC 7V12 – Rome(2.45GHz)

コア数

96GPU

NVIDIA A100 (80GB) x 8
with NVLINK 3.0

メモリ容量1900GiB

ローカルディスク

6.4 TiB SSD

InfiniBand200 Gbps HDR InfiniBand x 8

Top500 (SC21) に Azure NDmv4クラスターが10位にランクイン
2021年11月に開催されたSC21で発表されたTop500に、Azure NDmv4クラスターが10位にランクイン。浮動小数点演算性能30.05PFLOPS(実行効率76%)を記録している。ISC2021にランクインした４システム(32～35位)と合わせて5システムがTop500にランクイン

28

NC_A100_v4
NC_A100_v4 シ リ ー ズ の 仮 想 マ シ ン は 、 NVIDIA
A100 PCIe GPUと第3世代 AMD EPYC 7V13(Milan)プロセッサが搭載されています。このVMには、最大4個のNVIDIA A100 PCIe GPU(それぞれに80GBのメモリを装備)、最大96個の非マルチスレッドAMD EPYC
Milanプロセッサコア、880GiBのシステムメモリが踏査入れています。これらのVMは、次のような実際のApplied AIワークロードに最適です。
✓✓
✓✓
✓
✓
✓

GPUで高速化された分析とデータベース
大量の前処理と後処理があるバッチ推論
自律運転の強化学習
石油とガスの貯留層シミュレーション
機械学習開発ビデオ処理
AI/ML Webサービス

NC_A100_v4

NC24ads_A100_v4

NC48ads_A100_v4

NC96ads_A100_v4

AMD EPYC 7V13 – Milan(2.45GHz)

CPU
コア数

244896GPU

NVIDIA A100(80GB) x 1

NVIDIA A100(80GB) x 2

NVIDIA A100(80GB) x 4

メモリ容量220GiB

440GiB

880GiB

ローカルディスク1123 GiB
NVMe

2246 GiB
NVMe

4492 GiB
NVMe

Networkbandwidth(Mbps)

20,00040,00080,000Azure HPC Support
HPC専門のサポートチーム✓ HPCの専門知識のあるテクニカルアドバイザーが対応✓ Azure Portalから問い合わせ可能✓ メールおよび電話での対応✓ US, EMEA, APACにサポートチームあり✓ 24x7対応

HPC Platform• ハイパフォーマンス コンピューティング
VM – Hシリーズ(H, HB. & HC)• GPU VM – N シリーズ (N, NV, NC & ND)• FPGA VM – NP シリーズ
• InfiniBand, GPU ドライバー• GPU パフォーマンス etc

Azure CycleCloud•••••

Cyclecloud サポート
クラスター 構成
クラスター 関連
スケジューラー関連問題
クラスター デプロイ問題

Microsoft HPC Pack
• Windows ベース HPC ソリューション
• HPC pack サポート

Cray ClusterStor in Azure
Lustre parallel Filesystem

クラウドHPC
事例紹介

事例：大阪大学サイバーメディアセンター様
スーパーコンピュータSQUID+クラウドバースティング
ユーザ
マルチノードジョブ用
HCシリーズ

スーパーコンピュータ
SQUID

VPN

Login-node
シングルノードジョブ用
Ddv4シリーズ

CPU-nodes

スーパーコンピュータが混雑時に、クラウドの計算リソースで処理✓ ジョブの実行待ちを減らせる✓ マルチノードジョブ用にIB搭載のVMでスケールアップ&スケールアウト✓ シングルノードジョブ用にはIB非搭載のVMでスケールアウト✓ オンプレミスストレージ環境をクラウド計
算リソースにマウント✓ 高速I/Oが必要なジョブではクラウド計算リソースのローカルディスクへステージング

Lustre Filesystem

ハイブリッドモデル

事例：京都大学防災研究所様
CycleCloudを用いたリアルタイム洪水予測システム
台風による河川のリアルタイム洪水予測
観測データ

観測データ

Azure Files

Azure CycleCloudユーザマスター
ノード
計算ノード群✓ Azure CycleCloudを用いることにより、計算が必要な時のみ計算ノードを起動✓ 必要な計算機リソースをオンデマンドにクラウドに展開✓ 計算が行われないときは計算リソースは停止
オンプレミスのスーパーコンピュータではできなかったリアルタイム洪水予測ができるようになった

フルクラウドモデル

まとめ
Microsoft AzureのHPCリソース

クラウドならではHPCシナリオ✓ 仮想マシン✓ オンデマンド✓ ネットワーク✓ 最新のリソースに乗り換え可能✓ ストレージ✓ 従量課金と予約インスタンス✓ HPC専門サポートチーム

Microsoft AzureでクラウドならではHPC環境を!
お問い合わせはこちら

日本マイクロソフト文教営業本部
HPCお問い合わせ窓口
MSKK_HPCinquiry4Edu@microsoft.com