クラウド HPC の最先端：
未来を切り拓く スーパーコンピュータ
Microsoft Azure Eagle
日本マイクロソフト株式会社
インフラテクノロジー テクニカル スペシャリスト
松森 健明
2024/6/27

Who am
松森 健明 Takeaki Matsumori
Technical Specialist, Microsoft(Infrastructure)

Who am I ?

技術営業として業種や業界を問わず、すべてのお客様へ
Microsoft Azure をご活用いただくための技術的な計画を支援

Interest:-

Cloud Infrastructure-

Cloud HPC

-Networking

Top500 List： 2023/11 ～1. Frontier, HPE (1,194.00 PFlop/s)
2. Aurora, Intel (585.34 PFlop/s)
3. Eagle, Microsoft (561.20 PFlop/s)

November 2023 | TOP500
June 2024 | TOP500

Microsoft Azure の Top500 への取り組み

19X year-to-year

performance increase

10X list-to-listperformance increase

パブリック クラウドの新記録 561 PFlop/s ND_H100_v5

#3600

500

400Pflop/s#3#1 cloud provider

supercomputer all-up

300

200

100

NDm_A100_v4

ND_MI200_v4

#13

#1412

#11034

High-Performance Linpack (HPL) 561 PFlop/s▪ Azure 仮想マシン (ND H100 v5 シリーズ）をベースとしたスーパーコンピュータ▪ 14,400 基の NVDIA H100 GPU▪ InfiniBand Quantum 7 NDR 400Gb/s▪ Azure HPC/AI のお客様も利用可能な機能を用いて構築

最新の Azure ND H100 v5 VM シリーズ
NVIDIA H100 GPU を 1,000 台規模までスケール可能

NVIDIA Quantum-2 InfiniBand でノード間接続 (NDR)

生成 AI アプリケーション向けに設計

新しいクラスの大規模 AI モデルへ対応

ND H100 v5 > 大規模にスケール可能な AI スーパーコンピュータ
マルチ GPU VM
Quantum-2 InfiniBand で接続された複数台の ND_H100_v5 VM

マルチ GPU
シングル ND H100 v5 VM 内のNVLINK で接続された 8 GPU

シングル H100 GPU

千台規模の NDv5, 数千台の H100 GPU までスケール アウト

Photo of NVIDIA H100 Tensor Core GPU processor

NCCL+
NVLink

NCCL+NDRNVIDIA H100 Tensor Core GPU

NVSwitch + NVLink 4.0

Quantum-2 InfiniBand• 80 GB of HBM3 Memory• Connects all 8 GPUs on server

400 Gigabit dedicated link per GPU (3.2 Terabits/VM)• 2x – 30x A100 performance• 3.6 TB/s Bisection BW• PCIe Gen 5• 450 GB/s AllReduce• 8 GPUs per NDv5 VM• Fat-tree topology, connecting O(1000) GPUs
• GPU Direct RDMA

ソフトウェア スタックOS イメージ••

Azure HPC イメージ
▪ Ubuntu-HPC 22.04
Azure Marketplace からすぐに展開可能

通信ライブラリ••

NVIDIA NCCL 2.19.3
NVIDIA HPCX 2.16

HPL
•
•

NVIDIA 社ビルドの HPL
SLURM 22.05.3 経由で実行

Microsoft is powered by Azure AI infrastructure
Copilot for
Security

Microsoft
Copilot in Bing

Copilot for
Microsoft 365

WindowsCopilot

Dynamics 365
Copilot

Azure
OpenAI API

Microsoft のサービスは Azure AI インフラストラクチャ上で実行
Azure AI は Azure HPC インフラストラクチャ上で実行
リアルタイム推論と低コスト コンピューティング

ミッドレンジ トレーニングと高密度推論

分散トレーニングと生成推論参考：Copilot for Microsoft 365

#1 supercomputer for cloud

Microsoft Azure
561.20 PFlop/s

TOP500, 2024 年 5 月

2024年5月

30x

Microsoft Azure
Supercomputers

2023年11月

Inferencing

Training

Project Forge

Azure Machine Learning
Global scheduler

リソース使用率を高めるコスト効率の高いインフラストラ
クチャ
信頼性と耐障害性に優れた
AI インフラストラクチャ

Reliability system
Auto repair

FailoverSuspend

ResumeMigrateTransparent checkpointing

ワークロードに対しインフラストラクチャと環境を抽象化

AI accelerator abstraction
CPUGPUFPGAASIC

ScalingInferencing

Training

Project Forge

Azure Machine LearningGlobal scheduler

リソース使用率を高めるコスト効率の高いインフラストラ
クチャ
信頼性と耐障害性に優れたAI インフラストラクチャ

Reliability system
Auto repair

FailoverSuspend

ResumeMigrateTransparent checkpointing

ワークロードに対しインフラストラクチャと環境を抽象化

AI accelerator abstraction
CPUGPUFPGAASIC

ScalingGlobal scheduler

透過的にプリエンプト（中断）、スケール アップ、スケール ダウン、実行One PoolAFTER

BEFORE

Department 1

Team 1Team 2

Department 2

Team 3

Team 4

One Pool with reservation – Premium Tier

Team 5

Each team can only use their own capacity

Oversubscription through Standard and Basic Tier

My “Precious”

Your GPUs + access to more GPUsby oversubscription

One Pool100%

Team-A全体の使用率
100%
100%

Team-B

100%

Team-CInferencing

Training

Project Forge

Azure Machine Learning
Global scheduler

リソース使用率を高めるコスト効率の高いインフラストラ
クチャ
信頼性と耐障害性に優れた
AI インフラストラクチャ

Reliability system
Auto repair

FailoverSuspend

ResumeMigrateTransparent checkpointing

ワークロードに対しインフラストラクチャと環境を抽象化

AI accelerator abstraction
CPUGPUFPGAASICScalingProject Forge 信頼性

自動障害検出自動再起動
バックグラウンドでの自動修復

Azurethe world’s AI supercomputerパブリック クラウドのメリット
乗換可能

従量課金と予約

メンテナンス不要

必要な時に、必要なリソースを選択し、必要な量のリソースを利用することができます。また、不要になったら、停止することでコスト削減が可能です。

新しいCPU, GPU, ネットワークイン
ターコネクトがリリースされると、Azure
でも最新のCPU, GPU, ネットワークイ
ンターコネクトが搭載された仮想マシンが利用可能になります。いつでも最新のリソースに乗換可能なので、常に最新の計算機環境をご利用いただけます。

利用に応じて課金される従量課金方式と固定した利用見込みで予約するリザーブドインスタンスで、利用シナリオに応じて従量課金と予約インスタンスを組み合わせてコスト最適化できます。

クラウドではハードウェアメンテナンスはクラウド事業者が行うため、ユーザによるハードウェアメンテナンスは不要です。万が一、ハードウエアの障害が発生しても正常なリソースに移行して運用を継続することができます。

…………

ストレージの必要に応じて増減可能

NEW

いつでも乗換可能

固定利用を超える部分は従量課金で利用分のみのコスト
Compute Demand

計算機リソースをオンデマンドに拡張・縮小可能……

オンデマンドFlexible resources
Fixed resources
リザーブド インスタンス（予約）
固定的に利用が見込まれる

クラウド HPC の利用シナリオ
クラウド
バースティング

小規模ジョブのクラウド活用

ユーザ毎の専用クラウド環境

特殊な計算機環境

オンプレ停止時の計算リソース

オンプレミス環境の計算リソースが混雑し、ジョブが滞留し長時間の待ちが発生する場合、クラウドの計算リソースにジョブを転送することでジョブの待ち時間を削減することが可能になります。また、クラウド上の計算リソースはジョブが実行されない時は停止し、ジョブが実行されるときのみ起動させることが可能です。

小規模なジョブは、オンプレミス環境
ではノードを占有しコアを余らせて実行されるケースがあります。クラウドの仮想マシンは物理コア数を最小で1コアから利用可能で、ジョブのサイズに応じた仮想マシンを利用することが可能です。また、大量の小規模ジョブに対して、クラウドの計算リソースを一時的に大量に用意することによりスループット性能を向上させることができます。

クラウド環境に、ユーザ毎の専用環境を構築することが可能です。ユー
ザ毎の専用環境を利用することで、個別のカスタマイズが可能になり、他のユーザの影響を受けず計算機環境をご利用いただけます。
また、ユーザ毎にサブスクリプションを用意することにより、サブスクリプションごとに課金することが可能になります。

オンプレミス環境に通常のCPUで構成されたクラスターを保有している場
合、オンプレミス環境にはないGPUやFPGAといった演算加速装置搭載の環境をクラウド上に構成することが可能です。また、オンプレミス環境のCPUと異なるCPUの環境をクラウド上で利用することも可能です。

オンプレミス環境のメンテナンスやシステム移行時の計算環境としてクラウド環境を使用します。オンプレミス
環境が利用できない期間の前後にデータ転送期間を設け、必要なデータのみの転送を行います。クラウド環境もオンプレミス環境と共通のジョブスケジューラーを用いて利用方法をオンプレ環境と共通にすることも可能です。

GPUINTELFPGAAMD

Azure 上の MPI ワークロードの実行オプション
DIY

マネージド サービス

Batch

CycleCloud

Azure ネイティブ (1P) スケジューラ、
フル マネージド サービス••

E2E のライフサイクル管理••

SaaS の活用••

最適化された体験

サード パーティー (3P) スケジューラーの依存関係
ジョブのオーケストレーションに対する有限の制御

ハイブリッド/バースト展開

スケーラビリティ仮想マシン（IaaS）•自組織製スケジューラー•

カスタマイズされたワークフローマ
ネージャー

•

自組織製/カスタム アプリケーション

カスタムメイドAzure CycleCloud
ユーザー エンパワーメント•

既存のワークロードとスケジューラーをクラウド化可能•

リソースへ即時アクセスが可能•

オートスケーリング機能、エラー処理

IT マネージメント• 内部および外部クラウドのワークフローを連携• 認証・認可に Active Directory を利用可能• 安全で一貫性のあるアクセスを提供

ビジネス マネジメント• コスト管理（使用量とコスト）• コストを管理・制御するためのツールを提供

Azure 仮想マシンの AI ポートフォリオ
Azure
インスタンス

NCasT4_v3

NC A100 v4

NC H100 v5

NDm A100 v5

ND H100 v5

コア数

4, 8, 16, 64

24, 48, 96

40, 809696

GPU

1-4x Tesla T4

1-4x A100 GPU, PCIe

1-2x H100 GPU, PCIe

8x A100 GPU, SXM

8x H100 GPU, SXM

メモリー28/56/110/44
0 GB

220/440/880 GB

320/640 GB

1900 GB

1900 GB

ローカル ディスク

180/360/2880
GB SSD1123/2246/4492 GB SSD

4/8 TB SSD

6.4 TB SSD

36 TB SSD

Azure
Network

Azure Network +NVLinkGPU Interconnect (pair)

Azure Network +NVLinkGPU Interconnect (pair)

Azure Network +InfiniBand EDR +NVLink GPU
Interconnect

Azure Network +InfiniBand NDR +NVLink GPU
Interconnect

ネットワークリアルタイム推論と低コスト コンピューティング

ミッドレンジ トレーニングと高密度推論

利用可能な全ての VM シリーズの一覧は以下を参照
仮想マシンのサイズの概要 - Azure Virtual Machines | Microsoft Learn

分散トレーニングと生成推論

Azure HPC ストレージ ソリューション

パフォーマンスとスケール

プロトコル

コスト

Azure
Standard Blob

Azure
Premium Blob

Azure
Premium Files

Azure
NetApp Files

Azure
Managed Lustre

容量20+ PiB

20+ PiB

100 TiB

500 TiB

768 TiB

帯域

15 GB/s (default)

15 GB/s (default)

10 GB/s

4.5 GiB/s

Up to 384 GB/s

IOPS

20,000 (default)

20,000 (default)

100,000

460,000>100,000

遅延<100 ms<10 ms

3-5 ms

<1 ms

<2 ms

REST HDFSSFTP NFSv3
FUSE CSIREST HDFSSFTP NFSv3
FUSE CSIREST
NFSv4.1 (or) SMBCSI

NFSv3 & SMB3*
NFSv4.1 & SMB*
CSI

Lustre
CSI$$$$$$$$$$$$$$

Either

Accelerator

Core*同一ボリュームへの同時マルチ プロ
トコル アクセスAzure Managed Lustre File system
Lustre ファイル システムは、HPC 業界で広く利用されている分散ファイルシステムです。高いスループット性能を提供しながら、大規模なストレージ サイズにスケーリングできるオープンソースの並列ファイル システムです。Azure Managed Lustre File system では、クラウド上に必要なサイズ、必要な性能を設定し、Lustreファイルシステムを素早く展開することができます。
 Azure Blob Storage との統合
 Lustre 階層ストレージ管理 (HSM) BLOB コンテナーからファイルのインポートすることが可能
 ジョブが終了したら変更されたデータを Blob にエクスポート

 HPC オーケストレーションツールとの連携
 Azure CycleCloud Azure Batch Azure Kubernetes Service[msadmin@admin ~]$ lfs df -h
UUID
bytes
lustrefs-MDT0000_UUID
598.9Glustrefs-OST0000_UUID
15.8T
lustrefs-OST0001_UUID
15.8T
lustrefs-OST0002_UUID
15.8T
lustrefs-OST0003_UUID
15.8T
lustrefs-OST0004_UUID
15.8T
lustrefs-OST0005_UUID
15.8T
lustrefs-OST0006_UUID
15.8T
lustrefs-OST0007_UUID
15.8T

Used
5.7M
1.2M
1.2M
1.2M
1.2M
1.2M
1.2M
1.2M
1.2M

filesystem_summary:

9.9M

126.7T

Available Use% Mounted on
548.3G1% /azure-lustre-mount[MDT:0]
15.0T
1% /azure-lustre-mount[OST:0]
15.0T
1% /azure-lustre-mount[OST:1]
15.0T
1% /azure-lustre-mount[OST:2]
15.0T
1% /azure-lustre-mount[OST:3]
15.0T
1% /azure-lustre-mount[OST:4]
15.0T
1% /azure-lustre-mount[OST:5]
15.0T
1% /azure-lustre-mount[OST:6]
15.0T
1% /azure-lustre-mount[OST:7]
120.3T

1% /azure-lustre-mountクラウド HPC の実現イメージ
Microsoft Azure

大学・研究機関・企業
ユーザ

Azure ExpressRouteIB マルチノード実行用計算ノード
通常ジョブ(従量課金)

Azure CycleCloud

通常ジョブとスポットを選択しコスト削減

Azure HPC 環境
オーケストレーション

IB マルチノード実行用計算ノード
スポットジョブ(スポット料金)

クラウド側の専用ログインノード、ジョブスケジューラの利用可能

ログインノード

GPU 計算ノード

専用線接続
専用線接続でセキュアに接続（無制限データプランを選択可能)

ストレージ

ジョブによるリソース要求に合わせてオートスケール

クラウドHPCクラスター

オンプレミスのジョブスケジューラとの連携可能（ジョブスケジューラにより作りこみが必要な場合があります）

スーパーコンピュータ

予算アラートによる自動化

マスターノード
Azure NetApp Files

Azure Managed Lustre
クラウド側
共有ファイルシステム

CPU/GPUなど最新のリソースに乗換や追加が可能
小規模計算用ノード
通常ジョブ(従量課金)

小規模計算用ノード
スポットジョブ(スポット料金)

小規模計算ではジョブが要求したリソース(コア数, メモリ容量)に合わせてVM のサイズを調整可能

Azure HPC 事例 - GENIAC プロジェクト
経済産業省及び国立研究開発法人新エネルギー・産業技術
総合開発機構は、産業活動や国民生活に大きな影響を与えると考えられる生成 AI の開発力を強化していくため、令和 6
年 2 月 2 日に「GENIAC」プロジェクトを開始しています。
日本マイクロソフトは生成 AI のコア技術である基盤モデルの開発に対する計算資源の提供者として選定され、MicrosoftAzure が本プロジェクトにて利用されています。

参考情報
GENIACにおける計算資源の提供支援について、計算資源提供者としてMicrosoft社を選定し、追加公募を開始しました （METI/経済産業省）
マイクロソフトの計算資源を経済産業省と NEDO が公募する生成 AI 基盤モ
デル開発プロジェクトに提供 - News Center Japan (microsoft.com)

まとめ

Eagle 一般提供している Azure サービスをベースに構築された世界最速のクラウド型スーパーコンピュータ（の一部）
Azure AI インフラストラクチャー Azure HPC 上で実行される
Microsoft が提供する多数の AI サービスの基盤

Azure HPC ワークロードの幅広い実行オプションやストレージオプションを提供し、最新ハードウェアやスケーラビリティ、経済性などのメリットを提供

Azure high-performancecomputing
HPC と AI のための最先端のクラウドでイノベーションを解き放つ
Learn more https://learn.microsoft.com/ja-jp/azure/high-performance-computing/

お問い合わせはこちら■営業お問い合わせ先
Tel:0120-167-400 時間：9:00 - 17:30 (月～金)
URL: https://azure.microsoft.com/ja-jp/contact/