SuperComputing Japan! 2024

生成 AI & クラウド
スーパーコンピューティングを支えるAzure HPCのご紹介
日本マイクロソフト株式会社
クラウドソリューションアーキテクト
五十木 秀一 (Shuichi Gojuki)
2024/03/12

Azureにおける AI & 機械学習サービス
Azure AI services

Bot Service

Cognitive Search

VisionSpeechForm Recognizer

Video Indexer

Language

Metrics Advisor

Decision

Machine Learning
Azure Machine Learning platform

Deep learning frameworks

Azure AI Infrastructure

Immersive Reader

Azure OpenAIServiceAzure AI & MLを支えるインフラストラクチャ
Transformative AI Services

Machine learning platform

開発者とデータサイエンティスト向けに設計されたAIサービスのポートフォリオ
Azure AI Services

マネージド エンドツーエンドの機械学習プラットフォームと OSS フレームワーク
Azure Machine LearningPyTorch

ONNX Runtime

OSS frameworks

Workload orchestration

使い慣れたツールとプロセスを使用したエンドツーエンドのワークフロー

Fast, secure networking

高速なノード間相互接続とエッジからクラウドへの接続

High-performing Storage

Optimized compute

Azure Machine Learning

InfiniBand

VM Scale Sets

Azure Batch

ExpressRoute

用途に応じて選択可能な、幅広いストレージ機能
Azure Blob

Azure Managed Lustre

80K+コアまで拡張可能なフルレンジのGPUおよびCPU
N series virtual machines

Azure CycleCloudOSS frameworks

あらゆる規模のAIをサポートする確かな実績
2023
Microsoft は、最も複雑なディープ ラーニング モデ

2022

ルの一部に対して、AI に最適化されたインフラスト
ラクチャとスーパーコン
ピューティング スケール

2021を提供します。

2020

Microsoft は、クラウドにおいてTOP500スパコンで #1 にランクイン

Microsoft がクラウドで初めて記録的な MLPerf の結果を提供

最も包括的で信頼できるAIインフラストラクチャ
Autonomous Driving

Smart Health

Process Automation

Natural Language

Climate Science

Sustainable Energy

Azure AI Infrastructure
GPU に最適化された VM の Azure の包括的なポートフォリオは、あらゆる規模の AI 需要を満たし、Azure AI サービス、オープンソース ソリューション、ツールチェーンとシームレスに統合します。

Model Inferencing

Mid-Range Training

High-End Training

リアルタイム推論、バッチ推論...

スマート在庫管理、創薬...

深層学習モデル、生成AIモデル、自然言語処理...

GPU

パフォーマンスと拡張性の要件の増大

Azure Datacenters
Globally distributed,
trusted and secure

Redundancy,
Backup & Recovery

Compliance
Certifications

Microsoft is powered by Azure AI infrastructure
Security
Copilot

Edge
Bing ChatTeamsMicrosoft
365 Copilot

WindowsCopilot

Dynamics
365 Copilot

Azure
OpenAI API

Microsoft runs on Azure AI
Azure AI runs on Azure HPC infrastructure
Real time inference & low-costcomputeMid-range training & dense
inference

Distributed training & generative
inferenceAzure では、目的に応じた GPU 利用のための最適な選択肢が提供されます
NVIDIA Triton
Inference ServerIntelligent
Edge

Lightweight GPUdevices
NV & NVv3(Tesla M60)

NVadsA10 v5(NVIDIA A10 GPU)

NC(Tesla K80)

NCsv2

NC

(Tesla P100)

NCsv3

NCas_T4_v3(NVIDIA V100 Tensor CoreGPU)(NVIDIA T4 Tensor Core GPU)

ND

NDv2

(Tesla P40)NDNC A100 v4(NVIDIA A100 Tensor CoreGPU)(NVIDIA V100 Tensor Core GPU)ND A100 v4(NVIDIA A100 Tensor Core GPU 40GB)

NDm A100 v4(NVIDIA A100 Tensor Core GPU 80GB)

ND H100 v5(NVIDIA H100 Tensor Core GPU 80GB)

Real-Time
Inferencing

Batch
Inferencing
Visualization

Basic
Training

Midrange
Training

Data-Parallel
Training

Model-Parallel
Training

AI イノベーターは Azure AI インフラ で実行“NVIDIA と Microsoft Azure は、複数の世代の製品を通じて協力し、世界中の企業に最先端のAI イノベーションをもたらしてきました。
NDv5 H100仮想マシンは、ジェネレーティブAIアプリケーションとサービスの新時代を後押しするだろう」と語った。
”
Ian Buck, Vice President of hyperscale andhigh-performance computing at NVIDIA“スーパーコンピューターを Azure と共同で設計することは、要求の厳しい AI

トレーニングのニーズを拡大し、ChatGPT のようなシステムでの研究と調整作業を可能にするために不可欠でした。”
Greg Brockman, President and CoFounder of OpenAI“会話型AIに焦点を当てるには、最も複雑な大規模言語モデルのいくつかを開発してトレーニングする必要があります。Azure の AI インフラス
トラクチャは、これらのモデルを大規模で確実に効率的にトレーニングするために必要なパフォーマンスを提供します。Azure 上の新しいVM と、それらが AI 開発の取り組みにもたらすパフォーマンスの向上に興奮しています。“Mustafa Suleyman, CEO, Inflection

175B

GPT-3 parameters

Nvidia

Meta

530B

5400

Parameters in MegatronTuring

GPUs to advance Meta’s AIresearch

New Azure ND H100 v5 VM series
NVIDIA H100 GPUを1000台規模までスケール可能

NVIDIA Quantum-2 InfiniBand でノード間接続 (NDR)
生成AIアプリケーション向けに設計

新しいクラスの大規模AIモデル対応

ND H100 v5 > 大規模スケーラブルAIスーパーコンピュータ
マルチ GPU
シングル ND_H100_v5 VM内のNVLINKで接続された8GPUシングル H100 GPU

NCCL+NVLink

マルチ GPU VM
Quantum-2 InfiniBandで接続された
複数台のND_H100_v5 VM
数百台のNDv5, 数千台のH100 GPUまでスケールアップ

NCCL+NDRNVIDIA H100 Tensor Core GPU

NVSwitch + NVLink 4.0

Quantum-2 InfiniBand• 80 GB of HBM3 Memory• Between 8 local GPUs withineach VM

400 Gigabit dedicated link per GPU (3.2 Terabits/VM)• 2x – 30x A100 performance• PCIe Gen 5, Intel Remote Host

• 8 per NDv5 VM• 3.6 TB/s Bisection BW• Any to any, all to all, not over subscribed upto thousands of GPUs

• 450 GB/s AllReduce• Dynamically provisioned via VMSS• GPUDirect RDMA

ND H100 v5
ND H100 v5 シリーズの仮想マシンは、ハイエンドのディープ ラーニングの学習と密結合のスケールアップおよびスケールアウトの 生成AIおよびHPC ワークロード向けに設計されています。ノード当たりNVIDIA H100 × 8で構成されており、 3.2Tb/sのMellanox HDR InfiniBand × 8を用いて数千GPUまでスケールアップしてデプロイすることが可能です。多くのAI、MLのフレームワークを活用して優れたパフォーマンスを発揮し、さらにシームレスなGPUクラスタリングのためNVIDIAのNCCL通信ライブラリに対応したAIおよびHPCツールによって、InfiniBandインターコネクトで優れたスケーラビリティを実現します。
✓✓✓

NVIDIA H100 × 8 (NVLINK) 搭載
Intel 第４世代 Xeon Scalable Processor (Sapphire Rapids) (96コア/ノード)
搭載
400Gbps NDR InfiniBand × 8 で ノードあたり3.2Tb/sの相互接続帯域幅を提供

ND_H100_v5

CPU

4th Gen Intel Xeon Scalable
Processor(Sapphire Rapids)

コア数

96

GPU

8 x NVIDIA H100 (next gen
NVSwitch and NVLink 4.0)

メモリ容量1900 GiB(DDR5 DIMMS)

ローカルディスク

1000 GiB SSD

InfiniBand

400 Gbps NDR InfiniBand(NVIDIA Quantum-2 CX7) x 8(3.2Tb/s per VM in a nonblocking fat-tree network)

Azure ND_H100_v5がTop500で3位にランクイン
ND_H100_v5
600

500

PFLOPS400#3#3 supercomputer all-up#1 cloud provider

300

200

100

ND_A100_v4#26,#27,#28,#29#10

NDm_A100_v4

ND_MI200_v4

#13

#14

June 2022

November 2022

#110

June 2021

November 2021

June 2023

November 2023

2023
Ranking #3 in the #Top500
Supercomputing list#3

14,400 GPUs におけるスケーリング効果 (HPL)
HPL Scaling efficiency with 14,400 H100 GPUs
2000
1800

86%

1600

Speedup (X)

1400
1200
1000

800
600

MeasuredIdeal400

200
00200

400

600

8001000120014001600

1800

2000

Number of VMs

32 から 14,400 の NVIDIA H100 Tensor コア GPU で 86% のスケーリング効率
2023
Ranking #3 in the #Top500
Supercomputing list

#3

MLPerf Training v3.1 benchmark
MLPerf-LLM 175B training scale record byAzure ND H100 v5-series
as of November 2023

Number of NVIDIA H100 Tensor Core GPUs

12,00010,0008,0002023#1on

4.0 mins#2 supercomputer全体で2位#1 クラウドプロバイダーとして1位

10,752

6,000

4,000

10.9 mins

3,584
2,0000Previous RecordAzure(MLPerf Training v3.0 - June 2023)(MLPerf Training v3.1 - November 2023)

MLPerf results at scale

Azure’s submission, the largest in the history of MLPerf Training, demonstrates the extraordinary progress we have made in optimizing the scale oftraining." said David Kanter, Executive Director of MLCommonsaka.ms/AzureBlog/MLPerf3.1

highest performing cloudprovider in the world
highest performing#2 supercomputer in the world

MLPerf Inference v3.1 benchmark
Performance on LLM GPT-J - MLPerf Inference v3.1
as of September 2023
120.00100.00Samples/s

80.00

60.00

AzureAzure(VM)
NDv5

On-PremiseNVIDIA(on-prem)
Bare Metal
Oracle(bare metal)

40.00

20.00

0.00
ServerOffline
GPT-J (6B parameters, 99% accuracy)

Benchmark

オンプレミス、ベアメタルと同等性能

0.99x-1.05x relative performanceNC_H100_v5 Preview
NCads H100 v5 シリーズは、NVIDIA H100 NVL GPU と第4 世代 AMD EPYC Genoa プロセッサを搭載しています。
この VM には、最大 2 個の NVIDIA H100 NVL GPU (それぞれに 94 GB のメモリを装備)、最大 80 個の非マルチスレッ
ド AMD EPYC Milan プロセッサ コア、640 GiB のシステムメモリが搭載されています。 これらの VM は、次のような実際の Applied AI ワークロードに最適です。

✓ GPU で高速化された分析とデータベース✓ 大量の前処理と後処理があるバッチ推論✓ 自律性モデルのトレーニング✓ 石油とガスの貯留層シミュレーション✓ 機械学習 (ML) 開発✓ ビデオの処理✓ AI/ML Web サービス

NC_H100_v5

CPU

4th Gen AMD EPYC Genona

コア数

40/ 80

GPU1 or 2 x NVIDIA H100 NVL(NVLink 4.0)

GPUメモリ

94/ 188 GiB

メモリ容量320 / 640 GiB(DDR5 DIMMS)

ローカルディスク

3576 / 7152 GiB SSD

ND_MI300X_v5 Preview
ND_MI300X_v5シリーズは、厳しいAIとHPCのワークロードに最適化された仮想マシンです。AMD Instinct MI300X
GPUを8基と第 4 世代 Intel Xeon Scalableプロセッサプロ
セ ッ サ を 搭 載 し て い ま す 。 ま た 、 GPU あ た り 1 本 の400GbpsのNVIDIA Quantum-2 CX7 (4x HDR InfiniBand)、
ノード当たり3.2Tbpsのスループット性能のインターコネクトで大規模にスケールアップしてデプロイすることが可能です。
✓ AMD Instinct MI300X × 8 (Infinity Fabric 3.0) 搭載✓ Intel 第４世代 Xeon Scalable Processor 搭載✓ 400Gbps NDR InfiniBand × 8 で ノードあたり3.2Tb/sの相互接続帯域幅を提供

ND_MI300X_v5

CPU

4th Gen Intel Xeon ScalableProcessor

コア数??

GPU8 x AMD Instinct MI300X(Infinity Fabric 3.0)

メモリ容量??? GiB(16Ch. DDR5 DIMMS)

ローカルディスク???? GiB SSD

InfiniBand

400 Gbps 4x NDR InfiniBand(NVIDIA Quantum-2 CX7) x 8(3.2Tb/s per VM)

生成 AI を支援するさまざまなサービス(Azure AI Studio, Azure Machine Learning, Azure CycleCloud)

大量ノードの構成や起動/停止
推論エンドポイントの管理
スクリプトによる自動化・トリガ実行
GPU リソースなどの権限管理
生成 AI 専用のモデル評価と監視
生成 AI アプリケーションのフロー構築

まとめ
生成 AI & クラウド HPC を支えるAzure HPCインフラ✓ 仮想マシン
✓ ND_H100_v5, NDm_A100_v4, ND_A100_v4✓ ND_MI300X_v5 (Preview)✓ NC_H100_v5 (Preview)✓ GPU / InfiniBand✓ ストレージ✓ Azure Managed Lustre Filesystem

Microsoft Azureで生成AIもクラウドHPCも対応可能！

✓ 生成AIを支援するサービス✓ Azure AI Studio✓ Azure Machine Learning✓ Azure CycleCloud

お問い合わせはこちら■第3回AzureHPCユーザ会 (計画中)■営業お問い合わせ先
Tel:0120-167-400 時間：9:00 - 17:30 (月～金)
URL:https://azure.microsoft.com/contact◼ 本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に対していかなる責務を負うものではなく、提示された情報の信憑性については保証できません。
◼ 本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。
◼ すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、どのような形式または手段（電子的、機械的、複写、レコーディング、その他）、および目的であっても禁じられています。
これらは著作権保護された権利を制限するものではありません。
◼ Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給される場合を除いて、本書の提供はこれらの特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません。
© 2024 Microsoft Corporation. All rights reserved.
Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。
その他、記載されている会社名および製品名は、一般に各社の商標です。