Microsoftにおける生成AIの取り組みとHPC基盤技術
日本マイクロソフト株式会社

松崎 剛
五十木 秀一Microsoft AI で注力する投資分野
お客様が得られる効果を最大化

研究開発 &
技術開発

戦略的パートナーシップ

責任ある AI の実践

生成 AI, アクセシビリティ,
生産性の拡大製品展開と改革の加速化

デジタルトラストの構築とユーザー体験の向上

変革・革新のためのパートナーシップ

Microsoft の生成 AI における沿革
July 2019
OpenAI社との戦略的なパートナーシップの発表

Jan 2018
責任あるAI
6つのAI原則の発表

Apr 2021
Nuance Communicationsの買収発表

June 2020
大規模言語モデルGPT-3
OpenAI API の発表

June 2021
GitHub
Copilotの発表

Aug 2021
OpenAI
Codexの発表

Nov 2021
Azure OpenAI
Serviceの発表

May 2022
Meta社との戦略的パートナーシップ

Jun 2022
GitHub Copilotの正式提供開始

Azure OpenAI Service
大規模な事前学習済みモデルと、お客様データによるファインチューニングによりカスタムが可能に

Top capabilities

テキスト自動生成やコンテンツ制作の支援

Text

構造化・非構造化
データを利用Conversation

テキスト要約、Q&A
フィードバック

Code

チャットボット
AIアシスタント

ImagesAzure OpenAI Service

顧客の問い合わせを以下の例にそって分類してください。

舞黒ダイニングを 3/15 に 4 名で、和食のコースで予約お願いします。子供が 1 名居ます。: レストラ
ン予約
大規模な事前学習済みモデルと、お客様データによるファインチューニングによりカスタムが可能に

2月10日 19:20 成田発、シアトル行きののユナイテッド航空 616 便をエコノミークラスで6枚ください。: 航空機の手配

Top capabilities

オペレーターにつないでいただけないでしょうか。: その他
全日空の羽田発、ロサンゼルス行きで、10/20 で手配できますか。:
テキスト自動生成や
テキスト要約、Q&A
構造化・非構造化
航空機の手配コンテンツ制作の支援
フィードバック
データを利用Text

Conversation

Code

チャットボット
AIアシスタント

ImagesAzure OpenAI Service

顧客の問い合わせを以下の例にそって分類してください。

舞黒ダイニングを 3/15 に 4 名で、和食のコースで予約お願いします。子供が 1 名居ます。: レストラ
ン予約
2月10日 19:20 成田発、シアトル行きののユナイテッド航空
616 便をエコノミークラスで6枚ください。
大規模な事前学習済みモデルと、お客様データによる
日時: 02/10 19:20
ファインチューニングによりカスタムが可能に
2月10日
19:20
出発:
成田 成田発、シアトル行きののユナイテッド航空 616 便をエコノミークラスで6枚ください。:到着:
航空機の手配シアトル
Top capabilities
航空会社: ユナイテッド航空
オペレーターにつないでいただけないでしょうか。:
その他
クラス: エコノミー
枚数: 6
全日空の羽田発、ロサンゼルス行きで、10/20 で手配できますか。:
チャットボット
テキスト自動生成や
テキスト要約、Q&A
構造化・非構造化
航空機の手配全日空の羽田発、ロサンゼルス行きで、10月20日午後3:00出発をエコノミークラスで1枚ください。
AIアシスタント
コンテンツ制作の支援
フィードバック
データを利用
日時: 10/20 15:00
出発: 羽田到着: ロサンゼルス
航空会社: 全日空
Text
Conversation
Code
Images
クラス:
エコノミー
枚数: 1

広範囲に導入

医療業界

金融業界

通信・メディア・ハイテク業界

小売業界

製造・エネルギー・石油・ガス業界

BZ

MW

BZ

AZ

Sec

GH

患者サポート
顧客との会話の概要を提示できるため、顧客のニーズを理解するために長い会話履歴をスクロールする必要がなくなります。

AZ

パターン認識トピック分析は、顧客の会話を分類して、顧客の苦情や質問の新たなパターンを特定するのに役立ちます。

BZ

AZ

超-パーソナライゼーション
トピック分析は、顧客との会話を分類して、顧客に代替案を提案するのに役立ちます。

ジを
ー

ゲ
ン
張

バッ
ク
オ
フ
最

ンプライ
ィとコ
アン
リテ
ス
ュ
キ

の
管理
ス
ィ 化
適

BZ

BZ

セ

MW

患者
へ
の
エ
拡

AZ

験
の

運
改 用
善 上の

体
臨床 向

上

び
よ
お を
臨床 洞察

MW
BZ
AZ
感情分析
高度な臨床言語理解は、臨床ノートと患者の会話を分析し、それらを要約して、患者の口調がより深い病気またはうつ病/不安を示しているかどうかを理解することにより、病気の予測と診断にも役立ちますか?

AZ
BZ
コスト見積もりコストモデルと代替治療を検索して、患者に医療サービ
スのコストの見積もりを提供します。

AZ
BZ
環境臨床インテリジェンス
ナレッジベースに基づいて基本的な質問に対する顧客への回答を自動的に生成し、より複雑なケアに優先順位を
付けます。

AZ

ニュースとトレンド
トピック分析により、最新のニュースやトレンドのWeb
コンテンツをマイニングして、業界ニュースの最新のイ
ノベーショントピックを把握したり、薬物リコールなどにつながっているものを把握したりできます。

AZ

請求処理
セマンティック検索とChatGPTを通じて、質問に答え、補
償範囲、控除額、償還に関する情報を患者とプロバイダーに提供することで、請求処理プロセスを自動化します。

AZ
MW
臨床文書
患者の答えを導き出したり、要約によって実行できる重要なパターンを特定したりするために、広範なドキュメントを作成する際の手作業を減らします。

AZ
MW
代替治療
さまざまな治療法間のつながりを見つけ、内部データと外部データを要約することで利用可能な代替案とその副作用を理解するのに役立つ
高度な言語理解。

医療業界のメリット

パーソナライズされたカスタマーケア

最適化されたエンゲージによるコスト削減

より良い/代替治療によるイノベーション

MW

BZ

AZ

BZ

SC

GH

BZ

AZ

MW

AZ

MW

BZ

ドキュメントプロセスの自動化

務業
セ超-パーソナライゼーション
パーソナライズされた通信を自動的に生成して、顧客のニーズとパターンに基づいて最適なメッセージングを取
得します

バッ
ク
オ
最
ンプライ
ィとコ
アン
リテ
ス
ュ
キ

の
管理
ス
ィ
フ 化
適

コンタクトセンター分析
通話の要約作成は、顧客の苦情の傾向を特定し、簡潔で関連性のある情報を持つ人間のエージェントを関与させて、より迅速な意思決定/応答を行うために、通話ログから重要な情報を抽出します。Q&A 機能を使用して、ボット エージェント
を介した通話を自動的に処理します。
BZ
AZ
顧客Q&A
ライブチャット/音声ボットアプリケーションに対して人間のような応答を生成します。

銀
行

AZ

法規制の遵守エージェントが内部調査とデューデリジェンスにおける規制コンプライアンスを、支援されたQ&Aポリシーと引受ルールを通じて遵守するのを支援します。

BZ

険

場

感情分析
GPTモデルを使用した感情分析を通じて、顧客とのやり取りをシミュレートし、最終的な「顧客」満足度を評価するエージェントトレーニングメカニズム。

保

AZ

市
資本

AZ

コンタクトセンター分析
通話の概要作成は、顧客の苦情の傾向を特定し、簡潔で関連性のある情報を持つ人間のエージェントを関与させて、より迅速な意
思決定/応答を行うために、通話ログから重要な情報を抽出します。
Q&A 機能を使用して、ボット エージェントを介した通話を自動的に処理します。

AZ

ドキュメントをデジタル化し、セマンティック検索またはコ
グニティブ検索を通じて重要な情報を抽出し、それらを要約します(たとえば、内部および外部の情報による法的文書の要
約)。
MW
AZ
リスクマネジメント
認識コンテンツ(ソーシャルメディアやブログを含む)の検索と要約を通じてリスクを特定するための現在のパターンと傾向。

MW
AZ
ビジネスユニット間の情報収集
NER、複数のビジネスユニットにわたるニュースソースのセンチメント、分類、要約
BZ
AZ
コンタクトセンター分析
通話の概要作成は、顧客の苦情の傾向を特定し、簡潔で関連性のある情報を持つ人間のエージェントを関与させて、より迅速な意思決定/応答を行うために、通話ログから重要な情報を抽出します。Q&A 機能を使用して、ボット エー
ジェントを介した通話を自動的に処理します。

AZ
市場分析
その日の市場のダイナミクスに基づいてトップオブマインド/編集意見を自動的に生成し、要約ビューといくつかの重要なポイント分析を生成します

金融業界のメリット

パーソナライズされたカスタマーケア

MW

最適化されたエンゲージによるコスト削減

インテリジェントな
コンプライアンス&リスク管理

AZ

MW

BZ

AZ

BZ

SC

GH

MW
BZ
AZ
社内コミュニケーション
セマンティック検索と要約を使用したインテリジェントなQ&Aを通じて、組織全体、複数のビジネスユニット、バックエンドデータシ
ステムからのクエリに対応します。

広告とキャンペーン
広告やマーケティングキャンペーンの画像モデルを自動的に生成する
AZ
ブランド管理

MW

BZ

キ
セ

とコンプライ
ティ
ア
リ
ン
ュ

ス

コンタクトセンター分析
通話の概要作成は、顧客の苦情の傾向を特定し、簡潔で関連性のある情報を持つ人間のエージェントを関与させて、より迅速な意思決定/応答を行うために、通話ログから重要な情報を抽出します。Q&A 機能を使用して、
ボット エージェントを介した通話を自動的に処理します。

財
費

バッ
ク
オ
最 フ

の
管理
ス
ィ
化
適

AZ

BZ

消

ソーシャルメディアフィードに接続し、それらを要約し、感情分析を使用して、製品/サービスの品質をよりよく理解し
ます。

AZ

る

小

よ

AZ

小売業の要員管理
検索とコンテンツ生成を通じて店舗のスケジュールを自動的に管理します。

MW

BZ
AZ
調達管理
ベンダー契約のデータから貴重な情報と洞察を抽出します。ベンダー契約を要約し、感情分析を通じて否定的なステートメントを強調します。

AZ

レポート生成店舗マネージャーと中央マネージャーの運用管理の概要。
エグゼクティブリーダーシップのレポートを作成するためのストアマネージャー/エグゼクティブへのすべてのサポートチケットの簡潔な要約

BZ

BZ
AZ
内部ヘルプデスク
インテント分類、エンティティ抽出、感情分析、内部ヘルプ
デスクチケットの軽量要約を使用して、ルーティングを自動化し、従業員が送信したIT/HRヘルプデスクチケットの解決
時間を短縮します。

売

自

動

化

に

革

自動マーケティングメール

新ユーザー生成コンテンツ

MW

AZ

BZ

AZ

製品説明の自動化
マーチャンダイジングエクスペリエンスエージェントからのいくつかの重要な入力に基づいて長いアイテム説明の生成を提案し、手作業を減らします

パーソナライズされたカスタマー360情報とマーケティングビ
デオの抽出と要約に基づいて、マーケティングメールを自動的に生成します。

MW

ユーザー生成コンテンツの説明(例:製品の写真に基づく製品の説
明)を生成します。コンピュータービジョンおよびコンテンツモ
デレーターと組み合わせて、共有に不適切なコンテンツを除外します。

小売および消費財業界のメリット

超-パーソナライゼーション

AZ

インテリジェントなオンボーディング
エンジニア、営業担当者等を開発プラクティス、IT戦略、ベストプラ
クティスを使用して社内にオンボードするための会話型チャット。

革新的なマーケティングとキャンペーン

インテリジェントコンタクトセンター

MW

BZ

AZ

BZ

SC

GH
トレンド分析

コンタクトセンター分析
通話の概要作成は、顧客の苦情の傾向を特定し、簡潔で関連性のある情報を持つ人間のエージェントを関与させて、より迅速な意思決定/応答を行うために、通話ログから重要な情報を抽出します。Q&A機能を使用して、ボットエージェントを介した通話(停止情報など)を自動的に処理します。 。

BZ

AZ

MW

AZ

社
会
セ

パターン認識トピック分析は、顧客の会話を分類して、顧客の苦情や質問の新たなパターンを特定するのに役立ちます。

電
話

AZ

超-パーソナライゼーション
トピック分析は、顧客との会話を分類して、顧客に代替案を提案するのに役立ちます。

オーディオトランスクリプトの要約
エンティティ抽出を実行し、ビデオ コンテンツから抽出されたオーディオ トランスクリプトの概要を生成します。

ィ
デ
メ ケ
ニ
ュ
コミ

AZ

ー ア&
シ
ョ
ン

AZ
MW
社内コミュニケーション
セマンティック検索と要約を使用したインテリジェント
なQ&Aを通じて、組織全体、複数のビジネスユニット、
バックエンドデータシステムからのクエリに対応します。

BZ
AZ
内部ヘルプデスク
インテント分類、エンティティ抽出、感情分析、内部ヘ
ルプデスクチケットの軽量要約を使用して、ルーティン
グを自動化し、従業員が送信したIT/HRヘルプデスクチ
ケットの解決時間を短縮します。
GH

AZ

Codex をゲーム開発プラットフォームに組み込み、会社の IDE 内でコード補完サービスを使用してプラット
フォーム上でコードを開発するためのCopilotアプロー
チを提供します。

ーゲ

自動マーケティングメール

BZ

AZ

パーソナライズされたカスタマー360情報とマーケティングビ
デオの抽出と要約に基づいて、マーケティングメールを自動的に生成します。

AZ
ゲーマーに新しいコンテンツを自動的に生成、要約
ゲームプラットフォームでゲーマーに提供されるコンテンツを要約して革新的にします。

AZ

ファンへの新しいコンテンツを自動的に生成、要約
要約会社のウェブサイトを通じてファンに提供される革新的なコンテンツ。ウェブサイトの新しいUIを生成することもできます。

通信・メディア・ハイテク業界のメリット

超-パーソナライゼーション

AZ

ソーシャルメディアのトレンドとデータを使用して、製品やサービスに対する顧客の感情を理解し、顧客へのサービスを向上させ、新しいトレンドやパターンに基づいてコンテンツをパーソナライ
ズします。

Copilotアプローチ

出版前作業の迅速化
編集スタイルガイドに準拠するためのコンテンツ編集の提案、説得力のある有益な要約の生成、記事のSEOに最適化された見出しの生成、ワイヤーやファクトリストからの記事の構成の支援など、公開前に作業を加速および分析します。

MW

ンプライ
ィとコ
アン
リテ
ス
ュ
キ

の
管理
ス
ィ 化
適

BZ

バッ
ク
オ
フ
最

ム

AZ

インテリジェントコンタクトセンター

革新的なコンテンツ制作

AZ

MW

BZ

AZ

BZ

SC

GH
トレンド分析

コンタクトセンター分析
通話の概要作成は、顧客の苦情の傾向を特定し、簡潔で関連性のある情報を持つ人間のエージェントを関与させて、より迅速な意思決定/応答を行うために、通話ログから重要な情報を抽出します。Q&A 機能を使用して、ボット エージェントを介した通話を自動的に処理します。

AZ

AZ

ー

セ

BZ

ギ
ル

超-パーソナライゼーション
トピック分析は、顧客との会話を分類して、顧客に代替案を提案するのに役立ちます。

ンプライ
ィとコ
アン
リテ
ス
ュ
キ

の
管理
ス
ィ 化
適

パターン認識トピック分析は、顧客の会話を分類して、顧客の苦情や質問、および最も効果的な消費パターンの新たなパターンを特定するのに役立ちます。

エ
ネ

BZ

バッ
ク
オ
フ
最

ソーシャルメディアのトレンドとデータを使用して、製品やサービスに対する顧客の感情を理解し、顧客へのサービスを向上させ、新しいトレンドやパターンに基づいてコンテンツをパーソナライズします。

AZ
MW
社内コミュニケーション
セマンティック検索と要約(予防ガイドラインに関する情報など)を使用したインテリジェントなQ&Aを通じて、組織全体、複数のビジネスユニット、バックエンドデータ
システムからのクエリに応答します。

BZ
AZ
内部ヘルプデスク
インテント分類、エンティティ抽出、感情分析、内部ヘ
ルプデスクチケットの軽量要約を使用して、ルーティン
グを自動化し、従業員が送信したIT/HRヘルプデスクチ
ケットの解決時間を短縮します。
スタッフのオンボーディング

油

電子メール応答を自動的に生成する
顧客のセンチメントを理解し、顧客への電子メール応答
を自動的に生成します。

ガ

ス

&

AZ

造
製 動
自

BZ
AZ
設備レポート
テキスト要約とパターン認識により、機器の故障などのレポートを自動的に生成します。

自動マーケティングメール

AZ

BZ

AZ

パーソナライズされたカスタマー360情報とマーケティングビ
デオの抽出と要約に基づいて、マーケティングメールを自動的に生成します。

AZ
顧客向けに新しいコンテンツを自動的に生成、要約
自動的に要約また、顧客に関連する新しいコンテンツを生成して、顧客への対応に必要な手作業の量を減らします。

製造/エネルギー/石油・ガス業界のメリット

労働者支援とオンボーディングMW

生成モデル機能を使用して、記録された会話履歴に基づいて、新しい担当者(カスタマーサービスエージェント、
工場労働者など)のオンボーディングのためのトレーニ
ング資料を作成します。

車MW

リモートワーカーアシスタンス
ビジネスユーザーおよび遠隔地の運用担当者への個人的な支援/知識プロバイダー。

・

AZ

石

BZ

AZ

インテリジェントコンタクトセンター

革新的なコンテンツ制作

Autonomous Systems by Reasoning(TaskMatrix.AI の例)

Action 1:
Replace Something From The Photo“couch, desk”“replace the sofa in this image with a desk and then make it likea water-color painting”

Thought: Do I need to use a tool?
Yes
Action: Replace Something From
The Photo

Action 2:
Instruct Image Using Text
“make it like a water-color painting”

Action Input: image/5737_replacesomething_9bb5e03b_9bb5e03b.pn
g, make it like a water-color painting

Observation:
image/770e_pix2pix_5737_9bb5e03
Action Input: image/9bb5e03b.png, b.png
couch, desk
Thought: Do I need to use a tool?
Observation: image/5737_replace- No
something_9bb5e03b_9bb5e03b.png
AI: Here is the image you requested.

Thought: Do I need to use a tool?
Yes
Action: Instruct Image Using Text![image/770e_pix2pix_5737_9bb5e0
3b.png](image/770e_pix2pix_5737_9
bb5e03b.png)

アーキテクチャ詳細は下記参照
https://tsmatz.wordpress.com/2023/03/07/react-with-openai-gpt-and-langchain/GPT-4 Turbowith VisionGPT-4 Turbowith Vision

GPT-4 Turbo Vision の画像認識能力の評価

The Dawn of LMMs: Preliminary Explorations with GPT-4V(ision)
https://arxiv.org/abs/2309.17421

新しいプロンプト手法

出典 : Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V
https://arxiv.org/abs/2310.11441

従来のモデル開発と Microsoft が提供する AI サービス

展開

タグ付け
サービス

空間分析サービス

Eagle

空間共有

検索時のAI エンリッ
チ, Video Indexer

Eagle

Playing Soccer

Flowerタスク

アクセシビリティ
サービス

分類

物体検知

オブジェクトトラッキング

行動認識

エンティティ抽出

トピック抽出

感情分析

Classification
Model

Detection
Model

Tracking
Model

ActionModel

EntityRecognition

Topic
Classification

Sentiment
Analysis

Tagging data

Detection data

Tracking data

Action data

Entity data

Topic data

Sentiment data

個別のモデル(互いに独立)学習データ(アノテーションが必要)Copilot
生成 AI の各種サービスへの適用 (ビジネス変革)

Copilot for Microsoft 365

46%の 新規コード が AI
により記述

96%

の開発者が繰り返し作
業を 迅速化75%

開発者の本来あるべき作業
へのフォーカスと作業に対する 満足度

Reasoning engine

Natural language

Act

GPT-4

Tool

Tasks

昨日の 10:00 の A 社との会議を取得
会議取得
Input/
Params2023-09-11T10:00:00.000Z

Microsoft Graph

A社

会議のサマリーを作成
要約

Azure OpenAI
Service

会議トランスクリプト

サマリーを反映させたパワポ作成
要約文

スライド
追加

PowerPointReasoning engine

Natural language

Act

GPT-4

Tool

Tasks

昨日の 10:00 の A 社との会議を取得
会議取得
Input/
Params2023-09-11T10:00:00.000Z

PluginA社

会議のサマリーを作成
要約

会議トランスクリプト

Plugin

サマリーを反映させたパワポ作成
要約文

スライド
追加

Plugin175B

GPT-3 parameters

Nvidia

Meta

530B

5400

Parameters in MegatronTuring

GPUs to advance Meta’s AI
research

Model Parallelism

Tensor Parallel (TP)

Pipeline Parallel (PP)
Zero Redundancy Optimizer(ZeRO)

Model Parallelism

Tensor Parallel (TP)

Pipeline Parallel (PP)
Zero Redundancy Optimizer(ZeRO)[出典] Hugging Face – Model Parallelism
https://huggingface.co/docs/transformers/v4.19.4/en/parallelism

Model Parallelism

Tensor Parallel (TP)

Pipeline Parallel (PP)
Zero Redundancy Optimizer(ZeRO)

Model Parallelism

parent module

Tensor Parallel (TP)

Pipeline Parallel (PP)
Zero Redundancy Optimizer(ZeRO)

sub module1

sub module2

to(device1)

to(device2)

GPU1

GPU2

sub module3
to(device3)

submodule3-1

submodule3-2

GPU3Model Parallelism

Tensor Parallel (TP)

Pipeline Parallel (PP)
Zero Redundancy Optimizer(ZeRO)

Model Parallelism

Tensor Parallel (TP)

Pipeline Parallel (PP)
Zero Redundancy Optimizer(ZeRO)[出典] ZeRO & DeepSpeed: New system optimizations enable training
models with over 100 billion parametersクラウド上のスケーラブルな AI スーパーコンピュータの提供

単一の A100 GPU
複数 GPU と複数 VM

複数 GPU VM

InfiniBand

NVLINK

A100 x n

A100 x 8

NCCL+ NVLink

NCCL+ HDR

[参考] InfiniBand の Azure における構成方法は下記 (NVIDIAドキュメント) を参照
https://docs.rapids.ai/deployment/stable/guides/azure/infiniband/クラウド上のスケーラブルな AI スーパーコンピュータの提供

NVIDIA ブログ : “ChatGPTを動かすものとは?”単一の A100 GPU

https://developer.nvidia.com/ja-jp/blog/new-video-what-runs-chatgpt/
複数 GPU と複数 VM
複数 GPU VM
InfiniBand

NVLINK

A100 x n

A100 x 8

NCCL+ NVLink

NCCL+ HDR

[参考] InfiniBand の Azure における構成方法は下記 (NVIDIAドキュメント) を参照
https://docs.rapids.ai/deployment/stable/guides/azure/infiniband/3D parallelism

ZeRO-DP, Pipeline Parallelism (PP), Tensor Slicingの柔軟な組み合わせ圧縮layer reduction, quantization, activation
quantization, pruning により性能を維持したままモデルを軽量化推論の高速化

スピードとスケールのための、DL の学習・推論の最適化ライブラリ

Inference-adapted Parallelism、推論最適化によるCUDA カーネルなどの技術により、約 6 倍の対コ
スト パフォーマンスを実現

利用性
PyTorch と連携し、これらを数行のコードで実装可能。Hugging Face ともシームレスに連携。

Parameter-efficient fine-tuning methods taxonomy
From : “Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning”

Low-Rank Adaptation (LoRA)
dense layer は行列計算と考えることができ、特定タスクの処理は本質的に低い
ランクの処理 (行列の dimension より小さな処理) であることが知られている
そこで、下記を仮定ℎ = 𝑊0 𝑥 + Δ𝑊𝑥 = 𝑊0 𝑥 + 𝐵𝐴𝑥

ただし𝑊0 ∈ ℝ𝑑×𝑘 は pre-trained weightmatrix (固定)Δ𝑊 は updates
𝐵 ∈ ℝ𝑑×𝑟 , 𝐴 ∈ ℝ𝑟×𝑘 で
𝑟𝑎𝑛𝑘 𝑟 ≪ min(𝑑, 𝑘)
上記の A, B のみを学習させる手法[出典] LoRA: Low-Rank Adaptation of Large Language Models
https://arxiv.org/abs/2106.09685

Low-Rank Adaptation (LoRA)
dense layer は行列計算と考えることができ、特定タスクの処理は本質的に低い
ランクの処理 (行列の dimension より小さな処理) であることが知られている
そこで、下記を仮定ℎ = 𝑊0 𝑥 + Δ𝑊𝑥 = 𝑊0 𝑥 + 𝐵𝐴𝑥

Microsoft Azure におけるモデル学習で必要な知識を解説

ただし
動画「Microsoft
Azure における大規模言語モデルの学習とファインチューニング」参照
𝑑×𝑘

𝑊0 ∈ ℝは pre-trained weightmatrix (固定)Δ𝑊 は updates
𝐵 ∈ ℝ𝑑×𝑟 , 𝐴 ∈ ℝ𝑟×𝑘 で
𝑟𝑎𝑛𝑘 𝑟 ≪ min(𝑑, 𝑘)

上記の A, B のみを学習させる手法[出典] LoRA: Low-Rank Adaptation of Large Language Models
https://arxiv.org/abs/2106.09685

生成 AI を支援するさまざまなサービス(Azure AI Studio, Azure Machine Learning, Azure CycleCloud)

大量ノードの構成や起動/停止
推論エンドポイントの管理
スクリプトによる自動化・トリガ実行
GPU リソースなどの権限管理
生成 AI 専用のモデル評価と監視
生成 AI アプリケーションのフロー構築

生成AIを支えるHPC基盤

ND H100 v5
ND H100 v5 シリーズの仮想マシンは、ハイエンドのディープ ラーニングの学習と密結合のスケールアップおよびスケールアウトの 生成AIおよびHPC ワークロード向けに設計されています。ノード当たりNVIDIA H100 × 8で構成されており、 3.2Tb/sのMellanox HDR InfiniBand × 8を用いて数千GPUまでスケールアップしてデプロイすることが可能です。多くのAI、MLのフレームワークを活用して優れたパフォーマンスを発揮し、さらにシームレスなGPUクラスタリングのためNVIDIAのNCCL通信ライブラリに対応したAIおよびHPCツールによって、InfiniBandイン
ターコネクトで優れたスケーラビリティを実現します。
✓✓✓

NVIDIA H100 × 8 (NVLINK) 搭載
Intel 第４世代 Xeon Scalable Processor (Sapphire Rapids) (96コア/ノード)
搭載
400Gbps NDR InfiniBand × 8 で ノードあたり3.2Tb/sの相互接続帯域幅を提供

ND_H100_v5

CPU

4th Gen Intel Xeon Scalable
Processor(Sapphire Rapids)

コア数

96

GPU

8 x NVIDIA H100 (next gen
NVSwitch and NVLink 4.0)

メモリ容量1900 GiB(DDR5 DIMMS)

ローカルディスク

1000 GiB SSD

InfiniBand

400 Gbps NDR InfiniBand(NVIDIA Quantum-2 CX7) x 8(3.2Tb/s per VM in a nonblocking fat-tree network)

New Azure ND H100 v5 VM series
NVIDIA H100 GPUを1000台規模までスケール可能NVIDIA Quantum-2 InfiniBand で
ノード間接続 (NDR)
生成AIアプリケーション向けに設計

新しいクラスの大規模AIモデル対応

ND H100 v5 > 大規模スケーラブルAIスーパーコンピュータ
マルチ GPU
シングル ND_H100_v5 VM内の
NVLINKで接続された8GPUシングル H100 GPU

NCCL+
NVLink

マルチ GPU VM
Quantum-2 InfiniBandで接続された
複数台のND_H100_v5 VM
数百台のNDv5, 数千台のH100 GPUまでスケールアップ

NCCL
+
NDR

NVIDIA H100 Tensor Core GPU

NVSwitch + NVLink 4.0

Quantum-2 InfiniBand• 80 GB of HBM3 Memory• Between 8 local GPUs withineach VM

400 Gigabit dedicated link per GPU (3.2 Terabits/VM)• 2x – 30x A100 performance• PCIe Gen 5, Intel Remote Host
• 8 per NDv5 VM• 3.6 TB/s Bisection BW• Any to any, all to all, not over subscribed up
to thousands of GPUs

• 450 GB/s AllReduce• Dynamically provisioned via VMSS• GPUDirect RDMA

NDv5 H100 AI トレーニング性能概要
FeatureGen over Gen*

DetailGPU~2.5X FP16 perf

8x Nvidia H100 (Hopper)

GPU メモリ~2X bandwidth

HBM3 80GB (3000 GB/sec) (estimated)

ノード間接続2X bandwidth

8x 400Gb/s 4x NDR InfiniBand

GPU当たりのNVLinkスループット

1.5X bandwidth

900GB/sCPU

Core perf
improvements

2x Intel Sapphire Rapids VM当たり 96 Golden Cove コア

GPU-CPU間接続>2X bandwidth

トータル帯域幅で52GB/s (PCIE Gen 5)
GPUとCPUのポート比率は 1:1

CPU メモリ~2X bandwidth

CPUあたり8x DDR5 4800mhz DIMMs

フロントエンドネットワーク

2X bandwidth

100 Gbps

ローカルストレージ>2X capacity

36TB

2X

48GB/sローカルストレージのスループット性能*NDm_A100_v4シリーズ(NDv4)との世代間比較

MLPerf Training v3.1 benchmark
MLPerf-LLM 175B training scale record by
Azure ND H100 v5-series
as of November 2023

Number of NVIDIA H100 Tensor Core GPUs

12,00010,0008,000

4.0 mins#2 supercomputer全体で2位#1 クラウドプロバイダーとして1位

10,752

6,000

4,000

10.9 mins

3,584
2,000

0

Previous Record

Azure(MLPerf Training v3.0 - June 2023)(MLPerf Training v3.1 - November 2023)

MLPerf results at scale

Azure’s submission, the largest in the history of MLPerf Training, demonstrates the extraordinary progress we have made in optimizing the scale oftraining." said David Kanter, Executive Director of MLCommonsaka.ms/AzureBlog/MLPerf3.1

MLPerf Inference v3.1 benchmark
Performance on LLM GPT-J - MLPerf Inference v3.1
as of September 2023
120.00100.00Samples/s

80.00

60.00

Azure
Azure(VM)
NDv5

On-Premise
NVIDIA(on-prem)
Bare Metal
Oracle(bare metal)

40.00

20.00

0.00
Server

OfflineGPT-J (6B parameters, 99% accuracy)

Benchmark

オンプレミス、ベアメタルと同等性能

0.99x-1.05x relative performance

Azure ND_H100_v5がTop500で3位にランクイン
ND_H100_v5
600

500

PFLOPS400#3#3 supercomputer all-up#1 cloud provider

300

200

ND_A100_v4

NDm_A100_v4

#13

#14

June 2021

June 2022

November 2022

#10
#26,#27,#28,#29

100

ND_MI200_v4#110November 2021

June 2023

November 2023

NC_H100_v5 Preview
NCads H100 v5 シリーズは、NVIDIA H100 NVL GPU と第4 世代 AMD EPYC Genoa プロセッサを搭載しています。
この VM には、最大 2 個の NVIDIA H100 NVL GPU (それぞれに 94 GB のメモリを装備)、最大 80 個の非マルチスレッ
ド AMD EPYC Milan プロセッサ コア、640 GiB のシステム
メモリが搭載されています。 これらの VM は、次のような実際の Applied AI ワークロードに最適です。
✓ GPU で高速化された分析とデータベース✓ 大量の前処理と後処理があるバッチ推論✓ 自律性モデルのトレーニング✓ 石油とガスの貯留層シミュレーション✓ 機械学習 (ML) 開発✓ ビデオの処理✓ AI/ML Web サービス

NC_H100_v5

CPU

4th Gen AMD EPYC Genona

コア数

40/ 80GPU

1 or 2 x NVIDIA H100 NVL(NVLink 4.0)

GPUメモリ

94/ 188 GiB

メモリ容量320 / 640 GiB(DDR5 DIMMS)

ローカルディスク

3576 / 7152 GiB SSD

ND_MI300X_v5 Preview
ND_MI300X_v5シリーズは、厳しいAIとHPCのワークロードに最適化された仮想マシンです。AMD Instinct MI300X
GPUを8基と第 4 世代 Intel Xeon Scalableプロセッサプロ
セ ッ サ を 搭 載 し て い ま す 。 ま た 、 GPU あ た り 1 本 の400GbpsのNVIDIA Quantum-2 CX7 (4x HDR InfiniBand)、
ノード当たり3.2Tbpsのスループット性能のインターコネ
クトで大規模にスケールアップしてデプロイすることが可能です。
✓ AMD Instinct MI300X × 8 (Infinity Fabric 3.0) 搭載✓ Intel 第４世代 Xeon Scalable Processor 搭載✓ 400Gbps NDR InfiniBand × 8 で ノードあたり3.2Tb/sの相互接続帯域幅を提供

ND_MI300X_v5

CPU

4th Gen Intel Xeon Scalable
Processor

コア数

??

GPU

8 x AMD Instinct MI300X(Infinity Fabric 3.0)

メモリ容量??? GiB(16Ch. DDR5 DIMMS)

ローカルディスク

???? GiB SSD

InfiniBand

400 Gbps 4x NDR InfiniBand(NVIDIA Quantum-2 CX7) x 8(3.2Tb/s per VM)

Azure Managed Lustre File system
Lustreファイルシステムは、HPC業界で広く利用されている分散ファイルシステ
ムです。高いスループット性能を提供しながら、大規模なストレージ サイズにスケーリングできるオープンソースの並列ファイル システムです。Azure
Managed Lustre File systemでは、クラウド上に必要なサイズ、必要な性能を設定し、Lustreファイルシステムを素早く展開することができます。
Azure Blob Storageとの統合
Lustre階層ストレージ管理 (HSM)
BLOBコンテナーからファイルのインポートすることが可能
ジョブが終了したら変更されたデータをBlobにエクスポート

HPCオーケストレーションツールとの連携
Azure CycleCloud
Azure Batch
Azure Kubernetes Service[msadmin@admin ~]$ lfs df -h
UUID
bytes
lustrefs-MDT0000_UUID
598.9Glustrefs-OST0000_UUID
15.8T
lustrefs-OST0001_UUID
15.8T
lustrefs-OST0002_UUID
15.8T
lustrefs-OST0003_UUID
15.8T
lustrefs-OST0004_UUID
15.8T
lustrefs-OST0005_UUID
15.8T
lustrefs-OST0006_UUID
15.8T
lustrefs-OST0007_UUID
15.8T

Used
5.7M
1.2M
1.2M
1.2M
1.2M
1.2M
1.2M
1.2M
1.2M

filesystem_summary:

9.9M

126.7T

Available Use% Mounted on
548.3G
1% /azure-lustre-mount[MDT:0]
15.0T
1% /azure-lustre-mount[OST:0]
15.0T
1% /azure-lustre-mount[OST:1]
15.0T
1% /azure-lustre-mount[OST:2]
15.0T
1% /azure-lustre-mount[OST:3]
15.0T
1% /azure-lustre-mount[OST:4]
15.0T
1% /azure-lustre-mount[OST:5]
15.0T
1% /azure-lustre-mount[OST:6]
15.0T
1% /azure-lustre-mount[OST:7]
120.3T

1% /azure-lustre-mountまとめ
Microsoft はパートナーシップ戦略に基づいて生成 AI の発展に貢献

Azure OpenAI Service によりビジネスは大きく変革 (AI 民主化)
Microsoft 自身も生成 AI を製品・サービスに広く適用 (Copilot)
それらすべてを支えている技術とプラットフォーム基盤への投資