HPC on Azure のご紹介
日本マイクロソフト株式会社
Azure ソリューション技術部
佐々木邦暢 (@ksasakims)

本日の内容 Microsoft HPC Pack
 Azure の計算リソース
 事例2

Windows HPC Server (HPC Pack) とその歴史






オンプレミス・クラウドを統合管理できる
ジョブスケジューラー
MPICH2 ベースの MPI ライブラリ (MS-MPI)
使いやすい GUI 管理ツール
効率的なコマンドライン管理ツール
Excel 高速化機能
最新版は HPC Pack 2012 R2 Update 1(2014 年 11 月リリース)

三菱UFJ証券様のクラスタがTop 500にランクイン。
(1760コア、6.52TFlops)
http://www.top500.org/system/174885



上海スーパーコンピューティングセンターのDawning 5000AがTop500で11位にランクイン。(30,720コア、180.6TFlops)
http://www.top500.org/system/176118



東工大のTSUBAME 2.0で初のペタフロップス越え。
1.13PFlops. Top500の5位相当の記録。

HPC用AzureインスタンスでTop500にランクイン (8064コア, 151.3
TFlops) http://www.top500.org/system/177982+4

オンプレミス + クラウドの統合クラスタ
 社内とクラウドの計算ノードを「一つのクラスタとして」統合管理可能
 クラウドへのノード追加・削除は、数百ノードレベルでも10分程度で完了
 スケジュールに従って自動的にノードを追加・削除することも可能
クラウド (Azure)

柔軟に増減可能なクラウドの計算ノード

社内

遊休時にジョブを割り当て
管理ツール

ジョブ投入

利用者端末

ジョブの割り当て

ヘッドノード(Windows Server)

オンプレミスの計算ノード(Windows Server)

一般的な Windows PC や、汎用のWindows サーバ (ファイルサーバ等) も計算ノードとして利用可能

5

ヒートマップでクラスタの状態を可視化
 計算ノードのCPU利用率や、割り当てられているジョブの数など、様々な情報を見やすく一覧。
 値の大小を色の濃淡で表現するため、クラスタの状態を直感的に把握できます。
 表示項目は柔軟にカスタマイズ可能です。

6

レポーティング機能 ジョブの実行数やノードの可用性、クラスターの利用率といった情報は自動的に収集され、データベースに格納されます。
 この情報を元にグラフを生成するレポーティング機能を有しています。

7

Microsoft Azure『仮想マシン』サービス

 Windows Server あるいは 各種 Linux の「OS 導入済み仮想マシンイメージ」が多数用意されており、それらを選択することでサーバー環境を容易に構築することが可能です。
 また、必要なアプリケーションを導入するなどカスタマイズを施した仮想マシンを「自分用のカスタムイメージ」として登録できます。
 HPC Pack を導入済みの仮想マシンイメージも用意してあります。

9リージョン間複製機能を持つ堅牢なストレージ> 500 miles
Azure は日本国内に、400㎞ 以上離れた2リージョンを有します。
データを国外へ持ち出すことなく、DR 構成が可能です。

10

仮想マシンのサイズとスペック
作業用
ディスク容量 (GB)

データ
ディスク数

サイズ

コア数

メモリ容量(GB)A0 (XS)

共有0.768

20

1

1 x 500

A1 (S)

11.75

70

2

2 x 500

A2 (M)

23.5

135

44 x 500

A3 (L)

47285

8

8 x 500

A4 (XL)8146051616 x 500

A52141354

4 x 500

A6

42828588 x 500

A7856605

16

16 x 500(メモリ集中型)(メモリ集中型)(メモリ集中型)

http://azure.microsoft.com/ja-jp/pricing/details/virtual-machines/

11

SSD 搭載インスタンス: Dシリーズ
サイズ

コア数

メモリ容量(GB)

作業用SSD
容量 (GB)D1

13.5503,00048/24

1

2 x 500

D2

27100

6,00096/48

2

4 x 500

D3414250

12,000192/96

48 x 500

D4828500

24,000384/192

816 x 500

D112

14100

6,00096/48

2

4 x 500

D12428200

12,000192/96

48 x 500

D13856400

24,000384/192

8

16 x 500

D1416112800

48,000768/384

1616 x 500

 Dシリーズは SSD を搭載した新ハードウェアで稼働。
作業用ディスクが大幅に高速になっています。

 CPU 性能は同じコア数のAシリーズ比で 60% 程度向上しています

http://azure.microsoft.com/ja-jp/pricing/details/virtual-machines/

12さらなる大型インスタンス: Gシリーズ
作業用ディスク(SSD)
容量 (GB)

サイズ

コア数

メモリ容量(GB)G1

228406G2456812G38112

1,630G416224

3,250

G5324486,500

 スケールアップが必要な用途に最適の大型VM
 Intel Xeon E5-2600 v3 を最大 32 コア搭載
 ローカルディスクはすべて SSD

2015年1月9日
正式リリース済み(まずは West US リージョンのみ)

http://azure.microsoft.com/en-us/updates/general-availability-g-series-for-virtual-machines/

13

HPCインスタンス (A8,A9)

サイズ

コア数

メモリ容量

A8

856 GB

A916112 GB 151.3 TFLOPS (効率 90.2%) で 165 位
 504 ノード, 8064 コアで実施
 http://www.top500.org/site/50454

ネットワーク 1
Xeon E5-2670
2.6 GHz10 Gbps
イーサネットQDRInfiniBand(w/ RDMA) 5 月から、日本(東)でも利用可能になりました。
 MPI を利用するアプリケーションでは、同じコア数の A7 と比べて 5 倍の性能を発揮したケースもあります。
14

通常のインスタンス(A7)との比較

3622

194.4

2.565

76.92

15

検証事例: Particleworks on Azure 4000万粒子規模の解析
 内容: 自動車の水はね オンプレミスの Linux クラスタと、AzureのA7,A8,A9インスタンスで同じ解析を実施し、実行時間を比較。
 機種: ProLiant SL 390s G7 ｘ 4 ノード (計48コア)
 CPU：Intel Xeon X5675 3.06GHz 6 cores ×2
 RAM：4GB×12 = 48 GB
 QDR InfiniBand 40Gbps×2
16

1.2
10.8
0.6

1.04

1A8

オンプレLinuxOn-premises(SL390s G7)

A7 (6 nodes)

0.4
0.200.21

A7
オンプレミスの InfiniBand 付き物理マシンの性能を 1 とした場合の比較
オンプレミスの性能を1とした時の性能倍率
A8/A9 は物理マシンと同等、A7との比較では 5 倍の性能を記録（高いほど、性能が良い）(流体計算アプリケーションでの性能検証結果)

A8 (6 nodes)

事例: 国内生命保険会社様
Azureデータセンター
ヘッドノード

ファイル
サーバ

計算ノード群 (100ノード以上)

 期末の繁忙期に必要となる大量の計算処理をクラウドにオフロードした事例
 ヘッドノードと計算ノードをすべて Azure 上に配置した完全クラウド構成
 通常時はすべてのノードをシャットダウンしておくことで課金を抑制
 必要になった時点でヘッドノードを起動し、計算ノードを展開。100ノード以上でも15分程度で利用可能に

VPN接続
VPN
ルータ

社内

 社内システムとは Azure 仮想ネットワークのVPN 機能で接続し、入力データのクラウドへのアップロード、計算結果ファイルのクラウドからのダウンロードはこの VPN 経由で実施

18

事例: 海外証券会社様
Azureデータセンター
BLOBストレージ計算ノード群 (Lサイズ x 500ノード)

 オンライン時間終了後、夜間バッチの時間帯のみAzure上に計算ノードを展開。
 Lサイズ(4コア) x 500ノードの合計 2000 コア

全ノードへ
データ展開
hpcpack コマンドによるデータ転送

ヘッドノード 日中のオンライン処理で約定した大量の取引データを夜間バッチ処理で処理

 計算元データは hpcpack コマンドを利用して HTTPS
接続で Azure 上の BLOB ストレージへ。
 全ノードへのデータ展開はAzureのデータセンタ内で行うことで、オンプレ → クラウド間の転送量を最小化

管理端末

社内19