Azure CycleCloud 利用環境と仮想マシン上でのベンチマークテスト結果
永井 亨 1), 五十木 秀一 2), 河合 直聡 1) , 片桐 孝洋 1) , 星野 哲也 1)
1) 名古屋大学 情報基盤センター2) 日本マイクロソフト株式会社
nagai@nagoya-u.jp

Usage environment of Azure CycleCloud and benchmark test results on VMs
Toru Nagai 1), Shuichi Gojuki 2), Masatoshi Kawai 1), Takahiro Katagiri 1), Tetsuya Hoshino 1)
1) Information Technology Center, Nagoya Univ.
2) Microsoft Japan Co., Ltd.
概要
パフリッククラウドの利用環境の調査を主な目的として Microsoft Azure を対象にした仮想マシンの性能測定を行った．具体的には名古屋大学情報基盤センターと日本マイクロソ
フト社との共同研究のもとで HPC 利用環境に特化した Azure CycleCloud を使用して種々のベンチマークプログラムを仮想マシン上で実行した．本稿では Azure CycleCloud の利用環
境と仮想マシン上でのベンチマークテスト結果について報告し，スーパーコンピュータシ
ステムとパブリッククラウドの連携について考察する．
できない．このような状況において大規模ジョブ，

1 はじめに超大規模ジョブの利用者への影響を緩和する方策

名古屋大学情報基盤センター（以下，名大センター）は，多様化する利用者の要求に応える計算としてパブリッククラウドの利用が有効であると考えられる．

機システムを目指して異なる特徴をもつ複数のサ

一方，筆者の中で名大センターに所属してスパブシステムと複数のストレージシステムで構成さコン運用に携わる者はそもそもパブリッククラウ

れるスーパーコンピュータ「不老」のサービスをドの利用経験が少ない．そこで，我々はパブリッ

2020 年 7 月に開始した[1]．サブシステムの 1 つでククラウド利用環境の調査を目的として日本マイある「クラウドシステム」はオンプレミス型クラクロソフト社との共 同研究のもと， Microsoft

ウドの機能をもち，研究室サーバでは処理能力がAzure を対象に仮想マシンの性能測定おこなった．

不足する研究者の計算需要に応える役割を担って

具体的には 2023 年 3 月末から 6 月末にかけて HPC

いる．しかし，「クラウドシステム」の稼働率は 2020

利用環境に特化した Azure CycleCloud[3]を使用し

年度 81.2%，2021 年度 72.0%，2022 年度 75.2%，て仮想マシン上で種々のベンチマークプログラム

2023 年度 76.4%と高稼働率を維持している．また，の性能測定を行った．

稼働率の季節的変化も小さいため定常的にターン

以下では，2 章で Azure CycleCloud の概要を述

アラウンドタイムが長くなっている．計算負荷をべ，3 章でベンチマークテストの測定結果を報告

分散しターンアラウンドタイム増大の問題を解決する．4 章でスーパーコンピュータシステムとパする方策の 1 つとして，オンプレミス計算資源のブリッククラウドとの連携について考察し，最後処理能力が閾値を超えた場合にパブリッククラウにまとめを述べる．

ドを利用するクラウドバースト[2]が考えられる．

2 Azure CycleCloud の概要

また，キャンパス内の消費電力量を抑制するため 2022 年 6 月以降 Type I サブシステムを，2023

Azure CycleCloud は Microsoft Azure で提供され

年 4 月から Type II サブシステムをそれぞれ縮退るサービス群の 1 つで HPC 環境を構築し管理する

運転している．このため大規模ジョブは実行されためのツールである．CycleCloud の機能は，必要にくい状況が続いている．特に，サブシステム全なリソースをデプロイして HPC 環境を構築する系を使用するような超大規模ジョブは事実上実行機能と構築したシステムを管理する機能の 2 つに81

分けられる．

以下のようになる．

(1)

1.

HPC 環境構築機能
CycleCloud は仮想マシンやストレージをオーケ

ストレーションしてジョブスケジューラ設定済みに公開鍵認証による SSH 接続をおこなう．
2.

のクラスタを既存のネットワークにデプロイする．
一般的に使用されるジョブスケジューラ (PBS

利用者はローカル端末からマスターノード
マスターノード上でジョブスクリプトを作
成しスケジューラにジョブを投入する．

3.

CycleCloud はスケジューラと連携して要求さProfessional OSS，Slurm，IBM LSF，Grid Engine，れた計算資源を自動的にデプロイする．このHT Condor) は CycleCloud に組み込まれている．仮とき，需要に応じて計算資源のノード数を自想マシンに CPU，主記憶，GPU，ネットワーク帯

動的に拡張することができる．

域幅などの資源を割りあてたものを VM サイズと4.

ジョブを実行する．

よぶ．CycleCloud はこの VM サイズに基づいて仮5.

ジョブが終了し次のジョブがない場合，計算想マシンをデプロイする．例えば，VM サイズ

資源は自動的に停止する．

HB120rs_v3 は CPU が AMD EPYC 7V73X (Milan-

したがって，図 1 に示した計算ノード群（仮想マX)×2 ソケット，コア数 120，L3 キャッシュサイ

シン）はジョブが投入されるまで待機しているわ

ズ 768MB×2 ソケット，主記憶 448GiB，200Gbps

けではなく，資源要求があったときにデプロイさ

InfiniBand HDR を意味する．表 1 に使用した VMれ，ジョブが終了すると解放される．常時稼働す

サイズを示す．仮想マシンの OS は Linux とる Azure 側の資源は CycleCloud サーバ，マスター

Windows が選択できる．ストレージには Azure ネ

ノード，Azure NetApp Files である．繰り返しにな

イティブな HPC 向け NFS である Azure NetApp

るが，2 から 4 の手順に示したようにジョブ投入

Files のほかに Lustre，BeeGFS などが選択できる．

後ただちにジョブが実行されるわけではなく，計Azure NetApp Files では Standard，Premium，Ultra

算資源がデプロイされたのちジョブ実行が開始さの 3 つのサービスレベルがある．Standard，Premium，れる．ジョブ投入から実行開始までの時間はクラUltra のスループット性能は TiB あたりの性能が決

ウド全体の混雑状況にも依存するが，通常は 5 分

められており，4TiB 使用するとき，それぞれ，程度であった．

64MiB/s，256MiB/s，512MiB/s である．
(2)

Microsoft Azure@East US

システム管理機能

計算ノード 1
(HB120rs_v3)

CycleCloud 管理者に構築した HPC 環境下の利
CycleCloud サーバ(Standard_D4s_v5)

用者管理機能，資源管理機能，課金管理機能を提計算ノード 2
(HC44rs)

供する．また，ジョブ処理のワークフローをオー
公開鍵認証
ローカル端末 による
SSH 接続ケストレーションする機能を提供する．
表1

VM サイズソケ 物理 HW L3 キャッ メモ
ット コア スレ シュサイ リ容 Inter量
connect
数 数 ッド ズ
数(GiB)
HB120- AMD EPYC 7V73X
768MB xIB HDR2
16 16 2 sockets 448 200Gbps
16rs_v3 (Milan-X)
HB120r AMD EPYC 7V73X
768MB xIB HDR
2 120 120 2 sockets 448 200Gbps
s_v3(Milan-X)
Intel Xeon Platinum
33MB x 2
IB EDR
HC44rs 8168 (Sky Lake)2
44 44 sockets
352 100Gbps
D96s_v Intel Xeon Platinum
48MB x 2
2
48 96 sockets
384
ー
5
8370C (Ice Lake)VM サイズ

Azure NetApp Files(Standard/4TiB+1Tib)

CPU

CycleCloud を利用して構築した HPC 環境の概図1

我々はリージョン米国東部を選択した．図中のCycleCloud サーバはシステム管理を担う．サーバ
およびノードの下のカッコ内は VM サイズをあらわす．CycleCloud を利用したジョブ実行の流れは

82

・
・
・

Azure CycleCloud の概要

利用したソフトウェアは以下のとおりである．


OS：CentOS 7.9



スケジューラ：PBS Professional OSS

コンパイラ/開発環境：GCC 9.2.0，Intel oneAPI2021.2.0，Intel oneAPI 2023.0.0，NVIDIA HPC
SDK 22.11
MPI ラ イ ブ ラ リ ： Intel MPI 2021.4.0 ，

要を図 1 に示す．実線で囲った部分が Microsoft
Azure である．データセンターは世界各地にある．

計算ノード 3(D96s_v5)

マスターノード(Standard_D16s_v5)

MVAPICH2.3.6，OpenMPI 4.1.1，HPC-X v2.8.3
これらの中で Intel oneAPI 2021.2.0，Intel oneAPI
2023.0.0，NVIDIA HPC SDK 22.11 は環境構築時に別途インストールした．それ以外は標準で備わっ

ているものである．また，ストレージは Azure

248.1GB/s で あ っ た ． Azure web サ イ ト [5] のNetApp Files（Standard，4TiB）を使用した．

STREAM ベ ン チ マ ー ク 結 果 （ 配 列 サ イ ズ N =3 ベンチマークプログラムの実行結果

4 × 108 ）では，HBv3 系列の最大メモリ帯域は358GB/s と報告している．

VM サイズ HC44rs（Intel Xeon Platinum 8168 (Sky

3.1 STREAM Triad
STREAM ベンチプログラム Triad[4]の測定ではLake)×2 ソケット，ソケットあたり 22 コア）の仮

コンパイル時のコンパイラとコンパイラオプショ

想マシン上でスレッド数を 1 から 44 まで変化さ

ン，実行時環境変数の組み合わせを変えて測定しせたときの結果を図 3 に示す．Intel コンパイラでた．コンパイラ，コンパイラオプション，環境変数

はオプション-qopt-zmm-usage=high（512 ビット長の組み合わせを付録中の付表 A に示す．組み合わの zmm レジスタを利用して SIMD 化を促進する）

せを表す実行形態の表記形式が付表 A の一番左側を指定した場合とそうでない場合とが示されていのコラムに示されている．例えば，gcc 9.2.0 でオる．詳細は不明だがメモリ帯域を測定するプログ

プション-march=native -O3 -fopenmp を指定してプラムでもこのオプションが有効となる場合がある

ロ グ ラ ム を コ ン パ イ ル し ， 環 境 変 数

ことを示している．最大メモリ帯域は

OMP_PLACES=threads ， OMP_PROC_BIND=close

icc2023.0.0+zmm_high+core+scatter，スレッド数 32

として実行モジュールを実行したとき，で 203.0GB/s であった．

gcc9.2.0+threads+close と表記する．

gcc9.2.0+cores+close
gcc9.2.0+cores+spread
icc2023.0.0+core+compact
icc2023.0.0+core+scatter
icc2023.0.0+zmm_high+core+compact
icc2023.0.0+zmm_high+core+scatternvc23.1+cores+close
nvc23.1+cores+spread

STREAM ベンチマークプログラムの冒頭には250必要があると記述されている．表 1 に示したよう

200に HBv3 系列の VM サイズでは 2 ソケット合計で1.536GB の L3 キャッシュをもつ．このため配列サイズをN = 1 × 109（8GB）とした．他の VM サイズでも同じ配列サイズを指定した．
gcc9.2.0+cores+close
icc2023.0.0+core+compact
nvc23.1+cores+close

gcc9.2.0+cores+spread
icc2023.0.0+core+scatternvc23.1+cores+spread

150
100
50
0

200

1

図3

150

350

50
0

6

11

16
21
26
31
Number of threads

36

41

STREAM Triad の結果（HC44rs）
gcc9.2.0+threads+close
gcc9.2.0+sockets+spread
icc2023.0.0+thread+scatternvc23.1+threads+spread100

gcc9.2.0+threads+spread
icc2023.0.0+thread+compact
nvc23.1+threads+close
nvc23.1+sockets+spread

300
1

図2

11

21

31

41

51 61 71 81 91 101 111
Number of threads

STREAM Triad の結果（HB120rs_v3）

VM サ イ ズ HB120rs_v3 （ AMD EPYC 7V73X

Bandwidth (GB/s)

Bandwidth (GB/s)

250

Bandwidth (GB/s)

配列サイズをキャッシュサイズの 4 倍以上にとる

250
200
150
100

(Milan-X)×2 ソケット，ソケットあたり 60 コア）

50の仮想マシン上でスレッド数を 1 から 120 まで変0化させたときの結果を図 2 に示す．図中の凡例は

1

11

21

31
41
51
61
Number of threads

71

81

91

付表 A の表記形式にしたがう．コンパイラ，コン

図4

パイラオプション，実行時の環境変数の組み合わ

VM サイズ D96s_v5（Intel Xeon Platinum 8370C

せで結果が明らかに異なる．メモリ帯域が最大になったのは nvc23.1+cores+spread，スレッド数 24 のときの 235.1GB/s であった．また，VM サイズ HBv3
系列中の最大値は HB120-16rs_v3 仮想マシン上のicc2023.0.0+core+compact，スレッド数 16 のときの83

STREAM Triad の結果（D96s_v5）(Ice Lake)×2 ソケット，ソケットあたり 24 コア，
ソケットあたり 48 ハードウェアスレッド）の仮想マシン上でスレッド数を 1 から 96 まで変化させたときの結果を図 4 に示す．VM サイズ D96s_v5

の CPU である Intel Xeon Platinum 8370C (Ice Lake)

モジュールを実行しているので図 5 に示したレイはコアあたり 2 つのハードウェアスレッドを備えテンシの差異は有意であると考える．また，バンている．このため環境変数 OMP_PLACES=threads

ド幅は上記のネットワーク的距離に加えて Azureの場合と OMP_PLACES=cores の場合を比較してクラウドの他の利用者の利用状況の影響を受ける

み た が 顕 著な 差 異 はみ ら れ なか っ た ．図に は可能性があることにも留意する必要がある．
5ている．また，図 4 に示すように gcc 9.2.0 と nvc

4

23.1 では OMP_PLACES=sockets とした方が全般的によい結果がえられた．icc2023.0.0+thread+scatter，
スレッド数 48 で最大メモリ帯域 310.4GB/s が得られた．
3.2 OSU Micro-Benchmarks
OSU Micro-Benchmarks [6]のバージョンは 7.1-1

Latency (us)OMP_PLACES=threads としたときの結果が示され

5

Latency (us)

4

8

16

32 64 128 256 512 1K
Message size (byte)

2K

4K

20000
15000
10000
5000

gcc9.2.0+mvapich2-2.3.6
Azure_impi2021
Azure_mvapich2-2.3.5
Azure_openmpi-4.0.5
Azure_hpc-x-2.7.4

Message size (byte)

2

0

4

MPI レイテンシの比較（HBv3 系列）0

3

gcc9.2.0+impi2021.4.0
icc2023.0.0+impi2021.4.0
icx2023.0.0+impi2021.4.0
nvc23.1+impi2021.4.0

1
1

2

図5

4

8

16

図8

gcc9.2.0+mvapich2-2.3.6
icc2023.0.0+mvapich2-2.3.6
icx2023.0.0+mvapich2-2.3.6
nvc23.1+mvapich2-2.3.6

32 64 128 256 512 1K
Message size (byte)

2K

20000
15000

MPI バンド幅の比較（HBv3 系列）

Azure web サイト[7]では HBv3 系列における

4K

OSU Micro-Benchmarks（バージョンは 5.7）の結果

MPI レイテンシ（HB120-16rs_v3）

が公開されている．比較のため，本研究での結果と web サイトに掲載された結果を重ねて表示した

gcc9.2.0+impi2021.4.0
gcc9.2.0+mvapich2-2.3.6
icc2023.0.0+impi2021.4.0
icc2023.0.0+mvapich2-2.3.6
icx2023.0.0+impi2021.4.0
icx2023.0.0+mvapich2-2.3.6
nvc23.1+impi2021.4.0
nvc23.1+mvapich2-2.3.625000

ものを図 7 および図 8 に示す．図 7 と図 8 の凡例
で先頭に Azure を付したものが web サイトの結果である．web サイトには HBv3 系列のどの VM サ
イズで測定したか，また，どのコンパイラを使用

10000

したかの記載はいずれもなかった．図 7 をみると5000

レイテンシでは web サイトの方が 8～15%ほどよ0い値が出ている．一方，図 8 をみるとバンド幅で
1
2
4
8
16
32
64
128
256
512
1K
2K
4K
8K
16K
32K
64K
128K
256K
512K
1M
2M
4M

Bandwidth (MB/s)

2

25000
Bandwidth (MB/s)

は 24.7GB/s であった

1

図7

8 種類のコンパイラと MPI ライブラリの組み合わ
レイテンシは 1.9～4.3μs，MPI バンド幅の最大値

20

幅の測定結果を図 6 にそれぞれ示す．図 5，6 にはせがプロットされている． HB120-16rs_v3 の MPI

31である． HB120-16rs_v3 仮想マシン上で実行した
MPI レイテンシの測定結果を図 5 に，MPI バンド

gcc9.2.0+mvapich2-2.3.6
Azure_impi2021
Azure_mvapich2-2.3.5
Azure_openmpi-4.0.5
Azure_hpc-x-2.7.4

Message size (Byte)

図6

MPI バンド幅（HB120-16rs_v3）

は逆に本研究の方がよい結果となった．図 7 と図
8 ではメッセージサイズの範囲が異なるから互いに矛盾する結果というわけではない．

なお，仮想マシンはジョブ実行の都度デプロイされるため，実行毎にネットワーク的な距離が変化するためレイテンシも変化することが予想される．本研究では 1 つのジョブの中でコンパイラと
MPI ライブラリが異なる複数の組み合わせの実行

84

図 9，10 に VM サイズ HC44r の場合の MPI レ
イテンシと MPI バンド幅をそれぞれ示す．HC44r
仮想マシンの MPI レイテンシは 1.5～3.7μs，最大MPI バンド幅は 11.9GB/s であった．したがって，
HB120-16rs_v3（IB HDR 200Gbps）と比較すると，
MPI バンド幅は半分以下であるが，MPI レイテン

あたり 2 プロセスとしている．それ以外の測定条シは優位である．
4
Latency (us)件を表 2 に示す．

gcc9.2.0+impi2021.4.0
gcc9.2.0+mvapich2-2.3.6
icc2023.0.0+impi2021.4.0
icc2023.0.0+mvapich2-2.3.6
icx2023.0.0+impi2021.4.0
icx2023.0.0+mvapich2-2.3.6
nvc23.1+impi2021.4.0
nvc23.1+mvapich2-2.3.6

3
2

do k = 1, n𝛼𝛼 =𝑥𝑥 𝑘𝑘 = 𝑥𝑥 𝑘𝑘−1 + 𝛼𝛼𝛼𝛼

1
0

1

2

4

図9

8

16

32

𝑟𝑟 𝑘𝑘 = 𝑟𝑟 𝑘𝑘−1 − 𝛼𝛼𝛼𝛼𝛼𝛼

64 128 256 512 1K 2K 4K

Message size (byte)

8000

enddo

図 11

BICCG 法のアルゴリズム
表2

4000

BIC 前処理(𝑞𝑞 𝑘𝑘 , 𝑟𝑟 𝑘𝑘 )𝑝𝑝
(𝑞𝑞 𝑘𝑘−1 , 𝑟𝑟 𝑘𝑘−1 )𝑝𝑝 = 𝑞𝑞 𝑘𝑘 +6000

測定条件一覧

コンパイラ
コンパイラオプション
相対残差閾値
ソルバパラメータ ブロックサイズ
色数

2000

コンパイル条件
1
2
4
8
16
32
64
128
256
512
1K
2K
4K
8K
16K
32K
64K
128K
256K
512K
1M
2M
4M

0

𝑟𝑟:残差ベクトル

𝑞𝑞𝑘𝑘 = 𝑈𝑈 −1 𝐷𝐷−1 𝑈𝑈−𝑡𝑡 𝑟𝑟 𝑘𝑘

gcc9.2.0+impi2021.4.0
gcc9.2.0+mvapich2-2.3.6
icc2023.0.0+impi2021.4.0
icc2023.0.0+mvapich2-2.3.6
icx2023.0.0+impi2021.4.0
icx2023.0.0+mvapich2-2.3.6
nvc23.1+impi2021.4.0
nvc23.1+mvapich2-2.3.6

10000

𝑝𝑝:探索ベクトル

if (𝑟𝑟 𝑘𝑘 <= 閾値) exit (計算終了)

MPI レイテンシ（HC44rs）

12000
Bandwidth (MB/s)(𝑟𝑟 𝑘𝑘 , 𝑝𝑝)(𝑝𝑝, 𝐴𝐴𝐴𝐴)

Message size (byte)

図 10

MPI バンド幅（HC44rs）

120

3.3 反復法ソルバ

立一次方程式ソルバはブロック不完全コレスキー
分解前処理(BIC)つきクリロフ部分空間(CG)法である．BICCG では以下の方程式の求解を目的とする．

𝐴𝐴 ∈ ℝ𝑛𝑛×𝑛𝑛 ,𝑥𝑥, 𝑏𝑏 ∈ ℝ𝑛𝑛

Elapsed time (s)次方程式ソルバの性能測定を行った．選択した連

𝐴𝐴𝐴𝐴 = 𝑏𝑏,

HC44rs100

次に，実用的なアプリケーションとして連立一Intel (2021.2.0)-O3 -xHost
1.0×10-732
20

HB120rs_v3

80
60
40
20
0

1

2

4
8
Number of nodes

16

図 12

ポアソン問題の測定結果

3264

本方程式において，𝐴𝐴を係数行列，𝑥𝑥を解ベクトル，

図 12 に Poisson 問題の VM サイズ HC44rs およ

前処理で使用する𝑈𝑈，𝐷𝐷 は行列𝐴𝐴からブロック不び HB120rs_v3 仮想マシンでの測定結果を示す．い𝑏𝑏を右辺ベクトルとする．BICCG 法では，以下のプロセスに基づいて近似解𝑥𝑥 𝑘𝑘 を得る．ここで，BIC

完全コレスキー分解によって得られる行列であり，
図 11 に示した主計算前に実施する．また，BIC 前
処理は，逆行列を算出せず，前進後退代入で実施する．BICCG ソルバは MPI/OpenMP ハイブリッド
並列化が実施されている．なお，BIC 前処理の前進後退代入は一般的に計算依存性があるが，多色順序付けによって並列化を実施している[8]．
測定では，ポアソン方程式を有限差分法によって 離 散 化 し た 問 題 お よ び Florida Sparse Matrix
Collection より入手した G3 Circuit の求解を実施した．ポアソンの問題サイズは 256×256×512=33M，
G3 Circuit は 1.5M である．また，実行ではノード

85

ずれの仮想マシンでもある程度のスケーラビリテ
ィを確認できた．また，HC44rs と HB120rs_v3 の比較では，ポアソン問題の並列度が小さい範囲では HB120rs_v3 のほうが早い傾向が見て取れる．これは，図 2，3 に示した Triad の性能差が反映されたこと，および，HB120rs_v3 のコア数が大きいためと推測する．対して並列度が大きい範囲では
HC44rs が早い傾向を示している．これは並列度が大きい範囲では，計算時間が十分に短くなっており，通信時間が見えているためである．本アプリのメッセージサイズは小さく，レイテンシセンシ
ティブである．3.2 節で論じたように MPI レイテ

ンシでは HB120rs より HC44rs の方が優位である（transparency）とよんでいる．また，オンプレミ

ため上述のような差が出たと推定する．

ス環境での実行結果とパブリッククラウド上での15

実行結果は一致しなければならない（伊達らはこ

Elapsed time (s)HC44rsれを同一性（equality）とよんでいる）．連携のため

HB120rs_v3の技術的要件を表 3 に示す．項番 1～3 については

10

オンプレミス側とパブリッククラウド側のソフト
ウェアに関する実行環境を合わせ，かつ，両者の50

ファイルシステムをネットワークを介して相互マウントすることで実現可能である．しかし，オン
1

図 13

2

4

8
16
Number of nodes

32

プレミス側ノードのコア数（または HW スレッド64数）と同数コア以上の仮想マシンで実行するとき，

G3 Circuit の測定結果

両者のソケットあたりのコア数が異なる等の場合

図 13 に G3 Circuit の測定結果を示す．HC44rs でには使われない仮想マシンのコアがあったり，あはスケーラビリティが確認できるが，HB120rs_v3
ではばらつきが大きい．G3 Circuit では自由度が小さいためそもそも通信が支配的である．このためノード数を増やすとデプロイされたノード間のネットワークホップ数の影響が大きくなり，通信時
間のばらつきが大きくなったと推定する．

るいは，実行性能が逆に落ちたりする可能性がある．また，実行ジョブのプログラム中に絶対パスで入出力ファイル名が指定されている場合には，ネットワークを介してオンプレミス側ファイルシ
ステムにアクセスするから仮想マシン本来の性能が得られず，クラウド側の資源の有効利用という観点からも好ましくない．このため項番 7 を満た4 考察すのは難しい．

ここでは Azure CycleCloud の利用経験をもとにスーパーコンピュータシステムとパブリッククラ
ウドの連携について考える．先行研究として大阪

表3
項
番

連携のための要件と可否
技術的要件

ラウドバースティング環境を構築し，構築した環5境が具備すべき機能，性能，価格について検討さ6

オンプレミス環境で作成した実行モジュー
ルと実行用シェルスクリプトがそのままパブリッククラウドで利用できる
入力ファイルは自動的にパブリッククラウ
ドに転送される
オンプレミスのファイルシステム上で出力を取得できる
オンプレミス環境とパブリッククラウドでの実行結果が一致する
オンプレミス環境と同等以上のセキュリテ
ィが保証される
課金情報が取得できる

7

実行時間が同程度以下である

大学サイバーメディアセンター（以下，阪大センター）の伊達らによる阪大センター大型計算機シ
ステム OCTOPUS[9]と Microsoft Azure とを連携させる OCTOPUS-Azure クラウドバースティング実12

証 実 験 が あ る [10,11] ． さ ら に ， 文 献 [12] で は

3

OCTOPUS より遅れて稼働を開始したシステム

4

SQUID[13]と Azure を連携させた SQUID-Azure ク

れている．
以下では単純化のため，x86 アーキテクチャのCPU と主記憶からなるノードが Infiniband で結合されたクラスタと共有ストレージで構成されるシ
ステムについて，Case 1：クラウドバーストの場合と Case 2：利用者が積極的にパブリッククラウドを利用するの場合の 2 つを考える．

Case
1

2

〇

〇

〇

〇

〇

〇

〇

〇

〇

〇

〇

〇

×

〇

Case 2：利用者が積極的に利用する場合
ターンアラウンドタイムを短くしたいと考える利用者ならばパブリッククラウドを積極的に利用する可能性がある．例えば，図 14 のような構成
でパブリッククラウドとの連携が可能であろう．
表 3 の項番 1～3 については Case 1 と同様に両者

Case 1：クラウドバーストの場合のソフトウェアに関する実行環境を合わせ，かつ，

この場合には利用者は投入したジョブがオン

ファイルシステムを相互マウントすることで実現

プレミス環境で実行されているか，パブリックク可能である．ただし，項番 7 を満たすにはパブリ

ラウドで実行されているかを意識することなく利用できるのが望ましい．伊達らはこれを透過性

86

ッククラウドの利用環境を意識して仮想マシン本来の性能を引き出すような使い方が必要である．

一定期間の利用を確約し契約することで、仮想マ

パブリッククラウド

シンの料金を従量課金よりも安く利用できるプラ

スーパーコンピュータ
システム

公開鍵認
証による
SSH 接続

ローカル端末ログインノード

管理サーバ

オンプレミスと同等なセキュア
なネットワーク

費，電気代，運用経費等が含まれるのに対して，

・
・
・

ストレージ

「不老」には電気代と運用経費の一部が含まれる．
ストレージとして Azure NetApp Files を 1 か月

パブリッククラウドとの連携

表4

間 4TiB 使用したときの利用料金[15]を表 5 に示す．
NetApp Files は標準で FIPS 140-2 認定ドライブに仮想マシンの利用料金
ソケ 物理 HW
ット コア スレ NVIDIA Interッド GPU
connect
数
数
数

VM サイ
ズ

CPU

HB12016rs_v3

AMD EPYC 7V73X(Milan-X)

2

16

16

ー

HB120rs AMD EPYC 7V73X_v3(Milan-X)2

120 120

Intel Xeon Platinum
8168 (Sky Lake)2

44

NC24ads AMD EPYC 7V12
_A100_v4 (Milan)

1

NC96ads AMD EPYC 7V12
_A100_v4 (Milan)2

HC44rsにはパブリッククラウドではハードウェア，施設

フロントエンドサーバ
計算ノード 2

ストレージ

図 14

ンについても検討の余地がある．なお，利用料金

計算ノード 1

利用料金（円/時間）
従量課金

スポット

よるハードウェアベースの暗号化が提供され，さ

East
US

East
Japan

East
US

East
Japan

らにソフトウェアベースの暗号化を加えた二重暗IB HDR
200Gbps

522.0

756.9

52.2

75.7

IB HDR
200Gbps号化が提供される[16]．なお， NetApp Files の二重

ー

522.0

756.9

52.2

75.7

44

ー

IB EDR
100Gbps

459.4

666.1

45.9

66.6

暗号化は 2023 年 6 月にリリースされた機能で，本

24

24

A100
x1

ー

532.6

772.3 168.1

300.7

96

96

A100
x4

ー

2130.3 3088.9 672.3 1202.8「不老」のストレージを 1 か月間 4TB 使用したときの利用負担金は 1,385 円である．

研究の性能測定では単一暗号化機能を使用した．

Intel Xeon E5-2690
NC6s_v3 v4 (Broadwell)

1

6

6

V100
x1

ー

443.7

608.1 206.7

213.2

NC24s_v Intel Xeon E5-2690
3
v4 (Broadwell)

2

24

24

V100
x4

ー

1774.8 2432.5 826.7

852.6

D32s_v5 Intel Xeon Platinum
8370C (Ice Lake)

Azure クラウドからデータを転送するときの料

1

16

32

ー

ー

222.7

287.7

36.5

29.1

D96s_v5 Intel Xeon Platinum
8370C (Ice Lake)

2

48

96

ー

ー

668.2

863.0 109.6

87.2

金[17]は，リージョンが米国東部で 1 か月あたり

不老Type I

Fujitsu A64fx

4

48

48

ー

Tofu D

31.0 円/ノード時間

不老Type IIIntel Xeon Gold 6230
(Cascade Lake)

2

40

40

V100
x4

IB EDR
200Gbps

38.8 円/ノード時間

Intel Xeon Gold 6230
クラウド (Cascade Lake)

4

80

80

ー

IB EDR
100Gbps44.3 円/ノード時間

表5

10TB 転送するとき 116,000 円，リージョンが東日本の場合には 159,500 円である．

5 まとめ

Azure NetApp Files の料金（円/4TiB・月）

Azure
NetApp
Files

単一暗号化

本研究では Azure CycleCloud の利用環境と仮二重暗号化

想ノード上でのベンチマークプログラム測定結果

East US

East Japan

East US

East Japanについて報告した．そして，スーパーコンピュー

Standard

87,579104,922104,055

150,879

タシステムとパブリッククラウドの連携について

Premium

174,725

209,410208,110

301,759

考察した．本研究で得られたクラウドの利用経験

Ultra

233,256

279,647

281,815

407,548

を今後のセンター運営に活かしていきたい．

次に利用料金について考える．VM サイズごと
仮想マシンの利用料金を表 4 に示す．表にはリージョン米国東部および東日本の従量課金とスポッ

謝辞

本研究を実施するにあたってご協力をいた

だいた日本マイクロソフト社の方々に謹んで感謝の意を表します．

ト課金を示した．スポットは，クラウド資源に余裕があるに場合のみ利用できる．キューイングされてもあとから従量課金ジョブ等の優先ジョブが入ってくると追い越される．さらに，スポットジ

参考文献
[1]

ョブが実行中でも優先ジョブの資源要求があると強制終了する．このときジョブスケジューラの機能によりに自動的に再キューイングされ計算資源[2]が確保されると再実行される．ウェブサイト[14]より料金データをドル建てで取得し，1 ドル 145 円
として換算した．表 4 には「不老」サブシステム[3]

Type I，Type II およびクラウドシステムのノード
時間あたりの利用負担金も示されている．従量課
金は高すぎて手が出ないが，スポット課金ならば可能性がありそうである（GPU 利用を除く）．また，

87

[4]

“名古屋大学情報基盤センタースーパーコン
ピュータシステム”.
https://icts.nagoya-u.ac.jp/ja/sc/, (2023/08/22 参
照).
“クラウド バーストとは”.
https://azure.microsoft.com/jajp/resources/cloud-computing-dictionary/what-iscloud-bursting, (2023/08/22 参照).
“Azure CycleCloud のドキュメント”.
https://learn.microsoft.com/jajp/azure/cyclecloud/?view=cyclecloud-8,(2023/08/23 参照).
“STREAM: Sustainable Memory Bandwidth inHigh Performance Computers”.

https://www.cs.virginia.edu/stream/, (2023/08/24
参照).
[5] “Performance & Scalability of HBv3 VMs with
Milan-X CPUs”.
https://techcommunity.microsoft.com/t5/azurecompute-blog/performance-amp-scalability-ofhbv3-vms-with-milan-x-cpus/ba-p/2939814,(2023/08/24 参照).
[6] “UL HPC MPI Tutorial: Building and Running
OSU Micro-Benchmarks”.
https://ulhpctutorials.readthedocs.io/en/latest/parallel/mpi/OS
U_MicroBenchmarks/, (2023/08/24 参照).
[7] “HPC Performance and Scalability Results with
Azure HBv3 VMs”.
https://techcommunity.microsoft.com/t5/azurecompute-blog/hpc-performance-and-scalabilityresults-with-azure-hbv3-vms/ba-p/2206471,(2023/08/24 参照).
[8] M. Kawai et al., Hierarchical Parallelization ofMulti-coloring Algorithms for Block IC
Preconditioners, 2017 IEEE Proceedings of the
19th International Conference on High
Performance Computing and Communications(HPCC 2017) held in Bangkok, 138-145, 2017.
[9] 大阪大学サイバーメディアセンター大型計
算機システム OCTOPUS”.
http://www.hpc.cmc.osaka-u.ac.jp/octopus/,(2023/08/25 参照).
[10] 伊達進他，OCTOPUS のクラウドバースティ
ング拡張．大学 ICT 推進協議会 2019 年度年
次大会, 2019.

[11] S. Date, et al., First Experience and Practice of
Cloud Bursting Extension to OCTOPUS.
Proceedings of the 10th International Conferenceon Cloud Computing and Services Science(CLOSER 2020), pp. 448-455, 2020[12] A. Endo et al., Consideration of a Supercomputing
System with Cloud Bursting Functionality from an
Operational
Perspective.
2022 IEEE
International Conference on Cloud Computing
Technology and Science (CloudCom), Bangkok,
Thailand, pp. 154-161, 2022.
[13] “大阪大学サイバーメディアセンター大型計
算機システム SQUID”.
http://www.hpc.cmc.osaka-u.ac.jp/squid/,(2023/08/25 参照).
[14] “Linux Virtual Machines の料金”.
https://azure.microsoft.com/jajp/pricing/details/virtual-machines/linux/#pricing,(2023/08/25 参照).
[15] “Azure NetApp Files の価格”.
https://azure.microsoft.com/jajp/pricing/details/netapp/, (2023/10/02 参照).
[16] “Azure NetApp Files のドキュメント”.
https://learn.microsoft.com/ja-jp/azure/azurenetapp-files/, (2023/10/02 参照).
[17] “帯域幅の価格”.
https://azure.microsoft.com/jajp/pricing/details/bandwidth/, (2023/10/02 参照).

付録
付表 A STREAM Triad ベンチマークテストでのコンパイラ等の組み合わせとその表記形式

88