OCTOPUS のクラウドバースティング拡張
伊達進 1) , 片岡洋介 3) , 五十木秀一 4) , 勝浦裕貴 2) , 寺前勇希 2) , 木越信一郎 2)
1) 大阪大学サイバーメディアセンター 2) 大阪大学 情報推進部
3) 日本電気株式会社 第一官公ソリューション事業部
4) 日本マイクロソフト株式会社 デジタルトランスフォーメーション事業本部
date@cmc.osaka-u.ac.jp

OCTOPUS with Cloud Bursting Functionality
Susumu Date1) , Hiroaki Kataoka3) , Shuichi Gojuki4) ,Yuki Katsuura2) , Yuki Teramae2) , Shinichiro Kigoshi2)
1) Cybermedia Center, Osaka University 2) Dep. of Info. and Comm. Tech. Service, Osaka University3) 1st Gov. and Pub. Solutions Division, NEC Corp. 4) Customer Success Unit, Microsoft Japan Co., Ltd.

概要
大阪大学サイバーメディアセンターでは、総理論演算性能 1.463 PFlops を有するスーパーコンピュータシステ
ム OCTOPUS (Osaka university Cybermedia cenTer Over-Petascale Universal Supercomputer) を 2017 年12 月に導入し、4 ヶ月間の試験運用の後、2018 年 4 月より本格運用している。本システムは導入当初より故障も少なく、安定したシステム運用を可能とする一方、利用者からの高い計算需要から高負荷状態が継続し、利用者の計算要求から計算完了までの待ち時間が増大化している。本研究では、このような背景から、OCTOPUS の高負荷状態の緩和を目的とし、クラウドベンダの提供するクラウド資源への負荷のオフロードによる問題解決を試行する。
具体的には、オンプレミス環境の OCTOPUS と、マイクロソフト社の提供する Azure サービスを連動させたクラウドバースティング実証環境を構築し、OCTOPUS の高負荷状態を回避する手法の実現可能性を検証する。本稿では、クラウドバースティング実証環境を概説し、本稿執筆時までの検証成果を報告する。

く、個別のソフトウェアスタックを配備する計算資

1 はじめに源群を、オンデマンドに必要量だけ利用可能な IaaS

大阪大学サイバーメディアセンター (CMC: Cyber-(Infrastructure as a Service) 型クラウドサービスがmedia Center) では、2017 年 12 月にハイブリッド型成熟しつつある。Amazon AWS [2]、Microsoft Azure

クラスタシステム OCTOPUS (Osaka university Cy-[3] 、Oracle Cloud [4] は、クラウドベンダの提供すbermedia cenTer Over-Petascale Universal Super-

る IaaS 型クラウドサービスの一例である。今日、こcomputer) を導入した。CMC の利用者からのスカれらのクラウドサービスを活用することで、高性能計

ラ型スーパーコンピュータに対する多様な計算ニー算、分散計算、ネットワーク等の深い知識を有していズ・需要を収容可能であり、利用者に定常的かつ安定ない利用者でも、直感的なグラフィカルインタフェー的に高い性能を提供することが期待される中で導入さス (GUI) を通じて、大規模な計算環境を容易に構築すれた OCTOPUS は、非常に高い利用率で利用されるることが可能である。また、クラウドベンダの提供す状況となっている。しかし、その一方で、利用者の計る IaaS 型クラウドサービスでは、クラウドベンダの算要求から計算完了までの待ち時間が定常的に長時間保有する膨大な計算機資源量のため、その利用者はそになるという新たな問題が深刻になりつつあり、利用の資源量、負荷状況を気にすることなく利用できる。

者からの問い合わせ・相談の声も大きくなりつつある。

さらに、これらのクラウドベンダの提供する計算機資

正式運用 2 年目となる 2019 年度においては、この待源は、クレジットカード決済により気軽に購入可能でち時間の問題は年度の早期段階から顕著になりつつあある。このような計算環境配備のオンデマンド性、簡り、CMC の大規模計算機システム事業の利用者満足易性、手軽性は、大学の計算機センターの提供する計度を向上していく上で重大な問題となっている。

算機資源の一部あるいは全部をクラウドベンダの提供

一方、近年では、利用者の計算ニーズ・要求に基づ231

する IaaS 型クラウドサービスで代用することへの関心を高めている。

イブリッド型クラスタシステムである [5]。これらの上述した OCTOPUS の高負荷状況、および、IaaSノード群、ストレージは、Inﬁniband EDR による相互型クラウドサービスへの関心を鑑み、本稿では、OC-結合網に接続されており、100Gbps の高帯域な通信がTOPUS と IaaS 型クラウドサービスを連動させるこ可能となっている。また、OCTOPUS では、上述の全とにより、オンプレミス環境である OCTOPUS の負てのノード群、ストレージは、Mellanox 製 InﬁniBand

荷を一時的にクラウド環境にオフロードできる計算

EDR ディレクタースイッチ CS7500 1 台に収容され環境を試行する。より技術的かつ具体的には、CMCており、相互に 1-hop の低遅延での通信が可能である。の OCTOPUS とマイクロソフト社の提供する Azure

さらに、汎用 CPU ノード群、GPU ノード群、Xeonサービスに、近年急速に期待と関心を高めているクPhi ノード群については、それらを構成する全てのプラウドバースティング技術を応用することで、本研究ロセッサ、アクセラレータを直接液冷しており、高いでは、OCTOPUS の負荷を Azure 上に構築した計算性能を安定的に供給できるように構築されている。

機資源にオフロードする。その際、本研究で構築する

OCTOPUS の運用では、OCTOPUS の計算ノード

OCTOPUS-Azure クラウドバースティング環境での群をノード時間単位で利用者に負担金を課金する。す

検証を通じて、将来の本格運用にむけた技術課題の抽

なわち、CMC では、ある計算ノード 1 台を１時間利出を行いつつ実現可能性を考察・評価する。

用した場合の消費電力に相当 (冷却に伴う電力量を含

本論文は以下の通り構成する。2 節では OCTOPUSむ) する費用を基に、OCTOPUS の負担金制度が構築の構成、現状の問題を記し、クラウドバースティングされている。このようなノード時間単位での利用負担機能拡張にむけた要求要件をまとめる。3 節では、本金制度を行なうため、CMC では、計算ノードには同時研究で構築したクラウドバースティング環境についてに 2 つ以上の利用者ジョブ要求が割り当てられないよ解説する。その後、4 節にて本稿執筆時点までに得らうに制御し、あるジョブ要求が他のジョブ要求と課金れた知見をまとめる。5 節にて本論文をまとめる。

対象となる計算資源を共有する状況を回避している。

OCTOPUS では、このような計算機提供方法を実現

2 クラウドバースティングへの要求要件するとともに、利用者が OCTOPUS を効率よく利用

本節では、OCTOPUS の構成と現状を紹介し、クラできるよう、NEC 製 NQSII、および、JobManipula-ウドバースティングに向けた要求要件をまとめる。

tor(NQSII/JM) [6][7] をジョブ管理サーバとして導入

2.1 OCTOPUS の構成している。この NQSII/JM は利用者からのジョブ要求を受けつけ、各ノード群へのジョブ割り当てを行う機能を持つ。OCTOPUS は複数の異なるノード群から構成されるため、各ノード群に対応した実行用ジョブクラスに利用者のジョブ要求を振り分ける。この実行用ジョブクラスはさらに要求並列度数に基づいて複数段階に細分化されており、ジョブ要求の並列度数ごとのジョブクラスへと振り分ける。この際、上述したような状況が発生しないような制御も行いつつ、利用者の待ち時間を縮減するとともに、システム全体が定

図 1 OCTOPUS の外観.

常的に高い利用率を維持できるようにしている。さらに、実際の運用では、OCTOPUS の管理者は、ジョ

図 1 に OCTOPUS の外観を示す。OCTOPUS は、ブ投入状況、利用者の待ち時間等を監視し、ジョブクIntel 製プロセッサ (Skylake) を搭載した汎用 CPUラスへマッピングされるノード群の設定を変更するな

ノ ー ド 群 、Intel 製 プ ロ セ ッ サ に 加 え NVIDIA 製

どの対応により、利用者の待ち時間の縮減、ジョブスP100 を搭載した GPU ノード群、Intel 製プロセッ

ループットの向上にむけて日々尽力している。

サ (Knights Landing) を搭載した Xeon Phi ノード

2.2

OCTOPUS の現状群、6TB の主記憶を搭載した大容量主記憶搭載ノー

しかし、高負荷状態を回避しようとする運用努力にド群、3PB の大容量ストレージ、利用者がプログラムも関わらず、導入当初から OCTOPUS の汎用ノード開発を行うフロントエンドサーバ群から構成されるハ群、GPU ノード群は利用率が高い状態が続いている。

232

OCTOPUS の正式運用を開始して 2 年目となる 2019年度においては、年度当初より汎用ノード群、GPUノード群は 80% を超え 90% 程度の利用率で利用される状況が継続している。また、Xeon Phi ノード群についても、CPU ノード群の高負荷状態時にその負荷のオフロード先として使われる傾向もあり、定常的に高い利用率となっている。CMC の大規模計算機システム事業としては、OCTOPUS の高い利用率を歓迎していたが、利用者の待ち時間の増大が利用者の研究活動の遅延を招いてしまうことで、全国の大学の研究者が学術研究・教育に伴う計算及び情報処理を行う全国共同利用施設としての CMC の機能不全を起こしてしまうことを懸念している。

択できること。

4. 同一性：クラウド環境とオンプレミス環境での計算結果に相違がないこと。

5. ハイスループット性：システム全体としてのスループット向上がなされること。
以下、これらの要求要件について説明する。

2.3.1

オンデマンド性

2.2 節で記したように、OCTOPUS は高負荷状況が継続し、利用者の長い待ち時間が深刻化しつつある。
その対策の一つとして、OCTOPUS へのクラウドバースティング機能拡張に期待を寄せているが、クラウドバースティング機能の実現可能性・有用性が検証できれば、将来的には、CMC の管理者の判断により適宜クラウド資源の利用可否を制御したいと考えている。
つまり、OCTOPUS の高負荷状況が継続し、長い待ち時間が発生しているような状態が検出された際には、ある一定量のクラウド資源を CMC が準備し、ジョブ管理サーバのキューで待ち状態になっているジョブ要求の一部をクラウド資源に誘導する。また、待ち時間が緩和された際、CMC の判断でジョブ要求のクラウドへの誘導を停止したり、あらかじめ準備したクラウ

図 2 2018 年度の OCTOPUS の利用率 (月平均).

ド資源量が消費された際は、ジョブ管理サーバによってクラウド資源へのジョブ要求の誘導を停止する。こそのような懸念から、2018 年度の OCTOPUS 利用のように、できる限りオンプレミス環境で計算実行が率が年度当初から年度後半にむけて急激に高まった傾行われることを前提とし、管理者の判断によって必要向に着眼し、2019 年度においては、年度開始当初のな資源量を必要な時にだけ提供できる必要がある。

3 ヶ月 (4-6 月) における計算機利用負担金を、それ以2.3.2透過性外の期間 (7-3 月) における計算機利用負担金よりも軽CMC の判断によってクラウド資源の利用を制御し、減する季節係数の制度 [8] を導入し、利用者の利用を待ち状態にあるジョブ要求をクラウドに誘導する場合年度前半に誘導することを試行している。本稿執筆時を想定すれば、クラウドとオンプレミス環境でジョブ点において、ある程度の計算負荷を年度早期に誘導で投入方法に相違がない必要がある。例えば、クラウドきる効果が得られていると考えられる。しかし、2018

環境とオンプレミス環境での利用者 ID やパスワード年度の状況 (図 2) を考慮すれば、それ以降の期間におの相違は、その相違を解決するための ID 連携などのいても依然高い利用率および長い待ち時間が継続して技術が新たに必要となる。また、クラウドとオンプレいく状況が予想され、さらなる対策の実施が急務であ

ミス環境で利用するジョブ管理システムの相違はジョると考えている。

ブ要求スクリプトの記述の相違を生む。このため、利2.3

用者にはジョブ実行の際にオンプレミス環境とクラウクラウドバースティング機能拡張への要求要件

本研究では、OCTOPUS のクラウドバースティング機能拡張にむけ、下記 5 点の要求要件を設定した。

ド環境での相違を意識させないことが望ましい。

2.3.3

選択性

オンプレミス環境での計算を前提としたサービス提1. オンデマンド性：クラウド資源の利用は必要に応じて最小限であるように構成すること。

供を行う視点から、利用者の中には、データセキュリティなどへの懸念等の理由から、高負荷状態において2. 透過性：利用者は、クラウドとオンプレミス環境で異なるジョブ投入方法とならないこと。

もクラウド資源への誘導を望まない場合がある。こうした場合への対応のため、利用者のクラウド資源利用

3. 選択性：利用者は、クラウド資源の利用可否を選233

可否の選択を確認する何らかの手法が必要となる。

ティング環境の概要を示す。オンプレミス環境 OC-

2.3.4 同一性

TOPUS から Azure を利用するクラウドバースティン

オンプレミス環境とクラウド環境での計算結果は同グ機能を実現するために、本研究では、主として (1)一である必要がある。利用者がクラウド利用についてクラウドブリッジネットワーク、(2) ジョブ管理サー承認し、その結果、システムの高負荷状況が改善する

バ、(3) クラウドへの OCTOPUS 計算ノードイメージ

とともに利用者の待ち時間が縮小したとしても、2 つの配備の 3 点の拡張を実施した。これらの拡張を通じの環境での計算結果に相違があることは許されない。て、利用者がジョブ管理サーバにあらかじめ設置され2.3.5 ハイスループット性た実行ジョブクラスにジョブ要求を投入した際、ジョ構築するクラウドバースティング機能によって、ブ管理サーバは Azure の提供するクラウドポータルにジョブの待ち時間の軽減とオンプレミス環境の負荷軽あらかじめ配備しておいた計算ノードのテンプレート減がなされる必要がある。

イメージに基づき、Azure 上に仮想計算機として実装された OCTOPUS 計算ノードを起動し、要求された3 クラウドバースティング実証環境ジョブを実行することが可能となる。

本節では、本研究で構築した OCTOPUS-Azure ク
ラウドバースティング実証環境についてまとめる。

3.1

以下、主要 3 点の拡張部分について記す。

3.2

クラウドバースティング実証環境の概要

クラウドブリッジネットワーク

2.3 節で示したように、OCTOPUS-Azure クラウド

Microsoft Azure は、HPC 分野で利用される、Intelバースティング環境では、利用者はオンプレミス環境

あるいは AMD 製の高性能 CPU、NVIDIA 製 GPUとクラウド環境の区別なく利用できなければならな(Kepler, Maxwell, Pascal, Volta)、低遅延高帯域幅い。そのためには、OCTOPUS の計算ノード群と同ネットワーク InﬁniBand 等から構成される様々な仮様に、Azure 側で構成される仮想計算ノード群を、後想マシンを世界中のリージョンで提供している。この述するジョブ管理サーバから監視管理させる必要があ

Azure を利用することで、利用者の目的・用途にあわる。また、Azure 側に配備される仮想計算ノードとオせたスーパーコンピュータをオンデマンドに構築可能ンプレミス側に配備される計算ノードに差異が生じなである。また、Azure では、最新の CPU、GPU、高いように、構成されるソフトウェアスタックを同一に性能なノード間通信等の HPC 関連技術がリリースさするだけでなく、OCTOPUS の大容量ストレージもれた際には、対応する仮想マシンの迅速な提供が予定同一の操作性で利用できるようにする必要もある。こされている。加えて、大阪大学では、学習の効率化、のような状況を考慮すれば、Azure クラウド環境上で学習環境の質の向上を目的としてマイクロソフト社と配備される仮想計算ノードはオンプレミス側と同等のの包括契約 (EES) を締結済みであり、Azure サービ論理ネットワーク内で稼働できることが望ましい。

スの追加修正は比較的容易である。このような理由か
ら、本研究では、OCTOPUS のクラウドバースティン
グ機能拡張にむけ、Microsoft Azure を採用した。

図4ブリッジネットワークの構成.

図 4 に本研究で実現した OCTOPUS-Azure 間のクラウドブリッジネットワークの概要を示す。本研究では、OCTOPUS-Azure 間のネットワークの実現に際
図 3 OCTOPUS-Azure クラウドバースティング

して、IPsec による VPN (Virtual Private Network)環境の概要.

を構築する。これにより、OCTOPUS 内のプライベートな論理ネットワークを Azure 上の仮想ネットワー

図 3 に構築した OCTOPUS-Azure クラウドバース

234

クへ延伸する構成とした。このために、オンプレミス

側では NEC 製 UNIVERGE IX2106 を導入し、大阪大学の学内ネットワーク ODINS、インターネット経由で、Azure 側の仮想ネットワークゲートウェイとの間に VPN 接続を行った。クラウド側では計算ノードの管理を行うためのクラウド管理ネットワーク、計算ノード間のプロセス間通信や、OCTOPUS 側のストレージへのトラフィック等に利用されるサービスネットワークから構成した。
図 7 OCTOPUS-Azure 間でのジョブ管理サーバの構成.

用者にとっては、クラウド環境とオンプレミス環境でジョブ投入方法に差異が生じないほうが望ましい。また、そのような利用者にとっては、クラウド資源とオンプレミス環境のいずれであってもジョブが迅速に完了することが望ましい。そのような観点からは、ジョブ投入が行われるジョブ管理サーバが、クラウド環境

図 5 Azure 内ネットワークの構成.とオンプレミス環境の利用状況等を基に、ジョブの割
図 5 に Azure 内 に 構 築 さ れ た ネ ッ ト ワ ー ク を示す。OCTO-LGATEWAY、OCTO-CGATEWAY、OCTO-CONNECTION は 上 述 し た OCTOPUSAzure 間で IPSEC による VPN 接続を行うために、Azure 上で構築したリソースである。Azure 内には、OCTO-CNET という仮想ネットワークを構築し、クラウドサービスネットワーク OCTO-SUBNET-SRV、クラウド管理ネットワーク OCTO-SUBNET-MNGのサブネットを分割している。Azure 上に配備される計算ノード (oct-azc00X) には、それぞれのサブネットワークに対する仮想 NIC を設定する。これらの仮想

NIC を通じて OCTOPUS 側ネットワーク向けに送受信される計算ノードのトラフィックは、OCTOPUS側の対応するネットワークへルーティングされるようルーティングテーブル OCTO-ROUTE-ONPREMISを設定している。

3.3

り当てノードをを動的に制御できる必要がある。
しかし、本研究段階では、システム全体のスループットを向上させながら、利用者の待ち時間縮減を実現するために、投入されたジョブ要求の中からどのジョブを優先的にクラウド資源へと誘導するかを決定するアルゴリズムや運用ポリシは未実装である。そのため、本研究では、オンプレミス側 OCTOPUS のキューとは独立に、新たにクラウド資源投入用のキューを設定した (図 6)。実際運用の視点では、CMC の管理者判断により当該キューへのジョブ投入可否を設定し、クラウドバースティング機能を制御することを想定している。
図 7 に OCTOPUS-Azure 環境に配備したジョブ管理サーバの構成を示す。NQSII/JM は、ジョブの受付・実行を管理するバッチサーバ (BSV)、スケジューリングを行うスケジューラ (JM)、管理対象ノードを監視するジョブサーバ (JSV)、統計情報を管理するアカジョブ管理サーバの拡張

ウンティング (SCACCT)、計算ノードの障害検知・電源制御を行うノード管理エージェント (NodeAgent)から構成される。

2.3 節で示した、クラウド資源のオンデマンド性を実現するためには、クラウド資源投入用のキューにジョブ投入がなされた場合に Azure 上の計算ノードを起動させ、ある一定期間利用がない場合に Azure 上

図 6 ジョブ管理サーバのキュー構成.の計算ノードを停止させる機能を OCTOPUS-Azure環境上に実装しなければならない。本研究では、投入

2.3 節で記したように、クラウド利用を許容できる利235されたジョブの要求量に応じて、クラウド資源の起動・停止を行う機能をジョブ管理サーバに実装した。

設置しているクラウド資源投入用キューへのジョブ投

NQSII/JM には、消費電力を最小限に抑えながらジョ入可否を設定するだけで可能となる。この投入可否のブの要求量に応じてオンプレミスの計算ノードの起動設定は、NQSII/JM で準備されている標準コマンド制御を行うことが可能な省電力運用機能が備わっていqmgr を用い、図 8 に示すように管理者権限で直感的る。本研究では、本機能をクラウド上の計算ノードにかつ簡便な操作を通じて、OCTOPUS の負荷状態に対応できるよう拡張するために、ノード管理エージェ合わせて管理者判断で迅速に行うことができる。図例

ントから起動される IPMI Wrapper およびクラウド

では、Azure の仮想計算ノード群に対して INT-AZTコントローラを開発した。

および O-AZT の 2 つのキューの enable 設定をして3.4 OCTOPUS 計算ノードイメージの配備いる。そのため、クラウド資源を必要な時だけ利用可

OCTOPUS の汎用 CPU ノード群は、Intel 製 Xeon
Gold 6126(Skylake/ 2.6GHz 12cores) を 2 基、主記能とすることにより、クラウド資源に費やすコストを小さくすることができる。

憶を 192GB 搭載した計算ノード 236 台が InﬁniBand

さらに、NQSII/JM の省電力機能を適用し、クラウEDR の相互結合網に接続された構成である。本研

ド上で稼働する計算ノードに 5 分以上ジョブ投入がな

究では、OCTOPUS で最も高い利用率を観測していい場合は、本研究で構築したジョブ管理サーバによっる汎用 CPU ノード群の負荷のオフロードを試行すて当該計算ノードは自動的に停止状態となる。また、る。OCTOPUS を利用する利用者の全てのジョブ要ジョブ投入がなされた場合は、ジョブ管理サーバが当

求を Azure への誘導対象とするためには、利用者が該計算ノードを起動する。これにより、クラウド上のOCTOPUS へのジョブ投入時にジョブ管理サーバに計算ノードの稼働状態を最小に抑えることができる。

対して要求を指定するメモリ容量、コア数以上の高性能な計算資源を配備しておく必要がある。また、

octopus $ qmgr -Pm
Mgr: enable interactive_queue=INT-AZT
Mgr: start interactive_queue=INT-AZT
Mgr: enable interactive_queue=O-AZT
Mgr: start interactive_queue=O-AZT
Mgr: exit

OCTOPUS-Azure 環境には、オンプレミスおよびクラウド間のデータ通信を考慮して、OCTOPUS とクラウド環境を接続するネットワークには広帯域性と低遅延性が要求される。このような背景から、本研
究では、基盤となるネットワーク性能を重視し、西

日本リージョンの Azure サービスを選択した。さら図8

クラウド資源投入用キューの制御.に、仮想計算機の利用に際しては、搭載主記憶容量はOCTOPUS の半分となる 96GB であるが、Intel 製

4.2

透過性

Xeon Platinum 8168(Skylake / 2.7GHz 24cores) を2.1 節で記したように、OCTOPUS へのジョブ要基盤とし、48 仮想コアを備えた仮想計算機 F48s v2

求は、図 9 に示すようなジョブスクリプトを記載し、を基に、OCTOPUS 計算ノードイメージ 32 セット

NQSII/JM に準備された標準コマンド qsub にジョ(oct-azc001〜oct-azc032) を構築した。同時に、利用ブスクリプトを指定する。OCTOPUS-Azure 環境で者がオンプレミス側、クラウド側の区別なく、利用者は、利用者は前述した O-AZT あるいは INT-AZT をID/パスワード、同一のホーム領域で、ジョブ実行がで(キュー名) に指定するだけで、Azure 上の計算ノードきるよう、クラウド上に配備された計算ノードイメーが利用可能となっている。

ジはオンプレミス側に配備された同一のソフトウェ
ア構成・設定を維持しつつ、Azure 環境向け汎用化といったクラウド特有の設定を行なっている。

4 検証と考察
本節では、2.3 節で示した 5 点の要求要件視点から、#!/bin/bash#PBS -q (キュー名)#PBS -l elapstim_req=1:00:00
cd $PBS_O_WORKDIR./a.out
図9クラウド資源投入用キューへのジョブ投入.

定性的かつ定量的な検証と考察を行う。

4.1

オンデマンド性

本論文の研究段階では、利用者はキューの相違を意

OCTOPUS の計算負荷をクラウド環境にオフロー識しなければならず、利用者はクラウド環境とオンプドするためには、3.3 節で示したジョブ管理サーバにレミス環境の相違を意識せざるを得ず、今回構築した

236

OCTOPUS-Azure 環境に高い透過性があるとは言い難い。この点については、後述の選択性とあわせた検討が今後必要になると考えている。

4.3

選択性

クラウド環境にデータを置きたくない、データセキュリティが気になる、等の理由から、クラウドの利用を許可・承認できない利用者も数多く存在する。本
稿執筆時点での OCTOPUS-Azure 環境では、上述の通り、利用者はオンプレミス環境およびクラウド環境

図 10 OCTOPUS フロントエンドからの RTT.

へのジョブ投入をジョブスクリプト内で指定でき、クラウド利用とオンプレミス利用の選択性があるといえる。しかし、本研究で目的とする OCTOPUS 高負荷状態の改善を考慮した場合、現状のように利用者がクラウド資源へのジョブ投入を行うのではなく、ジョブ管理システムが OCTOPUS に投入されたジョブ要求から、高負荷状態を改善できると考えられるジョブ要求をクラウド環境に誘導できることが望ましい。
本研究では、このような視点から、今後、図 9 に示したジョブスクリプトを拡張し、例えば、クラウド利用の可否を利用者に指定してもらうための #PBS -cloud

図 11 MPI PingPong 計測結果 (データサイズ = 4MB).

yes といった拡張を検討していきたいと考えている。
利用者のクラウド利用の透過性と選択性のトレードオ
フ問題は本研究で構築したクラウドバースティング機

ンドにより RTT(round-trip time) を計測した。それ能における将来課題の一つと考えている。

ぞれのサーバに対する計測は各パケットサイズに対し4.4同一性て 100 回行なった。また、この計測を朝、昼、夕方に本研究では、OCTOPUS および Azure における計算5 セット回実施した。

実行に差異が発生しないことを確認するために、MPI

図 10 に OCTOPUS 計算ノードへの RTT 計測値の(Message Passing Interface) の一実装である MPICH

最大値と最小値、および Azure 仮想計算ノードへの

3.3.1 [10] に付属の円周率の計算を行うサンプルプログ

RTT 計測値の最大値と最小値を示す。この結果から、

ラム cpi.c、および、本センターの利用者による Fortran

OCTOPUS に対しては、全体の計測を通じて RTT はコードを IntelMPI でコンパイルし、OCTOPUS およ

小さく安定していた一方、Azure に対しては、最大値び Azure 環境上で実行した。CPI はノード間並列、利と最小値で大きく差が開いたことがわかる。

用者コードはノード内並列を行なうが、いずれも結果

4.5.2

Azure 内仮想計算ノード間データ通信性能が同一であることを確認した。

Azure へのクラウドバースティングのため配備したハイスループット性

32 台の仮想計算ノード間での通信性能を検証するた

4.5

ハイスループット性評価のために、OCTOPUS-め、oct-azc001 から他の仮想計算ノード全てに対しAzure 間クラウドブリッジネットワークの性能、Azureて MPI PingPong によって計測した。図 11 にデー上の仮想計算ノード間データ通信性能、および仮想計

タサイズ 4MB 時の計測結果を示す。この結果から、算ノード上の計算性能について計測した。

ノードの組み合わせによってスループット性能にば4.5.1 OCTOPUS-Azure 間クラウドブリッジネット

らつきがあることがわかる。今回の計測では、平均ワークの性能432.6871MB/sec の性能が確認できたが、最大性能は

OCTOPUS-Azure クラウドブリッジネットワーク

510.35MB/sec、最小性能は 188.6MB/sec であった。の性能を評価するため、OCTOPUS のフロントエン

本計測で観測された性能のばらつきは利用者の実行ドノードから OCTOPUS の汎用 CPU 計算ノードおジョブ時間に影響を及ぼしうる。また、この特性は時よび Azure 側の仮想計算サーバに対して、ping コマ間的要因によりも変動しうることも観測された。本計237

筆時点までに得られた、オンデマンド性、透過性、選択性、同一性、ハイスループット性の観点からの検証結果および考察を報告した。本稿での検証を通じて、

OCTOPUS から Azure へのクラウドバースティングの実現可能性を高く評価する一方、実際運用にむけてはクラウド上に構築された仮想計算機の不安定な性能への対策、クラウドバースティング機能の選択性・透図 12 GROMACS を用いた性能比較.

過性での機能追加、利用者管理システム等の運用支援システムとの親和性などの技術課題の必要性を本研究では再確認した。さらに、実際に OCTOPUS の負荷測実験後の調査の結果、この性能特性は、Azure 上で状態を軽減し、利用者の待ち時間を縮減できるかの検の仮想計算ノードに仮想スイッチがデフォルトで組証は不可欠である。CMC では、今後も引き続き実際み込まれることに一因があることが判明している。今運用に向けたクラウドバースティング機能の検証・評

後、仮想計算ノードの構築時に仮想スイッチを利用し価を進めていきたいと考えている。

ない Accelerated Network [9] の設定に切り替え検証を進めていく予定である。

参考文献[1] OCTOPUS, http://www.hpc.cmc.osaka-u.

4.5.3 Azure 仮想計算ノードの性能OCTOPUS 汎 用 CPU ノ ー ド と Azure 上 のac.jp/en/octopus/.

F48s v2 による仮想計算ノードで、CMC において[2] Amazon AWS, https://aws.amazon.com/.

も利用者が多い GROMACS [11] を用いて性能を比[3] Microsoft Azure, https://azure.microsoft.

較した。なお、本稿執筆時において、OCTOPUS でcom/.

は CPU 利用向けに GROMACS 2016.1 を導入してい[4] Oracle Cloud, https://cloud.oracle.com/.

る [12]。本研究では、この CPU 版 GROMACS を用[5] 伊達 進, ”ペタフロップス級ハイブリッド型スーい、OCTOPUS 汎用 CPU ノードと Azure の仮想計

パーコンピュータ OCTOPUS : Osaka univer-

算ノードでの実行時間を計測・比較した。

sity Cybermedia cenTer Over-Petascale Uni-

図 12 に計測結果を示す。横軸は GROMACS の実

versal Supercomputer 〜サイバーメディアセン行に用いたノード内コア並列数である。今回構築しターのスーパーコンピューティング事業の再生とた Azure 上の仮想計算ノードでは、OCTOPUS 汎用躍進にむけて〜”, HPC ジャーナル, サイバーメ

CPU ノードよりも高性能なプロセッサを基盤としてディアセンター, no. 8, pp. 3-20, Sep. 2018.

いるが、GROMACS の性能については OCTOPUS[6] ”NQSII 利用の手引 [管理編] 第 6 版”, 日本電気

以上の性能が観測できなかった。本稿執筆時点においては、GROMACS の性能低下要因を未解析であり、引き続き調査・検証を続けて行くことを予定している。

株式会社, 2018 年 6 月.

[7] ”NQSII 利用の手引 [JobManipulator 編] 第 3版”, 日本電気株式会社, 2017 年 3 月.

さらに、実際に OCTOPUS の負荷をオフロードし、[8] 季節係数, http://www.hpc.cmc.osaka-u.ac.

OCTOPUS-Azure 環境として高いスループットが得

jp/system/manual/octopus-use/octopus_

られ、結果として利用者の待ち時間が縮減できるかど

point/#seasonality.

うかについては、実際ジョブセットを投入して検証を[9] ”高 速 ネ ッ ト ワ ー ク を 使 っ た Linux 仮 想 マ シ
ン の 作 成”,

行う必要があり、本研究の今後の課題である。

https://docs.microsoft.com/ja-

jp/azure/virtual-network/create-vm-

5 結論

accelerated-networking-cli.

本稿では、OCTOPUS と IaaS 型クラウドサービス[10] MPICH, https://www.mpich.org/.

を連動させることにより、OCTOPUS の負荷を一時[11] GROMACS, http://www.gromacs.org/.

的に Azure にオフロードできるクラウドバースティ[12] GROMACS

利 用 方 法(OCTOPUS),

ング環境の実現可能性を試行した。具体的には、構築

http://www.hpc.cmc.osaka-u.ac.jp/

した OCTOPUS-Azure 環境について説明し、本稿執

system/manual/octopus-use/gromacs/.

238