九州大学スーパーコンピュータと AWS クラウドサービスによるハイブリッド計算環境の相互補完的利用方法に関する調査
南里 豪志 1) , 松山 和広 2) , 田代 皓嗣 3) , 原田 浩睦 1)
1) 九州大学, 2) 株式会社 Fusic, 3) アマゾンウェブサービスジャパン合同会社
nanri.takeshi.995@m.kyushu-u.ac.jp

Study on the complementary usage of hybrid computing
environment with a supercomputer at Kyushu University andAWS cloud service
Takeshi Nanri1) , Kazuhiro Matsuyama2) , Koji Tashiro3) , Hiroyoshi Harada1)
1) Kyushu University, 2) Fusic Co., Ltd., 3) Amazon Web Services Japan概要
本稿では、オンプレミス計算機である九州大学スーパーコンピュータとクラウド計算環境である AWS クラウドサービスを連携したハイブリッド計算環境において、それぞれの利点を活用する相互補完的な利用を実現する方法を調査し、提案した。オンプレミス計算機は、大規模かつ長時間の計算を行う際の費用対効果が高いという利点がある一方、保守等によるサービス停止期間や計算需要の急増に伴う資源割り当て待ち時間が問題となる。これに対してクラウド計算環境は、必要な時に必要な構成の計算資源を利用可能であるという可用性の高さや適用性の高さが利点である。そこで、これらの利点を活かした相互補完的な利用の基本形態として、ファイルの同期、オンプレミス計算機からのクラウド計算環境利用、およびクラウド計算環境からのオンプレミス計算機利用の 3 つを取り上げ、それぞれの実現方法を提案した。特にオンプレミス計算機は管理者権限が必要な操作が困難であることから、オンプレミス計算機側の操作は全て一般利用者権限のみで実行できるものを用いた。本稿では、実装方法の概要を説明するとともに、各操作の所要時間を評価した。

であり、特に近年は、演算アクセラレータや高性能イ

1 はじめにンターコネクト等の高性能計算に必要な計算資源を選

九州大学情報基盤研究開発センター（以下、九州大択可能となっていることから、可用性の高さや適用性学センター）は学際大規模情報基盤共同研究・共同利の高い高性能計算環境として関心が高まっている。し用拠点の一つとして、研究を目的とする計算のためのかし、このような可用性の高い計算サービスの維持に計算機資源を提供している [1]。他のほとんどの拠点は、需要を大幅に上回る規模の計算資源を常に用意すと同様に九州大学センターでは、運用する計算機資源る必要があるため、特に大規模長時間の計算を実行すを建物内に設置するオンプレミス型と呼ばれる方式をる場合に、オンプレミス計算機よりも費用対効果が比採用している。この方式は、機器の稼働率を高く維持較的低くなる可能性が高い。

できるだけの計算需要がある状況では高い費用対効果

これに対して最近、オンプレミス計算機とクラウドでの運用が可能である。一方、この方法は機器の冗長計算環境を連携したハイブリッド計算環境が注目され性が低く保守時に一部または全部の計算サービスを停始めている [3]。本稿では、このようなハイブリッド計止する場合があるうえ、設置した計算資源を超える計算環境において、互いの特性を活かした相互補完的利算需要が発生すると資源割り当て待ちが発生する、と用について検討する。このような相互補完的利用の基いった問題がある。

本的な形態として、ファイルの同期、オンプレミス計

一方、AWS (Amazon Web Services) [2] はクラウ算機からのクラウド計算環境利用、クラウド計算環境

ドコンピューティングサービスを提供している企業のからオンプレミス計算機の利用、の 3 つが考えられる。

一つである。このサービスは、個々の利用者がそれぞそこで本稿では、それぞれの利用形態について実現方

れ必要とする時に必要な量の計算資源を提供するもの

法を提案する。通常、オンプレミス計算機では、管理80

者権限での操作は許可されていない。そのため本提案

一方クラウド計算環境上のストレージ領域は、運では、オンプレミス計算機上での操作は全て一般利用用停止期間がほとんど無い、永続的な利用が可者権限のみで実行できるものを用いる。また、利用者能である。そこで、例えば不定期に発生するセンが自由にクラウド計算環境を選択できるように、オンサーデータをクラウド計算環境のストレージ領域

プレミス計算機とクラウド計算環境はそれぞれ独立しに収集し、オンプレミス計算機のストレージ領域て契約することを前提とし、相互のアカウント連携なと同期することで、大規模なセンサーデータの高どが無い状況で利用可能な実現方法を提案する。

速処理を容易に実現可能となる。また、オンプレミス計算機における大量の計算結果をクラウド計

2 オンプレミス計算機とクラウド計算環境算環境のストレージ領域に同期することで、常時の相互補完的利用アクセス可能な研究データとして公開することが相互補完的利用は、オンプレミス計算機とクラウド計算環境のそれぞれの特性を活用した連携利用法であ可能となる。
オンプレミス計算機からのクラウド計算環境利用る。このうち、オンプレミス計算機の特性としては、オンプレミス計算機の計算能力を超える計算需大規模長時間の計算における費用対効果の高さが挙げ要が発生した際、緊急性の高い計算を一時的にクられる。オンプレミス計算機は、導入した計算資源をラウド計算環境に移して実行することを可能とす高い稼働率で運用することにより高い計算スループッる。これにより、基本的な計算の費用対効果の高トを達成している。そのため、常に計算能力の限界にさと、計算機需要の急増への対応能力を実現可能近い計算需要がある場合、計算機の導入コストに対しとなる。また、オンプレミス計算機の計算の一部て比較的高い計算能力を提供可能である。その反面、のみをクラウド計算環境の最新ハードウェアで実オンプレミス計算機の計算能力には余裕が無いため、行する、といった用途も考えられる。

保守作業等により一部または全部のサービスを利用不クラウド計算環境からのオンプレミス計算機利用可となる時間帯が発生する。また、計算能力を超えるクラウド計算環境上の装置やソフトウェアを組み計算需要がある場合、計算機の空きを待つ必要がある。

合わせて実装されたクラウドネイティヴと呼ばれその上、一度導入した計算機を数年間運用するため、るアプリケーションのうち、特に計算負荷が高い

通常、その間のハードウェア技術の進歩による恩恵を部分のみをオンプレミス計算機で実行させること享受できない。

により、計算に要する費用の低減を図ることが出

一方、クラウド計算環境の特性として、いつでも必来る。

要な計算能力を提供可能な可用性の高さと、最新ハードウェア技術を含む様々な装置から最適な構成を選択可能な適用性の高さが挙げられる。これらを実現する
ため、クラウド計算環境は基本的に予想需要を大幅に上回る計算能力を用意する必要があり、特に大規模長時間計算における費用対効果が低い場合が多い。
このようにオンプレミス計算機とクラウド計算環境は、片方の短所をもう片方の長所で補うことのできる相互補完的な関係にあると言える。そこで、それぞれの環境の特性を活かした相互補完的利用により、片方だけでは達成困難な高い利便性の実現が期待できる。
本稿では、オンプレミス計算機とクラウド計算環境の相互補完的利用における基本的な形態として以下の3 点を挙げ、それぞれの実現方法を検討する。

3 相互補完的利用の実現方法
3.1

ハイブリッド計算環境の準備

本節では、ハイブリッド計算環境における相互補完的利用の実現方法の概要を説明する。実際の操作に必要なコマンドやスクリプトなどの詳細な情報は、

GitHub で公開している [6]。
本稿で想定するハイブリッド計算環境は、Linux が動作するオンプレミス計算機と AWS 上に構築したクラウド計算環境である。このうちオンプレミス計算機には、AWS に対する遠隔操作のためのツールである AWS コマンドラインインタフェース (AWSCLI) [4] と、AWS 上のクラスタを遠隔管理するツー
ル ParallelCluster [5] を予め導入する。これらのツーファイル同期ルは一般利用者が自分のホームディレクトリにインス

オンプレミス計算機のストレージ領域は、計算ノード群による高速なデータ処理に有効である。

81

トールすることが可能である。
一方、クラウド計算環境は、AWS の計算サービス

である EC2 とストレージサービスである S3 を組み合わせて利用する。オンプレミス計算機からクラウド計算環境の遠隔操作を行うために必要なアクセスキーとjob0001/
ファイル群シークレットキーを予めコンソールで作成し、取得する。さらに、オンプレミス計算機上の AWS CLI でプロファイルを作成し、これらのキーを登録することで、イベント監視

2. 転送

計算ノード

6. ジョブ投⼊

7. 結果"FILE_UPLOAD"

job0001/

9. 転送

job0002/

ジョブ投⼊⽤バケット...

利用可能となる。

ito-aws-stat.txt

ジョブ処理
スクリプト

job0001/
1. 転送

なお、本提案における相互補完的利用の実現方法は、基本的にオンプレミス計算機からクラウド計算環境

S3ストレージ
オンプレミス計算機

計算クラスタクラウド計算環境に対して処理を依頼することで各操作を実行する。これは、以下の二つの理由による。まず、オンプレミス

図 1 オンプレミス計算機からクラウド計算環境へ計算機は保守等で利用できない場合があるのに対し、のジョブ投入の流れクラウド計算環境はほぼ常時利用可能である。そのため、操作の時点で利用可能である可能性の高いクラウド計算環境の方が遠隔操作対象として適している。ま機上でジョブ名をディレクトリ名とするディレクト

た、遠隔からオンプレミス計算環境を利用するには、リ内に、プログラムファイル、データファイルなど、秘密鍵をクラウド計算環境にコピーするか、もしくは必要なファイルを作成し、さらにジョブスクリプトを認証プロキシなどの代理認証方式を用意する必要があ

ito-asw-run.sh という名前で作成して、予めクラウる。前者はセキュリティ上の問題からほとんどの計算ド計算環境の S3 ストレージ領域に用意したジョブ投機センターで推奨されていない。また後者は管理者権入用のバケットに、そのディレクトリ全体を転送する

限による設定が必要であり、対象の計算機センターで(図中 1.)。

予め設定されていない場合、利用できない。

3.2

次に、ジョブの状態を保存するプレインテキストフ

オンプレミス計算機とクラウド計算環境のファァイルとして ito-aws-stat.txt という名前のファ

イル同期イルを同じディレクトリに作成し、中に FILE_UPLOAD

オンプレミス計算機とクラウド計算環境の間でファイルを同期するコマンドとして、AWS CLI にはという文字列を保存して、ジョブ投入用バケットに転送する (図中 2.)。

aws s3 が用意されている。これは、同期元と同期先

こ の バ ケ ッ ト は AWS の イ ベ ン ト 検 知 サ ー ビ スのストレージ領域を指定すると、その中の各ファイル

EventBridge の機能を用いて監視されており、新し群について、ファイルの大きさや更新日時に応じて転いファイルが追加されると、予め設定されていたジョ送の要否が判断され、更新が必要と判断されたファイブ処理スクリプトが起動する (図中 3.)。そのスクリルのみ、同期元から同期先に転送される。ディレクト

プト中で、ito-aws-stat.txt の転送完了を確認し、リ内の階層的なファイル群を対象とする場合でも再帰

このジョブのファイルを全て計算クラスタのストレー的に処理される。なお、同期先から同期元への転送はジにコピーし (図中 5.)、計算ノードに対してジョブス行われないため、逆向きの同期が必要な場合、方向をクリプト ito-aws-run.sh を投入する (図中 6.)。

入れ替えたコマンドを実行する。

3.3

ジョブが終了すると (図中 7.)、Slurm のエピロー

オンプレミス計算機からクラウド計算環境へのグ 機 能 に よ り 、計 算 ク ラ ス タ の ス ト レ ー ジ と ジ ョ

ジョブ投入

ブ 投 入 用 バ ケ ッ ト の フ ァ イ ル を 同 期 し (図 中 8.)、

ここでは、オンプレミス計算機からクラウド計算環

ito-aws-stat.txt の中身を JOB_COMPLETE に上書

境上の計算クラスタへのジョブ投入を実現する方法をきする (図中 9.)。利用者はジョブ投入用バケットの紹介する。今回想定しているジョブ投入の流れを図 1

ito-aws-stat.txt を参照することでジョブの完了に示す。

を確認し、必要に応じて結果ファイルをオンプレミス

クラウド計算環境へのジョブ投入を希望する利用計算機に転送する (図中 10.)。

者は、まず投入する各ジョブを一意に識別するためこのジョブ投入の流れを実現するために、利用者はのジョブ名を、例えば job0001、job0002 のように、あらかじめ、クラウド計算環境の計算クラスタを構築ジョブ毎に決定しておく。その後、オンプレミス計算しておく必要がある。これは、鍵ペアの作成、計算ク

82

ラスタが使用する内部ネットワーク設定、およびインターネット接続設定を行ったのち、ParallelCluster の計算クラスタ作成コマンドで構築できる。さらに、S3ファイルをクラウド環境に転送する (図中 7.)。

4 むすび

ストレージ領域上のジョブ投入用バケット作成、その本稿では、オンプレミス計算機とクラウド計算環境バケットを監視する EventBridge 設定、およびジョブを連携したハイブリッド計算環境において、互いの特終了時のエピローグ機能設定により、前述の流れによ性を活かした相互補完的利用の方法を調査し、基本的るジョブ投入が可能となる。

な利用形態として、ファイル同期、オンプレミス計算

3.4

クラウド計算環境からオンプレミス計算機への機からクラウド計算環境へのジョブ投入、およびクラジョブ投入

ウド計算環境からオンプレミス計算機へのジョブ投

クラウド計算環境からオンプレミス計算機へのジョ入のそれぞれについて、実現方法を提案した。ここでブ投入は、前節で説明したものと同様の流れを、逆の提案した方法は、オンプレミス計算機における操作と方向に実行するものである。今回想定しているジョブして全て一般利用者権限で行えるもののみを用いていの流れを図 2 に示す。

る。そのため、オンプレミス計算機としては、今回試した九州大学のスーパーコンピュータ ITO だけでな
く、ほとんどの Linux 計算機を利用可能である。一方、クラウド計算環境については、今回提案した方法
ジョブ処理
スクリプト

計算ノード

6. 結果

5. ジョブ投⼊

4. 転送完了
検知cron
7. 定期的に同期クラウドアプリ3. 定期的に同期

1. 作成

では AWS のイベント検知機構を用いて遠隔から投入
2. 作成

されたジョブの自動検知を実現している。しかし、こjob0001/
ファイル群の自動検知については、cron デーモンによる方法に置

aws-ito-stat.txt"FILE_UPLOAD""FILE_UPLOAD"

き換えることで、AWS 以外のクラウド環境も利用可

job0002/...

能となると考えられる。

ジョブ投⼊⽤バケット

今後は、提案した方法の各操作に要する所要時間をS3ストレージ
オンプレミス計算機

クラウド計算環境評価し、実用性を検証するとともに、今回試した環境以外での実装を試みる。また、今回提案した基本的な
図2

クラウド計算環境からオンプレミス計算機へ利用形態をもとにした、具体的な相互補完的利用の事のジョブ投入の流れ例を検討する。

前節のオンプレミス計算機からクラウド計算環境

謝辞へのジョブ投入との違いは、オンプレミス計算機に本調査にあたっては、アマゾンウェブサービスジャは EventBridge のようなイベント検知機能が無い点パン合同会社の宇津井峻氏、櫻田武嗣氏、佐々木啓氏、である。そこで本提案では、Linux の cron デーモン

および株式会社 Fusic の新川拓也氏、早崎司氏、槇原を利用して、定期的に S3 バケットの監視する方法を竜之輔氏、室井慎太郎氏、藤村直美氏に助言と協力を用いる。これは、crontab コマンドにより、一定の時頂きました。また、本調査は九州大学情報基盤研究開間 (例えば 10 分) おきにジョブ監視スクリプトを実発センター研究用計算機システムの共同研究制度を利行するよう設定するものである。このスクリプトはク用しました。

ラウド環境上のジョブ投入バケットとオンプレミス計算機のジョブ処理ディレクトリの間で同期をとり (図参考文献中 3.)、新しいディレクトリが追加されると、状態を示[1] 上田将嗣, 小野真, 平島智将, 原田浩睦, 南里豪志,

すプレインテイストファイル aws-ito-stat.txt の新スーパーコンピュータ「ITO システム」の紹介,到着を確認して (図中 4.)、aws-ito-run.sh をジョ大学 ICT 推進協議会 2017 年度年次大会

ブスクリプトとして投入する (図中 5.)。さらにこのスクリプトは、ジョブが終了したことを確認すると、[2] Amazon Web Service、https://aws.amazon.
com/jp/aws-ito-stat.txt の中身を JOB_COMPLETE に変更[3] 滝澤真一朗, 清水正明, 中田秀基, 松葉浩也, 高野

したうえで、ジョブのディレクトリをジョブ投入用了成, セキュアな AI/HPC クラウドバースティ

ディレクトリと同期することによって、ジョブの結果ング実現に向けた検討, 研究報告ハイパフォー

83マンスコンピューティング（HPC）,2022-HPC-

185(17),1-7 (2022-07-20) , 2188-8841[4] AWS Command Line Interface、https://docs.
aws.amazon.com/ja_jp/cli/[5] AWS

ParallelCluster、https://docs.aws.

amazon.com/ja_jp/parallelcluster/latest/ug/install.html[6] GitHub awsito https://github.com/tnanri/
awsito84