学際大規模情報基盤共同利用・共同研究拠点 平成 30 年度共同研究 最終報告書 2019 年 5 月

jh180077-ISJ

Software-Defined IT インフラストラクチャにおけるオーケストレーションに向けた資源管理システム
渡場 康弘（大阪大学）
概要 本研究では、組織間での連携を想定した災害管理（Disaster Management）の支援を目的としたアプリケーション基盤として、障害などへの高い耐久性と拠点間での継続的な情報共有を可能とする広域連携大規模可視化システムの実現を目指しており、本可視化システムを提供可能とする Software-Defined IT インフラストラクチャ技術の研究開発を行っている。前年度までの研究開発では、計算機サーバおよび大規模可視化装置が被災した場合に柔軟に移動することを想定したシナリオに対し、計算機資源の仮想化技術および Software-Defined Networking（SDN）技術を組み合わせたプロトタイプシステムを PRAGMA-ENT 上に構築してきた。しかし、これらのシナリオでは仮想計算機イメージやデータ保管ストレージの被災などは考慮されておらず、被災によるさまざまな状況に対して自律的にサービスを継続可能な基盤には達していない。そこで、本課題ではプロトタイプシステムで使用している Docker コンテナのイメージを、割り当てた計算資源および仮想ネットワーク環境を包括して管理制御する資源管理システムについて研究開発を行う。

1. 共同研究に関する情報阿部 洋丈（筑波大学）：(1) 共同研究を実施した拠点名

広域可視化テストベッドの整備

大阪大学

山中 広明（情報通信研究機構）：
PRAGMA-ENT の整備・運用
Jason Haga（産業技術総合研究所）：(2) 共同研究分野□

超大規模数値計算系応用分野□

超大規模データ処理系応用分野

高野 了成（産業技術総合研究所）：□

超大容量ネットワーク技術分野

広域可視化テストベッドの整備■

超大規模情報システム関連研究分野

可視化ツール開発

Fang-Pang Lin（National Center for Highperformance Computing）：(3) 参加研究者の役割分担

渡場 康弘（奈良先端科学技術大学院大学）：

国際連携基盤の整備

代表者

遠藤 新（大阪大学）：

José A.B. Fortes（University of Florida）：

ストレージシステムの導入設計

副代表者・国際連携基盤の整備

石田 和也（大阪大学）：
TDW 基盤切り替えシステムの開発

下條 真司（大阪大学）：副代表者・国際連携基盤の整備

2. 研究の目的と意義

木戸 善之（大阪大学）：副代表者・広域可視化テストベッドの整備

Information-as-a-Service (InfaaS)という

市川 昊平（奈良先端科学技術大学院大学）：

コンセプトは、複数の組織間で連携した災害副代表者・PRAGMA-ENT の整備・運用管理（Disaster Management）を支援するア
プリケーション基盤、具体的には災害に対す

伊達 進（大阪大学）：

るリスク管理、災害時における避難支援，救阪大拠点の整備・運用
1

学際大規模情報基盤共同利用・共同研究拠点 平成 30 年度共同研究 最終報告書 2019 年 5 月

図 1 PRAGMA-ENT 上における Software-Defined IT インフラストラクチャと連携した広域連携大規模可視化システムの構成図

助支援などの活動方針の決定作業を支援す不可欠である。

る災害管理システムを構築する上で重要な障害などへの高い耐久性と拠点間での継考えである。複数の組織による災害管理にお続的な情報共有を可能とする IT インフラス

ける対策方針を決定するプロセスでは、収集トラクチャの実現に向け研究開発を進めてされたデータ、およびその解析結果などからきた。2016 年度は、情報を配信するアプリケ

得られた情報をさまざまな組織の災害管理ーションサーバの被災を想定したシナリオ担当者に同時かつ分かりやすく提供するこに基づき、近年注目されている Software-とが重要である。前述の観点において、広域

Defined 技術と計算機の仮想化技術を IT イ

連携大規模可視化システムは意思決定を支ンフラストラクチャに適用した Software-

援する災害対策アプリケーションの基盤の 1

Defined IT インフラストラクチャの研究開つとして注目されている。

発を行い、図 1 に示す Software-Defined IT

複数の組織間での連携を支援する災害対インフラストラクチャと連携した広域連携策アプリケーションでは、組織間における情大規模可視化システムのプロトタイプの構報の伝達および同期は必要不可欠であるが、築を行った。

一般的に構築される広域連携大規模可視化

また、2017 年度は、2016 年度のシナリオでシステムではこれらを保証する仕組みは備は対象としていなかった大規模可視化装置えていない。それゆえ、被災により利用するが配備された拠点での被災を想定し、大規模リソースの一部が使用できない状況に対す可視化装置で実行されている可視化アプリ

る高い耐久性と、情報伝達を維持するためにケーションを他の拠点の可視化装置に柔軟代替のリソース構成に迅速に切り替えるこに移動する場合のシナリオに取り組んだ。本とが可能である IT インフラストラクチャが、研究で利用している大規模可視化装置には、複数組織の連携を支援する災害対策アプリ

複数のディスプレイを並べて 1 つのスクリーケーション基盤として利用可能な広域連携ンとして扱う Tiled Display Wall（TDW）を大規模可視化システムを実現する上で必要採用している。TDW では、複数のディスプ
2

学際大規模情報基盤共同利用・共同研究拠点 平成 30 年度共同研究 最終報告書 2019 年 5 月

図2Software−Defined IT インフラストラクチャにおける資源管理システムの概念図

レイを 1 つのスクリーンとして制御して可視タイプで使用している Docker コンテナのイ化結果を表示するため、専用の TDW 制御ミメージを、割り当てた計算資源および仮想ネドルウェアの利用や TDW 表示に対応した専ットワーク環境を包括して管理制御する資用可視化アプリケーションが必要となる。こ源管理システムについて研究開発を行う。

れらの基盤ソフトウェアはそれらを共存させたプラットフォーム環境を構築すること

3. 当拠点公募型共同研究として実施した意義は困難であることから、TDW 大規模可視化

本研究課題で目指す広域連携大規模可視装置に対する柔軟な環境切替機構の研究開化システム実現のための Software-Defined

発を行い、広域連携大規模可視化システムのIT インフラストラクチャ技術の構築・検証をプロトタイプと統合した環境の構築を行っ行うためには、大規模データに対する解析をた。

行う計算資源、TDW などに代表される大規

しかし、これまでの取り組みで扱ってきた模可視化装置、そしてこれらの各種資源が想定シナリオでは、仮想計算機イメージのス

Software-Defined Networking（SDN）に対トレージ、データ保管用のストレージなど、応した広域拠点間ネットワークで接続され一部の災害管理システムで必要な資源が被た環境を想定している。大阪大学拠点ではこ災する状況は考慮されていない。そのため、れらのリソースを提供できる環境が整備さ

こ れ ま で の 課 題 で 開 発 し た

れているため、当拠点公募型共同研究の枠組

Software−Defined IT インフラストラクチャ

みを利用することで本課題の研究を推進す

技術における資源管理システムでは、被災にることが可能であると考える。

よって生じるさまざまな状況に対応するた

4. 前年度までに得られた研究成果の概要

めに必要となる機能を自律的に管理および2016 年度は、各可視化拠点にデータから制御を行うオーケストレーションとしての仕組みが備わっていない。

生成された可視化結果を配信する可視化ア

そこで、本課題では、図 2 に示す Software-プリケーションが実行されている計算機サ

Defined IT インフラストラクチャと連携しーバが配置されている拠点で被災した場合た広域連携大規模可視化システムのプロトを 想定 したシ ナリ オに基 づき 、 Software3

学際大規模情報基盤共同利用・共同研究拠点 平成 30 年度共同研究 最終報告書 2019 年 5 月

Defined IT インフラストラクチャと連携しTDW 環境の管理・切替を行う手法についてた広域連携大規模可視化システムのプロト研究開発を行った。(2-2)では、一昨年度開発タイプの設計・構築を行った。本プロトタイ

したプロトタイプの資源管理システムに対プの構築にあたり、(1-1) Multi-site 可視化し、(2-1)の TDW 環境の管理・切替機構の制ツールの配備、(1-2) SDN-based インフラス御を行うための拡張を行った。(2-3)では、トラクチャの生成、(1-3) 障害発生時におけPRAGMA-ENT 上 に お け る Software-る可視化ツールのロバスト性の検証の 3 つのDefined IT インフラストラクチャのプロトステージを設けて研究を進めた。(1-1)ではタイプに対して(a)、(b)の成果を配備して動Multi-site 可視化ツールとして、多くの災害作の検証を行った。

管理システムで求められる仮想ホワイトボ
ー ド お よ び ワ ー ク ス ペ ー ス を Scalable

5. 今年度の研究成果の詳細

Amplified Group Environment（SAGE2）を本課題の目的である Software-Defined IT利用して開発・構築した。(1-2)では、可視化インフラストラクチャと連携した広域連携処理を行う計算サーバに割り当てる資源、可大規模可視化システムのプロトタイプで使視化サーバと大規模可視化装置間のネット用している Docker コンテナのイメージを、ワークの両方を管理・制御を行う資源管理シ割り当てた計算資源および仮想ネットワーステムについて取り組んだ。(1-3)ではこれら

ク環境を包括して管理制御する資源管理シを用いたプロトタイプを実際の広域環境でステムの実現に向け、まず初めに既存プロト検証するため、仮想ネットワーク技術およびタイプにおける資源管理システムの機能のSDN 技術を利用可能な広域ネットワークテ整理および再設計を行った。既存プロトタイ

PRAGMA-ENT

プの資源管理システムは、これまでのシナリ(PRAGMA Experimental Network Testbed)

オ下での制御に着目して設計されていたた上での配備を行った。

め、各要素の管理・制御は限定的な動作しかス ト ベ ッ ド で あ る2017 年度は、大規模可視化装置が配備さできない。しかし、災害によって生じる様々れた拠点での被災を想定し、可視化装置上でな状況に柔軟に対処することを可能とする

実行されている可視化アプリケーションをためには、Software-Defined IT インフラス

他の拠点の可視化装置に柔軟に移動する場トラクチャのさまざまな機能を包括的な管合のシナリオに対し、大規模可視化装置のプ理・制御を行えることが必要不可欠である。

ラットフォーム環境を柔軟に切り替え可能

そこで、既存プロトタイプにおける資源管理な Software-Defined IT インフラストラクチシステムの構成・制御機構を抜本から見直しャのプロトタイプの構築について取り組んた。

だ。本プロトタイプの研究開発は、(2-1)可視これまでに取り扱ってきた 2 つのシナリオ化プラットフォームの切替機能の開発、(2-2)に基づき、資源管理システムが被災による広割当計算・ネットワーク資源も含めた制御機

域分散可視化システムのサービス停止から構の開発、(2-3)Software-Defined IT インフ復元を実施するために必要な処理についてラストラクチャのプロトタイプとの統合お分析を行い、以下の 5 つの機能が必要である

よび検証の 3 つのステージに分けて進めた。と考えた。

(2-1)では、計算機仮想化技術を用いて OS レベルで可視化プラットフォーム環境を切り(1) 各コンポーネントの状態管理機能

分け、利用アプリケーションにあわせた(2) サービス停止の検出機能
4学際大規模情報基盤共同利用・共同研究拠点 平成 30 年度共同研究 最終報告書 2019 年 5 月

図3

提案資源管理システムのシステム構成図(3) 割当資源の決定機能

らどの資源を割り当てるのかを決定する機(4) 各コンポーネントへの制御機能能である。本研究では、広域分散可視化シス
テムのサービスは使用する計算ノード、可視機能(1) は Software-Defined IT インフラ化装置だけでなく、使用する通信経路も L2

ストラクチャの構成要素である、計算機、ネネットワークのプレーンとしてサービスにットワーク、ストレージ、および Docker コ

割り当てるため、計算機、ネットワーク、スンテナの利用状況などのステータス情報のトレージの状況から適切な資源を選択する収集機能である。本研究では IT インフラス仕組みが必要となる。この処理を実行するアトラクチャは共用資源であると仮定していルゴリズムも状況や運用方針によってさまるため、広域分散可視化システム内だけでなざまな手法が考えられるため、切替が可能でく、全体の利用状況に基づきサービスを行うある必要がある。

必要があるため、各コンポーネントのステー機能(4)は機能(3) で決定された割当に基づき、SDN および Docker を制御する機能タス情報を収集する必要がある。
広域分散可視化システムのサービスを自である。これらは既存のコントローラまたは律的に継続させるためには、機能(2) のサーマネージャにより独立で管理・制御が行われビス停止の検知機能を資源管理システムがているため、資源管理システムはこれらのコ備えている必要がある。サービス停止の検出ンポーネントに指示を出すための仕組みがにはさまざまなアプローチが考えられるた必要である。また、通常運用時におけるストめ、特定の手法を資源管理システムが備えるレージにおけるレプリケーション・バックアのではなく、検出手法の追加・選択を可能とップなどの制御機能も本機能に含まれる。

する機能も求められる。

以上の機能要件に基づき、提案する広域分機能(3) は広域分散可視化システムのサー散可視化システムのサービス維持を保証す

ビスを復旧する際に、利用可能な資源の中かる Software-Defined IT インフラストラク
5

学際大規模情報基盤共同利用・共同研究拠点 平成 30 年度共同研究 最終報告書 2019 年 5 月

チャにおける資源管理システムのプロトタ築した。

イプ設計を行った。提案資源管理システムのシステム構成を図 3 に示す。本資源管理シス

6. 今年度の進捗状況と今後の展望

テムは 8 つの要素で構成される。これらの構今年度は、本課題で目指している災害管成要素のうち、資源管理システムのコアとな理アプリケーションのための広域分散可視るのが Master Orchestrator モジュールで化システムを実現する Software-Defined IT

あり、他の 7 つの要素は基本的に本モジュー

インフラストラクチャの実現に向け、ルからの指示に基づき動作するよう設計しSoftware-Defined IT インフラストラクチャた。

におけるオーケストレーションを実現する

前述の機能(1) は、 Master Orchestrator

ための資源管理システムの構築に取り組んモジュールから各コンポーネントを管理すだ。本課題申請における研究計画では、オーるモジュールに指示を出して行う。計算機資

ケストレーションに向けてこれまでの資源源の利用状況は Node Manager モジュール

管理システムで扱われていなかった Docker

から、ネットワーク、Docker コンテナ、ストイメージや可視化処理の対象データなどのレージに関してはそれぞれの既存制御機構

ストレージ資源に対する機能を中心に研究を介してステータス情報の収集を行い、開 発 を 行 う 予 定 で あ っ た が 、 Software-Master Orchestrator モジュールで整形処

Defined IT インフラストラクチャにおける理を行い Status Database に格納する。なオーケストレーションを実現する今後の研

お、計算機資源についても各拠点のローカル究発展の観点から、資源管理システムを抜本資源管理システムにより制御されている状的に再構成する必要があると判断し、資源管況も想定されるが、本プロトタイプではすべ理システム全体の設計の見直しから本課題ての計算機資源を本資源管理システムが管を進めた。その結果、現時点では提案資源管理している仮定の下で実装を行う。

理システムは開発のために構築したローカ

機能(2) は Detector モジュールで実行さル環境での動作検証段階であり、これまでにれる。本モジュールはサービス停止の検出処構築してきた PRAGMA-ENT 上のプロトタ

理で必要とされる基本的な機能群で構成しイプシステムでの配備までは達成できておており、具体的な処理内容は別に作成したア

らず、研究計画からは遅れている状況となっルゴリズムをプラグイン形式で利用できるた。一方で、新しく構成した資源管理システ構成を取っている。このプラグイン形式のモムは、サービス停止検出および割当資源決定

ジュール構成は機能(3) を実現する Selector

処理でさまざまなアルゴリズムを適用可能モジュールにおいても採用しており、任意のなプラグイン形式の実装を実現したことで、資源探索アルゴリズムを採用できる仕組み

実際の広域連携災害管理への適用だけでなを提供する。

く、新しい状況やアルゴリズムを開発・検証

機能(4) については機能(1) でも使用してすることを可能とする基盤に向けても活用

いる SDN Controller、Docker Manager、が可能となった点は大きな進捗であると考Storage Manager に対する制御機構としてえる。

実装している。なお、SDN Controller 制御

今後は PRAGMA-ENT 上のプロトタイプ

機構については、使用するコントローラをシステムに配備し、資源管理システムの動作Trema から Ryu に変更したため、従来の処検証および各処理の性能について評価を行

理の構成を踏襲しつつ、制御機構を新規に構う予定である。また、実現したプラグイン機
6

学際大規模情報基盤共同利用・共同研究拠点 平成 30 年度共同研究 最終報告書 2019 年 5 月

12 月.

構を利用した新たなアルゴリズムの研究開発に取り組む予定である。

(5) その他（特許，プレス発表，著書等）

7.

 なし

研究成果リスト(1) 学術論文
 なし(2) 国際会議プロシーディングス Kazuya Ishida, Daiki Asao, Arata Endo,

Yoshiyuki Kido, Susumu Date, Shinji
Shimojo,“High-Resolution

Streaming

Functionality in SAGE2 Screen Sharing”,
Proceedings

ofInformation

the2019andFutureofCommunications

Conference (FICC 2019), Advances inInformation and Communication, Lecture
Notes in Networks and Systems, vol. 70,
pp.384-399, San Francisco, U.S., March2019.
(3) 国際会議発表
 Yasuhiro

Watashiba,

YukiMatsui,

Yoshiyuki Kido, Susumu Date, Shinji
Shimojo,“TowardSoftware-Defined
DisasterITOrchestrationon

Infrastracture

forManagement

Application”,

PRAGMA 36 Workshop, Apr. 2019.
 YukiMatsui,

Yasuhiro

Watashiba,

Yoshiyuki Kido, Susumu Date, Shinji
Shimojo,“ArchitectureManagerforofResource

Software-DefinedITInfrastructure”, ISGC 2019, Taipei, Taiwan,Apr. 2019.
(4) 国内会議発表
 松井祐希, 渡場康弘, 伊達進, 木戸善之, 下條真司, “広域連携型災害管理アプリケーション
基盤を提供する資源管理システムの検討”,
日本ソフトウェア科学会 第 16 回ディペンダ
ブルシステムワークショップ, 金沢, 2018 年
7