JGN/RISE/StarBEDを結んだ
統合実験環境の試み～ 高信頼設計エッジ・クラウド・ネットワークの研究開発 ～九州工業大学 情報工学研究院
鶴 正人

2019年10月4日,

1. 日米共同研究プロジェクトRECNの概要••

枠組みや体制研究の全体像と具体例

2. RECNにおけるJGN/RISE/StarBEDを結んだ
統合実験環境の試み•••

テストベッドの役割
テストベッド構築の現状
今後の展望日米共同研究の枠組み「スマートコミュニティを支える高信頼ネットワーク構成技術」http://www.nict.go.jp/press/2018/09/03-1.html••

NICT/NSFのJapan-US Networking Opportunity 2 (JUNO2)
2018年9月から3年間。委託研究は採択4件。

1. STEAMスマートコミュニティを支えるエネルギーとモビリティを対象としたセキュアな高信頼フレームワーク•奈良先端、早稲田大、阪大、Missouri U. of Science andTechnology, Vanderbilt U.

2. 超高信頼性を達成する次世代インテリジェント光ネットワークアーキテクチャ•

名古屋大、香川大、The George Washington U.

3. ソーシャルメディア時代の高信頼災害時通信の研究開発•

阪大、静岡大、愛知工業大、U. of California-Riverside.

4. 高信頼設計エッジ・クラウド・ネットワーク•九工大、City College of The City University of New York.
3

CCNYと九工大
CCNY (City College of The City University of New York, あ
るいは The City College of New York)
••
•
•

•

1847年、全ニューヨーク市民を対象とした無料の大学として創設。創設者がタウンゼン・ハリス（あの初代駐日米国総領事）。
マンハッタンのハーレム地区。コロンビア大の近く。
４年制大学だけでも10校以上あるニューヨーク市立大グループ(CUNY)の中心的役割。
教員間の交流がきっかけで大学間の「研究/教育面での交流に関する覚書（MOU）」を締結。例えば、• 九工大の学生をCCNYへ短期派遣（ロボット分野等）• CCNYの教員が九工大で集中講義
その一環として情報分野の教員が連携して、本共同研究を企画し、公募に提案。
4

CCNYと九工大（２）5高信頼設計エッジ・クラウド・ネットワーク
RECN (Resilient Edge Cloud Designed Network)
1.

IoT端末を収容する無線アクセスと分散配置エッジクラウドの連携技術、
2. 分散配置エッジクラウドや中央クラウドでの計算とネットワークの仮想化・高信頼化技術、
3. IoT端末を考慮した分散型セキュリティ基盤技術、
4. 超立方体に基づく高効率・高信頼な分散データベース技術
5. 米国の実験環境と日本のRISE/StarBED環境を接続した実仮想統合広域テス
トベッド環境 1,2 が九工大主導、3,4がCCNY主導
6

T2: エッジクラウドのための分散計算・ネットワーク基盤
 動的ネットワーク機能
 大容量データの1対多同時高速転送 分散型ネットワーク品質監視
 等々

動的VM機能 分割型メモリVMのマイグレーション
 分割型メモリVMの内省方式異常検知・回復
 等々
7符号化MPMCによる1対多ファイル転送
 A file will be delivered from sender S to 4 recipients

R1,R2,R3,R4 using multiple simultaneous multicast trees =MPMC (Multipath Multicast) S divides the file to 6 blocks and generates 2 additional
coded blocks; then transmits them over multiple phases Phase1 : Block allocation by coded-MPMC
ab
cdef
gh

Generate codedblocks “g”, “h”

a,bab
ef

c,d

𝑀1 = 2ab
cdBlocks

𝑀4 = 2ab
cda,b𝑀2 = 2 c,da,b e,fab
cdc,d 𝑀3 = 3 ef

符号化MPMC（２） Phase2 : Block allocation by coded-MPMC
abcdefghghabeabfefghh

𝑀1 = 2abab
cdcdgh𝑀4 = 2abcdgh 𝑀2 = 2gh

𝑀3 = 3abcdef File Transmission Schedule𝑾∗𝒊 ：Lower-bound receive completiontime of 𝑹𝒊 = File size / Ri’s max-flow value
timeOpenFlowによる実装方式①Connect to OFSs &Grasp topology

OpenFlow
Controller (OFC)④Scheduling③Instruct start ofMPMC transfer⑥Encode blocks &Start file transfer

Sender⑤Write flow entries& Notify hosts

OpenFlow Switch(OFS)②Send membership reportRecipient

Recipient

Recipient： OpenFlow channel

Recipient⑦Retransmit lost packets by uncast in a NACK-based protocol

巨大メモリVMのMigrationの課題
 Move a large-memory virtual machine (VM) toanother host on host maintenance– Transfer all the memory of the VM– Retransfer the memory updated during migration

 Require sufficient memory at the destination host– Not cost-effective to always preserve such a host for alarge-memory VM
source hostdestination hostVM coremigration

memory12345

分割メモリMigration
 Divide the memory of a VM and transfer them to amain host or sub-hosts– Predict future memory access of the VM– Likely accessed memory to the main host– The other memory to sub-hosts

 Run a split-memory VM after the migration– Perform remote paging between the hosts
source hostmain hostVM coremigration

memory123sub-hostVM core
remote paging

4512

分割メモリVMにおける内省方式異常検知
 Detect intrusions into a split-memory VM outside

the VM– Use a technique called VM introspection– Analyze OS data stored in the memory of a VM

 The runtime collects distributed memory data andprovides the OS interface– Enable running existing intrusion detection systems(IDS)
main hostsub host

VM
IDS
memoryメモリruntimememory13

1. 日米共同研究プロジェクトRECNの概要••

枠組みや体制研究の全体像と具体例

2. RECNにおけるJGN/RISE/StarBEDを結んだ
統合実験環境の試み•••

テストベッドの役割
テストベッド構築の現状
今後の展望JGN/RISE/StarBEDを結ぶ統合実験環境
 JP側:Kyutech, (SINET), JGN, RISE, StarBED
 US側:CCNY, (Internet2), [COSMOS]※COSMOS (Cloud Enhanced Open Software Defined Mobile Wireless
Testbed for City-Scale Deployment) はマンハッタン西ハーレム地区
で開発中のtestbedプロジェクトであり、それとの接続は現時点では予定

15

JGN/RISE/StarBEDの役割
 JGNによる広域VLAN接続••

大学間のクローズド接続による共同作業（テレコン等）
実験環境の遠隔利用。九工大からCCNY内環境やCOSMOSへ；CCNY
から九工大内環境やStarBEDへアクセス

 RISEのOpenFlowスイッチ群やVM群•

エッジクラウドを想定したOpenFlowベースの広域ネットワーキングや複数VMによる分散計算環境の実験

 StarBEDでのシミュ
レーション・エミュ
レーション•

実環境（理想はCOSMOS含む）とStarBEDをつないだ実・仮想統合によるエッジクラウド
向アプリケーションの実証実験

 異種の実験を同時並列で実施可？（理想）16エッジクラウド向けアプリケーションシナリオによる実験
エッジクラウドの利点を活かし、かつ信頼性が求められるアプリケーションシナリオ• DaaS (Desktop as a Service)• Identity-as-a-service, …, Etc.
 日米接続の意義を出せるようなアプリを鋭意検討中• 例：日本のビジネスマンが米国滞在中に仕事や打ち合わせを安全かつ快適に行える。滞在中の事故や災害にも迅速に対応できる。

17

テストベッド構築
JGN上に４つのVLAN••

データ用3つ。制御・管理用1つ。
当面想定される実験形態に対応。

18

JGN Seattle--CCNY間
 その区間の基幹ネットワークからVLAN接続を提供してもらえなかったため、GRE-tunnelでVLANを運ぶことに、、

19

テストベッド管理・保守ツール
 全てのVMやスイッチを遠隔管理するサーバ１台•

実験の準備、実施、記録、トラブルシュート等•

OpenFlowコントローラのAPIを使って、フローエントリ・統計情報を自動取得しDB保管

 OpenFlow経路情報管理ツール
 VM情報管理ツール•

Zabbixを使って、CPUやメモリ利用の情報を自動取得しDB保管

 ネットワーク性能管理ツール•

コマンドの遠隔起動により、指定したVM間のRTTやスループット、ロスなどの通信路性能を測りDB保管（下図）

20

COSMOSテストベッド・プロジェクト
 Cloud Enhanced Open Software
Defined Mobile Wireless Testbed
for City-Scale Deployment•••

https://www.cosmos-lab.org/

Will be deployed in upper
Manhattan and will consist of
40-50 advanced softwaredefined radio nodes alongwith fiber-optic front-hauland back-haul networks andedge and core cloudcomputing infrastructure
Involving Rutgers, Columbia,
and NYU along with several
partner organizations
including New York City,
CCNY, University of Arizona,
Silicon Harlem, and IBM.
21

テストベッド構築で困っていた（困っている）こと
 複数のネットワークを通るVLANのid問題•

境界スイッチでのid変換の調整

 テストベッド上のVMへのソフトウェアのインストール• RISEさんに便利な仕組みを提供していただいた
 RISEのOpenFlowのバージョン• RISE自身はv1.3をサポートしているが、物理的に１台のスイッチを複数者で共用する場合、v1.0であることが必要
 OpenFlow（のフローエントリ）で全パケット種の経路を網羅して管理する際の注意不足• IPv6のDHCP関係パケットがループしてブロードキャストした。
 サービスとしてのテストベッドの提供組織および接続のための中継ネットワーク（一般に両端になる）の運用組織が複数あり、それらを通過するパケットのトラブルシューティングが難しい。
• 自力での調査でも管理者への依頼でも。
• 研究ネットワーク連携の永遠の課題• 研究室--九工大学内LAN--SINETでは、まだigmp v3が通せておらず調査中（VLAN上のマルチキャスト）。
• CCNY--Seattle間のGRE-tunnelも最終で難航中。
• 他にも細かい未解決問題あり。
22

今後の展望 各タスクの研究進展に合わせて必要な実験環境や実験管理ツールを整備していく。
• 現在は３つのデータ用VLANは独立。StarBED上のVMも最小限の２台のみ。
• 効率的なトラブルシューティングの体制やノウハウも エッジクラウドの実証実験のために適切なアプリケーションシナリオを詳細化し、必要な準備（開発）を進める。
 COSMOSと連携した実証実験を実現可能にするために検討や調整を進める。
• Technical （必要なlatency, throughput等を満たすか？）• Political （international & inter-program 連携可能か？）
 JGN/RISE/StarBEDテストベッド、さらにSINETなど中継ネット
ワークの関係者の皆様には大変お世話になり、ありがとうございました。今後もよろしくお願いします。

23