テストベッドの海外連携について
五十嵐 和美*, 永田 晃**, 岡本 洋平**,柴田 将拡*, 光来 健一*, 鶴 正人** 九州工業大学, **株式会社 iD

研究プロジェクト
RECN (Resilient Edge Cloud Designed Network) Project

 国際プロジェクト (NICTとNSF)
 2018年～2021年度
 国際共同研究• CCNY (The City College of The City University of New York)• 九州工業大学
 JGN国際回線を利用した実証実験の実施
1. IDS with distributed VM(Virtual Machine) introspection[2]2. A blockchain-based cooperative IDS[3]3. A one-to-many file transfer system using the OpenFlow
technology[4][2] H. Huseynov, T. Saadawi, K. Kourai, “Hardening the Security of Mobile Edge Computing through Bio-inspired
VM Introspection,” Big Data and Cognitive Computing, MDPI, vol.5(4), article number 52, 21 pages, 2021.
[3] O. Ajayi, T. Saadawi, H. Huseynov, M. Tsuru, K. Kourai, “Transpacific Testbed for Real-Time Experimentation,”
Proc. IEEE Workshop on Satellite and Non-Terrestrial Networks, 5G World Forum, pp.505–510, 2021.
[4] M. Kurata, M. Shibata, M. Tsuru, “Coded-MPMC: One-to-Many Transfer Using Multipath Multicast With SenderCoding,” IEEE Access, vol.9, pp. 49292–49307, 2021.

2

OUTLINE
 テストベッド (日米間 OpenFlow テストベッド)
 実験内容テストベッド上でのVM (Virtual Machine) マイグレーション
 まとめ3日米間 OPENFLOW テストベッド
OFS(OpenFlow Switch)

GRE-tunnel

OFC(OpenFlow Controller)

テストベッドの必須要件:
1. グローバルに分散した多数のVMを持つ高速ネットワーク(ex. JGN)
2. セキュリティと再現性を実現するため、インターネットからの分離 4
3. 管理機能とモニタリング機能の実現

U.Sサイドのネットワーク設定
SeattleJGN

JGN

TransPAC/
PacificWAVE

CCNY

NYSERNet

192.xx.xx.xx
global IP (JGN)
at Seattle

reserved for CCNY:.200-.254

GRE tunnel

gateway INTERNET2

eno2

SG200-50
enp1s0134.xx.xx.xx
global IP at CCNY

Data-plane 1
10.20.67.0/24

untagged (1091)

tagged(1091,1092,1941)#GE20[access]#GE22[access]

Data-plane 2
10.20.65.0/24#GE1[trunk]#GE2[trunk]reserved for CCNY:.200-.254

untagged (1092)#GE21[access]

untagged (1941)

L2 SW

九工大のテストPC
192.168.100.200
Private IP

tagged(1091, 1092, 1941)

VM/PC

5

テストベッド実験管理システム

D-plane

6OFSOUTLINE
 テストベッド (日米間 OpenFlow テストベッド)
 実験内容テストベッド上でのVM (Virtual Machine) マイグレーション
 まとめ7

⾧距離 1対多 接続環境における VM マイグレーション VM (Virtual Machine) マイグレーション シナリオ: 地理的に分散したユーザの共同作業① CCNYのユーザが、delay-sensitiveなタスクを実施。
② 日本側のユーザ (九工大 or StarBED）がこれらのタスクを引き継ぐ。
StarBED

Kyutech①②CCNY日本のユーザがタスクを引き継ぐ。

日本

U.S

課題:
日米間で大きなサイズのVMファイルを複数のサイトに送るには?

⇒ multicast

8

VM マイグレーション(3) multicast-mannered migration(1) duplicate migration
StarBEDStarBED②Kyutech①unicast TCP flow
JAPAN

CCNY

KyutechCCNY
multicast

U.S
JAPAN

U.S

(2) cascade migration
StarBED②Kyutech
VM
JAPAN

①

CCNY

U.S

9

MULTICAST-MANNERED MIGRATION
triggers memory migration

virsh

KVM

CCNY

1. triggers MPMC transfermem③①

2. virsh migrate

KVM

Memory data (file)mount九州工業大学diskmount

MPMC
Storage data (file)

KVM

MPMC

two copies of VM

②MPMC

mount

MPMC

10StarBEDVM マイグレーション実験システム

VM マイグレーション実験システム: VM レプリケーション(複製)とマイグレーション
11
 VM レプリケーションとマイグレーションのための ネットワークルーティング マイグレーションされたVMへアクセスするためのネットワーク・ルーティングVMマイグレーション後のアクセスパス更新プロセス
OFSs(Switch)

OFC(Controller)

migration request

Migration manager①

flow-mod②

Migration の完了
パス切り替えプロセス開始

Request to clear the ARP-related flow
entries on all OFSs...

flow-mod

Request to clear the MAC address in
the global learning table on OFC

completedflow-mod
Request to clear the access path flowflow-mod...

flow-mod③ entries on all OFSs

flow-modpacket-in

Path Manager
request routing info.

flow-modforward routing info.

パス切り替えプロセス完了

12

ネットワークパス特性
StarBED
KyutechVM Migration

GRE-tunnel

CCNY
JAPANU.S VM ファイルサイズ: 16[GB] 性能指標: elapsed time of VM Migration
 パス特性sectionRTT [ms]

UDP [Mbps]

TCP [Mbps]

CCNY-Kyutech

177/177/177

85/85/85

68.3/61.1/66.3

CCNY-StarBED

194/194/194

85/85/85

77.0/59.8/70.6

Kyutech-StarBED

18/17.9/17.9 950/950/950 806/802/803.5( max/min/ave )13

VM マイグレーション(3) multicast-mannered migration(1) duplicate migration
StarBEDStarBED②

Kyutech①unicast TCP flow
JAPAN

CCNY

KyutechCCNY
multicast

U.S
JAPAN

U.S

(2) cascade migration
StarBED②Kyutech
VM
JAPAN

①

CCNY

U.S

14

実験結果

 オレンジ :Kyutechへの VM 複製完了時間（ファイルサイズ/転送速度）
 黄色• duplication: CCNY -> StarBED (VM 複製 + memory マイグレーション)• cascade: Kyutech -> StarBED (VM 複製 + memory マイグレーション) 15• multicast: CCNY -> Kyutech (memory マイグレーション)

実験結果

 合計時間が VM Migration の最終的な完了時間
duplicate migration >> cascade migration, multicast migration

16

OUTLINE テストベッド (日米間 OpenFlow テストベッド)
 実験内容テストベッド上でのVM (Virtual Machine) マイグレーション
 まとめ

17

LESSONS LEARNED
日米間テストベッドを利用した実験の実施:
 インターネットからVMにソフトウェアをインストールする必要がある。
 複数のネットワークにまたがるOpenFlowやマルチキャス
ト特有のトラブル:• igmpv3 ブロッキング• OpenFlow バージョン の 一貫性• 設定ミスによるルーティングループ
18

まとめ 日米Openflowテストベッドを利用した 1:多 複数拠点間のVMマイグレーション実験に成功• グローバルに分散した複数のVM• インターネットから分離管理• 管理・監視機能の利用

19

まとめ

 グローバルテストベッドネットワークは、複数の国際的な研究機関との協力を通じて実現されている。

B. Meade, H. Addleman, “Routing, Buffers, and Network Performance,Oh my,” Training Workshop, University of South Carolina Programmable
Networks Training, February 23, 2022.

ネットワークとテストベッドの運営関係者の皆様に感謝 20
いたします。