高信頼設計エッジ・クラウド・ネットワークの研究開発
第１回ユーザ連携・循環進化検討タスクフォース
2021年8月23日
九州工業大学・情報工学研究院 鶴 正人

Kyushu Institute of Technology

目次Kyushu Institute of Technology

日米共同研究プロジェクトRECNの概要••

枠組みや体制研究の全体像RECNにおけるJGN/RISE/StarBED/米国を結んだ統合実験環境の試み•••

テストベッド構築
テストベッド利用実験例
今後の展望・要望
2

九工大とCCNY
Kyushu Institute of Technology

 ニューヨーク市立大シティ校：CCNY (City College of The City
University of New York, or The City College of New York)••••1847年、全ニューヨーク市民を対象とした無料の大学として創設。
創設者がタウンゼン・ハリス（あの初代駐日米国総領事）。
マンハッタンのハーレム地区。コロンビア大の近く。
４年制大学だけでも10校以上あるニューヨーク市立大グループ(CUNY)の中心的役割。
教員間の交流がきっかけで大学間の「研究/教育面での交流に関する覚書（MOU）」を締結。例えば、• 九工大の学生をCCNYへ短期派遣（ロボット分野等）• CCNYの教員が九工大で集中講義• 九工大の教員がCCNYへリモート講義

3

エッジコンピューティング（の基盤）技術
Kyushu Institute of Technology

広域分散システム••

中央クラウドとエッジクラウドの連携
水平または階層エッジクラウド間の連携

１エッジクラウドシステム•••

異種計算資源の把握・割当て
アクセスネットワークとの連携
クラウドセキュティ

ユーザ端末(UE)とエッジシステム••••

アクセスネットワーク（5G、Wi-Fi、LAN）
エンドツーエンドスライス
エッジ間ハンドオーバ
端末セキュリティ
4

研究開発全体の要旨
Kyushu Institute of Technology

「スマートコミュニティを支える高信頼ネットワーク構成技術」
 http://www.nict.go.jp/press/2018/09/03-1.html
 NICT/NSFのJapan-US Networking Opportunity 2 (JUNO2)
 2018年9月から2021年8月の3年間の委託研究４件

研究開発技術
1. 多数・多様なIoT 端末を収容する無線アクセスと分散配置エッジ

ノードとの連携技術
2. 分散配エッジ+中央クラウドでの計算やネットワークの仮想化技術
3. IoT 端末を考慮した分散型セキュリティ基盤技術
4. エッジノード上に構築される高効率分散データベース技術⇒ Resilient Edge Cloud Network（RECN）
 https://tsuka-lab.cse.kyutech.ac.jp/?page_id=132

日米広域統合テストベッドを用いた実証実験
5課題構成
Backend-Cloud

Kyushu Institute of Technology

Task4: Distributed Databaseusing Hypercube

Task3: Bio-Inspired Intrusion Detection
System (BIOIDS) for Protecting Internetof Things Devices
Virtual Network:Virtual Machine:Resource Manager:Bio-inspired IDS

Task2: Virtualized Adaptable
Computing and Networking
Edge-Cloud
Task1: Resilient Resource Accessfor Massive End Devices

多様な無線アクセス（Wi-Fi/5G/LTE/BLE)

Floating ECノード

TE: Testbed Experiments

6

技術概要: Task1
Resilient Resource Access for Massive End Devices
Kyushu Institute of Technology

 IoTアプリケーション/サービス固有のQoS要件を満たすために、（フローティング）ECノード、エンドデバイス、BCの全ての計算資源と通信帯域資源を管理するリソースマネージャ (RM)
 無線リンク品質 (物理的なデータレートと伝送遅延)
 データの要件 (VM 数、帯域幅、許容可能な待機時間等)を考慮⇒ 情報を滞留させる技術やSDN(OpenFlow)技術を効果的に活用する※COSMOS（無線TB）が使えずStarBED上のエミュレーション等利用7

技術概要: Task2
Virtualized Adaptable Computing and Networking
Kyushu Institute of Technology動的ネットワーク機能
 大容量データの1対多・多対多同時高速転送、耐パケットロス仮想リンク
 分散型ネットワーク品質監視⇒ OpenFlow利用

動的VM機能
 分割メモリVMのマイグレーション・複製
 分割メモリVMの内省方式異常検知・回復
8

技術概要：Task3とTask4
Kyushu Institute of Technology

Task3:BioIDS for Protecting IoT Devices
 人工免疫システムに基づく侵入検知システム(BioIDS)

自己（＝正常）を学習することで非自己（＝異常）を検知

Task4:Distributed Database using Hypercube
 分散データベースの処理を効率化するオーバレイネットワーク構造（例：Hypercube）
実トポロジーやノード参加・離脱時の動的マッピング

9

目次Kyushu Institute of Technology

日米共同研究プロジェクトRECNの概要••

枠組みや体制研究の全体像

RECNにおけるJGN/RISE/StarBED/米国を結んだ統合実験環境の試み•••

テストベッド構築
テストベッド利用実験例
今後の展望・要望
10

広域統合Testbed（TB）環境
Kyushu Institute of Technology

日米広域統合テストベッド
 Kyutech+StarBED+RISE+CCNY
 COSMOSはCOVID-19による構築遅れで間に合わず

11

広域統合TBのネットワーク
Kyushu Institute of Technology

4つのVLAN（Dplane 3＋Cplane)JGN Seattle-CCNY間はGRE-tunnel

12

COSMOS （計画）
Kyushu Institute of Technology

 Cloud Enhanced Open
Software Defined
Mobile Wireless
Testbed for City-Scale
Deployment
 北マンハッタン地区に光ファイババックボーン、50のソフトウェア無線ノード、エッジクラウドノードを置く
 Rutgers大, Columbia大,NYU, ニューヨーク市,
CCNY, Arizona大,Silicon Harlem, andIBM
https://www.cosmos-lab.org/
13

要素技術例：１対多高速ファイル転送
Kyushu Institute of Technology

 １対多高速ファイル転送のための複数経路マルチキャスト技術
 送信者符号化と複数の辺素なマルチキャスト木により全受信者が各自の受信完了時間を最小化できる枠組
 シミュレーションとOpenFlowによる試作

14

要素技術実験例（１）Kyushu Institute of Technology

 １対多ファイル転送（送信者符号化複数経路マルチキャスト）
 RISE上で1送信者（九工大）から9受信者（日米）へ

 OFv1.0の範囲で実装可 RISE上は単一経路

15

要素技術例：高速分割メモリVM
Kyushu Institute of Technology

 分割メモリVMの柔軟な部分マイグレーション
 分割メモリVM：VMのメモリを複数ノードに配置して大容量化
 従来のようにVM全体を別のノード群に移動させると時間がかかる 複数ノードの内、高負荷ノードだけを別のノードに効率よく置き換え VMマイグレーションと分割メモリVMにおける通信を最適化
 VM内のシステムが使用していないメモリ領域を転送しない
25

旧ノード1

新ノード1
VM

高負荷部分マイグレーション
メモリノード2

メモリデータ交換

migration time (sec)20traditional
subst (main, 2 hosts)
subst (main, 3 hosts)
subst (main, 4 hosts)

ノード1にある
VMのメモリが少ないほど短縮

15105

部分マイグレーション時間
0048201216
total memory size (GB)2416

要素技術実験例（２）Kyushu Institute of Technology

 応答性向上のためにVMをエッジクラウドにマイグレーション
 StarBEDのVMのメモリの半分だけをエッジクラウドに転送
 ベアメタルのPCを借り、Ubuntu+KVM等改造

 提案手法はマイグレーション時間を大幅に短縮可能
 VMのメモリの半分をStarBED内に残したため

 VMが使用していないメモリを転送しなかったためVM

部分マイグレーション

1ms

EC
ノード
九州工業大学時間(秒)StarBED

350
300
250
200
150
100
50
05分
従来手法
提案手法

15秒
8GB

16GB 24GB 32GB
VMのメモリサイズ

17実証実験例
Kyushu Institute of Technology

エッジクラウド仮想作業環境
 CCNYの研究者が日本に出張してどこでも即座に作業可 CCNYから九工大とStarBED
へのVMマイグレーション
 マルチキャストマイグレーションによる高速化

区間

RTT[ms]

計測帯域[Mbps] (※)

CCNY-九工大

17785

CCNY-StarBED

19485

九工大-StarBED
18923※ パケットロスを生じないend-to-end CBR上限値
by iperf (udp)18

TB実験で困ったこと
Kyushu Institute of Technology

複数N/W（特に日米）にまたがるVLAN構築
 ポシリーやVLANid変換調整

 JGNSeattle-CCNY間は断念しGRE-tunnel

機能や資源の制約（JGN/RISE/StarBED）
 デフォルトでは使えないものも(例：perFlowmeter)
 変更できる場合も各種設定のお願いが必要（例：裏の管理用Flowtable）
 セキュリティやユーザ間公平とのトレードオフ
 日本は細長く、広域経路制御実験に向かない？

トラブルシュートや性能チューニング

19

今後の展望・要望
Kyushu Institute of Technology

基盤技術のためのTB利用はアプリケーション技術のための利用とは使い方やカスタマイズが異なる
 基盤技術開発はインターネットではできない（TB必要）
 スイッチをいじる仕組み：P4技術など
 トラブルシュート等のための詳細情報取得API
 背景トラヒックを流す仕組み

引き続きテストベッド上の広域実験を進めたい StarBEDとCOSMOS（実環境エッジTB）を接続しCCNYと共同実験を目指す TB、エミュレーション、シミュレーションの効果的連携？
 JGN/RISE/StarBED 、 さ ら に SINET/Internet2 等 の中継ネットワーク関係者の皆様にお礼申し上げます。

20