スマート IoT 推進フォーラム技術戦略検討部会第１４回テストベッド分科会

CyReal
20 Years of Experience and Beyondin StarBED Technology
北陸先端科学技術⼤学院⼤学
情報社会基盤研究センター
篠⽥陽⼀

2023-02-15

CyReal パラダイム
CyReal v.s. デジタルツイン
CyReal パラダイムの深化StarBED ⼤規模ネットワークエミュレータ• Overview• ぱっと⾒にはクラスタコンピュータ• 250+ 物理ノード• 14K+ x86 CPU コア• ⼤規模相互接続スイッチポート• 運⽤システム: SpringOS 後継• コアサービス: 資源管理
• Unixに似た、緩い連携を⾏うツール群• さまざまな実験をサポートするミドルウェア的サブシステム群• 無線エミュレータ: QOMET• 背景トラフィック⽣成: Xburner• ユビキタスネットワークエミュレーション⽀援: RUNE
• etc.
3

CyReal パラダイム

Cyber + Real
サイバー空間と実空間の対象物が混在するシミュレーション

Cyber ⇄ Real
サイバー空間と実空間の対象物がインタラクションするシミュレーション

Cyber → Real
サイバー空間に構築されたシミュレーションの実システムへの移⾏StarBED Experiences

シミュレーションの規模 v.s. 忠実度
シミュレーションにおける抽象度(モデル化の度合い)を調整すること
で、規模と忠実度のトレードオフを得る• メガセンサトライアル (2005頃 ー StarBED1)• 1センサ−1プロセスの抽象化で512物理ノードを使⽤して100万センサーをシミュレート• インターネット経路制御シミュレーション (2009 ー StarBED2)• 1ASを1ルータ、1ルータを1bgpプロセスで抽象化、合計33,000ASをシミュ
レート• OpenStack Neutron ユースケース (2014 ー StarBED3)• 100+物理ノードで構成されたOpenStackクラスタ

StarBED Experiences

StarBED capability: The scale
Global Internet Routing Emulation• Target• Reproduction of inter-domain
routing system as large as thecurrent Internet (35K ~ 40K AS)• Technical Highlights• 10K AS (providers) scale Internet
was emulated, 50K AS is within
our current capacity.
• Facilitated with Massive VM
multiplexing (XENebula), AS
topology generator (AnyBED)
and other tools.
• Platform for experimenting wide
variety of technologies including:• Routing systems fornext/new generation
networks• Route hijacking detection,
mitigation• Demonstration at SIGCOMM2009

StarBED Experiences

StarBED Capability: Large Scale
Cloud Systems Analysis and Improvements
Target• OpenStack Neutron on 100
Physical Servers, pre-service
in performance evaluation.

Technical Highlights• Found performance bottlenecks,improved them.
• 6x communication speed achieved(16Gbps/server, 1.6Tbps total).
• HA (High Availability) modules
tested under realistic work load.
• Reported in OpenStack Summit
2013@Paris.
“Design and Operation ofOpenStack Clound on 100 PhysicalServers”

StarBED Experiences

異なる抽象度を持つ部品の混在で実現したターゲットのシミュレーション
あるターゲットの部品を異なる抽象度で実現して同時に動作させることで、忠実度を維持しつつ規模も確保する• ⼤規模分散ネットワーク監視システム (2005頃 ー StarBED2)• 200実ノード + 1000VMノードの混在平⾏動作• AirBED(⽔平垂直・有無線連続エミュレータ) (2014-2015頃)

StarBED Experiences

a i r Horizontal-Vertical & Wired-Wireless Continuum Emulator 2015
StarBEDー a.k.a. AirBED ー
水平垂直・有無線・連続エミュレータ

実無線ノードの役割
・参照パラメータの取得・提供
・現実・模倣統合実験

d-DPOSノードの利点
・d-DPOS空間伝搬エミュレータによる高精度無線エミュレーション
・新規無線プロトコルの迅速な実装と試験
・Embedded CPUによる高度なプロトコル処理

実際に電波を放射するノード(市販AP, 試作ノード)

StarBEDノードの利点
・スケールアウト・強力な処理能力による高度なサービスの実行

StarBEDノード

d-DPOS
native ノード

StarBED
疑似無線ノード+ d-DPOSベース NICStarBED
有線ノード

Std OpSys

StarBED PCノード

Std OpSys

StarBED PCノード

Std OpSys

StarBED PCノード

Embedded CPU
Embedded OpSys

WNPU
Embedded OpSys

CustomWNPU
Embedded OpSys

Custom

新規無線技術(PHY,MAC)

忠実性検査

忠実性検査

L7Session/Presentation
Transport

L3-6

Network
LLC
L2
MAC

FPGA

FPGA

WSoC

WSoC

CustomQOMET

Custom

物理〜サービスの実時間・同時・一貫エミュレーション

Application

有無線結合+ether

ether

PHY
RF FE

Max 256 ノード∞
AD/DA
実EM空間

L1

Max 1K ノード (Physical)〜 1Mノード (Virtual)

AD/DA
d-DPOS (＊) EM空間伝搬エミュレータ

有線スイッチシステム

L0
(媒体)

有無線統合エミュレーション(＊) d-DPOS : Direct Digital Propagation of Orthogonal Signals（直交信号の直接デジタル伝搬）
cf. "Environment-Independent Virtual Wireless Testbed" Hiroshi Mano (University of Yamanashi),In proceedings of the Tridentcom 2012, Tessaloniki, Greece, June 2012.

10StarBED Experiences

Cyber ⇄ Real インタラクション
Cyber空間内に構築された部品と実世界の部品をシミュレーション内でインタラクションさせる• すれ違い通信を⾏うアクティブタグによる個⼈位置推定 (2005
頃 ー StarBED2)• プロセッサエミュレーションによるアクティブタグ500個 + ITサービスとしての位置推定エンジン

StarBED Experiences

StarBED技術の事例:
ターゲット: アクティブタグの⼤規模エミュレーション
ターゲットシステム

シミュレーション技術ハイライト– アクティブタグ（RFID）：居場所の推定– タグの種類： 移動・固定・ゲートウェイ– すれ違い通信による、すれ違いの記憶と伝達（誰といつすれ違ったか）– 位置推定計算とサービス提供– CPUエミュレーションによる、バスサイクルレベルの正確さで、タグおよびプロトコルの動作を検証。
– CPUレベルから、インターネット上でのサービスまでを、単⼀のフレームワークで⼀気通貫で⼤規模に検証。
– タイミング問題のようなミクロな問題から、システム全体の規模拡張性などのマクロな問題まで幅広く検証し、製品にフィードバックした。

12

StarBED Experiences

IT × マルチドメインITシステムを取り巻く環境のシミュレーションによる実現• SHIVA/Zero(2012), SHIVA/One(2013), NERVF (2014)• ITシステムの対災害性検証PoC• Plan m3ie (2015) → Smithonian CPS検証プラットフォームへStarBED Experiences

SHIVA/One (2013)の構成要素
マルチホップ無線による遠隔地へのBB接続性回復(経路制御：OLSR)

地形データに基づく
浸⽔地域計算事業者間の臨時接続（事業者間ローミング: BGP）

アプリ状態表⽰(IP電話)

地形データに基づく⾒通し線の表⽰

14

事業者内
ネットワークの⾃動復旧(OSPF)

⾞々間のすれ違い
通信メッシュ
アプリ状態表⽰
ネットワーク(耐遅延メッセンジャー)(OLSR)NERVF概念実証(PoC)実装の構造

⾃然なマルチレイヤ統合検証(StarBED特性)

StarBED Experiences

オペレータのインタラクティブ
操作

無線メッシュ
UAVAppWeb

Twitter

VoIPPlatform

PC・スマホ⾞両

Datalink& Nework

プロバイダ
網RISE

Phys有線
Ether,Optic

無線
Wi-Fi

新規要素技術の自然な導入(StarBED特性)

無線LTE

StarBED / JGN-X Testbed Facility

シナリオ実行器・ノード管理機構

簡単な物理シミュレーション（地形データ）
ノードモビリティ発⽣器

StarBEDTechnologies

StarBED Experiences StarBEDが目指す

m3ie （2015年度の構想）（Massive Multi-layer Multi-agent Integrated Emulation）

⾃然なマルチレイヤ統合検証(StarBED特性)

無線メッ
シュ
UAV

App

Web

Platform

PC・スマホTwitterVoIP

新規要素技術の自然な導入(StarBED特性)

⾞両

StarBED4Datalink& Nework

プロバイダ
網

RISE

Phys

有線
Ether,Optic

無線
Wi-Fi

無線
LTE

StarBED / JGN-X Testbed Facility
さまざまなシミュレーション機構との融合連携と相互フィードバック

物理シミュレーション等（e.g.: 地震・津波の影響）
社会統計シミュレーション等

Smithonian
フレームワーク

社会心理シミュレーション（e.g.: 人のふるまい・人流）

StarBED
Technologies
Scientific
Simulations,
Multi-AgentSimulations
消費電力
シミュレーション

新規環境要因の導入

StarBED5

CyReal実証環境

CyReal パラダイム
デジタルツイン【テストベッド】【シミュレータ】
シミュレータシミュレータシミュレータ連携
基盤

シミュレータシミュレータシミュレータシミュレータ・解析技術、シミュレータの開発
・シミュレーションスタディ

シミュレータ実システム

シミュレータ【実世界のシステム】

連
携
基
盤

実システム

シミュレータ・オペレータ・ユーザのトレーニング
・要素システムの開発・試験

実システム

実システム
実システム

連
携
基
盤

実システム

実システム
実システム

・ターゲットアプリケーション

構成システムの差し替えにより無数の異なる動作モードを実現CyReal v.s. Digital TwinCyRealはデジタルツインの現実的な実現パラダイムである• 既存の実世界システムと対応するデジタルツインで可能になる応⽤は限られている。
• 実世界システムに何らかの拡張を施すことを考えれば明らか。
デジタルツイン上で⽬的の拡張を組み込んだシミュレーション⽬的の拡張の実装(実現)開発と検証

実世界システムへの⽬的の拡張の適⽤

CyReal パラダイム for デジタルツイン
デジタルツイン【テストベッド】【シミュレータ】
シミュレータシミュレータシミュレータ連携
基盤

シミュレータシミュレータシミュレータシミュレータ・解析技術、シミュレータの開発
・シミュレーションスタディ

デジタルツイン上で⽬的の拡張を組み込んだシミュレーション

シミュレータ実システム

シミュレータ【実世界のシステム】

連
携
基
盤

実システム

シミュレータ

実システム

実システム
実システム
実システム

連
携
基
盤

実システム
実システム

・オペレータ・ユーザのトレーニング
・要素システムの開発・試験

・ターゲットアプリケーション

⽬的の拡張の実装(実現)開発と検証

実世界システムへの⽬的の拡張の適⽤

CyReal パラダイムの深化

CyReal連続体に必要な技術• 既存のHILS, SILS, MILS技術の精査と拡張・導⼊• CyReal志向のデザインパラダイム• クロックの考え⽅と管理⽅法• スケーラブルシミュレーションの技術• 社会システムへの適⽤を通した経験のフィードバック