スマートIoT推進フォーラム技術戦略検討部会第13回テストベッド分科会

2-1テストベッド事例紹介 (1)超並列型ダイナミックMAC及びダイナミックセキュアネットワーク技術検証実験
2022年9月27日
慶應義塾大学

理工学研究科 山中研究室
岡本 聡
okamoto@ieee.org

はじめに
本講演は、・2020-2021年度に実施したTB-0285/JGN-A20003（超並列型ダイナミックMAC技術の研究）、・2022年度から実施しているTB-A22001（超低遅延ジッタパケット転送網の研究開発）の技術検証実験を紹介します。
 各研究計画は、・NICT委託研究204「超並列型光ネットワーク基盤技術の研究開発」（三菱電機、産総研、KDDI総合研、香川大、慶應大、2018-2021年度）、・NICT委託研究02501「エマージング技術に対応したダイナミックセキュアネットワーク技術の研究開発」（アラクサラネットワークス、慶應大、KDDI総合研2021年度～）に基づいたものであり、本公演はこれらの成果を含みます。
2022/09/27

Copyright 2022, Satoru Okamoto @ Keio University

Page 2

はじめの一歩
2012年くらいに、5本のVLANを慶應矢上（山中研）とNICT小金井（けいはんな実験室）の間にJGN-Xで設定

山中研VLAN
VID1～VID5=JGN VLAN

慶應矢上

日吉⇔大手町Q-in-Q

JGN VID1～VID5
JGN

慶應負担の10 Gbps 回線

NICT小金井JGN VLAN
VID1～VID5

他研VLAN• JGNの VLAN ID をそのまま使えるように、キャンパス内のVLANを割当• 慶應矢上からJGNを使うVLANは同一のQ-in-Qに収容
2022/09/27

Copyright 2022, Satoru Okamoto @ Keio University

Page 3

使い方の例(1)

沖縄までJGNを使って延伸して仮想OLTマイグレーション実験 (2015)
日吉-大手町 Q-in-Q-in-Q•慶應矢上

山中研VLAN山中研VLANNICT小金井☆JGNで生のVLANを取り扱うので、ちょっとした変更も簡単に対応
2022/09/27

Copyright 2022, Satoru Okamoto @ Keio University

沖縄自治会館
Page 4

使い方の例(2)
電通大、バージニア大へ延伸して 広域Hadoop実験をする (2015-2016)
L2の折り返しは per VLAN FDBが必要と学ぶ•• L3使わないと厳しい

Keio

慶應矢上

NICT小金井山中研VLAN

Hadoop

山中研VLAN

Hadoop Dynamic
CircuitNetworkUVA
2022/09/27

Hadoop
NICT

HadoopUEC

Copyright 2022, Satoru Okamoto @ Keio University

SINET

Page 5

時代はJGNとSINETの融合
慶應の10 Gbps ⇒ SINET 100 Gbps

山中研VLAN
VID1～VID5•SINET ⇒ JGN が共通のVLANを使うので、Q-in-QのアウターしかJGNには見えない

慶應矢上

日吉⇔大手町⇔NICT小金井

NICT小金井山中研VLAN

Q-in-QSINET 100GJGN 100G
NICTの協力で
Q-in-Qをほどくスイッチを設置

慶應の個別VLANを取り扱うL2plus
スイッチ

個別のVLANを、延伸するのが困難に！！！
2022/09/27

Copyright 2022, Satoru Okamoto @ Keio University

Page 6

SC18@Dallas

自動運転ネットワーク OpenStackのマイグレーション
日吉⇔大手町⇔NICT小金井

慶應矢上
1G
慶應サーバ

NICT小金井慶應サーバ
模擬クラウド模擬クラウドQ-in-QSINET 100G10G

JGN 100G
100G

ScinetNOC

慶應サーバ
自動運転制御テキサス大（UTD）

慶應サーバ
自動運転制御慶應サーバ
自動運転制御100G
2022/09/27

100G100G

Copyright 2022, Satoru Okamoto @ Keio University

Page 7

SC19@Denver
分散型VRシステム over 日米接続線
慶應矢上

日吉⇔大手町⇔NICT小金井

NICT小金井Q-in-Q
10G10GSINET 100GJGN 100GUTD Booth“Plant Walk” VR servers
100 Gbps“Plant Walk”
VR
servers UTD Campus
2022/09/27

10G

小金井を経由する意味は？？？

100 Gbps“PlantWalk”
VR
servers
Copyright
2022,
SatoruOkamoto @ Keio University

Page 8

TB-0285/JGN-A20003
超並列型ダイナミックMAC技術の研究


現在の高速Ethernet (100GE/400GE) ～•

同一ファイバ内でWDMの並列

マルチレーン転送 （Short Reach ではリボンファイバーはある）

Tbps超のEthernetに向けた空間多重伝送（マルチコアファイバ、マルチファイバ）の新しい使い方 ～ 長距離でマルチコア、マルチファイバに分かれた400～1,000レーンの並列転送の MAC を作りたい
× LAG (フレーム単位) 〇 マルチレーン転送（64B66Bブロック単位）• 長距離 ～ レーン間スキューを 100 μs 級(100GBASE-Rの理論値)級から5 ms (1,000 km相当)へ拡大したい（メモリコストは度外視）• レーンが切れても動き続ける（縮退運用）•



PCサーバで、マルチレーン転送のエミュレータを作る

64B66BしたブロックをUDP/IPでカプセリング (8 Byte→80 Byte超)• Ethernetスイッチで、空間的なマルチレーン転送エミュレータを作成•

2022/09/27

Copyright 2022, Satoru Okamoto @ Keio University

Page 9エミュレータ

K. Sugiura, M. Murakami, Y. Uematsu, S. Okamoto, and N. Yamanaka, “Hierarchical round-robin mapper emulator forevaluating massively parallel Ethernet physical layer developing,” IEICE Communications Express, Vol. 10, No.5, 248253, May 2021.

Rust を使ってプログラムを作成

10GE × 10本
2022/09/27

Copyright 2022, Satoru Okamoto @ Keio University

Page 10JGNを使ったネットワーク実験
RTTで 約5 ms
慶應矢上

SenderMapper

日吉⇔NICT小金井

Ethernet
Switch ×2

NICT小金井Q-in-QJGN 100G

Ethernet
Switch ×2
DemapperReceiver

COVID-19 で、機材を持っていけない VLAN が最大でも5本しか使えない
 VLAN 5本が使える通信容量が実験室の制限で合計 1 Gbpsしかない•
2022/09/27

実験室変えても最大10 Gbps

Copyright 2022, Satoru Okamoto @ Keio University

Page 11

JGNを使ったネットワーク実験RTTで 約5 ms
慶應矢上

SenderMapper

スイッチ制御Ethernet
Switch ×2

DemapperReceiverL3ルーティングで折り返し

JGN 100G

JGN経由で片道 5 ms の遅延線を作成•

NICT小金井Q-in-Q

Ethernet
Switch ×2

日吉⇔NICT小金井

最大 1 Gbpsのリンクを作成可能 → エミュレータ性能上幸いにも(?)十分

実験室内10 mファイバ、10 kmファイバ、5 ms遅延線でスイッチ間接続•2022/09/27

スイッチ間は、L2リンクに見せたい

Copyright 2022, Satoru Okamoto @ Keio University

Page 12JGNを使ったL2遅延線の構築(1)
物理構成

Sender(Dell R330)

10 km ファイバ

Mapper(Dell R740)

PCブリッジ

SW 1-1stack

SW 2-1stack

Demapper(Dell R740)
Receiver(Dell R330)
2022/09/27

ここでも折り返し可能
ルーティングポイントを変えることで遅延量の変更ができる

10 m ファイバ

SW 1-2SW 2-2

VLAN間
ルーティングVLAN1
VLAN2
RTT 約5 ms
慶應
矢上
Copyright 2022, Satoru Okamoto @ Keio University

NICT
小金井Page 13

JGNを使ったL2遅延線の構築(2)論理構成
gretap (Ethernet over GRE)を使って、L2トンネルを構築（VXLANでも良い） PCでのルーティングGWを切り替えることで、実験室内折り返しとNICT小金井折り返しをダイナミックに切り替え可能SW 1-2p2p1

jgn0

gretap1

A.1.25.1/8

SW 2-22022/09/27

A.1.30.1/8
p2p1

jgn0

p2p2

p2p2
gretap1

1 GbpsB.C.81.81/24
B.C.81.15/24

B.C.81.32/24

B.C.82.15/24

B.C.82.32/24

B.C.82.82/24

Copyright 2022, Satoru Okamoto @ Keio University

Page 14最終的な実験系

M. Murakami, et al. “Experiment of Nationwide Multi-Route Skew Cancelling for Dynamic Mapping ofMAC Signals over SDM/WDM Network Testbed,” OECC/PSC2022, DOI:
10.23919/OECC/PSC53152.2022.9850050
Internet経由で、KDDI総合研ふじみ野に設置したSDM伝送系と接続• gretap を使ったトンネルで、慶應矢上から折り返し ～RTT 90 ms、パケロス有•traceroute すると KDDI大手町からふじみ野が遠い

L2TPv3 over IPsec

KDDI総合研
折り返しNICT小金井折り返しInternet
慶應義塾大学
矢上キャンパス

光ファイバ
10 km
エミュレータ(送信側)

2022/09/27

光ファイバ 10 m
(6 並列)

エミュレータ(受信側)

Copyright 2022, Satoru Okamoto @ Keio University

Page 15

実験結果

当然性能は出ないが、スキュー吸収機能の動作は実証できた•

1,500Bフレームは約200個のブロックに分割• 1個のパケットロス→フレーム全部捨てる

今どきのJGNのL2は、10G転送してもパケットロス無！！
•

頑張って、ふじみ野までJGN引いてもらえば良かったかな
JGN経由

KDDI総合研経由
2022/09/27

Copyright 2022, Satoru Okamoto @ Keio University

Page 16

TB-A22001
超低遅延ジッタパケット転送網の研究開発
B5G 時代に向けて“ダイナミックセキュアネットワーク”を作りたい Beyond 5G 時代のネットワーク基盤⇒ 高効率化・高信頼化 が重要

サイバー攻撃防御に対するネットワーク側での自律的な監視・保護能力提供によるサポート（In-network security）• 高度スキルエンジニア不足への対応 ⇒ センタ集約型かつ大規模網をカバー•ダイナミックセキュアネットワーク技術の確立が必要

ネットワーク情報をNOCに効率よくリアルタイムに収集• デジタルツインを構築し、自律的に異常検知や分析を実行⇒ 高信頼な大規模ネットワーク監視・制御の実現•

超低遅延ジッタ
パケットパス転送網
を作りたい

REINS network: Reconfigurable In-Network Security Sensor network
2022/09/27

Copyright 2022, Satoru Okamoto @ Keio University

Page 17超低遅延ジッタパケットパスを使ったダイナミックセキュアネットワーク
Sensor

URLLP: Ultra Reliable Low Latency Probing
NOC/SOCNOC/SOCController

Digital Twin

NOCからセンサを切り替えながら URLLPパスでトラヒック収集（メタデータ、生データ）

Sensor Node(In-network sensor)

広域URLLPパス＝光パス＋低遅延ジッタパケット転送（P4で作りたい）
2022/09/27
Copyright 2022, Satoru Okamoto @ Keio UniversityPage 18

JGNを使った REINSコンセプト実証(1)
国際会議iPOP2022 (2022/6)

UBiqube Data Center
Grenoble, France
OpenMSA1. NICT小金井のTraffic Generator から模擬攻撃を慶應へ送出
2. センサが検知して、OpenMSAへTrigger送信
3. OpenMSAから小金井の送信を停止させる
4. 止まったら、しばらくして開ける → 1に戻る

JGN Internet
100G

NOC/SOC

Trigger
In-Network
Security
SensorSensorController

ペイロード“0” 置換装置

400 Gbps White-box Network

Q-in-Q

Traffic
Generator

Emulated
Malicious
Traffic

NICT Koganei, Japan

Keio Univ. Yokohama, Japan
2022/09/27

ActionCopyright 2022, Satoru Okamoto @ Keio University

Page 19

ペイロード“0”置換装置

岡本聡、村上正樹、植松芳彦、山中直明、“ダイナミックセキュアネットワークのためのパケットペイロード置換フィルタ
装置の評価実験、” 2022電子情報通信学会ソサイエティ大会、B-12-5、2022年9月



慶應大学内の実トラヒックへ適用中
項目

仕様

入出力IF

10 GE×4 (SFP+)
片方向回線4本を処理可能

FCS

再計算

L2/L3/L4 length

保持、チェックサム再計算

L2 MAC addr.

上位24 bit 匿名化可能

L3 IP addr. L4 port

保持

L3/L4 payload

arp/icmp/ip/gre,udp/tcp/sctp等を対象としてpayloadデータ “0”置換

L2 VLAN/MPLS

再帰的にL3/L4を探索して処理

L2 非VLAN/MPLS

L2 payloadデータ “0”置換

2022/09/27

19インチラックマウント• 高さ 2U• 消費電力 16 W

Copyright 2022, Satoru Okamoto @ Keio University

Page 20

この実験での気付き

JGNは、Traffic Generator からのトラヒックを転送してくれない•

Mirroring したトラヒックも同じ

教科書の記述 ～ “FDBに登録の無い宛先のフレームは、入力以外の全ポートにブロードキャストする”
 最近の(高級な)スイッチ“Preventing Unknown Unicast Forwarding”,“Blocking Unknown Unicast Flooding”
•

学習されない（=応答の無い）Unknown な宛先はすぐに転送しなくなる

iPOP2022での対策•

2022/09/27“JGNを使ったL2遅延線の構築” で使った gretap のトンネルに TrafficGenerator からのフレームを収容し、JGN内は Known Unicast とする

Copyright 2022, Satoru Okamoto @ Keio University

Page 21

JGNを使った REINSコンセプト実証(2)国際会議SC22 (2022/11)
再構成可能な光パスを使った、URLLPパスのコンセプトを日米に跨って実証 Q-in-Qされた VLAN を SC22の会場まで延伸、Q-in-Qをほどいて使う•

国際NOCの機材手配に感謝

PCで10 Gbps転送できるVXLANトンネルを構築

VXLAN

In-Network
Security
SensorKeio Univ.
2022/09/27

Mirroring
TBD(DMZ?)
Q-in-Q
VXLAN

ペイロード“0” 置換装置Open ROADM

Copyright 2022, Satoru Okamoto @ Keio University

Page 22P4を使ったURLLPパス

山口暉、村上正樹、那須豊、栗本崇、岡本聡、山中直明、“µsオーダー でジッタを保証する キュー読み出し制御手法”
電子情報通信学会フォトニックネットワーク研究会、PN2022-20、2022年8月

P4: Programming Protocol-independent Packet Processors
 低遅延 & 低ジッタ ～優先度“最高”で転送、キューで待たせない△ 同期型/TDM型：全てのスイッチで同じタイミングでゲートの開閉• 〇 非同期型：キューの制御を頑張るが、同じ“最高”が同着したらどうしよう•• パケットに、何回待った・あと何ホップみたいな情報持たせて頑張ろう• ユーザの出すパケットに、こんな情報付加できないからP4でいじってみよう

現在、Click Modular Router で付加情報に基づいたキュー制御を実装
ヘッダうまくいじれなくて、網入口でペイロードに付加情報を追記• P4勉強中•• 研究室内にP4開発環境作成中（ソフトウェアスイッチ、ハードウェアスイッチ）• うまくいじれるようになったら、総合テストベットのP4実験環境で動かしたい

2022/09/27

Copyright 2022, Satoru Okamoto @ Keio University

Page 23

研究室内P4開発環境とP4実験環境への期待

研究室内P4開発環境• ソフトウェアP4スイッチ: サーバ10台 (10GE)に BMv2
• ハードウェアP4スイッチ: WEDGE100BF-32QS (100GE) 2台をファイバ直結
総合テストベッドP4実験環境• ハードウェアスイッチ WEDGE100BF-32X が、小金井、大手町、大阪、名古屋と広域に存在• 対地間は、Whitebox SWとJGNで接続

理想：広域に存在するWEDGE間を100 Gbps波長パスで直結• 期待：Whitebox SW間を400 Gbpsで高速接続し、10/25/100 Gbps波長直結したのと同程度の転送ジッタでパケット転送
P4実験環境
小金井
名古屋
研究室環境
大阪
•

ジッタ有転送ジッタ 0転送2022/09/27

100GE, 10 m

ジッタ有転送ジッタ有転送ジッタ有転送ジッタ有転送ジッタ有転送100GE, 500 km

100GE, 200 km

Copyright 2022, Satoru Okamoto @ Keio University

ジッタ有転送Page 24

まとめ

5本のVLANを使った、JGN L2サービス利用実験を紹介



複数VLAN間のルーティングによる折り返し遅延線

１本のL2に見せるために、gretap / vxlan を利用• VLAN over L2TPv3 でインターネット越でも適用可能•

Mirroring や Traffic Generator のトラヒック転送においても、gretap/ vxlan は有効PC上で 10 Gbpsはいけたが 100 Gbpsは？
• SC22 では、国際間のvxlanトンネルでの L2 延伸にチャレンジ•



P4実験環境をこれから利用していく

2022/09/27

Copyright 2022, Satoru Okamoto @ Keio University

Page 25