キャンパスネットワークにおけるSD-WANの開発とその運⽤
中村 遼、関⾕勇司、⼯藤知宏
東京⼤学 情報基盤センター
ADVNET2020

⼤学のキャンパスネットワーク• メインキャンパスと遠隔拠点• 東京⼤学の場合

SINET• メインキャンパス: 本郷、駒場、柏
駒場1• 遠隔拠点: ⽩⾦、神岡、⼩⽯川、中野、東海村、富⼠、などなど
駒場2• 全部で51拠点 https://www.utokyo.ac.jp/ja/about/campusインターネットVPN
guide/national.html• 接続⽅法• メインキャンパス間: 専⽤線• 遠隔拠点: L3トンネルやVPN

本郷
キャンパス

ISP VPN

インターネット

遠隔研究拠点

柏遠隔研究拠点

通信事業者

遠隔研究拠点

遠隔研究拠点2

キャンパスネットワークの管理• 組織ごとに資源と運⽤管理を委譲• XX学部、YY研究科、ZZセンターなど• 資源: IPアドレスブロック、VLAN番号、ドメイン名など• エンド側での管理と使い⽅• エンドユーザへのネットワーク疎通性の提供(ラストワンマイル)• IPアドレスによるアクセス制限• 計算機資源、研究データ、学内システム全体のネットワーク管理組織

組織
A

組織
B

組織
C...

組織
X

•
•

キャンパス間ネットワークの運⽤
全体の資源割り当て••組織のもつ建物内ネットワークの運⽤
組織内の資源管理と運⽤
3

キャンパスネットワークの管理• 組織ごとに資源と運⽤管理を委譲• XX学部、YY研究科、ZZセンターなど• 資源: IPアドレスブロック、VLAN番号、ドメイン名など

複数のキャンパスや• エンド側での管理と使い⽅ 建物にまたがる組織の• エンドユーザへのネットワーク疎通性の提供(ラストワンマイル)
ネットワークは︖• IPアドレスによるアクセス制限• 計算機資源、研究データ、学内システム全体のネットワーク管理組織

組織
A

組織
B

組織
C

...

組織
X

•
•

キャンパス間ネットワークの運⽤
全体の資源割り当て••組織のもつ建物内ネットワークの運⽤
組織内の資源管理と運⽤
4

キャンパスネットワーク利⽤の実際• 組織と利⽤者と拠点と建物は⼀致しない• 複数のキャンパスにまたがる組織• ひとつの建物に複数の組織が⼊る• ひとりの研究者が複数キャンパスに居室• セグメント単位でポリシーを決めている• 結果的にVLANを、建物やキャンパスなど拠点を越えてひきまわすことに• プライベートなVLAN番号を利⽤する組織も• SINET経由のVLANも様々なところへ• L3トンネル接続の遠隔拠点は︖

VLANを引き回すのが⼤変︕
SINET

駒場1

本郷キャンパス駒場2

柏インターネットVPN

ISP VPN

インターネット

遠隔研究拠点

遠隔研究拠点

通信事業者

遠隔研究拠点

遠隔研究拠点5

Software-Defined WANによる解決の検討• SD-WAN• 暗号化されたオーバーレイによる複数拠点間接続• オーケストレータによる⼀括した制御• キャンパスネットワークへのSD-WANの適⽤• 複数のブランチ拠点を接続し、キャンパスネットワークを延伸する• 拠点間にまたがる設定変更を集中制御で⾃動化する

メイン
キャンパス

メイン
キャンパス

ブランチ
インターネット
ブランチ

ブランチ

ブランチ

6

機能要件
• データプレーン• レイヤー2セグメントの延伸• NATを越えられること• トラフィックの暗号化• オーケストレーション• 複数機器の⼀括制御• 迅速な設定変更の反映• SD-WANと呼ばれるものには他にも様々な機能があるが、ひとまず上記が最低限の要件
7

ASANO System version 2• 東京⼤学 情報基盤センターで開発したLayer-2 SD-WAN• 複数のASANOデバイス間でVLANを運ぶ
オーバーレイネットワークを構成

Ethernetフレーム
制御メッセージ

VXLANオーバーレイ• 異なる2つのオーバーレイを多重化• VXLAN: Ethernet over IP• Wireguard: IP over IP

Wireguardオーバーレイ• Control Planeブランチ• VXLANはEVPNを利⽤
拠点1• Wireguardの制御やインターフェース
設定は⾃作のオーケストレータで全てのデバイスを⼀括制御メイン
キャンパス

インターネット

ブランチ
拠点2

ブランチ
拠点3

8

Wireguard• Fast, Modern, Secure VPN Tunnel• ⾮常にシンプルな設定インターフェース• ⼩さいコード規模でstate-of-the-artな暗号化• 2020年1⽉にLinux mainlineにmerge

https://www.wireguard.com/

https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=bd2463ac7d7ec51d432f23bf0e893fb371a908cd

92つのオーバーレイネットワークの併⽤• VXLAN over Wireguard• トンネルプロトコルはそれぞれの⽬的に合わせてデザインされている• それぞれの⽋点を、利点を重ねることで補い合う
VXLAN overlay• NAT越えと暗号化のできるマルチポイントL2オーバーレイ• 複数回カプセル化する⽋点: スループットの低下• MTUの減少• パケット処理の増加

Wireguard
インターネット

L2 Encap

NAT越え

暗号化

多重化

マルチポイント

VXLAN

Yes

NoNo

Yes

Yes

Wireugard

No

Yes

Yes

No

Yes

VXLAN over Wiregaurd

Yes

Yes

Yes

Yes

Yes
10

現在利⽤している実機• 複数RJ45ポートを持つ市販の⼩型x86 PCを筐体として利⽤• 中⾝はLinuxに、ソフトウェア⼀式をインストール• ケースを加⼯してWiFiをつけた、無線APになれるバージョンも11

利⽤形態1: 情報基盤センターから延伸• 本郷キャンパスの情報基盤センターに、通称⺟艦と呼ばれる、ラックマウントサーバ型のASANOデバイスを設置• この⺟艦から、各ASANOデバイスへVLANを延伸• 制約事項:• 延伸したいVLANが情報基盤センターのある本郷地区に存在すること• 延伸したいVLANが組織のプライベートVLANでないこと

遠隔研究施設インターネット

UTNET
情報基盤センター

遠隔研究施設12利⽤形態2: 複数台のASANOデバイス間で延伸• 複数台のASANOデバイスで独⾃にVLANを延伸する• プライベートなVLANでも延伸可能• VXLANオーバーレイ上ではセグメントは24bitのVNIで識別されるため• 制約事項• 少なくとも1台のASANOデバイスはグローバルな固定IPアドレスを持つ• DHCPによるIPアドレスを持つASANOデバイス間の通信は、グローバルな固定IPアドレスを持つASANOデバイスを経由する必要があるため• 固定IPアドレスを⽤意できない場合、全ての通信は情報基盤センターに設置された⺟艦を経由
拠点2

拠点1

インターネット

拠点3

13

現在の利⽤状況• 2019年から現在までに合計38台のASANOデバイスをデプロイ• 本郷キャンパスから遠隔研究施設へのVLAN延伸• 駒場キャンパスから学⽣宿舎へのVLAN延伸• 2つの遠隔研究施設間でのVLAN延伸• イベント会場への特定ネットワーク引き込み• 学外から学内クローズドネットワークの監視• コロナ禍にともなうリモートワーク• 教員の⾃宅• などなど14実利⽤例1: 遠隔研究施設へのVLAN延伸• 東京⼤学 ⼤気海洋研究所 国際沿岸海洋研究センター• 岩⼿県上閉伊郡⼤槌町• 本郷および柏キャンパスに存在していたVLANや、キャンパスWiFiを利⽤するためのVLANをセンターまで延伸して利⽤• ASANO導⼊前はL3トンネルによる接続のみだったため、VLANをのばせなかった2018年2⽉、再建当時の国際沿岸海洋研究センターに設置したASANO (Version 1)
15

実利⽤例2: クローズドセグメントの延伸• コロナ禍に伴うリモートワークにおける利⽤• セキュリティ上の理由で、完全にクローズドで、インターネットに接続した端末を繋いではいけないセグメントに、⾃宅からアクセスする必要が発⽣• ASANOデバイスを各⾃の⾃宅に設置し、インターネットに繋がない端末をASANO経由でクローズドセグメントに接続
完全にスタンドアロンな端末

VXLAN + Wireguard

⾃宅

インターネット

Overlay

クローズドセグメント

本郷キャンパス16実利⽤例2: クローズドセグメントの延伸• ⾃宅には有線LAN接続がない⼈もいるため、モバイルWiFiルータでインターネットに接続するモデルも作成

モバイルWiFiルータ
USB WiFiドングル

17令和2年7⽉豪⾬で⼨断された神岡への緊急避難的なVLAN延伸• 神岡宇宙素粒⼦研究施設• スーパーカミオカンデやKAGRAを擁する重要な研究拠点• 時系列• 7⽉7⽇深夜: 神岡へのSINETへの回線が豪⾬災害により断• 7⽉9⽇: 本郷キャンパスのSINET線から神岡へのVLANを受け取り、⾶騨市の協⼒による現地商⽤インターネット回線越しにASANOを使ってVLANを神岡へ運ぶ算段がつく• 7⽉10⽇: 設定した2台のASANOデイバスを神岡へ発送• 7⽉11⽇: ⼀部のVLANがASANO経由で仮復旧• 7⽉13⽇: 回線復旧
18

現在の運⽤体制• 現状ひとり運⽤• 各デバイスの設定は⼀括制御なので、デプロイしてしまえ
ば運⽤は簡単• 出荷作業がいまのところ最⼤のボトルネック
1.
2.
3.
4.

LinuxをインストールしASANOのソフトウェア⼀式をインストールし機器固有の設定を投⼊して出荷

コロナ禍による需要増のため⼀晩で15台のASANOデバイスを製造したときの様⼦
19

ASANOシステムの技術移転• 現在のひとり製造出荷運⽤体制は継続性に難有りüASANOシステムを⽇本ラッド株式会社に技術移転しました• ASANOは東京⼤学での利⽤を前提に開発されたが、もちろん東京⼤学以外でも利⽤可能なシステム• 誰でもASANOシステムを保守付きで購⼊し、使えるようになります⽇本ラッド株式会社、プレスリリースより
https://www.nippon-rad.co.jp/ir/release/data/20201006.pdf
20

まとめ• ASANO System version 2• 東京⼤学 情報基盤センターで開発されたLayer-2 SD-WAN• ⼆種類のオーバーレイを組み合わせることで、NAT越え、暗号化、多重化、マルチポイント接続を実現する、Layer-2 オーバーレイネットワークを構築• オーケストレータによる全デバイスの⼀括制御• 東京⼤学における運⽤• 2019年から30台以上のASANOデバイスをデプロイ• 遠隔研究施設をはじめ、様々な箇所へのL2セグメントの延伸を実施• 企業への技術移転によって、継続的な購⼊、保守、運⽤の体制へ• 今後• SD-WANというには様々な機能が⾜りていないため、開発は継続する予定
21