DEIM Forum2016 G8-5

JGN-X 上の FLARE によるソーシャル情報に基づくＳＤＮ経路制御実験
平久紬†柳田晴香†

丸山口実靖†††

千尋†
小口中尾彰宏††

山本周††

正人†

† お茶の水女子大学〒 112-8610 東京都文京区大塚 2-1-1†† 東京大学〒 113-8654 東京都文京区本郷 7-3-1††† 工学院大学〒 163-8677 東京都新宿区西新宿 1-24-2
E-mail: †{g1220526,g1120541,g1120536,oguchi}@is.ocha.ac.jp, ††{nakao,shu}@iii.u-tokyo.ac.jp,†††sane@cc.kogakuin.ac.jp
あらまし

現在のインターネットは，モバイル端末の高機能化やクラウドコンピューティングの発達により，多種多様なアプリケーションのトラフィックが混在しているため，大地震などの緊急災害時のネットワーク輻輳では，すべてトラフィックが同一に扱われ緊急情報に中々アクセスできないという問題が生じる．そこで，トラフィック種別を判定し，アプリケーションごとに制御を行う方式と，Twitter などのソーシャル・データから実社会の急激な状況変化を検出し，自動でユーザが必要とするアプリケーション情報を安定に提供できる仕組みが必要と考える．本研究では，自動制御を実現するプラットフォームとして，広域ネットワークテストベッド JGN-X の各拠点間を VLAN 結合したネットワーク仮想化ノード FLARE を使用し，SDN による自動経路制御実験を行う．これにより，ソーシャル情報に基づく SDN 経路制御手法の有効性を示す．
キーワード

SDN，OpenFlow，DPN，FLARE，JGN-X，VLAN

SDN path control experiment based on social information
by FLARE on JGN-X
Tsumugi TAIRAKU† , Haruka YANAGIDA† , Chihiro MARU† , Akihiro NAKAO†† , Shu
YAMAMOTO†† , Saneyasu YAMAGUCHI††† , and Masato OGUCHI†† Ochanomizu University
2-1-1 Otsuka, Bunkyou-ku, Tokyo, 112-8610 JAPAN†† Tokyo University
7-3-1 Hongo, Bunkyo-ku, Tokyo, 113-8654 JAPAN††† Kogakuin University
1-24-2 Nishi-Shinjuku, Shinjuku-ku, Tokyo, 163-8677 JAPANE-mail: †{g1220526,g1120541,g1120536,oguchi}@is.ocha.ac.jp, ††{nakao,shu}@iii.u-tokyo.ac.jp,†††sane@cc.kogakuin.ac.jp

1. は じ め にケーションのトラフィックが混在している．このようなネットワークでは，トラフィックは実社会の状況により大きく変動す近年，モバイル端末の高機能化やクラウドコンピューティンる．このことから，大地震などの災害時のネットワーク輻輳でグの発達により，現在のインターネットは，多種多様なアプリは，ユーザからのアクセスが集中し，ビッグデータが発生し，—1—また，すべてのトラフィックが同一に扱われることから，ユープリケーション毎に経路を切り替えることが可能な FLARE ス

ザが必要とする緊急情報に中々アクセスできないという問題がイッチ [10] [11] [12] [13] を使用し，実験を行っていく．

生じる．また，通常ではネットワークの状態はセンサを使って管理されているが，2011 年 3 月 11 日に東日本大震災が発生した際には，トラフィック量は通常の数倍以上にも増えた [1]．また，経路制御に必要なトラフィック状態に関する情報が膨大であり，センサのみでネットワーク全体の状態を迅速に把握することは困難であった．そのため，長い間，ネットワーク障害により，電話が繋がらないなどといった問題が生じた．その一方

3. ソーシャル情報に基づく経路制御システム概要
災害時におけるソーシャル・データに基づいた，トラフィックの自動経路切り替えシステムの概要は以下の通りである．図1 はシステムの概要図を示している．(1)-(4) の流れで，自動で経路設定を行っていく．

で，地震発生から 1 時間以内に，東京からだけで毎分 1,200 件以上のツイートが投稿され，地震に関するリアルタイムでの情報のやりとりが非常に活発に行われたことが示されている [2]．
このことから，Twitter などのソーシャル情報は，災害時に有用なものであると言える．そこで，トラフィックの種別を判定して，アプリケーションごとに制御を行う方式と，Twitter などの
図 1: 自動経路制御システムの概要

ソーシャル・データから実社会の急激な状況変化を検出し，自動でユーザが必要とするアプリケーション情報を安定に提供できる仕組みの実現が必要と考えられる．
本研究では，自動制御を実現するプラットフォームとして研究開発テストベッドネットワーク JGN-X の各拠点間を VLAN結合したネットワーク仮想化ノード FLARE スイッチを使用し，Twitter などのソーシャル情報に基づく SDN によるトラフィックの自動経路制御実証実験を行い，その結果より本システムの有効性を示す．
本稿の構成は以下の通りである．2．章で関連研究について述べ，3．章でソーシャル情報に基づく経路制御システム概要について紹介する．4．章では本研究の実験環境を，5．章ではJGN-X における実験ネットワークについて説明する．6．章では仮想 Mininet 上の実験を行い，7．章では JGN-X 上の FLAREスイッチで実証実験を行い，本システムの動作を確認する．最後に，8．章で本稿をまとめる．

(1) Twitter による障害検知 [14]リアルタイムにツイートを監視し，通信障害がどこで起こっているかを検知する．
通信障害に関係あるキーワードを含むツイートを取得し，取得したツイートを同じ地名名詞が含まれるツイートごとにまとめる．機械学習を用い，ツイートに出現する地名が「その地域で障害が起きている」かを判断し，地名名詞ごとにツイート数を数える．

(2) スイッチ間のコスト値の更新
スイッチ間のリンクのコスト値を，60 秒間隔で更新する．
リンクのコスト値の初期値を 1 とし，通信障害に関係のあるツイート中にスイッチと対応させた地名を含むツイートが 20件以上あったら，+1 する．

(3) 最適経路探索
グラフ上の 2 頂点間の最短経路を求めるアルゴリズムである，

2. 関 連 研 究

ダイクストラ法を用い，コスト値が最小になるような最適経路

SDN や OpenFlow [3] の技術を用いた，トラフィックの自動制検索を行い，トラフィックの経路を決定する．

御は既に実現している [4] [5] [6] [7]．ネットワークのトラフィッ(4) 経路の再設定

ク量の変動に応じて，ネットワークの構成などを動的に制御しOpenFlow の REST-API を使用し，あらかじめ経路を記述している．通常のトラフィック操作のみで制御ネットワークをスたシェルスクリプトを用意しておく．(3) で決定された経路に，イッチ間接続によって構成されるデータネットワーク上に自動コントローラから自動で再設定を行い，経路を切り替える．

構築することを可能としている．また，Twitter 上で発信している緊急地震速報や Yahoo!ニュースの地震カテゴリの記事による情報を基にしたトラフィック制御も存在する [8] [9]．これらの研究は，アプリケーションの種別を判定し，電話などの情報通信を行うアプリケーションは重要と判断し優先的にトラフィックを流し，YouTube やゲームなどの娯楽目的のアプリケーションは災害時には重要ではないと判断し，トラフィックを後回しにするような，アプリケーション毎の経路制御を行っていない．
そのため，ユーザが緊急災害時に必要とするアプリケーション情報を安定に提供することを目標としている本研究とは異なる．
そこで，本研究ではアプリケーションの種別を判断し，ア

4. 実 験 環 境
本研究では，国立研究開発法人情報通信研究機構（NICT）が運用する研究用ネットワークである JGN-X [15] を使用する．

JGN-X の拠点および大学に設置した DPN の FLARE ノードを使用し，ソーシャル情報による SDN 切替実験を実施した．

DPN(Deeply Programmable Network) は，SDN(Software Defined Nework) を発展させたものである．OpenFlow 等の従来の SDN との違いは，ネットワークの制御を担うコントロールプレーンだけでなく，パケットを転送するデータプレーンのプログラムも可能であるということである．

—2—

DPN のコンセプトを実装したスイッチに，東京大学大学院情報学環中尾研究室によって開発された，FLARE スイッチと呼ばれるものが存在する．FLARE は物理的なスイッチ上にスライスと呼ばれる仮想的なスイッチを複数個設置可能で，Slicer スラ
イスでパケットを各スライスに割り当てる仕組みになっている．
このスライスは互いに独立している．FLARE はネットワーク仮想化により，複数のネットワーク機能をプログラミングし動作させることができる．よって，それぞれのアプリケーションに対し，適切な仮想化されたネットワークに割りあて，制御できる．そこで，この FLARE を使用することにより，SDN では不可能であった．緊急時に特定のアプリケーションのトラフィックを優先的に流すような，きめこまやかな制御が可能となる．

FLARE では，データプレーンもプログラム可能であり，こ図 3: FLARE ノード (名古屋)のデータプレーン機能は Click module router [16] と呼ばれるソ

xgbe1 のポートは，大手町，堂島に繋がっているため，流れフトウエアルータによって実現されている．Click は C++で実てくるパケットを OpenFlow スイッチに流す前に VLANDecap装されており，Element と呼ばれるモジュールを組み合わせるで VLAN のタグを外し，また，OpenFlow スイッチから出てきことにより，スイッチやルータ等のネットワーク機器を実現すたパケットには堂島や大手町に流すため，VLAN のタグをつけることが可能である．また，Element 自体を開発することも可る構成になっている．また，xgbe2 や xgbe3 は，それぞれ名古能である．

屋のもう一つの FLARE スイッチとサーバに繋がっているため，5. 実験ネットワーク

VLAN のタグをつけたり外したりする必要はない．

本研究で使用する JGN-X 上の FLARE は図 2 のように全国 8れていることを考えずに，REST-API を使用した経路設定をコ

カ所に 9 個設置されており，それぞれのノードは VLAN で接続

このようなスイッチを作成することにより，VLAN で接続さントローラから指示することが可能である．

されている．JGN-X 上の FLARE 間のノードでは，タグ VLAN

また，図 4 のように，コントローラ側で収集したソーシャルが使用されている．タグ VLAN では，イーサネットフレーム情報を解析し，あるアプリケーションはルート 1 の経路を，まにタグをつけて VLAN を識別しており，1 つの通信ポートで複たあるアプリケーションはルート 2 の経路を流れるように，ア数の異なる VLAN を通信させることが可能となっている．図 2

プリケーション毎の経路制御を行うことを考える．そのため，新に，それぞれのノード間のリンクにおける VLAN ID を示してたにスライスを作り，各 FLARE ノードのスライスに OpenFlow

いる．

機能を同様に実装した．

図 2: JGN-X 上の FLARE

実験を行うにあたり，各ノードにおいて FLARE スイッチを

図 4: アプリケーションごとの経路制御

VLAN 対応の形で構成した．FLARE は OpenFlow 機能をサポートしており，FLARE の OpenFlow は Click で実装されているた

また，Slicer スライスに OpenFlow スイッチを実装すること

め，VLAN 機能をスイッチ外で処理することが可能である．図により，コントローラから Slicer スライスにスライスを切り

3 は名古屋の FLARE スイッチである．

替えるように指示を与えることによって，スライス間の切り—3—替えを行う．図 5 のように FLARE ノードの Slicer スライスにOpenFlow スイッチを使用し，OpenFlow コントローラから指示を与えられるように構成した．

6. 仮想環境 Mininet 上の実験
6. 1 実 験 概 要
JGN-X 上で実証実験を行う前に，OpenFlow のスイッチ，コントローラ，通信ノードを全てエミュレートした仮想環境である

Mininet [17] 上で実験を行った．実験環境は以下の通りである．
表 1: 開発環境

OSubuntu14.04 64bit

フレームワーク

Mininet 2.2.1

コントローラ

Ryu-manager 3.23

スイッチOpen vSwitch 2.0.2

JGN-X 上の FLARE スイッチと同様のトポロジを作成し，ソーシャル情報に基づく経路制御システムの実験を行った．このうち，図 7 のように九大，東大，名古屋，東北大にそれぞれ対応するスイッチを使用して実験を行った．東日本大震災時の 2011年 3 月 11 日 14 時から 15 時の実際のツイートを基に，東北大
図 5: Slicer スライスに OpenFlow スイッチを使用した FLARE ノードから東大への通信を想定し実験を行った．

ここで，Slicer スライスに流れてきたパケットが，どのスライスに流れるものかを判定するために，GRE トンネルを使用した．GRE トンネルは，あるトラフィックを別のプロトコルでカプセル化して伝送する．GRE トンネルを経由し通信が行われる場合，GRE ヘッダとともに新しい IP ヘッダが付加されてパケットが転送される．図 6 に図 5 の Slicer スライスの内部を示す．これは，九工大の例である．サーバに接続されている xgb1のポートから入ってくるパケットは，スライス ID のタグを追加する前に，GRE トンネルのタグを追加した．また，JGN-X

図 7: Mininet 上の実験で使用したノードのネットワークに繋がっている gbe3 から xgbe1 に出力するパケットは、GRE を外す必要がある．GRE トンネルは OpenFlow

6. 2 実 験 結 果

機能でサポートされていないので，GRE トンネルを使用したス各スイッチ上で tcpdump を使用し，スイッチに流れるパケッイッチは，FLARE ならではである．このような形にすることトの情報を確認した．名古屋に対応するスイッチに流れるパで，スライス間の切り替えが可能となり，アプリケーション毎ケット情報を tcpdump で確認した結果を図 4 に示す．赤い線よの経路制御も可能となる．

り上は障害検知前に流れていたパケットを，下は障害検知後に流れていたパケットを示している．

図 8: 名古屋のスイッチを通るパケット

名古屋に対応するスイッチでは，通信障害を検知した後は東北大に対応するスイッチ (10.0.0.7) から東大に対応するスイッチ
図 6: Slicer スライス (九工大)(10.0.0.8) へのパケットが流れていることが分かった．同様に全てのスイッチ上に流れるパケットを確認したところ，ツイート—4—

によって，東大に対応するスイッチと東北大に対応するスイッ分かる．現時点では，システムが障害を検知してから，約 3 秒

チの間で障害を検知し，東北大から東大へ流れるパケットは，ほどでパケットが流れる経路が切り替わることを確認した．

名古屋を経由する経路に切り替わったことを確認した．
この結果より，仮想環境 Mininet 上で，ソーシャルメディアの情報からトラフィックの経路を切り替えることに成功した．

7. JGN-X 上の実験
7. 1 実 験 概 要
JGN-X での実験では，仮想環境 Mininet と同様に東日本大震
災時の 2011 年 3 月 11 日 14 時から 15 時の実際のツイートをこの結果より，ソーシャル・データとして Twitter の情報からネットワークの経路を自動で切り替える実験に成功し，本システムが有効であると言える．

7. 3 実験結果の可視化経路が自動で切り替わったことを確認するため，ネットワークの経路の可視化を行った．実証実験での障害検知前と障害検知後のネットワークを図 11 に示す．

基に，東北大から東大への通信を想定する．実験構成の都合上，東北大ー東大サーバ間の障害経路切替として，アクセスするサーバを東大のサーバのデータをレプリケーションしている名古屋に設置したサーバにアクセスする経路切替シナリオで実験を行った．図 9 はシナリオを図示したものである．１のルートから２のルートに経路が切り替わるシナリオである．

（a）障害検知前

図 9: JGN-X における実験のシナリオ

7. 2 実 験 結 果
図 10 に実験の結果を示す．2700 秒付近で経路の切り替えを行っている．経路が切り替わったことを Ping の応答遅延時間を測定することにより確認した．

（b）障害検知後
図 11: 実験結果の可視化(a) は障害検知前を，(b) は障害検知後のネットワークを示したものである．それぞれ，図 2 の JGN-X 上の FLARE を Google

Map 上に表示している．青いピンは各 FLARE スイッチ，黒い線は FLARE スイッチ間のリンク，赤い円は震源地を表している．赤い線がパケットが実際に流れた経路を表している．(a) 障
図 10: 実験結果（遅延時間）

最初は東北大と東大間の経路を通る通信を行っていたが，東北大と東大の間で障害を検知した後，東北大，大手町，名古屋

害検知前は東北大から東大へパケットが流れており，(b) 障害検知後は東北大，大手町，名古屋の経路を通っている．可視化結果からも，ネットワークの経路が切り替わったことを確認した，の経路を通り通信が行われたことが，Ping の応答遅延時間から—5—

8. まとめと今後の課題
VLAN で 接 続 さ れ て い る JGN-X 上 の 各 ノ ー ド に お い て[8]

FLARE スイッチを VLAN 対応の形で構成し，実験環境を整えた．これにより，VLAN で接続されていないスイッチを使用している場合と同じ経路設定を記述し，実行可能となった．

[9]

また，スライス間の切り替えを行うため，各 FLARE ノードのSlicer スライスに OpenFlow スイッチを入れた．また，GRE トンネルを使用し，複数あるスライスを識別し，スライス間の切[10]り替えを可能にした．そこで，実際に 2011 年 3 月に起こった
東日本大震災時のツイートを基に，ネットワークの経路を自動的に切り替える実験を仮想環境 Mininet 上で行い，各スイッチ[11]

上で流れるパケットの情報を tcpdump で確認したところ，本システムが正常に動作し経路が切り替わったことを確認した．また，研究開発用テストベッド環境である JGN-X 上でも同様に[12]本システムの実証実験を行った．JGN-X では Ping の応答遅延時間を測定することによって，本システムが正常に動作し経路が切り替わったことを確認した．また，パケットが流れる経路[13]を Google Map 上に可視化した結果からも，本システムにより経路が切り替わったことを確認した．その結果，ソーシャル・データを基にした自動的な経路切り替え実験に成功し，本シス[14]

テムが有効であることを示した．
今後の課題としては，実際に異なるアプリケーションのトラフィックを流し，アプリケーションの種類を判別し，アプリケーション毎に経路を切り替える実験を行っていく．また，2011 年[15]3 月に起こった東日本大震災時のツイートだけでなく，他の災害時におけるツイートを基に本システムの実証実験を行っていく．

[16]
[17]

謝辞

ネットワークの自動構築」，
日本ソフトウェア科学会 第 14 回 インターネットテクノロジーワークショップ
原瑠理子，長谷川友香，小口正人：「モニタリング情報に基づ
く OpenFlow を用いたネットワークトラフィック制御モデル」，
DEIM2014，C9-6，2014 年 3 月
高 橋 裕 ，秋 山 友 理 愛 ，神 津 智 樹 ，山 口 実 靖：「 バ ー ス ト 的負 荷 変 動 を 考 慮 し た OpenFlow を 用 い た 動 的 資 源 割 り 当 て(SDN/OpenFlow).」，
電子情報通信学会技術研究報告. NS, ネットワークシステム
113.472 (2014): 225-229.
Akihiro Nakao，”FLARE：Open Deeply ProgrammableNetwork
Node Architecture，”，Stanford Univ．Networking Seminar，October 2012．
http://netseminar.stanford.edu/10 18 12.html
A. Nakao．Software-defined data plane enhancing sdn and nfv．Special Section on Quality of Diversifying Communication Networksand Services，
IEICE Transactions on Communications，E98- B(1)：12-19，2015．
Akihiro Nakao, Software-Defined Data Plane Enhancing SDN andNFV , Special Section on Quality of Diversifying Communication
Networks and Services, IEICE Transactions on Communications ,2015 Jan
Akihiro Nakao, Ping Du, Application and Device Specific Slicingfor MVNO ,2014 International Science and Technology Conference (ModernNetworking Technologies) (MoNeTeC), 2014, October
Chihiro Maru, Miki Enoki, Akihiro Nakao, Shu Yamamoto,
Saneyasu Yamaguchi, and Masato Oguchi, ”Network Failure Detection System for Traﬃc Control using Social Information in LargeScale Disasters,”
ITU Kaleidoscope Conference 2015: Trust in the Information Society, S5.3, 9-11 December 2015.
NICT，Network Testbed JGN-X
http://www.jgn.nict.go.jp
UCLA.edu，The Click Module Router Project
http://read.cs.ucla.edu/click/click
Mininet An Instant Virtual Network on your Laptop (or other PC)，
http://mininet.org/

本研究は一部，総務省戦略的情報通信研究開発推進事業（SCOPE）先進的通信アプリケーション開発推進型研究開発によるものである．
文

献[1] 総務省：「東日本大震災における通信の被災・輻輳状況」，
http://www.soumu.go.jp/main content/000136962.pdf[2] 吉次由美：「東日本大震災に見る大災害時のソーシャルメディアの役割」，
https://www.nhk.or.jp/bunken/summary/research/report/
2011 07/20110702.pdf[3] OpenFlow コンソーシアム：OpenFlow 仕様，
Open Networking Foundation: http://www.openflow.org/ /050819.pdf，2005 年 8 月 19 日
[4] 飯島明夫：「OpenFlow/SDN のキャリアネットワークへの適用について」 電子情報通信学会技術研究報告. NS, ネットワークシス
テム 112.231 (2012): 85-87.
[5] NEC：「OpenFlow の活用により災害時における移動通信ネットワークの動的なソフトウェア制御を実現」，
http://jpn.nec.com/rd/innovation/feature/2013/11-openflow.html?，コンセンサス，2013 年 11-12 月号[6] 橋本直樹，廣津登志夫：「冗長経路を利用した OpenFlow 制御ネッ
トワークの自動構築」，
日本ソフトウェア科学会 第 15 回 インターネットテクノロジーワークショップ[7] 橋本直樹，廣津登志夫 「OpenFlow ネットワークにおける制御—6—