情報・システム研究機構シンポジウム2013発表資料

災害からの早期復旧を目指した
レジリエント情報通信ネットワーク
2013年12月17日
国立情報学研究所(NII)
山田茂樹(shigeki@nii.ac.jp)
National Institute of Informatics

講演内容
１．バックボーンネットワークとアクセスネットワーク

２．学術情報ネットワーク
SINETの役割

情報通信ネットワーク

３．レジリエント・バック
ボーンネットワーク

４．レジリエント・アクセス
ネットワーク

2

National Institute of Informatics

バックボーンネットワークとアクセスネットワーク(1)
インターＣ
ネット
中継ノード

バックボーン
ネットワーク他のバックＣ
ボーンネッ
トワーク

バックボーン
回線

アクセス
ノード

アクセスノード
アクセスノード

無線

アクセス
ネットワー
ク

有線
アクセス回線
有線

無線

National Institute of Informatics

バックボーンネットワークとアクセスネットワーク(2)• バックボーンネットワーク– 大規模な通信ネットワークにおいて、集線装置間や拠点間、あるいは事業者間、国家間などを結ぶ大容量の通信回線網– 光ファイバによる有線回線が採用されている場合が多い。
– 通常、各ISP （Internet Service Provider)等が構築。
– ISP間の相互接続ポイント、インターネットへの接続ポイントを有する。
– 広域エリアをカバーし、予備回線や迂回ルート等、高信頼化が図られている。
– その結果、大規模災害でもバックボーンネットワークの一部は生き残ることができる。
– NIIが構築運用する学術情報ネットワークSINETも基本的にはバックボーンネットワークの一つ。

• アクセスネットワーク– バックボーンから個々の機器・端末あるいは利用者・加入者などを結ぶネットワーク– 銅線（メタル・ケーブル）や光ファイバの有線系ネットワークと，無線LANやFWA（fixed wireless access）など無線系ネットワークがある。
– 小地域をカバーし、代替ルート等を持たない／少ない場合が多い。
– 最も単純な構成は、予備回線を持たない単一アクセス回線
4
National Institute of Informatics

学術情報バックボーンネットワークＳＩＮＥＴ4 NWの高速化：
ネットワーク構成の見直しや光ファイバ＋WDM技術などにより経済的に高速化
 エッジ高安定化：
エッジノード・コアノードを全てデータセンタへ設置
 格差の解消：
ノード未整備県の解消、非ノード校のアクセス系の経済的高速化（共同調達）
 サービスの多様化： SINET3のアーキテクチャを継承し、リソースオンデマンド機能等を強化・拡張
 上位レイヤ展開：
上位レイヤサービスを支援するインタフェースやサービス共通プラットフォームを整備
上位レイヤサービス
ﾘｿｰｽｵﾝﾃﾞﾏﾝﾄﾞ機能、ｻｰﾋﾞｽ共通ﾌﾟﾗｯﾄﾌｫｰﾑ、等
コアノード（エッジ機能含む）

バックボーンネットワーク(SINET4)

コア回線（40Gをベース）

8拠点(ﾃﾞｰﾀｾﾝﾀ)

エッジ回線（2.4G～40G）

光ｱｸｾｽ網等

29拠点+ 13新設県(ﾃﾞｰﾀｾﾝﾀ)

エッジノードアクセスネットワーク

アクセス回線（1G～40G）

加入 加入
機関 機関

光ファイバ
＋WDM技術

加入 加入
機関 機関

加入機関

加入機関

加入機関

加入 約700拠点
機関 （ﾕｰｻﾞ拠点）© 2013 National Institute
5 of Informatics

SINET4運用開始(2011年4月）後の増強
 東京－大阪間に40Gbps追加、東京－札幌間を10Gから40Gに増速
 残りのノード未設置県（9県）を整備
 ワシントンD.C.向け10G回線を追加、シンガポール向け2.4Gから10G回線に増強
九州工業大学

鳥取大学

弘前大学

松江

長崎大学
岡山大学
熊本大学

北見工業大学北陸先端科学技術大学院大学

九州大学

広島大学

山形

金沢大学

福井大学

東北大学

山口大学

大分大学

秋田 盛岡

富山大学

郡山

金沢

広島

博多

北海道大学

仙台札幌

鹿児島大学
Los Angles

Washington D.C.
琉球大学

New York
宮崎 佐賀JPNAP
JPIX

東京

大阪

名古屋

奈良

大津高知

JPNAP

和歌山

愛媛大学

大阪大学

徳島大学

関西大学

JPIX

Singapore

津

JAEA東海研究所

静岡大学

名古屋大学

物性研究所

国立遺伝学研究所

自然科学研究機構（岡崎）

東京大学

香川大学

筑波大学

宇都宮

高エネルギー加速器研究機構

東京工業大学

京都大学

神戸大学
高輝度光科学研究センター

慶應義塾大学

神岡宇宙素粒子施設

横浜国立大学同志社大学

海洋研究開発機構
ＪＡＸＡ宇宙科学研究所

信州大学

ＮＩＩ一ツ橋医科学研究所

群馬大学
山梨大学

国立天文台
電気通信大学：エッジ・コア回線（40Gbps）：エッジ・コア回線（10Gbps）：エッジ回線
（2.4Gbps）：コアノード（ﾃﾞｰﾀｾﾝﾀ)：アクセス回線：エッジノード（新設県；ﾃﾞｰﾀｾﾝﾀ）（10～40Gbps）

新潟大学

早稲田大学

核融合科学研究所：エッジノード（ﾃﾞｰﾀｾﾝﾀ）

埼玉大学

東京農工大学
理化学研究所

統計数理研究所
ＪＡＸＡ総合技術研究本部

千葉大学
ＮＩＩ千葉分館© 2013 National Institute of Informatics

6

国際連携による共同研究の支援
 国際的な先端共同研究プロジェクトを、SINETの日米回線（合計帯域30Gbps）やアジア回線（10Gbps）を用いて、国際パートーナ（Internet2, GÉANT, TEIN等）と連携して支援
LHC（高エネルギー；スイス）

ITER（建設中；核融合；フランス）

図は一例のみ示す： International line (10 Gbps)： SINET node
NORDUnet

Bell II（米国連携ｻｲﾄ）

SURFnetCAnet4
CalREN
Osaka Tokyo

Pacific
Wave

eVLBI （天文；各国）

New York
ESnet

Internet2

Los Angeles

GÉANT

MANLANRENATERWIX

Washington DC

Osaka Tokyo

TEIN4
TWAREN

Singapore
RedCLARA
ALMA（天文；チリ）

REUNA

AARnetSantiago（構成は平成25年4月時点）© 2013 National Institute of Informatics

7

SINET利用例 － ＨＰＣＩ
 計算科学研究機構や情報基盤センターなどのスパコンやストレージをSINET4を用いて共同利用
 認証基盤の整備についてもNIIが中心的な役割を担当
 平成24年9月末より本格運用開始
HPCI: High Performance Computing Infrastructure

K computer (11.28 Pflops, 1.27PB)

北海道大学

計算科学研究機構
九州大学

京都大学

東北大学
： 計算資源提供機関

筑波大学
名古屋大学
大阪大学

海洋研究開発機
構東京大学
東京工業大学© 2013 National Institute of Informatics

8

SINET利用例 － 遠隔授業・講義
 安定した遠隔授業の実施を実現し、また、単位互換制度の推進の一役も担っている。
 例えば、全国18の国立大学にまたがる連合農学研究科を結ぶ遠隔講義、北陸地区の大学間での双方向遠隔授業、琉球大学等での海外大学との遠隔講義、などの実施を支援

東京農工大を基点とした多地点遠隔講義

北陸地区での遠隔授業© 2013 National Institute of Informatics

9

SINET利用例 － 高エネルギー研究 小林・益川理論の検証を目的としたBelle実験において、 KEKのBelle測定器から出される膨大なデータを連携大学に転送あるいは大学から直接データにアクセスし、並行解析を実施
 スイスの大型ハドロン衝突型加速器 (LHC) における高エネルギー陽子衝突の反応を記録する
ATLAS測定器から、国際回線を通じて約4Gbpsの超大容量のデータ転送を実施中
提供： 高エネルギー加速器研究機構『CP対称性の破れ』『ヒッグス粒子』

膨大な実験データを各大学においてリアルタイムに並行解析
KEK筑波実験室
Belle測定器

400GB～1TB/日のデータが発生

SINET L3VPN
大阪大学
理学部
名古屋大学
理学部

東京大学
理学部

Belle実験

東北大学
理学部

東京工業大学
理学部

Belle IIが2015年より運用開始

ATLAS実験@CERN© 2013 National Institute of Informatics

10

SINET利用例 － 地震研究
 全国各地の地震観測データを高優先機能とマルチキャスト機能を用いて各拠点に安定的に配信し、最先端の地震研究を支援 （約1300の観測点の地震データが流通）。クラウド機能の活用を検討中。

気象庁・防災科研

北大

東大地震研

提供： 東京大学地震研究所

弘前大
海洋研究開発機構

広島大学

東北大
長崎大学

名大
京大防災研

九州大学
鹿児島大
地震データ集配信装置
構内専用光／VLAN
NTTフレッツグループ

金沢大

高知大

JDXnet

震研和歌山
震研広島© 2013 National Institute of Informatics

11

SINET利用例 － 核融合研究 大型ヘリカル実験装置（LHD）や新実験装置（QUEST）からのデータをVPNを用いてセキュアに転送
 ITER遠隔サイト（六ヶ所村）がオープンし、EUファンドのスパコンが設置済みで利用開始
LHD遠隔実験参加

スーパーコンピュータ遠隔利用

H14年度

H17年度

提供： 核融合科学研究所

H30年度
ITER国際共同研究

全日本ST研究
LHD

東京大学
京都大学

Large Helical Device（核融合研）
L3VPN/VPLS

ITER実験データ

ITER遠隔サイト（六ケ所村）QUEST実験データ

九州大学

LHDデータ収集システム
LABCOM（核融合研）

核融合研より全国の大学・研究機関へ

球状トカマク実験装置
QUEST（九州大学、H20年度稼働）

全国の大学・研究機関へ

ITER（フランス）© 2013 National
Institute of Informatics

12

SINET利用例 － 天文研究
 ユーザ要望によりNIIで独自開発したL1オンデマンド機能を用いて、指定した日時だけ、任意の電波望遠鏡と国立天文台間を接続し、大容量の観測データを転送
 SINET4では、帯域8.4Gbps/電波望遠鏡（最大値）で観測を実施

提供：国立天文台

苫小牧11mCelestial object

北海道大学

山口32m

8.4Gbps

SINET L1OD
山口大学

任意の時間帯で自由に対地を選択可能

8.4Gbps

8.4Gbps
核融合科学研究所

岐阜大学11m

8.4Gbps

国立天文台
(三鷹)

オンデマンド回線
アクセス回線撮像された準星

高エネルギー
加速器研究機構

国土地理院
つくば32m© 2013 National Institute of Informatics

13

SINET利用例 － ALMA
 東アジア（日本が主導）・北米・ヨーロッパ・チリの協力で、チリのアタカマ砂漠に66台の高精度アンテナを設置し一つの超性能な電波望遠鏡を形成。16台による初期運用が2011年9月30日から開始
 観測データは、日米欧の3つのアルマ地域センタに転送され、ミラーアーカイブ。東アジア地域センタ（国立天文台）へは、REUNA, RedCLARA, Internet2, SINETを介して観測データを転送。
提供：国立天文台

ALMA: Atacama Large Millimeter/submillimeter Array

SINET

（観測例）

SINET
Tokyo

NewYork

LosAngeles

赤色巨星のまわりに不思議な渦巻き構造を発見

AtlanticWave

PacificWave

TijuanaCredit: ALMA (ESO/NAOJ/NRAO)

Miami

R Sculptoris
Panama

ALMA Artist’ s View

RedCLARA

アタカマ砂漠（標高5000m）
REUNA

SaoPauloSantiago© 2013 National Institute of Informatics

14

SINET利用例 － 測地研究 国際回線を通じてヨーロッパ各国や米国等との間で電波望遠鏡の観測データを送受信し、地球上の経緯度の基準の決定やプレート運動などの地殻変動検出、地球の自転の振る舞いや天球上での電波星の位置の調査を実施
 現在400Mbps程度の帯域で観測を実施
提供： 国土地理院© 2013 National Institute of Informatics

15

SINET利用例 － 国際遠隔医療 ハイビジョン映像（帯域は約30Mbps）を用いて、内視鏡を用いたライブ手術やカンファレンスなどを、アジア各国（26か国・126機関）と実施
 今後は、北米・中南米・ヨーロッパ・アフリカとの連携や遠隔診断への応用を進める予定
提供：九州大学・清水周次先生

手術室

手術画像

日本側：九州大学

韓国側：国立ガンセンター© 2013 National Institute of Informatics

16

SINET利用例 － 超臨場感メディア装置の開発
 広帯域の通信環境を用いて、高臨場感や超臨場感を与えるメディア装置の開発を実施• 例：地理的に離れた人々が同じ部屋にいる感覚（同室感）を共有するビデオシステム（t-Room）の開発
帯域300Mbps(8台分のHD Video、音声、制御信号)で通信。
提供： 同志社大学ルーム 2ルーム 1NTT
厚木

“モノリス” モジュール:ルーム 3

側面図 (左)および 正面図(右)HDV カメラ

195 cmPCNTT CS研（京阪奈）

同志社大

142 cm65” LCD パネル
有効画面サイズ:
142 cm x 80 cm

47 cm

SINET L1OD

通路

モノリス

3m65” LCD パネル

HDV カメラ© 2013 National Institute of Informatics

17

SINET4の高信頼化設計
 SINET4では、以下の設計・構築ポリシーにより、高信頼化を実現(1) 全ノードのデータセンターへの設置（安定した給電と耐震性を確保）(2) 全回線の異経路二重化（現用系と予備系）(3) 中継ノード間での迂回経路確保(4) 論理サービスネットワーク（ｲﾝﾀｰﾈｯﾄ, L3VPN, L2VPN, L2OD, L1OD）毎の高速迂回機能実装(3) 迂回経路(4) 論理サービスネットワーク毎の高速迂回機能(2) 二重化回線
中継ノード(1) データセンタ中継ノード• 非常時に10時間以上の無給給電• 阪神・淡路大震災
レベルへの耐性ノード© 2012 National Institute of Informatics

SINET4の被災状況（回線） 異経路二重化回線と迂回経路のおかげで、全エリアで通信経路を確保• ７回線の現用系が切断。仙台－東京間、仙台－金沢間は予備系も切断（＝回線断）• しかしながら、すべてのエリアで迂回経路を確保でき、東北エリアは孤立を回避 サービス毎の迂回機能は、確保できた通信経路へ即座にトラフィックを迂回

： 現用系

： 現用系
： 予備系

札幌

： 現用系

札幌

： 現用系
： 予備系

弘前

弘前

金沢

山形

仙台

金沢

山形
郡山

郡山

地震前
東京

仙台
震源

地震後
東京
© 2012 National Institute of Informatics

SINET4の役割と将来
 文科省からの予算で日本の700以上の大学、研究機関等を接続する情報通信ネットワーク
 学術研究・教育の生産性や質の向上、新しい未来価値や知的ブレークスルーの創出を支援
 2016年度に次期SINET運用開始予定。引き続き、SINETへの御支援と御協力をお願いします
電波望遠鏡

核融合実験装置

高エネルギー実験装置

スーパーコンピュータ

研究教育
クラウドなど

LHC

ITER
(建設中)

電波望遠鏡

GENAT2 （欧州） 等
TEIN3 （アジア・欧州）
Internet2 （米国）

地震観測器

海外商用ネットワーク

SINET(Science Information NETwork)

大学LAN

ユーザ

研究機関LAN

サーバ
ユーザ

大学

GW
(IX)

ユーザ

国内商用ネットワーク

LAN

コンピュータ
ユーザ

企業等

研究機関
© 2012 National Institute of Informatics

レジリエントネットワークの必要性•

大災害や社会危機などのクライシスには、復元力(レジリエンス）の強い社会・生活空間を構築するため，根本から見直した新たなアプローチが重要。

••

日本学術振興会「クライシスに強い社会・生活空間創成研究プロジェクト」先導的研究開発委員会で議論：レジリエントネットワークは、重要な研究開発課題の一つ
レジリエンスの（我々の）定義– 絶対ダウンさせないという考え方でなく、ダウンしても，復元力(レジリエンス）を持って早期に回復すると言う考え方
バックボーンネットワークのレジリエンス•– 障害時に、ダウンしている回線／ノードから機能している回線／ノードに高速に切り替える技術が基本（ネットワークの部分修復）– SINET4では固定バックアップルートへの切り替えである程度のレジリエンス化は実現。しかし、ユーザにサービスレベルの無瞬断を提供するには、更なるレジリエンスの向上が必要。
アクセスネットワークのレジリエンス•– 障害時、全ダウンの可能性。修復よりも、新たに別なアクセスネットワークを迅速に構築する技術が重要（別ネットワークの早期構築）。
– 災害時にも、ユーザに平常時から使い慣れたネットワーク環境を提供することが望ましい。

21

National Institute of Informatics

レジリエント・バックボーンネットワークの研究
バックボーンネットワーク

回線障害

SDN/OenFlow
技術

瞬時切替

サーバ仮想化技術

クラウドサーバ群

マイグレーション

バックアップ系クラウドサーバ群

サーバ障害
National Institute of Informatics

レジリエントバックボーンネットワークの実現法•••

SDN (Software DefinedNetworking)/OpenFlow技術の活用
SDN:集中化したプログラム(Controller)によってネットワーク全体の制御を行うアーキテクチャOpenFlow: Controllerとネットワーク機器の間のプロトコルとインタフェース•

レジリエンス向上手法：通常は回線をマルチパスで負荷分散、回線障害時にはOpenFlowで正常パスの回線に瞬時切り替える。

•

リンクレイヤとトランスポートレイヤの２種類の方法で実現•

最終的目標はサーバ／コンピュータシステムと連動してサービスレベルでの無瞬断化

SDN Architecture

23
National Institute of Informatics

トランスポートレイヤでの実現：MPTCP (1)• MPTCP: Multi Path TCP (TransmissionControl Protocol)• IETF (Internet Engineering Task force)で2013年1月に標準化• 目的はリソースの最大限の活用とパスの冗長化。IPv4, IPv6対応• 従来のアプリケーションは変更せずに使用可能：アプリケーションのデータフ
ローが複数のサブフローに分割される• 各サブフローは一本のTCPフローと類似の動作：エンドツエンドでパス管理、輻輳制御、負荷分散• 我々のアプロ―チ：複数パスへの分散とパス間切り替え制御をOpenFlowで行う
24
National Institute of Informatics

トランスポートレイヤでの実現：MPTCP (2)• パスの冗長化：いずれかのパスがダウンしても他のパスには影響しない。
25
National Institute of Informatics

リンクレイヤでの実現：Group Table••

OpenFlow 仕様のGroup Table機能（複数のポートをグループ化して処理を定義）を活用。
Fast Failover Group機能
スイッチポート障害時に グループ内の別なポートにパケットを送出する機能
バックアップパス(Path2)用のポート(SW1-Port3)をSW1のFast Failover Groupに所属させる
正常時：入力トラフィックは正常パスPath1 (SW1のPort1→Port2)を通過
Path1障害時にはFast Failover Group機能により、入力トラフィックがバックアップパスPath2(SW1のPort1→Port3)に迂回される：実証的に確認済み– バックアップパスは通常時、不使用なので、ネットワーク使用効率が悪い––––•

Select Group機能–

通常は複数のパスでトラフィックを運ぶ。障害時、障害パスのトラフィックを他のパスに迂回。

– Path1とPath2の同時並行使用（負荷分散）しながら、Path1障害時に、他の使用中回線（Path2）に迂回させる。Fast Failover Group方式より更に高速に迂回できることを実証的に確認済み
26
National Institute of Informatics

レジリエントアクセスネットワークの研究
バックボーンネットワーク

アクセスネット
ワーク

移動通信事
業者のアクセスネット
ワーク

無線LAN
アクセスポイント無線１ホップ代替

WiFi無線LAN
アクセスポイント無線
マルチホップ

代替

届かない

被災地

使えない

孤立した被災地から、インターネットアクセスができるようにする。
被災者が平常時に使用のPC、スマートフォン等を用いて平常時に使用のアプリケーション（Web メール、Web 閲覧、SNS等）がそのまま使えるようにする。
National Institute of Informatics

レジリエントアクセスネットワークの実現方法
無線LAN
アクセスポイント

•(N1)
(N2)

無線
マルチホップ•(N3)

マルチホップ仮想化– 距離制限のあるシングルホップのWiFi（無線LAN)アクセスポイントをマルチホップ接続に拡張し、物理距離を拡大– 近隣のWiFiアクセスポイントまでのネットワークをPC等を使って迅速に構築し、インターネットア
クセス– マルチホップをシングルホップと同程度の操作性で実現できるようにする実現技術– 無線仮想化技術：1つの無線インタフェースカー
ドを時分割で複数の無線リンクとして使えるようにする仮想化技術– ソフトウェアによる無線LANアクセスポイント機
能（親機）＋端末（子機）機能：PCやスマートフォ
ンに本ソフトウェアを搭載– 木構造ネットワーク：各端末がアクセスポイントとなって周辺の複数の端末を収容して木構造ネットワークを構成
National Institute of Informatics

木構造アクセスネットワーク
数10m-100m
数10m-100m
数10m-100m
無線仮想化技術（ソフトウェアで実現）１つのPCでアクセスポイント機能と端末（ステーション）機能の実現（ソフトウェアで実現）木構造アクセスネットワーク（簡単なルーチングをソフトウェアで実現） 29
National Institute of Informatics

予備実験結果(1)•ホップ数が増えるほど，木構造末端（葉の位置）のノードの転送性能が大きく低下．
30
National Institute of Informatics

予備実験結果(2)(岩手県立大学と協力）

1000Min_Delay
Avg_Delay

800
600
4005040302010200060

Max_Delay
Data dropped (%)

Round trip delay (ms)1200

Number of hops
1 2 3 4 5 6 7 8 9 10 11 12 13 140

Number of hops
1 2 3 4 5 6 7 8 9 10 11 12 13 14

以下の条件でインタネットアクセスが可能であることを実証
PC間50m間隔で14ホップ (アクセスネットワーク延長距離：約700m)まで
PC間100m間隔で10ホップまで(アクセスネットワーク延長距31離：約1000m)まで
National Institute of Informatics

まとめ•

•

•

•

レジリアントネットワークの研究：災害でネットワークの一部がダウンしても，復元力(レジリエンス）を持って早期再構築を行い，サービス／アプリケーションレベルで、できる限り停止させない
レジリエントバックボーンネットワーク– SDN/OpenFlow技術の活用– 通常は回線をマルチパスで負荷分散、回線障害時に正常パスの回線に瞬時に切り替える方式を検討中
レジリエントアクセスネットワーク– マルチホップ仮想化：WiFiアクセスポイントをマルチホップ接続– 被災地で近隣のアクセスポイントまでのネットワークをPC等を使って迅速に構築し、インターネットアクセス– 本機能を実現するソフトウェアを研究開発中。フリーウェアとして公開予定。
ネットワーク仮想化技術とサーバ仮想化技術（クラウド）を合わせて、エンドツエンドでレジリエントネットワークの実現を目指す。
32
National Institute of Informatics