TBWG-07-09

JGN2plusを支える運用技術

情報通信研究機構大手町ネットワーク研究統括センター
招へい専門員 山本成一
短時間研究員 小林和真

ＪＧＮ２plus 大手町ネットワーク研究統括センターにおける研究開発

本発表での対象
総務省／NICT

インターネット・NGN分野の研究活動

新世代ネットワーク研究開発戦略本部
ＮＩＣＴ内の新世代ネットワーク分野の研究活動

海外 R&D NW

アプリケーション

ＮＷ仮想化

ワイヤレス

光ＮＷ

フォトニックＮＷ

・臨場感通信・時刻同期/配信・Five Nines
・User Opt-in 等

・コグニティブ
・有無線統合 等

・光グリッド・光パス統合・量子暗号・光パケット等

ＪＧＮ２plus 大手町ﾈｯﾄﾜｰｸ研究統括ｾﾝﾀｰ

新テーマ

研究テーマ 1

研究テーマ 2

研究テーマ 3

研究テーマ 4

研究テーマ 5

研究テーマ 6

研究テーマ 7

新世代ＮＷ
サービスプ
ラットフォーム
基盤技術の研究活動

新世代NW
サービス化
技術の研究活動

光パスNW
応用の研究活動

新世代NW
運用要素
技術の確立

国際間NW
における運用技術の検証有線・無線融合NW
プラットフォー
ム技術の研究活動

ネットワーク
制御基盤と連携するクラウドアーキテクチャ(下條,寺西)

(中尾)

(大槻)

(江崎、中山)(北村)(鶴)

テストベッドネットワーク運用一般の研究プロジェクト:１０６件

公募研究プロジェクト ８件(小林・山本)共同研究拠点 約１０カ所

1

National Institute of Information and Communications Technology

2010.12.3 NICTテストベッドWG

2

各研究テーマとの相互関係
新世代ネットワークサービス化技術の運用についての研究開発
センサー情報流通基盤

オーバレイネットワークＡ

オーバレイネットワークB

P2P/オーバレイ技術

コンソール(NW可視化、コントロール)

セッション制御技術
PCSCF

ICSCF

‥‥

Agent-ActTXNUser
TXN
Transport

DCNドメイン/DCN-Interドメイン
コントローラHOTARU

DCN:Dynamic Circuit Network

NW制御技術仮想ネットワーク実験環境Ａ

仮想ネットワーク技術

perfSONAR

仮想ネットワーク実験環境B

サービス/トポロジー検索

仮想化
ストレージ

計測実行/データ収集

vNode:仮想化ノード

仮想化ルータ+仮想化ネットワーク

sliversliverOpenflowsliversliver

光スイッチネットワーク

計測技術
管理仮想化ルータ
仮想ルータ
ドメインA

仮想ルータ
ドメインB

仮想ルータ
ドメインC

仮想ルータ
ドメインD

有線・無線融合ネットワーク
リレーノード光パス
WDM/光SW

ベースノードマルチパスNW

蓄積運搬

ベースノード2010.12.3 NICTテストベッドWG
National Institute of Information and Communications Technology

3

成果• 直轄系研究テーマ試験運用環境の展開サポート– DCN,PerfSONAR,OpenFlow,PIAX,センサネットワー
ク、仮想化ノード– 各テーマの特徴に応じた、 JGN2plus NWのカスタマイズ、トラブル対応等• 仮想化テストベッド環境の本格運用化– 設計、試験運用、実証実験を経て、JGN2plus NW上にて、本サービスとして運用中– 複数ユーザが利用を開始(テストユーザを除く)– ベンダへのフィードバック
2010.12.3 NICTテストベッドWG

4

運用メンバ• ネットワーク運用センター(NOC)– KDDI大手町２１Fに常駐– サービス化部分を担当• 利用申請に基づく設定（SO)• 監視、計画作業・障害対応• 計測データ提供• 特別研究員– 各研究組織、企業から参加 • 特別研究員,NOC– ボランティアベースでの活動– サービス改良等の議論– 未サービス化部分を担当– 特別な実験への対応• 新規サービスの開発• 試験運用サポート• 皆既日食中継• SC(SuperComputing)• さっぽろ雪まつり、など
2010.12.3 NICTテストベッドWG

5本年度のNOC作業状況• 11月30日までの累計– SO（サービスオーダー） 105件
– 障害対応 75件（国内61件、国際14件）• 回線障害• 機器障害• AP拠点障害
• その他

15+9件
19+0件
22+0件
5+5件

– 新サービス展開に伴う特別研究員からの技術移転• 管理仮想化ルータ、仮想化ストレージ

2010.12.3 NICTテストベッドWG

6

JGNプロジェクトの展開フェーズ
1999

…

2003

2004

2005

2006

2007

2008

2009

2010

201120122013(year)CRL (NICT)
1st Mid-term Plan
(2001.4-2006.3)

NICT
2nd Mid-term Plan
(2006.4-2011.3)

NICT
3rd Mid-term Plan
2011.4-To New Testbed(1999.4-2004.3)(2004.4-2008.3)(2008.4-2011.3)

2010.12.3 NICTテストベッドWG

2011.4-7

国内回線※1: Access Point※2: Internet Exchange※3: Partnership Access
Point(PAP)※4: Partnership Network(PNW)(PAP・PNWの利用内容（サービス・ 伝送容量等）は各運用機関との調整となります。)

下記情報ハイウェイ(※4)の各APからJGN2plusへの接続が可能です。
・岡山情報ハイウェイ・鳥取情報ハイウェイ
・いばらきブロードバンドネットワーク
・SuperCSIネットワーク

中国
[10G]
• 岡山(岡山市)• 広島基町(広島市)[100M]• ﾃｸﾉｱｰｸ島根(松江市)• ﾆｭｰﾒﾃﾞｨｱﾌﾟﾗｻﾞ山口(山口市)[1G]• 広島大学(東広島市)※3• 鳥取環境大学(鳥取市)※3• 広島市立大学(広島市)※3

北陸

北海道

[10G]
• 金沢(金沢市)• いしかわｸﾘｴｲﾄﾗﾎﾞ(能美市)[100M]• 富山県総合情報ｾﾝﾀｰ(富山市)• 福井ｽｰﾊﾟｰﾊｲｳｪｲAP※1(福井市)[1G]• 札幌(札幌市)

東北[10G]• 仙台(仙台市)• 東北大学(仙台市)[1G]• 岩手県立大学(滝沢村)• 山形県庁(山形市)[100M]• 秋田地域IX※2(秋田市)• 八戸工業大学(八戸市)• 会津大学(会津若松市)

近畿九州

[10G]
• 大阪堂島(大手町まで帯域40G)(大阪市)• 大阪大学(茨木市)• NICTけいはんな(精華町)[1G]• 京都大学(京都市)• NICT神戸(神戸市)[100M]• びわ湖情報ﾊｲｳｪｲAP※1(大津市)• 和歌山大学(和歌山市)• 大和路情報ﾊｲｳｪｲAP※1(奈良市)• 兵庫情報ﾊｲｳｪｲAP※1(神戸市)[10G]• 福岡(福岡市)• 九州大学(福岡市)[100M]• NetComさが(佐賀市)• 長崎大学(長崎市)• 豊の国ﾊｲﾊﾟｰﾈｯﾄﾜｰｸAP※1(大分市)• 宮崎大学(宮崎市)• 鹿児島大学(鹿児島市)• 熊本県庁(熊本市)

韓国

信越[100M]• 情報ﾌﾞﾛｰﾄﾞｳｪｲながのAP※1(長野市)• 新潟大学(新潟市)• 電算(長野市)※3

関東

JGN2plus/APII 回線

沖縄[1G]• 沖縄(那覇市)• NICT沖縄(恩納村)

四国[1G]• 高知本町(高知市)• 高知工科大学(香美市)※3[100M]• 愛媛大学(松山市)• 香川大学(木田郡)• 徳島大学(徳島市)

光テストベッド東海[10G]• 名古屋熱田(名古屋市)• 名古屋大学(名古屋市)[100M]• 岐阜大学(岐阜市)• 静岡県立大学(静岡市)• 三重県立看護大学(津市)■小金井-■大手町-□白山

JGN2plus
国際回線

米国

2010.12.3 NICTテストベッドWG

タイ

シンガポール[10G]• 大手町AP ※1(堂島まで帯域40G)(千代田区)• NICT大手町(千代田区)• NICT小金井(小金井市)• NICT鹿島(鹿嶋市)• 東京大学(文京区)[1G]• つくばＡＰ※1(つくば市)[100M]• 宇都宮大学(宇都宮市)• 早稲田大学本庄ｷｬﾝﾊﾟｽ(本庄市)• 麗澤大学(柏市)• 群馬産業技術ｾﾝﾀｰ(前橋市)• 山梨県情報ﾊｲｳｪｲAP※1(甲府市)• YRP(横須賀市)

中国

8

国際回線
GLORIAD(USA, Russia, China)

GEANT2(Europe)

CA*net4(Canada)

APAN(Asia)
UKLight(UK)

TEIN2(Asia, Europe)

KOREN(Korea)

CERNET(China)TokyoKR

PacificWave(USA)

CSTNET(China)UniNet(Thailand)

NLR
(USA)
HK

Internet2(USA)

MREN
(USA)

TransPAC2(USA)BKK

ThaiSarn(Thailand)

SURFnet(Netherland)

LA

SG

SingAREN(SingAREN)

AARNet(Australia)

US-JP line
: Tokyo-Los Angeles, 10Gbps
TH-SG-JP line : Tokyo-Singapore-Bangkok, 622Mbps
KR-JP line (APII) : Fukuoka-Busan, 10Gbps
HK-JP line
: Tokyo-Hong Kong, 2.4Gbps
2010.12.3 NICTテストベッドWG

9JGN2plus services(新規)仮想化テストベッドサービス
L3: IP接続

従来型
サービス

JGN2plus の利用者間、あるいは JGN2plus 利用者と他の研究用ネットワーク等との間をIPレベルでの接続を提供
IPv4/v6 dual stack, IPv6 Native (Full route)対応、全国主要APにコアルータ設置

L2: Ethernet接続- 拠点間接続ｻｰﾋﾞｽ：2つのｱｸｾｽﾎﾟｲﾝﾄ間を、VLANによるL2接続で結ぶサービス- 多地点接続ｻｰﾋﾞｽ：複数のｱｸｾｽﾎﾟｲﾝﾄ間を同一VLANによるL2接続で結ぶサービス
 ジャンボフレーム対応 (1G以上の区間)
国際回線

光テストベッド- 白山－(8芯)－大手町－(16芯)－小金井区間- 光伝送等の実験を行うためのサービス
米国

2010.12.3 NICTテストベッドWG

タイ シンガポール

中国

韓国

10

サービスネットワークの拡充• JGN2からのサービスメニュー拡充の必要性– 物理回線の縮小への対応• 日本海ルート廃止によりループ構成が不可能になった– 新技術への対応• アーキテクチャの継続≒5年前の技術– ネットワーク基盤から上位レイヤへの研究シフト

仮想化テストベッドサービス
管理仮想化ルータ

仮想化ストレージ

2010.12.3 NICTテストベッドWG

11

仮想化テストベッドサービス展開計画
2008(H20)年度
仮想化ストレージのJGN2plusでの展開
分散仮想化ストレージのJGN2plusユーザへのサービス化2009(H21)年度

2010(H22)年度

方式検討・
相互接続性評価
サービス化検討・
バックボーン拠点への分散展開

JGN2plusテストベッド上での仮想化ストレージサービス

委託研究向けトライアルサービス

管理仮想化ルータ技術とJGN2plusでの展開管理仮想化ルータのJGN2plusユーザへのサービス化

方式検討・
機能評価
実証検証・運用方式検討

JGN2plusテストベッド上での仮想化ルータサービス

異なる運用チームによる仮想化ネットワークの供用化

2010.12.3 NICTテストベッドWG

12仮想化テストベッドサービス概念図
VirtualInfra1

V-Router
1

VirtualInfra2User Data NW1

V-Storage
1

User Mgmt NW1

V-Router
2

User Data NW2

V-Storage
2

User Mgmt NW2NOC V-Router Mgmt NW
NOC V-Storage Mgmt NW
JGN2plus
Network

JGN2plus
NOC
2010.12.3 NICTテストベッドWG

JGN2plus
Physical Infra

13

管理仮想化ルータテストベッドの構成
NTT大手町、KDDI大手町、NTT堂島に設置

ハードウェア上に別のネットワークが仮想化されて同居．
従来型のルータと仮想ルータとの相互接続性も検証

外部にはVLANで基幹スイッチを介して接続

2010.12.3 NICTテストベッドWG

14

仮想化ストレージテストベッドの構成「おかやまネットワーク技術センター」,NTT大手町、NTT堂島,NICTけいはんな,NTT岡山に設置
ハードウェア上にハイパーバイザー型仮想マシンを必要に応じて作成

JGN2plus
基幹スイッチ経由で拠点間を接続

仮想ストレージ製品を複数台設置．
Ethernetスイッチ，FCスイッチ，Ethernet/SANスイッチなどで仮想マシン側と接続

2010.12.3 NICTテストベッドWG

15実利用例) APAN-JP
osa-crs1
tyo-crs1
VLAN1374

notegs4k-1

ndojimags4k-1

VLAN1373

nnagoyags4k-1
VLAN1375

kotegs4k-1

VLAN1372

MS7

VLAN36

tpr5
tyo-t1600
2010.12.3 NICTテストベッドWG

jm-e600

16

StarLight

Solar Eclipse 2009 Network Topology
20Wuhan

CNGI-6X
Beijing

3ShanghaiKISTI

CNGI-6X
HongKong

4

CNGI-6IX

2

kreonet2
HongKong

JAXA traffic
1: 10Mbps
2:6Mbps
3:6Mbps

URCF traffic
1: 35Mbps
9: 1.6Gbps
17: 35Mbps
2: 100Mbps 10: 1.6Gbps
18: 35Mbps
3: <deleted> 11: 20Mbps
19: <deleted>
4: <deleted> 12: 35Mbps
20: <deleted>
5: 20Mbps 13: 100Mbps
21: <deleted>
6: 35Mbps 14: 100Mbps
22: <deleted>
7: 100Mbps 15: 20Mbps
8: 6.5Gbps 16: <deleted>

SINET

APII2218

IIJ

3

SINET
Dojima31AmamiSINET
Tokyo 541Internet
93

WIDE

JAXA

WIDE
NAIST

NAOJ 5Mitaka

WIDE
19623Stream
Company(Orderedby NICT)
N-Otemachi

112
NAOJ

12NAIST
3WIDE
N-Otemachi

161718101

NAOJ
N-Otemachi

23

JGN
NOtemachi

145

管理仮想化ルータ
T-lex
N-Otemachi(20G)

JGN2plus

ABC

17ABC

2Amami
Park2(20G)

Amami
City
network

1WIDE
KOtemachi

4Ikebukuro
Sun Shine

Naze

ATM
135Mbps

GEMNET
MusashinoJGN
KOtemachiInternet

WIDE
DojimaKagoshima-u

1

NTT-LabMusashino

GEMNET
NOtemachi(20G)

Nakanoshima

GEMNET

JGN
Sendai62

TamaRokuto

SINET3

GEMNET
Yokosuka

APAN-JP
KOtemachi

1

B-Flets
Premiumtoshimavillage
network

1

APAN

JGN
Koganei

1

JGN
Tsukuba

JGN
Tohoku-U

APAN-JPJGN
Kashima

NTT-Lab
Yokosuka

TEIN2
B-Flets
Premium

T-lex
Seattle7

Tsukuba
Expo
CenterSendai18
NTT-dynamic traffic
1: 6.5Gbps
2: 1.6Gbps
3: 1.6Gbps
4: 1.6Gbps
5: 1.6Gbps

Kyushu-u

MegaAccess
Kagoshima-u

Canberra

5682SINET
Kagoshima

AARnetkreonet2
SeattleJGN
DojimaJGN
Kagoshima

Amsterdam

GEANT 19

JGN
Okayama
JGN
Fukuoka57

Kreonet2

kreonet2
DaejeonInternet219

Okayama
Joho-HW

5

JGN
LosAngels

181
Io-tou6(L2 Switch)
HongKong

仮想化
ストレージ
＠岡山

1

Kagoshima-u

KISTI

L!U traffic
1: 10Mbps
Okayama v6 traffic
1: <deleted>
2: 30 Mbps (mcast)

WINDS

JGN
ChicagoNetherLight

IRNC

ChicagoCUHK
HongKong

DMC traffic
NAOJ traffic
1: 90Mbps
9:5Mbps x2 17: 200Mbps?
1: 25Mbps x 4
2: 200Mbps 10: 150Mbps
18: 30Mbps x3(mcast) 2:6Mbps x 3
3: 400Mbps 11: 150Mbps
19: 30Mbps x3(mcast) 3:6Mbps x 3
4: 350Mbps 12: 650Mbps
20: 350Mbps
4: 2.5Mbps
5:1Gbps 13: 80Mbps
5:6Mbps x n
NAIST/ABC
6:1Gbps 14: <deleted>
6: 2.5Mbps x mtraffic
7: 200Mbps 15: <deleted>
1: 6.5Gbps
8: 200Mbps 16: 200Mbps?
2: 1.6Gbps
3: 4Mbps

Ogasawara

KISTI
DaejeonLast modified
at 2010. 7. 30 17:50 JST
by yama@wide.ad.jp

2ABCannex

DMC team

JGN
Nagoya4 1
1 2 5 72 3
1012 35 9 12 14611 13 15(20G)

sourceJGN
Wakayam
a15JGN
Keihann
a14 1213 11
Keihannaplazareceiver
1810Gbps

17(xx)
Wakayama-u
2010.12.3
NICTテストベッドWG

(xx)

1Gbps
XXMbpsNAOJ team
URCF team
L!U team
JAXA teamOkayama IPv6
consortium teamNTT dynamic-NW
NAIST/ABC

10

1 3 5
20 2 49KEIO
UNIV 12Keio
KMD

17167 10 96 8 11Keio
DMC

1312KEIOKeio
K21317

2010.12.3 NICTテストベッドWG

18JGN-Xでの展開• 直轄系研究テーマの本格サービス化へ向けた展開サポート• DCN,PerfSONAR,Openflow,仮想化ノード,PIAX• 仮想化テストベッドサービス運用の効率化• 各種サービス連携時の課題抽出と統合管理モデルの検討

X-Sensor

MultI-WSN Testbed

Sensor
Application PF

Sensor NW
Test-bed

Researcheson Overlay NW

Ubiquitous
Service PF

JGN-X Virtual Network & Storage Test-bed

DistributedApplications,Sensor network

Multiple Overlay
Distributed Data
Processing
Traffic
Measurement
Virtual Storages
Virtual Networks

JGN-X Test-bed
2010.12.3 NICTテストベッドWG

19