サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

スーパーSINETとその活用
ー高エネルギー物理での期待とそのための環境整備ー

on 2001.10.31
at SS研システム技術分科会
高エネルギー加速器研究機構計算科学センター
苅田 幸雄
Yukio.Karita@KEK.JP

目次
1. スーパーSINET
2. HEPnet-JのスーパーSINET利用
3. KEK LAN
4. KEKでのスーパーSINET対応環境整備

1

サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

学術情報網• SINET– 大学および共同利用研に一般的な接続性を提供• スーパーSINET（来年１月から）– 共同利用施設の高度利用へのインフラ提供– 共同利用研、（旧）大計センター

2

サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

スーパーSINET• 「先端的学術研究の高度な支援」を目的– 学術研究の国際競争力を向上– 高エネルギー，遺伝子情報，ナノ材料科学，宇宙・天文観測，GRIDの５分野を重要分野とする（但し、ナノ材料科学は平成１５年度から）• 日本新生特別枠として５年計画を承認– 平成１４年１月稼動開始– 稼動開始時のノードは、東北大，KEK，東京大（本部および医科研），天文台，宇宙研，遺伝研，名古屋大，核融合研，京都大（本部および化研），大阪大，およびNII– 北大，筑波大，岡崎機構，九州大，等は平成１５年度（再来年度）の予定 ? 平成１４年度？

スーパーSINETの調達• 来年１月に稼動開始。
• 現状ではtariffが存在しない光ネットワークを使うので，NII，ノード機関，通信事業者の共同研究という形で実現する（４年間）。４年目以降はtariffを適用。
?
日本テレコムが落札

3

サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

スーパーSINETの構成• 10GbpsのIPバックボーン• 重要分野に対し、関係する機関間にGigaEther（GbEあるいは10GbE）＝ 光クロスコネクトによるGigaEtherブリッジ• フォトニックネットワーク• 構成機器– OXC• Lucent• Calient– ルーター
• Cisco GSR

高エネルギー物理参加機関•高エネルギー加速器研究機構（KEK、筑波）•東京大学／大阪大学／名古屋大学／東北大学／京都大学各理学部•核融合科学研究所（NIFS、土岐）•等

GigaEtherブリッジ

KEKNIFS

京都大学
理学部

大阪大学

名古屋大学

東京大学

東北大学

理学部

理学部

理学部

理学部

１０G IPバックボーン

4サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

GRID
参加機関
•東北大学大型計算機センター•東京大学情報基盤センター•名古屋大学大型計算機センター•大阪大学サイバーメディアセンター•京都大学大型計算機センター•等

GigaEtherブリッジ
名古屋大学
東京大学

大阪大学

東北大学
京都大学

１０G IPバックボーン

光回線の物理構成• 東京、名古屋、大阪の３ヶ所にOXC（全光クロスコネクト）を置き，そこから（論理的には）スター接続とする。OXCは通信事業者の局舎内に置く。
• ノードの停電および障害は他に影響しない。
• OXCから各ノードへは、SuperSINETルーターを接続する10Gbps（IP）
が１回線と、GigaEther（or 2.4G）がn回線。
• このアクセス線は、OXCを活用できるよう光ファイバを多芯で用いることを目指した（i.e.一つのOXC配下のノード間では終端間の光ファイバとして見えるよう：速度独立、フレーム独立）が、この当初からの実現はできなかった。
– 終端間光ファイバと見えるよう段階的に実現して行く。
– 最終的にはOXCをまたがった場合も終端間光ファイバと見えるように。

5サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

スーパーSINET光回線構成
札幌
筑波
KEK
宇治

京都

吹田

名古屋

１：2

１：6

１：4
豊中

１：2

岡崎

１：6

筑波
１：9

１：2
１：2

名古屋

三島

1：9

１：0

１：1

東京
東京
XC
XC

１：4

千葉

１：0
一ツ橋

１：5
１：9

福岡

柏

0：2

１：2

XC

大阪
XC

0：1

仙台

土岐

相模原

１：8
１：2本郷三鷹
凡例

目黒

１０GIP 数 : GigaEther (or 2.4G) 数

SuperSINET
2002.1.1
NIFS

IP
WDM path

Nagoya UNIG

IP router
Nagoya Hub

OXC

Tohoku U

Osaka U

Osaka Hub

KEK

Tokyo HubNII Chiba
Kyoto U
NII
Hitotsubashi

ICR
Kyoto-UISAS

U TokyoInternet
NAO

IMS
U-Tokyo6サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

SuperSINETノード

SINET ノード

ＤＷＤＭ
ATM 交換機(NS8000)

OC192c
10GbpsGigaEtherPorts

SuperSINET
routerGｂE
GｂE/FastEther SW

GｂE
OC192c 10G
OC48c 2.4G

研究分野ごとの接続

FastEther

GigaEther 多重化装置

SINET router

加入機関接続

ノード機関
router
GigaEther 多重化装置

スーパコンピュータ

研究用ＷＳ

GigaEther 多重化装置

研究用ＷＳ

SuperSINETルーター• 各ノード機関内に設置のSuperSINETルーターは、上流側はOC192c POS（10Gbps）でXC設置のルーターに繋がる。
• 下流側のインタフェースは，OC192c POS（10Gbps），OC48c POS（2.4Gbps），GbE, FastEtherの４種。
– POSはPacket over SONET。

• SINETルーターとの接続はFastEther。
• 当面の間，加入機関の接続は従来通りSINETルーターであって，SuperSINETルーターではない。

7

サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

GigaEther• 当初はGbE、後年度に必要に応じ10GbE。
• 研究分野毎の接続用で，ルーターを介さない高速接続の用である。
• 各ノード機関は該当研究分野の場所までGigaEtherを延ばせるように準備する。ただし、必要な場合はスーパーSINET側でGigaEther多重化装置を用意する。

高エネルギー物理（HEP)でのスーパーSINET利用• HEPnet-J• 各大学のHEP研究室とKEKを結び、HEP各実験の測定器開発、解析プログラム開発などの実験準備、実験データ解析、論文作成、等々に使われている。

– 従来からのHEPnet-J– スーパーSINET 10G IPバックボーンのMPLS-VPNを用いて従来からのHEPnet-Jの環境（AS2505、IPアドレス、トポロジー、等々）を維持する。

– GigaEtherブリッジ– 特に大規模な実験グループについて、KEK内のグループ用VLANを各大学のHEP研究室まで延長する。

8サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

高エネルギー物理での帯域需要
Projection (Mbps): ICFA-NTF (1998)
1998

2000

2005

BW Utilized Per Physicist(and Peak BW Used)

0.05 - 0.25
(0.5 - 2)

0.2 – 2(2-10)

0.8 – 10(10 – 100)

BW Utilized by a UniversityGroup

0.25 - 10

1.5 - 45

34 - 622

BW to a Home Laboratory Or
Regional Center

1.5 - 45

34 - 155622 - 5000

BW to a Central Laboratory
Housing One or More MajorExperiments

34 - 155

155 - 622 2500 - 10000

BW on a Transoceanic Link

1.5 - 2034 - 155622 - 5000

ICFA-NTF Requirements Report
http://l3www.cernnewman//icfareq98.html
http://l3www.cern..ch/~ch/~newman
icfareq98.html

学情ATM網上のSINETとHEPnet-J

SINET

HEPnet-J

学情ATM網
網学情9サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

HEPnet-Jの変遷（ややうろ覚えです）• １９８３年

NTT X.25網（DDX）

DECnet+…

• １９８７年

FVAN専用線 + NTT専用線

DMIX(TDM)でFNA+DECnet+…
(主要大学のHEP研究室には富士通M機が入っていた）• １９８９年

学情X.25網の利用

FETEX(X25switch)でFNA+Cisco接続（IP+DECnet）+…

• １９９４年

学情FrameRelay網の利用 FR-PVC

BSTDXでCisco接続(IP+DECnet)+…

• １９９６年

学情ATM網の利用 ATM-PVC

ASX200でCisco接続(IP+DECnet)+…

• ２００２年

学情MPLS網の利用 MPLS-VPN

HEP用MPLS-VPN
Nagoya U GbE

MPLS

IP

SuperSINETMPLS router

HEPnet-J
IP routerSuperSINETOXC
Nagoya Hub

Osaka HubTokyo Hub

KEK
OC48c’s

Osaka UKyoto U
GbE

GbE

U TokyoTohoku U
GbE

GbE

10

サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

KEK LANの変遷• 平成５年度補正予算– LANの再構築• カテゴリー５統合配線、情報コンセント• Workgroup毎にFDDIバックボーン• 情報コンセントではEthernet、FDDI、端末サーバー等が多彩に利用可• 平成７年度補正予算• Workgroup毎のバックボーンはFDDIスイッチ（DEC社GigaSwitch）に• 各建物への光ケーブルをセンターからのスター状に• ATMも導入（ただしバックボーンとしてではない）、情報コンセントで利用可に• 平成１１～１２年度– LANの再々構築• バックボーンをGbEスイッチ（Cisco社Catalyst6509）に• Workgroup毎のバックボーンはVLANで構築• 情報コンセントではEthernet (10/100)のみ利用可• 平成１２年度補正予算（ 執行は１３年度に）– スーパーSINET対応環境整備• １０GbEの導入• 情報コンセントではEthernet（10/100/1000）が利用可

LANの再々構築•

平成１１～１２年度– Ethernet，FDDI，ATM混在環境 --> Ethernet（10/100/1000）純粋環境• FDDI、ATMのコスト、混在環境のコスト– Shared媒体 ,占有媒体(Switch)混在--> 占有媒体(Switch)のみ• 性能、セキュリティ– GbEスイッチによるバックボーン• 中央スイッチはCatalyst6509、エッジスイッチはCatalyst2948/3548– 保守費の削減• 昔購入したものは高かった。それに比例して保守費も高い。

•平成１３年度（平成１２年度補正予算）– 10GbEの導入• まだ標準化されないが、端末の10GbEでの接続はまだ考えられないから、あまり関係ない。
• ただし、必要最小限の範囲で導入する。

– 1000BASE-Tの導入• 10/100/1000BASE-T自動認識

11サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

スーパーSINETノード予定機関には、接続環境整備のために平成１２年度補正予算が措置された。
スーパーSINET接続用高速ルーター
高速LANの整備
スパコンの高速インタフェース
高速ファイアウォール

KEKではこの執行を次年度に繰り越し、NIIでのスーパーSINET調達に同期させた。
- スーパーSINETの機種決定を待って入札仕様説明会, 等々。

基本的要件
スーパーSINETを有効に利用するための環境整備(1) スーパーSINETのIPバックボーンと機構内ネットワークを10Gbpsで接続すること。
(2) 機構内ネットワークにおいて，必要な箇所では，エッジスイッチ配下でGbEによる端末接続を可能にすること。
(3) スーパーSINETのGigaEtherブリッジと機構内ネットワークの中央スイッチを接続し，これにより，機構内のエッジスイッチ配下にGbEで接続された端末と大学理学部等でGbEで接続された端末とが，ルーターを経由せずに直接GbEで接続できること。

12サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

SuperSINET Router
一般用
HEP用VPN
GbE

OC192c POS

SuperSINET接続用ルーター10GbE
100BASE’s
対外接続セグメント

対外ルーター's
IMnet
ESnet
CERN
DESY
ロシアHEP
中国HEP
台湾HEP

GbE’s
バイパス 10GbE

ファイアウォール
GbE’s

SuperSINET
GigaEther’s

中央Ethernetスイッチ
10GbE/GbE
エッジEthernetスイッチ's

でのKEKでのスーパーSINET対応
対応
スーパー（仕様書案）

OC192c ? Quad OC48c• スーパーSINETの調達方針（提案時点でまだ製品化されていないものは認めない）では,新型のOC192c POSは導入できない。旧型のOC192c POSでMPLS VPNはできない。OC48c POSなら可能。
• KEKの調達方針（製品発表されていて納期を守れるなら認める）では新型のOC192c POS、新型のQuad OC48c POSを導入可能。
• 新型のQuad OC48c POSはPOS Channel（OC48cを２～４本束ねることができる）が可能だが、これは非常に魅力的。
– 需要に応じて柔軟にHEP用VPN、一般用、それぞれの帯域を変更可能。

• Quad OC48c POSはQuad OC192c POSより少し高いがこの新型を導入することに変更。スーパーSINET側は当初は旧型のOC48c POSにして、来年度に新型のQuad OC48c POSを導入してもらうことに。

13

サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

KEKでのスーパーSINETルーターとの接続
新型Quad OC48c POSは１２月予定、でも最悪３月まで遅くなる可能性も。
その場合は、• １月稼動開始時• ３月までには• 来年度

HEP用VPN
GbE
OC48c
OC48c x 3

一般用
GbE
OC48c
OC48c

冗長性の追求• 保守契約は３６５日２４時間• でもそれだけでは故障時回復までにある程度の時間（３０分～１時間）がかかる• ダウンタイムをなくすことを追求• エッジスイッチ以外は完全に二重化• ただし、遊んでいる資源がないようにactive-activeな二重化

14サイエンティフィック・システム研究会 2001年度システム技術分科会第2回会合

2001/10/31

調達• 平成１２年度補正予算の執行を次年度廻し– スーパーSINETの調達と同期– 最新技術、最新製品を導入するためぎりぎりまで遅く• 10GbE, POS Channel, ファイアウォールのactive-active二重化,など– 日程• ２月１日 資料招請
• ６月２１日 意見招請
• ８月２１日 入札公告
• ９月１４日 入札説明会• １０月１１日 入札締切
• １０月２５日 開札契約

構成図
KEK LAN構成図

スーパーSINET稼動開始時 2002.1.1
HEPnet-J

Super SINET

新規導入機器SuperSINET Router

10GbE
GbE’s

KEK

Quad-OC48ｃ
GbE

GbE×7

Cisco 12406 GSR

GbE

10GbE
10GbE

国立情報学研究所（西千葉）

Catalyst 6509
(Layer 3)

10GbE
10GbE

Firewall-A(Netscreen1000)

FastEther’s

Catalyst 6509
(Layer 3)

・・・･東京大学素粒子物理学国際研究ｾﾝﾀｰ(ATLAS)･東京大学理学部 (BELLE)･名古屋大学理学部 (BELLE)･大阪大学理学部 (BELLE)･東北大理学部 (BELLE)･核融合研（加速器)→京都大学理学部 (BELLE)

対外ネットワーク

Firewall-B(Netscreen1000)

GbE/DMZ

GbE/DMZ

GbE x 4

Catalyst 6513
(Layer 3)
GbE x 4
Catalyst 6509

Catalyst 6509

GbE

GbE
Catalyst 2948
Catalyst3550(L2)Catalyst3550(L2)Catalyst3550(L2)Catalyst3550(L2)Catalyst3550(L2)

GbE

Catalyst 2948

Catalyst 3548
Catalyst 3548

Catalyst3550(L2)・・・

Catalyst3550(L2)・・・

Catalyst3550(L2)・・・

Catalyst3550(L2)Catalyst3550(L2)

GbE

Catalyst 3548

Catalyst 3548

・・・

・・・

Catalyst3550 17台

６８ヶ所

15