高速ネットワーク基盤

関口智嗣 (Sekiguchi(Sekiguchi Satoshi)
産業技術総合研究所
情報処理研究部門

Advanced R&D Networks/Testbeds, BB accessl Asia-Pacific:

Ø JGN, IMnet,IMnet, (super-)SINET,(super-)SINET, SingAREN,SingAREN, TANet,TANet,CERNET, KOREN, APAN, Tsukuba WAN,AARNET,AARNET…
…

l USA:

Ø NSFNET/vBNS/Abilene, DTF, STAR TAP, NREN,NSFNET/vBNS/Abilene,
ESnet,
ESnet, DREN, …

l Canada:Ø CAnet/CAnet2/CAnet3/CAnet4
CAnet/CAnet2/CAnet3/CAnet4 ,…

l Europe:

Ø RENATER(France),
RENATER(France), SURFnet(The Netherlands),
SuperJANET4(UK), NORDUnet,NORDUnet, …

l Broadband AccessØ Yahoo!!BB,Yahoo!!BB, B-フ
B-フレッツ,ツ, Cable Net, xDSL,xDSL, Wireless…
Wireless…

1

高速ネットワークのもたらすもの

VLBI: Kashima 34m telescope

VLBI: Kashima 34m telescope

高速ネットワークのもたらすもの
l ネットワークで接続された情報資源（コンピュー
タ、人、実験装置、可視化、ＤＢ、ソフトウエア、PDA、PDA、など）に対して
Øだれでも、どこからでも、いつでも、

l$10K$10K PC @ NY = $3K PC @ Africa (by CeC)
CeC)

Øネットワーク/ワーク/サーバそのものを意識することなく
lBandwidth, routing,lServers/Clients’Servers/Clients’ location, OS, CPU, etc

l 必要なときに必要なサービスを即座／瞬時／簡便に享受できるようになる／なって欲しい

コンセプトをグリッド(GRID) と呼ぶ

この2グリッドは高速ネットワークへの誘引材
l グリッドは協調するための共通基盤
Ø 助け合い・相互扶助の精神
Ø 足りないものは補い合う

l グリッドは”は”サービス産業みたいなぁ”
サービス産業みたいなぁ”ものØ いま：
l なくても生活できている
l OS がなくてもコンピュータは動いていたØ もうすぐ：l おっと、使ってみると快適、気持ちよい、生活レベル向上

Ø そのうち：l それがなくては生きていけない、生活の前提となるインフラ
l 携帯、電子メール、高速鉄道網、Linux

計算と情報資源のWeb
Slide: by courtesy of Ian Foster

http://Web:HTML 文書へのア
クセス手段提供
データは静的http://

プロトコルを規定することにより、爆発的な普及
Softwarecatalogs

Grid: ネットワーク上の計算資源に対する高性能・柔軟なアクセス手段の提供

Computers
Sensornets

Colleagues

Data archives

3

People/collaborators

nCatalogued data and databases – e.g.
transparent access to human genome
database;
個別対応

Computers: PCs, workstations, clusters,supercomputers, laptops, notebooks,
mobile devices, PDA, etc;

nHI-UX

SolarisSpecial devices – e.g., radio telescope –Linux/Free BSD

API

0.135Gbps

Academia Network

API

Driver

UXP

0.15Gbps -> 2.4Gbps

2.4Gbps

Japan Gigabit Network

開発コスト
汎用性に欠ける
大規模開発不可Inter Ministry Network

API

API

Common ServiceDevice

Unix Sys V

2.4Gbps

Japan Gigabit Network

Linux/Free BSD

0.15Gbps -> 2.4Gbps

Academia Network

UNIX

Solaris0.135Gbps

Inter Ministry Network4

FAQs: 「グリッド」
ってなんですか？
l パソコンの余った時間をみんなで提供する
SETI@Homeなことですか？
SETI@Homeなことですか？
l スーパーコンピュータを高速なネットワークで繋ぐことですか ？
l MPI とどこが違うのですか ？
l GLOBUS のことですか ？
l TV会議のことですか？
TV会議のことですか？
l CORBA/xORB
CORBA/xORB とどこが違うのですか ？
l 遠隔操作やリモートセンシングのことですか ？
l Web/CGI となにが違うのですか？

パソコンの余った時間をみんなで提供する
SETI@Homeなことですか？

l Volunteer ComputingØ世界中の遊休計算機資源を集めて使おうØ不足する計算資源をボランティアしようØSETI@Home,SETI@Home, distributed.net,distributed.net, Entropia,
Entropia,
United Device,Device, etc
ØYES, “Lightweight GRID”
GRID”

5

スーパーコンピュータを高速なネットワークで繋ぐことですか ？

l Meta-computingØ世界中のスーパーコンピュータを一度に使おうØHLRS, CSAR, PSC, NCHC, JAERI, TACC
l1999, 2000, 2001 (planed)ØCommunication I/F は MPI
ØYES, “Supercomputer ensemble”
ensemble”

GLOBUS のことですか ？
l GLOBUS
Ø グリッドにおける基本サービスの提供
l グリッドにおける国際的標準ソフトウエア
l Argonne Nat’
Nat ’l Lab., ISI/USC

Ø Grid Security Infrastructure (GSI)
Ø Metacomputing Directory Service (MDS)Ø Grid Resource Information Service (GRIS)
Ø Grid Index Information Service (GIIS)Ø Global Access to Secondary Storage (GASS)
Ø etc, etc, …

l CONDOR,CONDOR, Ninf,Ninf, AVAKI,AVAKI, etc.
Ø YES, “GRID middleware”
middleware”

6to STARTAP

AIST/ TACC~1000 km

TransPAC 135 Mbps
(to be upgraded to 640 Mbps
until Oct.)

60 km

JGN
(Japan Gigabit Net.)

Kyushu U.

(Asia-Pacific Advanced Network)

Tokyo XPTITECH

Multicast Network Configuration for AG

TACC/Tsukuba

Presenter
mic
Presenter
cameraH.323/H.320

Ambient mic(tabletop)
Audience camera
Delivery GRID

l サイト数のスケーラビリティが高い。
Ø 数十サイトがひとつの仮想会議室に入ることができます。
Ø AG のスケーラビリティには、IP マルチキャストが貢献してると思います。
Ø 現実には、プロジェクタの投影面やディスプレイの面積に限りがありますし、サイト数が増えると誰が喋っているか解りにくくなるという問題もあります。

l 構成機材がすべてコモディティ。

Ø (エコーキャンセラだけは特殊ですが(エコーキャンセラだけは特殊ですが...
...)) PC + ソフトウェアで実装されてるので、ソフトウェアを更新できる可能性や、自分達で何か開発する余地があります。

l Access Grid 関係者のコミュニティがある。

Ø ag-techag-tech というML がコミュニティの中心です。AG に関する技術的な議論や、イベントの宣伝などが行われてます。

l セキュリティに問題ないか？

Ø 基本的に、AG 上の通信は誰でも受信できてしまいます。セキュアな通信ができている、と聞いたような気もするのですが、少なくとも誰でもできる状態にはなっていないです。

l マルチキャストルーティングが必須か？ユニキャストでは問題か？
Ø ユニキャストからの参加も不可能ではないですが、まず、使い勝手が非常に落ちます。
AG では仮想会議室間の移動は web ブラウザで行えるのですが、ユニキャストで参加しているとそれができず、会議室に入るごとにコマンドを叩かないといけません。
Ø あとは、トラフィック量の観点から、ユニキャストはかなりお勧めしない、という感じです。

l いくらで作れますか？

Ø 基本的なＰＣ機材等は600
機材等は600万程度
万程度

7リモートセンシング・遠隔操作のことですか ？

Detector for
LHCb experiment

Detector for ALICE experiment

Bio Grid

Data Grid

Long Haul, PB/year
ES Grid

VLBI: Kashima 34m telescope Observatories Mecca in Hawaii

Selected Major Grid Projects
NameAccess GridNew

URL & Sponsors

Focus

www.mcs.anl.gov/FL/
www.mcs.anl.gov/FL/
Create & deploy group collaboration
accessgrid;; DOE, NSF systems using commodity technologies
accessgrid

BlueGridIBM

Grid testbed linking IBM laboratories

DISCOM

www.cs.sandia.gov/
www.cs.sandia.gov/
discom
DOE Defense Programs

Create operational Grid providing accessto resources at three U.S. DOE weapons
laboratories

DOE Science sciencegrid.org
GridDOE Office ofNewScience
Earthearthsystemgrid.org
System Grid DOE Office of(ESG)
ScienceCreate operational Grid providing access toresources & applications at U.S. DOE sciencelaboratories & partner universities

EuropeanUnion (EU)
DataGrid

Create & apply an operational grid for
applications in high energy physics,
environmental science, bioinformatics

eu-datagrid.org
European Union

Delivery and analysis of large climate
model datasets for the climate researchcommunity8Selected Major Grid Projects
NameURL/SponsorFocus

EuroGrid, GridEuroGrid,NewInteroperability(GRIP)

eurogrid.org
European Union

Create technologies for remote access tosupercomputer resources & simulation codes;
in GRIP, integrate with Globus

FusionCollaboratory

Newfusiongrid.org
DOE Off. Science

Create a national computational
collaboratory for fusion research

Globus Project

globus.org
DARPA, DOE, NSF,
NASA, Msoft

Research on Grid technologies;
development and support of Globus
Toolkit; application and deployment

New

GridLabgridlab.org
European Union

Grid technologies and applications

Newgridpp.ac.uk
U.K. eScience

Create & apply an operational grid within theU.K. for particle physics researchGridPP

Grid Research New grids-center.org
Integration Dev. & NSF
Support Center

Integration, deployment, support of the
NSF Middleware Infrastructure forresearch & education

Selected Major Grid Projects
NameURL/Sponsor

Focus

Grid Application
Dev. Software

hipersoft.rice.edu/
hipersoft.rice.edu/grads; NSF

Research into program development
technologies for Grid applications

Grid Physics
Networkgriphyn.org
NSF

Technology R&D for data analysis inphysics expts
expts:: ATLAS, CMS, LIGO,
SDSS

Information
Power Grid

ipg.nasa.gov
NASACreate and apply a production Grid foraerosciences and other NASA missions

Internationalivdgl.org
New
Virtual Data Grid
NSF
Laboratory

Create international Data Grid toenable large-scale experimentation on
Grid technologies & applications

Network for New neesgrid.org
Earthquake Eng.
NSF
Simulation Grid

Create and apply a production Grid forearthquake engineering

Particle Physics
Data Grid

Create and apply production Grids fordata analysis in high energy and nuclear
physics experiments

ppdg.net
DOE Science9Selected Major Grid Projects
NameFocus

URL/Sponsor

TeraGrid

teragrid.org
NSF

NewU.S. science infrastructure linking fourmajor resource sites at 40 Gb/s

UK Grid Supportgrid-support.ac.uk
support.ac.uk
New gridCenter
U.K. eScience

Support center for Grid projects
within the U.K.

UnicoreTechnologies for remote access tosupercomputers

BMBFT

Also many technology R&D projects:
e.g., Condor, NetSolve, Ninf, NWS
See also www.gridforum.org

Global Grid Activities
1998

1999

2000

2001

2002

GF BOF (Orlando)
GF1 (San Jose, NASA Ames)
GF2 (Chicago, Northwestern)eGrid and GF BOFs (Portland)
GF3 (San Diego, SDSC)
eGrid1(Posnan, PSNC)
GF4 (Redmond, Microsoft)
Asia-Pacific GF Planning (Yokohama)

GGF3 (Rome,INFN)
7-10 October 2001
GGF4 (Toronto, NRC)
17-20 February 2001

eGrid2 (Munich, Europar)

GGF5 (Edinburgh)
21-24 July 2001

GF5 (Boston, Sun)

Jointly with HPDC
(24-26 July)

Global GF BOF (Dallas)
GGF-1 (Amsterdam, WTCW)
GGF-2 (Washington, DC, DOD-MSRC)ApGW2001 (Tokyo)
www.gridforum.org

10Growth of Global Grid Foruml Global Grid Forum 2
Ø 340 ParticipantsØ 180 Organizations
Ø 20 Countries

Global GF Participation
350
300
250200150

Ø At GGF-2…
GGF-2…

100500
GF1

GF2Participants

GF3

GF4Countries

GF5GGF1

Organizations

200

GGF2Authors

l 36 documentsl 48 working group sessionsl 6 tutorialsl 6 BOFsl 2 days General Updates150

Ø Contributions
Contributions…
…

10050
0
GF-5

GGF-1

GGF-2

North AmericaEurope

Asia-Pacificl 村岡先生＠早稲田 ((GFAC)
GFAC)
l 松岡先生＠東工大、関口＠産総研(GFSG)
l Running several WGs

www.gridforum.org

テストベッド/Deployment

11

ApGrid Technologies

Applications and Portals
ActiveSheet, BioGrid, Drug Design, HEPGrid, ThaiGrid Portal, CFD, Chemical Eng.,
Environmental and Ecology Preservation,…

High Level Grid Middleware
Programming Tools: Ninf-G, Omuni-RPC, Nimrod DPL, MetaCompiler
Simulators: Bricks and GridSim
Resource Brokers: Nimrod-G
Low Level Grid Middleware
Security, Process, Storage, QoS, etc: Globus, Jxta, CPM, GrACE, Data farm

Grid FabricAP partners have Computers: PC, WS, Clusters, Supercomputers; SCE manager;
WAN: Internet, APAN, GrangeNet, AII, Tsukuba WAN; Instruments: KEK Accelerators, …

ApGrid Locations/Potential Partners
l JapanØ AIST/Tsukuba Advanced
Computing CenterØ Universities
l Titech
Titech,, Kyushu, Kyoto, Waseda
Waseda,,Osaka, Computing Center, labs

Ø KEK (Gfarm( Gfarm))Ø Real World Computing PartnershipØ NEC, Fujitsu, SunMicro
SunMicro,, IBM,Compaq (-> HP J)…

l Australia
Ø ANU/APAC, Monash U

l United States
Ø PNNL, (other labs and centers?)
Ø SDSC, ANLl KoreaØ KISTI:Korea Institute of Scienceand Technology Information
Ø Grid Forum Korea
l http://http://www.GridForumKorea.org
www.GridForumKorea.org//

Ø TEIN: a link to Europe and Japanl Thailand

Ø NECTEC: National Electronics andComputer Technology CenterØ Kasetsart University

l TaiwanØ NCHC: National Center for HighPerformance Computingl Singapore (Singaren/iHPC/Sun(Singaren/iHPC/Sun))l Malaysia (USM)l Potential Asian Partners
Ø ROC
Ø Hong Kong
Ø Other A-P countriesl Indonesia, Vietnam, India, NZ, etc

l Canada

12

Grid ASP: Highend computing gateway
Access to HPC resources andApplication software

コンピュータセンター

Service center
QsearchO

request（例）計算化学センター

Rateresult

￥

RBill

invoiceAcc. info
userpayment￥￥

accounting

Single sign-on：
data flow：money flow

SGE（例）CADセンター

chargeO

Order ticket

Q

Query ticket

Rresponce￥High speed network（例）環境科学センター

つくばＷＡＮ(地域SuperＩＸ）

13

N

つくばWANルート図（案）高エネルギー加速器研究機構

２ＮＴＴアクセスサービ
スシステム研究所
３

防災科学技術研究所

４

筑波大学
５

TAO/JGN

図書館情報大学
６

JST
７
１

研究交流センター
８９

物質・材料研究機構

１０１１１２

農林水産技術会議

国立環境研究所

産業技術総合研究所

総周長：
46.4km全国ネットワークへの柔軟な接続と大学、国研、産業界との情報流通の推進〜現在は、各全国ネットワークによりグループ分けされているためつくばでの集積効果が生かされない〜〜「つくばＷＡＮ」の構築により大学 vs. 国研/民間、国研 vs. 大学/民間の情報流通が飛躍的に向上する〜

２．４Ｇｂｐｓ大学

ギガビットネットワーク

０．１５Ｇｂｐｓ→2.4G

民間

学術情報ネットワーク＜郵政省等＞

大学＜文部省等＞

民間

大学

産（官学）
業界へ

ギガビット
ラボ

民間

一般プロバイダネットワーク

つくば
Ｗ
Ａ
Ｎ

大学

国内各大学へ大学

０．１３５Ｇｂｐｓ

省際研究情報ネットワーク＜科学技術庁等＞

国研

国研
民間

一般から「つくば」へ（東京経由）

国内各国立研究所へ

研究交流
センタ

国研

世界へ
＜APAN等＞14）

ネットワーク構成イメージ（最終：Ｈ１５年４月以降
拠点数：１２拠点

SC

バックボーン：Super-Ｃomputer

OADM ：Optical Add-Drop Multiplexer
ADM

研究交流センター

高エネルギー加速器研究機構

筑波大学＜つくば科学技術データセンター＞

Add- Drop Multiplexer：SC

防災科学技術研究所

OADM ADMSCADMOADM ADM

OADM（旧無機材研）

構内NW

SC

物質・材料研究機構（旧金材研）SCOADM ADMOADM ADM

ＮＴＴアクセスサービス
システム研究所
産業技術総合研究所

SC
OADM ADMOADM ADM

スーパーコンピュータＮＷ
スーパーコンピュータＮＷ
Ethernet
Ethernet
１０Gbps×６パス
１０Gbps×６パス
２Gbps ×１パ ス
２Gbps ×１パ ス

各研究機関へSC

ADM

農林水産技術会議事務局

OADM ADM

図書館情報大学
ADM

１０ＧｽﾊﾟｺﾝＮＷ
２ＧﾌｧｲﾊﾞﾁｬﾈﾙＮＷ
１５０ＭﾌｧｲﾊﾞﾁｬﾈﾙＮＷ
１５０Ｍ ＡＴＭ汎用ＮＷ

ADM

通信・放送機構
バックボーン

つくば情報通信研究
開発支援センター

バックボーン

国立環境研究所

ADM

つくば NOC

研究機関間ＮＷ
研究機関間ＮＷ
ATMATM
１５０Mbps ×２４パス
１５０Mbps ×２４パス

ネットワーク構成イメージ（Ｈ１３年８月現在）
拠点数：２拠点
SC：Super-Ｃomputer

OADM ：Optical Add-Drop Multiplexer
ADM

超高速（１０Ｇ）アクセスリングネットワーク：
Add- Drop Multiplexer

産業技術総合研究所

SC
ADM

ADM

１０ＧｽﾊﾟｺﾝＮＷ
２ＧﾌｧｲﾊﾞﾁｬﾈﾙＮＷ
１５０ＭﾌｧｲﾊﾞﾁｬﾈﾙＮＷ
１５０Ｍ ＡＴＭ汎用ＮＷ

通信・放送機構
バックボーン

つくば情報通信研究
開発支援センター

15

ネットワーク構成イメージ（Ｈ１４年４月予定）
拠点数：９拠点
SC：Super-Ｃomputer

研究交流センター

OADM ：Optical Add-Drop Multiplexer
ADM＜つくば科学技術データセンター＞

Add- Drop Multiplexer：ADM

防災科学技術研究所（旧無機材研）

構内NW

OADM

SC

物質・材料研究機構（旧金材研）SCOADM ADMOADM ADM

ＮＴＴアクセスサービス
システム研究所
産業技術総合研究所

SC
OADM ADMOADM ADMSCOADM ADM

農林水産技術会議事務局

ADM
ADM

１０ＧｽﾊﾟｺﾝＮＷ
２ＧﾌｧｲﾊﾞﾁｬﾈﾙＮＷ

通信・放送機構

１５０ＭﾌｧｲﾊﾞﾁｬﾈﾙＮＷ
１５０Ｍ ＡＴＭ汎用ＮＷ

つくば情報通信研究
開発支援センター

国立環境研究所

ADM

つくば NOC

世界に類を見ないスパコン密集地つくば
スーパーコンピュータTOP500 （つくば研究機関等抜粋）
世界ﾗﾝｸ 設置場所/機関

※1

ﾒｰｶｰ

ｺﾝﾋﾟｭｰﾀ機種名

14 高エネルギー加速器研究機構

日立

SR8000-F1/100− 筑波大 学術情報処理センター

富士通 VPP5000

最大性能(Gflops)

CPU数917.00

100

導入年
2000

768.0080

2001

36 技術研究組合新情報処理開発機構 つくば研究センター

自作SCore III/PIII 933MHz

547.9010242001

49 産業技術総合研究所 先端情報計算センター

日立

SR8000/64

449.0064

1999

65 筑波大 計算物理学研究センター

日立

CP-PACS/2048

368.202048

1996

93 気象研究所

日立

SR8000/36

255.0036

1999

101 物質材料研究機構

NECSX-5/32H2

241.4032

2000

150 産業技術総合研究所 先端情報計算センター

IBM

SP Power3 200MHz

149.30256

1999

343 農林水産技術会議事務所

SGI

ORIGIN3000 400MHz

87.80

132

2001

461 防災科学技術研究所

CRAY

T3E

74.50

172

1997

NECSX-4/36H2

69.40

36

1997

493 国立環境研究所（出典： INTERNATIONAL SUPERCOMPUTER CONFERENCE※1 筑波大 学術情報センターは推定

June 20‑23,2001 HEIDELBERG ）世界ベスト５00位内で世界ベスト５00位内でつくば内のスパコンは、つくば内のスパコンは、
９ヶ所
９ヶ所１０システムがランクイン
１０システムがランクイン

つく
ばＷＡＮとして超高速ネットワーク化すれば、つく
ばＷＡＮとして超高速ネットワーク化すれば、科学技術、産業シュミレーション分野での世界的エリアとなる科学技術、産業シュミレーション分野での世界的エリアとなる

16

おわりにl 高速ネットワークがもたらす夢を享受するためのグリッド
l Grid is coming !! (Grid is inevitable!!, byKen, M.)l しかしながら、ながら、、、
Øまだまだサービスとして未成熟、夢物語
Øサービスの上にサービスを構築Ø縦割りでなく、分担・協調
Ø標準化への貢献
Øテストベッドl 仲良くやりましょうØ総合科学技術会議で議論の開始

17