広域分散アプリケーション特論
2005前期 月曜 ３時限 ２１世紀交流プラザ２Ｆ
担当 青柳 睦aoyagi@cc.kyushu-u.ac.jp
４月１1日（月）講義の内容，成績評価方針

Grid Computingの概要（今日は途中まで・・）

講義の内容グリッドの概要
Ｇｒｉｄコンピューティングとは ■サイエンス分野での利用■ビジネス分野での利用■

計算科学の概論■

主要なシミュレーション手法

サイエンスＧｒｉｄ ＮＡＲＥＧＩ
Globus, Unicoreの現状 ■NAREGIミドルウエア概要■連成計算とその類型化■

テーマ 考え中・・・
講義資料はWebで公開予定
http://server-500.cc.kyushu-u.ac.jp/top.menu.htm

レポートの提出先
aoyagi@cc.kyushu-u.ac.jp
 Subject: 広域分散アプリ＃＃は課題番号
 本文：学籍番号，氏名，専攻
レポート(PS, PDF, Word,添付可)

メールSubjectには必ず「広域分散アプリ(#課題番号)」と記入してメールしてください．成績評価
出席点 ６割 レポート ４割
 前期末試験なし
Grid Computingとは


電力網（Power Grid）のように透過的な計算資源の利用
ハードウェア：

ネットワークで相互接続された計算機、各種入出力装置、計測装置、記憶装置

ソフトウェア：

基盤技術，ミドルウェア
ハードウェアに依存しないインタフェースの提供 セキュリティ、データ転送、情報管理、遠隔実行、広域分散処理，スケジューリング etc.


アプリケーション、ライブラリ

グリッド



電力供給網( Electrical Power Grid )からの “アナロジー”
全地球的に分散した 計算資源・データ・実験装置・人的資源（研究者）などを高速・大容量ネットワークでダイナミック（動的）につないだ仮想組織（Virtual Organization)

電化製品

電力供給網
（Electric Power Grid）

次世代インターネット

発電所

インフラ
Grid

資源の種類・場
所・内容は意識せずに利用

インフラ
Grid

資源の利用

発電所の種類・場所・会社は意識せずに利用

各種資源（計算機、データ、ノウハウ、実験機器）

Data intensive computing


PetaByteクラスの大規模分散ファイルシステム構築
ファイルアクセスの標準化
 高速転送 コピーの 一貫性管理

主なプロジェクト
EU DataGrid http://www.eu-datagrid.org/
 Gfarm http://datafarm.apgrid.org/
 GryPhyN http://www.griphyn.org/


現在最も関心の高いGrid技術の一つ

Public internet model

ネットワーク上の空き(遊休)資源を利用した分散コンピューティング
SETI@Home http://setiathome.ssl.berkeley.edu/
 Entropia
http://www.entropia.com/
 Parabon
http://www.parabon.com/
 ビジネス分野への応用

厳密には Gridと言えないかもしれないが、商業化に近い分野の一つ

メタコンピューティング

スパコンクラスの大規模な異機種計算機を高速ネットワークで接続し分散計算を実現
高速データ通信，遅延隠蔽
 連成計算モデル
 ミドルウェアの整備

主なプロジェクト
NAREGI http://www.naregi.org/
 TeraGrid http://www.teragrid.org/
 ITBL http://www.itbl.riken.go.jp/


広域分散処理に適した問題の選択が重要
チャレンジングな分野のひとつ

MPICH-G プロジェクト
http://www3.niu.edu/mpi/


異機種分散並列計算機上のMPI（Message Passing Interface）
超大規模数値計算
 遠隔プロセス間の通信

Gridにおける代表的なミドルウェアである
Globus Toolkit を用いて実装

ほとんどの Grid Computing 環境で実行可能

MPICH-G2: 各計算機内のMPIライブラリと連携

Grid Computingの目的


異機種分散環境上の協調処理以前から様々な名前で扱われてきた分野
network computing
 metacomputing
 distributed computing

Gridの特徴：異組織間分散環境を対象


課金体系やポリシーなど様々な問題に関して運用組織間での協議が必要

Global Grid Forum
http://www.gridforum.org/
Gridに関する討論の場

各種Grid技術の開発、標準規格策定、教育、広報、etc.



３８以上の国から ２５０を越す組織が参加



主な活動：
各種ワーキンググループの運営
 標準規格策定
 Gridに関するイベント開催
Grid関連プロジェクト


海外：たくさんあるが・・Tera-Grid, EU-Gridが有名

例えば，下記を参照
http://www.globus.org/about/related.html

国内：
ITBL http://www.itbl.riken.go.jp/
 ApGrid Asia-Pasific Grid http://www.apgrid.org/
 グリッド研究センター（産業技術総合研究所）
 ＮａＲｅＧｉ（National Research Grid Initiative）
Http://www.naregi.org/
国立情報学研究所＋分子科学研究所
ITBL（IT-Based Laboratory)

ネットワーク上に仮想研究所を構築するために必要な基盤技術の開発
ITBL基盤ソフト 各種アプリケーション


参加組織：


物質・材料 研究機構、防災科学技術研究所、航空宇宙技術研究所、理化学研究所、日本原子力研究所、科学技術振興事業団

APGrid（Asian-Pasific Grid）


アジア・太平洋諸国によるGrid研究組織
資源共有
 Grid技術開発

参加国 11カ国（30組織）


Australia, Canada, China, India, Japan,Malaysia, Singapore, South Korea, Taiwan,Thailand, U.S.A.

TeraGrid (アメリカ合衆国)
http://www.teragrid.org/
規模
13.6TFLOPS (IA64 Linux cluster) 0.45 Peta Byte
 40Gbps network $53 million




参加機関
NCSA (National Center for Supercomputing
Applications) SDSC (San Diego Supercomputer Center) ANL (Argonne National Laboratory)
 Caltech (California Institute of Technology)
米国テラグリッド(Extensible Terascale Facility）の例
40GbpsCHICAGO-Hub

LA-HubIU
30Gbps30GbpsPurdue30Gbps32 Pentium4
52 2p Madison
20 2p Madison
Myrinet96 Pentium4
64 2p Madison
Myrinet

100 TB DataWulf

96 GeForce4 Graphics Pipes
20 TB

Caltech

ORNL
TACC

ANL
30Gbps

1.1 TF
Power4Federation

128 2p Madison
256 2p Madison
Myrinet500 TB FCS SANSDSC(San Diego CA)

256 2p Madison
667 2p Madison
Myrinet230 TB FCS SAN

NCSA(Urbana IL)

Source: National Science Foundation http://www.teragrid.org

30Gbps

16 2p (ER)Madison
Quadrics

750 4pAlpha EV68
Quadrics

75 TB Storage

128p
EV7
Marvel4p VisPSC(Pittsburgh PA)

欧州連合（EU）のグリッドプロジェクトの例
ＤＥＩＳＡ

ＥＵ−ＥＧＥＥOperations
CenterHigh bandwidth vpnqos (NREN-GEANT

Regional
SupportRegional
Support
Regional
SupportResource
Center(Processors,disks)National computing
facility

Regional
SupportCenter(Support for Applications
Local Resources)

Grid server Nodes
Resource
CenterResource
CenterResource
CenterIDRIS（ﾌﾗﾝｽ）

Garching（ﾄﾞｲﾂ）

Julich（ﾄﾞｲﾂ）
Extended Gridservices

CINECA（イタリア）

Phase1 SuperCluster (Q1 2005)
Source: http://public.eu-egee.org/

Source: http://www.deisa.org

Globus プロジェクト
http://www.globus.org/


主なメンバー
ANL(Argonne National Lab.) ISI(University of Southern California
Information Sciences Institute) 米国ＩＢＭ他，主要ＩＴベンダー


Grid技術のプロトコルと API の標準化を提案


セキュリティ、情報管理、遠隔ジョブ投入、データ転送

サンプル実装を公開: Globus Toolkit

比較的新しいプロジェクトだが、Gridミドルウェアの代表的存在

Globus Toolkit


基本的に既存のプロトコルを踏襲
SSL:
 LDAP:etc.


セキュリティ
ディレクトリサービス

さらに、必要なプロトコル追加
Globus_IO: 通信API
 RSL:
資源記述言語etc.


Ｗｅｂサービスとの連携

OGSA, WSRF, ・・

既存システムの Globus 対応


MPICH-G, Condor-G 等

Globus Toolkit と 周辺アーキテクチャ
ユーザ・アプリケーションプログラム
上位通信library ジョブスケジューラ 遠隔手続き呼び出し

Globusに対応した

MPICH-G，Condor-G，Ninf-G
Nimrod/G，PBS，LSF

上位ミドルウェア群MDS

DUROC(資源管理)

GlobusGIIS

GRAM(ﾘｿｰｽ管理) DATA(ﾌｧｲﾙｱｸｾｽ) GRIS
GSI(認証)Nexus, Globus I/O (通信)計算機，ネットワーク，ストレージ，etc

Gridの課題（１） ネットワーク


帯域幅は急速に拡大している
現在１０〜４０Gｂｐｓ ⇒ 将来 １０Tbps
「帯域幅の伸びはムーアの法則を超える」
Jack Dongarra, Univ. of Tennessee

http://www.byte.com/documents/s=1114/byt20010808s0004/0813_dongarra.html
「いずれ、計算機のシステムバスの方がボトルネックになる」
久多良木 SＯＮＹ−CEI社長

http://www.watch.impress.co.jp/pc/docs/2002/0124/mobile137.htm

Gridの課題（１） ネットワーク遅延＆安定性

遅延は 媒体物質中での 光の速度に制限される

どんなにがんばっても日本とアメリカ合衆国の往復に数十msec（実際はネットワークの経路や状況でもっとかかる）

遅延時間はTFLOPS級の計算機で数億回の浮動小数点演算処理時間に相当

ルーター，スイッチ障害等による不安定性
 インターネット利用によれば帯域保障はない

遅延や不安定性を考慮に入れたアプリケーション構築が必要ネットワーク遅延＆安定性
ギルダーの法則とムーアの法則
ネットワーク遅延や不安定性を考慮に入れたアプリケーション開発が必要(*)「丸山先生レクチャーシリーズより」

Softwarecatalogs

Sensornets

Computing Resources

Colleagues Data archives(寄り道) 「Memory Wall」問題とのアナロジー

マイクロプロセッサ
105
性能向上率

vs. DRAM
性能向上率の差 48%/年

104
103
102
101

マイクロプロセッサ
55%/年

スループットとレイテンシ問題

RISCおよびオンチップ
キャッシュの登場以降

1
1980

1990
主記憶(DRAM)
7%/年

2000

2005
Highband-Dram, Rambus,SDRAM・・
年
キャッシュ有効活用法，プリフェッチ
nonBlocking $, multiThreading, ・・【出典】J.L. Hennessy, D.A. Patterson, Computer Architecture: A Quantitative Approach 3rd Edition, Fig. 5.2

Gridの課題（２） 分散スケジューリング
プロトコル、APIの標準化


DRM, LSF, Condor, etc.

正確な資源利用状況把握とスケジュール
有効なスケジューリングアルゴリズムの開発

Gridの課題（３） 社会的基盤の整備

認証基盤
ＣＡ（認証局），ＲＡ（審査＆登録局）
 ＣＡ連携・・

諸制度VO（Virtual Organization)と責任の所在
 運営管理費の分担
 利用課金体系


異組織群で構成するGridでは特に重要VOへのホスティング例:

大学センター群大学センターの共有グ
リッド資源のVOへのDynamic Provisioning

分野、研究グ
ループ等の複数のVOのセン
ター群によるホ
産官学連携研究の礎へ
スティング

E大学V研究室

ナノグリッドVO

C大学センタ

D社U部門

A大学X研究室
VOのユーザA大学Y研究室A大学センタ

分野の研究室の専用マシン群
バイオグリッドVO

B研究所センタ
標準化技術に基づいた
持続性のあるグリッドインフラ

今日はここまで・・・．
次回，４月１８日（月）グリッドの概要（続き）
http://server-500.cc.kyushu-u.ac.jp/top.menu.htm