[添付資料4-2-4] SS研 Grid Computing 2004 WG 第6回会合 資料

SS研究会発表資料

2006/9/8

データグリッドの背景

データグリッドについて• いくつかの科学の分野で、今までにない規模の容量のデータを取り扱う必要性が出てきている。
– 例：LHC （Large Hadron Collier：大規模陽子衝突型加速器)は、2007年から年間約15ペタバイトのデータを15年間生産し、全世界の約500の研究機関で約5000人の研究者が利用する予定。
– 例：ライフサイエンス関連のデータベースは全世界で約800個以上存在し、その多くがインターネット上で公開。

• データグリッド
２００６年 ９月８日

– 広域に分散した大容量のデータ資源を、分散した多数のユーザから利用可能にする技術

大阪大学 松田秀雄

データグリッドの種類

ストレージ仮想化技術• データグリッドについては多くのソフトウェアが存在する。対象とするデータ資源の種類や利用法に応じて分類すると次のようになる。

• ストレージ仮想化技術の目的は、データを保持するディスクやテープなど多様なストレージの装置を、論理的に一つの装置として一元的に管理することにある。
• ストレージ仮想化技術を実現した代表的な例として、次のようなものがある。

– ストレージ仮想化技術– ファイルシステム仮想化技術– データベースシステム仮想化技術– SRM(Storage Resource Manager)、– SRB(Storage Resource Broker)

SRM (Storage Resource Manager)

クライアントクライアントクライアントクライアント
メタデータ
メタデータ
サーバ
サーバ

• SRM (http://sdm.lbl.gov/srm-wg/)は、EUデータグリッドプロジェクト(EDG)と、米国の素粒子物理学データグリッドプロジェクト(PPDG)の共同研究の成果として2001年から始まったものであり、CERN、フェルミ研究所、ジェファーソン研究所、ローレンスバークレイ研究所などの研究機関が共同で開発している。
• SRMは、加速器などから得られる大規模の実験データを複数の研究者が共有することを想定して設計されている。数テラバイトから数ペタバイトに及ぶ膨大な実験データを、単一のファイルで一つのストレージに格納するのは困難であるため、数百メガバイトから数ギガバイト程度を単位とするファイルに分割し複数のストレージに分散して格納することが多い。
SRMでは、ネットワーク上に分散された複数のストレージにまたがって、多数のファイルに分割された実験データを格納し、統一的に管理し参照するインターフェースの提供を目的としている。

ローカルSRM
ローカルSRM
サーバ
サーバ

リクエスト
リクエスト
マネージャ
マネージャ

他のデータグリッド
ミドルウェアサービス

レプリカ
レプリカ
サーバ
サーバ
情報サービス
情報サービス
サーバ
サーバ

ディスク
ディスク
装置
装置

ネットワーク

SRM
SRM
サーバ
サーバ

SRM
SRM
サーバ
サーバ

テープ
テープ装置
装置

ディスク
ディスク
装置
装置

SRM
SRM
サーバ
サーバ

ディスク
ディスク
装置
装置

テープ
テープ
装置
装置

SRMの構成（http://sdm.lbl.gov/projectindividual.php?ProjectID=SRMの図を改変）

6

[添付資料4-2-4] SS研 Grid Computing 2004 WG 第6回会合 資料

2006/9/8

SRB(Storage Resource Broker)
LFN1• SDSC (San Diego Supercomputer Center)で開発• SRMと比べて簡素なシステム構成• 複数のMCATサーバ間でのメタデータ情報の交換により、複数のSRBサーバを連携可能

SURLまたはTURL1GUIDSURLまたはTURLm

LFNn

LFN: 論理ファイル名(Logical File Name)
GUID: グリッド上で唯一のファイルID(Grid Unique ID)
SURL: 物理的なファイル名を表すURL(Storage URL)
TURL:遠隔サイトからの転送用のURL(Transport URL)
SRMでのファイル名
78

ファイルシステム仮想化技術
クライアントクライアントクライアントクライアント• ネットワークで結ばれた複数のファイルシステ
ムを仮想化する。
• 代表的な例に、Gfarm(Grid Data Farm)などがある。

メタデータ
メタデータ
サーバ
サーバ
(MCAT)(MCAT)

SRB
SRB
サーバ
サーバ

テープ
テープ
システム
システム

DBMS
DBMS

ローカルローカル
ファイル
ファイルシステムシステム

SRBの構成9

データベースシステム仮想化技術

ユーザアプリ
ユーザアプリケーション
ケーション• ネットワークで結ばれた複数のデータベースシステムを仮想化し、統合的なアクセス手段を提供する。
• 代表的な例に、OGSA-DAI (Data Accessand Integration）などがある。

クライアントクライアント

ファイルメタデータ
ファイルメタデータ
サーバ
サーバ

メタデータ
メタデータ
データベース
データベース

ファイルシステム
ファイルシステム
サーバ
サーバ

ファイルシステム
ファイルシステム
サーバ
サーバ

ファイルシステム
ファイルシステム
サーバ
サーバ

ローカル
ローカル
ファイル
ファイル
システム
システム

ローカル
ローカル
ファイル
ファイル
システム
システム

ローカル
ローカル
ファイル
ファイル
システム
システム

Gfarmのシステム構成

101112

[添付資料4-2-4] SS研 Grid Computing 2004 WG 第6回会合 資料

NAREGIソフトウェア階層とWP4

OGSA-DAI
Client Application• OGSA-DAI（OGSA – Data
Access and Integration）– Framework of OGSA whendatabase and data resource on
Grid environment are used.
⇒ Service of common accessmethod

2006/9/8

ＷＰ６ ﾅﾉﾃｸｼﾐｭﾚｰｼｮﾝのｸﾞﾘｯﾄﾞへの対応ＷＰ２ｸﾞﾘｯﾄﾞﾌﾟﾛｸﾞﾗﾐﾝ
ｸﾞ環境-ｸﾞﾘｯﾄﾞRPC-ｸﾞﾘｯﾄﾞMPI

Client Toolkit
WS-RF ClientStubs

WSI Client
Stubs

SOAP
overHTTP

WP3 ｸﾞﾘｯﾄﾞ PSE

WP3 ｸﾞﾘｯﾄﾞ ﾜｰｸﾌﾛｰ

WP1
分散情報サービス

WP1 ｽｰﾊﾟｰｽｹｼﾞｭｰﾗ

ＷＰ４データグリッド
環境（Globus,Condor,UNICOREÎ
Globus,Condor,UNICOREÎOGSA)
OGSA)

Data Services
WS-RF Data
Service

WP3 ｸﾞﾘｯﾄﾞ可視化

WP1 グリッドVM

WSI Data
ServiceWP5 ﾈｯﾄﾜｰｸ通信基盤、ｾｷｭﾘﾃｨ･認証基盤
スーパーSINETOGSA-DAI Core

国立情報学研究所

分子科学研究所

共同研究機関その他

計 算 資 源131415

Roadmap of NAREGI Grid Middleware
FY２００３

FY２００４

FY２００５

Utilization of NAREGI-Wide Area Testbed

Utilization of NAREGI NII-IMS Testbed
Apply Component
Technologies toNano Apps and
Evaluation

Development andIntegration ofαVer. Middleware

Version1．0
ReleaseβVer.
Release
Evaluation of αVer.
In NII-IMS
Testbed

グリッド上でグローバルな名前でアクセス可能な共有データ空間（共有ファイルシステム）を実現– 産総研で開発されたGfarmをベースに実装

Deployment of βVer.

• ユーザのファイルを共有ファイルシステムに登録・配置• ファイルのアプリケーション情報をメタデータとして登録• ワークフローにファイルをデータアイコンとしてインポート（WP3 WFTとの連携）

Evaluation of βRelease
By IMS and other
Collaborating Institutes

Development andIntegration ofβVer. Middleware

αVer.
(Internal)– 2005年4月からNAREGIプロジェクトに参加– 今年度の開発内容
データ共有サービス

FY２００７

ＯＧＳＡ/WSRF-based R&D Framework

ＵＮＩＣＯＲＥ-based R&D Framework

Prototyping
NAREGI Middleware
Components

FY２００６

NAREGIにおけるデータグリッドの位置づけ

Evaluation on
NAREGI Wide-area
TestbedDevelopment of
OGSA-based Middleware

Midpoint
Evaluation• ワークフローに基づいてファイルをジョブの割当ノードにス
テージング（WP1 SSとの連携）

Verification& Evaluationof Ver. 1

16

NAREGIミドルβ版
Application requirement definition
WorkInput
flow
files
IMPICAb2: Data import
PortalData
Grid

a: Sign-on

Local
Scheduler
IMPIServer

c: EditWFT
1: Submission
Super
Scheduler

RISM
Job

GridMPI

Site ρ

FMO– ファイルを、グリッド上で一意なグローバルなパス名でアクセスできる。

PC cluster
128 CPUs

Site α• 拡張可能な共有ファイルシステムOutput files

GridVM
6: MPI job starts
Local
Scheduler
7: MPI init.

• グローバルなパス名

Input files
RISM

SMP machine
64 CPUs

GridMPI

5: IMPI starts
GridVM

データ共有サービスの意義

GVS

2: Resource discovery

Information
Service

3: Negotiation
Agreement
Co-Allocation– 複数のファイルサーバのディスクを集約して、仮想的に大容量のディスクを提供（GSI認証による証明書ベースの認証機構をサポート）– 容量を増やすことが容易 → 新たなサーバを追加すれば自動的に容量が増大

8: Visualization• 計算ノードとは独立した共有空間へのファイル登録– アプリケーションがどの計算ノードで実行されるか（or実行されたか）を気にすることなく、あるアプリケーションの出力を、別のアプリケーションの入力として利用可能（アプリケーション間の連成を支援）

9: Accounting
GridVM
4: Reservation

Networkmonitor

Local
SchedulerData
Grid
Grid File System

FMO
Job

2: Monitoring• ワークフローへのインポート機能を提供（WFTとの連携）• 共有ファイルのステージング機能を提供（SSとの連携）

Site μ18

[添付資料4-2-4] SS研 Grid Computing 2004 WG 第6回会合 資料

ＮＡＲＥＧＩミドルウェアとしての運用

ポータルサイトの画面
共有ファイルシステム（産総研のGfarmをベースに開発）

DGアクセス管理
利用者

ジョブ実行

登録

データ

メタデータ構築
ＷＦＴ

各コンポーネントについて各ノードに配置

検索
配置

DG資源管理１）データグリッド資源管理システム
グリッドノード上の共有ファイルの割り当て配置と使用容量の管理を、WSRF(Web Service ResourceFramework)をベースに実現
２）データグリッドアクセス管理システム
共有ファイルの登録・更新・削除などのファイル管理機能を提供
３）メタデータ構築システム
ファイルに付随する様々な情報をデータベース化して管理
19

ＷＦＴ

ＷＦＴによってデータアイコンが選択されると、ステージングにより計算ノードへデータファイルが配置され、ジョブの実行時に利用できる。
20

NAREGI β版（２００５年度）でのデータグリッド環境の全体構成

データグリッドで使われているツール類

グリッドワークフロー
ジョブ 1
データグリッド(DG)のコンポーネント

ジョブ 2

ワークフロー
へのファイルのインポート

DGアクセス管理
メタデータ構築

DG資源管理

ファイル1

ファイル2

ワークフロー(NAREGI WFML=>BPEL+JSDL)
ワークフロー
へのファイルのインポート

DGアクセス管理

ジョブ n

ファイルのグリッドへの登録と配置

Tomcat
5.0.28

ファイルn

グリッドへのファイルの登録と配置

GlobusToolkit
4.0.1

ジョブ 1
ジョブ 2

メタデータの付与

2006/9/8

メタデータ

メタデータ

ファイル1

ファイル2

ファイルn

スーパースケジューラ(SS) (OGSA-RSS)

OGSA-DAIWSRF2.1

OGSA-DAIWSRF2.1

ジョブ n

データ資源管理
情報DB

グリッド上の共有
ファイルシステム
21

GridFTP

ファイルステージング

計算ノードへのデータ転送

ジョブ 1

ジョブ 2

ジョブ nファイル1

ファイル2

ファイルn

メタデータ
DB

ファイルサーバ
ノード

Gfarm 1.2 PL4(Grid FS)

22

OGSA-RSSFTS SC

ファイルn

PostgreSQL 8.0

PostgreSQL 8.0

ファイルのファイルサーバ
ノードへの割当

ジョブn

ファイル1

メタデータ構築

DG資源管理

グリッド上のデータ共有サービス
メタデータ

ジョブ 1

メタデータ構築
システム・フロントエンド

2006年度の開発予定
2006年度の開発予定

ユーザ
クライアント• データ共有サービスの高度化– VOサポート（VOごとに独立なデータ共有サービスの提供）– 異種ファイルシステム間でのデータアクセス

アクセス管理システム・クライアント
WFTクライアント• データ転送サービス– 汎用的なデータ転送機能の設計と開発– 異種ファイルシステム対応のためのアクセス管理システ
ムの機能拡張（ワークフローツールとの連携）

WFT
ワークフローツール (WFT)
ノード• メタデータサービス– VOに対応したメタデータ機構の設計と開発– 異種ファイルシステム対応のためのメタデータ構築システ
ムの機能拡張アクセス管理システム・フロント
エンド資源管理システ
ム・フロントエンド

ポータルノード

SS
ファイルス
テージング
ツール

スーパースケ
ジューラ (SS)ノード

赤字は2006年度開発予定
GridFTP等

23

統合メタデータDB

メタデータサーバ

データ転送サーバ

メタデータ収集
Gfarmサイト

Gfarmサイト

Gfarmサイト
メタデータDB

Gfarmサイト
メタデータDB

Gfarmアクセスサーバ

Gfarmアクセスサーバ

GridVM

GridVM

Job

Job

ローカル
ディスク

ローカル
ディスク

計算ノード

計算ノード

Gfarmサーバ

Gfarmサーバ

サーバディスクサーバディスク

ファイルサーバ

ファイルサーバ

GridFTP等

データ転送サーバ

GridFTP等

24

データ転送サーバ

[添付資料4-2-4] SS研 Grid Computing 2004 WG 第6回会合 資料

まとめ• グリッド上での共有ファイルシステムを使用することで、NAREGIミドルウェアへグローバルな名前でアクセスできるファイルシステム機能を提供• 利用者は物理的なファイルの位置を意識せずアクセス可能• 異なる組織で共有される巨大な仮想ディスクが構築可能• 課題– 他のデータグリッド・ミドルウェアとデータの相互参照の実現– ジョブ実行に必要な資源としての、計算資源とデータ資源の両方を考慮したジョブとファイルの配置

25

2006/9/8