[添付資料3-2-1-3-1] SS研 Grid Computing WG フォーラム資料

2004/12/1

1

2

ＮＡＲＥＧＩプロジェクトの概要
１）正式名称「超高速コンピュータ網形成プロジェクト」(英文名：National Research Grid Initiative)２）文部科学省の｢経済活性化のためのリーディングプロジェクト｣の一環として推進

ＮＡＲＥＧＩ の概要と現状

３） ５ヶ年計画として２００３年４月にスタート
４） 国立情報学研究所と分子科学研究所を二拠点とし、その他の共同研究機関、大学、産業界を含む産・学・官連携研究開発体制

2004年１２月1日
国立情報学研究所 リサーチグリッド連携研究センター

客員教授

次世代の研究開発、製品開発に不可欠な大規模シミュレーションなどを実現するグリッド基盤用ソフトウェア （サイエンスグリッド）の研究開発を推進 (実際はセンター間サーバグリッド用)宇佐見 仁英3

NAREGI研究開発体制

ＮＡＲＥＧＩプロジェクトの目指すところ
e – インフラ

グリッド研究開発推進拠点
文部科学省（国立情報学研究所）

連 携

グリッドミドルウェア開発

グリッド研究開発推進拠点（国立情報学研究所）
研究グリッド産業応用協議会

グリッド研究開発推進委員会グリッド研究開発
実施委員会

グリッドミドルウェア
研究開発
主

７大学センター

査

グリッド
研究開発連携人材育成（最先端IT技術者およびアプリケーション技術者）

ナノアプリによるグリッドの実証研究

ネットワーク＆セキュリティ基盤
ｽｰﾊﾟｰSINET

査

運 用
技術開発

大学・研究所

グリッドアプリケーション環境

グリッドネットワーク
利用技術開発主センタ－向けグリッドミドルウェアの提供

グリッドプログラミング環境

ネットワーク
研究開発連携

共同研究

産総研グリッド
研究センター

科学技術計算用
汎用グリッドミドル
ウェアの製品化サイエンスグリッド
構築環境

グリッド環境における資源管理

７大学センター等
各種計算機センター

プロジェクトリーダ：三浦教授

ナノアプリケーションのグリッド化

国際的学術貢献
国際的標準化貢献

ネット
ワーク
高度化

アプリケーション研究開発拠点（分子科学研究所）

利用
ITBL（原研他）
運 用（ナノ分野中心）

拠点長：平田教授
運 用

連 携

共同研究

実証グリッドアプリケーションとしてグランドチャレンジ問題を研究開発

最先端研究開発の推進（ナノ、バイオ等）

従来の方式では不可能な産業界からナノ設計実証テーマを公募（東大物性研、東北大金研、ＫＥＫ物構研、京大化研、産総研）

産業活性化

最先端グリッドＩ Ｔを駆使したナノサイエンスの計算科学産業界からサイエンスグリッド
産業応用への要請

アプリケーション研究開発拠点（分子科学研究所）

推進委員長

産業界での利用（新しい知的物作り）

巨大計算の実現
ハイスループットの実現

研究グリッド産業応用協議会

新しい計算科学方法論の開発（会員企業：４０社）

5

6

NAREGI Ｓｏｆｔｗａｒｅ Ｓｔａｃｋ

グリッド研究開発推進拠点研究項目
松岡（東工大）、河野（電通大）、合田（東工大）

２） グリッドプログラミング環境 ・・・・・・・・・・・・・・・・ WP２
関口（産総研）、石川（産総研）

３） グリッドアプリケーション環境 ・・・・・・・・・・・・・・ WP３
三浦（国情研） 、川田（宇都宮大） 、佐藤（筑波大）

４） グリッドソフトウェア統合・運用技術 ・・・・・・・・・ WP４
三浦（国情研）５） グリッド対応ネットワーク通信基盤 ・・・・・・・・・・ WP５

ＷＰ４ パッケージング・
統 合化１） グリッド環境における資源管理 ・・・・・・・・・・・・ WP１

ＷＰ６ ﾅﾉﾃｸｼﾐｭﾚｰｼｮﾝのｸﾞﾘｯﾄﾞへの対応
ＷＰ２ ｸﾞﾘｯﾄﾞ
ﾌﾟﾛｸﾞﾗﾐﾝｸﾞ-ｸﾞﾘｯﾄﾞRPC-ｸﾞﾘｯﾄﾞMPI

WP3 ｸﾞﾘｯﾄﾞ可視化

WP3 ｸﾞﾘｯﾄﾞ PSE

WP3 ｸﾞﾘｯﾄﾞ ﾜｰｸﾌﾛｰ
WP1 ｽｰﾊﾟｰｽｹｼﾞｭｰﾗ

WP1

分散情報サービス（Globus,Condor,UNICOREÎ
Globus,Condor,UNICOREÎOGSA)
OGSA)
WP1 グリッドVM
WP5 ﾈｯﾄﾜｰｸ通信基盤、ｾｷｭﾘﾃｨ･認証基盤
スーパーSINET

下條（阪大）、尾家（九工大） 、今瀬（阪大）

６） ナノシミュレーションのグリッド化 ・・・・・・・・・・・ WP６
青柳（九大）

4

国立情報学研究所

分子科学研究所

共同研究機関計 算 資 源その他

[添付資料3-2-1-3-1] SS研 Grid Computing WG フォーラム資料

2004/12/1

7

8

NAREGI実行シナリオ（ﾏﾙﾁｻｲﾄMPIｼﾞｮﾌﾞ）

アプリケーションモデル

RISM
source
FMO

単一並列ジョブ(メモリ共有orメモリ分散向き問題）

Workflowsource複数サイトに跨らない範囲での並列ジョブ・・・・・○

a: Registration

CAInput files
c: Editb: Deployment

PSE

d: Result

WFT

複数の単一並列ジョブ（パラメータサーベイ、最適化問題）

IMPI

GVS

RISM

SMP
64 CPUs

1: Submission(JSDL)

Super
Scheduler

複数サイトでの同時並行処理・・・・・・・・・・・・・・・◎
5: Sub-Job

疎結合複数ジョブ（ Multi-physics, Multi-resolution 問題）

6: Co-Allocation

GridVM

GridVM

計算コストに対して通信コストが無視できる・・・・○

2: Interpretation ofWorkflow Language
3: Resource Query
4: Negotiation
Agreement

蜜結合複数ジョブ（ Multi-physics, Multi-resolution 問題）
計算コストに対して通信コストが無視できない・・△Accounting

GridVisualization

Output files

7: Reservation

Local
Scheduler

Local
Scheduler

IMPI

RISMFMOServerJob

Job

MPI

Distributed
Information
Service

GridVM

8: Submission

FMO

PC Cluster
128 CPUs

GridMPI

Local
Scheduler
Monitoring

CACACA

Site A

Site B(SMP machine)

Site C(PC cluster)

910

WP1: マルチサイトジョブ実現イメージ

WP1: 計算資源の要求

連成ジョブ

アプリケーション開発者は、ジョブの資源要件を JSDL 仕様(ProcessTopology)で記述する。

JobA-1 16CPU

Site A

エンドユーザは、実行マシンを指定する必要がない

0(4cpu)(4cpu)

12

4

3

6(8cpu)(8cpu)

14 15

5913

81216

源資

情報

ORDB

Information
Service

Provider/Monitor

NJS

GridVM 通信

Local
Scheduler
ＧｒｉｄＶＭ Ｅｎｇｉｎｅ

CIMM
Service

Site BSSブローカ

NJS

GridVM sched

10 11

JobA-1…SiteA
JobA-2…SiteBﾞ
算、計NJS7(8cpu)(4cpu)JSDL

Gateway

Gateway<ProcessTopology><virtualHost total=“3” mappedTo=“realHost” ><Process total=“2” ><threads>2</threads></Process></virtualHost><virtualHost total=“3” mappedTo=“realHost” ><Process total=“4” ><threads>2</threads></Process></virtualHost></ProcessTopology>

アカウンティング情報

ClientJobA-2 256CPU

GridVM sched
Local
Scheduler
ＧｒｉｄＶＭ Ｅｎｇｉｎｅ

GridVM Engine

MPI 通信17MPIジョブ

ＧＧＦ ＪＳＤＬ－ＷＧで仕様提案中

1112

WP2: GridRPC/Ninf-G2

WP1: グリッド情報サービス
Virtual Organization
Super
GridMPIPSE,
GridVM
PKI基盤
GridRPC
WF(G)UI Scheduler

AdminviewerUser
viewerUser,VO毎の情報サービス

V.O.
viewer

資源情報 検索、設定、通知
RealWorld

Resource Log
Performance

生成／消滅／変換
Resource

User Budget

User Budget

Log
R.W.

Performance Account Policyの実例

Ｍｏｎｉｔｏｒｉｎｇ， Ａｃｃｏｕｎｔｉｎｇ， Ａｒｃｈｉｖｉｎｇ

CenterLRPS

Nano
HEP

Aggregate&Decode
Site

Account Policy

Management

DAI
RDB

Astro

GridRPC

Programming Model using RPC on the Grid
High-level, taylored for Scientific Computing (c.f. SOAP-RPC)
GridRPC API standardization by GGF GridRPC WGNinf-G Version 2
A reference implementation of GridRPC API
Implemented on top of Globus Toolkit 2.0 (3.0 experimental)
Provides C and Java APIs IDL
Numerical

Management

Clientの実例
Cell Domain
Information Provider
Service Provider

Inst.

GridVM NW基盤 GridRPCUNICORE Condor Local
Usage
RecordTopology

stub

IDB

Library

FILE

V.O.

Local
Management
System

Hawkeye Schedule
ClassADJob

1.
interfacerequest3. invoke
Executable
2. interface
reply
Client side

4. connect
back
GRAM
MDS

Server side

IDL Compiler

generatefork

Remote Executable

retrieve

Interface
Information
LDIF File

Ｎｉｎｆ‐G V2.2.0提供済

[添付資料3-2-1-3-1] SS研 Grid Computing WG フォーラム資料

13

WP3: グリッドアプリケーション環境

WP2: Grid MPI
Cluster A• Intra-cluster

Cluster B– Vendor MPI– SCore– IMPI compatible• Inter-cluster
MPI Core
Grid ADISSH RSH GRAM Vendor

IMPI Latency-aware Communication Topology

OtherVendor Comm.
Library
MPI

P-to-P Communication

MPI

TCP/IP

PMv2 Others

14

 Grid PSE- グリッド環境へのアプリケーションの配置- ユーザ要求／アプリケーション情報による実行支援 Grid Workflow- グリッドミドルとは独立したワークフロ言語（GSFL;Grid Service Flow Language）- タスクフロー表現のGUI– GRAM (Globus) & IMPI compatible
RPIM

2004/12/1

GridMPI V0.2提供済WP3: グリッドアプリケーション環境

 Grid Visualization- グリッド上に分散された大規模データのリモート可視化- 汎用的な可視化グリッドサービス

15

16

WP5：ネットワーク研究開発概要

スクリプト言語

ワークフローＧＵＩ
分子研アプリ分子研アプリ分子研アプリ分子研アプリGAMESS-FMO
RISM-FMO

ネットワークPSE

GridｻｰﾋﾞｽAPI
ﾃﾞﾌﾟﾛｲﾒﾝﾄ

WF-GUI向け
ｲﾝﾀﾌｪｰｽ

WFT
I/F

コマンド
ｲﾝﾀﾌｪｰｽ

事例DB
ｱﾌﾟﾘ情報ｻｰﾊﾞ選択
登録・検索
登録・検索

ﾜｰｸﾌﾛｰGUI->ﾜｰｸﾌﾛｰ言語
ｺﾝﾊﾞｰﾀｰコマンド
インターフェース

高位機能
ｱﾌﾟﾘﾌﾟｰﾙ

基本機能
（他WP）

ﾌｧｲﾙ転送事例DB

グリッド概念「ネットワークに繋がった計算資源を相互に連携して一つの計算資源」とする機能を提供する

PSE ｽｸﾘﾌﾟﾄ 可視化
I/F
I/F
言語

API グリッドPSE

グリッドＷＦUNICORE =＞ ＯＧＳＡ

コマンド
インターフェース

ﾜｰｸﾌﾛｰ（WF言語）

可視化グリッドサービス

WFｴﾝｼﾞﾝ・ｽｰﾊﾟｽｹｼﾞｭｰﾗ

・・・

グリッド
可視化

情報ｻｰﾋﾞｽ

WP5: グリッド通信基盤（ＰＫＩ）

WP5

ネットワーク計測に基づくネットワーク制御機能
ネットワーク機能基盤開発

通信プロトコルの詳細な性能評価

複数組織間での認証機能

通信プロトコル基盤開発

グリッド通信基盤（PKI）の開発

17

複数組織間での認証連携に関する要件定義とポリシー策定、
UNICORE/Globus認証機能の開発、ＶＯ管理機能の開発

18

WP6: ナノアプリケーションのグリッド化
Site A

MPICH-G2, Globus

Site B

RISM
RISM

FMO
FMO
溶液中の電子構造

UNICOREおよびGlobusToolkitの運用を前提にPKIの認証サービスの提供・運用

グリッド連成ミドルウェア

ポリシードメインに跨る認証連携を可能とする仕組みを研究開発しGGFへの提案を目指す
RISM

NAREGI-CA V1.0供済

電子構造解析

溶媒分布解析

認証局 (CA)/登録局 (RA) およびＧＧＦの規定するBasic Assurance Levelの認証ポリシーを開発

MPICH-G2, Globus
異なる離散点上のデータ変換

Reference Interaction Site Model
無限系に対する溶媒分布解析プログラム

FMO

グリッド連成ミドルウェアFragment Molecular Orbital method
ナノ高分子の電子構造解析プログラム

[添付資料3-2-1-3-1] SS研 Grid Computing WG フォーラム資料

19

NAREGI テストベッド

2004/12/1

グリッド研究開発推進拠点（５Ｔflops，700GB)

東工大
Campus Grid

ファイルサーバ

東北大金研(PRIMEPOWER 900＋ETERNUS3000＋ ETERNUS LT160）

Small Test App Clusters

大阪大
BioGrid

1node／8CPU

産総研
SuperCluster

九大情報基盤センター(SPARC64V1.3GHz)

1node (UNIX,SPARC64V1.3GHz/64CPU)

ＫＥＫ物構研
京大化研

内部 ＮＷ-B

ﾒﾓﾘ
ﾒﾓﾘ 128GB
128GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 441GB
441GB

1node

Small Test App Clusters(Itanium2 1.3GHz/32CPU)

分散メモリ型演算サーバB-1(Express 5800）

ﾒﾓﾘ
65GB
ﾒﾓﾘ
65GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 4.7TB
4.7TB
GbE (1Gbps)128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon2.8GHz/Linux)+管理ﾉｰﾄﾞ

分散メモリ型演算サーバB-2
ﾒﾓﾘ
65GB
ﾒﾓﾘ
65GB
(Express 5800）
ﾃﾞｨｽｸ 4.7TB
ﾃﾞｨｽｸ
GbE (1Gbps)
128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon2.8GHz/Linux)+管理ﾉｰﾄﾞ

Ｌ３スイッチ(Catalyst 6503)

共有メモリ型演算サーバ2(SGI Altix3700）

東大物性研

Small Test App Clusters

ﾒﾓﾘ
65GB
ﾒﾓﾘ
65GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 9.4TB
9.4TB
InfiniBand 4X (8Gbps)
128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon3.06GHz/Linux)+管理ﾉｰﾄﾞ

1Gbps

内部 ＮＷ

Small Test App Clusters

ﾒﾓﾘ
130GB
ﾒﾓﾘ
130GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 9.4TB
9.4TB
InfiniBand 4X(8Gbps)
128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon3.06GHz/Linux)+管理ﾉｰﾄﾞ

分散メモリ型演算サーバA-2(PRIMERGY RX200）

Ｌ３スイッチ

共有メモリ型演算サーバ1(PRIMEPOWER HPC2500）

Small Test App Clusters

分散メモリ型演算サーバA-1(PRIMERGY RX200）(Catalyst 6506)

ﾒﾓﾘ
16GB
ﾒﾓﾘ
16GB
ﾃﾞｨｽｸ
10TB
ﾃﾞｨｽｸ
10TB (RAID5/ユーザ領域)(RAID5/ユーザ領域)
ﾊﾞｯｸｱｯﾌﾟ
ﾊﾞｯｸｱｯﾌﾟ 最大36.4TB
最大36.4TB

産総研

スーパーSINET

内部 ＮＷ-A

外部ＮＷ

スーパーＳＩＮＥＴ

Small Test App Clusters

20

グリッド基盤ソフトウェア研究開発システム

1Gbps

分散メモリ型演算サーバB-3(HPC LinuxNetworx ｸﾗｽﾀ）

ﾒﾓﾘ
ﾒﾓﾘ 32GB
32GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 180GB
180GB

GbE (1Gbps)

4.7TB

ﾒﾓﾘ
65GB
ﾒﾓﾘ
65GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 4.7TB
4.7TB

128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon2.8GHz/Linux)+管理ﾉｰﾄﾞ～３０００プロセッサ～１７Tflops

アプリケーション研究開発拠点（分子科学研究所）

グリッド研究開発推進拠点（国立情報学研究所）～１０Tflops～５Tflops

共有メモリ型演算サーバ3(IBM pSeries690）
1node(Power4 1.3GHz/32CPU)

分散メモリ型演算サーバB-4 ﾒﾓﾘ
ﾒﾓﾘ(HPC LinuxNetworx ｸﾗｽﾀ）

ﾒﾓﾘ
ﾒﾓﾘ 64GB
64GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 480GB
480GB

128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon2.8GHz/Linux)+管理ﾉｰﾄﾞ

ネットワーク
テストベッド（GNET-1)

ナノアプリケーション研究開発システム

21

22

NAREGI研究開発日程

アプリケーション研究開発拠点(10Tflops，5TB)
共有メモリ型演算サーバ

分散メモリ型演算サーバ

2003

5.0 TFLOPS
818 CPUs(Xeon, 3.06GHz)+Control Nodes
Myrinet2000 (2Gbps)

5.4 TFLOPS
16ways×16ways×50nodes (POWER4+ 1.7GHz)
MultiMulti-stage Crossbar Network

65GB
65GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 4.7TB
4.7TB

GbE (1Gbps)

2004

2005

2006

評 価

研究開発

2007

2008 ～
成果活用

実用化・強化・実証試験

中間評価
評価結果によりプロ
ジェクト体制の見直し

実証研究

Gridの検証
アプリケーションのグリッド環境対応研究開発

3072GB
3072GB
2.2TB
2.2TB

MemoryMemory 1.6TB
1.6TB
Storage
Storage 1.1TB/unit
1.1TB/unit

フロントエンドサーバ

研究開発方針仕様検討

フロントエンドサーバ

ファイルサーバ

L3 SW
1Gbps

16CPUs (SPARC64 GP, 675MHz)

実用システム
開発・構築

ネットワーク通信基盤技術研究開発

構築運用技術開発
Firewall

初期インフラNII,IMS

VPN
グリッド研究開発推進拠点

評価
実用化検討

管理認証サーバ(Upgradable to10Gbps)
MemoryMemory 8GB
8GB
Storage
Storage 30TB
30TB
Back-upBack-up 25TB
25TB

Gridミドルウェア研究開発

実証試験

MemoryMemoryStorage
Storage

グリッドアプリケーション研究開発

大学・研究機関の技術ノウハウをスムーズに民間移転できる実用的な仕組み

計算科学
ナノ分野の挑戦的
研究テーマの選定

次期インフラスーパーＳＩＮＥＴ

2324NAREGI ミドルウェア配布計画

まとめ

Development of Operational Environment
・・ Development of Operational Environment
・・１） グリッドは、21世紀の研究開発基盤であり産業基盤です。
２） NAREGIプロジェクトでは、異種混合の計算資源をシームレスにつなぐミドルウェア技術を中心に開発いたします。

Integration

プロト版

Integration

Integration

β版

α版

Testbed for Prototyping(UNICORE, Condor,Globus)

Integrationβ’版

Final System

NAREGI V1.0

(OGSA Compliant) （サイエンスグリッド構築環境）

随時個別提供・・・・

Grid
GridMiddleware
MiddlewareResearch
Research３） 開発したグリッド環境を用いて、ナノサイエンスにグリッドを適用し、実用性を評価する実証研究までを行います。
４） 開発したグリッド技術を広く産業界へ広め、産業界の国際競争力向上に寄与します。
５） 国際的なグリッド技術標準化に寄与します。

[添付資料3-2-1-3-1] SS研 Grid Computing WG フォーラム資料252004/12/1