2005年前期 大学院科目

広域分散アプリケーション特論
月曜日 ３時限
場所：情報基盤センター３Ｆ 多目的講義室
担当 青柳 睦aoyagi@cc.kyushu-u.ac.jp
6月13日（月）講義の内容，成績評価方針(server-500.cc.kyu・・)

サイエンスＧｒｉｄ ＮＡＲＥＧＩ・ NAREGIミドルウェアの概要
・ 連成計算の概要

講義の内容グリッドの概要
Ｇｒｉｄコンピューティングとは ■サイエンス分野での利用■ビジネス分野での利用■

計算科学の概論
主要なシミュレーション手法■

サイエンスＧｒｉｄ ＮＡＲＥＧＩ

Globus, Unicoreの現状 ■NAREGIミドルウエア概要■連成計算とその類型化
 Globus Tool Kit version 4■GT4の動向に依存・・
NAREGIミドルウエアのデモに変更するかもしれない

講義資料はWebで公開
server-500.cc.kyushu-u.ac.jp

NAREGIプロジェクトの概要
基本層（WP1 東工大 松岡教授）■ スーパー・スケジューラ■ 分散情報サービス■ グリッドVM上位層
WP3 国情研 宇佐見教授■ PSE■ ワークフローツール■ グリッド可視化

Programing層
WP2 産総研 関口博士
■ GridMPI■ GridRPC

ネットワーク＆認証層
WP2 大阪大学 下條教授
■ PKI
■ 認証連携 VO対応

Application層
WP6 九州大学 青柳■ Mediator■ 連成計算実証試験

ＮＡＲＥＧＩソフトウェア階層とWP1 (先週の話題)
１００Tflops級のサイエンスグリッド環境
ﾅﾉﾃｸｼﾐｭﾚｰｼｮﾝのｸﾞﾘｯﾄﾞへの対応
ﾊﾟｯｹｰｼﾞﾝｸﾞ、統合化

ｸﾞﾘｯﾄﾞ
ﾌﾟﾛｸﾞﾗﾐﾝｸﾞ-ｸﾞﾘｯﾄﾞRPC-ｸﾞﾘｯﾄﾞMPI

ｸﾞﾘｯﾄﾞ可視化

ｸﾞﾘｯﾄﾞ PSE

ｸﾞﾘｯﾄﾞ ﾜｰｸﾌﾛｰ
ｽｰﾊﾟｰｽｹｼﾞｭｰﾗ

分散情報サービス(ユーザ課金情報、モニタリング)（Globus,Condor,UNICOREÎOGSA) Unicondore
グリッドVM
ﾈｯﾄﾜｰｸ通信基盤、性能評価、ｾｷｭﾘﾃｨ･認証
スーパSINET
国立情報学研究所

分子科学研究所

研究協力機関計 算 資 源その他

WP1OGSANAREGIにおける上位層
100 TFLOPs級のサイエンスグリッド環境
WP6: ナノシミュレーションのグリッドへの対応パッケージング ＆ 統合化

グリッドプログラミング- グリッドRPC- グリッドMPI

グリッド可視化

グリッドPSE

グリッドワークフロー
スーパースケジューラ

分散情報サービス(Globus, Condor, UNICORE Î OGSA)
グリッドVM
ネットワーク通信基盤 & セキュリティ・認証
Super SINET
国立情報学研究所

分子科学研究所

研究協力機関計 算 資 源その他

機能の概要 グリッドPSE- グリッド環境へのアプリ配置- ユーザ要求/アプリ情報による実行支援 グリッドワークフロー- 特定のグリッドミドルウェアに依存しないワークフロー言語- タスクフロー表現によるGUI グリッド可視化- グリッド環境上に散在した大規模デー
タのリモート可視化- 汎用的な可視化グリッドサービス

システムの概要
ワークフロー

スクリプト言語等

疎結合FMO
えーｒ
RISM-FMOGAMESS

分子研アプリ分子研アプリ分子研アプリ

Deployment UIRegister UIWorkflow GUI

Deployment
ServiceApplication
Contents
ServiceWorkflowService compile deploy
 un-deploy(ACS)Resource/Execution
Manager

Application
Repository

Grid Service
Interface

CFD
MolecularVisualization
Visualization
ServiceParallel
ServiceVisualization
ServiceCFD
Molecular Visualizer
ViewerParallelVisualizer

Workflow
Language
Converter(AJO) Workflow

Object

グリッドPSE
グリッド
基盤機能
（他WP）

File
Transfer

グリッドワークフロー

・・・

Workflow Engine &Super Scheduler

Visualization GUI

グリッド可視化・・・

Distributed
Information Service

相互関連図利用者
ユーザインタフェース層
可視化GUI

グリッド可視化
高機能サービス層

ワークフローGUIPSE GUI

グリッドワークフロー

可視化サービス

ワークフロー
オブジェクト

グリッドPSE
PSEサービス

アプリプール(ACS)

グリッドミドルウェア層
ワークフローエンジン& スケジューラ

分散情報サービス

ユーティリティ群

ネットワーク通信基盤
分散リソース層
分散並列型演算サーバ

メモリ共有型演算サーバ

ファイルサーバグリッドPSE：

NAREGI-PSEの背景
 アプリケーションユーザの視点：グリッド時代の研究活動
 グリッドの知識を必要とせずともシミュレーション。
グリッドの知識を必要とせずともシミュレーション。
 各所にあるアプリケーションを容易に利用したい。
各所にあるアプリケーションを容易に利用したい。
 アプリケーションを容易に提供したい。
アプリケーションを容易に提供したい。
 アプリケーション・シミュレーション過程と結果の再利用を行いたい。
アプリケーション・シミュレーション過程と結果の再利用を行いたい。

 グリッドによるアプリケーションユーザのパラダイムシフトを支援
 グリッドを意識することなく、グリッドを利用した研究活動ができる環境を、研究者に提供することを目指す アプリケーション開発者
 開発したアプリケーションを、容易にグリッドへ配置・登録

 アプリケーション利用者
 グリッドを意識することなく、アプリケーションを実行

グリッドPSE：

NAREGI-PSEの機能
 グリッドにおけるアプリケーション実行環境の構築
 アプリケーション配置先資源の選択を支援 ソースファイル：転送～コンパイル～テスト実行→登録
 ロードモジュール：転送～テスト実行→登録
 アプリケーションの再利用支援
 登録アプリケーションの公開範囲を設定
 アプリケーション情報の一つとして資源要件を管理
 NAREGIアプリケーションスキーマ
 「アプリケーション」をグリッドの資源として管理
 利用者インタフェース
 アプリケーション登録・検索・配置のGUI
 グリッドサービス・インタフェース（Deployment）

グリッドPSE：

NAREGI-PSE利用シナリオ
アプリケーション開発者

PSE

アプリ開発

：ワークフローツール

GVS：グリッド可視化

アプリケーション
実行環境の構築

アプリ登録

アプリ配置

アプリ検索

WF作成

WF登録*

WF検索*

WF実行

結果解析

アプリケーション利用者

WFT

WF：ワークフロー *：予定

アプリケーション
実行支援グリッドPSE：

システム概要
W
eb

ジョブ投入

WF実行
WF編集

ClientWFT
3.
3. ワークフロー
ワークフロー
ツール連携
ツール連携

アプリ検索
(GUI)
W
eb

アプリ登録
(GUI)
アプリ配置
(GUI)

1.
1. アプリケーション配置機能のアプリケーション配置機能のグリッドサービス実装
グリッドサービス実装

アプリ情報(App. Schema)

Application
Pool
Deployment
ServicePSE
4.
4. WP1コンポーネント
WP1コンポーネント
連携プロトタイプ
連携プロトタイプ

資源情報(cached)

資源情報
取得

2.
2. グリッド基盤
グリッド基盤
アクセス機能ファイル転送・アクセス機能

コンパイル
配置情報登録グリッドPSE：

アプリケーション登録／配置・利用例
 アプリケーション情報
 プログラム 入力ファイル
 要求資源要件

アプリケーション
開発者など

PSE
アプリプール①アプリ登録
②コンパイル先選択⑤配置先選択⑦アプリ配置情報
登録
⑥アプリ
配置

③コンパイル

資源情報
情報サービス④アプリ環境
一式

コンパイル

OK!

テスト実行

OK!

Server#1

テスト実行

Server#2

NG!

テスト実行

Server#3

OK!

グリッドPSE：

アプリケーション実行・利用例
WFT

アプリケーション
利用者

③ＷＦ作成

PSE

①アプリ検索アプリ情報•システム要件②アプリ情報④ＷＦ実行依頼

スーパー
スケジューラ
⑥最適な計算機を選択しジョブを実行

Server#1⑤アプリ配置情報

資源情報⑤動的資源情報等
情報サービスアプリ配置済

アプリ未配置

アプリ配置済負荷：高負荷：低負荷：低Server#2

Server#3

グリッドPSE：

まとめ NAREGI-PSEとは 利用者がグリッドを意識せず利用できる環境を提供
 アプリケーション開発者の支援
 開発したアプリケーションを容易にグリッドへ登録・配置
 アプリケーションの再利用 アプリケーション利用者の支援 物理的な計算機を意識せず、アプリケーションを利用 今後の主な開発予定
 ワークフローツールと連携したワークフロー登録・検索機能
 コンポーネントのWSRF対応
 OGSAサービスとしてのアプリケーション管理
 アプリケーションプールからApplication Contents Service (ACS)へグリッドPSE：OGSAとNAREGI-PSE
WP3: PSE

WP3: WFT

Application
Contents
Service (ACS)
Deployment

WP1:
Job Manager

Execution
Planning
Services
Candidate Set
Generator

ÎÎアプリケーションプールのアプリケーションプールの概念をカバーする標準仕様
概念をカバーする標準仕様の策定の策定

Register / Query

DeploySubmitDiscover &Select

GGFでACS-WG設立
GGFでACS-WG設立

Register

Accounting
Services

UpdateInformation
Services

Reserve

Reservation

QueryServiceContainer

グリッドワークフロー：

17

ワークフローツール
ﾕｰｻﾞA

httpサーバWeb

ﾕｰｻﾞB

WorkflowToolサーバ
tomcatWorkflowServletブラウザ（IE,mozilla)

リソース管理ファイル管理実行管理

UNICORE WF
ｵﾌﾞｼﾞｪｸﾄ生成ｻｰﾋﾞｽ

UNICORE
ｹﾞｰﾄｳｪｲｻｰﾊﾞ

NAREGI-WF言語による
記述
NAREGI WFＩｵﾌﾞｼﾞｪｸﾄ生成ｻｰﾋﾞｽ

WFｵﾌﾞｼﾞｪｸﾄ

WFｵﾌﾞｼﾞｪｸﾄ

ｻﾌﾞｼﾞｮﾌﾞA

ｻﾌﾞｼﾞｮﾌﾞA

ｻﾌﾞｼﾞｮﾌﾞB
A→B

NAREGI
ｽｰﾊﾟｽｹｼﾞｭｰﾗｻｰﾊﾞ

ｻﾌﾞｼﾞｮﾌﾞB
A→B

ｻｰﾊﾞ群

（補足の寄り道） Tomcat• Apache Jakartaプロジェクトのサブプロジェク
トとして開発されているオープンソースのソフトウェア.
• Javaサーブレット・JSP(Java Server Pages)を処理するアプリケーションサーバの事実上の標準.
ﾏｲｸﾛｿﾌﾄASP(Active Server Pages)はIIS付
加機能だが，JSPは幅広いﾌﾟﾗｯﾄﾎｰﾑで動作• Script言語はJavaそのものを利用．
http://jakarta.apache.org/tomcat/

グリッドワークフロー：

グリッドアプリケーションの開発工程
Step1

Step2

 各コンピュータでのﾌﾟﾛｸﾞﾗﾑ開発（逐次ﾌﾟﾛｸﾞﾗﾑ、並列ﾌﾟﾛｸﾞﾗﾑ）

prog1

prog2prog3

data

data

data

 各ﾌﾟﾛｸﾞﾗﾑに対する計算機資源の指定（UNICORE) 各ﾌﾟﾛｸﾞﾗﾑの実行に必要な要件の指定（NAREGI-SS)
 各ﾌﾟﾛｸﾞﾗﾑの依存関係の指定

WorkflowTool

prog1

data

prog2

prog3

data

グリッドワークフロー：

ワークフローツールによる開発手順 (1/2)
１)ＷＦコンポーネントとなるプログラムアイコンの登録

JSDL

UNICORE
計算機資源の指定（実行計算機、ﾌﾟﾛｸﾞﾗﾑﾊﾟｽ など）
NAREGI-SS

NAREGI-SS

その他：ﾃﾞｰﾀｱｲｺﾝ、ﾜｰｸﾌﾛｰｱｲｺﾝの登録

UNICORE

ﾌﾟﾛｸﾞﾗﾑ実行の要件をJSDLで指定（実行計算機など指定不要）

２）コンポーネント間の接続
制御依存関係の指定
IO（データ）依存関係の指定

実行計算機

ﾌﾟﾛｸﾞﾗﾑﾊﾟｽ

NAREGI JSDLJSDLによる資源予約およびジョブ投入
JSDLによる資源予約およびジョブ投入
NAREGI向けに拡張して使用
NAREGI向けに拡張して使用
NAREGI JSDL（一部)属性

説明/naregi-jsdl:SubJobID

サブジョブID/naregi-jsdl:CPUCount

ジョブに必要な総CPU数/naregi-jsdl:TasksPerHost

ホスト当たりのタスク数/naregi-jsdl:TotalTasks

MPIタスク数/naregi-jsdl:NumberOfNodes

必要ホスト数/naregi-jdsl:CheckpointablePeriod

チェックポイント採取間隔/jsdl:PhysicalMemory

ジョブの各プロセスが使用可能な物理メモリ/jsdl:ProcessVirtualMemoryLimit

ジョブの各プロセスが使用可能な仮想メモリ/naregi-jsdl:JobSatrtTrigger

予約開始時刻/jsdl:WallTimeLimit

ジョブ実行時間/jsdl:CPUTimeLimit

CPU時間/jsdl:FileSizeLimit

最大ファイルサイズ/jsdl:Queue

キュー名

並列処理向け拡張

コアロケーションの時間指定

グリッドワークフロー：

ワークフローツールによる開発手順 (2/2)3)計算の実行と実行状況の監視
各コンポーネントの実行と実行状態の監視

ピンク：
ブルー：
グリーン：
レッド：

正常終了
計算中待ち（準備中）
異常終了

分子研資源

国情研資源

グリッドワークフロー：

23

詳細機能の例(1/2)

 制御構造をもつワークフロー構造（条件、ループ等）
条件分岐アイコンで判定するアイコンを表現
実行順序を表現．複数の接続が可能

繰り返し実行を表すアイコン

条件分岐を表す条件分岐
アイコン

then/else節を表す．
マウスを位置付け、openすると対応するワークフローア
イコンが表示マウスを位置付け、openすると対応するループ内のワークフローアイコンが表示

グリッドワークフロー：

詳細機能の例(2/2)

 コレクティブデータ転送
データ分散(１計算機→Ｎ計算機）

データ収集(Ｎ計算機→１計算機）

データ転送(Ｎ計算機→Ｎ計算機）

 コレクティブ計算
データ収集の例
サーバグループｇ１の各HOME/out
ファイルを計算機群の名称を選択

収数するデータファイルのパス

Png53サーバのHOME/in1,in2,in3としてコピー収集収集する数計算機群の名称に登録した計算機を表示

収集先の計算機名称
収集先のディレクトリのパス

グリッドワークフロー：

まとめ
UNICOREｻｰﾊﾞやNAREGI-SSｻｰﾊﾞ上での、ｸﾞﾘｯﾄﾞｱﾌﾟﾘｹｰｼｮﾝの開発と実行のために、以下の機能・特長をもつＧＵＩﾍﾞｰｽのﾜｰｸﾌﾛｰﾂｰﾙを開発。
 ﾜｰｸﾌﾛｰ（異なるｻｲﾄ間をまたがる複数ｼﾞｮﾌﾞ、ﾃﾞｰﾀの連携）の作成
 ﾜｰｸﾌﾛｰとして、入出力の順序関係に基づくﾌﾟﾛｸﾞﾗﾑの依存関係だけでなく、ﾌﾟﾛｸﾞﾗﾑ条件ｺｰﾄﾞ等に基づくﾙｰﾌﾟや条件分岐等の制御ﾌﾛｰを記述可能
 ﾊﾟﾗﾒｰﾀｽﾀﾃﾞｨ等に有効なｺﾚｸﾃｨﾌﾞ計算、ｺﾚｸﾃｨﾌﾞﾃﾞｰﾀ転送機能を有するｱｲｺﾝ定義
 ﾜｰｸﾌﾛｰの実行、実行状況の監視

25

グリッド可視化：

はじめに背景 計算機シミュレーションにおける可視化の重要性- 計算結果は人間による解釈が事実上不能な膨大な数値の羅列。
- シミュレーションは計算結果が人間に解釈されてはじめてその目的が達成される。

可視化により初めて研究者は目に見える形で計算結果を観察、分析できる。

 グリッド環境上のデータを扱う難しさ- グリッド環境では計算結果データが遠隔の複数の計算サーバ上に分散。
- 計算結果のデータ量が巨大であることが多々。

この条件下、従来の可視化ソフトでは簡単かつ効率よく可視化することが困難。

本システムの目的
 分散配置された大規模データの可視化
グリッド環境上に分散されて保存された巨大な計算結果データを、複雑な操作や煩わしい待ち時間なしに、研究者のPCより遠隔から可視化できるシステムを提供。

Îグリッドの実用性と使い勝手の向上に貢献グリッド可視化：

画像ベースのリモート可視化(1/2)• 従来の可視化との違い計算結果データをユーザのPC上ではなく、リモートの計算サーバ上で可視化。
ユーザはPC上で起動したクライアントGUIによって、計算サーバ上の可視化を制御でき、そこで生成された画像を見ることができる。

シミュレー
ション
プログラム

計算結果
データ
計算サーバ

可視化
サーバ

可視化画像
可視化パラメータ
ネットワーク

可視化
クライアントユーザPC

グリッド可視化：

画像ベースのリモート可視化

(2/2)

• 利点
高速CPU、大容量メモリ、大容量HDDを備えたハイエンドPCは不要。
大規模な計算結果データをPCにダウンロード不要。
マルチサイト連成/並列計算の場合でも大規模な計算結果データのサイト間転送は不要。
マルチサイト連成/並列計算の場合でも大規模な計算結果データの合成処理は不要。
ネットワーク性能や処理性能や容量の制限のために、わざわざ低解像度データにリダクション不要。
ネットワーク負荷が軽減。
どこからでもユーザのPCから可視化可能。

グリッド可視化：

大規模分散リモート可視化
サイトA

Fire Wall
ServiceProvider

Client5

3

画像ベースのリモート可視化

MPI ParallelVisualizer 計算サーバ上で並列可視化2

 圧縮画像を送信＆合成

サイトB

ファイルサーバ
計算結果
データ

4

圧縮画像
データ

計算サーバ

ServiceProvider
1

ファイルサーバ
計算結果
データ

インターコネクト網
PE
PE
PE
PE

PE
PE
PE
PE

PE
PE
PE
PE

PE
PE
PE
PE

PE
画像合成

MPI Parallel Visualizer

画像圧縮

MPI Parallel
Visualizer
計算サーバ

 並列化によりメモリ容量と処理速度の限界を打破グリッド可視化：

大規模可視化の例
 100万分子（300万原子）の運動の動画表示

氷データ提供：分子科学研究所

水グリッド可視化：

可視化グリッドサービスフレームワーク
 WSRFベースのリモート可視化統合環境への発展
NAREGIミドル
ワークフロー
ツール

グリッド可視化
サービス対応クライアントGVS可視化
クライアント(参照実装)

情報サービス

操画
作像

グリッドMPI

標準I/Fによる種々の可視化ソフトの統合利用の実現

連成計算
可視化
サービス

連成計算
可視化
サービス

ポスト
可視化
サービス

DB可視化
サービス

分子可視化
サービス

流体可視化
サービス

個別可視化
サービス

アダプタ

アダプタ

アダプタ

アダプタ

アダプタ

アダプタ

アダプタ

連成計算
並列可視化
モジュール

連成計算
並列可視化
モジュール

並列ポスト
可視化
モジュール

標準データ
可視化
モジュール

分子可視化
ソフト

流体可視化
ソフト

個別可視化
ソフト

連成シミュ
レーション

連成シミュ
レーション

計算結果

DB(標準データ形式)(PyMOLなど)

既存の可視化ソフトのグリッド化

グリッド可視化：

まとめ本システムの特長• 散在するデータの可視化を手軽に遠隔の計算機上で分散して計算/保存された連成計算などの大規模データを、可視化サービス連携により統合的に可視化できる。

• ネットワークの負荷を軽減遠隔の計算機上で可視化処理を行うため、大規模データの移動が不要になり、ネットワーク条件の悪い環境からもデータ規模を気にせず可視化できる。

• 大規模データを高速に可視化
並列可視化モジュールを使用の場合、可視化処理は並列に実行され、数百万原子規模の分子データも1秒程度で可視化できる。

• 様々な形態の可視化を簡便に
WSRFによる可視化標準I/Fにより、 1つのクライアントGUIで様々な形態の可視化を統合的に行える。

• 種々の可視化ソフトをグリッド化アダプタを用意することで、 既存の種々の可視化ソフトをこの統合環境の枠組みに組み込める。

NAREGIプロジェクトの概要
基本層（WP1 東工大 松岡教授）■ スーパー・スケジューラ■ 分散情報サービス■ グリッドVM
上位層
WP3 国情研 宇佐見教授■ PSE■ ワークフローツール■ グリッド可視化

Programing層
WP2 産総研 関口博士
■ GridMPI■ GridRPC

ネットワーク＆認証層
WP2 大阪大学 下條教授
■ PKI
■ 認証連携 VO対応

Application層WP6 九州大学 青柳■ Mediator■ 連成計算実証試験

ＮＡＲＥＧＩソフトウェア階層とWP2
１００Tflops級のサイエンスグリッド環境

WP2

ﾅﾉﾃｸｼﾐｭﾚｰｼｮﾝのｸﾞﾘｯﾄﾞへの対応

ﾊﾟｯｹｰｼﾞﾝｸﾞ、統合化

ｸﾞﾘｯﾄﾞ
ﾌﾟﾛｸﾞﾗﾐﾝｸﾞ-Grid RPC-GridﾞMPI

ｸﾞﾘｯﾄﾞ可視化

ｸﾞﾘｯﾄﾞ PSE

ｸﾞﾘｯﾄﾞ ﾜｰｸﾌﾛｰ
ｽｰﾊﾟｰｽｹｼﾞｭｰﾗ

分散情報サービス(ユーザ課金情報、モニタリング)（Globus,Condor,UNICOREÎOGSA) Unicondore
グリッドVM
ﾈｯﾄﾜｰｸ通信基盤、性能評価、ｾｷｭﾘﾃｨ･認証
スーパSINET
国立情報学研究所

分子科学研究所

研究協力機関計 算 資 源その他

34

ＮＡＲＥＧＩグリッドプログラミング環境 （WP2）• 目的– （資源）遠隔地に設置され、高速なネットワークで接続された複数のコンピュータ（クラスタやSMP機）– （環境）標準的なグリッド機能(セキュリティ、情報サービス、実行環境） e.g. NAREGI, GT3.0– VO/VCにおけるプログラム/ソフトウエア開発環境を提供• 設計指針– 従来の並列プログラミングとの親和性がよいこと• 大規模計算ユーザのプログラム移行性– グリッド環境をユーザが意識しないこと• 独特のコマンド等を覚える必要がない– 小規模から大規模まで安定して拡張できること• 高いスケーラビリティ（１００ＴＦｌｏｐｓ規模のグリッドでも動作する）

Grid RPC / Grid MPI を採用

35

Grid MPI と Grid RPC
Grid MPI
特徴

Grid RPC

並列プログラムの構造 特定の計算部分を遠隔を理解する必要があり、 実行するだけなので、若干困難であるが、記 VO/VCにおけるプログ述能力は高い。並列性 ラムが容易。比較的単が複雑に絡み合う場合 純な並列性を記述するに有効。
場合に有効。
MPI プログラムがその RPC呼出手続きの記述まま動作可能を若干追加
GGF 関連 IMPI/OpenMPI
Grid RPC WG
WG
Ninf, NetSolve
主な実装 MPICH-G/2, PACXMPI, STAMPI, Grid
MPI, OpenMPI

36

37

Grid RPC•認定ソフトウエア naregi-wp2-rpc-041221–Ninf-G version 2.3.0 のリリース•大規模実証実験(Ninf-G2)–アプリケーションの長時間実行による評価–アプリケーションの実行による実用性評価•Ninf-G versin 3.0.0aの開発

38

GridRPC 機能・動作概要② 結果の通知
Network

Subroutine A
ユーザ① 関数呼び出しポータル、ＡＳＰのバックエンドとして利用

Subroutine A

Subroutine A

スーパーコンピュータの遠隔利用

特殊なライブラリの遠隔呼び出し

大規模計算部分の遠隔呼び出し

グリッド上の複数の高性能計算機を利用した大規模計算
Ninf として 1994から開発を開始 → 成果を NＡRＥGI に組み込む

39

GridRPCの開発計画（前期）
H15

H16

H17計画

Ninf-G Version 2(Ninf-G2)を開発。各課題に対応したGridRPCAPIの実装を行なう。
また、GGFにおいてGridRPC APIの標準化を進める。

Ninf-G2の評価および改良。
GT3を用いたNinf-G
Version 3 (Ninf-G3) のプロトタイプ開発。性能・機能の検証。

Ninf-G3正式版開発。

成果物

Ninf-G Version 2.0.0a
を SC2003において配布。
Ninf-G Version 2.0.0を年度末に配布。

Ninf-G Version 2.1 をSC2004において配布。
Ninf-G3 プロトタイプ

Ninf-G Version 3.0 を年度末に配布。
GT4, Univa Globus等に対応したNinf-G
Version 4 の開発

標準化

GGF-７にてGridRPCWGの立ち上げ。

GGF-12にて標準APIの参照実装を提供。
GridRPC WG。

アプリケーションの長時間実行による評価
ー 国際グリッドテストベッド上でのTDDFT －•目的

30– Ninf-G2の品質の検証– Ninf-G2のエラー検知機能の検証– 耐障害機能の実装技術開発

正常なサーバの数•実験– 量子化学計算（TDDFT）をNinfG2を用いて実装– アジア・太平洋地域の国際的な試
験環境上で長時間実行ServerClient

201510500• 8カ国、10機関により提供される合計210CPUのテストベッド

TDDFTのプログラム

日本
米国
韓国
タイ
台湾

2550

100
経過時間 [hours]

サーバの展開・実行

障害検知＆対応
サーバの復旧[ アジア太平洋地域のグリッド環境 ]15040

アプリケーションの実装による実用性評価
ー Hybrid QM/MD simulationの実装 －• 大規模なAtomistic simulationの高精度実行を可能にするため、MD SimulationとQM simulationを連携– MD simulation• 全領域の原子の振舞いを計算• 経験的原子間ポテンシャルを用いた古典MDシミュレーション– QM simulation• 興味のある領域のみを対象に実行，MDの結果を修正• 密度汎関数 (DFT)に基づくQMシミュレーション
MD Simulation

QM simulation
based on DFT

41

アプリケーションの実装による実用性評価
ー Hybrid QM/MD simulationの実装－（続き）

42• アプリケーションの特徴– 複数のQM領域を定義可能（個々のQM領域は独立に計算可能）
tightloosetight

QM simulation
independent
QM simulation

MD simulationtight• Ninf-Gとlocal MPIを組み合わせて実装（新たなプログラミン
グモデルの提案）
Ninf-G

MPI_COMM_WORLD( in MD program)

2プログラム(MD + QM)
シミュレーション内通信：Global
communicatorを用いたMPI通信
シミュレーション間通信：Ninf-Gを利用
MPI_COMM_WORLD(in QM program)実験におけるアプリケーションの動作
P32 (512 CPU)
Total number of CPUs: 1792

P32 (512 CPU)

Ninf-GMD Clientinitial set-up

F32 (256 CPU)QM Server

TCS (512 CPU)
@ PSC

Initialization
Initialization
Initialization

Calculate MD forces of
QM+MD regions

Calculate MD forces of QM region

Update atomic positionsand velocities

Calculate
CalculateQM
QMforceforce
Calculate
QM force
ofoftheQM
regionthe QM regionof the QM region

QM Server

44

専用計算機対応GamessのRPC化
Source: 青柳研 M1 岩切進悟君(卒研の図から引用)

RPC化

クライアント側

まとめた関数をクライアントプログラムから遠隔で呼び出す。

計算開始
入力

まとめた関数密度、初期フォック行列設定（RPC CALL）
チップの初期化

クライアントプログラム
対角化
収束判定

電子反発積分計算
Fock行列の計算
サーバー側(専用ハードウエア）

45

GridRPC グリッドプログラミング環境【まとめ】•高性能システムへの対応– 64ビットアーキテクチャのサポート

2003年11月～2004年９月
2003年11月～2004年９月
Ninf-G
Ninf-G Version
Version 22 のの
ダウンロード数：４９８（５大陸、１７カ国）
ダウンロード数： ４９８（５大陸、１７カ国）• AMD Opteron / SuSE Linux• Intel IA64 / RedHat Enterprise Linux– MPIプログラムの起動方法変更•

長時間実行、信頼度の低い環境への対応––––•

ハートビート機能
クライアントコールバック機能
タイムアウト機能
User credential更新機能

コールバック機能
サーバプロセスの状態（計算の途中結果など）を通知

User Credential更新機能
ユーザの認証情報を定期的に更新

性能改善

タイムアウト機能
ある一定の時間反応しない
場合は要求をあきらめる– 送信データの圧縮機能
クライアント– データ送信と計算のオーバーラップ機能– 実装上の最適化

•頑健化

サーバ

ハートビート機能

一定の時間ごとにkeep alive– 耐久テストプログラムによる品質検査
メッセージをクライアントに通知– 大規模アプリケーションを用いた品質・機能・性能検証

サーバ

Ninf-G2を用いた応用研究が国内シンポジウムで最優秀論文賞を受賞
Ninf-G2を用いた応用研究が国内シンポジウムで最優秀論文賞を受賞
網崎
網崎 孝志他「分子動力学専用計算クラスタの開発とそれを利用した計算資源提供型グリッドの試み」
孝志他「分子動力学専用計算クラスタの開発とそれを利用した計算資源提供型グリッドの試み」
ハイパフォーマンスコンピューティングと計算科学シンポジウム
ハイパフォーマンスコンピューティングと計算科学シンポジウム ２００４
２００４

46

Grid MPI
認定ソフトウエア naregi-wp2-mpi-041106
MPI-IO、リモート書きこみ、動的プロセス生成等の機能をMPI-2.0 標準仕様に準拠させる改良を実施。
MPI-IO、リモート書込み、動的プロセス生成等の機能などをMPI-2.0 標準仕様に準拠。テストスイート(MPIValidation Suite)にて動作を確認。
Grid MPIによりTCP/IPの通信トラフィックが極端に性能低下する現象を明らかにしシステム改良を実施。

47

Grid MPI 開発計画（前期）
H15

H16

H17計画

（開発課題）•MPI-1機能&IMPI•TCP/IP輻輳制御アルゴ
リズムのプロトタイプ実装（研究課題）•トポロジを考慮した通信機構の設計とプロトタイプ作成•チェックポイント機能の設計（開発課題）•MPI-2機能への拡張と品質向上•ベンダMPIとのインターフェイスの設計（研究課題）•TCP/IP輻輳制御アルゴ
リズムの実装と評価•トポロジを考慮した通信機構の評価（開発課題）•GridMPIの全体評価および調整•チェックポイント機能の実装•ベンダMPIとのインターフェイスの実装•トポロジを考慮した通信機構の実装

成果物

Grid MPI Evaluation
Version SC03にて配布（MPI-1機能＋IMPI）
Grid MPI Version 0.1(MPI-1機能+IMPI+TCP/IPチューニング)

Grid MPI Version 0.2
SC04にて配布(MPI-2機構）

Grid MPI Version 1.0
SC05にて配布（チェックポイント機能付き、ベンダ
MPIインターフェイス込み)主要なフリーMPI実装との互換性比較

ANL Test Suite Intel Test Suite
GridMPI
ver.0.2

100% Pass(Fail: 0/142)

100% Pass(Fail: 0/493)

MPICH-G2 ver.1.2.6 90.8% Pass
+ Globus3.2(Fail: 13/142)

87.2% Pass(Fail: 63/493)

LAM-MPI
ver.7.1.1

92.3% Pass(Fail: 16/493)

92.3% Pass(Fail: 11/142)– ANL Test Suite （Argonne National Laboratoryが開発）– Intel Test Suite （Intelが開発）

48

主要なフリーMPI実装との性能比較
NAS Parallel Benchmarks (NPB2.3)

Relative Performance

1.2
10.8
GridMPIMPICH-G2

0.6

LAM-MPI
0.4
0.20BT

CG

FTIS

LU

MG

SP

– GridMPIを１とした時の相対性能を表示• ８ノードクラスタを２組接続• LAM-MPIはクラスタ構成、バイトオーダー変換なし• MPICH-G2ではFTは実行できず49

来週（６月２０日）の講義は情報基盤センター多目的講義室

次週は・ 連成計算の類型化
・ Mediator/GridMPI 連成プログラミング（プログラミング層の続き）を予定しています．

レポート課題2 (2005.5.23 出題)の〆切は６月６日（月）深夜ですが，少しなら遅れて提出しても受理．

再来週（６/２７）の予定


GGF14（シカゴ）に（たぶん）出張のため代講（高見，大庭）者によるGrid計算の実演デモを予定しています．
Unicore＋Naregi上位層
Globus(ver.3.2)