[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

2005/7/5

1

富士通ＳＳ研 Grid Computing WG

2Outline
NAREGIプロジェクトの概要

NAREGIにおけるナノシミュレーションのグリッド化と応用事例

グリッド基盤ミドルウェアの紹介- 特に上位層について -ナノシミュレーションのグリッド化- 疎結合コンポーネントによる連成 –- 連成ミドルウェア –- 応用事例 -平成17年7月5日
九州大学

青柳 睦

34

NAREGIの目標

研究開発の取り組み方と成果の利用
サイバーサイエンスインフラ

グリッド研究開発推進拠点（国立情報学研究所）① 学術研究、産業界における研究開発を対象に計算機グリッドミドルウェア開発

資源をグリッドで接続し、大規模なシミュレーション、センタ－向けグリッドミドルウェアの提供

グリッドプログラミング環境

ハイスループット処理、マルチスケール・マルチフィ

グリッドアプリケーション環境

ナノアプリによるグリッドの実証研究

データグリッド環境

ジックスの連成解析が可能な、１００Tflops級のナノアプリケーションのグリッド化（分子科学研究所）あることをナノサイエンス分野での実証研究で確認。

研究グリッド産業応用協議会

新しい計算科学方法論の開発

ITBL（原研、理研、JAXA・・・・）

研究開発従事者（平成16年度）

アプリケーション研究開発拠点（自然科学研究機構 分子科学研究所）拠点長(平田教授）
運用
研究開発

公募研究
東大
物性研

東北大
金研

産総研

ＫＥＫ
物構研

京大
化研

ナノ分野のグランドチャレンジ問題をグリッドアプリとして共同研究開発

拠点

学・官

産

グリッド拠点

31

110

アプリ拠点

162

5

公募研究

－

45

インフラ

連携

・仕様決定
・要素技術のプロトタイピング

2006

評価

高度化・強化

統合α版

統合β版
配布

UNICORE/Globusベース
・グリッドRPC
早期提供

ﾈｯﾄﾜｰｸ高度化

利用

技術開発

携
（東工大、九工大、宇都宮大、電通大） 連

2005

・ソフトウェア/方法論開発
・産業界公募・α版統合ナノシミュレーション
システム開発・両拠点でのシステム導入

統合1.0版に向けての高度化

2007

2008~
実証 成果活用

統合1.0版

OGSA化

・データ・ミドルウェアのOGSA化促進
・グリッドRPC α版の分子研
グリッド
グリッドMPI・β版の展開によるグリッドへの（追加環境強化
早期公開と導入テーマ）
分子研への提供
ナノアプリケーションのグリッド化対応・連成向けツール研究開発
・アプリケーション
ソフトウェアの開発

実証研究

・グリッドRPC, グ ・アプリのグリッド化
・V1.0版に・β版環境でのリッドMPIの導入 ・産業界公募研究
評価/実証準備
向けた環境
・大規模実証の分子拡大での評価/
研システムで実施 ・グリッドナノシミュ
実証準備・産業界公募研究
レータ開発
開始
・拠点毎のグリッド ・α版による拠点間 ・β版による拠点間 ・実証計算のための100グリッド連携
環境構築
グリッド連携Tflops級に向けた環境・共同研究機関へのグリッド連携規模拡大 の拡大/整備・認証局運用開始（7月）

配布

実証計算

運用

研究開発
研究開発
研究開発

ネットワークSuperSINET
高度化要件（分子研拠点）ｸﾞﾘｯﾄﾞ研究
開発連携

WP主査

システムの実証研究

大学・研究所

ｸﾞﾘｯﾄﾞﾈｯﾄﾜｰｸ
利用技術開発WP主査

6

大学・国公立研究機関の技術をスムーズに民間移転できる実用的な仕組み(阪大、九大）ｸﾞﾘｯﾄﾞ基盤ソフトウェア
研究開発

７大学ｾﾝﾀｰ

2004
研究開発

中間評価

共同研究

７大学ｾﾝﾀｰ

2003（国情研拠点）産総研グリッド
研究センター

グリッド研究開発

研究グリッド産業応用協議会（ＩＴ・ナノ４０社）

グリッド研究開発
実施委員会

産業界での利用（新しい知的物作り）

プロジェクト全体の進め方
フェーズ

グリッド研究開発推進拠点（情報・システム研究機構 国立情報学研究所）

巨大計算の実現
ハイスループットの実現

年度

文部科学省
共同研究開発(富士通、日立、NEC)

産業活性化
最先端研究開発の推進（ナノ、バイオ等）

従来の方式では不可能な産業界からナノ設計実証テーマを公募

5

ﾈｯﾄﾜｰｸ研究
開発連携

最先端グリッドＩ Ｔを駆使したナノサイエンスの計算科学産業界からサイエンスグリッド
産業応用への要請

研究開発体制図

プロジェクトリーダ ： 三浦教授

国際的学術貢献
国際的標準化貢献

アプリケーション研究開発拠点② 開発したグリッド基盤ソフトウェアが実用的に有効で連携

人材育成（最先端IT技術者およびアプリケーション技術者）

ネットワーク＆セキュリティ基盤

サイエンスグリッドを実現するグリッド基盤ソフトウェアを開発。

グリッド研究開発
推進委員会

科学技術計算用
汎用グリッドミドルウェアの製品化

サイエンスグリッド
構築環境

グリッド環境における資源管理

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

2005/7/5

78

グリッド研究開発研究項目

研究開発戦略

１） グリッド環境における資源管理 ・・・・・・・・・・・・ WP-１

• 成果のオープンソース化と海外プロジェクトとの連携

松岡（東工大）、河野（電通大）、合田（東工大）－ 研究プロジェクトの国際化と互換性（Interoperability)の重要性－ 運用ツール類などの相互利活用（ポータビリティ）－ 例： EGEE, UNICORE/Unigrids, Teragrid 等との技術交流

２） グリッドプログラミング環境 ・・・・・・・・・・・・・・・・ WP-２
関口（産総研）、石川（産総研）

３） グリッドアプリケーション環境 ・・・・・・・・・・・・・・ WP-３

• 国際標準への準拠と貢献

宇佐見（国情研）、川田（宇都宮大）－ UNICORE,Globus,OGSA準拠の開発方針－ GGF(Global Grid Forum）への積極的参画（Working Group への仕様提案、先行実装など）－ NAREGI成果のグリッド基盤としての将来性・持続性

４） データグリッド環境 ・・・・・・・・・・・・・・・・・・・・・・ WP-４
松田（阪大）

５） グリッド対応ネットワーク通信基盤 ・・・・・・・・・・ WP-５
下條（阪大）、尾家（九工大） 、今瀬（阪大）

６） ナノシミュレーションのグリッド化 ・・・・・・・・・・・ WP-６
青柳（九大）

9

10

グリッド基盤ソフトウェアによる連成計算の実現

グリッド基盤ソフトウェアと研究項目
WP6：ナノテクシミュレーションのグリッドへの対応

ｱﾌﾟﾘ配置

編 集

CA

グリッド
PSE

グリッド
ワークフロー

WP4：

データグリッド

WP2:
WP3：グリッドﾞ可視化
WP3：グリッド PSE
グリッド
WP3:グリッドワークフロー
プログラミング・グリッドRPC・グリッドMPI WP1:スーパースケジューラ WP1:分散情報サービス

利用者登録

グリッド
可視化

ジョブ投入
スーパースケジューラ

資源探索（Globus,Condor,UNICOREÎ
Globus,Condor,UNICOREÎOGSA)
OGSA)

起動

WP1：グリッドVM
WP5:ネットワーク通信基盤、性能評価、セキュリティ･認証

分子科学研究所

共同研究機関

グリッドVM

グリッドVM

グリッドVM

グリッドVM

ﾛｰｶﾙｽｹｼﾞｭｰﾗ

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

IMPI
サーバ

ジョブ
A

資源 A

資源 B

資源 C

資源 D

資源 N

(SMPマシン)(PCクラスタ)(PCクラスタ)(PCクラスタ)

グリッドVM

資源予約

スーパーSINET

国立情報学研究所

分散情報サービス

予約交渉 → 合意

その他

計 算 資 源

グリッド
MPI

ジョブ
B

グリッド
MPI

ジョブ
B

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

・・・・

11

12

NAREGI ミドルウェアの特長的機能

NAREGI拠点間での連成計算実行例

1. 資源管理ミドルウェア（WP1）
情報学研究所

分子科学研究所
RISM
RISM

FMO
FMO
溶液中の電子構造

OGSA-EMS 仕様
ベースでは世界初の実装• ジョブ要件に適合する資源の自動ブローカリングとジョブ実行制御• グリッド上での連成計算のサポート（資源のコアロケーション）• 大規模ジョブの複数システムでの分割実行サポート

2. プログラミング環境（WP2）• 標準仕様（MPI-1,MPI-2)に準拠したMPI （通信）ライブラリ• GGF標準仕様に準拠したRPC（遠隔手続き呼出） ライブラリ

3. アプリケーション環境（WP3）
電子構造解析

溶媒分布解析
可視化

グリッド
ミドルウェア

RISM

可視化

グリッド
ミドルウェアグリッドMPI

Reference Interaction Site Model
無限系に対する溶媒分布解析プログラム

FMO

Fragment Molecular Orbital method
ナノ高分子の電子構造解析プログラム• グリッドを意識せずに利用できるユーザサポート環境（ＰＳＥ）• GUI による容易なプログラミング連携機構（ワークフローツール）• グリッド上に分散した大規模データの可視化機能（グリッド可視化システム）

4. セキュリティ（WP5）・運用のための認証局ソフトウェア（NAREGI-CA)
5．ネットワーク環境（WP5）・グリッド環境を考慮したネットワーク資源の管理・制御機能
6．ナノシミュレーションのグリッド化（WP6)・Mediatorと通信ライブラリによる連成計算用ミドルウェア
・グリッド上で世界最大規模の溶媒中タンパク質の連成計算の実行

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

13

2005/7/5

14

国際グリッドプロジェクトとの比較

NAREGI 広域分散テストベッドインフラの構築

ＮＡＲＥＧＩプロジェクトではグリッド基盤ミドルの開発と運用の両方に力を入れている⇒CSI
米国テラグリッド(Extensible Tera-scale Facility）

欧州連合（EU）のEGEEプロジェクト

グリッドミドルウェア開発、ナノ分野のグリッド実証研究を考慮したヘテロ、広域分散環境のテストベッドを構築

Operations
Center

東工大
Campus Grid

Regional
Support Regional
Support
Regional
SupportResource
Center(Processors,disks)

東北大金研
Small Test App Clusters

40GbpsIndiana U
30Gbps

産総研
SuperCluster

九大情報基盤センター

スーパーSINET

Small Test App Clusters

Small Test App Clusters

アプリケーション研究開発拠点（分子科学研究所）グリッド研究開発推進拠点（国立情報学研究所）～１０Tflops～５Tflops

96 GeForce4 Graphics Pipes
20 TB

Purdue U
ORNL
TACC

ANL

128 2p Madison
256 2p Madison
MyrinetSDSC(San Diego CA)

256 2p Madison
667 2p Madison
Myrinet30Gbps

16 2p (ER)Madison
Quadrics

230 TB FCS SAN

NCSA(Urbana IL)

750 4pAlpha EV68
Quadrics

75 TB Storage

128p
EV7
Marvel4p VisPSC(Pittsburgh PA)

予算規模:98M$（2001-2003総計） 【109億円】
参加機関:＞9
計算機資源: 40Tflops
・Teragrid固有：20Tflops
・NSFセンター等接続分：20Tflops
アプリ分野：サイエンス一般
ネットワーク：専用線 （40Ｇｂｐｓ）
基盤ミドルウェア：NMIパッケージ （Globus ベース）
プロジェクト開始時期： 2002年４月
運用開始時期：2004年10月
中心的機関: National Science Foundation(NSF)

予算規模:70 Ｍ Ｅｕｒｏ（２００４-2007） 【93億円】
参加機関:＞70
計算機資源: 8768 ＣＰＵｓ（Ｍｉｄ 2005）
アプリ分野：高ｴﾈﾙｷﾞｰ物理学向けデータグリッド
バイオ他
ネットワーク：ＧＥＡＮＴ－ＮＲＥＮｓ（10Gbps）
基盤ミドルウェア：ｇ-Lite (Globus ベース）
プロジェクト開始時期：2004年4月
中心的機関: ＣＥＲＮ（ジュネーブ）東大物性研

Small Test App Clusters

100 TB DataWulf

500 TB FCS SAN

Center

ＫＥＫ物構研～３０００プロセッサ～１７Tflops

1.1 TF
Power4Federation

Resource
CenterResource

Small Test App Clusters

96 Pentium4
64 2p Madison
Myrinet30GbpsSmall Test App Clusters

京大化研

32 Pentium4
52 2p Madison
20 2p Madison
MyrinetCaltechResource
Center産総研30Gbps

30Gbps(Support for Applications
Local Resources)

Grid server Nodes

大阪大BioGrid

CHICAGO-Hub

LA-HubRegional
SupportCenter

・運用主体のプロジェクトである・運用主体のプロジェクトである
EGEE:Enabling Grids for E-SciencE
CERN: European Organization for Nuclear Research

15

NMI:National Middleware Initiative

16

Outline日本の最先端学術情報基盤の構築に向けて
サイバーサイエンスインフラストラクチャー（CSI)

NAREGIの成果

学術機関統合リポジトリーの形成（デジタルライブラリー）

産業
・社
会
貢
献

NAREGIプロジェクトの概要

バーチャル研究組織
ライブコラボレーション

連携ソフトウェアとしての研究グリッドの実用展開

グリッド基盤ミドルウェアの紹介

大学・研究機関としての認証システムの開発と実用化- 特に上位層について -人材育成及び推進体制の整備（推進組織・人材確保等）
北海道大学

ＮＩＩと７大学情報基盤センター等連携による次世代学術情報ネットワークの構築
京都大学
★
★

九州大学
★

★

●国際貢
献

★

東北大学

ナノシミュレーションのグリッド化- 疎結合コンポーネントによる連成 –- 連成ミドルウェア –- 応用事例 -

☆ ★

★
名古屋大学

大阪大学

東京大学

ＮＩＩ

（東京工業大学、早稲田大学、高エネ
ルギー加速器研究機構等）

大学・研究機関の研究リソース整備・研究成果等の発信

17

利用者登録

ｱﾌﾟﾘ配置編 集

結果の可視化

CA

グリッド
PSE

グリッド
ワークフロー

グリッド
可視化

18

グリッドアプリケーションの実行プロセス

統合ミドルウェアα版実行シナリオ

WP3

Step1  各コンピュータでコンパイル、テストラン、オブジェクトの配置（逐次ﾌﾟﾛｸﾞﾗﾑ、並列ﾌﾟﾛｸﾞﾗﾑ）

グリッドPSE
ジョブ投入

スーパー
スケジューラ

資源探索

分散情報
サービス

予約交渉 → 合意
起動
グリッドVM

グリッドVM

グリッドVM

グリッドVM

グリッドVM

資源予約
ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

IMPI
サーバ

ジョブ
A

資源 A

資源 B

資源 C

資源 D

資源 N

(SMPマシン)(PCクラスタ)(PCクラスタ)(PCクラスタ)

グリッド
MPI

ジョブ
B

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ
グリッド
MPIジョブB

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

・・・・

prog1

prog2

prog3

data

data

data

Step2  各ﾌﾟﾛｸﾞﾗﾑの実行に必要な要件の指定

 各ﾌﾟﾛｸﾞﾗﾑの依存関係の指定 リアルタイム可視化、バッチ可視化の指定
グリッド可視化
グリッド
ワークフロー
prog1
data

prog2

prog3

可視化

data

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

グリッドPSE：
アプリケーション登録／配置・利用例
 アプリケーション情報
 プログラム 入力ファイル
 要求資源要件

アプリケーション開発者

19(Application Contents Service)①アプリ登録
②コンパイル先選択⑤配置先選択

コンパイル

OK!

テスト実行

OK!

NG!

テスト実行

Server#1

資源情報
情報サービス

⑥アプリ
配置

4

3

高いグリッド親和性
 汎用的な可視化グリッドサービス

MPI Parallel
Visualizer

2

 GridMPIを用いた大規模分散可視化

圧縮画像
データ

IO

22Outline
NAREGIプロジェクトの概要
グリッド基盤ミドルウェアの紹介

計算サーバ
計算結果データ- 特に上位層について -可視化サーバ

Service
Providerナノシミュレーションのグリッド化

インターコネクト網
PE
PE
PE
PE

1

計算サーバ
計算結果
データ

21

Service
Provider

54
44
555
66

gmsenv
gmsenv
gmsenv

JSDL

グリーン ： 正常終了
ブルー ： 計算中
レッド： 異常終了

サイトA

Fire Wall

ssb_r_xm

RISMFMO
RISMFMO
RISMFMO3） 計算の実行と実行状況の監視

Server#3

利用者

333

ssb_plt_i
ssb_plt_i

各コンポーネントの実行と実行状態の監視

グリッド可視化：
大規模分散リモート可視化

サイトB

制御依存関係の指定
IO（データ）依存関係の指定

OK!

テスト実行

Server#22222） コンポーネント間の接続③コンパイル④アプリ環境
一式

777

1
11

R_PAR_I
R_PAR_I
R_PAR_I
ams_dat
ams_dat

実行時の資源要件をJSDLで指定（実行計算機などの指定は不要）20

dws0xsv
dws0xsv

ssb_r_inp
ssb_r_inp
ssb_r_inp☆ﾃﾞｰﾀｱｲｺﾝ、ﾜｰｸﾌﾛｰｱｲｺﾝ⑦アプリ配置
情報登録

②⑤
資源情報

グリッドワークフロー：
ワークフローツールによる開発手順1) ＷＦコンポーネントとなるアイコンの貼り付け

PSE ServerACSなど

2005/7/5

PEPEPEPE

PE
PE
PE
PE

PE
PE
PE
PE

- 疎結合コンポーネントによる連成 –- 連成ミドルウェア –- 応用事例 -PE
画像合成

MPI Parallel Visualizer

画像圧縮

MPI ParallelVisualizer
可視化サーバ 並列化によりメモリ容量と処理速度の限界を打破

WP6 の役割 -ナノアプリとミドルの連携 -23

WP6 研究の目的と開発内容
グリッド上位ミドルウェア層および基本ミドルウェア層の機能と性能を最大限に活用しアプリケーション研究開発拠点が開発中の複雑な連携処理を含むナノアプリのグリッド対応化を実現する

ナノアプリケーション
研究開発拠点(IMS)

グリッドミドルウェア研究開発拠点(NII)WP6連成・連携シナリオの類型化，ナノアプリのグリッド化
ﾊﾟｯｹｰｼﾞﾝｸﾞ、統合化

アプリケーション
研究開発拠点との連携

ｸﾞﾘｯﾄﾞ
ﾌﾟﾛｸﾞﾗﾐﾝｸﾞ環境-ｸﾞﾘｯﾄﾞRPC-ｸﾞﾘｯﾄﾞMPI

ｸﾞﾘｯﾄﾞ可視化

ｸﾞﾘｯﾄﾞ PSE

ｸﾞﾘｯﾄﾞ ﾜｰｸﾌﾛｰ
ｽｰﾊﾟｰｽｹｼﾞｭｰﾗ

課金情報
モニタリング（Globus,Condor,UNICOREÎ
Globus,Condor,UNICOREÎOGSA)
OGSA)
グリッドVM
ﾈｯﾄﾜｰｸ通信基盤、性能評価、ｾｷｭﾘﾃｨ･認証
スーパSINETMediator tool
国立情報学研究所

MPI CoreIMP
I

RPIMInterface

Latencyaware
Communicati
onRequestTopology
P2PLayerInterface

分子科学研究所

研究協力機関ナノアプリケーション群の連携・連成
シナリオを類型化しグリッド環境におけるジョブの効率的な分散実行を考慮した「コンポーネント化」を実施
コンポーネントの組合せによる複雑な処理フローを「シナリオ」として構成

複数のナノアプリケーション間で異なる離散表現による物理量を効率良くデータ交換するための連成ミドルウェアを開発し水溶液中
におけるタンパク質の計算に応用処理に適した計算資源で各コンポーネントを効率的に実行シナリオの再構成・再利用による利便性・研究開発効率の向上その他

計 算 資 源

rsh

ssh

SCore

GRAMvendor
O2
MP
GMXI
PMv2
TCP/IP
IMPI
Vendor MPI

Request Interface

グリッド上位ミドルウェア層および基本ミドルウェア層との連携

大規模なマルチスケール・マルチフィジックス等の連成解析が可能なグリッド技術をベースとした次世代のシミュレーション基盤を確立

24

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

25

ナノアプリケーションの連成シナリオの分析

2005/7/5

研究開発成果(1) GAMESS FMO のグリッド化 26
ナノアプリケーションの分析とコンポーネント化

演算粒度，コンポーネント間のデータ転送容量，遅延許容度などを考慮したコンポーネント化

Init① 計算粒度と通信容量を考慮しコンポーネント化

電子状態ＳＣＦループ

ダイマー

モノマー
統合

Conv?

ダイマー

モノマー

ダイマー

モノマー

疎結合並列型の例

ＭＤ

http://www.msg.ameslab.gov/GAMESS/GAMESS.html

構造最適化ループ

初期化

Frag. Density
SCFループダイマー

モノマー

Frag. Pair

Frag. Density

初期化

同期/非同期データ転送

Frag. Pair

Energy Grad.

Energy Grad.

Struct. update

統合④ グリッドミドル上位層により各コンポーネントをDEPLOYし，ワークフローを構成しSSに投入・実行

連成データ交換型の例

研究開発成果(1) GAMESS FMO のグリッド化 27
ワークフローと可視化（グラミシジン分子の例）
readfragment DB

monomer
calculation

densityexchangedimer
calculation

njs_png200
5

njs_png201
0

njs_png200
3

njs_png201
1

njs_png200
4

njs_png201
njs_png200
2

NII Resources

njs_png200
9visualization

njs_png200
2

njs_png201
0

njs_png200
3

njs_png201
1njs_png200
4

njs_png201
njs_png200
2

njs_png205
7

njs_png205
7visualization グリッドミドルウェ

アが各コンポーネ
ントの最適な計算資源を選択配置

Fragment Database
Register

dpcd056

dpcd052

dpcd056

dpcd053

dpcd057
dpcd056

dpcd053

dpcd057
dpcd056

IMS Resources

ツールの活用中間結果の可視化等，ジョブシナ
リオの柔軟な再構成が可能

グリッドデータベースの利用
タンパク質最適化構造と初期電子密度(2)2930

グリッド上における疎結合FMO計算の例

Search
血清アルブミン分子（１８９７２原子、１１２２フラグメント）
をNII GridとIMS Gridを使用しNAREGI上位層とフラグメントＤＢ機能を用いて計算

Register

The Fragment density is stored inthe Fragment Database system.

Registerdpcd055

dpcd052

構造&電子密度 DB

28Register

dpcd054

dpcd055

データ分配

Shell
scripts

wait

Retrieve
コンポーネント化

njs_png200
8dpcd054

データ集約# データの収集@n=1
while($n <= $NFRG)
if($MY != $NODES[$n]) thenrcp $NODES[$n]¥:$HOME/out$n out$n >& /dev/null
endif
@ n++
end

To be used in the otherFMO simulations

total energy

njs_png200
7

njs_png200
8input file

# 入力: in
# 出力: out#@n=1
while($n <= $NFRG)
echo "init fragment:$n"
rsh $NODES[$n] "(cd $HOME; ./rungmst11 $INPUT￥t node $n out$n >& /dev/null; mv -f $INPUT.out $INPUT.init.$n)"@ n ++
endwait

グリッドデータベースの利用
タンパク質最適化構造と初期電子密度(1)njs_png200
6

njs_png200
7

njs_png200
9## 初期化プロセスの起動、初期電子密度計算(init_fmo)

Energy Grad.

njs_png200
5

njs_png200
6

njs_png200
2・・・

Frag. Pair

Total Energy

アプリB

逐次型の連成シナリオ例

・・・③ nonグリッド環境でのテスト実行
standard shell + rsh/rcp etc..

アプリA

ＰＢ

Frag. Density② コンポーネント間のデータ通信を記述

Retrievemore information...

７箇所のかぎ穴それぞれに脂肪酸を取り込む際の安定化エネルギーを算出

血液中の脂肪酸伝搬のミクロなメカニズムを解析中

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

研究開発成果(2) 連成ミドルウェアの開発

研究開発成果(2) 連成ミドルウェアの応用１31

アプリケーション・コンポーネントの独立性を保持しながら，幅広いナノアプリケーション群を簡単な操作で連成させることが可能なグ
リッド連成ミドルウェア（Mediator）を開発した

Mediator
A

Sim.
Sim.
BB

Mediator
B

Sim. BMediator
B

Sim. B

Collective
communication
andtransformation
based onMediatorcorrelativeA
specification

Sim. AMediatorA

Sim. A

Middlewaresystem

1.4Å
Active site of Glu35 Rε = Rvdw + ＭＤ
CON
H

球内相関

第一近接相関研究開発成果(2) 連成ミドルウェアの応用2- 0.1eV

Strong3120
260
100033

RISM-FMO連成計算方法とグリッド化の利点

1 0 00Experimental result
101meV
2 Time (ns) 4
62 00 030 00

4 00 050 00

6 00 0

Active site ofGlu35

水和リゾチームの活性中心
Glu35における水素解離エネル
ギーを算出

Weak

連成ｼﾐｭﾚｰｼｮﾝモデルの比較
Coupled simulation

RISM-FMO

MD-PB

Discretization
methodFDM / Irregular point

Particle / FDM

Physical quantities
to be transformed

Solvent charge density tocharge on solvent atoms

Dielectric distribution,
Charge on atoms to charge density

Correlation
specification

In-rectangular

In-sphere

Transformation
function

Weighted function
conserving charge

Weighted function
equalizing electric fieldqα

Programming style

Sequential / Master-Worker

Master-Worker / Sequential

ダイマー計算Communication
paradigm

Two-way iterative
communication

One-way, Variablecommunication

Interconnection

GridMPI, MPICH-G2,GridFTP, MPICH, Score

MPICH, MPI2, Stampi

Server machines

Hitachi SR8000, AIX,Linux, Alpha clusters

Hitachi SR8000, SR2201,
DEC, Sun clusters

Mediator

FMO

離散点間の相関関係を定義

アダプティブメッシュ

溶媒分布関数の計算
モノマーfragmentsの計算
異なる離散化方gγ (r )
H 1Ψ 1 = E 1Ψ 1式の間でデータcγ (r )
H 2 Ψ 2 = E 2Ψ 2を効率的に交換
hγ (r )
M

コンポーネントの組合せによる複雑な処理フ
ロー全体を「シナリオ」として構成

hγ (r )

溶媒分布
溶質の有効電荷

Local dielectric
ＰＢ
constant

逐次型の連成シナリオ例
Time average resultof coupled
Amino site that leads tosimulation 106meV
H dissociation at Glu35

4240180

Mediatorは複数のアプリケーション間で相関関係にある離散点上の物理量を検索しデータ交換する機能と同意物理量に対する意味変換機能を持つ

等間隔
メッシュ

5.6nm

同期/非同期データ転送
In-sphere transformation
used

Call send(byte,a) , Call receive(byte,b,Fun.)

3D-RISM

7.8Effect on H
dissociation

Sim. AMediator
B

0.1eV

80
24

Shift ofΔGp→u(Glu35)

Mediator
A

Local dielectricmodelH2O

5.6nm

離散データ間相関関係の例

Call register (correlative specification,
discrete type, number, coordinate)

Sim. A

Lysozyme

PB法による静電ポテ
ンシャルの計算計算された比誘電率を離散点上の相関分布として変換

MD simulationによる水和構造の計算For Multi-Scale and Multi-Physics Simulations

Call initialize,

シナリオの再構成・再利用による利便性・研究開発効率の向上

溶媒和自由エネルギー
溶質座標による勾配

RISMはＳＭＰ，FMOはPCクラスタ等，アプリに適した計算資源上で各コンポーネントを効率的に実行

研究開発成果(2) 連成ミドルウェアの応用2
RISM-FMO連成による水溶液中リゾチームの解析結果

プロトン移動がトリガーとなる糖の加水分解メカニズムを解明

水和リゾチームの電子状態とプロトン移動

Peptidoglycan

Glu35 活性中心
水和構造は前述のMDPB連成計算(応用1)により決定

H＋C1
O

NAM

NAG

糖鎖の加水分解
NAM: N-Acetylmuramin
NAM
NAG:
N-Acetylglucosamin3436

溶媒中タンパク質の連成シミュレーション

Mediatorを利用したRISM-FMO連成計算により水溶液中リゾチームの電子構造解析を行い，糖の加水分解に溶媒和した水のプロトン移動が重要な役割を果たしていることを解明した.

H:
C:
N:
O:

32

Molecular Dynamics と Poisson-Boltzmann法 をMediatorで連成

グリッド連成ミドルウェア（Mediator）の概要

Mediator library calls:

2005/7/5

水和リゾチームのＧｌｕ３５活性部位の選定

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

研究開発成果(3) RISM-FMO 構造最適化

37

疎結合構造最適化への応用 Met-Enkephalin分子
RISM-FMO 連成とTINKERを疎結合で結合し水溶液中のMet-Enkephalinの構造最適化を実行

2005/7/5

38

異なるシミュレーションモデルによる溶媒中タンパク質の有効電荷比較-Mulliken Charge and RESP Charge(AMBER) Mulliken charge in solute
Distribution of oxygen atom1.0y

グリッド環境において世界で初めて水溶液中タンパク質の構造最適化に成功

y = 0.55 x + 0.00
R 2 = 0.77

0.50.0-1.0

構造最適化のジョブフロー

-0.50.00.5

RESP charge

1.0x-0.5

Electronic structureof Lysozyme-1.0

AMBERによるRESP Chargeは水による溶質分子の分極が充分考慮されていない
一方，量子化学手法による溶質の有効電荷は過大評価される傾向がある

最適化step(真空中との比較)
Met-エンケファリン分子

溶媒分布

Concluding remarks
A solution based on Research Grid will havesignificant advantages for customizing
interdisciplinary simulations,andGrid will make a big chance for theCollaboration between Computational
Scientists and Computer/Information
Scientists in HPC field.

39