2005年前期 大学院講義科目

広域分散アプリケーション特論
月曜日 ３時限
場所：情報基盤センター３Ｆ 多目的講義室
担当 青柳 睦aoyagi@cc.kyushu-u.ac.jp
6月20日（月）講義の内容，成績評価方針(server-500.cc.kyu・・)

サイエンスＧｒｉｄ ＮＡＲＥＧＩ・ 連成ミドルウェアの概要
・ 連成計算とその類型化

講義の内容

グリッドの概要
Ｇｒｉｄコンピューティングとは ■サイエンス分野での利用■ビジネス分野での利用■

計算科学の概論
主要なシミュレーション手法■

サイエンスＧｒｉｄ ＮＡＲＥＧＩ

Globus, Unicoreの現状 ■NAREGIミドルウエア概要■連成計算とその類型化
 Globus Tool Kit version 4■GT4の動向に依存・・
NAREGIミドルウエアのデモに変更するかもしれない

講義資料はWebで公開
server-500.cc.kyushu-u.ac.jp

NAREGIにおける上位層
100 TFLOPs級のサイエンスグリッド環境
WP6: ナノシミュレーションのグリッドへの対応パッケージング ＆ 統合化

グリッド
プログラミング- グリッドRPC- グリッドMPI

グリッド可視化

グリッドPSE

グリッドワークフロー
スーパースケジューラ

分散情報サービス(Globus, Condor, UNICORE Î OGSA)
グリッドVM
ネットワーク通信基盤 & セキュリティ・認証
Super SINET
国立情報学研究所

分子科学研究所

研究協力機関計 算 資 源その他

NAREGIプロジェクトの概要
基本層（WP1 東工大 松岡教授）■ スーパー・スケジューラ■ 分散情報サービス■ グリッドVM
上位層
WP3 国情研 宇佐見教授■ PSE■ ワークフローツール■ グリッド可視化

Programing層
WP2 産総研 関口博士
■ GridMPI■ GridRPC

ネットワーク＆認証層
WP2 大阪大学 下條教授
■ PKI
■ 認証連携 VO対応

Application層
WP6 九州大学 青柳■ Mediator■ 連成計算実証試験

ＮＡＲＥＧＩソフトウェア階層とWP2
１００Tflops級のサイエンスグリッド環境

WP2

ﾅﾉﾃｸｼﾐｭﾚｰｼｮﾝのｸﾞﾘｯﾄﾞへの対応

ﾊﾟｯｹｰｼﾞﾝｸﾞ、統合化

ｸﾞﾘｯﾄﾞ
ﾌﾟﾛｸﾞﾗﾐﾝｸﾞ-Grid RPC
-GridﾞMPI

ｸﾞﾘｯﾄﾞ可視化

ｸﾞﾘｯﾄﾞ PSE

ｸﾞﾘｯﾄﾞ ﾜｰｸﾌﾛｰ
ｽｰﾊﾟｰｽｹｼﾞｭｰﾗ

分散情報サービス(ユーザ課金情報、
モニタリング)（Globus,Condor,UNICOREÎOGSA) Unicondore
グリッドVM
ﾈｯﾄﾜｰｸ通信基盤、性能評価、ｾｷｭﾘﾃｨ･認証
スーパSINET
国立情報学研究所

分子科学研究所

研究協力機関計 算 資 源その他

5

ＮＡＲＥＧＩグリッドプログラミング環境 （WP2）• 目的– （資源）遠隔地に設置され、高速なネットワークで接続された複数のコンピュータ（クラスタやSMP機）– （環境）標準的なグリッド機能(セキュリティ、情報サービ
ス、実行環境） e.g. NAREGI, GT3.0– VO/VCにおけるプログラム/ソフトウエア開発環境を提供• 設計指針– 従来の並列プログラミングとの親和性がよいこと• 大規模計算ユーザのプログラム移行性– グリッド環境をユーザが意識しないこと• 独特のコマンド等を覚える必要がない– 小規模から大規模まで安定して拡張できること• 高いスケーラビリティ（１００ＴＦｌｏｐｓ規模のグリッドでも動作する）

Grid RPC / Grid MPI を採用

6

Grid MPI と Grid RPC
Grid MPI
特徴

Grid RPC

並列プログラムの構造 特定の計算部分を遠隔を理解する必要があり、 実行するだけなので、若干困難であるが、記 VO/VCにおけるプログ
述能力は高い。並列性 ラムが容易。比較的単が複雑に絡み合う場合 純な並列性を記述するに有効。
場合に有効。
MPI プログラムがその RPC呼出手続きの記述まま動作可能を若干追加
GGF 関連 IMPI/OpenMPI
Grid RPC WG
WG
Ninf, NetSolve
主な実装 MPICH-G/2, PACXMPI, STAMPI, Grid
MPI, OpenMPI

7

8

Grid RPC•認定ソフトウエア naregi-wp2-rpc-041221–Ninf-G version 2.3.0 のリリース•大規模実証実験(Ninf-G2)–アプリケーションの長時間実行による評価–アプリケーションの実行による実用性評価•Ninf-G versin 3.0.0aの開発

9

GridRPC 機能・動作概要② 結果の通知
Network

Subroutine A
ユーザ① 関数呼び出しポータル、ＡＳＰのバックエンドとして利用

Subroutine A

Subroutine A

スーパーコンピュータの遠隔利用

特殊なライブラリの遠隔呼び出し大規模計算部分の遠隔呼び出しグリッド上の複数の高性能計算機を利用した大規模計算
Ninf として 1994から開発を開始 → 成果を NＡRＥGI に組み込む

10

GridRPCの開発計画（前期）
H15

H16

H17

計画

Ninf-G Version 2(Ninf-G2)を開発。各課題に対応したGridRPC
APIの実装を行なう。
また、GGFにおいて
GridRPC APIの標準化を進める。

Ninf-G2の評価および改良。
GT3を用いたNinf-G
Version 3 (Ninf-G3) のプロトタイプ開発。性能・機能の検証。

Ninf-G3正式版開発。

成果物

Ninf-G Version 2.0.0a
を SC2003において配布。
Ninf-G Version 2.0.0
を年度末に配布。

Ninf-G Version 2.1 をSC2004において配布。
Ninf-G3 プロトタイプ

Ninf-G Version 3.0 を年度末に配布。
GT4, Univa Globus等に対応したNinf-G
Version 4 の開発

標準化

GGF-７にてGridRPC
WGの立ち上げ。

GGF-12にて標準APIの参照実装を提供。
GridRPC WG。

アプリケーションの長時間実行による評価
ー 国際グリッドテストベッド上でのTDDFT －
•

目的

30

– Ninf-G2の品質の検証– Ninf-G2のエラー検知機能の検証– 耐障害機能の実装技術開発

正常なサーバの数•実験– 量子化学計算（TDDFT）をNinfG2を用いて実装– アジア・太平洋地域の国際的な試
験環境上で長時間実行

ServerClient

20
15
10
5
0
0

• 8カ国、10機関により提供される合計210CPUのテストベッド

TDDFTの
プログラム

日本
米国
韓国
タイ
台湾

25

50

100
経過時間 [hours]

サーバの展開・実行

障害検知＆対応
サーバの復旧[ アジア太平洋地域のグリッド環境 ]

150

11

アプリケーションの実装による実用性評価
ー Hybrid QM/MD simulationの実装 －• 大規模なAtomistic simulationの高精度実行を可能にするため、MD SimulationとQM simulationを連携– MD simulation• 全領域の原子の振舞いを計算• 経験的原子間ポテンシャルを用いた古典MDシミュレーション– QM simulation• 興味のある領域のみを対象に実行，MDの結果を修正• 密度汎関数 (DFT)に基づくQMシミュレーション
MD Simulation

QM simulation
based on DFT

12アプリケーションの実装による実用性評価
ー Hybrid QM/MD simulationの実装－（続き）

13• アプリケーションの特徴– 複数のQM領域を定義可能（個々のQM領域は独立に計
算可能）
tight
loose
tight

QM simulation
independent
QM simulation

MD simulationtight• Ninf-Gとlocal MPIを組み合わせて実装（新たなプログラミン
グモデルの提案）
Ninf-G

MPI_COMM_WORLD( in MD program)

2プログラム(MD + QM)
シミュレーション内通信：Global
communicatorを用いたMPI通信
シミュレーション間通信：Ninf-Gを利用
MPI_COMM_WORLD(in QM program)実験におけるアプリケーションの動作
P32 (512 CPU)
Total number of CPUs: 1792

P32 (512 CPU)

Ninf-GMD Clientinitial set-up

F32 (256 CPU)QM Server

TCS (512 CPU)
@ PSC

Initialization
Initialization
Initialization

Calculate MD forces of
QM+MD regions

Calculate MD forces of QM region

Update atomic positionsand velocities

Calculate
CalculateQM
QMforceforce
Calculate
QM force
ofoftheQM
regionthe QM regionof the QM region

QM Server

15

専用計算機対応GamessのRPC化
Source: 青柳研 M1 岩切進悟君(卒研の図から引用)

RPC化

クライアント側

まとめた関数をクライアントプログラムから遠隔で呼び出す。

計算開始
入力

まとめた関数密度、初期フォック行列設定（RPC CALL）
チップの初期化

クライアントプログラム
対角化
収束判定

電子反発積分計算
Fock行列の計算
サーバー側(専用ハードウエア）

16

GridRPC グリッドプログラミング環境【まとめ】•

高性能システムへの対応– 64ビットアーキテクチャのサポート

2003年11月～2004年９月
2003年11月～2004年９月
Ninf-G
Ninf-G Version
Version 22 のの
ダウンロード数：
４９８（５大陸、１７カ国）
ダウンロード数： ４９８（５大陸、１７カ国）• AMD Opteron / SuSE Linux• Intel IA64 / RedHat Enterprise Linux– MPIプログラムの起動方法変更•

長時間実行、信頼度の低い環境への対応
–
–
–
–

•

ハートビート機能
クライアントコールバック機能
タイムアウト機能
User credential更新機能

コールバック機能
サーバプロセスの状態（計算の途中結果など）を通知

User Credential更新機能
ユーザの認証情報を定期
的に更新

性能改善

タイムアウト機能
ある一定の時間反応しない
場合は要求をあきらめる– 送信データの圧縮機能
クライアント– データ送信と計算のオーバーラップ機能– 実装上の最適化

•

頑健化

サーバ

ハートビート機能

一定の時間ごとにkeep alive– 耐久テストプログラムによる品質検査
メッセージをクライアントに通知– 大規模アプリケーションを用いた品質・機能・性能検証

サーバ

Ninf-G2を用いた応用研究が国内シンポジウムで最優秀論文賞を受賞
Ninf-G2を用いた応用研究が国内シンポジウムで最優秀論文賞を受賞
網崎
網崎 孝志他「分子動力学専用計算クラスタの開発とそれを利用した計算資源提供型グリッドの試み」
孝志他「分子動力学専用計算クラスタの開発とそれを利用した計算資源提供型グリッドの試み」
ハイパフォーマンスコンピューティングと計算科学シンポジウム
ハイパフォーマンスコンピューティングと計算科学シンポジウム ２００４
２００４

17

Grid MPI
認定ソフトウエア naregi-wp2-mpi-041106
MPI-IO、リモート書きこみ、動的プロセス生成等の機能をMPI-2.0 標準仕様に準拠させる改良を実施。
MPI-IO、リモート書込み、動的プロセス生成等の機能などをMPI-2.0 標準仕様に準拠。テストスイート(MPI
Validation Suite)にて動作を確認。
Grid MPIによりTCP/IPの通信トラフィックが極端に性能低下する現象を明らかにしシステム改良を実施。

18

Grid MPI 開発計画（前期）
H15

H16

H17

計画

（開発課題）•MPI-1機能&IMPI•TCP/IP輻輳制御アルゴ
リズムのプロトタイプ実装（研究課題）•トポロジを考慮した通信機構の設計とプロトタイプ
作成•チェックポイント機能の設計（開発課題）•MPI-2機能への拡張と品質向上•ベンダMPIとのインターフェイスの設計（研究課題）•TCP/IP輻輳制御アルゴ
リズムの実装と評価•トポロジを考慮した通信機構の評価（開発課題）•GridMPIの全体評価および調整•チェックポイント機能の実装•ベンダMPIとのインターフェイスの実装•トポロジを考慮した通信
機構の実装

成果
物

Grid MPI Evaluation
Version SC03にて配布（MPI-1機能＋IMPI）
Grid MPI Version 0.1(MPI-1機能+IMPI+TCP/IPチューニング)

Grid MPI Version 0.2
SC04にて配布(MPI-2機
構）

Grid MPI Version 1.0
SC05にて配布（チェックポイント機能付き、ベンダ
MPIインターフェイス込み)主要なフリーMPI実装との互換性比較

ANL Test Suite Intel Test Suite
GridMPI
ver.0.2

100% Pass(Fail: 0/142)

100% Pass(Fail: 0/493)

MPICH-G2 ver.1.2.6 90.8% Pass
+ Globus3.2(Fail: 13/142)

87.2% Pass
(Fail: 63/493)

LAM-MPI
ver.7.1.1

92.3% Pass
(Fail: 16/493)

92.3% Pass
(Fail: 11/142)– ANL Test Suite （Argonne National Laboratoryが開発）– Intel Test Suite （Intelが開発）

19

主要なフリーMPI実装との性能比較
NAS Parallel Benchmarks (NPB2.3)

Relative Performance

1.2
1
0.8
GridMPIMPICH-G2

0.6

LAM-MPI
0.4
0.2
0
BT

CG

FT

IS

LU

MG

SP

– GridMPIを１とした時の相対性能を表示• ８ノードクラスタを２組接続• LAM-MPIはクラスタ構成、バイトオーダー変換なし• MPICH-G2ではFTは実行できず20

来週（６月２０日）の講義は情報基盤センター多目的講義室

次週は・ 連成計算の類型化
・ Mediator/GridMPI 連成プログラミング（プログラミング層の続き）を予定しています．

レポート課題2 (2005.5.23 出題)の〆切は６月６日（月）深夜ですが，少しなら遅れて提出しても受理．

NAREGIプロジェクトの概要
基本層（WP1 東工大 松岡教授）■ スーパー・スケジューラ■ 分散情報サービス■ グリッドVM
上位層
WP3 国情研 宇佐見教授■ PSE■ ワークフローツール■ グリッド可視化

Programing層
WP2 産総研 関口博士
■ GridMPI■ GridRPC

ネットワーク＆認証層
WP2 大阪大学 下條教授
■ PKI
■ 認証連携 VO対応

Application層
WP6 九州大学 青柳■ Mediator■ 連成計算実証試験

Application層 ： 話の内容
１．連成シミュレーションの序
1.1 数理・数値シミュレーション（単一モデル）の適応例
1.2 シミュレーション手法の特徴
1.3 シミュレーション手順と数値計算
1.4 数理・数値モデルと離散化
1.5 連成シミュレーション）の重要性（＋注意点）
1.6 連成ライブラリMediator

２．具体例 溶媒と淡白質
3. 連成を意識した疎結合モジュール

1.1 数理・数値シミュレーションの適応例（1/3）・ 生物• 化学生態，ライフゲーム，進化，・・
化学反応，スペクトル，合成，薬品の機能と構造・・• 物理
結晶（固体），液体，気体，液晶，・・
流体
風，乱流，衝撃波，音波，津波，
マントル対流，・・
天体
少数多体（太陽系），銀河，銀河衝突，恒星の進化・・
電磁気 回路，デバイス，レーザー，光学，磁石，・・• 生体・バイオ タンパク質，ゲノム，
細菌，組織，器官，個体・・• 経済・社会学 株価，物流，数理経済，・・

（続きのスライド2/3）• 電力
発電（燃焼，水力，原子力），電力輸送・・• 音響
ホールの設計，楽器の設計，共鳴・・• スポーツ 用具設計（ゴルフ？），運動ホーム解析，
変化球（魔球？）・気象・海洋 数値予報、台風進路予測、太陽熱、・・
・地殻
地震予知、地震波解析、地殻変動、
地球形成、地下資源探査
・建築 高層ビルの耐震計算、ビル風、ビルの熱管理・土木 橋梁の耐震・耐風計算、港湾の津波、ダム
http://www.athome.co.jp/academy/physics/phy05.html

（続きのスライド3/3）• 航空工学
・車両
・船舶
・原子炉
・機械

翼形と空気抵抗、翼胴、
機体構造解析、・・
車体構造、衝突、空気抵抗
船体の耐波構造、渦対策、腐食解析
炉構造、動特性、安全性解析
エンジン、精密構造、材料力学、
回転・振動解析、音場・騒音解析・・

1.2 シミュレーション手法の特徴• 多くの構成要素からなる系の振る舞いを、構成要素間の基本法則に従ってコンピュータで計算し、そのマクロな振る舞い（時間的発展，定常状態の性質，
統計量など）を観測する手法• ミクロ（構成要素間）の法則から出発し，マクロ（システム）の挙動を解析する手法
・・「部分」から「全体」へ・・
しばしば構成的手法とも呼ばれる

数値シミュレーションの利点（過信すれば欠点）・適切なモデルを設定することにより，着目している現象を覆い隠してしまう様々な要因を排除できるので，物理的な本質を捉えやすい
・温度や圧力など，パラメタを自由に調節できる。したがって，実現しようとすると膨大な経費を要するような極限条件下や，現実の系では実現不可能な条件での物理的知見を得ることができる
・自由度が比較的小さな場合には正確な結果が得られるので，実験結果や解析的に厳密解が得られない問題にたいして，観測値の予測と吟味、近似理論の検討や改良のための規準となり得る

1.3 シミュレーション手順と数値計算• 目的の明確化，要求精度• 全体と部分，物理モデル・・• 構成要素の基礎方程式，微分方程式など・・• 離散化、アルゴリズム、データ
構造、並列分散構造・・• 数値解（近似解）の計算• 膨大な数値の山• 人間の理解解釈，説明，予測1.4 数理・数値モデルと離散化（格子モデルと粒子モデル）
格子モデルによる離散化
構成要素が連続体（または連続体とみなせる場合）
対象としている系「全体」の空間，時間範囲で，
ｘ ｙ ｚ ｔ の4次元変数の場(ベクトル，スカラー)を扱う．
粒子モデルによる離散化
構成要素が粒子（または粒子とみなせる場合）
対象としている系「全体」の各粒子について，
ｘ ｙ ｚ ｔ の4次元の変数(ベクトル，スカラー)を扱う

数値シミュレーションではコンピュータが扱える表現に方程式を変換する（微分を差分などで表す）

格子モデルの例●２次元拡散（熱伝導）方程式
２次元の場合も基本的には１次元と同様である。鉄板の温度分布の時間的変化を考える。
独立変数：時刻t 、鉄板上の位置x,y
未知関数：時刻t における点(x,y)での、鉄板での温度u(t,x,y)
パラメータ：熱伝導率k 、鉄板の比熱σ 、鉄板の面密度 ρ
表現する法則：熱量の保存則
ポアソン方程式の代表例
22⎛∂u∂ u ∂ u⎞σρ=k⎜ 2 + 2 ⎟
∂t
∂y ⎠
⎝ ∂x

k

σρ

= 1.0

∂u ( xn , ym , tl ) u ( xn , ym , tl +1 ) − u ( xn , ym , tl )=∂tΔtu ( xn +1 , ym , tl ) − 2u ( xn , ym , tl ) + u ( xn −1 , ym , tl )∂2u ( xn , ym , tl ) =2h2∂xu ( xn , ym +1 , tl ) − 2u ( xn , ym , tl ) + u ( xn , ym −1 , tl )∂2u ( xn , ym , tl ) =2k2∂y

初期条件と境界条件(Dirichlet境界条件)

1 ≤ n ≤ N −1
1 ≤ m ≤ N −10≤lu ( x, y,0) = u0 ( x, y )u ( x N ,0, t ) = 0 u (0, y N , t ) = 0
u ( xN , y N , t ) = 0

x, y方向に３分割した場合 1 ≤ n ≤ 3 1 ≤ m ≤ 3 t = 0⎛ 4 − 1 0 − 1 0 0 0 0 0 ⎞⎛ u110 ⎞ ⎛ f110 ⎞
⎟
⎟ ⎜
⎟⎜
⎜
⎜ − 1 4 − 1 0 − 1 0 0 0 0 ⎟⎜ u120 ⎟ ⎜ f120 ⎟⎜ 0 − 1 4 0 0 − 1 0 0 0 ⎟⎜ u ⎟ ⎜ f ⎟⎟⎜ 130 ⎟ ⎜ 130 ⎟⎜⎜ − 1 0 0 4 − 1 0 − 1 0 0 ⎟⎜ u210 ⎟ ⎜ f 210 ⎟⎜ 0 − 1 0 − 1 4 − 1 0 − 1 0 ⎟⎜ u ⎟ = ⎜ f ⎟⎟⎜ 220 ⎟ ⎜ 220 ⎟⎜⎜ 0 0 − 1 0 − 1 4 0 0 − 1⎟⎜ u230 ⎟ ⎜ f 230 ⎟
⎟
⎟ ⎜
⎟⎜
⎜
⎜ 0 0 0 − 1 0 0 4 − 1 0 ⎟⎜ u310 ⎟ ⎜ f 310 ⎟⎜ 0 0 0 0 − 1 0 − 1 4 − 1⎟⎜ u320 ⎟ ⎜ f 320 ⎟
⎟⎟
⎟⎟ ⎜⎜
⎟⎟⎜⎜
⎜⎜
⎝ 0 0 0 0 0 − 1 0 − 1 4 ⎠⎝ u330 ⎠ ⎝ f 330 ⎠f110 = u010 + u100 f120 = u020 f130 = u030
f 210 = u 200 f 220 = 0 f 230 = 0 f 310 = u300
f 320 = 0 f 330 = 0

1≤ n ≤ 3 1≤ m ≤ 3 l = 0 →1
⎛ λ h −2 0 h −2 00000 ⎞⎛ u110 ⎞ ⎛ f111 ⎞
⎟⎜
⎜ −2
⎟
⎟ ⎜
−2
−2
λ h
0 h
0
0
0
0 ⎟⎜ u120 ⎟ ⎜ f121 ⎟⎜h⎟⎜ u ⎟ ⎜ f ⎟⎜ 0 h −2 λ
−2
0
0
0
0
0
h
⎟⎜ 130 ⎟ ⎜ 131 ⎟⎜⎜ h −2 00
λ h −2 0 h −2 00 ⎟⎜ u210 ⎟ ⎜ f 211 ⎟⎟⎜⎜⎟=⎜ f ⎟
−2
−2
−2
−2
u
0 h
λ h
0 h
0 ⎟⎜ 220 ⎟ ⎜ 221 ⎟
⎜ 0 h
⎜ 0
0 h −2 0 h −2 λ00 h − 2 ⎟⎜ u230 ⎟ ⎜ f 231 ⎟
⎟⎜
⎜
⎟
⎟ ⎜
−2
−2
0
0 h
0
0
λ h
0 ⎟⎜ u310 ⎟ ⎜ f 311 ⎟
⎜ 0
⎜ 0
0
0
0 h − 2 0 h − 2 λ h − 2 ⎟⎜ u320 ⎟ ⎜ f 321 ⎟
⎟⎟⎜⎜
⎜⎜
⎟⎟
⎟⎟ ⎜⎜
−2
−2
0
0
0
0 h
0 h
λ ⎠⎝ u330 ⎠ ⎝ f 331 ⎠⎝ 0
f111 = u111 − u010 − u100 f121 = u121 − u020 f131 = u131 − u030
f 211 = u211 − u200 f 221 = u 221 f 231 = u 231 f 311 = u311 − u300
f 321 = u321 f 331 = u331
λ = Δt −1 − 4h −2

1.5 Coupled Simulation （連成シミュレーション）の重要性• 現実の理学，工学，社会学の現象はひとつのモデルで表現できるほど簡単ではない．
• 現象を理解（説明，予測）するために全体のシステムを部分に分割して考えてみる手法がある．
• 全体が複雑に絡み合っている様に見える現象の中にも，部分要素間の相互作用(Couplings)が本質的であるとみなせる場合がある．

連成シミュレーションとはシミュレーション対象の全体を「複数の部分系に分割」し、部分系の計算途中でお互いのデータを交換しながら全体を解く手法．
部分系Aを解く手法 ⇔ 部分系Bを解く手法(例) 分子軌道計算 / 分子動力学計算
構造力学計算 / 分子動力学計算
流体計算 / 構造力学計算
統計力学計算 /分子軌道計算 ・・・ｅｔｃ
データ交換の頻度とデータ量は、部分系間の依存度、結合の強さにより、弱連成・・強連成と区別することがある．

連成シミュレーションの例(1/2)• 空間，時間的に局所的な相互作用(Couplings) でモデル化できる場合に有効（例） ２つの部分系が「面」で接している
構造物とまわりの風（流体）など
演算量と情報交換量の関係も分散計算向き＞• 全体は近似モデルを適用するが，「重要な部分は厳密に解く」（複合シミュレーション）（例） 合金の変形，亀裂生成⇒ 構造力学＋分子動力学

Tacoma（タコマ）橋の崩壊• Washington state, On November 7 of 1940,
at approximately 11:00 AM, the Tacoma
Narrows suspension-bridge collapsed due
to wind-induced vibrations.
橋のねじれ（固有）振動 ～ 風による振動

単一モデルの適応範囲を超えた？
• When the twisting motion was at the
maximum, elevation of the sidewalk at theright was 28 feet (8.5m) higher than the
sidewalk at the left ( It had not been
expected).

共鳴・共振
http://cee.carleton.ca/Exhibits/Tacoma_Narrows/index.html

連成シミュレーションの例(2/2)• 空間時間スケールの異なる現象を（多くは・・むりやり）結びつける．
Multi-Scale Multi-Physics Simulations• 保存量や系の対象性を考慮した物理量の「意味変換」が必要な場合が多い．
（例） 多粒子の平均運動⇔圧力（例） 粒子座標⇔メッシュ（格子点）（例） 疎視化動力学

我々の研究室ではMediatorというグリッド環境向けの連成ライブラリを日立製作所と一緒に作っている
グリッド連成ミドルウェア（Mediator）は高度セマンティック変換をサポートすることによって、指定された相関関係にある離散点上の物理量を交換する
グリッド連成ミドルウェア library calls:
Call register (位置関係,離散手法,

Call join(ﾌﾟﾛｾｽ管理)

離散点数,番号,座標,要素情報,属性)

Sim. AMediatorA

Sim. AMediatorA

Sim. A

Sim. AMediatorB

離散点の位置関係を探索し Mediator
B
データを
自動的に
Mediator
A
通信・変換
Mediator Middleware
A

Mediator
B

Sim.
Sim.
BB

最近接

第１近接

球内相関

矩形内相関

Sim. B

Sim. BsystemCall send(byte,物理量a)Call receive(byte,物理量b, 変換関数)

マルチスケール生体シミュレーション
夢のような話・・・？
ミクロからのアプローチ

マクロからのアプローチ
連続体シミュレーション
血管系モデリング
流体・熱・構造
骨格モデル

MD・第一原理・量子化学シミュレーション
タンパク構造解析
薬剤反応性解析

分子ネットワーク解析

タンパク・DNA細胞

1-8~-6

1-5~-4

大きさ

化学反応の連成組織

1-3~-2

全身
循環器

1-1

10

Meso

Micro

DDS
薬剤開発
テーラーメード医療 再生医療

器官

HIFU

Macro
結石破砕
外科手術
カテーテル
マイクロマシン

治療技術

連成計算の注意点• いつでも「部分と全体」に分割できるわけではない・・• 初期値敏感，非線形系のカオス
同一モデルでも，初期条件によって，どこで
いつCouplingが強くなり系の振る舞いに大きく影響するか予測が困難．
・決定論モデル（力学など）だけでは取り扱えない場合もある ⇒確率統計モデル
決定論モデル： 時間を遡ったり進めたりできる．
確率モデル： 未来のことは確率的にしかわからない．

バタフライ・エフィクト「君を救う為、僕は何度でも過去に帰る」
http://www.butterflyeffect.jp/

NAREGI Software Stack
Grid-Enabled
Nano-ApplicationsWP6
Grid-Enabled
Nano-Applications
Grid Visualization

Packaging

Grid
Programing-Grid RPC
-Grid MPI

Grid PSE

Grid Workflow
Super Scheduler

Distributed
Information Service（Globus,Condor,UNICOREÎOGSA)
Grid VM
High-Performance & Secure Grid Networking

SuperSINET

NII

IMS

Research
Organizations

Computing Resourcesetc1.6 連成ライブラリMediator
For Multi-Scale and Multi-Physics Simulations
A new grid middleware is developed which allows
various kinds of Nano-application softwares to becoupled efficiently for solving multi-scale problems.
Mediator library calls:
Call initialize,

Mediator tool

Sim. AMediatorA

Sim. AMediatorA

MPI Core
Latency-aware
Communication
Topology

IMPI

RPIM Interface

Sim. A

Request Interface

Call register (correlative specification,
discrete type, number, coordinate)

GRAM

SCore

rsh

ssh

Request Layer
Sim. A

P2P Interface

vendor
MPI

O2G

MX

PMv2

TCP/IP

IMPI

Vendor MPI

Collective
communicationandtransformation
based oncorrelative
Mediator
specificationA

MediatorA

MiddlewaresystemMediator
B

Sim.
Sim.
BB

Mediator
B

Sim. BMediator
B

Sim. B

Call send(byte,a) , Call receive(byte,b,Fun.)

Mediator: Grid middleware for Coupled Simulations
The mediators provide high-level transparency in data
communication between different discretization
methods associated with a model specific spatial andtemporal scale based on our physical requirements.

粒子

Correlative specification( examples )格子

In-sphere

First nearest neighbors

Nearest points

Mediator

α-version released in march 2005

■ Discretization methods
Particle method, Finite difference method,
Finite element method■ Parallel programming style
SPMD or MPMD in static or dynamic invoke■ High-level semantic transformation
In-sphere, In-rectangle, 1st nearest neighbors,
Nearest points■ Communication paradigm
One-way, Variable, two-way communication■ Interconnection
MPICH-G2, MPICH, GridMPI( developed by WP2-NAREGI )■ Hardware architectureLinux clusters, AIX, Solaris, etc.

２．具体例

溶媒と淡白質Mediator assisted Molecular dynamics(MD) andPoisson-Boltzmann(PB) coupled simulation(1)Hydrate structureusing MD simulation
Lysozyme

H2O

Distribution of dielectric
constant over mesh point

Local dielectric
modelElectrostatic potential
simulation using PB
0.1eV

80
24
7.8

5.6nm

Active site of Glu35 Rε = Rvdw + 1.4Å
C
N
O
H

Local dielectric
constant

In-sphere transformation
used

Roughly estimate “Active Site” of lysozyme
and H-Dissociation energy at Glu35.

5.6nm- 0.1eVMediator assisted Molecular dynamics(MD) andPoisson-Boltzmann(PB) coupled simulation(2)Time average result of coupled simulation
106meV

4

Amino site that leads to
H dissociation at Glu35
Strong1803

Effect on H
dissociation

Shift ofΔGp→u(Glu35)

240

1202
601

Experimental result 101meV
0

0

0

1000

2

2000

3000

Time (ns)

4

4000

5000

66000

Active site of Glu35

ΔpKa = ΔGp→u(protein) /2.303 kBT - pKa(Glu) (=4.4)
pKa value(～6) at COOH in Glu35→ roughly 50 times larger probability
compared with amino sites around

WeakOverview of RISM-FMO coupled Scheme
Adaptive-meshgeneration

1D-RISM

3D-RISMMediatorfindcorrelations
betweenmesh points

evenly-spaced
meshpair correlation
functions g (r)γcγ (r )hγ (r )

datatransformation
between meshes

FMO
adaptivemeshesmonomer calculation
H 1Ψ 1 = E 1Ψ 1
H 2Ψ 2 = E 2Ψ 2#

solvent
distributionhγ (r )
qα

effective charges
on solute sites
dimer calculation

Data Exchanges in RISM-FMO(initialization step : Mesh generation)
Molecular sites of solute
Mesh structure of solvent
Mediator
Mediator
In-sphere
Van der Waals and probe
Equally discretizedcorrelation
radius associated withmesh points
molecular sites
Adaptive meshes for hydrate solventEffective Fock in RISM-FMO
1νFμν ← ∑ ρ qγ hγ (rg ) μr′ − rgγ
I

RISM evenly
spaced meshes( μ ,ν ∈ I )FMO adaptive meshestransformation

variable sizehγ (rg )reduce 1-e integral calculations forenvironmental potential part by solvent
data
data
data

RISM

Mediator

Mediator

FMOData Exchanges in RISM-FMO(Solvent distribution and Charge)
Molecular sites of solute
Mesh structure of solvent
Mediator
Mediator
In-sphere
correlation
Adaptive meshes for hydrate solvent
RISM
FMO
Solvent distribution
Electronic energy calculation
Mediator
Mediator
In-rectangle
correlation
Solvent distribution associated withmesh points for Coulomb interaction
Mulliken charge associated withmolecular for Coulomb interaction

Electronic structure of Nano-scale solute immersed in solvent

Summary of Coupled simulation model
Coupled simulation

RISM-FMO

MD-PB

Discretization
methodFDM / Irregular point

Particle / FDM

Physical quantities
to be transformed

Solvent charge density tocharge on solvent atoms

Dielectric distribution,
Charge on atoms to charge density

Correlation
specification

In-rectangular

In-sphere

Transformation
function

Weighted function
conserving charge

Weighted function
equalizing electric field

Programming style

Sequential / Master-Worker

Master-Worker / Sequential

Communication
paradigm

Two-way iterative
communication

One-way, Variablecommunication

Interconnection

GridMPI, MPICH-G2,
GridFTP, MPICH, Score

MPICH, MPI2, Stampi

Server machines

Hitachi SR8000, AIX,Linux, Alpha clusters

Hitachi SR8000, SR2201,
DEC, Sun clusters

Solvent interactions of hydrolysis in Lysozyme
A catalytic mechanism of hydrolysis in Lysozyme is
Analyzed by RISM-FMO, in which proton transfer leads
to bacteriolysis in peptidoglycan of bacterial cell wall.
HEWL structure
H2O

Peptidoglycan
Bacteriolysis byhydrolysis due to
H dissociation

NAM

C1
O

H＋

Active site of Glu35

H:
C:
N:
O:

NAG
NAM
NAM: N-Acetylmuramin
NAG: N-AcetylglucosaminElectronic structure analysis on
Proton transfer in Lysozyme (in solution)
proton transfer from active site of Glu35 to peptidoglycan

RISM-FMO coupled simulations lead to microscopic
picture of proton transfer

Comparison between Mulliken Charge and
RESP Charge(AMBER) in Solute
Mulliken charge in solute
1.0

Distribution of oxygen atomyy = 0.55 x + 0.00
R 2 = 0.77

0.0

0.5

1.0

RESP charge

x

0.5

0.0
-1.0

-0.5

-0.5

Electronic structureof Lysozyme-1.0

連成計算と非連成計算の違い

Grid Environment for demonstration purpose
NII Resources
PC Cluster（Linux 8.0）
Xeon 3.06G ×16
SoluteＦＭＯ

httpServer

NAREGI
WorkflowMediator

GW

ＲＩＳＭ

Mediator

SMP Server（SR11000）
Solvent Power4+ 1.7G × 16

GW

Kyushu univ.

IMS Resources
GridMPI / MPICH-G2

UNICORE
Communications

HTTP

Demonstration of RISM-FMO coupled Sim.
(1) NAREGI Workflow by WP3(3) Visualization via AVS(2) Execution

3. 連成を意識した疎結合モジュール
3.1 Distributed FMO calculations
based on NAREGI WorkFlow Tool
3.2 Full Geometry Optimizations
by RISM-FMO-TINKER
3.3 Grid DataBase Tool for
Electronic Structure and Geometryof ProteinGrid enabling of the GAMESS FMO prog.
Init
Frag. Density
Conv?
Frag. Pair
Total Energy① Modulization to Coarse-Grained parts
Frag. Density

Frag. Density

・・・② Customize I/O & comm.
in each module
Frag. Pair

Frag. Pair・・・

③ write workflow in terms ofstandard shell + rsh/rcp etc..

Energy Grad.

Energy Grad.

Struct. update

Workflow shell④ deploy each module and translate
shell scripts into UNICORE NAREGI workflow## 初期化プロセスの起動、初期電子密度計算(init_fmo)# 入力: in
# 出力: out#
@n=1
while($n <= $NFRG)
echo "init fragment:$n"
rsh $NODES[$n] "(cd $HOME; ./rungmst11 $INPUT￥t node $n out$n >& /dev/null; mv -f $INPUT.out $INPUT.init.$n)"@ n ++
end
wait

Energy Grad.

# データの収集@n=1
while($n <= $NFRG)
if($MY != $NODES[$n]) thenrcp $NODES[$n]¥:$HOME/out$n out$n >& /dev/null
endif
@ n++
end

wait

Shell scripts

NAREGI WorkFlow in loosely-coupled FMO
initialguess 1

initialguess 2• collection of some important data
distributed over files into one file.
• separated dimer (SD) grouping, etc.

preparation of
calculation

monomer1

initialguess 3monomer2

monomer3

gathering data
converged ?

dimer 1

total energy

broadcasting data
dimer 2

dimer 3SD
block1SD
block2

separated dimer (SD) calculations
are grouped into some blocks

Protein Molecules examined by
Loosely coupled FMO on Computational Grid

Gramicidin-A
Collagen(partial struct.)Workflow based Grid FMO Simulations of protein
readfragment DB

monomer
calculation

densityexchangedimer
calculation

njs_png2005

njs_png2005

njs_png2006

njs_png2006

njs_png2007

njs_png2007

njs_png2008

njs_png2008

njs_png2009

njs_png2002

input file

njs_png2003

njs_png2004

NII Resources

total energy
calculation

njs_png2009

njs_png2010

njs_png2011

njs_png2002

njs_png2010

njs_png2003

njs_png2011

njs_png2004

njs_png2012
njs_png2002

visualization

njs_png2012
njs_png2002

njs_png2057
njs_png2057

dpcd054

dpcd054

dpcd055

dpcd055

dpcd052

dpcd056

dpcd052

dpcd056

dpcd053

dpcd057
dpcd056

dpcd053

dpcd057
dpcd056

IMS Resources
65

Fragment Electron Density in Grid FMO

visualization

NII Resources

IMS Resources

visualization

Fragment Electron Density in Grid FMO

NII Resources

IMS ResourcesFull Geometry Optimization of Protein in water
3D-RISM/FMO with loosely coupled TINKER

(1) Met-enkephalin (1PLW)

The amino-acid sequence is ’TYR–GLY–GLY–
PHE–MET’. We start the optimization procedurefrom the Model 1 of PDB data “1plw”.

Force on Each Atom (Inverse of the Free Energy Gradient)Fig.2 The left figure shows the structure and the force vectors before the optimization. The right is after the
optimization by TINKER/RISM-FMO optimizer. The red arrows represent quantum mechanical force vectors
given by FMO coupled to 3D-RISM, and the blue ones represent the gradients of solvation free energy
calculated from the output of RISM.

Solvent Distribution by 3D-RISM/FMO coupledsimulation

Fig.3 Solvent charge distribution is compared between results of classical 3D-RISM calculation (the left figure)and 3D-RISM/FMO coupled simulation (the right figure).

(2) Chignolin (1UAO)

This is called the smallest protein with only 10 aminoacids, the sequence of which is
GLY-TYR-ASP-PRO-GLU-THR-GLY-THR-TRP-GLY
The structure is the model 1 in pdb data ‘1uao’.

Force on Each Atom (Inverse of the Free Energy Gradient)Fig.5 The left figure shows the structure and the force vectors before the optimization. The right is after the optimization
by TINKER/RISM-FMO optimizer. The red arrows represent quantum mechanical force vectors given by FMO coupled
to 3D-RISM, and the blue ones represent the gradients of solvation free energy calculated from the output of RISM.

Solvent Distribution by 3D-RISM/FMO coupledsimulation

Fig.6 Solvent charge distribution by 3D-RISM/FMO coupled simulation is compared between results for theoriginal structure (the left figure) and the modified structure after 20 iterations (the right figure). Almost no
difference can be seen between these two molecular structure, while the difference in solvent distribution canbe found.

連成計算の類型化

タスクフロー

データフロー

一方向，双方向データ変換（含：意味変換）


逐次型，並列型

一意的変換，一意でない「同意的」変換

その他


常駐型，非常駐型タスク

FMO（アプリA)とRISM（アプリB)の連成実行においてデータ交換タイミングを図示した例
SCF calculation in monomer T2

FMO
Adaptive
mesh

Solvent charge distribution
including data transformation
T4

Mediator
In-rectangle
correlation T3

Mediator
Regularmesh

Partialcharge T5

RISM
SC calculation of solvent distribution T1

0

1000

2000

3000

wait

4000 (s)再来週（６/２７）の予定


GGF14（シカゴ）に（たぶん）出張のため代講（高見，大庭）者によるGrid計算の実演デモを予定しています．場所はここ．
Unicore＋Naregi上位層
Globus(ver.3.2)