《活動期間：2004 年 7 月～2007 年 3 月》

2007 年 5 月 11 日
サイエンティフィック・システム研究会

Grid Computing 2004 WG

目 次
1.まえがき ...................................................................１
2.WG 活動経緯.................................................................２
3.Grid Computing の状況.......................................................５
3-1.World wide の状況.......................................................５[添付資料 3-1-1] 次世代グリッドアーキテクチャOGSA の最新動向について.......８[添付資料 3-1-2] 欧米におけるグリッドプロジェクトについて ...........１７
3-2. 日本国内の状況 ......................................................２４
3-2-1.国家プロジェクトの状況 ...........................................２４
3-2-1-1.ITBL の今.....................................................２４[添付資料 3-2-1-1] ITBL 基盤ソフトウェアと通信方式 ...................２８
3-2-1-2. VizGrid .....................................................３２[添付資料 3-2-1-2] VizGrid プロジェクトの概要 ........................３３
3-2-1-3. NAREGI ......................................................３６[添付資料 3-2-1-3-1] NAREGI の概要と現状 .............................３７[添付資料 3-2-1-3-2] UNICORE 構成 ....................................４２[添付資料 3-2-1-3-3] NAREGI におけるﾅﾉｼﾐｭﾚｰｼｮﾝのｸﾞﾘｯﾄﾞ化と応用事例 ...４３
3-2-2.大学センター等の状況 .............................................５０[添付資料 3-2-2] 広島大学におけるキャンパスグリッド事例 .............５１
4. NAREGI 導入報告 ..........................................................５５4-1. NAREGI ミドルウェアα版 ..............................................５５[添付資料 4-1-1] HPC2500 でのグリッド環境の構築 ......................５６[添付資料 4-1-2] NAREGI-α実験環境 導入状況報告 .....................６４[添付資料 4-1-3] NAREGIα版の雑感 ...................................６６
4-2. NAREGI ミドルウェアβ版 ..............................................６９[添付資料 4-2-1] NAREGI-β実験環境 導入状況報告 .....................７１[添付資料 4-2-2] NAREGI（version beta 1.0.1）環境の構築 .............７４[添付資料 4-2-3] NAREGI-βの導入 ....................................８１[添付資料 4-2-4] データグリッドについて .............................８４[添付資料 4-2-5] NAREGI ﾐﾄﾞﾙｳｪｱの概要とｻｲﾊﾞｰｻｲｴﾝｽｲﾝﾌﾗ(CSI)への展開 ...８９[添付資料 4-2-6] Xen 上での NAREGI ミドルの展開 .......................９５[添付資料 4-2-7] 京都大学における NAREGI の導入 ......................９７[添付資料 4-2-8] 新システム導入とグリッド技術 .......................９９[添付資料 4-2-9] 理研の計算機システムに NAREGI ミドルウェアを導入する場合のシステム設計の私考......１００
5. まとめ ................................................................１０１i1. はじめに姫野 龍太郎（理化学研究所）
当 WG は 2004 年、それまで活動してきた Grid Computing WG を更に発展させるために模様替えして活動を始めた。この WG 活動の方針として掲げたものは、以下に示すものであった。
活動方針
高速ネットワークを介して多数の分散したコンピュータを連携させ、計算
資源，データ，人的資源の共有を図り、スーパーコンピュータの計算能力を実現しようという Grid Computing が注目を集めて久しい。会員間でも、NAREGI，ITBL，VizGrid 等のプロジェクトの発足に伴い、Grid Computing
に対する関心がますます高まり、会員それぞれがその活用方法について模索を続けている。また、近年では更に、共同利用機器の有料開放、地方大学のセンター再編など、国内の HPC を取り巻く動向にも注目が集まっている。
SS 研では、これらを背景に、Grid Computing 導入におけるメリットの更なる追求を目的に、成功事例の研究や、各種の動向調査と整理を行う。更にその一環として、2003 年度に構築した UNICORE テストベッドの実施研究も行う。これらにより、会員間の Grid Computing 活用における課題の明確化と解決を図る。
当 WG はこのような方針の下、Grid Computing の動向調査（国内のグリッドプロジェ
クトや各国の取り組みなど）、具体的な成功事例研究、NAREGI ワークフローツールによるサイエンス Grid 環境での実施研究を行ってきた。
Grid Computing に関わる調査活動は 2004 年度から 2005 年度まで行った。2006 年度
は、サイエンス Grid 環境での研究活動の一環として、主に NAREGI ワークフローツー
ルβ版を導入し、その導入状況の報告、検討、情報交換を行ない、これまでの検討結果から NAREGI ワークフローツールβ-Ⅱ版への改善提案を検討するとともに、それら検討の結果を成果報告書に整理する活動を行った。この報告書は、このような活動の成果である。

2. ＷＧ活動経緯
2-1. ＷＧメンバー
担当
担当幹事
まとめ役
推進委員

氏名
姫野 龍太郎
姫野 龍太郎
松澤 照男
福田 正大
内田 啓一郎
井町 智彦
松本 豊司
南里 豪志
義久 智樹
宇佐見 仁英

まとめ役

三浦 謙一
永井 亨
黒川 原佳
藤崎 正英

まとめ役

瓦井 健二

推進委員

石原 康秀
森屋 光弘
小野 英司
楢橋 幹一郎
山中 栄次
井口 裕次
岸本 光弘
北村 正和

機関名
理化学研究所
理化学研究所
北陸先端科学技術大学院大学
宇宙航空研究開発機構
総合技術研究本部
神奈川大学理学部情報科学科
金沢大学総合メディア基盤センター
金沢大学総合メディア基盤センター
九州大学情報基盤センター
京都大学学術情報メディアセンター
国立情報学研究所
リサーチグリッド連携研究センター
国立情報学研究所
名古屋大学情報連携基盤センター
理化学研究所
富士通㈱ 科学ｿﾘｭｰｼｮﾝ事業本部
計算科学ソリューションセンター
富士通㈱ 科学ｿﾘｭｰｼｮﾝ事業本部
科学統括営業部
富士通㈱ 科学ｿﾘｭｰｼｮﾝ事業本部
計算科学ソリューションセンター
富士通㈱ 科学ｿﾘｭｰｼｮﾝ事業本部
科学ソリューション統括部
富士通㈱文教ｿﾘｭｰｼｮﾝ事業本部
富士通㈱ 文教ｿﾘｭｰｼｮﾝ事業本部
文教ソリューション統括部
富士通㈱ ソフトウェア事業本部
ﾐﾄﾞﾙｳｪｱｺﾝﾎﾟｰﾈﾝﾄ事業部 第二開発部
富士通㈱ サーバシステム事業本部
Linux ソフトウェア開発統括部㈱富士通研究所 IT コア研究所
富士通関西中部ﾈｯﾄﾃｯｸ㈱基盤ソリューション統括部○：就任
2004 2005 2006
○
○
○
○
○
○
○
○
○
○
○
○
○

○
○

○
○

○
○
－
－

○
－
○

○
○
○

○
○
○
－

○
○
－

○
○
○

○

○

－

－

○

○

○

－

－

－
－

－
－

○
○

○

○

○

○

○

○

○

○

○

－

－

○

# 機関名/所属は 2007 年 4 月現在

2-2. 活動実績
開催日
第1回

内容【参加形式】【WG 会合】

2004 年・ 活動方針、推進委員の確認

8 月 26 日(金)・ 活動詳細の検討

東京

ほか

開催日
第2回
2004 年
12 月 1 日(水)東京

内容【参加形式】【フォーラム】*2・ NAREGI の概要と現状[発表者：宇佐見推進委員]
・ ITBL 基盤ソフトウェアと通信方式[発表者ゲスト：青柳 哲雄 (日本原子力研究所 計算科
学技術推進センター)]・ VizGrid プロジェクトの概要[発表者ゲスト：軽部 行洋 (富士通㈱)]・ 次世代グリッドアーキテクチャOGSA の最新動向について[発表者：岸本推進委員]
・ 欧米におけるグリッドプロジェクトについて[発表者ゲスト：三浦 謙一 (国立情報学研究所)]【WG 会合】
・ フォーラム開催を振り返って
・ UNICORE テストベッドでの研究活動の検討(NAREGI 各ソフトのリリース時期説明とそれを受けての今後の進め方の検討)ほか

第3回
2005 年2 月 25 日(金)【WG 会合】
・ UNICORE テストベッドでの研究活動の検討-

NAREGI シンポジウムでのサマリー報告[発表：宇佐見推進委員]

東京-

ミドルウェアα版(デモ)についての評価、意見交換-

今後の進め方について確認、検討ほか

第4回【WG 会合】

2005 年・ Grid Computing 2004 WG 活動状況の確認

7 月 5 日(火)・ UNICORE テストベッドでの研究活動の検討

東京-

UNICORE テストベッドでの研究活動報告[発表：永井推進委員]-

今後の進め方について【セミナー】*1・ 広島大学におけるキャンパスグリッド事例[発表者ゲスト：庄司 文由 (広島大学情報メディア教育
研究センター)]・ NAREGI におけるナノシミュレーションのグリッド化と応用事例[発表者ゲスト：青柳睦 (九州大学情報基盤センター)]

開催日
第5回
2006 年3 月 6 日(月)東京

内容【参加形式】【WG 会合】
・ UNICORE 環境の構築報告[発表者：永井推進委員]
・ NAREGI ミドルウェアα版の導入報告[発表者：南里推進委員、永井推進委員、黒川推進委員]
・ NAREGI 進捗報告
[発表者：宇佐見推進委員][発表者ゲスト：長田秀敏(国立情報学研究所)]
・ 今後の活動内容の検討

第6回【WG 会合】

2006 年・ 本年度体制の確認と、参加者の紹介

9 月 8 日(金)・ データグリッドの話題発表

東京[ご発表ゲスト：松田秀雄(大阪大学大学院)]
・ NAREGIβ版 実証報告
[ご発表：南里推進委員、永井推進委員、黒川推進委員]
・ 今後の活動の進め方の検討

第7回
2006 年
12 月 26 日(金)【WG 会合】
・ NAREGI ミドルウェア開発者からの話題提供-

NAREGI ミドルウェアの概要とサイバーサイエンス
インフラ(CSI) での展開

東京

[発表者ゲスト：三浦謙一(国立情報学研究所)]-

NAREGI ミドルウェアβ2 版の機能紹介[発表者ゲスト：佐賀一繁(国立情報学研究所))]-

Xen 上での NAREGI ミドル展開[発表者ゲスト：宇羅博志(㈱創夢)]・ 本 WG で出された、各サイトからの質問/要望への回答[発表者ゲスト：長田秀敏(国立情報学研究所))]
・ サイト別 NAREGI ミドルウェア導入の具体案の検討[ご発表：南里推進委員、義久推進委員、黒川推進委員]
・ 今後の活動の進め方
第8回【WG 会合】

2007 年

・ 成果報告書のまとめ方について(最終調整)

3 月 14 日(水)・ NAREGI シンポジウムでの重点ポイント報告

東京[ご発表：宇佐見推進委員]
・ WG 活動を振り返って(まとめ)・ 後継 WG について(検討)WG 会合：*1：セミナー ：*2：フォーラム：

通常形式での会合（WG メンバーのみ参加可能な形式での会合）
WG メンバーおよび SS 研会員が参加可能な形式での会合(講演会式)
WG メンバー・SS 研会員に限定せず、誰もが参加可能な形式での会合(講演会式)

3. Grid Computing の状況
3-1. World wide の状況
岸本 光弘（㈱富士通研究所）

3-1-1. 第３世代のグリッドシステム
グリッドコンピューティングが誕生したのは、Super Computing'95 で開始された
I-WAY プロジェクトまで遡ることができる。I-WAY から始まり、計算センタ内の複数ス
パコンを１つの仮想計算機として利用する試みや、複数センタを繋ぐ試みが世界中で始まった。Global Grid Forum (現在の Open Grid Forum の初代議長である Charlie
Catlett 博士は、これらの試みを「第１世代のグリッドシステム」と名づけた。第１世
代のグリッドは、分散ファイルシステムやシングルサインオン技術等を、センターごとに個別開発するものであった。97 年になると、米国政府や欧州の政府が、複数のグ
リッドミドルウェア開発プロジェクトに資金を出し、Globus, UNICORE, Condor 等の現在広く使われているグリッドツール・ミドルウェアが開発された。計算センタは、これら優れた公開ツールをベースに必要機能だけを個別開発すればよくなった（第２世
代のグリッドシステム）。しかし、必要な機能の開発にはかなりの手間がかかるし、プ
ロトコルや API は，グリッドツールごとに別々のため、組み合わせて利用するためにはプログラムの改造や追加が必要であった。2001 年に米国，欧州，アジア太平洋のグリッド関連団体が連合して、GGF を創立した。GGF はグリッド技術の標準仕様の策定を積極的に推進しており、標準仕様を採用したグリッドを、「第３世代のグリッドシステ
ム」と呼ぶ。標準仕様を採用することで，相互接続性と機能競争の両方を保証できる。

3-1-2. Open Grid Services Architecture (OGSA™)アーキテクチャ
OGSA は、第３世代のグリッドシステムのベースとなる国際標準仕様を定めている。
[OGSA Arch], [OGSA Glossary] OGSA が「Open」であるとは、アーキテクチャとインターフェース仕様の作成作業、および OGSA システム間の接続性を実現するプロセスが、公正かつ公平であり、興味を持つ誰もが仕様の開発に等しく参加できることを意味している。そして「Grid」は、OGSA が、分散した資源の管理・統合・仮想化のためのグ
リッドアーキテクチャであることを意味し、「Services」指向は、必要な機能を疎結合された比較的大きな単位で分散結合するアーキテクチャを採用していることを意味している。OGSA は、2002 年に提唱され、2004 年には GGF の（そして現在は OGF の）フラ
グシップアーキテクチャとして採択された。
OGSA では基盤として、Service Oriented Architecture (SOA)と、Web サービス(Webservice)の技術を採用している。SOA は、分散アプリケーションの構築技術として知られているが、グリッドのミドルウェアに対しても複数の利点を提供する。まず、SOA で定義しているサービスは、グリッドが必要とする機能の論理的なビューであり、比較的大きな単位での機能分割として定義される。そして、これらサービスを再利用したり、複数を組み合わせたりすることによって、さらに、新しい機能の提供が可能になる。さらに、SOA は実際の機能の実装方法を利用者から隠蔽し、機能実装に用いたハードウェア、OS、言語に関係なく、利用者がサービスを利用できる。このような SOA の
特徴は、広域でかつ異機種分散環境というグリッドにとって必須の性質である。
さらに、OGSA では、実際のインターフェース定義に当たっては、XML, SOAP, WSDL,
WS-Addressing などに代表される、Web サービス技術を広範に採用している。Web サー
ビス技術は、現在、主要な IT ベンダが次世代の分散アプリケーションの構築技術として強力に推進しているもので、強力な開発ツールや、様々な教育マテリアル等が容易に入手できる。さらに、分散システムの構築技術として、Web サービス技術とグリッド技術には共通点が多いので、グリッドコンピューティング用に、似て非なる解決技術を開発するのではなく、Web サービス技術をなるべく利用することにしている。

3-1-3. OGSA プロファイル
一般的に、Web サービス仕様は、柔軟性と拡張性を備えており、OGSA の要求する様々な用途に利用することができる。しかし一方、実際にグリッドシステム間の相互接続性を実現しようとすると、これらの柔軟性と拡張性が、逆に相互接続性の障害となる恐れがある。そこで、グリッドシステム間で相互接続性を確保するため、WSRF を含む
Web サービス標準仕様群を、どのように使うかを厳密に規定する OGSA プロファイル(OGSA profile)を導入した。[OGSA Profile Definition]
プロファイルの考え方は、Web Service Interoperability (WS-I)が考案したものであり、Web サービスにおいては、WS-I Basic Profile v1.1 と、WS-I Basic Security
Profile v1.0 が、広く利用されている。OGSA プロファイルは、この WS-I の考え方に準拠し、さらに、プロファイルの対象とする仕様群の完成度および、普及度の定量化を行い、必要であれば、若干の機能追加を許容するものである。現在、WS-addressingと WSRF に基づいた、OGSA WSRF Basic Profile 1.0 [OGSA WSRF Basic Profile]と、セキュリティ関連の二つのプロファイルが公開されている。[OGSA BSP core], [OGSA SP
secure channel] 相互接続性の観点からは、グリッドの基盤となる Web サービスの仕様

群は、ひとつであることが好ましいが、実際には前述の、WSRF と WS-Man の例のように、複数のほぼ同等の Web サービス標準仕様群が存在することがある。そこで、OGSA では、
グリッドシステムのより広範囲な普及と、将来に向けた機能拡張の余地を残すため、
OGSA プロファイルの定義に準拠していれば、複数のプロファイルの策定を許容している。さらに、複数のプロファイル間で、なるべく同一の基盤機能を定義することにより、グリッドサービスの仕様開発を、基盤となる Web サービスの発展と独立に進める
ことを可能としている。

3-1-4. 資源の仮想化
グリッドが扱う資源の特徴は、その多様性・それぞれが細部で差異を持つこと、それらに起因する複雑性である。この複雑性と、その結果としての管理のコスト増大をどうやって軽減するかが、グリッドの主要課題のひとつである。OGSA では、この問題
を、Web サービス技術を使った資源の仮想化(virtualization)により解決する。例えば、ベンダごとや、同一ベンダであっても製造時期の違いにより、個々のサーバが持つ機能や制御インターフェースは異なってしまう、しかし、基本的な共通インターフェー
スを定義することで、全てのサーバを一定の範囲では同一に扱うことが可能になる。
これを、サーバの仮想化と呼ぶ。このとき、個々のサーバの特徴的な機能を活かすた
めに、インタフェースの拡張余地を残した上で、全てのサーバがサポートすべき共通
インターフェースを定義している。さらに、サーバ・ストレージ・ネットワークといった異なる種別の資源間でも、ライフサイクル管理など、より基本的な機能は、複数の資源種別に渡る共通なインターフェースとして定義する。

3-1-5. 参考文献
[OGSA Arch] Foster, I., Kishimoto, H., Savva, A., Berry, D., Djaoui, A., Grimshaw, A., Horn,
B., Maciel, F., Siebenlist, F., Subramaniam, R., Treadwell, J. and Von Reich, J.: The
Open Grid Services Architecture, Version 1.5. Open Grid Forum, Lemont, Illinois,
U.S.A., GFD-I.080, July 2006. http://www.ogf.org/gf/docs/?final[OGSA Glossary] Treadwell, J. (ed.) Open Grid Services Architecture Glossary of Terms,
Version 1.5. Open Grid Forum, Lemont, Illinois, U.S.A., GFD-I.081, July 2006.
http://www.ogf.org/gf/docs/?final[OGSA Profile Definition] Maguire, T. and Snelling, D.: OGSA Profile Definition Version 1.0.
Open Grid Forum, Lemont, Illinois, U.S.A., GFD-I.059, January 2006.
http://www.ogf.org/gf/docs/?final..
[OGSA WSRF Basic Profile] Foster, I., Maguire, T. and Snelling, D.: OGSA WSRF Basic
Profile 1.0. GGF OGSA Working Group (OGSA-WG), 2005, forthcoming in the GGF
document series, 2005. http://www.ogf.org/gf/docs/?final.
[OGSA BSP core] T. Mori and F. Siebenlist: OGSA Basic Security Profile 1.0 – Core, Open
Grid Forum, Lemont, Illinois, U.S.A, GFD.86, November 2006.
http://www.ggf.org/gf/docs/?final[OGSA SP secure channel] T. Mori and F. Siebenlist: OGSA Security Profile 1.0 – Secure
Channel, Open Grid Forum, Lemont, Illinois, U.S.A, GFD.99, January 2007.
http://www.ggf.org/gf/docs/?final

[添付資料3-1-1] SS研 Grid Computing 2004 WG フォーラム資料

2004/12/1

目次
次世代グリッドアーキテクチャ

OGSAとは
 Webサービスとの融合
 OGSA仕様書
 アーキテクチャの概要
 OGSAの今後


OGSAの最新動向について
2004年12月1日
GGF OGSA-WG共同議長
富士通研究所 グリッド＆バイオ研究部
岸本光弘 博士(情報科学)
1

2

All Rights Reserved, Copyright (C) 富士通株式会社 2004

第３世代グリッドの登場


第１世代：センタ内スーパーコン連携
センタ内の複数スパコンを１つの仮想計算機として利用
 分散ファイルシステムやシングルサインオン技術
 固有システムを個別開発

第２世代：公開ツールを使った分散計算システム
Globus, UNICORE, Condor等のツール・ミドルウェアを利用
公開ツールをベースに必要機能を個別開発
 プロトコルやAPIは，ツールごとに別々All Rights Reserved, Copyright (C) 富士通株式会社 2004

Global Grid Forum
グリッド技術の標準仕様を，積極的に策定中
 GGFは，2001年に米国，欧州，アジア太平洋のグリッド関連団体が連合して設立
 ７つのエリアで，現在，約60の作業部会/研究部会が活動中 2004/11時点で、34のグリッド仕様が既に公開されており，さらに100以上の仕様書を作成中


第３世代：標準仕様に基づくグリッドシステム


標準仕様が，相互接続性と機能競争の両方を保証
Webサービスの標準仕様を，積極的に採用
3

OGSAとは

4

All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2004

Open Grid Service Architecture
グリッドとWEBサービスの融合
より使いやすいグリッドを実現する
 グリッドを科学技術分野から，ビジネス分野へ適用拡大

サービス指向のアーキテクチャ

交換可能な，コンポーネント指向アーキテクチャ
 分散環境における，メタOS機能Webサービスが規定する各種技術・仕様
を利用
 2002/2のGGF4で、Globus/IBMが発表


The Physiology of the Grid: An Open Grid Services
Architecture for Distributed Systems Integration
Ian Foster, Carl Kesselman, Jeffrey M. Nick, Steven Tuecke

5

All Rights Reserved, Copyright (C) 富士通株式会社 2004

WEBサービス

グリッドコンピューティング
分散コンピューティング
計算資源の仮想化

ネット上のアプリを連携する仕組
WEBベースで統合

OGSA
6

All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2002

[添付資料3-1-1] SS研 Grid Computing 2004 WG フォーラム資料

WEBサービス技術








XMLベースのWEBサービス記述言語
WEBサービスの持つ機能(portType)と，それを利用するためのメッセー
ジ(operation)を記述する方法を定義する
通信プロトコルやエンコード方式を，機能定義と独立に指定できる

WG発足




失速状態  しかし、三人とも忙し過
ぎてWG活動できず、WGは失速状態発表

XMLとHTTP等をベースとした通信プロトコル
SOAPメッセージは，XML文書に（付加情報エンベロープ）を付けたもの
HTTPなどのプロトコルを用いて通信する．
7

2002

8



I‘d like to suggest that the realistic thing to do isto recognize that we are not going to havesignificant progress

OGSA-WG was highly expected and got many
attendees at meetings. We had momentum andwere getting a lot of supporters.
 I think we can make it with effort of will.

Ian Foster (アルゴンヌ国立研究所、シカゴ大)Jeff Nick (IBM)Hiro Kishimoto (富士通)

大学，研究所
アルゴンヌ国立研究所，英国eサイエンスセンタ，英国ラザフォー
ド研究所，バージニア大学，シカゴ大学





企業



メイリングリスト



電話会議



F2F会議

Avaki, IBM, Intel, NEC, HP, Platform, 日立，富士通



全世界で３００名以上が購読



共同議長交代

共同議長（当時）


WGへの貢献申し出 (2003.5.9)
All Rights Reserved, Copyright (C) 富士通株式会社 2004

OGSA-WG の中心メンバ

Ian Fosterの支援要請 (2003.5.7)


2004

2003

All Rights Reserved, Copyright (C) 富士通株式会社 2004

共同議長交代

Ian Foster
Dennis Gannon
 Jeff Nick



SOAP


GGF4でOGSA発表、大歓迎される
 2002/9にOGSA-WGを３共同議長体制で発足


インターネットの標準としてW3Cにより勧告された拡張可能なマークアップ言語
文書管理および電子データ交換フォーマットの規定に使われる

WSDL (Web Services Description Language)

OGSAの歩み(1)XML (Extensible Markup Language)

2004/12/1

Dennis Gannon → 岸本
9

１～２ヶ月に一度

10

All Rights Reserved, Copyright (C) 富士通株式会社 2004

目次

GGFで最も活発なWG
GGFで最も活発なWG

毎週月＋木曜日 朝７時から



All Rights Reserved, Copyright (C) 富士通株式会社 2004

Open Grid Services Infrastructures

OGSAとは
 Webサービスとの融合
 OGSA仕様書
 アーキテクチャの概要
 OGSAの今後

Webサービスとグリッドの違い

グリッドはいくつかの点でWebサービスを拡張








11

All Rights Reserved, Copyright (C) 富士通株式会社 2004

Webサービスは，継続して提供されるサービスを前提
グリッドは，動的かつ一時的なサービスの生成消滅が、頻繁に発生
グリッドサービスインスタンスを管理するために，インスタンスへの参照（ハンドル）と，インスタンスの集合を管理する仕組みを導入する．
また各グリッドサービスインスタンスは寿命と内部状態を持つ
内部状態はXMLを用いて記述されるインスタンスの状態変化は，非同期通知機構によりクライアントに通知される
これら機能を実装するために，WSDLインタフェースの継承機能を導入(GSDL)

12

All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2002

[添付資料3-1-1] SS研 Grid Computing 2004 WG フォーラム資料

OGSAの歩み(2)2004/12/1

WSRF事件GGFではWebサービスのグリッド向け拡張として、OGSI仕様を1.5年かけ開発した
 IBM, Globus, HPが、似て否なる新仕様
WSRF/WSNをOASISに標準化提案
 中身はOGSIと同じだが、より実際的な仕様
 OGSIを実装していた複数のプロジェクトが、方向転換を余儀なくされた


OGSI発表共同議長交代WSRF事件

2004

2003

2002

13

14

All Rights Reserved, Copyright (C) 富士通株式会社 2004

WebサービスのコミュニティからのOGSIに対する三つの批判

Grid と Web Services
Grid GT1
最初は
アプリも
技術も
遠く離れ
ていた

Web

GT 2

,
WSDL
WS-*

?
2,
WSDL
M
D
S
W

15

最初は
アプリも
技術も
遠く離れ
ていた

Web

HTTP

既存の標準的なWSツールが使えない
オブジェクト指向すぎ，WSとなじまない状態を持つ部分をWS-resourceとしてWSと分離
政教分離：separation of service and state

16

All Rights Reserved, Copyright (C) 富士通株式会社 2004

OGSIからWSRFへの移行
OGSIの改版(WSRF)に関するGGFとOASISの共同声明(2004/1)
 GGF OGSI-WGの共同議長 David
Snelling (FLE)が、OASIS WSRF TCの共同議長を兼務 主要グリッドプロジェクトは、WSRFの実装
を計画


OGS
I

WSRF
2,
WSDL
WSDM

WSRFの定義は、GridとWebサービスのコミュニティが、共通の土台の上に前進できるということを意味している
17

XML schemaの多用を避け，既存の標準WSツールの利用
可能

All Rights Reserved, Copyright (C) 富士通株式会社 2004

両者は、接近を続けてきた。
,
WSDL
WS-*





Grid と Web ServicesはWSRFで、一体化する。
GT 2

複数の提案が１つの仕様書に含まれている６つの仕様書群に分解

しかしながら、OGSIに対する熱狂にもかかわらず、Web
サービスコミュニティからの受容には問題が多いことが明らかになった

Grid GT1



OGS
I

両者は、接近を続けてきた。

HTTP

All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2004

WSRFへのソフトランディング実現
WSRFへのソフトランディング実現
18

All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2002

[添付資料3-1-1] SS研 Grid Computing 2004 WG フォーラム資料

2004/12/1

GGFの主流アーキテクチャOGSA

目次
OGSAとは
 Webサービスとの融合
 OGSA仕様書
 アーキテクチャの概要
 OGSAの今後

これまで，複数のアーキテクチャが提案されたが，まとまらなかった
 GGF10(2004/3)において，「OGSAを，GGFの主流
アーキテクチャとする」ことを宣言




19

全てのWG/RGにOGSA対応を勧告
OGSA対応に必要なサポートを提供する
 OGSA化しない（できない）WG/RGに対しては，新規のWG/RGを設立することで対処する



OGSA-WGは，GGFのWGの１つではあるが，アー
キテクチャの元締めとして，責任と影響力を持つ
20

All Rights Reserved, Copyright (C) 富士通株式会社 2004

OGSAの歩み(3)All Rights Reserved, Copyright (C) 富士通株式会社 2004

OGSA-WGの成果
2004に仕様を順次公開

WSRF TC発足、移行
フラグシップアーキ宣言

共同議長交代商用データセンタ

ユースケース

ユースケース
解析、抽出
機能要件

ロードマップ

データ共有

成果なし

評価、優先度付
データ管理

2002

2004

2003
21

提供機能
(サービス)

アーキテクチャ22

All Rights Reserved, Copyright (C) 富士通株式会社 2004

GGFホームページ

All Rights Reserved, Copyright (C) 富士通株式会社 2004

OGSA仕様書

ユースケース文書(Tier 1)
 公開レビューのコメント反映版をGGF事務局に提出済
http://www.gridforum.org/documents/Drafts/draftggf-ogsa-usecase-003.pdf



OGSAアーキテクチャ文書（V1.0)

公開レビューのコメントを反映中
http://www.gridforum.org/documents/Drafts/draftggf-ogsa-spec.pdf

OGSA用語集(V1.0)

公開レビューのコメントを反映中
https://forge.gridforum.org/projects/ogsawg/document/draft-ggf-ogsa-glossary/en/15

23

All Rights Reserved, Copyright (C) 富士通株式会社 2004

24

All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2002

[添付資料3-1-1] SS研 Grid Computing 2004 WG フォーラム資料

OGSAユースケース

サイエンス向けのユースケースSevere Storm Modeling (Dennis Gannon)
National Fusion Collaboratory ( Kate Keahey )ビジネス向けのユースケース
Commercial Data Center ( Hiro Kishimoto, etc. )Online Media and Entertainment (Tan Lu, etc. )Grid Resource Reseller ( Jon MacLaren, William Lee )
Inter Grid ( Jeffrin J. Von Reich )2004/12/1

OGSAユースケース（続き）


グリッド技術ユースケース
Service-Based Distributed Query Processing ( Nedim
Alpdemir, Norman Paton )Grid Workflow ( Takuya Araki)Interactive Grids ( Jeffrin J. Von Reich)Grid Lite (Jeffrin J. Von Reich )




25



他のWGから提案されたユースケース
Persistent archives (PA RG)

Mutual Authorisation (SAAA WG )
Resource Usage Service ( RUS WG )
26

All Rights Reserved, Copyright (C) 富士通株式会社 2004

OGSA全体像

目次

Cataloging

Provisioning

OGSAとは
 Webサービスとの融合
 OGSA仕様書
 アーキテクチャの概要
 OGSAの今後

All Rights Reserved, Copyright (C) 富士通株式会社 2004

VO
Mgmt

Integration



PolicyMgmt

AccessContext

Data Services Info
Services
Services

Application
Mgmt

Workflow
Mgmt

Workload Execution
Mgmt
Planning

Job
Mgmt

Execution
Mgmt
Services

Reservation Configuration Deployment Provisioning

Troubleshooting

Infra
Services

Event
Discovery Logging
Mgmt

WSRF

WSN

WSDM

NamingSelf Mgmt
Rsrc Mgmt
Services
Services
Security
Services
Heterogeneity
Mgmt
Authentication
Optimization
Authorization
Service Level
Attainment
Integrity
Boundary
Traversal

27

All Rights Reserved, Copyright (C) 富士通株式会社 2004

グリッドインフラの概念図

29

All Rights Reserved, Copyright (C) 富士通株式会社 2004

28

QoS
Mgmt

All Rights Reserved, Copyright (C) 富士通株式会社 2004

OGSAフレームワーク

30

All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2002

[添付資料3-1-1] SS研 Grid Computing 2004 WG フォーラム資料

実行管理サービス(EMS)
App. Contents
Service

リソース管理サービス

Candidate Set Generator(Work -Resource mapping)

Domain-specific capabilities

Provisioning• Deployment• Configuration

OGSA Capabilities
Information
Services

Reservation

Service
Container

Execution
Planning
Services

Execution
Mgmt

Infrastructure
Level

Job Manager

Resourcelevel
32

All Rights Reserved, Copyright (C) 富士通株式会社 2004

セキュリティサービス
複数ドメインにまたがるVirtual Organizationにおけるセキュリティポリシの執行OGSA
functionslevel

Security
ServiceResources

31



Data
Service
WSRF,
WSRF, WSDM
WSDM

Data
Container

Accounting
Services

2004/12/1

All Rights Reserved, Copyright (C) 富士通株式会社 2004

システム管理、グリッド、ユーティリティ
システム
運用管理

応用分野

グリッド
コンピューティング

ドメインごとにセキュリティポリシを持つドメイン間でセキュリティポリシを変換する

DAI

Execution Mgnt

Agreement
Dist. Management

ユーティリティ
コンピューティング

Resource Broker

Virtual Orgs.

Accounting

基本サービスMonitoring

Notification

Resource Frmwk
Naming

基盤機能

33

OASIS





DMTF





標準管理モデル
包括的なパートナーシップに関する共同声明(2003/4/29)

IETF





Webサービス関連技術
OGSIの改版(WSRF)に関する共同声明(2004/1)

ネットワークのソフトハード技術
GGFの運営ルールは，IETFを規範に策定

Message Deliv.
SOAP

34

All Rights Reserved, Copyright (C) 富士通株式会社 2004

他の標準化団体との協力連携
Addressing

OWL

Security

UDDI
WSDL
CIM

RDF

All Rights Reserved, Copyright (C) 富士通株式会社 2004

目次
OGSAとは
 Webサービスとの融合
 OGSA仕様書
 アーキテクチャの概要
 OGSAの今後
W3C
XMLやSOAPなどinternetの技術
35

All Rights Reserved, Copyright (C) 富士通株式会社 2004

36

All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2002

[添付資料3-1-1] SS研 Grid Computing 2004 WG フォーラム資料

OGSAの歩み(4)2004/12/1

アーキテクチャ仕様第２版の構成

仕様書発行
基本文書

WSRF TC発足、移行

ユースケース

共同議長交代理論
先行

デザインチーム
文書群
サービス定義37

GGF 標準仕様書群
38

All Rights Reserved, Copyright (C) 富士通株式会社 2004

機能のハイレベルセマンティクスを定義

OGSA-WG内の、専門家から構成されるサブグループ
GGF等のWG/RGの議長やメンバも参加
 作成した仕様書は、OGSA仕様書の一部になる


少人数のデザインチームを作り，特定のサービス（群）を集中検討する

詳細インターフェース仕様は定義しない

DAIS-WG

他の専門WGに依頼する
 新規に専門WGを立ち上げる

GSM-WG

Complianceテストは提供しない

GFS-WG

OGSA データサービス
デザインチーム

OGSA-WG
電話会議、中間会議

GGFのスコープ外

Info-D WG

データサービス定義仕様書
データサービスシナリオ記述

ADF, OREP, …
39

OGSA
デザインチーム

VO
Mgmt

Mgmt

Planning

Mgmt

Context
Services

Info
Services

Execution
Mgmt
Services

Troubleshooting

Infra
Services

OGSA-WG

Reservation Configuration Deployment Provisioning

Resource Mgmt design teamSelf Mgmt
Rsrc Mgmt
Services
Services
Security
Services

High
DATA ADs Ohio Univ

WSN

WSDM

Namingnaming design teamSelf Mgmt design team

Legion/Avaki

GSM-WG

Event
Discovery Logging
Mgmt

WSRF

DIAS-WG
Info-D WG

OracleInvolvement

Data
Services

EMSWorkload
designteam
Execution
Job

All Rights Reserved, Copyright (C) 富士通株式会社 2004

データサービスデザインチーム

Cataloging

Provisioning

Integration

Workflow
Mgmt

40

All Rights Reserved, Copyright (C) 富士通株式会社 2004

Data Service Policy
Mgmt
Information Service design teamdesignAccess
team

Application
Mgmt

All Rights Reserved, Copyright (C) 富士通株式会社 2004

デザインチーム

OGSA-WGの役割


シナリオ記述専門WGによる
詳細仕様書群

2004

2003

2002

用語集

アーキテクチャ

OGSA-DAICERNIBM UK/US

GFS-WG

Heterogeneity
Mgmt

GDF-WG

Authentication

SecurityOptimization
Service
Authorizationteam
designService Level
Attainment
Integrity

Core (roadmap) design team

Boundary
Traversal

41

QoS
Mgmt

All Rights Reserved, Copyright (C) 富士通株式会社 2004Low
High Level Arch

Actual Specs
42

Implementation

All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2002

[添付資料3-1-1] SS研 Grid Computing 2004 WG フォーラム資料

EMS デザインチーム
Platform CSF

INTEL

CGS WG

Involvement

オープンソースグリッド

UVa

High

2004/12/1

複数のグリッドプロジェクトがOGSAをベースにグリッドミドルウェアを開発中



WSDM TC

GSA-RGDMTF CIM

SRM ADs

JSDL-WGDRMAA-WG
DMTF UC-WG
GRAAP-WG
CDDLM-WG
SA-WG
GESA-WG

Low

High Level Arch

GridLib
Globus GRAM

DCML-TC

Actual Specs
43

Implementation

どこに
向かうの
か？

OGSA
将来像

どうやって実現する？

45

44

All Rights Reserved, Copyright (C) 富士通株式会社 2004

優先順序を決めるロードマップ
OGSA
第１版

OGSA-DAINaReGI
NextGrid

RUS-WG
UR-WG

Wfw RG
Policy RG

Business Grid

ACS-WG
Logging-WG

ロードマップの目次（案）
1
2
3
4
5

Introduction
OGSA: Goals and Status
The Standards Landscape
OGSA Definition Process
Dependencies and Priorities

46

All Rights Reserved, Copyright (C) 富士通株式会社 2004

SOA関連仕様書の時系列

All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2004

OGSAの歩み(5)仕様書発行
WSRF TC発足、移行共同議長交代2002
47

All Rights Reserved, Copyright (C) 富士通株式会社 2004

2003
48

ロードマップデザインチーム

2004
All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2002

[添付資料3-1-1] SS研 Grid Computing 2004 WG フォーラム資料

2004/12/1

まとめ
OGSAはグリッドのための、Webサービス技術仕様に基づく、サービス指向アーキテクチャです デザインチームによる、専門家WG/RG/TCとの共同作業により、アーキテクチャの改善、詳細化を進めています 関連する他の標準化団体との密接な連携が一層必要です ロードマップとOGSA V2.0を開発する上で、グリッド関連プロジェクト、大学、研究機関、ユーザ、IT企業からの情報提供を求めます

49

All Rights Reserved, Copyright (C) 富士通株式会社 2004

50

All Rights Reserved, Copyright (C) 富士通株式会社 2004

All Rights Reserved, Copyright (C) 富士通株式会社 2002

[添付資料3-1-2] SS研 Grid Computing 2004 WG フォーラム資料

2004/12/1

1

サイエンティフィック・システム研究会 グリッドコンピューティングフォーラム2

世界におけるグリッドプロジェクト例•

USA- Extensible Teragrid Facility (ETF)- DOE Science Grid
- Open Science Grid (OSG)• EU FP6- EGEE- DEISA- CoreGRID- UNIGRIDS
・・・・・・・・・・・・• UK- e-Science• France- ACI Grid
- Grid5000• Germany- D-Grid-VIOLA
・・・・・・・・・・・・
他にも Nordugrid, SweGrid(Sweden)INFN grid (Italy）など。

欧米におけるグリッドプロジェクトについて

２００４年１２月１日
情報・システム研究機構 国立情報学研究所
リサーチグリッド連携研究センター
三浦 謙一

3

4

Teragrid Network Topology

米国- Extensible Teragrid Facility (ETF)- DOE Science Grid
- Open Science Grid (OSG)

540GbpsLA-HubCHICAGO-Hub

IU
30Gbps30GbpsPurdue30Gbps32 Pentium4
52 2p Madison
20 2p Madison
Myrinet96 Pentium4
64 2p Madison
Myrinet

100 TB DataWulf

96 GeForce4 Graphics Pipes
20 TB

Caltech

ORNL
TACC

ANL
30Gbps

1.1 TF
Power4Federation

128 2p Madison
256 2p Madison
Myrinet500 TB FCS SANSDSC(San Diego)
Source: Peter Beckman, ANL

256 2p Madison
667 2p Madison
Myrinet230 TB FCS SAN

NCSA(Urbana,IL)

30Gbps

16 2p (ER)Madison
Quadrics

750 4pAlpha EV68
Quadrics

75 TB Storage

6

DOE Science Grid

TeraGrid(ETF）からCyberInfrastructureへ

128p
EV7
Marvel4p VisPSC(Pittsburgh)

[添付資料3-1-2] SS研 Grid Computing 2004 WG フォーラム資料

2004/12/1

7

8Griphyn,iVGDL,PPDGからOpen Science Grid(OSG)へ• Building a community driven engineered Grid infrastructure for large-scalescience:– Building from Grid3, a 25 site >3000 CPU loosely coherent grid
infrastructure through partnering of NSF iVDGL, GriPHyN, DOE PPDG,
US LHC software and computing.
– Commitment from US LHC Tier-1 and Tier-2 centers and DOE
Laboratories to make resources accessible by and make contributions tothe consortium - esp LHC ramp up over the next 4+ years.
– Peering with other Grids, especially EGEE/LCG in Europe.
– Partnering with Grid infrastructures in the US especially TeraGrid as wellas university campus Grids.
– Reaching out to scientific communities beyond the original physics drivers:
e.g., biology, chemistry, astronomy.
– Outreach & education to enable remote and small community
participation.

9

10

EU Framework Program 6 (FP6)ヨーロッパ

インフラ整備研究開発

eInfrastructure - Grids
Next generation Grid RI

11

12

世界におけるグリッド研究開発状況（ﾖｰﾛｯﾊﾟ)
EGEE (Enabling Grids for E-Science in Europe) の例

ork
tw
ne

ing

spe
cifi

Supercomputers(DEISA)resne earctw h
o r rekin sug & lts
Gr from
idre ISTsear (e.gch .
)operational support
federating NI
cstraining
e rv
i ce
s

pan-european grid
(EGEE)(SEE-GRID)

j

ies
v it
cti
AAA
ha
c
r
ea
middleware
restglobal file systemoin(international dimension: participation of US, Russian, … organisations; links tointernational initiatives, e.g. cyberinfrastructure/Teragrid)Operations
CenterResource
Center
(Processors,
disks)
Grid server Nodes
Resource
CenterResource
CenterResource
CenterRegional
Support Regional
Support

予算:３２Ｍ Ｅｕｒｏ（２００４）
参加機関:＞７０
計算機資源:
３０８４ ＣＰＵｓ（当初）Regional
８７６８ ＣＰＵｓ（Ｍｉｄ ２００５）
SupportCenter＞１０(Support for Applications アプリ分野：
Local Resources)
主なアプリ：高ｴﾈﾙｷﾞｰ物理学向け
データグリッド
ネットワーク：ＧＥＡＮＴ－ＮＲＥＮｓ（１０Ｇｂｐｓ）
プロジェクト開始時期：２００４年４月
中心的機関: ＣＥＲＮ（ジュネーブ）Regional
Support

[添付資料3-1-2] SS研 Grid Computing 2004 WG フォーラム資料

13

データグリッド （ CERN LHC）
~PByte/sec

Online System

The DEISA (Distributed European Infrastructure forSupercomputer Applications) の例

event
simulation

event
reconstruction

human=2m

CMS detector: 15m X 15m X 22m

High bandwidth vpn- qos(NREN-GEANT

12,500 tons, $700M.

~2.5 Gbits/sec

Tier 1
GermanRegional Center

French Regional
Center14

世界におけるグリッド研究開発状況（ﾖｰﾛｯﾊﾟ)~100
MBytes/sec

Tier 0 +1

2004/12/1

Italian Center

予算:１８Ｍ Ｅｕｒｏ
参加機関:11
計算機資源（Phase 1）：
AIX Super-Cluster （4 sites)
４０００ CPUｓ（24Tflops）

National computing facility

FermiLab, USA
Regional Center

Japanese
Regional Center~0.6-2.5 Gbps

analysis

Tier2 Center
Tier2 Center
Tier2 Center
Tier2 Center
Tier2 Center

Tier 2~0.6-2.5 Gbps

Tier 3
InstituteInstitute Institute~0.25TIPS

Physics data cache

CERN/CMS data goes to 6-8 Tier 1 regional centers,
and from each of these to 6-10 Tier 2 centers.

Institute

Physicists work on analysis “channels” at 135
institutes. Each institute has ~10 physicists working
on one or more channels.

100 - 1000
Mbits/sec

Courtesy
HarveyNewman,CalTech and
CERN

Tier 4

IDRIS

Extended Grid services

Garching

2000 physicists in 31 countries are involved in this20-year experiment in which DOE is a major player.

Workstations

ネットワーク：ＧＥＡＮＴ－ＮＲＥＮｓ（１０Ｇｂｐｓ）
プロジェクト開始時期：２００４年5月
運用開始時期： Q1 2005 (Phase1)
Q3 2005(Phase 2)
中心的機関: IDRIS(ﾌﾗﾝｽ）

JulichCINECA

Phase1 SuperCluster (Q1 2005)

15

DEISA参加機関（当初）

16

DEISA – Phases 1 (Q1 2005) andPhase 2 (Q3 2005)
Phase 1: AIX Super-Cluster:4000 processors (5 to 8 Gf per processor)
24 Teraflops integrated peak performance
125 cabinets spread over 3 countries (Germany,
France, Italy)
IBM systems : 690, 690+, 655+
Diversified configurations
Phase 2 ( Q3 2005):
Incorporation of other sites (CSC, SARA) andother partners.
heterogeneous extension (SARA Linux ALTIX SGI
platform to start, vector platforms, …)
Higher VPN bandwidth (10 Gb or more across platforms).
The Geant2 infrastructure is critical for DEISA.

17

FP6： New Grid Research Projects
2002-2006
Total EU Funding:
52 M€

K-WF Grid
Knowledge based
workflow &collaboration

UniGridS
Extended OGSA
Implementation basedon UNICORE

HPC4U
Fault tolerance,
dependability
for Grid

CoreGRID:
An NoE operated as a Research Laboratory
Scientific Advisory Board

GRIDCOORD
Building the ERA
in Grid research

Grid-based generic enabling
application technologies tofacilitate solution of industrial
problems
SIMDATEU-driven Grid services
architecture for businessand industry
NEXTGRID

Mobile Grid architectureand services for dynamic
virtual Organisations
AKOGRIMO

European-wide virtual laboratory for longer term Grid
research - foundation for next generation Grids
COREGRID

18

Members
GeneralAssembly
inteliGRID
Semantic Grid
based virtual organisations

Provenance
Provenance for Grids

CoreGRID
Institutes

Specific Task Forces

Monitoring Committee
Administrative &Financial Co-ordinator
B. Le Dantec (ERCIM)

OntoGrid
Knowledge Services forthe semantic Grid

DataminingGrid
Datamining
tools & services

Industrial Advisory Board

Scientific
Co-ordinator
T. Priol (INRIA)

Knowledge &Data Management

SystemArchitecture

D. Talia (U. Calabria)

A. Andrzejak (ZIB)

R. Yahyapour(U. Dortmund)

Programming
Model

Resource
Management

PSE, tools and
GRID systems

M. Danelutto (U. Pisa)

L. Matyska (U. Masaryk)

Scheduling

V. Getov (U. Wesminster)

Spreading Excellence

Integrated Activities

P. Guisset (CETIC)

S. Gorlatch (U. Munster)

Collaboration Gateway
W. Ziegler (FhG)

NoE:Network of Excellence

Steering
Committee

[添付資料3-1-2] SS研 Grid Computing 2004 WG フォーラム資料

2004/12/1

19

CoreGrid Work Packages (研究項目)• 42 partners• 18 Countries

Jointly Executed Research
Programming
Model

SystemArchitecture

Resource
Management

Scheduling

PSE, tools and
GRID systems

Distributed DataManagement

Basic Component
Model

GRID architecture
definition

Monitoring
Services

Multi-level
Scheduling

Generic Platform

Information &Knowledge Mgt.

HierarchicalComponent Model

Experimental &Benchmarking Env.

Checkpointing
Services

Workflow
Scheduling Strategies

Mediator
Components

Data Mining &Knowledge Discovery

Advanced
Component Model

Scalable GRID
Services

Workflow
Services

Fault-tolerance &Reliability

Integrated Toolkit

Adaptive GRID

Accounting and User
Management

Evaluation &Benchmarking

Advanced Tools andEnvironments

Dependability
in GRIDsIC
RAL-CCLRC
U. Belfast
U. Cambridge
U. Cardiff
U. Manchester
U. Newcastle
U. Wesminster(1 from S. America)

Knowledge &Data Management

20

CoreGRID 参加機関

• 118 Researchers• 199 PhD Students

VTT

KTH
SICS
FhG
FZ-Julich
HLRS
PSC
U. Munster
CYFRONET
U. Dortmund
U. Passau
Masaryk U.
ZIBEPFL
SZTAKI
UASF

Delft U.
Vrije U.
U. Chile

Models for Scheduling
Parallel Applications

INRIA
CNRS
ERCIM
U. Coimbra

Data Management &Scheduling
Performance
Prediction

CETIC
UCL

UPC

CNR-ISTIINFN
U. Calabria
U. Lecce
U. Pisa

CLPP-BAS

ICS-FORTH

U. Cyprus

21

22

UniGrids 概要
Uniform
Interface to
Grid Services• OGSA• compliant• Unicore• Interoperability– 6th Framework Programme of the European Commission– 2nd Call of the IST 2003-2004 Workprogramme• Objective: GRID-based systems and solving complex problems– Instrument:
STReP– Duration:
24 months– Start:July 2004– Effort:
297 PM (12 developer + 0,375 manager)– Costs:
3.0 M€– Grant:
1.9 M€• Standardisations• Higher Level Services• Visualisation & steering• Access toremotedevices• Access to
distributeddata• Application Domains• Bio molecular andcomputational biology• Problem Solving
Environments ingeophysical depth
imaging byoil companies

23

UniGrids 参加機関
Research Centre Jülich
(Project manager)
Consorzio Interuniversitario
per il Calcolo Automatico
dell’Italia Nord Orientale
Fujitsu Laboratories of Europe
University of Warsaw
Intel GmbH
University of Manchester

T-Systems SfR

24

UNIGRIDS: Work Packages- Technology Foundations（Fujitsu Lab. Europe)- Interoperability（Intel)- Grid Economics（U. Manchester)- Higher-level Services(ICM)- Applications(CINECA)
Molecular modelling
Genomic and proteonomic similarity searches
Oil reservoir modelling
Automotive industry
Aerospace industry- Standardisation(Research Centre Juelich)- Dissemination & Exploitation(U. of Manchester)- Collaboration(Research Centre Jülich)

[添付資料3-1-2] SS研 Grid Computing 2004 WG フォーラム資料

UK:The e-Science Centres

25

Computer Science Research in Grid
(Geographic view)（Phase1 から Phase 2へ)
e-Science
Institute

Globus Alliance2004/12/1

26

Bordeaux: Grid Net. with Std. TCP
Grenoble: Metascheduler, DGrid

Lille

Open
Middleware
Infrastructure
Institute

Grid
Operations
CentreDigitalCurationCentreLille: Workflow language & interpreter

Orsay

RennesBordeaux

?

Nancy

Lyon
Grenoble

Toulouse

CeSC (Cambridge)

Nice/sophia

Lyon: GridRPC, H. P. Networking,Scheduling on heterogeneous res.
Nancy: online data compression, reallife experiments of sched. Algorithm.
Nice: Middleware for OO dist. syst.
Orsay: DesktopGrid, F. T. MPI, Virtual.
Rennes: network prot. unification
layer, code coupling with CORBA, P2P
Toulouse: Sparse Matrix and the Grid

EGEE

French ACI Grid Incentive

27

ACI GRID projects••• Programme Director : Thierry Priol• Scientific council : Brigitte Plateau• Budget: ~8 M€* (including 8 PhD grants)•••– This is incentive funding !

• Call for proposals :•– 2001 : 2,25 M€, 18 funded projects– 2002 : 3 M€, ~ 12 funded projects– 2003 : 1 M€, ~ 5 funded projects (Grid’5000)– 2004 : 1 M€, ~ 6 funded projects (Grid’5000)••

Peer-to-Peer– CGP2P (F. Cappello, LRI/CNRS)
Application Service Provider– ASP (F. Desprez, ENS Lyon/INRIA)
Algorithms– TAG (S. Genaud, LSIIT)– ANCG (N. Emad, PRISM)– DOC-G (V-D. Cung, UVSQ)Compiler techniques– Métacompil (G-A. Silbert, ENMP)
Networks and communication– RESAM (C. Pham, ENS Lyon)– ALTA (C. Pérez, IRISA/INRIA)
Visualisation– EPSN (O. Coulaud, INRIA)
Data management– PADOUE (A. Doucet, LIP6)– MEDIAGRID (C. Collet, IMAG)
Tools– DARTS (S. Frénot, INSA-Lyon)– Grid-TLSE (M. Dayde, ENSEEIHT)

•

•

•

•

* Computing and network infrastructures, permanent researchers salaries already paid by the state28

Code coupling– RMI (C. Pérez, IRISA)– CONCERTO (Y. Maheo, VALORIA)– CARAML (G. Hains, LIFO)
Applications– COUMEHY (C. Messager, LTHE) - Climate– GenoGrid (D. Lavenier, IRISA) Bioinformatics– GeoGrid (J-C. Paul, LORIA) - Oil reservoir– IDHA (F. Genova, CDAS) - Astronomy– Guirlande-fr (L. Romary, LORIA) Language– GriPPS (C. Blanchet, IBCP) -Bioinformatics– HydroGrid (M. Kern, INRIA) - Environment– Medigrid (J. Montagnat, INSA-Lyon) Medical
Grid Testbeds– CiGri-CIMENT (L. Desbat, UjF)
– Mecagrid (H. Guillard, INRIA)– GLOP (V. Breton, IN2P3)– GRID5000 (F. Cappello, INRIA)
Support for disseminations– ARGE (A. Schaff, LORIA)– GRID2 (J-L. Pazat, IRISA/INSA)– DataGRAAL (Y. Denneulin, IMAG)

Many are continuing their work through the Grid’5000 project

Grid’5000 in November’2004

Grid’5000

Pau

29

Grid eXplorer
Grid 5000 nodes

3 (soon 4) 1 Gb/sec ; may evolve to 10 Gb/s

30

The German E-Science Programme• A 5 years programme starting 2004
• Proposed funding scheme– Government: 100 MEuro– Research communities: 100 MEuro– Industry: 100 MEuro– Equal funding of middleware and applications
development– No funding of infrastructure hardware
components, operations and networking cost

[添付資料3-1-2] SS研 Grid Computing 2004 WG フォーラム資料

2004/12/1

31• Initially driven by the HGF
Rostock
centers and the DFNKiel
Hamburg
Global Upstream
Verein (2002)
Oldenburg
Braunschweig
Hannover• Meanwhile: More than 100
BerlinBielefeld
further partners in
Essen
Göttingenacademia and industry
Leipzig
St. Augustin
DresdenMarburg
Ilmena• Aim at a coordination ofu
AachenGrid activities in Germany
Erlangen• Deployment of a new
Karlsruh
Regensburg
generation networking
KaiserslauterneStuttgart
Garching
infrastructure(Example: Project VIOLA)• Promotion of open
10 Gbit/sstandards for interfaces and
2,4 Gbit/s
protocols (GGF)
622 Mbit/s
MagdeburgFrankfurtWürzburg

Heidelberg

Augsburg

32

Timeline

A German Grid Initiative: D-GRID• 2003: Steering committee established(Prof.Hegering, Prof.Hiller, Prof.Maschuw,
Prof.Reinefeld, Prof.Resch)• 2004: Preparation of a scientific programme(Presentation in June)• 2004: Call for development of generic middleware
components• 2005: Call for development of prototypical applications• 2007: Production quality national grid infrastructure• 2008: Commercial uptake of services

33

34

VIOLA:
Vertically Integrated Optical testbed for Large Applications•••

Partially funded by Federal Ministry of Education and Research
Budget: 16 M€, 27,5 PJ/a
Grant period: May 2004 – April 2007••

To serve as a platform for D-Grid – the German e-Science initiative
Deployment of a UNICORE-based Compute Grid with Meta-Schedulingcapabilities (compute & network resources) on the testbed•

Consortium:
–
–
–
–
–
–
–
–
–
–
–
–

• Programme available in summer• Gap analysis• Matrix structure: 6 Communities aregathering requirements in 5 working groups

NIC, Research Centre Jülich
Fraunhofer Institute for Media Communication
Fraunhofer Institute for Algorithms and Scientific Computing
Research Centre caesar
University of Bonn
Technical University Bonn-Rhein-Sieg
Technical University of Aachen (RWTH)
T-Systems International
DFN – German Science Network (consortium leader)
AlcatelSiemens
GasLINE (associated)

35

36

Optical Testbed
Core Infrastructure

Environmental Sciences:

Material Science & Engineering:

Simulation / Visualization

Technical Simulations

Grid-Middleware and -Services(Secure access, Scheduling, Communication, I/O, Tools)
Control Plane(Bandwidth and QoS reservation, user-network-interface)
Network components (SDH/Ethernet Switches/Router)
optical fiber infrastructure

Dissemination / Co-operation

Networks

Middleware Applications

Project structure: Vertical Integration

10 Gbit/s Ethernet +10 Gbit/s SDH
10 Gbit/s SDH
2x1 Gbit/s Ethernet
JülichAachenSankt Augustin

BonnFrankfurt

Nürnberg/Erlangen

Hardware Vendors• Riverstone• Alcatel• Siemens• Sycamore• ADVA

[添付資料3-1-2] SS研 Grid Computing 2004 WG フォーラム資料

The Grid.it National Project
TORINOPISAPERUGIA38

仮想天文台（ Virtual Observatory)

HPC, Parallel Programming, Grid computing,
Scientific libraries, Data base and knowledge discovery,
Earth Observation, Computational chemistry,
Image processing, …
R&D on next generation tools

PADOVA
BOLOGNAGENOVA37

CNR & University

MILANO
PAVIA

世界中に分散した膨大な天体観測の画像データベースをインターネットでオンライン接続して仮想的な「デジタル宇宙」を創り出す- インタラクティブなサーチ・マッチング・可視化
全天のサーベイ:
全天40,000 平方度 を 2 兆個の画素 （＠ 1 平方秒角）
One band4 テラバイト（TB)
Multi-wavelength10-100 テラバイト（TB)
Time dimension>> 10 ペタバイト（PB)

Grid infratsructure(INFN-Grid, DataGrid, DataTage-science applications: Astrophysics,
Bioinformatics, Geophysics, …

NAPOLI

BARI

野辺山
SDSS
スバル
ALMA

National eInfrastructure

ASI

Funding: €8.1 M
3-Year Project
CNIT
R&D on optical
Start-up: November 2002 networking
UR INFN : €1.58M
MATERALECCECAGLIARI

COSENZAIRAS 25μ-

INFN & University

ROMA

2004/12/1

2MASS 2μDSS Optical~1TB/年~5TB/年~20TB/年>1PB/年 （予想）

IRAS 100μ- 国際協力が不可欠
日本： JVO（Japan Virtual Observatory）
米国： NVO（National Virtual Observatory）
英国； Astro-grid

Applications of Earth
Observation

WENSS 92cm

PALERMO

注：テラ = １兆 （１０の１２乗）
ペタ = １０００兆 （１０の１５乗）

NVSS 20cm（Courtesy:Dr.Jim Gray, Microsoft） ROSAT ~keV GB 6cm

3940

かに星雲を異なった波長で観測すると・・・・(参考：NAREGI Software Stack）
Grid-Enabled Nano-Applications

X-ray,
optical,infrared, andradioviews of the nearby
Crab Nebula, which is
now in a state of chaotic
expansion after asupernova explosion
first sighted in 1054
A.D. by Chinese
Astronomers.

Packaging

Crab star1053 AD

Grid
Programming-Grid RPC
-Grid MPI

Grid Visualization

Super Scheduler

Distributed
Information Service（Globus,Condor,UNICOREÎ
Globus,Condor,UNICOREÎOGSA)
OGSA)
Grid VM
High-Performance & Secure Grid Networking

SuperSINET

NII

IMS

Research
Organizations

Computing Resources
Slide courtesy of Robert Brunner @ CalTech.

Grid PSE

Grid Workflowetc3-2. 日本国内の状況
3-2-1. 国家プロジェクトの状況
3-2-1-1. ITBL の今
福田 正大（宇宙航空研究開発機構）

3-2-1-1-1. ITBL 総説
ITBL（Information Technology Based Laboratory）プロジェクトは旧科学技術庁傘下の６機関（物質・材料研究機構、防災科学技術研究所、宇宙航空研究開発機構、理化学研究所、日本原子力研究開発機構、科学技術振興機構）の共同プロジェクトとして平成１３年度（一部、平成１２年度補正予算）から平成１７年度まで実施された。その目的とするところは、「研究機関の持つスーパーコンピュータやアプリケーションソフ
トウェア、データベース等を高速ネットワークで接続することにより、複雑で高度なシミュレーションや遠隔地との共同研究を可能とする仮想研究環境を構築し、スーパ
ーコンピュータ等の有効活用を目指す。」ものである。
このコンセプトをトータルに実現するためにインフラからミドルウェア、アプリケー
ション、利用推進・利用支援・普及活動までの全階層をプロジェクトでカバーする計画とした。スーパーコンピュータ資源は参加各機関が保有する資源の提供を受ける他に、プロジェクト用のスーパーコンピュータを別途整備した。インフラとしてのネットワー
クは旧文部省で同時期に開始された Super SINET プロジェクトのネットワーク環境を利用することとした。上記機関の活動拠点が東京・筑波地区に集中していることから、関西圏での活動拠点となる ITBL 棟を原子力機構関西研に整備し、上記プロジェクト用
スパコンを設置する他、ITBL 利用推進室を設けて関西圏における普及・啓発活動を行った。仮想研究環境構築の中核ミドルウェアとなる「ITBL 基盤ソフトウェア」は原子力機構が開発した。この他にネットワーク．セキュリティや高促データ転送に関する技
術開発を理研が実施した。これらインフラ、ミドルウェア上で実行されるアプリケーシ
ョン（含む：データベース）は参加各機関において開発された。本稿の後に掲載される添付資料 3-2-1-1「ITBL 基盤ソフトウェアと通信方式」は、２００４年１２月時点でのITBL 計画と ITBL 基盤ソフトウェアの通信方式について説明したものである。当時の時点での情報であることにご留意いただきたい。
基盤ソフトウェアの開発方針は、・プロジェクトの早い段階である程度に“使える”ものを作る。
・その後、現場での使用を進める中で機能追加、機能強化、機能改善等を行い、ソフ
トウェアを成熟させていく。
というものである。言い換えれば、例えばプロジェクト期間を５年としたとき、５年後に完成して実験をしてみせて、使えることはアピールするが実際に使われるかどうかはわからない、という開発サイクルはとらない、ということである。
６機関の共同プロジェクトを円滑に進めるために「ＩＴＢＬ研究開発に関する協力協定」を締結した。この中でプロジェクトを推進するために「ITBL 推進会議」と「ITBL委員会」の設置を定めた。また、プロジェクトの核は上記６機関で構成するが、幅広い参加を可能とするために「共同実施者」という仕組みを協定の中で定義し、多方面の機関の協力を得てプロジェクトを進めると共に各機関が固有に実施する ITBL 関連共同研
究も連携させた。これら外部機関との協力の下に仮想研究所（室）を研究コミュニティと称して構築し、仮想研究環境の利・活用を進めることとした。

3-2-1-1-2. 経緯と成果
ITBL 基盤ソフトウェア開発については、本成果報告書にも記載されている NAREGI
プロジェクトが世界標準技術に基づいたグリッド基盤技術の研究開発を実施することとなったことに伴い、平成１４年度に完成したα版で開発を終了し（実質開発期間１年半）、平成１５年度以降は実証フェーズへと移行した。このようなことが可能になったのは、上述した基盤ソフトウェアの開発方針が有効に機能したものといえる。
プロジェクトそのものは当初目標を達成して予定通り平成１７年度末をもって終了した。文部科学省による事後評価も平成１８年１０月に実施され、平成１９年１月２６日に開催された文科省情報科学技術委員会において事後評価報告書が決定された。
http://www.mext.go.jp/b_menu/shingi/gijyutu/gijyutu2/shiryo/006/07020119.htm
ITBL 基盤ソフトウェアにより接続されている計算機は１２機関１４サイト、１９機
種２５台に上り、その合計処理性能は約５７Tflops となる。多くの機種で実際にインストールされて稼働していること、接続機関の中にはドイツの研究機関も含まれていること、合計性能もアメリカのテラ・グリッド計画（１０２TFLOPS）に劣る程度で世界的にも十分に大きいこと、など十分にその役割を果たしたものと言える。
コミュニティ作りという活動では、航空機主翼設計、航空エンジン CFD 解析評価、
計算力学（ADVENTURE）、格子生成、ナノマテリアルデザイン（TOMBO）、数値環境（SPEEDI）、生命情報（BAAQ）、原子力耐震計算科学、可視化、放射線治療遠隔支援（IMAGINE）、核融合大規模計算解析、津波情報解析、光量子解析の１３コミュニティが形成され、大学、研究機関、民間企業等から２００名を超す関係者の参加を得た。共
同実施者として協力していただいた外部機関は１６機関・組織、共同研究ベースで協力していただいた外部機関は７８機関・組織に上る。個々の名称は記述しないが改めてその協力に感謝したい。
プロジェクトの終了と共に協力協定の有効期限も満了したが、上述のようにさまざまな機関の方にお世話になって続けてきた活動であり、このコミュニティ活動を継続させることの意義が大きいこと、継続性を保証することがこのような活動にとって重要なこと、などに鑑みて協定の期限を最長で平成２２年度まで科学技術振興機構を除く５機関間で延長した。
原子力機構では平成１６年度後半から、ITBL 基盤ソフトウェア環境上の計算機とNAREGI 環境上の計算機を相互に利用しあえるようにしたり、ITBL で開発されたアプ
リケーションやユーザグループを NAREGI 環境へ円滑に継承するための ITBL-NAREGI共通 API の検討を行い、平成１８年度からは「最先端・高性能汎用スーパーコンピュータの開発利用」プロジェクトの中で当該 API の開発に取組んでいる。

3-2-1-1-3. 謝辞
最後になったが、ITBL プロジェクトは多方面の方の協力があって初めて推進が可能となったプロジェクトである。個々に名前を挙げることはしないが記して感謝の意を表したい。

ITBL計画の目的
ITBL計画の目的[目的]
目的]
研究機関の持つスーパーコンピュータやデータベース等を高速ネットワーク
で接続することにより、複雑で高度なシミュレーションや遠隔地との共同研究を可能とする仮想研究環境を構築し、スーパーコンピュータ等の有効活用を目指す。
TME(ジョブ実行
TME(ジョブ実行))
可視化
ビデオ会議

ITBL-Network
１
スーパーSINET
スーパーSINET
SendaiTsukuba
Kyoto

大学

Tokyo

研究機関

オンライン
上
で研究開発

ITBL仮想研究環境の全国展開（H19.3.31現在）
仮想研究拠点：14サイト（12機関）、接続計算機：25台（19機種、約57TFlops ）
実大三次元
実大三次元
航空宇宙統合細胞フル
航空宇宙統合細胞フル
材料設計統合生命機能情報 地域数値環境
地域数値環境
震動破壊実験 ｼﾐｭﾚｰｼｮﾝｼｽﾃ
分散ﾃﾞｰﾀﾍﾞｰｽ 震動破壊実験
材料設計統合 分散ﾃﾞｰﾀﾍﾞｰｽ
ｼﾐｭﾚｰｼｮﾝｼｽﾃ
ｼﾐｭﾚｰｼｮﾝｼｽﾃ 生命機能情報
ｼﾐｭﾚｰｼｮﾝｼｽﾃ
ﾌﾟﾗｯﾄﾌｫｰﾑ
統合ｼｽﾃﾑ解析ｼｽﾃﾑｼｽﾃﾑ
ｼﾐｭﾚｰｼｮﾝｼｽﾃ ｼﾐｭﾚｰｼｮﾝｼｽﾃ
統合ｼｽﾃﾑﾌﾟﾗｯﾄﾌｫｰﾑ
解析ｼｽﾃﾑ
ｼｽﾃﾑ
ﾑ
ﾑ
ﾑ
ﾑ
ﾑ
ﾑ

ドイツ

HLRS

基幹アプ
リ
ケーショ
ン

12000GFlops
SX-8

総利用者数

：1927名資源提供共同実施者
東京大学生産技術研究所 総証明書発行数：3820枚 協定締結者
東北大学金属材料研究所
物質･材料研究機構
東北大学災害制御研究センター
防災科学技術研究所
京都大学学術情報メディアセンター
宇宙航空研究開発機構
理化学研究所
京都大学島崎研究室
日本原子力研究開発機構
北陸先端科学技術大学院大学
シュトゥットガルト大学（UNICORE連
1500GFlops 12400GFlops
携）32GFlops

WAN-

SC/EX40

PC cluster

SV1EX
1GFlops

スーパーSINET (10Gbps)pSeries610
SINET(1Gbps)
440(SPEC
fp2000H9000V

9.6GFlops

4.5GFlops(推定）

83GFlops

SR2201

Origin3200

pSeries690

5440GFlops
900GFlops

128GFlops

282GFlops

128GFlops

8GFlops

SR11000

SX-8

SX-7

SX-6

SX-6i

9300GFlops
1000GFlops
21GFlops
8GFlops
5GFlops
PrimePower

153GFlops
19GFlops

13100GFlops

334GFlops

8GFlops-

VPP5000

Altix3900

Altix3700

Onyx300

Origin2000

ITBL-NAREGI相互連携
・「最先端・高性能汎用スーパーコンピュータの開発利用」プロジェクトにおいて原子力機構がITBL
18年度～）
年度～）
いて原子力機構がITBL--NAREGI相互連携機能を開発中（平成NAREGI相互連携機能を開発中（平成18・インターオペラビリティと共通APIの開発により、ITBL
ITBLの計算機もの計算機もNAREGINAREGIのの・インターオペラビリティと共通APIの開発により、計算機も利用可能となる。
・ITBLで開発したアプリケーション等の資産を円滑にNAREGI環境へ継承する
環境へ継承する
ITBLで開発したアプリケーション等の資産を円滑にNAREGIことが可能となる。

API：アプリケーション資産の継承を促進
アプリケーション

ITBL-NAREGI共通API

ITBL環境の計算機

NAREGI環境の計算機

相互接続：計算機資産の継承を促進
ITBL 利 用
NAREGI 利 用
ゲート
者
者
ウェイ
サーバ

ITBL
サーバ

計算機

ITBL環
境

ゲート
ウェイ
サーバ

NAREGI
サーバ

計算機

NAREGI環境[添付資料3-2-1-1] SS研 Grid Computing 2004 WG フォーラム資料

2004/12/1

ITBL計画とは

ITBL基盤ソフトウェアと通信方式
1. Information Technology Based Laboratory (ITBL)計画

目的：
各研究機関のスーパーコンピュータや大規模データベースをネットワーク化することにより、複雑で高度なシミュレーションや遠隔地との共同研究を可能とする
仮想研究環境の構築

2. ITBL基盤ソフトウェアの機能
3. ITBL基盤ソフトウェアの通信方式

６機関の共同プロジェクト

大学

2004.12.1 (水)物質・材料研究機構
防災科学技術研究所
独立行政法人 宇宙航空研究開発機構
独立行政法人 理化学研究所
独立行政法人 科学技術振興機構
特殊法人 日本原子力研究所
独立行政法人
独立行政法人青柳 哲雄
aoyagi@koma.jaeri.go.jp

計算科学技術推進センター
Center for Promotion of Computational Science and Engineering (CCSE)

研究機関

日本原子力研究所 (JAERI)(C)All Rights Reserved, JAERI, 2004

(C)

共用
設備

参加６機関が ITBL研究開発に関する協力協定 を締結
理事
相当

理事
相当

基本事項決定・承認
ITBL推進会議

研究
代表

原案

研究
代表
理事
相当

参加機関

参加機関

理事
相当

ITBL委員会

研究代表

All Rights Reserved, JAERI, 2004

ITBL研究開発の分担

ITBL推進体制

参加機関

民間企業

ITBL

研究
代表

参加機関

原案作成・細目決定

(C)

応用
ソフト

利用
推進

材料設計統合物材機構
防災研
航空宇宙機構理研

震動破壊実験
航空宇宙統合VPNセキュア
ネット

ポータルサイトhttp://www.itbl.jp

細胞
分散DB、
公募による開発

科学技術振興
原研

基盤
技術

専用
計算機

ITBL基盤ソ 地域数値環境、
フトウェア 生命機能情報

All Rights Reserved, JAERI, 2004

(C)

年次計画

HPC利用技術、人材育成

All Rights Reserved, JAERI, 2004

ITBL基盤ソフトの目標

１３年度 １４年度 １５年度 １６年度 １７年度
共用設備
基盤技術

整備

運用
開発

運用・実証

応用ソフト
研究・設計・開発

利用推進

普及、公開、評価

•
•
•
•
•
•
•

ファイアーウォールを意識せず、どこからでもＳｉｎｇｌｅ Ｓｉｇｎ Ｏｎ
計算機に依存しない統一された端末操作分散したプログラムやデータを使ったアプリケーションの実行
複数の計算機を組み合わせたアプリケーションの自動実行
異なった機関に属する共同研究者との情報共有
安全な通信路
既存のスパコン管理者のポリシーの尊重→ Ｗｅｂブラウザを端末とし、個人認証を前提としてファイアー
ウォールで囲まれた既存の「サイト」をまたがる通信路と、それを利用したすぐ使えるツール群の提供

推進活動

(C)

All Rights Reserved, JAERI, 2004

(C)

All Rights Reserved, JAERI, 2004

[添付資料3-2-1-1] SS研 Grid Computing 2004 WG フォーラム資料

ITBL基盤ソフトの用語：サイト

2004/12/1

ITBL基盤ソフトの用語：利用者端末

サイトとは• ITBLサーバおよび複数の計算機から構成される単位。
• ITBL基盤ソフトは各サイトの計算機同士がインターネットを介して安全に連携できるようにする。

利用者端末とは• ITBLの利用者がITBLを利用するための端末。主にWebブラウ
ザを使う。
• 利用者認証は、Webブラウザに組み込むX.509証明書を使う

Internet

Internet
実行計算機

ITBLサーバ

実行計算機

ITBLサーバ
実行計算機

ITBLサーバ

利用者端末

サイト

ITBLサーバ
ITBLサーバ

実行計算機

実行計算機

ITBLサーバ

実行計算機

拠点サイト

実行計算機

サイト東京

サイト関西

サイト東海
(C)

利用者端末

All Rights Reserved, JAERI, 2004

(C)

All Rights Reserved, JAERI, 2004

統一された端末操作

利用場所を選ばない• 拠点サイトにＷｅｂブラウザでログイン(https+X.509クライアント認証)

利用者端末

サイト

FileManager

ほとんどどこでもhttpsは透過する
Proxy、NATも支障なし

ＳＳＯ

WebブラウザからのログインITBLデータサーバ
ITBLデータサーバ

実行計算機

ITBLフロントサーバ
ITBLフロントサーバ
サイト B

LAN

WAN

仮想端末機能(インターネット）FW
ファイアウォール

実行計算機

サイト A

サイト C

コンパイル支援機能

ITBL中継サーバ
ITBL中継サーバ(C)

PPEditor

All Rights Reserved, JAERI, 2004

分散アプリケーションの実行(C)

All Rights Reserved, JAERI, 2004

異なる機関間での情報共有

TME:
Task Mapping
Editor研究コミュニティの共有資源は、会議室とキャビネットで共有できる。
アクセス権付与作成
コミュニティ管理者

非コミュニティメンバ

サイトA

サイトB

サイトC
FW

FW

参照

ネット会議･討論会

文書登録

会議室

プログラム3

プログラム１

キャビネット

入力ファイル

コミュニティメンバ
ネット会議･討論会

出力ファイルプログラム2(C)

All Rights Reserved, JAERI, 2004

非コミュニティメンバ

メッセージ登録

研究コミュニティ

文書取得

コミュニティメンバ(C)

All Rights Reserved, JAERI, 2004

[添付資料3-2-1-1] SS研 Grid Computing 2004 WG フォーラム資料

ITBL基盤ソフトの全体像
遠隔地サイト間
シミュレーションの実行定義

ITBL基盤ソフト通信基盤：Ｓtarpc

遠隔地サイト間
ＴＶ会議
システム

遠隔地サイト間
シミュレーションの可視化

高速ネットワークで共有された計算機、DB等の研究資源をDB等の研究資源を
ＷＷＷブラウザを通して利用

Ｓtarpc: Seamless Thinking Aid Remote Procedure Call

単一認証
（Single Sign On)
システムでの複数
研究資源の利用

利用者端末

フロントサーバ

ＨＴＭＬ

サーブレットツール

実行計算機
ITBLサーバ

サイト Ｄ ITBLサーバ

サイト C

機関 B

起動後、要求元ツールと起動先ツールでＲＰＣまたはストリーム通信ができる
(C)

(C)

ファイルマネージャ
ポータル

All Rights Reserved, JAERI, 2004

ポータル

ファイル
マネージャ

キャビネット
マネージャ（アプレットツール）（アプレットツール）

starpc関数番号に対応した関数番号に対応した関数が実行される。
関数が実行される。
引数を取り込む。あとは引数を取り込む。あとはソケットsockでクライア
ソケットsockでクライア
ントツールと通信する
ントツールと通信する

キャビネットstarpcsock = tool.getSceSocket(関数番号、引数);

SCESocketSkeltonTable

tool = new SceServerStub(サーバの指定,ツール名); 実行計算機または実行計算機または
tool.isToolExecWait();
フロントツールが起フロントツールが起動。
tool.sceSendRecv(関数番号、引数、結果);動。 SCEInit()が呼SCEInit()が呼
ばれる。
ばれる。
プロセスまたはス
プロセスまたはス
レッドが次の要求をレッドが次の要求を
待機する。
関数番号１
待機する。
func(引数)｛func(引数)｛
関数番号２
処理
関数番号に対応した処理
関数番号に対応した
return 結果
関数番号３関数が実行される。
関数が実行される。
｝ return 結果
引数、結果がクライ
SCESkeltonTable
引数、結果がクライ｝
アントツールと交換
アントツールと交換される。
される。
実行計算機ツール

Ｓtarpc：ＲＰＣ通信の例

例：アプレットツールから

func(sock,引数)｛処理
return;｝All Rights Reserved, JAERI, 2004

例：アプレットツールから

All Rights Reserved, JAERI, 2004

Ｓtarpc：ストリーム通信

関数番号３

(C)

Ｓtarpc：ツールの起動とＲＰＣ

ツールの起動： ・ユーザ要求で起動する
・要求元ツールが別のツールを起動する
利用者端末
ユーザ要求
サーブレット
で生成
ツール
ツール
フロント
アプレット
連携
ツール
ツール
実行計算機
フロント
ツール
ツール

関数番号１

実行計算機
ツール

データサーバAll Rights Reserved, JAERI, 2004

Ｓtarpc：ツールの起動

関数番号２

フロント
ツール

実行計算機

C 大学
(C)

実行計算機
ツール

Java Applet

実行計算機

実行計算機

機関 A

Starpc通信路

ITBLサーバ

サイト B

実行計算機

アプレット
ツール

フロントサーバ

Internet

ITBLサーバ

サイト A

目的： 「ツール」間の通信路を確保する
中継サーバ

ＩＴＢＬサーバによるセキュリティ強化実行計算機

2004/12/1

RPC

実行計算機ツール

フロントツール

ファイルシステムAPI

JDBC

ファイルシステム

Oracle Database

RPC

データサーバ

実行計算機ツール
JDBC:Java Database Connectivity

これは子プロセスとして実行される。
子プロセスを生成しないgetSceSimpleSocket()もある。
(C)

All Rights Reserved, JAERI, 2004

(C)

All Rights Reserved, JAERI, 2004

[添付資料3-2-1-1] SS研 Grid Computing 2004 WG フォーラム資料

Ｓtarpc：ストリーム通信の例

ITBL基盤ソフトの通信：サイト内
クライアントPC

フォーラム画面

仮想端末
ポータル

JSP

クライアント証明書
クライアント秘密鍵

vt%> ls
a.out
work

http
http over
over SSL
SSL ++
クライアント認証
クライアント認証

Apache Struts

仮想端末（アプレットツール）

実行計算機

ＴＣＰ/ＩＰ接続
ＴＣＰ/ＩＰ接続

電子会議室(サーブレットツール)

starpcstarpcストリーム

実行計算機ツール

Router

ストリーム

Oracle Data Base

サイト証明書サイト秘密鍵

Firewall
フロント
サーバー
データ
サーバー

Firewall

ＩＴＢＬＣＡ証明書

ITBL
フロント
サーバ

サーバ証明書サーバ秘密鍵httphttp over
over SSL
SSL ++
クライアント認証
クライアント認証

ITBL
データ
サーバ

ITBL
データ
サーバ

LAN

ITBL
中継
サーバ

ＬＡＮ

ITBL
中継
サーバ

実行計算機

：ＴＣＰ/IP：ＳＳＬ

グローバルＩＤ： ＩＴＢＬ基盤ソフトがユーザを識別するＩＤ(C)

All Rights Reserved, JAERI, 2004

ま と め（1） ITBL計画についての簡単なご紹介
実行計算機（2） ITBL基盤ソフトウェアの目的と機能についてのご紹介（3） ITBL基盤ソフトウェアの通信基盤Starpcについて

DMZ
Router

ITBL
フロント
サーバ

All Rights Reserved, JAERI, 2004

ITBL基盤ソフトの通信：サイト間
RouterFirewall

DMZ

JSP: Java Server Pages(C)

サーバ証明書サーバ秘密鍵グローバルＩＤ
有効性確認

JDBC

仮想端末

ＩＴＢＬＣＡ証明書

WAN

フロントツール

端末制御API

WAN

2004/12/1

・ ITBL基盤ソフトウェアを支えるインフラ

LAN・ アプレット、サーブレット、フロント、実行計算機ツール間の通信路を確保する
ITBL
中継
サーバ

・ RPC及びストリーム通信が可能
実行計算機：ＴＣＰ/IP
：ＳＳＬ

DMZ

(C)

All Rights Reserved, JAERI, 2004

・ ファイアーウォールを意識しない

ＩＴＢＬ全体についてもっと知りたい方は→ http://www.itbl.jp(C)

All Rights Reserved, JAERI, 2004

3-2-1-2. VizGrid
松澤 照男（北陸先端科学技術大学院大学）
VizGrid は、文部科学省 IT プログラムの一課題「スーパーコンピュータネットワー
ク上でのリアル実験環境の実現」として、2002 年度から 2006 年度までの 5 年間に亙り実施されたプロジェクトである。活動目的は、遠隔地間あるいは異分野間など多様化する共同研究における専門用語や研究文化の違いに起因する問題や、物理的距離による障害を、高臨場感を持った遠隔コラボレーション環境で解決することによる、研究開発の質の向上とスピードアップへの貢献である。Grid 技術としてはコラボレーショ
ングリッドの分野にあたる。認証や通信レイヤの Grid ミドルウェアに関しては他プロ
ジェクトの成果利用を前提としているが、研究開発途上ということもあり、適用は将来的な課題とした。
VizGrid では、ボリュームコミュニケーションの概念を提唱し、三次元データを用いた高臨場感遠隔コラボレーション環境構築に向けて研究開発を行ってきた。プロジェ
クトは、ボリュームコミュニケーションの要素技術研究開発と成果の研究現場（医療分野、核融合分野）への適用検証の 2 本柱で進められた。
要素技術は、三次元データの生成（京大）、通信（北陸先端大）、配置（仮想空間構
築、富士通）、表示（可視化、京大）、検索（広大）の各分野における研究開発を中心に実施された。特に通信技術では世界初となる時系列三次元データのストリーム伝送
技術や複数ストリームの同期技術（特許取得済）など次世代に繋がる成果を得ている。
検索技術では研究開発成果をもとにベンチャー起業も行われた。その他、可視化技術
を中心に富士通での商品化も実施されている。また、研究開発成果の一部はボリュー
ムコミュニケーション基盤プロトタイプ（以下 VC 基盤）としてシステム化されている。
VC 基盤ではプロジェクト成果の利用に加え、汎用可視化ソフトとの連携を図ることで既存の可視化技術の利用も可能（可視化結果を仮想空間内で共有データとして利用可能）としている。VC 基盤や各要素技術成果はこれまでも VizGrid シンポジウム等で一般に紹介されてきた。VC 基盤はソースプログラムの公開も行っており、VizGrid のホームページ（※）から入手可能である。
医療分野への適用検証においては、北陸先端大と金沢医科大が中心となって進められてきた循環器疾患診断治療支援システムの枠組みの中で評価され、臨床現場の医師より有用の旨の評価を得るに至った。
核融合分野への適用検証においては、日本原子力研究開発機構により進められてきた遠隔実験システム、遠隔解析システムの中で評価され、三次元データ共有の有用性が認められた。なお、遠隔実験に関しては ITBL との連携も実施され、ITBL 上での遠隔核融合実験にも成功している。
※ 問い合わせ先北陸先端科学技術大学院大学 VizGrid 事務局
E-mail: vg-sec@jaist.ac.jp

www.vizgrid.org

[添付資料3-2-1-2] SS研 Grid Computing 2004 WG フォーラム資料

2004/12/1

ＶｉｚＧｒｉｄプロジェクト概要
ＶｉｚＧｒｉｄプロジェクト概要

文科省ＩＴプログラムの一課題スーパーコンピュータネットワーク上でのリアル実験環境の実現→Ｇｒｉｄ上に高臨場感を伴う遠隔コラボレーション環境の構築を目指すVizGridプロジェクトの概要

産学官連携プロジェクト

２００４年１２月１日
富士通株式会社
計算科学技術センター 軽部 行洋

北陸先端科学技術大学院大学、京都大学、広島大学、
日本原子力研究所、金沢医科大学、富士通株式会社
それぞれの得意分野を活かした研究開発プロジェクト→単独の機関では実現不可能なテーマを実現２００２年度より５カ年計画で開始
研究成果の実用化、人材育成が求められている
Copyright 2002-2004 FUJITSU LIMITED

なぜなぜ 高臨場感遠隔コラボレーション環境か
高臨場感遠隔コラボレーション環境かどんなプロジェクト？
どんなプロジェクト？

課題名
スーパーコンピュータネットワーク上でのリアル実験環境の実現
グリッド

高臨場感を伴う
遠隔コラボレーション環境

分散した知識／ノウハウを共有し高度な協業を実現⇒コラボレーショングリッド

研究開発の競争激化⇒スピードアップ、国際競争力強化が求められている

研究開発のボーダレス化⇒異分野間での共同研究が盛んに⇒遠隔地間での共同研究が盛んに

今後ますますこの傾向は強くなる

専門用語の違い、研究文化の違い、物理的距離が障害に

ただし、認証、暗号化等の技術は他プロジェクトの成果を活用

高臨場感遠隔コラボレーション環境のための要素技術の研究開発を行う
さらに研究成果を医療分野／核融合分野に適用し、検証を行う

研究者間のコミュニケーション密度を高める必要がある⇒視覚情報の有効活用(百聞は一見にしかず)
高臨場感を伴う遠隔コラボレーション環境で解決

Copyright 2002-2004 FUJITSU LIMITED

Copyright 2002-2004 FUJITSU LIMITED

なぜなぜ 三次元か？
三次元か？

高臨場感遠隔コラボレーション環境とは？
高臨場感遠隔コラボレーション環境とは？

遠隔地間でも同一場所で議論しているかのような環境

実世界は三次元空間⇒人間にとって三次元空間での意思伝達が最も自然シミュレーションやＣＴ／ＭＲＩ等では三次元データを日常的に利用
可視化・立体視することでデータ本来の姿を感覚的にとらえやすい

具体的には
具体的には

多地点間（三地点以上）で
様々な見方ができる同じ情報を共有しながら仮想空間
相手の表情や視線を認識可能⇒議論の場で、参加者の視点での映像作成が可能
ビデオ会議に比べ、視線の一致、円滑な話者交代が可能になり議論の質が向上⇒異分野間の協同研究では分野間をつなぐ共通言語的役割を果たす

デバイスの充実⇒複数視点を有する裸眼立体視ディスプレイ装置などが複数メーカから商品化
三次元データを手軽に扱えるインターフェースが揃いつつある

今後ますます三次元データのハンドリング技術が重要になる

仮想空間内に、人も物も三次元データとして配置する
ことで、お互いの位置関係の把握が可能な環境
Copyright 2002-2004 FUJITSU LIMITED

三次元データを統一的に扱うボリュームコミュニケーションを提唱
Copyright 2002-2004 FUJITSU LIMITED

[添付資料3-2-1-2] SS研 Grid Computing 2004 WG フォーラム資料

ボリュームコミュニケーションとはボリュームコミュニケーションとは

2004/12/1

ボリュームコミュニケーションの効果
ボリュームコミュニケーションの効果

人も物も統一された三次元データ（ボクセルデータ）化し、遠隔地間で送りあい、仮想空間に配置し、表示すること

 三次元空間に議論空間を投影することによる臨場感の実現
 互いの位置関係を表現することで、アイコンタクト等の人間が本来持つコミュニケーション能力を引き出し、密なコミュケーションを実現

人も物も三次元データであることが、多地点間でも位置関係を表現可能な仮想空間構築に繋がる２地点の場合３地点の場合４地点の場合テレビ会議システム

Ｂ

参加者BのビューＡ

参加者Aのビュー

ﾎﾞﾘｭｰﾑｺﾐｭﾆｹｰｼｮﾝ

正面

Ｃ

斜め

参加者同士、対象との関係は不明

アイコンタクト

三次元空間に投影された議論空間

地点数によって見え方が異なる ⇒ 三次元データであれば地点数に依存しない

ポインティング操作

参加者Cのビュー

共同注視

ｺﾐｭﾆｹｰｼｮﾝ
密度の
大きな違い

臨場感のあるｺﾐｭﾆｹｰｼｮﾝ

Copyright 2002-2004 FUJITSU LIMITED

Copyright 2002-2004 FUJITSU LIMITED

ボリュームコミュニケーション・イメージ
ボリュームコミュニケーション・イメージ

技術の枠組み
技術の枠組み
医療分野
医療分野
血流・血管連成解析技術
要素技術適用検証

仮想コラボレーション空間

核融合分野
核融合分野
遠隔実験／シミュレーション技術
要素技術適用検証
適用生成技術
仮想空間への配置

I see!

技術統合（ボリュームコミュニケーション基盤）
技術統合（ボリュームコミュニケーション基盤）
ボリュームコミュニケーション
ボリュームコミュニケーション
OK! Next
Operation is…

通信技術

個人作業支援環境要素技術
個人作業支援環境要素技術

リアル環境実現要素技術
リアル環境実現要素技術
仮想コラボレーション空間を使った
コミュニケーション環境を実現

計算環境

遠隔地の共同研究での情報共有、
および、研究関連状況の変化を
リアルタイムで把握

圧縮
表示

リアル環境

ボリューム
可視化技術
That !

検索技術

OK! Next
Operation is…

生成

連成解析
凡例
： ボリュームデータの流れ： ボリュームデータ

情報階層管理，構造管理

通信

スーパーコンピュータ

I see!

配置
伸長

ボリューム
データ

アーカイブ

ボリューム
データ

各種
状況変化

Copyright 2002-2004 FUJITSU LIMITED

プロジェクト実施体制
プロジェクト実施体制
プロジェクトリーダ
プロジェクトリーダ

Copyright 2002-2004 FUJITSU LIMITED

主な成果：生成技術
主な成果：生成技術

北陸先端大(JAIST)北陸先端大(JAIST) 松澤教授
松澤教授

プロジェクト統括
プロジェクト統括

アクティビティ
情報管理・表示検索三次元データの生成北陸先端大、富士通
北陸先端大、富士通

カメラ映像等のリアル環境
からボクセル生成（※１）

ボリュームコミュニケーションの実現に向けた要素技術開発
ボリュームコミュニケーションの実現に向けた要素技術開発
実世界指向ビジュアルコミュニケーションシステムの研究開発
実世界指向ビジュアルコミュニケーションシステムの研究開発¾リアル環境実現要素技術－通信，圧縮／伸長¾リアル環境実現要素技術－通信，圧縮／伸長
協調ビジュアルデータマイニングのためのテレイマージョン環境構築に関する研究
協調ビジュアルデータマイニングのためのテレイマージョン環境構築に関する研究¾リアル環境実現要素技術－生成，表示¾リアル環境実現要素技術－生成，表示

北陸先端大 丹助教授

京都大 小山田教授

高度データアーカイブに関する研究
高度データアーカイブに関する研究¾個人作業支援要素技術－アーカイブ／検索¾個人作業支援要素技術－アーカイブ／検索

広島大 石井教授

協調プロジェクト支援推進環境に関する研究
協調プロジェクト支援推進環境に関する研究¾リアル環境実現要素技術－生成，配置¾リアル環境実現要素技術－生成，配置¾個人作業支援要素技術－情報階層管理・構造管理，アクティビティ情報管理・表示¾個人作業支援要素技術－情報階層管理・構造管理，アクティビティ情報管理・表示

富士通 神田主管研究員

三次元データz

視点非依存型ボクセルカラーリング
 効率的なノイズボクセルの削除
 ボクセル投影像計算の高速化

z生成された三次元データ
解像度 96×96×96

着色処理の並列化

リアル環境からのボクセル生成（※１）

実用化に向けた実応用分野での適用検証
実用化に向けた実応用分野での適用検証
医療分野における分野横断的循環器疾患診断治療支援システムの検証
医療分野における分野横断的循環器疾患診断治療支援システムの検証¾血流－血管連成解析技術の研究開発¾血流－血管連成解析技術の研究開発

北陸先端大 松澤教授

核融合分野における階層的遠隔研究及び協調型研究環境統合の検証
核融合分野における階層的遠隔研究及び協調型研究環境統合の検証¾遠隔実験技術の研究開発¾遠隔実験技術の研究開発

原研 小関室長

技術統合と成果の普及
技術統合と成果の普及
システム化と成果の実用化・製品化
システム化と成果の実用化・製品化¾要素技術を統合したリアル実験環境のシステム化¾要素技術を統合したリアル実験環境のシステム化

ボクセルカラーリング

三次元データ着色（ボクセルカラーリング）技術の研究開発

5台のカメラで撮影（※１）多視点カメラからの三次元データ生成技術は京都大学松山教授の成果を利用

富士通

Copyright 2002-2004 FUJITSU LIMITED

並列ボクセルカラーリング
Copyright 2002-2004 FUJITSU LIMITED

[添付資料3-2-1-2] SS研 Grid Computing 2004 WG フォーラム資料

主な成果：通信技術
主な成果：通信技術

主な成果：表示技術
主な成果：表示技術 マルチストリーミングデータ同期通信技術の研究開発
独立して通信されるストリームデータ間の同期を確立し、複数拠点および異種ストリームデータを活用したアプリケーションの実現が容易となったLive streaming 1

2004/12/1

Synchronizer
NodeComposite
Synchronized Stream 動的分割可視化・高品位表示技術の研究開発
z 計算サーバ側で、可視化サーバに最適な分割サイズ、分割数を動的に取得し、可視化サーバの性能を最大限に引き出した可視化を実現
z 物体内の視点においても、干渉縞の発生しない高品位ボリューム
レンダリングの高速化を実現

計算サーバ
Skewed不規則格子上で定義されたシミュレーション結果

Delay
Generator

Synchronizer
Node

分割

サブボクセルを生成

サブボクセルを送信
高品位
ボリュームレンダリング

Live Streaming 2
Synchronized 統一的ストリーミングプロトコルの研究開発
z 異種データ（三次元データや制御データ）のストリーミングフォーマットを
標準プロトコル（RTP）上に実装し、統一的な扱いを実現
z 標準化提案予定

ボクセル解像度と３Dテクス
チャメモリサイズを送信

ネットワーク

部分画像を重畳可視化サーバ

Copyright 2002-2004 FUJITSU LIMITED

主な成果：技術統合
主な成果：技術統合

Copyright 2002-2004 FUJITSU LIMITED

主な成果：検索技術
主な成果：検索技術

 生成・通信・表示技術を統合、ボリュームコミュニケーション基盤
プロトタイプシステムを開発

Ｈ１５年度成果生成

 三次元データから検索キーと類似した部位を検索

通
信

表
示

z 三次元データをリアルタイムに生成し、z 検索対象と検索キーは三次元データを使用（特異点）をインデックスとして使用

片方向通信
ネットワーク経由で遠隔地に表示する
解像度 96×96×96
スピード 2fps
一連のシステムを実現
z 処理をパイプライン化し、並列度を高めることでリアルタイム性を確保

共有

表示
操作

通信

面①

解像度： 128×128×128～256×256×256
スピード： 最大10fps

操作

①
操作

面②

② ③ 面③表示

Copyright 2002-2004 FUJITSU LIMITED

主な成果：医療分野適用
主な成果：医療分野適用

特異点抽出

から三次元的に同様の症状を有す部位を検索可能

Ｈ１６年度成果（見込）表示

特異点

z 大動脈解離のX線CT画像を検索キーとして、保存された患者のCT画像

検索キー

生成

MRI

z 検索キーとして三次元データの特徴

が検索にヒットした部位
類似
順位１

面①

面②

面①

面②

面③

類似
順位２

面③
Copyright 2002-2004 FUJITSU LIMITED

今後の研究開発計画
今後の研究開発計画

遠隔協調可視化 遠隔地で医療画像共有、議論が可能な二次元画像可視化共有システムを実現
 ボリュームコミュニケーション基盤評価に向けたI/Fのテストを実施

今後もボリュームコミュニケーションにおける要素技術研究開発を中心に実施していく
要素技術の研究開発

二次元画像可視化共有システム
血流・血管連成解析
 MRI、X線CTから抽出した血管形状を用いた血液・血管連成解析システムを実現
 医療診断支援システムの機能として稼動

主な成果：核融合分野適用
主な成果：核融合分野適用：ボクセルカラーリングシステム高速化、大規模化生成技術：エラー訂正、圧縮を考慮した三次元データ形式の開発設
通信技術
計、
アプリケーション間連携のための制御技術
表示技術：分割可視化技術に対する高速化
検索技術：三次元データ類似検索の高速化

適用検証（医療）

遠隔実験システム：二次元画像可視化共有の成果をボリュームコミュニケーション基盤に統合
血流・血管連成解析：循環器系疾患診断治療支援に向け
血流・血管連成解析技術の研究開発
遠隔協調可視化 JT-60向け遠隔実験機器制御、遠隔計測機器制御、遠隔実験結果解析シス
テムを実現
 ボリュームコミュニケーション基盤評価に向けたI/Fテストを実施
Copyright 2002-2004 FUJITSU LIMITED

Copyright 2002-2004 FUJITSU LIMITED3-2-1-3. NAREGI宇佐見 仁英（国立情報学研究所）
NAREGI は広域分散型の最先端研究教育用大規模計算（サイエンスグリッド）環境を実現するための世界標準による実運用に耐える品質のグリッドミドルウェアを研究開発することを目的としている。NAREGI は 2003 年から文部科学省が進める「超高速コンピュータ網形成プロジェクト（National Research Grid Initiative：通称 NAREGI）」
としてスタートした。2006 年度から文部科学省が進める「最先端・高性能汎用スーパ
ーコンピュータの開発利用プロジェクト」におけるサイエンスグリッド NAREGI プログ
ラムとして、これまでのプロジェクトの成果を継承すると共に、次世代のペタスケール
スーパーコンピュータ利用環境も視野に入れ、継続して研究開発を進めている。
本 WG として、サイエンス Grid 環境での実施研究の一環として、主に NAREGI ミドル
ウェアを導入し、その検討、構築、適用等の情報交換を実施することになった。本 WGでの活動順に年を追って紹介しているので、NAREGI に関する各記述内容が必ずしも最新の情報でないことに注意されたい。ここでは、NAREGI プロジェクトに関連する報告として下記の 3 件を紹介する。
(1) NAREGI の概要と現状[添付資料 3-2-1-3-1] (宇佐見)2004 年 12 月時点での報告であり、UNICORE をベースとした NAREGI ミドルウェ
アα版（内部評価用；機能評価を行うために限定したユーザに提供）の概要と現状である。特に、2004 年度時点では、データグリッド機能が無く、グリッド空間（広域分散環境）でのデータハンドリング等の機能が実現していない状況である。
しかしながら、予約によるメタスケジュール等のための資源要求等、現在実現されている資源管理等の基本機能は出来上がっており、それらの機能について詳細を紹介した。
(2) UNICORE 構成[添付資料 3-2-1-3-2] (永井)NAREGI ミドルウェアα版が UNICORE をベースとしており、NAREGI ミドルウェア
導入評価の準備段階として UNICORE の環境を整えることにした。UNICORE を導入するハードウェア、ネットワーク接続環境を含めた UNICORE 環境の構成を紹介した。
(3) NAREGI におけるナノシミュレーションのグリッド化と応用事例[添付資料 3-2-1-3-3] (青柳)NAREGI の一つの研究グループ WP６(Work package)から、NAREGI ミドルウェア
α版を使ったアプリケーションのグリッド化と応用事例について紹介した。特に、次世代のシミュレーション技術として重要なマルチフィジックス解析での連成ア
プリケーションについて、ナノサイエンスにおける連成シナリオの分析から、RISM-FMO による溶媒中の分子の振る舞いを解析する事例も紹介した。また、
GAMES-FMO を利用した比較的大規模な例としてグラミシン分子の解析、データベースを利用したタンパク質最適構造と初期電子密度の事例等、アプリケーションのグリッド化のための方法論、連成アプリケーションのためのミドルウェア、実際の応用例まで幅広い活動を報告した。

[添付資料3-2-1-3-1] SS研 Grid Computing WG フォーラム資料

2004/12/1

1

2

ＮＡＲＥＧＩプロジェクトの概要
１）正式名称「超高速コンピュータ網形成プロジェクト」(英文名：National Research Grid Initiative)２）文部科学省の｢経済活性化のためのリーディングプロジェクト｣の一環として推進

ＮＡＲＥＧＩ の概要と現状

３） ５ヶ年計画として２００３年４月にスタート
４） 国立情報学研究所と分子科学研究所を二拠点とし、その他の共同研究機関、大学、産業界を含む産・学・官連携研究開発体制

2004年１２月1日
国立情報学研究所 リサーチグリッド連携研究センター

客員教授

次世代の研究開発、製品開発に不可欠な大規模シミュレーションなどを実現するグリッド基盤用ソフトウェア （サイエンスグリッド）の研究開発を推進 (実際はセンター間サーバグリッド用)宇佐見 仁英3

NAREGI研究開発体制

ＮＡＲＥＧＩプロジェクトの目指すところ
e – インフラ

グリッド研究開発推進拠点
文部科学省（国立情報学研究所）

連 携

グリッドミドルウェア開発

グリッド研究開発推進拠点（国立情報学研究所）
研究グリッド産業応用協議会

グリッド研究開発推進委員会
グリッド研究開発実施委員会

グリッドミドルウェア
研究開発
主

７大学センター

査

グリッド
研究開発連携人材育成（最先端IT技術者およびアプリケーション技術者）

ナノアプリによるグリッドの実証研究

ネットワーク＆セキュリティ基盤
ｽｰﾊﾟｰSINET

査

運 用
技術開発

大学・研究所

グリッドアプリケーション環境

グリッドネットワーク
利用技術開発主センタ－向けグリッドミドルウェアの提供

グリッドプログラミング環境

ネットワーク
研究開発連携

共同研究

産総研グリッド
研究センター

科学技術計算用
汎用グリッドミドル
ウェアの製品化サイエンスグリッド
構築環境

グリッド環境における資源管理

７大学センター等
各種計算機センター

プロジェクトリーダ：三浦教授

ナノアプリケーションのグリッド化

国際的学術貢献
国際的標準化貢献

ネット
ワーク
高度化

アプリケーション研究開発拠点（分子科学研究所）

利用
ITBL（原研他）
運 用（ナノ分野中心）

拠点長：平田教授
運 用

連 携

共同研究

実証グリッドアプリケーションとしてグランドチャレンジ問題を研究開発

最先端研究開発の推進（ナノ、バイオ等）

従来の方式では不可能な

産業界からナノ設計実証テーマを公募（東大物性研、東北大金研、ＫＥＫ物構研、京大化研、産総研）

産業活性化

最先端グリッドＩ Ｔを駆使したナノサイエンスの計算科学産業界からサイエンスグリッド
産業応用への要請

アプリケーション研究開発拠点（分子科学研究所）

推進委員長

産業界での利用（新しい知的物作り）

巨大計算の実現
ハイスループットの実現

研究グリッド産業応用協議会

新しい計算科学方法論の開発（会員企業：４０社）

5

6

NAREGI Ｓｏｆｔｗａｒｅ Ｓｔａｃｋ

グリッド研究開発推進拠点研究項目
松岡（東工大）、河野（電通大）、合田（東工大）

２） グリッドプログラミング環境 ・・・・・・・・・・・・・・・・ WP２
関口（産総研）、石川（産総研）

３） グリッドアプリケーション環境 ・・・・・・・・・・・・・・ WP３
三浦（国情研） 、川田（宇都宮大） 、佐藤（筑波大）

４） グリッドソフトウェア統合・運用技術 ・・・・・・・・・ WP４
三浦（国情研）５） グリッド対応ネットワーク通信基盤 ・・・・・・・・・・ WP５

ＷＰ４ パッケージング・
統 合化１） グリッド環境における資源管理 ・・・・・・・・・・・・ WP１

ＷＰ６ ﾅﾉﾃｸｼﾐｭﾚｰｼｮﾝのｸﾞﾘｯﾄﾞへの対応
ＷＰ２ ｸﾞﾘｯﾄﾞ
ﾌﾟﾛｸﾞﾗﾐﾝｸﾞ-ｸﾞﾘｯﾄﾞRPC-ｸﾞﾘｯﾄﾞMPI

WP3 ｸﾞﾘｯﾄﾞ可視化

WP3 ｸﾞﾘｯﾄﾞ PSE

WP3 ｸﾞﾘｯﾄﾞ ﾜｰｸﾌﾛｰ
WP1 ｽｰﾊﾟｰｽｹｼﾞｭｰﾗ

WP1

分散情報サービス（Globus,Condor,UNICOREÎ
Globus,Condor,UNICOREÎOGSA)
OGSA)
WP1 グリッドVM
WP5 ﾈｯﾄﾜｰｸ通信基盤、ｾｷｭﾘﾃｨ･認証基盤
スーパーSINET

下條（阪大）、尾家（九工大） 、今瀬（阪大）

６） ナノシミュレーションのグリッド化 ・・・・・・・・・・・ WP６
青柳（九大）

4

国立情報学研究所

分子科学研究所

共同研究機関計 算 資 源その他

[添付資料3-2-1-3-1] SS研 Grid Computing WG フォーラム資料

2004/12/1

7

8

NAREGI実行シナリオ（ﾏﾙﾁｻｲﾄMPIｼﾞｮﾌﾞ）

アプリケーションモデル

RISM
source
FMO

単一並列ジョブ(メモリ共有orメモリ分散向き問題）

Workflowsource複数サイトに跨らない範囲での並列ジョブ・・・・・○

a: Registration

CA

Input files
c: Editb: Deployment

PSE

d: Result

WFT

複数の単一並列ジョブ（パラメータサーベイ、最適化問題）

IMPI

GVS

RISM

SMP
64 CPUs

1: Submission(JSDL)

Super
Scheduler

複数サイトでの同時並行処理・・・・・・・・・・・・・・・◎
5: Sub-Job

疎結合複数ジョブ（ Multi-physics, Multi-resolution 問題）

6: Co-Allocation

GridVM

GridVM

計算コストに対して通信コストが無視できる・・・・○

2: Interpretation ofWorkflow Language
3: Resource Query
4: Negotiation
Agreement

蜜結合複数ジョブ（ Multi-physics, Multi-resolution 問題）
計算コストに対して通信コストが無視できない・・△

Accounting

Grid
Visualization

Output files

7: Reservation

Local
Scheduler

Local
Scheduler

IMPI

RISM

FMO

Server

Job

Job

MPI

Distributed
Information
Service

GridVM

8: Submission

FMO

PC Cluster
128 CPUs

GridMPI

Local
Scheduler
Monitoring

CA

CA

CA

Site A

Site B(SMP machine)

Site C(PC cluster)

9

10

WP1: マルチサイトジョブ実現イメージ

WP1: 計算資源の要求

連成ジョブ

アプリケーション開発者は、ジョブの資源要件を JSDL 仕様(ProcessTopology)で記述する。

JobA-1 16CPU

Site A

エンドユーザは、実行マシンを指定する必要がない

0(4cpu)(4cpu)

1

2

4

3

6

(8cpu)(8cpu)

14 15

5

9

13

8

12

16

源
資

情

報

ORDB

Information
Service

Provider/MonitorNJS

GridVM 通信

Local
Scheduler
ＧｒｉｄＶＭ Ｅｎｇｉｎｅ

CIMM
Service

Site B

SS
ブローカ

NJS

GridVM sched

10 11

JobA-1…SiteA
JobA-2…SiteBﾞ
算
、計

NJS

7

(8cpu)(4cpu)JSDL

Gateway

Gateway<ProcessTopology><virtualHost total=“3” mappedTo=“realHost” ><Process total=“2” ><threads>2</threads></Process></virtualHost><virtualHost total=“3” mappedTo=“realHost” ><Process total=“4” ><threads>2</threads></Process></virtualHost></ProcessTopology>

アカウンティング情報

ClientJobA-2 256CPU

GridVM sched
Local
Scheduler
ＧｒｉｄＶＭ Ｅｎｇｉｎｅ

GridVM Engine

MPI 通信17

MPIジョブＧＧＦ ＪＳＤＬ－ＷＧで仕様提案中

11

12

WP2: GridRPC/Ninf-G2

WP1: グリッド情報サービス
Virtual Organization
Super
GridMPIPSE,
GridVM
PKI基盤
GridRPC
WF(G)UI Scheduler

AdminviewerUser
viewerUser,VO毎の情報サービス

V.O.
viewer

資源情報 検索、設定、通知
Real
World

Resource Log
Performance

生成／消滅／変換
Resource

User Budget

User Budget

Log
R.W.

Performance Account Policyの実例

Ｍｏｎｉｔｏｒｉｎｇ， Ａｃｃｏｕｎｔｉｎｇ， Ａｒｃｈｉｖｉｎｇ

Center

LRPS

Nano
HEP

Aggregate&DecodeSite

Account Policy

Management

DAI
RDB

Astro

GridRPC

Programming Model using RPC on the Grid
High-level, taylored for Scientific Computing (c.f. SOAP-RPC)
GridRPC API standardization by GGF GridRPC WG
Ninf-G Version 2
A reference implementation of GridRPC API
Implemented on top of Globus Toolkit 2.0 (3.0 experimental)
Provides C and Java APIs IDL
Numerical

Management

Clientの実例
Cell Domain
Information Provider
Service Provider

Inst.

GridVM NW基盤 GridRPCUNICORE Condor Local
Usage
RecordTopology

stub

IDB

Library

FILE

V.O.

Local
Management
System

Hawkeye Schedule
ClassADJob

1.
interfacerequest3. invoke
Executable
2. interface
reply
Client side

4. connect
back
GRAM
MDS

Server side

IDL Compiler

generatefork

Remote Executable

retrieve

Interface
Information
LDIF File

Ｎｉｎｆ‐G V2.2.0提供済

[添付資料3-2-1-3-1] SS研 Grid Computing WG フォーラム資料

13

WP3: グリッドアプリケーション環境

WP2: Grid MPI
Cluster A• Intra-cluster

Cluster B– Vendor MPI– SCore– IMPI compatible• Inter-cluster
MPI Core
Grid ADISSH RSH GRAM Vendor

IMPI Latency-aware Communication Topology

Other
Vendor Comm.
Library
MPI

P-to-P Communication

MPI

TCP/IP

PMv2 Others

14

 Grid PSE- グリッド環境へのアプリケーションの配置- ユーザ要求／アプリケーション情報
による実行支援 Grid Workflow- グリッドミドルとは独立したワークフロ言語（GSFL;Grid Service Flow Language）- タスクフロー表現のGUI– GRAM (Globus) & IMPI compatible
RPIM

2004/12/1

GridMPI V0.2提供済

WP3: グリッドアプリケーション環境

 Grid Visualization- グリッド上に分散された大規模データのリモート可視化- 汎用的な可視化グリッドサービス

15

16

WP5：ネットワーク研究開発概要

スクリプト言語

ワークフローＧＵＩ
分子研アプリ分子研アプリ分子研アプリ分子研アプリGAMESS-FMO
RISM-FMO

ネットワークPSE

GridｻｰﾋﾞｽAPI
ﾃﾞﾌﾟﾛｲﾒﾝﾄ

WF-GUI向け
ｲﾝﾀﾌｪｰｽ

WFT
I/F

コマンド
ｲﾝﾀﾌｪｰｽ

事例DB
ｱﾌﾟﾘ情報ｻｰﾊﾞ選択
登録・検索
登録・検索

ﾜｰｸﾌﾛｰGUI->ﾜｰｸﾌﾛｰ言語
ｺﾝﾊﾞｰﾀｰコマンド
インターフェース

高位機能
ｱﾌﾟﾘﾌﾟｰﾙ

基本機能
（他WP）

ﾌｧｲﾙ転送事例DB

グリッド概念「ネットワークに繋がった計算資源を相互に連携して一つの計算資源」とする機能を提供する

PSE ｽｸﾘﾌﾟﾄ 可視化
I/F
I/F
言語

API グリッドPSE

グリッドＷＦUNICORE =＞ ＯＧＳＡ

コマンド
インターフェース

ﾜｰｸﾌﾛｰ（WF言語）

可視化グリッドサービス

WFｴﾝｼﾞﾝ・
ｽｰﾊﾟｽｹｼﾞｭｰﾗ

・・・

グリッド
可視化

情報ｻｰﾋﾞｽ

WP5: グリッド通信基盤（ＰＫＩ）

WP5

ネットワーク計測に基づくネットワーク制御機能
ネットワーク機能基盤開発

通信プロトコルの詳細な性能評価

複数組織間での認証機能

通信プロトコル基盤開発

グリッド通信基盤（PKI）の開発

17

複数組織間での認証連携に関する要件定義とポリシー策定、
UNICORE/Globus認証機能の開発、ＶＯ管理機能の開発

18

WP6: ナノアプリケーションのグリッド化
Site A

MPICH-G2, Globus

Site B

RISM
RISM

FMO
FMO
溶液中の電子構造

UNICOREおよびGlobusToolkitの運用を前提に
PKIの認証サービスの提供・運用

グリッド連成ミドルウェア

ポリシードメインに跨る認証連携を可能とする仕組みを研究開発しGGFへの提案を目指す
RISM

NAREGI-CA V1.0供済

電子構造解析

溶媒分布解析

認証局 (CA)/登録局 (RA) およびＧＧＦの規定する
Basic Assurance Levelの認証ポリシーを開発

MPICH-G2, Globus
異なる離散点上のデータ変換

Reference Interaction Site Model
無限系に対する溶媒分布解析プログラム

FMO

グリッド連成ミドルウェアFragment Molecular Orbital method
ナノ高分子の電子構造解析プログラム

[添付資料3-2-1-3-1] SS研 Grid Computing WG フォーラム資料

19

NAREGI テストベッド

2004/12/1

グリッド研究開発推進拠点（５Ｔflops，700GB)

東工大
Campus Grid

ファイルサーバ

東北大金研(PRIMEPOWER 900＋ETERNUS3000＋ ETERNUS LT160）

Small Test App Clusters

大阪大
BioGrid

1node／8CPU

産総研
SuperCluster

九大情報基盤センター(SPARC64V1.3GHz)

1node (UNIX,SPARC64V1.3GHz/64CPU)

ＫＥＫ物構研
京大化研

内部 ＮＷ-B

ﾒﾓﾘ
ﾒﾓﾘ 128GB
128GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 441GB
441GB

1node

Small Test App Clusters(Itanium2 1.3GHz/32CPU)

分散メモリ型演算サーバB-1(Express 5800）

ﾒﾓﾘ
65GB
ﾒﾓﾘ
65GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 4.7TB
4.7TB
GbE (1Gbps)
128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon2.8GHz/Linux)+管理ﾉｰﾄﾞ

分散メモリ型演算サーバB-2
ﾒﾓﾘ
65GB
ﾒﾓﾘ
65GB
(Express 5800）
ﾃﾞｨｽｸ 4.7TB
ﾃﾞｨｽｸ
GbE (1Gbps)
128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon2.8GHz/Linux)+管理ﾉｰﾄﾞ

Ｌ３スイッチ(Catalyst 6503)

共有メモリ型演算サーバ2(SGI Altix3700）

東大物性研

Small Test App Clusters

ﾒﾓﾘ
65GB
ﾒﾓﾘ
65GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 9.4TB
9.4TB
InfiniBand 4X (8Gbps)
128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon3.06GHz/Linux)+管理ﾉｰﾄﾞ

1Gbps

内部 ＮＷ

Small Test App Clusters

ﾒﾓﾘ
130GB
ﾒﾓﾘ
130GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 9.4TB
9.4TB
InfiniBand 4X(8Gbps)
128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon3.06GHz/Linux)+管理ﾉｰﾄﾞ

分散メモリ型演算サーバA-2(PRIMERGY RX200）

Ｌ３スイッチ

共有メモリ型演算サーバ1(PRIMEPOWER HPC2500）

Small Test App Clusters

分散メモリ型演算サーバA-1(PRIMERGY RX200）(Catalyst 6506)

ﾒﾓﾘ
16GB
ﾒﾓﾘ
16GB
ﾃﾞｨｽｸ
10TB
ﾃﾞｨｽｸ
10TB (RAID5/ユーザ領域)(RAID5/ユーザ領域)
ﾊﾞｯｸｱｯﾌﾟ
ﾊﾞｯｸｱｯﾌﾟ 最大36.4TB
最大36.4TB

産総研

スーパーSINET

内部 ＮＷ-A

外部ＮＷ

スーパーＳＩＮＥＴ

Small Test App Clusters

20

グリッド基盤ソフトウェア研究開発システム

1Gbps

分散メモリ型演算サーバB-3(HPC LinuxNetworx ｸﾗｽﾀ）

ﾒﾓﾘ
ﾒﾓﾘ 32GB
32GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 180GB
180GB

GbE (1Gbps)

4.7TB

ﾒﾓﾘ
65GB
ﾒﾓﾘ
65GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 4.7TB
4.7TB

128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon2.8GHz/Linux)+管理ﾉｰﾄﾞ～３０００プロセッサ～１７Tflops

アプリケーション研究開発拠点（分子科学研究所）

グリッド研究開発推進拠点（国立情報学研究所）～１０Tflops～５Tflops

共有メモリ型演算サーバ3(IBM pSeries690）
1node(Power4 1.3GHz/32CPU)

分散メモリ型演算サーバB-4 ﾒﾓﾘ
ﾒﾓﾘ(HPC LinuxNetworx ｸﾗｽﾀ）

ﾒﾓﾘ
ﾒﾓﾘ 64GB
64GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 480GB
480GB

128ﾌﾟﾛｾｯｻ
128ﾌﾟﾛｾｯｻ(Xeon2.8GHz/Linux)+管理ﾉｰﾄﾞ

ネットワーク
テストベッド（GNET-1)

ナノアプリケーション研究開発システム

21

22

NAREGI研究開発日程

アプリケーション研究開発拠点(10Tflops，5TB)
共有メモリ型演算サーバ

分散メモリ型演算サーバ

2003

5.0 TFLOPS
818 CPUs(Xeon, 3.06GHz)+Control Nodes
Myrinet2000 (2Gbps)

5.4 TFLOPS
16ways×
16ways×50nodes (POWER4+ 1.7GHz)
MultiMulti-stage Crossbar Network

65GB
65GB
ﾃﾞｨｽｸ
ﾃﾞｨｽｸ 4.7TB
4.7TB

GbE (1Gbps)

2004

2005

2006

評 価

研究開発

2007

2008 ～
成果活用

実用化・強化・実証試験

中間評価
評価結果によりプロ
ジェクト体制の見直し

実証研究

Gridの検証
アプリケーションのグリッド環境対応研究開発

3072GB
3072GB
2.2TB
2.2TB

MemoryMemory 1.6TB
1.6TB
Storage
Storage 1.1TB/unit
1.1TB/unit

フロントエンドサーバ

研究開発方針仕様検討

フロントエンドサーバ

ファイルサーバ

L3 SW
1Gbps

16CPUs (SPARC64 GP, 675MHz)

実用システム
開発・構築

ネットワーク通信基盤技術研究開発

構築運用技術開発
Firewall

初期インフラNII,IMS

VPN
グリッド研究開発推進拠点

評価
実用化検討

管理認証サーバ(Upgradable to
10Gbps)MemoryMemory 8GB
8GB
Storage
Storage 30TB
30TB
Back-upBack-up 25TB
25TB

Gridミドルウェア研究開発

実証試験

MemoryMemoryStorage
Storage

グリッドアプリケーション研究開発

大学・研究機関の技術ノウハウをスムーズに民間移転できる実用的な仕組み

計算科学
ナノ分野の挑戦的
研究テーマの選定

次期インフラスーパーＳＩＮＥＴ

23

24

NAREGI ミドルウェア配布計画

まとめ

Development of Operational Environment
・・ Development of Operational Environment
・・１） グリッドは、21世紀の研究開発基盤であり産業基盤です。
２） NAREGIプロジェクトでは、異種混合の計算資源をシームレスにつなぐミドルウェア技術を中心に開発いたします。

Integration

プロト版

Integration

Integration

β版

α版

Testbed for Prototyping(UNICORE, Condor,Globus)

Integrationβ’版

Final System

NAREGI V1.0

(OGSA Compliant) （サイエンスグリッド

構築環境）

随時個別提供・・・・

Grid
GridMiddleware
MiddlewareResearch
Research３） 開発したグリッド環境を用いて、ナノサイエンスにグリッドを適用し、実用性を評価する実証研究までを行います。
４） 開発したグリッド技術を広く産業界へ広め、産業界の国際競争力向上に寄与します。
５） 国際的なグリッド技術標準化に寄与します。

[添付資料3-2-1-3-1] SS研 Grid Computing WG フォーラム資料252004/12/1

[添付資料 3-2-1-3-2] SS 研 Grid Computing 2004 WG 第 4 回会合 資料

2005/7/5

UNICORE 構成
名古屋大学情報連携基盤センター
永井亨

HPC2500

ClientGateway
sp004

sp003

sp002

sp001

sp0

NJS

NJS

NJS

NJS

NJS

hpc

TSI

TSI

TSI

TSI

TSI

NJS

UUDB

TSI

アプリケーションサーバ

OS: Solaris9
Gateway 4.1.0
NJS 4.1.0

NICE

TSI 4.1.0
UUDB 1.0.0

石井研究室

・・

・・

OS: Linux 2.4
Gateway 4.1.0
NJS 4.2.0

PCクラスタTSI 4.1.0
UUDB 1.0.0

注１） hpc は 128CPU (2.08GHz)、残りの 5 ノードは 64CPU 搭載。主記憶は各 512GB。各ノードはGEther で接続。
注２） センター１階の PC クラスタ（１６台）の UNICORE 環境と連携可能。PC クラスタは GEther
および Myrinet (240B/s)で接続。
以上

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

2005/7/5

1

富士通ＳＳ研 Grid Computing WG

2OutlineNAREGIプロジェクトの概要

NAREGIにおけるナノシミュレーションのグリッド化と応用事例

グリッド基盤ミドルウェアの紹介- 特に上位層について -ナノシミュレーションのグリッド化- 疎結合コンポーネントによる連成 –- 連成ミドルウェア –- 応用事例 -平成17年7月5日
九州大学

青柳 睦

3

4

NAREGIの目標

研究開発の取り組み方と成果の利用
サイバーサイエンスインフラ

グリッド研究開発推進拠点（国立情報学研究所）① 学術研究、産業界における研究開発を対象に計算機

グリッドミドルウェア開発

資源をグリッドで接続し、大規模なシミュレーション、

センタ－向けグリッドミドルウェアの提供

グリッドプログラミング環境

ハイスループット処理、マルチスケール・マルチフィ

グリッドアプリケーション環境

ナノアプリによるグリッドの実証研究

データグリッド環境

ジックスの連成解析が可能な、１００Tflops級のナノアプリケーションのグリッド化（分子科学研究所）あることをナノサイエンス分野での実証研究で確認。

研究グリッド産業応用協議会

新しい計算科学方法論の開発

ITBL（原研、理研、
JAXA・・・・）

研究開発従事者（平成16年度）

アプリケーション研究開発拠点（自然科学研究機構 分子科学研究所）拠点長(平田教授）
運用
研究開発

公募研究
東大
物性研

東北大
金研

産総研

ＫＥＫ
物構研

京大
化研

ナノ分野のグランドチャレンジ問題をグリッドアプリとして共同研究開発

拠点

学・官

産

グリッド拠点

31

110

アプリ拠点

162

5

公募研究

－

45

インフラ

連携

・仕様決定
・要素技術のプロトタイピング

2006

評価

高度化・強化

統合α版

統合β版
配布

UNICORE/Globusベース
・グリッドRPC
早期提供

ﾈｯﾄﾜｰｸ高度化

利用

技術開発

携
（東工大、九工大、宇都宮大、電通大） 連

2005

・ソフトウェア/方法論開発
・産業界公募・α版統合ナノシミュレーションシステム開発・両拠点でのシステム導入統合1.0版に向け
ての高度化

2007

2008~
実証 成果活用

統合1.0版

OGSA化

・データ
・ミドルウェアのOGSA化促進
・グリッドRPC α版の
分子研
グリッド
グリッドMPI・β版の展開によるグリッド
への
（追加
環境強化
早期公開と
導入
テーマ）
分子研への提供
ナノアプリケーションのグリッド化対応・連成向けツール研究開発
・アプリケーション
ソフトウェアの開発

実証研究

・グリッドRPC, グ ・アプリのグリッド化
・V1.0版に・β版環境でのリッドMPIの導入 ・産業界公募研究
評価/実証準備
向けた環境
・大規模実証の分子拡大での評価/
研システムで実施 ・グリッドナノシミュ
実証準備・産業界公募研究
レータ開発
開始
・拠点毎のグリッド ・α版による拠点間 ・β版による拠点間 ・実証計算のための100
グリッド連携環境構築
グリッド連携Tflops級に向けた環境・共同研究機関へのグリッド連携規模拡大 の拡大/整備・認証局運用開始（7月）

配布

実証計算

運用

研究開発
研究開発
研究開発

ネットワークSuperSINET
高度化要件（分子研拠点）ｸﾞﾘｯﾄﾞ研究
開発連携

WP主査

システムの実証研究

大学・研究所

ｸﾞﾘｯﾄﾞﾈｯﾄﾜｰｸ
利用技術開発

WP主査

6

大学・
国公立研究機関の技術をスムーズに民間移転できる実用的な仕組み(阪大、九大）ｸﾞﾘｯﾄﾞ基盤ソフトウェア
研究開発

７大学ｾﾝﾀｰ

2004
研究開発

中間評価

共同研究

７大学ｾﾝﾀｰ

2003（国情研拠点）産総研グリッド
研究センター

グリッド研究開発

研究グリッド産業応用協議会（ＩＴ・ナノ４０社）

グリッド研究開発
実施委員会

産業界での利用（新しい知的物作り）

プロジェクト全体の進め方
フェーズ

グリッド研究開発推進拠点（情報・システム研究機構 国立情報学研究所）

巨大計算の実現
ハイスループットの実現

年度

文部科学省
共同研究開発(富士通、日立、NEC)

産業活性化
最先端研究開発の推進（ナノ、バイオ等）

従来の方式では不可能な

産業界からナノ設計実証テーマを公募

5

ﾈｯﾄﾜｰｸ研究
開発連携

最先端グリッドＩ Ｔを駆使したナノサイエンスの計算科学産業界からサイエンスグリッド
産業応用への要請

研究開発体制図

プロジェクトリーダ ： 三浦教授

国際的学術貢献
国際的標準化貢献

アプリケーション研究開発拠点② 開発したグリッド基盤ソフトウェアが実用的に有効で

連携

人材育成
（最先端IT技術者およびアプリケーション技術者）

ネットワーク＆セキュリティ基盤

サイエンスグリッドを実現するグリッド基盤ソフトウェアを開発。

グリッド研究開発
推進委員会

科学技術計算用
汎用グリッドミドル
ウェアの製品化サイエンスグリッド
構築環境

グリッド環境における資源管理

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

2005/7/5

7

8

グリッド研究開発研究項目

研究開発戦略

１） グリッド環境における資源管理 ・・・・・・・・・・・・ WP-１

• 成果のオープンソース化と海外プロジェクトとの連携

松岡（東工大）、河野（電通大）、合田（東工大）－ 研究プロジェクトの国際化と互換性（Interoperability)の重要性－ 運用ツール類などの相互利活用（ポータビリティ）－ 例： EGEE, UNICORE/Unigrids, Teragrid 等との技術交流

２） グリッドプログラミング環境 ・・・・・・・・・・・・・・・・ WP-２
関口（産総研）、石川（産総研）

３） グリッドアプリケーション環境 ・・・・・・・・・・・・・・ WP-３

• 国際標準への準拠と貢献

宇佐見（国情研）、川田（宇都宮大）－ UNICORE,Globus,OGSA準拠の開発方針－ GGF(Global Grid Forum）への積極的参画（Working Group への仕様提案、先行実装など）－ NAREGI成果のグリッド基盤としての将来性・持続性

４） データグリッド環境 ・・・・・・・・・・・・・・・・・・・・・・ WP-４
松田（阪大）

５） グリッド対応ネットワーク通信基盤 ・・・・・・・・・・ WP-５
下條（阪大）、尾家（九工大） 、今瀬（阪大）

６） ナノシミュレーションのグリッド化 ・・・・・・・・・・・ WP-６
青柳（九大）

9

10

グリッド基盤ソフトウェアによる連成計算の実現

グリッド基盤ソフトウェアと研究項目
WP6：ナノテクシミュレーションのグリッドへの対応

ｱﾌﾟﾘ配置

編 集

CA

グリッド
PSE

グリッド
ワークフロー

WP4：

データ
グリッド

WP2:
WP3：グリッドﾞ可視化
WP3：グリッド PSE
グリッド
WP3:グリッドワークフロー
プログラミング・グリッドRPC
・グリッドMPI WP1:スーパースケジューラ WP1:分散情報サービス

利用者登録

グリッド
可視化

ジョブ投入
スーパー
スケジューラ

資源探索（Globus,Condor,UNICOREÎ
Globus,Condor,UNICOREÎOGSA)
OGSA)

起動

WP1：グリッドVM
WP5:ネットワーク通信基盤、性能評価、セキュリティ･認証

分子科学研究所

共同研究機関

グリッドVM

グリッドVM

グリッドVM

グリッドVM

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

IMPI
サーバ

ジョブ
A

資源 A

資源 B

資源 C

資源 D

資源 N

(SMPマシン)(PCクラスタ)(PCクラスタ)(PCクラスタ)

グリッドVM

資源予約

スーパーSINET

国立情報学研究所

分散情報
サービス

予約交渉 → 合意

その他

計 算 資 源

グリッド
MPI

ジョブ
B

グリッド
MPI

ジョブ
B

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

・・・・

11

12

NAREGI ミドルウェアの特長的機能

NAREGI拠点間での連成計算実行例

1. 資源管理ミドルウェア（WP1）
情報学研究所

分子科学研究所
RISM
RISM

FMO
FMO
溶液中の電子構造

OGSA-EMS 仕様
ベースでは世界初の実装• ジョブ要件に適合する資源の自動ブローカリングとジョブ実行制御• グリッド上での連成計算のサポート（資源のコアロケーション）• 大規模ジョブの複数システムでの分割実行サポート

2. プログラミング環境（WP2）• 標準仕様（MPI-1,MPI-2)に準拠したMPI （通信）ライブラリ• GGF標準仕様に準拠したRPC（遠隔手続き呼出） ライブラリ

3. アプリケーション環境（WP3）
電子構造解析

溶媒分布解析
可視化

グリッド
ミドルウェア

RISM

可視化

グリッド
ミドルウェアグリッドMPI

Reference Interaction Site Model
無限系に対する溶媒分布解析プログラム

FMO

Fragment Molecular Orbital method
ナノ高分子の電子構造解析プログラム• グリッドを意識せずに利用できるユーザサポート環境（ＰＳＥ）• GUI による容易なプログラミング連携機構（ワークフローツール）• グリッド上に分散した大規模データの可視化機能（グリッド可視化システム）

4. セキュリティ（WP5）・運用のための認証局ソフトウェア（NAREGI-CA)
5．ネットワーク環境（WP5）・グリッド環境を考慮したネットワーク資源の管理・制御機能
6．ナノシミュレーションのグリッド化（WP6)・Mediatorと通信ライブラリによる連成計算用ミドルウェア
・グリッド上で世界最大規模の溶媒中タンパク質の連成計算の実行

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

13

2005/7/5

14

国際グリッドプロジェクトとの比較

NAREGI 広域分散テストベッドインフラの構築

ＮＡＲＥＧＩプロジェクトではグリッド基盤ミドルの開発と運用の両方に力を入れている⇒CSI
米国テラグリッド(Extensible Tera-scale Facility）

欧州連合（EU）のEGEEプロジェクト

グリッドミドルウェア開発、ナノ分野のグリッド実証研究を考慮したヘテロ、広域分散環境のテストベッドを構築

Operations
Center

東工大
Campus Grid

Regional
Support Regional
Support
Regional
SupportResource
Center
(Processors,
disks)

東北大金研
Small Test App Clusters

40GbpsIndiana U
30Gbps

産総研
SuperCluster

九大情報基盤センター

スーパーSINET

Small Test App Clusters

Small Test App Clusters

アプリケーション研究開発拠点（分子科学研究所）

グリッド研究開発推進拠点（国立情報学研究所）～１０Tflops～５Tflops

96 GeForce4 Graphics Pipes
20 TB

Purdue U
ORNL
TACC

ANL

128 2p Madison
256 2p Madison
MyrinetSDSC(San Diego CA)

256 2p Madison
667 2p Madison
Myrinet30Gbps

16 2p (ER)Madison
Quadrics

230 TB FCS SAN

NCSA(Urbana IL)

750 4pAlpha EV68
Quadrics

75 TB Storage

128p
EV7
Marvel4p VisPSC(Pittsburgh PA)

予算規模:98M$（2001-2003総計） 【109億円】
参加機関:＞9
計算機資源: 40Tflops
・Teragrid固有：20Tflops
・NSFセンター等接続分：20Tflops
アプリ分野：サイエンス一般
ネットワーク：専用線 （40Ｇｂｐｓ）
基盤ミドルウェア：NMIパッケージ （Globus ベース）
プロジェクト開始時期： 2002年４月
運用開始時期：2004年10月
中心的機関: National Science Foundation(NSF)

予算規模:70 Ｍ Ｅｕｒｏ（２００４-2007） 【93億円】
参加機関:＞70
計算機資源: 8768 ＣＰＵｓ（Ｍｉｄ 2005）
アプリ分野：高ｴﾈﾙｷﾞｰ物理学向けデータグリッド
バイオ他
ネットワーク：ＧＥＡＮＴ－ＮＲＥＮｓ（10Gbps）
基盤ミドルウェア：ｇ-Lite (Globus ベース）
プロジェクト開始時期：2004年4月
中心的機関: ＣＥＲＮ（ジュネーブ）東大物性研

Small Test App Clusters

100 TB DataWulf

500 TB FCS SAN

Center

ＫＥＫ物構研～３０００プロセッサ～１７Tflops

1.1 TF
Power4Federation

Resource
CenterResource

Small Test App Clusters

96 Pentium4
64 2p Madison
Myrinet30GbpsSmall Test App Clusters

京大化研

32 Pentium4
52 2p Madison
20 2p Madison
MyrinetCaltechResource
Center

産総研

30Gbps30Gbps(Support for Applications
Local Resources)

Grid server Nodes

大阪大
BioGrid

CHICAGO-Hub

LA-HubRegional
SupportCenter・運用主体のプロジェクトである・運用主体のプロジェクトである
EGEE:Enabling Grids for E-SciencE
CERN: European Organization for Nuclear Research

15

NMI:National Middleware Initiative

16

Outline日本の最先端学術情報基盤の構築に向けて
サイバーサイエンスインフラストラクチャー（CSI)

NAREGIの成果

学術機関統合リポジトリーの形成（デジタルライブラリー）

産
業
・
社
会
貢
献

NAREGIプロジェクトの概要

バーチャル研究組織
ライブコラボレーション

連携ソフトウェアとしての研究グリッドの実用展開

グリッド基盤ミドルウェアの紹介

大学・研究機関としての認証システムの開発と実用化- 特に上位層について -人材育成及び推進体制の整備（推進組織・人材確保等）
北海道大学

ＮＩＩと７大学情報基盤センター等連携による次世代学術情報ネットワークの構築
京都大学
★
★

九州大学
★

★

●

国
際
貢
献

★

東北大学

ナノシミュレーションのグリッド化- 疎結合コンポーネントによる連成 –- 連成ミドルウェア –- 応用事例 -

☆ ★

★
名古屋大学

大阪大学

東京大学

ＮＩＩ

（東京工業大学、早稲田大学、高エネ
ルギー加速器研究機構等）

大学・研究機関の研究リソース整備・研究成果等の発信

17

利用者登録

ｱﾌﾟﾘ配置編 集

結果の可視化

CA

グリッド
PSE

グリッド
ワークフロー

グリッド
可視化

18

グリッドアプリケーションの実行プロセス

統合ミドルウェアα版実行シナリオ

WP3

Step1  各コンピュータでコンパイル、テストラン、

オブジェクトの配置（逐次ﾌﾟﾛｸﾞﾗﾑ、並列ﾌﾟﾛｸﾞﾗﾑ）

グリッドPSE
ジョブ投入

スーパー
スケジューラ

資源探索

分散情報
サービス

予約交渉 → 合意
起動
グリッドVM

グリッドVM

グリッドVM

グリッドVM

グリッドVM

資源予約
ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

IMPI
サーバ

ジョブ
A

資源 A

資源 B

資源 C

資源 D

資源 N

(SMPマシン)(PCクラスタ)(PCクラスタ)(PCクラスタ)

グリッド
MPI

ジョブ
B

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ
グリッド
MPI

ジョブ
B

ﾛｰｶﾙ
ｽｹｼﾞｭｰﾗ

・・・・

prog1

prog2

prog3

data

data

data

Step2  各ﾌﾟﾛｸﾞﾗﾑの実行に必要な要件の指定

 各ﾌﾟﾛｸﾞﾗﾑの依存関係の指定 リアルタイム可視化、バッチ可視化の指定
グリッド可視化
グリッド
ワークフロー
prog1
data

prog2

prog3

可視化

data

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

グリッドPSE：
アプリケーション登録／配置・利用例
 アプリケーション情報
 プログラム 入力ファイル
 要求資源要件

アプリケーション開発者

19(Application Contents Service)①アプリ登録
②コンパイル先選択⑤配置先選択

コンパイル

OK!

テスト実行

OK!

NG!

テスト実行

Server#1

資源情報
情報サービス

⑥アプリ
配置

4

3

高いグリッド親和性
 汎用的な可視化グリッドサービス

MPI Parallel
Visualizer

2

 GridMPIを用いた大規模分散可視化

圧縮画像
データ

IO

22

OutlineNAREGIプロジェクトの概要
グリッド基盤ミドルウェアの紹介

計算サーバ
計算結果
データ

- 特に上位層について -可視化サーバService
Providerナノシミュレーションのグリッド化

インターコネクト網
PE
PE
PE
PE

1

計算サーバ
計算結果
データ

21

Service
Provider

5

4
44
555
66

gmsenv
gmsenv
gmsenv

JSDL

グリーン ： 正常終了
ブルー ： 計算中
レッド
： 異常終了サイトAFire Wall

ssb_r_xm

RISMFMO
RISMFMO
RISMFMO3） 計算の実行と実行状況の監視

Server#3

利用者

333

ssb_plt_i
ssb_plt_i

各コンポーネントの実行と実行状態の監視

グリッド可視化：
大規模分散リモート可視化

サイトB

制御依存関係の指定
IO（データ）依存関係の指定

OK!

テスト実行

Server#22222） コンポーネント間の接続③コンパイル④アプリ環境
一式

777

1
11

R_PAR_I
R_PAR_I
R_PAR_I
ams_dat
ams_dat

実行時の資源要件をJSDLで指定（実行計算機などの指定は不要）

20dws0xsv
dws0xsv

ssb_r_inp
ssb_r_inp
ssb_r_inp☆ﾃﾞｰﾀｱｲｺﾝ、ﾜｰｸﾌﾛｰｱｲｺﾝ⑦アプリ配置
情報登録

②⑤
資源
情報

グリッドワークフロー：
ワークフローツールによる開発手順1) ＷＦコンポーネントとなるアイコンの貼り付け

PSE Server
ACSなど

2005/7/5

PE
PE
PE
PE

PE
PE
PE
PE

PE
PE
PE
PE

- 疎結合コンポーネントによる連成 –- 連成ミドルウェア –- 応用事例 -PE
画像合成

MPI Parallel Visualizer

画像圧縮

MPI Parallel
Visualizer
可視化サーバ 並列化によりメモリ容量と処理速度の限界を打破

WP6 の役割 -ナノアプリとミドルの連携 -23

WP6 研究の目的と開発内容
グリッド上位ミドルウェア層および基本ミドルウェア層の機能と性能を最大限に活用しアプリケーション研究開発拠点が開発中の複雑な連携処理を含むナノアプリのグリッド対応化を実現する

ナノアプリケーション
研究開発拠点(IMS)

グリッドミドルウェア研究開発拠点(NII)WP6連成・連携シナリオの類型化，ナノアプリのグリッド化
ﾊﾟｯｹｰｼﾞﾝｸﾞ、統合化

アプリケーション
研究開発拠点との連携

ｸﾞﾘｯﾄﾞ
ﾌﾟﾛｸﾞﾗﾐﾝｸﾞ環境-ｸﾞﾘｯﾄﾞRPC-ｸﾞﾘｯﾄﾞMPI

ｸﾞﾘｯﾄﾞ可視化

ｸﾞﾘｯﾄﾞ PSE

ｸﾞﾘｯﾄﾞ ﾜｰｸﾌﾛｰ
ｽｰﾊﾟｰｽｹｼﾞｭｰﾗ

課金情報
モニタリング（Globus,Condor,UNICOREÎ
Globus,Condor,UNICOREÎOGSA)
OGSA)
グリッドVM
ﾈｯﾄﾜｰｸ通信基盤、性能評価、ｾｷｭﾘﾃｨ･認証
スーパSINETMediator tool
国立情報学研究所

MPI Core
IMP
I

RPIM
Interface

Latencyaware
Communicati
onRequestTopology
P2PLayerInterface

分子科学研究所

研究協力機関ナノアプリケーション群の連携・連成
シナリオを類型化しグリッド環境におけるジョブの効率的な分散実行を考慮した「コンポーネント化」を実施
コンポーネントの組合せによる複雑な処理フロー
を「シナリオ」として構成

複数のナノアプリケーション間で異なる離散表現による物理量を効率良くデータ交換するための連成ミドルウェアを開発し水溶液中
におけるタンパク質の計算に応用処理に適した計算
資源で各コンポーネ
ントを効率的に実行シナリオの再構成・再利用による利便性・研究開発効
率の向上

その他

計 算 資 源

rsh

ssh

SCore

GRAM

ve
nd

or
O2
MP
G
MX
I
PM
v2
TCP/
IP
IMPI
Vendor MPI

Request Interface

グリッド上位ミドルウェア層および基本ミドルウェア層との連携

大規模なマルチスケール・マルチフィジックス等の連成解析が可能なグリッド技術をベースとした次世代のシミュレーション基盤を確立

24

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

25

ナノアプリケーションの連成シナリオの分析

2005/7/5

研究開発成果(1) GAMESS FMO のグリッド化 26
ナノアプリケーションの分析とコンポーネント化

演算粒度，コンポーネント間のデータ転送容量，遅延許容度などを考慮したコンポーネント化

Init① 計算粒度と通信容量を考慮しコンポーネント化

電子状態ＳＣＦループ

ダイマー

モノマー
統合

Conv?

ダイマー

モノマー

ダイマー

モノマー

疎結合並列型の例

ＭＤ

http://www.msg.ameslab.gov/GAMESS/GAMESS.html

構造最適化ループ

初期化

Frag. Density
SCFループダイマー

モノマー

Frag. Pair

Frag. Density

初期化

同期/非同期データ転送

Frag. Pair

Energy Grad.

Energy Grad.

Struct. update

統合④ グリッドミドル上位層により各コンポーネントを
DEPLOYし，ワークフローを構成しSSに投入・実行

連成データ交換型の例

研究開発成果(1) GAMESS FMO のグリッド化 27
ワークフローと可視化（グラミシジン分子の例）
readfragment DB

monomer
calculation

densityexchangedimer
calculation

njs_png200
5

njs_png201
0

njs_png200
3

njs_png201
1

njs_png200
4

njs_png201
njs_png200
2

NII Resources

njs_png200
9visualization

njs_png200
2

njs_png201
0

njs_png200
3

njs_png201
1

njs_png200
4

njs_png201
njs_png200
2

njs_png205
7

njs_png205
7visualization グリッドミドルウェ

アが各コンポーネ
ントの最適な計算資源を選択配置

Fragment Database
Register

dpcd056

dpcd052

dpcd056

dpcd053

dpcd057
dpcd056

dpcd053

dpcd057
dpcd056

IMS Resources

ツールの活用中間結果の可視化等，ジョブシナ
リオの柔軟な再構成が可能

グリッドデータベースの利用
タンパク質最適化構造と初期電子密度(2)2930

グリッド上における疎結合FMO計算の例

Search
血清アルブミン分子（１８９７
２原子、１１２２フラグメント）
をNII GridとIMS Gridを使用しNAREGI上位層とフラグメ
ントＤＢ機能を用いて計算

Register

The Fragment density is stored in
the Fragment Database system.

Register

dpcd055

dpcd052

構造&電子密度 DB

28

Register

dpcd054

dpcd055

データ分配

Shell
scripts

wait

Retrieve
コンポーネント化

njs_png200
8dpcd054

データ集約# データの収集@n=1
while($n <= $NFRG)
if($MY != $NODES[$n]) thenrcp $NODES[$n]¥:$HOME/out$n out$n >& /dev/null
endif
@ n++
end

To be used in the otherFMO simulations

total energy

njs_png200
7

njs_png200
8input file

# 入力: in
# 出力: out#
@n=1
while($n <= $NFRG)
echo "init fragment:$n"
rsh $NODES[$n] "(cd $HOME; ./rungmst11 $INPUT￥t node $n out$n >& /dev/null; mv -f $INPUT.out $INPUT.init.$n)"@ n ++
end
wait

グリッドデータベースの利用
タンパク質最適化構造と初期電子密度(1)njs_png200
6

njs_png200
7

njs_png200
9## 初期化プロセスの起動、初期電子密度計算(init_fmo)

Energy Grad.

njs_png200
5

njs_png200
6

njs_png200
2・・・

Frag. Pair

Total Energy

アプリB

逐次型の連成シナリオ例

・・・③ nonグリッド環境でのテスト実行
standard shell + rsh/rcp etc..

アプリA

ＰＢ

Frag. Density② コンポーネント間のデータ通信を記述

Retrievemore information...

７箇所のかぎ穴それぞれに脂肪酸を取り込む際の安定化エネルギーを算出

血液中の脂肪酸伝搬のミ
クロなメカニズムを解析中

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

研究開発成果(2) 連成ミドルウェアの開発

研究開発成果(2) 連成ミドルウェアの応用１31

アプリケーション・コンポーネントの独立性を保持しながら，幅広いナノアプリケーション群
を簡単な操作で連成させることが可能なグ
リッド連成ミドルウェア（Mediator）を開発した

Mediator
A

Sim.
Sim.
BB

Mediator
B

Sim. BMediator
B

Sim. B

Collective
communicationandtransformation
based onMediatorcorrelativeA
specification

Sim. AMediatorA

Sim. A

Middlewaresystem

1.4Å
Active site of Glu35 Rε = Rvdw + ＭＤ
C
O
N
H

球内相関

第一近接相関研究開発成果(2) 連成ミドルウェアの応用2- 0.1eV

Strong

3

120
2

60
1

0

0

0

33

RISM-FMO連成計算方法とグリッド化の利点

1 0 00Experimental result
101meV
2 Time (ns) 4
62 00 030 00

4 00 0

50 00

6 00 0

Active site ofGlu35

水和リゾチームの活性中心
Glu35における水
素解離エネル
ギーを算出

Weak

連成ｼﾐｭﾚｰｼｮﾝモデルの比較
Coupled simulation

RISM-FMO

MD-PB

Discretization
methodFDM / Irregular point

Particle / FDM

Physical quantities
to be transformed

Solvent charge density tocharge on solvent atoms

Dielectric distribution,
Charge on atoms to charge density

Correlation
specification

In-rectangular

In-sphere

Transformation
function

Weighted function
conserving charge

Weighted function
equalizing electric fieldqα

Programming style

Sequential / Master-Worker

Master-Worker / Sequential

ダイマー計算Communication
paradigm

Two-way iterative
communication

One-way, Variablecommunication

Interconnection

GridMPI, MPICH-G2,
GridFTP, MPICH, Score

MPICH, MPI2, Stampi

Server machines

Hitachi SR8000, AIX,Linux, Alpha clusters

Hitachi SR8000, SR2201,
DEC, Sun clusters

Mediator

FMO

離散点間
の相関関
係を定義

アダプティブメッシュ

溶媒分布関数の計算
モノマーfragmentsの計算
異なる離散化方gγ (r )
H 1Ψ 1 = E 1Ψ 1式の間でデータcγ (r )
H 2 Ψ 2 = E 2Ψ 2を効率的に交換hγ (r )
M

コンポーネントの組合
せによる複雑な処理フ
ロー全体を「シナリオ」
として構成

hγ (r )

溶媒分布
溶質の有効電荷

Local dielectric
ＰＢ
constant

逐次型の連成シナリオ例
Time average resultof coupled
Amino site that leads tosimulation 106meV
H dissociation at Glu35

4

240

180

Mediatorは複数のアプリケーション間で相関関係にある離散点上の物理量を検索しデータ交換する機能と同意物理量に対する意味変換機能を持つ

等間隔
メッシュ

5.6nm

同期/非同期データ転送
In-sphere transformation
used

Call send(byte,a) , Call receive(byte,b,Fun.)

3D-RISM

7.8

Effect on H
dissociation

Sim. AMediator
B

0.1eV

80
24

Shift ofΔGp→u(Glu35)

Mediator
A

Local dielectric
model

H2O

5.6nm

離散データ間相関関係の例

Call register (correlative specification,
discrete type, number, coordinate)

Sim. A

Lysozyme

PB法による静電ポテ
ンシャルの計算計算された比誘電率を離散点上の相関分布として変換

MD simulationによる水和構造の計算For Multi-Scale and Multi-Physics Simulations

Call initialize,

シナリオの再構成・再利用による利便性・研究開発効率の向上

溶媒和自由エネルギー
溶質座標による勾配

RISMはＳＭＰ，FMOはPCクラスタ等，アプリに適した計算資源上で各コンポーネントを効率的に実行

研究開発成果(2) 連成ミドルウェアの応用2
RISM-FMO連成による水溶液中リゾチームの解析結果

プロトン移動がトリガーとなる糖の加水分解メカニズムを解明

水和リゾチームの電子状態とプロトン移動

Peptidoglycan

Glu35 活性中心
水和構造は前述のMDPB連成計算(応用1)によ
り決定

H＋

C1
O

NAM

NAG

糖鎖の加水分解
NAM: N-Acetylmuramin
NAM
NAG:
N-Acetylglucosamin

34

36

溶媒中タンパク質の連成シミュレーション

Mediatorを利用したRISM-FMO連成計算により水溶液中リゾチームの電子構造解析を行い，糖の加水分解に溶媒和した水のプロトン移動が重要な役割を果たしていることを解明した.

H:
C:
N:
O:

32

Molecular Dynamics と Poisson-Boltzmann法 をMediatorで連成

グリッド連成ミドルウェア（Mediator）の概要

Mediator library calls:

2005/7/5

水和リゾチームのＧｌｕ３５活性部位の選定

[添付資料3-2-1-3-3] SS研 Grid Computing 2004 WG セミナー資料

研究開発成果(3) RISM-FMO 構造最適化

37

疎結合構造最適化への応用 Met-Enkephalin分子
RISM-FMO 連成とTINKERを疎結合で結合し水溶液中のMet-Enkephalinの構造最適化を実行

2005/7/5

38

異なるシミュレーションモデルによる溶媒中タンパク質の有効電荷比較-Mulliken Charge and RESP Charge(AMBER) Mulliken charge in solute
Distribution of oxygen atom

1.0y

グリッド環境において世界で初めて水溶液
中タンパク質の構造最適化に成功y = 0.55 x + 0.00
R 2 = 0.77

0.5

0.0
-1.0

構造最適化のジョブフロー

-0.5

0.0

0.5

RESP charge

1.0

x

-0.5

Electronic structureof Lysozyme-1.0

AMBERによるRESP Chargeは水による溶質分子の分極が充分考慮されていない
一方，量子化学手法による溶質の有効電荷は過大評価される傾向がある

最適化step(真空中との比較)
Met-エンケファリン分子

溶媒分布

Concluding remarks
A solution based on Research Grid will havesignificant advantages for customizing
interdisciplinary simulations,andGrid will make a big chance for the
Collaboration between Computational
Scientists and Computer/Information
Scientists in HPC field.

39

3-2-2. 大学センター等の状況
庄司 文由（理化学研究所）
近年の、大学センター等が提供するハイパフォーマンス・コンピューティング(以下、HPC)サービスの状況について考えてみると、大きく 2 つのポイントがある。
ひとつは、独立行政法人化に伴う、予算的な締め付けの強化である。それまでの費目別予算が、機関全体の予算に一括して組み入れられたことで、経営陣の判断で予算規模が大きく変わりうる状況となった。結果として、大学センター等は、内部に対する貢献度をこれまで以上に目に見える形で残す必要性に迫られていると言ってよい。しかし、
HPC サービスの利用者は機関全体で見ればたかだか数パーセントであり、客観的な指標に基づいてサービスとしての意義を示すのはもともと困難である。
もうひとつは、利用者のニーズの変容である。PC の高性能化に伴い、多くの研究者
は自分の研究室にある PC 上で数値計算を行う研究スタイルが主流になりつつある。また、研究の現場では既存のコードをそのまま利用するケースが増えていることから、利用者のコーディングスキルの低下も深刻になってきている。結果として、センターが提供する HPC サービスと利用者ニーズの間の乖離がより大きくなりつつある。
このような状況下で、各大学のセンターは様々な試みを行ってきているが、その戦略を大きく分類すると以下の 3 つにまとめられる。
1.

HPC サービスのアウトソース
比較的小規模の計算センターでは、もともと予算規模が小さいこともあり、自前で HPC 資源を維持することが難しい。そこで、より大きな機関のセンターのHPC 資源を部分的に借用し、内部の利用者に提供する。これにより、経費を抑えつつ、内部の利用者のニーズに応えることが可能となる。また、貸し手から見ると、大口の顧客を安定して得られることになり、両者にメリットがあるやり
方である。

2.

HPC システムの PC 化
上で述べたように、多くの利用者が PC で研究を行っているのだとすれば、センターが提供する HPC 資源も PC に近いシステムにすべき、という考え方である。
理化学研究所の RSCC や東京工業大学の TSUBAME が好例である。利用者は研究室の環境からシームレスに移行でき、自前の PC 資源の規模ではできないような計算ができるという点がセンター利用の動機付けとなる。

3.

既存 PC 資源の HPC システム化
既存の PC 資源(例えば教育用端末)を有効活用し、利用者ニーズに対応するやり方である。広島大学や大阪大学の事例がこれに当てはまる。どちらの事例も、教育用端末として利用していた PC 資源を HPC 資源に転用し、定常的な HPC サー
ビスとして利用者に提供しようという試みで、Grid 技術を応用しながら、導入
コストを抑えつつ、HPC サービスの多様化に対応しているという点で興味深い。

資料 3-2-2 では、広島大学の事例を詳しく紹介している。予算規模が比較的小さい大学のセンターにおける HPC サービスの改善の試みという意味でも参考になる点が多い。
なお、資料 3-2-2 は 2005 年 7 月時点の情報であることにご留意いただきたい。

[添付資料3-2-2] SS研 Grid Computing 2004 WG セミナー資料

2005/7/5

広島大学および情報メディア教育研究センターに
ついて
•広島大学

広島大学におけるキャンパスグリッド事例•学生数：約15000、教職員数：約3000•中四国の基幹校（と自分たちは思っている）•1.5流らしい

広島大学情報メディア教育研究センター•SuperSINETあり•情報メディア教育研究センター(2001～)

庄司 文由•総合情報処理センター（1981～2001） ＋ 情報教育研究センター(1996～2001）•スタッフ：常勤20名•情報プロパーは少ない(HPCはゼロ)

SS研 Grid Computing 2004 WG 第4回会合•予算は厳しい•システム（メール・Web・教育端末・HPC）は一括で5年レンタル（直近のリプレースは2005年）
1

なぜキャンパスグリッド？

2

広島大学の端末環境
メディアセンター西分室/西図書館•進んでやろうとしたわけではない•演習室94台•マルチメディアフロア235台

メディアセンター本館•独法化後の予算配分事情•演習室93台•自習室41台•何か新しいこと・ユメがあること？
総合科学部J305教室•お金がかからない•演習室60台
中央図書館•端末スペース20台

Grid技術を使った教育用端末の計算資源化•

お金はかからない•

新しいしユメもある（かもしれない）•

石井センター長（当時）のプッシュ

東千田地区（経済学部）

霞地区（医学部）

端末室40台

端末室40台+108台

長期休暇はほとんどが閉室

PC約700台の潜在的計算資源

3

教育用端末の遊休時間を利用することについて

4

端末の利用方法について

メリット

配慮した点

•巨大な計算資源の創出•HPC資源は32GFLOPS（～2005）、730GFLOPS（2005～)

9

既存サービス（教育用端末環境）に影響が出てはいけない

9“使えるモノ”にしたい•理論性能はクロック周波数x2x台数（3TFLOPS以上）•導入コストが低い•既存端末＋α•計算資源化しやすい

9

一発屋は嫌だ

9

高信頼性

9

柔軟性

方針

•スペック/運用ルールが均一

9

別々のOS

•地理的にある程度集約されている

9

丸ごとクラスタはしない

9

夜間・休日・長期休暇に限る•新規アプリケーションへの柔軟な対応•スカラアプリ、分散並列アプリユーザーの新規開拓

開室時間：平日9：00～22：00、
土曜9：00～17：00まで

5

6

[添付資料3-2-2] SS研 Grid Computing 2004 WG セミナー資料

別々のOS

2005/7/5

丸ごとクラスタはしない

9

責任問題の回避

9

Myrinet/InfiniBandは無理だし、ギガで組むと大規模構成は非現実的

9デュアルブート(ディスクレス）システムは導入事例が多い

9

どうせ全体で使うのは最初のベンチマークだけ

9

株式会社ミントウェーブのＶＩＤシステムを採用

9

数十台規模でも、ある程度ニーズには応えられる

教育用端末時9

端末のギガNICは教育用・クラスタ/グリッド用で共用する

9Linux/Windowsのデュアルブート

9

ギガビットスイッチ（L2）24ポートを使う

9

電源断がデフォルト9

クラスタ構成のところはカスケードは2段までで、アップリンクが多くなるように

9

残りはＰＣグリッドで使う

99

クラスタ/グリッド時
専用Linux

9

ローカルディスクをワーク領域にクラスタD 実効64台(68)SCore サーバ

端末40～50台に対し、VID-IO/NFSサーバ1台

メリット
9

原理的に1台分のボリュームイメージがあればよいので、ディスク容量が大幅に節約できる

9

端末個々のディスク障害が運用に影響しない

9

一度の作業で全端末分の設定変更が可能

9

複数のイメージを切り替えることで、クラスタのOSを瞬時に切り替えることができる

本館（2F演習室）
端末×93台、Printer×6台

本館（2Fオープンスペース）端末×41台、Printer×2台

夜間・休日・長期休暇に限る（原理的に）昼間のサービスに影響が出ない

9

夜間電力は安い（？）

9

夜は涼しい（？） ジョブ

昼

L2スイッチB (3)1G(T)×5

1G(T)×17

L2スイッチB (4)1G(T)×5

1G(T)×15

L2スイッチB (5)1G(T)×2

1G(T)×10
100M(T)×6

L2スイッチB (6)1G(T)×2

1G(T)×22

L2スイッチB (7)1G(T)×2

L2スイッチB (8)1G(T)×2

1G(T)×19

L2スイッチA
(1)
24/24
<68>

L2スイッチA(1 prime)
10/24<66+8>

L2スイッチA(2)
15/24<11+2>

1G(T)×11

本館（スタッフ用）
端末×11台(10台）、Printer×2台(1台)

100M(T)×2

1G(T)×3

1G(T)×2

1G(T)×28

理想的には、
昼

夜

計算資源として稼動

管理サーバ/PCクラスタ

夜

夜
PC数百台

PC数十台

1G(T)×5

1G(T)×17

夜

コンパイル

○

○

小規模ジョブ（投入/実行）○○

大規模ジョブ（投入）○○大規模ジョブ（実行）×○

技術的問題点として、

ジョブはいつでも投入可能

昼

1G(T)×5

L2スイッチB (2)問題点

昼端末として稼動

9

L2スイッチB (1)

1G(T)×17

100M(T)×2

7

1G(T)×1

1G(T)×17

基幹スイッチ9

配線図（抜粋）9•長時間ジョブをどう扱うか（逐次/並列）•一晩で終わらないジョブは永遠に終わらない？

•端末個々の障害対策（逐次/並列）•サービスの質を考えると本質的•並列ジョブと逐次ジョブの資源分配•潜在的なニーズは 逐次 >> 並列 のはず•テストラン/小規模ジョブおよび大規模ジョブの投入は24時間可能•大規模ジョブの実行は夜間のみ

逐次ジョブの場合

夜のみ稼動

Condorを採用

24時間稼動10

逐次ジョブの場合(2)①フロントエンドから実行モジュール、入力ファ
イル等が転送される

CondorがＰＣの状況を考慮しつつ、ジョブを自動的に振り分ける②ジョブを実行する
実行モジュール
入力ファイル③ジョブが終了したら、フロントエンドに出力
ファイルを転送する
出力ファイル

実行モジュール

逐次ジョブ

入力ファイル

Condor

逐次ジョブ•静的分割はしたくない

9

逐次ジョブ

ジョブが実行できなくなった

逐次ジョブ

実行モジュール
入力ファイルユーザーがジョブを投入すると、

例えば、•稼働時間が終了した（教育用端末の場合）•障害が発生した

フロントエンド•ＰＣの負荷が（Condorジョブ以外の要因で）上がった②チェックポイントの情報をもとに、ジョブを継続して実行する(standard Universeの場合）②ジョブを実行する①稼動中の別のＰＣに実行モジュール、入力
ファイル等が転送される

実行モジュール
入力ファイル

ジョブを割り当てられたＰＣ上では、①フロントエンドから実行モ
ジュール、入力ファイル等が転送される②ジョブを実行する
実行モジュール
入力ファイル③ジョブが終了したら、フロントエンドに出力ファイルを転送する②ジョブを最初からやり直す（vanilla Universeの場合）

出力ファイルに戻る
実行モジュール
入力ファイル11

長時間ジョブ→○ 端末の障害→○

12

[添付資料3-2-2] SS研 Grid Computing 2004 WG セミナー資料

長時間ジョブをどう扱うか（並列）端末個々の障害対策（並列）
SCoreのフォルトトラレント機能を利用する

SCoreのチェックポインティング機能を利用する
JOB

JOB

JOB

JOB

JOB

JOB

JOB

JOB

JOB

JOB

JOB

JOB

JOB

JOB

JOB

JOB

STOP

BackupBackup

JOB

JOB

昼

夜

JOB

夜

JOB

JOB

特徴
シングルユーザーモード

排他実行

マルチユーザーモード

排他実行/ギャングスケジューリング

PBSモードシングルユーザーモード＋PBSのジョブスケジューリング

端末群

ジョブ
管理

管理

管理

scored

管理

監視

SCoreのマルチユーザーモードを利用する
障害発生

端末群

管理

scoredハングアップ管理scoredsc_watch 夜まで待機○○

小規模ジョブ（投入/実行）○○

大規模ジョブ（投入）○○大規模ジョブ（実行）×○

チェックポインジョブ
トから継続実行

端末群

管理

管理

管理

scoredハング
夜scoredハングアップ検知

昼

ホストリストの書き換え

scored 再起動

夜まで待機(sleep)-restart 付

sc_watch ホストリストの

sc_watch

sc_watch

書き換え

夜

13

sc_watchの動作

端末群

scoredハングアップ

監視-restart 付

sc_watch

大規模ジョブの24時間キューイング（並列）
コンパイル

管理

scored

夜

夜

ジョブ
待機状態

管理

scored 再起動

昼

昼

端末群

ジョブ

管理

ハングアップ検知

sc_watch

夜

ジョブの継続実行
は、チェックポイン
ティング機能により保証される※同時に2台の端末に障害が起こるとアウト

チェックポイントか
ジョブ
ら継続実行

端末群

ジョブ
待機状態

Recover!

JOB

JOB

SCoreのマルチユーザーモードを利用する
チェックポインティング
機能、フォルトトラレン
ト機能が利用可能

2005/7/5

scored再起動

14

並列ジョブと逐次ジョブの資源分配
STEP1
逐次ジョブが2つ実行されている状態で、SCoreのマルチユーザーモードでは、scoredに直接ジョブを投入する。しかし、昼間はscoredがハングアップしているため、ジョブを投入することができない。

逐次

逐次

逐次

並列
逐次

逐次

並列
逐次

STEP2
並列ジョブが投入されると、ジョブスケジューラに仲介させる
ジョブ

ジョブスケ
ジューラ
大規模ジョブ1.

SCoreとの連携

2.

ハングアップへの対応

3.

時間帯による動作切替

4.

・・・

SCoreマルチ
ユーザーモード

昼はジョブをプー
ルし、夜にスケ
ジューリングする

STEP3
逐次ジョブは、サスペンドまたはマイグレートされる

ジョブスケジューラの要件

SCoreマルチ
ユーザーモード
小規模ジョブサスペンド

とりあえずGenericNQS
を採用

15

16

PCクラスタ/グリッドシステム構成図

ディスク配置図 2005/7/3
夜のみ稼動

実効96台(100)PCグリッド

24時間稼動

実効16台(17)×2

実効64台(68)

ＨＰＣ共通ファイルサーバ

実効96台(100)4クラスタ管理サーバ(scmgr1)

140GB x 2
/work[12]_scmgr1

ＨＰCサーバ実効64台(68)

マイグレート

逐次

2

1
メディアセンター本館
2F演習室（93台）

メディアセンター本館2F
オープンスペース（41台）

2TB x 3

クラスタ1

SCore

クラスタ3

HDD:40GB
NIC:GbE

Generic
NQS

メモリ：2GB

20GB /node/work[123]クラスタ管理サーバ(scmgr3)/home/work[12]_scmgr3/work[123]/home
20GB /node/work[123]クラスタ管理サーバ(scmgr4)/work[12]_scmgr2

140GB x 2

SCore

クラスタ4

/work[12]_scmgr3/work[12]_scmgr4

SCore

クラスタ5

/work[12]_scmgr4

/home

SCore

クラスタ2

ISVアプリ

クラスタ6

HDD:40GB
NIC:GbE/work[12]_scmgr2

PCクラスタ/グリッド用/work[12]_scmgr1

CPU:Pentium4 3GHz
メモリ：1GB

2&6

/home

140GB x 2

SCore

/work[12]_scmgr5

逐次ジョブ

CyberGRIP

本館2FOS

Condor

残りの端末•逐次専用：133(0)•並列優先：336（16）ボリュームの実体

17

NFSマウントしている
ボリューム

20GB /node/work[123]ボリューム

R/Wスピード

容量/work_local

高

20GB

/work[12]_scmgr5/work_scmgr?

中140GB x 2

/home/work?

低2TB x 3140GB x 2

/work[123]/work_local
計算ノード

3/work[12]_scmgr3/work_local
計算ノード

4/work[12]_scmgr4

クラスタ管理サーバ(scmgr5)
並列ジョブ

計算ノード

/work[12]_scmgr2

フロントエンド(wing.media)
西図書館２F演
習室（100台）-スペック-

CPU:Xeon 3GHz

140GB x 2

/work[123]/work[123]3

西図書館3Fマルチメ
ディアフロア（235台）

グリッドサーバ(34台)/work_local

クラスタ管理サーバ(scmgr2)

5620GB /node/work[123]

/home
/home

1
/work[12]_scmgr1

/home

2TB

計算ノード

20GB /node/work_local
計算ノード

5/work[12]_scmgr518/work_local

[添付資料3-2-2] SS研 Grid Computing 2004 WG セミナー資料

2005/7/5

運用ルール
端末 室

設置場所

平日

西図書館閉館日

土曜

日曜・祝祭日西図書3F MF

8:30～21:00

NOT available

8:30～17:00

NOT available

西図書2F演習

8:30～21:00

本館2F演習8:30～17:00

8:30～ 17:00•SCore/Condorの冗長機能を活用

8:30～22:00•運用時間の不規則性を隠蔽

NOT available
ID

平日

西図書館閉館日

土曜

日曜・祝祭日長期休暇•ジョブキューイングは24時間可能

Full time•実行は運用時間に依る

4
西図書3F MF235

5

～8:00 , 21:30～

Full time～8:00 , 17:30～

Full time-西図書2F演習

100

本館2F演習93

本館2F OS41

GRIDサーバ

349まとめ•耐障害性を重視した設計

NOT available

GRIDサーバ
台数

NOT available

67台
NOT available

8:30～22:00

本館2F OS

設置場所

長期休暇
168台

3

～8:00 , 17:30～～8:00 , 21:30～

1--～8:00 , 17:30～～8:00 , 22:30～-2
6

Full time～8:00 , 22:30～•並列（ＭＰＩ）ジョブ・逐次ジョブに対応

Full time

ＶＩＤシステムの運用スケジューラで端末毎に起動時間/起動ＯＳを管理

19

今後の課題
•どう使ってもらうか•現状は数人・・・・•講習会/説明会はこれから•コンサルティングが重要•新しい利用方法に期待•ソフトウェア的改善•NAREGIスーパースケジューラ•SunGridEngine, UNICORE, etc.

•教育用端末の未来•ノートＰＣの必携化•期間限定で占有利用？
•逐次ユーザーの爆発的増加に期待•ディスクI/O問題•クラスタファイルシステム?
•PVFS, lustre, GFS, etc.

•空調・電気代•ジョブは休止時間を挟んで継続実行可能•高柔軟性

Full time•故障の頻度•クラスタ１について（5/23～6/28）•起動できなかった端末：9台•最多で2台（ジョブの継続ためには1台まで）•大学側の締付けが厳しい•ジョブ実行中の障害はいまのところ無し•せめて空調は入れて欲しいのだが・・・・•夏が心配•ジョブ投入で電源ＯＮ
2120