2006/9/8[添付資料4-2-3] SS研 Grid Computing 2004 WG 第6回会合 資料

Advanced Center for Computing and Communication

NAREGI β版設定の流れ

NAREGI-βの導入

5/10にNAREGIβ版のCD-ROMをもらう



5末ぐらいまでチマチマ構築を始める– マシン環境の構築は数日で終わりましたが。。
– ちょっとした設定で詰まってしまって、そのままになる。。。


6,7月は別件で忙しく、ほとんど手つかず8月の頭ぐらいから、NIIに質問しつつそれらりに進む– 実質的には8月の頭から作業開始


8月4日にV1.0.1がリリースされて、ちょうど良かった？

– 地道な作業が。。。
– 質問への回答レスポンスを考えると、1件手間取ると解決に1日以上かかる

理化学研究所 情報基盤センター
黒川 原佳



大体の所は感で作業– スキルとしてJAVAやServletやSQLは良く知らない

サーバ群の設定等で手一杯で、PSEやWFTなどのUI部分やGridProgram環境まで到達せず– ただ、GridMPIは色々別件で利用中

SS研Grid Computing WG 6/Sep/2006

1

NAREGIβのアーキテクチャについて

大きく７つの要素が必要PortalとISとSSはちょっと強力でないと難しいか？

CAとUMSは非力でも大丈夫でしょう。

– Dual Xeonのサーバ3台– マニュアル上ＣＡはPortalと同じになっているが、分かれているのが当然なのでは？と思いましたから分けました。

これらが連携して動作可能な環境を構築する必要がある– サービスをするためだけのPCが最低 6台は必要らしい。
– とりあえず、そこらからPCをかき集める。

2

マシンの準備– Portal, SuperScheduler, InformationService,
UserManagementService, GridVM Server, GridVM Client, CA– その他としてGT4やらPostgresqlやら色々必要SS研Grid Computing WG 6/Sep/2006

GridVMのServer、Clientは既存のマシン– 既存のXeonクラスタ

ネットワーク的にはかなりフラットであることが前提？
– 小さなフラットなネットワーク空間を構築。
Name Serverとかも導入非常に複雑なソフトウェア構成– 率直に言うと寄せ集め。。。

SS研Grid Computing WG 6/Sep/2006

3マシン“群”

SS研Grid Computing WG 6/Sep/2006

4

NAREGIβ OVERVIEW

皆さんよく御存じな「綺麗な」ソフトウェアスタックですが。。。
SS研Grid Computing WG 6/Sep/2006

5

SS研Grid Computing WG 6/Sep/2006

6

2006/9/8[添付資料4-2-3] SS研 Grid Computing 2004 WG 第6回会合 資料

今回の構築環境

導入・設定マニュアルについて
Portal Node
PostgreSQL, JDK, Ant,PostgreSQL/JDBC, JWSDP,GT4, WSRF, Tomcat, OpenSSL,
Apache HTTPD, tomcat-connectorsCA良いところ– オペレーションとその結果が全て記載されている。

User Management Server<OS: Scientific Linux 3.0.4>
JDK, gLite VOMS Server,GT2, Tomcat, MySQL

SSGT4, AntIS
JDK, Ant, Tomcat, WSRF,
PostgreSQL/JDBC, Xindice,
GT4, ApacheCommonLang



GridVM Client
PBS Pro– 誤記や誤解を招く表現が多数– 表記手法が各章でまちまち– 設定順序と記載順序の整合性がとれてない部分がある
GridVM Client
PBS Pro

SS研Grid Computing WG 6/Sep/2006

JAVA Development Kit
PostgreSQL
ApacheAnt
Tomcat, Connector
JWSP (JavaWebServicesDeveloperPack)
GT4

多くの場合導入は困難はない。



まだちょっとこなれてない– 設定において、理由が記載されてない

GridVM Client
PBS Pro

他のマニュアルを読めば分かるかもしれないが、設定しているときに何を設定しているのかが分かった方が良い。

7

Required Softwareの導入


誰でも構築可能なマニュアルとは？という苦心が見られる気がする。

悪いところ



GridVM Server
GT4, JDK, PBS Pro,Ant, Tomcat, JWSDP,
Ganglia

でも。。。

– 中身を知らない人でも作業は出来そうな作り方

SS研Grid Computing WG 6/Sep/2006

8

NAREGI-MIDDLEWARE









NAREGI-CA
MyProxy
UMS(User management Server)
GridVM Server, Client
Information Service, LRPS
Ganglia
Super Scheduler Server, Client
Portal, PSE, WorkFlow Tool
GVS(Grid Visualization System)– ただ手間がかかるだけ– GT4の設定箇所に解釈に困る部分がある。
SS研Grid Computing WG 6/Sep/2006

9

NAREGI-CA

10

User Management Server

AiCAをベースに開発
基本的に導入に難しい所はない

これは結構使えそうな印象

SS研Grid Computing WG 6/Sep/2006

かなり異質EGEEで作ったものをそのまま流用
ディストリビューションもことなる

GTのバージョンも違う

設定もかなり野蛮– CA, RAというものがどういうものか知っていれば大丈夫– Scientific Linux。。。
– 他は全て4.x台だが、これは2.x台SS研Grid Computing WG 6/Sep/2006

11

SS研Grid Computing WG 6/Sep/2006

12

2006/9/8[添付資料4-2-3] SS研 Grid Computing 2004 WG 第6回会合 資料

その他のサーバー

要望（個人的な）

Information Service– さまざまな情報管理サーバ– 構成が複雑でまだちょっと理解し切れてない– こんなところは分散でなくてもいいのに。。
– あるいはこういう所こそGridで有機的に接続してほしい– せめてRequired Softwareのインストールは自動化して欲しい

Super Scheduler– ジョブスケジューリング
– カーネルのバージョンアップ。RH9といえるの？
– コンパイラ（gcc）のバージョンによってコンパイル出来ないモジュール







– 実際にジョブをさばく部分を担当– ローカルジョブマネージャーとの棲み分けが今ひとつ不明

PCを1台増やしても良いのでエラーはサーバ1台に集約して欲しい

13

中間まとめ１

yumかaptでRPM一発導入とか。

エラーの内容が明確に分からない– JAVAはエラーが長すぎる。もっと簡潔にして欲しい– エラーログはマシン毎に分散されている

GriｄVM

SS研Grid Computing WG 6/Sep/2006

設定箇所が膨大で、さらに分散している

SS研Grid Computing WG 6/Sep/2006

14

中間まとめ２

NAREGIβの構築– 作業自体は単調で凄い時間がかかります。



設定が煩雑。
 マニュアルは落とし穴がある。


NAREGIβの運用を考えると– これを全部１計算機センターに導入するのか？
– 機能の接続部分がすんなり行けば、それほど困難はなさそう？

今のままでは専属で2人ぐらい必要か？
システムが把握できないと、運用は出来ない。

– システム内部はマルチキャストルーティングが必要？

希望的観測ですが。
 ただし、– ログ出力が分散。
– デバッグが困難。


理研のクラスタの場合、マルチキャストルーティングはしてない。
スイッチ（ルータ）にマルチキャストなんてさせたくない。

– ディストリビューション、カーネルバージョンが微妙に違う– システムが巨大すぎて、全てを把握仕切れない。

NAREGI製のソフトと既存ソフトが複雑に絡み合って構成 動作する原理は分かるが具体的にそれを理解するのがちょっと困難

運用を考えるとあまり好ましくない。
GTやSQLのバージョンや種類が違うものが混じっている。

SS研Grid Computing WG 6/Sep/2006

15

SS研Grid Computing WG 6/Sep/2006

16