広島工業大学紀要研究編
第 44 巻（2010）pp.235-239

論文

マルチグリッド環境における統合監視・診断システムのフレームワークに関する研究
長坂康史 *・小山敦 **（平成21年10月31日受理）

A Study on Framework for Integrated Monitoring and Diagnostication Systemin Multi-Grid Environment
Yasushi NAGASAKA and Tsutomu KOYAMA(Received Oct. 31, 2009)

Abstract
Grid computing is studied and developed all over the world. There are many projects of Grid
computing system even in Japan. Each system is well developed and used at present without
any troubles. The system, however, becomes big and complicated to get a high CPU power. A
monitoring and diagnositcation system is important under such a situation. The well-developed
monitoring and diagnostication system is available for most of Grid systems. On the otherhand, the Grid system comes to consist of multi-Grid middleware because of its large size. The
automatic monitoring and diagnostication system for multi-Grid environment is, therefore,required.
We propose a framework for integrated monitoring and diagnostication system which is used
in a multi-Grid environment. The framework make it possible to develop the monitoring anddiagnositcation system and to use easily not only in single Grid environment but also in multiGrid one.
Key Words: multi-grid, monitoring and diagnosication system, framework

る物理解析等が挙げられる。これらの研究では大量のデー１．はじめにタを扱い，それを用いた大規模な計算処理を行わなければ近年，グリッド・コンピューティング技術を用いて大規ならないため，大規模な計算リソースを低コストで用意で模計算環境を構築し，そのリソースを用いることによって，きるグリッド・コンピューティングの利用が有効であると様々な研究が活発に行われている。グリッド・コンピューされ，実用化のための研究が行われている。

ティングを用いることによって，大量のリソースを仮想化・また，企業においては，災害等により組織内の機器が故集約し，スーパーコンピュータに匹敵する様な計算能力を障した場合，速やかに別の機器へ接続を切り替えることに実現することが出来る。この大量のリソースを利用する研より，業務の中断を回避することを目的として，グリッド・究分野としては，現在，ヒトゲノムにおける生物情報解析

コンピューティングによる自律的なリソース管理機能を用や，天文学における天体情報解析，高速加速器実験におけいた耐久性の高い業務システムの実用化が進められてい＊＊広島工業大学情報学部情報工学科＊＊

筑波大学大学院システム情報工学研究科― 235 ―

長坂康史・小山る。

敦ミドルウェアの監視と共に，gLite に対しても同じシステ

このように，グリッド・コンピューティングは各方面で利用されており，将来的に社会に大きな影響を与える技術ム上で監視することによって監視効率の向上，維持コストの低減が期待できる。

であると言える。しかし，グリッド・コンピューティングは多数の計算機を利用するため，個別に状態を監視すると2.2.2.

NAREGI ミドルウェア全体として大きな維持コストが発生する。そのため，従来NAREGI ミドルウェアはグリッドミドルウェアとしてでは各ミドルウェアに特化した監視システムによってグの基本的な機能を持つ他，科学計算のための資源管理機能リッド環境を監視・維持する研究が行われてきたが，異種と，グリッドプログラミング機能を持つ。この２つの機能のミドルウェアが混在する現状では，複数のミドルウェアはコンピューティンググリッドを構成する中心となる部分を跨いだグリッド環境の監視を見据えた新たな監視モデルである。なお，本研究ではコンピューティンググリッドのが必要となっている。

ノード監視を目的としており，上記２つの機能の監視を行

本研究では，NAREGI ミドルウェアの監視を主な機能う。としたマルチミドルウェアの監視をシームレスに行うことが出来る自動監視・診断システムのフレームワークを提案

2.2.3.

する。

NAREGI ミドルウェアを構成する各コンポーネントの関係を図１に示す。また，ユーザ管理やアカウンティング，

２．グリッド・コンピューティング
2.1.

NAREGI ミドルウェアの機能資源管理などコンピューティンググリッドを構成するためグリッド・コンピューティングとはの機能を提供する一纏まりのノード群を仮想組織（VO :グリッド・コンピューティングは，組織内に分散して存Virtual Organization）と呼ぶ。

在する複数の計算機を仮想化・統合し，あたかも１台のコンピュータであるかのように利用するための技術である。
グリッド・コンピューティングはその仮想化・統合における計算機の管理，セキュリティやユーザ管理のための技術を基本的な特徴としているが，実際に提供するサービスの内容によって数種類に分類されている。本研究で扱うシス
テムはコンピューティンググリッドと呼ばれるもので，仮図１

NAREGI ミドルウェアの構成想化し集約されたコンピュータの計算資源を用いて大規模
図中の矢印はデータの流れを表し，実線は処理データを，な計算処理を行うことを目的としている。

点線は情報データを表す。各コンポーネントは１台のマシ
2.2.

グリッドミドルウェアの実装ン上に配置されるが，GVME は１VO 内に複数存在するグリッド環境を構築するためのミドルウェアは，それぞことが出来る。また，GVMS は GVME の情報を管理する。

れ独自のサービスを持ち，内部の仕様が異なるため，監視ユーザは Portal にのみ接続し，全ての操作は Portal 上でのために専用のモジュールを用意する必要がある。本研究行われる。GVMS と GVME は計算ノードとして計算資源

では，主に NAREGI ミドルウェアの監視を目的として用を提供する。Portal から利用したいアプリケーションをい，さらに，マルチグリッド環境の監視性能を検証するた

GVM 上に登録する。利用したいアプリケーション上で実めに，gLite も扱う。

行するパラメータサーベイなどのジョブを Portal から SSに送信する。SS はジョブを受け取ると，所属 VO 情報や2.2.1.

グリッド環境の概要

ジョブの種類に従ってジョブを実行するのに最適な GVM

現在，日本では国立情報学研究所が中心となり，国産グノードを選定する。この際，IS によって集められた GVMリッドミドルウェアを開発するための超高速コンピュータノードの資源情報を参照する。選定された GVM ノードに網形成プロジェクト（National Research Grid Initiative）

SS からジョブが投入され実行される。実行結果は Portal［１］が推進されている。このプロジェクトによって開発さに送られ，ウェブブラウザ上で確認できる。

れたミドルウェアを NAREGI ミドルウェアと呼ぶ。本研究は前年度の広島工業大学における研究［２］に引き続き，３．統合監視・診断システム

日本国内で展開するグリッドミドルウェアの監視システム

マルチグリッド環境における統合監視・診断システムでに関する共同研究として行われた。そのため，NAREGIは，VO 内の各ノードに障害が発生しないか監視するだけ― 236 ―

マルチグリッド環境における統合監視・診断システムのフレームワークに関する研究

でなく，ノード毎の機能やノード間におけるバージョン一が出来る。また，過去のデータを統計的に分析することで致，IP 状態監視など，グリッド機能が維持されているかVO 内の障害における傾向を掴む事はグリッド環境の保守ミドルウェア毎に監視し，障害が発生した場合に直ちに復性を高める上で重要である。更に，これらのデータを VO旧に向けて活動できるよう支援することが必要である。ま間で共有することでよりスムーズに障害に対応することがた，マルチグリッドをスムーズに監視することが出来るよ出来る。

うな配慮が必要となる。
3.1.

４．提案フレームワーク

システムに必要な機能

本研究では，先に述べた統合監視・診断システムを開発

統合監視・診断システムに必要な機能を纏めると，以下の５つの項目に分けられる。

するために必要な機能を満たすためのフレームワークを提案する。提案フレームワークのモデル図を図２に示す。図では監視対象であるマルチグリッド環境上に配置された統3.1.1.

監視機能

合監視・診断システムの各機能を表している。

監視機能の役割は２つに分類される。１つは各ノードの⑴管理

通常の機能が正常に動作しているか確認する定常監視であウェブブラウザを用いて監視ノードや監視項目を追加する。もう１つはグリッドの機能を提供するノード群内部にる。ノード毎の監視条件の設定変更を行える他，過去デーおけるサービスの死活確認である。マルチグリッド環境でタを表示することが出来る。

は各ソフトウェアによって使用する監視用モジュールが異⑵監視なるため，これらをシームレスに監視するためには統一的

VO 内のノードに対し，定常監視を行う。グリッド環境なインターフェースを用いたスムーズな設定が必要であにおける監視を行うためには，一般的なリソース状態監視，る。

IP 死活監視に加えて，グリッドミドルウェアに合わせたコマンドやモジュールを用いたサービスの状態監視が必要

3.1.2.

診断機能となる。NAREGI ミドルウェアのようにコマンドライン監視した結果は直接管理者に渡さず，システム内で自動を持たず，ウェブ上での操作しか出来ないミドルウェアも的に異常があるかないかを診断することで労力を削減するあるため，ノード内で直接処理を実行する監視モジュールことが出来る。診断結果をデータベースに保存しておくこを起動する必要がある。提案フレームワークではサーバ・とで，統計的な分析を加えることが出来る。

エージェント通信を用いてノード単体で処理を実行し，サービス状態を監視することが出来る。

3.1.3.

通知機能

⑶

診断

診断結果に異常が見られた場合，直ちに管理者へメール監視結果を設定した閾値や条件によって診断する。異常やウェブを用いて通知されなければならない。また，診断が検出された場合，自動的に管理者に通知するためのイベが行われた次の段階で通知が行われることから，既知のエントを起動する。

ラーであればあらかじめ対処法を登録しておき，通知と同⑷時に自動的に起動することもサービスの早期復旧にとって通知有効である。

管理者に異常発生のエラーログなどの詳細をメール等を用いて通知する。また，条件に合わせてコマンドやプログラムを起動しプロセスを実行することも出来る。

3.1.4.

可視化機能⑸

監視システムにおける可視化機能の役割は２つに分けら記録れる。１つ目は GUI による設定の容易化やデータのグラ監視およびその診断結果をデータベースに記録する。
⑹フ化など操作性を向上させることが出来る。２つ目は視覚による異常の早期発見，事後確認等に役立つため保守性を記録した過去のデータをグラフ表示などにより可視化することが出来る。

向上させることが出来る。経験の少ない管理者でも容易に理解できるメリットがある。
3.1.5.

可視化

記録機能

監視および診断によって得られたデータはデータベース等に保存することで，図式化などによって再利用すること― 237 ―

長坂康史・小山敦

要なポートの開閉を監視できる。
⑵

ネットワーク監視
ノード間の RTT（Round Trip Time）や，GridFTP を用いたネットワーク上のファイル転送速度を計測する。マルチグリッド環境下ではミドルウェアによって操作性が異なるため，gLite ではジョブ投入時のノード選定の参考にすることが出来るが，NAREGI では SS ノードによって自動的に選定が行われるため，計算ノードの状態監視に利用することが出来る。
⑶

グリッドサービス監視
GridFTP を用いて，ジョブを実行する上で必要となる

フ ァ イ ル 転 送 機 能 を 確 認 す る こ と が 出 来 る。 ま た，
NAREGI ではグリッドプログラミング機能を監視するた
図２

め，GVM ノードにおいて簡単なジョブを実行し，状態を提案フレームワーク監視する。
⑷

５．開発システム

リソース監視各ノードにおける CPU 使用率やロードアベレージなど

前章で述べたフレームワークを元に，実際にシステムののリソースの状態を監視できる。これらの情報は gLite においては効率的にジョブを処理するために利用することが開発を行った。

出来る。
5.1.

ネットワーク監視ツール

本研究ではシステムの開発に際し，その基盤部分として，

5.2.2.

診断機能

オープンソースのネットワーク監視ツールである

監視結果に対して設定した条件に従い，診断を行う。診ZABBIX を採用した。ネットワーク監視ツールとは，サー断には監視ツールの閾値を利用するが，サービスの停止とバ，ネットワーク，アプリケーションなどをオンラインでいった致命的な異常の場合にはエラーログをデータベース監視することが出来るソフトウェアである。オープンソーに保存することが出来る。これは開発したログビューアをスを用いることで，システム開発のスピードアップを図る

用いてブラウザ上で確認出来る。

と共に，無償であるためコストを低減することが出来る。
ZABBIX では ping などの IP 死活状態や CPU 使用率など

5.2.3.

可視化機能

本システムでは既存の Mapping 機能を改良することで，のリソース状態を監視できる。

各ノードのグリッド機能を確認することが出来る。診断結5.2.

開発システムの機能果が正常であっても，他ノードで異常が発生した場合にい本システムでは ZABBIX の基本的な機能を利用し，フち早く影響を把握することが出来る。

レームワークの実現に不足する機能を補う形で構築した。
管理機能および通知機能は ZABBIX の機能を利用し，そ5.3.

システムの運用例

れ以外の機能はスクリプトを開発し，既に利用可能な部分

本研究において開発システムを実装した例を図３およびでもプログラムレベルで改良することにより，フレーム図４に示す。図３は監視プラグインを起動したシステムをワークに適合させるようにした。
5.2.1.

監視機能

本システムにおける監視機能はネットワーク監視ツールにプラグインとして登録し，監視ツールからの設定にしたがって起動させる。各機能は役割に従って以下の項目に分けることが出来る。
⑴

応答監視
ping を用いた IP の死活監視や，グリッドサービスに必― 238 ―図３

ZABBIX の Web 上における監視画面例

マルチグリッド環境における統合監視・診断システムのフレームワークに関する研究

実際の NAREGI 環境上に実装した場合の ZABBIX のウェ

図５では Nagios による監視において RTT 値が大きくブブラウザにおける管理画面である。図４は ZABBIX 上乱れている。また ZABBIX による観測では終始安定したに実装したログビューアによる過去ログの検索画面であ数値が得られている。しかし，60MB 以降の計測では，る。

Nagios を 使 っ た 計 測 値 が 小 さ く な っ て い る。 こ れ は
ZABBIX では比較的実行ジョブ数が少なくシステム負荷率の低い VO を用いたのに対し，Nagios では実行ジョブ数の多いと思われる VO を用いたため，実行ジョブが集中する時間帯に重なり数値が大きくなった物と思われる。また，ZABBIX はエージェントを用いた内部測定であるのに対し，Nagios はサーバからコマンドによる遠隔操作により測定したため，ZABBIX の方がオーバーヘッドが大きいと思われる。

７．考察
図４

ログビューアによる過去ログ検索画面

実験によって，マルチグリッド環境に対応した監視シス
テムと従来の監視システムの比較，また，グリッドミドル

６．性能評価ウェア自体の相違による比較を示した。グリッド環境が大本システムの性能を評価するため，GridFTP による勢のユーザによって共有され，リソース状態が不安定であRTT 計測プラグインによる RTT 測定を行った。比較とることを除けば，若干エージェントレスである Nagios 型して別の統合監視システムである Nagios 上で専用のプラの監視システムが安定しているが，マルチミドルウェアにグインを利用し RTT を計測した。実験環境を表１に示す。

対応していることを考えれば，ZABBIX を用いた本シス

RTT 計測には，NAREGI は GVM 上から他 GVM へデーテムが監視システムとして十分な性能を持っていると考え

タ を 送 受 信 し，gLite で は UI（User Interface） か ら SEられる。

（Strage Element）へデータを送受信して計測した。デー
タは 20MB，40MB，60MB，80MB，100MB のバイナリデー

８．まとめ

タを用いた。計測結果をグラフ化したものを図５に示す。

本研究ではマルチグリッド環境のための統合監視・診断システムのフレームワークを提案した。提案フレームワー

表１

実験環境

クでは監視プラグインを開発した他，データを参照することが出来るログビューアの開発，視覚化のためのマップ機
能の追加を行った。これによりマルチグリッド環境においてスムーズな監視が行えるようになった。今後は更にプラグインおよび機能を充実し，ユーザビリティを向上させて行く。

参考文献［１］ 三浦謙一「サイエンスグリットプロジェクト“NAREGI”の概要」，Progress in informatics Vol．3（20060400）pp．67-75［２］ 藤井，長坂，渡瀬，佐々木，岩井「加速器科学仮想組織におけるグリッド環境自動監視診断システム」，
FIT2007

第 ６ 回 情 報 科 学 技 術 フ ォ ー ラ ム，p5-6，

L-003，2007/9/5
図５

GridFTP による RTT 計測値の比較― 239 ―