(57)【特許請求の範囲】
【請求項１】
ネットワークを構成する機器間の接続関係と前記各機器内で実行されるプロセスにより、最上位の機器内のプロセスから末端の機器内のプロセスまでの階層構造を示す階層構造情報を記憶する記憶装置にアクセス可能なコンピュータに、
前記ネットワーク内から異常な観測データを受信する受信工程と、
前記受信工程によって受信された観測データの送信元機器と前記観測データの発行元プロセスを検出する検出工程と、
前記階層構造情報を参照して、前記検出工程によって検出された送信元機器の種別に応じて、前記発行元プロセスと同階層のプロセス、前記送信元機器の上位階層の機器内のプロセスおよび前記送信元機器の下位階層の機器内のプロセスのうちの少なくともいずれかのプロセスを、前記発行元プロセスに関連する関連プロセスとして特定する特定工程と、
前記特定工程によって特定された関連プロセスの状態に基づいて、障害発生箇所を決定する決定工程と、
前記決定工程によって決定された障害発生箇所を通知する通知工程と、
を実行させることを特徴とする監視プログラム。
【請求項２】
前記特定工程は、
前記送信元機器がサーバである場合、前記発行元プロセスと同階層の残余のプロセスを前記関連プロセスとして特定することを特徴とする請求項１に記載の監視プログラム。
【請求項３】
前記決定工程は、
前記同階層の残余のプロセスの一部が異常である場合、前記発行元プロセスと前記一部のプロセスを障害発生箇所に決定することを特徴とする請求項２に記載の監視プログラム。
【請求項４】
前記特定工程は、
前記同階層の残余のプロセスがすべて異常である場合、前記送信元機器内における前記発行元プロセスの上位階層のプロセスを関連プロセスとしてあらたに特定し、
前記決定工程は、
前記特定工程によってあらたに関連プロセスとして特定された上位階層のプロセスの種別および状態に基づいて、障害発生箇所を決定することを特徴とする請求項２に記載の監視プログラム。
【請求項５】
前記決定工程は、
前記関連プロセスが上位との疎通確認に関するプロセスである場合、当該疎通確認に関するプロセスの状態に基づいて、障害発生箇所を決定することを特徴とする請求項４に記載の監視プログラム。
【請求項６】
前記決定工程は、
前記送信元機器が中継機器であり、かつ、前記発行元プロセスが前記送信元機器の再起動に関するプロセスである場合、当該プロセスを障害発生箇所に決定することを特徴とする請求項１に記載の監視プログラム。
【請求項７】
前記特定工程は、
前記送信元機器が中継機器であり、かつ、前記発行元プロセスが前記送信元機器と当該送信元機器の下位階層の機器との間のリンクに関するプロセスである場合、前記下位階層の機器内の前記送信元機器への疎通確認に関するプロセスを前記関連プロセスとして特定することを特徴とする請求項１に記載の監視プログラム。
【請求項８】
前記決定工程は、
前記送信元機器への疎通確認に関するプロセスに異常がある場合、前記送信元機器と前記下位階層の機器との間のリンクを障害発生箇所に決定することを特徴とする請求項７に記載の監視プログラム。
【請求項９】
ネットワークを構成する機器間の接続関係と前記各機器内で実行されるプロセスにより、最上位の機器内のプロセスから末端の機器内のプロセスまでの階層構造を示す階層構造情報を記憶する記憶装置にアクセス可能な監視装置であって、
前記ネットワーク内から異常な観測データを受信する受信手段と、
前記受信手段によって受信された観測データの送信元機器と前記観測データの発行元プロセスを検出する検出手段と、
前記階層構造情報を参照して、前記検出手段によって検出された送信元機器の種別に応じて、前記発行元プロセスと同階層のプロセス、前記送信元機器の上位階層の機器内のプロセスおよび前記送信元機器の下位階層の機器内のプロセスのうちの少なくともいずれかのプロセスを、前記発行元プロセスに関連する関連プロセスとして特定する特定手段と、
前記特定手段によって特定された関連プロセスの状態に基づいて、障害発生箇所を決定する決定手段と、
前記決定手段によって決定された障害発生箇所を通知する通知手段と、
を備えることを特徴とする監視装置。
【請求項１０】
ネットワークを構成する機器間の接続関係と前記各機器内で実行されるプロセスにより、最上位の機器内のプロセスから末端の機器内のプロセスまでの階層構造を示す階層構造情報を記憶する記憶装置にアクセス可能なコンピュータが、
前記ネットワーク内から異常な観測データを受信する受信工程と、
前記受信工程によって受信された観測データの送信元機器と前記観測データの発行元プロセスを検出する検出工程と、
前記階層構造情報を参照して、前記検出工程によって検出された送信元機器の種別に応じて、前記発行元プロセスと同階層のプロセス、前記送信元機器の上位階層の機器内のプロセスおよび前記送信元機器の下位階層の機器内のプロセスのうちの少なくともいずれかのプロセスを、前記発行元プロセスに関連する関連プロセスとして特定する特定工程と、
前記特定工程によって特定された関連プロセスの状態に基づいて、障害発生箇所を決定する決定工程と、
前記決定工程によって決定された障害発生箇所を通知する通知工程と、
を実行することを特徴とする監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク内を監視する監視プログラム、監視装置、および監視方法に関する。
【背景技術】
【０００２】
従来から、複数の情報通信機器が接続されたネットワークの故障を判定するネットワーク故障判定装置が開示されている（たとえば、下記特許文献１を参照。）。下記特許文献１では、ユーザの申告情報を使わずに、情報通信機器が発生させる警報だけを利用してネットワークの障害原因を特定している。具体的には、情報通信機器と通信して警報を収集し、収集した警報と警報発生パターンテーブルの警報発生パターンを比較し、一致する警報発生パターンに対応する警報の原因を主原因と判定している。また、主原因となった情報通信機器の接続関係から、通信不能な情報通信機器を判断し、論理回線のルート上の情報通信機器の状態により、通信不能な論理回路を判断している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２５２７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、ネットワーク固有の階層関係を特定していない。このため、機器Ａのエラーは、機器Ａ独自の故障により通知されたものなのか、あるいは、機器Ａの上位機器Ｂの影響により機器Ａは故障していないにもかかわらず通知されたものなのかがわからない。したがって、真に故障している機器を特定することができないという問題があった。
【０００５】
本発明は、上述した従来技術による問題点を解消するため、障害発生箇所をネットワーク内から容易かつ効率的に特定することができる監視プログラム、監視装置、および監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するため、本監視プログラム、監視装置、および監視方法は、ネットワークを構成する機器間の接続関係と前記各機器内で実行されるプロセスにより、最上位の機器内のプロセスから末端の機器内のプロセスまでの階層構造を示す階層構造情報を記憶する記憶装置にアクセス可能であり、前記ネットワーク内から異常な観測データを受信し、受信された観測データの送信元機器と前記観測データの発行元プロセスを検出し、前記階層構造情報を参照して、検出された送信元機器の種別に応じて前記発行元プロセスに関連する関連プロセスを特定し、特定された関連プロセスの状態に基づいて、障害発生箇所を決定し、決定された障害発生箇所を通知することを要件とする。
【発明の効果】
【０００７】
本監視プログラム、監視装置、および監視方法によれば、高精度な障害発生箇所をネットワーク内から効率的に特定することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】ネットワーク構成例を示す説明図である。
【図２】監視装置１０１のハードウェア構成を示すブロック図である。
【図３】ルータの機器接続情報ＤＢの一記憶内容を示す説明図である。
【図４】スイッチの機器接続情報ＤＢの一記憶内容を示す説明図である。
【図５】監視ハードウェアの機器接続情報ＤＢの一記憶内容を示す説明図である。
【図６】図３〜図５の機器接続情報ＤＢ内の機器接続情報に基づくネットワークの階層構造情報の一例を示す説明図である。
【図７】図６に示した階層構造情報をデータベース化した関連付けＤＢ７００の一記憶内容を示す説明図である。
【図８】観測結果ＤＢ８００の一記憶内容を示す説明図である。
【図９】状態管理ＤＢ９００の一記憶内容を示す説明図である。
【図１０】判断基準ＤＢ１０００の一記憶内容を示す説明図（その１）である。
【図１１】判断基準ＤＢ１０００の一記憶内容を示す説明図（その２）である。
【図１２】判断基準ＤＢ１０００の一記憶内容を示す説明図（その３）である。
【図１３】判断基準ＤＢ１０００の一記憶内容を示す説明図（その４）である。
【図１４】判断基準ＤＢ１０００の一記憶内容を示す説明図（その５）である。
【図１５】登録通知の一例を示す説明図である。
【図１６】観測データのデータ構造例を示す説明図である。
【図１７】監視装置１０１の機能的構成を示すブロック図である。
【図１８】階層構造情報の生成処理手順を示すフローチャート（その１）である。
【図１９】階層構造情報の生成処理手順を示すフローチャート（その２）である。
【図２０】監視処理手順を示すフローチャートである。
【図２１】図２０に示した障害発生箇所決定処理（ステップＳ２０１０）の詳細な処理手順を示すフローチャート（その１）である。
【図２２】図２０に示した障害発生箇所決定処理（ステップＳ２０１０）の詳細な処理手順を示すフローチャート（その２）である。
【図２３】図２０に示した障害発生箇所決定処理（ステップＳ２０１０）の詳細な処理手順を示すフローチャート（その３）である。
【図２４】図２０に示したドメイン内決定処理（ステップＳ２０１０）の詳細な処理手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、この発明にかかる監視プログラム、監視装置、および監視方法の実施の形態を詳細に説明する。
【００１０】
（ネットワーク構成例）
図１は、ネットワーク構成例を示す説明図である。図１に示したネットワーク１００では、左端のルータＲを最上位階層の機器とし、右に行くほど階層が下がり、右端のサーバＳ１〜Ｓ３が最下層である。そして、中間層にはスイッチｓ１〜ｓ３が存在する。なお、本実施の形態では、ルータＲやスイッチｓ１〜ｓ３などのネットワーク機器を中継機器と称す。また、最下層には監視装置１０１も接続されている。
【００１１】
中継機器は、中継に関するプロセス（プログラム）を実行し、サーバＳ１〜Ｓ３は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）やアプリケーションによる特有のプロセスを実行する。本実施の形態では、監視装置１０１が、中継機器やサーバＳ１〜Ｓ３内のどのプロセスが障害発生箇所であるのかを特定することとなる。
【００１２】
また、サーバＳ１〜Ｓ３は、監視ハードウェアＴ１〜Ｔ３を備えている。監視ハードウェアＴ１〜Ｔ３とは、サーバＳ１〜Ｓ３に内蔵または直接接続されているハードウェアであり、サーバＳ１〜Ｓ３内のＣＰＵ、メモリ、電源などのハードウェアを監視する専用チップである。監視ハードウェアＴ１〜Ｔ３としては、たとえば、ベースメントマネージメントコントローラ（ＢＭＣ）を採用することができる。
【００１３】
また、本実施の形態では、監視ハードウェアＴ１〜Ｔ３により、サーバＳ１〜Ｓ３内のプロセスに障害があったとしても、その障害がサーバＳ１〜Ｓ３内のハードウェアの動作不良や故障が原因であるのかそうではないのかということまで突き止めることができる。このようにして、本実施の形態では、監視装置１０１が、ネットワーク１００内の中継機器またはサーバＳ１〜Ｓ３内のプロセスまたはサーバＳ１〜Ｓ３内のハードウェアを障害発生箇所として特定することとなる。
【００１４】
（監視装置１０１のハードウェア構成）
図２は、監視装置１０１のハードウェア構成を示すブロック図である。図２において、監視装置１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３と、磁気ディスクドライブ２０４と、磁気ディスク２０５と、光ディスクドライブ２０６と、光ディスク２０７と、ディスプレイ２０８と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２０９と、キーボード２１０と、マウス２１１と、スキャナ２１２と、プリンタ２１３と、を備えている。また、各構成部はバス２００によってそれぞれ接続されている。
【００１５】
ここで、ＣＰＵ２０１は、監視装置１０１の全体の制御を司る。ＲＯＭ２０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。磁気ディスクドライブ２０４は、ＣＰＵ２０１の制御にしたがって磁気ディスク２０５に対するデータのリード／ライトを制御する。磁気ディスク２０５は、磁気ディスクドライブ２０４の制御で書き込まれたデータを記憶する。
【００１６】
光ディスクドライブ２０６は、ＣＰＵ２０１の制御にしたがって光ディスク２０７に対するデータのリード／ライトを制御する。光ディスク２０７は、光ディスクドライブ２０６の制御で書き込まれたデータを記憶したり、光ディスク２０７に記憶されたデータをコンピュータに読み取らせたりする。
【００１７】
ディスプレイ２０８は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ２０８は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
【００１８】
インターフェース（以下、「Ｉ／Ｆ」と略する。）２０９は、通信回線を通じてＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク２１４に接続され、このネットワーク２１４を介して他の装置に接続される。そして、Ｉ／Ｆ２０９は、ネットワーク２１４と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。Ｉ／Ｆ２０９には、たとえばモデムやＬＡＮアダプタなどを採用することができる。
【００１９】
キーボード２１０は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス２１１は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
【００２０】
スキャナ２１２は、画像を光学的に読み取り、監視装置１０１内に画像データを取り込む。なお、スキャナ２１２は、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）機能を持たせてもよい。また、プリンタ２１３は、画像データや文書データを印刷する。プリンタ２１３には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
【００２１】
（機器接続情報ＤＢ）
つぎに、ネットワークを構成する機器が有する情報について説明する。ルータ、スイッチ、および監視ハードウェアは、機器接続情報データベース（ＤＢ）を有する。機器接続情報ＤＢとは、その機器の接続元と接続先を特定する情報を記憶するデータベースである。監視装置１０１は、ネットワーク内の機器接続情報ＤＢ内の機器接続情報を収集することで、ネットワークの階層構造を特定することができる。
【００２２】
図３は、ルータの機器接続情報ＤＢの一記憶内容を示す説明図である。ルータの機器接続情報ＤＢには、ルータの機器ＩＤ、接続先と接続するポートのポート番号、およびポート番号に対応した接続先のＩＰアドレスが、機器接続情報として記憶されている。
【００２３】
図４は、スイッチの機器接続情報ＤＢの一記憶内容を示す説明図である。スイッチの機器接続情報ＤＢには、スイッチの機器ＩＤ、接続先と接続するポートのポート番号、およびポート番号に対応した接続先のＩＰアドレスが、機器接続情報として記憶されている。
【００２４】
図５は、監視ハードウェアの機器接続情報ＤＢの一記憶内容を示す説明図である。監視ハードウェアの機器接続情報ＤＢには、監視ハードウェアのＩＰアドレスと監視先となるサーバのＩＰアドレスが、機器接続情報として記憶されている。
【００２５】
（階層構造情報）
図６は、図３〜図５の機器接続情報ＤＢ内の機器接続情報に基づくネットワークの階層構造情報の一例を示す説明図である。また、図７は、図６に示した階層構造情報をデータベース化した関連付けＤＢ７００の一記憶内容を示す説明図である。
【００２６】
図６において、中継機器であるルータＲおよびスイッチｓ１は、プロセスｐ００〜ｐ０２（それぞれ、たとえば、ＣｏｌｄＳｔａｒｔ、ｐｉｎｇ、Ｌｉｎｋ）を実行する。ＣｏｌｄＳｔａｒｔは、電源投入時と同様に、一度電源を遮断してメインメモリなどのハードウェアを初期化してから再起動を実行するプロセスである。ＣｏｌｄＳｔａｒｔに異常があると、中継機器の起動が完了しないため、他のプロセスが実行できないこととなる。
【００２７】
ｐｉｎｇは、上位に接続されている機器に対する疎通確認に関するプロセスである。ｐｉｎｇが正常であれば、当該機器とその上位の機器との間は正常であると判断される。一方、ｐｉｎｇで異常が検出された場合は、当該機器とその上位の機器との間に何らかの障害が発生していると考えられる。
【００２８】
Ｌｉｎｋは、ポートごとにポートの接続先である配下の機器との通信異常を検知するプロセスである。たとえば、ＬｉｎｋがＵＰ（正常）の場合は、配下の機器と伝送可能状態であることを示し、ＬｉｎｋがＤＯＷＮ（異常）の場合は、配下の機器と伝送不能状態であることを示す。
【００２９】
また、サーバＳ１はＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）６０１を有する。ＮＩＣ６０１はプロセスｐ１０を実行する。また、サーバＳ１は、Ｄｏｍａｉｎ０とＤｏｍａｉｎＵとを有する。Ｄｏｍａｉｎ０では、ＯＳやアプリケーションによりプロセスｐ１１〜ｐ１６を実行する。ＤｏｍａｉｎＵは仮想計算機として機能するプロセス群であり、プロセスｐ２０〜ｐ２２を実行する。ＤｏｍａｉｎＵはＤｏｍａｉｎ０の配下となるため、ＤｏｍａｉｎＵのプロセスに異常があってもＤｏｍａｉｎ０に影響はないが、Ｄｏｍａｉｎ０の全プロセスに異常があると、ＤｏｍａｉｎＵに派生してＤｏｍａｉｎＵの全プロセスが異常となる。
【００３０】
また、監視ハードウェアＴ１は、サーバＳ１内に設けられている。監視ハードウェアＴ１は、ＮＩＣ６０２を有し、プロセスｐ１０を実行する。また、プロセスｐ１０の配下には、監視プロセスｆ１〜ｆ７を有する。監視プロセスｆ１〜ｆ７は、サーバＳ１内のＣＰＵ、ＨＤＤ、メモリ、電源といったハードウェアの状態を監視する。図６中、点線の矩形は、監視プロセスによる影響範囲を示している。
【００３１】
具体的には、Ｄｏｍａｉｎ０およびＤｏｍａｉｎＵ内のプロセスｐ１１〜ｐ１６，ｐ２０〜ｐ２２のすべてで異常が発生した場合、監視プロセスｆ１〜ｆ７に異常があれば、プロセスｐ１１〜ｐ１６，ｐ２０〜ｐ２２固有のエラーではなく、監視プロセスｆ１〜ｆ７の監視対象ハードウェア（たとえば、ＨＤＤ監視機能ｆ１であればＨＤＤ）の障害と判断される。
【００３２】
また、図７において、ドメインに所属するプロセスｐ１１〜ｐ１６、ｐ２０〜ｐ２２の各々は、所属ドメインの情報も記憶している。したがって、関連付けＤＢ７００の配下項目においてプロセスを引く場合は、当該プロセスがどのドメインに属しているかがわかることとなる。
【００３３】
図８は、観測結果ＤＢ８００の一記憶内容を示す説明図である。観測結果ＤＢ８００は、中継機器またはサーバ、監視ハードウェア内のプロセスから観測データが取得される都度、観測結果が更新される。
【００３４】
図９は、状態管理ＤＢ９００の一記憶内容を示す説明図である。状態管理ＤＢ９００は、各監視対象の機器ＩＤと機器状態とを記憶するデータベースである。たとえば、「故障中」や「メンテナンス中」といった状態が設定される。この設定は、各監視対象から通知を受けることにより監視装置１０１が自立的にまたはユーザ操作により状態管理ＤＢ９００を更新する。修理後やメンテナンスが終了したあとは、監視装置１０１が自立的にまたはユーザ操作により「正常」に更新する。
【００３５】
図１０は、判断基準ＤＢ１０００の一記憶内容を示す説明図である。判断基準ＤＢ１０００は、機器ＩＤと正常状態の判断基準と障害の判断基準とを記憶するデータベースである。正常状態の判断基準としては、観測データが「エラー」であるか否かで判断する。また、障害の判断基準としては、たとえば、観測データのしきい値を設定しておく。たとえば、観測データがプロセスｐ１４（ＬｏａｄＡｖｅ）の観測データである場合、ＣＰＵ負荷が「エラー」（計測不能）であるときは、正常状態の判断基準に該当する。一方、ＣＰＵ負荷がしきい値Ｌ以上の値であるときは、障害の判断基準に該当するため、送信元の機器は障害であると判断される。
【００３６】
なお、上述した関連付けＤＢ７００、観測結果ＤＢ８００、状態管理ＤＢ９００、および判断基準ＤＢ１０００は、具体的には、たとえば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７によりその機能を実現する。
【００３７】
（登録通知）
図１１〜図１５は、登録通知の一例を示す説明図である。図１１は、ルータからの登録通知を示している。図１２は、スイッチからの登録通知を示している。図１３〜図１５は、サーバからの登録通知を示している。図１１〜図１５の登録通知で共通しているのは、通知元の機器ＩＤ、ＩＰアドレス、およびプロセスが含まれている点である。
【００３８】
図１３の登録通知は、ＮＩＣ内のプロセスｐ１０であるｐｉｎｇを登録させる登録通知であり、図１４の登録通知は、実計算機として機能するプロセス群Ｄｏｍａｉｎ０を登録させる登録通知であり、図１５の登録通知は、仮想計算機として機能するプロセス群ＤｏｍａｉｎＵを登録させる登録通知である。
【００３９】
図１３〜図１５のサーバからの登録通知には、上位項目と配下項目が存在する。上位項目とは、登録通知に含まれているプロセスの上位となるプロセスである。たとえば、図１４は、サーバＳ１内のＤｏｍａｉｎ０の上位には、ｐｉｎｇ（プロセスｐ１０）が存在することを示している。
【００４０】
また、配下項目とは、登録通知に含まれているプロセスの配下となるプロセスである。たとえば、図１４は、サーバＳ１内のＤｏｍａｉｎ０の配下には、ＤｏｍａｉｎＵが存在することを示している。
【００４１】
図１６は、観測データのデータ構造例を示す説明図である。観測データ１６００は、中継機器やサーバ内のプロセスから発行されて、監視装置１０１に送信される。観測データ１６００は、ヘッダ部とデータ部を有する。ヘッダ部には、送信元機器ＩＤと、送信元ＩＰアドレスと、発行元プロセスと、あて先となる監視装置１０１の機器ＩＤと、監視装置１０１のＩＰアドレスと、を有する。データ部には、観測結果が記述される。
【００４２】
また、発行元プロセスがサーバ内のプロセスである場合、ドメインの階層情報（上位／配下）も記述されている。さらに、発行元プロセスが死活監視プロセスである場合、監視対象プロセスの死活状態も含まれる。プロセスが動かなくなった場合は、そのプロセス自身でエラーを発行できない場合があるため、そのようなプロセスの状態を通知することができる。
【００４３】
（監視装置１０１の機能的構成）
図１７は、監視装置１０１の機能的構成を示すブロック図である。監視装置１０１は、関連付けＤＢ７００と、観測結果ＤＢ８００と、状態管理ＤＢ９００と、判断基準ＤＢ１０００と、取得部１７０１と、生成部１７０２と、受信部１７０６と、第１の判断部１７０３と、第２の判断部１７０４と、第３の判断部１７０５と、検出部１７０７と、特定部１７０８と、決定部１７０９と、通知部１７１０と、を備えている。
【００４４】
取得部１７０１〜通知部１７１０は、具体的には、たとえば、図２に示したＲＯＭ２０２、ＲＡＭ２０３、磁気ディスク２０５、光ディスク２０７に記憶されたプログラムをＣＰＵ２０１に実行させることによりその機能を実現する。
【００４５】
取得部１７０１は、ネットワーク１００内のルータＲ、スイッチｓ１〜ｓ３、および監視ハードウェアＴ１〜Ｔ３から、機器接続情報を取得する機能を有する。また、取得部１７０１は、ルータＲ、スイッチｓ１〜ｓ３、およびサーバＳ１〜Ｓ３から登録通知を取得する。
【００４６】
生成部１７０２は、取得部１７０１によって取得された機器接続情報および登録通知に基づいて、図９に示したような階層構造情報を生成する。具体的には、生成部１７０２は、関連付けＤＢ７００として登録する。生成部１７０２は、まず、機器接続情報が取得されると、その機器接続情報内の機器ＩＤおよびＩＰアドレスを接続先となる配下の監視対象として登録する機能を有する。
【００４７】
つぎに、登録通知が取得されると、登録通知内で特定された監視対象の監視対象項目を関連付けＤＢ７００に登録する。なお、図１３〜図１５のサーバからの登録通知には、上位項目と配下項目が存在するため、上位と配下が関連付けＤＢ７００にあらたに登録される。
【００４８】
受信部１７０６は、観測データを受信する機能を有する。具体的には、たとえば、ルータＲ、スイッチｓ１〜ｓ３、サーバＳ１〜Ｓ３または監視ハードウェアＴ１〜Ｔ３から観測データ１６００を受信する。受信された観測データ１６００は、観測結果ＤＢ８００に格納される。本例では、観測データ１６００は、送信元機器において自律的に送信されてくることとする。たとえば、送信元機器が定期的に送信する。また、異常な観測データの場合は、異常が発生する都度、送信されるものとする。
【００４９】
第１の判断部１７０３は、受信された観測データ１６００の送信元機器がどのような状態であるかを判断する機能を有する。具体的には、たとえば、観測データ１６００から送信元機器を特定する。そして、特定された監視対象の状態を状態管理ＤＢ９００から検索する。検索結果が「正常」の場合は、第２の判断部１７０４での判断処理に移行する。一方、検索結果が「正常」以外、たとえば、「メンテナンス中」や「故障中」である場合、障害箇所の特定ができないこととなるため、その観測データを用いた障害箇所の特定はおこなわれないこととなる。
【００５０】
たとえば、送信元機器がスイッチｓ１である場合、図９の状態管理ＤＢ９００を参照すると、「メンテナンス中」である。したがって、スイッチｓ１からの観測データを用いた障害箇所の特定はおこなわれないこととなる。
【００５１】
第２の判断部１７０４は、受信された観測データ１６００が正常に観測できた観測データ１６００であるか否かを判断する機能を有する。具体的には、たとえば、判断基準ＤＢ１０００での正常状態の判断基準項目を参照することにより判断する。そして、観測データ１６００の観測内容と正常状態の判断基準項目の値とが一致した場合、正常に観測できなかったと判断する。一方、不一致の場合、正常に観測できたと判断する。
【００５２】
たとえば、サーバＳ１からの観測データ１６００の内容が「ＣＰＵ負荷Ｌ１（＜Ｌ）」である場合、図１０を参照すると、サーバＳ１の正常状態の判断基準項目の値「エラー」と不一致であるため、正常に観測できたと判断する。一方、観測データ１６００の内容が「エラー」である場合、図１０を参照すると、判断基準ＤＢ１０００の判断基準項目の値「エラー」と一致するため、正常に観測できなかったと判断する。
【００５３】
そして、正常に観測できたと判断された場合は、第３の判断部１７０５での判断処理に移行する。一方、正常に観測できないと判断された場合は、特定部１７０８での特定処理に移行する。
【００５４】
第３の判断部１７０５は、正常に観測できた観測データ１６００が障害を示す観測データ１６００であるか否かを判断する機能を有する。たとえば、観測データ１６００の種類ごとに許容値を設定しておき、許容値から外れた場合は、観測データ１６００の送信元機器に障害があると判断する。
【００５５】
たとえば、許容値が「ＣＰＵ負荷Ｌ未満」である場合、観測データ１６００の内容が「ＣＰＵ負荷Ｌ１（＜Ｌ）」であるとすると、許容値の範囲内であるため、送信元機器には障害がないと判断する。一方、観測データ１６００の内容が「ＣＰＵ温度Ｌ２（≧Ｌ）」であるとすると、「ＣＰＵ負荷Ｌ以上」であるため、送信元機器に障害があると判断する。
【００５６】
検出部１７０７は、受信部１７０６によって受信された観測データ１６００の送信元機器と観測データ１６００の発行元プロセスを検出する機能を有する。具体的には、たとえば、観測結果ＤＢ８００を参照して、受信された観測データ１６００のレコードから、観測データ１６００の送信元機器の機器ＩＤおよびＩＰアドレスと観測データ１６００を発行したプロセスとを検出する。
【００５７】
特定部１７０８は、階層構造情報を参照して、検出部１７０７によって検出された送信元機器の種別に応じて発行元プロセスに関連する関連プロセスを特定する機能を有する。ここで、関連プロセスとは、発行元プロセスを起点として障害発生箇所を特定するためにその状態が参照されるプロセスである。
【００５８】
たとえば、送信元機器がサーバであり、かつ、発行元プロセスがＤｏｍａｉｎ０やＤｏｍａｉｎＵなどサーバ特有の機能に関するプロセスである場合、同一ドメイン内の残余のドメインを関連プロセスとする。たとえば、発行元プロセスがＤｏｍａｉｎ０内のプロセスｐ１１（ｂｏｎｄｉｎｇ切替）である場合、Ｄｏｍａｉｎ０内の残余のプロセスｐ１２〜ｐ１６を、関連プロセスとする。また、発行元プロセスがｐｉｎｇである場合、送信元機器の上位階層の中継機器内のプロセス（ＣｏｌｄＳｔａｒｔ、Ｌｉｎｋ、ｐｉｎｇ）を関連プロセスとする。
【００５９】
また、決定部１７０９は、特定部１７０８によって特定された関連プロセスの状態に基づいて、障害発生箇所を決定する機能を有する。ここで、関連プロセスの状態とは、関連プロセス自体が正常に動作できずにエラーを発行している場合と、関連プロセスが正常に動作した結果エラーを発行している場合とがある。
【００６０】
たとえば、サーバ内のＤｏｍａｉｎ０やＤｏｍａｉｎＵなどのサーバ特有のプロセスについては、関連プロセスの状態とは、関連プロセス自体が正常に動作できずにエラーを発行したか否かを示す。
【００６１】
したがって、同一ドメイン内で残余のプロセスがすべて正常に動作していれば、発行元プロセス固有の障害であることがわかる。同様に、残余のプロセスの一部に異常があり、他は正常に動作していれば、発行元プロセスや一部の異常なプロセスに固有な障害が発生していることがわかる。
【００６２】
一方、同一ドメイン内で残余のプロセスがすべて異常である場合、各プロセス固有の障害が発生している可能性もあるが、上位階層のプロセスが正常に動作しないために影響を受けている可能性もある。また、サーバを構成するハードウェアの障害が影響して異常となっている可能性もある。
【００６３】
このような場合、上位階層のドメイン内のプロセスがすべて異常であれば、サーバのＮＩＣ内のｐｉｎｇの異常が原因である可能性がある。もし、サーバのＮＩＣ内のｐｉｎｇが異常を検知していれば、上位階層の中継機器内のプロセスをあらたに関連プロセスとして設定し、サーバのＮＩＣ内のｐｉｎｇとの関係を特定する必要がある。
【００６４】
また、サーバのＮＩＣ内のｐｉｎｇが正常、すなわち、上位階層の中継機器との疎通確認ができていれば、各プロセス固有の障害が発生している可能性がある。また、サーバを構成するハードウェアの障害が影響して異常となっている可能性もある。したがって、この場合は、監視ハードウェアによりサーバを構成するハードウェアに異常があるか否かを判断することとなる。
【００６５】
異常なハードウェアがあればそのハードウェアが原因でサーバ内のプロセスが異常であったことになるため、異常なハードウェアを障害発生箇所に決定することとなる。一方、ハードウェアに異常がない場合、各プロセス固有の障害であるため、異常なプロセスを障害発生箇所に決定することとなる。
【００６６】
また、中継機器内のプロセスやサーバのＮＩＣ内のｐｉｎｇといった中継に関するプロセスの場合、関連プロセスの状態とは、関連プロセスが正常に動作した結果エラーを発行したか否かを示す。
【００６７】
この場合、障害発生箇所の決定は、発行元プロセスと関連プロセスとの組み合わせに依存する。たとえば、発行元プロセスがＣｏｌｄＳｔａｒｔである場合、ＣｏｌｄＳｔａｒｔの異常検知により、その中継機器が再起動できていない状態にあることがわかる。このような場合は、関連プロセスを参照するまでもなく、異常検知したＣｏｌｄＳｔａｒｔを障害発生箇所に決定することとなる。
【００６８】
また、発行元プロセスがＬｉｎｋである場合、ＤＯＷＮしたポート接続先となる配下機器内のｐｉｎｇが関連プロセスとなる。したがって、このｐｉｎｇの状態により障害発生箇所が決定される。たとえば、ＤＯＷＮしたポート接続先の機器内のｐｉｎｇが正常であれば、発行元プロセスであるＬｉｎｋ自体に障害（誤動作）があるとして、発行元プロセスであるＬｉｎｋを障害発生箇所に決定する。
【００６９】
一方、ＤＯＷＮしたポート接続先の機器内のｐｉｎｇが異常を検知していた場合、このｐｉｎｇの異常検知により発行元プロセスであるＬｉｎｋがＤＯＷＮしたこととなる。この場合は、発行元プロセスであるＬｉｎｋおよびＤＯＷＮしたポート接続先の機器内のｐｉｎｇはともに正常に異常検知したことになる。したがって、この場合は、送信元機器とその配下機器との間のリンクに障害があるとして、送信元機器とその配下機器との間のリンクを障害発生箇所に決定する。
【００７０】
また、発行元プロセスがｐｉｎｇである場合、送信元機器の上位階層の中継機器内のプロセス（ＣｏｌｄＳｔａｒｔ、Ｌｉｎｋ、ｐｉｎｇ）を関連プロセスとする。この場合、上位階層の中継機器内の関連プロセスのうちＣｏｌｄＳｔａｒｔが異常を検知していれば、上位階層の中継機器の再起動動作の異常により、送信元機器内のｐｉｎｇが異常を検知したこととなる。したがって、このような場合は、ＣｏｌｄＳｔａｒｔを障害発生箇所に決定することとなる。
【００７１】
また、上位階層の中継機器内の関連プロセスのうちＬｉｎｋが送信元機器に対するポートについてＤＯＷＮである場合、発行元プロセスであるｐｉｎｇおよび上位階層の中継機器内のＬｉｎｋ（ＤＯＷＮ）はともに正常に異常検知したことになる。したがって、この場合は、送信元機器とその上位階層の中継機器との間のリンクに障害があるとして、送信元機器とその上位階層の中継機器との間のリンクを障害発生箇所に決定することとなる。
【００７２】
また、上位階層の中継機器内の関連プロセスのうちｐｉｎｇが異常を検知している場合、さらに上位階層の中継機器を特定して同様の障害発生箇所の決定をおこなう。そして、上位階層の中継機器のｐｉｎｇが正常であれば、その配下の機器のｐｉｎｇ自体に障害（誤動作）があるため、配下の機器のｐｉｎｇを障害発生箇所に決定することとなる。
【００７３】
このように、発行元プロセスを起点として、上位へと探索しながらプロセスの種類および状態を特定して、障害発生箇所を決定することとなる。これにより、発行元プロセスが異常を検知した根本原因をネットワークの中から特定することが可能となる。なお、特定部１７０８および決定部１７０９による詳細な処理については、後述するフローチャートで詳細に説明する。
【００７４】
通知部１７１０は、決定部１７０９によって特定された障害発生箇所を通知する機能を有する。具体的には、たとえば、ディスプレイへの表示、警告音の出力、プリンタへの印刷出力、外部端末への送信を実行する。
【００７５】
（階層構造情報の生成処理）
図１８および図１９は、階層構造情報の生成処理手順を示すフローチャートである。具体的には、図１８では、関連付けＤＢ７００の上位（影響元）／下位（影響先）について、機器ＩＤおよびＩＰアドレスを登録し、図１９では、プロセスのプロセスＩＤを登録する。
【００７６】
まず、図１８において、監視装置１０１は、最上位機器のルータのＩＰアドレスの指定を待ち受け（ステップＳ１８０１：Ｎｏ）、ＩＰアドレスが指定された場合（ステップＳ１８０１：Ｙｅｓ）、監視装置１０１は、指定されたＩＰアドレスを対象ＩＰアドレスに設定して関連付けＤＢ７００の上位（影響元）に対象ＩＰアドレスに対応する機器ＩＤとともに新規登録する（ステップＳ１８０２）。
【００７７】
そして、監視装置１０１は、対象ＩＰアドレスの機器に対し、対象ＩＰアドレスの機器接続情報を要求する（ステップＳ１８０３）。つぎに、監視装置１０１は、要求した機器接続情報が取得できたか否かを判断する（ステップＳ１８０４）。サーバＳ１〜Ｓ３は機器接続情報ＤＢを有していないため、取得できなかった場合（ステップＳ１８０４：Ｎｏ）、監視装置１０１は、対象ＩＰアドレスに対応する機器はサーバＳ１〜Ｓ３であることがわかる。この場合、ステップＳ１８１０に移行する。
【００７８】
一方、取得できた場合（ステップＳ１８０４：Ｙｅｓ）、監視装置１０１は、機器接続情報にポートが存在するか否かを判断する（ステップＳ１８０５）。ポートが存在する場合（ステップＳ１８０５：Ｙｅｓ）、監視装置１０１は、未選択のポートがあるか否かを判断する（ステップＳ１８０６）。未選択のポートがある場合（ステップＳ１８０６：Ｙｅｓ）、監視装置１０１は、未選択ポートを選択し（ステップＳ１８０７）、選択ポートに対応する機器ＩＤおよびＩＰアドレスを関連付けＤＢ７００に登録する（ステップＳ１８０８）。具体的には、対象ＩＰアドレスは上位（影響元）に登録されるため、監視装置１０１は、対応する影響先に登録する。そして、ステップＳ１８０６に戻る。
【００７９】
一方、ステップＳ１８０６において、未選択ポートがない場合（ステップＳ１８０６：Ｎｏ）、ステップＳ１８１０に移行する。
【００８０】
また、ステップＳ１８０５において、ポートが存在しない場合（ステップＳ１８０５：Ｎｏ）、監視装置１０１は、ポート非対応の機器ＩＤおよびＩＰアドレスを、対象ＩＰアドレスの影響先として登録する（ステップＳ１８０９）。そして、ステップＳ１８１０に移行する。対象ＩＰアドレスにより、監視ハードウェアが特定された場合、監視ハードウェアは、サーバと違い機器接続情報ＤＢを有するため、ステップＳ１８０４では機器接続情報を取得できる。その一方、取得された機器接続情報にはポートがないため、「ポート非対応の機器ＩＤおよびＩＰアドレス」すなわち、サーバの機器ＩＤおよびＩＰアドレスを影響先として登録する。
【００８１】
また、ステップＳ１８１０において、監視装置１０１は、関連付けＤＢ７００の影響先への登録ＩＰアドレスのうち未選択ＩＰアドレスがあるか否かを判断する（ステップＳ１８１０）。未選択ＩＰアドレスがある場合（ステップＳ１８１０：Ｙｅｓ）、ステップＳ１８０２に戻り、監視装置１０１は、対象ＩＰアドレスに設定して、上位（影響元）に機器ＩＤとともに新規登録する（ステップＳ１８０２）。一方、未選択ＩＰアドレスがない場合（ステップＳ１８１０：Ｎｏ）、監視装置１０１は、影響先にのみ機器ＩＤおよびＩＰアドレスが登録されているレコードを削除する（ステップＳ１８１１）。これにより、一連の処理を終了する。
【００８２】
つぎに、図１９について説明する。図１８の処理が終了すると、関連付けＤＢ７００においては、機器ＩＤとＩＰアドレスが登録された状態となる。図１９では、まず、監視装置１０１は、プロセスの登録通知をそのプロセスを含む機器から待ち受ける（ステップＳ１９０１：Ｎｏ）。登録通知が受け付けられた場合（ステップＳ１９０１：Ｙｅｓ）、監視装置１０１は、受け付けられた登録通知内の機器ＩＤにより、通知元機器が中継機器（ルータまたはスイッチ）であるか否かを判断する（ステップＳ１９０２）。
【００８３】
中継機器である場合（ステップＳ１９０２：Ｙｅｓ）、監視装置１０１は、登録通知内のＩＰアドレスと一致するＩＰアドレスのレコードを関連付けＤＢ７００から検索する（ステップＳ１９０３）。そして、監視装置１０１は、検索されたレコードに登録通知内のプロセスを登録して（ステップＳ１９０４）、ステップＳ１９０１に戻る。
【００８４】
一方、ステップＳ１９０２において、ルータＲでもスイッチｓ１〜ｓ３でもない場合（ステップＳ１９０２：Ｎｏ）、サーバＳ１〜Ｓ３からの登録通知となるため、監視装置１０１は、サーバＳ１〜Ｓ３からの登録通知に上位項目が存在するか否かを判断する（ステップＳ１９０５）。
【００８５】
上位項目がないと判断された場合（ステップＳ１９０５：Ｎｏ）、受け付けられた登録通知は、図１９に示したような登録通知である。この場合、監視装置１０１は、関連付けＤＢ７００に配下項目が下位（影響先）として登録済みであるか否かを判断する（ステップＳ１９０６）。登録済みである場合（ステップＳ１９０６：Ｙｅｓ）、監視装置１０１は、登録通知内の機器ＩＤ、ＩＰアドレス、およびプロセスを関連付けＤＢ７００の対応する上位（影響元）に登録して（ステップＳ１９０７）、ステップＳ１９０１に戻る。一方、未登録である場合（ステップＳ１９０６：Ｎｏ）、監視装置１０１は、登録通知内の機器ＩＤ、ＩＰアドレス、およびプロセスを関連付けＤＢ７００の上位（影響元）に新規登録して（ステップＳ１９０８）、ステップＳ１９０１に戻る。
【００８６】
一方、ステップＳ１９０５において、上位項目ありと判断された場合（ステップＳ１９０５：Ｙｅｓ）、受け付けられた登録通知は、図１８または図１９に示したような登録通知である。この場合、監視装置１０１は、関連付けＤＢ７００に上位項目が登録済みであるか否かを判断する（ステップＳ１９０９）。
【００８７】
登録済みである場合（ステップＳ１９０９：Ｙｅｓ）、監視装置１０１は、登録通知内の機器ＩＤ、ＩＰアドレス、およびプロセスを関連付けＤＢ７００の対応する影響先に登録して（ステップＳ１９１０）、ステップＳ１９１２に移行する。一方、未登録である場合（ステップＳ１９０９：Ｎｏ）、監視装置１０１は、登録通知内の機器ＩＤ、ＩＰアドレス、およびプロセスを関連付けＤＢ７００の影響先に新規登録して（ステップＳ１９１１）、ステップＳ１９１２に移行する。
【００８８】
そして、ステップＳ１９１２において、監視装置１０１は、配下項目があるか否かを判断する（ステップＳ１９１２）。配下項目がないと判断された場合（ステップＳ１９１２：Ｎｏ）、受け付けられた登録通知は、図１９に示したような登録通知である。この場合、登録する内容がないため、ステップＳ１９０１に戻る。
【００８９】
一方、配下項目ありと判断された場合（ステップＳ１９１２：Ｙｅｓ）、受け付けられた登録通知は、図１８に示したような登録通知である。この場合、監視装置１０１は、関連付けＤＢ７００に配下項目が影響先として登録済みであるか否かを判断する（ステップＳ１９１３）。登録済みである場合（ステップＳ１９１３：Ｙｅｓ）、監視装置１０１は、登録通知内の機器ＩＤ、ＩＰアドレス、およびプロセスを関連付けＤＢ７００の対応する影響元に登録して（ステップＳ１９１４）、ステップＳ１９０１に戻る。一方、未登録である場合（ステップＳ１９１３：Ｎｏ）、監視装置１０１は、登録通知内の機器ＩＤ、ＩＰアドレス、およびプロセスを関連付けＤＢ７００の影響元に新規登録して（ステップＳ１９１５）、ステップＳ１９０１に戻る。
【００９０】
このような処理により、図７に示した関連付けＤＢ７００が完成され、図６に示した階層構造情報を表現することができる。
【００９１】
図２０は、監視処理手順を示すフローチャートである。まず、監視装置１０１は、観測データ１６００が受信されるのを待ち受ける（ステップＳ２００１：Ｎｏ）。観測データ１６００が受信された場合（ステップＳ２００１：Ｙｅｓ）、監視装置１０１は、観測データ１６００から送信元機器と発行元プロセスとを解析する（ステップＳ２００２）。このあと、監視装置１０１は、解析された送信元機器の機器ＩＤをキーとして、送信元機器の機器状態を状態管理ＤＢ９００から検索する（ステップＳ２００３）。
【００９２】
つぎに、監視装置１０１は、第１の判断部１７０３により、送信元機器の機器状態がメンテナンスモードまたは故障モードであるか否かを判断する（ステップＳ２００４）。メンテナンスモードまたは故障モードである場合（ステップＳ２００４：Ｙｅｓ）、一連の処理を終了する。
【００９３】
一方、メンテナンスモードでも故障モードでもない場合（ステップＳ２００４：Ｎｏ）、監視装置１０１は、第２の判断部１７０４により、観測データ１６００が正常に観測できたデータであるか否かを判断する（ステップＳ２００５）。正常に観測できた場合（ステップＳ２００５：Ｙｅｓ）、監視装置１０１は、送信元機器の機器ＩＤおよびＩＰアドレスから観測結果ＤＢ８００の該当レコードを特定し（ステップＳ２００６）、観測データ１６００を更新する（ステップＳ２００７）。
【００９４】
そして、監視装置１０１は、第３の判断部１７０５により、観測データ１６００が障害に該当するか否かを判断する（ステップＳ２００８）。障害でないと判断された場合（ステップＳ２００８：Ｎｏ）、一連の処理を終了する。一方、障害と判断された場合（ステップＳ２００８：Ｙｅｓ）、監視装置１０１は、通知部１７１０により、観測データ１６００の異常を通知して（ステップＳ２００９）、一連の処理を終了する。
【００９５】
また、ステップＳ２００５において、第２の判断部１７０４により正常に観測できなかったと判断された場合（ステップＳ２００５：Ｎｏ）、監視装置１０１は、障害発生箇所決定処理を実行する（ステップＳ２０１０）ことで障害発生箇所を決定する。そして、監視装置１０１は、決定された障害発生箇所を通知して（ステップＳ２０１１）、一連の処理を終了する。
【００９６】
図２１〜図２３は、図２０に示した障害発生箇所決定処理（ステップＳ２０１０）の詳細な処理手順を示すフローチャートである。図２１において、まず、監視装置１０１は、送信元機器の種別を判断する（ステップＳ２１０１）。送信元機器が中継機器である場合（ステップＳ２１０１：中継機器）、図２２のステップＳ２２０１に移行する。
【００９７】
一方、送信元機器がサーバである場合（ステップＳ２１０１：サーバ）、監視装置１０１は、発行元プロセスがＮＩＣ内のプロセスであるかドメイン内のプロセスであるかを判断する（ステップＳ２１０２）。監視装置１０１は、ＮＩＣ内のプロセスである場合（ステップＳ２１０２：ＮＩＣ内）、図２３のステップＳ２３０１に移行する。一方、ドメイン内のプロセスである場合（ステップＳ２１０２：ドメイン内）、監視装置１０１は、ドメイン内決定処理を実行する（ステップＳ２１０３）。そして、ステップＳ２０１１に移行する。なお、ドメイン内決定処理（ステップＳ２１０３）の詳細な処理手順については、図２４において後述する。
【００９８】
図２２において、まず、監視装置１０１は、発行元プロセスがＣｏｌｄＳｔａｒｔであるか否かを判断する（ステップＳ２２０１）。ＣｏｌｄＳｔａｒｔである場合（ステップＳ２２０１：Ｙｅｓ）、監視装置１０１は、ＣｏｌｄＳｔａｒｔを障害発生箇所に決定する（ステップＳ２２０２）。そして、ステップＳ２０１１に移行する。
【００９９】
一方、発行元プロセスがＣｏｌｄＳｔａｒｔでない場合（ステップＳ２２０１：Ｎｏ）、監視装置１０１は、発行元プロセスがＬｉｎｋであるか否かを判断する（ステップＳ２２０３）。Ｌｉｎｋでない場合（ステップＳ２２０３：Ｎｏ）、発行元プロセスはｐｉｎｇになり、図２３のステップＳ２３０１に移行する。
【０１００】
一方、発行元プロセスがＬｉｎｋである場合（ステップＳ２２０３：Ｙｅｓ）、監視装置１０１は、送信元機器の下位階層となる配下機器のうちＤＯＷＮとなったポート接続先の配下機器を階層構造情報を参照して探索する（ステップＳ２２０４）。たとえば、図６の例では、送信元機器がルータＲにおいて、ポート１がＤＯＷＮしたとすると、スイッチｓ１を探索する。
【０１０１】
そして、監視装置１０１は、配下機器内のｐｉｎｇが異常を検知しているか否かを観測結果ＤＢ８００から判断する（ステップＳ２２０５）。ｐｉｎｇが異常を検知していない場合（ステップＳ２２０５：Ｎｏ）、監視装置１０１は、発行元プロセスであるＬｉｎｋを障害発生箇所に決定する（ステップＳ２２０６）。そして、ステップＳ２０１１に移行する。
【０１０２】
また、ステップＳ２２０５において、配下機器内のｐｉｎｇが異常を検知している場合（ステップＳ２２０５：Ｙｅｓ）、監視装置１０１は、発行元プロセスであるＬｉｎｋおよび配下機器内のｐｉｎｇは正常に動作（異常検知）していることとなる。したがって、監視装置１０１は、送信元機器と配下機器との間のリンクを障害発生箇所に決定する（ステップＳ２２０７）。そして、ステップＳ２０１１に移行する。
【０１０３】
つぎに、図２３において、現在の注目機器内のｐｉｎｇが異常検知しているため、監視装置１０１は、階層構造情報を参照して上位機器を探索し（ステップＳ２３０１）、上位機器があるか否かを判断する（ステップＳ２３０２）。上位機器がある場合（ステップＳ２３０２：Ｙｅｓ）、監視装置１０１は、観測結果ＤＢ８００を参照して、上位機器内のＣｏｌｄＳｔａｒｔが異常であるか否かを判断する（ステップＳ２３０３）。
【０１０４】
異常である場合（ステップＳ２３０３：Ｙｅｓ）、注目機器内のｐｉｎｇの異常検知は、上位機器内のＣｏｌｄＳｔａｒｔの異常が原因であることがわかる。したがって、監視装置１０１は、上位機器内のＣｏｌｄＳｔａｒｔを障害発生箇所に決定する（ステップＳ２３０４）。そして、ステップＳ２０１１に移行する。
【０１０５】
また、ステップＳ２３０３において、上位機器内のＣｏｌｄＳｔａｒｔが異常でない場合（ステップＳ２３０３：Ｎｏ）、監視装置１０１は、観測結果ＤＢ８００を参照して、上位機器のＬｉｎｋがＤＯＷＮであるか否かを判断する（ステップＳ２３０５）。ＤＯＷＮである場合（ステップＳ２３０５：Ｙｅｓ）、注目機器内のｐｉｎｇと上位機器内のＬｉｎｋは正常に動作（異常検知）していることとなる。したがって、監視装置１０１は、上位機器と送信元機器間のリンクを障害発生箇所に決定する（ステップＳ２３０６）。そして、ステップＳ２０１１に移行する。
【０１０６】
一方、ステップＳ２３０５において、ＬｉｎｋがＵＰである場合（ステップＳ２３０５：Ｎｏ）、監視装置１０１は、観測結果ＤＢ８００を参照して、上位機器内のｐｉｎｇが異常を検知しているか否かを判断する（ステップＳ２３０７）。異常を検知していない場合（ステップＳ２３０７：Ｎｏ）、監視装置１０１は、注目機器内のｐｉｎｇを障害発生箇所に決定する（ステップＳ２３０８）。そして、ステップＳ２０１１に移行する。
【０１０７】
一方、上位機器内のｐｉｎｇが異常を検知している場合（ステップＳ２３０７：Ｙｅｓ）、ステップＳ２３０１に戻り、監視装置１０１は、さらに上位機器を探索する（ステップＳ２３０１）。この場合、注目機器は、ステップＳ２３０７で異常を検知したｐｉｎｇを実行した機器（これまでの上位機器）となる。
【０１０８】
また、ステップＳ２３０２において、上位機器がない場合（ステップＳ２３０２：Ｎｏ）、ルータＲがｐｉｎｇ異常を検知している上位機器となるため、監視装置１０１は、ルータＲ内のｐｉｎｇを障害発生箇所に決定する（ステップＳ２３０９）。そして、ステップＳ２０１１に移行する。
【０１０９】
図２４は、図２０に示したドメイン内決定処理（ステップＳ２０１０）の詳細な処理手順を示すフローチャートである。まず、監視装置１０１は、発行元プロセスが存在するドメインは上位（Ｄｏｍａｉｎ０）であるか配下（ＤｏｍａｉｎＵ）であるかを判断する（ステップＳ２４０１）。配下である場合（ステップＳ２４０１：配下）、監視装置１０１は、該当する配下のドメイン内のすべてのプロセスが異常であるか否かを判断する（ステップＳ２４０２）。すべてが異常でない場合（ステップＳ２４０２：Ｎｏ）、監視装置１０１は、配下のドメイン内の異常なプロセスを障害発生箇所に決定し（ステップＳ２４０３）、ステップＳ２０１１に移行する。
【０１１０】
一方、ステップＳ２４０２において、該当する配下のドメイン内のすべてのプロセスが異常である場合（ステップＳ２４０２：Ｙｅｓ）、監視装置１０１は、他の配下のドメイン内のプロセスもすべて異常であるか否かを判断する（ステップＳ２４０４）。たとえば、仮想計算機機能が複数立ち上がっているケースである。他の配下のドメイン内のプロセスに正常なプロセスがある場合（ステップＳ２４０４：Ｎｏ）、ステップＳ２４０３に移行する。
【０１１１】
一方、他の配下のドメイン内のプロセスもすべて異常である場合（ステップＳ２４０４：Ｙｅｓ）、ステップＳ２４０５に移行する。また、ステップＳ２４０１において、発行元プロセスが存在するドメインは上位（Ｄｏｍａｉｎ０）のドメインである場合（ステップＳ２４０１：上位）、ステップＳ２４０５に移行する。
【０１１２】
ステップＳ２４０５において、監視装置１０１は、上位のドメイン内のすべてのプロセスが異常であるか否かを判断する（ステップＳ２４０５）。正常なプロセスがある場合（ステップＳ２４０５：Ｎｏ）、監視装置１０１は、上位のドメイン内の異常なプロセスを障害発生箇所に決定して（ステップＳ２４０６）、ステップＳ２０１１に移行する。
【０１１３】
一方、上位のドメイン内のすべてのプロセスが異常である場合（ステップＳ２４０５：Ｙｅｓ）、監視装置１０１は、観測結果ＤＢ８００に記憶されている監視ハードウェアの監視結果から、サーバを構成するハードウェアに異常があるか否かを判断する（ステップＳ２４０７）。異常なハードウェアがある場合（ステップＳ２４０７：Ｙｅｓ）、サーバ内の異常なハードウェアを障害発生箇所に決定して（ステップＳ２４０８）、ステップＳ２０１１に移行する。
【０１１４】
一方、異常なハードウェアがない場合（ステップＳ２４０７：Ｎｏ）、監視装置１０１は、サーバのＮＩＣ内のｐｉｎｇが異常を検知しているか否かを判断する（ステップＳ２４０９）。異常を検知していない場合（ステップＳ２４０９：Ｎｏ）、監視装置１０１は、上位ドメイン内の個々のプロセスを障害発生箇所に決定して（ステップＳ２４１０）、ステップＳ２０１１に移行する。一方、ＮＩＣ内のｐｉｎｇが異常を検知している場合（ステップＳ２４０９：Ｙｅｓ）、ステップＳ２３０１に移行して、監視装置１０１は、上位機器を探索することとなる。
【０１１５】
このように、監視装置１０１では、ネットワーク１００内のプロセスの階層構造情報を参照することで、起点となる発行元プロセスを実行する機器の種別に応じて、関連プロセスを特定する。そして、この関連プロセスの状態により、障害発生箇所を決定する。このようにネットワーク１００内のプロセスの階層関係を総合的に判断することで、ネットワーク１００内で発生した障害発生箇所の特定精度の向上を図ることができる。
【０１１６】
また、送信元機器がサーバである場合、発行元プロセスと同階層の残余のプロセスの状態により、どこが障害発生箇所であるかを突き止めることができる。具体的には、同階層の残余のプロセスの一部が異常である場合は、発行元プロセスと異常な一部のプロセスを障害発生箇所に決定する。すなわち、正常に実行されているプロセスも存在しているため、異常なプロセスの個々に障害があることがわかる。
【０１１７】
一方、同階層の残余のプロセスがすべて異常である場合、上位階層のプロセスの種別および状態により、障害発生箇所を決定する。たとえば、その上位階層のプロセスがｐｉｎｇである場合、ｐｉｎｇが異常を検知していなければ、サーバ内のｐｉｎｇの配下の全プロセスの各々を障害発生箇所に決定する。
【０１１８】
ただし、この場合、サーバを構成するハードウェアの故障の可能性も残されているため、監視ハードウェアによりサーバを構成するハードウェアの異常を、観測結果ＤＢ８００を参照することで検知する。そして、異常なハードウェアがあれば、サーバ内のｐｉｎｇの配下の全プロセスの異常の原因は、異常なハードウェアの振舞いが原因であることがわかる。したがって、この場合は異常なハードウェアを障害発生箇所に決定する。このようにして、具体的な障害発生箇所を突き止めることができる。
【０１１９】
また、ｐｉｎｇが異常を検知していれば、サーバの上位階層となる中継機器内のプロセスもチェックする必要がある。この場合、上位階層の中継機器内のｐｉｎｇも異常を検知していれば、さらに上位階層の中継機器を探索してチェックする必要がある。このように、階層構造情報を参照することで障害の根本原因となる箇所を突き止めることができる。
【０１２０】
また、上位階層の中継機器内のプロセスがすべて正常である場合、サーバのＮＩＣ内のｐｉｎｇの誤動作が原因であることがわかる。
【０１２１】
また、上位階層の中継機器内のＣｏｌｄＳｔａｒｔに異常があった場合は、中継機器の再起動が失敗していることとなる。このような場合、サーバのＮＩＣ内のｐｉｎｇの誤動作の原因がＣｏｌｄＳｔａｒｔの異常であることがわかる。したがって、ＣｏｌｄＳｔａｒｔが障害発生箇所であると突き止めることができる。
【０１２２】
また、上位階層の中継機器内のＬｉｎｋにおいて、ポート接続先であるサーバのうち、ｐｉｎｇが異常検知しているサーバに対するリンクがＤＯＷＮしている場合、ｐｉｎｇの異常検知は、サーバに対するリンクのＤＯＷＮが原因であることがわかる。したがって、このような場合は、サーバと中継機器間のリンクに障害があると突き止めることができる。
【０１２３】
また、送信元機器が中継機器であるときも障害発生箇所を突き止めることができる。具体的には、送信元機器が中継機器であり、かつ、発行元プロセスがＣｏｌｄＳｔａｒｔである場合、ＣｏｌｄＳｔａｒｔを障害発生箇所に決定する。
【０１２４】
また、発行元プロセスがＬｉｎｋである場合、ＤＯＷＮとなったポート接続先の機器内のｐｉｎｇの状態により障害発生箇所を決定する。具体的には、ポート接続先の機器内のｐｉｎｇの異常検知は、サーバに対するリンクのＤＯＷＮが原因であることがわかる。したがって、このような場合は、サーバと中継機器間のリンクに障害があると突き止めることができる。
【０１２５】
また、ポート接続先の機器内のｐｉｎｇが異常を検知していない場合、発行元プロセスであるＬｉｎｋ自体に異常があることとなる。したがって、このような場合は、発行元プロセスであるＬｉｎｋを障害発生箇所として突き止めることができる。
【０１２６】
また、発行元プロセスがｐｉｎｇである場合、その上位階層の中継機器内のプロセスの状態により障害発生箇所が決まる。たとえば、上位階層の中継機器内のｐｉｎｇも異常を検知している場合は、さらに上位階層の中継機器を探索してチェックする必要がある。このように、階層構造情報を参照することで障害の根本原因となる箇所を突き止めることができる。
【０１２７】
また、上位階層の中継機器内のプロセスが正常である場合、発行元プロセスであるｐｉｎｇ自体に異常があることとなる。したがって、このような場合は、発行元プロセスであるｐｉｎｇを障害発生箇所として突き止めることができる。
【０１２８】
また、上位階層の中継機器内のＣｏｌｄＳｔａｒｔに異常があった場合は、中継機器の再起動が失敗していることとなる。このような場合、送信元機器内の発行元プロセスであるｐｉｎｇの誤動作の原因がＣｏｌｄＳｔａｒｔの異常であることがわかる。したがって、ＣｏｌｄＳｔａｒｔが障害発生箇所であると突き止めることができる。
【０１２９】
また、上位階層の中継機器内のＬｉｎｋにおいて、ポート接続先であるサーバのうち、ｐｉｎｇが異常検知しているサーバに対するリンクがＤＯＷＮしている場合、ｐｉｎｇの異常検知は、送信元機器に対するリンクのＤＯＷＮが原因であることがわかる。したがって、このような場合は、上位階層の中継機器と送信元機器間のリンクに障害があると突き止めることができる。
【０１３０】
以上のことから、本実施の形態によれば、ネットワーク内で実行されているプロセスに異常があると、何が原因で異常となったり異常を検知したのかを突き止めることができるため、障害発生箇所の特定精度の向上を図ることができる。また、事前にプロセスの階層構造情報を用意しておくことにより、観測データの異常があった場合でも迅速に障害発生箇所を特定することができる。したがって、障害発生後に迅速な対応をとることができる。また、障害発生箇所に決定されたプロセスについて監視装置１０１から再度観測することで、検知スケジュールのタイムラグから発生する再観測結果との不整合を解消することができる。したがって、障害発生箇所の特定精度の向上を図ることができ、対応の迅速性の向上を図ることができる。
【０１３１】
なお、本実施の形態で説明した監視方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本監視プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＰＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また本監視プログラムは、インターネット等のネットワークを介して配布してもよい。
【０１３２】
上述した実施の形態に関し、さらに以下の付記を開示する。
【０１３３】
（付記１）ネットワークを構成する機器間の接続関係と前記各機器内で実行されるプロセスにより、最上位の機器内のプロセスから末端の機器内のプロセスまでの階層構造を示す階層構造情報を記憶する記憶装置にアクセス可能なコンピュータに、
前記ネットワーク内から異常な観測データを受信する受信工程と、
前記受信工程によって受信された観測データの送信元機器と前記観測データの発行元プロセスを検出する検出工程と、
前記階層構造情報を参照して、前記検出工程によって検出された送信元機器の種別に応じて前記発行元プロセスに関連する関連プロセスを特定する特定工程と、
前記特定工程によって特定された関連プロセスの状態に基づいて、障害発生箇所を決定する決定工程と、
前記決定工程によって決定された障害発生箇所を通知する通知工程と、
を実行させることを特徴とする監視プログラム。
【０１３４】
（付記２）前記特定工程は、
前記送信元機器がサーバである場合、前記発行元プロセスと同階層の残余のプロセスを前記関連プロセスとして特定することを特徴とする付記１に記載の監視プログラム。
【０１３５】
（付記３）前記決定工程は、
前記同階層の残余のプロセスの一部が異常である場合、前記発行元プロセスと前記一部のプロセスを障害発生箇所に決定することを特徴とする付記２に記載の監視プログラム。
【０１３６】
（付記４）前記特定工程は、
前記同階層の残余のプロセスがすべて異常である場合、前記送信元機器内における前記発行元プロセスの上位階層のプロセスを関連プロセスとしてあらたに特定し、
前記決定工程は、
前記特定工程によってあらたに関連プロセスとして特定された上位階層のプロセスの種別および状態に基づいて、障害発生箇所を決定することを特徴とする付記２に記載の監視プログラム。
【０１３７】
（付記５）前記決定工程は、
前記関連プロセスが上位との疎通確認に関するプロセスである場合、当該疎通確認に関するプロセスの状態に基づいて、障害発生箇所を決定することを特徴とする付記４に記載の監視プログラム。
【０１３８】
（付記６）前記決定工程は、
前記上位との疎通確認に関するプロセスが正常である場合、当該上位との疎通確認に関するプロセスより下位階層以降のプロセスのうち異常なプロセスを障害発生箇所に決定することを特徴とする付記５に記載の監視プログラム。
【０１３９】
（付記７）前記特定工程は、
前記上位との疎通確認に関するプロセスが正常である場合、前記サーバを構成するハードウェアを監視する監視プロセスを前記関連プロセスとしてあらたに特定し、
前記決定工程は、
前記監視プロセスにより異常が検知されたハードウェアを障害発生箇所に決定することを特徴とする付記５に記載の監視プログラム。
【０１４０】
（付記８）前記特定工程は、
前記上位との疎通確認に関するプロセスが異常である場合、前記送信元機器に対して上位階層の中継機器内のプロセスを前記関連プロセスとしてあらたに特定することを特徴とする付記５に記載の監視プログラム。
【０１４１】
（付記９）前記決定工程は、
前記上位階層の中継機器内のプロセスが正常である場合、前記上位との疎通確認に関するプロセスを障害発生箇所に決定することを特徴とする付記８に記載の監視プログラム。
【０１４２】
（付記１０）前記決定工程は、
前記上位階層の中継機器内のプロセスのうち、前記上位階層の中継機器の再起動に関するプロセスに異常がある場合、前記上位階層の中継機器の再起動に関するプロセスを障害発生箇所に決定することを特徴とする付記８に記載の監視プログラム。
【０１４３】
（付記１１）前記決定工程は、
前記上位階層の中継機器内のプロセスのうち、前記上位階層の中継機器と前記送信元機器との間のリンクに関するプロセスに異常がある場合、前記上位階層の中継機器と前記送信元機器との間のリンクを障害発生箇所に決定することを特徴とする付記８に記載の監視プログラム。
【０１４４】
（付記１２）前記特定工程は、
前記上位階層の中継機器内のプロセスのうち、上位との疎通確認に関するプロセスに異常がある場合、前記上位階層の中継機器に対してさらに上位階層の中継機器内のプロセスを前記関連プロセスとしてあらたに特定することを特徴とする付記８に記載の監視プログラム。
【０１４５】
（付記１３）前記決定工程は、
前記送信元機器が中継機器であり、かつ、前記発行元プロセスが前記送信元機器の再起動に関するプロセスである場合、当該プロセスを障害発生箇所に決定することを特徴とする付記１に記載の監視プログラム。
【０１４６】
（付記１４）前記特定工程は、
前記送信元機器が中継機器であり、かつ、前記発行元プロセスが前記送信元機器と当該送信元機器の下位階層の機器との間のリンクに関するプロセスである場合、前記下位階層の機器内の前記送信元機器への疎通確認に関するプロセスを前記関連プロセスとして特定することを特徴とする付記１に記載の監視プログラム。
【０１４７】
（付記１５）前記決定工程は、
前記送信元機器への疎通確認に関するプロセスに異常がある場合、前記送信元機器と前記下位階層の機器との間のリンクを障害発生箇所に決定することを特徴とする付記１４に記載の監視プログラム。
【０１４８】
（付記１６）前記決定工程は、
前記送信元機器への疎通確認に関するプロセスが正常である場合、前記発行元プロセスを障害発生箇所に決定することを特徴とする付記１４に記載の監視プログラム。
【０１４９】
（付記１７）前記特定工程は、
前記送信元機器が中継機器であり、かつ、前記発行元プロセスが上位との疎通確認に関するプロセスである場合、前記送信元機器に対し上位階層の機器内のプロセスを前記関連プロセスとして特定することを特徴とする付記１に記載の監視プログラム。
【０１５０】
（付記１８）前記特定工程は、
前記上位との疎通確認に関するプロセスが異常である場合、前記送信元機器に対して上位階層の中継機器内のプロセスを前記関連プロセスとしてあらたに特定することを特徴とする付記１７に記載の監視プログラム。
【０１５１】
（付記１９）前記決定工程は、
前記上位階層の中継機器内のプロセスが正常である場合、前記上位との疎通確認に関するプロセスを障害発生箇所に決定することを特徴とする付記１８に記載の監視プログラム。
【０１５２】
（付記２０）前記決定工程は、
前記上位階層の中継機器内のプロセスのうち、前記上位階層の中継機器の再起動に関するプロセスに異常がある場合、前記上位階層の中継機器の再起動に関するプロセスを障害発生箇所に決定することを特徴とする付記１８に記載の監視プログラム。
【０１５３】
（付記２１）前記決定工程は、
前記上位階層の中継機器内のプロセスのうち、前記上位階層の中継機器と前記送信元機器との間のリンクに関するプロセスに異常がある場合、前記上位階層の中継機器と前記送信元機器との間のリンクを障害発生箇所に決定することを特徴とする付記１８に記載の監視プログラム。
【０１５４】
（付記２２）前記特定工程は、
前記上位階層の中継機器内のプロセスのうち、上位との疎通確認に関するプロセスに異常がある場合、前記上位階層の中継機器に対してさらに上位階層の中継機器内のプロセスを前記関連プロセスとしてあらたに特定することを特徴とする付記１８に記載の監視プログラム。
【０１５５】
（付記２３）ネットワークを構成する機器間の接続関係と前記各機器内で実行されるプロセスにより、最上位の機器内のプロセスから末端の機器内のプロセスまでの階層構造を示す階層構造情報を記憶する記憶装置にアクセス可能な監視装置であって、
前記ネットワーク内から異常な観測データを受信する受信手段と、
前記受信手段によって受信された観測データの送信元機器と前記観測データの発行元プロセスを検出する検出手段と、
前記階層構造情報を参照して、前記検出手段によって検出された送信元機器の種別に応じて前記発行元プロセスに関連する関連プロセスを特定する特定手段と、
前記特定手段によって特定された関連プロセスの状態に基づいて、障害発生箇所を決定する決定手段と、
前記決定手段によって決定された障害発生箇所を通知する通知手段と、
を備えることを特徴とする監視装置。
【０１５６】
（付記２４）ネットワークを構成する機器間の接続関係と前記各機器内で実行されるプロセスにより、最上位の機器内のプロセスから末端の機器内のプロセスまでの階層構造を示す階層構造情報を記憶する記憶装置にアクセス可能なコンピュータが、
前記ネットワーク内から異常な観測データを受信する受信工程と、
前記受信工程によって受信された観測データの送信元機器と前記観測データの発行元プロセスを検出する検出工程と、
前記階層構造情報を参照して、前記検出工程によって検出された送信元機器の種別に応じて前記発行元プロセスに関連する関連プロセスを特定する特定工程と、
前記特定工程によって特定された関連プロセスの状態に基づいて、障害発生箇所を決定する決定工程と、
前記決定工程によって決定された障害発生箇所を通知する通知工程と、
を実行することを特徴とする監視方法。
【符号の説明】
【０１５７】
１００  ネットワーク
１０１  監視装置
７００  関連付けＤＢ
８００  観測結果ＤＢ
１７０１  取得部
１７０２  生成部
１７０３  判断部
１７０４  判断部
１７０５  判断部
１７０６  受信部
１７０７  検出部
１７０８  特定部
１７０９  決定部
１７１０  通知部
【図１】
0005454235.tif 000002
【図２】
0005454235.tif 000003
【図３】
0005454235.tif 000004
【図４】
0005454235.tif 000005
【図５】
0005454235.tif 000006
【図６】
0005454235.tif 000007
【図７】
0005454235.tif 000008
【図８】
0005454235.tif 000009
【図９】
0005454235.tif 000010
【図１０】
0005454235.tif 000011
【図１１】
0005454235.tif 000012
【図１２】
0005454235.tif 000013
【図１３】
0005454235.tif 000014
【図１４】
0005454235.tif 000015
【図１５】
0005454235.tif 000016
【図１６】
0005454235.tif 000017
【図１７】
0005454235.tif 000018
【図１８】
0005454235.tif 000019
【図１９】
0005454235.tif 000020
【図２０】
0005454235.tif 000021
【図２１】
0005454235.tif 000022
【図２２】
0005454235.tif 000023
【図２３】
0005454235.tif 000024
【図２４】
0005454235.tif 000025