(57)【要約】【課題】複雑な対象システムで発生した障害に対する対応手段を、容易に記述できるルールに基づいて、判定する。【解決手段】対象システムの構成アイテムに障害が発生した場合、対応手段判定部１３０は、階層構造記憶部１２１が記憶した階層構造に基づいて、障害が発生した構成アイテムの上位の構成アイテムを判定し、状態記憶部１２３が記憶した障害状態に基づいて、判定した上位の構成アイテムの障害状態を判定し、上位の構成アイテムに障害が発生していないと判定した場合に、対応手段記憶部が記憶したアイテム正常対応手段に基づいて、その上位の構成アイテムに障害が発生していない場合の対応手段を、その障害に対する対応手段と判定する。【選択図】図６
2010146154.tif 000002
【特許請求の範囲】
【請求項１】
複数の構成アイテムが階層状に結合してなる対象システムにおいて発生した障害に対する対応手段を判定する障害対応手段判定装置において、
データを記憶する記憶装置と、データを処理する処理装置と、階層構造記憶部と、状態記憶部と、対応手段記憶部と、対応手段判定部とを有し、
上記階層構造記憶部は、上記記憶装置を用いて、上記対象システムを構成する複数の構成アイテムの階層構造を記憶し、
上記状態記憶部は、上記記憶装置を用いて、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生しているか否かを障害状態として記憶し、
上記対応手段記憶部は、上記記憶装置を用いて、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生していない場合の対応手段を、アイテム正常対応手段として記憶し、
上記対応手段判定部は、上記処理装置を用いて、上記複数の構成アイテムのいずれかに障害が発生した場合に、上記階層構造記憶部が記憶した階層構造に基づいて、障害が発生した構成アイテムの上位の構成アイテムを判定し、上記状態記憶部が記憶した障害状態に基づいて、判定した上位の構成アイテムに障害が発生しているか否かを判定し、上記上位の構成アイテムに障害が発生していないと判定した場合に、上記対応手段記憶部が記憶したアイテム正常対応手段に基づいて、上記上位の構成アイテムに障害が発生していない場合の対応手段を、上記障害に対する対応手段と判定することを特徴とする障害対応手段判定装置。
【請求項２】
上記対応手段記憶部は、更に、上記記憶装置を用いて、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生した場合の対応手段を、アイテム障害対応手段として記憶し、
上記対応手段判定部は、更に、上記処理装置を用いて、上記複数の構成アイテムのいずれかに障害が発生した場合に、上記階層構造記憶部が記憶した階層構造に基づいて、障害が発生した構成アイテムの下位の構成アイテムを判定し、上記状態記憶部が記憶した障害状態に基づいて、判定した下位の構成アイテムに障害が発生しているか否かを判定し、上記下位の構成アイテムに障害が発生していないと判定した場合に、上記対応手段記憶部が記憶したアイテム障害対応手段に基づいて、障害が発生した構成アイテムに障害が発生した場合の対応手段を、上記障害に対する対応手段と判定することを特徴とする請求項１に記載の障害対応手段判定装置。
【請求項３】
上記障害対応手段判定装置は、更に、階層構造入力部を有し、
上記階層構造入力部は、上記処理装置を用いて、上記対象システムを構成する複数の構成アイテムの階層構造を入力し、
上記階層構造記憶部は、上記処理装置を用いて、上記階層構造入力部が入力した階層構造を記憶することを特徴とする請求項１または請求項２に記載の障害対応手段判定装置。
【請求項４】
上記障害対応手段判定装置は、更に、障害検知部を有し、
上記障害検知部は、上記処理装置を用いて、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生しているか否かを検知し、
上記状態記憶部は、上記記憶装置を用いて、上記障害検知部が検知した結果に基づいて、上記構成アイテムについての障害状態を記憶することを特徴とする請求項１乃至請求項３のいずれかに記載の障害対応手段判定装置。
【請求項５】
上記障害対応手段判定装置は、更に、対応手段出力部を有し、
上記対応手段出力部は、上記処理装置を用いて、上記対応手段判定部が判定した対応手段を出力することを特徴とする請求項１乃至請求項４のいずれかに記載の障害対応手段判定装置。
【請求項６】
データを記憶する記憶装置と、データを処理する処理装置とを有するコンピュータが実行することにより、上記コンピュータが請求項１乃至請求項５のいずれかに記載の障害対応手段判定装置として機能することを特徴とするコンピュータプログラム。
【請求項７】
データを記憶する記憶装置と、データを処理する処理装置とを有する障害対応手段判定装置が、複数の構成アイテムが階層状に結合してなる対象システムにおいて発生した障害に対する対応手段を判定する障害対応手段判定方法において、
上記記憶装置が、上記対象システムを構成する複数の構成アイテムの階層構造を記憶し、
上記記憶装置が、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生しているか否かを障害状態として記憶し、
上記記憶装置が、上記構成アイテムに障害が発生していない場合の対応手段を、アイテム正常対応手段として記憶し、
上記処理装置が、上記複数の構成アイテムのいずれかに障害が発生した場合に、上記記憶装置が記憶した階層構造に基づいて、障害が発生した構成アイテムの上位の構成アイテムを判定し、上記記憶装置が記憶した障害状態に基づいて、判定した上位の構成アイテムに障害が発生しているか否かを判定し、上記上位の構成アイテムに障害が発生していないと判定した場合に、上記記憶装置が記憶したアイテム正常対応手段に基づいて、上記上位の構成アイテムに障害が発生していない場合の対応手段を、上記障害に対する対応手段と判定することを特徴とする障害対応手段判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の構成アイテムが階層的に結合してなるシステムに障害が発生した場合に、障害に対する対応手段を判定する障害対応手段判定装置に関する。
【背景技術】
【０００２】
システムに障害が発生した場合に障害に対する対応手段を判定するため、あらかじめ障害の状況と対応手段との関係をルール化して記述しておき、そのルールに基づいて、対応手段を判定する障害対応手段判定装置がある。
【特許文献１】特開２００４−２８０４００号公報
【特許文献２】特開２００５−２０２４４６号公報
【特許文献３】特開２００７−２０７２１９号公報
【特許文献４】特開２００６−２４４４０４号公報
【特許文献５】特開２００５−２７５４３８号公報
【特許文献６】特開２００３−２２２５９号公報
【特許文献７】特開２００４−２２７２８８号公報
【特許文献８】特開２００４−３８５３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
システムの構造が複雑になればなるほど、対応手段を判定するためのルールも複雑化するので、あらかじめルールを記述するのが困難になる。
この発明は、例えば上記のような課題を解決するためになされたものであり、複雑なシステムを対象とする場合であっても、容易に記述できるルールに基づいて、障害に対する対応手段を判定することを目的とする。
【課題を解決するための手段】
【０００４】
この発明にかかる障害対応手段判定装置は、
複数の構成アイテムが階層状に結合してなる対象システムにおいて発生した障害に対する対応手段を判定する障害対応手段判定装置において、
データを記憶する記憶装置と、データを処理する処理装置と、階層構造記憶部と、状態記憶部と、対応手段記憶部と、対応手段判定部とを有し、
上記階層構造記憶部は、上記記憶装置を用いて、上記対象システムを構成する複数の構成アイテムの階層構造を記憶し、
上記状態記憶部は、上記記憶装置を用いて、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生しているか否かを障害状態として記憶し、
上記対応手段記憶部は、上記記憶装置を用いて、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生していない場合の対応手段を、アイテム正常対応手段として記憶し、
上記対応手段判定部は、上記処理装置を用いて、上記複数の構成アイテムのいずれかに障害が発生した場合に、上記階層構造記憶部が記憶した階層構造に基づいて、障害が発生した構成アイテムの上位の構成アイテムを判定し、上記状態記憶部が記憶した障害状態に基づいて、判定した上位の構成アイテムに障害が発生しているか否かを判定し、上記上位の構成アイテムに障害が発生していないと判定した場合に、上記対応手段記憶部が記憶したアイテム正常対応手段に基づいて、上記上位の構成アイテムに障害が発生していない場合の対応手段を、上記障害に対する対応手段と判定することを特徴とする。
【発明の効果】
【０００５】
この発明にかかる障害対応手段判定装置によれば、階層構造記憶部が記憶した階層構造に基づいて、対応手段判定部が対応手段を判定するので、対応手段記憶部が記憶する対応手段は、その構成アイテムの上位及び下位の構成アイテムに関する知識さえあれば設定することができ、対象システム全体の構成について知る必要がない。これにより、矛盾のないルールを容易に設定することができる。
【発明を実施するための最良の形態】
【０００６】
実施の形態１．
実施の形態１について、図１〜図１１を用いて説明する。
【０００７】
障害対応手段判定装置１００は、対象システムに障害が発生した場合に、その障害に対応するための対応手段を判定する。障害対応手段判定装置１００は、判定した対応手段を管理者に通知するなどの措置を取る。
対象システムは、複数の構成アイテムからなる。構成アイテムは、階層状に結合している。この実施の形態では、サーバシステム３００を、対象システムの例として説明する。
【０００８】
図１は、この実施の形態におけるサーバシステム３００の構成の一例を示すシステム構成図である。
サーバシステム３００（対象システム）は、インターネット９４０を介してサービスを提供するシステムである。
サーバシステム３００は、ファイアウォール装置３１０、二つのサーバ装置３２１，３２２、サービス提供用のＬＡＮ９４２（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、管理用のＬＡＮ９４３を有する。
【０００９】
ファイアウォール装置３１０は、インターネット９４０と、ＬＡＮ９４２とを接続し、パケットを中継する。
サーバ装置３２１，３２２は、ＬＡＮ９４２を介してファイアウォール装置３１０と接続し、インターネット９４０を介してサービスを提供する。サーバ装置３２１，３２２は、同一のもしくは異なるサービスを提供する。また、サーバ装置３２２は、サーバ装置３２１が落ちたときの予備として機能し、サーバ装置３２１が提供するサービスを、サーバ装置３２１の代わりに提供することができる。逆に、サーバ装置３２１は、サーバ装置３２２が落ちたときの予備として機能し、サーバ装置３２２が提供するサービスを、サーバ装置３２２の代わりに提供することができる。
また、ファイアウォール装置３１０、サーバ装置３２１，３２２は、管理用のＬＡＮ９４３にも接続している。
【００１０】
障害対応手段判定装置１００は、ＬＡＮ９４２，９４３に接続し、ファイアウォール装置３１０、サーバ装置３２１，３２２の障害に関する情報を収集する。障害対応手段判定装置１００は、例えば、ＬＡＮ９４３を介して、ファイアウォール装置３１０、サーバ装置３２１，３２２のログを収集し、収集したログを解析することにより、障害に関する情報を収集する。また、障害対応手段判定装置１００は、ＬＡＮ９４２を介して、ファイアウォール装置３１０、サーバ装置３２１，３２２がピン（ｐｉｎｇ）応答をするか否かを監視し、ファイアウォール装置３１０、サーバ装置３２１，３２２が正常に機能しているか否かについての情報を収集する。
【００１１】
図２は、この実施の形態におけるサーバ装置３２１，３２２のハードウェア構成の一例を示すブロック構成図である。
サーバ装置３２１，３２２は、ＣＰＵ３３１（中央処理装置）、メモリ３３２、システムＨＤＤ３３３（磁気ディスク装置）、ＮＩＣ３３４，３３５（ネットワークインターフェース装置）、レイドＨＤＤ３５１を有する。
ＮＩＣ３３４は、ＬＡＮ９４２に接続している。ＮＩＣ３３５は、ＬＡＮ９４３に接続している。
レイドＨＤＤ３５１は、レイド（ＲＡＩＤ：Ｒｅｄｕｎｄａｎｔ  Ａｒｒａｙｓ  ｏｆ  Ｉｎｅｘｐｅｎｓｉｖｅ  Ｄｉｓｋｓ）接続された複数のＨＤＤからなる仮想ＨＤＤである。レイドＨＤＤ３５１は、レイド制御装置３６１、レイドＨＤＤ３５２〜３５４を有する。レイド制御装置３６１は、レイドＨＤＤ３５２〜３５４をレイド５接続している。
レイドＨＤＤ３５２〜３５４もまた、レイド接続された複数のＨＤＤからなる仮想ＨＤＤである。レイドＨＤＤ３５２は、レイド制御装置３６２、ＨＤＤ３７１，３７２を有する。レイド制御装置３６２は、ＨＤＤ３７１，３７２をレイド１接続している。レイドＨＤＤ３５３は、レイド制御装置３６３、ＨＤＤ３７３，３７４を有する。レイド制御装置３６３は、ＨＤＤ３７３，３７４をレイド１接続している。レイドＨＤＤ３５４は、レイド制御装置３６４、ＨＤＤ３７５，４７６を有する。レイド制御装置３６４は、ＨＤＤ３７５，３７６をレイド１接続している。
【００１２】
図３は、この実施の形態におけるサーバシステム３００の構成アイテムの階層関係の一例を示す図である。
最上位の構成アイテムは、サーバシステム３００である。
サーバシステム３００を構成する下位の構成アイテムには、ファイアウォール装置３１０、サーバ装置３２１，３２２、ＬＡＮ９４２，９４３などがある。
サーバ装置３２２を構成する更に下位の構成アイテムには、ＣＰＵ３３１、メモリ３３２、システムＨＤＤ３３３、ＮＩＣ３３４，３３５、レイドＨＤＤ３５１などがある。
レイドＨＤＤ３５１を構成する更に下位の構成アイテムには、レイド制御装置３６１、レイドＨＤＤ３５２〜３５４などがある。
レイドＨＤＤ３５２を構成する更に下位の構成アイテムには、レイド制御装置３６２、ＨＤＤ３７１，３７２などがある。
ＨＤＤ３７１を構成する更に下位の構成アイテムには、筐体、磁気ヘッド、磁気ディスクなどがある。
このように、１以上の下位の構成アイテムが集まって、上位の構成アイテムを構成し、これを再帰的に繰り返すことにより、サーバシステム３００が構成されている。
【００１３】
図４は、この実施の形態における障害対応手段判定装置１００の外観の一例を示す斜視図である。
障害対応手段判定装置１００は、システムユニット９１０、ＣＲＴ（Ｃａｔｈｏｄｅ・Ｒａｙ・Ｔｕｂｅ）やＬＣＤ（液晶）の表示画面を有する表示装置９０１、キーボード９０２（Ｋｅｙ・Ｂｏａｒｄ：Ｋ／Ｂ）、マウス９０３、ＦＤＤ９０４（Ｆｌｅｘｉｂｌｅ・Ｄｉｓｋ・Ｄｒｉｖｅ）、コンパクトディスク装置９０５（ＣＤＤ）、プリンタ装置９０６、スキャナ装置９０７などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。
システムユニット９１０は、コンピュータであり、ファクシミリ機９３２、電話器９３１とケーブルで接続され、また、ローカルエリアネットワーク９４２（ＬＡＮ）、ゲートウェイ９４１を介してインターネット９４０に接続されている。
【００１４】
図５は、この実施の形態における障害対応手段判定装置１００のハードウェア資源の一例を示す図である。
障害対応手段判定装置１００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信装置９１５、表示装置９０１、キーボード９０２、マウス９０３、ＦＤＤ９０４、ＣＤＤ９０５、プリンタ装置９０６、スキャナ装置９０７、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。
ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、ＦＤＤ９０４、ＣＤＤ９０５、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。
通信装置９１５、キーボード９０２、スキャナ装置９０７、ＦＤＤ９０４などは、入力部、入力装置の一例である。
また、通信装置９１５、表示装置９０１、プリンタ装置９０６などは、出力部、出力装置の一例である。
【００１５】
通信装置９１５は、ファクシミリ機９３２、電話器９３１、ＬＡＮ９４２等に接続されている。通信装置９１５は、ＬＡＮ９４２に限らず、インターネット９４０、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）などに接続されていても構わない。インターネット９４０或いはＩＳＤＮ等のＷＡＮに接続されている場合、ゲートウェイ９４１は不用となる。
磁気ディスク装置９２０には、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。
【００１６】
上記プログラム群９２３には、以下に述べる実施の形態の説明において「〜部」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、以下に述べる実施の形態の説明において、「〜の判定結果」、「〜の計算結果」、「〜の処理結果」として説明する情報やデータや信号値や変数値やパラメータが、「〜ファイル」や「〜データベース」の各項目として記憶されている。「〜ファイル」や「〜データベース」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリになどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、以下に述べる実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、ＣＤＤ９０５のコンパクトディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｋ）等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
【００１７】
また、以下に述べる実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、以下に述べる「〜部」としてコンピュータを機能させるものである。あるいは、以下に述べる「〜部」の手順や方法をコンピュータに実行させるものである。
【００１８】
図６は、この実施の形態における障害対応手段判定装置１００の機能ブロックの一例を示すブロック構成図である。
障害対応手段判定装置１００は、階層構造入力部１１１、対応手段入力部１１２、障害検知部１１３、階層構造記憶部１２１、対応手段記憶部１２２、状態記憶部１２３、対応手段判定部１３０、対応手段出力部１５１を有する。
【００１９】
階層構造入力部１１１は、キーボード９０２などの入力装置を用いて、サーバシステム３００の階層構造の少なくとも一部を表わすデータを入力する。階層構造入力部１１１は、ＣＰＵ９１１を用いて、入力したデータを出力する。
例えば、管理者がサーバシステム３００にレイドＨＤＤ３５１を追加したとする。管理者が障害対応手段判定装置１００のキーボード９０２などを操作することにより、階層構造入力部１１１は、レイドＨＤＤ３５１内部の階層構造や、レイドＨＤＤ３５１の上位の構成アイテム（この例では、サーバ装置３２２）を表わすデータを入力する。
【００２０】
階層構造記憶部１２１は、ＣＰＵ９１１を用いて、階層構造入力部１１１が出力したデータを入力する。階層構造記憶部１２１は、ＣＰＵ９１１を用いて、入力したデータに基づいて、サーバシステム３００の階層構造を表わすデータ（以下「階層構造データ４１０」と呼ぶ。）を生成する。階層構造記憶部１２１は、磁気ディスク装置９２０を用いて、生成した階層構造データ４１０を記憶する。
【００２１】
図７は、この実施の形態における階層構造記憶部１２１が記憶する階層構造データ４１０の一例を示す図である。
階層構造データ４１０は、複数のレコードを有する。階層構造データ４１０の各レコードは、アイテムＩＤ４１１（Ｉｄｅｎｔｉｆｉｅｒ）、アイテム名称４１２、上位アイテムＩＤ４１３、下位アイテムＩＤ４１４を有する。
アイテムＩＤ４１１は、サーバシステム３００の構成アイテムを一意に識別するための識別データである。
アイテム名称４１２は、アイテムＩＤ４１１によって識別される構成アイテムの名称を表わす文字列データである。
上位アイテムＩＤ４１３は、アイテムＩＤ４１１によって識別される構成アイテムの上位の構成アイテムのアイテムＩＤを表わすデータである。なお、アイテムＩＤ４１１によって識別される構成アイテムが最上位の構成アイテムであって上位の構成アイテムが存在しない場合、上位アイテムＩＤ４１３は、上位の構成アイテムが存在しないことを表わすため、いずれのアイテムＩＤとも異なるデータ（例えば「ｉ０」）とする。
下位アイテムＩＤ４１４は、アイテムＩＤ４１１によって識別される構成アイテムの下位の構成アイテムのアイテムＩＤのリストを表わすデータである。
この例に示した階層構造データ４１０は、例えば、アイテムＩＤ「ｉ４」を与えられたサーバ装置３２２は、アイテムＩＤ「ｉ１」であるサーバシステム３００の下位の構成アイテムであり、アイテムＩＤ「ｉ２３」〜「ｉ２８」である構成アイテムの上位の構成アイテムであることを表わしている。
なお、上位アイテムＩＤ４１３と下位アイテムＩＤ４１４とは重複する情報であるから、階層構造データ４１０を小さくするため、階層構造記憶部１２１は、上位アイテムＩＤ４１３と下位アイテムＩＤ４１４とのうちいずれか一方のみを記憶する構成としてもよい。
【００２２】
例えば、管理者がサーバシステム３００にレイドＨＤＤ３５１を追加して、階層構造入力部１１１が、新たに追加した構成アイテムが「レイドＨＤＤ３５１」であり、その上位の構成アイテムが「サーバ装置３２２」であることを表わすデータを入力したとする。階層構造記憶部１２１は、ＣＰＵ９１１を用いて、使用されていなかったアイテムＩＤ「ｉ２８」を、「レイドＨＤＤ３５１」のアイテムＩＤとして割り当てる。階層構造記憶部１２１は、ＣＰＵ９１１を用いて、階層構造データ４１０を検索して、「サーバ装置３２２」のアイテムＩＤ「ｉ４」を取得する。階層構造記憶部１２１は、磁気ディスク装置９２０を用いて、アイテムＩＤ４１１を「ｉ２８」、アイテム名称４１２を「レイドＨＤＤ３５１」、上位アイテムＩＤ４１３を「ｉ４」としたレコードを追加して記憶する。また、階層構造記憶部１２１は、ＣＰＵ９１１を用いて、アイテムＩＤ４１１が、レイドＨＤＤ３５１の上位の構成アイテムであるサーバ装置３２２のアイテムＩＤ「ｉ４」であるレコードを更新し、磁気ディスク装置９２０を用いて、レイドＨＤＤ３５１のアイテムＩＤ「ｉ２８」を下位アイテムＩＤ４１４に追加したレコードを記憶する。
【００２３】
図６に戻り、障害対応手段判定装置１００の機能ブロックの説明を続ける。
【００２４】
対応手段入力部１１２は、キーボード９０２などの入力装置を用いて、サーバシステム３００の構成アイテムそれぞれについて、障害に対応する対応手段を表わすデータを入力する。対応手段入力部１１２は、ＣＰＵ９１１を用いて、入力したデータを出力する。
対応手段には、大きく分けて２種類のものがある。一つは、その構成アイテムに障害が発生した場合の対応手段（以下「アイテム障害対応手段」と呼ぶ。）である。アイテム障害対応手段は、障害の種類に応じて、更に複数の対応手段に分かれていてもよい。もう一つは、その構成アイテムの下位の構成アイテムに障害が発生したが、その構成アイテム自体は正常に動作している場合の対応手段（以下「アイテム正常対応手段」と呼ぶ。）である。例えば、レイドＨＤＤ３５２は、２つのＨＤＤ３７１，３７２がレイド１接続した仮想ＨＤＤであるから、ＨＤＤ７３１，７３２のいずれか一方に障害が発生しても、縮退モードによる動作が可能である。したがって、その上位の構成アイテムであるレイドＨＤＤ３５１は、正常に動作する。アイテム正常対応手段は、障害の発生した下位の構成アイテムの種類に応じて、更に複数の対応手段に分かれていてもよい。
【００２５】
対応手段記憶部１２２は、ＣＰＵ９１１を用いて、対応手段入力部１１２が出力したデータを入力する。対応手段記憶部１２２は、ＣＰＵ９１１を用いて、入力したデータに基づいて、サーバシステム３００の障害に対応する対応手段を表わすデータ（以下「対応手段データ４２０」と呼ぶ。）を生成する。対応手段記憶部１２２は、磁気ディスク装置９２０を用いて、生成した対応手段データ４２０を記憶する。
【００２６】
図８は、この実施の形態における対応手段記憶部１２２が記憶する対応手段データ４２０の一例を示す図である。
対応手段データ４２０は、対応手段関係データ４２１、障害データ４３０、アイテム対応手段データ４４０を有する。
【００２７】
対応手段関係データ４２１は、どの構成アイテムにどの障害が発生した場合（あるいは障害が発生していない場合）に、どの対応手段を選択するかを表わす。対応手段関係データ４２１は、複数のレコードを有する。対応手段関係データ４２１の各レコードは、対応手段関係ＩＤ４２２、アイテムＩＤ４２３、障害ＩＤ４２４、アイテム対応手段ＩＤ４２５を有する。
対応手段関係ＩＤ４２２は、対応手段関係データ４２１のレコードを一意に識別するための識別データである。
アイテムＩＤ４２３は、対応手段関係ＩＤ４２２によって識別されるレコードを適用する構成アイテムのアイテムＩＤを表わすデータである。
障害ＩＤ４２４は、対応手段関係ＩＤ４２２によって識別されるレコードを適用する障害の障害ＩＤを表わすデータである。
アイテム対応手段ＩＤ４２５は、アイテムＩＤ４２３によって識別される構成アイテムの障害状態が、障害ＩＤ４２４によって識別される障害状態である場合に選択する対応手段のアイテム対応手段ＩＤを表わすデータである。
例えば、対応手段関係ＩＤ「Ｒ１」によって識別されるレコードは、アイテムＩＤ「ｉ３」によって識別される構成アイテム（図７に示した階層構造データ４１０によれば「サーバ装置３２１」）が、障害ＩＤ「ｆ０」によって識別される障害状態である場合に、アイテム対応手段ＩＤ「ｒ０」によって識別される対応手段を選択することを表わしている。
【００２８】
障害データ４３０は、障害状態の種別を表わす。障害状態とは、構成アイテムが正常に動作しているか障害が発生しているか、障害が発生している場合はどのような障害が発生しているか、という状態のことである。障害データ４３０は、複数のレコードを有する。障害データ４３０の各レコードは、障害ＩＤ４３１、障害名称４３２を有する。
障害ＩＤ４３１は、障害状態の種別を一意に識別するための識別データである。
障害名称４３２は、障害ＩＤ４３１によって識別される障害状態の種別の名称を表わす文字列データである。
例えば、障害ＩＤ「ｆ０」によって識別される障害状態の種別は、「正常」という名称であることを表わしている。
【００２９】
アイテム対応手段データ４４０は、障害に対する対応手段を表わす。アイテム対応手段データ４４０は、複数のレコードを有する。アイテム対応手段データ４４０の各レコードは、アイテム対応手段ＩＤ４４１、アイテム対応手段内容データ４４２を有する。
アイテム対応手段ＩＤ４４１は、対応手段を一意に識別するための識別データである。
アイテム対応手段内容データ４４２は、アイテム対応手段ＩＤ４４１によって識別される対応手段の内容を表わす文字列データである。
例えば、アイテム対応手段ＩＤ「ｒ０」によって識別される対応手段は、「静観」という内容であることを表わしている。
【００３０】
これらを総合すると、例えば、対応手段関係ＩＤ「Ｒ１」によって識別されるレコードは、構成アイテム「サーバ装置３２１」の障害状態が「正常」である場合に、「静観」という対応手段を選択することを表わしている。
【００３１】
図６に戻り、障害対応手段判定装置１００の機能ブロックの説明を続ける。
【００３２】
障害検知部１１３は、ＣＰＵ９１１を用いて、サーバシステム３００の構成アイテムそれぞれについて、障害が発生しているか否か、障害が発生している場合はどのような障害が発生しているかを検知する。障害検知部１１３は、ＣＰＵ９１１を用いて、検知した結果に基づいて、構成アイテムの障害状態を表わすデータを生成する。障害検知部１１３は、ＣＰＵ９１１を用いて、生成したデータを出力する。
例えば、障害検知部１１３は、ＣＰＵ９１１を用いて、ＬＡＮ９４２を介して、ファイアウォール装置３１０、サーバ装置３２１，３２２それぞれに対して、ピンコマンドを送信し、送信したピンコマンドに対するピン応答を受信する。障害検知部１１３は、ＣＰＵ９１１を用いて、ピン応答を受信したか否か、受信した場合は所定の時間（以下「正常応答時間」と呼ぶ。）以内に受信したか否かを判定する。障害検知部１１３は、ＣＰＵ９１１を用いて、正常応答時間以内にピン応答を受信した場合、その構成アイテムの障害状態が「正常」であると判定し、正常応答時間を過ぎてからピン応答を受信した場合、その構成アイテムの障害状態が「ピン応答遅延」であると判定し、ピン応答を受信しなかった場合、その構成アイテムの障害状態が「ピン応答なし」であると判定する。
あるいは、障害検知部１１３は、ＣＰＵ９１１を用いて、ＬＡＮ９４３を介して、ファイアウォール装置３１０、サーバ装置３２１，３２２の構成アイテムそれぞれに関するログを収集する。障害検知部１１３は、ＣＰＵ９１１を用いて、収集したログを解析して、各構成アイテムの障害状態を判定する。
【００３３】
状態記憶部１２３は、ＣＰＵ９１１を用いて、障害検知部１１３が出力したデータを入力する。状態記憶部１２３は、ＣＰＵ９１１を用いて、障害検知部１１３が入力したデータに基づいて、サーバシステム３００の構成アイテムそれぞれについて、障害状態を表わすデータ（以下「障害状態データ４５０」と呼ぶ。）を生成する。状態記憶部１２３は、磁気ディスク装置９２０を用いて、生成した障害状態データ４５０を記憶する。
【００３４】
図９は、この実施の形態における状態記憶部１２３が記憶する障害状態データ４５０の一例を示す図である。
障害状態データ４５０は、複数のレコードを有する。障害状態データ４５０の各レコードは、アイテムＩＤ４５１、障害ＩＤ４５２を有する。
アイテムＩＤ４５１は、構成アイテムのアイテムＩＤを表わす。
障害ＩＤ４５２は、アイテムＩＤ４５１によって識別される構成アイテムの障害状態の障害ＩＤを表わす。
例えば、アイテムＩＤ「ｉ５２」によって識別される構成アイテム（図７に示した階層構造データ４１０によれば「ＨＤＤ３７１」）は、障害状態が障害ＩＤ「ｆ５」によって識別される障害状態（図８に示した障害データ４３０によれば「読み出しエラー」）であることを表わしている。
この例において図７〜図９に示したデータを総合すると、ＨＤＤ３７１の磁気ヘッドに異常があるためにＨＤＤ３７１が「読み出しエラー」となり、レイドＨＤＤ３５２が「縮退モード」で動作しているが、その上位の構成アイテムであるレイドＨＤＤ３５１は、「正常」に動作していることを表わしている。
【００３５】
図６に戻り、障害対応手段判定装置１００の機能ブロックの説明を続ける。
【００３６】
対応手段判定部１３０は、ＣＰＵ９１１を用いて、階層構造記憶部１２１が記憶した階層構造データ４１０と、対応手段記憶部１２２が記憶した対応手段関係データ４２１・障害データ４３０・アイテム対応手段データ４４０と、状態記憶部１２３が記憶した障害状態データ４５０とに基づいて、サーバシステム３００に発生した障害に対する対応手段を判定する。対応手段判定部１３０は、障害発生判定部１３１、アイテム状態記憶部１３２、上位アイテム判定部１３３、上位状態判定部１３４、正常対応手段取得部１３５、障害対応手段取得部１３６を有する。
【００３７】
障害発生判定部１３１は、ＣＰＵ９１１を用いて、障害検知部１１３が出力したデータを入力する。障害発生判定部１３１は、ＣＰＵ９１１を用いて、入力したデータに基づいて、サーバシステム３００の構成アイテムのいずれかに障害が発生しているか否かを判定する。障害が発生していると判定した場合、障害発生判定部１３１は、ＣＰＵ９１１を用いて、障害が発生している構成アイテムのアイテムＩＤと、そのアイテムＩＤに発生している障害の障害ＩＤとを出力する。
【００３８】
アイテム状態記憶部１３２は、障害に対する対応手段を判定するため、現在注目している構成アイテムについての障害状態を記憶する。
アイテム状態記憶部１３２は、ＣＰＵ９１１を用いて、障害発生判定部１３１が出力したアイテムＩＤと障害ＩＤとを入力する。アイテム状態記憶部１３２は、磁気ディスク装置９２０を用いて、入力したアイテムＩＤと障害ＩＤとの組（以下「アイテム状態データ」と呼ぶ。）を記憶する。
【００３９】
上位アイテム判定部１３３は、ＣＰＵ９１１を用いて、アイテム状態記憶部１３２が記憶したアイテム状態データを入力する。上位アイテム判定部１３３は、ＣＰＵ９１１を用いて、入力したアイテム状態データに含まれるアイテムＩＤに基づいて、階層構造記憶部１２１が記憶した階層構造データ４１０を検索して、そのアイテムＩＤによって識別される構成アイテムの上位の構成アイテム（以下「上位アイテム」と呼ぶ。）を識別するアイテムＩＤである上位アイテムＩＤ４１３を取得する。上位アイテム判定部１３３は、ＣＰＵ９１１を用いて、取得した上位アイテムＩＤを出力する。
【００４０】
上位状態判定部１３４は、ＣＰＵ９１１を用いて、上位アイテム判定部１３３が出力した上位アイテムＩＤを入力する。アイテム状態記憶部１３２が記憶したアイテム状態データに含まれるアイテムＩＤによって識別される構成アイテムに上位アイテムが存在する場合、上位状態判定部１３４は、ＣＰＵ９１１を用いて、入力した上位アイテムＩＤに基づいて、状態記憶部１２３が記憶した障害状態データ４５０を検索して、その上位アイテムの障害ＩＤを取得する。上位状態判定部１３４は、ＣＰＵ９１１を用いて、入力した上位アイテムＩＤと、取得した障害ＩＤとを出力する。
【００４１】
アイテム状態記憶部１３２は、更に、ＣＰＵ９１１を用いて、上位状態判定部１３４が出力した上位アイテムＩＤと、障害ＩＤとを入力する。入力した障害ＩＤに基づいて、その上位アイテムの障害状態が「正常」でない場合、アイテム状態記憶部１３２は、磁気ディスク装置９２０を用いて、入力した上位アイテムＩＤと障害ＩＤとの組を、アイテム状態データとして、上書きして記憶する。
【００４２】
正常対応手段取得部１３５は、ＣＰＵ９１１を用いて、上位状態判定部１３４が出力した上位アイテムＩＤと障害ＩＤとを入力する。正常対応手段取得部１３５は、ＣＰＵ９１１を用いて、入力した障害ＩＤに基づいて、その上位アイテムの障害状態が「正常」である場合に、入力した上位アイテムＩＤと障害ＩＤとに基づいて、対応手段記憶部１２２が記憶した対応手段関係データ４２１を検索して、その上位アイテムＩＤによって識別される構成アイテムの障害状態が「正常」である場合のアイテム対応手段ＩＤ４２５を取得する。正常対応手段取得部１３５は、ＣＰＵ９１１を用いて、取得したアイテム対応手段ＩＤを出力する。
【００４３】
障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、上位アイテム判定部１３３が出力した上位アイテムＩＤを入力する。入力した上位アイテムＩＤに基づいて、アイテム状態記憶部１３２が記憶したアイテム状態データに含まれるアイテムＩＤによって識別される構成アイテムに上位アイテムが存在しない場合、障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、アイテム状態記憶部１３２が記憶したアイテム状態データを入力する。障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、入力したアイテム状態データに含まれるアイテムＩＤと障害ＩＤとに基づいて、対応手段記憶部１２２が記憶した対応手段関係データ４２１を検索して、そのアイテムＩＤによって識別される構成アイテムの障害状態が、その障害ＩＤによって識別される障害状態である場合のアイテム対応手段ＩＤ４２５を取得する。障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、取得したアイテム対応手段ＩＤを出力する。
【００４４】
対応手段出力部１５１は、ＣＰＵ９１１を用いて、対応手段判定部１３０（正常対応手段取得部１３５もしくは障害対応手段取得部１３６）が出力したアイテム対応手段ＩＤを入力する。対応手段出力部１５１は、ＣＰＵ９１１を用いて、入力したアイテム対応手段ＩＤに基づいて、対応手段記憶部１２２が記憶したアイテム対応手段データ４４０を検索して、そのアイテム対応手段ＩＤによって識別される対応手段のアイテム対応手段内容データ４４２を取得する。対応手段出力部１５１は、ＣＰＵ９１１を用いて、取得したアイテム対応手段内容データを出力する。例えば、対応手段出力部１５１は、ＣＲＴなどの表示装置９０１を用いて、取得したアイテム対応手段内容データが表わす文字列を表示して、管理者に通知する。管理者は、表示された文字列にしたがって、障害に対する対応手段を講じる。
【００４５】
図１０は、この実施の形態における対応手段判定部１３０が障害に対する対応手段を判定する対応手段判定処理Ｓ５１０の流れの一例を示すフローチャート図である。
対応手段判定処理Ｓ５１０は、障害発生判定工程Ｓ５１１、アイテム状態記憶工程Ｓ５１２、上位アイテム判定工程Ｓ５１３、上位状態判定工程Ｓ５１４、正常対応手段取得工程Ｓ５１５、障害対応手段取得工程Ｓ５１６を有する。
【００４６】
障害発生判定工程Ｓ５１１において、障害発生判定部１３１は、ＣＰＵ９１１を用いて、障害検知部１１３が出力したデータを入力する。障害発生判定部１３１は、ＣＰＵ９１１を用いて、障害が発生しているか否かを判定する。
障害が発生していると障害発生判定部１３１が判定した場合、障害発生判定部１３１は、ＣＰＵ９１１を用いて、障害が発生している構成アイテムのアイテムＩＤと、その障害の障害ＩＤとを出力し、対応手段判定部１３０は、ＣＰＵ９１１を用いて、アイテム状態記憶工程Ｓ５１２へ進む。
障害が発生していないと障害発生判定部１３１が判定した場合、対応手段判定部１３０は、ＣＰＵ９１１を用いて、対応手段判定処理Ｓ５１０を終了する。
【００４７】
アイテム状態記憶工程Ｓ５１２において、アイテム状態記憶部１３２は、ＣＰＵ９１１を用いて、障害発生判定工程Ｓ５１１で障害発生判定部１３１が出力したアイテムＩＤ及び障害ＩＤ、もしくは、後述する上位アイテム判定工程Ｓ５１３で上位アイテム判定部１３３が取得した上位アイテムＩＤと上位状態判定工程Ｓ５１４で上位状態判定部１３４が取得した障害ＩＤとを入力する。アイテム状態記憶部１３２は、磁気ディスク装置９２０を用いて、入力したアイテムＩＤ（もしくは上位アイテムＩＤ）と障害ＩＤとの組を、アイテム状態データとして記憶する。
【００４８】
上位アイテム判定工程Ｓ５１３において、上位アイテム判定部１３３は、ＣＰＵ９１１を用いて、アイテム状態記憶工程Ｓ５１２でアイテム状態記憶部１３２が記憶したアイテム状態データに含まれるアイテムＩＤ（もしくは上位アイテムＩＤ）に基づいて、階層構造記憶部１２１が記憶した階層構造データ４１０を検索し、そのアイテムＩＤによって識別される構成アイテムの上位アイテムを識別するアイテムＩＤである上位アイテムＩＤ４１３を取得する。
上位アイテムが存在する場合、対応手段判定部１３０は、ＣＰＵ９１１を用いて、上位状態判定工程Ｓ５１４へ進む。
上位アイテムが存在しない場合、対応手段判定部１３０は、ＣＰＵ９１１を用いて、障害対応手段取得工程Ｓ５１６へ進む。
【００４９】
上位状態判定工程Ｓ５１４において、上位状態判定部１３４は、ＣＰＵ９１１を用いて、上位アイテム判定工程Ｓ５１３で上位アイテム判定部１３３が取得した上位アイテムＩＤに基づいて、状態記憶部１２３が記憶した障害状態データ４５０を検索して、上位アイテムの障害状態を識別する障害ＩＤ４５２を取得する。
上位アイテムの障害状態が「正常」である場合、対応手段判定部１３０は、ＣＰＵ９１１を用いて、正常対応手段取得工程Ｓ５１５へ進む。
上位アイテムの障害状態が「正常」でない場合、対応手段判定部１３０は、ＣＰＵ９１１を用いて、アイテム状態記憶工程Ｓ５１２に戻る。
【００５０】
正常対応手段取得工程Ｓ５１５において、正常対応手段取得部１３５は、ＣＰＵ９１１を用いて、上位アイテム判定工程Ｓ５１３で上位アイテム判定部１３３が取得した上位アイテムＩＤと、上位状態判定工程Ｓ５１４で上位状態判定部１３４が取得した障害ＩＤとに基づいて、対応手段記憶部１２２が記憶した対応手段関係データ４２１を検索して、上位アイテムの障害状態が「正常」である場合の対応手段を識別するアイテム対応手段ＩＤ４２５を取得する。
正常対応手段取得部１３５は、ＣＰＵ９１１を用いて、取得したアイテム対応手段ＩＤ４２５を出力する。その後、対応手段判定処理Ｓ５１０を終了する。
【００５１】
障害対応手段取得工程Ｓ５１６において、障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、アイテム状態記憶工程Ｓ５１２でアイテム状態記憶部１３２が記憶したアイテム状態データに含まれるアイテムＩＤと障害ＩＤとに基づいて、対応手段記憶部１２２が記憶した対応手段関係データ４２１を検索して、構成アイテムの障害状態が「正常」でない場合の対応手段を識別するアイテム対応手段ＩＤ４２５を取得する。
障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、取得したアイテム対応手段ＩＤ４２５を出力する。その後、対応手段判定処理Ｓ５１０を終了する。
【００５２】
次に、具体例を用いて、対応手段判定部１３０の動作を説明する。
【００５３】
階層構造記憶部１２１は、図７に示した階層構造データ４１０を記憶し、対応手段記憶部１２２は、図８に示した対応手段データ４２０を記憶しているものとする。
まず、障害検知部１１３が、サーバシステム３００において障害が発生したことを検知する。これにより、状態記憶部１２３が記憶した障害状態データ４５０を更新し、図９に示した障害状態データ４５０を記憶したものとする。
【００５４】
障害発生判定工程Ｓ５１１において、障害発生判定部１３１は、ＣＰＵ９１１を用いて、アイテムＩＤ「ｉ５９」の構成アイテム「磁気ヘッド」に障害が発生したと判定する。
障害が発生したので、アイテム状態記憶工程Ｓ５１２へ進む。アイテム状態記憶部１３２は、磁気ディスク装置９２０を用いて、アイテムＩＤ「ｉ５９」と障害ＩＤ「ｆ８」とを、アイテム状態データとして記憶する。
上位アイテム判定工程Ｓ５１３において、上位アイテム判定部１３３は、ＣＰＵ９１１を用いて、階層構造記憶部１２１が記憶した階層構造データ４１０から、アイテムＩＤ「ｉ５９」の構成アイテム「磁気ヘッド」の上位アイテムを識別するアイテムＩＤ「ｉ５２」を取得する。
上位アイテムが存在するので、上位状態判定工程Ｓ５１４へ進む。上位状態判定部１３４は、ＣＰＵ９１１を用いて、状態記憶部１２３が記憶した障害状態データ４５０から、アイテムＩＤ「ｉ５２」の構成アイテム「ＨＤＤ３７１」の障害状態を識別する障害ＩＤ「ｆ５」（「読み出しエラー」）を取得する。
障害状態が「正常」ではないので、アイテム状態記憶工程Ｓ５１２に戻る。アイテム状態記憶部１３２は、磁気ディスク装置９２０を用いて、アイテムＩＤ「ｉ５２」、障害ＩＤ「ｆ５」を、アイテム状態データとして記憶する。
上位アイテム判定工程Ｓ５１３において、上位アイテム判定部１３３は、ＣＰＵ９１１を用いて、階層構造記憶部１２１が記憶した階層構造データ４１０から、アイテムＩＤ「ｉ５２」の構成アイテム「ＨＤＤ３７１」の上位アイテムを識別するアイテムＩＤ「ｉ３８」を取得する。
上位アイテムが存在するので、上位状態判定工程Ｓ５１４へ進む。上位状態判定部１３４は、ＣＰＵ９１１を用いて、状態記憶部１２３が記憶した障害状態データ４５０から、アイテムＩＤ「ｉ３８」の構成アイテム「レイドＨＤＤ３５２」の障害状態を識別する障害ＩＤ「ｆ４」（「縮退モード」）を取得する。
障害状態が「正常」ではないので、アイテム状態記憶工程Ｓ５１２に戻る。アイテム状態記憶部１３２は、磁気ディスク装置９２０を用いて、アイテムＩＤ「ｉ３８」、障害ＩＤ「ｆ４」を、アイテム状態データとして記憶する。
上位アイテム判定工程Ｓ５１３において、上位アイテム判定部１３３は、ＣＰＵ９１１を用いて、階層構造記憶部１２１が記憶した階層構造データ４１０から、アイテムＩＤ「ｉ３８」の構成アイテム「レイドＨＤＤ３５２」の上位アイテムを識別するアイテムＩＤ「ｉ２８」を取得する。
上位アイテムが存在するので、上位状態判定工程Ｓ５１４へ進む。上位状態判定部１３４は、ＣＰＵ９１１を用いて、状態記憶部１２３が記憶した障害状態データ４５０から、アイテムＩＤ「ｉ２８」の構成アイテム「レイドＨＤＤ３５１」の障害状態を識別する障害ＩＤ「ｆ０」（「正常」）を取得する。
障害状態が「正常」なので、正常対応手段取得工程Ｓ５１５へ進む。正常対応手段取得部１３５は、ＣＰＵ９１１を用いて、対応手段記憶部１２２が記憶した対応手段関係データ４２１から、アイテムＩＤ「ｉ２８」の構成アイテム「レイドＨＤＤ３５１」の障害状態が「正常」（障害ＩＤ「ｆ０」）である場合の対応手段を識別する対応手段ＩＤ「ｒ１」（「下位アイテムの状態を調査」）を取得し、出力する。
【００５５】
なお、上記の例では、アイテムＩＤ「ｉ５９」の構成アイテムから開始して対応手段を判定しているが、障害が発生している他の構成アイテム（アイテムＩＤ「ｉ３８」や「ｉ５２」）から開始しても、同じ結論に達する。
【００５６】
次に、管理者がサーバシステム３００の構成を変更した場合の動作について説明する。
【００５７】
一例として、管理者が、レイドＨＤＤ３５１の下位に、レイドＨＤＤ３５５（内部構成は、レイドＨＤＤ３５２〜３５４と同じ）を予備として加えたとする。
サーバシステム３００の構成が変更になったので、階層構造記憶部１２１が記憶した階層構造データ４１０を更新する必要がある。管理者が、障害対応手段判定装置１００のキーボード９０２などの入力装置を操作して、階層構造入力部１１１が、階層構造を表わすデータを入力し、階層構造記憶部１２１が、記憶した階層構造データ４１０を更新する。
また、サーバシステム３００の構成の変更に伴って、対応手段記憶部１２２が記憶した対応手段データ４２０も更新する必要がある。管理者が、障害対応手段判定装置１００のキーボード９０２などの入力装置を操作して、対応手段入力部１１２が、対応手段を表わすデータを入力し、対応手段記憶部１２２が、記憶した対応手段データ４２０を更新する。
【００５８】
このとき、入力する必要があるデータは、レイドＨＤＤ３５５の下位の階層構造、レイドＨＤＤ３５１がレイドＨＤＤ３５５の上位アイテムとなること、レイドＨＤＤ３５５自身及び下位の構成アイテムの障害状態、それに対する対応手段を表わすデータなどである。また、レイドＨＤＤ３５５が加わったことによりレイドＨＤＤ３５１の対応手段が変更になる場合には、その対応手段を表わすデータも入力する必要がある。しかし、レイドＨＤＤ３５１よりも上位の構成アイテムの障害状態や対応手段には影響がないから、それらのデータを入力する必要はない。
【００５９】
したがって、管理者は、サーバシステム３００全体の構成のうち、構成を変更した部分についての知識さえあればよい。
システムが巨大であり、複数の管理者が分担して、それぞれの担当部分を管理している場合など、一人の管理者がシステム全体の構成を知らない場合もある。そのような場合でも、管理者が構成を変更した部分についての知識さえあれば、上述したデータを入力することができる。これにより、矛盾のないルールに基づいて、対応手段の判定をすることができる。
【００６０】
この実施の形態における障害対応手段判定装置１００は、複数の構成アイテムが階層状に結合してなる対象システム（サーバシステム３００）において発生した障害に対する対応手段を判定する障害対応手段判定装置であって、データを記憶する記憶装置（磁気ディスク装置９２０）と、データを処理する処理装置（ＣＰＵ９１１）と、階層構造記憶部１２１と、状態記憶部１２３と、対応手段記憶部１２２と、対応手段判定部１３０とを有する。
上記階層構造記憶部１２１は、上記記憶装置を用いて、上記対象システムを構成する複数の構成アイテムの階層構造（階層構造データ４１０）を記憶する。
上記状態記憶部１２３は、上記記憶装置を用いて、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生しているか否かを障害状態（障害状態データ４５０）として記憶する。
上記対応手段記憶部１２２は、上記記憶装置を用いて、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生していない場合の対応手段を、アイテム正常対応手段（対応手段データ４２０）として記憶する。
上記対応手段判定部１３０は、上記処理装置を用いて、上記複数の構成アイテムのいずれかに障害が発生した場合に、上記階層構造記憶部１２１が記憶した階層構造に基づいて、障害が発生した構成アイテムの上位の構成アイテムを判定し、上記状態記憶部１２３が記憶した障害状態に基づいて、判定した上位の構成アイテムに障害が発生しているか否かを判定し、上記上位の構成アイテムに障害が発生していないと判定した場合に、上記対応手段記憶部１２２が記憶したアイテム正常対応手段に基づいて、上記上位の構成アイテムに障害が発生していない場合の対応手段を、上記障害に対する対応手段と判定する。
【００６１】
この実施の形態における障害対応手段判定装置１００によれば、階層構造記憶部１２１が記憶した階層構造に基づいて、対応手段判定部１３０が対応手段を判定するので、対応手段記憶部１２２が記憶する対応手段は、その構成アイテムの上位及び下位の構成アイテムに関する知識さえあれば設定することができ、対象システム全体の構成について知る必要がない。これにより、矛盾のないルールを容易に設定することができる。
また、下位の構成アイテムに障害が発生した場合でも、上位の構成アイテムを辿っていって障害が発生していなければ、下位の構成アイテムの障害に個別に対応するのではなく、上位の構成アイテムが正常な場合の対応手段を選択するので、多数の障害が発生した場合に、上位の構成アイテムに障害が伝播していて緊急に対応すべき障害に対する対応手段を選択することができる。
【００６２】
この実施の形態における障害対応手段判定装置１００は、更に、階層構造入力部１１１を有する。
上記階層構造入力部１１１は、上記処理装置（ＣＰＵ９１１）を用いて、上記対象システム（サーバシステム３００）を構成する複数の構成アイテムの階層構造を入力する。
上記階層構造記憶部１２１は、上記処理装置を用いて、上記階層構造入力部１１１が入力した階層構造を記憶する。
【００６３】
この実施の形態における障害対応手段判定装置１００によれば、階層構造入力部１１１が入力した階層構造を、階層構造記憶部１２１が記憶するので、対象システムの階層構造を階層構造記憶部１２１に記憶することができる。対象システムの構成を変更した場合は、変更した構成に関わる部分だけを更新することが容易なので、管理者が、対象システム全体の構成を知る必要がない。
【００６４】
この実施の形態における障害対応手段判定装置１００は、更に、障害検知部１１３を有する。
上記障害検知部１１３は、上記処理装置（ＣＰＵ９１１）を用いて、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生しているか否かを検知する。
上記状態記憶部１２３は、上記記憶装置（磁気ディスク装置９２０）を用いて、上記障害検知部１１３が検知した結果に基づいて、上記構成アイテムについての障害状態を記憶する。
【００６５】
この実施の形態における障害対応手段判定装置１００によれば、障害検知部１１３が検知した結果に基づいて、状態記憶部１２３が障害状態を記憶するので、状態記憶部１２３が記憶した障害状態に基づいて、対応手段判定部１３０が、対応手段を自動的に判定することができる。
【００６６】
この実施の形態における障害対応手段判定装置１００は、更に、対応手段出力部１５１を有する。
上記対応手段出力部１５１は、上記処理装置（ＣＰＵ９１１）を用いて、上記対応手段判定部１３０が判定した対応手段を出力する。
【００６７】
この実施の形態における障害対応手段判定装置１００によれば、対応手段出力部１５１が出力した対応手段に基づいて、管理者が、障害に対する対応手段を講じることができる。
【００６８】
この実施の形態における障害対応手段判定装置１００は、データを記憶する記憶装置（磁気ディスク装置９２０）と、データを処理する処理装置（ＣＰＵ９１１）とを有するコンピュータが、コンピュータプログラムを実行することにより、実現することができる。
【００６９】
この実施の形態における障害対応手段判定装置１００として、コンピュータを機能させるコンピュータプログラムによれば、矛盾のないルールを容易に設定することができる障害対応手段判定装置１００を実現することができる。
【００７０】
この実施の形態における障害対応手段判定装置１００が、複数の構成アイテムが階層状に結合してなる対象システム（サーバシステム３００）において発生した障害に対する対応手段を判定する障害対応手段判定方法は、以下の工程を有する。
上記記憶装置（磁気ディスク装置９２０）が、上記対象システムを構成する複数の構成アイテムの階層構造を記憶する。
上記記憶装置が、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生しているか否かを障害状態として記憶する。
上記記憶装置が、上記構成アイテムに障害が発生していない場合の対応手段を、アイテム正常対応手段として記憶する。
上記処理装置（ＣＰＵ９１１）が、上記複数の構成アイテムのいずれかに障害が発生した場合に、上記記憶装置が記憶した階層構造に基づいて、障害が発生した構成アイテムの上位の構成アイテムを判定し、上記記憶装置が記憶した障害状態に基づいて、判定した上位の構成アイテムに障害が発生しているか否かを判定し、上記上位の構成アイテムに障害が発生していないと判定した場合に、上記記憶装置が記憶したアイテム正常対応手段に基づいて、上記上位の構成アイテムに障害が発生していない場合の対応手段を、上記障害に対する対応手段と判定する。
【００７１】
この実施の形態における障害対応手段判定方法によれば、記憶装置が記憶した階層構造に基づいて、処理装置が対応手段を判定するので、記憶装置が記憶する対応手段は、その構成アイテムの上位及び下位の構成アイテムに関する知識さえあれば設定することができ、対象システム全体の構成について知る必要がない。これにより、矛盾のないルールを容易に設定することができる。
【００７２】
以上説明した障害対応手段判定装置１００が障害対応手段判定の対象とする復旧対象システム（サーバシステム３００）は、例えば、複数のサーバ装置３２１，３２２を有し、各サーバ装置は、複数のサーバ部品（ＣＰＵ３３１、メモリ３３２、システムＨＤＤ３３３など）を有する。
障害対応手段判定装置１００は、サーバ障害通知部（障害検知部１１３）、サーバ部品障害通知部（障害検知部１１３）、障害対応手段判定部（対応手段判定部１３０）、障害対応手段出力部（対応手段出力部１５１）、記憶装置（磁気ディスク装置９２０）、障害対応手段判定テーブル（階層構造記憶部１２１、対応手段記憶部１２２、状態記憶部１２３）を有する。
【００７３】
図１１は、障害対応手段判定テーブルを規定するクラスの一例を示す図である。
構成アイテムクラスは、名称属性及び状態属性を持つ。障害クラスは、障害ケース属性を持つ。障害対応クラスは、障害対応手段属性を持つ。
障害対応手段判定テーブルは、構成アイテムテーブル（階層構造データ４１０、障害状態データ４５０）および障害テーブル（障害データ４３０）および障害対応テーブル（アイテム対応手段データ４４０）および関係テーブル（対応手段関係データ４２１）からなる。
構成アイテムテーブルは、構成アイテムクラスを展開したものであり、例えば、ＯＩＤ（アイテムＩＤ４１１，４５１）、上位構成アイテムＯＩＤ（上位アイテムＩＤ４１３）、下位構成アイテムＯＩＤ（下位アイテムＩＤ４１４）、名称（アイテム名称４１２）、状態（障害ＩＤ４５２）を有する。
障害テーブルは、障害クラスを展開したものであり、例えば、ＯＩＤ（障害ＩＤ４３１）、対象構成アイテム、障害ケース（障害名称４３２）を有する。対象構成アイテムは、その障害ケースとなり得る構成アイテムのリストを表わし、ユーザが関係テーブルを修正したようなケースにおいて、関係テーブルの整合性チェックを行うために使用する。
障害対応テーブルは、障害対応クラスを展開したものであり、例えば、ＯＩＤ（アイテム対応手段ＩＤ４４１）、障害対応手段（アイテム対応手段内容データ４４２）を有する。
関係テーブルは、構成アイテムと障害と障害対応手段の関係を示すものであり、例えば、ＯＩＤ（対応手段関係ＩＤ４２２）、対象構成アイテム（アイテムＩＤ４２３）、障害ケース（障害ＩＤ４２４）、障害対応手段（アイテム対応手段ＩＤ４２５）を有する。
【００７４】
障害対応手段判定部（対応手段判定部１３０）は、例えば、次のように動作する。
障害対応手段判定部（アイテム状態記憶部１３２）は、カーソルを、障害通知部（障害検知部１１３）が通知した構成アイテムに移す。障害対応手段判定部（アイテム状態記憶部１３２）は、構成アイテムの状態を通知された障害の内容に変更する。
障害対応手段判定部（上位アイテム判定部１３３）は、上位の構成アイテムがある場合、カーソルを上位の構成アイテムに移す。構成アイテムの状態が正常を意味する値ではない場合、障害対応手段判定部（上位アイテム判定部１３３）は、更に上位の構成アイテムがないかを判定する。構成アイテムの状態が正常である場合、障害対応手段判定部（正常対応手段取得部１３５）は、構成アイテムの障害対応手段を取得し、障害対応手段出力部（対応手段出力部１５１）が表示する。
また、上位の構成アイテムがない場合、障害対応手段判定部（障害対応手段取得部１３６）は、記憶された構成アイテムの障害対応手段を取得し、障害対応手段出力部（対応手段出力部１５１）が表示する。
【００７５】
例えば、サーバ部品１で応答なしの障害が発生した場合、サーバ部品障害通知部（障害検知部１１３）が、その旨を障害対応手段判定部（対応手段判定部１３０）に伝える。
障害対応手段判定部は、障害対応テーブルを構成する構成アイテムテーブル（階層構造データ４１０、障害状態データ４５０）の名称（アイテム名称４１２）が「サーバ部品１」であるＯＩＤ（アイテムＩＤ４１１，４５１）の行（レコード）にカーソルを移す。障害対応手段判定部は、障害テーブル（障害データ４３０）を検索し、「応答なし」に対応するＯＩＤ（障害ＩＤ４３１）を得る。障害対応手段判定部は、構成アイテムテーブル（障害状態データ４５０）上のカーソル行の障害列（障害ＩＤ４５２）の内容を、取得したＯＩＤ（障害ＩＤ）に変更する。
障害対応手段判定部は、カーソル行の構成アイテムの上位構成アイテムＯＩＤ列から、上位構成アイテムＯＩＤ（上位アイテムＩＤ４１３）を得る。
障害対応手段判定部は、カーソルを、構成アイテムテーブル（階層構造データ４１０、障害状態データ４５０）のＯＩＤ（アイテムＩＤ４１１，４５１）が、取得した上位構成アイテムＯＩＤである行に移す。
ここで、カーソル行の状態列（障害ＩＤ４５２）が「正常」を意味するＯＩＤ（障害ＩＤ）だとすると、障害対応手段判定部は、カーソル行の状態列から「正常」を読み取る。
障害対応手段判定部は、カーソル行のＯＩＤ列からＯＩＤ（アイテムＩＤ４１１，４５１）を読み取る。また、障害対応手段判定部は、カーソル行の状態列からＯＩＤ（障害ＩＤ４５２）を読み取る。
障害対応手段判定部は、関係テーブル（対応手段関係データ４２１）から、対象構成アイテム列（アイテムＩＤ４２３）において、当該構成アイテムのＯＩＤであり、障害ケース列（障害ＩＤ４２４）において、当該構成アイテムの状態のＯＩＤである行を検索し、ＯＩＤ（アイテム対応手段ＩＤ４２５）を得る。
障害対応手段判定部は、障害対応テーブル（アイテム対応手段データ４４０）上で、ＯＩＤ（アイテム対応手段ＩＤ４４１）が一致する行を検索し、障害対応手段（アイテム対応手段内容データ４４２）を読み取り、障害対応手段出力部（対応手段出力部１５１）に通知する。
【００７６】
例えば、サーバ装置は、二つのサーバ部品を有し、一方のサーバ部品に障害が発生した場合、自動的に他方のサーバ部品に切り替えて動作を継続できるものとする。一方のサーバ部品に障害が発生したとき、サーバ装置は「正常」に動作しているので、対応手段は「静観」とする。その状態で、他方のサーバ部品にも障害が発生すると、サーバ装置は「正常」に動作しなくなるので、対応手段を「他のサーバ装置に切り替え」とする。
いずれのケースでも、サーバ部品の障害状態は同じであるから、下位の構成アイテムであるサーバ部品の障害についての対応手段を取るとすると、同じ対応手段になる。これに対し、上位の構成アイテムであるサーバ装置の障害についての対応手段を取ることにより、二つのケースで異なる対応手段を取ることができる。
【００７７】
構成変更部は、例えば、次のように動作する。
構成変更部（階層構造入力部１１１、対応手段入力部１１２）は、構成アイテムおよび、障害ケースおよび、障害対応手段を入力とする。構成変更部（階層構造記憶部１２１）は、構成アイテムテーブル（階層構造データ４１０）に構成アイテムを追加する。構成変更部（対応手段記憶部１２２）は、障害テーブル（障害データ４３０）に障害ケースを追加する。構成変更部（対応手段記憶部１２２）は、障害対応テーブル（アイテム対応手段データ４４０）に障害対応手段を追加する。構成変更部（対応手段記憶部１２２）は、関係テーブル（対応手段関係データ４２１）に関係を追加する。
【００７８】
例えば、復旧対象システムの最上位階層に、サーバ装置３を追加する場合を考える。簡単のため、サーバ装置３は、サーバ部品１，サーバ部品２からなり、二つのサーバ部品１，２は、最下位階層であるものとする。また、サーバ装置３の障害ケース（障害状態）は、「正常」「ピン応答なし」の２種類とし、サーバ装置３が「正常」の場合の対応手段は「静観」、サーバ装置３が「ピン応答なし」の場合の対応手段は「サーバ装置１へ切り替え」とする。サーバ部品１，２の障害ケースは、「正常」「応答なし」の２種類とし、サーバ部品１，２が「正常」の場合の対応手段は「静観」、サーバ部品１，２が「応答なし」の場合の対応手段は「他方のサーバ部品へ切り替え」とする。各構成アイテムは、障害が検出されない状態でシステムに追加する。
【００７９】
構成変更部は、構成アイテムテーブル（階層構造データ４１０、障害状態データ４５０）に対し、新たなＯＩＤ（アイテムＩＤ４１１，４５１）（例えば「７」）の行を追加し、上位構成アイテム（上位アイテムＩＤ４１３）を上位アイテムなしを意味するデータ（例えば「−」）、名称（アイテム名称４１２）を「サーバ装置３」、状態（障害ＩＤ４５２）を「正常」を意味するＯＩＤにセットする。
構成変更部は、構成アイテムテーブル（階層構造データ４１０、障害状態データ４５０）に対して、新たなＯＩＤ（アイテムＩＤ４１１，４５１）（例えば「８」）の行を追加し、上位構成アイテム（上位アイテムＩＤ４１３）を「７」、名称（アイテム名称４１２）を「サーバ部品１」、状態（障害ＩＤ４５２）を「正常」を意味するＯＩＤにセットする。
構成変更部は、構成アイテムテーブル（階層構造データ４１０、障害状態データ４５０）に対して、新たなＯＩＤ（アイテムＩＤ４１１，４５１）（例えば「９」）の行を追加し、上位構成アイテム（上位アイテムＩＤ４１３）を「７」、名称（アイテム名称４１２）を「サーバ部品２」、状態（障害ＩＤ４５２）を「正常」を意味するＯＩＤにセットする。
構成変更部は、障害テーブル（障害データ４３０）上において、「正常」「ピン応答なし」「応答なし」のケースが登録されていなければ追加する。
構成変更部は、障害対応テーブル（アイテム対応手段データ４４０）に対し、「静観」「サーバ装置１へ切り替え」「サーバ部品１へ切り替え」「サーバ部品２へ切り替え」の障害対応手段が登録されていなければ追加する。例えば、「サーバ部品１へ切り替え」「サーバ部品２へ切り替え」の障害対応手段登録されていなかったとすると、構成変更部は、障害対応テーブル（アイテム対応手段データ４４０）に対し、新たなＯＩＤ（アイテム対応手段ＩＤ４４１）（例えば「１００６」）の行を追加し、障害対応手段（アイテム対応手段内容データ４４２）を「サーバ部品１に切り替え」にセットする。構成変更部は、障害対応テーブル（アイテム対応手段データ４４０）に対し、新たなＯＩＤ（アイテム対応手段ＩＤ４４１）（例えば「１００７」）の行を追加し、障害対応手段（アイテム対応手段内容データ４４２）を「サーバ部品２に切り替え」にセットする。
構成変更部は、関係テーブル（対応手段関係データ４２１）に対し、新たなＯＩＤ（対応手段関係ＩＤ４２２）を追加し、対象構成アイテム（アイテムＩＤ４２３）を「７」、障害ケース（障害ＩＤ４２４）を「正常」を意味するＯＩＤ、障害対応手段（アイテム対応手段ＩＤ４２５）を「静観」を意味するＯＩＤにセットする。
構成変更部は、関係テーブル（対応手段関係データ４２１）に対し、新たなＯＩＤ（対応手段関係ＩＤ４２２）を追加し、対象構成アイテム（アイテムＩＤ４２３）を「７」、障害ケース（障害ＩＤ４２４）を「ピン応答なし」を意味するＯＩＤ、障害対応手段（アイテム対応手段ＩＤ４２５）を「サーバ装置１へ切り替え」を意味するＯＩＤにセットする。
構成変更部は、関係テーブル（対応手段関係データ４２１）に対し、新たなＯＩＤ（対応手段関係ＩＤ４２２）を追加し、対象構成アイテム（アイテムＩＤ４２３）を「８」、障害ケース（障害ＩＤ４２４）を「正常」を意味するＯＩＤ、障害対応手段（アイテム対応手段ＩＤ４２５）を「静観」を意味するＯＩＤにセットする。
構成変更部は、関係テーブル（対応手段関係データ４２１）に対し、新たなＯＩＤ（対応手段関係ＩＤ４２２）を追加し、対象構成アイテム（アイテムＩＤ４２３）を「８」、障害ケース（障害ＩＤ４２４）を「応答なし」を意味するＯＩＤ、障害対応手段（アイテム対応手段ＩＤ４２５）を「１００７」にセットする。
構成変更部は、関係テーブル（対応手段関係データ４２１）に対し、新たなＯＩＤ（対応手段関係ＩＤ４２２）を追加し、対象構成アイテム（アイテムＩＤ４２３）を「９」、障害ケース（障害ＩＤ４２４）を「正常」を意味するＯＩＤ、障害対応手段（アイテム対応手段ＩＤ４２５）を「静観」を意味するＯＩＤにセットする。
構成変更部は、関係テーブル（対応手段関係データ４２１）に対し、新たなＯＩＤ（対応手段関係ＩＤ４２２）を追加し、対象構成アイテム（アイテムＩＤ４２３）を「９」、障害ケース（障害ＩＤ４２４）を「応答なし」を意味するＯＩＤ、障害対応手段（アイテム対応手段ＩＤ４２５）を「１００６」にセットする。
【００８０】
以上説明した障害対応手段判定装置１００は、構成アイテムにより構成される復旧対象システム（サーバシステム３００）と接続され、復旧対象システムの障害が発生した時に、障害対応手段を自動判定する障害対応手段判定装置であって、障害通知部（障害検知部１１３）と、記憶装置（磁気ディスク装置９２０）と、障害対応手段判定部（対応手段判定部１３０）と、障害対応手段出力部（対応手段出力部１５１）とを有する。
障害通知部は、復旧対象システムの障害の内容を障害対応手段判定部に通知する。
記憶装置は、復旧対象システムの障害の発生を再帰的に定義された構成アイテム（階層構造データ４１０）と、構成アイテムの状態（障害状態データ４５０）と、構成アイテムに対する障害ケースおよび障害対応手段を定義する障害対応手段判定テーブル（対応手段データ４２０）とを記憶する。
障害対応手段判定部は、障害通知部から障害の内容を受け取り、障害対応手段判定テーブルから障害対応手段を判定する。
障害対応手段出力部は、障害対応手段判定部から障害対応手段を通知され、障害対応手段を表示する。
【００８１】
これにより、システムの構造を障害対応手段判定テーブル中に隠蔽するので、障害対応手段を設定するユーザ（管理者）は、システム全体の構造について、知る必要がない。ユーザは、障害対応手段を変更する、あるいは、新規に追加する一部の構造について知っていれば、障害対応手段を設定できる。
システム全体のルールのどこに変更を記載するかや、他のルールと矛盾ないように設定するというようなことを考慮する必要がないので、ユーザの負担が小さく、障害対応ルールの設定が容易である。
【００８２】
以上説明した障害対応手段判定装置１００は、更に、構成変更部（階層構造入力部１１１、対応手段入力部１１２）を有する。
構成変更部は、障害対応手段判定テーブル上で構成アイテムおよび構成アイテム間の関係を変更する。
【００８３】
以上説明した障害対応手段判定装置１００において、障害対応手段判定テーブル（対応手段データ４２０）は、構成アイテムの状態として、「正常」とそれ以外とをとり得る。
障害通知部（障害検知部１１３）が障害を障害対応手段判定部（対応手段判定部１３０）に通知した際に、構成アイテムの状態を正常以外に変更し、障害対応手段判定テーブル上で再帰的に定義された構成アイテムの上位の構成アイテムの状態を再帰的に検索し、正常である構成アイテムを見つけた際に、該構成アイテムの障害対応手段を通知する。
【００８４】
これにより、障害の影響範囲を、該構成アイテムまでと判定するので、障害の影響範囲に即した対応手段を講じることができる。
【００８５】
実施の形態２．
実施の形態２について、図１２〜図１３を用いて説明する。
なお、実施の形態１と共通する部分については、同一の符号を付し、説明を省略する。
【００８６】
図１２は、この実施の形態における障害対応手段判定装置１００の一例を示す図である。
対応手段判定部１３０は、実施の形態１で説明した障害発生判定部１３１、アイテム状態記憶部１３２、障害対応手段取得部１３６に加えて、更に、下位アイテム判定部１３７、下位状態判定部１３８を有する。なお、対応手段判定部１３０は、更に、実施の形態１で説明した上位アイテム判定部１３３、上位状態判定部１３４、正常対応手段取得部１３５を有する構成であってもよい。
【００８７】
下位アイテム判定部１３７は、ＣＰＵ９１１を用いて、アイテム状態記憶部１３２が記憶したアイテム状態データを入力する。下位アイテム判定部１３７は、ＣＰＵ９１１を用いて、入力したアイテム状態データに含まれるアイテムＩＤに基づいて、階層構造記憶部１２１が記憶した階層構造データ４１０を検索して、そのアイテムＩＤによって識別される構成アイテムの下位の構成アイテム（以下「下位アイテム」と呼ぶ。）を識別するアイテムＩＤのリストである下位アイテムＩＤ４１４を取得する。下位アイテム判定部１３７は、ＣＰＵ９１１を用いて、取得した下位アイテムＩＤを出力する。
【００８８】
下位状態判定部１３８は、ＣＰＵ９１１を用いて、下位アイテム判定部１３７が出力した下位アイテムＩＤを入力する。下位状態判定部１３８は、ＣＰＵ９１１を用いて、入力した下位アイテムＩＤに基づいて、下位アイテムが存在する場合に、状態記憶部１２３が記憶した障害状態データ４５０を検索して、下位アイテムそれぞれの障害状態を識別する障害ＩＤを取得する。下位状態判定部１３８は、ＣＰＵ９１１を用いて、取得した障害ＩＤに基づいて、下位アイテムそれぞれの障害状態が「正常」であるか否かを判定する。下位状態判定部１３８は、ＣＰＵ９１１を用いて、下位アイテムの障害状態が「正常」でないと判定した場合に、その下位アイテムのアイテムＩＤと、障害ＩＤとを出力する。なお、「正常」でない下位アイテムが複数ある場合、下位状態判定部１３８は、そのうちのいずれか一つについてアイテムＩＤと障害ＩＤとを出力する構成であってもよいし、複数の「正常」でない下位アイテムそれぞれについて、アイテムＩＤと障害ＩＤとの組を出力する構成であってもよい。
【００８９】
アイテム状態記憶部１３２は、ＣＰＵ９１１を用いて、下位状態判定部１３８が出力したアイテムＩＤと障害ＩＤとを入力する。アイテム状態記憶部１３２は、磁気ディスク装置９２０を用いて、入力したアイテムＩＤと障害ＩＤとを、アイテム状態データとして記憶する。
【００９０】
障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、下位アイテム判定部１３７が出力した下位アイテムＩＤを入力する。障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、入力した下位アイテムＩＤに基づいて、下位アイテムが存在しない場合に、アイテム状態記憶部１３２が記憶したアイテム状態データを入力する。
また、障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、「正常」でない下位アイテムが存在しないと下位状態判定部１３８が判定した場合にも、アイテム状態記憶部１３２が記憶したアイテム状態データを入力する。
障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、入力したアイテム状態データに含まれるアイテムＩＤと障害ＩＤとに基づいて、対応手段記憶部１２２が記憶した対応手段関係データ４２１を検索して、そのアイテムＩＤによって識別される構成アイテムの障害状態が、その障害ＩＤによって識別される障害状態である場合の対応手段を識別するアイテム対応手段ＩＤ４２５を取得する。障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、取得したアイテム対応手段ＩＤを出力する。
【００９１】
図１３は、この実施の形態における対応手段判定部１３０が障害に対する対応手段を判定する対応手段判定処理Ｓ５１０の流れの一例を示すフローチャート図である。
【００９２】
アイテム状態記憶工程Ｓ５１２において、アイテム状態記憶部１３２は、ＣＰＵ９１１を用いて、障害発生判定工程Ｓ５１１で障害発生判定部１３１が出力したアイテムＩＤ及び障害ＩＤ、もしくは、後述する下位状態判定工程Ｓ５２３で下位状態判定部１３８が出力したアイテムＩＤと障害ＩＤとを入力する。アイテム状態記憶部１３２は、磁気ディスク装置９２０を用いて、入力したアイテムＩＤと障害ＩＤとの組を、アイテム状態データとして記憶する。
【００９３】
下位アイテム判定工程Ｓ５２１において、下位アイテム判定部１３７は、ＣＰＵ９１１を用いて、アイテム状態記憶工程Ｓ５１２でアイテム状態記憶部１３２が記憶したアイテム状態データに含まれるアイテムＩＤに基づいて、階層構造記憶部１２１が記憶した階層構造データ４１０を検索し、そのアイテムＩＤによって識別される構成アイテムの下位アイテムを識別するアイテムＩＤのリストである下位アイテムＩＤ４１４を取得する。
下位アイテムが存在する場合、対応手段判定部１３０は、ＣＰＵ９１１を用いて、下位アイテム選択工程Ｓ５２２へ進む。
下位アイテムが存在しない場合、対応手段判定部１３０は、ＣＰＵ９１１を用いて、障害対応手段取得工程Ｓ５２５へ進む。
【００９４】
下位アイテム選択工程Ｓ５２２において、下位状態判定部１３８は、ＣＰＵ９１１を用いて、下位アイテム判定工程Ｓ５２１で下位アイテム判定部１３７が取得した下位アイテムＩＤから、アイテムＩＤを一つずつ順に選択する。
【００９５】
下位状態判定工程Ｓ５２３において、下位状態判定部１３８は、ＣＰＵ９１１を用いて、下位アイテム選択工程Ｓ５２２で選択したアイテムＩＤに基づいて、状態記憶部１２３が記憶した障害状態データ４５０を検索して、そのアイテムＩＤによって識別される構成アイテムの障害状態を識別する障害ＩＤ４５２を取得する。
障害状態が「正常」である場合、対応手段判定部１３０は、ＣＰＵ９１１を用いて、下位アイテム繰り返し工程Ｓ５２４へ進む。
障害状態が「正常」でない場合、下位状態判定部１３８は、ＣＰＵ９１１を用いて、下位アイテム選択工程Ｓ５２２で選択したアイテムＩＤと、取得した障害ＩＤとを出力する。対応手段判定部１３０は、ＣＰＵ９１１を用いて、アイテム状態記憶工程Ｓ５１２に戻る。
【００９６】
下位アイテム繰り返し工程Ｓ５２４において、下位状態判定部１３８は、ＣＰＵ９１１を用いて、下位アイテム判定工程Ｓ５２１で下位アイテム判定部１３７が取得した下位アイテムＩＤのなかに、まだ下位アイテム選択工程Ｓ５２２で選択していないアイテムＩＤがあるか判定する。
まだ選択していないアイテムＩＤがある場合、下位状態判定部１３８は、ＣＰＵ９１１を用いて、下位アイテム選択工程Ｓ５２２に戻り、次のアイテムＩＤを選択する。
すべてのアイテムＩＤを選択済の場合、対応手段判定部１３０は、ＣＰＵ９１１を用いて、障害対応手段取得工程Ｓ５２５へ進む。
【００９７】
障害対応手段取得工程Ｓ５２５において、障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、アイテム状態記憶工程Ｓ５１２でアイテム状態記憶部１３２が記憶したアイテム状態データに含まれるアイテムＩＤと障害ＩＤとに基づいて、対応手段記憶部１２２が記憶した対応手段関係データ４２１を検索して、構成アイテムの障害状態が「正常」でない場合の対応手段を識別するアイテム対応手段ＩＤ４２５を取得する。
障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、取得したアイテム対応手段ＩＤ４２５を出力する。その後、対応手段判定処理Ｓ５１０を終了する。
【００９８】
次に、具体例を用いて、対応手段判定部１３０の動作を説明する。
【００９９】
階層構造記憶部１２１は、図７に示した階層構造データ４１０を記憶し、対応手段記憶部１２２は、図８に示した対応手段データ４２０を記憶しているものとする。
まず、障害検知部１１３が、サーバシステム３００において障害が発生したことを検知する。これにより、状態記憶部１２３が記憶した障害状態データ４５０を更新し、図９に示した障害状態データ４５０を記憶したものとする。
【０１００】
障害発生判定工程Ｓ５１１において、障害発生判定部１３１は、ＣＰＵ９１１を用いて、アイテムＩＤ「ｉ３８」の構成アイテム「レイドＨＤＤ３５２」に障害が発生したと判定する。
障害が発生したので、アイテム状態記憶工程Ｓ５１２へ進む。アイテム状態記憶部１３２は、磁気ディスク装置９２０を用いて、アイテムＩＤ「ｉ３８」と障害ＩＤ「ｆ４」（「縮退モード」）とを、アイテム状態データとして記憶する。
下位アイテム判定工程Ｓ５２１において、下位アイテム判定部１３７は、ＣＰＵ９１１を用いて、階層構造記憶部１２１が記憶した階層構造データ４１０から、アイテムＩＤ「ｉ３８」の構成アイテム「レイドＨＤＤ３５２」の下位アイテムを識別するアイテムＩＤのリスト「ｉ５１，ｉ５２，ｉ５３」を取得する。
下位アイテムが存在するので、下位アイテム選択工程Ｓ５２２へ進む。下位状態判定部１３８は、ＣＰＵ９１１を用いて、アイテムＩＤのリスト「ｉ５１，ｉ５２，ｉ５３」から、アイテムＩＤ「ｉ５１」を選択する。
下位状態判定工程Ｓ５２３において、下位状態判定部１３８は、ＣＰＵ９１１を用いて、状態記憶部１２３が記憶した障害状態データ４５０から、アイテムＩＤ「ｉ５１」の構成アイテム「レイド制御装置３６２」の障害状態を識別する障害ＩＤ「ｆ０」（「正常」）を取得する。
障害状態が「正常」なので、下位アイテム繰り返し工程Ｓ５２４へ進み、まだ選択していないアイテムＩＤがあるので、下位アイテム選択工程Ｓ５２２に戻る。下位状態判定部１３８は、ＣＰＵ９１１を用いて、アイテムＩＤのリスト「ｉ５１，ｉ５２，ｉ５３」から、次のアイテムＩＤ「ｉ５２」を選択する。
下位状態判定工程Ｓ５２３において、下位状態判定部１３８は、ＣＰＵ９１１を用いて、状態記憶部１２３が記憶した状態データ３４０から、アイテムＩＤ「ｉ５２」の構成アイテム「ＨＤＤ３７１」の障害状態を識別する障害ＩＤ「ｆ５」（「読み出しエラー」）を取得する。
障害状態が「正常」でないので、アイテム状態記憶工程Ｓ５１２に戻る。アイテム状態記憶部１３２は、磁気ディスク装置９２０を用いて、アイテムＩＤ「ｉ５２」と障害ＩＤ「ｆ５」とを、アイテム状態データとして記憶する。
下位アイテム判定工程Ｓ５２１において、下位アイテム判定部１３７は、ＣＰＵ９１１を用いて、階層構造記憶部１２１が記憶した階層構造データ４１０から、アイテムＩＤ「ｉ５２」の構成アイテム「ＨＤＤ３７１」の下位アイテムを識別するアイテムＩＤのリスト「ｉ５８，ｉ５９，ｉ６０」を取得する。
下位アイテムが存在するので、下位アイテム選択工程Ｓ５２２へ進む。下位状態判定部１３８は、ＣＰＵ９１１を用いて、アイテムＩＤのリスト「ｉ５８，ｉ５９，ｉ６０」から、アイテムＩＤ「ｉ５８」を選択する。
下位状態判定工程Ｓ５２３において、下位状態判定部１３８は、ＣＰＵ９１１を用いて、状態記憶部１２３が記憶した状態データ３４０から、アイテムＩＤ「ｉ５８」の構成アイテム「筐体」の障害状態を識別する障害ＩＤ「ｆ０」（「正常」）を取得する。
障害状態が「正常」なので、下位アイテム繰り返し工程Ｓ５２４へ進み、まだ選択していないアイテムＩＤがあるので、下位アイテム選択工程Ｓ５２２に戻る。下位状態判定部１３８は、ＣＰＵ９１１を用いて、アイテムＩＤのリスト「ｉ５８，ｉ５９，ｉ６０」から、次のアイテムＩＤ「ｉ５９」を選択する。
下位状態判定工程Ｓ５２３において、下位状態判定部１３８は、ＣＰＵ９１１を用いて、状態記憶部１２３が記憶した状態データ３４０から、アイテムＩＤ「ｉ５９」の構成アイテム「磁気ヘッド」の障害状態を識別する障害ＩＤ「ｆ８」を取得する。
障害状態が「正常」でないので、アイテム状態記憶工程Ｓ５１２に戻る。アイテム状態記憶部１３２は、磁気ディスク装置９２０を用いて、アイテムＩＤ「ｉ５９」と障害ＩＤ「ｆ８」とを、アイテム状態データとして記憶する。
下位アイテム判定工程Ｓ５２１において、下位アイテム判定部１３７は、ＣＰＵ９１１を用いて、階層構造記憶部１２１が記憶した階層構造データ４１０から、アイテムＩＤ「ｉ５９」の構成アイテム「磁気ヘッド」の下位アイテムを識別するアイテムＩＤのリスト「−」（下位アイテムなし）を取得する。
下位アイテムが存在しないので、障害対応手段取得工程Ｓ５２５へ進む。障害対応手段取得部１３６は、ＣＰＵ９１１を用いて、対応手段記憶部１２２が記憶した対応手段関係データ４２１から、アイテムＩＤ「ｉ５９」の構成アイテム「磁気ヘッド」の障害状態が、障害ＩＤ「ｆ８」によって識別される障害状態である場合の対応手段を識別するアイテム対応手段ＩＤ「ｒ５」（「ＨＤＤを交換」）を取得し、出力する。
【０１０１】
なお、上記の例では、アイテムＩＤ「ｉ３８」の構成アイテムから開始して対応手段を判定しているが、障害が発生している他の構成アイテム（アイテムＩＤ「ｉ５２」や「ｉ５９」）から開始しても、同じ結論に達する。
【０１０２】
この実施の形態における障害対応手段判定装置１００において、上記対応手段記憶部１２２は、更に、上記記憶装置（磁気ディスク装置９２０）を用いて、上記複数の構成アイテムそれぞれについて、上記構成アイテムに障害が発生した場合の対応手段を、アイテム障害対応手段（対応手段データ４２０）として記憶する。
上記対応手段判定部１３０は、更に、上記処理装置（ＣＰＵ９１１）を用いて、上記複数の構成アイテムのいずれかに障害が発生した場合に、上記階層構造記憶部１２１が記憶した階層構造（階層構造データ４１０）に基づいて、障害が発生した構成アイテムの下位の構成アイテムを判定し、上記状態記憶部１２３が記憶した障害状態（障害状態データ４５０）に基づいて、判定した下位の構成アイテムに障害が発生しているか否かを判定し、上記下位の構成アイテムに障害が発生していないと判定した場合に、上記対応手段記憶部１２２が記憶したアイテム障害対応手段に基づいて、障害が発生した構成アイテムに障害が発生した場合の対応手段を、上記障害に対する対応手段と判定する。
【０１０３】
この実施の形態にける障害対応手段判定装置１００によれば、階層構造記憶部１２１が記憶した階層構造に基づいて、対応手段判定部１３０が対応手段を判定するので、対応手段記憶部１２２が記憶する対応手段は、その構成アイテムの上位及び下位の構成アイテムに関する知識さえあれば設定することができ、対象システム全体の構成について知る必要がない。これにより、矛盾のないルールを容易に設定することができる。
また、上位の構成アイテムに障害が発生した場合、下位の構成アイテムの障害による影響である可能性が高いので、下位の構成アイテムのなかから、障害が発生している構成アイテムを辿っていき、障害が発生している構成アイテムのうちから、最も下位の構成アイテムを選択し、その構成アイテムに障害が発生した場合の対応手段を、対象システム全体の障害に対する対応手段として選択するので、対象システム全体の障害の原因となっている障害に対して対応手段を講じることができ、根本的な解決を図ることができる。
【０１０４】
以上説明した障害対応手段判定装置１００において、障害対応手段判定部（対応手段判定部１３０）は、例えば、次のように動作する。
障害対応手段判定部は、構成アイテムテーブル（階層構造データ４１０、障害状態データ４５０）において、上位の構成アイテムより実行し、下位構成アイテムＯＩＤ（下位アイテムＩＤ４１４）を読み取る。
下位構成アイテムＯＩＤを持つ場合、障害対応手段判定部は、下位構成アイテムの状態列（障害ＩＤ４５２）を読み取る。
下位構成アイテムの中に状態が「正常」を示す値ではないものがある場合、障害対応手段判定部は、その下位構成アイテムのＯＩＤおよび状態を記憶する。障害対応手段判定部は、カーソルを、その下位構成アイテムに移し、記憶した下位構成アイテムの更に下位の構成アイテムがないか検索する。
下位構成アイテムＯＩＤを持たない場合、および、下位構成アイテムの中に状態が「正常」を示す値でないものがない場合、障害対応手段判定部は、記憶された構成アイテムの障害対応手段を取得し、障害対応手段出力部（対応手段出力部１５１）が表示する。
【０１０５】
例えば、障害対応手段判定部は、構成アイテムテーブル（階層構造データ４１０、障害状態データ４５０）において、上位構成アイテムＯＩＤ列（上位アイテムＩＤ４１３）を検索し、上位の構成アイテムを持たない値である構成アイテムを検索して、ＯＩＤ（アイテムＩＤ４１１）を取得する。
障害対応手段判定部は、取得したＯＩＤに対する状態列（障害ＩＤ４５２）を読み取る。障害対応手段判定部は、読み取った状態（障害ＩＤ４５２）が「正常」を意味するＯＩＤでない構成アイテムについて、上記のアルゴリズムを実行する。
すなわち、障害対応手段判定部は、その構成アイテムにカーソルを移し、下位構成アイテムＯＩＤ（下位アイテムＩＤ４１４）（例えば「２，３」）を読み取る。
障害対応手段判定部は、ＯＩＤ（アイテムＩＤ４１１，４５１）が「２」の行にカーソルを移し、状態（障害ＩＤ４５２）を読み取る。障害対応手段判定部は、障害テーブル（障害データ４３０）を検索して、読み取った状態の障害ケースを読み取る。
例えば、読み取った状態が「応答なし」を意味するＯＩＤだったとすると、状態が「正常」ではないので、障害対応手段判定部は、その構成アイテムのＯＩＤ（アイテムＩＤ）「２」、状態「応答なし」のＯＩＤ（障害ＩＤ）を記憶する。
障害対応手段判定部は、ＯＩＤ（アイテムＩＤ４１１，４５１）が「２」の行を検索し、下位構成アイテムＯＩＤ（下位アイテムＩＤ４１４）を読み取る。
例えば、読み取った下位構成アイテムＯＩＤが、下位の構成アイテムなしを意味するものだとすると、障害対応手段判定部は、記憶した構成アイテムのＯＩＤ（アイテムＩＤ）と、状態のＯＩＤ（障害ＩＤ）とを、関係テーブル（対応手段関係データ４２１）から検索する。障害対応手段判定部は、該当行の障害対応手段列（アイテム対応手段ＩＤ４２５）を読み取る。障害対応手段判定部は、障害対応テーブル（アイテム対応手段データ４４０）から、読み取ったＯＩＤ（アイテム対応手段ＩＤ）の行を検索し、障害対応手段列（アイテム対応手段内容データ４４２）を読み取る。障害対応手段判定部は、読み寄った障害対応手段を、障害対応手段出力部（対応手段出力部１５１）に通知する。
【０１０６】
以上説明した障害対応手段判定装置１００において、障害対応手段判定テーブル（対応手段データ４２０）は、構成アイテムの状態として、正常とそれ以外をとり得る。
障害対応手段判定テーブル上で再帰的に定義された構成アイテムの下位の全ての構成アイテムの状態が正常である場合に、障害対応手段を通知する。
【０１０７】
これにより、該構成アイテムを障害の原因と推定するので、障害の原因を除去するのに最も効率的な対応手段を講じることができる。
【図面の簡単な説明】
【０１０８】
【図１】実施の形態１におけるサーバシステム３００の構成の一例を示すシステム構成図。
【図２】実施の形態１におけるサーバ装置３２１，３２２のハードウェア構成の一例を示すブロック構成図。
【図３】実施の形態１におけるサーバシステム３００の構成アイテムの階層関係の一例を示す図。
【図４】実施の形態１における障害対応手段判定装置１００の外観の一例を示す斜視図。
【図５】実施の形態１における８００のハードウェア資源の一例を示す図。
【図６】実施の形態１における障害対応手段判定装置１００の機能ブロックの一例を示すブロック構成図。
【図７】実施の形態１における階層構造記憶部１２１が記憶する階層構造データ４１０の一例を示す図。
【図８】実施の形態１における対応手段記憶部１２２が記憶する対応手段データ４２０の一例を示す図。
【図９】実施の形態１における状態記憶部１２３が記憶する障害状態データ４５０の一例を示す図。
【図１０】実施の形態１における対応手段判定部１３０が障害に対する対応手段を判定する対応手段判定処理Ｓ５１０の流れの一例を示すフローチャート図。
【図１１】障害対応手段判定テーブルを規定するクラスの一例を示す図。
【図１２】実施の形態２における障害対応手段判定装置１００の一例を示す図。
【図１３】実施の形態２における対応手段判定部１３０が障害に対する対応手段を判定する対応手段判定処理Ｓ５１０の流れの一例を示すフローチャート図。
【符号の説明】
【０１０９】
１００  障害対応手段判定装置、１１１  階層構造入力部、１１２  対応手段入力部、１１３  障害検知部、１２１  階層構造記憶部、１２２  対応手段記憶部、１２３  状態記憶部、１３０  対応手段判定部、１３１  障害発生判定部、１３２  アイテム状態記憶部、１３３  上位アイテム判定部、１３４  上位状態判定部、１３５  正常対応手段取得部、１３６  障害対応手段取得部、１５１  対応手段出力部、３００  サーバシステム、３１０  ファイアウォール装置、３２１，３２２  サーバ装置、３３１，９１１  ＣＰＵ、３３２  メモリ、３３３  システムＨＤＤ、３３４，３３５  ＮＩＣ、３５１〜３５４  レイドＨＤＤ、３６１〜３６４  レイド制御装置、３７１〜３７６  ＨＤＤ、４１０  階層構造データ、４１１  アイテムＩＤ、４１２  アイテム名称、４１３  上位アイテムＩＤ、４１４  下位アイテムＩＤ、４２０  対応手段データ、４２１  対応手段関係データ、４２２  対応手段関係ＩＤ、４２３  アイテムＩＤ、４２４  障害ＩＤ、４２５  アイテム対応手段ＩＤ、４３０  障害データ、４３１  障害ＩＤ、４３２  障害名称、４４０  アイテム対応手段データ、４４１  アイテム対応手段ＩＤ、４４２  アイテム対応手段内容データ、４５０  障害状態データ、４５１  アイテムＩＤ、４５２  障害ＩＤ、９０１  表示装置、９０２  キーボード、９０３  マウス、９０４  ＦＤＤ、９０５  ＣＤＤ、９０６  プリンタ装置、９０７  スキャナ装置、９１０  システムユニット、９１２  バス、９１３  ＲＯＭ、９１４  ＲＡＭ、９１５  通信装置、９２０  磁気ディスク装置、９２１  ＯＳ、９２２  ウィンドウシステム、９２３  プログラム群、９２４  ファイル群、９３１  電話器、９３２  ファクシミリ機、９４０  インターネット、９４１  ゲートウェイ、９４２，９４３  ＬＡＮ。
【図１】
2010146154.tif 000003
【図２】
2010146154.tif 000004
【図３】
2010146154.tif 000005
【図４】
2010146154.tif 000006
【図５】
2010146154.tif 000007
【図６】
2010146154.tif 000008
【図７】
2010146154.tif 000009
【図８】
2010146154.tif 000010
【図９】
2010146154.tif 000011
【図１０】
2010146154.tif 000012
【図１１】
2010146154.tif 000013
【図１２】
2010146154.tif 000014
【図１３】
2010146154.tif 000015