(57)【要約】【課題】  障害対処ルールに記述された障害以外の障害が発生した場合でもその障害の復旧を試行することのできる障害復旧装置を提供する。【解決手段】  障害知識蓄積手段５は、ルール蓄積手段２中の障害対処ルールに記述された障害以外の障害について、流用できると推測される対処コマンドの選択情報を記述した障害知識情報を蓄積する。対処方法検索手段３は、サービス実行手段１１で発生した障害が障害対処ルールに記述された障害に一致する場合には、その障害対処ルールの対処コマンドをサービス実行手段１１上で実行する。障害対処ルールに記述された障害以外の障害の場合、障害知識蓄積手段５中の障害知識情報に記述された障害と一致するかどうかを判定し、一致する場合には一致した障害知識情報の選択情報に基づいてルール蓄積手段２から対処コマンドを読み出しサービス実行手段１１上で実行する。【選択図】  図４
2005346331.tif 000002
【特許請求の範囲】
【請求項１】
障害の種類とそれに対する対処コマンドを記述した障害対処ルールを蓄積するルール蓄積手段と、障害の種類と対処コマンド選択情報とを記述した障害知識情報を蓄積する障害知識蓄積手段と、サービス実行手段で発生した障害が前記ルール蓄積手段中の障害対処ルールに記述された障害に一致する場合には一致した障害対処ルールの対処コマンドを前記ルール蓄積手段から読み出して前記サービス実行手段上で実行し、一致しない場合にはサービス実行手段で発生した障害が前記障害知識蓄積手段中の障害知識情報に記述された障害と一致するかどうかを判定し、一致する場合には一致した障害知識情報の対処コマンド選択情報に基づいて前記ルール蓄積手段から対処コマンドを選択して前記サービス実行手段上で実行することを特徴とする障害復旧装置。
【請求項２】
前記障害知識情報に記述された障害の種類と、前記対処コマンド選択情報に基づいて前記ルール蓄積手段から選択した対処コマンドとを記述した障害対処ルールを生成して前記ルール蓄積手段に追加する手段を備え、同じ種類の障害が再び発生したときに前記ルール蓄積手段に蓄積された前記障害対処ルールによって対処することを特徴とする請求項１記載の障害復旧装置。
【請求項３】
障害の種類を判定するための条件式と対処コマンドとを含む障害対処ルールを蓄積するルール蓄積手段と、
障害状態と対処コマンド選択情報とを含む障害知識情報を蓄積する障害知識蓄積手段と、
サービス実行手段の動作状態を検出する動作状態検出手段と、
前記動作状態検出手段で検出された動作状態に合致する障害状態を含む障害知識情報を前記障害知識蓄積手段から検索する障害判定手段と、
前記動作状態検出手段で検出された動作状態に合致する条件式を含む障害対処ルールを前記ルール蓄積手段から検索し、該検索に成功したときは検索で得られた障害対処ルール中の対処コマンドを出力し、前記検索に失敗したときは前記障害判定手段で検索された障害知識情報があればその障害知識情報中の対処コマンド選択情報に基づいて前記ルール蓄積手段中の障害対処ルールから対処コマンドを選択して出力する対処方法検索手段と、
前記対処方法検索手段から対処コマンドを受け取り前記サービス実行手段上で実行するコマンド実行手段と、
を備えることを特徴とする障害復旧装置。
【請求項４】
前記障害知識情報中の対処コマンド選択情報は、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に現れるパラメータのうち、前記障害知識情報中の障害状態と関連するパラメータを含み、前記対処方法検索手段は、対処コマンド選択情報に記述されたパラメータを条件式に含む障害対処ルール中の対処コマンドを選択するものであることを特徴とする請求項３記載の障害復旧装置。
【請求項５】
前記ルール蓄積手段は、障害対処ルール間の適用順序の優先度情報を蓄積し、前記対処方法検索手段は、前記対処コマンド選択情報によって選択される対処コマンドが複数存在する場合、前記障害が復旧するまで、前記優先度情報に基づいて前記対処コマンドを順次選択して出力するものであり、且つ、前記実行された対処コマンドによる復旧の成否を判定しその判定結果に応じて前記優先度情報を変更する効果判定手段を備えることを特徴とする請求項３または４記載の障害復旧装置。
【請求項６】
前記対処方法検索手段は、前記障害知識情報に記述された障害状態と、前記対処コマンド選択情報に基づいて前記ルール蓄積手段中から選択した対処コマンドとを記述した障害対処ルールを生成して前記ルール蓄積手段に追加する機能を有し、同じ障害状態が再び発生したときに前記ルール蓄積手段に蓄積された前記障害対処ルールによって対処する構成を有することを特徴とする請求項３、４または５記載の障害復旧装置。
【請求項７】
前記動作状態検出手段で検出された動作状態の履歴から前記サービス実行手段の特異状態を検出し特異状態情報を出力する特異状態検出手段を備え、前記障害判定手段は、前記特異状態情報を受け取り、前記特異状態を障害状態、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に含まれるパラメータのうち前記特異状態と関連するパラメータを対処コマンド選択情報とする障害知識情報を生成して前記障害知識蓄積手段に蓄積するものであることを特徴とする請求項３、４、５または６記載の障害復旧装置。
【請求項８】
前記対処方法検索手段と前記コマンド実行手段との間に介在し、前記障害知識情報中の対処コマンド選択情報に基づいて前記対処方法検索手段により選択され出力された対処コマンドの実行可否について、利用者入出力装置を通じて利用者に問い合わせる対話制御手段を備えることを特徴とする請求項３、４、５または６記載の障害復旧装置。
【請求項９】
前記障害知識情報に応じて前記対処方法検索手段が生成した障害対処ルールとその効果判定結果を利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正する対話制御手段を備えることを特徴とする請求項６または７記載の障害復旧装置。
【請求項１０】
前記障害判定手段が前記特異状態情報に基づいて生成した障害知識情報、該障害知識情報に基づいて前記対処方法検索手段が前記ルール蓄積手段中から選択した対処コマンドを含む障害対処ルールを利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正する対話制御手段を備えることを特徴とする請求項７記載の障害復旧装置。
【請求項１１】
障害の種類とそれに対する対処コマンドを記述した障害対処ルールを蓄積するルール蓄積手段と、障害の種類と対処コマンド選択情報を記述した障害知識情報を蓄積する障害知識蓄積手段とを用い、サービス実行手段で発生した障害が前記ルール蓄積手段中の障害対処ルールに記述された障害に一致する場合には一致した障害対処ルールの対処コマンドを前記ルール蓄積手段から読み出して前記サービス実行手段上で実行し、一致しない場合にはサービス実行手段で発生した障害が前記障害知識蓄積手段中の障害知識情報に記述された障害と一致するかどうかを判定し、一致する場合には一致した障害知識情報の対処コマンド選択情報に基づいて前記ルール蓄積手段から対処コマンドを選択して前記サービス実行手段上で実行することを特徴とする障害復旧方法。
【請求項１２】
対処方法検索手段が、前記障害知識情報に記述された障害の種類と、前記対処コマンド選択情報に基づいて前記ルール蓄積手段から選択した対処コマンドとを記述した障害対処ルールを生成して前記ルール蓄積手段に追加することにより、同じ種類の障害が再び発生したときに前記ルール蓄積手段に蓄積された前記障害対処ルールによって対処することを特徴とする請求項１１記載の障害復旧方法。
【請求項１３】
ａ）動作状態検出手段が、サービス実行手段の動作状態を検出するステップ、
ｂ）障害判定手段が、障害状態と対処コマンド選択情報とを含む障害知識情報を蓄積する障害知識蓄積手段から、前記検出された動作状態に合致する障害状態を含む障害知識情報を検索するステップ、
ｃ）対処方法検索手段が、前記検出された動作状態が、障害を判定するための条件式と対処コマンドとを含む障害対処ルールを蓄積するルール蓄積手段中の何れかの前記障害対処ルールに記述された条件式に一致する場合には一致した障害対処ルールの対処コマンドを出力し、一致しない場合には前記ステップｂで検索された障害知識情報があればその障害知識情報中の対処コマンド選択情報に基づいて前記ルール蓄積手段中の障害対処ルールから選択した対処コマンドを出力するステップ、
ｄ）コマンド実行手段が、前記出力された対処コマンドを受け取り前記サービス実行手段上で実行するステップ、
を含むことを特徴とする障害復旧方法。
【請求項１４】
前記障害知識情報中の対処コマンド選択情報は、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に現れるパラメータのうち、前記障害知識情報中の障害状態と関連するパラメータを含み、前記ステップｃにおいては、対処コマンド選択情報に記述されたパラメータを条件式に含む障害対処ルール中の対処コマンドを選択するものであることを特徴とする請求項１３記載の障害復旧方法。
【請求項１５】
前記ルール蓄積手段は、障害対処ルール間の適用順序の優先度情報を蓄積し、前記ステップｃにおいては、前記対処コマンド選択情報によって選択できる対処コマンドが複数存在する場合、前記障害が復旧するまで、前記優先度情報に基づいて前記対処コマンドを順次選択して出力し、且つ、ｅ）効果判定手段が、前記実行された対処コマンドによる復旧の成否を判定しその判定結果に応じて前記優先度情報を変更するステップ、を含むことを特徴とする請求項１３または１４記載の障害復旧方法。
【請求項１６】
ｆ）前記対処方法検索手段が、前記障害知識情報に記述された障害状態と、前記対処コマンド選択情報に基づいて前記ルール蓄積手段中から選択した対処コマンドとを記述した障害対処ルールを生成して前記ルール蓄積手段に追加するステップ、を含み、同じ障害状態が再び発生したときに前記ルール蓄積手段に蓄積された前記障害対処ルールによって対処することを特徴とする請求項１３、１４または１５記載の障害復旧方法。
【請求項１７】
ｇ）特異状態検出手段が、前記検出された動作状態の履歴から前記サービス実行手段の特異状態を検出し特異状態情報を出力するステップ、
ｈ）前記障害判定手段が、前記特異状態情報を受け取り、前記特異状態を障害状態、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に現れるパラメータのうち前記特異状態と関連するパラメータを対処コマンド選択情報とする障害知識情報を生成して前記障害知識蓄積手段に蓄積するステップ、
を含むことを特徴とする請求項１３、１４、１５または１６記載の障害復旧方法。
【請求項１８】
前記対処方法検索手段と前記コマンド実行手段との間に介在する対話制御手段が、前記障害知識情報中の対処コマンド選択情報に基づいて前記対処方法検索手段により選択され出力された対処コマンドの実行可否について、利用者入出力装置を通じて利用者に問い合わせるステップを含むことを特徴とする請求項１３、１４、１５または１６記載の障害復旧方法。
【請求項１９】
対話制御手段が、前記障害知識情報に応じて前記対処方法検索手段が生成した障害対処ルールとその効果判定結果を利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正するステップを含むことを特徴とする請求項１６または１７記載の障害復旧方法。
【請求項２０】
対話制御手段が、前記障害判定手段が前記特異状態情報に基づいて生成した障害知識情報、該障害知識情報に基づいて前記対処方法検索手段が前記ルール蓄積手段中から選択した対処コマンドを含む障害対処ルールを利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正するステップを含むことを特徴とする請求項１７記載の障害復旧方法。
【請求項２１】
障害を判定するための条件式と対処コマンドとを含む障害対処ルールを蓄積するルール蓄積手段と、
障害状態と対処コマンド選択情報とを含む障害知識情報を蓄積する障害知識蓄積手段と、
サービス実行手段の動作状態を検出する動作状態検出手段と、
前記動作状態検出手段で検出された動作状態に合致する障害状態を含む障害知識情報を前記障害知識蓄積手段から検索する障害判定手段と、
前記動作状態検出手段で検出された動作状態に合致する条件式を含む障害対処ルールを前記ルール蓄積手段から検索し、該検索に成功したときは検索で得られた障害対処ルール中の対処コマンドを出力し、前記検索に失敗したときは前記障害判定手段で検索された障害知識情報があればその障害知識情報中の対処コマンド選択情報に基づいて前記ルール蓄積手段中の障害対処ルールから対処コマンドを選択して出力する対処方法検索手段と、
前記対処方法検索手段から対処コマンドを受け取り前記サービス実行手段上で実行するコマンド実行手段と、
を備えることを特徴とするマネージャ装置。
【請求項２２】
前記障害知識情報中の対処コマンド選択情報は、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に現れるパラメータのうち、前記障害知識情報中の障害状態と関連するパラメータを含み、前記対処方法検索手段は、対処コマンド選択情報に記述されたパラメータを条件式に含む障害対処ルール中の対処コマンドを選択するものであることを特徴とする請求項２１記載のマネージャ装置。
【請求項２３】
前記ルール蓄積手段は、障害対処ルール間の適用順序の優先度情報を蓄積し、前記対処方法検索手段は、前記対処コマンド選択情報によって選択される対処コマンドが複数存在する場合、前記障害が復旧するまで、前記優先度情報に基づいて前記対処コマンドを順次選択して出力するものであり、且つ、前記実行された対処コマンドによる復旧の成否を判定しその判定結果に応じて前記優先度情報を変更する効果判定手段を備えることを特徴とする請求項２１または２２記載のマネージャ装置。
【請求項２４】
前記対処方法検索手段は、前記障害知識情報に記述された障害状態と、前記対処コマンド選択情報に基づいて前記ルール蓄積手段中から選択した対処コマンドとを記述した障害対処ルールを生成して前記ルール蓄積手段に追加する機能を有し、同じ障害状態が再び発生したときに前記ルール蓄積手段に蓄積された前記障害対処ルールによって対処する構成を有することを特徴とする請求項２１、２２または２３記載のマネージャ装置。
【請求項２５】
前記動作状態検出手段で検出された動作状態の履歴から前記サービス実行手段の特異状態を検出し特異状態情報を出力する特異状態検出手段を備え、前記障害判定手段は、前記特異状態情報を受け取り、前記特異状態を障害状態、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に含まれるパラメータのうち前記特異状態と関連するパラメータを対処コマンド選択情報とする障害知識情報を生成して前記障害知識蓄積手段に蓄積するものであることを特徴とする請求項２１、２２、２３または２４記載のマネージャ装置。
【請求項２６】
前記対処方法検索手段と前記コマンド実行手段との間に介在し、前記障害知識情報中の対処コマンド選択情報に基づいて前記対処方法検索手段により選択され出力された対処コマンドの実行可否について、利用者入出力装置を通じて利用者に問い合わせる対話制御手段を備えることを特徴とする請求項２１、２２、２３または２４記載のマネージャ装置。
【請求項２７】
前記障害知識情報に応じて前記対処方法検索手段が生成した障害対処ルールとその効果判定結果を利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正する対話制御手段を備えることを特徴とする請求項２４または２５記載のマネージャ装置。
【請求項２８】
前記障害判定手段が前記特異状態情報に基づいて生成した障害知識情報、該障害知識情報に基づいて前記対処方法検索手段が前記ルール蓄積手段中から選択した対処コマンドを含む障害対処ルールを利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正する対話制御手段を備えることを特徴とする請求項２５記載のマネージャ装置。
【請求項２９】
コンピュータを、サービス実行手段の動作状態を検出する動作状態検出手段で検出された動作状態に合致する障害状態を含む障害知識情報を、障害状態と対処コマンド選択情報とを含む障害知識情報を蓄積する障害知識蓄積手段から検索する障害判定手段と、前記動作状態検出手段で検出された動作状態が、障害を判定するための条件式と対処コマンドとを含む障害対処ルールを蓄積するルール蓄積手段中の何れかの前記障害対処ルールに記述された条件式に一致する場合には一致した障害対処ルールの対処コマンドを、前記サービス実行手段上でコマンドを実行するコマンド実行手段に出力し、一致しない場合には前記障害判定手段で検索された障害知識情報があればその障害知識情報中の対処コマンド選択情報に基づいて前記ルール蓄積手段中の障害対処ルールから選択した対処コマンドを前記コマンド実行手段に出力する対処方法検索手段とを備えるマネージャ装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＷＥＢサービスや業務サービスといった情報通信サービスを提供する情報処理装置などの障害を復旧する装置に関し、特に、障害状態を検知して対処コマンドを実行する耐障害機能を有する障害復旧装置に関する。
【背景技術】
【０００２】
通信網を介した情報提供や商品販売といった情報通信サービスは、時間や距離の制約をあまり受けずに業務効率化やきめ細かいユーザサービスを提供できることから、急速に利用範囲が拡大している。このような利用範囲の拡大に伴い、これらのサービスを提供するコンピュータが障害に陥った場合の影響も大きくなり、その耐障害性が大きな課題となっている。
【０００３】
障害復旧装置の第１の従来技術が特許文献１に記載されている。この第１の従来技術では、幾つかの種類の障害毎にそれぞれ優先度を付けた１以上の障害対処ルールをルール蓄積手段に蓄積しておき、対象装置に障害が発生した場合、その発生した障害の種類に対応する障害対処ルール中の対処コマンドをルール蓄積手段から取り出し、障害が復旧するまで、優先度の高い障害対処ルールの対処コマンドから順に繰り返し自動的に実行する。
【０００４】
第１の従来技術に類似する第２の従来技術が特許文献２に記載されている。但し、この第２の従来技術は、最適な対処方法をインタフェース画面を通じて作業者に提示するもので、実際の対処は作業者自身の手作業で進められる。また、第２の従来技術は、作業者自身の判断で実行し復旧に結びついた対処方法を今回の障害の種類に対する有効な対処方法として新たにルール蓄積手段に追加できるようにしている。
【特許文献１】特公平７−５４４７４号公報
【特許文献２】特開平８−２２１２９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した第１の従来技術による障害復旧装置は、障害対処ルールに記述された障害に関しては有効に機能するが、そうでない場合には全くの無力であった。このような課題を解決する典型的な方法は、第２の従来技術に見られるように、作業者自身の判断で実行し復旧に結びついた対処方法を今回の障害に対する有効な対処方法として新たにルール蓄積手段に追加し、障害対処ルールを拡充することである。しかし、そのためには豊富な知識と経験を持つ作業者の介在が必要であり、また作業者の負担が大きくなる。さらに、全ての種類の障害について、それに有効な対処コマンドを実験などによって事前に求めることは、時間的およびコスト的な要因により困難である。特に、個別に設計されたアプリケーションプログラムなど、汎用性の低い構成要素の障害までも含めると、障害の種類が膨大になるため、極めて困難である。
【０００６】
本発明の目的は、障害毎に復旧用の対処コマンドを蓄積したルール蓄積手段を有する障害復旧装置において、障害対処ルールに記述された障害以外の障害が発生した場合であってもその障害の復旧を試行することのできる障害復旧装置を提供することにある。
【０００７】
本発明の別の目的は、前記試行により障害から復旧した場合に新たなルールを自動生成してルール蓄積手段に追加することで、以降同様の障害が発生した場合、速やかにその復旧が図れるようにすることにある。
【課題を解決するための手段】
【０００８】
本発明の第１の障害復旧装置は、障害の種類とそれに対する対処コマンドを記述した障害対処ルールを蓄積するルール蓄積手段と、障害の種類と対処コマンド選択情報とを記述した障害知識情報を蓄積する障害知識蓄積手段と、サービス実行手段で発生した障害が前記ルール蓄積手段中の障害対処ルールに記述された障害に一致する場合には一致した障害対処ルールの対処コマンドを前記ルール蓄積手段から読み出して前記サービス実行手段上で実行し、一致しない場合にはサービス実行手段で発生した障害が前記障害知識蓄積手段中の障害知識情報に記述された障害と一致するかどうかを判定し、一致する場合には一致した障害知識情報の対処コマンド選択情報に基づいて前記ルール蓄積手段から対処コマンドを選択して前記サービス実行手段上で実行することを特徴とする。
【０００９】
本発明の第２の障害復旧装置は、第１の障害復旧装置において、前記障害知識情報に記述された障害の種類と、前記対処コマンド選択情報に基づいて前記ルール蓄積手段から選択した対処コマンドとを記述した障害対処ルールを生成して前記ルール蓄積手段に追加する手段を備え、同じ種類の障害が再び発生したときに前記ルール蓄積手段に蓄積された前記障害対処ルールによって対処することを特徴とする。
【００１０】
本発明の第３の障害復旧装置は、障害の種類を判定するための条件式と対処コマンドとを含む障害対処ルールを蓄積するルール蓄積手段と、
障害状態と対処コマンド選択情報とを含む障害知識情報を蓄積する障害知識蓄積手段と、
サービス実行手段の動作状態を検出する動作状態検出手段と、
前記動作状態検出手段で検出された動作状態に合致する障害状態を含む障害知識情報を前記障害知識蓄積手段から検索する障害判定手段と、
前記動作状態検出手段で検出された動作状態に合致する条件式を含む障害対処ルールを前記ルール蓄積手段から検索し、該検索に成功したときは検索で得られた障害対処ルール中の対処コマンドを出力し、前記検索に失敗したときは前記障害判定手段で検索された障害知識情報があればその障害知識情報中の対処コマンド選択情報に基づいて前記ルール蓄積手段中の障害対処ルールから対処コマンドを選択して出力する対処方法検索手段と、
前記対処方法検索手段から対処コマンドを受け取り前記サービス実行手段上で実行するコマンド実行手段と、
を備えることを特徴とする。
【００１１】
本発明の第４の障害復旧装置は、第３の障害復旧装置において、前記障害知識情報中の対処コマンド選択情報は、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に現れるパラメータのうち、前記障害知識情報中の障害状態と関連するパラメータを含み、前記対処方法検索手段は、対処コマンド選択情報に記述されたパラメータを条件式に含む障害対処ルール中の対処コマンドを選択するものであることを特徴とする。
【００１２】
本発明の第５の障害復旧装置は、第３または第４の障害復旧装置において、前記ルール蓄積手段は、障害対処ルール間の適用順序の優先度情報を蓄積し、前記対処方法検索手段は、前記対処コマンド選択情報によって選択される対処コマンドが複数存在する場合、前記障害が復旧するまで、前記優先度情報に基づいて前記対処コマンドを順次選択して出力するものであり、且つ、前記実行された対処コマンドによる復旧の成否を判定しその判定結果に応じて前記優先度情報を変更する効果判定手段を備えることを特徴とする。
【００１３】
本発明の第６の障害復旧装置は、第３、第４または第５の障害復旧装置において、前記対処方法検索手段は、前記障害知識情報に記述された障害状態と、前記対処コマンド選択情報に基づいて前記ルール蓄積手段中から選択した対処コマンドとを記述した障害対処ルールを生成して前記ルール蓄積手段に追加する機能を有し、同じ障害状態が再び発生したときに前記ルール蓄積手段に蓄積された前記障害対処ルールによって対処する構成を有することを特徴とする。
【００１４】
本発明の第７の障害復旧装置は、第３、第４、第５または第６の障害復旧装置において、前記動作状態検出手段で検出された動作状態の履歴から前記サービス実行手段の特異状態を検出し特異状態情報を出力する特異状態検出手段を備え、前記障害判定手段は、前記特異状態情報を受け取り、前記特異状態を障害状態、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に含まれるパラメータのうち前記特異状態と関連するパラメータを対処コマンド選択情報とする障害知識情報を生成して前記障害知識蓄積手段に蓄積するものであることを特徴とする。
【００１５】
本発明の第８の障害復旧装置は、第３、第４、第５または第６の障害復旧装置において、前記対処方法検索手段と前記コマンド実行手段との間に介在し、前記障害知識情報中の対処コマンド選択情報に基づいて前記対処方法検索手段により選択され出力された対処コマンドの実行可否について、利用者入出力装置を通じて利用者に問い合わせる対話制御手段を備えることを特徴とする。
【００１６】
本発明の第９の障害復旧装置は、第６または第７の障害復旧装置において、前記障害知識情報に応じて前記対処方法検索手段が生成した障害対処ルールとその効果判定結果を利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正する対話制御手段を備えることを特徴とする。
【００１７】
本発明の第１０の障害復旧装置は、第７の障害復旧装置において、前記障害判定手段が前記特異状態情報に基づいて生成した障害知識情報、該障害知識情報に基づいて前記対処方法検索手段が前記ルール蓄積手段中から選択した対処コマンドを含む障害対処ルールを利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正する対話制御手段を備えることを特徴とする。
【００１８】
本発明の第１の障害復旧方法は、障害の種類とそれに対する対処コマンドを記述した障害対処ルールを蓄積するルール蓄積手段と、障害の種類と対処コマンド選択情報を記述した障害知識情報を蓄積する障害知識蓄積手段とを用い、サービス実行手段で発生した障害が前記ルール蓄積手段中の障害対処ルールに記述された障害に一致する場合には一致した障害対処ルールの対処コマンドを前記ルール蓄積手段から読み出して前記サービス実行手段上で実行し、一致しない場合にはサービス実行手段で発生した障害が前記障害知識蓄積手段中の障害知識情報に記述された障害と一致するかどうかを判定し、一致する場合には一致した障害知識情報の対処コマンド選択情報に基づいて前記ルール蓄積手段から対処コマンドを選択して前記サービス実行手段上で実行することを特徴とする。
【００１９】
本発明の第２の障害復旧方法は、第１の障害復旧方法において、対処方法検索手段が、前記障害知識情報に記述された障害の種類と、前記対処コマンド選択情報に基づいて前記ルール蓄積手段から選択した対処コマンドとを記述した障害対処ルールを生成して前記ルール蓄積手段に追加することにより、同じ種類の障害が再び発生したときに前記ルール蓄積手段に蓄積された前記障害対処ルールによって対処することを特徴とする。
【００２０】
本発明の第３の障害復旧方法は、
ａ）動作状態検出手段が、サービス実行手段の動作状態を検出するステップ、
ｂ）障害判定手段が、障害状態と対処コマンド選択情報とを含む障害知識情報を蓄積する障害知識蓄積手段から、前記検出された動作状態に合致する障害状態を含む障害知識情報を検索するステップ、
ｃ）対処方法検索手段が、前記検出された動作状態が、障害を判定するための条件式と対処コマンドとを含む障害対処ルールを蓄積するルール蓄積手段中の何れかの前記障害対処ルールに記述された条件式に一致する場合には一致した障害対処ルールの対処コマンドを出力し、一致しない場合には前記ステップｂで検索された障害知識情報があればその障害知識情報中の対処コマンド選択情報に基づいて前記ルール蓄積手段中の障害対処ルールから選択した対処コマンドを出力するステップ、
ｄ）コマンド実行手段が、前記出力された対処コマンドを受け取り前記サービス実行手段上で実行するステップ、
を含むことを特徴とする。
【００２１】
本発明の第４の障害復旧方法は、第３の障害復旧方法において、前記障害知識情報中の対処コマンド選択情報は、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に現れるパラメータのうち、前記障害知識情報中の障害状態と関連するパラメータを含み、前記ステップｃにおいては、対処コマンド選択情報に記述されたパラメータを条件式に含む障害対処ルール中の対処コマンドを選択するものであることを特徴とする。
【００２２】
本発明の第５の障害復旧方法は、第３または第４の障害復旧方法において、前記ルール蓄積手段は、障害対処ルール間の適用順序の優先度情報を蓄積し、前記ステップｃにおいては、前記対処コマンド選択情報によって選択できる対処コマンドが複数存在する場合、前記障害が復旧するまで、前記優先度情報に基づいて前記対処コマンドを順次選択して出力し、且つ、ｅ）効果判定手段が、前記実行された対処コマンドによる復旧の成否を判定しその判定結果に応じて前記優先度情報を変更するステップ、を含むことを特徴とする。
【００２３】
本発明の第６の障害復旧方法は、第３、第４または第５の障害復旧方法において、ｆ）前記対処方法検索手段が、前記障害知識情報に記述された障害状態と、前記対処コマンド選択情報に基づいて前記ルール蓄積手段中から選択した対処コマンドとを記述した障害対処ルールを生成して前記ルール蓄積手段に追加するステップ、を含み、同じ障害状態が再び発生したときに前記ルール蓄積手段に蓄積された前記障害対処ルールによって対処することを特徴とする。
【００２４】
本発明の第７の障害復旧方法は、第３、第４、第５または第６の障害復旧方法において、ｇ）特異状態検出手段が、前記検出された動作状態の履歴から前記サービス実行手段の特異状態を検出し特異状態情報を出力するステップ、ｈ）前記障害判定手段が、前記特異状態情報を受け取り、前記特異状態を障害状態、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に現れるパラメータのうち前記特異状態と関連するパラメータを対処コマンド選択情報とする障害知識情報を生成して前記障害知識蓄積手段に蓄積するステップ、を含むことを特徴とする。
【００２５】
本発明の第８の障害復旧方法は、第３、第４、第５または第６の障害復旧方法において、前記対処方法検索手段と前記コマンド実行手段との間に介在する対話制御手段が、前記障害知識情報中の対処コマンド選択情報に基づいて前記対処方法検索手段により選択され出力された対処コマンドの実行可否について、利用者入出力装置を通じて利用者に問い合わせるステップを含むことを特徴とする。
【００２６】
本発明の第９の障害復旧方法は、第６または第７の障害復旧方法において、対話制御手段が、前記障害知識情報に応じて前記対処方法検索手段が生成した障害対処ルールとその効果判定結果を利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正するステップを含むことを特徴とする。
【００２７】
本発明の第１０の障害復旧方法は、第７の障害復旧方法において、対話制御手段が、前記障害判定手段が前記特異状態情報に基づいて生成した障害知識情報、該障害知識情報に基づいて前記対処方法検索手段が前記ルール蓄積手段中から選択した対処コマンドを含む障害対処ルールを利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正するステップを含むことを特徴とする。
【００２８】
本発明の第１のマネージャ装置は、
障害を判定するための条件式と対処コマンドとを含む障害対処ルールを蓄積するルール蓄積手段と、
障害状態と対処コマンド選択情報とを含む障害知識情報を蓄積する障害知識蓄積手段と、
サービス実行手段の動作状態を検出する動作状態検出手段と、
前記動作状態検出手段で検出された動作状態に合致する障害状態を含む障害知識情報を前記障害知識蓄積手段から検索する障害判定手段と、
前記動作状態検出手段で検出された動作状態に合致する条件式を含む障害対処ルールを前記ルール蓄積手段から検索し、該検索に成功したときは検索で得られた障害対処ルール中の対処コマンドを出力し、前記検索に失敗したときは前記障害判定手段で検索された障害知識情報があればその障害知識情報中の対処コマンド選択情報に基づいて前記ルール蓄積手段中の障害対処ルールから対処コマンドを選択して出力する対処方法検索手段と、
前記対処方法検索手段から対処コマンドを受け取り前記サービス実行手段上で実行するコマンド実行手段と、
を備えることを特徴とする。
【００２９】
本発明の第２のマネージャ装置は、第１のマネージャ装置において、前記障害知識情報中の対処コマンド選択情報は、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に現れるパラメータのうち、前記障害知識情報中の障害状態と関連するパラメータを含み、前記対処方法検索手段は、対処コマンド選択情報に記述されたパラメータを条件式に含む障害対処ルール中の対処コマンドを選択するものであることを特徴とする。
【００３０】
本発明の第３のマネージャ装置は、第１または第２のマネージャ装置において、前記ルール蓄積手段は、障害対処ルール間の適用順序の優先度情報を蓄積し、前記対処方法検索手段は、前記対処コマンド選択情報によって選択される対処コマンドが複数存在する場合、前記障害が復旧するまで、前記優先度情報に基づいて前記対処コマンドを順次選択して出力するものであり、且つ、前記実行された対処コマンドによる復旧の成否を判定しその判定結果に応じて前記優先度情報を変更する効果判定手段を備えることを特徴とする。
【００３１】
本発明の第４のマネージャ装置は、第１、第２または第３のマネージャ装置において、前記対処方法検索手段は、前記障害知識情報に記述された障害状態と、前記対処コマンド選択情報に基づいて前記ルール蓄積手段中から選択した対処コマンドとを記述した障害対処ルールを生成して前記ルール蓄積手段に追加する機能を有し、同じ障害状態が再び発生したときに前記ルール蓄積手段に蓄積された前記障害対処ルールによって対処する構成を有することを特徴とする。
【００３２】
本発明の第５のマネージャ装置は、第１、第２、第３または第４のマネージャ装置において、前記動作状態検出手段で検出された動作状態の履歴から前記サービス実行手段の特異状態を検出し特異状態情報を出力する特異状態検出手段を備え、前記障害判定手段は、前記特異状態情報を受け取り、前記特異状態を障害状態、前記ルール蓄積手段に蓄積された障害対処ルール中の条件式に含まれるパラメータのうち前記特異状態と関連するパラメータを対処コマンド選択情報とする障害知識情報を生成して前記障害知識蓄積手段に蓄積するものであることを特徴とする。
【００３３】
本発明の第６のマネージャ装置は、第１、第２、第３または第４のマネージャ装置において、前記対処方法検索手段と前記コマンド実行手段との間に介在し、前記障害知識情報中の対処コマンド選択情報に基づいて前記対処方法検索手段により選択され出力された対処コマンドの実行可否について、利用者入出力装置を通じて利用者に問い合わせる対話制御手段を備えることを特徴とする。
【００３４】
本発明の第７のマネージャ装置は、第４または第５のマネージャ装置において、前記障害知識情報に応じて前記対処方法検索手段が生成した障害対処ルールとその効果判定結果を利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正する対話制御手段を備えることを特徴とする。
【００３５】
本発明の第８のマネージャ装置は、第５のネージャ装置において、前記障害判定手段が前記特異状態情報に基づいて生成した障害知識情報、該障害知識情報に基づいて前記対処方法検索手段が前記ルール蓄積手段中から選択した対処コマンドを含む障害対処ルールを利用者入出力装置に出力するとともに、前記利用者入出力装置からの入力に従って前記ルール蓄積手段に蓄積された障害対処ルール、前記障害知識蓄積手段に蓄積された障害知識情報を修正する対話制御手段を備えることを特徴とする。
【発明の効果】
【００３６】
本発明の第１および第３の障害復旧装置および方法並びに第１のマネージャ装置にあっては、ルール蓄積手段とは別に障害知識情報を蓄積する障害知識蓄積手段を用い、サービス実行手段で発生した障害がルール蓄積手段中の障害対処ルールに記述された障害に一致しない場合、障害知識蓄積手段中の障害知識情報に記述された障害と一致するかどうかを判定し、若し一致すれば、一致した障害知識情報の対処コマンド選択情報に基づいてルール蓄積手段から対処コマンドを選択してサービス実行手段上で実行するため、障害対処ルールに記述された障害以外の障害が発生した場合であってもその障害の復旧を試行することができる。従って、確実に復旧できる保証はないとは言え、障害対処ルールに記述された障害以外の障害を放置する場合に比べてシステムの可用性が向上する。
【００３７】
本発明の第２および第６の障害復旧装置および方法並びに第４のマネージャ装置にあっては、障害対処ルールに記述された障害以外の障害に対して障害知識情報中の対処コマンド選択情報に基づいて選択した対処コマンドが有効であった場合、以降に同じ種類の障害が再び発生したときにルール蓄積手段に蓄積された障害対処ルールで対処できるように障害対処ルールを自動的に追加するため、同種障害の速やかな復旧が可能となる。また、ルール作成のための管理者の負担が大幅に軽減し、対処ミスを防止することができる。
【００３８】
本発明の第４の障害復旧装置および方法並びに第２のマネージャ装置にあっては、障害知識情報中の対処コマンド選択情報が、ルール蓄積手段に蓄積された障害対処ルール中の条件式に現れるパラメータのうち、その障害知識情報中の障害状態と関連するパラメータを含み、対処コマンド選択情報に記述されたパラメータを条件式に含む障害対処ルール中の対処コマンドを選択するため、無作為に対処コマンドを選択する場合に比べて、復旧の確率が高まり、その分だけシステムの可用性が向上する。
【００３９】
本発明の第５の障害復旧装置および方法並びに第３のマネージャ装置にあっては、対処コマンド選択情報で選択される対処コマンドが複数存在する場合、発生した障害が復旧するまで、障害対処ルール間の適用順序の優先度情報に基づいて対処コマンドを順次選択して試行するため、より一層復旧の確率を高めることができ、且つ、実行された対処コマンドによる復旧の成否を判定しその判定結果に応じて優先度情報を変更するため、障害知識情報に記述された障害と障害対処ルールに記述された障害の双方に対する効果に応じた優先度制御が可能であり、障害知識情報に記述した障害を含めて実際のサービス実行手段の特性に応じて障害対処ルール間の適用順序を学習することができる。
【００４０】
本発明の第７の障害復旧装置および方法並びに第５のマネージャ装置にあっては、サービス実行手段の新たな特異状態が検出される毎に、その特異状態を障害状態、ルール蓄積手段に蓄積された障害対処ルール中の条件式に含まれるパラメータのうち前記特異状態と関連するパラメータを対処コマンド選択情報とする障害知識情報が生成されて障害知識蓄積手段に追加されるため、障害対処ルールに記述された障害以外の障害について対処可能な障害の種類を自動的に増やしていくことができる。このため、システムの可用性がより一層向上し、また障害知識情報を追加する管理者の負担を軽減することができる。
【００４１】
本発明の第８の障害復旧装置および方法並びに第６のマネージャ装置にあっては、対話制御手段が、対処方法検索手段から出力された対処コマンドのうち、ユーザとの対話により実行の承認がとれた対処コマンドをコマンド実行手段に出力するため、ユーザは、障害知識情報中の対処コマンド選択情報に基づいて選択された対処コマンドが若し不適当ならその実行を抑止でき、不適当な対処コマンドを実行した場合に発生する問題を未然に防止することが可能である。
【００４２】
本発明の第９の障害復旧装置および方法並びに第７のマネージャ装置にあっては、障害知識情報に応じて対処方法検索手段が生成した新たな障害対処ルールとその効果判定結果は、対話制御手段を介してユーザに提示され、ユーザは対話操作によって障害知識情報や障害対処ルールを修正することができる。これにより、装置が自動的に障害対処ルールを追加し実行している状態をユーザが把握し、必要に応じて修正することが可能である。また、システムの挙動を通して管理に必要なノウハウをユーザが取得し検証することができる。
【００４３】
本発明の第１０の障害復旧装置および方法並びに第８のマネージャ装置にあっては、特異状態情報に応じて障害判定手段が生成した新たな障害知識情報、この障害知識情報に基づいてルール蓄積手段中から選択された対処コマンドを含む障害対処ルールは、対話制御手段を介してユーザに提示される。これにより、サービス実行手段から装置が自動的に検知した特異状態とそれに応じた障害対処の状況をユーザが把握し、必要に応じて修正することが可能である。また、システムの挙動を通して管理に必要なノウハウをユーザが取得し検証することができる。
【発明を実施するための最良の形態】
【００４４】
本発明の実施の形態を説明する前に、図１、図２、図３を用いて本発明の前提となる障害復旧装置について説明する。
【００４５】
図１を参照すると、本発明の前提となる障害復旧装置は、サービス実行手段１１に接続された動作状態検出手段１およびコマンド実行手段４と、ルール蓄積手段２と、これらに接続された対処方法検索手段３とを含んで構成される。
【００４６】
サービス実行手段１１は、ＷＥＢサービスや業務サービスといった情報通信サービスを提供する情報処理装置などである。
【００４７】
ルール蓄積手段２は、障害対処ルールを蓄積する記憶装置である。図２に障害対処ルール群６００の例を示す。障害対処ルールは、障害を判定するための条件式とその障害に対する対処コマンドと当該ルールの優先度とを含んで構成される。条件式は、サービス実行手段１１がどのような動作状態になったときに障害が発生したとみなすか、あるいはその障害の前兆が発生したとみなすかを定める情報であり、メモリ残量やＣＰＵ負荷などをパラメータとして定義している。対処コマンドは、その条件式が満たされる状態となった場合に障害を復旧または回避するために使われるコマンドである。優先度は、障害対処ルール間の適用順序を示し、数値がより大きいほど優先度が高くなる。例えば図２の番号１および２の障害対処ルールは、サービス実行手段１１のメモリ残量の数値が２０以下となった状態を障害状態とし、その状態で実行すべき対処コマンドとしてアプリケーションプログラム（ＡＰ）再起動コマンドおよびオペレーティングシステム（ＯＳ）再起動コマンドがそれぞれ優先度８０、５０として定義されている。同様に、番号３、４の障害対処ルールは、ＣＰＵ負荷が８０以上となった状態を障害状態とし、その状態で実行すべき対処コマンドとしてＯＳ再起動およびマシン追加がそれぞれ優先度７０、４０として定義されている。なお、図２では障害の種類を示す条件式は、すべて何らかの数値を含んだ数式の形式を有しているが、そのような形式に限られるものではない。
【００４８】
動作状態検出手段１は、サービス実行手段１１の動作状態を取得し、対処方法検索手段３に出力する手段である。取得する動作状態には、サービス実行手段１１の起動／停止状態、アプリケーションプログラムの起動／停止状態、アプリケーションプログラムのエラー状態、ＣＰＵ状態、メモリ状態など各種の状態がある。サービス実行手段１１の動作状態を取得する方法としては、サービス実行手段１１にＳＮＭＰエージェントを常駐させ、定期的にＳＮＭＰリクエストをＳＮＭＰエージェントへ送信することによって取得する方法や、サービス実行手段１１にＳＮＭＰトラップの設定を行い、ＳＮＭＰトラップイベントが発生したときに受信する方法など、任意の方法を使用することができる。
【００４９】
対処方法検索手段３は、動作状態検出手段１で検出された動作状態に合致する条件式を含む障害対処ルールをルール蓄積手段２から検索し、その障害対処ルール中の対処コマンドをコマンド実行手段４に出力する手段である。若し、条件式に合致する障害対処ルールが複数存在する場合には、障害対処ルール間の優先度の高いものから順に対処コマンドを選択して出力する。
【００５０】
コマンド実行手段４は、対処方法検索手段３から対処コマンドを受け取り、サービス実行手段１１上でその対処コマンドを実行する手段である。
【００５１】
図３は、図１の障害復旧装置における動作のフローチャートを示す。動作状態検出手段１は、サービス実行手段１１の動作状態を検出する（図３のステップ１０１）。対処方法探索手段３は、動作状態検出手段１から現在の動作状態を受け取り、ルール蓄積手段２に蓄積されている障害対処ルールの条件式に合致するものがあるかどうかを探索する（ステップ１０２）。合致する条件式の障害対処ルールが１つも無い場合は、障害が発生していないものとして、ステップ１０１に戻る。
【００５２】
合致する条件式の障害対処ルールがあった場合、対処方法検索手段３は、障害発生とみなして対応する対処コマンドを取得し、コマンド実行手段４に渡してサービス実行手段１１上で実行させる（ステップ１０３）。例えば、検出された動作状態が「メモリ残量が２０未満」であった場合、図２の番号１および番号２の条件式に合致するため、対処コマンドとしてＡＰ再起動とＯＳ再起動が候補となるが、ＡＰ再起動の優先度の方が高いため、対処コマンドとしてＡＰ再起動を選択してコマンド実行手段４に出力する。この対処コマンドをコマンド実行手段４が受け取り、サービス実行手段１１にその実行を指示することで、サービス実行環境上のアプリケーションが再起動される。この後、ステップ１０１に戻って動作状態検出手段１が、対処コマンド実行後の動作状態を検出する。ここで、メモリ残量が２０未満のままであれば（ステップ１０２）、次の対処コマンドとしてＯＳ再起動が実行される（ステップ１０３）。メモリ残量が２０以上になっていれば、合致する障害状態がなくなり、障害への対処が完了する。
【００５３】
このように、図１に示す障害復旧装置では、予め決められた条件で対処コマンドを自動的に実行するため、障害対処ルールに記述された障害に関してはサービス実行手段１１の障害を自動的に復旧または回避することができる。しかし、障害対処ルールに記述されていない障害に関しては、何の対処も行えない。
【００５４】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
（第１の実施の形態）
【００５５】
先ず、図４、図５、図６を用いて、本発明の第１の実施の形態について説明する。
【００５６】
図４を参照すると、本発明の第１の実施の形態の障害復旧装置は、サービス実行手段１１側に設けられた動作状態検出手段１およびコマンド実行手段４を含んで構成されるエージェント装置２０と、ルール蓄積手段２、対処方法検索手段３、障害知識蓄積手段５および障害判定手段６を含んで構成されるマネージャ装置３０とで構成される。図４では、マネージャ装置３０にエージェント装置２０が１台だけ図示しないネットワークを通じて接続されているが、複数台のエージェント装置２０が接続されていてもよい。
【００５７】
図４において、エージェント装置２０のサービス実行手段１１、動作状態検出手段１およびコマンド実行手段４、マネージャ装置３０のルール蓄積手段２は、図１に示した本発明の前提となる障害復旧装置におけるものと同じである。マネージャ装置３０の障害知識蓄積手段５、障害判定手段６および対処方法検索手段３は、それぞれ以下のような機能を有する。
【００５８】
障害知識蓄積手段５は、障害の種類を示す障害状態とルール蓄積手段２に蓄積された対処コマンドを選択するための選択情報とを記述した障害知識情報を蓄積する記憶装置である。ルール蓄積手段２中の障害対処ルールが或る障害に対して或る程度有効であることが検証された対処コマンドを対応付けているのに対し、この障害知識蓄積手段５に蓄積される障害知識情報は、障害対処ルールに記述された障害以外の障害について、その障害に対して有効かどうか定かでないが、試しに実行してみる価値があると管理者が判断した対処コマンドを対応付けている。考えようによっては少し無謀であるが、最終的に実行される対処コマンドはあくまでルール蓄積手段２に蓄積された検証済の障害対処ルール中の対処コマンドであり、実行して問題がないことが確かめられているため、サービス実行手段１１に致命的な障害を与える危険性はない。
【００５９】
図５に障害知識蓄積手段５に蓄積された障害知識情報群５０１の例を示す。番号１の障害知識情報は、障害の種類を示す障害状態に「ＡＰエラー」が定義され、対処コマンド選択情報に「メモリ残量」というパラメータが定義されている。この番号１の障害知識情報は、ＡＰエラーが起きたという障害が発生した場合、メモリ残量というパラメータに関連する条件式を持つ障害対処ルール中の対処コマンドを選択せよ、という意味を表す。従って、ルール蓄積手段２の内容が図２に示したものとすると、「メモリ残量＜２０」に対応するＡＰ再起動、ＯＳ再起動が対処コマンドとして選択されることになる。同様に番号２の障害知識情報は、ＡＰエラーが起きたという障害が発生した場合、ＣＰＵ負荷というパラメータに関連する条件式を持つ障害対処ルール中の対処コマンドを選択せよ、という意味を表す。従って、ルール蓄積手段２の内容が図２に示したものとすると、「ＣＰＵ負荷＞８０」に対応するＯＳ再起動、マシン追加が対処コマンドとして選択されることになる。
【００６０】
図５に例示した障害知識情報は、対処コマンド選択情報として、障害状態に関連する動作状態を定義している。すなわち、ＡＰエラーという障害状態には、メモリの残量やＣＰＵの負荷が関連すると推測されるため、「メモリ残量」、「ＣＰＵ負荷」というパラメータが対処コマンド選択情報として設定されている。ここで、対処コマンド選択情報として障害状態に関連する動作状態を設定する場合、ルール蓄積手段２に存在する障害対処ルールの条件式に現れているパラメータのうちから選択する。なお、対処コマンド選択情報に障害状態に関連する動作状態を設定する以外に、ルール蓄積手段２に記憶された障害対処ルールの番号を設定することも可能であり、また、極端な場合、全ての対処コマンドを選択することを示す「ＡＮＹ」とすることも可能である。
【００６１】
障害判定手段６は、動作状態検出手段１で検出されたサービス実行手段１１の動作状態に合致する障害状態を含む障害知識情報を障害知識蓄積手段５から検索する機能を持つ。
【００６２】
対処方法検索手段３は、動作状態検出手段１で検出されたサービス実行手段１１の動作状態に合致する条件式を含む障害対処ルールをルール蓄積手段２から検索してその障害対処ルール中の対処コマンドを取得し、コマンド実行手段４に出力するといった図１の本発明の前提とする障害復旧装置におけるものと同じ機能に加え、障害判定手段６で検索された障害知識情報中の対処コマンド選択情報に基づいてルール蓄積手段２から対処コマンドを取得し、コマンド実行手段４に出力する機能を有する。
【００６３】
図６は本実施の形態にかかる障害復旧装置の動作のフローチャートを示す。以下、初期状態として図２のような障害対処ルールおよび図５のような障害知識情報がある場合を例に本実施の形態の動作を説明する。
【００６４】
動作状態検出手段１は、サービス実行手段１１の動作状態を検出する（図６のステップ１１１）。対処方法検索手段３は、ルール蓄積手段２を参照し、現在の動作状態に合致する条件式を持つ障害対処ルールがあるかどうかを判定する（ステップ１１２）。現在の動作状態に合致する条件式を持つ障害対処ルールがあるときは、図１に示した本発明の前提となる障害復旧装置と同様に、存在した障害対処ルールから対処コマンドを取得してコマンド実行手段４に出力し、サービス実行手段１１上で実行させる（ステップ１１５）。
【００６５】
他方、現在の動作状態に合致する条件式を持つ障害対処ルールが存在しない場合、図１に示した本発明の前提となる障害復旧装置では、障害が発生していないものとして扱ったが、本実施の形態の場合、以下のような処理が実行される。
【００６６】
まず、障害判定手段６は、障害知識蓄積手段５を参照し、サービス実行手段１１で検出された動作状態に合致する障害状態を持つ障害知識情報があるかどうかを判定する（ステップ１１３）。現在の動作状態に合致する障害状態を持つ障害知識情報が存在しない場合、障害が発生していないものとしてステップＳ１１１に戻るが、存在する場合、障害知識情報中の対処コマンド選択情報が障害判定手段６から対処方法検索手段３に出力され、対処方法検索手段３は、ルール蓄積手段２を参照し、この対処コマンド選択情報に基づいて選択される対処コマンドがルール蓄積手段２に存在するかどうかを判定する（ステップ１１４）。そして、存在しなければステップＳ１１１に戻るが、存在すれば、対処コマンド選択情報に基づいて選択した対処コマンドをコマンド実行手段４に出力し、サービス実行手段１１上で実行させる（ステップ１１５）。
【００６７】
従って、例えば動作状態検出手段１がサービス実行手段１１のシステム状態を検出し、「ＡＰエラー」を示すイベントが検出された場合を考えると、それに合致する条件式を持つ障害対処ルールはルール蓄積手段２に存在しないため、図１の前提となる障害復旧装置では障害が発生していないとして何の対応も行わないが、本実施の形態では次のような動作が実行されることになる。
【００６８】
まず、障害判定手段６において、サービス実行手段１１の現在の状態「ＡＰエラー」に合致する障害状態「ＡＰエラー」を持つ番号１、２の障害知識情報が障害知識蓄積手段５から検索される。次に、対処方法検索手段３は、検索された障害知識情報から対象コマンド選択情報として、「メモリ残量」、「ＣＰＵ負荷」を取り出し、これらに関連する条件式を持つ障害対処ルールを図２のルール蓄積手段２から検索する。図２の場合、番号１〜４の障害対処ルールが適合するので、その中で最も優先度の高い番号１の障害対処ルールの対処コマンド「ＡＰ再起動」から順に、障害状態「ＡＰエラー」が解消されるまで、対処コマンドがサービス実行手段１１上で実行されることになる。
【００６９】
このように本実施の形態によれば、障害対処ルールに記述された障害以外の障害がサービス実行手段１１において発生した場合、その障害に合致する障害状態を持つ障害知識情報中の対処コマンド選択情報に基づいてルール蓄積手段２から対処コマンドが選択され、サービス実行手段１１上で試行される。これによって、障害対処ルールに記述された障害以外の障害が発生した場合に全くの無力であった図１の障害復旧装置に比べて、障害の復旧率を高めることができ、システムの可用性が向上する。
【００７０】
また、障害知識蓄積手段５および障害判定手段６を備えず、条件式に「ＡＰエラーの発生」、対処コマンドに「ＡＰ再起動」などを持つ障害対処ルールをルール蓄積手段２に追加すれば、本実施の形態とほぼ同様な動作が行われる。しかし、ＡＰエラーの発生という障害に対してＡＰ再起動という対処コマンドが有効であるかどうか検証されていない段階で、そのような不確かな障害対処ルールをルール蓄積手段２に追加すると、ルール蓄積手段２に、検証済の有効な障害対処ルールと未検証状態の不確かな障害対処ルールとが混在することになり、真に有効な障害対処ルールの検索時間を悪化させる上、何らかの目印を付けて置かなければどの障害対処ルールが検証済で有効なものか分からなくなり、ルールの管理上問題が多い。
【００７１】
尚、本実施の形態で例に挙げた動作状態や対処コマンドについては、この例に限定されるものではなく、本発明の構成に従ってサービス実行手段１１で検出できる動作状態や実行可能な対処コマンドであれば同様の効果が得られるものである。また、本実施の形態では優先度情報を用いた障害対処ルールを用いて説明したが、この例に限定されるものではなく、障害対処ルールや障害知識情報の記述形式や内容についても、障害とみなすべき動作状態と対応する障害対処ルールの関連性を規定できるものであれば、同様の効果が得られるものである。
（第２の実施の形態）
【００７２】
次に、図７乃至図１０を用いて、本発明の第２の実施の形態について説明する。
【００７３】
図７を参照すると、本発明の第２の実施の形態の障害復旧装置は、サービス実行手段１１側に設けられた動作状態検出手段１およびコマンド実行手段４を含んで構成されるエージェント装置２０と、ルール蓄積手段２、対処方法検索手段３、障害知識蓄積手段５、障害判定手段６、状態レジスタ７および効果判定手段８を含んで構成されるマネージャ装置３０とで構成される。図７では、マネージャ装置３０にエージェント装置２０が１台だけ接続されているが、複数台のエージェント装置２０が接続されていてもよい。
【００７４】
図７において、エージェント装置２０のサービス実行手段１１、動作状態検出手段１およびコマンド実行手段４、マネージャ装置３０のルール蓄積手段２、障害知識蓄積手段５および障害判定手段６は、図４に示した本発明の第１の実施の形態にかかる障害復旧装置におけるものと同じである。マネージャ装置３０の状態レジスタ７、効果判定手段８および対処方法検索手段３は、それぞれ以下のような機能を有する。
【００７５】
対処方法検索手段３は、図４の第１の実施の形態にかかる障害復旧装置におけるものと同様の機能に加えて、対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタ７に出力する機能を有する。対処コマンドを実行した後に変化すると予想される動作状態の変化情報は、その対処コマンドを含む障害対処ルール中の条件式から導出される。例えば条件式が「メモリ残量＜２０」なら「メモリ残量＞２０」、条件式が「ＡＰエラーあり」なら「ＡＰエラーなし」にそれぞれ設定される。また対処方法検索手段３は、障害知識情報中の対処コマンド選択情報に基づいてルール蓄積手段２から選択された対処コマンドをコマンド実行手段４に出力する場合に、その対処コマンドとその障害知識情報中の障害状態とから新たな障害対処ルールを生成してルール蓄積手段２に蓄積する機能を有する。
【００７６】
状態レジスタ７は対処方法検索手段３から出力された情報を保持する記憶装置である。
【００７７】
効果判定手段８は、状態レジスタ７に保持された動作状態の変化情報と動作状態検出手段１の出力である対処コマンド実行後のサービス実行手段１１の動作状態を比較して、対処コマンドによる復旧または回避の成否を判定する機能を有する。例えば、或る対処コマンドを実行した後に変化すると予想される動作状態の変化情報として「メモリ残量＞２０」が状態レジスタ７に保持されている場合、その対処コマンド実行後のサービス実行手段１１の動作状態が「メモリ残量＞２０」なら、その対処コマンドによる復旧または回避が成功と判定し、その対処コマンド実行後のサービス実行手段１１の動作状態が「メモリ残量＜２０」なら、その対処コマンドによる復旧または回避が失敗と判定する。また効果判定手段８は、その判定結果に応じてルール蓄積手段２の優先度情報を修正する機能を有する。
【００７８】
図８は本実施の形態にかかる障害復旧装置の動作のフローチャートを示す。以下、初期状態として図２のような障害対処ルールおよび図５のような障害知識情報がある場合を例に本実施の形態の動作を説明する。
【００７９】
動作状態検出手段１は、サービス実行手段１１の動作状態を検出する（図８のステップ２０１）。次に、効果判定手段８が、状態レジスタ７を参照し、既に実行された対処コマンドがあるかどうかを判定する（ステップ２０２）。実行された対処コマンドがない場合は、効果判定手段８は何もせず、処理はステップ２０５へ進む。実行された対処コマンドが存在する場合、効果判定手段８は、現在の動作状態と状態レジスタ７の内容とを比較して実行された対処コマンドの効果を判定し（ステップ２０３）、効果の有無に応じてその実行された対処コマンドを含む障害対処ルールの優先度を修正する（ステップ２０４）。
【００８０】
次にステップ２０５において、対処方法検索手段３は、ルール蓄積手段２を参照し、現在の動作状態に合致する条件式を持つ障害対処ルールがあるかどうかを判定する。現在の動作状態に合致する条件式を持つ障害対処ルールがあるときは、存在した障害対処ルールから対処コマンドを取得し、その対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタ７にセットし（ステップ２０９）、その対処コマンドをコマンド実行手段４に出力し、サービス実行手段１１上で実行させる（ステップ２１０）。
【００８１】
また、現在の動作状態に合致する条件式を持つ障害対処ルールが存在しない場合、第１の実施の形態と同様に、障害判定手段６は、障害知識蓄積手段５を参照し、サービス実行手段１１で検出された動作状態に合致する障害状態を持つ障害知識情報があるかどうかを判定する（ステップ２０６）。現在の動作状態に合致する障害状態を持つ障害知識情報が存在しない場合、障害が発生していないものとしてステップＳ２０１に戻り、存在する場合は、対処方法検索手段３がその障害知識情報中の対処コマンド選択情報で選択される対処コマンドがルール蓄積手段２に存在するかどうかを判定する（ステップ２０７）。そして、存在しなければステップＳ２０１に戻るが、存在すれば、対処方法検索手段３は、その対処コマンドとその障害知識情報中の障害状態とから新たな障害対処ルールを生成してルール蓄積手段２に登録し（ステップ２０８）、その対処コマンド選択情報に基づいて選択した対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタ７にセットし（ステップ２０９）、その対処コマンドをコマンド実行手段４に出力し、サービス実行手段１１上で実行させる（ステップ２１０）。
【００８２】
ステップ２０８で生成されてルール蓄積手段２に登録された障害対処ルールは、後のステップ２０３において効果が判定され、若し効果がなかったことが判明すると、続くステップ２０４によりそのルールの優先度が下げられ、逆に効果があった場合にはそのルールの優先度が上げられる。
【００８３】
次に、第１の実施の形態と同様に動作状態検出手段１においてサービス実行手段１１のシステム状態として「ＡＰエラー」を示すイベントが検出された場合を例に、本実施の形態の動作を説明する。
【００８４】
動作状態検出手段１においてサービス実行手段１１の動作状態として「ＡＰエラー」が検出された場合（ステップ２０１）、対処方法検索手段３は、ルール蓄積手段２を参照し、現在の動作状態に合致する条件式を持つ障害対処ルールがあるかどうかを判定するが（ステップ２０５）、存在しないため、障害判定手段６は、障害知識蓄積手段５を参照し、現在の動作状態に合致する障害状態を持つ障害知識情報があるかどうかを判定する（ステップ２０６）。図５の障害知識蓄積手段５の場合、現在の動作状態「ＡＰエラー」に合致する障害状態を持つ障害知識情報が２つあるので、対処方法検索手段３はその障害知識情報中の対処コマンド選択情報「メモリ残量」、「ＣＰＵ負荷」で選択される対処コマンドがルール蓄積手段２に存在するかどうかを判定する（ステップ２０７）。図２のルール蓄積手段２の場合、対処コマンド選択情報「メモリ残量」によって番号１、番号２の障害対処ルール中の対処コマンド「ＡＰ再起動」、「ＯＳ再起動」が選択でき、対処コマンド選択情報「ＣＰＵ負荷」によって番号３、番号４の障害対処ルール中の対処コマンド「ＯＳ再起動」、「マシン追加」が選択できる。従って、その中で最も優先度の高い番号１の障害対処ルール中の対処コマンド「ＡＰ再起動」がまず選択される。
【００８５】
対処方法検索手段３は、選択した対処コマンド「ＡＰ再起動」と、この対処コマンドを選択するために使用した対処コマンド選択情報を持つ障害知識情報中の障害状態「ＡＰエラー」とから、「ＡＰエラー」を条件式に、「ＡＰ再起動」を対処コマンドにした新しい障害対処ルールを生成し、ルール蓄積手段２に登録する（ステップ２０８）。図９のルール群６０１中の番号５のルールは、この新しい障害対処ルールを示し、優先度の初期値として「５０」が設定されている。さらに、対処方法検索手段３は、この対処コマンドである「ＡＰ再起動」を出力すると同時に、この対処コマンドを実行した後に変化すると予想される動作状態の変化情報を状態レジスタ７にセットする（ステップ２０９）。この場合、対処コマンドの実行によってルール内の条件式で示される障害状態が回避されること、つまり、「ＡＰエラー」がなくなることが予想されることから、実行する対処コマンド「ＡＰ再起動」と対処が成功した場合の条件「ＡＰエラーなし」を、動作状態の変化情報として状態レジスタ７にセットする。
【００８６】
この後、コマンド実行手段４によって対処コマンド「ＡＰ再起動」が実行され（ステップ２１０）、ステップ２０１に戻って、対処コマンド実行後の動作状態が検出される。次に、効果判定手段８は、状態レジスタ７を参照し、既に実行された対処コマンドがあることを知り（ステップ２０２）、現在の動作状態と状態レジスタ７の「ＡＰエラーなし」という条件を比較する（ステップ２０３）。ここで、再度「ＡＰエラー」が検出されなければ、前回の対処コマンド「ＡＰ再起動」によって障害が復旧したと判断し、前回生成した図９の番号５の障害対処ルールの優先度を例えば１０上げて６０とする（ステップ２０４）。そして、もはや「ＡＰエラー」は検出されていないので、上述した残りの番号２〜４の障害対処ルール中の対処コマンドの実行およびそれに基づく新たな障害対処ルールの生成は行われない。
【００８７】
他方、「ＡＰ再実行」の実行にもかかわらず、再度「ＡＰエラー」が検出されていた場合、前回の対処コマンド「ＡＰ再起動」が失敗したと判断し、対応する障害対処ルールの優先度を低下させる（ステップ２０４）。図１０を参照すると、番号５の障害対処ルールの優先度が、図９の初期値「５０」から１０下がって「４０」となっている。この場合、以降、前回のステップＳ２０５において対処方法検索手段３が現在の状態「ＡＰエラー」に合致する条件式を持つ障害対処ルールとして図１０の番号５のルールを検出するが、通常、直前の実行で失敗した対処コマンドを記憶する等によって再試行時に再び同じ対処コマンドを選択しない手法が採られるため、対処方法検索手段３によって番号５の障害対処ルールが選択されることはない。あるいは、初期値である「５０」よりも少ない優先度を持つ障害対処ルールは再試行時の選択からは除外するという手法を用いてもよい。本実施の形態では、後者の手法を用いるものとして説明を続ける。
【００８８】
対処方法選択手段３は、「ＡＰエラー」に関する優先度値が初期値「５０」以上の障害対処ルールがないことを判断すると、次に、障害知識情報の対処コマンド選択情報に合致する対処コマンドを探索し（ステップ２０７）、前回と同様に図１０の番号１〜４のルール中の対処コマンドが発見される。この場合、前回と同様に、優先度の最も高い番号１の障害対処ルール中の対処コマンド「ＡＰ再起動」を選択し、その対処コマンドを用いた新しいルールの生成を試みると、既に同じルール（番号５）が存在し、初期値以下の優先度になっていることを検出して、ルール作成に失敗する。従って、次に優先度の高い番号３の障害対処ルール中の対処コマンド「ＯＳ再起動」が選択され、その対処コマンドを用いた新しいルールが生成され、ルール蓄積手段２に登録される。図１０の番号６の障害対処ルールは、このようにして生成された新しい障害対処ルールであり、対処コマンドが「ＯＳ再起動」、優先度が初期値である「５０」となっている（ステップ２０８）。
【００８９】
この後、この対処コマンドに対する動作状態の変化情報として、「ＡＰエラーなし」が状態レジスタ７に設定され、コマンド実行手段４によって対処コマンドが実行される。さらに、対処コマンド実行後のステップ２０１で「ＡＰエラー」が回避されていれば、この対処コマンドが有効であったと判定されて優先度が上昇し、以降ステップ２０５で同じ障害が発生した場合に選択される障害対処ルールとなる。「ＡＰエラー」が回避されていない場合は、「ＡＰ再起動」の場合と同様に優先度が低下し、番号３、４の障害対処ルール中の対処コマンドに対応する新しいルールが生成され、その効果が判定されていくことになる。
【００９０】
このように本実施の形態によれば、障害対処ルールに記述された障害以外の障害がサービス実行手段１１において発生した場合、その障害に合致する障害状態を持つ障害知識情報中の対処コマンド選択情報に基づいてルール蓄積手段２から対処コマンドが選択され、サービス実行手段１１上で試行される。これによって、障害対処ルールに記述された障害以外の障害が発生した場合に全くの無力であった図１の障害復旧装置に比べて、障害の復旧率を高めることができ、システムの可用性が向上する。
【００９１】
また、サービス実行手段１１において発生した障害に合致する障害状態を持つ障害知識情報中の対処コマンド選択情報に基づいてルール蓄積手段２から選択した対処コマンドをサービス実行手段１１上で試行する際、その障害状態と対処コマンドと初期値の優先度とから新たな障害対処ルールを生成し、効果判定手段８によって前記対処コマンドによる障害復旧の成否を判定し、若し成功していれば前記生成した障害対処ルールの優先度を上げるようにしたので、以降、同じ障害状態が再び発生した場合、当該障害状態を条件式に持つ当該障害対処ルールが優先的に実行されることになり、同種障害の速やかな復旧が可能となる。また、ルール作成のための管理者の負担が大幅に軽減し、対処ミスを防止することができる。
【００９２】
尚、本実施の形態では、新しい障害対処ルールを生成して優先度を制御する場合の動作について説明したが、障害対処ルールを生成せずに、実行した対処コマンドを含む既存の障害対処ルールの優先度を制御するようにしてもよい。この場合、新たな障害専用に優先度を制御することはできないが、既存の障害対処ルールを用いて、条件式とマッチした場合の効果と類似状態として試行された場合の効果の両方を加味した優先度制御が可能であり、未知の障害を含めた実際のサービス実行手段の特性に応じて対処コマンドの実行順序を決定することができるという効果がある。
【００９３】
また、本実施の形態で例に挙げた優先度の数値や計算方法については、この例に限定されるものではなく、対処コマンドの実行結果に応じた修正を行うものであれば、同様に対処を効率的に行うことができる。また、新しいルールの生成に関しても、例えば、関連動作状態に含まれるルールの候補すべてを初期優先度で生成してから、次回以降の効果判定によって優先度の変更を行う場合も考えられる。このような手法は、既存の重み付けルール探索手法を用いたものであってもよく、対処コマンドの実行結果に応じて順次試行される手法であれば、同様の効果を得られるものである。
【００９４】
さらに、新しい障害対処ルールの生成は、対処コマンドによる復旧成功が効果判定手段８により検出されるまで保留し、障害の復旧に効果があったことが確認された対処コマンドについてのみ実施するようにしてもよい。
（第３の実施の形態）
【００９５】
次に、図１１乃至図１４を用いて、本発明の第３の実施の形態について説明する。
【００９６】
図１１を参照すると、本発明の第３の実施の形態の障害復旧装置は、サービス実行手段１１側に設けられた動作状態検出手段１およびコマンド実行手段４を含んで構成されるエージェント装置２０と、稼働状態レジスタ９および特異状態検出手段１０を含んで構成される特異状態検出装置４０と、ルール蓄積手段２、対処方法検索手段３、障害知識蓄積手段５、障害判定手段６、状態レジスタ７および効果判定手段８を含んで構成されるマネージャ装置３０とで構成される。図１１では、マネージャ装置３０にエージェント装置２０および特異状態検出装置４０がそれぞれ１台だけ接続されているが、複数台のエージェント装置２０および特異状態検出装置４０が接続されていてもよい。
【００９７】
図１１において、エージェント装置２０のサービス実行手段１１およびコマンド実行手段４、マネージャ装置３０のルール蓄積手段２、障害知識蓄積手段５および状態レジスタ７は、図７に示した本発明の第２の実施の形態にかかる障害復旧装置におけるものと同じである。エージェント装置２０の動作状態検出手段１、特異状態検出装置４０の稼働状態レジスタ９および特異状態検出手段１０、マネージャ装置３０の対処方法検索手段３、効果判定手段８および障害判定手段６は、それぞれ以下のような機能を有する。
【００９８】
動作状態検出手段１は、検出したサービス実行手段１１の動作状態をマネージャ装置３０および稼働状態レジスタ９に送信する機能を有する。
【００９９】
稼働状態レジスタ９は、動作状態検出手段１から送信されたサービス実行手段１１の動作状態を受信し記憶する記憶装置であり、過去一定期間の動作状態を記憶できる容量を有する。
【０１００】
特異状態検出手段１０は、サービス実行手段１１の通常の動作状態とは異なる特異状態を検出する手段である。特異状態とは、サービス実行手段１１の通常の運用状態では検出されない状態を示す。例えば、曜日毎の負荷変動の範囲を記憶しておき、その範囲から外れた負荷が検出された状態が特異状態である。特異状態を判定する手法としては、例えば特開２００４−０７８９８１号公報に示される外れ値度計算装置などを用い、大規模なデータの集合の中から統計的外れ値を抽出することにより、不正なデータや異常な状態を特異状態として推測する手法などがある。このようにして検出された特異状態は、明確に障害とは断定できないが、障害が発生する前の予兆として利用できる場合もある。本実施例では、特異状態を判定する手法として、一定期間の動作状態を分析して正常時の動作状態の変化範囲を算出した後、新たに得られた動作状態がこの変化範囲になかった場合に特異状態と判定する方法を例に示す。具体的には、特異状態検出手段１０は、稼動状態レジスタ９に記録された動作状態の一定期間の履歴を分析して正常な運用での動作状態の変化範囲を算出するとともに、現在の動作状態がこの変化範囲から逸脱した特異状態であることを検出した場合に、特異状態と判定した動作状態と正常な変化範囲とを含む特異状態情報を障害判定手段６に出力する。
【０１０１】
障害判定手段６は、特異状態検出手段１０から送信された特異状態情報を受け取り、特異状態と判定した動作状態を障害状態とする新たな障害知識情報を生成し、障害知識蓄積手段５に蓄積する機能を有する。新たな障害知識情報中の対処コマンド選択情報は、例えば全ての対処コマンドを選択する「ＡＮＹ」とすることも可能であるが、検出された特異状態に基づいて一部の対処コマンドを選択する条件とすることもできる。例えば、特異状態検出手段１０が検出する特異状態を、ＣＰＵ負荷が通常と異なる特異な状態である「ＣＰＵ負荷範囲外」とし、ＣＰＵ負荷範囲外が検出されたときに特異状態検出手段１０から「特異状態＝ＣＰＵ負荷範囲外、パラメータ＝ＣＰＵ負荷、通常範囲＝・・・、現在値（外れ値）＝・・・」といった形式で、特異状態と判定した動作状態と正常な変化範囲とを含む特異状態情報が障害判定手段６に送信される場合、パラメータで指定された「ＣＰＵ負荷」を対処コマンド選択情報とする。
【０１０２】
対処方法検索手段３は、動作状態検出手段１で検出されるサービス実行手段１１の動作状態に加えて、特異状態検出手段１０で検出される特異状態情報も入力し、動作状態と同様に特異状態情報に合致する条件式を持つ障害対処ルールがルール蓄積手段２にあればそれを選択して出力する機能を有する。
【０１０３】
効果判定手段８は、動作状態検出手段１で検出される対処コマンド実行後のサービス実行手段１１の動作状態に加えて、特異状態検出手段１０で検出される特異状態情報も入力し、特異状態を解消するために試行された対処コマンドの効果を判定する機能を有する。
【０１０４】
図１２は本実施の形態にかかる障害復旧装置の動作のフローチャートを示す。以下、初期状態として、第２の実施の形態と同様に、図１０のような障害対処ルールおよび図５のような障害知識情報がある場合を例に本実施の形態の動作を説明する。
【０１０５】
動作状態検出手段１は、サービス実行手段１１の動作状態を検出するとともに、現在の動作状態を稼動状態レジスタ９に蓄積する（図１２のステップ３０１）。特異状態検出手段１０は、稼動状態レジスタ９を参照して現在の動作状態が特異状態かどうかを判定する（ステップ３０２）。この場合、特異状態検出手段１０は、稼動状態レジスタ９に蓄積されている一定期間の動作状態の履歴から正常な動作の変化範囲を算出する。さらに、現在得られた動作状態がこの変化範囲内にあれば、通常状態とみなして何もしない。変化範囲外であった場合は、特異状態とみなして特異状態情報を出力する。例えば、通常のＣＰＵ負荷範囲から逸脱した特異状態が発見されたために、特異状態であったＣＰＵ負荷の値とＣＰＵ負荷の正常範囲とを含む「ＣＰＵ負荷範囲外」の特異状態情報を出力したものとする。
【０１０６】
障害判定手段６は、特異状態検出手段１０から出力された特異状態情報を受け取り、障害知識蓄積手段５に蓄積されている障害知識情報の中に、障害状態がこの特異状態に合致する障害知識情報があるかどうかを検索する（ステップ３０３）。図５に示した障害知識情報の中には「ＣＰＵ負荷範囲外」の障害知識情報がないため、障害判定手段６は、新しい障害知識情報を生成する（ステップ３０４）。図１３に示す障害知識情報群５０２中の番号３の障害知識情報は、このようにして生成されたものであり、障害状態として「ＣＰＵ負荷範囲外」、対処コマンド選択情報として「ＣＰＵ負荷」が設定されている。
【０１０７】
この後、第２の実施の形態における動作を示す図８のフローチャートのステップ２０２〜２１０と同様の処理が実行され、その結果、ステップ２０６において前記新たに生成された図１３の番号３の障害知識情報が障害判定手段６により障害知識蓄積手段５から取り出される。次いで、対処方法検索手段３は、その障害知識情報中の対処コマンド選択情報「ＣＰＵ負荷」に基づいて図１０の障害対処ルール群からＣＰＵ負荷を条件式に含む番号３と４の障害対処ルールのうち、優先度の高い番号３の障害対処ルール中の対処コマンド「ＯＳ再起動」をまず選択し、コマンド実行手段４に出力してサービス実行手段１１上で実行させる（ステップ２０７、２１０）。また、対処方法検索手段３は、条件式が「ＣＰＵ負荷範囲外」、対処コマンドが「ＡＰ再起動」、優先度が初期状態の「５０」である図１４の番号７の新たな障害対処ルールを生成してルール蓄積手段２に蓄積し（ステップ２０８）、状態レジスタ７に前記対処コマンドを実行した後に変化すると予想される情報として、「ＣＰＵ負荷範囲外の特異状態解消」をセットする（ステップ２０９）。
【０１０８】
そしてステップ３０１に戻って、対処コマンド実行後の動作状態が動作状態検出手段１で検出されると共に特異状態の有無が特異状態検出手段１０で検出され、若し、前記ＣＰＵ負荷範囲外の特異状態が解消されていれば、そのことが効果判定手段８で検出され（ステップ２０３）、前回生成した図１４の番号７の障害対処ルールの優先度が例えば１０上げられて６０となる（ステップ２０４）。そして、もはや「ＣＰＵ負荷範囲外」は検出されていないので、上述した残りの番号３の障害対処ルール中の対処コマンドの実行およびそれに基づく新たな障害対処ルールの生成は行われない。
【０１０９】
以上述べたように、本実施の形態にかかる障害復旧装置では、特異状態検出手段１０が検出した特異状態に応じて、障害判定手段６によって新たな障害知識情報が生成され、対処方法検索手段３によって新たな障害対処ルールが生成される。さらに、効果判定手段８によってサービス実行手段１１上で効果のある障害対処ルールが優先的に実行されるように障害対処ルールが修正される。これにより、障害とみなすべき状態が予め指定されていなくても、特異状態として検出された状態をもとに必要な障害知識情報と障害対処ルールを自動的に生成することが可能であり、管理者の負担を大幅に軽減しつつ運用継続につれてサービスの信頼性が向上するという効果がある。
（第４の実施の形態）
【０１１０】
次に、図１５乃至図１７を用いて、本発明の第４の実施の形態について説明する。
【０１１１】
図１５を参照すると、本発明の第４の実施の形態の障害復旧装置は、サービス実行手段１１側に設けられた動作状態検出手段１およびコマンド実行手段４を含んで構成されるエージェント装置２０と、稼働状態レジスタ９および特異状態検出手段１０を含んで構成される特異状態検出装置４０と、ルール蓄積手段２、対処方法検索手段３、障害知識蓄積手段５、障害判定手段６、状態レジスタ７、効果判定手段８、対話制御手段１２および利用者入出力装置１３を含んで構成されるマネージャ装置３０とで構成される。図１５では、マネージャ装置３０にエージェント装置２０および特異状態検出装置４０がそれぞれ１台だけ接続されているが、複数台のエージェント装置２０および特異状態検出装置４０が接続されていてもよい。
【０１１２】
図１５において、エージェント装置２０のサービス実行手段１１、動作状態検出手段１およびコマンド実行手段４、特異状態検出装置４０の稼働状態レジスタ９および特異状態検出手段１０、マネージャ装置３０のルール蓄積手段２、障害知識蓄積手段５、障害判定手段６、状態レジスタ７および効果判定手段８は、図１１に示した本発明の第３の実施の形態にかかる障害復旧装置におけるものと同じである。マネージャ装置３０の対話制御手段１２、利用者入出力装置１３および対処方法検索手段３は、それぞれ以下のような機能を有する。
【０１１３】
対処方法検索手段３は、図１１に示した第３の実施の形態における対処方法検索手段３の有する機能に加えて、障害知識情報に応じた障害対処ルールの生成または優先度の変更が発生した場合に、この障害対処ルールの変化情報を対話制御手段１２に出力し、また、障害判定手段６が特異状態情報に応じて生成した新たな障害知識情報を受け取って対処コマンドを決定した場合に、この障害知識情報と決定された対処コマンドとそれを含む障害対処ルールの情報を対話制御手段１２に出力する機能を有する。
【０１１４】
利用者入出力装置１３は、液晶ディスプレイなどの表示装置と、キーボードやマウスなどの入力装置とで構成される。
【０１１５】
対話制御手段１２は、上述のように対処方法検索手段３から出力される障害知識情報、障害対処ルールなどの情報を受け取って利用者入出力装置１３にてユーザに提示する機能と、ユーザ対話操作によって障害知識蓄積手段５に蓄積された障害知識情報あるいはルール蓄積手段２に蓄積された障害対処ルールを修正する機能と、対処方法検索手段３から出力された対処コマンドのコマンド実行手段４への出力の可否をユーザの実行承認入力に基づいて判断する機能とを有する。
【０１１６】
図１６、図１７は、本実施の形態における障害知識情報および障害対処ルールの変化例を示した図である。図１６の障害知識情報群５０３では、図１３の障害知識情報群５０２に対して、障害状態が「ＣＰＵ負荷範囲外」、対処コマンド選択情報が「メモリ残量」である番号４の障害知識情報が追加されている。図１７の障害対処ルール群６０３では、図１０の障害対処ルール群６０２に対して、条件式が「ＣＰＵ負荷範囲外」、対処コマンドが「ＡＰ再起動」、優先度が「６０」である番号７の障害対処ルールが追加されている。
【０１１７】
図１５、図１６、図１７を用いて、本実施の形態にかかる障害復旧装置の動作を説明する。初期状態として、第３の実施の形態と同様に、ルール蓄積手段２に図１０に示す障害対処ルールが、障害知識蓄積手段５に図１３に示す障害知識情報が格納されているものとする。
【０１１８】
第３の実施の形態で説明した動作によって、障害判定手段６が図１３の番号３の障害知識情報を生成して出力すると、対処方法検索手段３は、対処コマンド選択情報である「ＣＰＵ負荷」に基づいて図１０の番号３、４の障害対処ルール中の対処コマンドを選択し、この選択した対処コマンドを持つ新たな障害対処ルールの生成を試みる（図１２のステップ２０８）。この時、対処方法検索手段３は、前記生成された障害知識情報と選択した対処コマンドを含む番号３、４の障害対処ルールの情報を対話制御手段１２に出力する。
【０１１９】
対話制御手段１２は、これらの情報を受け取って利用者入出力装置１３にてユーザに提示する。このような情報が提示されることにより、ユーザは、どのような特異状態が検出され、それに応じてどのような障害知識情報が生成され、さらにその障害知識情報に基づいてどのような障害対処ルールが生成されたのかを認識することができる。そして、例えば、特異情報として検出された「ＣＰＵ負荷範囲外」の原因がメモリ不足の可能性もあることにユーザ（管理者）が気づいた場合、利用者入出力装置１３からの指示で対話制御手段１２を介して、障害知識蓄積手段５の障害知識情報を修正することができる。
【０１２０】
図１６は、このようにして修正された障害知識情報の例であり、障害判定手段６によって追加された番号３のルールに加えて、対処コマンド選択情報を「メモリ残量」とする番号４の障害知識情報が追加されている。この後、障害判定手段６は、現在の障害状態である「ＣＰＵ負荷範囲外」に対する対処コマンド選択情報として「ＣＰＵ負荷」と「メモリ残量」を出力し、対処方法検索手段３は、この対処コマンド選択情報に基づいて図１０の番号１〜４の障害対処ルール中の対処コマンドを選択し、この選択した対処コマンドを持つ新たな障害対処ルールを生成して試行し、効果判定手段８によってその効果が判定され、サービス実行手段１１上で効果のある障害対処ルールの優先度が上昇する、といった一連の動作が行われることになる。
【０１２１】
同様にして、ユーザが障害対処ルールを修正することもできる。例えば、「ＣＰＵ負荷範囲外」が「ＡＰ再起動」によって回復する可能性があることにユーザ（管理者）が気づいた場合、利用者入出力装置１３からの指示で対話制御手段１２を介してルール蓄積手段２の障害対処ルールを修正することができる。図１７の番号７は、このようにして追加された障害対処ルールである。この場合、対処方法検索手段３は、障害状態である「ＣＰＵ負荷範囲外」に対応する優先度が初期値以上の障害対処ルールが存在することを検出して、対処コマンド「ＡＰ再起動」を実行する。この後、効果判定手段８によって「ＣＰＵ負荷範囲内」が検出されれば、この障害対処ルールの優先度が上がり、以降の障害に対してこのルールが適用されることになる。
【０１２２】
さらに、対処方法検索手段３は、新しく生成した障害対処ルールを試行する場合に、この新しく生成した障害対処ルールを対話制御手段１２に出力する。対話制御手段１２は、この情報を利用者入出力装置１３にてユーザに提示し、ユーザの対話操作によって実行承認入力を受け取る。ユーザから承認された場合は、対処コマンドをコマンド実行手段４に出力し、承認されなかった場合は対処コマンドを出力しない。実行されなかった対処コマンドに対しては、効果判定手段８が効果のないことを判定し、優先度が低下して以降選択されない状態となる。この場合、対処コマンドの実行結果だけでなく、ユーザの意図によって実行すべきでないと判断されたことによって優先度が低下したことになる。
【０１２３】
以上のように、本発明の第４の実施の形態にかかる障害復旧装置では、対話制御手段１２によって、特異状態情報に応じて障害判定手段６が生成した新たな障害知識情報、あるいは、障害知識情報に応じて対処方法検索手段３が生成した新たな障害対処ルールとその効果判定結果をユーザに提示することができ、また、ユーザ操作によって障害知識情報や障害対処ルールを修正することができる。これにより、装置が自動的に障害対処を実行している状態をユーザが把握し、必要に応じて修正することが可能となるとともに、その修正を取り入れた新たな障害対処を実行することができる。また、システムの挙動を通して管理に必要なノウハウをユーザが取得し検証することができる。さらに、対話制御手段１２によって、ユーザとの対話により実行の承認がとれた対処コマンドのみを実行することが可能であり、実行の承認がとれなかった対処コマンドの優先度が効果判定手段８によって下げられることで、単純に対処コマンドの実行結果のみでなく、管理者の意図を含めた対処の良否として障害対処ルールの優先度を制御することができる。
【０１２４】
以上本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。また、本発明の障害復旧装置を構成するマネージャ装置およびエージェント装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態におけるマネージャ装置およびエージェント装置として機能させる。
【図面の簡単な説明】
【０１２５】
【図１】本発明の前提となる障害復旧装置の構成例を示すブロック図である。
【図２】ルール蓄積手段に蓄積される障害対処ルールの一例を示す図である。
【図３】本発明の前提となる障害復旧装置の動作を示すフローチャートである。
【図４】本発明の第１の実施の形態の構成例を示すブロック図である。
【図５】本発明の第１の実施の形態における障害知識情報の一例を示す図である。
【図６】本発明の第１の実施の形態の動作を示すフローチャートである。
【図７】本発明の第２の実施の形態の構成例を示すブロック図である。
【図８】本発明の第２の実施の形態の動作を示すフローチャートである。
【図９】本発明の第２の実施の形態における障害対処ルールの変化の一例を示す図である。
【図１０】本発明の第２の実施の形態における障害対処ルールの変化の別の例を示す図である。
【図１１】本発明の第３の実施の形態の構成例を示すブロック図である。
【図１２】本発明の第３の実施の形態の動作の例を示すフローチャートである。
【図１３】本発明の第３の実施の形態における障害知識情報の変化の一例を示す図である。
【図１４】本発明の第３の実施の形態における障害知識情報の変化の別の例を示す図である。
【図１５】本発明の第４の実施の形態の構成例を示すブロック図である。
【図１６】本発明の第４の実施の形態における障害知識情報の変化の一例を示す図である。
【図１７】本発明の第４の実施の形態における障害対処ルールの変化の一例を示す図である。
【符号の説明】
【０１２６】
１…動作状態検出手段
２…ルール蓄積手段
３…対処方法検索手段
４…コマンド実行手段
５…障害知識蓄積手段
６…障害判定手段
７…状態レジスタ
８…効果判定手段
９…稼動状態レジスタ
１０…特異状態検出手段
１１…サービス実行手段
１２…対話制御手段
１３…利用者入出力装置
２０…エージェント装置
３０…マネージャ装置
４０…特異状態検出装置
【図１】
2005346331.tif 000003
【図２】
2005346331.tif 000004
【図３】
2005346331.tif 000005
【図４】
2005346331.tif 000006
【図５】
2005346331.tif 000007
【図６】
2005346331.tif 000008
【図７】
2005346331.tif 000009
【図８】
2005346331.tif 000010
【図９】
2005346331.tif 000011
【図１０】
2005346331.tif 000012
【図１１】
2005346331.tif 000013
【図１２】
2005346331.tif 000014
【図１３】
2005346331.tif 000015
【図１４】
2005346331.tif 000016
【図１５】
2005346331.tif 000017
【図１６】
2005346331.tif 000018
【図１７】
2005346331.tif 000019