(57)【特許請求の範囲】
【請求項１】
復旧手順情報を蓄積し、障害に適用すべき復旧手順情報の適用手順判定情報を定義することで、障害の復旧に用いる手順と復旧作業で実行するコマンドをコンピュータ制御により生成して、出力する障害復旧手順およびコマンドを生成する障害復旧コマンド生成方法において、
プログラムされたコンピュータ処理を実行する手段として、適用手順判定手段と復旧手順表示手段を有し、
前記適用手順判定手段は、情報処理システムより取得した障害情報を適用手順判定情報に照合し、適用すべき復旧手順情報を判定し、
前記復旧手順表示手段は、前記適用手順判定情報の照合と、復旧手順情報の判定の結果、復旧作業に適用すべき手順を決定して、障害情報発生元数分のコマンドを生成し、手順とコマンドを合わせて出力することで、完全自動化できない復旧作業に対して、復旧作業のコマンド実行可能な部分は、生成したコマンドの実行で処理し、人手を必要とする部分のみ、手順に沿った作業を促し、
さらに、
前記適用手順判定手段は、発生した障害情報を読み込み、適用手順判定情報が存在するか否かを判断し、存在しない場合には、適用すべき手順が存在しない旨を画面表示し、存在する場合には、適用手順判定情報の１つを取得し、取得した障害情報が判定ルールに合致するか否かをチェックして、合致しない場合には、次の適用手順判定情報に照合し、合致する場合には、合致した適用手順判定情報に設定されている復旧手順ＩＤを取得し、取得した復旧手順ＩＤに紐付く、復旧手順情報を取得し、復旧手順情報内の実行手順１の作業内容、コマンドテンプレート、コマンド発行対象およびコマンド発行元を含む作業項目情報を取得し、画面上で１作業内容情報行を格納する作業内容レコードを生成し、取得した作業項目情報の作業内容を格納し、
前記復旧手順表示手段は、
前記適用手順判定情報の照合と、復旧手順情報の判定の結果、実施コマンドおよび結果格納レコードを一つ生成し、取得した作業項目情報内にコマンドテンプレートが含まれているか否かを確認し、含まれていないならば、実施コマンドおよび結果格納レコードを作業内容レコードに追加し、含まれているならば、コマンドテンプレート、コマンド発行対象およびコマンド発行元情報を取得し、取得した障害情報から第一の障害情報を取得し、コマンドテンプレートの内容を実施コマンドおよび結果格納レコードに格納すると共に、
前記コマンドテンプレートの内容を実施コマンドおよび結果格納レコードに格納する際に、コマンドテンプレートに％ＨＯＳＴ％等の記号が含まれていれば、障害情報発生元ホスト名に置換した後、コマンド発行対象を実施コマンドおよび結果格納レコードに格納し、その際に『障害情報発生元』と指定されていれば、障害情報の発生元ホスト名を格納し、コマンド発行元を実施コマンドおよび結果格納レコードに格納し、その際に『管理ＰＣ』と指定されていれば、ローカルホスト名を格納し、実施コマンドおよび結果格納レコードを作業内容レコードに追加し、実施コマンドおよび結果格納レコードを生成することを特徴とする障害復旧コマンド生成方法。
【請求項２】
復旧手順情報を蓄積し、障害に適用すべき復旧手順情報の適用手順判定情報を定義することで、障害の復旧に用いる手順と復旧作業で実行するコマンドをコンピュータ制御により生成して、出力するシステム障害復旧装置であって、
プログラムされたコンピュータ処理を実行する手段として、適用手順判定手段と復旧手順表示手段を有し、
前記適用手順判定手段は、情報処理システムより取得した障害情報を適用手順判定情報に照合し、適用すべき復旧手順情報を判定し、
前記復旧手順表示手段は、前記適用手順判定情報の照合と、復旧手順情報の判定の結果、復旧作業に適用すべき手順を決定して、障害情報発生元数分のコマンドを生成し、手順とコマンドを合わせて出力することで、完全自動化できない復旧作業に対して、復旧作業のコマンド実行可能な部分は、生成したコマンドの実行で処理し、人手を必要とする部分のみ、手順に沿った作業を促し、
前記適用手順判定手段は、
発生した障害情報を読み込み、適用手順判定情報が存在するか否かを判断し、存在しない場合には、適用すべき手順が存在しない旨を画面表示し、存在する場合には、適用手順判定情報の１つを取得し、取得した障害情報が判定ルールに合致するか否かをチェックして、合致しない場合には、次の適用手順判定情報に照合し、合致する場合には、合致した適用手順判定情報に設定されている復旧手順ＩＤを取得し、取得した復旧手順ＩＤに紐付く、復旧手順情報を取得し、復旧手順情報内の実行手順１の作業内容、コマンドテンプレート、コマンド発行対象およびコマンド発行元を含む作業項目情報を取得し、画面上で１作業内容情報行を格納する作業内容レコードを生成し、取得した作業項目情報の作業内容を格納し、
前記復旧手順表示手段は、
前記適用手順判定情報の照合と、復旧手順情報の判定の結果、実施コマンドおよび結果格納レコードを一つ生成し、取得した作業項目情報内にコマンドテンプレートが含まれているか否かを確認し、含まれていないならば、実施コマンドおよび結果格納レコードを作業内容レコードに追加し、含まれているならば、コマンドテンプレート、コマンド発行対象およびコマンド発行元情報を取得し、取得した障害情報から第一の障害情報を取得し、コマンドテンプレートの内容を実施コマンドおよび結果格納レコードに格納すると共に、
前記コマンドテンプレートの内容を実施コマンドおよび結果格納レコードに格納する際に、コマンドテンプレートに％ＨＯＳＴ％等の記号が含まれていれば、障害情報発生元ホスト名に置換した後、コマンド発行対象を実施コマンドおよび結果格納レコードに格納し、その際に『障害情報発生元』と指定されていれば、障害情報の発生元ホスト名を格納し、コマンド発行元を実施コマンドおよび結果格納レコードに格納し、その際に『管理ＰＣ』と指定されていれば、ローカルホスト名を格納し、実施コマンドおよび結果格納レコードを作業内容レコードに追加し、実施コマンドおよび結果格納レコードを生成することを特徴とするシステム障害復旧装置。
【請求項３】
コンピュータを、請求項２に記載のシステム障害復旧装置における各手段として機能させるためのプログラム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システムの障害管理運用業務において、複数の顧客に各種業務運用処理サービスを提供するサーバシステムを運用・管理するデータセンタ等の障害復旧作業で、完全自動化できない復旧作業のミスを削減するためのシステム障害復旧装置およびそのコマンドの自動生成方法、ならびにそのプログラムに関する。
【背景技術】
【０００２】
情報処理システムの障害復旧作業においては、障害復旧操作の熟練度の少ない作業者は障害復旧に対応できないか、あるいは障害復旧に多くの時間がかかることになる。また、誤った作業により、二次災害を引き起こす可能性がある。これを防ぐため、発生した障害情報から、実行すべき障害復旧コマンドを自動的に選択し、これを実行するシステムを用いる。これにより、情報処理システムの回復を助け、人手の介入を極力減らすことが可能になる。
【０００３】
その実現方法として、例えば、特願２００６−２４４４０４号公報に記載の『障害復旧システム、障害復旧装置、ルール作成方法および障害復旧プログラム』では、情報処理システムの動作状態をユーザが定義したルールに照合し、実行すべき障害復旧コマンドを判定し、これを実行している。具体的には、対話制御手段が条件式と復旧処理コマンドとを対応付けたユーザ指定ルールを入力し、これを保存した後、条件式に共通部分を有するルールがある場合には、ユーザ同士で条件式が同時に満たされることがないように、条件式を書き換えて保存する。次に、対処方法検索手段がサービス実行手段の動作状態に関する情報を受け取り、その情報に基づいてどの条件式が満足されているかを判断して、その条件式に対応する復旧処理コマンドの情報を出力している。
しかし、この方法では、障害判定基準および復旧コマンドが１００％確立できており、コマンドのみで復旧可能な障害にしか適用できないため、汎用性が乏しく、限定的な範囲でしか利用できない。
【０００４】
その他にも、特開２００５−２７５４３８号公報に記載の『自動化機器障害復旧システム』や特開２００３−１４０９１８号公報に記載の『コンピュータの障害復旧支援装置及び方法、並びにコンピュータの障害復旧支援プログラム』等では、障害が通知されたならば、自動化機器の復旧処理を行うためのコマンドを自動生成し、このコマンドを端末に発行するか、プロシジャを読み込み、予め設定された実行条件に適合したタスクを順次実行させることで、復旧させている。
【０００５】
【特許文献１】特願２００６−２４４４０４号公報
【特許文献２】特開２００５−２７５４３８号公報
【特許文献３】特開２００３−１４０９１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述のように、人手の介入を最低限に止め、障害を復旧する方法として、発生した障害に応じて、復旧のコマンドを自動的に生成し、これを実行する方法があり、これにより、復旧作業による人為的ミスの削減や作業時間の短縮を図ることが可能である。
しかし、これらの方法では、人手の介入を必要とする復旧作業や、作業結果に応じて、次の作業内容を動的に変える必要がある作業には対応できない、という問題がある。
【０００７】
（目的）
そこで、本発明の目的は、復旧作業において、コマンドで処理可能な作業を生成コマンドで実施し、人手を必要とする作業のみ、操作手順に沿った作業を促すことにより、復旧作業のミスの削減を図ることが可能なシステム障害復旧装置およびそのコマンド生成方法、ならびにそのプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明のシステム障害復旧装置は、複数の顧客に各種業務の運用処理サービスを提供するサーバシステムを運用・管理するデータセンタ等の障害復旧作業において、取得した障害情報から適用する処理手順を決定し、処理手順内で利用する障害情報発生元数用のコマンドを自動生成し、操作手順とコマンドを合わせて出力する。
すなわち、完全自動化できない復旧作業に対して、復旧作業のコマンド実行可能な部分は、生成したコマンドの実行で処理し、人手を必要とする部分のみ、操作手順に沿った作業を促すことにより、復旧作業のミスを削減する。
【０００９】
具体的には、運用端末に障害復旧に用いる手順、コマンドのテンプレート、復旧作業に適用すべき手順を抽出する判定ルールを管理する適用手順判定プログラム格納部（３０）と、情報処理システムから収集した障害情報を判定ルールに照合し、合致する手順を取得し、取得した手順を構成する作業項目にコマンドの実施を含む場合、作業項目に紐付けて保存したコマンドテンプレート内の変数を障害情報および復旧対象情報処理システム固有の値に置換し、復旧作業対象に適用可能なコマンドを、全実行対象ホスト分生成し、取得した手順の作業項目を実施順で画面表示する復旧手順表示プログラム格納部（４０）と、ルールＩＤ、判定ルールおよび手順ＩＤを含む適用手順判定情報格納部（５０）と、手順ＩＤ、手順、コマンドテンプレートを含む復旧手順情報格納部（６０）とを備える。
なお、上記コマンドテンプレートは、障害情報の内容および適用対象により、異なる値を設定する箇所を変数で記述している。
【００１０】
これにより、障害対策実施者は、表示された作業項目を実施順で実行する。各作業項目は人手もしくはコマンドの実行で処理する。人手で処理した場合、作業結果を画面入力し、コマンド実行した場合には、戻り値を取得することにより、システムは処理結果を取得する。システムは処理結果に基づいて、次に実施すべき作業項目を利用者に明示する。障害対策実施者は、システムが示した作業項目を順次処理することにより、障害復旧作業を可能とする。
【発明の効果】
【００１１】
本発明によれば、複数の顧客に各種業務運用処理サービスを提供するサーバシステムを運用・管理するデータセンタ等の障害復旧作業において、完全自動化できない復旧作業に対して、復旧作業のコマンド実行可能な部分は、生成したコマンドの実行で処理し、人手を必要とする部分のみ、操作手順に沿った作業を促す方法を用いているので、復旧作業のミスを削減することができる。その結果、復旧作業の効率および品質の向上を図ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を、図面を用いて詳細に説明する。
図１は、本発明のシステム障害復旧装置の一実施例に係る構成図である。
運用端末１は、情報処理システム２の障害情報２０を取り込み、障害復旧処理を施す。
障害対策実施者に対して、障害復旧の操作手順およびコマンドを提供するための表示装置１０と、情報処理システム２の障害情報２０から、適用すべき復旧手順を判定する適用手順判定プログラム格納部３０と、復旧手順に紐付くコマンドテンプレートから、復旧作業で実行するコマンドを生成し、操作手順と合わせて提供する復旧手順表示プログラム格納部４０と、適用手順の判定ルールと適用すべき手順の組合せを定義した適用手順判定情報格納部５０と、障害復旧に用いる操作手順およびコマンドのテンプレートを定義した復旧手順情報格納部６０とを有している。
【００１３】
適用手順判定プログラム格納部３０は、プログラムが２つに分けられており、その１つは情報処理システム２から障害情報２０を取り込み、これを適用手順判定情報格納部５０に蓄積する障害情報入力部３１であり、他の１つは適用手順判定情報格納部５０の判定ルールと照合して復旧手順を決定する適用手順判定部３２である。また、復旧手順表示プログラム格納部４０も、プログラムが２つに分けられており、その１つはコマンドを生成するコマンド生成部４１であり、他の１つは表示装置１０に操作手順等を表示する復旧手順表示部４２である。また、適用手順判定情報格納部５０は、格納する情報が３つに分けられ、ルールＩＤと手順ＩＤと判定ルールの各情報である。さらに、復旧手順情報格納部６０は、格納する情報が３つに分けられ、手順ＩＤと手順とコマンドテンプレートの各情報である。
【００１４】
適用手順判定プログラム格納部３０は、情報処理システム２の障害情報２０を障害情報入力部３１より取得し、適用手順判定部３２で判定ルールと照合し、適用する復旧手順を決定する。次に、適用手順判定プログラム格納部３０は、障害情報２０と決定した手順を復旧手順表示プログラム格納部４０に渡す。復旧手順表示プログラム格納部４０は、コマンド生成部４１において、復旧手順に紐付くコマンドテンプレートの変数部分を障害情報より確定し、復旧作業で実行するコマンドを生成する。判定の結果、得られた手順および生成したコマンドを復旧手順表示部４２が表示装置１０に表示する。
【００１５】
図２は、本発明において定義する適用手順判定情報と復旧手順情報の一登録例を示す図である。
適用手順判定情報では、障害の復旧作業で用いる復旧手順を障害情報から決定する判定ルールと、用いる復旧手順を表わす一意ＩＤの組合せを定義する。この定義は、手順名と実施する作業項目を実施の順に定義する。作業項目は、作業内容、作業項目の実施は必須か任意かの指定、作業項目で実施するコマンドのテンプレート、コマンドの発行先およびコマンドの発行元に関する情報を保持する。
作業内容には、実施結果から次に実行すべき作業項目を決定する情報を含む。また、コマンドテンプレート内の記述には、障害情報の内容に置換可能な変数を指定可能とする。
【００１６】
図３は、本発明の復旧手順およびコマンドを表示する画面例を示す図である。
復旧手順およびコマンドは、復旧手順の作業内容を表す作業内容行（破線太枠）と、作業項目内で実施するコマンドの詳細と結果を表す実施コマンド詳細および結果行（点線太枠）の一覧として表示する。
表示画面中、実施手順名Ａは、実施する手順の名称を表示する。また、実施内容Ｂは、復旧手順内の作業内容を実施する順番で表示する（１，２，３，４・・）。実施コマンドＣは、システムが自動生成した障害復旧コマンドの内容を表示する。コマンド発行対象Ｄは、コマンドの発行対象ホストを表示する。コマンド発行元Ｅは、コマンドを実行するホストを表示する。実施必須作業Ｆは、当該作業内容の実施が必須であるか否かを表示する。作業結果表示・入力欄Ｇは、作業の結果を表示する、もしくは入力する。作業をコマンドで実施した場合には、コマンドの戻り値から、結果を判定し、その成否を表示する。作業を人手で実施した場合には、作業結果を入力する。現在の作業Ｈは、現在実施しなければならない作業内容を反転表示する。現在の作業の結果が確定すると、次に実施すべき作業を判定し、現在の作業として、反転表示する。コマンドの実行ボタンＩは、現在の作業のコマンドを実行する。この際、発行元ホストから発行対象ホストに対して実行する。結果登録ボタンＪは、人手で実施した作業の結果を、作業結果入力欄Ｇに指定し、確定する際に押下する。これにより、作業の結果を示す入力欄Ｇが登録される。
【００１７】
図４は、障害情報入力から結果の一覧表示までの処理フローチャートである。
情報処理システムから障害情報を取得することにより、本処理は開始される。
最初に、発生した障害情報を読み込む（ステップ４０１）。適用手順判定情報が存在するか否かを判断し（ステップ４０２）、存在しない場合には、適用すべき手順が存在しない旨を画面表示し（ステップ４０３）、処理を終了する。手順が存在する場合には、適用手順判定情報の１つを取得し（ステップ４０４）、取得した障害情報が判定ルールに合致するか否かをチェックする（ステップ４０５）。
【００１８】
合致しない場合には、ステップ４０２に戻り、次の適用手順判定情報に照合する。合致する場合には、合致した適用手順判定情報に設定されている復旧手順ＩＤを取得する（ステップ４０６）。取得した復旧手順情報ＩＤに紐付く、復旧手順情報を取得する（ステップ４０７）。復旧手順情報内の実行手順１の作業項目情報（必須／任意、作業内容、コマンドテンプレート、コマンド発行対象およびコマンド発行元）を取得する（ステップ４０８）。画面上で１作業内容情報行を格納する作業内容レコードを生成し、取得した作業項目情報の作業内容を格納する（ステップ４０９）。
【００１９】
実施コマンドおよび結果格納レコードを一つ生成する（ステップ４１０）。取得した作業項目情報内にコマンドテンプレートが含まれているか否かを確認する（ステップ４１１）。含まれていないようであれば、実施コマンドおよび結果格納レコードを作業内容レコードに追加する（ステップ４１２）。含まれているようであれば、コマンドテンプレート、コマンド発行対象およびコマンド発行元情報を取得する（ステップ４１３）。取得した障害情報から第一の障害情報を取得する（ステップ４１４）。コマンドテンプレートの内容を実施コマンドおよび結果格納レコードに格納する。この際に、コマンドテンプレートに％ＨＯＳＴ％が含まれていれば、障害情報発生成ホスト名に置換する（ステップ４１５）。そして、コマンド発行対象を実施コマンドおよび結果格納レコードに格納する。この際に、『障害情報発生元』と指定されていれば、障害情報の発生元ホスト名を格納する（ステップ４１６）。
【００２０】
コマンド発行元を実施コマンドおよび結果格納レコードに格納する。この際に、『管理ＰＣ』と指定されていれば、ローカルホスト名を格納する（ステップ４１７）。実施コマンドおよび結果格納レコードを作業内容レコードに追加する（ステップ４１８）。障害情報発生元および管理ＰＣ以外の、特定ホスト上でのコマンド発行の場合（ステップ４１９）、後述するステップ４２３から処理を始める。
一方、特定ホスト上でのコマンド発行でない場合には、次の障害情報に基づくコマンドと結果を格納する、実施コマンドおよび結果格納レコードを生成する（ステップ４２０）。
判定ルールに合致した、後続の障害情報を取得し（ステップ４２１）、障害情報が存在すれば（ステップ４２２）、対象の障害情報に対して、前述のステップ４１５からの処理を実施する。
【００２１】
障害情報が存在しなければ、作業内容レコード配列に、作業内容レコードを追加する（ステップ４２３）。復旧手順の後続の作業項目情報を取得し（ステップ４２４）、後続の作業項目情報が存在すれば（ステップ４２５）、前述のステップ４０９からの処理を実施する。存在しなければ、作業内容レコード配列と実施コマンドおよび結果格納レコードの配列の内容を画面表示する（ステップ４２６）。以上で処理は終了する。
なお、この処理の表示イメードは、図３に示されている。
【産業上の利用可能性】
【００２２】
本発明は、各種業務運用処理サービスを提供するサーバシステムを運用・管理する障害復旧作業に利用することが可能である。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施例に係るシステム障害復旧装置の構成図である。
【図２】本発明における適用手順判定情報および復旧手順情報を示す図である。
【図３】本発明における手順およびコマンドの画面表示例を示す図である。
【図４】本発明の実施例に係る障害情報入力から画面表示までの処理フローチャートである。
【符号の説明】
【００２４】
１  運用端末
２  情報処理システム
１０  表示装置
２０  障害情報
３０  適用手順判定プログラム格納部
４０  復旧手順表示プログラム格納部
５０  適用手順判定情報格納部
６０  復旧手順情報格納部
Ａ  実施手順名
Ｂ  作業内容
Ｃ  実施コマンド
Ｄ  コマンド発行対象
Ｅ  コマンド発行元
Ｆ  実施必須作業
Ｇ  作業結果表示・入力欄
Ｈ  現在の作業
Ｉ  結果登録ボタン
Ｊ  コマンド実行ボタン
【図１】
0004887238.tif 000002
【図２】
0004887238.tif 000003
【図３】
0004887238.tif 000004
【図４】
0004887238.tif 000005