(57)【要約】【課題】  本発明は、複数の計算機ノードを有する計算機システムにおいて、障害情報を処理する装置に関し、多数の計算機ノードを持つ並列計算機や計算機クラスタシステムにおいて、膨大な障害情報を、欠落および遅滞することなく処理することができる。【解決手段】  複数の計算機ノード１０を有し、前記ノード同士を接続する相互結合網２を有する計算機システムにおいて、前記ノードから送信される障害情報を載せる制御結合網１５０ａ，１５０ｂ，１５０ｃを有し、前記制御結合網に接続され障害情報を管理する最下位層サービスプロセッサ１００ｃおよび中間層サービスプロセッサ１００ｂおよび最上位層サービスプロセッサ１００ａを有し、各階層のサービスプロセッサが、計算機ノード１０で発生した障害情報の処理を行う。【選択図】図１
2008117097.tif 000002
【特許請求の範囲】
【請求項１】
計算機であるノードを複数有し、前記ノード同士を接続する相互結合網を有する計算機システムにおいて、
前記ノードから送信される障害情報を載せる制御結合網を有し、前記制御結合網に接続され障害情報を管理する最下位層サービスプロセッサおよび中間層サービスプロセッサおよび最上位層サービスプロセッサを有し、前記上位層サービスプロセッサの保持する障害情報を参照および操作する管理用端末装置を有し、前記上位層サービスプロセッサの保持する障害情報を外部ネットワークに接続した保守センタに通知する外部通報手段を有し、
最下位層サービスプロセッサは、前記ノードからの障害情報を受信する最下位層下位側インタフェースと、前記障害情報を管理する最下位層メインモジュールと、前記障害情報の上位層への報告可否を判断する最下位層上位報告判断手段と、前記障害情報を記録する最下位層記憶媒体と、前記最下位層上位報告判断手段の判断結果に基づき前記障害情報を上位層のサービスプロセッサへ送信する最下位層上位側インタフェースを有し、
中間層サービスプロセッサは、下位層のサービスプロセッサからの障害情報を受信する中間層下位側インタフェースと、前記障害情報を管理する中間層メインモジュールと、前記障害情報の上位層への報告可否を判断する中間層上位報告判断手段と、前記障害情報を記録する中間層記憶媒体と、前記中間層上位報告判断手段の判断結果に基づき前記障害情報を上位層のサービスプロセッサへ送信する中間層上位側インタフェースを有し、
最上位層サービスプロセッサは、下位層のサービスプロセッサからの障害情報を受信する最上位層下位側インタフェースと、前記障害情報を管理する最上位層メインモジュールと、前記障害情報の外部への通報可否を判断する外部通報判断手段と、前記障害情報を記録する最上位層記憶媒体と、前記外部通報判断手段の判断結果に基づき前記障害情報を前記外部通報手段に通知する外部通報用インタフェースと、前記障害情報を前記管理用端末装置へ提供する管理用端末用インタフェースを有することを特徴とした障害処理装置。
【請求項２】
請求項１記載の計算機システムにおいて、
前記制御結合網をイーサネット（Ｒ）によるネットワークで構成し、最上位層サービスプロセッサおよび最下位層サービスプロセッサおよび中間層サービスプロセッサに替えて共通サービスプロセッサを有し、前記共通サービスプロセッサは、下位層のサービスプロセッサからの障害情報を管理するメインモジュールと、前記障害情報の上位層への報告可否または外部への通報可否を判断する上位報告判断手段と、前記障害情報を記録する記憶媒体と、下位層および上位層との障害情報送受信を行う制御結合網インタフェースを有することを特徴とした障害処理装置。
【請求項３】
請求項２記載の計算機システムにおいて、
上位層側のサービスプロセッサが、下位層側からの障害情報を受信できない場合、下位層側のサービスプロセッサが、送信先の上位層サービスプロセッサを選択する上位層再送手段を有することを特徴とした障害処理装置。
【請求項４】
請求項１または請求項２記載の計算機システムにおいて、最上位層サービスプロセッサまたは最上位層に位置する共通サービスプロセッサを、２個以上冗長に有することを特徴とした障害処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の計算機ノードを有する計算機システムにおいて、障害情報を処理する装置に関する。
【背景技術】
【０００２】
多数の計算機ノードから成る並列計算機システムおよび計算機クラスタシステムにおいて、高い信頼性を獲得する為には、障害が発生した場合、障害の検出、障害情報の記録、システム管理者への障害通知などを確実に行う障害処理装置が必須である。
【０００３】
障害処理装置として、様々な方式が知られているが、例えば、特許文献１では、計算機システムを構成する計算機ノードの一つが障害処理を担当する。これは、障害処理の為に新たな装置開発コストが不要という利点がある。しかし、計算機ノード間の相互結合網が故障した場合、障害処理担当プロセッサが故障ノードの情報を得られず、有効な障害処理ができなくなる可能性もある。
【０００４】
その為、障害処理は計算機システムの主要な構成要素とは独立していることが望ましい。その方式の一つとしてサービスプロセッサの使用が知られている。サービスプロセッサは、計算機システム全体の監視、制御を行う装置である。特許文献２および特許文献３では、サービスプロセッサまたは障害処理を行う装置は、計算機システムの構成要素とは別個に存在し、各計算機ノード間の相互結合網とも独立した経路を設けている。このような構成により、計算機システムの主要な構成要素に障害が発生しても、サービスプロセッサまたは障害処理を行う装置の動作は影響を受けない。
【０００５】
【特許文献１】特開平６−２０８４８５号
【特許文献２】特開２００１−２０９６２３号
【特許文献３】特表２００４−５３８５４８号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
高性能な並列計算機および計算機クラスタシステムでは、計算機ノード数が数千〜数万個必要となり、今後その数量はますます増大することが予想される。また、それに伴って、障害発生頻度も飛躍的に増大することが予想される。
【０００７】
このようなシステムに対し、上述のサービスプロセッサによる障害処理装置を適用すると、多数の計算機ノードから頻繁、大量に報告される障害情報を、単一のサービスプロセッサが処理することになる。通常、サービスプロセッサは、計算機ノードよりも低性能部品で構成されている為、障害発生頻度によっては、処理限界を超え、処理の遅滞や障害情報の欠落などが生じ、障害処理が破綻する問題が生じる。
【０００８】
また、処理された障害情報は、サービスプロセッサ内部またはサービスプロセッサに接続された記憶媒体に記録されるが、障害発生頻度によっては、システム管理者がバックアップする余裕もない程の速さで、障害情報が記憶媒体の容量を超過し、全ての障害情報を記録できない問題が生じる。
【０００９】
特に、システム起動時に自動的に実施されるＰＯＳＴ（Ｐｏｗｅｒ  Ｏｎ  Ｓｅｌｆ  Ｔｅｓｔ）において、多数の計算機ノードでメモリ訂正可能障害が検出された場合は、サービスプロセッサに対し、ほぼ同時に大量の障害情報が報告される為、上述の問題点は更に深刻と考えられる。
【００１０】
本発明の目的は、上述の問題点を解決し、高性能な並列計算機および計算機クラスタシステムにおいて、頻繁、大量に報告される障害情報を、破綻なく的確に処理、記録できる手段を提供することにある。
【課題を解決するための手段】
【００１１】
（１）上記目的を達成する為に、本発明の計算機システムは、
計算機であるノードを複数有し、前記ノード同士を接続する相互結合網を有する計算機システムであって、
前記ノードから送信される障害情報を載せる制御結合網を有し、前記制御結合網に接続され障害情報を管理する最下位層サービスプロセッサおよび中間層サービスプロセッサおよび最上位層サービスプロセッサを有し、前記上位層サービスプロセッサの保持する障害情報を参照および操作する管理用端末装置を有し、前記上位層サービスプロセッサの保持する障害情報を外部ネットワークに接続した保守センタに通知する外部通報手段を有し、
最下位層サービスプロセッサは、前記ノードからの障害情報を受信する最下位層下位側インタフェースと、前記障害情報を管理する最下位層メインモジュールと、前記障害情報の上位層への報告可否を判断する最下位層上位報告判断手段と、前記障害情報を記録する最下位層記憶媒体と、前記最下位層上位報告判断手段の判断結果に基づき前記障害情報を上位層のサービスプロセッサへ送信する最下位層上位側インタフェースを有し、
中間層サービスプロセッサは、下位層のサービスプロセッサからの障害情報を受信する中間層下位側インタフェースと、前記障害情報を管理する中間層メインモジュールと、前記障害情報の上位層への報告可否を判断する中間層上位報告判断手段と、前記障害情報を記録する中間層記憶媒体と、前記中間層上位報告判断手段の判断結果に基づき前記障害情報を上位層のサービスプロセッサへ送信する中間層上位側インタフェースを有し、
最上位層サービスプロセッサは、下位層のサービスプロセッサからの障害情報を受信する最上位層下位側インタフェースと、前記障害情報を管理する最上位層メインモジュールと、前記障害情報の外部への通報可否を判断する外部通報判断手段と、前記障害情報を記録する最上位層記憶媒体と、前記外部通報判断手段の判断結果に基づき前記障害情報を前記外部通報手段に通知する外部通報用インタフェースと、前記障害情報を前記管理用端末装置へ提供する管理用端末用インタフェースを有するものである。
【００１２】
（２）上記目的を達成する為に、本発明の計算機システムは、
前記制御結合網をイーサネット（Ｒ）によるネットワークで構成し、最上位層サービスプロセッサおよび最下位層サービスプロセッサおよび中間サービスプロセッサに替えて共通サービスプロセッサを有し、前記共通サービスプロセッサは、下位層のサービスプロセッサからの障害情報を管理するメインモジュールと、前記障害情報の上位層への報告可否または外部への通報可否を判断する上位報告判断手段と、前記障害情報を記録する記憶媒体と、下位層および上位層との障害情報送受信を行う制御結合網インタフェースを有するものである。
【００１３】
（３）上記目的を達成する為に、本発明の計算機システムは、
前記共通サービスプロセッサのうち、上位層側のサービスプロセッサが、下位層側からの障害情報を受信できない場合、下位層側のサービスプロセッサが、送信先の上位層サービスプロセッサを選択する上位層再送手段を有するものである。
【００１４】
（４）上記目的を達成する為に、本発明の計算機システムは、
最上位層サービスプロセッサまたは最上位層に位置する共通サービスプロセッサを２個以上冗長に有するものである。
【発明の効果】
【００１５】
多数の計算機ノードを持つ並列計算機や計算機クラスタシステムにおいて、膨大な障害情報を、欠落および遅滞することなく処理することができる。
【発明を実施するための最良の形態】
【００１６】
計算機ノードで発生し得る障害は、以下の三種類に大別できる：
（１）回復不能障害…該計算機ノードの一部または全体を交換しない限り、運用を継続できない、重度の障害。該障害の情報は、必ず保守センタやシステム管理者に通報し、該障害が発生したことを早期に把握できるようにしなければならない。
【００１７】
（２）運用時回復可能障害…発生しても誤りを訂正できる為、運用を停止する必要のない、軽度の障害。保守センタやシステム管理者に即通報する必要はない。しかし、頻発すると回復不能障害へ移行する可能性がある為、一定の発生回数（閾値）に達したら予防保守交換を促す為に通報する必要がある。
【００１８】
（３）POST時回復可能障害…該計算機ノード起動時に、自動的に実施されるPOST（Power  On  Self  Test）において、検出される回復可能障害。計算機システムの起動時に、全計算機ノードでほぼ同時に実施される為、多数の障害情報の報告もほぼ同時に行われる可能性がある。
【００１９】
前記三種類の障害情報を、欠落および遅滞なく処理することが可能な実施例について、以下説明する。
【実施例１】
【００２０】
図１は本発明の一実施形態における計算機システムの障害処理装置の概略を示している。
【００２１】
該計算機システムは、並列計算機または計算機クラスタシステムであって、複数の計算機ノード１０が相互結合網２により結合されている。計算機ノード１０の個数は、一システムあたり数千〜数万個程度である。
【００２２】
また、該計算機システムは、最下位層サービスプロセッサ１００ｃと、中間層サービスプロセッサ１００ｂと、最上位層サービスプロセッサ１００ａの三種類のサービスプロセッサを備え、各計算機ノード１０から報告される障害情報の処理を行う。
【００２３】
最下位層サービスプロセッサ１００ｃは、最下位制御結合網１５０ｃを介して、計算機ノード１０に接続される。中間層サービスプロセッサ１００ｂは、中間制御結合網１５０ｂを介して、最下位層サービスプロセッサ１００ｃに接続される。最上位層サービスプロセッサ１００ａは、最上位制御結合網１５０ａを介して、中間層サービスプロセッサ１００ｂに接続される。
【００２４】
計算機ノード１０は、特定の個数を単位として、ノードグループ２０を形成する。ノードグループ２０一個あたりの計算機ノード数は十個〜二十個程度である。一個のノードグループ２０に対し、最下位層サービスプロセッサ１００ｃは必ず一個存在する。最下位制御結合網１５０ｃは、一個のノードグループ２０に属する計算機ノード１０と、該ノードグループに対応する一個の最下位層サービスプロセッサ１００ｃのみを相互に結合する。
【００２５】
最下位層サービスプロセッサ１００ｃは、特定の個数を単位として、制御グループ３０を形成する。制御グループ３０一個あたりの最下位層サービスプロセッサ１００ｃの数は五十〜百程度（対応する計算機ノード数は五百〜二千程度）である。一個の制御グループ３０に対し、中間層サービスプロセッサ１００ｂは必ず一個存在する。中間制御結合網１５０ｂは、一個の制御グループ３０に属する最下位層サービスプロセッサ１００ｃと、該制御グループに対応する一個の中間層サービスプロセッサ１００ｂのみを相互に結合する。
【００２６】
最上位制御結合網１５０ａは、全ての中間層サービスプロセッサ１００ｂと、最上位層サービスプロセッサ１００ａのみを相互に結合する。
【００２７】
最上位層サービスプロセッサ１００ａには、管理用端末装置１が接続されている。該管理用端末装置１により、該最上位層サービスプロセッサの保持する障害情報を参照および操作できる。また、該最上位層サービスプロセッサ１００は、インターネット３を介して、保守センタ４へ、障害情報を通知することができる。
【００２８】
以下、各階層のサービスプロセッサの概略構成について説明する。
【００２９】
＜最下位層サービスプロセッサ１００ｃ＞
図２は、本実施形態の計算機システムにおける、最下位層サービスプロセッサ１００ｃの概略構成を示す。
【００３０】
該最下位層サービスプロセッサ１００ｃは、下位制御結合網１５０ｃに接続する最下位層下位側インタフェース１０１ｃ、障害報告の主要な処理を行う最下位層メインモジュール１０２ｃ、障害情報を格納する最下位層記憶媒体１０４ｃ、中間制御結合網１５０ｂに接続する最下位層上位側インタフェース１０５ｃを有する。また、最下位層メインモジュール１０２ｃは、最下位層上位報告判断手段１０３ｃを有し、中間層サービスプロセッサ１００ｂへの障害報告を行うか否かを判断する。
【００３１】
図８は、最下位層記憶媒体１０４ｃに記録される情報の内訳を示す。
【００３２】
該最下位層記憶媒体１０４ｃは不揮発性であり、内部には、回復不能障害ログ格納領域２００ｃ、回復可能障害ログ格納領域２１０ｃ、POST回復可能障害ログ格納領域２２０ｃ、共通報告閾値管理テーブル８００、POST報告時間間隔値７００ｃの五種類の記憶領域を有する。
【００３３】
回復不能障害ログ格納領域２００ｃには、複数の回復不能障害情報を記録でき、一つの障害について、以下六種類の情報を記録できる：
・項番２０１ｃ…記録された障害情報に順次付される番号。
【００３４】
・発生日時２０２ｃ…記録された障害が発生した日付と時刻。
【００３５】
・ノード番号２０３ｃ…記録された障害が発生した計算機ノード位置を識別する番号。
【００３６】
・発生部位２０４ｃ…記録された障害が発生した部品名。
【００３７】
・障害種類２０５ｃ…記録された障害の種類。
【００３８】
・レジスタダンプ２０６ｃ…記録された障害が発生した計算機ノードにおける各LSI内部レジスタ内容のダンプ記録。
【００３９】
回復可能障害ログ格納領域２１０ｃには、複数の運用時回復可能障害情報を記録でき、一つの障害について、以下八種類の情報を記録できる：
・項番２１１ｃ…記録された障害情報に順次付される番号。
【００４０】
・発生日時２１２ｃ…記録された障害が発生した日付と時刻。
【００４１】
・ノード番号２１３ｃ…記録された障害が発生した計算機ノード位置を識別する番号。
【００４２】
・発生部位２１４ｃ…記録された障害が発生した部品名。
【００４３】
・障害種類２１５ｃ…記録された障害の種類。
【００４４】
・発生回数２１６ｃ…記録された障害と同じ部位において同じ種類の障害が発生した回数。
【００４５】
・前回発生分ログ項番２１７ｃ…記録された障害以前に、同じ部位で発生した同じ種類の障害情報のうち、前回の情報が記録されている項番。
【００４６】
・レジスタダンプ２１８ｃ…記録された障害が発生した計算機ノードにおける各LSI内部レジスタ内容のダンプ記録。
【００４７】
POST回復可能障害ログ格納領域２２０ｃには、複数のPOST時回復可能障害情報を記録でき、一つの障害について、以下七種類の情報を記録できる：
・項番２２１ｃ…記録された障害情報に順次付される番号。
【００４８】
・発生日時２２２ｃ…記録された障害が発生した日付と時刻。
【００４９】
・ノード番号２２３ｃ…記録された障害が発生した計算機ノード位置を識別する番号。
【００５０】
・発生部位２２４ｃ…記録された障害が発生した部品名。
【００５１】
・障害種類２２５ｃ…記録された障害の種類。
【００５２】
・次回発生分ログ項番２２６ｃ…次に記録された障害情報ログへのリンク（同じ部位で発生した同じ種類の障害のログであることが条件）。
【００５３】
・レジスタダンプ２２７ｃ…記録された障害が発生した計算機ノードにおける各LSI内部レジスタ内容のダンプ記録。
【００５４】
共通報告閾値管理テーブル８００は、障害の種類および発生部位別に設定した閾値を登録している参照専用のテーブルである。図１７に示すように、階層８０１、障害種類８０２、発生部位８０３、報告閾値８０４の四種類の情報を記録している。内容は、全階層のサービスプロセッサで共通である。
【００５５】
POST報告時間間隔値７００ｃは、前回、中間層サービスプロセッサ１００ｂへのPOST時回復可能障害を報告してから、次の同種障害の報告を、最下位層メインモジュール１０２ｃが、許可するまでの時間を表している。
【００５６】
＜中間層サービスプロセッサ１００ｂ＞
図３は、本実施形態の計算機システムにおける、中間層サービスプロセッサ１００ｂの概略構成を示している。
【００５７】
該中間層サービスプロセッサ１００ｂは、下位制御結合網１５０ｂに接続する中間層下位側インタフェース１０１ｂ、障害報告の主要な処理を行う中間層メインモジュール１０２ｂ、障害情報を格納する中間層記憶媒体１０４ｂ、最上位制御結合網１５０ａに接続する中間層上位側インタフェース１０５ｂを有する。中間層メインモジュール１０２ｂは、中間層上位報告判断手段１０３ｂを有し、最上位層サービスプロセッサ１００ａへの障害報告を行うか否かを判断する。
【００５８】
図９は、中間層記憶媒体１０４ｂに記録される情報の内訳を示す。
【００５９】
該中間層記憶媒体１０４ｂは不揮発性であり、内部には、回復不能障害ログ格納領域２００ｂ、回復可能障害ログ格納領域２１０ｂ、POST回復可能障害ログ格納領域２２０ｂ、共通報告閾値管理テーブル８００、POST報告時間間隔値７００ｂの五種類の記憶領域を有する。
【００６０】
回復不能障害ログ格納領域２００ｂには、複数の回復不能障害情報を記録でき、一つの障害について、以下五種類の情報を記録できる：
・項番２０１ｂ…記録された障害情報に順次付される番号。
【００６１】
・発生日時２０２ｂ…記録された障害が発生した日付と時刻。
【００６２】
・下位ノードグループ番号２０３ｂ…記録された障害が発生した計算機ノードを有するノードグループ位置を識別する番号。
【００６３】
・障害種類２０５ｂ…記録された障害の種類。
【００６４】
・下位ログ項番２０６ｂ…記録された障害と同一の障害情報が、最下位層記憶媒体１０４ｃ内回復不能障害ログ格納領域２００ｃの、どの項番に記録されているかを示す。
【００６５】
回復可能障害ログ格納領域２１０ｂには、複数の運用時回復可能障害情報を記録でき、一つの障害について、以下七種類の情報を記録できる：
・項番２１１ｂ…記録された障害情報に順次付される番号。
【００６６】
・発生日時２１２ｂ…記録された障害が発生した日付と時刻。
【００６７】
・下位ノードグループ番号２１３ｂ…記録された障害が発生した計算機ノードを有するノードグループ位置を識別する番号。
【００６８】
・障害種類２１５ｂ…記録された障害の種類。
【００６９】
・報告回数２１６ｂ…記録された障害と同じノードグループにおいて同じ種類の障害が最下位層サービスプロセッサ１００ｃより報告された回数。
【００７０】
・前回発生分ログ項番２１７ｂ…記録された障害以前に、同じノードグループで発生した同じ種類の障害情報のうち、前回の情報が記録されている項番。
【００７１】
・下位ログ項番２１８ｂ…記録された障害と同一の障害情報が、最下位層記憶媒体１０４ｃ内回復可能障害ログ格納領域２１０ｃの、どの項番に記録されているかを示す。
【００７２】
POST回復可能障害ログ格納領域２２０ｂには、複数のPOST時回復可能障害情報を記録でき、一つの障害について、以下六種類の情報を記録できる：
・項番２２１ｂ…記録された障害情報に順次付される番号。
【００７３】
・発生日時２２２ｂ…記録された障害が発生した日付と時刻。
【００７４】
・下位ノードグループ番号２２３ｂ…記録された障害が発生した計算機ノードを有するノードグループ位置を識別する番号。
【００７５】
・障害種類２２５ｂ…記録された障害の種類。
【００７６】
・次回発生分ログ項番２２６ｂ…次に記録された障害情報ログへのリンク（同じノードグループで発生した同じ種類の障害のログであることが条件）。
【００７７】
・下位ログ項番２２７ｂ…記録された障害と同一の障害情報が、最下位層記憶媒体１０４ｃ内POST回復可能障害ログ格納領域２２０ｃの、どの項番に記録されているかを示す。
【００７８】
共通報告閾値管理テーブル８００は、障害の種類および発生部位別に設定した閾値を登録している参照専用のテーブルである。内容は、全階層のサービスプロセッサで共通である。
【００７９】
POST報告時間間隔値７００ｂは、前回、最上位層サービスプロセッサ１００ａへのPOST時回復可能障害を報告してから、次の同種障害の報告を、中間層メインモジュール１０２ｂが、許可するまでの時間を表している。
【００８０】
＜最上位層サービスプロセッサ１００ａ＞
図４は、本実施形態の計算機システムにおける、最上位層サービスプロセッサ１００ａの概略構成を示している。
【００８１】
該最上位層サービスプロセッサ１００ａは、最上位制御結合網１５０ａに接続する最上位層下位側インタフェース１０１ａ、障害報告の主要な処理を行う最上位層メインモジュール１０２ａ、障害情報を格納する最上位層記憶媒体１０４a、管理用端末１に接続する管理用端末用インタフェース１１６、インターネット３に接続する外部通報用インタフェース１１５を有する。最上位層メインモジュール１０２ａは、外部通報判断手段１０３ａを有し、インターネット３を介して保守センタ４への障害通知を行うか否かを判断する。
【００８２】
図１０は、最上位層記憶媒体１０４ａに記録される情報の内訳を示す。
【００８３】
該最上位層記憶媒体１０４ａは不揮発性であり、内部には、回復不能障害ログ格納領域２００ａ、回復可能障害ログ格納領域２１０ａ、POST回復可能障害ログ格納領域２２０ａ、共通報告閾値管理テーブル８００、POST通報時間間隔値７００ａの五種類の記憶領域を有する。
【００８４】
回復不能障害ログ格納領域２００ａには、複数の回復不能障害情報を記録でき、一つの障害について、以下五種類の情報を記録できる：
・項番２０１ａ…記録された障害情報に順次付される番号。
【００８５】
・発生日時２０２ａ…記録された障害が発生した日付と時刻。
【００８６】
・下位制御グループ番号２０３ａ…記録された障害が発生した計算機ノードを有する制御グループ位置を識別する番号。
【００８７】
・障害種類２０５ａ…記録された障害の種類。
【００８８】
・下位ログ項番２０６ａ…記録された障害と同一の障害情報が、中間層記憶媒体１０４ｂ内回復不能障害ログ格納領域２００ｂの、どの項番に記録されているかを示す。
【００８９】
回復可能障害ログ格納領域２１０ａには、複数の運用時回復可能障害情報を記録でき、一つの障害について、以下五種類の情報を記録できる：
・項番２１１ａ…記録された障害情報に順次付される番号。
【００９０】
・発生日時２１２ａ…記録された障害が発生した日付と時刻。
【００９１】
・下位制御グループ番号２１３ａ…記録された障害が発生した計算機ノードを有する制御グループ位置を識別する番号。
【００９２】
・障害種類２１５ａ…記録された障害の種類。
【００９３】
・下位ログ項番２１８ａ…記録された障害と同一の障害情報が、中間層記憶媒体１０４ｂ内回復可能障害ログ格納領域２１０ｂの、どの項番に記録されているかを示す。
【００９４】
POST回復可能障害ログ格納領域２２０ａには、複数のPOST時回復可能障害情報を記録でき、一つの障害について、以下六種類の情報を記録できる：
・項番２２１ａ…記録された障害情報に順次付される番号。
【００９５】
・発生日時２２２ａ…記録された障害が発生した日付と時刻。
【００９６】
・下位制御グループ番号２２３ａ…記録された障害が発生した計算機ノードを有する制御グループ位置を識別する番号。
【００９７】
・障害種類２２５ａ…記録された障害の種類。
【００９８】
・次回発生分ログ項番２２６ａ…次に記録された障害情報ログへのリンク（同じ制御グループで発生した同じ種類の障害のログであることが条件）。
【００９９】
・下位ログ項番２２７ａ…記録された障害と同一の障害情報が、中間層記憶媒体１０４ｂ内POST回復可能障害ログ格納領域２２０ｂの、どの項番に記録されているかを示す。
【０１００】
共通報告閾値管理テーブル８００は、障害の種類および発生部位別に設定した閾値を登録している参照専用のテーブルである。内容は、全階層のサービスプロセッサで共通である。
【０１０１】
POST通報時間間隔値７００ａは、前回、保守センタ４へのPOST時回復可能障害を通報してから、次の同種障害の通報を、最上位層メインモジュール１０２ｃが、許可するまでの時間を表している。
【０１０２】
以下に、前記三種類の障害それぞれの場合について、本実施形態における計算機システムの障害処理装置の作用を説明する。
【０１０３】
（１）回復不能障害
以下、ある計算機ノード１０において、回復不能障害が発生した場合、各階層の作用について説明する。
【０１０４】
＜計算機ノード１０の作用＞
計算機ノード１０は、まず障害の情報を採取し、図１４に示す最下位層報告フォーマット５００ｃを作成する。該最下位層報告フォーマット５００ｃは、以下五種類の情報を格納できる：
・発生日時５０１ｃ…障害が発生した日付と時刻。
【０１０５】
・ノード番号５０２ｃ…障害が発生した計算機ノード位置を識別する番号。
【０１０６】
・発生部位５０３ｃ…障害が発生した部品名。
【０１０７】
・障害種類５０４ｃ…発生した障害の種類。
【０１０８】
・レジスタダンプ５０５ｃ…各LSI内部レジスタ内容のダンプ記録。
【０１０９】
その後、該計算機ノード１０は、該最下位層報告フォーマット５００ｃを、最下位制御結合網１５０ｃを介して、最下位層サービスプロセッサ１００ｃへ送信する。
【０１１０】
＜最下位層サービスプロセッサ１００ｃの作用＞
図１８および図１９は、最下位層サービスプロセッサ１００ｃの処理手順を示したフローチャートである。最下位層サービスプロセッサ１００ｃは、最下位層下位側インタフェース１０１ｃにおいて、計算機ノード１０から送信された最下位層報告フォーマット５００ｃを受信すると（図１８の１００２）、最下位層メインモジュール１０２ｃへ、該最下位層報告フォーマット５００ｃを送り込む。最下位層メインモジュール１０２ｃは、最下位層報告フォーマット５００ｃ中の障害種類５０４ｃの内容を参照し、報告された障害の種類を判断する（図１８の１００３）。報告された障害が回復不能障害と判断されたら、最下位層記憶媒体１０４ｃ内の、回復不能障害ログ格納領域２００ｃに、最下位層報告フォーマット５００ｃの内容が書き込まれる（図１９の１１０１）。続いて、該最下位層メインモジュール１０２ｃは、図１５に示す中間層報告フォーマット５００ｂを作成する（図１９の１１０２）。該中間層報告フォーマット５００ｂは、以下四種類の情報を格納できる：
・発生日時５０１ｂ…障害が発生した日付と時刻。
【０１１１】
・下位ノードグループ番号５０２ｂ…障害が発生した計算機ノードを有するノードグループ位置を識別する番号。
【０１１２】
・障害種類５０４ｂ…発生した障害の種類。
【０１１３】
・下位ログ項番５０５ｂ…発生した障害情報が、最下位層記憶媒体１０４ｃ内回復不能障害ログ格納領域２００ｃの、どの項番に記録されているかを示す。
【０１１４】
最下位層メインモジュール１０２ｃは、該中間層報告フォーマット５００ｂを、最下位層上位側インタフェース１０５ｃおよび中間制御結合網１５０ｂを介して、中間層サービスプロセッサ１００ｂへ送信する（図１９の１１０３）。
【０１１５】
＜中間層サービスプロセッサ１００ｂの作用＞
図２２および図２３は、中間層サービスプロセッサ１００ｂの処理手順を示したフローチャートである。中間層サービスプロセッサ１００ｂは、中間層下位側インタフェース１０１ｂにおいて、最下位層サービスプロセッサ１００ｃから送信された中間層報告フォーマット５００ｂを受信すると（図２２の２００２）、中間層メインモジュール１０２ｂへ、該中間層報告フォーマット５００ｂを送り込む。該中間層メインモジュール１０２ｂは、中間層報告フォーマット５００ｂ中の障害種類５０４ｂの内容を参照し、報告された障害の種類を判断する（図２２の２００３）。報告された障害が回復不能障害と判断されたら、中間層記憶媒体１０４ｂ内の、回復不能障害ログ格納領域２００ｂに、中間層報告フォーマット５００ｂの内容が書き込まれる（図２３の２１０１）。続いて、該中間層メインモジュール１０２ｂは、図１６に示す最上位層報告フォーマット５００ａを作成する（図２３の２１０２）。該最上位層報告フォーマット５００ａは、以下四種類の情報を格納できる：
・発生日時５０１ａ…障害が発生した日付と時刻。
【０１１６】
・下位制御グループ番号５０２ａ…障害が発生した計算機ノードを有する制御グループ位置を識別する番号。
【０１１７】
・障害種類５０４ａ…発生した障害の種類。
【０１１８】
・下位ログ項番５０５ａ…発生した障害情報が、中間層記憶媒体１０４ｂ内回復不能障害ログ格納領域２００ｂの、どの項番に記録されているかを示す。
【０１１９】
中間層メインモジュール１０２ｂは、最上位層報告フォーマット５００ａを、中間層上位側インタフェース１０５ｂおよび最上位制御結合網１５０ａを介して、最上位層サービスプロセッサ１００ａへ送信する（図２３の２１０３）。
【０１２０】
＜最上位層サービスプロセッサ１００ａの作用＞
図２６および図２７は、最上位層サービスプロセッサ１００ａの処理手順を示したフローチャートである。最上位層サービスプロセッサ１００ａは、最上位層下位側インタフェース１０１ａにおいて、中間層サービスプロセッサ１００ｂから送信された最上位層報告フォーマット５００ａを受信すると（図２６の３００２）、最上位層メインモジュール１０２ａへ、該最上位層報告フォーマット５００ａを送り込む。該最上位層メインモジュール１０２ａは、最上位層報告フォーマット５００ａ中の障害種類５０４ａの内容と参照し、報告された障害の種類を判断する（図２６の３００３）。報告された障害が回復不能障害と判断されたら、最上位層記憶媒体１０４ａ内の、回復不能障害ログ格納領域２００ａに、最上位層報告フォーマット５００ａの内容が書き込まれる（図２７の３１０１）。続いて、該最上位層メインモジュール１０２ａは、障害内容を記したメールを作成し、外部通報インタフェース１１５から、インターネット３を介し、保守センタ４へ、障害内容を記したメールを送信する（図２７の３１０２）。
【０１２１】
以上の各作用により、回復不能障害発生時には、障害情報が、計算機ノードから最上位層サービスプロセッサまで確実に伝達され、保守センタ４への通報が確実に行われる。
【０１２２】
また、システム管理者は、管理用端末１を介して、最上位層サービスプロセッサ１００ａにアクセスすることにより、最上位層記憶媒体１０４ａに記録された下位層へのリンク情報（下位ログ項番２０６ａ）を参照できる。更に、該リンク情報を辿ることにより、中間層記憶媒体１０４ｂのリンク情報（下位ログ項番２０６ｂ）を参照することが可能になり、更に、最下位層記憶媒体１０４ｃに記録された障害の詳細なログ（レジスタダンプ２０６ｃ）まで辿って参照できる。
【０１２３】
よって、回復不能障害が発生したことを保守センタへ早期に通報し、対策の為の詳細な情報を、システム管理者が的確に参照および把握することが可能になる。
【０１２４】
（２）運用時回復可能障害
以下、ある計算機ノード１０において、運用中に回復可能障害が発生した場合、各階層の作用について説明する。
【０１２５】
＜計算機ノード１０の作用＞
計算機ノード１０は、まず障害の情報を採取し、最下位層報告フォーマット５００ｃを作成する。その後、該計算機ノード１０は、該最下位層報告フォーマット５００ｃを、最下位制御結合網１５０ｃを介して、最下位層サービスプロセッサ１００ｃへ送信する。
【０１２６】
＜最下位層サービスプロセッサ１００ｃの作用＞
最下位層サービスプロセッサ１００ｃは、計算機ノード１０からの報告回数が特定の閾値に達した障害のみ、中間層サービスプロセッサ１００ｂに対して報告する処理を行う。
【０１２７】
この処理を行う目的は、以下二点ある：
・予防保守交換作業を促す通報は、多発する運用時回復可能障害の場合のみ必要な為。
【０１２８】
・中間層サービスプロセッサ１００ｂが受信する報告数を低く抑えられ、処理負荷の低減を図る為。
【０１２９】
図１８および図２０は、最下位層サービスプロセッサ１００ｃの処理手順を示したフローチャートである。
【０１３０】
最下位層サービスプロセッサ１００ｃは、最下位層下位側インタフェース１０１ｃにおいて、計算機ノード１０から送信された最下位層報告フォーマット５００ｃを受信すると（図１８の１００２）、最下位層メインモジュール１０２ｃへ、該最下位層報告フォーマット５００ｃを送り込む。最下位層メインモジュール１０２ｃは、最下位層報告フォーマット５００ｃ中の障害種類５０４ｃの内容を参照し、報告された障害の種類を判断する（図１８の１００３）。報告された障害が運用時回復可能障害と判断されたら、最下位層記憶媒体１０４ｃ内の、回復可能障害ログ格納領域２１０ｃに、最下位層報告フォーマット５００ｃの内容が書き込まれる（図２０の１２０１）。
【０１３１】
続いて、該最下位層メインモジュール１０２ｃは、図１１に示す最下位層回復可能障害発生回数管理テーブル３００ｃを参照する。最下位層回復可能障害発生回数管理テーブル３００ｃは、揮発性の記憶領域であり、過去に計算機ノード１０から報告された運用時回復可能障害の種類および部位別の発生回数を管理する為に使用するテーブルである。該最下位層回復可能障害発生回数管理テーブル３００ｃは、以下五種類の情報を記録する：
・ノード番号３０１ｃ…障害が発生した計算機ノード位置を識別する番号。
【０１３２】
・発生部位３０２ｃ…障害が発生した部品名。
【０１３３】
・障害種類３０３ｃ…発生した障害の種類。
【０１３４】
・発生回数３０４ｃ…障害が発生した回数。
【０１３５】
・前回発生分ログ項番３０５ｃ…前回、同じ部位で発生した、同じ種類の障害情報が、最下位層記憶媒体１０４ｃ内回復可能障害ログ格納領域２１０ｃの、どの項番に記録されているかを示す。
【０１３６】
該最下位層メインモジュール１０２ｃは、最下位層回復可能障害発生回数管理テーブル３００ｃから、最下位層報告フォーマット５００ｃ内の、ノード番号５０２ｃ、発生部位５０３ｃ、障害種類５０４ｃの三つの情報が一致する項目を検索する。即ち、過去に同一の種類の障害が、同一の部位で発生したかどうかを調べる（図２０の１２０２および１２０３）。
【０１３７】
検索結果がヒットしたら、最下位層回復可能障害発生回数管理テーブル３００ｃ中、該当する項目の発生回数３０４ｃの内容を＋１した値に書き換え（図２０の１２０４）、前回発生分ログ項番３０５ｃの内容を、今回、回復可能障害ログ格納領域２１０ｃ内にログを格納した項番に書き換える。
【０１３８】
検索結果がヒットしなかったら、最下位層回復可能障害発生回数管理テーブル３００ｃに、新たに最下位層報告フォーマット５００ｃの内容を登録する（図２０の１２０５）。発生回数３０４ｃの値は‘１’とし、前回発生分ログ項番３０５ｃの内容は、今回、回復可能障害ログ格納領域２１０ｃ内のログを格納した項番を書き込む。
【０１３９】
続いて、該最下位層メインモジュール１０２ｃは、発生回数３０４ｃの値と閾値を比較する（図２０の１２０６）。閾値は、最下位層記憶媒体１０４ｃ内の共通報告閾値管理テーブル８００を参照する。発生回数が閾値に達したら、該最下位層メインモジュール１０２ｃは、中間層報告フォーマット５００ｂを作成し（図２０の１２０７）、最下位層上位側インタフェース１０５ｃおよび中間制御結合網１５０ｂを介して、中間層サービスプロセッサ１００ｂへ送信する（図２０の１２０８）。そして、該最下位層メインモジュール１０２ｃは、最下位層回復可能障害発生回数管理テーブル３００ｃから、該当する障害情報が登録されている項目を無効化する（図２０の１２０９）。
【０１４０】
以上により、最下位層サービスプロセッサ１００ｃは、運用時回復可能障害の情報を、同一部位における発生回数が特定の閾値に達した障害のみ、中間層サービスプロセッサ１００ｂに対して報告できるようになる。
【０１４１】
また、本作用により、障害情報は最下位層記憶媒体１０４ｃに確実に記録される一方で、中間層サービスプロセッサ１００ｂは、障害報告の受信頻度が低く抑えられる為、処理負荷を軽減することができ、障害処理の破綻を回避することが可能になる。
【０１４２】
＜中間層サービスプロセッサ１００ｂの作用＞
中間層サービスプロセッサ１００ｂは、最下位層サービスプロセッサ１００ｃからの報告回数が１回または特定の閾値に達した障害のみ、最上位層サービスプロセッサ１００ａに対して報告する処理を行う。
【０１４３】
最下位層サービスプロセッサ１００ｃからの報告回数が１回のときとは、該ノードグループ内において、ある運用時回復可能障害の発生回数が、初めて閾値に達したときを意味している。また、最下位層サービスプロセッサ１００ｃからの報告回数が閾値に達したときとは、該ノードグループにおいて、運用時回復可能障害が閾値に達した部位が複数あり、かつ、回復不能障害へ移行する確率が高くなったことを意味している。いずれにしても、保守センタ４へ、予防保守交換作業の実施を促す通報が必要である為、最上位層サービスプロセッサ１００ａへの報告を行わなければならない。
【０１４４】
図２２および図２４は、中間層サービスプロセッサ１００ｂの処理手順を示したフローチャートである。
【０１４５】
中間層サービスプロセッサ１００ｂは、中間層下位側インタフェース１０１ｂにおいて、最下位層サービスプロセッサ１００ｃから送信された中間層報告フォーマット５００ｂを受信すると（図２２の２００２）、中間層メインモジュール１０２ｂへ、該中間層報告フォーマット５００ｂを送り込む。中間層メインモジュール１０２ｂは、中間層報告フォーマット５００ｂ中の障害種類５０４ｂの内容を参照し、報告された障害の種類を判断する（図２２の２００３）。報告された障害が運用時回復可能障害と判断されたら、中間層記憶媒体１０４ｂ内の、回復可能障害ログ格納領域２１０ｂに、中間層報告フォーマット５００ｂの内容が書き込まれる（図２４の２２０１）。
【０１４６】
続いて、該中間層メインモジュール１０２ｂは、図１２に示す中間層回復可能障害報告回数管理テーブル３００ｂを参照する。中間層回復可能障害報告回数管理テーブル３００ｂは、揮発性の記憶領域であり、過去に最下位層サービスプロセッサ１００ｃから報告された運用時回復可能障害の種類および部位別の報告回数を管理する為に使用するテーブルである。該中間層回復可能障害報告回数管理テーブル３００ｂは、以下四種類の情報を記録する：
・下位ノードグループ番号３０１ｂ…障害が発生した計算機ノードを有するノードグループ位置を識別する番号。
【０１４７】
・障害種類３０２ｂ…発生した障害の種類。
【０１４８】
・報告回数３０３ｂ…最下位層サービスプロセッサ１００ｃより障害が報告された回数。
【０１４９】
・前回発生分ログ項番３０４ｂ…前回、同じノードグループで発生した、同じ種類の障害情報が、中間層記憶媒体１０４ｂ内回復可能障害ログ格納領域２１０ｂの、どの項番に記録されているかを示す。
【０１５０】
該中間層メインモジュール１０２ｂは、該中間層回復可能障害報告回数管理テーブル３００ｂから、中間層報告フォーマット５００ｂ内の、下位ノードグループ番号５０２ｂ、障害種類５０４ｂの二つの情報が一致する項目を検索する。即ち、過去に同一の種類の障害が、同一のノードグループ内で発生したかどうかを調べる（図２４の２２０２および２２０３）。
【０１５１】
検索結果がヒットしたら、中間層回復可能障害報告回数管理テーブル３００ｂ中、該当する項目の報告回数３０３ｂの内容を＋１した値に書き換え（図２４の２２０４）、前回発生分ログ項番３０４ｂの内容を、今回、回復可能障害ログ領域２１０ｂ内にログを格納した項番に書き換える。
【０１５２】
検索結果がヒットしなかったら、中間層回復可能障害報告回数管理テーブル３００ｂに、新たに中間層報告フォーマット５００ｂの内容を登録する（図２４の２２０５）。報告回数３０３ｂの値は‘１’とし、前回発生分ログ項番３０４ｂの内容は、今回、回復可能障害ログ領域２１０ｂ内にログを格納した項番を書き込む。
【０１５３】
続いて、該中間層メインモジュール１０２ｂは、報告回数３０３ｂの値が、‘１’と等しいか、または、閾値と等しいかを調べる（図２４の２２０６）。閾値は、中間層記憶媒体１０４ｂ内の共通報告閾値管理テーブル８００を参照する。発生回数が‘１’または閾値に達したら、該中間層メインモジュール１０２ｂは、最上位層報告フォーマット５００ａを作成し（図２４の２２０７）、中間層上位側インタフェース１０５ｂおよび最上位制御結合網１５０ａを介して、最上位層サービスプロセッサ１００ａへ送信する（図２４の２２０８）。更に、発生回数が閾値に達した場合（発生回数が‘１’の場合を除く：図２４の２２０９）、該中間層メインモジュール１０２ｂは、中間層回復可能障害報告回数管理テーブル３００ｂから、該当する障害情報が登録されている項目を無効化する（図２４の２２１０）。
【０１５４】
以上により、中間層サービスプロセッサ１００ｂは、運用時回復可能障害の情報を、最下位層サービスプロセッサ１００ｃからの報告回数が１回または特定の閾値に達した障害のみ、最上位層サービスプロセッサ１００ａに対して報告できるようになる。
【０１５５】
そして、本作用により、最下位層サービスプロセッサ１００ｃからの報告は全て中間層記憶媒体１０４ｂに記録できる一方で、最上位層サービスプロセッサ１００ａは、障害報告を受信する頻度を低く抑えられる為、処理負荷を軽減することができ、障害処理処理の破綻を回避することが可能になる。
【０１５６】
＜最上位層サービスプロセッサ１００ａの作用＞
図２６および図２７は、最上位層サービスプロセッサ１００ａの処理手順を示したフローチャートである。最上位層サービスプロセッサ１００ａは、最上位層下位側インタフェース１０１ａにおいて、中間層サービスプロセッサ１００ｂから送信された最上位層報告フォーマット５００ａを受信すると（図２６の３００２）、最上位層メインモジュール１０２ａへ、該最上位層報告フォーマット５００ａを送り込む。該最上位層メインモジュール１０２ａは、最上位層報告フォーマット５００ａ中の障害種類５０４ａの内容と参照し、報告された障害の種類を判断する（図２６の３００３）。報告された障害が運用時回復可能障害と判断されたら、最上位層記憶媒体１０４ａ内の、回復不能障害ログ格納領域２００ａに、最上位層報告フォーマット５００ａの内容が書き込まれる（図２７の３１０１）。続いて、該最上位層メインモジュール１０２ａは、障害内容を記したメールを作成し、外部通報インタフェース１１５から、インターネット３を介し、保守センタ４へ、障害内容を記したメールを送信する（図２７の３１０２）。
【０１５７】
以上により、最上位層サービスプロセッサ１００ａは、運用時回復可能障害の情報のうち、必要最小限のもののみを保守センタ４へメール通報し、予防保守交換作業を促すことができる。
【０１５８】
以上の各作用により、運用時回復可能障害が大量に発生しても、各階層のサービスプロセッサが、処理を破綻させることなく、計算機ノードから最上位層サービスプロセッサまで、障害情報を確実に伝達し、保守センタ４への通報を確実に行うことが可能になる。
【０１５９】
また、システム管理者は、管理用端末１を介して、最上位層サービスプロセッサ１００ａにアクセスすることにより、最上位層記憶媒体１０４ａに記録された下位層へのリンク情報（下位ログ項番２１８ａ）を参照できる。更に、該リンク情報を辿ることにより、中間層記憶媒体１０４ｂのリンク情報（下位ログ項番２１８ｂ）を参照することが可能になり、更に、最下位層記憶媒体１０４ｃに記録された障害の詳細なログ（レジスタダンプ２１８ｃ）まで辿って参照できる。
【０１６０】
よって、予防保守交換作業が必要な回復可能障害が発生したことを保守センタへ的確に通報し、対策の為の詳細な情報を、システム管理者が的確に参照および把握することが可能になる。
【０１６１】
（３）ＰＯＳＴ時回復可能障害
ＰＯＳＴ時回復障害の場合、障害報告は、多数の計算機ノードからほぼ同時に行われる為、各階層のサービスプロセッサの処理が破綻する可能性がある。その為、本実施例では、特定の時間内に発生した複数のＰＯＳＴ時回復障害を一件にグルーピングして報告し、上位層のサービスプロセッサの処理負荷を軽減する。
【０１６２】
以下、ある計算機ノード１０が起動する時のPOSTにおいて、回復可能障害が発生した場合、各階層の作用について説明する。
【０１６３】
＜計算機ノード１０の作用＞
計算機ノード１０は、まず障害の情報を採取し、最下位層報告フォーマット５００ｃを作成する。その後、該計算機ノード１０は、該最下位層報告フォーマット５００ｃを、最下位制御結合網１５０ｃを介して、最下位層サービスプロセッサ１００ｃへ送信する。
【０１６４】
＜最下位層サービスプロセッサ１００ｃの作用＞
図１８および図２１は、最下位層サービスプロセッサ１００ｃの処理手順を示したフローチャートである。
【０１６５】
最下位層サービスプロセッサ１００ｃは、最下位層下位側インタフェース１０１ｃにおいて、計算機ノード１０から送信された最下位層報告フォーマット５００ｃを受信すると（図１８の１００２）、最下位層メインモジュール１０２ｃへ、該最下位層報告フォーマット５００ｃを送り込む。最下位層メインモジュール１０２ｃは、最下位層報告フォーマット５００ｃ中の障害種類５０４ｃの内容を参照し、報告された障害の種類を判断する（図１８の１００３）。報告された障害がPOST時回復可能障害と判断されたら、最下位層記憶媒体１０４ｃ内の、POST回復可能障害ログ格納領域２２０ｃに、最下位層報告フォーマット５００ｃの内容が書き込まれる（図２１の１３０１）。
【０１６６】
続いて、該最下位層メインモジュール１０２ｃは、図１３に示す最下位層POST回復可能障害管理テーブル４００ｃを参照する。最下位層POST回復可能障害管理テーブル４００ｃは、揮発性の記憶領域であり、最下位層上位報告判断手段１０３ｃが有する。該最下位層上位報告判断手段１０３ｃは、該最下位層POST回復可能障害管理テーブル４００ｃを参照し、過去に下位のノードグループ２０から報告されたPOST時回復可能障害があったかどうかを判断する。該最下位層POST回復可能障害管理テーブル４００ｃは、以下二種類の情報を記録する。それぞれ一つの項目のみ記録できる：
・発生日時４０１ｃ…前回中間層サービスプロセッサ１００ｂに報告したPOST時回復可能障害の発生日時。
【０１６７】
・前回発生分ログ項番４０２ｃ…前回発生したPOST時回復可能障害のログが、最下位層記憶媒体１０４ｃ内POST回復可能障害ログ回復可能領域２２０ｃの、どの項番に記録されているかを示す。
【０１６８】
該最下位層メインモジュール１０２ｃは、最下位層POST回復可能障害管理テーブル４００ｃの内容が空か否かを調べる（図２１の１３０３）。
【０１６９】
該最下位層POST回復可能障害管理テーブル４００ｃの内容が空であれば、該最下位層POST回復可能障害管理テーブル４００ｃの発生日時４０１ｃに、障害が発生した日付と時刻を書き込み、前回発生分ログ項番４０２ｃに、今回の障害ログを書き込んだ項番の値を書き込む（図２１の１３０６）。そして、該最下位層メインモジュール１０２ｃは、中間層報告フォーマット５００ｂを作成し（図２１の１３０７）、最下位層上位側インタフェース１０５ｃおよび中間層制御結合網１５０ｂを介して、中間層サービスプロセッサ１００ｂへ送信する（図２１の１３０８）。
【０１７０】
一方、該最下位層POST回復可能障害管理テーブル４００ｃの内容が空でなければ、前回発生分ログ項番４０２ｃに対応する、POST回復可能障害ログ格納領域２２０ｃ内のログに対し、今回の障害ログを書き込んだ項番の値を、次回発生分ログ項番２２６ｃの欄に書き込む（図２１の１３１３）。そして、前回発生分ログ項番４０２ｃの内容を、今回の障害ログを書き込んだ項番の値に新たに書き換える。続いて、該最下位層POST回復可能障害管理テーブル４００ｃに登録された発生日時４０１ｃと、今回の障害発生日時を示す５０１ｃの内容との時間差を計算し（図２１の１３０４）、その値がPOST報告時間間隔値７００ｃを超過していれば（図２１の１３０５）、今回の障害発生日時を、該最下位層POST回復可能障害管理テーブル４００ｃの発生日時４０１ｃに書き込む（図２１の１３０６）。そして、該最下位層メインモジュール１０２ｃは、中間層報告フォーマット５００ｂを作成し（図２１の１３０７）、最下位層上位側インタフェース１０５ｃおよび中間層制御結合網１５０ｂを介して、中間層サービスプロセッサ１００ｂへ送信する（図２１の１３０８）。
【０１７１】
＜中間層サービスプロセッサ１００ｂの作用＞
図２２および図２５は、中間層サービスプロセッサ１００ｂの処理手順を示したフローチャートである。中間層サービスプロセッサ１００ｂは、中間層下位側インタフェース１０１ｂにおいて、最下位層サービスプロセッサ１００ｃから送信された中間層報告フォーマット５００ｂを受信すると（図２２の２００２）、中間層メインモジュール１０２ｂへ、中間層報告フォーマット５００ｂに内容を送り込む。中間層メインモジュール１０２ｂは、中間層報告フォーマット５００ｂ中の障害種類５０４ｂの内容を参照し、報告された障害の種類を判断する（図２２の２００３）。報告された障害がPOST時回復可能障害と判断されたら、中間層記憶媒体１０４ｂ内の、POST回復可能障害ログ格納領域２２０ｂに、中間層報告フォーマット５００ｂの内容が書き込まれる（図２５の２３０１）。
【０１７２】
続いて、該中間層メインモジュール１０２ｂは、図１３に示す中間層POST回復可能障害管理テーブル４００ｂを参照する。中間層POST回復可能障害管理テーブル４００ｂは、揮発性の記憶領域であり、中間層上位報告判断手段１０３ｂが有する。該中間層上位報告判断手段１０３ｂは、中間層POST回復可能障害管理テーブル４００ｂを参照し、過去に下位の制御グループ３０から報告されたPOST時回復可能障害があったかどうかを判断する。該中間層POST回復可能障害管理テーブル４００ｂは、以下二種類の情報を記録する。それぞれ一つの項目のみ記録できる：
・発生日時４０１ｂ…前回最上位層サービスプロセッサ１００ａに報告したPOST時回復可能障害の発生日時。
【０１７３】
・前回発生分ログ項番４０２ｂ…前回発生したPOST時回復可能障害のログが、中間層記憶媒体１０４ｂ内POST回復可能障害ログ回復可能領域２２０ｂの、どの項番に記録されているかを示す。
【０１７４】
該中間層メインモジュール１０２ｂは、POST回復可能障害管理テーブル４００ｂの内容が空か否かを調べる（図２５の２３０３）。
【０１７５】
該中間層POST回復可能障害管理テーブル４００ｂの内容が空であれば、該中間層POST回復可能障害管理テーブル４００ｂの発生日時４０１ｂに、障害が発生した日付と時刻を書き込み、前回発生分ログ項番４０２ｂに、今回の障害ログを書き込んだ項番の値を書き込む（図２５の２３０６）。そして、該中間層メインモジュール１０２ｂは、最上位層報告フォーマット５００ａを作成し（図２５の２３０７）、中間層上位側インタフェース１０５ｂおよび最上位層制御結合網１５０ａを介して、最上位層サービスプロセッサ１００ａへ送信する（図２５の２３０８）。
【０１７６】
一方、該中間層POST回復可能障害管理テーブル４００ｂの内容が空でなければ、前回発生分ログ項番４０２ｂに対応する、POST回復可能障害ログ格納領域２２０ｂ内のログに対し、今回の障害ログを書き込んだ項番の値を、次回発生分ログ項番２２６ｂの欄に書き込む（図２５の２３１３）。そして、前回発生分ログ項番４０２ｂの内容を、今回の障害ログを書き込んだ項番の値に書き換える。続いて、該中間層POST回復可能障害管理テーブル４００ｂに登録された発生日時４０１ｂと、今回の障害発生日時を示す５０１ｂの内容との時間差を計算し（図２５の２３０４）、その値がPOST報告時間間隔値７００ｂを超過していれば（図２５の２３０５）、今回の障害発生日時を、該中間層POST回復可能障害管理テーブル４００ｂの発生日時４０１ｂに書き込む（図２５の２３０６）。そして、該中間層メインモジュール１０２ｂは、最上位層報告フォーマット５００ａを作成し（図２５の２３０７）、中間層上位側インタフェース１０５ｂおよび最上位制御結合網１５０ａを介して、最上位層サービスプロセッサ１００ａへ送信する（図２５の２３０８）。
【０１７７】
＜最上位層サービスプロセッサ１００ａの作用＞
図２６および図２８は、最上位層サービスプロセッサ１００ａの処理手順を示したフローチャートである。最上位層サービスプロセッサ１００ａは、最上位層下位側インタフェース１０１ａにおいて、中間層サービスプロセッサ１００ｂから送信された最上位層報告フォーマット５００ａを受信すると（図２６の３００２）、最上位層メインモジュール１０２ａへ、最上位層報告フォーマット５００ａの内容を送り込む。最上位層メインモジュール中の障害種類５０４ａの内容を参照し、報告された障害の種類を判断する（図２６の３００３）。報告された障害がPOST時回復可能障害と判断されたら、最上位層記憶媒体１０４ａ内の、POST回復可能障害ログ格納領域２２０ａに、最上位層報告フォーマット５００ａの内容が書き込まれる（図２８の３３０１）。
【０１７８】
続いて、該最上位層メインモジュール１０２ａは、図１３に示す最上位層POST回復可能障害管理テーブル４００ａを参照する。最上位層POST回復可能障害管理テーブル４００ａは、揮発性の記憶領域であり、最上位層上位報告判断手段１０３ａが有する。該最上位層上位報告判断手段１０３ａは、最上位層POST回復可能障害管理テーブル４００ａを参照し、過去に全システム内で一個でもPOST時回復可能障害があったかどうかを判断する。該最上位層POST回復可能障害管理テーブル４００ａは、以下二種類の情報を記録する。それぞれ一つの項目のみ記録できる：
・発生日時４０１ａ…前回保守センタ４に通報したPOST時回復可能障害の発生日時。
【０１７９】
・前回発生分ログ項番４０２ａ…前回発生したPOST時回復可能障害のログが、最上位層記憶媒体１０４ａ内POST回復可能障害ログ回復可能領域２２０ａの、どの項番に記録されているかを示す。
【０１８０】
該最上位層メインモジュール１０２ａは、POST回復可能障害管理テーブル４００ａの内容が空か否かを調べる（図２８の３３０３）。
【０１８１】
該最上位層POST回復可能障害管理テーブル４００ａの内容が空であれば、該最上位層POST回復可能障害管理テーブル４００ａの発生日時４０１ａに、障害が発生した日付と時刻を書き込み、前回発生分ログ項番４０２ａに、今回の障害ログを書き込んだ項番の値を書き込む（図２８の３３０６）。そして、該最上位層メインモジュール１０２ａは、障害内容を記したメールを作成し、外部通報インタフェース１１５から、インターネット３を介し、保守センタ４へ、障害内容を記したメールを送信する（図２８の３３０７）。
【０１８２】
一方、該最上位層POST回復可能障害管理テーブル４００ａの内容が空でなければ、前回発生分ログ項番４０２ａに対応する、POST回復可能障害ログ格納領域２２０ａ内のログに対し、今回の障害ログを書き込んだ項番の値を、次回発生分ログ項番２２６ａの欄に書き込む（図２８の３３１３）。そして、前回発生分ログ項番４０２ａの内容を、今回の障害ログを書き込んだ項番の値に書き換える。続いて、該最上位層POST回復可能障害管理テーブル４００ａに登録された発生日時４０１ａと、今回の障害発生日時を示す５０１ａの内容との時間差を計算し（図２８の３３０４）、その値がPOST報告時間間隔値７００ａを超過していれば（図２８の３３０５）、今回の障害発生日時を、該最上位層POST回復可能障害管理テーブル４００ａの発生日時４０１ａに書き込む（図２８の３３０６）。そして、該最上位層メインモジュール１０２ａは、障害内容を記したメールを作成し、外部通報インタフェース１１５から、インターネット３を介し、保守センタ４へ、障害内容を記したメールを送信する（図２８の３３０７）。
【０１８３】
以上により、各階層における、ＰＯＳＴ時運用回復可能障害の情報は、一度上位層へ報告されたら、一定の時間間隔が経過した後でないと、次の報告を行わない。この作用により、上位層のサービスプロセッサへの報告数を削減し、また、上位層のサービスプロセッサの処理負荷を軽減することが可能になる。
【０１８４】
また、一定の時間間隔が経過する間に受信した下位層からの障害報告は、全て記憶媒体上で、次回発生分ログ項番により関連付け（リンク）されて格納される為、後にこのリンクをたどれば、一定時間内に発生したＰＯＳＴ時の障害情報を全て欠落なく参照することが可能になる。
【０１８５】
前記三種類の障害処理に共通する作用および効果を以下に示す。
【０１８６】
最下位層記憶媒体１０４ｃには、レジスタダンプを含め、全障害の詳細なログが格納できる。高々計算機ノード十個〜二十個程度の障害情報を格納する為、障害が頻発しても、障害情報がログ領域を満たしてしまう可能性は低く抑えられる。
【０１８７】
中間層記憶媒体１０４ｂには、最下位層記憶媒体１０４ｃ内ログへのリンク情報が格納できる。五百〜二千程度の計算機ノードにおける障害情報を取り扱うが、リンク情報のサイズは高々数バイトであり、最下位層からの報告数も閾値管理や時間間隔管理により削減されている為、必要な記憶容量は数キロバイト程度に抑えられる。
【０１８８】
最上位層記憶媒体１０４ａには、中間層記憶媒体１０４ｂ内ログへのリンク情報が格納できる。中間層記憶媒体１０４ｂと同様、必要な記憶容量は数キロバイト程度に抑えられる。
【０１８９】
システム管理者は、管理用端末１を介し、リンク情報をたどることにより、最上位層記憶媒体１０４ａから、中間層記憶媒体１０４ｂを経由して、最下位層記憶媒体１０４ｃに記録された詳細なログに到達することができ、障害対策の参考情報を得ることができる。
【実施例２】
【０１９０】
図５は、本発明の他の実施形態における計算機システムの障害処理装置の概略を示す。
【０１９１】
該計算機システムは、実施例１における、最下位制御結合網１５０ｃおよび中間制御結合網１５０ｂおよび最上位制御結合網１５０ａを、全て単一のイーサネット（Ｒ）によるネットワーク１５０に替えた構成を有する。
【０１９２】
標準化されたイーサネット（Ｒ）を採用することにより、該計算機システムの障害処理装置を、実施例１に比べて、より単純に、かつ、安価に構成することができる。
【０１９３】
即ち、各階層のサービスプロセッサは、全て共通サービスプロセッサ１００に置き換えられる。４０は最下位層サービスプロセッサ群、５０は中間層サービスプロセッサ群、６０は最上位層サービスプロセッサ群であるが、各群で使用するサービスプロセッサの部品はすべて共通化できる。また、全階層のサービスプロセッサと、管理用端末１と、インターネット３が、共通のイーサネット（Ｒ）によるネットワーク１５０に直結する為、共通サービスプロセッサ１００に、複数のインタフェースを備える必要はなく、イーサネット（Ｒ）用のインタフェースが一個あれば十分である。その為、部品をより単純化することが可能になる。
【０１９４】
図６は、共通サービスプロセッサ１００の概略構成を示す。
【０１９５】
該共通サービスプロセッサ１００は、イーサネット（Ｒ）によるネットワーク１５０に接続する制御結合網インタフェース１０１と、障害処理の主要な処理を行うメインモジュール１０２、障害情報を格納する記憶媒体１０４を有する。また、メインモジュール１０２は、上位報告判断手段１０３を有し、上位層への障害報告、または、保守センタ４への通報を行うか否かを判断する。
【０１９６】
メインモジュール１０２は、図１８から図２８までの図に示したフローチャートの処理を全てサポートし、どのフローチャートを選択するかは、該共通サービスプロセッサ１００がどの階層に属するかによって決まる。
【０１９７】
上位報告判断手段１０３は、図１１から図１３までの図に示したテーブルを全て有し、どのテーブルを使用するかは、該共通サービスプロセッサ１００がどの階層に属するかによって決まる。
【０１９８】
制御結合網が単一のイーサネット（Ｒ）によるネットワーク１５０に替わっても、障害処理の内容は、実施例１と同様である。報告フォーマット（５００ａ、５００ｂ、５００ｃ）の送受信は、IPアドレスを用いて行う。
【実施例３】
【０１９９】
以下、本発明における他の実施形態を示す。
【０２００】
図７は、実施例２において提示した共通サービスプロセッサ１００の他の形態である。即ち、メインモジュール１０２において、上位再送手段１２３が付加されている。
【０２０１】
該上位再送手段１２３は、図２９に示す、上位層サービスプロセッサＩＰアドレステーブル９００を持つ。該上位層サービスプロセッサＩＰアドレステーブル９００は、揮発性記憶領域である。
【０２０２】
上位層ＩＰアドレス９０２の項には、上位層側の共通サービスプロセッサ１００の全ＩＰアドレスが記録されている。有効ビット９０１の項には、対応する上位層側の共通サービスプロセッサ１００が正常動作しているか否かが記録されている（値が‘１’ならば正常、‘０’ならば異常）。
【０２０３】
前記構成を備えることにより、共通サービスプロセッサ１００のうち一個において、障害が発生し動作不可能となった場合、計算機ノード１０から最上位層に位置する共通サービスプロセッサ１００までの障害報告が途絶することを、回避できるという利点がある。
【０２０４】
例えば、最下位層に位置する共通サービスプロセッサ１００が、中間層に位置する共通サービスプロセッサ１００に対して、中間層報告フォーマット５００ｂを送信した時、中間層に位置する共通サービスプロセッサ１００に障害が発生しており、中間層報告フォーマット５００ｂを受信できなかったとする。
【０２０５】
この場合、最下位層に位置するサービスプロセッサ１００は、通信のエラーを検知すると、上位層サービスプロセッサＩＰアドレステーブル９００中、障害が発生した共通サービスプロセッサのＩＰアドレスに対応する有効ビット９０１を‘０’に落とす。
【０２０６】
続いて、上位層サービスプロセッサＩＰアドレステーブル９００から、有効ビット９０１が‘１’の項を検索し、最初にヒットした上位層ＩＰアドレス９０２に対応する、共通サービスプロセッサ１００へ、報告を再送する。
【０２０７】
以上の作用により、一個の共通サービスプロセッサ１００が動作不可能になっても、異なるノードグループまたは制御グループに属する共通サービスプロセッサ１００へ障害報告を再送することが可能になり、最上位層に位置する共通サービスプロセッサ１００への障害報告が途絶することを回避できる。
【０２０８】
また、前記構成により、一個の共通サービスプロセッサ１００に障害処理の負荷が集中している場合、負荷分散の為に、他の共通サービスプロセッサ１００へ障害報告を行うことも可能になる。
【実施例４】
【０２０９】
図３０は、本発明における他の実施形態を示す。
【０２１０】
即ち、実施例２および実施例３で示した該計算機において、最上位層サービスプロセッサ群６０が、共通サービスプロセッサ１００を二個冗長に備える構成を持つ。
【０２１１】
実施例３において説明した、上位再送手段１２３は、最上位層に位置する共通サービスプロセッサ１００が、一個しか存在せず、かつ、障害を起こした場合、有効に作用しない。そこで、最上位層に位置する共通サービスプロセッサ１００を複数個冗長に備えることにより、中間層から最上位層への報告においても、上位再送手段１２３の利点を活かすことが可能になる。
【図面の簡単な説明】
【０２１２】
【図１】障害処理装置全体の概略図である。（実施例１）
【図２】最下位層サービスプロセッサの概略図である。（実施例１）
【図３】中間層サービスプロセッサの概略図である。（実施例１）
【図４】最上位層サービスプロセッサの概略図である。（実施例１）
【図５】障害処理装置全体の概略図である。（実施例２）
【図６】共通サービスプロセッサの概略図である。（実施例２）
【図７】共通サービスプロセッサの概略図である。（実施例３，４）
【図８】最下位層記憶媒体の記憶領域内訳である。
【図９】中間層記憶媒体の記憶領域内訳である。
【図１０】最上位層記憶媒体の記憶領域内訳である。
【図１１】最下位層回復可能障害発生回数管理テーブルの内容である。
【図１２】中間層回復可能障害報告回数管理テーブルの内容である。
【図１３】各階層ごとのＰＯＳＴ回復可能障害管理テーブルの内容である。
【図１４】最下位層報告フォーマットの内容である。
【図１５】中間層報告フォーマットの内容である。
【図１６】最上位層報告フォーマットの内容である。
【図１７】共通報告閾値管理テーブルの内容である。
【図１８】最下位層サービスプロセッサの処理フローチャート（１）である。
【図１９】最下位層サービスプロセッサの処理フローチャート（２）である。
【図２０】最下位層サービスプロセッサの処理フローチャート（３）である。
【図２１】最下位層サービスプロセッサの処理フローチャート（４）である。
【図２２】中間層サービスプロセッサの処理フローチャート（１）である。
【図２３】中間層サービスプロセッサの処理フローチャート（２）である。
【図２４】中間層サービスプロセッサの処理フローチャート（３）である。
【図２５】中間層サービスプロセッサの処理フローチャート（４）である。
【図２６】最上位層サービスプロセッサの処理フローチャート（１）である。
【図２７】最上位層サービスプロセッサの処理フローチャート（２）である。
【図２８】最上位層サービスプロセッサの処理フローチャート（３）である。
【図２９】上位層サービスプロセッサＩＰアドレステーブルの内容である。
【図３０】障害処理装置全体の概略図である。（実施例４）
【符号の説明】
【０２１３】
１  管理用端末
２  相互結合網
３  インターネット
４  保守センタ
１０  計算機ノード
２０  ノードグループ
３０  制御グループ
４０  最下位層サービスプロセッサ群
５０  中間層サービスプロセッサ群
６０  最上位層サービスプロセッサ群
１００  共通サービスプロセッサ
１００ａ  最上位層サービスプロセッサ
１００ｂ  中間層サービスプロセッサ
１００ｃ  最下位層サービスプロセッサ
１０１  制御結合網インタフェース
１０１ａ  最上位層下位側インタフェース
１０１ｂ  中間層下位側インタフェース
１０１ｃ  最下位層下位側インタフェース
１０２  メインモジュール
１０２ａ  最上位層メインモジュール
１０２ｂ  中間層メインモジュール
１０２ｃ  最下位層メインモジュール
１０３  上位報告判断手段
１０３ａ  外部通報判断手段
１０３ｂ  中間層上位報告判断手段
１０３ｃ  最下位層上位報告判断手段
１０４  記憶媒体
１０４ａ  最上位層記憶媒体
１０４ｂ  中間層記憶媒体
１０４ｃ  最下位層記憶媒体
１１５  外部通報用インタフェース
１１６  管理用端末用インタフェース
１２３  上位再送手段
１５０  イーサネット（Ｒ）によるネットワーク
１５０ａ  最上位制御結合網
１５０ｂ  中間制御結合網
１５０ｃ  最下位制御結合網
【図１】
2008117097.tif 000003
【図２】
2008117097.tif 000004
【図３】
2008117097.tif 000005
【図４】
2008117097.tif 000006
【図５】
2008117097.tif 000007
【図６】
2008117097.tif 000008
【図７】
2008117097.tif 000009
【図８】
2008117097.tif 000010
【図９】
2008117097.tif 000011
【図１０】
2008117097.tif 000012
【図１１】
2008117097.tif 000013
【図１２】
2008117097.tif 000014
【図１３】
2008117097.tif 000015
【図１４】
2008117097.tif 000016
【図１５】
2008117097.tif 000017
【図１６】
2008117097.tif 000018
【図１７】
2008117097.tif 000019
【図１８】
2008117097.tif 000020
【図１９】
2008117097.tif 000021
【図２０】
2008117097.tif 000022
【図２１】
2008117097.tif 000023
【図２２】
2008117097.tif 000024
【図２３】
2008117097.tif 000025
【図２４】
2008117097.tif 000026
【図２５】
2008117097.tif 000027
【図２６】
2008117097.tif 000028
【図２７】
2008117097.tif 000029
【図２８】
2008117097.tif 000030
【図２９】
2008117097.tif 000031
【図３０】
2008117097.tif 000032