(57)【要約】【課題】情報処理システムのＲＡＳ評価効率を向上させる。【解決手段】情報処理システム１は、代表アドレスが設定されている第１の情報処理装置３−１と、第２の情報処理装置３−２と、ネットワークを介して情報処理装置３−１，３−２に接続され、代表アドレスを使用して情報処理装置３−１，３−２の信頼性評価を行なう試験装置２と、をそなえ、第２の情報処理装置３−２は、第１の情報処理装置３−１の異常を検出する異常検出部２２と、第１の情報処理装置３−１の異常が検出された場合に、代表アドレスを自身に設定する代表アドレス再設定部２４と、をそなえ、試験装置２は、情報処理装置３−１，３−２に擬似エラーを発生させる偽障発生部１７と、擬似エラーに対して第１の情報処理装置３−１から返される応答に基づいて、情報処理装置３−１，３−２の信頼性評価を行なう信頼性評価部１１と、をそなえる。【選択図】図２
2015176430.tif 000002
【特許請求の範囲】
【請求項１】
情報処理システムであって、
代表アドレスが設定されている第１の情報処理装置と、
第２の情報処理装置と、
ネットワークを介して前記第１の情報処理装置及び前記第２の情報処理装置に接続され、前記代表アドレスを使用して前記第１の情報処理装置及び前記第２の情報処理装置の信頼性評価を行なう試験装置と、
をそなえ、
前記第２の情報処理装置は、
前記第１の情報処理装置の異常を検出する異常検出部と、
前記異常検出部によって前記第１の情報処理装置の異常が検出された場合に、前記第１の情報処理装置に設定されている前記代表アドレスを前記第２の情報処理装置に設定する代表アドレス再設定部と、
をそなえ、
前記試験装置は、
前記第１の情報処理装置及び前記第２の情報処理装置に擬似エラーを発生させる偽障発生部と、
前記偽障発生部が発生させた前記擬似エラーに対して前記第１の情報処理装置から返される応答に基づいて、前記第１の情報処理装置及び前記第２の情報処理装置の信頼性評価を行なう信頼性評価部と、
をそなえることを特徴とする情報処理システム。
【請求項２】
前記第２の情報処理装置は、
前記代表アドレス再設定部によって前記代表アドレスを引き継いだ後に、前記擬似エラーに対する応答を前記試験装置の前記偽障発生部に返す
ことを特徴とする請求項１記載の情報処理システム。
【請求項３】
前記試験装置は、
前記偽障発生部による擬似エラー発生試行のタイミングを調整することにより、前記第１の情報処理装置及び前記第２の情報処理装置において前記擬似エラーの発生頻度を向上させるタイミング調整部
をそなえることを特徴とする請求項１又は２記載の情報処理システム。
【請求項４】
情報処理装置に対して擬似エラーを発生させることにより、前記報処理装置の信頼性評価を行なう試験装置にネットワークを介して接続されている情報処理装置であって、
代表アドレスが設定されている別の情報処理装置の異常を検出する異常検出部と、
前記異常検出部によって前記別の情報処理装置の異常が検出された場合に、前記別の情報処理装置に設定されている前記代表アドレスを前記情報処理装置に設定する代表アドレス再設定部と、
前記代表アドレス再設定部によって前記代表アドレスを引き継いだ後に、前記擬似エラーに対する応答を試験装置に返す監視部と、
をそなえることを特徴とする情報処理装置。
【請求項５】
ネットワークを介して情報処理装置に接続され、前記情報処理装置の信頼性評価を行なう試験装置であって、
前記情報処理装置に擬似エラーを発生させる偽障発生部と、
前記偽障発生部が発生させた前記擬似エラーに対して前記情報処理装置から返される応答に基づいて、前記情報処理装置の信頼性評価を行なう信頼性評価部と、
をそなえることを特徴とする試験装置。
【請求項６】
代表アドレスが設定されている第１の情報処理装置と、第２の情報処理装置との試験方法であって、
前記第１の情報処理装置及び前記第２の情報処理装置に擬似エラーを発生させ、
前記擬似エラーに対して前記第１の情報処理装置から返される応答に基づいて、前記第１の情報処理装置及び前記第２の情報処理装置の信頼性評価を行なう
ことを特徴とする試験方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、試験装置及び試験方法に関する。
【背景技術】
【０００２】
情報処理システムにおいては、Reliability, Availability and Serviceability（ＲＡＳ）性能の向上を図ることが非常に重要である。このため、ＲＡＳ性能を評価するために、RAS Test Program（ＲＡＳＴＰ）と呼ばれるプログラムが用いられている。
又、近年、高い可用性や柔軟なリソース運用を実現するために、マルチビルディングブロック（Building Block；ＢＢ）と呼ばれる構成が採用されている。
【０００３】
マルチビルディングブロック構成においては、システムのハードウェア資源を複数のＢＢ（ノードとも呼ぶ）に分け、これらのＢＢ上で１つのOperating System（ＯＳ）を動作させるか、各ＢＢ上でそれぞれＯＳを動作させる。
これらのＢＢのそれぞれにおいて、ＢＢの各種コンポーネント（ハードウェアやファームウェア、ソフトウェア）を監視するためのシステム監視機構（eXtended System Control Facility：以降、ＸＳＣＦとも呼ぶ）が実行される。
【０００４】
近年、情報処理装置の製品開発サイクルが短くなっており、ＲＡＳ評価に要する工数の削減に迫られている。
そこで、情報処理システムに評価サーバを設け、評価サーバからＢＢに擬似エラー（以降、擬似故障或いは偽障と呼ぶ）を発生させ、ＢＢのシステム監視機構が正しい挙動を示すかどうかを確認することにより、ＢＢのＲＡＳ評価を行なっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１５２４７５号公報
【特許文献２】特開平８−１６４２９号公報
【特許文献３】特開２００３−５１１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来、偽障発生中に評価サーバが接続しているＢＢのシステム監視機構に異常が発生して異常終了すると、評価サーバの処理が中断されてしまっていた。このため、マルチＢＢ構成でシステム監視機構が冗長化されているにも関わらず、ＲＡＳ評価の中断により、ＲＡＳ評価時間が増大し、ＲＡＳ評価の効率を低下させていた。
このようなシステム監視機構の異常が発生した場合、評価サーバはＲＡＳ評価を最初から実施する必要があり、ＲＡＳ評価効率の低下を招いていた。又、ＢＢのファームウェアの異常終了時のＲＡＳ評価を行なうことができなかった。
【０００７】
さらに、大規模な情報処理システムにおいては、故障の原因を特定するためには情報処理システムに存在する各構成要素間の時刻を同期させる必要がある。時刻の同期が正しく行なわれない場合には、正しいＲＡＳ評価を行なうことができず、ＲＡＳ評価効率の低下を招いていた。
又、ＲＡＳ評価のカバレージを上げるためには、偽障を発生させる確率を上げる必要がある。
【０００８】
しかし、ＲＡＳ評価に使用される偽障の中には、発生がまれなものがあり、例えば、複数回（１６回等）偽障の発生を試みてもその偽障が発生せず、１日かけてもＲＡＳ評価が１項目も終わらないことがある。このこともＲＡＳ評価効率の低下の大きな原因となっていた。
上記課題に鑑みて、１つの側面では、本発明は、情報処理システムのＲＡＳ評価効率を向上させることを目的とする。
【０００９】
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の１つとして位置付けることができる。
【課題を解決するための手段】
【００１０】
このため、情報処理システムが提供され、この情報処理システムは、代表アドレスが設定されている第１の情報処理装置と、第２の情報処理装置と、ネットワークを介して前記第１の情報処理装置及び前記第２の情報処理装置に接続され、前記代表アドレスを使用して前記第１の情報処理装置及び前記第２の情報処理装置の信頼性評価を行なう試験装置と、をそなえ、前記第２の情報処理装置は、前記第１の情報処理装置の異常を検出する異常検出部と、前記異常検出部によって前記第１の情報処理装置の異常が検出された場合に、前記第１の情報処理装置に設定されている前記代表アドレスを前記第２の情報処理装置に設定する代表アドレス再設定部と、をそなえ、前記試験装置は、前記第１の情報処理装置及び前記第２の情報処理装置に擬似エラーを発生させる偽障発生部と、前記偽障発生部が発生させた前記擬似エラーに対して前記第１の情報処理装置から返される応答に基づいて、前記第１の情報処理装置及び前記第２の情報処理装置の信頼性評価を行なう信頼性評価部と、をそなえる。
【００１１】
又、情報処理装置に対して擬似エラーを発生させることにより、前記報処理装置の信頼性評価を行なう試験装置にネットワークを介して接続されている情報処理装置が提供され、この情報処理装置は、代表アドレスが設定されている別の情報処理装置の異常を検出する異常検出部と、前記異常検出部によって前記別の情報処理装置の異常が検出された場合に、前記別の情報処理装置に設定されている前記代表アドレスを前記情報処理装置に設定する代表アドレス再設定部と、前記代表アドレス再設定部によって前記代表アドレスを引き継いだ後に、前記擬似エラーに対する応答を試験装置に返す監視部と、をそなえる。
【００１２】
さらに、ネットワークを介して情報処理装置に接続され、前記情報処理装置の信頼性評価を行なう試験装置が提供され、この試験装置は、前記情報処理装置に擬似エラーを発生させる偽障発生部と、前記偽障発生部が発生させた前記擬似エラーに対して前記情報処理装置から返される応答に基づいて、前記情報処理装置の信頼性評価を行なう信頼性評価部と、をそなえる。
【００１３】
さらに、代表アドレスが設定されている第１の情報処理装置と、第２の情報処理装置との試験方法が提供され、この評価方法は、前記第１の情報処理装置及び前記第２の情報処理装置に擬似エラーを発生させ、前記擬似エラーに対して前記第１の情報処理装置から返される応答に基づいて、前記第１の情報処理装置及び前記第２の情報処理装置の信頼性評価を行なう。
【発明の効果】
【００１４】
開示の技術によれば、情報処理システムのＲＡＳ評価効率を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】実施形態の一例としての情報処理システムの概略構成を示す図である。
【図２】実施形態の一例としての情報処理システムの詳細構成を示す図である。
【図３】実施形態の一例としてのＥＧツールによる偽障発生の原理を例示する図である。
【図４】実施形態の一例としての入力データのフォーマットを例示する図である。
【図５】実施形態の一例としてのｄｅｌａｙ値テーブルのフォーマットを例示する図である。
【図６】実施形態の一例としての期待値テーブルのデータフォーマットを例示する図である。
【図７】実施形態の一例としての状態遷移テーブルのデータフォーマットを例示する図である。
【図８】実施形態の一例としての情報処理システムの正常時の動作を示すタイミングチャートである。
【図９】実施形態の一例としてのタイミング調整部による時刻合わせ処理を示すフローチャートである。
【図１０】実施形態の一例としての情報処理システムにおけるＸＳＣＦパニック発生時の動作を示すタイミングチャートである。
【図１１】実施形態の一例としての情報処理システムにおけるＸＳＣＦパニック発生時の動作を示すタイミングチャートである。
【図１２】図１０，図１１のフローにおいてＸＳＣＦパニック後に評価を継続するための処理を示すフローチャートである。
【図１３】図１０，図１１のフローにおいてＸＳＣＦパニック後に評価を継続するための処理を示すフローチャートである。
【図１４】実施形態の一例としてのドメイン状態監視部によるドメイン状態監視処理を示すフローチャートである。
【図１５】実施形態の一例としてのＰ−ＯＦＦ処理部によるＰ−ＯＦＦ処理を示すフローチャートである。
【図１６】実施形態の一例としてのタイミング調整部によるＥＧツールの実行タイミング調整処理及びＲＡＳ評価部による照合処理を示すフローチャートである。
【図１７】実施形態の一例としてのＲＡＳ評価部による故障状態確認のためのＣＬＩの実行結果を例示する図である。
【図１８】実施形態の一例としてのＲＡＳ評価部によるエラーログ確認のためのＣＬＩの実行結果の実行結果を例示する図である。
【図１９】実施形態の一例としての情報処理システムにおけるＳＮＭＰトラップログを例示する図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して情報処理システム、情報処理装置、試験装置及び試験方法に係る実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。又、各図は、図中に示す構成要素のみをそなえるという趣旨ではなく、他の機能等を含むことができる。
（Ａ）構成
まず、実施形態の一例としての情報処理システム１の構成を説明する。
【００１７】
図１は、実施形態の一例としての情報処理システム１の概略構成を示す図である。
本情報処理システム１は、評価サーバ（試験装置）２、処理サーバ（情報処理装置）３−１，３−２、管理サーバ４、及びユーザ端末５をそなえ、これらがLocal Area Network（ＬＡＮ）６，７によって相互に接続されている。
評価サーバ２は、不図示のCentral Processing Unit（ＣＰＵ）やRandom Access Memory（ＲＡＭ）を有するサーバ機能をそなえたコンピュータであり、後述する処理サーバ３−１，３−２に対してＲＡＳ評価試験を実行する。
【００１８】
処理サーバ３−１，３−２は、サーバ機能をそなえたコンピュータであり、情報処理システム１の業務に関わる各種処理を行なう。
処理サーバ３−１，３−２は、高い可用性や柔軟なリソース運用を実現するために、それぞれがＢＢとして構成されている。
以下、本明細書及び図面において、処理サーバ３−１，３−２をＢＢ３−１，３−２とも呼ぶ。又、処理サーバ３−１，３−２を、ＢＢ＃０，ＢＢ＃１と記載することもある。
【００１９】
マルチＢＢ構成においては、システムのハードウェア資源を複数のＢＢ（ノードとも呼ぶ）に分け、これらのＢＢ上で１つのOperating System（ＯＳ）を動作させるか、各ＢＢ上でそれぞれＯＳを動作させる。図１の例では、処理サーバ３−１，３−２が１つのドメイン４０を実行している。ドメイン４０は、処理サーバ３−１，３−２の基本的な処理を行なう、例えばＯＳ、ハイパバイザ（ＨＶ）、Power-On Self Test（ＰＯＳＴ）、OpenBoot（ＯＢＰ）などのソフトウェアやファームウェアをそなえる。ドメイン４０の詳細な構成については、図２を用いて後述する。
【００２０】
又、処理サーバ３−１，３−２は、処理サーバ３−１，３−２の各種コンポーネント（ハードウェアやファームウェア）の監視を行なうシステム監視部２１−１，２１−２をそれぞれそなえる。システム監視部２１−１，２１−２の詳細については図２を用いて詳述する。
なお、以下、処理サーバを示す符号としては、複数の処理サーバのうち１つを特定する必要があるときには符号３−１，３−２を用いるが、任意の処理サーバを指すときには符号３を用いる。
【００２１】
又、以下、システム監視部を示す符号としては、複数のシステム監視部のうち１つを特定する必要があるときには符号２１−１，２１−２を用いるが、任意のシステム監視部を指すときには符号２１を用いる。又、システム監視部２１−１，２１−２をＸＳＣＦ２１−１，２１−２とも呼ぶことがある。
システム監視部２１−１，２１−２とドメイン４０とは、例えば、システム監視部（ＸＳＣＦ）２１−１，２１−２とドメイン４０間のインタフェースであるＳＣＦ  Interface（Ｉ／Ｆ）を介した通信により相互に通信を行なう。
【００２２】
なお、本情報処理システム１においては、処理サーバ３−１，３−２は同様の構成及び機能を有し、処理サーバ３−１，３−２が冗長化されている。そして、複数の処理サーバ３−１，３−２のうち１つ（例えば処理サーバ３−１）がマスタとして動作し、他のスレーブ処理サーバ３−２から情報収集を行なうことにより、情報処理システム１内の監視や制御を統括する。処理サーバ３−２はスレーブ処理サーバであり、マスタ処理サーバ３−１の故障時等にマスタ処理サーバの機能を引き継いで、マスタ処理サーバとして動作する。
【００２３】
このため、システム監視部２１−１をマスタシステム監視部２１−１、システム監視部２１−２をスレーブシステム監視部２１−２とも呼ぶ。
本情報処理システム１においては、マスタ処理サーバ３−１に対して代表Internet Protocol（ＩＰ）アドレスが割り当てられており、評価サーバ２、管理サーバ４及びユーザ端末５は、この代表ＩＰアドレスを指定してマスタ処理サーバ３−１にアクセスする。そして、マスタ処理サーバ３−１が、代表ＩＰアドレス宛てのアクセスを、処理サーバ３−１，３−２間で適宜振り分ける。
【００２４】
管理サーバ４は、不図示のＣＰＵやＲＡＭを有するサーバ機能をそなえたコンピュータであり、情報処理システム１の管理に使用される。
ユーザ端末５は、ユーザが処理サーバ３−１，３−２を利用する際に使用する情報処理装置である。
本情報処理システム１では、評価サーバ２のＲＡＳ評価部１１（図２参照）が、処理サーバ３の各種コンポーネント（ハードウェアやファームウェア）の監視を行ない、これらコンポーネントの故障時の動作をエミュレートして故障時のシステム監視動作を評価する。ＲＡＳ評価部１１が評価するシステム監視動作としては、ログ登録、故障状態確認、Simple Network Management Protocol（ＳＮＭＰ）トラップ確認などが挙げられる。
【００２５】
図２は、実施形態の一例としての情報処理システム１の詳細構成を示す図である。
評価サーバ２は、ＲＡＳ評価部（信頼性評価部）１１と、偽障発生（Error Generation：ＥＧ）ツール（偽障発生部）１７とを有する。
ＲＡＳ評価部１１は、後述するＥＧツール１７により、処理サーバ３のハードウェアやドメイン４０に偽障を発生させ、偽障発生時のリアクション（ログ表示、エラーマーク、ＳＮＭＰトラップ）を確認することにより、処理サーバ３のＲＡＳ評価を行なう。ここで、エラーマークとは本体装置を構成する部品の故障状態を表す情報である。エラーログとは過去に部品が故障した際のログであり、発生時刻や故障状態、エラーメッセージ等が含まれる。
【００２６】
ＲＡＳ評価部１１は、偽障発生を、評価項目毎に後述する入力データ１３に定義されたタイミングで実行し、このタイミングでエラーが発生しない場合は、ＥＧツール１７の実行のタイミングを調整する。
又、ＲＡＳ評価部１１は、ＲＡＳ評価時に実行されるコマンド毎にセッションを分利する。ＲＡＳ評価部１１は、コマンドを実行する毎に、自身の子プロセスをＲＡＳＴＰ子プロセス（子プロセスとも呼ぶ）１２として生成する。これにより、先に生成したＲＡＳＴＰ子プロセス１２の処理終了を待機することなく、次のＲＡＳＴＰ子プロセス１２を生成することで処理を継続することができる。
【００２７】
詳細には、ＲＡＳ評価部１１は、セッションを分離するために、複数のプロセスによって実行される。詳細には、ＲＡＳ評価部１１の親プロセス（ＲＡＳＴＰ親プロセス１１とも呼ぶ）が、コマンド毎にＲＡＳＴＰ子プロセス１２を生成する。ＲＡＳＴＰ子プロセス１２を生成は、コマンド実行など、子プロセスを生成するための公知の手法を用いて行なうことができる。
【００２８】
以降、ＲＡＳ評価部１１をＲＡＳＴＰ親プロセス１１とも呼ぶことがある。図２には、ＲＡＳＴＰ子プロセス１２−１〜１２−ｎ（ｎは１以上の整数）が存在しているように図示されているが、実際には、ＲＡＳＴＰ子プロセス１２は存在しないこともあれば多数存在することもある。
なお、以下、ＲＡＳＴＰ子プロセスを示す符号としては、複数のＲＡＳＴＰ子プロセスのうち１つを特定する必要があるときには符号１２−１〜１２−ｎを用いるが、任意のＲＡＳＴＰ子プロセスを指すときには符号１２を用いる。又、ＲＡＳＴＰ子プロセス１２−１〜１２−ｎを、子プロセス１〜ｎと記載することもある。
【００２９】
そして、ＲＡＳ評価部１１は、ＲＡＳＴＰ子プロセス１２による処理が完了する毎に、その結果を状態遷移テーブル１６に記録する。
ＲＡＳ評価部１１は、コマンドを実行する毎にその実行結果を状態遷移テーブル１６に記録するので、例えば処理サーバ３で異常が発生し、ＲＡＳ評価が中断した場合に、前回正常終了した時点からＲＡＳ評価処理を再開することができる。
【００３０】
ＥＧツール１７は、処理サーバ３の各種コンポーネント（ハードウェアやファームウェア、ソフトウェア）に偽障を発生させる。
図３に、ＥＧツール１７による偽障発生の原理を例示する。
処理サーバ３のシステム監視部２１は、例えば、処理サーバ３内のＣＰＵやDual Inline Memory Module（ＤＩＭＭ）等の各種部品温度を定期的に監視しており、部品温度が下限値より低い場合や上限値より高い場合に、当該部品でエラーが発生したと判断する。
【００３１】
この判定に使用される下限値や上限値は、処理サーバ３の不図示のデータベース（ＤＢ）に記憶されている。
例えば、ＥＧツール１７は、部品温度の上限値や下限値を一時的に高い値又は低い値に変更することで、システム監視部２１が次に定期監視チェックを実行するタイミングで、部品の現在の温度（現状値）が異常と判定されて、温度異常を擬似的に発生させる。
【００３２】
図３の例では、ＥＧツール１７は、処理サーバ３のＤＢに記憶されている上限値及び下限値を、実際の上限値及び下限値よりも高い値に変更する。この場合、温度の現状値が、下限値を下回るため、システム監視部２１は部品でエラーが発生していると判定する。
そして、後述するＲＡＳＴＰ親プロセス１１が、温度異常発生後に、図１６を用いて後述するように、エラーに対するリアクション（エラーログ、エラーマーク、ＳＮＭＰトラップ）の値を期待値と照合する。リアクションの期待値との照合が終了すると、ＥＧツール１７は、下限値と上限値とを元の値に戻す。
【００３３】
ＲＡＳ評価部１１は、タイミング調整部１８、ドメイン状態監視部１９、及びパワーオフ（Ｐ−ＯＦＦ）処理部２０をそなえる。又、評価サーバ２の不図示の記憶領域に、入力データ１３、ｄｅｌａｙ値テーブル１４、期待値テーブル１５、及び状態遷移テーブル（ログ）１６が格納されている。
タイミング調整部１８は、図９を用いて後述するように、ＲＡＳ評価部（ＲＡＳＴＰ親プロセス）１１の起動時に評価サーバ２と処理サーバ３との時刻合わせを行なう。時刻を合わせることで、偽障発生以降のログのみを照合の対象とすることができ、偽障を発生させた後の期待値の照合時間を短縮できると共に、偽障発生前に既に登録されていたログが誤って照合対象に含まれることを回避できる。タイミング調整部１８による時刻合わせ処理については、図９を用いて説明する。
【００３４】
タイミング調整部１８は、ｄｅｌａｙ時間待機してからＥＧツール１７を実行させることにより、発生がまれなＲＡＳ偽障の発生確率を改善する。タイミング調整部１８によるタイミング調整処理については、図１６を用いて後述する。
又、ＲＡＳ評価部１１は、ＥＧツール１７の実行タイミングの調整と共に、ドメイン状態監視部１９によっても、偽障の発生確率を改善している。
【００３５】
ドメイン状態監視部１９は、後述する入力データ１３を用いて、処理サーバ３のドメイン４０を監視するドメイン状態監視処理を実施することにより、偽障を発生させるタイミングをドメイン４０の状態ごとに分離することで、偽障の発生確率を向上させる。後述するようにタイミング調整部１８が偽障発生タイミングを調整することにより細かいタイミングの調整を行ない、大きなタイミングの調整は、偽障を発生させるタイミングをドメイン４０の起動状態に合わせることにより、偽障の発生確率が向上する。又、それぞれのドメイン４０の状態に合わせて偽障を発生させることで、評価の網羅率が向上するという効果が得られる。ドメイン状態監視部１９によるドメイン状態監視処理については、図１４を用いて後述する。
【００３６】
Ｐ−ＯＦＦ処理部２０は、後述する入力データ１３を用いてＰ−ＯＦＦ処理を行なう。Ｐ−ＯＦＦ処理部２０によるＰ−ＯＦＦ処理については、図１５を用いて後述する。
入力データ１３は、評価項目毎に偽障発生を実施するタイミングからエラー状態解除フローを分離するために、ドメイン状態監視部１９によって使用されるデータである。又、入力データ１３は、Ｐ−ＯＦＦ処理部２０によるＰ−ＯＦＦ処理にも使用される。入力データ１３には、システム管理者等によって、評価項目毎の偽障発生を実施するタイミングとエラー状態解除フローとが定義される。
【００３７】
図４は、実施形態の一例としての入力データ１３のフォーマットを例示する図である。
この例では、入力データ１３は、各行に、カンマで区切られた項目（項番、タイミング、メッセージ、ＥＧ解除手順）を有する。なお、図４に示す例では、先頭行は、入力データ１３のヘッダであり、入力データ１３の実際の内容は、２行目以降に記録される。
項番は、ＲＡＳ評価で実施される評価項目を特定する文字列である。
【００３８】
タイミングは、後述するドメイン状態監視部１９がドメイン監視処理を実施するタイミング（ドメイン監視タイミング）を示す。図４の例では、ドメイン監視タイミングとして「ＯＳ動作中」、「ハード評価用ＴＰ動作中」が登録されている。
メッセージは、エラーログに登録されるエラーメッセージを示す。
ＥＧ解除手順は、Ｐ−ＯＦＦ処理部２０がエラー状態を解除する手順を示す。
【００３９】
なお、ドメイン状態監視部１９が入力データ１３を使用する具体的な処理の例は、図１４を用いて後述する。
ｄｅｌａｙ値テーブル１４は、タイミング調整部１８が偽障発生タイミングを調整する際にＥＧツール１７の実行を遅延させる時間を記憶している。
図５は、実施形態の一例としてのｄｅｌａｙ値テーブル１４のフォーマットを例示する図である。
【００４０】
ｄｅｌａｙ値テーブル１４は、各行に、カンマで区切られた項目（項番、ｄｅｌａｙ値（ｍｓｅｃ））を有する。なお、図５に示す例では、先頭行は、ｄｅｌａｙ値テーブル１４のヘッダであり、ｄｅｌａｙ値は、２行目以降に記録される。
項番は、ＲＡＳ評価で評価される評価項目を特定する文字列である。
ｄｅｌａｙ値（ｍｓｅｃ）は、項番に示す評価項目のｄｅｌａｙ値を、例えばミリ秒単位で定義している。
【００４１】
期待値テーブル１５は、ＲＡＳ評価部１１により、処理サーバ３から取得したログに記録されている値と比較される値を記憶している。
図６は、実施形態の一例としての期待値テーブル１５のデータフォーマットを例示する図である。
期待値テーブル１５は、各行に、カンマで区切られた項目（項番、ＥＧ、メッセージ、エラーレベル、ＥＲＲ  ＴＲＡＰの有無、ＳＮＭＰ  Ｔｒａｐレベル、ユニット状態）を有する。なお、図６に示す例では、先頭行は、期待値テーブル１５のヘッダであり、期待値の内容は、２行目以降に記録される。
【００４２】
項番は、ＲＡＳ評価で評価される評価項目を特定する文字列である。この値は、ｄｅｌａｙ値テーブル１４の項番と対応しており、両者は評価項目をキーとして、相互に関連付けられている。
ＥＧは、項番に示す評価項目において使用されるＥＧを示す。
メッセージは、項番に示す評価項目においてシステム監視部２１から報告されることが期待されるメッセージを示す。
【００４３】
エラーレベルは、項番に示す評価項目においてシステム監視部２１から報告されることが期待されるエラーレベルを示す。
ＥＲＲ  ＴＲＡＰの有無は、項番に示す評価項目においてシステム監視部２１からエラートラップを送信するかどうかを示すフラグである。
ＳＮＭＰ  Ｔｒａｐレベルは、項番に示す評価項目においてシステム監視部２１から報告されることが期待されるＳＮＭＰトラップのレベルを示す。
【００４４】
ユニット状態は、項番に示す評価項目においてシステム監視部２１から報告されることが期待されるユニット状態を示す。
状態遷移テーブル１６は、ＲＡＳ評価部１１が、ＲＡＳ評価で行なわれる一連の処理のシーケンスの進捗状態（状態遷移とも呼ぶ）を記録するため、処理を終了する度に情報処理システム１の状態を書き込むログデータである。
【００４５】
図７は、実施形態の一例としての状態遷移テーブル１６のデータフォーマットを例示する図である。
この例では、状態遷移テーブル１６は、カンマで区切られた、項番、処理内容（１）、実施確認（１）、処理内容（２）、実施確認（２）、…、処理内容（ｋ）、実施確認（ｋ）…を有する。各行は、１〜ｋ（ｋは１以上の整数）の処理からなる一連の処理シーケンスを示している。なお、図７に示す例では、先頭行は、状態遷移テーブル１６のヘッダであり、状態遷移の内容は、２行目以降に記録される。
【００４６】
項番は、ＲＡＳ評価で実施される評価項目を特定する文字列であり、評価項目の値は入力データ１３の項番と関連付けられている。
処理内容（ｉ）（ｉ＝１〜ｋ）は、処理シーケンス中のｉ番目の処理の内容を示す。例えば、図７の例では、２行目に、「処理内容（１）」として「ＯＰＳＲ設定」、「処理内容（２）」として「ＣＰＵ電源投入（ＯＳ起動）」が記録される。
【００４７】
処理確認（ｉ）（ｉ＝１〜ｋ）は、ｉ番目の処理の結果を示す。「○」は、「処理内容（ｉ）」が示す処理が完了したことを示し、空白（ブランク）は、その処理が完了していないことを示す。例えば、図７の例では、２行目に、「処理確認（１）」、「処理内容（２）」として「○」が記録されており、ＯＰＳＲ設定とＣＰＵ電源投入（ＯＳ起動）とが共に完了していることを示す。
【００４８】
なお、状態遷移テーブル１６には、ＲＡＳ評価で行なわれる処理シーケンスが事前にシステム管理者等によって定義される。そして、特定の処理のシーケンスを実行する前に、ＲＡＳ評価部１１が、各処理の終了を示す「○」をクリアする。
処理サーバ３は、ＣＰＵ５１、Field Programmable Gate Array（ＦＰＧＡ）５２、ドメイン４０、及びシステム監視部２１を有する。
【００４９】
ＣＰＵ５１は、種々の制御や演算を行なう処理装置であり、後述のＯＳ４１やプログラムを実行することにより、処理サーバ３において種々の機能を実現する。
ＦＰＧＡ５２は、ＣＰＵ５１と処理サーバ３の各種ファームウェアとの間の通信を中継するハードウェアである。
ドメイン４０は、処理サーバ３において実行されるプログラム群であり、ＯＳ４１、ハイパバイザ４２、ＰＯＳＴ４３、ＯＢＰ４４のほか、不図示のアプリケーションを有する。
【００５０】
ＯＳ４１は、処理サーバ３のハードウェアの管理などの基本機能を実現するシステムソフトウェアである。ＯＳ４１は、例えばＬｉｎｕｘ（登録商標）などである。
ハイパバイザ４２は、処理サーバ３において仮想機械（バーチャルマシン）を実現するための制御プログラムである。
ＰＯＳＴ４３は、電源投入直後あるいはリセット直後より実行されるハードウェア自己診断プログラムである。
【００５１】
ＯＢＰ４４は、ブート用のファームウェアであり、例えばProgrammable Read Only Memory（ＰＲＯＭ）である。
図１の説明で前述のように、システム監視部２１は、処理サーバ３内の各種ハードウェア、ファームウェア、ソフトウェアコンポーネントの監視を行なう。
なお、以下、マスタ処理サーバ３で実行されているシステム監視部２１をマスタシステム監視部２１、スレーブ処理サーバ３で実行されているシステム監視部２１をスレーブシステム監視部２１と、それぞれ呼ぶことがある。
【００５２】
システム監視部２１は、マスタＸＳＣＦ異常検出部（異常検出部）２２、マスタＸＳＣＦ切り替え部２３、代表ＩＰアドレス再設定部（代表アドレス再設定部）２４、Command Line Interface（ＣＬＩ）部２５、ログ収集部２６、ログ解析部２７、エラーマーク部２８、リアクション部２９、及びＳＮＭＰエージェント３０をそなえる。
マスタＸＳＣＦ異常検出部２２は、自システム監視部２１がスレーブシステム監視部２１の場合に、マスタ処理サーバ３で実行されているマスタシステム監視部２１の異常を検出する。
【００５３】
マスタＸＳＣＦ切り替え部２３は、マスタＸＳＣＦ異常検出部２２がマスタシステム監視部２１の異常を検出すると、自システム監視部２１をマスタシステム監視部２１として動作させる。
代表ＩＰアドレス再設定部２４は、マスタＸＳＣＦ異常検出部２２がマスタシステム監視部２１の異常を検出すると、マスタシステム監視部２１に設定されていた代表ＩＰアドレスを自システム監視部２１に引き継ぐ（代表ＩＰの再設定を行なう）。
【００５４】
ＣＬＩ部２５は、コマンドラインの処理を行なう。
ログ収集部２６は、処理サーバ３にそなえられているハードウェアのログを収集する。
ログ解析部２７は、処理サーバ３のログを解析する。
エラーマーク部２８は、部品故障が発生した際に、ユーザに故障を通知するためにＬＥＤの点灯や、エラーに関する情報を記録している不図示のＤＢの情報の更新を行なう。
【００５５】
リアクション部２９は、部品故障の発生に応じ、システムの継続した運用またはシステムの安全な縮退を目的として、ＰＰＡＲのリセット、シャットダウンを行なう。
ＳＮＭＰエージェント３０は、管理サーバ４の後述するＳＮＭＰマネージャ３１との間で通信を行なう。
管理サーバ４は、処理サーバ３のＳＮＭＰエージェント３０との間で通信を行なうＳＮＭＰマネージャ３１を有する。
【００５６】
処理サーバ３のＳＮＭＰエージェント３０は、ＳＮＭＰマネージャ３１に対して故障を通知するＳＮＭＰトラップを送信する。評価サーバ２のＲＡＳ評価部１１は、管理サーバ４のＳＮＭＰマネージャ３１を介して、ＳＮＭＰトラップが期待通りに送信されたどうかをチェックすることで、ＲＡＳ評価を行なう。
なお、ここで、ＳＮＭＰトラップとは、ＳＮＭＰを使用して管理サーバ４から処理サーバ３を監視する際に、処理サーバ３から管理サーバ４に能動的に発信される通知を指す。
【００５７】
情報処理システム１の通常運用時には、ＳＮＭＰを使用して、管理サーバ４のＳＮＭＰマネージャ３１と処理サーバ３のＳＮＭＰエージェント３０が各種通信を行なう。正常時には、ＳＮＭＰマネージャ３１が問い合わせや要求などをＳＮＭＰエージェント３０に送り、それにＳＮＭＰエージェント３０が返信を送信する。
しかし、処理サーバ３で何からの異常が発生した場合、処理サーバ３のＳＮＭＰエージェント３０がＳＮＭＰマネージャ３１に異常を通知することがあり、この通知をＳＮＭＰトラップという。
【００５８】
ＳＮＭＰ、ＳＮＭＰトラップについては公知であるためその詳細な説明は省略する。
なお、上記システム監視部２１、マスタＸＳＣＦ異常検出部２２、マスタＸＳＣＦ切り替え部２３、代表ＩＰアドレス再設定部２４、ＣＬＩ部２５、ログ収集部２６、ログ解析部２７、エラーマーク部２８、リアクション部２９、及びＳＮＭＰエージェント３０は、例えば処理サーバ３においてファームウェアとして実装される。
（Ｂ）動作
次に、実施形態の一例としての情報処理システム１の動作を説明する。
【００５９】
図８は、実施形態の一例としての情報処理システムの正常時の動作を示すタイミングチャート（ステップＳ１〜Ｓ２５）である。
図８において、ＲＡＳ評価部１１が状態遷移テーブル１６（図７参照）に書き込みを実行するタイミングを実線の○で示す。
ステップＳ１において、ＲＡＳ評価部１１でタイミング調整部１８が起動され、タイミング調整部１８が処理サーバ３のシステム監視部２１のＣＬＩ部２５に対して、時刻合わせを通知する。時刻合わせ処理の詳細については図９を用いて後述する。
【００６０】
その後、図には記載されていないが、ＲＡＳ評価部１１とＣＬＩ部２５との間で、ＳＮＭＰトラップ送信先の設定、処理サーバ３の電源投入、処理サーバ３のＯＳ４１の起動が実行される。
処理サーバ３のＯＳ４１が起動されると、ステップＳ２において、ＲＡＳ評価部１１が、システム監視部２１のＣＬＩ部２５に対して、ＥＧ実行を要求する。
【００６１】
なお、簡潔を期するため、図８には図示していないが、ステップＳ２のＥＧ実行の要求は、ＲＡＳ評価部１１のタイミング調整部１８により、ｄｅｌａｙ時間待機した後に行なわれる。タイミング調整部１８によるこの処理の詳細については、図１６を用いて後述する。
ＣＬＩ部２５がNetwork File System（ＮＦＳ）のマウントをＥＧツール１７に指示し、ステップＳ３において、ＣＬＩ部２５がＥＧツール１７の実行をＥＧツール１７に指示して、ＥＧツール１７が起動される。
【００６２】
ステップＳ４において、ＥＧツール１７が、処理サーバ３に偽障を発生させるために、ＣＬＩ部２５に対してコマンドを実行する（故障発生ＣＬＩ実行）。
これに応答して、ＦＰＧＡ５２経由でＣＰＵ５１にコマンドが送信され、ステップＳ５でＣＰＵ５１に偽障が発生する。なお、図８の例ではＣＰＵ５１で偽障を発生させているが、評価内容によっては、本図には示していないが、ステップＳ５において、ＣＰＵ５１に代えてＦＰＧＡ５２に偽障を発生させてもよい。
【００６３】
次に、ステップＳ６において、ＣＬＩ部２５がＲＡＳ評価部１１に対して、偽障の発生指示が正常終了した旨を通知する。
ステップＳ７において、ＲＡＳ評価部１１が、偽障の発生指示が正常終了した旨の通知を受け、その内容を状態遷移テーブル１６に書き込む（実線の○参照）。
ステップＳ８において、ＣＰＵ５１が偽障の発生をＦＰＧＡ５２に通知する。
【００６４】
ステップＳ９において、ＦＰＧＡ５２がログ収集部２６に対して割り込み通知を行なう。
ステップＳ１０，Ｓ１１において、ログ収集部２６により、ＣＰＵ５１，ＦＰＧＡ５２の割り込み要因によって、故障箇所の特定や故障に関する詳細情報を取得できる。例えば、図８の例では、ＣＰＵ５１の割り込み要因により、ＣＰＵ５１のどの箇所が故障したのかを詳細に知ることができる。又、ＦＰＧＡ５２の割り込み要因により、ＦＰＧＡ５２のどの箇所が故障したのかを詳細に知ることができる。
【００６５】
ステップＳ１２において、ログ解析部２７がログの解析を実行する。
ステップＳ１３において、ログ収集部２６が、ログ解析部２７によるログの解析結果に基づいてエラーログを生成する。
ステップＳ１４において、ログ収集部２６がエラーログを例えば不図示のＤＢに登録する。
【００６６】
ステップＳ１５において、ログ解析部２７がエラーマーク部２８に故障状態を設定する。
ステップＳ１６において、エラーマーク部２８はリアクション部２９に対してＦａｔａｌリセットを指示する。
ステップＳ１７において、リアクション部２９がイベントログを例えば不図示のＤＢに登録する。
【００６７】
なお、上記のステップＳ８〜Ｓ１７の処理は、システム監視において通常実施されている処理と同様であるため、その詳細な説明は省略する。
ステップＳ１８，Ｓ１９において、ＲＡＳ評価部１１が処理サーバ３のエラーログを確認し、確認結果を状態遷移テーブル１６に書き込む（実線の○参照）。
ステップＳ２０において、リアクション部２９がＦＰＧＡ５２に対してＦａｔａｌリセットを指示する。
【００６８】
ステップＳ２１において、ＦＰＧＡ５２からＣＰＵ５１にＦａｔａｌリセットが指示される。Ｆａｔａｌリセット後、処理サーバ３においてＯＳ４１がリブートされる。
ステップＳ２２において、ＲＡＳ評価部１１が処理サーバ３のエラーログを確認し、確認結果を状態遷移テーブル１６に書き込む（実線の○参照）。
ステップＳ２３において、ＲＡＳ評価部１１がステップＳ２２の後にリブートされたＯＳ５１の起動確認を行ない、確認結果を状態遷移テーブル１６に書き込む（実線の○参照）。
【００６９】
ステップＳ２４において、リアクション部２９がＳＮＭＰトラップを生成する。
ステップＳ２５において、ＳＮＭＰエージェント３０が、ステップＳ２９でリアクション部２９が生成したＳＮＭＰトラップを、管理サーバ４のＳＮＭＰマネージャ３１に送信する。
なお、上記のステップＳ２０〜Ｓ２５の処理は、システム監視において通常実施されている処理と同様であるため、その詳細な説明は省略する。
【００７０】
図９は、図８のステップＳ１に示したタイミング調整部１８による時刻合わせ処理を示すフローチャート（ステップＳ１５１〜Ｓ１５４）である。
ステップＳ１５１において、評価サーバ２のＲＡＳ評価部１１でＲＡＳ評価部１１が起動される。
次に、ステップＳ１５２において、タイミング調整部１８は、評価サーバ２で現在時間を表示させるＣＬＩを実行する。
【００７１】
ステップＳ１５３において、タイミング調整部１８は、ステップＳ１５２で取得した時刻をパラメータとして、処理サーバ３に時刻設定要求を送信する。
次に、ステップＳ１５４において、処理サーバ３のシステム監視部２１は、ステップＳ１５３でタイミング調整部１８から送信された時刻をパラメータに指定して、時刻設定用ＣＬＩを実行する。評価サーバ２と処理サーバ３との間で時刻が同期されたことにより、ＲＡＳ評価時の偽障発生確率が改善される。
【００７２】
図１０，図１１は、実施形態の一例としての情報処理システム１におけるＸＳＣＦパニック発生時の動作を示すタイミングチャート（図１０のステップＳ３１〜Ｓ４３，図１１のステップＳ４４〜Ｓ５７）である。
図１０，図１１において、ＲＡＳ評価部（ＲＡＳＴＰ親プロセス）１１が状態遷移テーブル１６（図７参照）に書き込みを実行するタイミングを実線の○で示す。
【００７３】
ステップＳ３１において、ＲＡＳ評価部１１が、ＥＧツール１７に対してＥＧ実行を要求する。このとき、ＲＡＳ評価部１１によりＲＡＳＴＰ子プロセス１２−１が生成される。
ステップＳ３２において、ＲＡＳＴＰ子プロセス１２−１が、処理サーバ３の代表アドレスＩＰアドレスを指定して、処理サーバ３−１のシステム監視部２１−１に対して、ＥＧ実行を要求する。
【００７４】
なお、上記ステップＳ３１〜Ｓ３２の処理は、図８のステップＳ２の処理に対応する。
ステップＳ３３において、システム監視部２１−１が評価サーバ２のＮＦＳのマウントを指示する。
ステップＳ３４において、システム監視部２１−１がＥＧツール１７の実行を指示し、ＥＧツール１７が起動される。
【００７５】
ステップＳ３５において、ＥＧツール１７が、処理サーバ３−１に偽障を発生させるために、システム監視部２１−１に対して、偽障発生ＣＬＩを実行する。
次に、ステップＳ３６において、システム監視部２１−１がＲＡＳＴＰ子プロセス１２−１に対して、偽障の発生が正常終了した旨を通知する。
ステップＳ３７において、ＲＡＳＴＰ子プロセス１２−１はＲＡＳＴＰ親プロセス１１に偽障の発生指示が正常終了した旨を通知し、ＲＡＳＴＰ子プロセス１２−１が終了する。ＲＡＳＴＰ親プロセス１１は、偽障の発生が正常終了した旨の通知を受け、その内容を状態遷移テーブル１６に書き込む（実線の○参照）。
【００７６】
なお、上記ステップＳ３４〜Ｓ３７の処理は、図８のステップＳ３〜Ｓ８の処理に対応している。
ステップＳ３８において、ＲＡＳ評価部（ＲＡＳＴＰ親プロセス）１１がシステム監視部２１−１に対してエラーログの取得要求を行なうと、ＲＡＳＴＰ子プロセス１２−２が生成される。
【００７７】
ステップＳ３９において、ＲＡＳＴＰ子プロセス１２−２が、処理サーバ３の代表アドレスＩＰアドレスを指定して、処理サーバ３−１のシステム監視部２１−１に対して、エラーログの確認を行なう。
ステップＳ４０において、システム監視部２１−１がエラーログを表示し、ステップＳ４１においてＲＡＳＴＰ子プロセス１２−２にエラーログが通知される。
【００７８】
ステップＳ４２において、ＲＡＳＴＰ子プロセス１２−２はＲＡＳＴＰ親プロセス１１にエラーログを通知し、正常終了する。ステップＳ４３において、ＲＡＳＴＰ親プロセス１１は、取得したエラーログの値を、期待値テーブル１５の値と照合し、その照合結果を状態遷移テーブル１６に書き込む（実線の○参照）。
なお、上記のステップＳ３８〜Ｓ４２の処理をエラーログ期待値照合処理と呼ぶ。
【００７９】
その後、例えば、図１１のステップＳ４５において、処理サーバ３−１においてシステム監視部２１−１のエラー（ＸＳＣＦパニック）が発生する。
この段階では、ＲＡＳ評価部（ＲＡＳＴＰ親プロセス）１１はＸＳＣＦパニックの発生を認識していない。このため、ステップＳ４４において、ＲＡＳＴＰ親プロセス１１は、システム監視部２１−１に対して例えばエラーマーク取得要求を行なう。このとき、ＲＡＳＴＰ子プロセス１２−３が生成される。
【００８０】
ステップＳ４６において、ＲＡＳＴＰ子プロセス１２−３が、処理サーバ３の代表アドレスＩＰアドレスを指定して、処理サーバ３−１のシステム監視部２１−１に対してエラーマーク取得要求を行なう。しかし、システム監視部２１−１はＸＳＣＦパニックにより応答することができないので、この要求はタイムアウトする。
ステップＳ４７において、ＲＡＳＴＰ子プロセス１２−３はタイムアウトを検出する。
【００８１】
ステップＳ４８において、ＲＡＳＴＰ子プロセス１２−３は、ＲＡＳＴＰ親プロセス１１に対してタイムアウトの発生を通知し、ＲＡＳＴＰ子プロセス１２−３は異常終了する。
ステップＳ４９において、処理サーバ３−２のシステム監視部２１−２のマスタＸＳＣＦ異常検出部２２が、処理サーバ３−１のシステム監視部２１−１のＸＳＣＦパニックを検出する。
【００８２】
ステップＳ５０において、システム監視部２１−２のマスタＸＳＣＦ切り替え部２３が、マスタシステム監視部２１を自システム監視部２１−２に切り替える。
ステップＳ５１において、システム監視部２１−２の代表ＩＰアドレス再設定部２４は、システム監視部２１−１に設定されていた代表ＩＰアドレスを自システム監視部２１−２に引き継ぐ（代表ＩＰの再設定を行なう）。
【００８３】
ステップＳ５２において、ＲＡＳＴＰ親プロセス１１は、ステップＳ４４で行なったエラーマーク取得要求をリトライし、ＲＡＳＴＰ子プロセス１２−４が生成される。
ステップＳ５３において、ＲＡＳＴＰ子プロセス１２−４が、処理サーバ３の代表アドレスＩＰアドレスを指定して、エラーマーク取得要求を行なう。このとき、ＲＡＳＴＰ子プロセス１２−４は、処理サーバ３の代表アドレスを使用するので、エラーマーク取得要求は、ステップＳ５０で、処理サーバ３の代表アドレスを引き継いだ処理サーバ３−２のシステム監視部２１−２に対して送信される。
【００８４】
ステップＳ５４において、新たにマスタとなったシステム監視部２１−２がエラーマークを表示し、ステップＳ５５においてＲＡＳＴＰ子プロセス１２−４にエラーマークが通知される。
ステップＳ５６において、ＲＡＳＴＰ子プロセス１２−４はＲＡＳＴＰ親プロセス１１にエラーマークを通知し、正常終了する。ステップＳ５７において、ＲＡＳＴＰ親プロセス１１は、取得したエラーマークの値を、期待値テーブル１５の値と照合し、その照合結果を状態遷移テーブル１６に書き込む（実線の○参照）。
【００８５】
なお、上記のステップＳ４４〜Ｓ５７の処理をエラーマーク期待値照合処理と呼ぶ。
図１２，図１３は、図１０，図１１のフローにおいてＸＳＣＦパニック後に評価を継続するための処理を示すフローチャート（図１２のステップＳ６１〜Ｓ７９，図１３のステップＳ８０〜Ｓ９１）である。
なお、図１２，図１３には、簡潔を期するため、ＲＡＳＴＰ子プロセス１２が１つしか図示されていないが、ＲＡＳＴＰ子プロセス１２は、実際には、ＲＡＳＴＰ親プロセス１１からシステム監視部３に要求が行なわれる（コマンドが実行される）度に生成される。そして、その要求の処理が完了するとＲＡＳＴＰ子プロセス１２は終了する。
【００８６】
ステップＳ６１において、ＲＡＳＴＰ親プロセス１１が、ＥＧ処理を開始する。
次にステップＳ６２において、ＲＡＳＴＰ親プロセス１１が、システム監視部２１−１に対して、ＥＧ向け環境設定コマンドの実行をコマンドラインにより要求する。この環境設定には、例えば、評価用モードの設定、ファイルサーバへのＮＦＳマウント処理が存在する。
【００８７】
ステップＳ６３において、ＲＡＳＴＰ子プロセス１２が生成され、ＲＡＳＴＰ子プロセス１２が、システム監視部２１−１に対して、ＥＧ向け環境設定コマンドの実行をコマンドラインにより要求する。
ステップＳ６４において、システム監視部２１−１がＥＧ向け環境設定を実施し、環境設定解除コマンドの実行結果をＲＡＳＴＰ子プロセス１２に通知する。ＲＡＳＴＰ子プロセス１２はその結果をＲＡＳＴＰ親プロセス１１に通知し正常終了する。
【００８８】
次にステップＳ６５において、ＲＡＳＴＰ親プロセス１１は、ステップＳ６１〜Ｓ６４で正常終了した処理を状態遷移テーブル１６（図７参照）に保存する。
ステップＳ６６において、ＲＡＳＴＰ親プロセス１１は、システム監視部２１に対してＥＧ実行をコマンドラインにより要求する。
ステップＳ６８において、ＲＡＳＴＰ子プロセス１２が生成され、ＲＡＳＴＰ子プロセス１２が、システム監視部２１−１に対して、ＥＧコマンドをコマンドラインにより発行する。
【００８９】
ステップＳ６９において、システム監視部２１−１がＥＧコマンドの実行を開始する。
ステップＳ７０において、ＲＡＳＴＰ親プロセス１１は、擬似エラーが発生したかどうかを判定する。
擬似エラーが発生した場合（ステップＳ７０のＹＥＳルート参照）、ＲＡＳＴＰ親プロセス１１は本処理を終了して、エラーの照合処理（図１６のステップＳ１３７〜Ｓ１４１参照）に移る。
【００９０】
一方、擬似エラーが発生しない場合（ステップＳ７０のＮＯルート参照）、ステップＳ７１において、ＲＡＳＴＰ親プロセス１１は、偽障発生のタイミングを調整するかどうかを判定する。例えば、ＲＡＳ評価で発生させる偽障のなかには、例えば、処理サーバ３においてメモリの読み出し中でないと発生させることができないものがある。このような場合、ＲＡＳＴＰ親プロセス１１は、タイミング調整部１８により偽障発生のタイミングを調整する。
【００９１】
偽障発生のタイミングを調整する場合（ステップＳ７１のＹＥＳルート参照）、ステップＳ６７において、タイミング調整部１８が、偽障発生のタイミングを調整し、処理がステップＳ６６に戻る。
偽障発生のタイミングを調整しない場合（ステップＳ７１のＮＯルート参照）、処理が後述するステップＳ７７に移る。
【００９２】
ステップＳ７２において、処理サーバ３−１においてシステム監視部２１−１のエラー（ＸＳＣＦパニック）が発生する。
ステップＳ７３において、処理サーバ３−２のシステム監視部２１−２のマスタＸＳＣＦ異常検出部２２が、処理サーバ３−１のシステム監視部２１−１のＸＳＣＦパニックを検出する。
【００９３】
ステップＳ７４において、システム監視部２１−２のマスタＸＳＣＦ切り替え部２３が、マスタシステム監視部２１を自システム監視部２１−２に切り替える。
ステップＳ７５において、システム監視部２１−２の代表ＩＰアドレス再設定部２４は、システム監視部２１−１に設定されていた代表ＩＰアドレスを自システム監視部２１−２に引き継ぐ（代表ＩＰの再設定を行なう）。
【００９４】
ステップＳ７６において、ＲＡＳＴＰ子プロセス１２とシステム監視部２１−２との間の接続が切断される。
その後、ステップＳ７７において、ＲＡＳＴＰ親プロセス１１が、システム監視部２１−１に対してＲＡＳＴＰ子プロセス１２を経由して要求を行なうが、システム監視部２１−１でＸＳＣＦタイムアウトが発生しているため、この要求は異常終了する。
【００９５】
ステップＳ７８において、ステップＳ７７でＲＡＳＴＰ親プロセス１１が行なった要求がタイムアウトし、このタイムアウトから、ＲＡＳＴＰ親プロセス１１は要求の異常終了を検知する。
ステップＳ７９において、ＲＡＳＴＰ親プロセス１１は、正常終了した処理の次の処理から再開すべく、状態遷移テーブル１６（図７参照）を読み出す。
【００９６】
図１３のステップＳ８０において、ＲＡＳＴＰ親プロセス１１は、システム監視部２１に対してＥＧの再実行をコマンドラインにより要求する。
ステップＳ８１において、ＲＡＳＴＰ子プロセス１２が生成され、ＲＡＳＴＰ子プロセス１２が、システム監視部２１−１との接続をチェックする。
ステップＳ８２において、ＲＡＳＴＰ子プロセス１２は、システム監視部２１−１との接続においてコネクションエラーが発生しているかどうかを判定する。
【００９７】
コネクションエラーが発生している場合（ステップＳ８２のＹＥＳルート参照）、システム監視部２１−２へのマスタの切り替え及び代表アドレスの再設定がまだ完了していないため、処理がステップＳ８２に戻り、コネクションエラーの有無の判定が再度行なわれる。
一方、コネクションエラーが発生していない場合（ステップＳ８２のＮＯルート参照）、システム監視部２１−２へのマスタの切り替え及び代表アドレスの再設定が完了している。このため、ステップＳ８３において、ＲＡＳＴＰ子プロセス１２は、処理が正常終了しなかったＥＧの実行（ステップＳ６６参照）を再実行するために、システム監視部２１−１に対して、ＥＧコマンドをコマンドラインにより再発行する。
【００９８】
ステップＳ８４において、システム監視部２１−２がＥＧコマンドの実行を開始する。
ステップＳ８５において、システム監視部２１−２はＥＧコマンドの実行を終了し、ＥＧコマンドの実行結果をＲＡＳＴＰ子プロセス１２に通知する。
ステップＳ８６において、ＲＡＳＴＰ子プロセス１２は、ＥＧコマンドの実行結果をＲＡＳＴＰ親プロセス１１に通知し、正常終了する。
【００９９】
ステップＳ８７において、ＲＡＳＴＰ親プロセス１１は、ＥＧの再実行が正常終了した旨を状態遷移テーブル１６（図７参照）に書き込み、ＥＧの再実行を終了する。
次にステップＳ８８において、ＲＡＳＴＰ親プロセス１１が、システム監視部２１−２に対して、ＥＧ向け環境設定解除コマンドの実行をコマンドラインにより要求する。
ステップＳ８９において、ＲＡＳＴＰ子プロセス１２が生成され、ＲＡＳＴＰ子プロセス１２が、システム監視部２１−２に対して、ＥＧ向け環境設定解除コマンドの実行をコマンドラインにより要求する。
【０１００】
ステップＳ９０において、システム監視部２１−１が、ステップＳ６４で設定されたＥＧ向け環境設定を解除し、環境設定解除コマンドの実行結果をＲＡＳＴＰ子プロセス１２に通知する。ＲＡＳＴＰ子プロセス１２はその結果をＲＡＳＴＰ親プロセス１１に通知し正常終了する。
ステップＳ９１において、ＲＡＳＴＰ親プロセス１１はＥＧ処理を完了する。
【０１０１】
図１４は、実施形態の一例としてのドメイン状態監視部１９によるドメイン状態監視処理を示すフローチャート（ステップＳ１０１〜Ｓ１１１）である。
ステップＳ１０１において、ＲＡＳ評価部１１のドメイン状態監視部１９は、入力データ１３から、処理サーバ３のドメイン４０を監視するタイミング（ドメイン監視タイミング）を抽出する。
【０１０２】
ステップＳ１０２において、ドメイン状態監視部１９は、ステップＳ１０１で抽出したタイミングが「ＯＳ動作中」であるかどうかを判定する。
「ＯＳ動作中」である場合（ステップＳ１０２のＹＥＳルート参照）、ステップＳ１０３において、ドメイン状態監視部１９は、ドメイン４０のＯＳ４１のｌｏｇｉｎプロンプトを監視する。
【０１０３】
一方、「ＯＳ動作中」ではない場合（ステップＳ１０２のＮＯルート参照）、ステップＳ１０４において、ドメイン状態監視部１９は、ステップＳ１０１で抽出したタイミングが「ハード評価用ＴＰ動作中」であるかどうかを判定する。
「ハード評価用ＴＰ動作中」である場合（ステップＳ１０４のＹＥＳルート参照）、ステップＳ１０５において、ドメイン状態監視部１９は、ハード用テストプログラム（ＴＰ）の起動設定を行なう。次に、ステップＳ１０６において、ドメイン状態監視部１９は、ハード用ＴＰのプロンプトを監視する。
【０１０４】
一方、「ハード評価用ＴＰ動作中」ではない場合（ステップＳ１０４のＮＯルート参照）、ステップＳ１０７において、ドメイン状態監視部１９は、ステップＳ１０１で抽出したタイミングが「ＯＳ評価用ＴＰ動作中」であるかどうかを判定する。
「ＯＳ評価用ＴＰ動作中」である場合（ステップＳ１０７のＹＥＳルート参照）、ステップＳ１０８において、ドメイン４０のＯＳ４１のｌｏｇｉｎプロンプトを監視する。次に、ステップＳ１０９において、ドメイン状態監視部１９はＯＳ評価用テストプログラム（ＴＰ）を実行する。
【０１０５】
一方、「ＯＳ評価用ＴＰ動作中」ではない場合（ステップＳ１０７のＮＯルート参照）、ステップＳ１１０において、ドメイン状態監視部１９は、ステップＳ１０１で抽出したタイミングが「ＯＢＰ  ｏｋ？」であるかどうかを判定する。
「ＯＢＰ  ｏｋ？」ではない場合（ステップＳ１１０のＮＯルート参照）、入力データ１３のデータに異常なデータが登録されていることが疑われる。そこで、ドメイン状態監視部１９は、システム管理者に異常を通知し、処理を本終了する。
【０１０６】
一方、「ＯＢＰ  ｏｋ？」である場合（ステップＳ１１０のＹＥＳルート参照）、ドメイン状態監視部１９は、ステップＳ１１１において、ドメイン４０のＯＢＰ４４のプロンプトを監視する。
図１５は、実施形態の一例としてのＰ−ＯＦＦ処理部２０によるＰ−ＯＦＦ処理を示すフローチャート（ステップＳ１２１〜Ｓ１２７）である。
【０１０７】
ステップＳ１２１において、ＲＡＳ評価部１１のＰ−ＯＦＦ処理部２０は、入力データ１３から、エラー解除手順を抽出する。
ステップＳ１２２において、Ｐ−ＯＦＦ処理部２０は、ステップＳ１２１で抽出した解除手順が「system off -> on」であるかどうかを判定する。
「system off -> on」である場合（ステップＳ１２２のＹＥＳルート参照）、ステップＳ１２３において、Ｐ−ＯＦＦ処理部２０は、処理サーバ３の全物理パーティション（Physical Partitioning；ＰＰＡＲ）をオフにする。
【０１０８】
次に、ステップＳ１２４において、Ｐ−ＯＦＦ処理部２０は、処理サーバ３のシステム電源をオフにする。
一方、「system off -> on」ではない場合（ステップＳ１２２のＮＯルート参照）、ステップＳ１２５において、Ｐ−ＯＦＦ処理部２０は、ステップＳ１２１で抽出した解除手順が「PPAR off -> on」であるかどうかを判定する。
【０１０９】
「PPAR off -> on」である場合（ステップＳ１２５のＹＥＳルート参照）、ステップＳ１２６において、Ｐ−ＯＦＦ処理部２０は、処理サーバ３の１つのＰＰＡＲのみオフにする。
一方、「PPAR off -> on」ではない場合（ステップＳ１２５のＮＯルート参照）、ユーザ指定の処理が指定されているので、ステップＳ１２７において、Ｐ−ＯＦＦ処理部２０は、ユーザが指定したＰ−ＯＦＦスクリプトを実行する。
【０１１０】
図１６は、実施形態の一例としてのタイミング調整部１８によるＥＧツール１７の実行タイミング調整処理及びＲＡＳ評価部１１による照合処理を示すフローチャート（ステップＳ１３１〜Ｓ１４７）である。
ステップＳ１３１において、評価サーバ２においてＲＡＳ評価部（ＲＡＳＴＰ親プロセス）１１が起動される。
【０１１１】
ステップＳ１３２において、タイミング調整部１８が内部にそなえるリトライカウンタの値ｍ（不図示）をクリアする。
ステップＳ１３３において、タイミング調整部１８は、ｄｅｌａｙ値テーブル１４からｄｅｌａｙ時間を取得する。
ステップＳ１３４において、タイミング調整部１８は、ステップＳ１３３で取得したｄｅｌａｙ値分ずらしてシステム監視部２１に対してＥＧ実行をコマンドラインにより要求する。
【０１１２】
ステップＳ１３５において、ＲＡＳＴＰ子プロセス１２が生成され、ＲＡＳＴＰ子プロセス１２が、システム監視部２１に対して、ＥＧコマンドをコマンドラインにより発行する。
ステップＳ１３６において、システム監視部２１がＥＧコマンドの実行を開始する。
ステップＳ１３７において、タイミング調整部１８は、期待値テーブル１５から期待値を取得する。
【０１１３】
ステップＳ１３８において、タイミング調整部１８は、エラーログの取得を要求する。
ステップＳ１３９において、ＲＡＳＴＰ子プロセス１２が生成され、ＲＡＳＴＰ子プロセス１２が、システム監視部２１に対して、エラーログの取得を要求する。
ステップＳ１４０において、システム監視部２１は、エラーログ取得のＣＬＩを実行して、ＲＡＳＴＰ子プロセス１２を経由してエラーログをタイミング調整部１８に返す。
【０１１４】
ステップＳ１４１において、ＲＡＳＴＰ親プロセス１１は、ステップＳ１３７で読み込んだ期待値と、ステップＳ１４０で取得したエラーログの値とが一致するかどうかを判定する。詳細には、ＲＡＳＴＰ親プロセス１１は、故障状態確認のためのＣＬＩ（ｓｈｏｗｓｔａｔｕｓ）を実行する。
図１７は、実施形態の一例としてのＲＡＳ評価部１１による故障状態確認のためのＣＬＩの実行結果を例示する図である。
【０１１５】
図１７の例では、下線を付して示すように、ＣＰＵ＃０のＳｔａｔｕｓが「Ｆａｕｌｔｅｄ」と記載されている。そこで、ＲＡＳ評価部（ＲＡＳＴＰ親プロセス）１１は、ＣＰＵ＃０を期待値と照合する。
この例では、ＲＡＳＴＰ親プロセス１１は、エラーログ確認のためのＣＬＩ（ｓｈｏｗｌｏｇｓ  ｅｒｒｏｒ）を実行する。その際、ＲＡＳＴＰ親プロセス１１は、偽障を発生させた（印加した）時点の時刻をコマンドのパラメータとして指定する。
【０１１６】
図１８は、実施形態の一例としてのＲＡＳ評価部１１によるエラーログ確認のためのＣＬＩの実行結果の実行結果を例示する図である。
図１８の例では、ＲＡＳＴＰ親プロセス１１は、下線を付して示す箇所、すなわち、Ａ．エラーステータス、Ｂ．被疑ユニット、及びＣ．エラーメッセージについて、ステップＳ１３７で読み込んだ期待値と比較し、期待されるＲＡＳ機能が正常に動作することを確認する。
【０１１７】
両者が一致する場合（ステップＳ１４１のＹＥＳルート参照）、ステップＳ１４２において、ステップＳ１４０で取得したエラーログに基づいてエラーステータスの取得及び照合を行ない、本処理を終了する。
ここで、ＲＡＳＴＰ親プロセス１１は、例えば、ＳＮＭＰトラップログを確認する。
その際、例えば、ＲＡＳＴＰ親プロセス１１は、偽障発生後の評価サーバ２上のＳＮＭＰトラップのログから偽障発生時刻とトラップ送信元ＩＰアドレスとをキーとしてデータを抽出する。
【０１１８】
図１９は、実施形態の一例としての情報処理システム１におけるＳＮＭＰトラップログを例示する図である。
図１９の例では、ＲＡＳＴＰ親プロセス１１は、下線を付して示す箇所、すなわち、Ａ．被疑部品構成情報、Ｂ．故障レベル、及びＣ．被疑ユニット情報について、ステップＳ１３７で読み込んだ期待値と比較し、期待されるＲＡＳ機能が正常に動作することを確認する。
【０１１９】
一方、両者が一致しない場合（ステップＳ１４１のＮＯルート参照）、ステップＳ１４３において、システム監視部２１は、タイムアウトが発生しているかどうかを判定する。
タイムアウトが発生していない場合（ステップＳ１４３のＮＯルート参照）、処理がステップＳ１３８に戻り、システム監視部２１は、エラーログの取得を再度実行し、以降の処理を繰り返す。
【０１２０】
一方、タイムアウトが発生している場合（ステップＳ１４３のＹＥＳルート参照）、ステップＳ１４４において、システム監視部２１は、リトライカウンタの値ｍが、リトライ閾値（例えば３）を超えているかどうかを判定する。
リトライカウンタの値ｍがリトライ閾値を超えている場合（ステップＳ１４４のＹＥＳルート参照）、ステップＳ１４７において、システム監視部２１は、システム管理者に異常が発生している旨を通知し、ＲＡＳ評価を異常終了する。
【０１２１】
一方、リトライカウンタの値ｍがリトライ閾値を超えていない場合（ステップＳ１４４のＮＯルート参照）、ステップＳ１４５において、システム監視部２１は、リトライカウンタの値ｍを１インクリメントする。
次に、ステップＳ１４６において、システム監視部２１のタイミング調整部１８が、偽障の発生確率を上げるために、ｄｅｌａｙ時間をリトライカウンタの値ｍ分増加させる。ここで、システム監視部２１は、例えば、下記式に示す例のように、リトライカウンタの値ｍに基づいてｄｅｌａｙ時間を算出する。
【０１２２】
ｄｅｌａｙ時間＝ｄｅｌａｙ時間×２ｍ
次に、システム監視部２１は、ステップＳ１３４に戻り、ステップＳ１４６で算出したｄｅｌａｙ時間待機してからＥＧの実行を要求し、以降の処理を繰り返す。この際、システム監視部２１は、ステップＳ１４６でｄｅｌａｙ時間を変更したので、タイミングが難しい偽障であっても、前回ＥＧを実行したときよりも、偽障の発生確率が上がることが期待される。これにより、システム監視部２１は、一定時間内に効率良くＲＡＳ評価を行なうことができるようになる。
（Ｃ）作用・効果
本実施形態の一例においては、スレーブ処理サーバ（ＢＢ）３−２のマスタＸＳＣＦ異常検出部２２が、マスタ処理サーバ（ＢＢ）３−１の異常を検出すると、マスタＸＳＣＦ切り替え部２３が、マスタシステム監視部２１を自システム監視部２１に切り替える。そして、代表ＩＰアドレス再設定部２４が、マスタシステム監視部２１に設定されていた代表ＩＰアドレスを自システム監視部２１に引き継ぐ（代表ＩＰの再設定を行なう）。
【０１２３】
これにより、マスタシステム監視部２１が想定外に異常終了した場合であっても、情報処理システム１においてＲＡＳ評価を継続することができ、ＲＡＳ評価効率を向上させることができる。
又、評価サーバ２のＲＡＳ評価部１１は、コマンド毎にセッションを分離して、システム監視部２１からの応答を早くＲＡＳ評価部１１へ返すと共に、セッション毎の処理の結果を状態遷移テーブル１６に記録する。このため、マスタシステム監視部２１−１で異常が発生し、処理が停止しても、ＲＡＳ評価を再開することができる。したがって、システム管理者は、システム監視部２１に異常が発生したタイミングを即時に知ることができ、従来は不可能であったＸＳＣＦの異常終了を含むＲＡＳ評価の継続も可能となる。さらに、従来は不可能であった処理サーバ３のファームウェアの異常終了時のＲＡＳ評価を行なうことも可能となる。これにより、ＲＡＳ評価効率の向上を図ることができる。
【０１２４】
又、ＲＡＳ評価部１１のタイミング調整部１８が、ＲＡＳ評価部１１の起動時に評価サーバ２と処理サーバ３との時刻合わせを行なう。これにより、ＲＡＳ評価部１１が、ＥＧツール１７による偽障発生以降のログのみを照合の対象とすることができる。このため、偽障発生後の期待値照合時間が軽減できると共に、ＥＧツールの１７の実行前に既に登録されていたログを、誤って照合対象に含めてしまう誤判断を阻止することができる。
【０１２５】
さらに、タイミング調整部１８は、ＲＡＳ評価部１１による評価時に、ｄｅｌａｙ時間待機してからＥＧツール１７を実行させる。これにより、処理サーバ３における発生させるのが困難な偽障の発生確率を向上させ、ＲＡＳ自動検証のカバレッジ率を向上させることができる。
このように、本情報処理システム１においては、ＲＡＳ評価に要する工数を削減することができると共に、大規模な情報処理システム１におけるＲＡＳ評価の効率化を図ることができる。
（Ｄ）その他
なお、上述した実施形態に関わらず、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
【０１２６】
例えば、上記の実施形態の一例においては、ＲＡＳ評価試験専用のサーバとして実際の業務には使用されない評価サーバ２を使用しているが、ファイルサーバなどの通常業務に使用するサーバを評価サーバ２と兼用させてもよい。
又、上記の実施形態の一例においては、タイミング調整部１８が、偽障発生をリトライする際に、偽障の発生確率を上げるために、上記式に従ってリトライカウンタの値ｍをｄｅｌａｙ時間の算出に使用した。しかし、タイミング調整部１８が、ｄｅｌａｙ時間の算出に別の計算式を使用してもよい。
【０１２７】
なお、上記実施形態の一例においては、評価サーバ２の不図示のＣＰＵが、プログラムを実行することにより、上述した評価サーバ２のＲＡＳ評価部１１、ＥＧツール１７、タイミング調整部１８、ドメイン状態監視部１９、及びＰ−ＯＦＦ処理部２０として機能するようになっている。
なお、上述した評価サーバ２のＲＡＳ評価部１１、ＥＧツール１７、タイミング調整部１８、ドメイン状態監視部１９、及びＰ−ＯＦＦ処理部２０としての機能を実現するためのプログラムは、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ  ＤＶＤ等），ブルーレイディスク，磁気ディスク，光ディスク，光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体から、不図示の媒体リーダーを用いてプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
【０１２８】
上述した評価サーバ２のＲＡＳ評価部１１、ＥＧツール１７、タイミング調整部１８、ドメイン状態監視部１９、及びＰ−ＯＦＦ処理部２０としての機能を実現する際には、内部記憶装置（本実施形態では評価サーバ２の不図示のメモリ）に格納されたプログラムがコンピュータのマイクロプロセッサ（本実施形態では評価サーバ２の不図示のＣＰＵ）によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。
【０１２９】
図２の処理サーバ３のシステム監視部２１のマスタＸＳＣＦ異常検出部２２、マスタＸＳＣＦ切り替え部２３、代表ＩＰアドレス再設定部２４、ＣＬＩ部２５、ログ収集部２６、ログ解析部２７、エラーマーク部２８、リアクション部２９、及びＳＮＭＰエージェント３０はファームウェアとして実施されるが、これらはソフトウェアにより実施されてもよい。
【０１３０】
その場合、処理サーバ３の不図示のＣＰＵが、プログラムを実行することにより、上述した処理サーバ３のマスタＸＳＣＦ異常検出部２２、マスタＸＳＣＦ切り替え部２３、代表ＩＰアドレス再設定部２４、ＣＬＩ部２５、ログ収集部２６、ログ解析部２７、エラーマーク部２８、リアクション部２９、及びＳＮＭＰエージェント３０として機能するようになっている。
【０１３１】
なお、上述した処理サーバ３のマスタＸＳＣＦ異常検出部２２、マスタＸＳＣＦ切り替え部２３、代表ＩＰアドレス再設定部２４、ＣＬＩ部２５、ログ収集部２６、ログ解析部２７、エラーマーク部２８、リアクション部２９、及びＳＮＭＰエージェント３０としての機能を実現するためのプログラムは、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ  ＤＶＤ等）、ブルーレイディスク，磁気ディスク，光ディスク，光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体から、不図示の媒体リーダーを用いてプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
【０１３２】
上述した処理サーバ３のマスタＸＳＣＦ異常検出部２２、マスタＸＳＣＦ切り替え部２３、代表ＩＰアドレス再設定部２４、ＣＬＩ部２５、ログ収集部２６、ログ解析部２７、エラーマーク部２８、リアクション部２９、及びＳＮＭＰエージェント３０としての機能を実現する際には、内部記憶装置（本実施形態では処理サーバ３の不図示のメモリ）に格納されたプログラムがコンピュータのマイクロプロセッサ（本実施形態では処理サーバ３のＣＰＵ５１）によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。
（Ｅ）付記
以上の実施形態に関し、更に以下の付記を開示する。
【０１３３】
（付記１）
情報処理システムであって、
代表アドレスが設定されている第１の情報処理装置と、
第２の情報処理装置と、
ネットワークを介して前記第１の情報処理装置及び前記第２の情報処理装置に接続され、前記代表アドレスを使用して前記第１の情報処理装置及び前記第２の情報処理装置の信頼性評価を行なう試験装置と、
をそなえ、
前記第２の情報処理装置は、
前記第１の情報処理装置の異常を検出する異常検出部と、
前記異常検出部によって前記第１の情報処理装置の異常が検出された場合に、前記第１の情報処理装置に設定されている前記代表アドレスを前記第２の情報処理装置に設定する代表アドレス再設定部と、
をそなえ、
前記試験装置は、
前記第１の情報処理装置及び前記第２の情報処理装置に擬似エラーを発生させる偽障発生部と、
前記偽障発生部が発生させた前記擬似エラーに対して前記第１の情報処理装置から返される応答に基づいて、前記第１の情報処理装置及び前記第２の情報処理装置の信頼性評価を行なう信頼性評価部と、
をそなえることを特徴とする情報処理システム。
【０１３４】
（付記２）
前記第２の情報処理装置は、
前記代表アドレス再設定部によって前記代表アドレスを引き継いだ後に、前記擬似エラーに対する応答を前記試験装置の前記偽障発生部に返す
ことを特徴とする付記１記載の情報処理システム。
【０１３５】
（付記３）
前記試験装置は、
前記偽障発生部による擬似エラー発生試行のタイミングを調整することにより、前記第１の情報処理装置及び前記第２の情報処理装置において前記擬似エラーの発生頻度を向上させるタイミング調整部
をそなえることを特徴とする付記１又は２記載の情報処理システム。
【０１３６】
（付記４）
情報処理装置に対して擬似エラーを発生させることにより、前記報処理装置の信頼性評価を行なう試験装置にネットワークを介して接続されている情報処理装置であって、
代表アドレスが設定されている別の情報処理装置の異常を検出する異常検出部と、
前記異常検出部によって前記別の情報処理装置の異常が検出された場合に、前記別の情報処理装置に設定されている前記代表アドレスを前記情報処理装置に設定する代表アドレス再設定部と、
前記代表アドレス再設定部によって前記代表アドレスを引き継いだ後に、前記擬似エラーに対する応答を試験装置に返す監視部と、
をそなえることを特徴とする情報処理装置。
【０１３７】
（付記５）
ネットワークを介して情報処理装置に接続され、前記情報処理装置の信頼性評価を行なう試験装置であって、
前記情報処理装置に擬似エラーを発生させる偽障発生部と、
前記偽障発生部が発生させた前記擬似エラーに対して前記情報処理装置から返される応答に基づいて、前記情報処理装置の信頼性評価を行なう信頼性評価部と、
をそなえることを特徴とする試験装置。
【０１３８】
（付記６）
前記偽障発生部による擬似エラー発生試行のタイミングを調整することにより、前記情報処理装置において前記擬似エラーの発生頻度を向上させるタイミング調整部
をさらにそなえることを特徴とする付記５記載の試験装置。
（付記７）
代表アドレスが設定されている第１の情報処理装置と、第２の情報処理装置との試験方法であって、
前記第１の情報処理装置及び前記第２の情報処理装置に擬似エラーを発生させ、
前記擬似エラーに対して前記第１の情報処理装置から返される応答に基づいて、前記第１の情報処理装置及び前記第２の情報処理装置の信頼性評価を行なう
ことを特徴とする試験方法。
【０１３９】
（付記８）
前記第２の情報処理装置によって前記第１の情報処理装置の異常を検出し、
前記第１の情報処理装置の異常が検出された場合に、前記第１の情報処理装置に設定されている前記代表アドレスを前記第２の情報処理装置に設定する
ことを特徴とする付記７記載の試験方法。
【０１４０】
（付記９）
前記擬似エラー発生のタイミングを調整することにより、前記第１の情報処理装置及び前記第２の情報処理装置において前記擬似エラーの発生頻度を向上させる
ことを特徴とする付記７又は８記載の試験方法。
【符号の説明】
【０１４１】
１                        ＲＡＳ評価システム
２                        評価サーバ（試験装置）
３，３−１，３−２        処理サーバ（情報処理装置）
４                        管理サーバ
６                        ＬＡＮ（ネットワーク）
２１，２１−１，２１−１  システム監視部
１１                      ＲＡＳ評価部（信頼性評価部）
１２                      ＲＡＳＴＰ子プロセス
１３                      入力データ
１４                      ｄｅｌａｙ値テーブル
１５                      期待値テーブル
１６                      状態遷移テーブル（ログ）
１７                      ＥＧツール（偽障発生部）
１８                      タイミング調整部
１９                      ドメイン状態監視部
２０                      Ｐ−ＯＦＦ処理部
２１−１                  マスタシステム監視部
２１−２                  スレーブシステム監視部
２２                      マスタＸＳＣＦ異常検出部（異常検出部）
２３                      マスタＸＳＣＦ切り替え部
２４                      代表ＩＰアドレス再設定部（代表アドレス再設定部）
４０                      ドメイン
【図１】
2015176430.tif 000003
【図２】
2015176430.tif 000004
【図３】
2015176430.tif 000005
【図４】
2015176430.tif 000006
【図５】
2015176430.tif 000007
【図６】
2015176430.tif 000008
【図７】
2015176430.tif 000009
【図８】
2015176430.tif 000010
【図９】
2015176430.tif 000011
【図１０】
2015176430.tif 000012
【図１１】
2015176430.tif 000013
【図１２】
2015176430.tif 000014
【図１３】
2015176430.tif 000015
【図１４】
2015176430.tif 000016
【図１５】
2015176430.tif 000017
【図１６】
2015176430.tif 000018
【図１７】
2015176430.tif 000019
【図１８】
2015176430.tif 000020
【図１９】
2015176430.tif 000021