"相互に通信可能な複数の制御モジュールを含む情報処理装置であって、各制御モジュールは、他の各制御モジュールとの間の通信において発生したエラーの状況を反映した状況情報を、通信先の制御モジュール及び/又は自制御モジュールそれぞれについて記憶するメモリを有し、前記複数の制御モジュールのうち、ある制御モジュールに障害が発生しているか否かを判定する際に、判定対象制御モジュールとは異なる制御モジュールが、当該判定対象制御モジュールとは異なる2以上の制御モジュールのメモリ上に記憶されている当該判定対象制御モジュールの状況情報に基づいて、当該判定対象制御モジュールに障害が発生しているか否かを判定することを特徴とする情報処理装置。前記複数の制御モジュールは、マスター制御モジュールとして動作するマスターモジュールと、次期マスター制御モジュールとして動作する次期マスターモジュールと、それぞれ、スレーブ制御モジュールとして動作する複数のスレーブモジュールとを含み、前記マスターモジュールに障害が発生しているか否かを判定する際に、次期マスターモジュールが、自モジュール内のメモリ上の前記マスターモジュールの状況情報と前記スレーブモジュールから通知された前記マスターモジュールの状況情報とに基づいて、前記マスターモジュールに障害が発生しているか否かを判定することを特徴とする請求項1記載の情報処理装置。前記マスターモジュールは、他の各制御モジュールとの間の通信において発生したエラーの種類に基づき、自モジュール内の前記メモリ上の、通信先の制御モジュールについての状況情報及び/又は自モジュールについての状況情報を更新する第1更新処理と、次期マスターモジュール及び各スレーブモジュールから送信されてくる各制御モジュールについての状況情報の値を、自モジュール内の前記メモリ上の、各制御モジュールについての状況情報の値に加算する第1更新処理と、自モジュール内のメモリ上の状況情報に基づいて、スレーブモジュール又は次期マスターモジュールに障害が発生したか否かを判定する第1判定処理と、を行い、各スレーブモジュールは、前記第1更新処理と、自モジュール内のメモリ上のいずれかのスレーブモジュール又は次期マスターモジュールの状況情報の値が、前記第1所定値よりも小さな第2所定値以上となった場合に、当該メモリ上の各制御モジュールの状況情報を前記マスターモジュールに送信し、当該メモリ上の前記マスターモジュールについての状況情報の値が前記第2所定値以上となった場合に、当該メモリ上の前記マスターモジュールについての状況情報を前記次期マスターモジュールに送信する第1送信処理と、を行い、次期マスターモジュールは、前記第1更新処理と、自モジュール内のメモリ上のいずれかのスレーブモジュール又は自モジュールの状況情報の値が前記第2所定値以上となった場合に、当該メモリ上の各制御モジュールの状況情報の値を前記マスターモジュールに送信する第2送信処理と、各スレーブモジュールから通知された前記マスターモジュールの状況情報の値を自モジュール内のメモリ上の前記マスターモジュールの状況情報の値に加算する第2更新処理と、自モジュール内の前記メモリ上の前記マスターモジュールの状況情報の値が第3所定値以上となった場合に、前記マスターモジュールに障害が発生したと判定する第2判定処理と、を行うことを特徴とする請求項2記載の情報処理装置。各制御モジュールは、前記複数の制御モジュールの識別情報及び動作状況に基づき、自モジュールが、前記マスターモジュール、前記次期マスターモジュール、前記スレーブモジュールのいずれであるかを把握し、把握したモジュールとして動作することを特徴とする請求項3に記載の情報処理装置。前記第2判定処理が、自モジュール内の前記前記メモリ上の前記マスターモジュールについての状況情報の値が前記第3所定値以上となった場合、前記マスターモジュールとの間の通信を試み、当該通信に成功し、且つ、所定期間内における当該通信の成功回数が所定回数未満であった場合には、前記マスターモジュールに障害が発生していない判定し、当該通信に失敗した場合と、所定期間内における当該通信の成功回数が所定回数以上となった場合とには、前記マスターモジュールに障害が発生したと判定する処理であることを特徴とする請求項3又は4に記載の情報処理装置。前記次期マスターモジュールは、さらに、前記マスターモジュールについての状況情報の受信回数をスレーブモジュール別に計数して管理する計数管理処理を、行い、前記第2判定処理が、自モジュール内の前記前記メモリ上の前記マスターモジュールについての状況情報の値が第3所定値以上となった場合、前記計数管理処理により管理されている複数のスレーブモジュールについての受信回数が1以上となっているか否かを判断し、複数のスレーブモジュールについての受信回数が1以上となっていた場合に限り、前記マスターモジュールに障害が発生したと判定する処理であることを特徴とする請求項3又は4に記載の情報処理装置。相互に通信可能な複数の制御モジュールの動作状態を監視する動作状態監視方法であって、各制御モジュールは、他の各制御モジュールとの間の通信において発生したエラーの状況を反映した状況情報を、通信先の制御モジュール及び/又は自制御モジュールそれぞれについて記憶するメモリを有し、前記複数の制御モジュールのうち、ある制御モジュールに障害が発生しているか否かを判定する際に、判定対象制御モジュールとは異なる制御モジュールが、当該判定対象制御モジュールとは異なる2以上の制御モジュールのメモリ上に記憶されている当該判定対象制御モジュールの状況情報に基づいて、当該判定対象制御モジュールに障害が発生しているか否かを判定することを特徴とする動作状態監視方法。上記した従来装置は、特定の制御モジュール以下、マスター制御モジュールと表記するが故障したか否かを、マスター制御モジュールとの間の通信に失敗した制御モジュール以下、送信元モジュールと表記するが、単独で判定する装置となっている。すなわち、従来装置は、マスター制御モジュールとの通信に失敗した原因が送信元モジュール側の故障であっても、当該故障を送信元モジュールが認識できない場合には、マスター制御モジュールが故障していると誤判定されて切り離される装置となっている。そこで、1つの側面では、本発明は、相互に通信可能な複数の制御モジュールの状態をより正確に判定することを目的とする。開示の技術の一態様の情報処理装置は、相互に通信可能な複数の制御モジュールを含む情報処理装置であって、各制御モジュールは、他の各制御モジュールとの間の通信において発生したエラーの状況を反映した状況情報を、通信先の制御モジュール及び/又は自制御モジュールそれぞれについて記憶するメモリを有し、前記複数の制御モジュールのうち、ある制御モジュールに障害が発生しているか否かを判定する際に、判定対象制御モジュールとは異なる制御モジュールが、当該判定対象制御モジュールとは異なる2以上の制御モジュールのメモリ上に記憶されている当該判定対象制御モジュールの状況情報に基づいて、当該判定対象制御モジュールに障害が発生しているか否かを判定する。また、開示の技術の一態様の動作状態監視方法は、相互に通信可能な複数の制御モジュールの動作状態を監視する動作状態監視方法であって、各制御モジュールは、他の各制御モジュールとの間の通信において発生したエラーの状況を反映した状況情報を、通信先の制御モジュール及び/又は自制御モジュールそれぞれについて記憶するメモリを有し、前記複数の制御モジュールのうち、ある制御モジュールに障害が発生しているか否かを判定する際に、判定対象制御モジュールとは異なる制御モジュールが、当該判定対象制御モジュールとは異なる2以上の制御モジュールのメモリ上に記憶されている当該判定対象制御モジュールの状況情報に基づいて、当該判定対象制御モジュールに障害が発生しているか否かを判定する。1実施形態によれば、相互に通信可能な複数の制御モジュールの状態をより正確に判定することができる。以下、本発明の実施形態について、図面を参照して詳細に説明する。尚、以下で説明する第1、第2実施形態は、本発明の一例に過ぎず、本発明は、各実施形態とは具体的な構成/手順が異なる形でも実現することができるものである。《第1実施形態》まず、図1及び図2を用いて、第1実施形態に係る情報処理装置10の使用形態、ハードウェア構成及び基本的な動作機能を説明する。尚、図1は、情報処理装置10を用いることにより構築できるストレージシステムの構成例の説明図である。また、図2は、情報処理装置10が備える各CMControllerModule;制御モジュール11の概略構成図である。本実施形態に係る情報処理装置10は、図1に示したようなストレージシステムを構築するための装置である。このストレージシステム内の各DEDriveEnclosure16は、ドライブハードディスクドライブ又はソリッドステートドライブを規定台数まで装着可能な本体ユニットに、複数台規定台数以下のドライブを装着したユニットである。各EXPエクスパンダ15は、CM11DE16間を接続するための多ポートスイッチ本実施形態では、SASエクスパンダである。ストレージシステムの構築時、情報処理装置10と複数のDE16との間には、通常、情報処理装置10内の各CM11を、任意の全てのDE16に接続できる数及び仕様ポート数のEXP15が設けられる。情報処理装置10は、ストレージシステム内複数のEXP15を介して自身と接続されている複数のDE16内の全ドライブを、複数のRAIDRedundantArrayofIndependentDisksとして機能させる装置である。図1に示してあるように、情報処理装置10は、8個のCM11と4個のFRTFrontendRouter12とを備えている。尚、図1には、8個のCM11が示してあるが、本情報処理装置10は、各CM11を着脱可能な、8個よりも少ない数のCM11のみを装着した形で運用することも出来る装置である。以下、情報処理装置10内の各CM11のことを、CMnn=0~7とも表記する。また、情報処理装置10内の各FRT12のことを、FRTmm=0~3とも表記する。情報処理装置10内の各CM11は、各RAID任意のRAIDに対するリード/ライト要求をホスト図示略から受信し、受信したリード/ライト要求に応じた内容のリード/ライトアクセスを各RAIDに対して行うモジュールである。尚、各CM11が受信するリード/ライト要求は、正確には、或るRAIDに対するリード/ライト要求ではなく、いずれかのRAIDに割り当てられている或る論理ボリュームに対するリード/ライト要求である。図2に示してあるように、CM11は、4個のDMADirectMemoryAccessポート図2では、DMA21、4個のCAChannelAdapter22及び4個のIOCInputOutputController23を備えている。また、CM11は、2個のCPUCentralProcessingUnit24、メモリコントローラ25及びメモリ26を備えている。さらに、CM11は、IPLInitialProgramLoader等を記憶したROMReadOnlyMemory;図示略、キャッシュメモリ図示略も備えている。各CA22は、ホストと通信を行うためのインタフェースユニットである。CM11の実現時、CA22としては、FCFibreChannel、iSCSI、SAS等のプロトコルで通信を行うものが使用される。また、ストレージシステムを利用するホストとしては、通常、ストレージシステム情報処理装置10と通信を行うためのインタフェースアダプタを複数個備えたものが使用される。そして、各ホストの各インタフェースアダプタが異なるCM11と通信可能なように、各CM11内の各CA22と各サーバとの間が、直接又はスイッチFCスイッチ、LANLocalAreaNetworkスイッチ、SASスイッチを介して接続される。IOC23は、DE16用のインタフェースコントローラ本実施形態では、SASコントローラである。CM11内の各IOC23は、通常、図1に示してあるように、複数個本実施形態では、8個のEXP15を介して全てのDE15と接続される。DMAポート21図2は、CM11間の通信用のインタフェースユニットである。CM11内の各DMAポート21は、多ポートスイッチであるFRT12FRT0~FRT3のいずれかに接続されている。以下、FRTmm=0~3と接続されているDMAポート21のことを、DMAポートmとも表記する。尚、本情報処理装置10は、或るCM11が故障した際、当該CM11が他の部分から切り離され当該CM11の使用が中止され、当該CM11が行っていた処理を他CM11が引き継ぐ装置となっている。換言すれば、情報処理装置10は、各CM11各CM11内のCPU24が、他CM11に自身が行っている処理の内容に関する情報を比較的に頻繁に通知する装置となっており、当該情報の通知に各DMAポート21が利用される。また、各CM11は、通信を試みることによって他の各CM11の状態が正常であるか否かをチェックする処理を、定期的に行うようにも構成プログラミングされている。この処理にも各DMAポート21が利用される。メモリ26は、ROM上のIPLに従ってCPU24がシステムディスクから読み出すプログラムの記憶領域、当該プログラムの作業領域、状況値テーブル28の記憶領域詳細は後述等として使用されるDRAMDynamicRandomAccessMemoryである。尚、システムディスクとは、CPU24がメモリ26上に読み出して実行するプログラムを記憶した、ストレージシステム内の特定のRAIDのことである。メモリコントローラ25は、メモリ26の制御や、CM11内の各ユニット間メモリ26とDMAポート21との間等の接続制御を行うユニットである。以下、本実施形態に係る情報処理装置10の動作機能を具体的に説明する。尚、本実施形態に係る情報処理装置10は、マスターCM詳細は後述が故障したか否かの判定手順に特に特徴があるものとなっている。そのため、以下では、当該判定手順に関連する動作を中心に、情報処理装置10の動作を説明する。情報処理装置10内の各CM11は、起動されると、図3に示した手順のマスターCM特定処理を実行する。すなわち、起動されたため、このマスターCM特定処理を開始したCM11は、まず、全CM11の名称識別情報を各CM11の優先順位順に並べたリストであるCMリストを作成するステップS101。ここで、全CM11の名称を各CM11の優先順位順に並べたリストつまり、CMリストとは、全CM11の名称を、優先順位がより高いCM11の名称の方がより先頭側に位置するように並べたリストのことである。また、各CM11の優先順位とは、主としてマスターCM及び次期マスターCMを決定できるようにすることを目的として各CM11に予め割り当てられている優先順位のことである。CMリストの作成を終えたCM11は、作成したCMリストから、最も先頭側の,未処理の名称まだ読み出していない名称を読み出すステップS102。次いで、CM11は、読み出した名称を有するCM11の状態をDMAポート21を利用した通信によりチェックするステップS103。そして、CM11は、チェックしたCM11の状態が異常オフライン等であった場合ステップS103;異常には、当該CM11の名称をCMリストから削除ステップS104してから、ステップS105の処理判断を実行する。また、CM11は、チェックしたCM11の状態が正常であった場合ステップS103;正常には、ステップS104の処理を行うことなく、ステップS105の処理を実行する。ステップS105にて、CM11は、CMリスト上の全名称に対する処理が完了した今回、処理した名称が、CMリストの末尾の名称であるか否かを判断する。そして、CM11は、CMリスト上の全名称に対する処理が完了していなかった場合ステップS105;NOには、ステップS102以降の処理を再び実行する。CM11は、CMリスト上の全名称に対する処理が完了した場合ステップS105;YESには、その時点におけるCMリストの先頭の名称を有するCM11が、マスターCMであることを記憶するステップS106。そして、CM11は、このマスターCM特定処理図3の処理を終了する。マスターCM特定処理を終えた各CM11は、自身がマスターCMであった場合には、マスターCMとしての動作を開始し、自身がマスターCMではなかった場合には、スレーブCMとしての動作を開始する。以下、スレーブCMとして動作しているスレーブCMとしての動作を開始している各CM11のことを、スレーブCMと表記し、マスターCMとして動作しているCM11のことを、マスターCMと表記する。既に説明したように、情報処理装置10内の各CM11マスターCM又はスレーブCMは、DMAポート21を利用して他CM11に自身が行っている処理の内容に関する情報を比較的に頻繁に通知する。また、各CM11は、DMAポート21を利用して他の各CM11に対する通信が可能であるか否かをチェックする処理も定期的に行う。スレーブCMは、そのような通信時に通信エラーが発生した場合、図4に示した手順のスレーブCM用エラー処理を実行する。すなわち、他CM11との通信時に通信エラーが発生した場合、スレーブCMは、まず、状況値テーブル28上の、発生エラーの種類に応じた各被疑部品故障した可能性がある部品の状況値に、発生エラーに応じた値を加算するステップS201。ここで、状況値テーブル28とは、各CM11に関する状況値と、各CM11内の各DMAポート21に関する状況値とを記憶できるテーブルのことである。また、或る部品CM11、DMAポート21に関する状況値とは、エラーが発生している状況を示す値であり、発生したエラーの種別に対応して予め定められた点数の加算値である。この状況値は、個々のCM11によって管理される。また、この状況値によって、当該部品が故障している蓋然性確実性の度合:状況値/しきい値を求めることができる。なお、状況値テーブルの状況値の初期値は0であり、エラーが発生した場合に値が更新される。また、情報処理装置10の電源のOFFONやCM11の再起動でも、状況値は0に初期化される。以下、図5及び図6を用いて、ステップS201の処理の内容をさらに具体的に説明する。各CM11スレーブCM/マスターCMは、自CM11内のメモリ26上の特定の記憶領域を、図5に示したような形で状況値テーブル28として使用する。尚、この図5において、CMnn=0~7と記されている1バイト分の記憶領域が、CMnの状況値が記憶される領域である。また、CMnDMAmn=0~7、m=0~3と記されている1バイト分の記憶領域が、CMn内のDMAポートmの状況値が記憶される領域である。また、各CM11は、発生エラー他CM11との通信時に発生した通信エラーが、以下の5種類のエラーのいずれであるかを判別する機能を有している。CMタイムアウトCM間:2CM11間の通信タイムアウトCMタイムアウトCPU間:同一CM11内の2CPU24間の通信タイムアウト通信異常自系側:通信タイムアウト以外の、自CM11側に問題があることが明らかな通信異常通信異常対向側:通信タイムアウト以外の、他CM11通信相手側に問題があることが明らかな通信異常通信異常被疑箇所不明:通信タイムアウト以外の、自CM11側、他CM11側のいずれに問題があるかが不明な通信異常さらに、各CM11は、図6に示したような内容の加点情報、すなわち、各部品の状況値に加えるべき値点数を発生エラーの種類別に既定する加点情報を、保持している。そして、ステップS201の処理は、この加点情報に基づき、状況値テーブル28上の、発生エラーの種類に応じた各被疑部品の状況値に、発生エラーに応じた値加点情報中の点数を加算する処理となっている。尚、図6に示した加点情報において、点数が0となっている対応部品の状況値には、0を加算しても、0を加算しなくても良い。図4に戻って、スレーブCM用エラー処理の説明を続ける。ステップS201の処理を終えたスレーブCMは、自身が、マスターCMの状態判定や切り離しを行う状態判定CMとして動作しているか否かを判断するステップS202。詳細については後述するが、状態判定CMとして動作することがあるスレーブCMは、特定のスレーブCM後述する次期マスターCMだけである。また、当該特定のスレーブCM次期マスターCMは、特定の状況になった場合にのみ、状態判定CMとして動作する。従って、スレーブCMは、通常、ステップS202の処理判断後に、ステップS205の処理を実行する。ステップS205にて、スレーブCMは、ステップS201の処理で値を更新した各状況値について、状況値が転送しきい値を超えたか否かをチェックする。ここで、転送しきい値とは、加点情報図6中の大部分の点数よりも大きな値通常、加点情報中の点数の最大値の2、3倍の値となるように、予め定められる値のことである。このステップS205の処理は、情報処理装置10内の正常なCM11の数以下、CM数と表記するによって転送しきい値を変える処理となっている。具体的には、ステップS204の処理は、CM数≧4が成立している場合には、転送しきい値=48であるとして行われ、CM数≧4が成立していない場合には、転送しきい値=32であるとして行われる処理となっている。ステップS205の処理を終えたスレーブCMは、状況値が転送しきい値を超えている部品以下、転送しきい値超え部品と表記するが存在していなかった場合ステップS206;NOには、このスレーブCM用エラー処理図4の処理を終了する。一方、1個以上の転送しきい値超え部品が存在していた場合ステップS206;YES、スレーブCMは、マスターCMが転送しきい値超え部品であるいずれかの転送しきい値超え部品がマスターCMであるか否かを判断するステップS207。マスターCMが転送しきい値超え部品ではなかった場合ステップS207;NO、スレーブCMは、ステップS208にて、状況値テーブル28状況値テーブル28上の全状況値をマスターCMに転送する。その後、スレーブCMは、状況値テーブル28をクリアする処理と、テーブルクリア時刻を、現在時刻規定時間例えば1分に更新する処理とを行う。ここで、状況値テーブル28をクリアするとは、状況値テーブル28上の各状況値を0に書き換えるということである。また、テーブルクリア時刻とは、その時刻になったときに、スレーブCMが状況値テーブル28をクリアする時刻のことである。スレーブCMは、ステップS208にて上記処理を行ってから、スレーブCM用エラー処理を終了する。スレーブCM用エラー処理の残りの各ステップの内容を説明する前に、ここで、マスターCMの動作を説明しておくことにする。マスターCMは、他CM11との通信時に通信エラーが発生した場合、図7に示した手順のマスターCM用エラー処理を実行する。すなわち、他CM11との通信時に通信エラーが発生した場合、マスターCMは、まず、自身のメモリ26上の状況値テーブル28上の、発生エラーの種類に応じた各被疑部品の状況値に発生エラーに応じた値を加算する処理ステップS301を行う。この処理は、図5や図6を用いて説明したステップS201の処理と同内容の処理である。次いで、マスターCMは、状況値テーブル28上の各状況値について、状況値が切り離ししきい値を超えているか否かをチェックするステップS302。ここで、切り離ししきい値とは、上記した転送しきい値本実施形態では、32又は48よりも大きな値通常、転送しきい値の数倍の値;例えば、128となるように、予め定められる値のことである。ステップS302の処理を終えたマスターCMは、状況値が切り離ししきい値を超えている部品以下、切り離ししきい値超え部品と表記するが存在しているか否かを判断するステップS303。そして、マスターCMは、切り離ししきい値超え部品が存在していなかった場合ステップS303;NOには、このマスターCM用エラー処理を終了する。一方、1個以上の切り離ししきい値超え部品が存在していた場合ステップS303;YES、マスターCMは、自身が切り離ししきい値超え部品であるいずれかの切り離ししきい値超え部品が自CM11であるか否かを判断するステップS304。自身が切り離ししきい値超え部品ではなかった場合ステップS304;NO、マスターCMは、ステップS305にて、各切り離ししきい値超え部品を他の部分から切り離すための処理を行う。具体的には、マスターCMは、このステップS305にて、各CM11各CM11内のプログラムの状態を、各切り離ししきい値超え部品を利用しない状態に移行させる処理や、切り離したCM11をホストに通知する処理等を行う。そして、ステップS305の処理を終えたマスターCMは、このマスターCM用エラー処理を終了する。一方、自身が切り離ししきい値超え部品であった場合ステップS304;YES、マスターCMは、自身を他の部分から切り離すことなく、このマスターCM用エラー処理を終了する。また、既に説明したように図4参照、スレーブCMは、所定条件が満たされた場合、マスターCMに状況値テーブル28を転送する。スレーブCMからの状況値テーブル28を受信した場合、マスターCMは、図8に示した手順のテーブル受信時用処理を実行する。すなわち、状況値テーブル28を受信したマスターCMは、まず、受信した状況値テーブル28中の各部品の状況値を、自身の状況値テーブル28上の同部品の状況値に加算するステップS401。その後、マスターCMは、マスターCM用エラー処理図7のステップS302~S305の処理と全く同内容の処理ステップS402~S405を行ってから、このテーブル受信時用処理を終了する。マスターCMは、上記のような処理に加えて、自CM11内の状況値テーブル28を規定時間毎にクリアする処理も行う。図4に戻って、スレーブCM用エラー処理の説明を続ける。スレーブCMは、マスターCMが転送しきい値超え部品であった場合ステップS207;YESには、ステップS209にて、次期マスターCM特定処理を行う。この次期マスターCM特定処理は、マスターCM特定処理図3と同手順で、マスタ-CMを除いたCM11の中から最も優先順位が高い正常なCM11を探索し、探索したCM11を次期マスターCMとして特定する探索したCM11が次期マスターCMであることを記憶する処理である。次期マスターCM特定処理を終えたスレーブCMは、自身が次期マスターCMであるか否かを判断するステップS210。そして、スレーブCMは、自身が次期マスターCMではなかった場合ステップS210;NOには、ステップS211にて、まず、状況値テーブル28を次期マスターCMに転送する。そして、スレーブCMは、状況値テーブル28をクリアする処理と、テーブルクリア時刻を現在時刻規定時間に更新する処理とを行ってから、ステップS211の処理及びスレーブCM用エラー処理図4の処理を終了する。一方、自身が次期マスターCMであった場合ステップS210;YES、スレーブCMは、ステップS212にて、生存確認実施回数を0に初期化し、実施回数クリア時刻に現在時刻規定時間を設定する処理を行う。さらに、スレーブCMは、このステップS212にて、状態判定CMとしての動作を開始したこと状態判定CMとして動作していることを記憶する処理も行う。尚、生存確認実施回数とは、後述する生存確認処理図10の,既定時間内の実行回数を記憶しておくための変数のことである。また、実施回数クリア時刻とは、その時刻になったときに、状態判定CM状態判定CMとして動作している次期スレーブCMが、状況値テーブル28をクリアして、通常のスレーブCMとしての動作を開始する時刻のことである。ステップS212の処理を終えたスレーブCM状態判定CMとしての動作を開始した次期マスターCM;以下、単に、状態判定CMとも表記するは、このスレーブCM用エラー処理を終了する。状態判定CM状態判定CMとして動作している次期マスターCMも、他CM11との通信時に通信エラーが発生した場合には、このスレーブCM用エラー処理を開始する。そして、状態判定CMは、ステップS201の処理を実行した後、自身が状態判定CMとして動作しているステップS202;YESため、ステップS205の処理ではなく、ステップS203の処理判断を実行する。ステップS203にて、状態判定CMは、自CM11内の状況値テーブル28上のマスターCMの状況値が、予め定められている生存確認しきい値例えば、96を超えているか否かを判断する。そして、状態判定CMは、マスターCMの状況値が生存確認しきい値を超えていた場合ステップS203;YESには、ステップS204にて、生存確認処理詳細は後述を行ってから、このスレーブCM用エラー処理を終了する。また、状態判定CMは、マスターCMの状況値が生存確認しきい値以下であった場合ステップS203;NOには、生存確認処理を行うことなく、このスレーブCM用エラー処理を終了する。既に説明したように図4参照、次期マスターCMではないスレーブCMは、マスターCMが転送しきい値超え備品であった場合ステップS201;NO、次期マスターCMに状況値テーブル28を転送するステップS211。次期マスターCMは、状況値テーブル28を受信した場合、図9に示した手順のテーブル受信時用処理を実行する。すなわち、次期マスターCMは、状況値テーブル28を受信した場合、まず、受信した状況値テーブル28上の各部品の状況値を、自CM11内の状況値テーブル28上の,同部品の状況値に加算するステップS501。次いで、次期マスターCMは、状態判定CMとして動作しているか否かを判断するステップS502。そして、次期マスターCMは、状態判定CMとして動作していない場合ステップS502;NOには、ステップS503にて、ステップS212図4と同じ処理を行う。すなわち、次期マスターCMは、ステップS503にて、生存確認実施回数を0に初期化し、実施回数クリア時刻に現在時刻規定時間を設定する。また、次期マスターCMは、状態判定CMとしての動作を開始したことを記憶する。ステップS503の処理を終えた次期マスターCMは、マスターCMの状況値が生存確認しきい値を超えているか否かを判断するステップS504。また、次期マスターCMは、状態判定CMとして既に動作していた場合ステップS502;YESには、ステップS503の処理を行うことなく、このステップS504の処理判断を行う。そして、状態判定CM状態判定CMとして動作している次期マスターCMは、マスターCMの状況値が生存確認しきい値を超えていなかった場合ステップS504;NOには、このテーブル受信時用処理を終了する。また、状態判定CMは、マスターCMの状況値が生存確認しきい値を超えていた場合ステップS504;YESには、ステップS505にて、生存確認処理を行ってから、このテーブル受信時用処理を終了する。ステップS505図9及びステップS204図4で実行される生存確認処理は、図10に示した手順の処理である。すなわち、マスターCMの状況値が生存確認しきい値を超えていたため、この生存確認処理を開始した状態判定CMは、まず、マスターCMに対する通信を実施試行するステップS601。また、状態判定CMは、状況値テーブル28をクリアし、テーブルクリア時刻を現在時刻規定時間に更新する処理ステップS602も行う。ステップS601及びS602の処理を終えた状態判定CMは、ステップS601におけるマスターCMに対する通信が成功していた場合ステップS603;YESには、生存確認実施回数に1を加算するステップS604。その後、状態判定CMは、値を更新した生存確認実施回数が、予め定められている実施回数しきい値例えば、3を超えているか否かを判断するステップS605。生存確認実施回数が実施回数しきい値を超えていた場合ステップS605;YES、状態判定CMは、ステップS606にて、マスターCMを他の部分から切り離すための処理各CM11に構成が変わったことを通知する処理等を行う。そして、状態判定CMは、この生存確認処理を終了する。一方、生存確認実施回数が実施回数しきい値を超えていなかった場合ステップS605;NO、状態判定CMは、マスターCMを他の部分から切り離すことなく、この生存確認処理を終了する。また、ステップS601におけるマスターCMに対する通信が失敗していた場合ステップS603;NO、状態判定CMは、生存確認実施回数の値をチェックすることなく、マスターCMを他の部分から切り離すステップS606。そして、状態判定CMは、この生存確認処理を終了する。以下、本実施形態に係る情報処理装置10の動作を、さらに具体的に説明する。まず、CM0がマスターCMである状況下、CM3スレーブCMが故障した場合を例に、スレーブCMが故障した場合における情報処理装置10の動作を説明する。この場合、図11に模式的に示してあるように、各CM11図11では、CM2、CM6、CM7からのCM3に対する通信破線矢印時に通信エラーが発生することになる。そのため、たとえば、CM2が、DMAポート0を用いてCM3に対する通信を行った場合、CM2によりスレーブCM用エラー処理図4が実行される。そして、ステップS201の処理が行われる結果として、CM2内の状況値テーブル28上のCM3に関する状況値、CM3のDMAポート0に関する状況値に、たとえば、それぞれ、3、8図6参照が加算されることになる。CM2は、状態判定CMとして動作しないCM11次期マスターCMではないCM11である。そのため、ステップS201の処理後に実行されるステップS202では、NO側への分岐が行われる。そして、値を更新したいずれの状況値も転送しきい値を超えていないステップS206;NOため、状況値テーブル28がマスターCMに転送されることなく、スレーブCM用エラー処理が終了される。CM3との通信に失敗したCM2は、CM3と通信に使用するDMAポート21を、たとえばDMAポート1に変えてCM3との通信を試みる。CM3が故障している場合、この通信時にもエラーが発生するので、CM2は、スレーブCM用エラー処理を再び実行する。その結果、ステップS201の処理が行われて、CM2内の状況値テーブル28上のCM3に関する状況値、CM3のDMAポート1に関する状況値に、たとえば、それぞれ、3、8が加算されることになる。CM3と通信を行う必要があるCM2は、上記のような処理を繰り返す。従って、比較的に短時間のうちに規定時間の経過により状況値テーブル28がクリアされる前に、CM3の状況値が転送しきい値を超える。そして、その結果として、CM2内の状況値テーブル28がマスターCMCM0に転送されることになる。CM3との通信を試みた他のCM11図11では、CM6及びCM7でも、通信エラーの発生毎にスレーブCM用エラー処理が実行される。従って、各CM11内の状況値テーブル28も、マスターCMCM0に転送されることになる。一方、マスターCMCM0は、状況値テーブル28を受信する度に、テーブル受信時用処理図8を開始し、受信した状況値テーブル28中の各部品の状況値を、自身の状況値テーブル28上の各状況値に加算するステップS401。従って、何回か状況値テーブル28を受信すると、マスターCMCM0内の状況値テーブル28上のCM3に関する状況値が切り離ししきい値を超える。そして、その結果としてステップS403;YES、CM3の切り離しが行われることになる。次に、CM0がマスターCMであり、CM1が次期マスターCMである場合を例に、マスターCMが故障した場合における情報処理装置10の動作を説明する。この場合、図12に模式的に示してあるように、各CM11図12では、CM2、CM6、CM7からのマスターCMCM0に対する通信破線矢印時に通信エラーが発生する。そして、通信エラーが発生したことを検出した各CM11CM2、CM6、CM7は、スレーブCM用エラー処理を実行してから、通信に使用するDMAポート21を変えてマスターCMCM0に対する通信を試みる処理を繰り返す。従って、比較的に短時間のうちに、各CM11内の状況値テーブル28上のマスターCMCM0に関する状況値が転送しきい値を超えることになる。マスターCMCM0に関する状況値が転送しきい値を超えた場合ステップS207;YES、次期マスターCMではないスレーブCMは、状況値テーブル28を次期マスターCMCM1に転送するステップS211。次期マスターCMは、状況値テーブル28を受信する度に、テーブル受信時用処理図9を開始し、受信した状況値テーブル28中の各部品の状況値を、自身の状況値テーブル28上の各状況値に加算するステップS501。従って、何回か状況値テーブル28を受信すると、次期マスターCMCM1内の状況値テーブル28上のマスターCMCM0に関する状況値が生存確認しきい値を超えることになる。マスターCMCM0に関する状況値が生存確認しきい値を超えた場合、次期マスターCMは、生存確認処理図10を行う。既に説明したように、生存確認処理は、マスターCMに対する通信によりマスターCMが故障していることを確認できた場合と、生存確認処理の規定時間内の実施回数が実施回数しきい値を超えた場合とに、マスターCMを他の部分から切り離す処理となっている。従って、マスターCMCM0が実際に故障している場合には、何回目かの生存確認処理時に、マスターCMが他の部分から切り離されることになる。以上、詳細に説明したように、本実施形態に係る情報処理装置10は、マスターCMが故障したか否かを判定して故障している場合にマスターCMを切り離す処理である生存確認処理を、以下の条件が成立したときに実行する装置となっている。受信した状況値テーブル28中の各状況値の加算により、状況値テーブル28上のマスターCMに関する状況値が生存確認しきい値を超える。そして、この条件は、1つのスレーブCMが、マスターCMが故障したと誤判定している場合には、通常、成立し得ない条件である。従って、本実施形態に係る情報処理装置10は、1つのスレーブCMがマスターCMを切り離すか否かを判定する上記した従来装置よりも、マスターCMを切り離すか否かの判定が正確に行える装置となっていると言うことが出来る。《第2実施形態》本発明の第2実施形態に係る情報処理装置は、上記した第1実施形態に係る情報処理装置10をソフトウェア的に改良した装置である。そのため、以下では、第1実施形態の情報処理装置10の説明時に用いたものと同じ符号を用いて、第2実施形態に係る情報処理装置10の動作を、第1実施形態に係る情報処理装置10と異なる部分を中心に説明する。また、以下では、第1実施形態に係る情報処理装置10内のCM11のことを、第1種CM11と表記し、第2実施形態に係る情報処理装置10内のCM11のことを、第2種CM11と表記する。第2種CM11は、状態判定CMとしての動作内容のみが第1種CM11と異なるモジュールとなっている。具体的には、スレーブCMである場合に第2種CM11が実行するスレーブCM用エラー処理は、上記したスレーブCM用エラー処理図4と基本的には同内容の処理である。ただし、第2種CM11が実行するスレーブCM用エラー処理のステップS211第2種CM11が次期マスターCMである場合に実行するステップS211では、他の各第2種CM11以下、送信元CMと表記するについての受信回数を0に初期化する処理も行われる。また、第2種CM11は、次期マスターCMである場合、テーブル受信時用処理として、図13に示した手順の処理を行う。すなわち、次期マスターCMである第2種CM11以下、単に、次期マスターCMと表記するは、状況値テーブル28を受信した場合、まず、状態判定CMとして動作しているか否かを判断するステップS701。そして、次期マスターCMは、状態判定CMとして動作していない場合ステップS701;NOには、ステップS702にて、生存確認実施回数及び各送信元CMに関する受信回数を0に初期化し、実施回数クリア時刻に現在時刻規定時間を設定する。また、次期マスターCMは、状態判定CMとしての動作を開始したことを記憶する。ステップS702の処理を終えた次期マスターCMは、ステップS703にて、受信した状況値テーブル28上の各部品の状況値を、自CM11内の状況値テーブル28上の,同部品の状況値に加算する処理を行う。次期マスターCMは、このステップS703にて、今回、受信した状況値テーブル28の送信元CMに関する受信回数に1を加算する処理も行う。また、次期マスターCMは、状態判定CMとして既に動作していた場合ステップS701;YESには、ステップS702の処理を行うことなく、ステップS703の処理を行う。ステップS703の処理を終えた次期マスターCMは、マスターCMの状況値が生存確認しきい値を超えているか否かを判断するステップS704。そして、次期マスターCMは、マスターCMの状況値が生存確認しきい値を超えていた場合ステップS704;YESには、それまで受信した状況値テーブル28の送信元CMが1CMであるか否かを判断するステップS705。すなわち、次期マスターCMは、送信元CMに関する受信回数の中に、0ではない受信回数が1つしか存在していないか否かを判断するステップS705。そして、次期マスターCMは、複数の送信元CMから状況値テーブル28を受信していた場合ステップS705;NOには、マスターCMに対する生存確認処理図10を実行ステップS706してから、このテーブル受信時用処理を終了する。一方、1つのCMのみから状況値テーブル28を受信していた場合ステップS705;YES、次期マスターCMは、その唯一の状況値テーブル28の送信元CMに対する生存確認処理を実行ステップS707してから、このテーブル受信時用処理を終了する。要するに、第1実施形態に係る情報処理装置10に関して説明したように、生存確認処理の開始条件である受信した状況値テーブル28中の各状況値の加算により、状況値テーブル28上のマスターCMに関する状況値が切り離ししきい値を超えるという条件は、1つのスレーブCMが、マスターCMが故障したと誤判定している場合には、通常、成立しない条件である。ただし、受信した状況値テーブル28中の各状況値の加算により、状況値テーブル28上のマスターCMに関する状況値が切り離ししきい値を超えるという条件は、1つのスレーブCMがマスターCMが故障したと誤判定している場合に、成立し得ない条件ではない。そして、上記手順を採用しておけば、1つのスレーブCMによりマスターCMの状態の誤判定により、マスターCMが誤って切り離されてしまうことを防止できる。また、誤判定しているスレーブCMつまり、故障しているスレーブCMを、素早くその状況値が切り離ししきい値を超える以前に、他の部分から切り離せることにもなる。そのため、本実施形態に係る情報処理装置10の各CM11を、上記機能を有するものとしてあるのである。《変形形態》上記した各実施形態に係る情報処理装置10は、各種の変形が行えるものである。たとえば、各情報処理装置10を、次期マスターCMによって、ステップS204、S706等で、生存確認処理図10ではなく、マスタ-CMを切り離す処理が行われる装置に変形することが出来る。また、各情報処理装置10を、ステップS211図4にて、次期マスターCMにマスターCMの状況値のみが送信される装置に変形することも出来る。各情報処理装置10を、CM数によって、転送しきい値ではなく、切り離ししきい値及び生存確認しきい値が変わるものに変形することも出来る。また、各実施形態に係る情報処理装置10は、ストレージシステムRAIDシステム用の装置であったが、上記した技術は、切り離し可能なユニットを複数個含む装置であれば適用可能なものである。従って、上記した技術に基づき、ストレージとは無関係な装置を実現することも出来る。"