(57)【特許請求の範囲】
【請求項１】
物理サーバと当該物理サーバを管理する第一の管理モジュールと第二の管理モジュールとを有する計算機システムにおいて、
前記第一の管理モジュールと前記第二の管理モジュールと外部記憶装置とがスイッチを介して接続され、
前記第一の管理モジュールと前記第二の管理モジュールのそれぞれは、前記スイッチの接続の切り替えを制御するスイッチ制御部と、前記計算機システムの管理情報を保存する記憶部と、前記複数の管理モジュールにおける前記管理情報の多重化を制御する多重化制御部と、前記外部記憶装置を制御する外部記憶装置制御部とを備え、
前記第一の管理モジュールの系状態が主系であり、前記第二の管理モジュールの系状態が待機系である場合、
前記第一の管理モジュールのスイッチ制御部は、前記スイッチを制御して、前記第一の管理モジュールと前記外部記憶装置とを接続させ、
前記第一の管理モジュールの外部記憶装置制御部は、前記物理サーバに保存される管理情報の更新に伴って前記第一の管理モジュールの記憶部の管理情報を更新し、当該更新後、前記第一の管理モジュールの記憶部に保存される管理情報を前記外部記憶装置におよび前記第二の管理モジュールの記憶部に格納するよう制御し、
前記第一の管理モジュールと前記第二の管理モジュールのいずれか、もしくは双方での障害発生後、当該管理モジュールの代替として第三の管理モジュールが搭載されたとき、
前記第三の管理モジュールの多重化制御部は、
前記計算機システムに他の管理モジュールが存在するか否かに基づいて、前記第三の管理モジュールの系状態が主系であるか待機系であるかを判定し、
前記判定の結果、前記第三の管理モジュールが主系である場合、前記第三の管理モジュールの多重化制御部は、前記外部記憶装置に保存された管理情報を取得し、当該取得した管理情報を前記第三の管理モジュールの記憶部に格納し、
前記判定の結果、前記第三の管理モジュールが待機系である場合、前記第三の管理モジュールの多重化制御部は、前記他の管理モジュールの記憶部に保存される管理情報を前記外部記憶装置を介して取得し、当該取得した管理情報を前記第三の管理モジュールの記憶部に格納するよう制御する
ことを特徴とする計算機システム。
【請求項２】
前記第一の管理モジュールの多重化制御部は、系状態が待機系である第二の管理モジュールの多重化制御部に、前記第一の管理モジュールの記憶部に保存される管理情報を含む管理情報格納要求を送信し、前記第二の管理モジュールの多重化制御部は、前記管理情報格納要求に基づいて、受信した管理情報を前記第二の管理モジュールの記憶部に格納することを特徴とする請求項１記載の計算機システム。
【請求項３】
前記第一の管理モジュールおよび第二の管理モジュールの各々は、前記第一の管理モジュールおよび第二の管理モジュールの系状態を管理する管理モジュール系情報を有し、
前記第二の管理モジュールの多重化制御部は、前記管理モジュール系情報を参照して、前記第一の管理モジュールの系状態が障害であることを検出すると、
前記第二の管理モジュールのスイッチ制御部に、前記外部記憶装置の接続先を前記第一の管理モジュールから前記第二の管理モジュールに切り替えるスイッチ切り替え要求を送信し、
前記第二の管理モジュールのスイッチ制御部は、前記第二の管理モジュールの多重化制御部から受信したスイッチ切り替え要求に基づき、前記スイッチを制御して、前記第二の管理モジュールと前記外部記憶装置とを接続させることを特徴とする請求項２記載の計算機システム。
【請求項４】
前記第三の管理モジュールは、前記スイッチと前記管理モジュールとの接続状態を制御する接続ポートを有し、
前記第三の管理モジュールの外部記憶装置制御部は、
前記第三の管理モジュールの起動時に、前記接続ポートを閉じて、前記管理モジュールと前記スイッチとが接続しない状態とし、
前記起動した管理モジュールの系状態が主系である場合、前記接続ポートを開けて、前記第三の管理モジュールと前記スイッチとが接続する状態とし、
前記起動した前記第三の管理モジュールの系状態が主系でない場合、前記接続ポートを閉じた状態を継続することを特徴とする請求項１記載の計算機システム。
【請求項５】
前記計算機システムの管理情報は、主系である前記第一の管理モジュールの管理情報、前記物理サーバの管理情報、主系である前記第一の管理モジュールに管理されるスイッチモジュールの管理情報のうち少なくとも一つを含むことを特徴とする請求項４記載の計算機システム。
【請求項６】
物理サーバと当該物理サーバを管理する第一の管理モジュールと第二の管理モジュールとを有する計算機システムにおける管理情報の保存方法であって、
前記第一の管理モジュールと前記第二の管理モジュールと外部記憶装置とがスイッチを介して接続され、
前記第一の管理モジュールと前記第二の管理モジュールのそれぞれは、前記スイッチの接続の切り替えを制御するスイッチ制御部と、前記計算機システムの管理情報を保存する記憶部と、前記複数の管理モジュールにおける前記管理情報の多重化を制御する多重化制御部と、前記外部記憶装置を制御する外部記憶装置制御部とを備え、
前記第一の管理モジュールの系状態が主系であり、前記第二の管理モジュールの系状態が待機系である場合、
前記第一の管理モジュールのスイッチ制御部は、前記スイッチを制御して、前記第一の管理モジュールと前記外部記憶装置とを接続させ、
前記第一の管理モジュールの外部記憶装置制御部は、前記物理サーバに保存される管理情報の更新に伴って前記第一の管理モジュールの記憶部の管理情報を更新し、当該更新後、前記第一の管理モジュールの記憶部に保存される管理情報を、前記外部記憶装置および前記第二の管理モジュールの記憶部に格納するよう制御し、
前記第一の管理モジュールと前記第二の管理モジュールのいずれか、もしくは双方での障害発生後、当該管理モジュールの代替として第三の管理モジュールが搭載されたとき、
前記第三の管理モジュールの多重化制御部は、
前記計算機システムに他の管理モジュールが存在するか否かに基づいて、前記第三の管理モジュールの系状態が主系であるか待機系であるかを判定し、
前記判定の結果、前記第三の管理モジュールが主系である場合、前記第三の管理モジュールの多重化制御部は、前記外部記憶装置に保存された管理情報を取得し、当該取得した管理情報を前記第三の管理モジュールの記憶部に格納し、
前記判定の結果、前記第三の管理モジュールが待機系である場合、前記第三の管理モジュールの多重化制御部は、前記他の管理モジュールの記憶部に保存される管理情報を前記外部記憶装置を介して取得し、当該取得した管理情報を前記第三の管理モジュールの記憶部に格納するよう制御することを特徴とする管理情報の保存方法。
【請求項７】
前記第一の管理モジュールの多重化制御部は、系状態が待機系である第二の管理モジュールの多重化制御部に、前記第一の管理モジュールの記憶部に保存される管理情報を含む管理情報格納要求を送信し、前記第二の管理モジュールの多重化制御部は、前記管理情報格納要求に基づいて、受信した管理情報を前記第二の管理モジュールの記憶部に格納することを特徴とする請求項６記載の管理情報の保存方法。
【請求項８】
前記第一の管理モジュールおよび第二の管理モジュールの各々は、前記第一の管理モジュールおよび第二の管理モジュール系状態を管理する管理モジュール系情報を有し、
前記第二の管理モジュールの多重化制御部は、前記管理モジュール系情報を参照して、前記第一の管理モジュールの系状態が障害であることを検出すると、
前記第二の管理モジュールのスイッチ制御部に、前記外部記憶装置の接続先を前記第一の管理モジュールから前記第二の管理モジュールに切り替えるスイッチ切り替え要求を送信し、
前記第二の管理モジュールのスイッチ制御部は、前記第二の管理モジュールの多重化制御部から受信したスイッチ切り替え要求に基づき、前記スイッチを制御して、前記第二の管理モジュールと前記外部記憶装置とを接続させることを特徴とする請求項７記載の管理情報の保存方法。
【請求項９】
前記第三の管理モジュールは、前記スイッチと前記管理モジュールとの接続状態を制御する接続ポートを有し、
前記第三の管理モジュールの前記外部記憶装置制御部は、
前記第三の管理モジュールの起動時に、前記接続ポートを閉じて、前記管理モジュールと前記スイッチとが接続しない状態とし、
前記起動した管理モジュールの系状態が主系である場合、前記接続ポートを開けて、前記管理モジュールと前記スイッチとが接続する状態とし、
前記起動した管理モジュールの系状態が主系でない場合、前記接続ポートを閉じた状態を継続することを特徴とする請求項６記載の管理情報の保存方法。
【請求項１０】
前記計算機システムの管理情報は、主系である前記第一の管理モジュールの管理情報、前記物理サーバの管理情報、主系である前記第一の管理モジュールに管理されるスイッチモの管理情報のうち少なくとも一つを含むことを特徴とする請求項９記載の管理情報の保存方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計算機システムおよび計算機システムにおける管理情報の保存方法に関する。
【背景技術】
【０００２】
昨今の計算機システムでは、例えばブレードサーバのように、複数のサーバを一つの管理モジュールで管理する構成が多く見られる。また、特許文献１には、「計算機システムの電源制御や障害監視等のサービスを行うサービスプロセッサをホットスタンバイ方式で二重化したシステム」が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１４８５２５
【発明の概要】
【発明が解決しようとする課題】
【０００４】
さて、管理モジュールを二台用意し、一台を主系、もう一台を待機系として冗長化したシステムにおいて、主系と待機系の管理モジュールが障害等で二台同時に交換しなければいけなくなった場合、管理モジュールが保持する管理情報が消失してしまうという問題がある。
【０００５】
一般に、管理情報には、ログ情報など頻繁に更新される情報が含まれる。そのため、主系及び待機系の管理モジュールを二台同時に交換するより前に管理情報のバックアップを計算機システム外にある管理サーバに行っていた場合でも、管理情報を管理サーバに保存した後に管理情報が更新されると、管理モジュールが持つ管理情報と管理サーバが持つ管理情報に違いが生じる。この場合、管理モジュールが持つ管理情報と同じ管理情報を管理サーバに保存できないので、管理モジュールが持つ管理情報を回復することは困難である。
【０００６】
そこで、本発明では、冗長化された管理モジュールが保持する管理情報を、より確実にシステム内に保存可能な計算機システムおよび計算機システムにおける管理情報の保存方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の問題の解決のため、まず、本発明では、管理モジュールとは異なる装置である外部記憶装置に、主系の管理モジュールが有する管理情報を配置する。そして、管理モジュールの交換時に、その管理情報を外部記憶装置からリストアする計算機システムとする。
【０００８】
次に、本発明では、管理モジュールが外部記憶装置の管理情報を読み出す場合または書き込む場合において、主系と待機系の管理モジュールが二台同時に外部記憶装置に同時にアクセスすることを防止する機構を備える。これは、仮に主系管理モジュールと外部記憶装置が接続している状態で、待機系管理モジュールが外部記憶装置と接続すると、主系管理モジュールと外部記憶装置の接続が突然切断され、外部記憶装置の破損や管理情報の消失が発生する可能性がある。そのため、上記同時アクセスを防止する必要がある。
【０００９】
つまり、本発明の計算機システムは、物理サーバと複数の管理モジュールとを有する計算機システムであり、前記計算機システムを管理する管理情報を格納する外部記憶装置と、前記物理サーバを管理する主系の管理モジュールと前記外部記憶装置とを接続するスイッチと、を有する。前記管理モジュールは、計算機制御部と、前記スイッチの接続の切り替えを制御するスイッチ制御部と、前記管理情報を記憶する管理情報記憶部と、前記複数の管理モジュールにおける前記管理情報の多重化を制御する多重化制御部と、を備える。第一の管理モジュールが主系の管理モジュールである場合、前記第一の管理モジュールのスイッチ制御部は、前記第一の管理モジュールと前記外部記憶装置とが接続するように前記スイッチを制御する。そして、前記第一の管理モジュールの計算機制御部は、前記第一の管理モジュールの管理情報記憶部に記憶される管理情報を前記外部記憶装置に保存する。さらに、前記第一の管理モジュールの多重化制御部は、待機系となる第二の管理モジュールの多重化制御部と通信し、前記第一の管理モジュールの管理情報記憶部に記憶される前記管理情報を、前記第二の管理モジュールの管理情報記憶部に保存する。
【発明の効果】
【００１０】
物理サーバと複数の管理モジュールとを有する計算機システムにおいて、外部記憶装置に主系の管理モジュールの管理情報を保存し、また主系と待機系の管理モジュールが二台同時に外部記憶装置にアクセスすることを防止できるので、外部記憶装置の破損による管理情報の消失を抑制できる。
【図面の簡単な説明】
【００１１】
【図１】実施例１の計算機システムの構成図
【図２】管理モジュール系決定処理を示したフローチャート
【図３】管理モジュール系情報が有する、系状態管理テーブル
【図４】主系の管理モジュールの管理モジュール管理情報を待機系管理モジュールと外部記憶装置に保存する際のシーケンス
【図５】サーバブレード管理情報を主系管理モジュールと待機系管理モジュールと外部記憶装置に保存する際のシーケンス
【図６】管理モジュール起動時の処理を示したフローチャート
【図７】主系管理モジュールが起動から動作を開始するまでのシーケンス
【図８】管理モジュール起動時の管理モジュール二重化制御部の処理を説明するフローチャート
【図９】主系管理モジュール障害時の、待機系管理モジュールが新主系管理モジュールとして起動する際のフローチャート
【図１０】主系管理モジュール障害時の、待機系管理モジュールが新主系管理モジュールとして動作する際の、起動から動作を開始するまでのシーケンス
【図１１】管理モジュール交替時の管理モジュール二重化制御部のフローチャート
【図１２】交換部品を待機系管理モジュールとして挿入した場合の起動から動作を開始するまでのシーケンス
【図１３】リストア判定処理を示すフローチャート
【図１４】交換部品を主系管理モジュールとして挿入した場合の起動から、リストア処理を実施し、動作を開始するまでのシーケンス
【図１５】実施例２の計算機システムの構成図
【発明を実施するための形態】
【実施例１】
【００１２】
本発明を適用した計算機システムにおいて、主系の管理モジュールの管理情報を待機系の管理モジュールおよび外部記憶装置に配置した計算機システムについて、図面を用いて詳細に説明する。
【００１３】
本実施例では、計算機システム内で管理モジュールの外部に外部記憶装置を有し、その外部記憶装置に主系の管理モジュールが保持する管理情報と同じ情報を保存する。管理モジュールの交換を行った後は、外部記憶装置に保持される管理情報を管理モジュールにリストアする。さらに、この外部記憶装置を管理モジュールから直接管理情報の読み出しおよび書き込みができるストレージとし、外部記憶装置と管理モジュール間にスイッチを有し、管理モジュールからそのスイッチを制御することで、複数台の管理モジュールから外部記憶装置に対して排他的アクセスを可能とする。
【００１４】
図１は、実施例１における計算機システムの構成図である。計算機システム１０００は、管理モジュール１１００と管理モジュール１２００、コンポーネント１３００、フロントパネルモジュール１４００を有している。管理モジュール１１００と１２００は、計算機システム１０００内各モジュールの管理を行っており、電源の制御、障害状態の監視、管理情報の管理等、計算機システム１０００全体の管理を行っている。管理モジュール１１００と１２００との冗長構成では、主系として動作していた管理モジュールが停止した場合、待機系の管理モジュールは新たに主系となり、これらの管理情報を引き継ぐ。そのため、主系管理モジュールが持つ管理情報を、待機系である管理モジュールにも保持しておく方式を採る。
【００１５】
コンポーネント１３００とは、管理モジュール１１００と１２００が管理対象とする計算機システム１０００内のモジュールを意味しており、本実施例では、サーバブレード１３１０とスイッチモジュール１３２０がコンポーネント１３００に含まれる。サーバブレード１３１０は、サーバブレード管理情報１３１１とサーバブレードの状態監視を行うＢＭＣ（Ｂａｓｅｂｏａｒｄ  Ｍａｎａｇｅｍｅｎｔ  Ｃｏｎｔｒｏｌｌｅｒ)１３１２を有する。スイッチモジュール１３２０は、スイッチモジュール管理情報１３２１とスイッチモジュール制御部１３２２を有する。
【００１６】
フロントパネルモジュール１４００には、外部記憶装置１４１０と、その外部記憶装置１４１０と管理モジュール１１００または１２００を仲介するスイッチ１４２０を有する。外部記憶装置１４１０は、具体例としてＵＳＢメモリが挙げられる。
【００１７】
管理モジュール１１００は、ＳＤカード１１１０と計算機制御部１１２０と管理モジュール系情報１１３０と外部記憶装置接続部１１４０を有する。管理モジュール１２００は、ＳＤカード１２１０と計算機制御部１２２０と管理モジュール系情報１２３０と外部記憶装置接続部１２４０を有する。管理モジュール１１００、１２００は、計算機システム管理機能として、電源の制御、障害状態の監視などに加えて、サーバ等の計算機システム内モジュールの動作に関する設定情報やログ情報などの管理情報を保持している。
【００１８】
ＳＤカード１１１０と１２１０は、管理モジュール管理情報１１１１とコンポーネント１３００の管理情報とを格納する。本実施例では、コンポーネント１３００の管理情報に、サーバブレード管理情報１３１１とスイッチモジュール管理情報１３２１が含まれる。ＳＤカード１１１０と１２１０は、管理情報を記憶する管理情報記憶部の実施例の一つであり、情報記憶媒体であればＳＤカードに限定する必要はなく、他の例としてはＵＳＢメモリ、コンパクトフラッシュ(登録商標)、メモリーカード等が挙げられる。
【００１９】
計算機制御部１１２０と１２２０は、計算機システム管理情報制御部１１２１と１２２１、スイッチ制御部１１２２と１２２２、外部記憶装置制御部１１２３と１２２３、サーバブレード管理情報制御部１１２４と１２２４、スイッチモジュール管理情報制御部１１２５と１２２５、管理モジュール二重化制御部１１２６と１２２６を有する。
【００２０】
計算機システム管理情報制御部１１２１と１２２１は、サーバブレード管理情報１３１１またはスイッチモジュール管理情報１３２１が保存された際に、その情報をＳＤカード１１１０、１２１０内に保存する役割を担う。スイッチ制御部１１２２と１２２２は、スイッチ１４２０を制御し、外部記憶装置１４１０と管理モジュール１１００または１２００との接続の切り替えを制御する役割を担う。
【００２１】
外部記憶装置制御部１１２３と１２２３は、スイッチ１４２０を介して外部記憶装置１４１０に接続し、サーバブレード管理情報１３１１、スイッチモジュール管理情報１３２１、管理モジュール管理情報１１１１を格納する役割を担う。また、外部記憶装置制御部１１２３、１２２３は、管理モジュール１１００、１２００と外部記憶装置１４１０との接続状態を外部記憶装置接続部１１４０、１２４０で制御する。
【００２２】
サーバブレード管理情報制御部１１２４と１２２４は、サーバブレード１３１０のサーバブレード管理情報１３１１が更新された際に、ＢＭＣ１３１２と通信し、更新されたサーバブレード管理情報１３１１をＳＤカード１１１０と１２１０に保存する役割を担う。同様に、スイッチモジュール管理情報制御部１１２５と１２２５は、スイッチモジュール１３２０のスイッチモジュール管理情報１３２１が更新された際に、スイッチモジュール制御部１３２２と通信し、更新されたスイッチモジュール管理情報１３２１をＳＤカード１１１０と１２１０に保存する役割を担う。管理モジュール二重化制御部１１２６、１２２６は、管理モジュール１１００と管理モジュール１２００が通信するための役割を担う。
【００２３】
管理モジュール系情報１１３０と１２３０は、計算機システム内の他の管理モジュール（以下、他系管理モジュール）の存在の有無に関する情報や管理モジュールの系状態の情報を含む。管理モジュール系情報１１３０と１２３０は、ＳＤカード、ＵＳＢメモリ、コンパクトフラッシュ、メモリーカード等の情報記憶媒体に格納される。
【００２４】
管理モジュール１１００、１２００は、前述の通り電源制御、障害監視、情報管理等の計算機システム１０００全体の管理の役割を担っている。管理モジュール自身に障害が発生すると、計算機システム１０００の管理が不能となる。計算機システム１０００の管理が不能となる状態を防ぐために、管理モジュール１１００、１２００は計算機システム１０００に二台搭載して二重化している。
【００２５】
管理モジュール１１００と１２００は、片側の管理モジュールのみが電源制御、障害監視、情報管理等の管理モジュールの機能を実施し（これを主系と呼ぶ）、もう片側の管理モジュールは主系の管理モジュールに障害が発生した際にその処理を引き継ぐために待機状態となっている（これを待機系と呼ぶ）。主系、待機系の決定は管理モジュールの起動後に行う。管理モジュール１１００、１２００は、起動直後は系状態未定の状態で起動し、どちらの管理モジュールが主系となるかを決定するための系決定処理を行なう。
【００２６】
また、管理モジュールを多重化するため、計算機システムが複数の管理モジュールを有していてもよい。この場合、一つの管理モジュールが主系となり、その他の管理モジュールは待機系となる。
【００２７】
図２は、管理モジュールの系決定処理の一例を示したフローチャートである。以下、管理モジュール１１００の系決定処理を例として説明する。
【００２８】
（Ｓ２０００）管理モジュール１１００が系決定処理を開始する。
【００２９】
（Ｓ２００１）管理モジュール１１００の管理モジュール二重化制御部１１２６は、他系管理モジュール二重化制御部１２２６と通信し、他系管理モジュールが存在するかどうかを判定する。
【００３０】
（Ｓ２００７）Ｓ２００１の判定の結果、他系管理モジュールが存在しない場合は、管理モジュール１１００が主系管理モジュールとして起動することが決定する。
【００３１】
（Ｓ２００２）Ｓ２００１の判定の結果、他系管理モジュールが存在する場合は、管理モジュール二重化制御部１１２６は、管理モジュール系情報１１３０を参照し、他系管理モジュール１２００の系は主系に決定しているか判定する。
【００３２】
（Ｓ２００６）Ｓ２００２の判定の結果、管理モジュール１２００の系が主系に決定している場合は、管理モジュール１１００が待機系として起動することが決定する。
【００３３】
（Ｓ２００３）Ｓ２００２の判定の結果、他系管理モジュール１２００の系が主系に決定していない場合は、管理モジュール二重化制御部１１２６は計算機システム管理情報制御部１１２１にＳＤカード１１１０を参照する。次に管理モジュール二重化制御部１１２６は、他系管理モジュール二重化制御部１２２６に要求を出し、ＳＤカード１２１０を参照する。自系管理モジュール１１００の管理情報と他系管理モジュール１２００の管理情報のタイムスタンプを比較し、どちらのタイムスタンプが新しいか判定する。
【００３４】
（Ｓ２００４）Ｓ２００３の判定の結果、自系管理モジュール１１００の管理情報が他系管理モジュール１２００の管理情報のタイムスタンプより新しい場合、管理モジュール１１００が主系として起動することが決定する。
【００３５】
（Ｓ２００５）Ｓ２００３の判定の結果、他系管理モジュール１２００の管理情報が自系管理モジュール１１００の管理情報のタイムスタンプより新しい場合、管理モジュール１1００が待機系として起動することが決定する。
【００３６】
（Ｓ２００８）管理モジュール系決定処理が終了する。
【００３７】
系決定処理が終わると二台の管理モジュール１１００と１２００のうち、一台が主系となり、他方の一台が待機系となる。以下、本実施例において、特に断りのない限り、主系管理モジュールを管理モジュール１１００、待機系管理モジュールを管理モジュール１２００とする。管理モジュール１１００と１２００に障害が起きると系状態は障害となる。主系であった管理モジュールが障害状態になると、管理モジュール交替が発生し、待機系であった管理モジュールが主系になる。管理モジュール起動時と交替時には、系決定処理が行われ、管理モジュールの系状態が変化する可能性がある。
【００３８】
系決定処理後、管理モジュール二重化制御部１１２６は、管理モジュールの系状態を、管理モジュール系情報１１３０に格納する。また、管理モジュール二重化制御部１１２６は、他系管理モジュールの管理モジュール二重化制御部１２２６に自系管理モジュール１１００の系状態を送信する。管理モジュール二重化制御部１２２６は、管理モジュール１１００の系状態を管理モジュール系情報１２３０に格納する。
【００３９】
その系状態を格納する方法の一例として、図３に、その系状態管理テーブルを示す。系状態管理テーブル３０００には、管理モジュール１１００と１２００の両方の系状態が格納される。また、管理モジュール起動直後には、必ず系状態管理テーブル３０００の値は系状態未定を示す値に初期化される。
【００４０】
ＳＤカード１１１０と１２１０には、計算機システム１０００内の管理情報を格納している。主系管理モジュール管理情報１１１１は、主系管理モジュール１１００のユーザ設定やログ情報などの情報を含んでいる。
【００４１】
サーバブレード１３１０は、サーバブレード管理情報１３１１とＢＭＣ１３１２を有している。サーバブレード管理情報１３１１はサーバブレード１３１０のユーザ設定やログ情報などの情報を含んでおり、サーバブレード１３１０が故障して部品を交換した場合などでは、この情報を復元しなければならない。このために、サーバブレード管理情報１３１１は更新されると、バックアップとして主系管理モジュール１１００のＳＤカード１１１０と待機系管理モジュール１２００のＳＤカード１２１０に保存される。サーバブレード１３１０が故障した場合は、ＳＤカード１１１０もしくはＳＤカード１２１０の情報からリストアすることで、サーバブレード管理情報１３１１の情報を復元する。サーバブレード１３１０は、一つとは限らず、複数あってもよい。
【００４２】
同様に、スイッチモジュール１３２０は、スイッチモジュール管理情報１３２１とスイッチモジュール制御部１３２２を有している。スイッチモジュール管理情報１３２１はスイッチモジュール１３２０のユーザ設定やログ情報などの情報を含んでおり、スイッチモジュール１３２０が故障して部品を交換した場合などでも、この情報を復元しなければならない。このために、スイッチモジュール管理情報１３２１は更新されると、バックアップとして主系管理モジュール１１００のＳＤカード１１１０と待機系管理モジュール１２００のＳＤカード１２１０に保存される。スイッチモジュール１３２０が故障した場合は、ＳＤカード１１１０もしくはＳＤカード１２１０の情報からリストアすることで、スイッチモジュール管理情報１３２１の情報を復元する。スイッチモジュール１３２０は、一つとは限らず、複数あってもよい。
【００４３】
主系管理モジュール１１００がＳＤカード１１１０に格納している管理モジュール管理情報１１１１とサーバブレード管理情報１３１１とスイッチモジュール管理情報１３２１は、主系管理モジュール１１００と待機系管理モジュール１２００の冗長構成で二重化している。以下本実施例において、ＳＤカード１１１０またはＳＤカード１２１０または外部記憶装置１４１０に格納されている、管理モジュール管理情報１１１１とサーバブレード管理情報１３１１とスイッチモジュール管理情報１３２１を総称して管理情報と呼ぶ。ＳＤカード１１１０内管理情報を二重化する目的は管理モジュール１１００が壊れて交換する場合、管理情報のバックアップが消失することを防ぐためである。
【００４４】
一般に、管理モジュールの冗長構成で管理情報を保存する場合、管理モジュールが二台同時に障害状態になり交換するときは、計算機システム内から管理モジュールが管理している管理情報が消失するという問題点がある。また、ハードウェアの不良等の理由により管理モジュールを両方同時に交換するときも、二台同時に交換すると管理情報が消失してしまうため事前にバックアップが必要で、バックアップ作業に多くの時間を費やすという問題点がある。管理モジュールの交換中は、管理モジュールの計算機システム管理機能を継続できないため、稼働している計算機システムを停止させて作業を行うこととなるため、停止期間は最短であることが求められる。
【００４５】
本実施例では、上記問題点を解決するために、計算機システム１０００内であって、さらに管理モジュール内ＳＤカード１１１０と１２１０ではない場所にも管理情報を自動的に保存し、管理モジュール１１００と１２００を二台同時に交換するときに、管理モジュール１１００と１２００以外の保存場所から管理情報をリストア出来るようにする。
【００４６】
本実施例では、管理情報を自動保存する場所として、フロントパネルモジュール１４００中の外部記憶装置１４１０を選択している。外部記憶装置１４１０は、管理モジュール１１００もしくは１２００から、直接ストレージとして認識されている。一つのストレージは、一つのシステム（この場合は管理モジュール）とのみ接続される。そのため、フロントパネルモジュール１４００には、外部記憶装置１４１０と管理モジュール１１００、１２００を接続するスイッチ１４２０を有している。本スイッチ１４２０により、外部記憶装置１４１０は管理モジュール１１００、１２００のいずれかとしか接続されないようにし、さらに本スイッチ１４２０を管理モジュール１１００、１２００間で切り替えることで、外部記憶装置１４１０と管理モジュール１１００、１２００の接続の切り替えを実現する。
【００４７】
本実施例では、従来管理モジュール１１００と１２００の２箇所で冗長化していた管理情報を、管理モジュール１１００と１２００と外部記憶装置１４１０の３箇所で冗長化する。それを実現するための管理情報保存要件は以下である。
【００４８】
＜管理情報保存要件＞必ず主系管理モジュール１１００内ＳＤカード１１１０に格納されている管理情報と、待機系管理モジュール１２００内ＳＤカード１２１０に格納されている管理情報と、外部記憶装置１４１０内に格納されている管理情報とは同じものになるようにする。
【００４９】
図４は、主系管理モジュール１１００に管理モジュール管理情報１１１１が保存された場合に、管理モジュール管理情報１１１１を待機系管理モジュール１２００と外部記憶装置１４１０に保存する際のシーケンスの例である。
【００５０】
（Ｓ４０００）主系管理モジュール１１００の計算機システム管理情報制御部１１２１は、ＳＤカード１１１０に管理モジュール管理情報格納要求を送信する。
【００５１】
（Ｓ４００１）ＳＤカード１１１０は、管理モジュール管理情報１１１１を格納する。
【００５２】
（Ｓ４００２）ＳＤカード１１１０は、計算機システム管理情報制御部１１２１に管理モジュール管理情報格納応答を送信する。
【００５３】
（Ｓ４００３）計算機システム管理情報制御部１１２１は、管理モジュール管理情報格納応答を受信し、管理モジュール二重化制御部１１２６に待機系管理モジュール状態情報取得要求を送信する。
【００５４】
（Ｓ４００４）管理モジュール二重化制御部１１２６は、待機系管理モジュール状態情報取得要求を受信し、管理モジュール二重化制御部１１２６は管理モジュール系情報１１３０から、待機系管理モジュール状態情報を取得する。管理モジュール二重化制御部１１２６は、計算機システム管理情報制御部１１２１に、取得した待機系管理モジュール状態情報を待機系管理モジュール状態情報取得応答として送信する。
【００５５】
（Ｓ４００５）計算機システム管理情報制御部１１２１は、待機系管理モジュール状態情報取得応答を受信し、待機系管理モジュールが存在することを確認し、管理モジュール二重化制御部１１２６に管理モジュール管理情報格納要求を送信する。
【００５６】
（Ｓ４００６）管理モジュール二重化制御部１１２６は、Ｓ４００５の管理モジュール管理情報格納要求を受信し、待機系の管理モジュール二重化制御部１２２６に管理モジュール管理情報格納要求を送信する。
【００５７】
（Ｓ４００７）管理モジュール二重化制御部１２２６は、Ｓ４００６の管理モジュール管理情報格納要求を受信し、計算機システム管理情報制御部１２２１に管理モジュール管理情報格納要求を送信する。
【００５８】
（Ｓ４００８）計算機システム管理情報制御部１２２１は、Ｓ４００７の管理モジュール管理情報格納要求を受信し、ＳＤカード１２１０に管理モジュール管理情報格納要求を送信する。
【００５９】
（Ｓ４００９）ＳＤカード１２１０に管理モジュール管理情報１１１１が格納される。
【００６０】
（Ｓ４０１０）ＳＤカード１２１０は、計算機システム管理情報制御部１２２１に管理モジュール管理情報格納応答を送信する。
【００６１】
（Ｓ４０１１）計算機システム管理情報制御部１２２１は、Ｓ４０１０の管理モジュール管理情報格納応答を受信し、管理モジュール二重化制御部１２２６に管理モジュール管理情報格納応答を送信する。
【００６２】
（Ｓ４０１２）管理モジュール二重化制御部１２２６は、Ｓ４０１１の管理モジュール管理情報格納応答を受信し、主系の管理モジュール二重化制御部１１２６に管理モジュール管理情報格納応答を送信する。
【００６３】
（Ｓ４０１３）管理モジュール二重化制御部１１２６は、Ｓ４０１２の管理モジュール管理情報格納応答を受信し、計算機システム管理情報制御部１１２１に管理モジュール管理情報格納応答を送信する。
【００６４】
（Ｓ４０１４）計算機システム管理情報制御部１１２１は、Ｓ４０１３の管理モジュール管理情報格納応答を受信し、外部記憶装置制御部１１２３に管理モジュール管理情報外部記憶装置格納要求を送信する。
【００６５】
（Ｓ４０１５）外部記憶装置制御部１１２３は、管理モジュール管理情報外部記憶装置格納要求を受信し、外部記憶装置１４１０に管理モジュール管理情報外部記憶装置格納要求を送信する。
【００６６】
（Ｓ４０１６）外部記憶装置１４１０に管理モジュール管理情報１１１１が格納される。
【００６７】
（Ｓ４０１７）外部記憶装置１４１０は、外部記憶装置制御部１１２３に管理モジュール管理情報外部記憶装置格納応答を送信する。
【００６８】
（Ｓ４０１８）外部記憶装置制御部１１２３は、管理モジュール管理情報外部記憶装置格納応答を受信し、計算機システム管理情報制御部１１２１に管理モジュール管理情報外部記憶装置格納応答を送信する。
【００６９】
以上のステップにより、主系の管理モジュール１１００が有するＳＤカード１１１０に格納された管理モジュール管理情報１１１１が、待機系管理モジュール１２００内ＳＤカード１２１０、及び外部記憶装置１４１０に保存される。これにより上述の管理情報保存要件を満たす。
【００７０】
図５は、サーバブレード１３１０にサーバブレード管理情報１３１１が保存された場合に、それを管理モジュールが管理情報として保存する際のシーケンスである。
【００７１】
（Ｓ５０００）ＢＭＣ１３１２は、主系のサーバブレード管理情報制御部１１２４にサーバブレード管理情報更新通知を送信する。
【００７２】
（Ｓ５００１）サーバブレード管理情報制御部１１２４は、サーバブレード管理情報更新通知を受信し、ＢＭＣ１３１２にサーバブレード管理情報取得要求を送信する。
【００７３】
（Ｓ５００２）ＢＭＣ１３１２は、サーバブレード管理情報取得要求を受信し、サーバブレード管理情報制御部１１２４にサーバブレード管理情報取得応答を送信する。
【００７４】
（Ｓ５００３）サーバブレード管理情報制御部１１２４は、サーバブレード管理情報取得応答を受信し、計算機システム管理情報制御部１１２１にサーバブレード管理情報格納要求を送信する。
【００７５】
（Ｓ５００４）計算機システム管理情報制御部１１２１は、Ｓ５００３のサーバブレード管理情報格納要求を受信し、ＳＤカード１１１０にサーバブレード管理情報格納要求を送信する。
【００７６】
（Ｓ５００５）ＳＤカード１１１０にサーバブレード管理情報が格納される。（Ｓ５００６）ＳＤカード１１１０は、計算機システム管理情報制御部１１２１にサーバブレード管理情報格納応答を送信する。
【００７７】
（Ｓ５００７）計算機システム管理情報制御部１１２１は、サーバブレード管理情報格納応答を受信し、管理モジュール二重化制御部１１２６に待機系管理モジュール状態情報取得要求を送信する。
【００７８】
（Ｓ５００８）管理モジュール二重化制御部１１２６は、待機系管理モジュール状態情報取得要求を受信し、管理モジュール系情報１１３０から待機系管理モジュール状態情報を取得する。計算機システム管理情報制御部１１２１に、取得した待機系管理モジュール状態情報を待機系管理モジュール状態情報取得応答として送信する。
【００７９】
（Ｓ５００９）計算機システム管理情報制御部１１２１は、待機系管理モジュール状態情報取得応答を受信し、待機系管理モジュール１２００が存在することを確認し、管理モジュール二重化制御部１１２６にサーバブレード管理情報格納要求を送信する。
【００８０】
（Ｓ５０１０）管理モジュール二重化制御部１１２６は、サーバブレード管理情報格納要求を受信し、待機系の管理モジュール二重化制御部１２２６にサーバブレード管理情報格納要求を送信する。
【００８１】
（Ｓ５０１１）管理モジュール二重化制御部１２２６は、Ｓ５０１０のサーバブレード管理情報格納要求を受信し、計算機システム管理情報制御部１２２１にサーバブレード管理情報格納要求を送信する。
【００８２】
（Ｓ５０１２）計算機システム管理情報制御部１２２１は、Ｓ５０１１のサーバブレード管理情報格納要求を受信し、ＳＤカード１２１０にサーバブレード管理情報格納要求を送信する。
【００８３】
（Ｓ５０１３）ＳＤカード１２１０にサーバブレード管理情報１３１１が格納される。すなわち、管理モジュール１１００の二重化制御部１１２６は、待機系となる管理モジュール１２００の二重化制御部１２２６に、管理モジュール１１００のＳＤカード１１１０に保存される管理情報を送信する。そして、二重化制御部１２２６は受信した管理情報を、管理モジュール１２００のＳＤカード１２１０に保存する。
【００８４】
（Ｓ５０１４）ＳＤカード１２１０は、計算機システム管理情報制御部１２２１にサーバブレード管理情報格納応答を送信する。
【００８５】
（Ｓ５０１５）計算機システム管理情報制御部１２２１は、サーバブレード管理情報格納応答を受信し、管理モジュール二重化制御部１２２６にサーバブレード管理情報格納応答を送信する。
【００８６】
(Ｓ５０１６)管理モジュール二重化制御部１２２６は、Ｓ５０１５のサーバブレード管理情報格納応答を受信し、管理モジュール二重化制御部１１２６にサーバブレード管理情報格納応答を送信する。
【００８７】
(Ｓ５０１７)管理モジュール二重化制御部１１２６は、Ｓ５０１６のサーバブレード管理情報格納応答を受信し、計算機システム管理情報制御部１１２１にサーバブレード管理情報格納応答を送信する。
【００８８】
（Ｓ５０１８）計算機システム管理情報制御部１１２１は、Ｓ５０１７のサーバブレード管理情報格納応答を受信し、外部記憶装置制御部１１２３にサーバブレード管理情報外部記憶装置格納要求を送信する。
【００８９】
（Ｓ５０１９）外部記憶装置制御部１１２３は、サーバブレード管理情報外部記憶装置格納要求を受信し、外部記憶装置１４１０にサーバブレード管理情報外部記憶装置格納要求を送信する。
【００９０】
（Ｓ５０２０）外部記憶装置１４１０にサーバブレード管理情報が格納される。
【００９１】
（Ｓ５０２１）外部記憶装置１４１０は、外部記憶装置制御部１１２３にサーバブレード管理情報外部記憶装置格納応答を送信する。
【００９２】
（Ｓ５０２２）外部記憶装置制御部１１２３は、サーバブレード管理情報外部記憶装置格納応答を受信し、計算機システム管理情報制御部１１２１にサーバブレード管理情報外部記憶装置格納応答を送信する。
【００９３】
管理情報保存要件を満たすために、管理モジュール管理情報１１１１またはサーバブレード管理情報１３１１が更新されてそれを管理モジュールが保存する際は、まずＳＤカード１１１０に管理情報を保存し（Ｓ４００１、Ｓ５００５）、次にＳＤカード１２１０に保存し（Ｓ４００９、Ｓ５０１３）、最後に外部記憶装置１４１０内に情報を保存する（Ｓ４０１６、Ｓ５０２０）。
【００９４】
また、スイッチモジュール１３２０にスイッチモジュール管理情報１３２１が保存された場合に、それを管理モジュールが管理情報として保存する際についても、上述の図５とほぼ同様のシーケンスとなる。
【００９５】
例えば、図５のシーケンスにおいて、サーバブレード１３１０をスイッチモジュール１３２０に、サーバブレード管理情報１３１１をスイッチモジュール管理情報１３２１に、ＢＭＣ１３１２をスイッチモジュール制御部１３２２に、サーバブレード管理情報制御部１１２４をスイッチモジュール管理情報制御部１１２５と置き換えて、スイッチモジュール管理情報１３２１をＳＤカード１１１０とＳＤカード１２１０と外部記憶装置に保存するシーケンスとなる。
【００９６】
管理モジュール１１００が主系管理モジュールである場合、スイッチ制御部１１２２は、主系の管理モジュール１１００と外部記憶装置１４１０とが接続するようにスイッチ１４２０を制御する。このため、主系管理モジュールと待機系管理モジュールが二台同時にアクセスすることによる外部記憶装置の破損を防止して、主系管理モジュール内の管理情報を外部記憶装置に保存できる。
【００９７】
外部記憶装置１４１０は、前述の通り管理モジュール１１００または１２００から直接ストレージとして認識されているため、管理モジュール１２００と外部記憶装置１４１０が接続している状態で、スイッチ１４２０を切り替えて管理モジュール１１００と接続すると、外部記憶装置１４１０と管理モジュール１２００の接続が突然切れる。
【００９８】
このとき、外部記憶装置１４１０が破損したり、管理モジュール１２００において、外部記憶装置１４１０が突然切断されたなどの期待しないログを取ったりという問題が生じる可能性がある。
【００９９】
外部記憶装置１４１０に更新された管理情報を保存する際に、以下に示すスイッチ接続用件を満たせば、上記の問題点を解決できる。
【０１００】
＜スイッチ接続要件＞外部記憶装置１４１０は、主系管理モジュールと接続する。また、外部記憶装置１４１０は、待機系管理モジュールと接続してはならない。さらに、外部記憶装置１４１０は、系が決定する前に管理モジュールと接続してはならない。
【０１０１】
このスイッチ接続要件は、前述のスイッチ制御部１１２２、１２２２によるスイッチ１４２０の制御のみでは実現できない。スイッチ１４２０が必ず主系または待機系どちらかの管理モジュールと接続状態であるとすると、管理モジュール１１００，１２００が両方存在する状態で起動した場合、その時点で系状態未定のどちらかの管理モジュールと接続してしまうからである。
【０１０２】
本実施例では、このスイッチ接続要件を実現するために、スイッチ１４２０の制御とは別に、外部記憶装置制御部１１２３，１２２３で、その管理モジュールが外部記憶装置１４１０と接続するかどうかを制御する。実施例として、管理モジュール１１００，１２００が、スイッチ１４２０と接続する外部記憶装置接続部１１４０，１２４０を有する計算機システムについて説明する。
【０１０３】
外部記憶装置制御部１１２３，１２２３は、外部記憶装置接続部１１４０，１２４０の有する接続ポートを閉じることにより計算機制御部１１００，１２００とスイッチ１４２０とが接続しない状態とし、接続ポートを開くことにより計算機制御部１１００，１２００とスイッチ１４２０とが接続する状態とする。
【０１０４】
管理モジュール１１００、１２００が起動した直後は、外部記憶装置制御部１１２３、１２２３はいずれも、管理モジュール１１００、１２００と外部記憶装置１４１０とが接続しない状態とする。その後、系決定処理により系状態が決定した時点で、主系管理モジュールとなった１１００では、スイッチ制御部１１２２がスイッチ１４２０を管理モジュール１１００側に向け、次に外部記憶装置制御部１１２３が管理モジュール１１００と外部記憶装置１４１０とが接続する状態とする。
【０１０５】
待機系管理モジュールとなった１２００では、スイッチ制御部１２２２はスイッチ１４２０の制御をせず、外部記憶装置制御部１２２３は外部記憶装置１４１０と接続しない状態のままとする。主系管理モジュール１１００に障害が発生し、待機系管理モジュールであった管理モジュール１２００が主系となった場合、外部記憶装置制御部１１２３が管理モジュール１１００と外部記憶装置１４１０とが接続しない状態とし、スイッチ制御部１２２２がスイッチ１４２０を管理モジュール１２００側に向け、次に外部記憶装置制御部１２２３が外部記憶装置１４１０と接続する状態とする。
【０１０６】
具体例として、外部記憶装置１４１０がＵＳＢメモリであり、管理モジュール１１００が外部記憶装置制御部１１２３と接続されたＵＳＢポートを有し、管理モジュール１２００が外部記憶装置制御部１２２３と接続されたＵＳＢポートを有する場合において、外部記憶装置制御部１１２３，１２２３は、ＵＳＢメモリと接続しない状態とするときＵＳＢポートを閉じ、ＵＳＢメモリと接続する状態とするときＵＳＢポートを開く。
【０１０７】
すなわち、管理モジュール１１００，１２００の系状態が未定のとき、または系状態が変化するときには接続ポートが閉じており、管理モジュール１１００，１２００の系状態が決定し、スイッチが主系の管理モジュールに向けられた後に主系の管理モジュールの接続ポートを開く。このとき、待機系の管理モジュールの接続ポートは閉じた状態を継続する。このため、外部記憶装置１４１０と管理モジュール１１００，１２００との接続が突然切れて、外部記憶装置１４１０が破損したり、管理モジュール１１００，１２００において、外部記憶装置１４１０が突然切断されたなどの期待しないログを取ったりすることを防止できる。
【０１０８】
また、本実施例では管理情報保存の要件より、主系管理モジュール内管理情報と待機系管理モジュール内管理情報と外部記憶装置内管理情報を同じものにする。外部記憶装置１４１０に格納されている管理情報は、管理モジュール１１００が主系として起動すると決まった直後に、主系管理モジュール１１００が、ＳＤカード１１１０の管理情報と外部記憶装置１４１０の管理情報を同期する処理を行う。待機系管理モジュール１２００に格納されている管理情報は、管理モジュール１２００が待機系として起動すると決まった直後に、待機系管理モジュール１２００が、ＳＤカード１１１０の管理情報を取得しに行き、ＳＤカード１２１０にＳＤカード１１１０と同じ管理情報を保存する処理を行う。
【０１０９】
管理モジュールが障害などで壊れた際、交換部品に交換する必要がある。管理モジュール１１００と１２００両方が存在する状態で、待機系管理モジュールである１２００を交換する場合、交換された待機系管理モジュール１２００は待機系として起動するので、主系管理モジュール１１００が有する管理情報を同期し、管理情報が消失することは無い。主系管理モジュールである１１００を交換する場合も、主系管理モジュール１１００が障害となった時点で管理モジュール系交替が行われ、管理モジュール１２００が主系となるため、管理モジュール１１００は交換する時点で待機系となっている。そのため、管理モジュール１２００の交換時と同様となる。
【０１１０】
一方、管理モジュールとして管理モジュール１１００のみが存在する状態で管理モジュール１１００を交換する場合、管理モジュール１１００を取り外した時点で、計算機システム１０００内には外部記憶装置１４１０にしか管理情報が無い状態となっている。この状態で、交換した管理モジュール１１００が主系として起動すると決まった際に、ＳＤカード１１１０の管理情報を外部記憶装置１４１０に同期する処理を実施してしまうと、外部記憶装置１４１０の管理情報がＳＤカード１１１０の管理情報で上書きされてしまい、交換前に保持していた管理情報が消失してしまう。本来は、外部記憶装置１４１０の管理情報で、ＳＤカード１１１０の管理情報をリストアしなければならない。
【０１１１】
そのため、管理モジュールは主系として動作することが決まった時点で、管理モジュール自身が交換直後の状態であれば外部記憶装置１４１０の管理情報でＳＤカード１１１０の管理情報をリストアし、そうでない場合はＳＤカード１１１０の管理情報を外部記憶装置１４１０に同期する必要がある。ここでの管理情報の同期処理かリストア処理を行うかの判定処理を、以後リストア判定処理と呼ぶ。
【０１１２】
図６は、管理モジュールが起動する時の処理を示すフローチャートである。
【０１１３】
（Ｓ６０００）管理モジュール１１００が起動処理を開始する。
【０１１４】
（Ｓ６００１）管理モジュール１１００が起動した直後に、管理モジュール自身の初期化処理を行う。管理モジュール自身の初期化処理中では、管理モジュールに含まれるハードウェアの初期診断を実施し、管理モジュール自身に障害が発生していないかの確認を行う。また、他系の管理モジュールの二重化制御部との接続処理を実施する。
【０１１５】
（Ｓ６００２）次に、図２に示した系決定処理を行う。
【０１１６】
（Ｓ６００３）Ｓ６００２の系決定処理における、系状態の判定処理を行う。
【０１１７】
（Ｓ６００４）Ｓ６００３の判定の結果、主系となった場合には、スイッチ制御部１１２２がスイッチ切り替え処理を行う。スイッチ切り替え処理では、スイッチ制御部１１２２が、スイッチ１４２０を主系管理モジュール１１００側に向ける。また、外部記憶装置制御部１１２３は、計算機制御部１１２０とスイッチ１４２０とが接続するように接続ポートを開いた状態とする。
【０１１８】
（Ｓ６００５）次にリストア判定処理を行う。リストア判定処理では、同期処理を行うか、リストア処理を行うかを判定している。リストア判定処理の詳細については後述する。
【０１１９】
（Ｓ６００６）Ｓ６００５のリストア判定処理の結果で次に行う処理判定を行う。
【０１２０】
（Ｓ６００７）Ｓ６００６の判定の結果、管理情報同期処理を行うことになった場合に、管理情報同期処理では、管理情報の同期を外部記憶装置１４１０に行う。
【０１２１】
（Ｓ６００８）Ｓ６００６の判定の結果、管理情報リストア処理を行うことになった場合は、管理情報リストア処理を実施する。管理情報リストア処理の処理内容の詳細は後述する。
【０１２２】
（Ｓ６０１０）次に、主系初期化処理を実施する。主系初期化処理では、計算機システム１０００内の各モジュールの障害監視の開始や、管理モジュールの管理コンソールの有効化を実施する。主系初期化処理が完了すると、管理モジュールの計算機システム管理機能が動作し始める。
【０１２３】
（Ｓ６００９）Ｓ６００３の判定の結果、系が待機系となった場合は、管理情報取得保存処理を実施する。管理情報取得保存処理では、管理モジュール１１００が待機系と決まった時点で、主系管理モジュールに管理情報取得要求を出し、取得した情報を保存することで、主系管理モジュールの有する管理情報と同じ管理情報をＳＤカード１１１０に格納し起動する。
【０１２４】
（Ｓ６０１１）次に、待機系初期化処理を実施する。待機系管理モジュールでは計算機システム管理機能は動作しないので、待機系初期化処理では主系で実施していた障害管理の開始などは実施しない。但し、管理モジュールの管理コンソールの有効化は実施する。待機系初期化処理が完了すると、管理モジュール交替するための準備が整い、これ以降に主系管理モジュールが障害となると、管理モジュール交替が発生し、計算機システム管理機能を停止させることなく計算機システムの稼動を続けることができる。
【０１２５】
（Ｓ６０１２）管理モジュール起動処理が終了する。
【０１２６】
図７は、主系管理モジュール１１００の起動から動作を開始するまでの処理を説明するシーケンスである。
【０１２７】
（Ｓ７０００）管理モジュール１１００が起動する。
【０１２８】
（Ｓ７００１）この時点では、管理モジュール１１００がどちらの系になるか決定していないので、管理モジュール１１００と外部記憶装置１４１０は接続しない状態とする。すなわち、外部記憶装置制御部１１２３は、計算機制御部１１２０とスイッチ１４２０とが接続しないように接続ポートを閉じた状態とする。
【０１２９】
（Ｓ７００２）管理モジュール自身の初期化処理を実施する。
【０１３０】
（Ｓ７００３）次に、図２に示した系決定処理を行う。管理モジュール１１００が主系として起動することに決定する。
【０１３１】
（Ｓ７００４）主系の管理モジュール二重化制御部１１２６は、スイッチ制御部１１２２にスイッチ切り替え要求を送信する。
【０１３２】
（Ｓ７００５）スイッチ制御部１１２２は、スイッチ切り替え要求を受信し、スイッチ１４２０を主系管理モジュール１１００側に向ける。
【０１３３】
（Ｓ７００６）スイッチ制御部１１２２は、管理モジュール二重化制御部１１２６にスイッチ切り替え応答を送信する。
【０１３４】
（Ｓ７００７）管理モジュール二重化制御部１１２６は、スイッチ切り替え応答を受信し、外部記憶装置制御部１１２３に管理モジュールと外部記憶装置の接続制御要求を送信する。
【０１３５】
（Ｓ７００８）外部記憶装置制御部１１２３は、管理モジュールと外部記憶装置の接続制御要求を受信し、接続ポートを開き、管理モジュール１１００と外部記憶装置１４１０とを接続する。
【０１３６】
（Ｓ７００９）外部記憶装置制御部１１２３は、管理モジュール二重化制御部１１２６に管理モジュールと外部記憶装置の接続制御応答を送信する。
【０１３７】
（Ｓ７０１０）管理モジュール二重化制御部１１２６は、管理モジュールと外部記憶装置の接続制御応答を受信し、計算機システム管理情報制御部１１２１に管理情報同期または管理情報リストア要求を送信する。
【０１３８】
（Ｓ７０１１）計算機システム管理情報制御部１１２１は、管理情報同期処理または管理情報リストア処理要求を受信し、リストア判定処理を実施する。リストア判定処理は図６のＳ６００５であり、この処理内容は管理情報リストア方法の説明で後述する。
【０１３９】
（Ｓ７０１２）Ｓ７０１１の判定の結果、管理情報同期に決定し、計算機システム管理情報制御部１１２１は、ＳＤカード１１１０に管理情報取得要求を送信する。
【０１４０】
（Ｓ７０１３）ＳＤカード１１１０は、管理情報取得要求を受信し、ＳＤカード１１１０に保持している管理情報を管理情報取得応答として、計算機システム管理情報制御部１１２１に送信する。
【０１４１】
（Ｓ７０１４）計算機システム管理情報制御部１１２１は、管理情報取得応答を受信し、外部記憶装置制御部１１２３に、取得した管理情報を管理情報格納要求として送信する。
【０１４２】
（Ｓ７０１５）外部記憶装置制御部１１２３は、Ｓ７０１４の管理情報格納要求を受信し、外部記憶装置１４１０に管理情報格納要求を送信する。
【０１４３】
（Ｓ７０１６）外部記憶装置１４１０に管理情報が格納される。すなわち、外部記憶装置制御部１１２３は、管理モジュール１１００のＳＤカード１１１０（管理情報記憶部）に記憶される管理情報を、前記外部記憶装置１４１０に保存する。
【０１４４】
（Ｓ７０１７）外部記憶装置１４１０は、外部記憶装置制御部１１２３に管理情報格納応答を送信する。
【０１４５】
（Ｓ７０１８）外部記憶装置制御部１１２３は、Ｓ７０１７の管理情報格納応答を受信し、計算機システム管理情報制御部１１２１に管理情報格納応答を送信する。
【０１４６】
（Ｓ７０１９）計算機システム管理情報制御部１１２１は、Ｓ７０１８の管理情報格納応答を受信し、管理モジュール二重化制御部１１２６に管理情報同期処理またはリストア処理応答を送信する。
【０１４７】
（Ｓ７０２０）主系初期化処理を実施する。
【０１４８】
（Ｓ７０２１）管理モジュールが動作開始する。
【０１４９】
本実施例において、スイッチ１４２０の切り替えをするためのスイッチ切り替え要求Ｓ７００４、外部記憶装置１４１０との接続をするための管理モジュール１１００と外部記憶装置１４１０の接続制御要求Ｓ７００７、管理情報同期処理をするための管理情報同期処理または管理情報リストア処理要求Ｓ７０１０の順番・実施を担っているのが管理モジュール二重化制御部１１２６である。
【０１５０】
図８は、管理モジュール１１００の起動時における管理モジュール二重化制御部１１２６の処理を説明するフローチャートの例である。
【０１５１】
（Ｓ８０００）管理モジュール二重化制御部１１２６が処理を開始する。
【０１５２】
（Ｓ８００１）次に、図２に示した系決定処理を行う。
【０１５３】
（Ｓ８００２）Ｓ８００１の系決定処理の系状態結果を判定する。
【０１５４】
（Ｓ８００３）Ｓ８００２の判定の結果、管理モジュール１１００の系が主系となった場合には、スイッチ制御部１１２２にスイッチ切り替え要求を送信する。一方、Ｓ８００２の判定の結果、系が主系でない場合は、何もしない。
【０１５５】
（Ｓ８００４）次に、外部記憶装置制御部１１２３に管理モジュール１１００と外部記憶装置１４１０の接続制御要求を送信する。
【０１５６】
（Ｓ８００５）計算機システム管理情報制御部１１２１に管理情報同期処理または管理情報リストア処理要求を出す。
【０１５７】
（Ｓ８００６）管理モジュール１１００起動時における管理モジュール二重化制御部１１２６の処理を終了する。
【０１５８】
次に、管理モジュール交替時について説明する。図９は、主系であった管理モジュール１１００が障害となり、待機系であった管理モジュール１２００が新しく主系管理モジュール（新主系管理モジュール）として起動する際の、管理モジュール１２００の処理を説明するフローチャートである。
【０１５９】
（Ｓ９０００）管理モジュールの交替が発生する。例えば、主系であった管理モジュール１１００が障害となる場合である。
【０１６０】
（Ｓ９００１）まず、管理モジュールの主系処理引き継ぎ処理を行う。管理モジュールの主系処理引き継ぎ処理とは、主系であった管理モジュール１１００で実施していた処理を、新主系管理モジュール１２００で実施するようにするための処理である。処理の例として、障害監視や外部インターフェースポートのオープンが挙げられる。
【０１６１】
（Ｓ９００２）次に、スイッチ１４２０の切り替え処理では、新主系管理モジュール１２００のスイッチ制御部１２２２が、スイッチ１４２０を管理モジュール１２００側に向ける。
【０１６２】
（Ｓ９００３）管理情報同期処理では、管理情報の同期を外部記憶装置１４１０に行う。
【０１６３】
（Ｓ９００４）主系初期化処理を行う。
【０１６４】
（Ｓ９００５）管理モジュール交替が終了し、管理モジュール１２００が主系の管理モジュールとして動作する。
【０１６５】
図１０は、管理モジュール１１００が障害となり、管理モジュール１２００が新主系管理モジュールとして動作する際の、管理モジュール１２００の処理を説明するシーケンスである。図７と重複する点があるので、ここでは主に図７との相違点を挙げる。
【０１６６】
（Ｓ１００００）管理モジュールの系交替契機が検出される。
【０１６７】
（Ｓ１０００１）新主系管理モジュールの二重化制御部１２２６が主系の処理を引き継ぐ。
【０１６８】
（Ｓ１０００８）管理モジュール二重化制御部１２２６は、計算機システム管理情報制御部１２２１に管理情報同期処理要求を送信する。
【０１６９】
（Ｓ１００１６）計算機システム管理情報制御部１２２１は、管理モジュール二重化制御部１２２６に管理情報同期処理応答を送信する。
【０１７０】
（Ｓ１００１７）管理モジュール１２００が新主系管理モジュール１２００として動作を開始する。
【０１７１】
本実施例では、スイッチ１４２０の切り替えをするためのスイッチ１４２０切り替え要求（Ｓ１０００２）外部記憶装置１４１０との接続をするための主系管理モジュール１２００と外部記憶装置１４１０の接続制御要求（Ｓ１０００５）、管理情報同期処理をするための管理情報同期処理要求（Ｓ１０００８）の順番、実施を担っているのが管理モジュール二重化制御部１２２６である。
図１１は、管理モジュール二重化制御部１２２６のフローチャートである。
【０１７２】
（Ｓ１１０００）管理モジュール二重化制御部１２２６が処理を開始する。
【０１７３】
（Ｓ１１００１）スイッチ制御部１２２２にスイッチ切り替え要求を出す。
【０１７４】
（Ｓ１１００２）次に、外部記憶装置制御部１２２３に管理モジュール１２００と外部記憶装置１４１０の接続制御要求を出す。
【０１７５】
（Ｓ１１００３）計算機システム管理情報制御部１２２１に管理情報同期処理要求を出す。
【０１７６】
（Ｓ１１００４）処理を終了する。
【０１７７】
本実施例の計算機システム１０００では、以上の処理により、主系管理モジュール内ＳＤカード１１１０に格納されている管理情報と待機系管理モジュール内ＳＤカード１２１０に格納されている管理情報と外部記憶装置１４１０内に格納されている管理情報の同期を実現している。
【０１７８】
次に、管理モジュールが障害等で交換部品に交換する場合等において、交換部品に交換した後の、管理モジュール内管理情報のリストア方法についての詳細を説明する。
【０１７９】
前述の通り、管理モジュールを交換部品に交換するパターンは、待機系管理モジュールを交換する場合と主系管理モジュールを交換する場合の二通りがある。この２パターンについての処理の詳細を順に説明する。まず待機系管理モジュールを交換する場合を説明し、次に主系管理モジュールを交換する場合を説明する。
【０１８０】
待機系管理モジュールを交換する場合、管理モジュール起動時と同様に、待機系管理モジュールが起動前に主系管理モジュールＳＤカードから管理情報を取得し、主系管理モジュールＳＤカード内管理情報と同じ管理情報を待機系管理モジュールＳＤカードに格納し起動する。
【０１８１】
図１２は、交換部品を待機系管理モジュールとして挿入した場合の起動から動作開始までのシーケンスである。
【０１８２】
（Ｓ１２０００）管理モジュール１２００が起動する。
【０１８３】
（Ｓ１２００１）管理モジュール１２００自身の初期化処理を実施する。
【０１８４】
（Ｓ１２００２）次に、図２に示した系決定処理を行い、管理モジュール１２００が待機系として起動することが決定する。
【０１８５】
（Ｓ１２００３）待機系の管理モジュール二重化制御部１２２６は、主系の管理モジュール二重化制御部１１２６に管理情報格納要求を送信する。
【０１８６】
（Ｓ１２００４）管理モジュール二重化制御部１１２６は、Ｓ１２００３の管理情報格納要求を受信し、計算機システム管理情報制御部１１２１に管理情報格納要求を送信する。
【０１８７】
（Ｓ１２００５）計算機システム管理情報制御部１１２１は、管理情報格納要求を受信し、ＳＤカード１１１０に管理情報取得要求を送信する。
【０１８８】
（Ｓ１２００６）ＳＤカード１１１０は、管理情報取得要求を受信し、計算機システム管理情報制御部１１２１に管理情報格納応答を送信する。
【０１８９】
（Ｓ１２００７）計算機システム管理情報制御部１１２１は、Ｓ１２００６の管理情報取得応答を受信し、管理モジュール二重化制御部１１２６に管理情報格納要求を送信する。
【０１９０】
（Ｓ１２００８）管理モジュール二重化制御部１１２６は、Ｓ１２００７の管理情報格納要求を受信し、管理モジュール二重化制御部１２２６に管理情報格納要求を送信する。
【０１９１】
（Ｓ１２００９）管理モジュール二重化制御部１２２６は、Ｓ１２００８の管理情報格納要求を受信し、計算機システム管理情報制御部１２２１に管理情報格納要求を送信する。
【０１９２】
（Ｓ１２０１０）計算機システム管理情報制御部１２２１は、Ｓ１２００９の管理情報格納要求を受信し、ＳＤカード１２１０に管理情報格納要求を送信する。
【０１９３】
（Ｓ１２０１１）ＳＤカード１２１０に管理情報が格納される。
【０１９４】
（Ｓ１２０１２）ＳＤカード１２１０は、計算機システム管理情報制御部１２２１に管理情報格納応答を送信する。
【０１９５】
（Ｓ１２０１３）計算機システム管理情報制御部１２２１は、Ｓ１２０１２の管理情報格納応答を受信し、管理モジュール二重化制御部１２２６に管理情報格納応答を送信する。
【０１９６】
（Ｓ１２０１４）待機系初期化処理を実施する。
【０１９７】
（Ｓ１２０１５）管理モジュール１２００が動作を開始する。
【０１９８】
次に主系管理モジュールを交換する場合であるが、この際は前述の通りリストア判定処理を実施し、主系管理モジュールが交換直後の状態であれば外部記憶装置の管理情報で管理モジュールの管理情報をリストアし、そうでない場合は管理モジュールの管理情報を外部記憶装置に同期する。但し、管理モジュールの交換が完了し、一度外部記憶装置の管理情報で管理モジュールの管理情報をリストアした後は、次回の起動では管理モジュールの管理情報を外部記憶装置に同期する。
【０１９９】
図１３は、リストア判定処理のフローチャートである。
【０２００】
（Ｓ１３０００）リストア判定処理を開始する。
【０２０１】
（Ｓ１３００１）リストア判定処理において、管理モジュール１１００が交換直後の状態であるかどうかを判定するため、本実施例ではＳＤカード１１１０に管理情報が保存されているかどうかで判定し、ＳＤカード１１１０は、管理情報がある状態と管理情報がない状態の二つを持つ。そのために、交換部品はＳＤカード１１１０内に管理情報がない状態で出荷することとし、一度でもリストアされればＳＤカード内に管理情報が保存され、管理情報がある状態となる。ＳＤカード１１１０に管理情報が保存されたことは、管理情報のファイルがあることで判別できるようにする。
【０２０２】
（Ｓ１３００３）Ｓ１３００１の判定の結果、主系管理モジュールＳＤカード１１１０に管理情報がある場合、管理情報同期処理を実施することに決定する。
【０２０３】
（Ｓ１３００２）Ｓ１３００１の判定の結果、主系管理モジュールＳＤカード１１１０に管理情報がない場合、外部記憶装置１４１０に管理情報があるかどうかを判定する。
【０２０４】
（Ｓ１３００４）Ｓ１３００２の判定の結果、外部記憶装置１４１０に管理情報がある場合、管理情報リストア処理を実施することに決定する。
【０２０５】
（Ｓ１３００５）Ｓ１３００２の判定の結果、外部記憶装置１４１０に管理情報がない場合、例えば、計算機システムの生産工程にて計算機システムの組み上げを実施している際である。この際は、外部記憶装置１４１０からのリストアを実施しても意味を成さないため、管理モジュール１１００で管理情報の初期値を作成し、それをＳＤカード１１１０に保存した上で、その情報を外部記憶装置１４１０に同期する処理を行う。
【０２０６】
（Ｓ１３００６）処理を終了する。
【０２０７】
管理モジュールを二台とも交換する必要がある場合は、計算機システム１０００から管理モジュール１１００と１２００を両方取り外した後、新しい管理モジュール一台のみを挿入する。このとき、計算機システム１０００に存在する管理モジュールは一台のみなので、主系として起動することが決まり、図１３の判定の結果、外部記憶装置１４１０内管理情報からのリストア処理を実施する。次に主系となった管理モジュール１１００において管理情報のリストア処理が終了していることを確認した上で、もう一台の管理モジュール１２００を挿入する。挿入した管理モジュール１２００は、主系管理モジュール１１００が起動している状態で挿入したので、待機系として起動することが決まる。図１２の処理より、待機系管理モジュール１２００が起動する前に、主系管理モジュール１１００に対して、主系管理モジュールが有する管理情報の取得要求を出し、取得した情報を格納することで、主系管理モジュール１１００と同じ管理情報をＳＤカード１２１０に格納し起動する。
【０２０８】
図１４は、交換部品を主系管理モジュールとして挿入した場合の管理情報のリストア処理のシーケンスである。図７と重複する点があるので、ここでは図７との相違点のみを挙げる。
【０２０９】
（Ｓ１４０１１）リストア判定処理で管理情報リストアを実施することに決定する。
【０２１０】
（Ｓ１４０１２）主系の計算機システム管理情報制御部１１２１は、外部記憶装置制御部１１２３に管理情報取得要求を送信する。
【０２１１】
（Ｓ１４０１３）外部記憶装置制御部１１２３は、外部記憶装置に管理情報取得要求を送信する。
【０２１２】
（Ｓ１４０１４）外部記憶装置１４１０は、Ｓ１４０１３の管理情報取得要求を受信し、外部記憶装置制御部１１２３に管理情報取得応答を送信する。
【０２１３】
（Ｓ１４０１５）外部記憶装置制御部１１２３は、Ｓ１４０１４の管理情報取得要求を受信し、計算機システム管理情報制御部１１２１に管理情報取得応答を送信する。
【０２１４】
（Ｓ１４０１６）計算機システム管理情報制御部１１２１は、Ｓ１４０１５の管理情報取得応答を受信し、ＳＤカード１１１０に管理情報格納要求を送信する。
【０２１５】
（Ｓ１４０１７）ＳＤカード１１１０に管理情報が格納され、管理情報がある状態となるので、次に管理モジュール１１００を起動した場合は、リストア判定処理で、同期処理が選択される。
【０２１６】
（Ｓ１４０１８）ＳＤカード１１１０は、計算機システム管理情報制御部１１２１に管理情報格納応答を送信する。
【０２１７】
本実施例の計算機システム１０００では、以上の処理を実施することで、外部記憶装置１４１０内の管理情報のリストア処理を実施している。
【実施例２】
【０２１８】
実施例１では、外部記憶装置１４１０とスイッチ１４２０をフロントパネルモジュール１４００に格納したが、外部記憶装置とスイッチは必ずしもフロントパネルモジュール上に存在する必要は無い。
【０２１９】
例えば、実施例２として、図１５のように、管理情報バックアップモジュール１５４００を計算機システム１５０００内に内蔵し、外部記憶装置１５４１０とスイッチ１５４２０を格納する専用のモジュールを用意しても良い。
【０２２０】
管理情報バックアップモジュール１５４００は、管理モジュール１５１００と１５２００と接続している。管理情報を同期、リストアするシーケンス、フローチャートは、実施例１の計算機システムと同様のため、割愛する。
【０２２１】
以上の実施例１および実施例２で示した計算機システムおよび計算機システムの情報保存方式により、主系と待機系の管理モジュールが障害等で管理モジュールを二台同時に交換する際に、外部記憶装置に保持される管理情報を用いて、計算機システムに管理情報を回復することができる。また、管理モジュールの交換作業において、管理情報のバックアップ作業が不要となるため、サーバが停止する期間が短縮される。
【０２２２】
また、実施例１と実施例２とは異なる情報保存方式として、サーバと管理モジュールを有する計算機システムにおいて、計算機システム外に外部記憶装置として、サーバを設置して、そこにネットワーク経由で管理情報を格納する方法が考えられる。
【０２２３】
この方式の場合、計算機システムを導入する際に計算機システム以外で装置が必要となり、余分に費用がかかることや、計算機システムとは別に設置場所が必要となる。また、サーバ自体のメンテナンスのコストがかかるという問題点がある。また、計算機システムと計算機システム外のサーバをネットワークでつないで管理情報を格納するには、サーバ上にネットワーク通信と情報格納用のソフトウェアが必要となる。このソフトウェアでは、消失してはならない管理情報を管理するための機能が必要となるため、ソフトウェア開発コストもかかるという問題点もある。
【０２２４】
実施例１および実施例２の計算機システムでは、外部記憶装置を計算機システム内にストレージとして設置することで、安価かつ購入者に余分な装置を設置することによる負担をかけない。さらに、外部記憶装置に専用のソフトウェアを必要せずに、外部記憶装置に主系の管理モジュールの管理情報を保存し、主系と待機系の管理モジュールが二台同時に外部記憶装置にアクセスすることによる外部記憶装置破損にともなう管理情報消失を防ぐ計算機システムが実現できる。
【０２２５】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０２２６】
また、上記の各構成、機能、処理部、処理手段などは、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【０２２７】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０２２８】
１０００、１５０００  計算機システム
１１００、１２００、１５１００、１５２００  管理モジュール
１１１０、１２１０  ＳＤカード
１１１１  管理モジュール管理情報
１１２０、１２２０  計算機制御部
１１２１、１２２１  計算機システム管理情報制御部
１１２２、１２２２  スイッチ制御部
１１２３、１２２３  外部記憶装置制御部
１１２４、１２２４  サーバブレード管理情報制御部
１１２５、１２２５  スイッチモジュール管理情報制御部
１１２６、１２２６  管理モジュール二重化制御部
１３００  コンポーネント
１３１０  サーバブレード
１３１１  サーバブレード管理情報
１３１２  ＢＭＣ
１３２０  スイッチモジュール
１３２１  スイッチモジュール管理情報
１３２２  スイッチモジュール制御部
１４００  フロントパネルモジュール
１４１０、１５４１０  外部記憶装置
１４２０、１５４２０  スイッチ
３０００  管理モジュール系状態格納テーブル
１５４００  管理情報バックアップモジュール
【図１】
0005634379.tif 000002
【図２】
0005634379.tif 000003
【図３】
0005634379.tif 000004
【図４】
0005634379.tif 000005
【図５】
0005634379.tif 000006
【図６】
0005634379.tif 000007
【図７】
0005634379.tif 000008
【図８】
0005634379.tif 000009
【図９】
0005634379.tif 000010
【図１０】
0005634379.tif 000011
【図１１】
0005634379.tif 000012
【図１２】
0005634379.tif 000013
【図１３】
0005634379.tif 000014
【図１４】
0005634379.tif 000015
【図１５】
0005634379.tif 000016