(57)【要約】【課題】特開２０００−２１５０７４号公報により明らかにされている従来技術の構成においては、オリジナルプロセスと、その複製であるクローンプロセスが同一のハードディスク上から起動される仕掛けとなっている。ハードディスクに障害が発生した場合、オリジナルプロセスとクローンプロセス双方が起動不能となる。オリジナルプロセスとクローンプロセスがシステムの運用管理を行うプロセスである場合、システムの障害の検知や対処ができないという問題があった。【解決手段】本発明の原理は、運用管理機能を担う運用管理ブレードと運用管理ブレードの稼働状態を監視する機能を持つ監視ブレードを持ち、相互に稼働状態を監視させて、相手側の障害が検知された場合に、自動的に代替のブレードを起動することで運用管理機能の維持を行う。【選択図】図２
2008140280.tif 000002
【特許請求の範囲】
【請求項１】
サーバのＣＰＵ、メモリ、電源装置、Ｉ／Ｏ装置などをモジュール化したブレードをシャーシと呼ぶ収納ユニットに挿して利用するブレードサーバにおいて、シャーシ内にあるブレードの１つがシャーシ内の他のブレードを管理、制御する運用管理ブレードとして動作するとともに、別のブレードである監視ブレードが運用管理ブレードの稼働状態を監視することを特徴とする運用方法。
【請求項２】
請求項１記載のシステム運用方法であって、運用管理ブレードが監視ブレードの稼働状態を監視することで相互に監視することを特徴とするシステムの運用方法。
【請求項３】
請求項１記載のシステム運用方法であって、運用管理ブレードまたは監視ブレードの障害が検知された場合に、自動的に代替のモジュールを選択し起動することで機能の維持を行うことを特徴とするシステムの運用方法。
【請求項４】
請求項１記載のシステム運用方法であって、各ブレード上に、その上で動作するモジュールを制御することでブレード間の機能分担を調整する制御基盤を持ち、制御基盤間で通信を行い自律的に障害時のブレードの切り替えを行うことを特徴とするシステムの運用方法。
【請求項５】
請求項４記載の運用方法であって、制御基盤が動作停止中または途中からシステムに組み込まれるなどにより、制御基盤の管理情報が他の制御基盤と不整合となっても、他の制御基盤とのメッセージのやりとりを通じて、管理情報を自動的に修復することを特徴とするシステムの運用方法。
【請求項６】
請求項５記載の運用方法であって、制御基盤が状態を一致させるための手段として、制御基盤が実行しようとしている動作に対する問題の有無を確認するためのメッセージ(申告)、他の制御基盤が発行した申告を拒否するメッセージ(オブジェクション)、他の制御基盤に対して強制的に状態管理情報を更新させるメッセージ（宣言）の３つのメッセージのやりとりを行うことを特徴とするシステムの運用方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はブレードサーバの運用管理における信頼性を強化することができるシステム運用の方法に関する。
【背景技術】
【０００２】
図１１は特開２０００−２１５０７４号公報により明らかにされている従来技術の概念を示したものである。本技術においては、共通で使用するハードディスクと、そこから起動されるオリジナルプロセスと、オリジナルプロセスの複製であるクローンプロセスから構成される。 クローンプロセスがオリジナルプロセスの動作を監視し、障害を検知した場合、クローンプロセスが別のオリジナルプロセスを起動する仕掛けとなっている。これによりオリジナルプロセスの障害に対する障害検知と障害復旧の自動化を可能としている。
【０００３】
【特許文献１】特開２０００−２１５０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特開２０００−２１５０７４号公報により明らかにされている従来技術の構成においては、オリジナルプロセスと、その複製であるクローンプロセスが同一のハードディスク上から起動される仕掛けとなっている。ハードディスクに障害が発生した場合、オリジナルプロセスとクローンプロセス双方が起動不能となる。オリジナルプロセスとクローンプロセスがシステムの運用管理を行うプロセスである場合、システムの障害の検知や対処ができないという問題があった。
【０００５】
本発明の目的は運用管理を行うプロセスが動作しているブレードに障害が発生しても、運用管理機能を維持することができる運用方法を提供することにある。
【課題を解決するための手段】
【０００６】
運用管理機能を担う運用管理ブレードと、運用管理ブレードの稼働状態を監視する機能を持つ監視ブレードを持ち、相互に稼働状態を監視する。相手側の障害が検知された場合に、自動的に代替のモジュールを選択し、起動する。これらの動作により障害が発生した場合でも運用管理機能の維持を行うことができる。
【発明の効果】
【０００７】
本発明により運用管理を行うプロセスが動作しているブレードに障害が発生しても、運用管理機能を維持することができる
【発明を実施するための最良の形態】
【０００８】
図１は、本発明のシステム構成の概要を説明する図で、ブレードサーバへの適用を想定して、その主要部を図示したものである。
【０００９】
図１において、運用管理ブレード１１は運用管理機能を提供するサーバであり、該運用管理ブレードは運用管理ソフトウェア１５と、その設定情報である運用管理設定情報１４と、後述の監視ブレード１２を監視するための監視モジュール１６、運用管理ソフトウェア１５のローディングを制御するためのソフトウェアローダ１７、運用管理ブレード１１と監視ブレード１２のネットワーク上の所在を管理し、障害発生時の切り替え制御を行う制御基盤１８からなる。
【００１０】
図１において、監視ブレード１２は、運用管理ブレード１１の稼働状態を監視するためのモジュールで監視モジュール１６と管理基盤１８から構成される。
【００１１】
図１において、業務ブレード群１３はシステム本来の情報処理を実行するブレードである。本ブレードにおいても監視モジュール１６、ソフトウェアローダ１７、制御基盤１８を搭載する。
【００１２】
図２においては、図１で示した各構成要素に対して、実際の運用における状態の変化を説明したものである。
【００１３】
図２において、２１は現在稼働中の運用管理ブレードを示す。２１１は待機または他の処理用に動作中の管理ブレードを示す。運用管理ブレード２１は監視ブレード２２の中になる監視モジュール２６２により監視され、障害が検知された場合には制御基盤２８からの指示でソフトウェアローダ２７が動作し、待機中の運用管理ブレード２１１が起動され、運用管理機能を継承する。
【００１４】
図２において、２２は現在稼働中の監視ブレードを示す。２２１は待機中の監視ブレードを示す。監視モジュール２６２は監視モジュール２６１により監視され、障害が検知された場合には待機中の監視ブレード２２１が起動され、運用管理ブレード２１に対する監視機能を継承する。
【００１５】
図３は、運用管理ブレードで障害が発生した時の動作を示した図である。
【００１６】
運用管理ブレード３０１は監視モジュール３０２を監視する（３０４）。一方、監視モジュール３０２は運用管理ブレード３０１を監視する（３０５）。
【００１７】
監視モジュール３０２は運用管理ブレード３０１の障害を検知する（３０６）と運用管理ブレード３０１に対して運用管理機能の停止を要求する（３０７）。待機中の運用管理ブレード３０３上のソフトウェアローダを起動し、運用管理ブレード３０１で動作していた運用管理機能をサービスしていた運用管理ソフトウェアを待機中の運用管理ブレード３０３上にローディングする（３０９）。続けて運用管理機能のセットアップ情報を運用管理ブレード３０１から継承する（３１０）。以上の動作により、待機中の運用管理ブレード３０３は運用管理ブレード３０１の代替として新たにシステム上に追加され、運用管理機能を提供する。
【００１８】
待機中の運用管理ブレード３０３は、３０１の代替として新たに稼働を始めた運用管理ブレードとして、監視モジュール３０２を監視する（３１１）。一方、監視モジュール３０２は待機中の運用管理ブレード３０３を新たな対象として監視する（３１２）。
【００１９】
図４は、監視モジュールで障害が発生した時の動作を示した図である。
【００２０】
監視モジュール４０１は運用管理ブレード４０２を監視する（４０４）。一方、運用管理ブレード４０２は監視モジュール４０１を監視する（４０５）。
【００２１】
運用管理ブレード４０２は監視モジュール４０１の障害を検知する（４０６）と監視モジュール４０１に対して監視機能の停止を要求する（４０７）。運用管理ブレード４０２は別のブレード上の監視モジュール４０３を起動する（４０８）。
【００２２】
別のブレード上の監視モジュール４０３は、４０１の代替として、運用管理ブレード４０２を監視する（４０９）。一方、運用管理ブレード４０２は別のブレード上の監視モジュール４０３を新たな対象として監視する（４１０）。
【００２３】
図５は、監視ブレード５２が運用管理ブレード５１を監視する処理の概要を示した図である。
【００２４】
制御基盤５２２は監視モジュール５２１に対して監視要求を発行する（５５５）。
【００２５】
監視モジュール５２１は監視モジュール５１１に対して監視指示を出す（５５１）。
【００２６】
監視モジュール５１１は監視対象や方法を定義したモニタリングパターンを使って運用管理ソフトウェア５１２の稼働状態を監視する（５５３）。
【００２７】
監視モジュール５１１は制御基盤５５２に監視結果を報告する（５５６）。
【００２８】
図６は、運用管理ブレード６１で障害が発生した場合に、監視ブレード６２が、別ブレード６３に運用管理機能を継承させる動作の概要を示したものである。
【００２９】
６１において障害が発生すると、監視モジュール６１１は６１２に対して障害報告を発行する（６５１）とともに制御基盤６１４にも状態を報告する。６１４は制御基盤６１３からの停止要求待ちの状態となる。
【００３０】
監視ブレード６２において、障害報告を受けた監視モジュール６１２は制御基盤６１３に通知する。６１３は障害が発生した６１４に対して停止要求を発行する（６５３）とともに、待機中のブレード６３の制御基盤６１６に対して切り替え指示を発行する（６５５）。
【００３１】
切り替え指示を受けた制御基盤６１６はソフトウェアローダ６１７に対してローディングパターン番号を付加して切り替え指示を通知する。６１７は予め登録されているローディングパターンを参照して運用管理ソフトウェア６１８をローディングし、運用設定６１９を行ったうえで起動する（６５６）。６１７は監視モジュール６２０に対して、ローディングしたソフトウェアに対応するモニタリングパターン番号を通知する。
【００３２】
制御基盤６１６は監視の開始を要求（６５８）し、監視モジュール６２０は予め登録されているモニタリングパターンを参照して６１８の監視を開始し、結果を６１２に報告する。６１２は６３上の運用管理機能が正常に稼働していることを６１３に対して報告する。
【００３３】
図７は、図５の動作における内部処理のフローを示したものである。
【００３４】
監視動作の説明の前に、図７における起動のシーケンスについて説明する。この処理では図１０の制御基盤テーブルＴ１０１を使用する。Ｔ１０１は各制御基盤に個別に保持され、全制御基盤のアドレスと各制御基盤の動作モード（Mode）が登録されている。ここでＴ１０１には全制御基盤のアドレスが不整合なく登録されていることを前提とする。一方、Modeに関しては制御基盤間で一致している必要は無い。
【００３５】
監視ブレード７１は、起動すると自制御基盤が保持している制御基盤テーブルＴ１０１を参照することで自制御基盤がMonitorであることを読み込み、Modeにセットする。
【００３６】
Ｓ７１０２ではMonitorとして起動する前処理として、全制御基盤に対してMonitorとして起動することの可否を問い合わせる。問い合わせを受信した制御基盤は自ModeがMonitorでないことを確認しAllowを回答する。自ModeがMonitorの場合はObjectionを回答する。
【００３７】
Ｓ７１０２においては、電源がOFFとなっているなどにより応答しない制御基盤が存在することが考えられる。確認できる範囲としては自制御基盤がMonitorであると認識している制御基盤が動作している場合のみ、Objectionが回答されることになる。
【００３８】
Objectionがあった場合には、Objectionを回答した制御基盤がMonitorとして正常に稼働しているかを確認した上で、自制御基盤がMonitorとして起動する処理を中断して終了する。
【００３９】
Ｓ７１０３において、タイマー監視により受信待機後、Objectionが回答されなかった場合にはＳ７１０４ Monitor宣言を全制御基盤に通知する。Monitor宣言は各制御基盤上の制御基盤管理テーブルＴ１００１を強制的に書き換えさせるメッセージである。Monitor宣言を受信した各Flaoterは、各自が保持している制御基盤テーブルＴ１００１におけるMonitor宣言発行元のアドレスを持つ制御基盤のMode情報をMonitorに書き換える。更に、同じ 制御基盤管理テーブルＴ１００１上の別の制御基盤のMode情報がMonitorとなっていた場合には、この情報をHaltに書き換える。
【００４０】
以上の一連の処理により、システム中でMonitorとして動作する唯一の制御基盤として起動させることが可能となる。
【００４１】
図７における運用管理ブレード７２の起動においても、いままで述べたとおりの流れにより、Ｓ７２０２ Operator申告、Ｓ７２０３ Objection有無の判定、Ｓ７２０４ Operator宣言の処理が実行される。
【００４２】
図７における監視機能の処理の流れを説明する。運用機能監視モジュール７１は監視指示を運用管理ブレード７２に対して発行する（Ｓ７１０５）。運用管理ブレード７２は監視指示を受信する（Ｓ７２０５）と、監視動作を開始し（Ｓ７２０６）、結果を７１に報告する（Ｓ７２０７）。７１は異常が報告されていないかを判定し（Ｓ７１０７）、異常でなければ監視を継続し、異常であれば制御基盤に対して異常の発生を報告する（Ｓ７１０８）。
【００４３】
図８は、図５の動作における内部処理のフローを示したものである。
【００４４】
８１運用管理ブレードにおいて、Ｓ８１０１〜Ｓ８１０５は上述の起動処理の流れである。
【００４５】
運用管理ブレード８１において、障害報告が監視ブレード８２に報告される（Ｓ８１０５）。８２では障害報告を受信する（Ｓ８２０５）と８１に対して停止要求を発行する（Ｓ８２０６）。
【００４６】
８１は、制御基盤リストＴ１００１の情報OperatorPriorityを参照し、現在Operatorとなっている制御基盤のOperatorPriorityの値の次に大きい値を持つ制御基盤を運用管理機能の継承先との候補して選択する（Ｓ８２０７）。
【００４７】
Ｓ８２０７継承先として選択において、現在のOperatorのOperatorPriorityの値よりも大きい値が見つからない場合、最小値をもつ制御基盤を継承先の候補として選択する。
【００４８】
継承先の候補となった制御基盤のModeがMonitorでないことを確認する。Monitorでない場合は確定した継承先としてsuccessorにアドレスをセットする。
【００４９】
候補がMonitorだった場合、次候補を選択するため、候補が確定するためのステップを繰り返す。
【００５０】
図１０ Ｔ１００１の制御基盤テーブルの例では、現在のOperatorである198.162.0.2の継承先の候補はOperatorPriority 2の198.162.0.3であるが、ModeがMonitorのため、次候補の198.162.0.1がsuccessorとなる。
【００５１】
継承先であるSuccessorのアドレスを持つ制御基盤に対して切り替え指示を発行する（Ｓ８２０８）。
【００５２】
８２運用管理ブレード（継承）とは、以下の処理の流れにより起動される新たな運用管理ブレードである。
【００５３】
Ｓ８３０１〜Ｓ８３０２は前述の起動処理である。
【００５４】
８３は起動直後は運用管理ブレードではないため、ModeはHaltとして起動され、切り替え指示を受けるまでは、そのまま動作する。
【００５５】
８２より運用管理ブレードへの切り替え指示を受信する（Ｓ８３０３）と、運用管理ブレードに切り替えるための確認処理として、Ｓ８３０４ Operator申告、Ｓ８３０５ Objection有無の判定、Ｓ８３０６ Operator宣言の処理が実行される。
【００５６】
Ｓ８３０６ Operator宣言までが完了すると、切り替え指示を受けた制御基盤はソフトウェアローダに対してローディングパターン番号を付加して切り替え指示を通知する。ソフトウェアローダは予め登録されているローディングパターンを参照して運用管理ソフトウェアをローディングし、運用設定を行ったうえで起動する（Ｓ８３０７）。ソフトウェアローダは監視モジュールに対して、ローディングしたソフトウェアに対応するモニタリングパターン番号を通知する。
【００５７】
制御基盤は監視モジュールに対して監視の開始を要求し、監視モジュールは予め登録されているモニタリングパターンを参照して運用管理ソフトウェアの稼働監視を開始し、結果を制御基盤と８２に対して報告する。
【図面の簡単な説明】
【００５８】
【図１】本発明のシステム構成の概要を説明する図。
【図２】本発明の各構成要素に対して、運用想定例における状態の変化を説明する図。
【図３】運用管理ブレードで障害が発生した場合のブレード間のシーケンス図。
【図４】監視モジュールで障害が発生した場合のブレード間のシーケンス図。
【図５】監視における内部構成の動きを説明する図。
【図６】障害時のブレード切り替え時の内部構成の動きを説明する図。
【図７】監視における処理フロー。
【図８】障害時のブレード切り替え時の処理フロー。
【図９】起動処理における制御基盤からの応答に対する処理フロー。
【図１０】本発明で必要となる主なデータテーブルの例。
【図１１】特許文献１。
【符号の説明】
【００５９】
２１…現在稼働中の運用管理ブレード、２２…監視ブレード、２３…業務ブレード群、２４…運用管理設定情報、２５…運用管理ソフトウェア、２７…ソフトウェアローダ、２８…制御基盤、２９…業務ソフト、業務ジョブ、２２１…待機中の監視ブレード、２６１…監視モジュール。
【図１】
2008140280.tif 000003
【図２】
2008140280.tif 000004
【図３】
2008140280.tif 000005
【図４】
2008140280.tif 000006
【図５】
2008140280.tif 000007
【図６】
2008140280.tif 000008
【図７】
2008140280.tif 000009
【図８】
2008140280.tif 000010
【図９】
2008140280.tif 000011
【図１０】
2008140280.tif 000012
【図１１】
2008140280.tif 000013