(57)【要約】【課題】サーバの切り替えの際のサービスの停止時間を短縮する。【解決手段】サーバシステムは、運用中の第１のサーバ装置、待機中の第２のサーバ装置、第１および第２のディスクを備える。第１のディスクは、第１のサーバ装置の処理で得られたデータを格納する。第２のディスクは、第１のディスクをミラーリングすることにより、第１のディスクに格納されたデータを格納する。第１のサーバ装置は、運用中のサーバ装置を第１のサーバ装置から第２のサーバ装置に切り替えることを要求する切り替え要求を受信すると、第２のディスクのミラーリング処理を中断させる。第１のサーバ装置は、運用の開始を要求する運用開始要求を、第２のサーバ装置に送信する。第２のサーバ装置は、第１のサーバ装置の第１のディスクを用いた処理が終了する前に、第２のディスクを第２のサーバ装置の処理から得られたデータの格納先として処理を開始する。【選択図】図１
2013246808.tif 000002
【特許請求の範囲】
【請求項１】
運用中の第１のサーバ装置と
待機中の第２のサーバ装置と、
前記第１のサーバ装置によって行われる処理により得られたデータを格納する第１のディスクと、
前記第１のディスクをミラーリングすることにより、前記第１のディスクに格納されたデータを格納する第２のディスク
を備え、
前記第１のサーバ装置は、運用中のサーバ装置を前記第１のサーバ装置から前記第２のサーバ装置に切り替えることを要求する切り替え要求を受信すると、前記第２のディスクのミラーリング処理を中断させ、
前記第１のサーバ装置は、運用の開始を要求する運用開始要求を、前記第２のサーバ装置に送信し、
前記第２のサーバ装置は、前記第１のサーバ装置の前記第１のディスクを用いた処理が終了する前に、前記第２のディスクを前記第２のサーバ装置の処理により得られたデータの格納先として処理を開始する
ことを特徴とするサーバシステム。
【請求項２】
前記第１のサーバ装置は、前記運用開始要求を送信した後に、前記第１のディスクを用いて実行している処理を終了させ、
前記第１のディスクを用いて実行している処理が終了すると、前記第１のディスクが前記第２のディスクのミラーリングを行うための処理をする
ことを特徴とする請求項１に記載のサーバシステム。
【請求項３】
前記第１および第２のディスクに接続され、前記第１のディスクと前記第２のディスクの間で行われるミラーリングを制御する制御装置をさらに備え、
前記第２のディスクのミラーリング処理の中断は、前記制御装置が、
前記第１のサーバ装置からミラーリング処理の中断を要求する中断要求を受信し、
前記第２のディスクのミラーリングを中断させる
ことによって行われ、
前記制御装置は、前記第２のディスクを前記第２のサーバ装置が使用するディスクとして予約する
ことを特徴とする請求項１または２に記載のサーバシステム。
【請求項４】
運用中の第１のサーバ装置は、前記第１のサーバ装置によって行われる処理により得られたデータを第１のディスクに格納し、
第２のディスクは、前記第１のディスクをミラーリングすることにより、前記第１のディスクに格納されたデータを格納し、
前記第１のサーバ装置は、運用中のサーバ装置を前記第１のサーバ装置から待機中の第２のサーバ装置に切り替えることを要求する切り替え要求を受信すると、前記ミラーリングを中断させ、
前記第１のサーバ装置は、運用の開始を要求する運用開始要求を、前記第２のサーバ装置に送信し、
前記第２のサーバ装置は、前記第１のサーバ装置の前記第１のディスクを用いた処理が終了する前に、前記第２のディスクを前記第２のサーバ装置の処理により得られたデータの格納先として処理を開始する
ことを特徴とする切り替え方法。
【請求項５】
運用中の第１のサーバ装置と待機中の第２のサーバ装置を備えるシステムの前記第１のサーバ装置として動作するサーバ装置であって、
アプリケーションを用いて処理を行うアプリケーション処理部と、
前記アプリケーション処理部で得られたデータを第１のディスクに送信する送信部と、
運用するサーバ装置を前記第１のサーバ装置から待機中の第２のサーバ装置に切り替えることを要求する切り替え要求を受信する受信部と、
前記切り替え要求を受信すると、前記第１のディスクに格納されたデータが第２のディスクに記録されるミラーリングの中断を要求する第１の制御メッセージと、前記第２のサーバ装置での運用の開始を要求する第２の制御メッセージを生成する制御部
を備え、
前記送信部は、前記第１の制御メッセージを送信した後に、前記第２の制御メッセージを前記第２のサーバ装置に送信する
ことを特徴とするサーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のサーバの間での切り替えを行うシステムに関する。
【背景技術】
【０００２】
サービスの提供に用いられるサーバシステムでは、保守点検などによる長時間のサービスの停止を避けるために、運用系のサーバと待機系のサーバの両方を備える場合がある。さらに、障害が発生した場合に備えて複数のディスクを用いた冗長化が行われる場合、運用系のサーバが冗長化されているディスクにアクセスするが、待機系のサーバは冗長化が行われているディスクにアクセスしないように設定されることがある。
【０００３】
このような設定が行われているシステムにおいて、運用系のサーバの保守点検が行われる際には、サーバの切り替えが発生する。例えば、サーバＡ、サーバＢ、共用ディスクを含むシステムで、サーバＡが運用系、サーバＢが待機系であり、さらに、共用ディスクがミラーリングにより冗長化されている場合の切り替えを例として述べる。まず、オペレータは、運用中のサーバＡに対して、運用するサーバをサーバＡからサーバＢに切り替えることを要求する。オペレータからのコマンドを受信すると、サーバＡは、サービスの提供を中止する。さらに、サーバＡは、動作中の全てのアプリケーションを停止させることにより、共用ディスクへのアクセスを終了する。サーバＡは、共用ディスクへのアクセスを終了すると、共用ディスクをアンマウントする。次に、サーバＡは、待機中のサーバＢに対して運用の開始を要求する。その後、サーバＡは運用を中止する。サーバＢは、共用ディスクをマウントして、サービスの提供を開始する。
【０００４】
関連する技術として、Ｎ台の運用系サーバと１台の待機系サーバを用意し、ハードディスクを冗長化してミラーリングするシステムが考案されている。このシステムでは、運用系のサーバを保守などのために停止するときに、運用系サーバがアクセスしているディスクでのミラーリング動作を中断する。ミラーリングに使用されていた一方のディスクは、サービスに伴ったデータ書き込みの更新アドレス情報を記憶しながら運用系のサービスを継続する。さらに、もう一方のディスクから、待機系のハードディスクにデータがコピーされる。アドレス情報に基づいて運用系と待機系のディスクの内容とが一致するように調整された後、切り替えが行われる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−５５９９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
背景技術で述べた方法では、運用中のサーバＡに対して、運用中のサーバの切り替えが要求されたときから、切り替え後に運用系となるサーバＢによりサービスが再開されるまでは、サービスが停止する。サーバの切り替えにかかる時間は、運用中のサーバＡで動作している全てのアプリケーションを停止するまでの時間の長さに依存するため、サービスが停止する時間も、アプリケーションが停止するまでにかかる時間によって変動するという問題がある。Ｎ台の運用系サーバと１台の待機系サーバを用いるシステムにおいても、切り替えに際して共用サーバの切り替えが完了するまではサービスが提供されないため、同様の問題がある。
【０００７】
本発明は、サーバの切り替えの際のサービスの停止時間を短縮することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態に係るサーバシステムは、第１のサーバ装置、第２のサーバ装置、第１のディスク、および、第２のディスクを備える。第１のサーバ装置は運用中であり、第２のサーバ装置は待機中であるものとする。第１のディスクは、前記第１のサーバ装置によって行われる処理により得られたデータを格納する。第２のディスクは、前記第１のディスクをミラーリングすることにより、前記第１のディスクに格納されたデータを格納する。前記第１のサーバ装置は、運用中のサーバ装置を前記第１のサーバ装置から前記第２のサーバ装置に切り替えることを要求する切り替え要求を受信すると、前記第２のディスクのミラーリング処理を中断させる。また、前記第１のサーバ装置は、運用の開始を要求する運用開始要求を、前記第２のサーバ装置に送信する。前記第２のサーバ装置は、前記第１のサーバ装置の前記第１のディスクを用いた処理が終了する前に、前記第２のディスクを前記第２のサーバ装置の処理により得られたデータの格納先として処理を開始する。
【発明の効果】
【０００９】
サーバの切り替えの際のサービスの停止時間が短縮される。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係るサーバの切り替え方法の例を示す図である。
【図２】サーバの構成の例を示す図である。
【図３】共用ディスク装置の構成の例を示す図である。
【図４】サーバと共用ディスク装置を含むネットワークの例を示す図である。
【図５】共用ディスク装置中のディスクの使用状況の例を説明する図である。
【図６】ディスクの使用状況と冗長化制御部のアクセス先のインタフェースの変化例を説明する図である。
【図７】制御部が保持する情報の例を示すテーブルである。
【図８】呼情報テーブルの例を示す図である。
【図９】共用ディスク装置中のディスクの使用状況の例を説明する図である。
【図１０】共用ディスク装置中のディスクの使用状況の例を説明する図である。
【図１１Ａ】第２の実施形態で行われる処理の例を説明するシーケンス図である。
【図１１Ｂ】第２の実施形態で行われる処理の例を説明するシーケンス図である。
【図１２】オープン管理情報の例を示す図である。
【発明を実施するための形態】
【００１１】
図１は、実施形態に係るサーバの切り替え方法の例を示す。図１のシステムでは、サーバＡ、サーバＢ、共用ディスクが含まれる。共用ディスクには、ディスクαとディスクβが含まれている。ここで、ディスクαとディスクβは、一対のミラーディスクとして動作することができるものとする。以下、サーバＡが運用系、サーバＢが待機系である場合において、運用するサーバがサーバＡからサーバＢに切り替えられるときの処理の例を説明する。なお、以下の説明では、運用中のサーバは共用ディスクにアクセスできるが、待機中のサーバは、共用ディスクにアクセスしないものとする。
【００１２】
（ａ）切り替えが開始される前は、運用中のサーバＡが処理を実行し、得られたデータをディスクαに記録している。ディスクβは、ミラーリングにより、ディスクαと同じデータを記録する。
【００１３】
（ｂ）サーバＡは、切り替え要求を受信すると、サービスの提供を中止する。サーバＡは動作中のアプリケーションの終了処理を開始する。サーバＡは、アプリケーションの終了処理と並行して、以下の手順（ｃ）、（ｄ）の処理を行う。
【００１４】
（ｃ）サーバＡは、ディスクαとディスクβの間のミラーリングを解除するとともに、サーバＡがアクセスしないディスクを待機中のサーバのデータの格納先に設定するための制御メッセージを生成する。サーバＡは生成した制御メッセージを共用ディスクに送信する。図１の例では、ディスクβでのミラーリングが強制的に解除されている。この時点では、サーバＡ、サーバＢのいずれもディスクβにアクセスしていない。
【００１５】
（ｄ）次に、サーバＡは、サーバＢに対して、運用の開始を要求する。サーバＢは、サーバＡから運用開始要求を受信すると、ディスクβをマウントする。ディスクβのマウントが終了すると、サーバＢは、運用を開始する。サーバＢが運用を開始することで、サービスの提供が再開される。
【００１６】
（ｅ）サーバＢは、サーバＢの運用により得られたデータをディスクβに格納する。
（ｆ）サーバＢの運用が開始した後で、サーバＡがディスクαを用いて運用していたアプリケーションが全て終了したとする。ディスクαを用いている処理中のアプリケーションを全て終了させると、サーバＡは、待機することができる状態になる。すると、サーバＡはディスクαのアンマウントと、ディスクαによるディスクβのミラーリングの開始を共用ディスク装置に要求する。
【００１７】
（ｇ）ディスクαは、サーバＡからアンマウントされると、ディスクβのミラーリングを開始する。
このように、図１に示す方法では、運用中のサーバＡで動作しているアプリケーションの終了前に、共用ディスクでのミラーリングを強制的に終了して、新たに動作を開始するサーバＢの処理に用いることができるようにする。このため、運用中のサーバでの動作が終了してから待機していたサーバの動作を開始する場合に比べて、サーバの切り替えに伴うサービスの停止期間が短くなる。図１の例では、サービスの停止期間は、サーバＡでのサービスの停止時刻からサーバＢでのサービスの開始時刻までであるので、矢印ｘで示される。一方、運用中のサーバでの動作が終了してから待機していたサーバの動作を開始する場合は、運用中のサーバでの終了処理が終わってから待機中のサーバへの移行処理が開始され、待機中のサーバが動作を開始してからサービスが再開されることになる。
【００１８】
さらに、本実施形態にかかる方法では、アプリケーションの終了処理にかかる時間の長さによって、サービスの停止時間が変動しないという効果がある。例えば、サーバＡで動作しているアプリケーションに不具合が生じて終了処理に時間がかかったとする。この場合でも、本実施形態にかかる方法では、サーバＡで行われる終了処理とは独立して、待機中のサーバＢへの移行処理が行われ、運用を開始したサーバＢからサービスが提供される。このため、サーバＡでサービスが停止されてからサービスが再開されるまでの時間は、アプリケーションの終了等にかかる時間が短い場合と同程度に抑えられる。
【００１９】
＜装置構成＞
図２は、サーバ１０の構成の例を示す。サーバ１０は、Operating System（ＯＳ）処理部１１、クラスタミドル処理部２０、アプリケーション処理部３０を備える。ＯＳ処理部１１は、ファイル管理部１２を有する。クラスタミドル処理部２０は、受信部２１、送信部２２、コマンド受付部２３、制御部２４、および、アプリケーション通知部２５を備える。アプリケーション処理部３０は、クラスタ通知受付部３１とアプリケーション実行部３２を備える。
【００２０】
ファイル管理部１２は、アプリケーション処理部３０の処理対象となっているファイルの情報を保持する。また、ファイル管理部１２は、サーバ１０がアクセス可能なディスクでのファイルの使用状況をディスクごとにモニタする。さらに、オプションとして、ファイル管理部１２は、ディスクごとに、新たなファイルを開くことが可能であるかを設定してもよい。また、ファイル管理部１２は、制御部２４からの指示に従って、共用ディスク装置からのディスクのマウント、および、アンマウントを行う。ファイル管理部１２の動作の詳細については後述する。
【００２１】
受信部２１は、他のサーバ１０、共用ディスク装置、保守端末などから送信されてきたパケットを受信する。受信部２１は受信したパケットをコマンド受付部２３に出力する。受信するパケットには、制御メッセージも含まれるものとする。送信部２２は、他のサーバ１０、共用ディスク装置、保守端末などに、パケットを送信する。送信部２２からの送信対象となるパケットには、サーバ１０から共用ディスク装置へ送信される制御メッセージや、他のサーバ１０に送信される制御メッセージなども含まれるものとする。
【００２２】
コマンド受付部２３は、システム中に含まれている保守端末から受信した制御メッセージを処理する。また、コマンド受付部２３は、他のサーバ１０や共用ディスク装置４０から送信された制御メッセージを処理することもできる。コマンド受付部２３は、制御部２４、アプリケーション通知部２５などに、受信した制御メッセージに応じた処理を要求する。
【００２３】
制御部２４は、サーバ１０を運用中か待機中のいずれかに設定することができる。さらに、制御部２４は、サーバ１０が使用可能なディスクのリストを記憶している。サーバ１０が運用を開始する場合、制御部２４は、ファイル管理部１２に、共用ディスク装置に含まれているディスクのマウント処理を要求する。一方、運用中から待機中に設定を切り替える際に、制御部２４は、ミラーディスクとして動作しているディスク群から１つのディスクを切り離すことを、共用ディスク装置に要求するための制御メッセージを生成する。制御部２４は、送信部２２を介して、制御メッセージを共用ディスク装置に送信する。また、制御部２４は、待機中のサーバ１０に対して運用の開始を要求する制御メッセージを生成する。以下の説明では、待機中のサーバ１０に対して運用の開始を要求する制御メッセージを「運用開始要求」と記載することがある。制御部２４は、運用中に使用していたディスクをアンマウントした後で、アンマウント後のディスクを用いて、新たに運用を開始したサーバ１０が使用しているディスクの複製を生成することを共用ディスク装置に要求するための処理を行う。例えば、制御部２４は、アンマウントしたディスクを、新たに運用を開始したサーバ１０で使用されているディスクのミラーリングに使用することを共用ディスク装置４０に要求するメッセージを生成する。
【００２４】
アプリケーション通知部２５は、コマンド受付部２３から通知された情報をクラスタ通知受付部３１に通知する。例えば、サーバの切り替えが要求されると、アプリケーション通知部２５は、コマンド受付部２３からサービスの停止を通知するように要求される。すると、アプリケーション通知部２５は、クラスタ通知受付部３１に全アプリケーションの停止を要求する。クラスタミドル処理部２０の動作については、後で詳しく説明する。
【００２５】
クラスタ通知受付部３１は、アプリケーション通知部２５から、アプリケーションの停止の要求を受けると、アプリケーション実行部３２に、アプリケーションの停止を要求する。アプリケーション実行部３２は、アプリケーションの実行と停止を行う。
【００２６】
なお、図２に示す構成は、運用系のサーバと待機系のサーバのいずれにも適用されうるものとする。以下の説明では、切り替えの前に運用中であったサーバ１０と切り替えにより運用を開始するサーバ１０の区別を容易にするために、切り替え前から運用中のサーバに関連する番号は、数字の後に「ａ」の文字を付すものとする。一方、切り替えにより運用を開始するサーバに関連する番号については、数字の後に「ｂ」の文字を付す。例えば、切り替え前に運用しているサーバはサーバ１０ａ、切り替えにより運用を開始するサーバはサーバ１０ｂと記載する。また、制御部２４ａはサーバ１０ａに含まれるのに対し、制御部２４ｂはサーバｂに含まれる。
【００２７】
図３は共用ディスク装置４０の構成の例を示す。共用ディスク装置４０は、ディスク４１（４１α、４１β）、コマンド受付部４３、冗長化制御部４４、サーバインタフェース４５（４５ａ、４５ｂ）、ディスクインタフェース４６（４６ａ、４６ｂ）を備える。ディスク４１αとディスク４１βは、冗長化制御部４４からの要求に応じて、サーバ１０から送信されたデータを格納する。また、ディスク４１αとディスク４１βは、冗長化制御部４４での設定により、ミラーディスクとして動作することもある。
【００２８】
コマンド受付部４３は、運用中のサーバ１０や運用を開始するサーバ１０からの制御メッセージを受信する。サーバインタフェース４５ａは、サーバ１０ａと冗長化制御部４４の間の通信を実現する。サーバインタフェース４５ｂは、サーバ１０ｂと冗長化制御部４４の間の通信を実現する。ディスクインタフェース４６ａは、冗長化制御部４４とディスク４１αの間でのデータの入出力を行う。ディスクインタフェース４６ｂは、冗長化制御部４４とディスク４１βの間でのデータの入出力を行う。
【００２９】
図４は、サーバ１０と共用ディスク装置４０が用いられるネットワークの例を示す。図４に示すネットワーク中には、サーバ１０ａ、１０ｂ、共用ディスク装置４０、保守端末７０が含まれる。ここで、保守端末７０は、オペレータがサーバの切り替えを要求するための切り替え要求を運用中のサーバ１０ａに送信するときに使用される端末である。保守端末７０は、サーバ１０ａと通信できる任意の装置であり、例えば、コンピュータにより実現される。保守端末７０、サーバ１０ａ、サーバ１０ｂ、共用ディスク装置４０は、相互に通信を行うことができるように接続される。
【００３０】
図４は、サーバ１０と共用ディスク装置４０の各々についてのハードウェア構成も示している。サーバ１０ａは、プロセッサ５１ａ、メモリ５２ａ、ネットワークインタフェース５３ａ、記憶装置５４ａ、共用ディスクインタフェース５５ａを備える。プロセッサ５１は、例えば、Central Processing Unit（ＣＰＵ）を含む任意の処理回路とすることができる。サーバ１０ｂのハードウェア構成もサーバ１０ａのハードウェア構成と同様である。
【００３１】
プロセッサ５１ａは、ＯＳ処理部１１ａ、コマンド受付部２３ａ、制御部２４ａ、アプリケーション通知部２５ａ、アプリケーション処理部３０ａとして動作する。メモリ５２ａは、プロセッサ５１ａの動作により得られたデータや、プロセッサ５１ａの処理に用いられるデータを記憶する。ネットワークインタフェース５３ａは、保守端末７０、サーバ１０ｂ、共用ディスク装置４０との通信に用いられる。共用ディスクインタフェース５５ａは、サーバ１０ａがマウントしているディスクのうちで、共用ディスク装置４０に含まれるディスクにサーバ１０ａがアクセスする際に動作する。ネットワークインタフェース５３ａと共用ディスクインタフェース５５ａによって、受信部２１ａと送信部２２ａが実現される。記憶装置５４ａは、プロセッサ５１ａで動作するプログラムや、プロセッサ５１ａに使用されるデータを記憶する。また、記憶装置５４ａは、サーバ１０ａの内蔵ディスクとして動作する。以上、サーバ１０ａを例として説明したが、サーバ１０ｂでも、同様のハードウェアでＯＳ処理部１１ｂ、クラスタミドル処理部２０ｂ、アプリケーション処理部３０ｂが実現されるものとする。
【００３２】
共用ディスク装置４０は、プロセッサ６１、メモリ６２、共用ディスクインタフェース６３（６３ａ、６３ｂ）、ネットワークインタフェース６４、冗長化制御装置６５、ディスク４１α、４１βを備える。冗長化制御装置６５は、例えば、Redundant Arrays of Independent Disks（ＲＡＩＤ）コントローラなどの制御装置とすることができる。コマンド受付部４３は、プロセッサ６１により実現される。冗長化制御部４４は、プロセッサ６１と冗長化制御装置６５により実現される。共用ディスクインタフェース６３ａ、６３ｂは、いずれも、共用ディスク装置４０とサーバ１０の間で行われるデータの入出力に用いられる。ネットワークインタフェース６４は、共用ディスク装置４０とサーバ１０の通信に用いられる。サーバインタフェース４５ａは、共用ディスクインタフェース６３ａとネットワークインタフェース６４により実現される。一方、サーバインタフェース４５ｂは、共用ディスクインタフェース６３ｂとネットワークインタフェース６４によって実現される。
【００３３】
＜第１の実施形態＞
以下、サーバ１０ａとサーバ１０ｂがいずれもSession Initiation Protocol（ＳＩＰ）サーバであり、サービスが呼接続である場合を例として各サーバ１０の動作の例を説明する。なお、サーバ１０は、データの完全性の確保よりもサービスの停止時間の短縮が求められる任意の種類のサービスを提供するサーバに適用できる。例えば、サーバ１０は、ＳＩＰサーバの他、課金サーバなどであっても良い。ここで、サーバ１０は、データをディスク４１αまたはディスク４１βに書き込んだ後に、書き込んだデータの存在を示すメタファイルを生成するシステムに適用されるものとする。また、以下の説明では、冗長化制御部４４は、サーバの切り替えが行われていない期間中は、ディスク４１αとディスク４１βを、一対のミラーディスクとして動作させるものとする。
【００３４】
（Ａ）切り替え要求の発生前
図５は、共用ディスク装置４０中のディスク４１の使用状況の例を説明する図である。図５（ａ）は、サーバの切り替えが要求される前の状態を示す。つまり、図５（ａ）は、図１の手順（ａ）でのディスク４１の使用状態の例を表している。サーバの切り替えが要求される前は、サーバ１０ａが運用中でサーバ１０ｂが待機している。従って、サーバ１０ａは、共用ディスク装置４０中のディスク４１をマウントしており、共用ディスク装置４０中のディスク４１にデータを格納することができる。さらに、ディスク４１αとディスク４１βは、一対のミラーディスクとなっているため、サーバ１０ａの動作によって得られたデータはディスク４１αとディスク４１βの両方に記録される。
【００３５】
図６は、ディスクの使用状況と冗長化制御部４４のアクセス先のインタフェースの変化例を説明する図である。冗長化制御部４４は、共用ディスク装置４０に含まれているディスクの使用状況と、冗長化制御部４４のアクセス先となるインタフェースを認識している。例えば、図５（ａ）に示すように、サーバ１０の切り替えが要求される前は、サーバ１０ａが共用ディスク装置４０中のディスクにアクセス可能であるので、冗長化制御部４４はサーバインタフェース４５ａを介してデータを入出力する。さらに、ディスク４１αとディスク４１βは、一対のミラーディスクとなっている。そこで、サーバ１０の切り替えが要求される前の状態のときに冗長化制御部４４が保持している情報は、図６（ａ）のテーブルで表せる。冗長化制御部４４は、図６（ａ）の情報に従ってディスク４１αとディスク４１βの動作を制御するため、サーバ１０ａは、サーバインタフェース４５ａに出力したデータを、ディスク４１αとディスク４１βに記録することができる。一方、待機中のサーバ１０ｂは、共用ディスク装置４０中のディスク４１をマウントしていないため、ディスク４１αとディスク４１βのいずれにもアクセスできない。
【００３６】
図７は、制御部２４が保持する情報の例を示すテーブルである。図７（ａ）に示すテーブルは、運用するサーバ１０の切り替えが要求される前にサーバ１０ａ中の制御部２４ａが保持している情報の例である。ディスクデバイスｓｄａ１〜ｓｄａ３は、記憶装置５４ａとしてサーバ１０ａに含まれている内蔵ディスクである。ディスクデバイスｓｄｃは、共用ディスク装置４０中のディスクである。前述のとおり、共用ディスク装置４０中のディスク４１αと４１βは、運用系のサーバの切り替えが行われる期間の他は、一対のミラーディスクとして動作する。このため、以下の説明では、制御部２４ａおよび制御部２４ｂは、共用ディスク装置４０中に含まれるアクセス可能なディスクを１つのディスクデバイスｓｄｃとして認識するものとする。サーバ１０の切り替えが要求される前は、サーバ１０ａが共用ディスク装置４０に含まれているディスクをマウントしているため、制御部２４ａは、図７（ａ）のディスクデバイスｓｄｃの欄に示すように共用ディスクをマウントしていることを認識している。
【００３７】
一方、図７（ｂ）は、サーバ１０の切り替えが要求される前において、待機中のサーバ１０ｂの制御部２４ｂが保持する情報の例を示している。なお、ディスクデバイスｓｄｂ１〜ｓｄｂ３は、記憶装置５４ｂとしてサーバ１０ｂに含まれている内蔵ディスクであるものとする。
【００３８】
サーバ１０ａに含まれているアプリケーション実行部３２ａは、ディスクデバイスｓｄａ１〜ｓｄａ３、および、ディスクデバイスｓｄｃを用いてアプリケーションを処理する。アプリケーション実行部３２ａは、アプリケーションの処理により得られたデータであって、サーバ１０の切り替えが行われた後でも使用されるデータを、ディスクデバイスｓｄｃに保存する。例えば、ユーザＭがユーザＮに電話をかけて、ユーザＮが呼び出しに応答したとする。すると、アプリケーション実行部３２は、ユーザＭとユーザＮの間の通話の途中でサーバが切り替えられたとしても、通話が確立した状態を保つために、ユーザＭとユーザＮの間の通話に関する呼情報を共用ディスク装置４０に記録する。図８は、呼情報テーブルの例を示す。呼情報テーブルには、確立している通話ごとの呼情報と、呼情報を識別する識別子が対応付けられている。さらに、アプリケーション実行部３２ａは、呼情報テーブルへのアクセスに使用されるメタファイルなどの情報も、適宜、ディスクデバイスｓｄｃに記録する。
【００３９】
（Ｂ）切り替えの要求の受信
次に、サーバの切り替えの要求を受信した場合に行われる処理（図１の手順（ｂ））の例について詳しく説明する。保守端末７０は、サーバの切り替えを要求する切り替え要求を、サーバ１０ａに送信する。サーバ１０ａの受信部２１ａは、保守端末７０から受信したパケットをコマンド受付部２３ａに出力する。コマンド受付部２３ａは、制御部２４ａとアプリケーション通知部２５ａにサーバの切り替えが要求されたことを通知する。アプリケーション通知部２５ａは、クラスタ通知受付部３１ａに、動作中の全てのアプリケーションを用いたサービスの停止を要求する。アプリケーション実行部３２ａは、クラスタ通知受付部３１ａからの要求に応じて、アプリケーションの終了処理を開始する。このため、サーバ１０ａがサーバの切り替え要求を受信すると、サーバ１０ａでの呼制御が停止される。従って、新たに発生した発呼の処理や通話中の呼の終了などの呼制御が停止される。
【００４０】
アプリケーション通知部２５ａやアプリケーション処理部３０ａで行われる処理と並行して、制御部２４ａにより、運用中のサーバをサーバ１０ａからサーバ１０ｂに切り替えるための処理が行われる。まず、制御部２４ａは、共用ディスク装置４０に対してミラーリングの停止を要求するための制御メッセージ（ミラーリング停止要求）を生成し、送信部２２ａを介して共用ディスク装置４０に送信する（図１の手順（ｃ））。ミラーリング停止要求は、送信元アドレス、宛先アドレス、ミラーリングの終了要求を示す情報と、待機中のサーバの識別情報を含む。ここで、送信元アドレスは運用中のサーバ１０ａに割り当てられたアドレスであり、宛先アドレスは共用ディスク装置４０に割り当てられたアドレスである。
【００４１】
共用ディスク装置４０のコマンド受付部４３は、サーバ１０ａからミラーリング停止要求を受信すると、ミラーリングの終了が要求されていることを冗長化制御部４４に通知する。また、コマンド受付部４３は、ミラーリング停止要求に含まれている識別情報を用いて、待機中のサーバ１０ｂを特定する。コマンド受付部４３は、待機中のサーバ１０ｂを、ミラーリングの中断によりアクセス元がなくなるディスクの接続先に指定することと、得られた識別情報を冗長化制御部４４に通知する。
【００４２】
冗長化制御部４４は、コマンド受付部４３からの通知に応じて、ミラーリングを解除し、ミラーディスクとなっている２つのディスクのうちの一方について、アクセスを停止する。以下の説明では、冗長化制御部４４は、ミラーリングの中断の際に、ディスク４１βに対するアクセスを中断したとする。このときのディスク４１の使用状況の例を図５（ｂ）に示す。また、ディスク４１βへのアクセスが中断されたときに冗長化制御部４４が保持している情報の例を図６（ｂ）に示す。図６（ｂ）の例では、ディスク４１αはサーバインタフェース４５ａからの情報の格納先となるが、ディスク４１βへのアクセス元はない。従って、ディスク４１βへのアクセスが中断されている。なお、図６（ｂ）は例であって、冗長化制御部４４は、ディスクβにサーバインタフェース４５ａから取得したデータを記録し、ディスク４１αへのアクセスを中断してもよい。
【００４３】
さらに、冗長化制御部４４は、アクセスを中断させているディスク４１を、コマンド受付部４３から通知された識別情報に対応付けられているサーバ１０が使用するディスクとして予約する。ここでは、冗長化制御部４４は、ディスク４１βを待機中のサーバ１０ｂで得られたデータの格納先として予約するものとする。すると、冗長化制御部４４が保持する情報は、図６（ｃ）に示すとおりになる。すなわち、冗長化制御部４４は、サーバインタフェース４５ａから取得したデータをディスク４１αに格納し、サーバインタフェース４５ｂから入力されたデータはディスク４１βに格納するように設定される。なお、この時点では、まだサーバ１０ｂは共用ディスク装置４０にアクセスしていないので、ディスク４１βは待機する。
【００４４】
（Ｃ）運用の再開
次に、運用の再開のための処理（図１の手順（ｄ））について説明する。サーバ１０ａは、ミラーリングの終了を要求した後、サーバ１０ｂに運用の開始を要求する。このとき、制御部２４ａは、運用開始要求を生成し、送信部２２ａを介してサーバ１０ｂに送信する。運用開始要求は、送信元アドレス、宛先アドレス、運用の開始が要求されていることをコマンド受付部２３が特定できる情報を含む任意の形式とすることができる。制御部２４ａが送信した運用開始要求は、受信部２１ｂを介して、コマンド受付部２３ｂに出力される。コマンド受付部２３ｂは、サーバ１０ｂの運用の開始が要求されていることを制御部２４ｂに通知する。
【００４５】
制御部２４ｂは、サーバ１０ｂの設定を「運用中」に変更する。さらに、制御部２４ｂは、運用を開始するために、ディスクのマウントが終わっているかを判定する。この時点では、制御部２４ｂは、図７（ｂ）に示す情報を保持しているため、共用ディスクｓｄｃのマウント処理が終わっていないと判定する。そこで、制御部２４ｂは、共用ディスクｓｄｃのマウント処理をファイル管理部１２ｂに要求する。ファイル管理部１２ｂは、マウント要求メッセージを生成し、共用ディスク装置４０に向けて送信する。マウント要求メッセージは、例えば、送信元アドレス、宛先アドレス、共用ディスクのマウントが要求されていることを示す情報、共用ディスクをマウントしようとするサーバ１０の識別子が含まれる。
【００４６】
共用ディスク装置４０のコマンド受付部４３は、サーバ１０ｂから受信したマウント要求メッセージを冗長化制御部４４に出力する。冗長化制御部４４は、コマンド受付部４３から取得した情報により、サーバ１０ｂから共用ディスク装置４０に含まれているディスクのマウントが要求されたと認識する。冗長化制御部４４は、図６（ｃ）に示すようにディスク４１βをサーバ１０ｂに予約しているので、サーバ１０ｂに対してディスク４１βのマウント処理を許可する。
【００４７】
ファイル管理部１２ｂは、ディスク４１βのマウント処理を行う。ファイル管理部１２ｂがマウント処理を行ったときのディスク４１α、４１βの状態を図９（ａ）に示す。また、ディスク４１βのマウント処理が終了すると、制御部２４ｂが保持する情報は、図７（ｃ）に示すように更新される。ディスク４１βがサーバ１０ｂにマウントされると、冗長化制御部４４は、サーバインタフェース４５ｂから入力されたデータを、ディスクインタフェース４６ｂを介してディスク４１βに記録することができる。ここで、サーバインタフェース４５ｂはサーバ１０ｂから入力されたデータを冗長化制御部４４に出力する。従って、図９（ａ）に示すように、サーバ１０ｂは、データをディスク４１βに記録することができ、ディスク４１βを用いてアプリケーションを動作させることができる。すなわち、アプリケーション実行部３２ｂがアプリケーションを動作させることによって得られたデータを共用ディスク装置４０に保存することができる（図１の手順（ｅ））。
【００４８】
そこで、サーバ１０ｂは、共用ディスクのマウントが終わると、サービスを再開する。例えば、サーバ１０ｂは、新たに発生した呼制御の処理や、通話の切断に伴う呼制御を行う。なお、図８に示したようにディスク４１βに記録されている呼制御についての処理は、ディスク４１βをマウントすることにより、サーバ１０ｂがサーバ１０ａより引き継ぐことができる。
【００４９】
（Ｄ）待機状態に入るための処理
ミラーリングの中断や運用の再開と並行して、サーバ１０ａでは、動作中のアプリケーションの終了処理が行われている。サーバ１０ａの制御部２４ａは、サーバ１０ｂへの運用開始要求の送信が終わると、ファイル管理部１２ａに対して、全てのアプリケーションが終了したときに共用ディスク装置４０に含まれているディスクをアンマウントすることを要求する。このとき、制御部２４ａは、共用ディスクに分類されているディスクデバイスの識別子を、共用ディスク装置４０に含まれているディスクとして、ファイル管理部１２ａに通知する。例えば、制御部２４ａは、図７（ａ）に基づいて、ディスクデバイスｓｄｃを用いている全てのアプリケーションが終了したら、ディスクデバイスｓｄｃをアンマウントすることを、ファイル管理部１２ａに要求する。
【００５０】
ファイル管理部１２ａは、オープン状態のファイルの中に、制御部２４ａからアンマウントが要求されたディスクデバイスに対応付けられているファイルがあるかを判定する。アンマウントを要求されたディスクデバイスに対応付けられているファイルが使用中（オープン状態）である場合、ファイル管理部１２ａは、一定の期間待機した後、再度、判定を行う。すなわち、ファイル管理部１２ａは、サーバ１０ａの処理対象のファイルであって、共用ディスク装置４０へのアクセスに関連するファイルが全てクローズ状態になるまで定期的に、使用中のファイルが共用ディスク装置４０を用いて動作しているかをモニタする。この間、アプリケーション実行部３２ａは、共用ディスク装置４０を用いて処理を行っているファイルをクローズする。共用ディスク装置４０でのファイルの使用が終了すると、ファイル管理部１２ａは、共用ディスク装置４０中のディスク４１をアンマウントする。さらに、ファイル管理部１２ａは、アンマウントしたディスク４１をミラーリングに組み込むことを、共用ディスク装置４０に要求する。例えば、ファイル管理部１２ａは、ディスク４１のアンマウントとミラーリングの開始を要求するための制御メッセージ（アンマウント要求）を生成し、送信部２２ａを介して、共用ディスク装置４０にアンマウント要求を送信することができる。アンマウント要求の送信により、制御部２４ａが保持しているディスクの読み込み情報は、図７（ｄ）に更新される。
【００５１】
次に、アンマウントを要求された共用ディスク装置４０の動作について説明する。アンマウント要求を受信したコマンド受付部４３は、冗長化制御部４４に対して、サーバ１０ａからディスク４１のアンマウントと、ミラーリングの開始が要求されたことを通知する。冗長化制御部４４は、図６（ｃ）の情報を用いて、サーバ１０ａからサーバインタフェース４５ａを介して取得した情報を格納しているディスク４１がディスク４１αであることを特定する。冗長化制御部４４は、サーバインタフェース４５ａを介して得られたデータのディスク４１αへの格納を中止する。このときのディスク４１の使用状況を図９（ｂ）に示す。
【００５２】
さらに、冗長化制御部４４は、ディスクインタフェース４６ｂに、ディスク４１αをディスク４１βとのミラーディスクに組み込むことを要求する。ディスクインタフェース４６ｂは、ディスクインタフェース４６ａにアクセスし、ディスク４１αとディスク４１βを一対のミラーディスクとすることを要求する（図１０（ａ））。ディスク４１αとディスク４１βが一対のミラーディスクとして、サーバインタフェース４５ｂを介して入力されたデータを格納する様子を、図１０（ｂ）に示す。図１０（ｂ）に示すようにミラーリングが開始されると、冗長化制御部４４が保持するディスク４１の使用状態は、図６（ｄ）に更新される。この後、サーバ１０ｂの運用によって得られたデータは、ディスク４１αとディスク４１βを含む一対のミラーディスクに記録される。
【００５３】
このように、第１の実施形態で説明した方法では、運用中のサーバ１０ａで動作しているアプリケーションの終了処理中に並行して、サーバ１０ｂでのサービスの提供が開始される。従って、サービスの停止時間が短くてすむ。サービスが停止している間は、発呼が行われてもサーバ１０ａ、１０ｂのいずれも発呼の要求を受け付けることができないため、新たな通話が確立されないことになる。また、サービスが停止する前に成立している通話が切断されても、切断処理が行われない。第１の実施形態で説明した方法により、サービスの停止時間を短くすることにより、これらの問題が発生する期間を短くすることができる。
【００５４】
さらに、第１の実施形態にかかる方法では、サービスの停止時間がアプリケーションの終了処理にかかる時間の長さによって変動しない。従って、ユーザからの１回目の発呼が失敗したとしても、ユーザが用いる端末が発呼要求のリトライを行っている間にサービスが再開できるように、端末を設定することができれば、ユーザ側で発呼に成功する可能性を高めることもできる。
【００５５】
＜第２の実施形態＞
第２の実施形態では、第１の実施形態と同様にサービスの停止時間を短縮化しつつ、データの保存可能性を高める場合の処理の例を説明する。
【００５６】
図１１Ａと図１１Ｂは、第２の実施形態で行われる処理の例を説明するシーケンス図である。図１１Ａ、図１１Ｂ中の番号は、以下の手順の番号と対応している。
（１）オペレータは、保守端末７０を用いて、サーバ系切り替えを運用系サーバ１０ａに要求する。
【００５７】
（２）サーバ１０ａのコマンド受付部２３ａは、保守端末７０から受信した切り替え要求に含まれている情報要素を制御部２４ａに引き渡す。制御部２４ａは、アプリケーション通知部２５ａを介して、稼動中の全アプリケーションに対して、サービスの停止を指示する。
【００５８】
（３）制御部２４ａは、ファイル管理部１２ａに対して、以後の共用ディスクのディスクデバイスに対するファイルオープンを禁止するように指示する。ファイル管理部１２ａは、指示されたディスクデバイスに対する新規のオープンを禁止するために、オープン管理情報を変更する。
【００５９】
オープン管理情報の例を図１２に示す。図１２に示すオープン管理情報には、ディスクデバイスごとに、ファイルオープンの可否情報とファイル管理情報が、ディスクデバイスの識別子と対応付けて記録される。ここで、ファイル管理情報は、オープン状態になっているファイルに対応付けられた管理情報であり、オープン状態（使用中）になっている個々のファイルを一意に識別できる任意の形式の情報とすることができる。図１２の例では、オープン状態になっているファイルの識別子が管理情報を表すために用いられているものとする。各ディスクデバイスでは、そのディスクデバイスの識別子に対応付けられたファイル管理情報で識別されるファイルがオープン状態になっている。例えば、ディスクデバイスｓｄａ１ではＦ１、ディスクデバイスｓｄａ２ではＦ２、ディスクデバイスｓｄａ３ではＦ３がオープン状態になっている。さらに、ディスクデバイスｓｄｃではＦ４〜Ｆｎがオープン状態である。
【００６０】
ファイルオープンの可否情報は、対応付けられているディスクデバイスで新たなファイルをオープンさせることができるかを特定するために用いられる情報である。ファイルオープンの可否情報が「オープン可」のディスクデバイスでは、アプリケーション実行部３２は、新たなファイルをオープン状態にし、オープン状態になっているファイルを用いた処理をすることができる。一方、ファイルオープンの可否情報が「オープン不可」のディスクデバイスでは、アプリケーション実行部３２は、新たなファイルを用いた処理を開始できない。従って、ディスクデバイスｓｄｃでは、新たなファイルがオープンされないが、ディスクデバイスｓｄａ１〜ｓｄａ３では新たにファイルがオープンされ得る。
【００６１】
（４）ファイル管理部１２ａは、オープン可否情報の設定が終わると、設定の終了を制御部２４ａに通知する。
【００６２】
（５）制御部２４ａは、ファイル管理部１２ａに書き込み指示を出力する。ここで、「書き込み指示」は、サーバ１０ａのメモリ５２ａ上で処理中のファイルやファイル管理データ（メタデータ）を共用ディスク装置４０に書き込むことを要求するための指示である。また、制御部２４ａは、共用ディスクの識別子をファイル管理部１２ａに合わせて通知する。例えば、制御部２４ａは、メモリ５２ａに保持しているデータをディスクデバイスｓｄｃに記録することをファイル管理部１２ａに要求する。ファイル管理部１２ａは、制御部２４ａの要求に応じて、メモリ５２ａで使用されているファイルとメタデータを共用ディスクに書き込む。
【００６３】
（６）ファイル管理部１２ａは、メモリ５２ａで使用されているファイルとメタデータの共用ディスクへの書き込みが終わると、制御部２４ａに書き込み通知を出力する。
【００６４】
（７）書き込み通知が入力されると、制御部２４ａは、ミラーリング停止要求を生成する。送信部２２ａは、ミラーリング停止要求を共用ディスク装置４０に送信する。ミラーリング停止要求に含まれている情報要素は第１の実施形態と同様である。ここでは、ミラーリングを停止したことによりアクセス元が無くなったディスクのアクセス先として、サーバ１０ｂの識別子がミラーリング停止要求に含まれているものとする。
【００６５】
（８）共用ディスク装置４０のコマンド受付部４３は、ミラーリング停止要求を受信する。ミラーリングの停止の際に共用ディスク装置４０で行われる処理は、第１の実施形態と同様である。ここでは、ディスク４１βへのアクセスが停止されたものとする。
【００６６】
（９）冗長化制御部４４は、ディスク４１βをサーバ１０ｂが使用することができるように予約する。ディスク４１βの予約のために行われる処理も第１の実施形態と同様である。
【００６７】
（１０）冗長化制御部４４は、ミラーリングの停止と、ディスクの予約が完了したことを、制御部２４ａに通知するためのパケット（ミラーリング停止応答）を生成する。冗長化制御部４４は、サーバインタフェース４５ａを介して、ミラーリング停止応答をサーバ１０ａに送信する。
【００６８】
（１１）制御部２４ａは、受信部２１ａを介してミラーリング停止応答を受信すると、サーバ１０ｂへの切り替えの準備が整ったと判定する。そこで、制御部２４ａは、運用開始要求を生成し、送信部２２ａを介してサーバ１０ｂに送信する。運用開始要求に含まれている情報要素は、第１の実施形態と同様である。
【００６９】
（１２）制御部２４ａは、運用開始要求の送信が終わると、保守端末７０に切り替え応答を送信する。切り替え応答には、ヘッダの他に、運用中のサーバ１０が切り替えられたことを示す情報が含まれる。保守端末７０は、切り替え応答を受信すると、サーバ１０ｂが運用を開始すると判定する。
【００７０】
（１３）サーバ１０ｂが運用開始要求を受信すると、制御部２４ｂは、サーバ１０ｂの設定を「運用中」に変更する。さらに、制御部２４ｂはファイル管理部１２ｂに共用ディスクのマウントを要求する。共用ディスクをマウントするための処理は第１の実施形態と同様である。
【００７１】
（１４）ファイル管理部１２ｂは、共用ディスクのマウントが終了すると、マウント処理の終了を通知する信号（マウント通知）を制御部２４ｂに出力する。
【００７２】
（１５）制御部２４ｂは、アプリケーション通知部２５ｂにアプリケーションの開始を要求する。アプリケーション通知部２５ｂは、クラスタ通知受付部３１ｂにアプリケーションの開始の要求を通知する。アプリケーション実行部３２ｂは、クラスタ通知受付部３１ｂからの要求に応じて、適宜、共用ディスクを用いてアプリケーションを実行する。サーバ１０ｂでのアプリケーションの実行が開始されることにより、サービスの提供が再開される。
【００７３】
（１６）切り替え応答の送信を終えると、制御部２４ａは、ファイル管理部１２ａに、共用ディスク装置４０を用いてサーバ１０ａが実行している全てのアプリケーションの終了後に、共用ディスクをアンマウントすることを要求する。このときの処理は、第１の実施形態と同様である。
【００７４】
（１７）共用ディスク装置４０を用いてサーバ１０ａが実行しているアプリケーションが終了すると、終了されたアプリケーションについてのクローズ通知がファイル管理部１２ａに出力される。クローズ通知には終了されたファイルの識別情報が含まれており、ファイル管理部１２ａは、クローズ通知を用いてオープン管理情報を更新する。例えば、図１２のケースでオープン管理情報を更新した結果、ディスクデバイスｓｄｃに対応付けられたファイル管理情報がなくなったとする。すると、ファイル管理部１２ａは、共用ディスクを用いてサーバ１０ａが実行しているアプリケーションがなくなったと判定する。
【００７５】
（１８）ファイル管理部１２ａは共用ディスクのアンマウントを行う。アンマウントの処理は第１の実施形態と同様である。さらに、ファイル管理部１２ａは、アンマウントの終了を制御部２４ａに通知する。
【００７６】
（１９）制御部２４ａは、アンマウントしたディスク４１をミラーディスクに組み込むことを要求するための制御メッセージを生成し、送信部２２ａを介して、共用ディスク装置４０に送信する。共用ディスク装置４０では、ミラーリングが開始される。
【００７７】
（２０）制御部２４ａは、サーバ１０ａを「待機中」に設定する。
第２の実施形態では、手順（５）、（６）の処理により、保守端末７０からサーバ１０の切り替えが要求されたときに運用中のサーバ１０ａのメモリ５２ａでの処理対象となっているファイルやメタデータを共用ディスク装置４０に保存する。このため、第１の実施形態に比べて、サーバ１０の切り替えが発生したときの処理対象となっているデータの保存可能性を高められている。
【００７８】
＜その他＞
第１および第２の実施形態を含む以上の実施形態で説明したテーブルやパケットに含まれている情報要素は一例であり、実装に応じて変更されうる。
【符号の説明】
【００７９】
１０  サーバ
１１  ＯＳ処理部
１２  ファイル管理部
２０  クラスタミドル処理部
２１  受信部
２２  送信部
２３、４３  コマンド受付部
２４  制御部
２５  アプリケーション通知部
３０  アプリケーション処理部
３１  クラスタ通知受付部
３２  アプリケーション実行部
４０  共用ディスク装置
４１  ディスク
４４  冗長化制御部
４５  サーバインタフェース
４６  ディスクインタフェース
５１、６１  プロセッサ
５２、６２  メモリ
５３、６４  ネットワークインタフェース
５４  記憶装置
５５、６３  共用ディスクインタフェース
６５  冗長化制御装置
７０  保守端末
【図１】
2013246808.tif 000003
【図２】
2013246808.tif 000004
【図３】
2013246808.tif 000005
【図４】
2013246808.tif 000006
【図５】
2013246808.tif 000007
【図６】
2013246808.tif 000008
【図７】
2013246808.tif 000009
【図８】
2013246808.tif 000010
【図９】
2013246808.tif 000011
【図１０】
2013246808.tif 000012
【図１１Ａ】
2013246808.tif 000013
【図１１Ｂ】
2013246808.tif 000014
【図１２】
2013246808.tif 000015