(57)【要約】【課題】サーバの切り替え時のサービスの停止時間を短縮する。【解決手段】相互に接続された第１サーバ１０−１と第２サーバ１０−２との間のサーバの切り替え方法は、サーバの切り替え時に、第１サーバ１０−１において提供中のサービスを停止し、第２サーバ１０−２においてサービスの提供を開始し、第２サーバ１０−２においてサービスの提供を開始すると、第１サーバ１０−１にマウントされている共用記憶装置４０に対する第２サーバ１０−２からのアクセス要求を第１サーバ１０−１に転送し、第１サーバ１０−１において、第２サーバ１０−２から共用記憶装置４０へのアクセス要求を受信して処理し、第１サーバ１０−１から共用記憶装置４０がアンマウントされると、共用記憶装置４０を第２サーバ１０−２にマウントし、又、第１サーバ１０−１へのアクセス要求の送信を停止する。【選択図】図１
2014067367.tif 000002
【特許請求の範囲】
【請求項１】
相互に接続された第１サーバと第２サーバとの間のサーバの切り替え方法であって、
サーバの切り替え時に、前記第１サーバにおいて提供中のサービスを停止し、
前記第２サーバにおいて前記サービスの提供を開始し、
前記第２サーバにおいて前記サービスの提供を開始すると、前記第１サーバにマウントされている共用記憶装置に対する前記第２サーバからのアクセス要求を前記第１サーバに転送し、
前記第１サーバにおいて、前記第２サーバから前記共用記憶装置への前記アクセス要求を受信して処理し、
前記第１サーバから前記共用記憶装置がアンマウントされると、前記共用記憶装置を前記第２サーバにマウントし、又、前記第１サーバへの前記アクセス要求の送信を停止する、
ことを特徴とするサーバの切り替え方法。
【請求項２】
前記サーバの切り替え時に、前記共用記憶装置において新規のファイルオープンを禁止することを特徴とする請求項１記載のサーバの切り替え方法。
【請求項３】
相互に接続された第１サーバ及び第２サーバと、共用記憶装置とをそなえる情報処理システムであって、
前記第１サーバは、
前記第１サーバで提供中のサービスを停止して、前記第２サーバで前記サービスを開始させる第１管理部と、
前記第１サーバにマウントされている前記共用記憶装置に対するアクセス要求を前記第２サーバから受信して処理する制御部とをそなえ、
前記第２サーバは、
前記第２サーバから前記共用記憶装置に対する前記アクセス要求を前記第１サーバに送信する送信部と、
前記サービスの提供を開始すると共に、前記第１サーバから前記共用記憶装置がアンマウントされると、前記共用記憶装置を前記第２サーバにマウントすると共に、前記第１サーバへの前記アクセス要求の前記送信を停止する第２管理部と、をそなえる
ことを特徴とする情報処理システム。
【請求項４】
前記第１サーバによるサービスの提供中に、前記サービスを提供するサーバを前記第１サーバから前記第２サーバに切り替える指示を受け付ける受付部を更にそなえることを特徴とする請求項３記載の情報処理システム。
【請求項５】
前記第１管理部は、前記受付部が前記指示を受け付けると、前記第１サーバにマウントされている前記共用記憶装置での新規のファイルオープンを禁止することを特徴とする請求項４記載の情報処理システム。
【請求項６】
共用記憶装置に対するアクセス要求を、該共用記憶装置をマウントしている別のサーバに送信する送信部と、
前記別のサーバで提供されているサービスが停止されると、前記サービスの提供を開始すると共に、前記別のサーバから前記共用記憶装置がアンマウントされると、前記共用記憶装置をマウントすると共に、前記別のサーバへの前記アクセス要求の前記送信を停止する管理部と、をそなえる
ことを特徴とするサーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーバの切り替え方法、情報処理システム及びサーバに関する。
【背景技術】
【０００２】
サービスの提供に用いられる情報処理システムでは、保守点検などによる長時間のサービスの停止を避けるために、運用中（以下、運用系、ＡＣＴ系とも呼ぶ）のサーバと待機中（以下、待機系、ＳＢＹ系とも呼ぶ）のサーバの両方をそなえる場合がある。ここで運用系のサーバとは、サービスの提供に使用されているサーバ、待機系のサーバとは、運用系のサーバの障害や保守などの際に運用系サーバのバックアップとして待機中のサーバを指す。
【０００３】
さらに、障害が発生した場合にそなえて複数のディスクを用いた冗長化が行なわれる場合、運用系のサーバが冗長化されているディスクにアクセスするが、待機系のサーバは冗長化が行なわれているディスクにアクセスしないように設定されることがある。
このような設定が行なわれているシステムにおいて、運用系のサーバの保守点検が行なわれる際には、サーバの切り替え（以下、「系切り替え」とも呼ぶ）が発生する。ここで、「サーバの切り替え」とは、運用系のサーバを待機状態にし、待機系のサーバを運用系に切り替える処理を指す。
【０００４】
例えば、サーバＡ、サーバＢ、共用ディスクを含むシステムにおいて、サーバＡが運用系、サーバＢが待機系である場合の切り替え処理を例に挙げて説明する。
まず、オペレータは、運用中のサーバＡに対して、サービスの提供を行なう運用系サーバをサーバＡからサーバＢに切り替えることを要求するコマンドの入力を行なう。オペレータからのコマンドを受信すると、サーバＡは、サービスの提供を中止する。さらに、サーバＡは、動作中の全てのアプリケーションを停止させることにより、共用ディスクへのアクセス要求を終了する。サーバＡは、共用ディスクへのアクセス要求を終了すると、共用ディスクをアンマウントする。次に、サーバＡは、待機中のサーバＢに対して運用の開始を要求する。その後、サーバＡは運用を中止する。サーバＢは、共用ディスクをマウントして、サービスの提供を開始する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２２２５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記方法では、運用中のサーバＡに対して、運用中のサーバの切り替えが要求されたときから、切り替え後に運用系となるサーバＢによりサービスが再開されるまで、サービスが停止する。サーバの切り替えに要する時間は、運用中のサーバＡで動作している全てのアプリケーションを停止するまでの時間の長さに依存するため、サービスが停止する時間も、アプリケーションが停止するまでにかかる時間によって変動してしまう。
【０００７】
上記課題に鑑みて、１つの側面では、本発明は、サーバの切り替え時のサービスの停止時間を短縮することを目的とする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の1つとして位置付けることができる。
【課題を解決するための手段】
【０００８】
一態様によれば、本サーバの切り替え方法は、相互に接続された第１サーバと第２サーバとの間のサーバの切り替え方法であって、サーバの切り替え時に、前記第１サーバにおいて提供中のサービスを停止し、前記第２サーバにおいて前記サービスの提供を開始し、前記第２サーバにおいて前記サービスの提供を開始すると、前記第１サーバにマウントされている共用記憶装置に対する前記第２サーバからのアクセス要求を前記第１サーバに転送し、前記第１サーバにおいて、前記第２サーバから前記共用記憶装置への前記アクセス要求を受信して処理し、前記第１サーバから前記共用記憶装置がアンマウントされると、前記共用記憶装置を前記第２サーバにマウントし、又、前記第１サーバへの前記アクセス要求の送信を停止する。
【０００９】
別の態様によれば、本情報処理システムは、相互に接続された第１サーバ及び第２サーバと、共用記憶装置とをそなえる情報処理システムであって、前記第１サーバは、前記第１サーバで提供中のサービスを停止して、前記第２サーバで前記サービスを開始させる第１管理部と、前記第１サーバにマウントされている前記共用記憶装置に対するアクセス要求を前記第２サーバから受信して処理する制御部とをそなえ、前記第２サーバは、前記第２サーバから前記共用記憶装置に対する前記アクセス要求を前記第１サーバに送信する送信部と、前記サービスの提供を開始すると共に、前記第１サーバから前記共用記憶装置がアンマウントされると、前記共用記憶装置を前記第２サーバにマウントすると共に、前記第１サーバへの前記アクセス要求の前記送信を停止する第２管理部と、をそなえる。
【００１０】
さらに別の態様によれば、本サーバは、共用記憶装置に対するアクセス要求を、該共用記憶装置をマウントしている別のサーバに送信する送信部と、前記別のサーバで提供されているサービスが停止されると、前記サービスの提供を開始すると共に、前記別のサーバから前記共用記憶装置がアンマウントされると、前記共用記憶装置をマウントすると共に、前記別のサーバへの前記アクセス要求の前記送信を停止する管理部と、をそなえる。
【発明の効果】
【００１１】
本発明によれば、サーバの切り替え時のサービスの停止時間が短縮される。
【図面の簡単な説明】
【００１２】
【図１】実施形態の一例に係る情報処理システムのハードウェア構成を示す図である。
【図２】実施形態の一例に係るサーバの機能構成を示す図である。
【図３】実施形態の一例におけるサーバの切り替え前の情報処理システムを示す図である。
【図４】実施形態の一例におけるサーバの切り替え中の情報処理システムを示す図である。
【図５】実施形態の一例におけるサーバの切り替え後の情報処理システムを示す図である。
【図６】実施形態の一例におけるサーバの処理フローを示す図である。
【図７】実施形態の一例におけるオープン管理情報テーブルの構造を示す図である。
【図８】図７のオープン管理情報テーブルのデータ例を示す図である。
【図９】実施形態の一例における受信許可ＩＰアドレステーブルの構造を示す図である。
【図１０】図９の受信許可ＩＰアドレステーブルのデータ例を示す図である。
【図１１】実施形態の一例における送信先ＩＰアドレステーブルの構造を示す図である。
【図１２】サーバの切り替え前の、図１１の送信先ＩＰアドレステーブルのデータ例を示す図である。
【図１３】サーバの切り替え中の、図１１の送信先ＩＰアドレステーブルのデータ例を示す図である。
【図１４】サーバの切り替え後の、図１１の送信先ＩＰアドレステーブルのデータ例を示す図である。
【図１５】実施形態の一例に係る処理が行なわれない場合の処理フローを示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本サーバの切り替え方法、本情報処理システム及び本サーバに係る実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形（実施形態及び各変形例を組み合わせる等）して実施することができる。
【００１４】
本実施形態の一例では、運用系サーバと待機系サーバとに共用ディスク装置が接続された冗長構成の情報処理システムにおいて、計画保守あるいは障害などによりサービスの提供を行なう運用系サーバを切り替える際に、運用系サーバから共用ディスク装置へのアクセス終了を待たずにサーバの切り替えを実施する。その際、新運用系（旧待機系）サーバは、新待機系（旧運用系）サーバから共用ディスク装置へのアクセス要求が終了するまで、旧運用系サーバに、新待機系サーバからのアクセス要求を転送することで、旧運用系サーバの処理の終了を待たずに、新運用系サーバでサービスを開始する。
（Ａ）構成
最初に、実施形態の一例に係る情報処理システム１の構成を説明する。
【００１５】
図１は、実施形態の一例に係る情報処理システム１のハードウェア構成を示す図である。
本システム１は、サーバ１０−１（第１サーバ、別のサーバ；サーバＡとも呼ぶ）、サーバ１０−２（第２サーバ、サーバ；サーバＢとも呼ぶ）、共用ディスク装置（共用記憶装置）４０及び保守端末７０をそなえる。
【００１６】
サーバ１０−１、サーバ１０−２、及び共用ディスク装置４０は、後述するそれぞれのネットワークインタフェース４４，５４−１，５４−２を介してLocal Area Network（ＬＡＮ）６０により相互に接続されている。又、保守端末７０もＬＡＮ６０に接続されている。
ここで、サーバ１０−１とサーバ１０−２とは、冗長構成を組んでおり、サーバ１０−１とサーバ１０−２のいずれか一方が運用系、他方が待機系のサーバである。
【００１７】
本情報処理システム１においては、例えば、オペレータが後述する処理端末７０を操作してサーバの切り替えコマンドを入力することにより、サーバの切り替えが行なわれる。
サーバ１０−１は、ＣＰＵ５１−１、メモリ５２−１、共用ディスクインタフェース５３−１、ネットワークインタフェース５４−１、及び記憶装置５５−１をそなえる。
ＣＰＵ５１−１は、種々の制御や演算を行なう処理装置であり、後述する記憶装置５５−１に格納されているプログラムやOperating System（ＯＳ）等を読み出し、各種処理を実行する。ＣＰＵ５１−１は、例えば、公知のＣＰＵを使用して実装することができる。
【００１８】
メモリ５２−１は、ＣＰＵ５１−１が実行するプログラムや種々のデータや、ＣＰＵ５１−１の動作により得られたデータ等を格納する記憶装置であり、例えば、Random Access Memory（ＲＡＭ）である。
共用ディスクインタフェース５３−１は、サーバ１０−１と共用ディスク装置４０とを、Fiber Channel（ＦＣ）等の専用チャネル６１−１により接続する通信アダプタである。共用ディスクインタフェース５３−１は、サーバ１０−１から共用ディスク装置４０に書き込むデータを送信したり、共用ディスク装置４０からサーバ１０−１に読み出すデータを受信する。すなわち、共用ディスクインタフェース５３−１は、サーバ１０−１と共用ディスク装置４０との間のデータの入出力（Input/Output；Ｉ／Ｏ）を制御する。共用ディスクインタフェース５３−１は、共用ディスク装置４０に含まれるディスクのうち、サーバ１０−１がマウントしているディスクデバイス４５−１〜４５−ｉ（後述；ｉは１以上の整数）に、サーバ１０−１がアクセスする際に動作する。
【００１９】
ネットワークインタフェース５４−１は、サーバ１０−１と、保守端末７０、サーバ１０−２、共用ディスク装置４０とをＬＡＮ６０経由で接続する通信アダプタであり、例えばＬＡＮカードである。例えば、このネットワークインタフェース５４−１と後述するネットワークインタフェース５４−２とにより、ＬＡＮ６０経由でサーバ間通信が行なわれる。
【００２０】
記憶装置５５−１は、種々のプログラムや、ＯＳ、データを格納し保存する記憶装置であり、サーバ１０−１の内蔵ディスクとして動作する。記憶装置５５−１は、例えばHard Disk Drive（ＨＤＤ）である。
サーバ１０−２は、ＣＰＵ５１−２、メモリ５２−２、共用ディスクインタフェース５３−２、ネットワークインタフェース５４−１、及び記憶装置５５−２をそなえる。
【００２１】
ＣＰＵ５１−２は、種々の制御や演算を行なう処理装置であり、後述する記憶装置５５−２に格納されているプログラムやＯＳ等を読み出し、各種処理を実行する。ＣＰＵ５１−２は、例えば、公知のＣＰＵを使用して実装することができる。
メモリ５２−２は、ＣＰＵ５１−２が実行するプログラムや種々のデータを格納する記憶装置であり、例えば、ＲＡＭである。
【００２２】
共用ディスクインタフェース５３−２は、サーバ１０−２と共用ディスク装置４０とを、ＦＣ等の専用チャネル６１−２により接続する通信アダプタである。共用ディスクインタフェース５３−２は、サーバ１０−２から共用ディスク装置４０に書き込むデータを送信したり、共用ディスク装置４０からサーバ１０−２に読み出すデータを受信する。すなわち、共用ディスクインタフェース５３−２は、サーバ１０−２と共用ディスク装置４０との間のデータのＩ／Ｏを制御する。共用ディスクインタフェース５３−２は、共用ディスク装置４０に含まれるディスクのうち、サーバ１０−２がマウントしているディスクデバイス４５−１〜４５−ｉに、サーバ１０−２がアクセスする際に動作する。
【００２３】
ネットワークインタフェース５４−２は、サーバ１０−２と、保守端末７０、サーバ１０−１、共用ディスク装置４０とをＬＡＮ６０経由で接続する通信アダプタであり、例えばＬＡＮカードである。例えば、このネットワークインタフェース５４−２と前述のネットワークインタフェース５４−１とにより、ＬＡＮ６０経由でサーバ間通信が行なわれる。
【００２４】
記憶装置５５−２は、種々のプログラムや、ＯＳ、データを格納し保存する記憶装置である。記憶装置５５−２は、例えばＨＤＤである。
共用ディスク装置４０は、ＣＰＵ４１、メモリ４２、共用ディスクインタフェース４３−１、共用ディスクインタフェース４３−２、ネットワークインタフェース４４、及びディスクデバイス４５−１〜４５−ｉをそなえる。
【００２５】
ＣＰＵ４１は、共用ディスク装置４０に係る種々の制御や演算を行なう処理装置であり、不図示のＲＯＭ等に格納されているプログラム等を読み出し、各種処理を実行する。ＣＰＵ４１は、例えば、公知のＣＰＵを使用して実装することができる。
メモリ４２は、ＣＰＵ４１が実行するプログラムや種々のデータを格納する記憶装置であり、例えば、ＲＡＭである。
【００２６】
共用ディスクインタフェース４３−１は、サーバ１０−１と共用ディスク装置４０とを接続する通信アダプタである。共用ディスクインタフェース４３−１は、サーバ１０−１から共用ディスク装置４０に書き込むデータを受信したり、共用ディスク装置４０から読み出すデータをサーバ１０−１に送信する。すなわち、共用ディスクインタフェース４３−１は、サーバ１０−１と共用ディスク装置４０との間のデータのＩ／Ｏを制御する。このため、共用ディスクインタフェース４３−１を共用ディスクインタフェースＡとも呼ぶ。
【００２７】
共用ディスクインタフェース４３−２は、サーバ１０−２と共用ディスク装置４０とを接続する通信アダプタである。共用ディスクインタフェース４３−２は、サーバ１０−２から共用ディスク装置４０に書き込むデータを受信したり、共用ディスク装置４０から読み出すデータをサーバ１０−２に送信する。すなわち、共用ディスクインタフェース４３−２は、サーバ１０−２と共用ディスク装置４０との間のデータのＩ／Ｏを制御する。このため、共用ディスクインタフェース４３−２を共用ディスクインタフェースＢとも呼ぶ。
【００２８】
ネットワークインタフェース４４は、共用ディスク装置４０と、保守端末７０、サーバ１０−１，１０−２とをＬＡＮ６０経由で接続する通信アダプタであり、例えばＬＡＮカードである。
ディスクデバイス４５−１〜４５−ｉは、データを読み書き可能に格納する記憶装置であり、例えば、サーバ１０−１，１０−２から受信したデータを記憶する。ディスクデバイス４５−１〜４５−ｉは、例えば、ＨＤＤである。
【００２９】
なお、以下、サーバを示す符号としては、複数のサーバのうち１つを特定する必要があるときには符号１０−１，１０−２を用いるが、任意のサーバを指すときには符号１０を用いる。
又、以下、サーバ１０のＣＰＵを示す符号としては、複数のＣＰＵのうち１つを特定する必要があるときには符号５１−１，５１−２を用いるが、任意のＣＰＵを指すときには符号５１を用いる。
【００３０】
さらに、以下、サーバ１０のメモリを示す符号としては、複数のメモリのうち１つを特定する必要があるときには符号５２−１，５２−２を用いるが、任意のメモリを指すときには符号５２を用いる。
またさらに、以下、サーバ１０の共用ディスクインタフェースを示す符号としては、複数の共用ディスクインタフェースのうち１つを特定する必要があるときには符号５３−１，５３−２を用いるが、任意の共用ディスクインタフェースを指すときには符号５３を用いる。
【００３１】
さらに又、以下、サーバ１０のネットワークインタフェースを示す符号としては、複数のネットワークインタフェースのうち１つを特定する必要があるときには符号５４−１，５４−２を用いるが、任意のネットワークインタフェースを指すときには符号５４を用いる。
又、以下、サーバ１０の記憶装置を示す符号としては、複数の記憶装置のうち１つを特定する必要があるときには符号５５−１，５５−２を用いるが、任意の記憶装置を指すときには符号５５を用いる。
【００３２】
さらに、以下、共用ディスク装置４０の共用ディスクインタフェースを示す符号としては、複数の共用ディスクインタフェースのうち１つを特定する必要があるときには符号４３−１，４３−２を用いるが、任意の共用ディスクインタフェースを指すときには符号４３を用いる。
またさらに、以下、ディスクデバイスを示す符号としては、複数のディスクデバイスのうち１つを特定する必要があるときには符号４５−１〜４５−ｉを用いるが、任意の共用ディスクインタフェースを指すときには符号４５を用いる。
【００３３】
保守端末７０は、オペレータが情報処理システム１を管理・運用するための種種の入力操作を行なう端末装置であり、オペレータがサーバの切り替えを要求する切り替え要求を、運用中のサーバ１０−１，１０−２に送信するために使用される。保守端末７０は、サーバ１０−１，１０−２と通信できる任意の装置であり、例えば、パーソナルコンピュータにより実装される。保守端末７０、サーバ１０−１、サーバ１０−２、及び共用ディスク装置４０は、相互に通信を行なうことができるように接続される。
【００３４】
次に、サーバ１０−１，１０−２の機能構成について説明する。
図２は、実施形態の一例に係るサーバ１０−１，１０−２の機能構成を示す図である。
サーバ１０−１は、ＯＳ処理部１１−１、クラスタミドル処理部２０−１、及びアプリケーション処理部３０−１をそなえる。
ＯＳ処理部１１−１は、ＯＳが行なう各種処理を実行する機能をそなえ、ファイル管理部（第１管理部、第２管理部）１２−１を有する。
【００３５】
ファイル管理部１２−１は、後述するアプリケーション処理部３０−１によって処理されているファイルに関する情報を保持する。又、ファイル管理部１２−１は、サーバ１０−１がアクセス可能な共用ディスク装置４０のディスクデバイス４５（図１参照）におけるファイルの使用状況を、ディスクデバイス４５ごとにモニタする。ファイル管理部１２−１は、これらの情報を、図７を参照して後述するオープン管理情報テーブル８０に格納する。
【００３６】
又、ファイル管理部１２−１は、後述するクラスタミドル処理部２０−１の冗長化制御部２２−１からの指示に従って、共用ディスク装置４０のディスクデバイス４５のマウント及びアンマウントを行なう。これらのマウント及びアンマウントは、公知の手法で実現することができるため、その詳細な説明は省略する。
クラスタミドル処理部２０−１は、ディスクデバイス４５の処理に関わるミドルウェアの各種処理を行なう機能をそなえ、サーバ間通信制御部（送信部）２１−１、冗長化制御部（制御部）２２−１、コマンド受付部２３−１、及びアプリケーション通知部２４−１をそなえる。
【００３７】
サーバ間通信制御部２１−１は、冗長構成を組んでいる他のサーバ１０−２（「対向サーバ」とも呼ぶ）から送信されてきたパケットを受信して、対向サーバ１０−２から受信したパケットをコマンド受付部２３−１に出力する。対向サーバ１０−２から受信するパケットには、制御メッセージも含まれる。
又、サーバ間通信制御部２１−１は、対向サーバ１０−２にパケットを送信する。サーバ間通信制御部２１−１から送信されるパケットには、サーバ１０−１からサーバ１０−２に送信される制御メッセージが含まれる。
【００３８】
冗長化制御部２２−１は、サーバ１０−１を運用中か待機中のいずれかに設定する。さらに、冗長化制御部２２−１は、サーバ１０−１が使用可能なディスクデバイス４５のリストを記憶している。
サーバ１０−１が運用（サービスの提供）を開始する場合、冗長化制御部２２−１は、ファイル管理部１２−１に、共用ディスク装置４０に含まれるディスクデバイス４５のマウント処理を要求する。
【００３９】
冗長化制御部２２−１は、サーバ１０−１を運用中から待機中に切り替える際に、運用中に使用していたディスクデバイス４５をアンマウントすることを共用ディスク装置４０に要求するメッセージを生成する。
又、冗長化制御部２２−１は、待機中のサーバ１０−２に対して運用の開始を要求する制御メッセージを生成する。
【００４０】
以下の説明では、待機中のサーバ１０−２に対して運用の開始を要求する制御メッセージを「運用開始要求」或いは「運用指示」とも記載することがある。
コマンド受付部（受付部）２３−１は、保守端末７０（図１参照）から受信した制御メッセージを処理する。又、コマンド受付部２３−１は、サーバ間通信制御部２１−１を介して対向サーバ１０−２から受信した制御メッセージも処理する。コマンド受付部２３−１は、冗長化制御部２２−１、アプリケーション通知部２４−１などに、受信した制御メッセージに応じた処理を要求する。
【００４１】
アプリケーション通知部２４−１は、コマンド受付部２３−１から通知された情報を、アプリケーション処理部３０−１の後述するクラスタ通知受付部３１−１に通知する。例えば、サーバの切り替えが要求されると、アプリケーション通知部２４−１は、コマンド受付部２３−１からサービスの停止を通知するように要求される。すると、アプリケーション通知部２４−１は、クラスタ通知受付部３１−１に全アプリケーションの停止を要求する。
【００４２】
アプリケーション処理部３０−１は、クラスタ通知受付部３１−１と機能部３２−１−１〜３２−１−ｍ（ｍは１以上の整数）をそなえる。
クラスタ通知受付部３１−１は、アプリケーション通知部２４−１から、アプリケーションの停止の要求を受けると、各機能部３２−１−１〜３２−１−ｍに、アプリケーションの停止を要求する。
【００４３】
機能部３２−１−１〜３２−１−ｍは、アプリケーションの実行と停止を行なう。
以上、サーバ１０−１の機能構成を説明したが、サーバ１０−２も、各機能部３２−２−１〜３２−２−ｎ（ｎは１以上の整数）を有する点を除き、同様の機能構成を有する。サーバ１０−２の機能構成は、サーバ１０−１と同様であるため、その説明を省略する。
なお、以下の説明では、切り替えの前に運用（サービスの提供）中であったサーバ１０と、切り替えにより運用を開始するサーバ１０の区別を容易にするために、切り替え前から運用中のサーバに関連する番号は、符号の後に「−１」の文字を付す。一方、切り替えにより運用を開始するサーバに関連する番号については、符号の後に「−２」の文字を付す。例えば、切り替え前に運用しているサーバはサーバ１０−１、切り替えにより運用を開始するサーバはサーバ１０−２とする。
【００４４】
しかし、図２に示す構成は、運用系のサーバ１０と待機系のサーバ１０のいずれにも適用されうる。
（Ｂ）動作
次に、実施形態の一例に係る情報処理システム１の動作を説明する。
以下、サーバ１０−１とサーバ１０−２がいずれもSession Initiation Protocol（ＳＩＰ）サーバであり、サービスが呼接続である場合を例に挙げて、各サーバ１０の動作を説明する。
【００４５】
なお、サーバ１０は、サービスの停止時間の短縮が求められる任意の種類のサービスの提供に好適に用いられる。例えば、サーバ１０は、ＳＩＰサーバの他、課金サーバなどであってもよい。この場合、サーバ１０は、データをディスクデバイス４５に書き込んだ後に、書き込んだデータの存在を示すメタファイルを生成するシステムに適用される。
ここで、サーバの切り替えが要求される前は、サーバ１０−１が運用中であり、サーバ１０−２が待機中であるとする。
【００４６】
さらに、運用系サーバ１０−１のＩＰアドレスを「１９２．１６８．１７．２０」、待機系サーバ１のＩＰアドレスを「１９２．１６８．１７．１０」とする。
図３は、実施形態の一例におけるサーバの切り替え前の情報処理システム１を示す図、図４は、サーバの切り替え中の情報処理システム１を示す図であり、図５は、サーバの切り替え後の情報処理システム１を示す図である。
【００４７】
図３に示す例においては、サーバ１０−１は、デバイス名「ｓｄｂ１」のディスクデバイス４５をマウントしており、ディスクデバイス４５のファイルＡにアクセスし、このファイルＡをオープンしている。
次に、オペレータが、保守端末７０（図１参照）を使用して、サーバの切り替えを要求すると、図４に示すように、ＡＣＴ系サーバ１０−１は系切り替えを行う。以後、サーバ１０−２が新運用系（ＡＣＴ系）サーバとなり、サーバ１０−１が旧ＡＣＴ系サーバとなる。
【００４８】
サーバの切り替え中は、旧ＡＣＴ系サーバ１０−１は、自身にマウントしているディスクデバイス４５（ｓｄｂ１）のファイルの新規のオープンを拒否する。
又、新ＡＣＴ系サーバ１０−２がディスクデバイス４５のファイルにアクセスすると、図４に示すように、当該アクセス要求が、旧ＡＣＴ系サーバ１０−１の通信制御部１３−１を介して、旧ＡＣＴ系サーバ１０−１に転送される。
【００４９】
最後に、サーバの切り替えが終了すると、図５に示すように、旧ＡＣＴ系サーバ１０−１でオープン中のすべてのファイルがクローズされた後に、新ＡＣＴ系サーバ１０−２が共用ディスク装置４０のディスクデバイス４５をアンマウントする。
以後、新ＡＣＴ系サーバ１２−２からのアクセスは、旧ＡＣＴ系サーバ１２−１の通信制御部１３−１を介さず、新ＡＣＴ系サーバ１２−２内で処理される。
【００５０】
次に、前述した図３〜図５に示したサーバ１０−１，１０−２の処理フローについて説明する。
図６は、実施形態の一例におけるサーバ１０−１，１０−２の処理フローを示す図である。
先ず、運用系サーバ１０−１における処理を説明する。
【００５１】
図６に示すように、運用系サーバ１０−１では以下のように処理を行なう。
ステップＳＡ１において、オペレータが、保守端末７０（図１参照）を使用して、運用系サーバ１０−１のクラスタミドル処理部２０−１にサーバの切り替えを要求する。
クラスタミドル処理部２０−１のコマンド受付部２３−１は、サーバの切り替えコマンドを受け付けると、これを冗長化制御部２２−１に渡す。
【００５２】
ステップＳＡ２において、クラスタミドル処理部２０−１の冗長化制御部２２−１は、アプリケーション通知部２４−１を介して、クラスタミドル上で稼動している全アプリケーションに対して、サービス停止を指示する。
次にステップＳＡ３において、クラスタミドル処理部２０−１の冗長化制御部２２−１は、ＯＳ処理部１１−１に対して以後の共用ディスク装置４０のディスクデバイス４５に対するファイルオープンを禁止するように指示する。
【００５３】
ステップＳＡ４において、ＯＳ処理部１１−１のファイル管理部１２−１は、指示されたディスクデバイス４５における、新規のファイルオープンを禁止するため、図７に示すオープン管理情報テーブル８０を変更する。
ここで、オープン管理情報テーブル８０について説明する。図７は、実施形態の一例におけるオープン管理情報テーブル８０の構造を示す図、図８は、図７のオープン管理情報テーブル８０のデータ例を示す図である。
【００５４】
図７に示すように、オープン管理情報テーブル８０は、ディスクデバイスフィールド８１、オープン可否フィールド８２、及びオープンファイルヘッダフィールド８３を有する。
ディスクデバイスフィールド８１は、共用ディスク装置４０に存在するディスクデバイス４５のデバイス名を格納している。
【００５５】
オープン可否フィールド８２は、ディスクデバイスフィールド８１に示すディスクデバイス４５が、オープン可であるかどうかを示す値を格納する。
オープンファイルヘッダフィールド８３は、ディスクデバイスフィールド８１に示すディスクデバイス４５において、オープンされているファイルのファイル情報を、例えばポインタリスト形式で示す。このファイル情報は、例えば、ファイルの所有者、ファイルのサイズ、アクセス権限、作成日時、ディスクデバイスのデータ領域へのポインタ、参照カウントを有する。
【００５６】
参照カウントは、初期値が「１」であり、ファイルがオープンされる度に１インクリメントされ、ファイルがクローズされると１デクリメントされる。参照カウントが「０」になると、例えば、オープンファイルヘッダフィールド８３のポインタリストから、当該ファイルへのポインタが削除される。
図８のデータ例では、ディスクデバイスフィールド８１のｓｄａ１〜ｓｄａ３，ｓｄｂ１は、共用ディスク装置４０に含まれるディスクデバイス４５を示し、このうち、ディスクデバイスｓｄｂ１が、サーバ１０−１にマウントされている。
【００５７】
このように、図６のステップＳＡ４において、ＯＳ処理部１１−１のファイル管理部１２−１は、図８に示すように、ディスクデバイスｓｄｂ１のオープン可否フィールド８１に「オープン不可」を設定する。
次に、ステップＳＡ５において、クラスタミドル処理部２０−１は、冗長構成を組んでいる対向サーバ（待機系サーバ）１０−２からの通信を受信可能とするよう、ＯＳ処理部１１−１のファイル管理部１２−１に指示する。
【００５８】
ステップＳＡ６において、指示を受けたＯＳ処理部１１−１のファイル管理部１２−１は、通信制御部１３−１において、図９の受信許可ＩＰアドレステーブル８５に、受信を許可するサーバ１０−２のＩＰアドレスを設定する。なお、以下、このタイミングを「時点Ａ」と呼ぶ。
ここで、受信許可ＩＰアドレステーブル８５について説明する。
【００５９】
図９は、実施形態の一例における受信許可ＩＰアドレステーブル８５の構造を示す図であり、図１０は、図９の受信許可ＩＰアドレステーブル８５のデータ例を示す図である。
ここで、受信許可ＩＰアドレステーブル８５は、受信を許可するサーバ１０のＩＰアドレスを有する。
例えば、ステップＳＡ６において、図１０に示すように、受信許可ＩＰアドレステーブル８５に、受信を許可するサーバ１０−２のＩＰアドレスである「１９２．１６８．１７．１０」が設定される。
【００６０】
以上で系切り替えの準備が整ったので、図６のステップＳＡ７において、クラスタミドル処理部２０−１は系切り替えを実施するために、待機系サーバ１０−２のクラスタミドル処理部２０−２に対して、サーバ間通信制御部２１を介して、ＡＣＴ化指示を通知する。又、ステップＳＡ８において、クラスタミドル処理部２０−１は、オペレータからのサーバの切り替え要求に対してコマンド応答を返す。
【００６１】
ステップＳＡ１０において、クラスタミドル処理部２０−１は、ＯＳ処理部１１−１に対して、クローズ待ちアンマウントを指示する。
ここで、「クローズ待ちアンマウント」とは、サーバ１０−１がオープンしているディスクデバイス４５の全ファイルがクローズされた後に、ディスクデバイス４５をアンマウントする処理を指す。
【００６２】
ここで、ＯＳ処理部１１−１のファイル管理部１２−１は、図９のオープン管理情報テーブル８０を参照し、オープンファイルヘッダ８３の値がＮＵＬＬになるのを待つ。
ステップＳＡ１７において、サーバ１０−１上の全アプリケーションがファイルをクローズする。このとき、図９のオープン管理情報テーブル８０のオープンファイルヘッダ８３がＮＵＬＬとなる。そこでステップＳＡ１８において、ＯＳ処理部１１−１のファイル管理部１２−１は、ファイル及びファイル管理データの共用ディスク装置４０への書き込みを行なう。又、通信制御部１３−１を介して、新たに運用系となるサーバ１０−２に対してメモリと共用ディスク装置４０の同期が完了したことを、同期完了通知（完了通知）により通知する。なお、以下、このタイミングを「時点Ｂ」と呼ぶ。
【００６３】
ステップＳＡ１９において、ＯＳ処理部１１−１のファイル管理部１２−１は、共用ディスク装置４０をアンマウントする。
ステップＳＡ２０において、クラスタミドル処理部２０−１は、自サーバ１０−１をＳＢＹ系に設定する。
なお、上記時点Ａから時点Ｂの間、ＯＳ処理部１１−１のファイル管理部１２−１は、図１１の受信可能ＩＰアドレステーブル８５に登録したサーバ１０−２からのファイルアクセス要求を受け付け、処理を行なってその結果をそのサーバ１０−２に返す。
【００６４】
次に、待機系サーバ１０−２における処理を説明する。
待機系サーバ１０−２では、以下のように処理を行なう。
ステップＳＡ７において、ＡＣＴ化通知を受けたサーバ１０−２は、冗長化制御部２２−２において自身を運用中に設定（ＡＣＴ化）し、ステップＳＡ９において、ＯＳ処理部１１−２に対して共用ディスク装置４０のディスクデバイス４５の同期待ちマウントを指示する。
【００６５】
ここで、「同期待ちマウント」とは、ディスクデバイス４５へのアクセス要求を、当該ディスクデバイス４５を実際にマウントしているサーバ１０−１に転送して当該アクセス要求を処理させることにより、見かけ上、ディスクデバイス４５をサーバ１０−２にマウントすることを指す。なお、「同期待ちマウント」の「同期」は、前述のステップＳＡ１８の「同期」完了通知を待ってマウントすることを意味する。
【００６６】
しかし、ディスクデバイス４５は、実際には、サーバ１０−１がオープンしている全ファイルがクローズされアンマウントされた後に、サーバ１０−２にマウントされる。
ステップＳＡ１１において、ＯＳ処理部１１−２のファイル管理部１２−２は、共用ディスク装置４０へのアクセス要求を旧運用系サーバ１０−１へ転送するよう、図１１の送信先ＩＰアドレステーブル８６に送信先サーバ１０のＩＰアドレスを設定する。
【００６７】
ここで、送信先ＩＰアドレステーブル８６について説明する。
図１１は、実施形態の一例における送信先ＩＰアドレステーブル８６の構造を示す図であり、図１２は、送信先ＩＰアドレステーブル８６のデータ例を示す図である。
ここで、送信先ＩＰアドレステーブル８６は、共用ディスク装置４０へのアクセス要求を転送する転送先のサーバ１０のＩＰアドレスを有する。
【００６８】
例えば、系切り替えの指示前は、図１２の例に示すように、送信先ＩＰアドレステーブル８６には値「０」が設定されており、転送先のサーバ１０が１台も登録されていない。しかし、ステップＳＡ１１において、図１３の例に示すように、送信先ＩＰアドレステーブル８６に、転送先のサーバ１０−１のＩＰアドレスである１９２．１６８．１７．２０が設定される。
【００６９】
次に、ＳＡ１２において、クラスタミドル処理部２０−２は、アプリケーション通知部２４を介して、クラスタミドル上で稼動している全アプリケーションに対して、サービス開始を指示する。
以後、ステップＳＡ１３〜ＳＡ１６に示すように、共用ディスク装置４０上のファイルへのアクセスは、図８のオープン管理情報テーブル８０を参照し、オープン管理情報テーブル８０に登録されているサーバ１０（ＩＰアドレス）があればそのサーバ１０に対して、通信制御部１３−２を介して、ファイルアクセス処理を依頼する。登録されているサーバ１０がなければ、自サーバ１０−２で処理を行なう。その際、ステップＳＡ１３においてアプリケーション３０−２によりファイルへのアクセスが実施され、ステップＳＡ１４において、送信先ＩＰアドレステーブル８６にサーバ１０−１のＩＰアドレスが登録されていれば、通信制御部１３−２によりサーバ１０−１にアクセスが転送される。次に、ステップＳＡ１５において、サーバ１０−１でアクセス処理を行なった結果がＯＳ１１−２に返送される。次に、ステップＳＡ１６において、ステップＳＡ１５で返送されたアクセス結果がアプリケーション３０−２に返される。
【００７０】
旧運用系サーバ１０−１から、上記時点Ｂの同期完了通知を受けると、ステップＳＡ２１において、ＯＳ処理部１１−２のファイル管理部１２−２は、共用ディスク装置４０のディスクデバイス４５をマウントし、図１４に示すように、送信先ＩＰアドレステーブル８６からサーバ１０−１のＩＰアドレスを削除する。
次に、ステップＳＡ２２において、サーバ１０−２のアプリケーションが共用ディスク装置４０のディスクデバイス４５のファイルにアクセスすると、ステップＳＡ２３において、ＯＳ処理部１１−２のファイル管理部１２−２は、送信先ＩＰアドレステーブル８６をチェックする。送信先ＩＰアドレステーブル８６にＩＰアドレスが登録されていないため、ＯＳ処理部１１−２のファイル管理部１２−２は、当該ファイルに通常の手法でアクセスする。
【００７１】
（Ｃ）作用／効果
このように、実施形態の一例によれば、運用系サーバ１０−１と待機系サーバ１０−２に共用ディスク装置４０が接続された冗長構成の情報処理システム１において、計画保守などによりサーバを切り替える際に、運用系サーバ１０−１から共用ディスク装置４０へのアクセス終了を待たずにサーバの切り替えを実施する。その際、新運用系（旧待機系）サーバ１０−２は、新待機系（旧運用系）サーバ１０−２から共用ディスク装置へのアクセス要求が終了するまで、旧運用系サーバ１０−２に、新待機系サーバからのアクセス要求を転送する。これにより、旧運用系サーバ１０−１で動作しているアプリケーションの終了処理に並行して、新運用系サーバ１０−２でのサービスの提供が開始される。従って、サービスの停止時間が短くて済む。
【００７２】
このため、共用ディスク装置４０を接続しているＡＣＴ／ＳＢＹ構成のサーバにおいて、旧運用系サーバ１０−１でのアプリケーションの振る舞いに依存した共用ディスク装置４０へのアクセス終了を待つことなくサーバの切り替えを高速に行えるので、サービス停止時間を、一定時間以内に短縮することができる。
例えば、サーバ１０−１，１０−２が呼管理用サーバである場合、サービスが停止している間は、発呼が行なわれてもサーバ１０−１，１０−２のいずれも発呼の要求を受け付けることができないため、新たな通話が確立されないことになる。又、サービスが停止する前に成立している通話が切断されても、切断処理が行なわれない。実施形態の一例により、サービスの停止時間を短くすることにより、これらの問題が発生する期間を短くすることができる。
【００７３】
さらに、実施形態の一例によれば、サービスの停止時間がアプリケーションの終了処理にかかる時間の長さによって変動しない。従って、ユーザからの１回目の発呼が失敗したとしても、ユーザが用いる端末が発呼要求のリトライを行なっている間にサービスが再開できるように、端末を設定することができれば、ユーザ側で発呼に成功する可能性を高めることもできる。
【００７４】
前述のように、従来、ＡＣＴ系／ＳＢＹ系の冗長構成をとるサーバにおいて、両系に接続され、ＡＣＴ系からのみディスクアクセス要求を許しているシステムにおいて、サーバの切り替えを行なうときに実施形態の一例に係る処理が行なわれない場合、図１５に示すような処理が行われる。
図１５は、実施形態の一例に係る処理が行なわれない場合の処理フローを示す図である。
【００７５】
ステップＳＢ１において、オペレータが、保守端末７０（図１参照）を使用して、サーバの切り替えをコマンドにより指示する。
次に、ステップＳＢ２において、サーバの切り替えコマンドを受けたクラスタミドルは、アプリケーションに対してサービス停止を指示する。
ステップＳＢ３において、クラスタミドル上で動作している全アプリケーションがサービスを停止し、共用ディスク装置４０上のファイルをクローズする。
【００７６】
ステップＳＢ４において、ステップＳＢ１の応答をクラスタミドルが受けると、共用ディスク装置４０のアンマウントをＯＳに対して指示し、ステップＳＢ５において、ＯＳがアンマウント処理を実行する。
アンマウントが完了すると、ステップＳＢ６において、クラスタミドルはＳＢＹ系のクラスタミドルに対して運用系の切り替えの通知を行ない、ステップＳＢ８において、ステップＳＢ１のコマンドに対してコマンド応答する。
【００７７】
ステップＳＢ７において、新ＡＣＴ系のクラスタミドルは、ステップＳＢ５の通知を受けると共用ディスク装置４０のディスクデバイス４５をマウントする。
ステップＳＢ９において、新ＡＣＴ系へのディスクデバイス４５のマウントが終了すると、ステップＳＢ１０において、クラスタミドルは、全アプリケーションに対してサービス開始を通知する。
【００７８】
このように、ステップＳＢ３において全アプリケーションの共用ディスク装置のディスクデバイス４５へのアクセス要求が停止しない限り、サーバの切り替えを行なうことができない。
したがって、ステップＳＢ２からステップＳＢ７までの間はサービスが停止するため、アプリケーションの振る舞いにより共用ディスク装置４０へのアクセス停止に時間がかかる。このため、サービスが停止し、サービス不可能な時間が長くなる。
【００７９】
これに対し、本実施形態の一例によれば、前述のように、アプリケーションの振る舞いに関わらず最短時間でサーバの切り替えを実施し、サービス停止時間を短縮することができる。
（Ｄ）その他
なお、上述した実施形態に関わらず、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
【００８０】
例えば、サーバ１０−１が運用系、サーバ１０−２が待機系のサーバであると説明したが、サーバ１０−１，１０−２は同様の構成をそなえるため、いずれが運用系、待機系になってもよい。
又、ディスクデバイス４５−１〜４５−ｉが、複数のディスクデバイス４５−１〜４５−ｉを組み合わせて、冗長化された１つのストレージとして管理する、Redundant Arrays of Inexpensive Disks（ＲＡＩＤ）装置として構成されてもよい。
【００８１】
なお、ＯＳ処理部１１−１，１１−２、ファイル管理部１２−１、１２−２、クラスタミドル処理部２０−１，２０−２、サーバ間通信制御部２１−１，２１−２、コマンド受付部２３−１，２３−２、冗長化制御部２２−１，２２−２、アプリケーション通知部２４−１、２４−２、アプリケーション処理部３０−１、３０−２、及びクラスタ通知受付部３１−１，３１−２としての機能を実現するためのプログラムは、例えばフレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等）、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ  ＤＶＤ等），ブルーレイディスク，磁気ディスク，光ディスク，光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
【００８２】
又、ＯＳ処理部１１−１，１１−２、ファイル管理部１２−１、１２−２、クラスタミドル処理部２０−１，２０−２、サーバ間通信制御部２１−１，２１−２、コマンド受付部２３−１，２３−２、冗長化制御部２２−１，２２−２、アプリケーション通知部２４−１、２４−２、アプリケーション処理部３０−１、３０−２、及びクラスタ通知受付部３１−１，３１−２としての機能を実現する際には、内部記憶装置（本実施形態ではサーバ１０の記憶装置５５）に格納されているプログラムがコンピュータのマイクロプロセッサ（本実施形態ではサーバ１０のＣＰＵ５１）によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。
【００８３】
なお、本実施形態において、コンピュータとは、ハードウェアとオペレーティングシステムとを含む概念であり、オペレーティングシステムの制御の下で動作するハードウェアを意味している。又、オペレーティングシステムが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とをそなえており、本実施形態においては、ＣＭ５がコンピュータとしての機能を有しているのである。
【符号の説明】
【００８４】
１０−１          運用系サーバ（第１サーバ、別のサーバ）
１０−２          待機系サーバ（第２サーバ、サーバ）
１１−１，１１−２        ＯＳ処理部
１２−１                  ファイル管理部（第１管理部）
１２−２                  ファイル管理部（第２管理部）
２０−１，２０−２        クラスタミドル処理部
２１−１，２１−２        サーバ間通信制御部（送信部）
２２−１，２２−２        冗長化制御部（制御部）
２３−１，２３−２        コマンド受付部（受付部）
２４−１，２４−２        アプリケーション通知部
３０−１，３０−２        アプリケーション処理部
３１−１，３１−２        クラスタ通知受付部
４０                      共用ディスク装置（共用記憶装置）
４５−１〜４５−ｉ      ディスクデバイス
４１、５１−１，５１−２  ＣＰＵ
４２、５２−１，５２−２  メモリ
４３−１，４３−２，５３−１，５３−２  共用ディスクインタフェース
４４、５４−１，５４−２  ネットワークインタフェース
５５−１，５５−２        記憶装置
７０                      保守端末
【図１】
2014067367.tif 000003
【図２】
2014067367.tif 000004
【図３】
2014067367.tif 000005
【図４】
2014067367.tif 000006
【図５】
2014067367.tif 000007
【図６】
2014067367.tif 000008
【図７】
2014067367.tif 000009
【図８】
2014067367.tif 000010
【図９】
2014067367.tif 000011
【図１０】
2014067367.tif 000012
【図１１】
2014067367.tif 000013
【図１２】
2014067367.tif 000014
【図１３】
2014067367.tif 000015
【図１４】
2014067367.tif 000016
【図１５】
2014067367.tif 000017