(57)【要約】      （修正有）【課題】適宜実施可能なレベルによる復旧動作の確認を選択的に行えるようにする。【解決手段】管理装置は、第１サイトで稼動しているシステムの復旧に用いられるデータを保持している第２サイトにおけるリソースの空き状況を取得する第１取得部５０１と、上記システムの復旧のリハーサル処理で確保すべきリソースの規模を定めた複数のレベルのうち、空き状況が適合するレベルを特定する特定部５３７と、適合するレベルに応じたリハーサル処理を起動させる起動部５４１とを有する。【選択図】図５
2015176459.tif 000002
【特許請求の範囲】
【請求項１】
第１サイトで稼動しているシステムの復旧に用いられるデータを保持している第２サイトにおけるリソースの空き状況を取得する第１取得部と、
前記システムの復旧のリハーサル処理で確保すべきリソースの規模を定めた複数のレベルのうち、前記空き状況が適合するレベルを特定する特定部と、
前記適合するレベルに応じた前記リハーサル処理を起動させる起動部と
を有する管理装置。
【請求項２】
更に、
前記第１サイトでモニタされた、前記システムにおけるリソースの使用量を取得する第２取得部と、
前記使用量によって、前記規模についての閾値を設定する設定部と
を有する請求項１記載の管理装置。
【請求項３】
更に、
前記第１サイトでモニタされた、前記システムにおけるリソースの使用量を取得する第２取得部と、
前記使用量から前記システムにおける冗長化のための使用量を差し引き、残余の使用量によって、前記規模についての閾値を設定する設定部と
を有する請求項１記載の管理装置。
【請求項４】
前記設定部は、複数の時点におけるリソースの使用量を比較し、少ない方の使用量を用いる
請求項２又は３記載の管理装置。
【請求項５】
更に、
前記第１サイトから、前記システムに対するリソースの割当量を取得する第２取得部と、
前記割当量から前記システムにおける冗長化のための割当量を差し引き、残余の割当量によって、前記規模についての閾値を設定する設定部と
を有する請求項１記載の管理装置。
【請求項６】
更に、
前記第１サイトでモニタされた、前記システムに含まれる複数の仮想マシンの各々におけるリソースの使用量を取得する第２取得部と、
前記仮想マシンの各々における前記使用量を比較して、最も大きい使用量によって、前記規模についての閾値を設定する設定部と
を有する請求項１記載の管理装置。
【請求項７】
第１サイトで稼動しているシステムの復旧に用いられるデータを保持している第２サイトにおけるリソースの空き状況を取得する処理と、
前記システムの復旧のリハーサル処理で確保すべきリソースの規模を定めた複数のレベルのうち、前記空き状況が適合するレベルを特定する処理と、
前記適合するレベルに応じた前記リハーサル処理を起動させる処理と
をコンピュータに実行させるための管理プログラム。
【請求項８】
第１サイトで稼動しているシステムの復旧に用いられるデータを保持している第２サイトにおけるリソースの空き状況を取得する取得部と、
前記システムの復旧のリハーサル処理で確保すべきリソースの規模を定めた複数のレベルのうち、前記空き状況が適合するレベルを特定する特定部と、
前記適合するレベルに応じた前記リハーサル処理を起動させる起動部と、
前記適合するレベルに応じた前記リハーサル処理を実行するリハーサル部と
を有する情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なるサイトでシステムを復旧する技術に関する。
【背景技術】
【０００２】
クラウド環境において、あるサイト（以下運用サイトという。）における業務システムが何らかの事由によって停止した場合に、当該業務システムを他のサイト（以下、待機サイトという。）において復旧させるための仕組みが存在する。例えば待機サイトは、運用サイトで保持するデータ（システムの構成情報、イメージ及びユーザデータなど）と同期されたデータを保持している。そして、待機サイトによる復旧時には、このデータを用いて運用サイトと同等の業務システムが構築される。
【０００３】
また、平素から復旧の動作が正常に行われることを確認するために、時折復旧のリハーサルが行われる。
【０００４】
待機サイトは、業務システムを構築するためのリソースを備えている。但し、このリソースは、他の目的にも用いられていることがある。従って、待機サイトにおける空きリソースの規模は時に変動し、復旧時に使用されるリソースが常時空いているとは限らない。
【０００５】
そのため、復旧のリハーサルを行おうとしても、リソースが不足して叶わないことがある。このように、復旧のリハーサルのための環境が整っていなければ、復旧の動作を確認することができない。
【０００６】
ある特許文献には、プリンタのような組込機器に関して、組込用アプリケーションが実行環境で使用するリソースの量を求め、実行環境におけるリソースの制限条件を満たしていることを検証する技術が開示されている。この文献のように、導入前にリソース不足を予知したとしても、その組込用アプリケーションにとって実行環境が整っていないこと自体は変わりがない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２４４４５０号公報
【特許文献２】特開２０００−３４７９９７号公報
【特許文献３】特開２０１０−１９８０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、一側面によれば、適宜実施可能なレベルによる復旧動作の確認を選択的に行えるようにすることである。
【課題を解決するための手段】
【０００９】
一態様に係る管理装置は、第１サイトで稼動しているシステムの復旧に用いられるデータを保持している第２サイトにおけるリソースの空き状況を取得する第１取得部と、上記システムの復旧のリハーサル処理で確保すべきリソースの規模を定めた複数のレベルのうち、空き状況が適合するレベルを特定する特定部と、適合するレベルに応じたリハーサル処理を起動させる起動部とを有する。
【００１０】
一態様に係る情報処理システムは、第１サイトで稼動しているシステムの復旧に用いられるデータを保持している第２サイトにおけるリソースの空き状況を取得する取得部と、上記システムの復旧のリハーサル処理で確保すべきリソースの規模を定めた複数のレベルのうち、空き状況が適合するレベルを特定する特定部と、適合するレベルに応じたリハーサル処理を起動させる起動部と、適合するレベルに応じたリハーサル処理を実行するリハーサル部とを有する。
【発明の効果】
【００１１】
一側面としては、適宜実施可能なレベルによる復旧動作の確認を選択的に行える。
【図面の簡単な説明】
【００１２】
【図１】図１は、ネットワーク構成例を示す図である。
【図２】図２は、仮想サーバの配備例を示す図である。
【図３】図３は、割当量テーブルの例を示す図である。
【図４】図４は、日常処理の概要を示す図である。
【図５】図５は、管理装置のモジュール構成例を示す図である。
【図６】図６は、使用量テーブルの例を示す図である。
【図７】図７は、第１確保量テーブルの例を示す図である。
【図８】図８は、レベル１における第２確保量テーブルの例を示す図である。
【図９】図９は、レベル２における第２確保量テーブルの例を示す図である。
【図１０】図１０は、レベル３における第２確保量テーブルの例を示す図である。
【図１１】図１１は、レベル４における第２確保量テーブルの例を示す図である。
【図１２】図１２は、レベル５における第２確保量テーブルの例を示す図である。
【図１３】図１３は、準備処理フローを示す図である。
【図１４】図１４は、特定処理（Ａ）フローを示す図である。
【図１５】図１５は、特定処理（Ｂ）フローを示す図である。
【図１６】図１６は、特定処理（Ｃ）フローを示す図である。
【図１７】図１７は、特定処理（Ｄ）フローを示す図である。
【図１８】図１８は、設定処理フローを示す図である。
【図１９】図１９は、設定処理フローを示す図である。
【図２０】図２０は、リソースの空き量と判定結果との例を示す図である。
【図２１】図２１は、制御処理フローを示す図である。
【図２２】図２２は、リハーサル処理フローを示す図である。
【図２３】図２３は、リハーサル処理フローを示す図である。
【図２４】図２４は、コンピュータの機能ブロック図である。
【発明を実施するための形態】
【００１３】
図１に、ネットワーク構成例を示す。運用サイト１０１では、業務システムが運用されている。運用サイト１０１は、ＬＡＮ（Local Area Network）を介して接続されている物理サーバ１０３、ストレージ装置１０５及び管理サーバ１０７を有している。物理サーバ１０３には、業務システムで用いられる仮想サーバが配備される。管理サーバ１０７は、物理サーバ１０３及びストレージ装置１０５などのハードウエア装置とともに、仮想サーバや仮想ネットワークなどの仮想環境も管理する。また、管理サーバ１０７は、物理サーバ１０３及びストレージ装置１０５などのハードウエア装置と、仮想サーバや仮想ネットワークなどの仮想環境の状態をモニタするモニタ部１０９を有している。
【００１４】
例えば運用サイト１０１が被災して、運用サイト１０１における業務システムが停止した場合には、待機サイト１１１において当該業務システムを復旧させる。つまり、運用サイト１０１における業務システムと同様のシステムが、待機サイト１１１において再構築される。
【００１５】
待機サイト１１１は、運用サイト１０１と同様に、ＬＡＮを介して接続されている物理サーバ１１３、ストレージ装置１１５及び管理サーバ１１７を有している。物理サーバ１１３には、復旧時に業務システムの仮想サーバが配備される。但し、通常時において物理サーバ１１３に、それ以外の仮想サーバが配備されていることもある。管理サーバ１１７は、管理サーバ１０７と同様に、物理サーバ１１３及びストレージ装置１１５などのハードウエア装置とともに、仮想サーバや仮想ネットワークなどの仮想環境も管理する。また、管理サーバ１１７は、物理サーバ１１３及びストレージ装置１１５などのハードウエア装置と、仮想サーバや仮想ネットワークなどの仮想環境の状態をモニタするモニタ部１１９を有している。更に、管理サーバ１１７は、復旧のリハーサル処理を行うリハーサル部１２１を有している。尚、上述した仮想サーバは、仮想マシンの一形態である。
【００１６】
例えば地震に起因するような広域にわたる自然的被災を考慮する場合、待機サイト１１１は、運用サイト１０１から離れた場所に設けられる。この例では、運用サイト１０１のＬＡＮと、待機サイト１１１のＬＡＮとは、ＷＡＮ（Wide Area Network）を介して接続されている。但し、例えば機器の故障のような局所的障害に備える場合には、待機サイト１１１を運用サイト１０１と近接する場所に設けるようにしてもよい。そのような場合は、待機サイト１１１は、運用サイト１０１と共通のＬＡＮに設けられるようにしてもよい。本実施の形態では、待機サイト１１１において、予定通りに業務システムが復旧されることを確認するためのリハーサルを行う。
【００１７】
管理装置１３１は、運用サイト１０１と待機サイト１１１とを管理する。管理装置１３１は、リハーサルの制御を行うための準備を行う準備部１３３と、リハーサルの制御を行う制御部１３５とを有している。管理サーバ１１７に代えて、管理装置１３１がリハーサル部１２１を備えるようにしてもよい。
【００１８】
管理装置１３１は、運用サイト１０１のＬＡＮに接続するようにしてもよい。その場合には、管理装置１３１は、モニタ部１０９を有するようにしてもよい。
【００１９】
また、管理装置１３１は、待機サイト１１１のＬＡＮに接続するようにしてもよい。その場合には、管理装置１３１は、モニタ部１１９を有するようにしてもよい。同じく、管理装置１３１は、リハーサル部１２１を有するようにしてもよい。
【００２０】
モニタ部１０９、モニタ部１１９、リハーサル部１２１、準備部１３３及び制御部１３５は、ハードウエア資源（例えば図２４）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
【００２１】
図２に、仮想サーバの配備例を示す。運用サイト１０１は、物理サーバ１０３ａ乃至１０３ｃを有している。物理サーバ１０３ａには、ＩＤが「ＶＳＡ−１」である仮想サーバと、ＩＤが「ＶＳＡ−２」である仮想サーバとが配備されている。物理サーバ１０３ｂには、ＩＤが「ＶＳＡ−３」である仮想サーバと、ＩＤが「ＶＳＢ−１」である仮想サーバとが配備されている。物理サーバ１０３ｃには、ＩＤが「ＶＳＡ−４」である仮想サーバと、ＩＤが「ＶＳＢ−２」である仮想サーバと、ＩＤが「ＶＳＢ−３」である仮想サーバとが配備されている。
【００２２】
そして、各仮想サーバは、物理サーバ１０３に設けられている仮想スイッチに接続されている。また、各仮想スイッチは、物理スイッチに接続されている。仮想スイッチを介して接続された仮想サーバは、仮想ネットワークを介してデータ通信を行う。
【００２３】
これらの仮想サーバには、リソースが割り当てられる。図３に示す割当量テーブルの例を用いて、リソースの割り当てについて説明する。図３に示した割当量テーブルの例には、仮想サーバ毎にレコードが設けられている。各レコードは、当該仮想サーバが供される業務の名を設定するためのフィールドと、当該仮想サーバのＩＤを設定するためのフィールドと、当該仮想サーバに対するリソースの割当量を設定するためのフィールドと、当該仮想サーバに関する冗長化のために増設された仮想サーバのＩＤを設定するためのフィールドとを有している。尚、この例におけるフィールド以外の形式で、冗長化を設定するようにしてもよい。リソースの割当量を設定するためのフィールドは、ＣＰＵの割当量（ＧＨｚ×個数）を設定するためのフィールドと、メモリの割当量（ＧＢ）を設定するためのフィールドと、ディスクの割当量（ＧＢ×個数）を設定するためのフィールドとを含んでいる。ＣＰＵの個数が１である場合には、「×１」の表記を省略する。また、ディスクの個数が１である場合には、「×１」の表記を省略する。尚、この図に示した割当量テーブルでは、同じ業務名のフィールド（例えば、「業務Ａ」）が連結されているが、この表示はこれらのフィールドに同じ業務名が設定されていることを意味している。
【００２４】
このテーブルにおける第１レコードは、ＩＤが「ＶＳＡ−１」である仮想サーバは、「業務Ａ」に供されることを示している。また、このレコードは、当該仮想サーバには、「２」ＧＨｚのＣＰＵが「２」個割り当てられ、「１０」ＧＢのメモリが割り当てられ、更に「２０」ＧＢのディスクが「２」個割り当てられていることを示している。更に、このレコードは、当該仮想サーバの冗長化のためにＩＤ「ＶＳＡ−４」の仮想サーバが増設されていることを示している。
【００２５】
このテーブルにおける第２レコードは、ＩＤが「ＶＳＡ−２」である仮想サーバは、「業務Ａ」に供されることを示している。また、このレコードは、当該仮想サーバには、「１」ＧＨｚのＣＰＵが１個割り当てられ、「４」ＧＢのメモリが割り当てられ、更に「５０」ＧＢのディスクが１個割り当てられていることを示している。更に、このレコードは、当該仮想サーバの冗長化のために仮想サーバが増設されていないことを示している。
【００２６】
このテーブルにおける第３レコードは、ＩＤが「ＶＳＡ−３」である仮想サーバは、「業務Ａ」に供されることを示している。また、このレコードは、当該仮想サーバには、「１」ＧＨｚのＣＰＵが１個割り当てられ、「４」ＧＢのメモリが割り当てられ、更に「５０」ＧＢのディスクが「３」個割り当てられていることを示している。更に、このレコードは、当該仮想サーバの冗長化のために仮想サーバが増設されていないことを示している。
【００２７】
このテーブルにおける第４レコードは、ＩＤが「ＶＳＡ−４」である仮想サーバは、「業務Ａ」に供されることを示している。また、このレコードは、当該仮想サーバには、「２」ＧＨｚのＣＰＵが「２」個割り当てられ、「１０」ＧＢのメモリが割り当てられ、更に「２０」ＧＢのディスクが「２」個割り当てられていることを示している。更に、このレコードは、当該仮想サーバの冗長化のために仮想サーバが増設されていないことを示している。
【００２８】
このテーブルにおける第５レコードは、ＩＤが「ＶＳＢ−１」である仮想サーバは、「業務Ｂ」に供されることを示している。また、このレコードは、当該仮想サーバには、「２」ＧＨｚのＣＰＵが「２」個割り当てられ、「４」ＧＢのメモリが割り当てられ、更に「２０」ＧＢのディスクが「２」個割り当てられていることを示している。更に、このレコードは、当該仮想サーバの冗長化のために仮想サーバが増設されていないことを示している。
【００２９】
このテーブルにおける第６レコードは、ＩＤが「ＶＳＢ−２」である仮想サーバは、「業務Ｂ」に供されることを示している。また、このレコードは、当該仮想サーバには、「３」ＧＨｚのＣＰＵが１個割り当てられ、「１６」ＧＢのメモリが割り当てられ、更に「３０」ＧＢのディスクが１個割り当てられていることを示している。更に、このレコードは、当該仮想サーバの冗長化のためにＩＤ「ＶＳＢ−３」の仮想サーバが増設されていることを示している。
【００３０】
このテーブルにおける第７レコードは、ＩＤが「ＶＳＢ−３」である仮想サーバは、「業務Ｂ」に供されることを示している。また、このレコードは、当該仮想サーバには、「３」ＧＨｚのＣＰＵが１個割り当てられ、「１６」ＧＢのメモリが割り当てられ、更に「５０」ＧＢのディスクが１個割り当てられていることを示している。更に、このレコードは、当該仮想サーバの冗長化のために仮想サーバが増設されていないことを示している。
【００３１】
次に、復旧の前提となる日常処理について説明する。日常処理は、復旧処理あるいはリハーサル処理のタイミングに関わらず、日常的に実行される。図４に、日常処理の概要を示す。業務システムの構成が変更されるときに、管理サーバ１０７は、構成情報４０１を生成する。構成情報４０１は、ストレージ装置１０５に格納されているデータ（システムイメージやプール）と、そのデータを展開すべき物理サーバ１０３あるいは仮想サーバとの関係のような業務システムの構成に関する情報である。生成された構成情報４０１は、ストレージ装置１０５に格納される。そして、管理サーバ１０７は、バックアップ機能によって、構成情報４０１を管理サーバ１１７へ送信し、管理サーバ１１７は、受信した構成情報４１１をストレージ装置１１５に格納する。
【００３２】
また、管理サーバ１０７のストレージ装置１０５に格納されているシステムイメージ４０３及びユーザデータ４０５は、ストレージ装置１０５とストレージ装置１１５とのレプリケーション機能によって、ストレージ装置１１５に格納されているシステムイメージ４１３及びユーザデータ４１５へ複製される。尚、日常処理は、従来の技術と同様であるので、これ以上説明しない。
【００３３】
図５に、管理装置１３１のモジュール構成例を示す。管理装置１３１は、図１に示したように準備処理を行う準備部１３３を有している。準備部１３３は、第１取得部５０１、データ記憶部５０３、第１サイズ記憶部５０５、第１特定部５０７、第２サイズ記憶部５０９、設定部５１１及び送信部５１３を有している。
【００３４】
第１取得部５０１は、運用サイト１０１のモニタリングデータを取得する。データ記憶部５０３は、運用サイト１０１のモニタリングデータを記憶する。モニタリングデータには、例えば所定間隔で収集された仮想サーバにおけるリソースの使用量（ＣＰＵの使用量、メモリの使用量及びディスクの使用量）が含まれている。第１サイズ記憶部５０５は、図３に例示した割当量テーブルを記憶する。第１特定部５０７は、モニタリング期間内におけるいずれかの時点におけるリソースの使用量を特定する。第２サイズ記憶部５０９は、リソースの使用量が設定された使用量テーブルを記憶する。使用量テーブルについては、図６を用いて後述する。設定部５１１は、当該業務に関するリハーサルにおいて待機サイト１１１で確保すべきリソースの量を第１確保量テーブル及び第２確保量テーブルに設定する。送信部５１３は、第１確保量テーブル及び第２確保量テーブルをリハーサル部１２１へ送信する。
【００３５】
管理装置１３１は、第１確保量テーブル及び第２確保量テーブルを記憶するための第３サイズ記憶部５２１を有している。第１確保量テーブルについては、図７を用いて後述する。第２確保量テーブルについては、図８乃至図１２を用いて後述する。
【００３６】
本実施の形態におけるレベルは、業務システム復旧のリハーサル処理で確保すべきリソースの規模を定める。この例におけるレベル１は、運用サイト１０１の業務システムにおいて割り当てられているリソース量と同規模のリソースを、リハーサル処理で確保する趣旨により設けられている。この例におけるレベル２は、運用サイト１０１の業務システムにおけるある時点で実際に使用されたリソース量と同規模のリソースを、リハーサル処理で確保する趣旨により設けられている。この例におけるレベル３は、冗長化を省いたと想定した場合に、運用サイト１０１の業務システムにおいて割り当てられるリソース量と同規模のリソースを、リハーサル処理で確保する趣旨により設けられている。この例におけるレベル４は、冗長化を省いた場合に、運用サイト１０１の業務システムにおけるある時点で使用されたであろうと想定されるリソース量と同規模のリソースを、リハーサル処理で確保する趣旨により設けられている。この例におけるレベル５は、運用サイト１０１の業務システムに関連する仮想サーバの各々において実際に使用されたリソース量に足りるリソースを、リハーサル処理で確保する趣旨により設けられている。
【００３７】
尚、レベル１乃至レベル４は、リハーサル処理において、同時に複数の仮想サーバを配備することを想定している。一方レベル５は、リハーサル処理において、同時に複数の仮想サーバを配備しないことを想定している。つまり、レベル５は、１つずつ仮想サーバを配備することを想定している。
【００３８】
また、管理装置１３１は、図１に示したように制御処理を行う制御部１３５を有している。制御部１３５は、受付部５３１、第２取得部５３３、第４サイズ記憶部５３５、第２特定部５３７、判定部５３９及び起動部５４１を有している。
【００３９】
受付部５３１は、リハーサルの条件を受け付ける。第２取得部５３３は、待機サイト１１１におけるリソースの空き量を取得する。第４サイズ記憶部５３５は、待機サイト１１１におけるリソースの空き量を記憶する。第２特定部５３７は、待機サイト１１１におけるリソースの空き量が、リハーサルの対象である業務について各レベルにおけるリソースの確保量以上であるか否かを判定し、最も上位のレベルを特定する。この例において、上位のレベルとは、確保量の多い方のレベルを指す。従って、第２特定部５３７は、最も確保量の多いレベルを特定する。判定部５３９は、待機サイト１１１におけるリソースの空き量が、リハーサルの条件で指定されたレベルにおけるリソースの確保量以上であるかを判定する。起動部５４１は、レベルを指定してリハーサル処理を起動する。
【００４０】
データ記憶部５０３、第１サイズ記憶部５０５、第２サイズ記憶部５０９、第３サイズ記憶部５２１及び第４サイズ記憶部５３５は、ハードウエア資源（例えば図２４）を用いて実現される。また、第１取得部５０１、第１特定部５０７、設定部５１１、送信部５１３、受付部５３１、第２取得部５３３、第２特定部５３７、判定部５３９及び起動部５４１は、ハードウエア資源（例えば図２４）と、以下で述べる処理をプロセッサに実行させるプログラムとを用いて実現される。
【００４１】
次に、第２サイズ記憶部５０９に記憶される使用量テーブルについて説明する。図６に示した使用量テーブルの例には、業務Ａのシステムに供される仮想サーバ毎にレコードが設けられている。各レコードは、当該仮想サーバが供される業務の名を設定するためのフィールドと、当該仮想サーバのＩＤを設定するためのフィールドと、当該仮想サーバに対するリソースの使用量を設定するためのフィールドとを有している。リソースの使用量を設定するためのフィールドは、ＣＰＵの使用量（ＧＨｚ×個数）を設定するためのフィールドと、メモリの使用量（ＧＢ）を設定するためのフィールドと、ディスクの使用量（ＧＢ×個数）を設定するためのフィールドとを含んでいる。
【００４２】
このテーブルにおける第１レコードは、ＩＤが「ＶＳＡ−１」である仮想サーバが、「業務Ａ」に供されることを示している。また、このレコードは、当該仮想サーバが、ある時点において、「２」ＧＨｚのＣＰＵを１個使用し、「８」ＧＢのメモリを使用し、更に「２０」ＧＢのディスクを１個使用していたことを示している。
【００４３】
このテーブルにおける第２レコードは、ＩＤが「ＶＳＡ−２」である仮想サーバが、「業務Ａ」に供されることを示している。また、このレコードは、当該仮想サーバが、ある時点において、「１」ＧＨｚのＣＰＵを１個使用し、「２」ＧＢのメモリを使用し、更に「２０」ＧＢのディスクを１個使用していたことを示している。
【００４４】
このテーブルにおける第３レコードは、ＩＤが「ＶＳＡ−３」である仮想サーバが、「業務Ａ」に供されることを示している。また、このレコードは、当該仮想サーバが、ある時点において、「１」ＧＨｚのＣＰＵを１個使用し、「２」ＧＢのメモリを使用し、更に「５０」ＧＢのディスクを１個使用していたことを示している。
【００４５】
このテーブルにおける第４レコードは、ＩＤが「ＶＳＡ−４」である仮想サーバが、「業務Ａ」に供されることを示している。また、このレコードは、当該仮想サーバが、ある時点において、「２」ＧＨｚのＣＰＵを１個使用し、「８」ＧＢのメモリを使用し、更に「２０」ＧＢのディスクを１個使用していたことを示している。
【００４６】
このテーブルにおける第５レコードは、ＩＤが「ＶＳＢ−１」である仮想サーバが、「業務Ｂ」に供されることを示している。また、このレコードは、当該仮想サーバが、ある時点において、「２」ＧＨｚのＣＰＵを１個使用し、「１」ＧＢのメモリを使用し、更に「２０」ＧＢのディスクを１個使用していたことを示している。
【００４７】
このテーブルにおける第６レコードは、ＩＤが「ＶＳＢ−２」である仮想サーバが、「業務Ｂ」に供されることを示している。また、このレコードは、当該仮想サーバが、ある時点において、「１」ＧＨｚのＣＰＵを１個使用し、「８」ＧＢのメモリを使用し、更に「２０」ＧＢのディスクを１個使用していたことを示している。
【００４８】
このテーブルにおける第７レコードは、ＩＤが「ＶＳＢ−３」である仮想サーバが、「業務Ｂ」に供されることを示している。また、このレコードは、当該仮想サーバが、ある時点において、「１」ＧＨｚのＣＰＵを１個使用し、「８」ＧＢのメモリを使用し、更に「４０」ＧＢのディスクを１個使用していたことを示している。
【００４９】
次に、第３サイズ記憶部５２１に記憶される第１確保量テーブルについて説明する。図７に、第１確保量テーブルの例を示す。この例は、業務Ａのシステムを想定している。業務Ｂのシステムに関しても、別に第１確保量テーブルが設けられる。
【００５０】
図７に示した第１確保量テーブルの例には、レベル毎にレコードが設けられている。各レコードは、当該レベルを設定するためのフィールドと、当該レベルにおいて業務システム全体のリソースの確保量を設定するためのフィールドを有している。業務システム全体のリソースの確保量を設定するためのフィールドは、業務システム全体のＣＰＵの確保量（ＧＨｚ×個数）を設定するためのフィールドと、業務システム全体のメモリの確保量（ＧＢ）を設定するためのフィールドと、業務システム全体のディスクの確保量（ＧＢ×個数）を設定するためのフィールドとを含んでいる。ＣＰＵの確保量（ＧＨｚ×個数）は、確保されるＣＰＵの周波数（ＧＨｚ）と確保されるＣＰＵの個数との積に相当する。ディスクの確保量（ＧＢ×個数）も、確保されるディスクの容量（ＧＢ）と確保されるディスクの個数との積に相当する。
【００５１】
このテーブルにおける第１レコードは、「レベル１」において、業務システム全体で「１０」ＧＨｚ×個数相当のＣＰＵが確保され、「２８」ＧＢのメモリが確保され、更に「２８０」ＧＢ×個数相当のディスクが確保されるべきことを示している。
【００５２】
このテーブルにおける第２レコードは、「レベル２」において、業務システム全体で「６」ＧＨｚ×個数相当のＣＰＵが確保され、「２０」ＧＢのメモリが確保され、更に「１１０」ＧＢ×個数相当のディスクが確保されるべきことを示している。
【００５３】
このテーブルにおける第３レコードは、「レベル３」において、業務システム全体で「６」ＧＨｚ×個数相当のＣＰＵが確保され、「１８」ＧＢのメモリが確保され、更に「２４０」ＧＢ×個数相当のディスクが確保されるべきことを示している。
【００５４】
このテーブルにおける第４レコードは、「レベル４」において、業務システム全体で「４」ＧＨｚ×個数相当のＣＰＵが確保され、「１２」ＧＢのメモリが確保され、更に「９０」ＧＢ×個数相当のディスクが確保されるべきことを示している。
【００５５】
このテーブルにおける第５レコードは、「レベル５」において、業務システム全体で「２」ＧＨｚ×個数相当のＣＰＵが確保され、「８」ＧＢのメモリが確保され、更に「５０」ＧＢ×個数相当のディスクが確保されるべきことを示している。
【００５６】
第３サイズ記憶部５２１には、上述した第１確保量テーブルの他に、レベル毎の第２確保量テーブルも記憶される。図８に、レベル１における第２確保量テーブルの例を示す。図９に、レベル２における第２確保量テーブルの例を示す。図１０に、レベル３における第２確保量テーブルの例を示す。図１１に、レベル４における第２確保量テーブルの例を示す。図１２に、レベル５における第２確保量テーブルの例を示す。いずれも、業務Ａのシステムを想定している。業務Ｂのシステムに関しても、レベル１乃至レベル５における第２確保量テーブルが設けられる。図８乃至図１２に示した第２確保量テーブルの詳細については、設定処理の説明において併せて述べる。
【００５７】
次に、準備部１３３による準備処理について説明する。準備処理は、後述する制御処理に先立って行われる。準備処理は、制御処理の直前に実行するようにしてもよく、あるいは制御処理と別のタイミングで実行するようにしてもよい。図１３に、準備処理フローを示す。第１取得部５０１は、管理サーバ１０７のモニタ部１０９から、運用サイト１０１のモニタリングデータを取得する（Ｓ１３０１）。モニタリングデータは、データ記憶部５０３に記憶される。モニタリングデータは、例えば所定のモニタリング期間において、所定間隔で測定されたリソースの使用量を含んでいる。リソースの使用量は、例えば運用サイト１０１の仮想サーバにおけるＣＰＵの使用量、メモリの使用量及びディスクの使用量を含む。
【００５８】
また、第１取得部５０１は、管理サーバ１０７から、運用サイト１０１の仮想サーバにおけるリソースの割当量を取得する（Ｓ１３０３）。リソースの割当量は、例えばＣＰＵの割当量、メモリの割当量及びディスクの割当量を含む。運用サイト１０１の仮想サーバにおけるリソースの割当量は、第１サイズ記憶部５０５に記憶される。
【００５９】
準備部１３３は、当該仮想システムで行われる業務のうち、未処理の業務を１つ特定する（Ｓ１３０５）。そして、第１特定部５０７は、当該業務について、特定処理を実行する（Ｓ１３０７）。特定処理は、モニタリング期間内におけるいずれかの時点におけるリソースの使用量を特定する。この例では、他の時点に比べてリソースの使用量が小さい時点を特定し、その時点におけるリソースの使用量を特定する。具体的には、特定処理（Ａ）乃至特定処理（Ｄ）について順次説明する。第１特定部５０７は、特定処理（Ａ）乃至特定処理（Ｄ）のうち、いずれの特定処理を実行してもよい。
【００６０】
まず、特定処理（Ａ）について説明する。図１４に、特定処理（Ａ）フローを示す。第１特定部５０７は、モニタリング期間のうち、ＣＰＵの使用量が最も小さい時点を特定する（Ｓ１４０１）。そして、第１特定部５０７は、当該時点におけるＣＰＵの使用量、メモリの使用量及びディスクの使用量を特定する（Ｓ１４０３）。
【００６１】
次に、特定処理（Ｂ）について説明する。図１５に、特定処理（Ｂ）フローを示す。第１特定部５０７は、モニタリング期間のうち、メモリの使用量が最も小さい時点を特定する（Ｓ１５０１）。そして、第１特定部５０７は、当該時点におけるＣＰＵの使用量、メモリの使用量及びディスクの使用量を特定する（Ｓ１５０３）。
【００６２】
次に、特定処理（Ｃ）について説明する。図１６に、特定処理（Ｃ）フローを示す。第１特定部５０７は、モニタリング期間のうち、ディスクの使用量が最も小さい時点を特定する（Ｓ１６０１）。そして、第１特定部５０７は、当該時点におけるＣＰＵの使用量、メモリの使用量及びディスクの使用量を特定する（Ｓ１６０３）。
【００６３】
更に、特定処理（Ｄ）について説明する。特定処理（Ｄ）では、ＣＰＵの使用量を優先して判断し、次にメモリの使用量を優先して判断する。図１７に、特定処理（Ｄ）フローを示す。第１特定部５０７は、モニタリング期間のうち、ＣＰＵの使用量が最も小さい時点を特定する（Ｓ１７０１）。特定処理（Ｄ）では、ＣＰＵの使用量についての最小値が２つ以上の時点で観測されることも考慮する。
【００６４】
第１特定部５０７は、２つ以上の時点が特定されたか否かを判定する（Ｓ１７０３）。２つ以上の時点が特定されない場合、つまり最小値が１つの時点で観測されている場合には、第１特定部５０７は、当該時点におけるＣＰＵの使用量、メモリの使用量及びディスクの使用量を特定する（Ｓ１７１１）。そして、特定されたＣＰＵの使用量、メモリの使用量及びディスクの使用量は、第２サイズ記憶部５０９に記憶される。
【００６５】
Ｓ１７０１において２つ以上の時点が特定された場合には、第１特定部５０７は、それらの時点のうち、メモリの使用量が最も小さい時点を特定する（Ｓ１７０５）。特定処理（Ｄ）では、メモリの使用量についての最小値が２つ以上の時点で観測されることも考慮する。
【００６６】
第１特定部５０７は、２つ以上の時点が特定されたか否かを判定する（Ｓ１７０７）。２つ以上の時点が特定されない場合、つまり最小値が１つの時点で観測されている場合には、第１特定部５０７は、当該時点におけるＣＰＵの使用量、メモリの使用量及びディスクの使用量を特定する（Ｓ１７１１）。そして、特定されたＣＰＵの使用量、メモリの使用量及びディスクの使用量は、第２サイズ記憶部５０９に記憶される。
【００６７】
Ｓ１７０５において２つ以上の時点が特定された場合には、第１特定部５０７は、それらの時点のうち、ディスクの使用量が最も小さい時点を特定する（Ｓ１７０９）。ディスクの使用量についても最小値が２つ以上の時点で観測されている場合には、どちらの時点を特定してもよい。
【００６８】
第１特定部５０７は、当該時点におけるＣＰＵの使用量、メモリの使用量及びディスクの使用量を特定する（Ｓ１７１１）。そして、特定されたＣＰＵの使用量、メモリの使用量及びディスクの使用量は、第２サイズ記憶部５０９に記憶される。
【００６９】
上述した特定処理（Ａ乃至Ｄ）では、最小相当の使用量を特定する例を示した。このようにすれば、実際の稼働状態のうち最も小規模のリソース量を特定できる。従って、小さいリソース量によっても、リハーサル処理において稼働状態に近い動作が確認できると期待される。但し、実際の稼働状態に近い動作を確認するためには、最小よりも大きい使用量を特定するようにしてもよい。
【００７０】
図１３の説明に戻る。設定部５１１は、Ｓ１３０５で特定された業務について、設定処理を実行する（Ｓ１３０９）。設定部５１１は、各レベルに応じて、当該業務に関するリハーサルにおいて待機サイト１１１で確保すべきリソースの量を第１確保量テーブルに設定する。また、設定部５１１は、各レベルにおいて各仮想サーバのために確保すべきリソースの量を、第２確保量テーブルに設定する。
【００７１】
図１８及び図１９に、設定処理フローを示す。Ｓ１８０１及びＳ１８０３では、レベル１におけるリソースの確保量を設定する。レベル１におけるリソースの確保量の概要について、図８を用いて説明する。
【００７２】
図８に示した第２確保量テーブルの第１レコード乃至第４レコードは、「業務Ａ」に供される仮想サーバ（ＩＤ：「ＶＳＡ−１」乃至「ＶＳＡ−４」）におけるリソースの確保量を示している。この確保量は、リソースの割当量と等しい。図８に示した第２確保量テーブルの第５レコードは、レベル１における業務システム全体のリソースの確保量を示している。レベル１における業務システム全体の確保量は、各仮想サーバにおける確保量の合計である。
【００７３】
例えば、この例における業務システム全体のＣＰＵの確保量「１０」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「２」ＧＨｚのＣＰＵ「２」個相当の量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「１」ＧＨｚのＣＰＵ１個相当の量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「１」ＧＨｚのＣＰＵ１個相当の量と、ＩＤ「ＶＳＡ−４」の仮想サーバに確保すべき「２」ＧＨｚのＣＰＵ「２」個相当の量との合計である。
【００７４】
例えば、この例における業務システム全体のメモリの確保量「２８」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「１０」ＧＢの量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「４」ＧＢの量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「４」ＧＢの量と、ＩＤ「ＶＳＡ−４」の仮想サーバに確保すべき「１０」ＧＢの量との合計である。
【００７５】
例えば、この例における業務システム全体のディスクの確保量「２８０」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「２０」ＧＢのディスク「２」個相当の量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「５０」ＧＢのディスク１個相当の量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「５０」ＧＢのディスク「３」個相当の量と、ＩＤ「ＶＳＡ−４」の仮想サーバに確保すべき「２０」ＧＢのディスク「２」個相当の量との合計である。
【００７６】
図１８の説明に戻る。設定部５１１は、当該業務に供される仮想サーバにおけるリソースの割当量を、第１サイズ記憶部５０５に記憶されている割当量テーブルから取得する（Ｓ１８０１）。設定部５１１は、仮想サーバにおけるリソースの割当量を、レベル１における第２確保量テーブルに設定する。また、設定部５１１は、仮想サーバにおける確保量の合計を、第１確保量テーブルに設定する（Ｓ１８０３）。
【００７７】
Ｓ１８０５及びＳ１８０７では、レベル２におけるリソースの確保量を設定する。レベル２におけるリソースの確保量の概要について、図９を用いて説明する。
【００７８】
図９に示した第２確保量テーブルの第１レコード乃至第４レコードは、「業務Ａ」に供される仮想サーバ（ＩＤ：「ＶＳＡ−１」乃至「ＶＳＡ−４」）におけるリソースの確保量を示している。この確保量は、リソースの使用量と等しい。図９に示した第２確保量テーブルの第５レコードは、レベル２における業務システム全体のリソースの確保量を示している。レベル２における業務システム全体の確保量は、各仮想サーバにおける確保量の合計である。
【００７９】
例えば、この例における業務システム全体のＣＰＵの確保量「６」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「２」ＧＨｚのＣＰＵ１個相当の量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「１」ＧＨｚのＣＰＵ１個相当の量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「１」ＧＨｚのＣＰＵ１個相当の量と、ＩＤ「ＶＳＡ−４」の仮想サーバに確保すべき「２」ＧＨｚのＣＰＵ１個相当の量との合計である。
【００８０】
例えば、この例における業務システム全体のメモリの確保量「２０」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「８」ＧＢの量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「２」ＧＢの量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「２」ＧＢの量と、ＩＤ「ＶＳＡ−４」の仮想サーバに確保すべき「８」ＧＢの量との合計である。
【００８１】
例えば、この例における業務システム全体のディスクの確保量「１１０」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「２０」ＧＢのディスク１個相当の量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「２０」ＧＢのディスク１個相当の量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「５０」ＧＢのディスク１個相当の量と、ＩＤ「ＶＳＡ−４」の仮想サーバに確保すべき「２０」ＧＢのディスク１個相当の量との合計である。
【００８２】
図１８の説明に戻る。設定部５１１は、当該業務に供される仮想サーバにおけるリソースの使用量を、第２サイズ記憶部５０９に記憶されている使用量テーブルから取得する（Ｓ１８０５）。設定部５１１は、仮想サーバにおけるリソースの使用量を、レベル２における第２確保量テーブルに設定する。また、設定部５１１は、仮想サーバにおける確保量の合計を、第１確保量テーブルに設定する（Ｓ１８０７）。
【００８３】
Ｓ１８０９及びＳ１８１１では、レベル３におけるリソースの確保量を設定する。レベル３におけるリソースの確保量の概要について、図１０を用いて説明する。
【００８４】
図１０に示した第２確保量テーブルの第１レコード乃至第３レコードは、「業務Ａ」に供される仮想サーバのうち、ＩＤ「ＶＳＡ−１」乃至「ＶＳＡ−３」の仮想サーバにおけるリソースの確保量を示している。この確保量は、リソースの割当量と等しい。図１０に示した第２確保量テーブルの第４レコードは、「業務Ａ」に供される仮想サーバのうち、ＩＤ「ＶＳＡ−４」の仮想サーバにおけるリソースの割当量は、加算の対象とならないことを示している。図１０に示した第２確保量テーブルの第５レコードは、レベル３における業務システム全体のリソースの確保量を示している。レベル３における業務システム全体の確保量は、冗長化のために増設された仮想サーバを除く各仮想サーバにおける確保量の合計である。この例では、ＩＤ「ＶＳＡ−１」の仮想サーバの冗長化のために増設されたＩＤ「ＶＳＡ−４」の仮想サーバにおける割当量は、加算されない。冗長化された複数の仮想サーバのうち、割当量の加算のための仮想サーバを選択する方法は、この例に限定されない。他の方法によって、いずれか１つの仮想サーバを選択するようにしてもよい。
【００８５】
例えば、この例における業務システム全体のＣＰＵの確保量「６」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「２」ＧＨｚのＣＰＵ「２」個相当の量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「１」ＧＨｚのＣＰＵ１個相当の量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「１」ＧＨｚのＣＰＵ１個相当の量との合計である。
【００８６】
例えば、この例における業務システム全体のメモリの確保量「１８」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「１０」ＧＢの量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「４」ＧＢの量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「４」ＧＢの量との合計である。
【００８７】
例えば、この例における業務システム全体のディスクの確保量「２４０」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「２０」ＧＢのディスク「２」個相当の量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「５０」ＧＢのディスク１個相当の量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「５０」ＧＢのディスク「３」個相当の量との合計である。
【００８８】
図１８の説明に戻る。設定部５１１は、当該業務に供される仮想サーバ（増設された仮想サーバを除く）におけるリソースの割当量を、第１サイズ記憶部５０５に記憶されている割当量テーブルから取得する（Ｓ１８０９）。設定部５１１は、これらの割当量を、レベル３における第２確保量テーブルに設定する。また、設定部５１１は、仮想サーバにおける確保量の合計を、第１確保量テーブルに設定する（Ｓ１８１１）。そして、端子Ａを介して、図１９に示したＳ１９０１の処理に移る。
【００８９】
Ｓ１９０１及びＳ１９０３では、レベル４におけるリソースの確保量を設定する。レベル４におけるリソースの確保量の概要について、図１１を用いて説明する。
【００９０】
図１１に示した第２確保量テーブルの第１レコード乃至第３レコードは、「業務Ａ」に供される仮想サーバのうち、ＩＤ「ＶＳＡ−１」乃至「ＶＳＡ−３」の仮想サーバにおけるリソースの確保量を示している。この確保量は、リソースの使用量と等しい。図１１に示した第２確保量テーブルの第４レコードは、「業務Ａ」に供される仮想サーバのうち、ＩＤ「ＶＳＡ−４」の仮想サーバにおけるリソースの使用量は、加算の対象とならないことを示している。図１１に示した第２確保量テーブルの第５レコードは、レベル４における業務システム全体のリソースの確保量を示している。レベル４における業務システム全体の確保量は、冗長化のために増設された仮想サーバを除く各仮想サーバにおける確保量の合計である。この例では、ＩＤ「ＶＳＡ−１」の仮想サーバの冗長化のために増設されたＩＤ「ＶＳＡ−４」の仮想サーバにおける使用量は、加算されない。
【００９１】
例えば、この例における業務システム全体のＣＰＵの確保量「４」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「２」ＧＨｚのＣＰＵ１個相当の量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「１」ＧＨｚのＣＰＵ１個相当の量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「１」ＧＨｚのＣＰＵ１個相当の量との合計である。
【００９２】
例えば、この例における業務システム全体のメモリの確保量「１２」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「８」ＧＢの量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「２」ＧＢの量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「２」ＧＢの量との合計である。
【００９３】
例えば、この例における業務システム全体のディスクの確保量「９０」は、ＩＤ「ＶＳＡ−１」の仮想サーバに確保すべき「２０」ＧＢのディスク１個相当の量と、ＩＤ「ＶＳＡ−２」の仮想サーバに確保すべき「２０」ＧＢのディスク１個相当の量と、ＩＤ「ＶＳＡ−３」の仮想サーバに確保すべき「５０」ＧＢのディスク１個相当の量との合計である。
【００９４】
図１９の説明に戻る。設定部５１１は、当該業務に供される仮想サーバ（増設された仮想サーバを除く）におけるリソースの使用量を、第２サイズ記憶部５０９に記憶されている使用量テーブルから取得する（Ｓ１９０１）。設定部５１１は、これらの使用量を、レベル４における第２確保量テーブルに設定する。また、設定部５１１は、仮想サーバにおける確保量の合計を、第１確保量テーブルに設定する（Ｓ１９０３）。
【００９５】
Ｓ１９０５及びＳ１９０７では、レベル５におけるリソースの確保量を設定する。レベル５におけるリソースの確保量の概要について、図１２を用いて説明する。
【００９６】
図１２に示した第２確保量テーブルの第１レコード乃至第４レコードは、「業務Ａ」に供される仮想サーバ（ＩＤ：「ＶＳＡ−１」乃至「ＶＳＡ−４」）におけるリソースの確保量を示している。この確保量は、リソースの使用量と等しい。図１２に示した第２確保量テーブルの第５レコードは、レベル５における業務システム全体のリソースの確保量を示している。レベル５における業務システム全体の確保量は、各仮想サーバにおける確保量のうちの最大値である。
【００９７】
例えば、この例における業務システム全体のＣＰＵの確保量「２」は、ＩＤ「ＶＳＡ−１」の仮想サーバが使用した「２」ＧＨｚのＣＰＵ１個相当の量と、ＩＤ「ＶＳＡ−２」の仮想サーバが使用した「１」ＧＨｚのＣＰＵ１個相当の量と、ＩＤ「ＶＳＡ−３」の仮想サーバが使用した「１」ＧＨｚのＣＰＵ１個相当の量と、ＩＤ「ＶＳＡ−４」の仮想サーバが使用した「２」ＧＨｚのＣＰＵ１個相当の量とのうちの最大値である。
【００９８】
例えば、この例における業務システム全体のメモリの確保量「８」は、ＩＤ「ＶＳＡ−１」の仮想サーバが使用した「８」ＧＢの量と、ＩＤ「ＶＳＡ−２」の仮想サーバが使用した「２」ＧＢの量と、ＩＤ「ＶＳＡ−３」の仮想サーバが使用した「２」ＧＢの量と、ＩＤ「ＶＳＡ−４」の仮想サーバが使用した「８」ＧＢの量とのうちの最大値である。
【００９９】
例えば、この例における業務システム全体のディスクの確保量「５０」は、ＩＤ「ＶＳＡ−１」の仮想サーバが使用した「２０」ＧＢのディスク１個相当の量と、ＩＤ「ＶＳＡ−２」の仮想サーバが使用した「２０」ＧＢのディスク１個相当の量と、ＩＤ「ＶＳＡ−３」の仮想サーバが使用した「５０」ＧＢのディスク１個相当の量と、ＩＤ「ＶＳＡ−４」の仮想サーバが使用した「２０」ＧＢのディスク１個相当の量とのうちの最大値である。
【０１００】
図１９の説明に戻る。設定部５１１は、当該業務に供される仮想サーバのリソースにおける使用量のうち、最大値を判定する（Ｓ１９０５）。設定部５１１は、仮想サーバのリソースにおける使用量を、レベル５における第２確保量テーブルに設定する。設定部５１１は、判定された最大値を第１確保量テーブルに設定する（Ｓ１９０７）。
【０１０１】
図１３の説明に戻る。送信部５１３は、第３サイズ記憶部５２１に記憶されている第１確保量テーブルと第２確保量テーブルとをリハーサル部１２１へ送信する（Ｓ１３１０）。尚、リハーサル部１２１は、受信した第１確保量テーブルと第２確保量テーブルと保持する。
【０１０２】
準備部１３３は、未処理の業務があるか否かを判定する（Ｓ１３１１）。Ｓ１３０７及びＳ１３０９に関して未処理の業務があると判定した場合には、準備部１３３は、Ｓ１３０５に示した処理に戻って、上述した処理を繰り返す。
【０１０３】
一方、Ｓ１３０７及びＳ１３０９に関して未処理の業務がないと判定した場合には、準備部１３３は、準備処理を終える。
【０１０４】
続いて、制御処理について説明する。制御処理では、待機サイト１１１におけるリソースの空き量が、あるレベルにおけるリソースの確保量以上であると判定した場合に、当該レベルによるリハーサルを起動させる。
【０１０５】
図２０に、想定されるリソースの空き量が、リソースの確保量以上であると判定されるか否かについて例示する。この図は、想定される状況と当該状況における各レベルの判定結果をテーブル形式で示している。
【０１０６】
このテーブルにおける第１レコードは、「１５」ＧＨｚ×個数相当のＣＰＵが空き、「３０」ＧＢのメモリが空き、更に「３００」ＧＢ×個数相当のディスクが空いている「状況Ａ」では、レベル１乃至レベル５のいずれについてもリソースの空き量が確保量「以上」であるという判定結果が得られることを示している。
【０１０７】
このテーブルにおける第２レコードは、「１０」ＧＨｚ×個数相当のＣＰＵが空き、「２５」ＧＢのメモリが空き、更に「２５０」ＧＢ×個数相当のディスクが空いている「状況Ｂ」では、レベル１についてリソースの空き量が確保量「未満」であるという判定結果が得られ、レベル２乃至レベル５についてリソースの空き量が確保量「以上」であるという判定結果が得られることを示している。
【０１０８】
このテーブルにおける第３レコードは、「１０」ＧＨｚ×個数相当のＣＰＵが空き、「１９」ＧＢのメモリが空き、更に「２５０」ＧＢ×個数相当のディスクが空いている「状況Ｃ」では、レベル１及びレベル２についてリソースの空き量が確保量「未満」であるという判定結果が得られ、レベル３乃至レベル５についてリソースの空き量が確保量「以上」であるという判定結果が得られることを示している。
【０１０９】
このテーブルにおける第４レコードは、「５」ＧＨｚ×個数相当のＣＰＵが空き、「１５」ＧＢのメモリが空き、更に「１００」ＧＢ×個数相当のディスクが空いている「状況Ｄ」では、レベル１乃至レベル３についてリソースの空き量が確保量「未満」であるという判定結果が得られ、レベル４及びレベル５についてリソースの空き量が確保量「以上」であるという判定結果が得られることを示している。
【０１１０】
このテーブルにおける第５レコードは、「２」ＧＨｚ×個数相当のＣＰＵが空き、「１０」ＧＢのメモリが空き、更に「５０」ＧＢ×個数相当のディスクが空いている「状況Ｅ」では、レベル１乃至レベル４についてリソースの空き量が確保量「未満」であるという判定結果が得られ、レベル５についてリソースの空き量が確保量「以上」であるという判定結果が得られることを示している。
【０１１１】
次に、制御処理フローについて説明する。制御処理によって、後述するリハーサル処理が起動される。図２１に、制御処理フローを示す。ここでは、業務単位でリハーサルを制御する例について説明する。
【０１１２】
本実施の形態では、リハーサルの起動に至る２つの方式を採用している。第１方式では、即時リハーサルを実施するようにする。この方式では、制御部１３５においてレベルを自動的に選定する。第２方式では、指定されたレベルでリハーサルを実施するようにする。この方式では、指定されたレベルにおけるリソースが確保できるタイミングに至った場合に、リハーサルを実施するようにする。
【０１１３】
まず、受付部５３１は、リハーサルの条件を受け付ける（Ｓ２１０１）。リハーサルの条件には、業務の指定が含まれる。更に、リハーサルの条件には、上述した第１方式あるいは第２方式のいずれかの選択が含まれる。また、第２方式が選択された場合には、レベルの指定もリハーサルの条件に含まれる。つまり、受付部５３１は、業務の指定を受け付け、第１方式あるいは第２方式のいずれかの選択も受け付け、更に第２方式が選択された場合には、レベルの指定も受け付ける。
【０１１４】
受付部５３１は、第１方式が選択されたか否かを判定する（Ｓ２１０３）。第１方式が選択されたと判定した場合には、第２取得部５３３は、管理サーバ１１７のモニタ部１１９から、待機サイト１１１におけるリソースの空き量を取得する（Ｓ２１０５）。この例におけるリソースの空き量には、ＣＰＵの空き量、メモリの空き量及びディスクの空き量が含まれている。取得したリソースの空き量は、第４サイズ記憶部５３５に記憶される。
【０１１５】
第２特定部５３７は、上述したリソースの空き量が、当該業務の各レベルにおけるリソースの確保量以上であるか否かを判定し（Ｓ２１０７）、最も上位のレベルを特定する（Ｓ２１０９）。そして、起動部５４１は、特定されたレベルのリハーサル処理を起動する（Ｓ２１１１）。このとき、起動部５４１は、リハーサルの条件で指定された業務とリハーサル処理におけるレベルとを管理サーバ１１７のリハーサル部１２１に通知し、動作を開始させる。そして、制御部１３５は、制御処理を終える。
【０１１６】
Ｓ２１０３において、第１方式が選択されなかったと判定した場合、つまり第２方式が選択された場合には、第２取得部５３３は、Ｓ２１０５の場合と同様に、管理サーバ１１７のモニタ部１１９から、待機サイト１１１におけるリソースの空き量を取得する（Ｓ２１１３）。
【０１１７】
判定部５３９は、上述したリソースの空き量が、リハーサルの条件で指定されたレベルにおけるリソースの確保量以上であるか否かを判定する（Ｓ２１１５）。
【０１１８】
上述したリソースの空き量が、リハーサルの条件で指定されたレベルにおけるリソースの確保量以上であると判定した場合には、起動部５４１は、指定されたレベルのリハーサル処理を起動する（Ｓ２１１７）。このとき、起動部５４１は、リハーサルの条件で指定された業務と、リハーサル処理におけるレベルとを管理サーバ１１７のリハーサル部１２１に通知し、動作を開始させる。そして、制御部１３５は、制御処理を終える。
【０１１９】
一方、上述したリソースの空き量が、リハーサルの条件で指定されたレベルにおけるリソースの確保量未満であると判定した場合には、判定部５３９は、所定時間の経過を待つ（Ｓ２１１９）。そして、Ｓ２１１３の処理に戻って、制御部１３５は上述した処理を繰り返す。
【０１２０】
最後に、管理サーバ１１７のリハーサル部１２１におけるリハーサル処理について説明する。図２２及び図２３に、リハーサル処理フローを示す。リハーサル部１２１は、上述したように、管理装置１３１からリハーサル対象の業務とリハーサル処理におけるレベルとを取得する（Ｓ２２０１）。リハーサル部１２１は、第１確保量テーブルに基づいて、当該レベルにおけるリソースの確保量を特定し、特定された確保量に相当するリソースを確保する（Ｓ２２０３）。リハーサル部１２１は、リハーサル処理におけるレベルがレベル１乃至レベル４のいずれかであるか否かを判定する（Ｓ２２０５）。
【０１２１】
リハーサル処理におけるレベルがレベル１乃至レベル４のいずれかであると判定した場合には、リハーサル部１２１は、図４に示した構成情報４１１、システムイメージ４１３及びユーザデータ４１５を用いて、各仮想サーバを配備する（Ｓ２２０７）。
【０１２２】
このとき、リハーサル部１２１は、当該業務と当該レベルとによって特定される第２確保量テーブルに基づいて、各仮想サーバの確保量を特定し、特定された確保量のリソースを各仮想サーバに割り当てるようにする。更に、リハーサル部１２１は、仮想ネットワークの設定も行う。
【０１２３】
そして、リハーサル部１２１は、配備された各仮想サーバを起動する（Ｓ２２０９）。リハーサル部１２１は、リハーサル対象の業務についての動作確認を行う（Ｓ２２１１）。このとき、リハーサル部１２１は、レベルに応じた動作確認を行うようにしてもよい。
【０１２４】
リハーサル処理におけるレベルがレベル１である場合には、例えば各仮想サーバに対して比較的高い処理負荷が掛かる動作確認（例えば、限界値に関するテスト）を行うようにしてもよい。同じく、仮想サーバ間の通信を伴う動作確認を行うようにしてもよい。同じく、冗長化に関する動作確認も行うようにしてもよい。
【０１２５】
リハーサル処理におけるレベルがレベル２である場合には、例えば各仮想サーバに対して比較的低い処理負荷しか掛からない動作確認（例えば、初期値を設定するテスト）を行うようにしてもよい。同じく、仮想サーバ間の通信を伴う動作確認を行うようにしてもよい。同じく、冗長化に関する動作確認も行うようにしてもよい。
【０１２６】
リハーサル処理におけるレベルがレベル３である場合には、例えば各仮想サーバに対して比較的高い処理負荷が掛かる動作確認（例えば、限界値に関するテスト）を行うようにしてもよい。同じく、仮想サーバ間の通信を伴う動作確認を行うようにしてもよい。但し、冗長化に関する動作確認の結果は失敗となるので、冗長化に関する動作確認は省くようにしてもよい。
【０１２７】
リハーサル処理におけるレベルがレベル４である場合には、例えば各仮想サーバに対して比較的低い処理負荷しか掛からない動作確認（例えば、初期値を設定するテスト）を行うようにしてもよい。同じく、仮想サーバ間の通信を伴う動作確認を行うようにしてもよい。但し、冗長化に関する動作確認の結果は失敗となるので、冗長化に関する動作確認は省くようにしてもよい。
【０１２８】
業務の動作確認を終えると、リハーサル部１２１は、各仮想サーバを停止させ（Ｓ２２１３）、停止させた各仮想サーバを削除する（Ｓ２２１５）。最後に、リハーサル部１２１は、Ｓ２２０３で確保したリソースを解放して（Ｓ２２１７）、リハーサル処理を終える。
【０１２９】
Ｓ２２０５において、リハーサル処理におけるレベルがレベル１乃至レベル４のいずれでもないと判定した場合、つまりリハーサル処理におけるレベルがレベル５である場合には、端子Ｂを介して図２３に示したＳ２３０１の処理に移る。
【０１３０】
リハーサル処理におけるレベルがレベル５である場合には、リハーサル対象の業務に供される仮想サーバを１つずつ確認する。リハーサル部１２１は、リハーサル対象の業務に供される仮想サーバを１つ特定する（Ｓ２３０１）。
【０１３１】
リハーサル部１２１は、図４に示した構成情報４１１、システムイメージ４１３及びユーザデータ４１５を用いて、当該仮想サーバを配備する（Ｓ２３０２）。このとき、リハーサル部１２１は、レベル５における第２確保量テーブルに基づいて、当該仮想サーバの確保量を特定し、特定された確保量のリソースを当該仮想サーバに割り当てるようにする。リハーサル部１２１は、配備された仮想サーバを起動させ、起動の結果を確認する（Ｓ２３０３）。このとき、リハーサル部１２１は、当該仮想サーバに関する単体テストを行い、単体としての動作確認を行うようにしてもよい。
【０１３２】
リハーサル部１２１は、当該仮想サーバを停止させ（Ｓ２３０５）、停止させた仮想サーバを削除する（Ｓ２３０７）。リハーサル部１２１は、Ｓ２３０１において特定されていない仮想サーバがあるか否かを判定する（Ｓ２３０９）。Ｓ２３０１において特定されていない仮想サーバがあると判定した場合には、Ｓ２３０１に戻って、リハーサル部１２１は上述した処理を繰り返す。
【０１３３】
一方、Ｓ２３０１において未特定の仮想サーバがないと判定した場合には、最後に、リハーサル部１２１は、Ｓ２２０３で確保したリソースを解放して（Ｓ２３１１）、リハーサル処理を終える。
【０１３４】
本実施の形態によれば、待機サイトにおけるリソースの空き状況に応じたリハーサル処理を起動するので、適宜実施可能なレベルによる復旧動作の確認を選択的に行える。
【０１３５】
また、運用サイトにおいて実際に使用されたリソースと同規模のリソースを確保するレベル２を設けることができる。
【０１３６】
また、運用サイトにおいて冗長化を省いた構成で使用されると想定されるリソースと同規模のリソースを確保するレベル４を設けることができる。
【０１３７】
また、最小の使用量を特定するので、レベル２及びレベル４に設定される閾値が小さくなり、これらのレベルに適合するケースが増える。
【０１３８】
また、運用において冗長化を省いた構成で割り当てられると想定されるリソースと同規模のリソースを確保するレベル３を設けることができる。
【０１３９】
また、仮想マシン単位で、実際に使用されたリソースと同規模のリソースを確保可能なレベル５を設けることができる。
【０１４０】
以上本発明の一実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、上述の機能ブロック構成はプログラムモジュール構成に一致しない場合もある。
【０１４１】
また、上で説明した各記憶領域の構成は一例であって、上記のような構成でなければならないわけではない。さらに、処理フローにおいても、処理結果が変わらなければ処理の順番を入れ替えることも可能である。さらに、並列に実行させるようにしても良い。
【０１４２】
なお、上で述べた管理サーバ１０７、管理サーバ１１７及び管理装置１３１は、コンピュータ装置であって、図２４に示すように、メモリ２５０１とＣＰＵ（Central Processing Unit）２５０３とハードディスク・ドライブ（ＨＤＤ：Hard Disk Drive）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本発明の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
【０１４３】
以上述べた本発明の実施の形態をまとめると、以下のようになる。
【０１４４】
本実施の形態に係る管理装置は、第１サイトで稼動しているシステムの復旧に用いられるデータを保持している第２サイトにおけるリソースの空き状況を取得する第１取得部と、  上記システムの復旧のリハーサル処理で確保すべきリソースの規模を定めた複数のレベルのうち、空き状況が適合するレベルを特定する特定部と、適合するレベルに応じたリハーサル処理を起動させる起動部とを有する。
【０１４５】
このようにすれば、第２サイトにおけるリソースの空き状況に応じたリハーサル処理を起動するので、適宜実施可能なレベルによる復旧動作の確認を選択的に行える。
【０１４６】
また、上記管理装置は、更に、第１サイトでモニタされた、上記システムにおけるリソースの使用量を取得する第２取得部を有するようにしてもよい。上記管理装置は、更に、上記使用量によって、上記規模についての閾値を設定する設定部を有するようにしてもよい。
【０１４７】
このようにすれば、第１サイトにおいて実際に使用されたリソースと同規模のリソースを確保するレベルを設けることができる。
【０１４８】
また、上記管理装置は、更に、第１サイトでモニタされた、上記システムにおけるリソースの使用量を取得する第２取得部を有するようにしてもよい。上記管理装置は、更に、上記使用量から上記システムにおける冗長化のための使用量を差し引き、残余の使用量によって、上記規模についての閾値を設定する設定部を有するようにしてもよい。
【０１４９】
このようにすれば、第１サイトにおいて冗長化を省いた構成で使用されると想定されるリソースと同規模のリソースを確保するレベルを設けることができる。
【０１５０】
上記設定部は、複数の時点におけるリソースの使用量を比較し、少ない方の使用量を用いるようにしてもよい。
【０１５１】
このようにすれば、設定される閾値が小さくなるので、適合しやすいレベルを設けることができる。
【０１５２】
また、上記管理装置は、更に、第１サイトから、上記システムに対するリソースの割当量を取得する第２取得部を有するようにしてもよい。上記管理装置は、更に、上記割当量から上記システムにおける冗長化のための割当量を差し引き、残余の割当量によって、上記規模についての閾値を設定する設定部を有するようにしてもよい。
【０１５３】
このようにすれば、第１サイトにおいて冗長化を省いた構成で割り当てられると想定されるリソースと同規模のリソースを確保するレベルを設けることができる。
【０１５４】
また、上記管理装置は、更に、第１サイトでモニタされた、上記システムに含まれる複数の仮想マシンの各々におけるリソースの使用量を取得する第２取得部を有するようにしてもよい。上記管理装置は、更に、仮想マシンの各々における上記使用量を比較して、最も大きい使用量によって、上記規模についての閾値を設定する設定部を有するようにしてもよい。
【０１５５】
このようにすれば、仮想マシン単位で、実際に使用されたリソースと同規模のリソースを確保可能なレベルを設けることができる。
【０１５６】
本実施の形態に係る情報処理システムは、第１サイトで稼動しているシステムの復旧に用いられるデータを保持している第２サイトにおけるリソースの空き状況を取得する取得部と、上記システムの復旧のリハーサル処理で確保すべきリソースの規模を定めた複数のレベルのうち、空き状況が適合するレベルを特定する特定部と、適合するレベルに応じたリハーサル処理を起動させる起動部と、適合するレベルに応じたリハーサル処理を実行するリハーサル部とを有する。
【０１５７】
このようにすれば、第２サイトにおけるリソースの空き状況に応じたリハーサル処理を起動するので、適宜実施可能なレベルによる復旧動作の確認を選択的に行える。
【０１５８】
なお、上で述べた管理装置及び情報処理システムの処理をコンピュータに行わせるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブルディスク、ＣＤ−ＲＯＭ、光磁気ディスク、半導体メモリ、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納されるようにしてもよい。尚、中間的な処理結果は、一般的にメインメモリ等の記憶装置に一時保管される。
【０１５９】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１６０】
（付記１）
第１サイトで稼動しているシステムの復旧に用いられるデータを保持している第２サイトにおけるリソースの空き状況を取得する第１取得部と、
前記システムの復旧のリハーサル処理で確保すべきリソースの規模を定めた複数のレベルのうち、前記空き状況が適合するレベルを特定する特定部と、
前記適合するレベルに応じた前記リハーサル処理を起動させる起動部と
を有する管理装置。
【０１６１】
（付記２）
更に、
前記第１サイトでモニタされた、前記システムにおけるリソースの使用量を取得する第２取得部と、
前記使用量によって、前記規模についての閾値を設定する設定部と
を有する付記１記載の管理装置。
【０１６２】
（付記３）
更に、
前記第１サイトでモニタされた、前記システムにおけるリソースの使用量を取得する第２取得部と、
前記使用量から前記システムにおける冗長化のための使用量を差し引き、残余の使用量によって、前記規模についての閾値を設定する設定部と
を有する付記１記載の管理装置。
【０１６３】
（付記４）
前記設定部は、複数の時点におけるリソースの使用量を比較し、少ない方の使用量を用いる
付記２又は３記載の管理装置。
【０１６４】
（付記５）
更に、
前記第１サイトから、前記システムに対するリソースの割当量を取得する第２取得部と、
前記割当量から前記システムにおける冗長化のための割当量を差し引き、残余の割当量によって、前記規模についての閾値を設定する設定部と
を有する付記１記載の管理装置。
【０１６５】
（付記６）
更に、
前記第１サイトでモニタされた、前記システムに含まれる複数の仮想マシンの各々におけるリソースの使用量を取得する第２取得部と、
前記仮想マシンの各々における前記使用量を比較して、最も大きい使用量によって、前記規模についての閾値を設定する設定部と
を有する付記１記載の管理装置。
【０１６６】
（付記７）
第１サイトで稼動しているシステムの復旧に用いられるデータを保持している第２サイトにおけるリソースの空き状況を取得する処理と、
前記システムの復旧のリハーサル処理で確保すべきリソースの規模を定めた複数のレベルのうち、前記空き状況が適合するレベルを特定する処理と、
前記適合するレベルに応じた前記リハーサル処理を起動させる処理と
をコンピュータに実行させるための管理プログラム。
【０１６７】
（付記８）
第１サイトで稼動しているシステムの復旧に用いられるデータを保持している第２サイトにおけるリソースの空き状況を取得する取得部と、
前記システムの復旧のリハーサル処理で確保すべきリソースの規模を定めた複数のレベルのうち、前記空き状況が適合するレベルを特定する特定部と、
前記適合するレベルに応じた前記リハーサル処理を起動させる起動部と、
前記適合するレベルに応じた前記リハーサル処理を実行するリハーサル部と
を有する情報処理システム。
【符号の説明】
【０１６８】
１０１  運用サイト    １０３  物理サーバ
１０５  ストレージ装置    １０７  管理サーバ
１０９  モニタ部    １１１  待機サイト
１１３  物理サーバ    １１５  ストレージ装置
１１７  管理サーバ    １１９  モニタ部
１２１  リハーサル部    １３１  管理装置
１３３  準備部    １３５  制御部
４０１  構成情報    ４０３  システムイメージ
４０５  ユーザデータ    ４１１  構成情報
４１３  システムイメージ    ４１５  ユーザデータ
５０１  第１取得部    ５０３  データ記憶部
５０５  第１サイズ記憶部    ５０７  第１特定部
５０９  第２サイズ記憶部    ５１１  設定部
５１３  送信部    ５２１  第３サイズ記憶部
５３１  受付部    ５３３  第２取得部
５３５  第４サイズ記憶部    ５３７  第２特定部
５３９  判定部    ５４１  起動部
【図１】
2015176459.tif 000003
【図２】
2015176459.tif 000004
【図３】
2015176459.tif 000005
【図４】
2015176459.tif 000006
【図５】
2015176459.tif 000007
【図６】
2015176459.tif 000008
【図７】
2015176459.tif 000009
【図８】
2015176459.tif 000010
【図９】
2015176459.tif 000011
【図１０】
2015176459.tif 000012
【図１１】
2015176459.tif 000013
【図１２】
2015176459.tif 000014
【図１３】
2015176459.tif 000015
【図１４】
2015176459.tif 000016
【図１５】
2015176459.tif 000017
【図１６】
2015176459.tif 000018
【図１７】
2015176459.tif 000019
【図１８】
2015176459.tif 000020
【図１９】
2015176459.tif 000021
【図２０】
2015176459.tif 000022
【図２１】
2015176459.tif 000023
【図２２】
2015176459.tif 000024
【図２３】
2015176459.tif 000025
【図２４】
2015176459.tif 000026