(57)【要約】【課題】停電が発生した際に、優先度が高い仮想マシンを長く稼動させることを目的とする。【解決手段】管理装置は、無停電電源装置内の蓄電池から複数の情報処理装置に電力が供給されていることが検出された場合、検出された時間帯における仮想マシン毎の過去のリソース使用量に基づいて設定された仮想マシン毎の優先度を記憶部から取得する取得部と、仮想マシン毎の現在のリソース使用量に基づいて、仮想マシンから停止候補を選択する選択部と、蓄電池の残量に基づいて、停止する仮想マシンの数を算出する算出部と、停止候補に選択された仮想マシンのうち優先度が低い仮想マシンから順に、数に応じて、停止対象の仮想マシンを特定する特定部と、停止対象の仮想マシンを停止する指示を情報処理装置に出力する停止指示部とを備える。【選択図】図３
2019159724.tif 000002
【特許請求の範囲】
【請求項１】
１または複数の仮想マシンが稼動し無停電電源装置に接続された複数の情報処理装置を管理する管理装置であって、
前記無停電電源装置内の蓄電池から前記複数の情報処理装置に電力が供給されていることが検出された場合、検出された時間帯における前記仮想マシン毎の過去のリソース使用量に基づいて設定された前記仮想マシン毎の優先度を記憶部から取得する取得部と、
前記仮想マシン毎の現在のリソース使用量に基づいて、前記仮想マシンから停止候補を選択する選択部と、
前記蓄電池の残量に基づいて、停止する前記仮想マシンの数を算出する算出部と、
前記停止候補に選択された前記仮想マシンのうち前記優先度が低い前記仮想マシンから順に、前記数に応じて、停止対象の前記仮想マシンを特定する特定部と、
前記停止対象の仮想マシンを停止する指示を前記情報処理装置に出力する停止指示部と、
を備えることを特徴とする管理装置。
【請求項２】
前記停止指示部は、前記無停電電源装置内の蓄電池から前記情報処理装置に電力が供給されていることが検出された場合、稼動中である前記仮想マシンが存在しない仮想マシンホストを停止する指示を前記情報処理装置に出力する、
ことを特徴とする請求項１に記載の管理装置。
【請求項３】
前記無停電電源装置内の蓄電池から前記情報処理装置に電力が供給されていることが検出された場合、仮想マシンホスト毎のリソース使用量を取得し、第１仮想マシンホスト上で稼動する前記仮想マシンを、リソース使用量が前記第１仮想マシンホストのリソース使用量より多い第２仮想マシンホストに移動させる指示を前記情報処理装置に出力する移動指示部を備え、
前記停止指示部は、前記移動指示部が前記仮想マシンを移動させる指示を前記情報処理装置に出力した後に、稼動中である前記仮想マシンが存在しない仮想マシンホストを停止する指示を前記情報処理装置に出力する、
ことを特徴とする請求項１または２記載の管理装置。
【請求項４】
前記移動指示部は、リソース使用量が少ない前記仮想マシンホストから順に、前記仮想マシンの移動元となる前記第１仮想マシンホストに設定し、リソース使用量が多い前記仮想マシンホストから順に、前記仮想マシンの移動先となる前記第２仮想マシンホストに設定する
ことを特徴とする請求項３に記載の管理装置。
【請求項５】
前記移動指示部が前記仮想マシンを移動させる指示を前記情報処理装置に出力する前に、前記情報処理装置の負荷分散機能を無効化する指示を前記情報処理装置に出力する無効化部を備える
ことを特徴とする請求項３または４に記載の管理装置。
【請求項６】
１または複数の仮想マシンが稼動し無停電電源装置に接続された複数の情報処理装置を管理するコンピュータに、
前記無停電電源装置内の蓄電池から前記複数の情報処理装置に電力が供給されていることが検出された場合、検出された時間帯における前記仮想マシン毎の過去のリソース使用量に基づいて設定された前記仮想マシン毎の優先度を記憶部から取得し、
前記仮想マシン毎の現在のリソース使用量に基づいて、前記仮想マシンから停止候補を選択し、
前記蓄電池の残量に基づいて、停止する前記仮想マシンの数を算出し、
前記停止候補に選択された前記仮想マシンのうち前記優先度が低い前記仮想マシンから順に、前記数に応じて、停止対象の前記仮想マシンを特定し、
前記停止対象の仮想マシンを停止する指示を前記情報処理装置に出力する、
処理を実行させるための制御プログラム。
【請求項７】
１または複数の仮想マシンが稼動し無停電電源装置に接続された複数の情報処理装置を管理するコンピュータが、
前記無停電電源装置内の蓄電池から前記複数の情報処理装置に電力が供給されていることが検出された場合、検出された時間帯における前記仮想マシン毎の過去のリソース使用量に基づいて設定された前記仮想マシン毎の優先度を記憶部から取得し、
前記仮想マシン毎の現在のリソース使用量に基づいて、前記仮想マシンから停止候補を選択し、
前記蓄電池の残量に基づいて、停止する前記仮想マシンの数を算出し、
前記停止候補に選択された前記仮想マシンのうち前記優先度が低い前記仮想マシンから順に、前記数に応じて、停止対象の前記仮想マシンを特定し、
前記停止対象の仮想マシンを停止する指示を前記情報処理装置に出力する、
処理を実行することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、管理装置、管理プログラム、および管理方法に関する。
【背景技術】
【０００２】
自然災害等で停電が発生してサーバへの電力供給が途絶えた場合、サーバ上で稼動する仮想マシンが停止し、さらにデータの破損や装置の故障をもたらす可能性がある。よって、停電が発生しても一定時間、サーバに電力を供給するために、無停電電源装置（Uninterruptible Power Supply：ＵＰＳ）が用いられる。
【０００３】
関連する技術として、ユーザに応じた最適な無停電電力供給処理が得られるようにログデータを解析する技術が提案されている（例えば、特許文献１を参照）。
【０００４】
また、関連する技術として、複数の無停電電源装置を、電力を供給する給電負荷装置ごとにグループ化し、異常を検出した無停電電源装置にシャットダウン信号を送信する技術が提案されている（例えば、特許文献２を参照）。
【０００５】
また、関連する技術として、サーバ装置のシャットダウン処理に必要な時間に基づいてサーバ装置のシャットダウン処理開始タイミングを決定し、シャットダウン信号を出力する技術が提案されている（例えば、特許文献３を参照）。
【０００６】
また、関連する技術として、サービスを提供する仮想マシンの片寄を行い、サーバルーム内のラック群のうち、所定のラック内のサーバに処理を集中させ、稼働中のサーバがなくなったラックを停止する技術が提案されている（例えば、特許文献４を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−２１８６７１号公報
【特許文献２】特開２００６−１７２２７６号公報
【特許文献３】特開２０１２−０３８０３３号公報
【特許文献４】特開２０１１−０８２７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、停電が発生した際にＵＰＳを用いたとしても、ＵＰＳによる電力供給可能な時間より停電が長期化した場合、サーバ上で稼動する仮想マシンが停止し、さらにデータの破損や装置故障をもたらす可能性がある。
【０００９】
停電時間を予測することは困難であるため、停電発生直後に、サーバをシャットダウンさせることが考えられる。シャットダウンが正常に完了すれば、データの破損や装置故障を避けることができる。しかし、停電発生直後に、サーバをシャットダウンさせる場合、短い期間の停電であっても、サーバのシャットダウンにより稼動する仮想マシンが停止するため、仮想マシンを用いた業務に支障が出る可能性が高くなる。
【００１０】
１つの側面として、本発明は、停電が発生した際に、優先度が高い仮想マシンを長く稼動させることを目的とする。
【課題を解決するための手段】
【００１１】
１つの態様では、管理装置は、１または複数の仮想マシンが稼動し無停電電源装置に接続された複数の情報処理装置を管理する。また、管理装置は、前記無停電電源装置内の蓄電池から前記複数の情報処理装置に電力が供給されていることが検出された場合、検出された時間帯における前記仮想マシン毎の過去のリソース使用量に基づいて設定された前記仮想マシン毎の優先度を記憶部から取得する取得部と、前記仮想マシン毎の現在のリソース使用量に基づいて、前記仮想マシンから停止候補を選択する選択部と、前記蓄電池の残量に基づいて、停止する前記仮想マシンの数を算出する算出部と、前記停止候補に選択された前記仮想マシンのうち前記優先度が低い前記仮想マシンから順に、前記数に応じて、停止対象の前記仮想マシンを特定する特定部と、前記停止対象の仮想マシンを停止する指示を前記情報処理装置に出力する停止指示部とを備える。
【発明の効果】
【００１２】
１つの側面によれば、停電が発生した際に、優先度が高い仮想マシンを長く稼動させることができる。
【図面の簡単な説明】
【００１３】
【図１】停電発生後に複数のサーバが同時に停止する例を示す図である。
【図２】実施形態のシステムの全体構成の一例を示す図である。
【図３】管理サーバの一例を示す図である。
【図４】ＶＭの時間帯毎のリソース使用量の一例を示す図である。
【図５】ＶＭの時間帯毎の優先度情報の一例を示す図である。
【図６】電力供給情報の一例示す図である。
【図７】ＶＭホスト情報の一例を示す図である。
【図８】ＶＭ情報の一例を示す図である。
【図９】管理サーバの処理の一例を示すフローチャート（その１）である。
【図１０】管理サーバの処理の一例を示すフローチャート（その２）である。
【図１１】電力供給判定処理の一例を示すフローチャートである。
【図１２】初期化処理の一例を示すフローチャートである。
【図１３】停止対象ＶＭホスト選択処理の一例を示す図である。
【図１４】停止候補ＶＭ選択処理の一例を示すフローチャートである。
【図１５】ＶＭ停止処理の一例を示すフローチャートである。
【図１６】ＶＭマイグレーション処理の一例を示すフローチャートである。
【図１７】実施形態の処理を適用した場合における、停電発生後の各サーバの停止タイミングを示す図である。
【図１８】管理サーバのハードウェア構成の一例を示す図。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら、実施形態を詳細に説明する。図１は、停電発生後に複数のサーバが同時に停止する例を示す図である。
【００１５】
図１に示す例では、複数のサーバ（サーバＡ，Ｂ，Ｃ，Ｄ）が無停電電源装置（Uninterruptible Power Supply：ＵＰＳ）に接続されており、停電発生後に、ＵＰＳの蓄電池からの電力供給により稼動することを示している。そして、停電発生から所定時間経過して、ＵＰＳの蓄電池の残量が０になった場合、全サーバが停止する。
【００１６】
図１に示す例では、サーバ上で稼動する仮想マシンの優先度を考慮していないため、各サーバは、サーバ上で稼動する仮想マシンの優先度に関わらず、同じタイミングで停止する。
【００１７】
電池残量が０になる前に停電が復旧すれば、各サーバを停止させずにサービスを提供することができる。しかし、停電が復旧する前に電池残量が０になった場合、電力供給が急に止まるため、サーバ内のデータの破損や、サーバのハード故障をもたらすおそれがある。また、停電時間を予測することは困難である。
【００１８】
電池容量が大きいＵＰＳを用いれば、電池容量の不足によりサーバが停止する可能性を低くすることができるが、電池容量が大きいＵＰＳは、高価であるため、導入コストが増加する。
【００１９】
図２は、実施形態のシステムの全体構成の一例を示す図である。実施形態のシステムは、複数のサーバ１と管理サーバ２とＵＰＳ３と系統電源４とを含む。
【００２０】
サーバ１には、ＶＭホスト１２が搭載されており、１または複数の仮想マシン（Virtual Machine:ＶＭ）１１がＶＭホスト１２上で稼動している。サーバ１は、情報処理装置の一例である。ＶＭホスト１２は、例えば、ＶＭ１１を動作させるためにサーバ１上で動作するサーバ仮想化ソフトウェアである。
【００２１】
管理サーバ２は、複数のサーバ１上で稼動するＶＭ１１とＶＭホスト１２とを管理する。管理サーバ２は、管理装置、およびコンピュータの一例である。
【００２２】
ＵＰＳ３は、蓄電池３５を含む。ＵＰＳ３は、系統電源４の停電を検知した場合、蓄電池３５から各サーバ１に電力を供給する。ＵＰＳ３は、系統電源４が停電していない場合、系統電源４から入力した電力を各サーバ１に出力する。
【００２３】
図３は、管理サーバ２の一例を示す図である。管理サーバ２は、通信部２１と電力供給判定部２２と取得部２３と無効化部２４とＶＭホスト選択部２５とＶＭ選択部２６と算出部２７と特定部２８と停止指示部２９と初期化部３０と移動指示部３１と設定部３２と記憶部３３と制御部３４とを含む。
【００２４】
通信部２１は、サーバ１およびＵＰＳ３と各種情報を送信または受信する。
電力供給判定部２２は、ＵＰＳ３から動作状態を示す信号を受信し、ＵＰＳ３内の蓄電池３５からサーバ１に電力が供給されているか、系統電源４からサーバ１に電力が供給されているかを判定する。
【００２５】
取得部２３は、ＵＰＳ３内の蓄電池３５から各サーバ１に電力が供給されていることが検出された場合、現在の時間帯（検出された時間帯）におけるＶＭ１１の過去のリソース使用量に基づいて設定されたＶＭ１１毎の優先度を、記憶部３３から取得する。
【００２６】
無効化部２４は、移動指示部３１がＶＭ１１を移動させる指示をサーバ１に出力する前に、サーバ１が有する負荷分散機能を無効化する指示を、通信部２１を介して各サーバ１に出力する。
【００２７】
ＶＭホスト選択部２５は、ＵＰＳ３内の蓄電池３５から各サーバ１に電力が供給されていることが検出された場合、稼動中であるＶＭ１１が存在しないＶＭホスト１２を停止対象に選択する。
【００２８】
ＶＭ選択部２６は、ＶＭ１１毎の現在のリソース使用量に基づいて、ＶＭ１１から停止候補を選択する。ＶＭ選択部２６は、例えば、ＶＭ１１のいずれかのリソースが閾値以下である場合、ＶＭ１１を停止候補に選択する。ＶＭ選択部２６は、選択部の一例である。
【００２９】
算出部２７は、蓄電池３５の残量に基づいて、停止するＶＭ１１の数を算出する。算出部２７は、例えば、停止するＶＭ１１の優先度グループ数を算出することにより、停止するＶＭ１１の数を算出する。
【００３０】
特定部２８は、停止候補に選択されたＶＭ１１のうち優先度が低いＶＭ１１から順に、算出部２７が算出した数に応じて、停止対象のＶＭ１１を特定する。また、特定部２８は、特定したＶＭ１１のリストを生成する。
【００３１】
停止指示部２９は、特定部２８が特定した停止対象のＶＭ１１を停止する指示を、停止対象のＶＭ１１が稼動するサーバ１に出力する。
【００３２】
停止指示部２９は、稼動中であるＶＭ１１が存在しないＶＭホスト１２を停止する指示を、該ＶＭホスト１２が稼動するサーバ１に出力する。また、停止指示部２９は、移動指示部３１がＶＭ１１を移動させる指示をサーバ１に出力した後に、稼動中であるＶＭ１１が存在しないＶＭホスト１２を停止する指示をサーバ１に出力する。
【００３３】
初期化部３０は、停電から復旧し、系統電源４からサーバ１に電力供給がされる場合、各種情報を初期化する初期化処理を実行する。
【００３４】
移動指示部３１は、ＶＭホスト１２毎のリソース使用量を取得し、ＶＭホスト１２上で稼動するＶＭ１１を、リソース使用量が該ＶＭホスト１２のリソース使用量より多い他のＶＭホスト１２に移動（マイグレーション）させる指示をサーバ１に出力する。マイグレーション元のＶＭホスト１２は、第１仮想マシンホストの一例であり、マイグレーション先のＶＭホスト１２は、第２仮想マシンホストの一例である。なお、移動指示部３１は、例えば、ＶＭ１１の稼動を停止させずに移動するライブマイグレーションを実行する。
【００３５】
移動指示部３１は、例えば、リソース使用量が少ないＶＭホスト１２から順に、ＶＭ１１のマイグレーション元となるＶＭホスト１２に設定し、リソース使用量が多いＶＭホスト１２から順に、ＶＭ１１のマイグレーション先となるＶＭホスト１２に設定する。
【００３６】
設定部３２は、例えば、各ＶＭ１１の過去の時間帯毎のリソース使用量に基づいて、優先度を設定する。リソース使用量は、例えば、ＣＰＵ使用率［％］、メモリ使用率［％］、ディスクInput/Output（Ｉ／Ｏ）使用率［％］、またはネットワーク使用率［％］である。
【００３７】
記憶部３３は、後述する各ＶＭ１１の時間帯毎の使用リソース使用量、優先度情報、電力供給情報、ＶＭホスト情報、およびＶＭ情報を記憶する。
【００３８】
制御部３４は、管理サーバ２の各種制御を実行する。
図４は、ＶＭ１１の時間帯毎のリソース使用量の一例を示す図である。リソース使用量は、記憶部３３に記憶される。図４に示すリソース使用量は、各ＶＭ１１の時間帯毎のＣＰＵ使用率［％］である。図４に示すリソース使用量は、設定部３２によるＶＭ毎の優先度の決定に用いられる。設定部３２は、例えば、メモリ使用率［％］、ディスクＩ／Ｏ使用率［％］、またはネットワーク使用率［％］に基づいて、優先度を決定してもよい。また、設定部３２は、複数のリソース使用量の合計値または平均値等の統計値に基づいて優先度を決定してもよい。
【００３９】
図５は、ＶＭ１１の時間帯毎の優先度情報の一例を示す図である。優先度情報は、記憶部３３に記憶される。図５に示す優先度は、図４に示すリソース使用量に基づいて決定されている。設定部３２は、例えば、ＣＰＵ使用率が２５％未満である場合、優先度に「４」を設定し、ＣＰＵ使用率が２５％以上５０％未満である場合、優先度に「３」を設定する。また、設定部３２は、例えば、ＣＰＵ使用率が５０％以上７５％未満である場合、優先度に「２」を設定し、ＣＰＵ使用率が７５％以上である場合、優先度に「１」を設定する。すなわち、設定部３２は、リソース使用量が高くなるに応じて、優先度が高くなる設定を行う。
【００４０】
図６は、電力供給情報の一例を示す図である。電力供給情報は、記憶部３３に記憶される。電力供給情報は、電力供給フラグと復旧フラグとを含む。電力供給フラグは、サーバ１への電力供給状態を示す。復旧フラグは、停電から復旧したかを示す。
【００４１】
電力供給フラグが「オン」である場合、系統電源４からサーバ１に電力が供給されていることを示す。電力供給フラグが「オフ」である場合、系統電源４が停電となり、ＵＰＳ３の蓄電池３５からサーバ１に電力が供給されていることを示す。
【００４２】
復旧フラグが「オン」である場合、停電状態から復帰したことを示す。停電状態から復帰後、初期化処理が終了すると、復旧フラグが「オフ」に設定される。
【００４３】
図７は、ＶＭホスト情報の一例を示す図である。ＶＭホスト情報は、記憶部３３に記憶される。ＶＭホスト情報は、ＶＭホストIdentification（ＩＤ）、ＶＭホストチェックフラグ、マイグレーションフラグ、停止対象フラグを含む。ＶＭホストチェックフラグは、初期値は「Ｎ」であり、停止対象ＶＭホスト選択処理においてチェックが行われた場合、「Ｙ」に設定される。マイグレーションフラグは、初期値は「Ｎ」であり、マイグレーション先のＶＭホスト１２に選択された場合、「Ｙ」に設定される。停止対象フラグは、初期値は「Ｎ」であり、ＶＭホスト１２が停止対象に選択された場合、「Ｙ」に設定される。
【００４４】
また、ＶＭホスト情報は、ＣＰＵ性能［Ｇｈｚ］、ＣＰＵ使用率［Ｇｈｚ］、メモリ容量［ＧＢ］、メモリ使用量［ＧＢ］、ディスクＩ／Ｏ［ＭＢ／Ｓ］、ネットワーク使用量［ＭＢ／Ｓ］等のリソース使用量を含む。移動指示部３１は、マイグレーション処理において、全てのＶＭホスト１２のリソース使用量を取得し、記録する。
【００４５】
図８は、ＶＭ情報の一例を示す図である。ＶＭ情報は、記憶部３３に記憶される。ＶＭ情報は、ＶＭＩＤとＶＭチェックフラグと停止候補フラグを含む。ＶＭチェックフラグは、初期値は「Ｎ」であり、停止候補ＶＭ選択処理においてチェックされた場合に「Ｙ」に設定される。停止候補フラグは、初期値は「Ｎ」であり、ＶＭ１１が停止候補に選択された場合に「Ｙ」に設定される。
【００４６】
また、ＶＭ情報は、ＣＰＵ使用率［％］とメモリ使用率［％］とディスクＩ／Ｏ［％］とネットワーク使用率［％］等のリソース使用量を含む。ＶＭ選択部２６は、停止候補ＶＭ選択処理において、チェック対象のＶＭ１１のリソース使用量を取得し、記録する。
【００４７】
図９および図１０は、管理サーバ２の処理の一例を示すフローチャートである。制御部３４は、タイマから時刻情報を取得し、制御タイミングであるか判定する（ステップＳ１０１）。制御部３４は、例えば、前回の制御タイミングから所定時間経過していた場合、制御タイミングであると判定する。ステップＳ１０１でＮＯの場合、処理は次に進まない。
【００４８】
ステップＳ１０１でＹＥＳの場合、電力供給判定部２２は、サーバ１への電力供給に関する判定処理を実行する（ステップＳ１０２）。ステップＳ１０２の処理について、詳細は後述する。
【００４９】
制御部３４は、復旧フラグが「オン」であるか判定する（ステップＳ１０３）。復旧フラグが「オン」である場合（ステップＳ１０３でＹＥＳ）、停電状態から復旧したことを示す。ステップＳ１０３でＹＥＳの場合、初期化部３０は、各種情報を初期化する初期化処理を実行する（ステップＳ１０４）。ステップＳ１０４の処理後、処理は、「Ｂ」からステップＳ１０１に移行する。ステップＳ１０４の処理について、詳細は後述する。
【００５０】
復旧フラグがオフである場合（ステップＳ１０３でＮＯ）、制御部３４は、電力供給フラグがオンであるか判定する（ステップＳ１０５）。電力供給フラグが「オン」である場合（ステップＳ１０５でＹＥＳ）、系統電源４からサーバ１に電力が供給されていることを示す。ステップＳ１０５でＹＥＳの場合、処理は、「Ｂ」からステップＳ１０１に戻る。
【００５１】
電力供給フラグが「オフ」である場合（ステップＳ１０５でＮＯ）、ＵＰＳ３の蓄電池３５からサーバ１に電力が供給されていることを示す。ステップＳ１０５でＮＯの場合、取得部２３は、現在の時間帯におけるＶＭ１１の過去のリソース使用量に基づいて設定されたＶＭ１１毎の優先度を、記憶部３３から取得する（ステップＳ１０６）。取得部２３は、例えば、図５に示す優先度情報から、現在の時間帯に対応する優先度を各ＶＭ１１について取得する。
【００５２】
無効化部２４は、サーバ１の負荷分散機能を無効化する指示を各サーバ１に出力する（ステップＳ１０７）。負荷分散機能は、特定のサーバ１に負荷（ＶＭ１１）が偏らないように、ＶＭ１１をサーバ間で移動させる機能である。停電時には、後述するＶＭマイグレーション処理において、リソース使用量が大きいサーバ１にＶＭ１１を集める処理が行われるため、無効化部２４は、ＶＭマイグレーション処理の前に負荷分散機能を無効化させる。
【００５３】
ステップＳ１０７の処理後、処理は、「Ａ」から図１０のステップＳ１０８に移行する。ＶＭホスト選択部２５は、停止対象のＶＭホスト１２を選択する処理を実行する（ステップＳ１０８）。ステップＳ１０８について、詳細は後述する。
【００５４】
停止指示部２９は、ステップＳ１０８で選択された停止対象のＶＭホスト１２を停止する指示を、停止対象のＶＭホスト１２が搭載されたサーバ１に出力する（ステップＳ１０９）。停止指示部２９は、例えば、図７に示すＶＭホスト情報を参照し、停止対象フラグが「Ｙ」となっているＶＭホスト１２が稼動するサーバ１に、ＶＭホスト１２を停止する指示を出力する。停止指示部２９は、停止指示を出力するとともに、ＶＭホスト情報の停止対象フラグを「Ｎ」に戻す。
【００５５】
ＶＭ選択部２６は、ＶＭ１１毎の現在のリソース使用量に基づいて、停止候補のＶＭ１１を選択する処理を実行する（ステップＳ１１０）。ステップＳ１１０について、詳細は後述する。
【００５６】
算出部２７は、ＵＰＳ３から、蓄電池３５の残量を取得する（ステップＳ１１１）。そして、算出部２７は、蓄電池３５の残量に基づいて、停止するＶＭ１１の数を算出する（ステップＳ１１２）。算出部２７は、例えば、停止するＶＭ１１の優先度グループ数を算出することにより、停止するＶＭ１１の数を算出する。
【００５７】
算出部２７の算出例について、優先度の全グループ数が「４」である場合の例を説明する。算出部２７は、例えば、蓄電池３５の残量が７５％以上であれば、停止するＶＭ１１の優先度グループ数を「０」と算出する。算出部２７は、例えば、蓄電池３５の残量が５０％以上７５％未満であれば、停止するＶＭ１１の優先度グループ数を「１」と算出する。算出部２７は、例えば、蓄電池３５の残量が２５％以上５０％未満であれば、停止するＶＭ１１の優先度グループ数を「２」と算出する。算出部２７は、例えば、蓄電池３５の残量が０％以上２５％未満であれば、停止するＶＭ１１の優先度グループ数を「３」と算出する。すなわち、算出部２７は、蓄電池３５の残量が少なくなるに応じて停止するＶＭ１１の数が増えるように、停止するＶＭ１１の優先度グループ数を算出する。
【００５８】
特定部２８は、停止候補に選択されたＶＭ１１のうち優先度が低いＶＭ１１から順に、算出部２７が算出した数に応じて、停止対象のＶＭ１１を特定し、特定したＶＭ１１のリストを生成する（ステップＳ１１３）。例えば、存在する優先度グループが１〜４であり、算出部２７が算出した停止するＶＭ１１の優先度グループ数が「２」であるとする。その場合、特定部２８は、停止候補に選択されたＶＭ１１のうち、優先度が「３」または「４」であるＶＭ１１を停止対象として特定する。
【００５９】
停止指示部２９は、停止対象のＶＭ１１を停止する指示をサーバ１に出力するＶＭ停止処理を実行する（ステップＳ１１４）。ステップＳ１１４のＶＭ停止処理について、詳細は後述する。
【００６０】
移動指示部３１は、リソース使用量が大きいＶＭホスト１２にＶＭ１１を集めるＶＭマイグレーション処理を実行する（ステップＳ１１５）。ステップＳ１１５のＶＭマイグレーション処理について、詳細は後述する。
【００６１】
管理サーバ２は、サーバ１に対する管理を終了する指示を受け付けた場合（ステップＳ１１６でＹＥＳ）、処理を終了させる。サーバ１に対する管理を終了する指示を受け付けていない場合（ステップＳ１１６でＮＯ）、処理は、「Ｂ」から図９のステップＳ１０１に戻る。
【００６２】
以上のように、管理サーバ２は、ＶＭ１１の停止候補を現在のリソース使用量に基づいて選択し、過去のリソース使用量に基づいて設定された優先度が低いＶＭ１１から順に停止させる。ＶＭ１１の稼動数が減少すれば、電力消費量も減少する。従って、管理サーバ２は、停電が発生した際に、優先度が高い仮想マシンを長く稼動させることができる。例えば、現在のリソース使用量が高くても過去のリソース使用量が低いＶＭ１１は、一時的にリソース使用量が増加しており、優先度が低い可能性がある。本実施形態では、停止対象のＶＭ１１の特定に現在のリソース使用量だけでなく過去のリソース使用量を考慮するため、優先度の推定精度を向上することができる。
【００６３】
図１１は、電力供給判定処理の一例を示すフローチャートである。図１１に示す処理は、図９のステップＳ１０２、図１３のステップＳ４０１、図１４のステップＳ５０１、図１５のステップＳ６０１、および図１６のステップＳ７０３に対応する。
【００６４】
電力供給判定部２２は、ＵＰＳ３から動作状態を示す信号を受信し、ＵＰＳ３の蓄電池３５からサーバ１に電力が供給されているかを判定する（ステップＳ２０１）。ステップＳ２０１でＹＥＳの場合、系統電源４が停電し、系統電源４から電力供給が行われていないことを示すため、電力供給判定部２２は、電力供給フラグをオフに設定する（ステップＳ２０２）。
【００６５】
ステップＳ２０１でＮＯの場合、系統電源４が停電しておらず、系統電源４からサーバ１に電力供給が行われていることを示す。ステップＳ２０１でＮＯの場合、電力供給判定部２２は、電力供給フラグがオンであるか判定する（ステップＳ２０３）。電力供給フラグがオンである場合（ステップＳ２０３でＹＥＳ）、処理を終了する。ステップＳ２０３でＹＥＳの場合、前回の制御タイミングでも、系統電源４からサーバ１に電力供給がされていたことを示す。
【００６６】
電力供給判定部２２は、電力供給フラグがオンでない場合（ステップＳ２０３でＮＯ）、復旧フラグをオンに設定する（ステップＳ２０４）。ステップＳ２０３でＮＯの場合、前回の制御タイミングでは、停電により蓄電池３５からサーバ１に電力が供給されていたが、停電から復旧し、現在は系統電源４からサーバ１に電力供給がされていることを示す。そして、電力供給判定部２２は、電力供給フラグをオンに設定する（ステップＳ２０５）。
【００６７】
図１２は、初期化処理の一例を示すフローチャートである。初期化処理は、復旧フラグがオンの場合、すなわち停電から復旧した場合に行われる処理である。図１２に示す処理は、図９のステップＳ１０４、図１３のステップＳ４０３、図１４のステップＳ５０３、図１５のステップＳ６０３、および図１６のステップＳ７０５に対応する。
【００６８】
初期化部３０は、ＶＭホスト情報、ＶＭ情報を初期化する（ステップＳ３０１）。初期化部３０は、例えば、ＶＭホスト情報のチェックフラグ、マイグレーションフラグ、停止対象フラグ、ＶＭ情報のチェックフラグおよび停止候補フラグを全て「Ｎ」に変更し、他の項目を所定の初期値に変更する。
【００６９】
初期化部３０は、サーバ１の負荷分散機能をオンに設定する指示を各サーバ１に出力する（ステップＳ３０２）。また、初期化部３０は、復旧フラグをオフに設定する（ステップＳ３０３）。
【００７０】
以上の処理により、初期化部３０は、各種設定や情報を停電が発生する前の状態に戻すことができる。
【００７１】
図１３は、停止対象ＶＭホスト選択処理の一例を示す図である。図１３に示す停止対象ＶＭホスト選択処理は、図１０のステップＳ１０８、および図１６のステップＳ７０９に対応する。
【００７２】
電力供給判定部２２は、電力供給判定処理を実行する（ステップＳ４０１）。そして、復旧フラグがオンである場合（ステップＳ４０２でＹＥＳ）、初期化部３０は、初期化処理を実行する（ステップＳ４０３）。ステップＳ４０３の後、処理は、「Ｂ」から図９のステップＳ１０１に移行する。
【００７３】
復旧フラグがオンでない場合（ステップＳ４０２でＮＯ）、ＶＭホスト選択部２５は、未チェックのＶＭホスト１２が有るか判定する（ステップＳ４０４）。ＶＭホスト選択部２５は、ＶＭホスト情報のチェックフラグに「Ｎ」が有れば、未チェックのＶＭホスト１２が有ると判定する。
【００７４】
未チェックのＶＭホスト１２がない場合（ステップＳ４０４でＮＯ）、全てのＶＭホスト１２をチェックしたことを意味する。よって、ＶＭホスト選択部２５は、全てのＶＭホストチェックフラグを初期化（「Ｎ」に変更）し、処理は終了する。
【００７５】
ステップＳ４０４でＹＥＳの場合、ＶＭホスト選択部２５は、チェック対象のＶＭホスト１２のリソース情報を取得する（ステップＳ４０６）。チェック対象のＶＭホスト１２は、例えば、ＶＭホストチェックフラグが「Ｎ」であるＶＭホスト１２のうちのいずれかであるとする。ＶＭホスト選択部２５が取得するリソース情報は、例えば、ＶＭホスト１２の、ＣＰＵ性能［Ｇｈｚ］、ＣＰＵ使用率［％］、メモリ容量［ＧＢ］、メモリ空き［ＧＢ］、ディスクＩＯ［ＭＢ／Ｓ］、およびネットワーク使用量［ＭＢ／ｓ］である。
【００７６】
ＶＭホスト選択部２５は、取得したリソース情報に基づいて、ＶＭホスト情報を更新する（ステップＳ４０７）。
【００７７】
ＶＭホスト選択部２５は、チェック対象のＶＭホスト１２上で稼動中のＶＭ１１が存在するかを検出する（ステップＳ４０８）。チェック対象のＶＭホスト１２上で稼動中であるＶＭ１１が存在しない場合（ステップＳ４０８でＮＯ）、ＶＭホスト選択部２５は、チェック対象のＶＭホスト１２に対応する停止対象フラグをオンに設定する（ステップＳ４０９）。すなわち、ＶＭホスト選択部２５は、稼動中であるＶＭ１１が存在しないＶＭホスト１２を停止対象に選択する。
【００７８】
ＶＭホスト１２上で稼動中のＶＭ１１が存在する場合（ステップＳ４０８でＹＥＳ）、ＶＭホスト選択部２５は、ＶＭホストチェックフラグを「Ｙ」に設定し（ステップＳ４１０）、ステップＳ４０４に戻る。
【００７９】
以上のように、ＶＭホスト選択部２５は、チェック対象のＶＭホスト１２上で稼動中のＶＭ１１が存在しない場合、そのＶＭホスト１２を停止対象に選択する。また、ＶＭホスト１２が停止した場合、そのＶＭホスト１２が稼動するサーバ１は、動作を停止してもよい。従って、管理サーバ２は、蓄電池３５の消耗を減らし、他のＶＭホスト１２上で稼動するＶＭ１１の稼動を長期化することができる。
【００８０】
図１４は、停止候補ＶＭ選択処理の一例を示すフローチャートである。図１４に示す処理は、図１０のステップＳ１１０に対応する。
【００８１】
電力供給判定部２２は、電力供給判定処理を実行する（ステップＳ５０１）。そして、復旧フラグがオンである場合（ステップＳ５０２でＹＥＳ）、初期化部３０は、初期化処理を実行する（ステップＳ５０３）。ステップＳ５０３の後、処理は、「Ｂ」から図９のステップＳ１０１に移行する。
【００８２】
復旧フラグがオンでない場合（ステップＳ５０２でＮＯ）、ＶＭ選択部２６は、未チェックのＶＭ１１が有るか判定する（ステップＳ５０４）。ＶＭ選択部２６は、ＶＭ情報のＶＭチェックフラグに「Ｎ」が有る場合、未チェックのＶＭ１１が有ると判定する。
【００８３】
未チェックのＶＭ１１がない場合（ステップＳ５０４でＮＯ）、全てのＶＭ１１をチェックしたことを意味する。よって、ＶＭ選択部２６は、全てのＶＭチェックフラグを初期化（「Ｎ」に変更）し、処理は終了する。
【００８４】
ステップＳ５０４でＹＥＳの場合、ＶＭ選択部２６は、チェック対象のＶＭ１１のリソース使用量を、ＶＭ１１が稼動するサーバ１から取得する（ステップＳ５０６）。チェック対象のＶＭ１１は、例えば、ＶＭチェックフラグが「Ｎ」であるＶＭ１１のうちのいずれかであるとする。リソース使用量は、例えば、ＶＭ１１の、ＣＰＵ使用率[%]、メモリ使用率[%]、ディスクＩＯ[%]、およびネットワーク使用率[%]である。
【００８５】
ＶＭ選択部２６は、取得したリソース使用量に基づいて、ＶＭ情報を更新する（ステップＳ５０７）。
【００８６】
ＶＭ選択部２６は、チェック対象のＶＭ１１のリソース使用量のうちの所定項目が閾値以下であるか判定する（ステップＳ５０８）。なお、リソース使用量の各項目に関して、予め閾値が設定されているとする。ＶＭ選択部２６は、例えば、ステップＳ５０６で取得したリソース使用量と、設定されている閾値とを比較する。ＶＭ選択部２６は、チェック対象のＶＭ１１のリソース使用量のうち、所定の複数項目が閾値以下であるかを判定してもよい。
【００８７】
ＶＭ１１のリソース使用量のうちの所定項目が閾値以下である場合（ステップＳ５０８でＹＥＳ）、ＶＭ選択部２６は、停止候補ＶＭフラグをオンに設定する（ステップＳ５０９）。いずれかのリソースが閾値以下であるＶＭ１１を停止候補とする。
【００８８】
閾値以下のリソース使用量が存在しない場合（ステップＳ５０８でＮＯ）、またはステップＳ５０９の処理後、ＶＭ選択部２６は、ＶＭチェックフラグをオンに設定し（ステップＳ５１０）、ステップＳ５０４に戻る。
【００８９】
以上のように、ＶＭ選択部２６は、現在のリソース使用量に応じて停止候補のＶＭ１１を選択する。リソース使用量が少ないＶＭ１１は、業務上の優先度が低いと考えられるため、ＶＭ選択部２６は、リソース使用量が少ないＶＭ１１を停止候補に選択することにより、ＶＭ１１の停止による業務への影響を抑制することができる。
【００９０】
図１５は、ＶＭ停止処理の一例を示すフローチャートである。図１５に示す処理は、図１０のステップＳ１１４に対応する。電力供給判定部２２は、電力供給判定処理を実行する（ステップＳ６０１）。復旧フラグがオンである場合（ステップＳ６０２でＹＥＳ）、初期化部３０は、初期化処理を実行する（ステップＳ６０３）。ステップＳ６０３の後、処理は、「Ｂ」から図９のステップＳ１０１に移行する。
【００９１】
復旧フラグがオフである場合（ステップＳ６０２でＮＯ）、停止指示部２９は、図１０のステップＳ１１３で特定された停止対象のＶＭ１１のリストを取得する（ステップＳ６０４）。停止指示部２９は、停止対象のＶＭ１１を停止する指示を、停止対象のＶＭ１１が稼動するサーバ１に出力する（ステップＳ６０５）。
【００９２】
図１６は、ＶＭマイグレーション処理の一例を示すフローチャートである。図１６に示す処理は、図１０のステップＳ１１５に対応する。移動指示部３１は、図１６に示す処理の開始前に、ＶＭホスト情報におけるマイグレーションフラグを初期化（「Ｎ」に設定）する。
【００９３】
移動指示部３１は、全てのＶＭホスト１２のリソース使用量を取得する（ステップＳ７０１）。移動指示部３１は、例えば、全てのサーバ１にリソース使用量の通知要求を出力することにより、全てのＶＭホスト１２のリソース使用量を取得する。移動指示部３１が取得するリソース使用量は、例えば、ＣＰＵ使用率およびメモリ使用量である。移動指示部３１が取得するリソース使用量は、例えば、ディスクＩ／Ｏ、ネットワーク使用量であってもよい。
【００９４】
また、移動指示部３１は、各ＶＭホスト１２上で稼動するＶＭ１１を検出する（ステップＳ７０２）。移動指示部３１は、例えば、稼動中のＶＭ１１のＶＭＩＤを通知する要求を各サーバ１に出力することより、各ＶＭホスト１２上で稼動するＶＭ１１を検出する。
【００９５】
電力供給判定部２２は、電力供給判定処理を実行する（ステップＳ７０３）。復旧フラグがオンである場合（ステップＳ７０４でＹＥＳ）、初期化部３０は、初期化処理を実行する（ステップＳ７０５）。ステップＳ７０５の後、処理は、「Ｂ」から図９のステップＳ１０１に移行する。
【００９６】
復旧フラグがオンでない場合（ステップＳ７０４でＮＯ）、移動指示部３１は、マイグレーションの設定を実行する（ステップＳ７０６）。移動指示部３１は、ＶＭ１２上で稼動するＶＭ１１を、リソース使用量が該ＶＭ１２のリソース使用量より多いＶＭ１２に移動させる設定を行う。移動指示部３１は、例えば、リソース使用量が少ないＶＭ１２から順に、ＶＭ１１のマイグレーション元となるＶＭ１２に設定し、リソース使用量が多いＶＭ１２から順に、ＶＭ１１のマイグレーション先となる前記ＶＭ１２に設定する。移動指示部３１は、例えば、リソース使用量がｉ番目に少ないＶＭホスト１２をマイグレーション元に設定し、リソース使用量がｉ番目に多いＶＭホスト１２をマイグレーション先に設定する処理をｉ＝１から順に繰り返す。
【００９７】
ステップＳ７０６の設定で用いるリソース使用量は、例えば、ＣＰＵ使用率とメモリ使用量の合計、または、ＣＰＵ使用率とメモリ使用量とのいずれか一方であるとする。ステップＳ７０６の設定で用いるリソース使用量は、例えば、ディスクＩＯとネットワーク使用量とのいずれか一方または両方を含んでいてもよい。
【００９８】
移動指示部３１は、例えば、稼動するＶＭ１１の数が少ないＶＭ１２から順に、ＶＭ１１のマイグレーション元となるＶＭ１２に設定し、稼動するＶＭ１１の数が多いＶＭ１２から順に、ＶＭ１１のマイグレーション先となる前記ＶＭ１２に設定してもよい。
【００９９】
移動指示部３１は、マイグレーション元のＶＭホスト１２上で稼動するＶＭ１１がマイグレーション先のＶＭホスト１２に移動可能でない、とリソース使用量に基づいて判定した場合、上記設定を行わない。
【０１００】
また、移動指示部３１は、マイグレーション先のＶＭホスト１２に対応するマイグレーションフラグをＹにし、マイグレーションフラグがＹであるＶＭホスト１２をマイグレーション元に設定しないようにする。マイグレーションフラグを設定することにより、マイグレーション先のＶＭ１１が、マイグレーション直後に、マイグレーション元のＶＭホスト１２に戻ることを防ぐことができる。
【０１０１】
移動指示部３１は、ステップＳ７０６での設定に従い、マイグレーション先に設定されたＶＭホスト１２が稼動するサーバ１、およびマイグレーション元に設定されたＶＭホスト１２が稼動するサーバ１にマイグレーション指示を出力する（ステップＳ７０７）。移動指示部３１は、ステップＳ７０６で設定された全てのマイグレーションが完了したか判定する（ステップＳ７０８）。全てのマイグレーションが完了していない場合（ステップＳ７０８でＮＯ）、処理は、ステップＳ７０７に戻る。
【０１０２】
全てのマイグレーションが完了している場合（ステップＳ７０８でＹＥＳ）、ＶＭホスト選択部２５は、停止対象ＶＭホスト選択処理を実行する（ステップＳ７０９）。そして、停止指示部２９は、停止対象のＶＭホスト１２を停止する指示をサーバ１に出力する（ステップＳ７１０）。停止指示部２９は、例えば、ＶＭホスト情報を参照し、停止対象フラグが「Ｙ」となっているＶＭホスト１２が稼動するサーバ１に、ＶＭホスト１２を停止する指示を出力する。停止指示部２９は、停止指示を出力するとともに、ＶＭホスト情報の停止対象フラグを全て「Ｎ」に戻す。
【０１０３】
ステップＳ７０９、Ｓ７１０の処理は、図１０のステップＳ１０８、Ｓ１０９の処理と同様である。ただし、マイグレーションを実行したことにより、稼動中のＶＭ１１が存在しないＶＭホスト１２が新たに発生している可能性があり、ステップＳ１０８で停止対象に選択されなかったＶＭホスト１２がステップＳ７０９で停止対象に選択される可能性がある。
【０１０４】
以上のように、移動指示部３１は、リソース使用量が少ないＶＭホスト１２からリソース使用量が多いＶＭホスト１２にＶＭ１１をマイグレーションさせるので、ＶＭ１１が稼動するＶＭホスト１２の数を減少させることができる。また、管理サーバ２は、マイグレーション実行後に、稼動中のＶＭ１１が存在しないＶＭホスト１２を停止される。そして、サーバ１は、例えば、稼動するＶＭ１１の数が０となった場合、サーバ１の本体電源をオフにする。従って、管理サーバ２は、マイグレーションの実行により、停電発生時の電力消費を抑制し、ＶＭ１１を長く稼動させることができる。
【０１０５】
図１７は、実施形態の処理を適用した場合における、停電発生後の各サーバ１の停止タイミングを示す図である。
【０１０６】
図１７に示す例では、複数のサーバ１（サーバＡ，Ｂ，Ｃ，Ｄ）がＵＰＳ３に接続されており、停電発生後に、ＵＰＳ３の蓄電池３５からの電力供給により稼動しているとする。
【０１０７】
上述のように、管理サーバ２は、優先度等に応じてＶＭ１１を停止させ、稼動するＶＭ１１が存在しないＶＭホスト１２を停止させる。さらに、管理サーバ２は、マイグレーションの実行により、稼動するＶＭホスト１２の数を減少させる。ＶＭホスト１２が停止した場合、サーバ１の本体電源を停止することができるため、図１７に示すように、各サーバ１は異なるタイミングで停止する。
【０１０８】
図１７に示す例では、サーバＡ、Ｂ、およびＣは、図１に示す例と比べて早いタイミングで停止するが、サーバＤは、図１に示す例と比べて遅いタイミングで停止する。本実施形態の処理により、優先度が高いＶＭ１１は停止タイミングが遅くなるため、サーバＤで稼動するＶＭ１１は優先度が高いことが考えられる。すなわち、管理サーバ２は、優先度が高いＶＭ１１が稼動するサーバ１の停止タイミングを遅らせることができるため、優先度が高いＶＭ１１を長く稼動させることができる。
【０１０９】
＜管理サーバのハードウェア構成の一例＞
次に、図１８の例を参照して、管理サーバ２のハードウェア構成の一例を説明する。図１８の例に示すように、バス１００に対して、プロセッサ１１１とRandom Access Memory(RAM)１１２とRead Only Memory(ROM)１１３とが接続される。また、該バス１００に対して、補助記憶装置１１４と媒体接続部１１５と通信インタフェース１１６とが接続される。
【０１１０】
プロセッサ１１１はＲＡＭ１１２に展開されたプログラムを実行する。実行されるプログラムとしては、実施形態における処理を行う管理プログラムが適用されてもよい。
【０１１１】
ＲＯＭ１１３はＲＡＭ１１２に展開されるプログラムを記憶する不揮発性の記憶装置である。補助記憶装置１１４は、種々の情報を記憶する記憶装置であり、例えばハードディスクドライブや半導体メモリ等を補助記憶装置１１４に適用してもよい。補助記憶装置１１４に実施形態の処理を行う制御プログラムが記録されていてもよい。媒体接続部１１５は、可搬型記録媒体１１７と接続可能に設けられている。
【０１１２】
可搬型記録媒体１１７には、可搬型のメモリや光学式ディスク（例えば、Compact Disc(CD)やDigital Versatile Disc(DVD))、半導体メモリ等が適用されてもよい。可搬型記録媒体１１７に実施形態の処理を行う管理プログラムが記録されていてもよい。
【０１１３】
図３に示す記憶部３３は、ＲＡＭ１１２、ＲＯＭ１１３、補助記憶装置１１４等により実現されてもよい。図３に示す通信部２１は、通信インタフェース１１６により実現されてもよい。図３に示す電力供給判定部２２、取得部２３、無効化部２４、ＶＭホスト選択部２５、ＶＭ選択部２６、算出部２７、特定部２８、停止指示部２９、初期化部３０、移動指示部３１、設定部３２、および制御部３４は、与えられた管理プログラムをプロセッサ１１１が実行することにより実現されてもよい。
【０１１４】
ＲＡＭ１１２、ＲＯＭ１１３、補助記憶装置１１４および可搬型記録媒体１１７は、何れもコンピュータ読み取り可能な有形の記憶媒体の一例である。これらの有形な記憶媒体は、信号搬送波のような一時的な媒体ではない。
【０１１５】
＜その他＞
本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で種々の構成または実施形態を適用することができる。
【符号の説明】
【０１１６】
１    サーバ
２    管理サーバ
３    ＵＰＳ
４    系統電源
１１    ＶＭ
１２    ＶＭホスト
２１    通信部
２２    電力供給判定部
２３    取得部
２４    無効化部
２５    ＶＭホスト選択部
２６    ＶＭ選択部
２７    算出部
２８    特定部
２９    停止指示部
３０    初期化部
３１    移動指示部
３２    設定部
３３    記憶部
３４    制御部
３５    蓄電池
１００    バス
１１１    プロセッサ
１１２    ＲＡＭ
１１３    ＲＯＭ
１１４    補助記憶装置
１１５    媒体接続部
１１６    通信インタフェース
１１７    可搬型記録媒体
【図１】
2019159724.tif 000003
【図２】
2019159724.tif 000004
【図３】
2019159724.tif 000005
【図４】
2019159724.tif 000006
【図５】
2019159724.tif 000007
【図６】
2019159724.tif 000008
【図７】
2019159724.tif 000009
【図８】
2019159724.tif 000010
【図９】
2019159724.tif 000011
【図１０】
2019159724.tif 000012
【図１１】
2019159724.tif 000013
【図１２】
2019159724.tif 000014
【図１３】
2019159724.tif 000015
【図１４】
2019159724.tif 000016
【図１５】
2019159724.tif 000017
【図１６】
2019159724.tif 000018
【図１７】
2019159724.tif 000019
【図１８】
2019159724.tif 000020