Source: https://patents.google.com/patent/JP5378946B2/en
Timestamp: 2019-05-25 03:21:49
Document Index: 767184737

Matched Legal Cases: ['art 132', 'art 135', 'art 1602', 'art 132', 'art 132', 'art 135', 'art 132', 'art 132', 'art 132', 'art 135', 'art 135', 'arts 135', 'art 135', 'art 135', 'art 1602', 'art 132', 'art 135', 'art 133', 'art 136', 'art 1003', 'art 1603']

JP5378946B2 - Server management device and server management methods - Google Patents
Server management device and server management methods Download PDF
JP5378946B2
JP5378946B2 JP2009245035A JP2009245035A JP5378946B2 JP 5378946 B2 JP5378946 B2 JP 5378946B2 JP 2009245035 A JP2009245035 A JP 2009245035A JP 2009245035 A JP2009245035 A JP 2009245035A JP 5378946 B2 JP5378946 B2 JP 5378946B2
JP2009245035A
JP2011090594A (en
康志 宮田
智也 太田
博泰 西山
2009-10-26 Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
2009-10-26 Priority to JP2009245035A priority Critical patent/JP5378946B2/en
2011-05-06 Publication of JP2011090594A publication Critical patent/JP2011090594A/en
2013-12-25 Publication of JP5378946B2 publication Critical patent/JP5378946B2/en
A server management apparatus for lowering migration costs during scale-in/scale-out and workload consolidation of a cluster system(s) to thereby reduce power consumption is disclosed. The apparatus manages a physical server group which renders operative a virtual server group thereon and, when putting into practice a cluster system including a plurality of virtual servers placed in the physical server group, manages the layout state of virtual servers pursuant to the load state of the virtual server group. When executing scale-in, a virtual server operating on a physical server with the minimum number of operative virtual servers is specified as a shutdown target. When executing scale-out, a workload variation is predicted to control a scale-out destination of cluster system so that load variation-resembled cluster systems gather on the same physical server. The scale-in execution timing is delayed if the predicted load variation tends to rise and accelerated if it falls.
本発明は、１台の物理サーバを独立した１台以上の仮想的なサーバとして動作させるサーバ仮想化技術と、仮想サーバで構築するクラスタシステムの構成を動的に変更し消費電力を低減する技術に関する。 The present invention includes a server virtualization technique to operate as a single one or more virtual servers to the physical servers independent of a technique for reducing power consumption by dynamically changing the configuration of a cluster system to be constructed on the virtual server on.
近年、企業の情報システムである企業情報システム（以下、企業システムという。）への仮想化技術の導入が進んでいる。 Recently, corporate information systems is the enterprise information system is progressing introduction of virtualization technology to (hereinafter, referred to as enterprise systems.). 仮想化技術により、企業システムを構成する物理サーバは仮想サーバへと置き換えられ、サーバ統合（サーバコンソリデーション）による物理サーバ数の削減が進んでいる。 Virtualization technology, physical servers in the enterprise system is replaced with the virtual server, it is progressing reduce the number of physical servers by the server consolidation (server consolidation). 物理サーバ数の削減により、企業は物理サーバ導入コストや消費電力が低減するメリットを得ている。 The reduction in the number of physical servers, companies have benefit the physical server implementation costs and power consumption can be reduced.
企業システムでは、時間や時期によって負荷が変動する。 In the enterprise system, load varies by time and timing. 複数の仮想サーバで構築するクラスタシステムでサービスを提供している企業システムにおいて、負荷のピークに合わせて全ての仮想サーバを起動しておくと、負荷に対して余剰なコンピューティングリソース（例えば、ＣＰＵ（Central Processing Unit）、メモリ）、電力を供給していることとなり無駄が多い。 In enterprise systems that provide services in a cluster system to be constructed with a plurality of virtual servers, idea to start all virtual servers in accordance with the peak load, excess computing resources to the load (eg, CPU (Central Processing Unit), a memory), often waste will be providing power. 余剰な電力を削減するために、負荷変動に応じた動的なシステム構成変更や片寄せの技術として、特許文献１や非特許文献１がある。 To reduce the surplus power, as a dynamic system reconfiguration and biasing technique according to the load variation, there is Patent Document 1 and Non-Patent Document 1.
なお、ここでのクラスタシステムとは、同一の計算処理を行う複数の仮想サーバと、クライアントからのリクエストを複数の仮想サーバに対して割振る機能（例えば、負荷分散器）とを含んでなるシステムである。 Incidentally, wherein the cluster system and includes a plurality of virtual servers performing the same calculation process, function to allocate requests from clients to a plurality of virtual servers (e.g., the load disperser) and a system it is. 前記計算処理は仮想サーバ上で稼働するプログラムであるアプリケーションサーバが実行する。 The calculation processing application server is a program running on the virtual server performs.
特許文献１では、複数の仮想サーバが稼働する物理サーバが複数存在するシステムを対象としている。 In Patent Document 1, directed to a system for physical server in which a plurality of virtual servers is running there is a plurality. 対象とするシステムにおいて消費電力削減を目的とし、負荷に応じて仮想サーバが稼働する物理サーバを変更する（以下、仮想サーバの移行という。）。 The purpose of reducing power consumption in a system of interest, virtual server changes the physical servers running in accordance with the load (hereinafter. Referred to migration of virtual servers). 具体的には、現在の負荷の状態から必要なコンピューティングリソース量を必要仮想サーバ数として導出し、導出した仮想サーバ数が稼働するのに最低限必要な物理サーバに仮想サーバを移行する（以下、片寄せという。）。 Specifically, derives as the current number of required virtual server computing resource required from the state of the load, the derived number of virtual server to migrate a virtual server to a minimum required physical servers to operate (hereinafter ,. that biased). その結果、稼働中の仮想サーバがなくなった余剰物理サーバが発生し、その物理サーバの電源を切断することで消費電力を削減する。 As a result, excess physical server has occurred and no longer virtual servers running, to reduce power consumption by cutting the power of the physical servers.
非特許文献１では、仮想サーバで構築する複数のクラスタシステムが複数の物理サーバ上で稼働する環境を対象としている。 In Non-Patent Document 1 is directed to a environment where multiple cluster system to build a virtual server running on multiple physical servers. 対象とする環境において、消費電力削減を目的とし、負荷に応じてクラスタシステムをスケールイン／スケールアウトする。 In the environment of interest, power reduction purposes, scaling in / scale-out cluster system according to the load.
スケールインとは、クラスタシステムを構成する１以上の仮想サーバに対するリクエストの割振りを停止し、該仮想サーバをクラスタシステムより削除する処理である。 The scale-in, stop the allocation of requests for one or more virtual servers in the cluster system, a process of deleting from the cluster system the virtual server. スケールインにより、クラスタシステムが消費するコンピューティングリソース量は減少する。 The scale in computing the amount of resources a cluster system consumes reduced. さらに、スケールインを実行した仮想サーバを停止することで稼働中の仮想サーバ数が０（ゼロ）となった物理サーバの電源を切断し消費電力を削減する。 Furthermore, to reduce power consumption virtual number server disconnects the power of the physical servers becomes 0 (zero) in operation by stopping the virtual server that performed the Scale In.
一方、スケールアウトとは、１以上の仮想サーバをクラスタシステムに追加し、追加した仮想サーバにリクエスト割振りを開始する処理である。 On the other hand, the scale-out, and add one or more virtual servers in a cluster system, a process of starting a request allocation to the added virtual servers. スケールアウトにより、クラスタシステムが消費するコンピューティングリソース量は増加する。 The scale-out computing resource amount cluster system consumes increases. また、スケールアウトを実施する前には、必要に応じて仮想サーバの起動処理を行う。 Further, before the scale-out performs the startup processing of the virtual servers as needed.
非特許文献１では、各物理サーバの稼働中の仮想サーバ数に応じた消費電力を消費電力データとして事前に取得している。 In Non-Patent Document 1 has obtained beforehand the power corresponding to the number of virtual servers running in each physical server as power consumption data. 事前取得した消費電力データを用い、スケールイン時には停止することで最も消費電力を削減する効果の高い仮想サーバをクラスタシステムから削除する処理を行う。 Using the power consumption data prefetched, during scale-in performs a process of deleting the most reduce power consumption to highly effective virtual server by stopping the cluster system. クラスタシステムから削除した仮想サーバは停止させる。 Virtual was removed from the cluster system server is stopped. スケールアウト時には、起動した場合に最も消費電力の上昇が低い仮想サーバをクラスタシステムに追加する処理を行う。 During scale-out, it performs the process of adding the most increase in power consumption is low virtual server cluster system when launched. この追加処理の前に必要に応じて仮想サーバを起動させる。 The virtual server is started on demand prior to the addition process.
ＵＳ２００５／００６０５９０Ａ１号公報 US2005 / 0060590A1 JP
特許文献１と非特許文献１の技術を組み合わせることで、負荷に応じてクラスタシステムが必要とするコンピューティングリソース量を最適化することができ、仮想サーバをできる限り少ない数の物理サーバに片寄せすることができると考えられる。 By the patent document 1 combines the non-patent document 1 technology, it is possible to optimize the computing resource amount required by the cluster system according to the load, biasing the number of physical servers as small as possible a virtual server would be able to. その結果、消費電力を削減する効果を高めることができると推測される。 As a result, it is presumed to be able to enhance the effect of reducing power consumption. しかし、消費電力を削減する効果をより高くするためには、次に示す課題を解決する必要がある。 However, in order to further increase the effect of reducing the power consumption, it is necessary to solve the problems shown below.
第１の課題として、片寄せ実行時に仮想サーバの移行回数ができる限り少なくなるようにクラスタシステムのスケールイン／スケールアウト対象を制御することが必要である。 As a first problem, it is necessary to control the scale in / scale-out target cluster system to be less as possible transition number of the virtual server at runtime biasing. 特許文献１では、片寄せ実行時に仮想サーバ移行回数が多いと、仮想サーバの移行コストにより消費電力削減効果の低下、応答性能の低下が発生する。 In Patent Document 1, biasing the many virtual server migration times during execution, reduction in power consumption reduction effect by the cost of migrating a virtual server, a decrease in response performance occurs.
なお、仮想サーバの移行コストとはＣＰＵ負荷、Ｉ／Ｏ負荷、移行時間などである。 Note that the cost of migrating a virtual server CPU load, I / O load, and the like transition time. ＣＰＵ負荷、Ｉ／Ｏ負荷が増大すると消費電力が増加する。 CPU load, power consumption and I / O load increases will increase. また、移行時間が増大することで、物理サーバの電源を切断する時間が短くなり消費電力を削減する効果が低下する。 Further, since the transition time is increased, the effect of time to power down the physical server to reduce power consumption shortens decreases. さらに、移行時間の増大は負荷変動への追従を遅らせ、クラスタシステムがユーザ要求の応答性能を出せなくなる。 Furthermore, the increase in transition time slows the tracking of the load fluctuation, cluster systems can not put out the response performance of the user request.
一方、非特許文献１では、片寄せを前提としていないため、片寄せ実行時に仮想サーバの移行回数をできる限り少なくするようなクラスタシステムの構成変更方法を取ってはいない。 On the other hand, Non-Patent Document 1, because it does not assume the biased, took the configuration change process of such a cluster system to minimize the number of transitions virtual server runtime biasing no. そのため、特許文献１と非特許文献１の技術を組み合わせるだけでは、仮想サーバの移行コストによって消費電力を削減する効果が低下する問題や、応答性能が低下する問題が発生する。 Therefore, only combining the non-patent document 1 technique of Patent Document 1, problems and the effect of reducing the power consumed by the cost of migrating a virtual server is reduced, a problem that response performance is lowered occurs.
第２の課題として、クラスタシステムに余分なコンピューティングリソースを持たせることなく、スケールイン／スケールアウトを交互に繰り返すことによる消費電力の増加を防ぐ制御が必要である。 As a second object, without imparting excessive computing resources in a cluster system, it is necessary to control to prevent an increase in power consumption due to repeated scale in / scale out alternately. 非特許文献１ではクラスタシステムにコンピューティングリソースを余分に与えることでスケールイン／スケールアウトを実行する閾値に十分な余裕を持たせている。 The threshold for executing the scale-in / scale out by providing computing resources extra in Non-Patent Document 1, cluster system has to have a sufficient margin. これにより、スケールイン／スケールアウトを交互に繰り返すことを防ぎ、短期間に物理サーバの電源ＯＮ／ＯＦＦを繰り返すことによる消費電力の増加防止を実現している。 This prevents the repeated Scale In / scale out alternately, thereby realizing an increase prevention of power consumption due to repetition of power ON / OFF of the physical server in a short period of time. しかし、この方法では、スケールイン／スケールアウトによるシステム構成の変更回数は減少するが、消費電力を削減する効果も減少する問題が存在する。 However, in this method, the number of changes in the system configuration of scale in / scale-out is decreased, the effect also exists the problem of reducing to reduce power consumption.
本発明は、前記の課題を解決するための発明であって、クラスタシステムのスケールイン／スケールアウトや片寄せ時の移行コスト、つまりシステム構成の変更回数をできる限り削減し、消費電力を削減することができるサーバ管理装置およびサーバ管理方法を提供することを目的とする。 The present invention is an invention for solving the above problems, the scale in / scale-out and transition cost for biasing the cluster system, reduces i.e. as much as possible the number of changes in the system configuration, to reduce power consumption and to provide a server management device and server management method capable.
前記第１の課題を解決するために、次に示す装置・手段を設ける。 To achieve the first object, the following is provided an apparatus or means.
（１−１）仮想サーバの起動／停止による構成変更の対象となる複数のクラスタシステムを管理する装置として、複数の仮想サーバを利用したクラスタシステムであって、そのクラスタシステムを構成する複数の仮想サーバの一部を停止／起動する処理と、停止／起動処理に伴って実行するスケールイン／スケールアウト処理によりクラスタシステムが使用するコンピューティングリソース量を制御するサーバ管理装置（例えば、サーバ管理装置１０１）を設ける。 (1-1) as a device for managing a plurality of cluster systems to be configuration change by the activation / stop of the virtual server, a cluster system utilizing a plurality of virtual servers, a plurality of virtual constituting the cluster system server management apparatus for controlling a process of stopping / starting the part of the server, the computing resource amount cluster system uses a scale in / scale-out process to be executed with the stop / start process (e.g., server management apparatus 101 ) providing a. なお、仮想サーバの停止／起動のみでクラスタシステムを構成する仮想サーバ数を変更できるが、クラスタシステムに対するリクエスト割振りの失敗を防ぐためにスケールイン／スケールアウト処理も同時に行うことが一般的である。 Although possible to change the number of virtual servers in the cluster system only in the stop / start of the virtual server, the scale in / scale-out process in order to prevent the failure of a request allocation for a cluster system is also generally be carried out at the same time. そこで、スケールイン実行後に仮想サーバの停止処理、スケールアウト実行前に仮想サーバの起動処理を行うものとして以降説明する。 Therefore, stop processing of the virtual server after executing the scale-in will be described hereinafter as performing the activation process of the virtual server before executing the scale-out.
（１−２）スケールイン実行後に停止対象とする仮想サーバを判断する手段として、クラスタシステムの負荷情報を収集する手段（例えば、負荷情報収集部１２４）と、収集した負荷情報からスケールインの可否を判断する手段（例えば、スケールイン判断部１３１）と、前記判断によりスケールインできるなら仮想サーバの物理サーバへの構成情報を収集する手段（例えば、構成情報収集部１２５）と、前記収集した構成情報から稼働する仮想サーバ数が最も少ない物理サーバに存在する仮想サーバをスケールイン実行後の停止対象として選択する手段（例えば、スケールイン対象仮想サーバ選択部１３２）とを設ける。 (1-2) as a means for determining a virtual server to be stopped after executing the scale-in means for collecting load information of the cluster system (e.g., load information collecting section 124) and, from the collected load information of the scale in propriety means for determining (e.g., scale-in determining unit 131) and, means for collecting the configuration information to the physical servers of the virtual server if it scale in by the determining (e.g., configuration information collection unit 125), the configuration described above collected It means for selecting a virtual server that the number of virtual servers are present in the smallest physical servers running the information as a stop target after execution scale in (e.g., scale-in target virtual server selecting part 132) and provided.
（１−３）スケールアウト実行前に新たに仮想サーバを稼働する物理サーバを選択する手段として、クラスタシステムの負荷情報を収集する手段が収集した負荷情報からスケールアウトの必要性を判断する手段（例えば、スケールアウト判断部１３４）と、前記判断でスケールアウトの必要性があるとき、前記収集した構成情報から稼働する仮想サーバ数が最も多い物理サーバを選択する手段（例えば、スケールアウト対象物理サーバ選択部１３５）とを設ける。 (1-3) scale before-out executed as a means for selecting a physical server running a new virtual server, means for means for collecting load information of the cluster system determines the need for a scale-out from the collected load information ( for example, the scale-out determination section 134), when there is a need for a scale-out by said determination, means for selecting the largest physical server the number of virtual servers running the configuration the collected information (e.g., scale-out target physical server selecting section 135) and providing a.
（１−４）前記スケールアウト実行前に新たに仮想サーバを稼働する物理サーバを選択する手段の代わりに、クラスタシステムの負荷情報を収集する手段が収集した負荷情報からスケールアウトの必要性を判断する手段（例えば、スケールアウト判断部１３４）と、過去に収集した負荷情報から負荷変動の類似度を導出する手段（例えば、負荷変動類似度計算部７０１）と、導出した負荷変動の類似度が高いクラスタシステムを構成する仮想サーバがより多く存在する物理サーバを選択する手段（例えば、スケールアウト対象物理サーバ選択部１３５）とを設けてもよい。 (1-4) the scale before-out executed instead of means for selecting a physical server running a new virtual server, determine the need for scale-out load information means for collecting load information of the cluster system has collected It means for (e.g., scale-out determination section 134) and, means for deriving the similarity load change from the load information collected in the past (for example, load fluctuation similarity calculator 701) and, the similarity of the derived load variations means (e.g., scale-out target physical server selecting part 135) for selecting a physical server virtual server exists more constituting the high cluster system and may be provided.
さらに前記第２の課題を解決するために、次に示す手段を設ける。 Further in order to solve the second problem, the following provide means.
（２−１）スケールインの実行タイミングを制御するために、過去に収集した負荷情報からクラスタシステム毎に現在の負荷が上昇傾向か下降傾向かを判断し、負荷が下降傾向ならスケールインを積極的に行うようにスケールインの可否判断を行う閾値を変更し、負荷が上昇傾向ならスケールインを消極的に行うようにスケールインの可否判断を行う閾値を変更する手段（例えば、負荷変動予測部１３０１）を設ける。 (2-1) for controlling the execution timing of the scale in the current load for each cluster system from the load information collected in the past to determine the rise or downward trend, the load is positively a downward trend if the scale in the threshold value is changed to perform the permission determination of the scale in such performed, the means for load changes the threshold value to perform the permission determination of the scale in such passively performing rise if scale in (e.g., load change predicting unit 1301) providing a.
（２−２）スケールアウトの実行タイミングを制御するために、物理サーバが保持する余剰コンピューティングリソース量の情報を収集する手段（例えば、構成情報収集部１２５）と、収集した余剰コンピューティングリソースを利用して仮想サーバのスケールアップが可能かを判断する手段（例えば、スケールアウト／スケールアップ判断部１６０１）と、前記判断によりスケールアップ可能ならば、クラスタシステムのスケールアウトの代わりに仮想サーバをスケールアップする仮想サーバを選択する手段（例えば、スケールアップ対象仮想サーバ選択部１６０２）と、選択された仮想サーバをスケールアップし、負荷分散器を制御し、負荷分散器を制御することで該仮想サーバで処理するリクエスト量をクラスタシステム内の他仮想サ (2-2) for controlling the execution timing of the scale-out, it means for collecting information of the excess computing resources amount physical server maintains (e.g., configuration information collection unit 125) and the collected excess computing resources means for determining whether it is possible scale-up of virtual servers using (e.g., scale-out / scale-up determination section 1601) scale and, if scaleable by the determining, a virtual server instead of the scale-out cluster systems means for selecting a virtual server to be up (e.g., scale-up target virtual server selecting part 1602) and, to scale up the virtual server selected to control the load distribution unit, the virtual server by controlling the load disperser other virtual difference in treatment in the cluster system requests the amount of バより増加させる手段（例えば、スケールアップ実行部１６０３）とを設ける。 Means (e.g., scale-up execution unit 1603) that increases from the bus and providing a.
なお、スケールアップとは、仮想サーバに割当てるＣＰＵやメモリなどのコンピューティングリソース量を増加させ、リクエスト処理の数や速度を増強することである。 Note that the scale-up increases the computing resources of a CPU and memory allocated to the virtual server, it is to enhance the number and speed of processing the request. このコンピューティングリソースは、スケールアップを実施する仮想サーバが稼働する物理サーバが保持する未使用のコンピューティングリソースを使用する。 The computing resources may use the unused computing resources physical server virtual server is running to implement the scale-up is held.
本発明によれば、クラスタシステムのスケールイン／スケールアウトや片寄せ時の移行コスト、つまり、システム構成の変更回数をできる限り削減し、消費電力を削減することができる。 According to the present invention, the scale in / scale-out and transition cost for biasing the cluster system, i.e., can be reduced as much as possible the number of changes in the system configuration, to reduce power consumption.
実施形態１に係るクラスタシステムを示す図である。 It illustrates a cluster system according to the first embodiment. サーバ管理装置が実行するスケールイン／スケールアウトの処理の流れを示す図である。 It is a diagram showing a process flow of the scale in / scale-out by the server management apparatus executes. スケールインの実行シーケンスを示す図である。 Is a diagram showing the scale in the execution sequence. スケールアウトの実行シーケンスを示す図である。 Is a diagram illustrating the scale-out of the execution sequence. 物理サーバ上の仮想サーバ数によりスケールイン／スケールアウト対象を制御した場合の効果例を示す図である。 The number of virtual servers on the physical server is a diagram showing an effect example of the case of controlling the scale in / scale-out target. スケールイン判断、スケールアウト判断時の閾値を示す図である。 Scale In decision is a diagram showing a threshold value in the scale-out determination. 実施形態２に係るクラスタシステムを示す図である。 It illustrates a cluster system according to the second embodiment. クラスタシステムの負荷類似度計算処理の流れを示す図である。 It is a diagram showing the flow of load similarity calculation processing cluster system. 負荷変動が類似したクラスタシステムを同一物理サーバにスケールアウトした場合の効果例を示す図である。 Load fluctuation is a diagram illustrating the effect example when scaling out cluster system similar to the same physical server. 実施形態３に係るクラスタシステムを示す図である。 It illustrates a cluster system according to the third embodiment. 片寄せ判断と片寄せ実行処理の流れを示す図である。 Is a diagram showing the flow of execution biasing a determination biasing. 仮想サーバの疑似移行処理の実行シーケンスを示す図である。 Is a diagram illustrating the execution sequence of the pseudo migration process of the virtual server. 実施形態４に係るクラスタシステムを示す図である。 It illustrates a cluster system according to the fourth embodiment. 負荷変動予測からスケールイン／スケールアウトのタイミングを変更する処理の流れを示す図である。 From the load fluctuation prediction is a diagram showing the flow of processing for changing the timing of the scale in / scale out. 負荷変動予測によりスケールイン／スケールアウトのタイミングを変更した場合の効果例を示す図である。 The load fluctuation prediction shows the effect example of changing the timing of the scale in / scale out. 実施形態５に係るクラスタシステムを示す図である。 It illustrates a cluster system according to a fifth embodiment. スケールアップの判断と実行の流れを示す図である。 Is a diagram showing the flow of execution and determination of the scale-up. 実施形態６に係るクラスタシステムを示す図である。 It illustrates a cluster system according to the sixth embodiment. 運用ポリシの例を示す図である。 Is a diagram illustrating an example of operational policy. 運用ポリシを利用した場合の、構成変更判断部、構成変更対象選択部、構成変更実行部の処理の流れを示す図である。 In the case of utilizing the operational policy, configuration change determination unit, the configuration change target selecting unit is a diagram showing the flow of processing of the configuration change execution unit. スケールイン対象仮想サーバ選択処理の流れを示す図である。 Is a diagram showing the flow of the scale in the target virtual server selection process. サーバ管理装置が行うスケールイン／スケールアウト、片寄せ時のクラスタシステムの構成例を示す図である。 Scale In / scale-out by the server management device performs a diagram illustrating a configuration example of a cluster system during biasing.
以下、本発明を実施するための形態を、図面を参照して詳細に説明する。 Hereinafter, the embodiments of the present invention will be described in detail with reference to the drawings.
図１は、実施形態１に係るクラスタシステムを示す図である。 Figure 1 is a diagram showing a cluster system according to the first embodiment. クラスタシステムは、サーバ管理装置１０１、仮想サーバ群１０３を有する管理対象となる物理サーバ群１０２、負荷分散器１０４から構成されており、負荷分散器１０４は、ネットワーク１０５を介してクライアント１０６に接続されている。 Cluster system, the server management apparatus 101, a physical server group 102 be managed with virtual server group 103 is constituted by a load balancing unit 104, the load balancing unit 104 is connected via a network 105 to the client 106 ing.
サーバ管理装置１０１は、スケールイン／スケールアウトを実行する機能を有し、一般的なコンピュータを用いて実現することができる。 Server management apparatus 101 has a function of executing a scale in / scale-out, can be implemented using a general computer. サーバ管理装置１０１は、メモリ１１２と、ＣＰＵ１１３と、通信装置１１４と、ハードディスクなどの記憶装置１１１と、入力装置１１５と、表示装置１１６とを備える。 Server management apparatus 101 includes a memory 112, a CPU 113, a communication device 114, a storage device 111 such as a hard disk, an input device 115, and a display device 116. サーバ管理装置１０１は、通信装置１１４を介して、管理対象の物理サーバ群１０２、仮想サーバ群１０３、負荷分散器１０４に接続している。 Server management apparatus 101 via the communication device 114, the physical servers 102 managed, the virtual server group 103 is connected to the load disperser 104.
スケールインとは、クラスタシステムを構成する１以上の仮想サーバに対するリクエストの割振りを停止し、該仮想サーバをクラスタシステムより削除する処理である。 The scale-in, stop the allocation of requests for one or more virtual servers in the cluster system, a process of deleting from the cluster system the virtual server. スケールインにより、クラスタシステムが消費するコンピューティングリソース量は減少する。 The scale in computing the amount of resources a cluster system consumes reduced. さらに、スケールインを実行した仮想サーバを停止することで、稼働中の仮想サーバ数が０（ゼロ）となった物理サーバの電源を切断し消費電力を削減することができる。 Further, by stopping the virtual server that performed the Scale In, it is possible to reduce power consumption by cutting the power to the physical servers that the number of virtual servers running becomes 0 (zero). また、スケールアウトとは、１以上の仮想サーバをクラスタシステムに追加し、追加した仮想サーバにリクエスト割振りを開始する処理である。 Also, the scale-out, and add one or more virtual servers in a cluster system, a process of starting a request allocation to the added virtual servers. スケールアウトにより、クラスタシステムが消費するコンピューティングリソース量は増加することができる。 The scale-out computing resource amount cluster system consumes can be increased. また、スケールアウトを実施する前には、必要に応じて仮想サーバの起動処理を行う。 Further, before the scale-out performs the startup processing of the virtual servers as needed.
入力装置１１５は、キーボードやマウスなどのコンピュータに指示を入力するための装置であり、プログラム起動などの指示を入力する。 Input device 115 is a device for inputting an instruction to the computer such as a keyboard and a mouse, and inputs instructions such as program startup. 表示装置１１６は、ディスプレイなどであり、サーバ管理装置１０１による処理の実行状況や実行結果などを表示する。 Display device 116, a display and the like, displays a running status and execution result of the processing by the server management apparatus 101. ＣＰＵ１１３は、メモリ１１２に格納される各種プログラムを実行する。 CPU113 executes various programs stored in the memory 112. 通信装置１１４は、ＬＡＮ(Local Area Network)などを介して、他の装置と各種データやコマンドを交換する。 Communication device 114 via a LAN (Local Area Network), to replace other devices and various data and commands. 記憶装置１１１は、サーバ管理装置１０１が処理を実行するための各種データを保存する。 Storage device 111 stores various data for server management apparatus 101 executes the processing. メモリ１１２は、サーバ管理装置１０１が処理を実行する各種プログラムおよび一時的なデータを保持する。 Memory 112 stores various programs and temporary data server management apparatus 101 executes the processing.
サーバ管理装置１０１は、複数のクラスタシステムを管理しており、クラスタシステムは負荷分散器１０４と仮想サーバ群１０３に含まれる複数の仮想サーバから構成し、ネットワーク１０５を介してクライアント１０６からのリクエストを受け取り処理する。 Server management apparatus 101 manages the plurality of cluster system, cluster system composed of a plurality of virtual servers included in the virtual server group 103 and the load disperser 104, a request from the client 106 via the network 105 to receive and process. なお、ここでの負荷分散器１０４とは、クライアント１０６からのリクエストを仮想サーバ群１０３内の１以上の仮想サーバに割振る装置のことである。 Here, the load disperser 104 is that of allocating device to one or more virtual servers in a virtual server group 103 a request from a client 106.
図１において、負荷分散器１０４は、ネットワーク１０５と物理サーバ群１０２の間に存在するが、物理サーバ群１０２に仮想的な装置として配置してもよいし、仮想サーバ群１０３内の仮想サーバに負荷分散器と同様の機能を持たせてもよい。 In Figure 1, the load disperser 104 is between the network 105 and the physical servers 102, but to the physical servers 102 may be arranged as a virtual device, the virtual server in the virtual server group 103 it may have the same function as the load distribution unit. また、クライアント１０６が負荷分散器１０４と同様の機能を持ちクライアント１０６にてリクエストを割振る処理を行ってもよい。 May also be carried out allocate processing the request at the client 106 has the same function as that of the client 106 load disperser 104.
仮想サーバ群１０３は、物理サーバ群１０２で動作する仮想化ソフトウェア１０７の上で実行される。 Virtual server group 103 is executed on the virtualization software 107 operating in the physical servers 102. この仮想サーバ群１０３のうち任意の台数を利用して複数のクラスタシステムを構築する。 Using any number of the virtual servers 103 to build multiple cluster system. なお、仮想化ソフトウェアとは、物理サーバが持つコンピューティングリソースを仮想サーバ群１０３で分割、または共有して利用できるよう制御するソフトウェアである。 Note that the virtualization software is software that controls the availability of computing resources physical server has split virtual servers 103 or share to.
ＣＰＵ１１３は、記憶装置１１１に格納されたプログラム１５１とデータ１５２をメモリ１１２に読み出して実行する。 CPU113 executes program 151 and data 152 stored in the storage unit 111 reads the memory 112. プログラム１５１は、負荷情報収集部１２４、構成情報収集部１２５、構成変更判断部１２１、負荷情報保存／取得部１４１、構成情報保存／取得部１４２、構成変更対象選択部１２２、構成変更実行部１２３、物理サーバ電源ＯＦＦ可否判断部１２６、物理サーバ電源ＯＦＦ実行部１２７、物理サーバ電源ＯＮ実行部１２８を有する。 Program 151, load information collecting section 124, configuration information collection unit 125, the configuration change determination unit 121, the load information storage / acquisition unit 141, the configuration information storage / acquisition unit 142, the configuration change target selecting unit 122, the configuration change execution unit 123 has the physical server power OFF determination section 126, the physical server power OFF execution unit 127, the physical server power ON execution unit 128.
例えば、構成変更判断部１２１は、取得（収集）した負荷情報からクラスタシステムを構成する仮想サーバ数の削減可否を判断する。 For example, configuration change determination unit 121 determines reduction whether the number of virtual servers in the cluster system from the load information acquired (collected). また、構成変更判断部１２１は、負荷情報収集部１２４が収集した負荷情報からクラスタシステムを構成する仮想サーバ数の過不足を判断する。 The configuration change determination unit 121 determines excess or shortage of the number of virtual servers load information collecting section 124 constitute a cluster system from the load information collected. 構成変更判断部１２１は、負荷情報収集部１２４が収集した負荷情報からクラスタシステムを構成する仮想サーバ数の過不足を判断し、構成変更対象選択部１２２が、クラスタシステムを構成する仮想サーバ数が不足していると判断した場合に、構成情報収集部１２５が収集した構成情報から稼働する仮想サーバ数が最も多い物理サーバを選択し、構成変更実行部１２３が、選択した物理サーバ上で仮想サーバを起動する。 Configuration change determination unit 121 determines the excess or shortage of the number of virtual servers load information collecting section 124 constitute a cluster system from the load information collected, the configuration change target selecting unit 122, the number of virtual servers in the cluster system If it is determined to be insufficient, the virtual server to select the largest physical server the number of virtual servers running the configuration information that the configuration information collection unit 125 collects configuration change execution unit 123, on the physical server selected the start.
負荷情報収集部１２４は、クラスタシステムを構成する仮想サーバ群の負荷情報を通信装置１１４により、仮想サーバ群１０３と仮想化ソフトウェア１０７と通信することで受け取る。 Load information collecting section 124, the communication device 114 the load information of the virtual servers in the cluster system, receiving by communicating with the virtual server group 103 and virtualization software 107. 負荷情報保存／取得部１４１は、負荷情報収集部１２４が収集した負荷情報を記憶装置１１１にデータ１５２として保存するとともに、過去の負荷情報をデータ１５２から取得する。 Load information storage / acquisition unit 141 is configured to store the data 152 in the storage device 111 the load information load information collecting section 124 collects and acquires the past load information from the data 152. 構成変更判断部１２１は、負荷情報保存／取得部１４１で取得した負荷情報からクラスタシステムの構成変更の実行可否や要否を判断する。 Configuration change determination unit 121 determines whether to execute or necessity configuration changes cluster system from the acquired load information in the load information storage / acquisition unit 141.
なお、図１においては、負荷情報収集部１２４と、負荷情報保存／取得部１４１とを分けて説明しているが、これに限定されるものではない。 In FIG. 1, the load information collecting section 124 has been described separately and load information storage / acquisition unit 141, but is not limited thereto. 負荷情報収集部１２４が、クラスタシステムを構成する仮想サーバ群の負荷情報を通信装置１１４により、仮想サーバ群１０３と仮想化ソフトウェア１０７と通信することで受け取り、収集した負荷情報を記憶装置１１１にデータ１５２として保存するとともに、過去の負荷情報をデータ１５２から取得してもよい。 Data load information collecting section 124, the communication device 114 the load information of the virtual servers in the cluster system, receiving by communicating with the virtual server group 103 and virtualization software 107, the collected load information to the storage device 111 with saved as 152, it may obtain the historical load information from the data 152. この場合、構成変更判断部１２１は、負荷情報収集部１２４で取得した負荷情報からクラスタシステムの構成変更の実行可否や要否を判断する。 In this case, the configuration change determination unit 121 determines whether to execute or necessity configuration changes cluster system from the acquired load information in the load information collecting section 124.
構成情報収集部１２５では、仮想サーバ群１０３が物理サーバ群１０２中のどの物理サーバで実行する仮想化ソフトウェア１０７上に割付けられているかの情報と物理サーバが保持する未使用のコンピューティングリソース量を構成情報として通信装置１１４を介して収集する。 In the configuration information collection unit 125, which physical server computing resources of unused or information and physical servers are assigned on the virtualization software 107 holds to run in the virtual server group 103 is the physical servers 102 collected via the communication device 114 as the configuration information.
構成情報保存／取得部１４２では、構成情報収集部１２５が収集した構成情報を記憶装置１１１にデータ１５２として保存するとともに、過去の構成情報をデータ１５２から取得する。 In the configuration information storage / acquisition unit 142, as well as stored as data 152 in the configuration information by the configuration information collection unit 125 collects the storage device 111, and acquires the past configuration information from the data 152.
構成変更対象選択部１２２では、構成変更判断部１２１においてクラスタシステムの構成変更を実行すると判断した場合に、構成情報保存／取得部１４２で取得した情報から片寄せ実行時の仮想サーバ移行回数が削減できるように構成変更の対象となる仮想サーバまたは物理サーバを選択する。 In the configuration change target selecting section 122, reduced when it is determined to execute the configuration change of the cluster system in the configuration change determination unit 121, the virtual server migration count runtime biased from the acquired information in the configuration information storage / acquisition unit 142 the virtual server or physical server as a target of configuration change to be able to select. 構成変更実行部１２３では、構成変更対象選択部１２２で選択した構成変更の対象に対して構成変更を実行する。 In configuration change execution unit 123 executes the configuration change to the object of the selected configuration change in the configuration change target selecting section 122.
物理サーバ電源ＯＦＦ可否判断部１２６では、構成変更の実行の結果、物理サーバ群１０２内の物理サーバに対して電源を切断できるか判断する。 In the physical server power OFF determination section 126, the result of the execution of the configuration change, it is determined whether the main disconnecting the physical servers of the physical servers 102. 物理サーバ電源ＯＦＦ実行部１２７では、物理サーバ電源ＯＦＦ可否判断部１２６において物理サーバの電源が切断できると判断した場合に物理サーバの電源切断を実行する。 In the physical server power OFF execution unit 127 executes the power-off of the physical server if the power of the physical server determines that it can cut in the physical server power OFF determination section 126. 物理サーバ電源ＯＮ実行部１２８では、構成変更実行時に物理サーバの電源を投入する必要がある場合に電源を投入する。 In the physical server power ON execution unit 128, to power when there is a need to turn on the physical server when configuration changes performed.
構成変更判断部１２１は、スケールインの可否を判断するスケールイン判断部１３１と、スケールアウトの必要性を判断するスケールアウト判断部１３４を有する。 Configuration change determination unit 121 includes a scale-in determining unit 131 for determining whether it is possible to scale in the scale-out determination section 134 for determining the need for scale-out. 構成変更対象選択部１２２は、スケールイン実行後に停止対象とする仮想サーバを選択するスケールイン対象仮想サーバ選択部１３２と、スケールアウト実行前に仮想サーバを稼働させる物理サーバを選択するスケールアウト対象物理サーバ選択部１３５を有する。 Configuration change target selecting section 122 includes a scale in the target virtual server selecting part 132 for selecting a virtual server to be stopped after execution Scale In, scale-out target physical selecting a physical server to run the virtual server before execution scale-out with a server selection unit 135. 構成変更実行部１２３は、クラスタシステムのスケールインを実行した後にスケールイン対象仮想サーバ選択部１３２で選択した仮想サーバを停止するスケールイン実行部１３３と、スケールアウト対象物理サーバ選択部１３５で選択した物理サーバ上で仮想サーバを稼働させ、スケールアウトを実行するスケールアウト実行部１３６を有する。 Configuration change execution unit 123 includes a scale-in execution unit 133 to stop the virtual server selected scale in the target virtual server selecting part 132 after performing the scale in a cluster system, and selected scale-out target physical server selecting part 135 the virtual server is running on the physical servers, with a scale-out execution unit 136 for executing the scale-out.
サーバ管理装置１０１は、管理する複数のクラスタシステムに対して、スケールイン実行後に停止対象とする仮想サーバ、スケールアウト実行前に仮想サーバを新たに稼働させる物理サーバを選択する。 Server management apparatus 101, for a plurality of cluster system for managing a virtual server to be stopped after execution Scale In, selects the physical server to newly operate the virtual server before execution scale out. この時、仮想サーバの起動／停止、移行による片寄せといった構成変更にかかる消費電力や時間をも削減する手段について図２２を用いて概要を説明する。 In this case, start / stop of the virtual server, an outline with reference to Figure 22 the means also reducing such power consumption and time to the configuration change, such biasing by migration.
（本実施形態の概要） (Overview of the present embodiment)
図２２は、サーバ管理装置が行うスケールイン／スケールアウト、片寄せ時のクラスタシステムの構成例を示す図である。 Figure 22 is a scale in / scale-out by the server management device performs a diagram illustrating a configuration example of a cluster system during biasing. ここでは、構成情報表２２１１に示されるように、サーバ管理装置１０１がクラスタシステムＡ（２２２１）、クラスタシステムＢ（２２２２）、クラスタシステムＣ（２２２３）を管理する環境を例として説明する。 Here, as shown in the configuration information table 2211, the server management apparatus 101 cluster system A (2221), cluster system B (2222), an environment that manages the cluster system C (2223) will be described as an example. 図２２において、クラスタシステムを構成する仮想サーバと物理サーバの対応関係と負荷分散器１０４との関係を仮想／物理サーバの構成２２０１で示す。 In FIG. 22 illustrates the relationship correspondence between the virtual and physical servers constituting the cluster system and the load disperser 104 with the virtual / physical server configuration 2201. 負荷分散器１０４は、各クラスタシステムを構成する仮想サーバにクライアントからのリクエストを割振る。 Load distributor 104 allocates the request from the client to the virtual server to configure each cluster system.
図２２において、説明のため仮想／物理サーバの構成２２０１を構成情報表２２１１に示す。 In Figure 22, shown in the configuration information table 2211 the virtual / physical server configuration 2201 for explanation. 構成情報表２２１１では、物理サーバ列にサーバ管理装置１０１が管理する物理サーバ群＃１〜＃３を示す。 In the configuration information table 2211, it indicates the physical servers # 1 to # 3 to the server management unit 101 manages the physical server column. 仮想サーバ群列には、物理サーバ＃１〜＃３上で稼働中の仮想サーバを示す。 The virtual server group column indicates the virtual servers running on the physical servers # 1 to # 3. 例えば、物理サーバ＃１では、クラスタシステムＡを構成する仮想サーバＡ１、クラスタシステムＢを構成する仮想サーバＢ１、クラスタシステムＣを構成する仮想サーバＣ１，Ｃ２が稼働する。 For example, the physical in server # 1, the virtual server A1 in the cluster system A, the virtual server B1 constituting the cluster system B, and virtual servers C1, C2 composing the cluster system C running. サーバ管理装置１０１が管理する複数のクラスタシステムに関して、クラスタシステムＡ（２２２１）は、仮想サーバＡ１，Ａ２，Ａ３により構成される。 For multiple cluster system server management apparatus 101 manages the cluster system A (2221) is constituted by virtual server A1, A2, A3. クラスタシステムＢ（２２２２）は、仮想サーバＢ１，Ｂ２，Ｂ３により構成される。 Cluster System B (2222) is constituted by virtual server B1, B2, B3. クラスタシステムＣ（２２２３）は、仮想サーバＣ１，Ｃ２，Ｃ３により構成される。 Cluster System C (2223) is constituted by virtual server C1, C2, C3. なお、図２２の構成情報表２２１２〜２２１４は、全て構成情報表２２１１と同様の構成情報表である。 Note that the configuration information table 2212 to 2214 in FIG. 22 has the same configuration information table with all the configuration information table 2211.
クラスタシステムＢ（２２２２）に対する負荷が低下し、スケールインが可能となった場合には、仮想サーバＢ１，Ｂ２，Ｂ３の中から仮想サーバを選択し停止する。 Cluster load on the system B (2222) is reduced, when it becomes possible to scale-in stops select the virtual server from the virtual server B1, B2, B3. 本実施形態では、片寄せを行うことも考慮し、片寄せ時に物理サーバ間で移行する仮想サーバ数が少なくなるようにスケールイン実行後に停止対象とする仮想サーバを選択する。 In this embodiment, also consider performing biasing, selects a virtual server to be stopped after the scale in execution so that the number of virtual servers is reduced to migrate between physical servers during biasing. 具体的には、クラスタシステムＢ（２２２２）を構成する仮想サーバＢ１，Ｂ２，Ｂ３の中で仮想サーバＢ３を停止対象とすることで、物理サーバ＃３の電源切断に最も近いとサーバ管理装置１０１が判断する。 Specifically, the virtual server B3 in the virtual server B1, B2, B3 constituting the cluster system B (2222) With stop target, closest to the server management unit to power down the physical server # 3 101 but to judge. そして、スケールインを実行した結果を構成情報表２２１２に示す。 Then, the results of executing the scale-in configuration information table 2212.
また、構成情報表２２１２の状態から片寄せにより仮想サーバＡ３を物理サーバ＃２上で稼働するように移行した結果を構成情報表２２１４に示す。 Also shows the migrated result to run on the physical server # 2 virtual server A3 by biasing the state of the configuration information table 2212 in the configuration information table 2214. 片寄せの結果、物理サーバ＃３で稼働する仮想サーバが存在しなくなったため、物理サーバ＃３の電源を切断し消費電力を削減できる。 Result of biasing, because the virtual servers running on the physical server # 3 is no longer present, it is possible to reduce the power consumption by cutting the power to the physical server # 3.
一方、構成情報表２２１１の状態からクラスタシステムＢ（２２２２）に対する負荷が上昇した場合には、スケールアウトを行う。 On the other hand, when the load from the state of the configuration information table 2211 for the cluster system B (2222) is increased performs scaling out. 本実施形態では、スケールアウト後にスケールイン、片寄せといった構成変更を実施した場合に消費電力ができる限り少なくなるようにスケールアウト先となる物理サーバを選択する。 In this embodiment, to select a physical server as a scale-out destination to be less as possible power consumption when carrying out the configuration change scale-in the scale-out, such biasing. 具体的には、まずクラスタシステムＢ（２２２２）を構成する仮想サーバを新たに立ち上げる未使用のコンピューティングリソースを保持する物理サーバ＃２，＃３を選択する。 Specifically, first physical server # 2 for holding the computing resources of the newly Standing raise unused virtual servers in the cluster system B (2222), selecting a # 3. 次に選択した物理サーバ＃２，＃３のうち、稼働中の仮想サーバ数が最も多い物理サーバ＃２をスケールアウト対象となる仮想サーバとして選択しスケールアウトを実行する。 Physical server # 2 were then selected from among the # 3, choose the physical server # 2 the number of virtual servers with the largest running as a virtual server to which scale-out target executes scale out. その結果を構成情報表２２１３に示す。 The results are shown in the configuration information table 2213.
スケールアウト後にクラスタシステムＡ（２２２１）、クラスタシステムＢ（２２２２）をスケールインした場合には、仮想サーバＡ３，Ｂ３を停止し物理サーバ＃３の電源を切断できる。 Cluster system A after scale-out (2221), cluster system B (2222) when the scale-in the main disconnecting physical servers # 3 and stop the virtual server A3, B3.
従来技術では、スケールイン後に片寄せすることや、スケールアウト後にスケールインや片寄せまでを考慮してスケールインの対象とする仮想サーバ、スケールアウトの対象とする物理サーバを選択していない。 In the prior art, be biased to the scale-ins and, do not select a physical server to the virtual server, scale-out of the subject in consideration of to the scale in and biased after scale-out and targets Scale In. そのため、本実施形態のようなできる限り少ない仮想サーバの移行回数で片寄せを実行し、消費電力を削減することはできていない。 Therefore, running biased in migration times of the virtual server as small as possible as in the present embodiment, it is not possible to reduce power consumption. 以降では図２２を用いて説明した概要を図２〜図６を用いて詳細に説明する。 In the following we will be described in detail with reference to Figures 2-6 summarizes described with reference to FIG. 22.
図２は、サーバ管理装置が実行するスケールイン／スケールアウトの処理の流れを示す図である。 Figure 2 is a diagram showing a process flow of the scale in / scale-out by the server management apparatus executes. 適宜図１を参照する。 We are referring to FIG. 1 as appropriate. サーバ管理装置１０１の動作について、図２に示すフロー図に従って説明する。 The operation of the server management apparatus 101 will be described according to a flowchart shown in FIG. サーバ管理装置１０１は、複数のクラスタシステムに対して次に示す処理を実行する。 Server management apparatus 101 executes the following processing for multiple cluster system. なお、この処理は複数のクラスタシステムに対して順番に実行してもよいし、同時に実行してもよい。 Incidentally, the this processing may be performed in sequence on a plurality of the cluster system, it may be performed simultaneously. また、ここでは複数のクラスタシステムのうちサーバ管理装置１０１が処理を実行しているクラスタシステムを、対象クラスタシステムと記述する。 Further, described herein is a cluster system server management apparatus 101 among the plurality of cluster system is executing processing, the target cluster system.
サーバ管理装置１０１では、対象クラスタシステムを構成する仮想サーバ群１０３の負荷情報を、通信装置１１４を介して負荷情報収集部１２４が収集する（ステップＳ２０１）。 In the server management apparatus 101, the load information of the virtual servers 103 constituting the target cluster system, the load information collecting section 124 via the communication device 114 is collected (step S201). ここでの負荷情報は、仮想サーバと通信して収集してもよいし、各物理サーバで稼働する仮想化ソフトウェア１０７と通信して収集してもよい。 Load information here may be collected by communicating with the virtual server may collect in communication with virtualization software 107 running on each physical server.
負荷情報収集部１２４が収集した負荷情報を負荷情報保存／取得部１４１が記憶装置１１１に格納する（ステップＳ２０２）。 The load information load information collecting section 124 collects the load information storage / acquisition unit 141 stores in the storage unit 111 (step S202). この負荷情報は、コンピューティングリソースとアプリケーションサーバが持つ情報を有する。 The load information includes information held by the computing resources and the application server.
なお、本実施形態でのコンピューティングリソースとは、仮想サーバのＣＰＵ使用率（ＣＰＵ）、メモリ使用率（Ｍｅｍｏｒｙ）、ディスク使用率、ネットワーク帯域使用率である。 Note that the computing resources in the present embodiment, CPU utilization of the virtual server (CPU), memory usage (Memory), disk usage, and network bandwidth utilization. アプリケーションサーバが持つ情報とは、仮想サーバ上で稼働するアプリケーションの処理待ちキュー数（Ｑｕｅｕｅ）、ＤＢとのコネクション数（ＤＢ）、ＦｕｌｌＧＣ（Garbage Collection）の発生頻度（ＦｕｌｌＧＣ）、セッション数（Ｓｅｓｓｉｏｎ）などのクライアントからのリクエストやアプリケーションの実行時間に応じて増減する値である。 The information that the application server has, pending queue of applications running on the virtual server (Queue), the number of connections and DB (DB), Full GC occurrence frequency of (Garbage Collection) (FullGC), number of sessions (Session) is a value increased or decreased according to the execution time of the requests and applications from a client, such as. それぞれの負荷情報には、図６のスケールイン／スケールアウトの判断条件となる閾値表６０１に示すような閾値を事前に設定し記憶装置１１１内のデータ１５２に保持しておく。 Each load information, holds the scale in / scale out of the threshold, as shown in the threshold table 601 as the judgment condition set in advance storage data 152 in 111 of FIG.
図６は、スケールイン判断、スケールアウト判断時の閾値を示す図である。 Figure 6 is a scale-in decision is a diagram showing a threshold value in the scale-out determination. スケールイン／スケールアウトの判断条件となる閾値表６０１は、判断条件列と、閾値とから構成され、判断条件列は判断条件＃１〜＃８から構成されている。 Threshold table 601 serving as a determination condition of the scale in / scale-out is constituted by a determination condition column, a threshold determination condition column is constructed from the decision condition # 1 to # 8. 判断条件＃１には動作種別であるスケール／スケールアウト／片寄（片寄せ）があり、判断条件＃２には条件であるａｎｄ／ｏｒがあり、判断条件＃３〜＃８には各判断条件の項目がある。 There are determined conditions # Scale / scale-out / Katayose the operation type is 1 (biasing), there is and / or the determination condition # 2 is a condition, the determination condition for determining condition # 3 to # 8 there is an item. 具体的には、スケールインの場合には、ａｎｄ条件により、判断条件＃３〜＃８を全て満たせばスケールインを実行することを意味する。 Specifically, in the case of the scale-in, by and conditions, which means that executing the scale-in satisfy all of the determination condition # 3 to # 8. スケールアウトの場合には、ｏｒ条件で判断条件＃３〜＃８を１つでも満たせばスケールアウトを実行することを意味する。 In the case of a scale-out it is meant to perform a scale-out if it meets any one of the determination condition # 3 to # 8 or conditions. なお、図中、「＜＝」は以下を、「＝＝」は等しいことを、「＞＝」は以上を、「＞」はより大きいことを意味する。 In the figure, "<=" is the following, the "==" equal, "> =" means more than ">" means greater.
図２に戻り、スケールイン判断部１３１は、負荷情報保存／取得部１４１が記憶装置１１１から取得した負荷情報を用い、対象クラスタシステムのスケールインが可能か判断する（ステップＳ２０３）。 Returning to FIG. 2, the scale in determination section 131, using the load information load information storage / acquisition unit 141 has acquired from the storage unit 111, the scale in the target cluster system can either be determined (step S203). 具体的には、取得した負荷情報が対象クラスタシステムに予め設定した閾値α以下かを判断する。 Specifically, the obtained load information to determine whether the following threshold α set in advance in the target cluster system. 前記閾値αは、例えば図６のスケールイン／スケールアウト列であり、判断条件＃３〜＃８に記述の値である。 The threshold α is, for example, the scale in / scale-out sequence in FIG. 6, the value of the described determination condition # 3 to # 8. 負荷が閾値α以下であれば（ステップＳ２０３，Ｙｅｓ）、スケールイン可能と判断し、ステップＳ２０４に進む。 If the load is less than the threshold value alpha (Step S203, Yes), it determines that the possible scale in, the process proceeds to step S204. 負荷が閾値α以下でなければ（ステップＳ２０３，Ｎｏ）、スケールイン可能でないと判断し、ステップＳ２１０に進む。 If the load is less than the threshold value alpha (Step S203, No), it is determined that it is not possible Scale In, the process proceeds to step S210.
ステップＳ２０４において、構成情報収集部１２５が、物理サーバと仮想サーバの構成情報と物理サーバが保持する未使用のコンピューティングリソース量を収集する。 In step S204, configuration information collection unit 125, the physical and virtual servers configuration information and physical server collects the computing resources of unused holding. 続いて、収集した構成情報を構成情報保存／取得部１４２が記憶装置１１１に格納する（ステップＳ２０５）。 Subsequently, the collected configuration information configuration information storage / acquisition unit 142 stores in the storage unit 111 (step S205). スケールイン対象仮想サーバ選択部１３２は、収集した構成情報から最適なスケールイン対象の仮想サーバを選択する（ステップＳ２０６）。 Scale In the target virtual server selecting part 132 selects the optimum scale in the subject virtual server from the collected configuration information (step S206). ステップＳ２０６の詳細（図２１参照）は後述する。 Step S206 in detail (see FIG. 21) will be described later.
スケールイン実行部１３３は、クラスタシステムをスケールインし、スケールイン実行後に停止対象とした仮想サーバを停止する（ステップＳ２０７）。 Scale In execution unit 133, a cluster system scales in, it stops the virtual server was stopped subject after execution Scale In (step S207). 具体的なスケールインの手順は後述する。 Procedure specific scale-in will be described later. その後、物理サーバ電源ＯＦＦ可否判断部１２６がスケールインを実行した物理サーバ上に稼働中の仮想サーバが存在するか判定する（ステップＳ２０８）。 Thereafter, the physical server power OFF determination section 126 determines whether the virtual servers running on the physical server that performed the scale in the presence (step S208). 稼働中の仮想サーバが存在すれば（ステップＳ２０８，Ｙｅｓ）、物理サーバの電源ＯＦＦを実行できないと判断し、ステップＳ２１０のスケールアウトの要否判断に進む。 If there is a virtual server running (step S208, Yes), it determines that it can not execute a power OFF of the physical servers, the processing proceeds to necessity determination of the scale-out step S210. 稼働中の仮想サーバが存在しなければ（ステップＳ２０８，Ｎｏ）、物理サーバ電源ＯＦＦ実行部１２７がスケールインを実行した物理サーバの電源をＯＦＦし（ステップＳ２０９）、ステップＳ２１０に進む。 If the virtual server exists in operation (step S208, No), the physical server power OFF execution unit 127 turns OFF the power of the physical servers running the scale in (step S209), the process proceeds to step S210. ここでの物理サーバの電源ＯＦＦは、例えば、ＳＳＨ(Secure SHell)、Ｔｅｌｎｅｔ、Ｗｅｂサービスなどを利用して停止対象物理サーバに停止信号を送信する。 Power OFF physical server in this case, for example, SSH (Secure SHell), Telnet, and transmits a stop signal, such as the stop target physical server using the Web service.
前記したステップＳ２０６における、スケールイン対象仮想サーバ選択部１３２が実行する、スケールイン実行後に停止対象とする仮想サーバの選択についての具体的な手順を、図２１を参照しながら説明する。 In step S206 mentioned above, the scale in the target virtual server selecting part 132 performs, a specific procedure for the selection of the virtual server to be stopped after execution Scale In will be described with reference to FIG. 21.
図２１は、スケールイン対象仮想サーバ選択処理の流れを示す図である。 Figure 21 is a diagram showing the flow of the scale in the target virtual server selection process. まず、スケールインが可能なクラスタシステムを構成する仮想サーバが稼働する物理サーバ群Ｐを抽出する（ステップＳ２１０１）。 First extracts physical servers P the virtual server is running in the cluster system capable Scale In (step S2101). 次に、物理サーバ群Ｐ内の各物理サーバで稼働する仮想サーバ数Ｐ ＮＵＭを取得する。 Next, to obtain the virtual server number P NUM running on each physical server in the physical servers within P. この仮想サーバ数は他のクラスタシステムを構成する仮想サーバも含める（ステップＳ２１０２）。 The number of virtual servers also include virtual servers in the other cluster system (step S2102). 最後に、前記取得した稼働中の仮想サーバ数Ｐ ＮＵＭが最も少ない物理サーバを選択し、前記選択した仮想サーバをスケールイン実行後に停止対象とする仮想サーバとして選択する（ステップＳ２１０３）。 Finally, select the smallest physical server virtual servers number P NUM is in the acquired operation, it selects a virtual server that said selected as the virtual server to be stopped after the execution Scale In (step S2103).
なお、構成情報収集部１２５は、稼働する前記物理サーバの消費電力量を収集し、構成情報保存／取得部１４２は、記憶装置１１１に格納してもよい。 Note that the configuration information collection unit 125 collects the power consumption of the physical servers running, configuration information storage / acquisition unit 142 may store in the storage device 111. このとき、ステップＳ２０６において、スケールイン対象の仮想サーバを選択するときに、構成変更対象選択部１２２のスケールイン対象仮想サーバ選択部１３２は、さらに、スケールインのときに停止対象とする仮想サーバが稼働する物理サーバの消費電力量を構成情報から取得し、取得した消費電力量が多い方の物理サーバ上で稼働する仮想サーバをスケールインのときに停止対象とする仮想サーバと判断してもよい。 At this time, in step S206, when selecting a virtual server of the scale in the object, Scale In the target virtual server selecting part 132 of the configuration change target selecting section 122 further virtual servers to be stopped when the scale in get the power consumption of the physical server that runs from the configuration information, it may be determined that the virtual server to be stopped virtual server when the scale-in running on the physical server it is often consumed power amount acquired .
図３は、スケールインの実行シーケンスを示す図である。 Figure 3 is a diagram illustrating the execution sequence of the scale in. スケールインの具体的な手順を図３のシーケンス図を参照しながら説明する。 Specific procedures of the scale in be described with reference to the sequence diagram of FIG. まず、負荷分散器１０４に対して停止対象（スケールイン対象）の仮想サーバ３０１に対する閉塞要求を行い（ステップＳ３１１）、負荷分散器１０４では停止対象の仮想サーバへのリクエスト割振りを停止する（ステップＳ３１２）。 First, the closure request to the virtual server 301 of the stop target (scale in interest) to the load disperser 104 (step S311), the load disperser 104 to stop request allocation to the virtual server outage (step S312 ). 負荷分散器１０４は、サーバ管理装置１０１に閉塞処理の完了を通知する（ステップＳ３１３）。 Load distributor 104 notifies the completion of the blocking processing to the server management unit 101 (step S313). 閉塞処理完了通知を受け取ったサーバ管理装置１０１は、停止対象の仮想サーバ３０１に停止要求を送り（ステップＳ３１４）、停止対象の仮想サーバ３０１で停止処理を実行する（ステップＳ３１５）。 Server management apparatus 101 which has received the closing processing completion notification, sends a stop request to the virtual server 301 of the stop (step S314), executes the stop processing by the virtual server 301 of the stop (step S315). 最後に、サーバ管理装置１０１は、停止完了通知を受け取る（ステップＳ３１６）。 Finally, the server management apparatus 101 receives a stop completion notification (step S316). なお、サーバ管理装置１０１は、停止対象とした仮想サーバを停止する前に、ステップＳ３１２において停止対象の仮想サーバへのリクエスト割振りを停止したのち、ステップＳ３１５においてクラスタシステムから削除するのがよい。 The server management apparatus 101, before stopping the virtual server and be stopped, after stopping the request allocation to the virtual server outage target in step S312, the better to remove from the cluster system in step S315.
図２に戻り、スケールアウト判断部１３４では、負荷情報保存／取得部１４１が記憶装置１１１から負荷情報を収集し、対象クラスタシステムのスケールアウトが必要か判断する（ステップＳ２１０）。 Returning to FIG. 2, the scale-out determination section 134, load information storage / acquisition unit 141 collects load information from the storage device 111, scale-out of the target cluster system determines whether necessary (step S210). スケールアウトが不必要ならば（ステップＳ２１０，Ｎｏ）、ステップＳ２１７に進む。 If scale out unnecessarily (step S210, No), the process proceeds to step S217. スケールアウトが必要ならば（ステップＳ２１０，Ｙｅｓ）、構成情報収集部１２５が物理サーバと仮想サーバの構成情報と物理サーバが保持する未使用のコンピューティングリソース量を収集する（ステップＳ２１１）。 If necessary scaling out (step S210, Yes), the configuration information collection unit 125 collects the computing resources of unused physical servers and virtual server configuration information and physical server holds (step S211). 収集した構成情報は、構成情報保存／取得部１４２が記憶装置１１１に格納する（ステップＳ２１２）。 Collected configuration information, the configuration information storage / acquisition unit 142 are stored in the storage device 111 (step S212).
スケールアウト対象物理サーバ選択部１３５は、収集した構成情報から最適なスケールアウト対象の物理サーバを選択する（ステップＳ２１３）。 Scale-out target physical server selecting part 135 selects the optimum scale-out target physical server from the collected configuration information (step S213). 具体的には、まず、対象クラスタシステムがスケールアウトするのに必要な物理リソース量βを取得する。 Specifically, first, the target cluster system acquires the β physical resource required to scale out. この物理リソース量βは事前に設定しておいてもよい。 This physical resource amount β is may be set in advance. 次に、サーバ管理装置１０１が管理する物理サーバ群１０２のうち未使用のコンピューティングリソース量をβ以上持つ物理サーバ群Ｐを抽出する。 Then, to extract the physical servers P with more computing resources of unused among physical servers 102 by the server management apparatus 101 manages beta. なお抽出する物理サーバ群Ｐに停止中の物理サーバを含んでもよい。 Note that the physical server group P may include a physical server stopped to be extracted. 停止中の物理サーバの構成情報は過去に保存した構成情報を記憶装置１１１から取得する。 Configuration information of the physical server stopped obtains the configuration information stored in the past from the storage device 111. 最後に、物理サーバ群Ｐの中で稼働中の仮想サーバ数が最も多い物理サーバをスケールアウト対象の物理サーバとして選択する。 Finally, the number of virtual servers running in the physical servers P selects the largest physical server as a physical server scale-out target. ここまでの処理の結果、スケールアウト対象の物理サーバが存在しない場合は、スケールアウトするためのコンピューティングリソースが不足していると判断しサーバ管理者にリソース不足を通知した後に処理を終了してもよい。 Result of processing up to this point, if the scale-out target physical server is not present, judges that the computing resources for scaling out is insufficient to terminate the processing after the notification of the resource shortage in the server administrator it may be.
スケールアウト実行部１３６は、スケールアウト先の物理サーバの電源がＯＮか確認する（ステップＳ２１４）。 Scale out execution unit 136, the power of the physical servers scale-out destination to verify ON (step S214). スケールアウト先の物理サーバの電源がＯＦＦならば（ステップＳ２１４，Ｎｏ）、物理サーバ電源ＯＮ実行部１２８がスケールアウト対象物理サーバの電源を投入し（ステップＳ２１５）、ステップＳ２１６に進む。 If the power of the physical servers scale-out destination is OFF (step S214, No), the physical server power ON execution unit 128 on the power of the scale-out target physical server (step S215), the process proceeds to step S216. ここでの物理サーバの電源投入は、例えば、「Wake up on Lan」技術を利用し通信装置１１４を介して起動物理サーバのＮＩＣ（Network Interface Card）に起動要求を送信する。 Here power on the physical server in, for example, transmits an activation request to "Wake Stay up-on Lan" technique utilizing via the communication device 114 to start physical server NIC (Network Interface Card). スケールアウト先の物理サーバの電源がＯＮならば（ステップＳ２１４，Ｙｅｓ）、ステップＳ２１６に進む。 If the power of the physical servers scale-out destination is ON (step S214, Yes), the process proceeds to step S216.
スケールアウト実行部１３６は、選択した物理サーバに対してスケールアウトを実行する（ステップＳ２１６）。 Scale out execution unit 136 executes a scale-out to the physical server selected (step S216). スケールアウト実行後は、サーバ管理装置１０１が管理する複数のクラスタシステムに対してステップＳ２０１〜ステップＳ２１６の処理が完了しているか確認する（ステップＳ２１７）。 After executing the scale-out, the server management apparatus 101 confirms whether the processing in step S201~ step S216 for a plurality of clusters systems management is completed (step S217). 完了していれば（ステップＳ２１７，Ｙｅｓ）、処理を終了する。 If completed (step S217, Yes), the process ends. 完了していなければ（ステップＳ２１７，Ｎｏ）、スケールイン／スケールアウトの判断を行う対象となるクラスタシステムを変更し、ステップＳ２０１を再び実行する。 If it is not completed (step S217, No), change the cluster system of interest for the scale in / scale-out determination again executes step S201.
図４は、スケールアウトの実行シーケンスを示す図である。 Figure 4 is a diagram illustrating the execution sequence of the scale-out. スケールアウト実行の処理の流れを図４のシーケンス図を参照しながら説明する。 The processing flow of the scale-out execution will be described with reference to the sequence diagram of FIG. スケールアウト対象の物理サーバ４０１の電源がＯＦＦならサーバ管理装置１０１がスケールアウト対象の物理サーバ４０１の電源をＯＮにして起動する（ステップＳ４１１〜ステップＳ４１３）。 Power scale-out target physical server 401 is the server management apparatus 101 if OFF starts to turn ON the power of the scale-out target physical server 401 (step S411~ step S413). スケールアウト対象の物理サーバ４０１の電源がＯＮならば、スケールアウト対象の物理サーバ４０１上にスケールアウト対象の仮想サーバ４０２の起動要求を送信する（ステップＳ４１４）。 If the power is ON scale-out target physical server 401 transmits an activation request for scale-out subject virtual server 402 on the physical server 401 of the scale-out (step S414). スケールアウト対象の物理サーバ４０１は、スケールアウト対象の仮想サーバ４０２を起動した（ステップＳ４１５，ステップＳ４１６）後に、サーバ管理装置１０１に起動完了通知を行う（ステップＳ４１７）。 Physical server 401 of the scale-out subject started the virtual server 402 of the scale-out (step S415, step S416) after, performs the startup completion notification to the server management unit 101 (step S417). 起動完了通知を受け取ったサーバ管理装置１０１は、負荷分散器１０４にリクエスト割振り開始要求を送信し（ステップＳ４１８）、新たに起動した仮想サーバにリクエスト割振りを開始する（ステップＳ４１９）。 Server management apparatus 101 which has received the activation completion notification, the load disperser 104 sends a request allocation start request (step S418), starts a request allocation to the virtual server newly started (step S419). 最後に、サーバ管理装置１０１はリクエスト割振り開始通知を負荷分散器１０４から受け取る（ステップＳ４２０）。 Finally, the server management apparatus 101 receives the request allocation start notification from the load disperser 104 (step S420). すなわち、スケールアウト実行において、サーバ管理装置１０１は、起動した仮想サーバをクラスタシステムに追加し、リクエストの割振りを開始する。 That is, in scale-out execution, the server management apparatus 101 adds a virtual server started in a cluster system, initiates the allocation request.
以上のように、本実施形態では、スケールイン対象を稼働中の仮想サーバ数が少ない物理サーバから選択すると、稼働中の仮想サーバ数が減少する物理サーバを特定の物理サーバに集中することができる。 As described above, in this embodiment, by selecting from the physical server virtual number of servers is small running scale in subject, you can concentrate the physical server virtual number of servers is reduced running a specific physical servers . その結果、物理サーバ間で稼働中の仮想サーバ数の偏りができ、従来方式に比べ少ない仮想サーバの回数で片寄せを実現することができる。 As a result, physical between servers can bias the virtual number of servers in operation, it is possible to realize the biased by the number of times of the virtual servers less than the conventional method.
さらに、スケールアウト対象を稼働中の仮想サーバ数の多い物理サーバから選択することで、特定の物理サーバ上に仮想サーバを集約することができる。 Further, by selecting from more physical servers with virtual servers number of running the scale-out target can aggregate virtual servers on a particular physical server. その結果、仮想サーバ数の少ない物理サーバは仮想サーバ数が少ない状態を維持でき、前記のスケールインによる物理サーバの電源切断が、仮想サーバの移行なし、または従来方式に比べて少ない回数で実現することができる。 As a result, fewer physical servers with the number of virtual servers can maintain the state number of virtual servers is small, power-off of the physical servers through the scale-in is no migration of the virtual server, or realized with a small number compared to the conventional method be able to.
図５は、物理サーバ上の仮想サーバ数によりスケールイン／スケールアウト対象を制御した場合の効果例を示す図である。 Figure 5 is a diagram showing an effect example of the case of controlling the scale in / scale-out object by the number of virtual servers on the physical server. 図５（ａ）は、スケールインのみした場合であり、図５（ｂ）は、スケールアウトしたのちスケールインをした場合である。 Figure 5 (a) is a case where only scale in FIG. 5 (b) is a case where the scale in After scaling out. 図５に示す構成情報表５０１，５２１，５１２、５３１〜５３３，５４１〜５４３は、図２２の構成情報表２２１１と同様に、物理サーバと仮想サーバの構成情報を示す。 Configuration information table 501,521,512,531～533,541～543 shown in FIG. 5, like the configuration information table 2211 in FIG. 22 shows the configuration information of the physical and virtual servers. なお、構成情報表５１１，５３１〜５３３は、本実施形態に係る構成情報表であり、構成情報表５２１，５４１〜５４３は、比較例の構成情報表である。 Note that the configuration information table 511,531～533 is configuration information table according to the present embodiment, the configuration information table 521,541～543 is a configuration information table of the comparative example.
図５（ａ）に示す構成情報表５０１の状態から本実施形態でのクラスタシステムＢのスケールインを実行すると構成情報表５１１の状態となる。 5 and executes a scale-in cluster system B in this embodiment from the state of the configuration information table 501 shown in (a) the state of the configuration information table 511. 本実施形態では、スケールイン対象を稼働中の仮想サーバ数が少ない物理サーバである物理サーバ＃３が選択されているからである。 In the present embodiment, since the physical server # 3 is selected as a physical server virtual number of servers is small running scale in target. この場合、片寄せを実行するには＃３の１台の仮想サーバＡ３を物理サーバ＃２に移行すればよいことになる（移行回数は１）。 In this case, the physical servers # it is sufficient to shift to 2 one virtual server A3 of # 3 to perform a biasing (number migrate 1).
一方、本実施形態を適用しなかった場合（比較例の場合）には、構成情報表５２１の状態となる場合がある。 On the other hand, if no application of the present embodiment (for Comparative Example) may become the state of the configuration information table 521. この場合、片寄せを実行するには、物理サーバ＃３の２台の仮想サーバＡ３，Ｂ３を、物理サーバ＃２に移行する必要がある（移行回数は２）。 In this case, to perform the biasing is a physical server # virtual server A3, B3 of the two 3, physical server # 2 need to migrate to the (number of migration 2). この例では、本実施形態を適用することで、仮想サーバの移行回数を２から１に削減できる。 In this example, by applying the present embodiment can reduce the transition times of the virtual server from 2 to 1. なお、クラスタシステムの負荷変動は絶えず発生しており、この片寄せが一日で複数回発生する。 It should be noted that the load fluctuation of the cluster system is constantly generated, this biasing occurs more than once in one day.
次に、クラスタシステムＢの仮想サーバを追加するスケールアウトに関しても本実施形態の効果例を示す。 Then, also shows the effect of the present embodiment with respect to scale out to add a virtual server cluster system B. 図５（ｂ）に示す構成情報表５０１の状態から本実施形態のスケールアウトを実行した結果が構成情報表５３１である。 FIG 5 (b) the result of executing the scale-out of this embodiment from the state of the configuration information table 501 shown is the configuration information table 531. 本実施形態では、スケールアウト対象を、仮想サーバが配置でき、かつ、稼働中の仮想サーバ数の多い物理サーバである物理サーバ＃２が選択されているからである。 In the present embodiment, the scale-out target, the virtual server can be placed, and, because the physical server # 2 is selected as a physical server busy virtual server number in operation. スケールアウトの対象は物理サーバ＃２の仮想サーバＢ４である。 Scale-out of the subject is a virtual server B4 of the physical server # 2. その後、クラスタシステムＢの負荷が低下し、本実施形態の方式でスケールインを実行した結果が構成情報表５３２である。 Thereafter, the load of the cluster system B is reduced, the result of executing the scale-in method of the present embodiment is in the configuration information table 532. 本実施形態では、スケールイン対象を稼働中の仮想サーバ数が少ない物理サーバである物理サーバ＃３が選択されているからである。 In the present embodiment, since the physical server # 3 is selected as a physical server virtual number of servers is small running scale in target. スケールインの対象は物理サーバ＃３の仮想サーバＢ３である。 Scale-in of the subject is a virtual server B3 of the physical server # 3. さらに、クラスタシステムＡの負荷が低下し、本実施形態の方式でスケールインを実行した結果が構成情報表５３３である。 Moreover, the load of the cluster system A is reduced, the result of executing the scale-in method of the present embodiment is in the configuration information table 533. 本実施形態では、本実施形態では、スケールイン対象を稼働中の仮想サーバ数が少ない物理サーバである物理サーバ＃３が選択されているからである。 In the present embodiment, in the present embodiment, since the physical server # 3 is selected as a physical server virtual number of servers is small running scale in target. スケールインの対象は物理サーバ＃３の仮想サーバＡ３である。 Scale-in of the subject is a virtual server A3 of the physical server # 3. 構成情報表５３３では、片寄せを実行しなくとも（移行回数は０）、物理サーバ＃３の電源を切断できる状態となる。 In the configuration information table 533, without running biased (number migration 0), a state in which the main disconnecting the physical server # 3.
本実施形態を適用しなかった場合（比較例の場合）には、構成情報表５４１の状態となる場合がある。 If you did not apply the present embodiment (for Comparative Example) may become the state of the configuration information table 541. スケールアウトの対象は、物理サーバ＃３の仮想サーバＢ４である。 Scale-out of the target is a virtual server B4 physical server # 3. その後、クラスタシステムＢの負荷が低下し、スケールインを実行した結果が構成情報表５４２である。 Thereafter, the load of the cluster system B is reduced, the result of executing the scale-in is configuration information table 542. スケールインの対象は物理サーバ＃１の仮想サーバＢ１である。 Scale-in of the subject is a virtual server B1 of the physical server # 1. さらに、クラスタシステムＡの負荷が低下し、スケールインを実行した結果が構成情報表５４３である。 Moreover, the load of the cluster system A is reduced, the result of executing the scale-in is configuration information table 543. スケールインの対象は物理サーバ＃３の仮想サーバＡ３である。 Scale-in of the subject is a virtual server A3 of the physical server # 3. 構成情報表５４３の状態から物理サーバ＃３の電源を切断するには、物理サーバ＃３の仮想サーバＢ３を物理サーバ＃１に移行するとともに、物理サーバ＃３の仮想サーバＢ４を物理サーバ＃２に移行する必要がある。 To power down the physical server # 3 from the status of the configuration information table 543, the physical server # with migrating a virtual server B3 to the physical servers # 1 of 3, the physical server # physical server # 2 virtual servers B4 3 there is a need to move to. よって、移行回数は２となる。 Thus, the transition number is 2. この例では、本実施形態を適用することで、仮想サーバの移行回数を２から０に削減できる。 In this example, by applying the present embodiment can reduce the transition times of the virtual server from 2 to 0.
以上の２例のように本実施形態によれば、スケールイン対象を稼働中の仮想サーバ数が少ない物理サーバから選択するスケールイン／スケールアウト対象を稼働中の仮想サーバ数の多い物理サーバから選択するスケールアウトを実行することで、仮想サーバの移行回数を低減することができる。 According to the second example embodiment as described above, selected from the scale in / scale-out physical server busy virtual server numbers running the target to select the scale in the object from the physical server virtual number of servers is less running by executing the scale-out of, it is possible to reduce the transition times of the virtual server.
<<実施形態２>> << Embodiment 2 >>
実施形態２は、実施形態１のサーバ管理装置１０１において、スケールアウト判断時に複数のクラスタシステムの負荷変動類似度を活用してスケールアウト対象の物理サーバを選択する手段を加えたものである。 Embodiment 2 is the server management apparatus 101 of Embodiment 1 is obtained by adding a means for selecting a physical server scale-out object by utilizing the load fluctuation similarity multiple cluster system during scale-out determination. ここでの負荷変動類似度とは、クラスタシステムを構成する仮想サーバ数が増減する期間と一定である期間、さらにその時の仮想サーバ数の増減率が一致する度合いである。 Here, the load variation similarity is the period number of virtual servers is constant with time increasing or decreasing in the cluster system, a degree of virtual servers increase or decrease in the number of rate matching that time further. 負荷変動類似度が一致するクラスタシステムでは、クラスタシステムを構成する仮想サーバ数が同時に少ない、または多い状態に移行する。 In a cluster system load variations similarity match, the number of virtual servers in the cluster system enters at the same time small, or large. この負荷変動類似度を導出するためには、クラスタシステムを構成する仮想サーバ数が一定である期間と、その期間での仮想サーバ数の情報をクラスタシステムから取得する。 This load change to derive a similarity, and duration is the number of virtual servers is constant in the cluster system, and acquires the virtual server number of information at that time from the cluster system. 前記取得した情報から、仮想サーバ数が一定である期間以外は、仮想サーバが増減している期間だとわかる。 From the acquired information, except the period the number of virtual servers is constant, seen that it period virtual server is increased or decreased. さらに、前記仮想サーバが増減している期間の前後で、仮想サーバ数が一定である期間での仮想サーバ数の差分を増減率と計算できる。 Further, before and after the period in which the virtual server is increased or decreased, it can calculate the difference of the number of virtual servers in the period the number of virtual servers is constant increase and decrease rate.
スケールアウト対象物理サーバ選択部１３５は、負荷変動類似度の高いクラスタシステムを構成する仮想サーバが同一物理サーバに集約するようにクラスタシステムのスケールアウト先となる物理サーバを選択する。 Scale-out target physical server selecting part 135 selects the physical server virtual server is scale-out destination of the cluster system to aggregate the same physical server constituting a high load fluctuation similarity cluster system. その結果、負荷変動類似度の高いクラスタシステムを構成する仮想サーバが同一物理サーバ上に存在することとなり、同一物理サーバ上に存在する複数のクラスタシステムでスケールインが同時期に起こり、同一物理サーバ上の仮想サーバを停止できる機会が増加する。 As a result, it becomes possible to virtual servers in the high load fluctuation similarity cluster system are on the same physical server, occur is same time scale in with multiple cluster system are on the same physical server, the same physical server opportunity to stop the virtual server of the above increases. つまり、スケールイン実行後の仮想サーバの停止による仮想サーバ数の減少が同一物理サーバに集中しやすくなる。 That is, reduction in the number of virtual servers by stopping the virtual server after executing the scale-in is likely to concentrate on the same physical server. 従って、負荷変動類似度の高いクラスタシステムを複数の物理サーバで分散させ、仮想サーバ数の減少を物理サーバ間で分散させる場合に比べて、物理サーバの電源切断をより速く達成できる。 Therefore, a high cluster system load fluctuation similarity is dispersed in a plurality of physical servers, as compared with the case of dispersing one physical server to decrease the number of virtual servers can be achieved faster power down of the physical servers. このように、負荷変動類似度を活用することで、片寄せによる物理サーバの電源切断を仮想サーバの移行なしに実現できる機会をさらに増加させることができる。 Thus, by utilizing the load fluctuation similarity, it is possible to further increase the chance of a power disconnection of the physical server can be realized without virtual server migration biased.
図７は、実施形態２に係るクラスタシステムを示す図である。 Figure 7 is a diagram showing a cluster system according to the second embodiment. 図７に示すようにサーバ管理装置１０１の記憶装置１１１に、負荷変動類似度計算部７０１のプログラムを実施形態１のサーバ管理装置１０１に追加する。 The storage device 111 of the server management apparatus 101, as shown in FIG. 7, to add the program load fluctuation similarity calculation unit 701 in the server management apparatus 101 of Embodiment 1. 負荷変動類似度計算部７０１では、負荷情報保存／取得部１４１が記憶装置１１１から取得した過去の負荷情報から複数のクラスタシステムの負荷変動類似度を計算し、その結果をスケールアウト対象物理サーバ選択部１３５で利用する。 In load fluctuation similarity calculator 701, a load fluctuation similarity multiple cluster system from past load information load information storage / acquisition unit 141 has acquired from the storage unit 111 calculates the scale-out target physical server selection results to use in parts 135. スケールアウト対象物理サーバ選択部１３５では、負荷変動類似度の高いクラスタシステムが同一物理サーバに集約するようにスケールアウト先を選択する。 In scale-out target physical server selecting part 135, a high cluster system load fluctuation similarity selects a scale-out destination to aggregate in the same physical server. 負荷変動類似度計算部７０１で行う処理の具体例を図８のフロー図を参照して説明する。 The specific example of the processing performed by the load fluctuation similarity calculation unit 701 with reference to the flow diagram of FIG. 8 will be described.
図８は、クラスタシステムの負荷類似度計算処理の流れを示す図である。 Figure 8 is a diagram showing the flow of load similarity calculation processing cluster system. クラスタシステムＫとクラスタシステムＬとし、毎日、毎週、毎月の特定の時刻ｔにおけるクラスタシステムＫ、クラスタシステムＬにおいて稼働中であった仮想サーバ数の平均値をＳ Ｋ （ｔ）、Ｓ Ｌ （ｔ）とする。 The cluster system K and cluster system L, every day, every week, a cluster system K in each month of a particular time t, cluster system the average value of the number of virtual server was up and running in L S K (t), S L (t ) to. 図８において、負荷変動類似度計算部７０１は、抽出作業を実行する時期と同じ時期の負荷情報から負荷変動の類似度を抽出する。 8, load fluctuation similarity calculator 701 extracts the similarity load change from the load information of the same time as the time to perform the extraction procedure. ここでの時期とは、曜日、月、及び特定日であり、例えば、負荷変動類似度計算部７０１は、毎週金曜日の特定の時刻tにおいて稼働中であった仮想サーバ数の平均値を、金曜日における負荷変動の類似度を抽出するのに利用する。 Here timing between the day of the week, a month, and a specific day, for example, load fluctuation similarity calculator 701, an average value of the number of virtual servers were running at a particular time t every Friday, Friday It utilized to extract the similarity of the load variations in the. また、負荷情報を取得する曜日、月、及び特定日は単独または組合せでもよい。 Also, the day of acquiring load information, moon, and specific date may be alone or in combination.
任意の時刻ｔ １から任意の時刻ｔ ２までの過去に稼働中であった仮想サーバ数の平均値の差分をＤiff（Ｓ Ｋ ，Ｓ Ｌ ）とし、全クラスタシステムに対して計算する（ステップＳ８０１）。 The difference between the average value of the number of virtual servers which was in operation in the past from the arbitrary time t 1 to an arbitrary time t 2 Diff (S K, S L) and is calculated with respect to the total cluster system (step S801 ). このＤiff（Ｓ Ｋ ，Ｓ Ｌ ）の計算には例えば、積分を用いて次のように計算する。 The Diff (S K, S L) to compute the example, be calculated as follows by using the integral.
Ｄiff（Ｓ Ｋ ，Ｓ Ｌ )＝∫［Ｓ Ｋ (ｔ)−Ｓ Ｌ (ｔ)］ｄｔ（ｔ：ｔ １ →ｔ ２ ） Diff (S K, S L) = ∫ [S K (t) -S L (t)] dt (t: t 1 → t 2)
前記Ｄiff（Ｓ Ｋ ，Ｓ Ｌ ）を導出するために、より近い過去の結果の影響をより強く受けるように所定時間（例えば、現在の時刻ｔ ２より一定時間前のｔ ０からｔ ２まで）の過去に稼働中であった仮想サーバ数に重み付けを行い導出してもよい。 The Diff (S K, S L) to derive a more recent past results of impact stronger receives as the predetermined time (e.g., from a certain time before t 0 to t 2 the current time t 2) of it may be derived performs weighting to the number of virtual server was running in the past. また、現在の時刻ｔ ２より一定時間前のｔ ０からｔ ２までの稼働中であった仮想サーバ数の差分としてもよい。 In addition, it may be the difference between the number of virtual server was up and running from the t 0 before a certain period of time than the current time t 2 to t 2. 全クラスタシステムに対して計算したＤiffの最大値をＤiff maxとし、類似度を例えば次のように計算する（ステップＳ８０２）。 The maximum value of Diff calculated for all cluster system as Diff max, the degree of similarity is calculated, for example, as follows (step S802).
Ｓim（Ｓ Ｋ ，Ｓ Ｌ )＝（Ｄiff max−Ｄiff(Ｓ Ｋ ，Ｓ Ｌ )）／Ｄiff max Sim (S K, S L) = (Diff max-Diff (S K, S L)) / Diff max
前記Ｓim（Ｓ Ｋ ，Ｓ Ｌ ）を導出するために、稼働中であった仮想サーバ数が多い期間より少ない期間がより長く一致するクラスタシステム同士の類似度が高くなるように重みづけを行ってもよいし、Ｄiff（Ｓ Ｋ ，Ｓ Ｌ ）を大きい順に並べその番号を類似度として導出してもよい。 The Sim (S K, S L) to derive a by performing weighting as the similarity of the cluster between systems increases fewer periods than the period number of virtual servers often was in operation coincides longer may be, Diff (S K, S L ) may derive the number arranged in descending order as the similarity. また、時刻ｔ １ →ｔ ２の間で Ｓ Ｋ (ｔ)−Ｓ Ｌ (ｔ）が０となる時刻の総和を、Ｔ ＫＬ （ｔ １ →ｔ ２ ）として算出し、Ｔ ＫＬ （ｔ １ →ｔ ２ ）をクラスタシステムＫとＬの類似度としてもよい。 Further, the sum of S K (t) time -S L (t) becomes 0 between times t 1 → t 2, calculated as T KL (t 1 → t 2 ), T KL (t 1 → t 2) may be used as the similarity of the cluster system K and L.
以上のようにして導出した負荷類似度をスケールアウト対象の物理サーバを選択する場合に利用する。 Utilized when selecting a physical server load similarity scale-out object derived as described above. 例えば、各物理サーバＰ ＮでクラスタシステムＬを構成する仮想サーバ数をＳ ＬＮとして、クラスタシステムＫに対する類似クラスタシステム集約度Ｉ Ｎを次のように計算する（ステップＳ８０３）。 For example, the number of virtual servers in the cluster system L in each physical server P N as S LN, calculates the similarity cluster system intensity I N for a cluster system K as follows (step S803).
Ｉ Ｎ ＝ΣＳｉｍ（Ｓ Ｋ ，Ｓ Ｌ ）×Ｓ ＬＮ I N = ΣSim (S K, S L) × S LN
この類似クラスタシステム集約度Ｉ Ｎの高い物理サーバをスケールアウト対象として選択する（ステップＳ８０４）。 The high physical servers of this similarity cluster system intensity I N is selected as scale-out (step S804). また、類似クラスタシステム集約度Ｉ Ｎが同一の物理サーバが複数存在した場合には、構成情報収集部１２５が物理サーバ群１０２の各物理サーバの消費電力を収集しておき、前記収集した消費電力の少ない物理サーバをスケールアウト対象としてもよい。 Further, when the similar cluster system intensity I N is the same physical server and plurality of the configuration information collection unit 125 is advance collect the power consumption of each physical server physical server group 102, power consumption by the collected fewer physical servers with may be used as the scale-out object.
以上により、負荷変動が類似したクラスタシステムが同じ物理サーバに集約されるため、クラスタシステムの負荷が低下しスケールインを実行する場合には同一物理サーバ上の仮想サーバが停止対象となる。 Thus, since the cluster system load change similar are integrated into the same physical server, the virtual server on the same physical server in a stopped object when the load of the cluster system performs the scale in reduced. 特定の物理サーバで集中して仮想サーバが停止するため、物理サーバの電源切断の機会が増加する。 Since the virtual server concentrated on a specific physical server stops, opportunities power down the physical server increases.
本実施形態では、負荷変動の類似度を算出するときには各種方法を適用することができる。 In the present embodiment can be applied to various ways when calculating the similarity of load variations. 負荷変動類似度計算部７０１は、過去の負荷変動のデータとそのときの稼働仮想サーバ数をクラスタシステム毎に取得し、前記クラスタシステムの稼働中の仮想サーバ数が一致する期間がより長いクラスタシステム同士を、類似度の高いクラスタシステムと判定することができる。 Load fluctuation similarity calculation unit 701 obtains the number of operating virtual server at that time and historical data for load variations for each cluster system, the cluster system longer cluster system period the number of virtual servers match running of to each other, it can be determined that the high similarity cluster system.
負荷変動類似度計算部７０１は、特定期間、例えば１時間ごとに負荷の状態を取得し、終了時刻の負荷と開始時刻の負荷の差分を取り、正なら上昇傾向、負なら下降傾向と判断する。 Load fluctuation similarity calculation unit 701, a specific time period, acquires the state of the load for example every hour, taking the difference of the load of the load and start time of the end time, if positive upward trend, it is determined that the negative if a downward trend . 上昇傾向である時間が一致するクラスタシステム同士、下降傾向である時間が一致するクラスタシステム同士を負荷類似度が高いと判定することができる。 Cluster system between a rising a tendency time matched, the cluster system between the time a downward trend match may be determined to be high load similarity.
負荷変動類似度計算部７０１は、クラスタシステムごとに設定した負荷の最大値に対して何割の負荷で稼働しているかをクラスタシステムの負荷率として取得する。 Load fluctuation similarity calculation unit 701 obtains or running certain percentage of load to the maximum load specified for each cluster system as the load factor of the cluster system. 時刻に対する負荷率の変化が似通ったクラスタシステム同士を負荷類似度が高いと判定することができる。 The cluster system between the change in load factor was similar for time may be determined to be high load similarity. ここで、負荷の最大値は過去の負荷状態から取得してもよいし、クラスタシステムが最大構成となった場合に処理できる負荷最大値の論理値でもよいし、運用管理者が設定してもよい。 Here, to the maximum value of the load may be obtained from a past load state, it may be a logical value of the maximum load value that can be processed when the cluster system is maximized configuration, setting the operation manager good.
負荷変動類似度計算部７０１は、運用管理者が設定したクラスタシステム間の負荷類似度を使用してもよい。 Load fluctuation similarity calculator 701 may use a load similarity between cluster system operation manager has set. クラスタシステムを構築する時や、実行中に運用管理者がクラスタシステム間の類似度をサーバ管理装置に入力する。 And when to build a cluster system, the operations manager in the running to enter the degree of similarity between the cluster system to the server management unit. この負荷類似度は、記憶装置にデータとして記憶され、負荷変動類似度計算部７０１が読み出すことで負荷類似度を判定する。 The load similarity, as data is stored in the storage device, determines the load similarity by load fluctuation similarity calculator 701 reads.
負荷変動類似度計算部７０１は、クラスタシステムの稼働中の仮想サーバ数が多い期間より少ない期間が一致するクラスタシステム同士を、より類似度が高いと判定することができる。 Load fluctuation similarity calculation unit 701, a cluster system each other less time than the number of virtual servers is large period during operation of the cluster system matches, it can be determined that more high similarity.
負荷変動類似度計算部７０１は、判定を実施する時間以降でより近い時間帯で稼働中の仮想サーバ数が一致するクラスタシステム同士をより類似していると判定することができる。 Load fluctuation similarity calculation unit 701 may be determined to be more similar to a cluster system between the number of virtual servers running in a closer time zone after time to implement the decision matches.
負荷変動類似度計算部７０１は、抽出作業を実行する時期と同じ時期の負荷情報から負荷変動の類似度を抽出することができる。 Load fluctuation similarity calculation unit 701 can extract the similarity load change from the load information of the same time as the time to perform the extraction procedure.
負荷変動類似度計算部７０１は、より近い過去の負荷変動の類似度がより高いと判断するように所定時間の過去に稼働中であった仮想サーバ数に重み付けすることができる。 Load fluctuation similarity calculator 701 may weight the number of virtual servers were running past a predetermined time so that closer similarity of past load change is determined to be higher.
図９は、負荷変動が類似したクラスタシステムを同一物理サーバにスケールアウトした場合の効果例を示す図である。 Figure 9 is a diagram showing an effect example of the load fluctuation is scaled out cluster system similar to the same physical server. サーバ管理装置１０１が３台の物理サーバ上でクラスタシステムＡ，Ｂ，Ｃを管理する環境を想定する。 Server management apparatus 101 is a cluster system A on the three physical servers, B, assume an environment that manages C. クラスタシステムＡ，Ｂ，Ｃはそれぞれ、仮想サーバＡ１〜Ａ２，Ｃ１〜Ｃ４，Ｂ１〜Ｂ６で構成する。 Each cluster system A, B, C is a virtual server A1 to A2, C1 -C4, composed of B1-B6. 負荷変動の合計図９０１にクラスタシステムＡ，Ｂ，Ｃの時間毎の負荷変動と、それら負荷変動の合計を示す。 Total Figure 901 the cluster system A load variation, showing B, hourly and load variations of C, and the sum of their load change.
負荷変動類似度計算部７０１は、クラスタシステムの稼働中の仮想サーバ数が多い期間より少ない期間が一致するクラスタシステム同士を、より類似度が高いと判定する。 Load fluctuation similarity calculation unit 701, a cluster system each other less time than the number of virtual servers is large period during operation of the cluster system matches, determines that more high similarity. この例では、クラスタシステムＡとクラスタシステムＣの負荷変動の類似度が高いと判定される。 In this example, the similarity of the load change of the cluster system A and the cluster system C is determined to be high.
本実施形態のスケールアウトでは、クラスタシステムＡ，Ｃを構成する仮想サーバを同じ物理サーバにスケールアウトする。 The scale-out of this embodiment, scaling out the virtual server on the same physical server constituting the cluster system A, the C. 従って、負荷が最も高い場合には、構成情報表９１１の状態となる。 Therefore, when the load is highest, the state of the configuration information table 911. 具体的には、物理サーバ＃１は、クラスタシステムＡに係る仮想サーバＡ１，Ａ２、および、クラスタシステムＣに係る仮想サーバＣ１，Ｃ２が配置されている。 Specifically, the physical server # 1, virtual servers A1, A2 according to the cluster system A, and, virtual servers C1, C2 according to the cluster system C is arranged.
その後、構成情報表９１１の状態からはクラスタシステムＡ，Ｃの負荷が低下し、本実施形態のスケールインを実行すると構成情報表９１２の状態となる。 Thereafter, the cluster system A from the state of the configuration information table 911, the load of C is reduced, and executes Scale In the present embodiment the state of the configuration information table 912. 具体的には、クラスタシステムＡの中から仮想サーバＡ２、および、クラスタシステムＣの中から仮想サーバＣ１，Ｃ２，Ｃ４を停止した状態である。 Specifically, the virtual server A2 from the cluster system A, and a state of stopping the virtual servers C1, C2, C4 from the cluster system C. この状態から片寄せを実行するには、物理サーバ＃１の仮想サーバＡ１を物理サーバ＃３に移行する（移行回数は１）。 To run biasing from this state shifts the virtual server A1 of physical servers # 1 to the physical server # 3 (transition number 1).
比較例では、例えば、負荷変動の異なるクラスタシステムＡ，Ｂ、クラスタシステムＢ，Ｃを同じ物理サーバにスケールアウトする。 In the comparative example, for example, different cluster systems A load fluctuations, B, cluster system B, and scaling out the C on the same physical server. 従って、負荷が最も高い場合には、構成情報表９２１の状態となる。 Therefore, when the load is highest, the state of the configuration information table 921. 具体的には、物理サーバ＃１は、クラスタシステムＡに係る仮想サーバＡ１，Ａ２、および、クラスタシステムＢに係る仮想サーバＢ１，Ｂ２が配置されている。 Specifically, the physical server # 1, virtual servers A1, A2 according to the cluster system A, and, virtual servers B1, B2 according to the cluster system B is located. また、物理サーバ＃２は、クラスタシステムＣに係る仮想サーバＣ１，Ｃ２、および、クラスタシステムＢに係る仮想サーバＢ３，Ｂ４が配置されている。 The physical server # 2, virtual server C1, C2 according to the cluster system C, and, the virtual server B3, B4 of the cluster system B is located. 同様に、物理サーバ＃３は、クラスタシステムＣに係る仮想サーバＣ３，Ｃ４、および、クラスタシステムＢに係る仮想サーバＢ５，Ｂ６が配置されている。 Similarly, the physical server # 3, virtual servers C3, C4 of the cluster system C, and, the virtual server B5, B6 of the cluster system B is located.
その後、構成情報表９２１の状態からはクラスタシステムＡとＣの負荷が低下し、本実施形態のスケールインを実行すると構成情報表９２２の状態となる。 Then, from the state of the configuration information table 921 reduces the load on the cluster system A and C, and a performing a scale-in this embodiment the state of the configuration information table 922. 具体的には、クラスタシステムＡの中から仮想サーバＡ２、および、クラスタシステムＣの中から仮想サーバＣ２，Ｃ３，Ｃ４を停止した状態である。 Specifically, the virtual server A2 from the cluster system A, and a state of stopping the virtual server C2, C3, C4 from the cluster system C. この状態から片寄せを実行するには物理サーバ＃３の仮想サーバＢ５を、物理サーバ＃２に移行するとともに、物理サーバ＃３の仮想サーバＢ６を、物理サーバ＃１に移行する（移行回数は２）。 The virtual server B5 physical server # 3 to perform a biasing from this state, the process proceeds to the physical server # 2, the virtual server B6 physical server # 3, the process proceeds to the physical server # 1 (number of migration 2).
この例では、本実施形態を適用することで、仮想サーバの移行回数を２から１に削減できる。 In this example, by applying the present embodiment can reduce the transition times of the virtual server from 2 to 1. 以上のように本実施形態の負荷変動類似度からスケールアウト先を選択することで、片寄せ時の仮想サーバの移行回数を低減することができる。 By selecting the scale-out away from the load variation similarity of this embodiment as described above, it is possible to reduce the transition times of the virtual server when biased.
<<実施形態３>> << Embodiment 3 >>
実施形態３は、実施形態１のサーバ管理装置１０１において、スケールイン実行後に仮想サーバの移行を行う手段を加えることで、仮想サーバの片寄せを実行し余剰物理サーバの電源切断を行うことができる。 Embodiment 3 is the server management apparatus 101 of Embodiment 1, the addition of means for performing the migration of the virtual server after executing Scale In, it is possible to perform the biasing of the virtual server performs power-off of excess physical server . ここでの片寄せは、仮想サーバを移行することで物理サーバの電源が切断できる場合に限り実行し、消費電力削減効果のない片寄せを実行しないよう制御する。 Wherein biasing of the run only if the power of the physical servers by migrating virtual server can disconnect controls not to execute the biasing no power consumption reduction effect.
図１０は、実施形態３に係るクラスタシステムを示す図である。 Figure 10 is a diagram showing a cluster system according to the third embodiment. 図１０に示すようにサーバ管理装置１０１の記憶装置１１１に、片寄判断部１００１、片寄対象仮想サーバ選択部１００２、片寄実行部１００３の各プログラムを、図１のサーバ管理装置１０１に追加する。 The storage device 111 of the server management apparatus 101 as shown in FIG. 10, Katayose determination unit 1001, Katayose target virtual server selection unit 1002, a Katayose the program execution unit 1003 is added to the server management apparatus 101 of FIG. 1. 片寄判断と片寄実行の詳細な説明を図１１のフロー図を参照して説明する。 A detailed description of Katayose judgment and Katayose executed will be described with reference to the flow diagram of FIG 11.
図１１は、片寄せ判断と片寄せ実行処理の流れを示す図である。 Figure 11 is a diagram showing the flow of execution and biasing judgment biasing. 適宜図１０を参照する。 Referring to properly view 10. 片寄判断部１００１では、複数のクラスタシステムのいずれかでスケールインが発生したかを判断する（ステップＳ１１０１）。 In Katayose determination unit 1001 determines whether the scale-in has occurred in any of the plurality of cluster system (step S1101). スケールインが発生したならば（ステップＳ１１０１，Ｙｅｓ）、片寄判断を実行するためステップＳ１１０２に進む。 If the scale-in has occurred (step S1101, Yes), the process proceeds to step S1102 to execute the Katayose judgment. スケールインが発生していない場合は（ステップＳ１１０１，Ｎｏ）、片寄せを実行しても物理サーバの電源切断はできないと判断し処理を終了する。 If the scale-in is not generated (step S1101, No), and terminates the determination process and can not be power-off of the physical server after the execution biased.
片寄対象仮想サーバ選択部１００２では、スケールイン実行後に停止した仮想サーバが稼働していた物理サーバをＰ Ｎとし、物理サーバＰ Ｎ上の稼働中の仮想サーバ数を取得する（ステップＳ１１０２）。 In Katayose target virtual server selection unit 1002, a physical server which virtual server was running was stopped after running Scale In the P N, and acquires the number of virtual servers running on the physical server P N (step S1102). 前記取得した稼働中の仮想サーバ数から物理サーバＰ Ｎ上の仮想サーバを他物理サーバに移行する片寄せと、他物理サーバ上で稼働する仮想サーバを物理サーバＰ Ｎに移行する片寄せ、どちらの移行コストが少ないか判断する。 And biasing migrate a virtual server on a physical server P N from the virtual server number in the acquired operation to another physical server, biasing migrating a virtual server running on another physical server to the physical server P N, which migration costs of a small or judgment. そのために次の２つの条件判定を続けて行う（ステップＳ１１０３）。 Performed continuously determined following two conditions for the (step S1103).
（ａ）物理サーバＰ Ｎ上で稼働する全稼働中の仮想サーバを物理サーバＰ Ｎ以外の物理サーバ群Ｐ ＥＸＣ （Ｐ Ｎ ）に移行できるか？ (A) if the physical server P N a virtual server in the whole operation running on can be migrated to the physical server P N other than the physical server group P EXC (P N)? （ステップＳ１１０３） (Step S1103)
（ｂ）物理サーバＰ Ｍ （Ｍ≠Ｎ）で稼働する全仮想サーバを物理サーバＰ Ｎに移行できるか？ (B) whether all the virtual servers running on the physical server P M (M ≠ N) can be migrated to the physical server P N? （ステップＳ１１０４（ステップＳ１１０４Ａ、ステップＳ１１０４Ｂ）） (Step S1104 (step S1104A, step S1104B))
ステップＳ１１０３がＹｅｓおよびステップＳ１１０４Ａ（ステップＳ１１０４）がＹｅｓの場合は、ステップＳ１１０５Ａ（ステップＳ１１０５）に進む。 If step S1103 is Yes, and Step S1104a (Step S1104) is Yes, the process proceeds to step S1105A (step S1105). ステップＳ１１０３がＹｅｓおよびステップＳ１１０４ＡがＮｏの場合はステップＳ１１０９に進む。 If step S1103 is Yes, and step S1104A is No the flow proceeds to step S1109. ステップＳ１１０３がＮｏおよびステップＳ１１０４ＢがＹｅｓの場合は、ステップＳ１１０５Ｂ（ステップＳ１１０５）に進む。 If step S1103 is No in and step S1104B Yes, the process proceeds to step S1105B (step S1105). ステップＳ１１０３がＮｏおよびステップＳ１１０４Ｂ（ステップＳ１１０４）がＮｏの場合は、片寄せを実行しても物理サーバの電源を切断できないと判断して処理を終了する。 If step S1103 is No and step S1104B (step S1104) is No, and ends the determination and the process can not be powered off physical server after the execution biased.
ステップＳ１１０４ＡがＹｅｓの場合は、移行元となる物理サーバの候補が複数存在する場合がある。 If step S1104A is Yes, the sometimes candidate physical server as the migration source there is a plurality. そこで、仮想サーバの移行回数が最小となる物理サーバを移行元の物理サーバＰ Ｋとして選択し（ステップＳ１１０５Ａ）、ステップＳ１１０６に進む。 Therefore, to select a physical server migration times of the virtual server is minimized as the migration source physical server P K (step S1105A), the process proceeds to step S1106.
物理サーバＰ Ｋ 、物理サーバＰ Ｎを移行元とした場合に、物理サーバＰ Ｋを移行元とした方が仮想サーバの移行回数が少ないならば（ステップＳ１１０６，Ｙｅｓ）、ステップＳ１１０７Ａ（ステップＳ１１０７）に進む。 Physical server P K, when the physical server P N was the source, if better to the physical server P K and the source is small-transition number of the virtual server (step S1106, Yes), step S1107A (Step S1107) proceed to. そうでなければ（ステップＳ１１０６，Ｎｏ）、ステップＳ１１０９に進む。 Otherwise (step S1106, No), the process proceeds to step S1109. ステップＳ１１０７Ａでは、移行元の物理サーバＰ Ｋ上の稼働中の仮想サーバの全てを、物理サーバＰ Ｎに移行する（物理サーバＰ Ｋから物理サーバＰ Ｎへ仮想サーバを移行する）。 In step S1107A, all virtual servers are running in the migration source physical server P K, (migrating virtual server from the physical server P K to the physical server P N) shifts to the physical server P N. その後、物理サーバ電源ＯＦＦ実行部１２７が物理サーバの電源Ｐ ＫをＯＦＦする（ステップＳ１１０８Ａ）。 Thereafter, the physical server power OFF execution unit 127 turns OFF the power P K of the physical server (step S1108A). 一方、ステップＳ１１０９では物理サーバＰ Ｎ上の仮想サーバの移行先をスケールアウト対象物理サーバ選択部１３５と同様の方法で選択し片寄実行部１１０３が仮想サーバの移行を行う。 On the other hand, scale-out target physical server selecting part 135 selects the same method as Katayose execution unit 1103 a virtual server on the destination on the step S1109 in the physical server P N performs migration of the virtual server. その後、物理サーバ電源ＯＦＦ実行部１２７が物理サーバの電源Ｐ ＮをＯＦＦし（ステップＳ１１１０）、処理を終了する。 Thereafter, the physical server power OFF execution unit 127 turns OFF the physical server power P N (step S1110), the process ends.
同様に、ステップＳ１１０４ＢがＹｅｓの場合は、移行元となる物理サーバの候補が複数存在する場合がある。 Similarly, if step S1104B is Yes, the sometimes candidate physical server as the migration source there is a plurality. そこで、仮想サーバの移行回数が最小となる物理サーバを移行元の物理サーバＰ Ｋとして選択し（ステップＳ１１０５Ｂ）、移行元の物理サーバＰ Ｋ上の稼働中の仮想サーバを全て物理サーバＰ Ｎに移行する（ステップＳ１１０７Ｂ）。 Therefore, to select a physical server migration times of the virtual server is minimized as the migration source physical server P K (step S1105B), all the virtual servers in the migration source physical server P K operating physical server P N to shift (step S1107B). その後、物理サーバ電源ＯＦＦ実行部１２７が物理サーバの電源Ｐ ＫをＯＦＦし（ステップＳ１１０８Ｂ）、処理を終了する。 Thereafter, the physical server power OFF execution unit 127 turns OFF the power P K of the physical server (step S1108B), the process ends.
片寄せを実行する際には稼働中の仮想サーバを移行する必要がある。 When you run a biased, it is necessary to migrate the virtual server running. 移行の方法としては、稼働中の仮想サーバを一度停止し、物理サーバへの構成を変更した後に再び稼働させる方法がある。 As a method for migration, stop the virtual server running at a time, there is a method to run again after changing the configuration of the physical server. また、仮想サーバを停止しない方法として、稼働中の仮想サーバが持つメモリ内容を移行先にコピーし稼働状態を維持したまま移行を実現するライブマイグレーション技術が存在する。 Further, as a method which does not stop the virtual servers, live migration technology for implementing migration while maintaining the copy operation state memory contents with the virtual server running on the destination exists. 本実施形態が対象とするクラスタシステムでは、クラスタシステムを構成する仮想サーバのいずれでクライアントからのリクエストを処理しても結果は同じである。 In a cluster system to which this embodiment is directed also to process requests from clients on any virtual servers in the cluster system with the same result. この性質を利用して、稼働状態を維持した仮想サーバの移行を疑似的に実現することもできる。 Using this property, the migration of the virtual server that maintains the operating state can be artificially achieved. 図１２を参照してその詳細を説明する。 With reference to FIG. 12 will be described in detail.
図１２は、仮想サーバの疑似移行処理の実行シーケンスを示す図である。 Figure 12 is a diagram showing an execution sequence of pseudo migration process of the virtual server. サーバ管理装置１０１は、移行先の物理サーバ上に存在する停止状態である移行先の仮想サーバ１２０２に対する起動要求を移行先の物理サーバに送付し（ステップＳ１２１１）、移行先の仮想サーバの起動処理を行う（ステップＳ１２１２）。 Server management apparatus 101 sends an activation request to the virtual server 1202 of the destination is in a stopped state is present on the destination physical server to the destination physical server (step S1211), the startup process of the virtual server on the destination is carried out (step S1212). そして、移行先の仮想サーバ１２０２は、起動完了通知を行う（ステップＳ１２１３）。 Then, the virtual server 1202 of the destination performs the startup completion notification (step S1213). 起動完了通知を受けたサーバ管理装置１０１は、負荷分散器１０４に対して、移行先の仮想サーバへのリクエスト割振り要求を送付し（ステップＳ１２１４）、負荷分散器１０４は移行先の仮想サーバへのリクエスト割振りを開始する（ステップＳ１２１５）。 Activation completion notification receiving server management apparatus 101, the load disperser 104, sends a request allocation request of the destination to the virtual server (step S1214), the load balancing unit 104 to the destination virtual server initiate a request allocation (step S1215). そして、負荷分散器１０４は、リクエスト割振り完了通知を行う（ステップＳ１２１６）。 Then, the load balancing unit 104, makes a request allocation completion notification (step S1216).
リクエスト割振り変更であるリクエスト割振り完了通知を受けたサーバ管理装置１０１は、移行元の仮想サーバの閉塞要求を負荷分散器１０４に対して送付し（ステップＳ１２１７）、負荷分散器１０４は移行元の仮想サーバ１２０１へのリクエスト割振りを停止する（ステップＳ１２１８）。 Server management apparatus 101 which has received the request allocation completion notification is a request allocation changes, send a blockage request of the migration source virtual servers for load balancing unit 104 (step S1217), the load disperser 104 of the migration source virtual stop request allocation to the server 1201 (step S1218). そして、負荷分散器１０４は、閉塞完了通知を行う（ステップＳ１２１９）。 Then, the load balancing unit 104 performs occlusion completion notification (step S1219). リクエスト割振り停止である閉塞完了通知を受け取ったサーバ管理装置１０１は、移行元の仮想サーバ１２０１に対して停止要求を送付し（ステップＳ１２２０）、移行元の仮想サーバ１２０１は停止処理を実行する（ステップＳ１２２１）。 Server management apparatus 101 which has received the occlusion completion notification is a request allocation stopped, sends a stop request to the migration source virtual server 1201 (step S1220), the migration source virtual server 1201 executes the stop processing (step S1221). そして、移行元の仮想サーバ１２０１は停止完了通知を行う（ステップＳ１２２２）。 Then, the migration source virtual server 1201 performs stop completion notification (step S1222). 最後に、サーバ管理装置１０１は移行元の仮想サーバ１２０１の停止完了通知を受け取り、移行元の仮想サーバ１２０１から移行先の仮想サーバ１２０２への疑似的な仮想サーバ移行を完了する。 Finally, the server management apparatus 101 receives a stop completion notification of the migration source virtual server 1201 completes the pseudo virtual server migration from the migration source virtual server 1201 to the destination of the virtual server 1202.
<<実施形態４>> << Embodiment 4 >>
実施形態４は、実施形態１のサーバ管理装置１０１において、負荷変動予測から仮想サーバで構成するクラスタシステムのスケールイン／スケールアウトのタイミングを制御する手段を加えることで物理サーバの電源ＯＮ／ＯＦＦ繰り返しによる消費電力増加を抑えることができる。 Embodiment 4 is the server management apparatus 101 of Embodiment 1, repeat the power ON / OFF of the physical server by adding a means for controlling the timing of the scale in / scale-out cluster system constituted by the virtual server from the load fluctuation prediction it is possible to suppress the increase in power consumption by.
図１３は、実施形態４に係るクラスタシステムを示す図である。 Figure 13 is a diagram showing a cluster system according to the fourth embodiment. 図１３に示すようにサーバ管理装置１０１の記憶装置１１１に、負荷変動予測部１３０１のプログラムを、図１のサーバ管理装置１０１に追加する。 The storage device 111 of the server management apparatus 101 as shown in FIG. 13, the program load fluctuation prediction unit 1301 is added to the server management apparatus 101 of FIG. 1. 負荷変動を予測しスケールイン／スケールアウトの実行タイミングを変更する詳細な説明を図１４のフロー図を参照して説明する。 Predicting a detailed description of changing the execution timing of the scale in / scale out the load fluctuations by referring to the flowchart of FIG. 14 will be described. なお、負荷変動予測部１３０１は、実施形態２，３のサーバ管理装置１０１に加えてもよい。 The load fluctuation prediction unit 1301, may be added to the server management unit 101 of the third embodiments.
図１４は、負荷変動予測からスケールイン／スケールアウトのタイミングを変更する処理の流れを示す図である。 Figure 14 is a diagram showing the flow of processing for changing the timing of the scale in / scale-out from the load fluctuation prediction. 適宜図１３を参照する。 Referring to appropriate 13. 負荷変動予測部１３０１では、対象クラスタシステムの過去の負荷情報を負荷情報保存／取得部１４１を介して記憶装置１１１から取得する。 In the load fluctuation prediction unit 1301, a past load information of the target cluster system via the load information storage / acquisition unit 141 acquires from the storage device 111. そして、取得した負荷情報の時刻ｔにおける平均値を平均負荷Ｌ（ｔ）とする（ステップＳ１４０１）。 Then, the average value at time t of the obtained load information and the average load L (t) (step S1401). 具体的には、現在時刻ｔ １から予測期間Ｔ後、時刻ｔ ２までの対象クラスタシステムの平均負荷Ｌ（ｔ）を記憶装置１１１から取得する。 Specifically, to obtain after the forecast period T from the present time t 1, the average load L represents the cluster system to time t 2 (t), from the storage device 111. なお、ここでの平均負荷Ｌ（ｔ）とは、毎日の同じ時刻でのコンピューティングリソースやアプリケーションが持つ情報をそれぞれ加算平均した値である。 Here, the average load L (t) and is of a value computing resources and information that the application has been averaging each at the same time every day. また、毎日に限らず毎週、毎月、毎年、特定日の同じ時刻の負荷情報を加算平均してもよい。 In addition, every week is not limited to every day, every month, every year, it may be added average load information of the same time of a particular day. すなわち、負荷変動予測部１３０１は、負荷変動傾向の予測を実行する時期と同じ時期の負荷情報から負荷変動傾向を予測することになる。 That is, the load fluctuation prediction unit 1301 will be predicted load variation trend from the load information of the same time as the time to perform the prediction of the load variation trend. ここでの時期とは、曜日、月、及び特定日であり、例えば、負荷変動予測部１３０１は、毎週金曜日の特定の時刻tにおける負荷の平均値を、金曜日における負荷変動を予測するのに利用する。 Here timing between the day of the week, a month, and a specific day, for example, load fluctuation prediction unit 1301, using an average value of the load at a particular time t every Friday, to predict the load fluctuation in Friday to. また、負荷情報を取得する曜日、月、及び特定日は単独または組合せでもよい。 Also, the day of acquiring load information, moon, and specific date may be alone or in combination.
そして、予測期間Ｔ（ｔ ２ −ｔ １ ）である時刻ｔ １から時刻ｔ ２までの期間内の負荷の変動傾向Ｄ（Ｔ）を、例えば次のように計算する（ステップＳ１４０２）。 Then, the prediction period T (t 2 -t 1) in which the variation trend of the load in a period from time t 1 to time t 2 D (T), calculates, for example, as follows (step S1402).
Ｄ（Ｔ）＝（Ｌ（ｔ ２ ）-Ｌ（ｔ １ ））／（ｔ ２ −ｔ １ ） D (T) = (L ( t 2) -L (t 1)) / (t 2 -t 1)
前記Ｄ（Ｔ）を導出するために、より近い過去の結果の影響をより強く受けるように加重平均した平均負荷Ｌ（ｔ）を計算に使用してもよい。 It said to derive D (T), may be used to calculate a more recent past average results of impact the weighted average to receive stronger load L (t). また、平均値を用いずに現在の時刻ｔ １より一定時間前のｔ ０における負荷情報との差分を用いて次のように計算してもよい。 Further, the difference between the load information at t 0 for a certain time before the current time t 1 without using the average value may be calculated as follows using.
Ｄ（Ｔ）＝（Ｌ（ｔ １ ）-Ｌ（ｔ ０ ））／（ｔ １ −ｔ ０ ） D (T) = (L ( t 1) -L (t 0)) / (t 1 -t 0)
負荷変動予測部１３０１は、Ｄ（Ｔ）が０より大きいか判断する（ステップＳ１４０３）。 Load fluctuation prediction unit 1301, D (T) is greater than or determines 0 (step S1403). Ｄ（Ｔ）が０より大きい場合には（Ｄ（Ｔ）＞０）（ステップＳ１４０３，Ｙｅｓ）、対象クラスタシステムの負荷が対象期間において上昇傾向であると判断し、スケールインを消極的に行うようにスケールイン／スケールアウトの判断条件となる閾値を変更する。 If D (T) is greater than 0 is determined to be the upward trend in (D (T)> 0) (step S1403, Yes), the load period of the target cluster system, perform Scale In reluctant to change the threshold to be a judgment condition of scale in / scale out as. 具体的には、スケールイン判断部１３１やスケールアウト判断部１３４で利用するスケールイン／スケールアウトの判断条件となる閾値表６０１の閾値列に示す閾値を低くし（ステップＳ１４０４）、処理を終了する。 Specifically, to lower the threshold indicating the threshold column in the threshold table 601 as the judgment condition of the scale in / scale-out to be used in scale-in determining unit 131 and the scale-out determining unit 134 (step S1404), the process ends .
一方、Ｄ（Ｔ）が０より大きくない場合には（Ｄ（Ｔ）≦０）（ステップＳ１４０３，Ｙｅｓ）、対象クラスタシステムの負荷が対象期間において下降傾向であると判断し、スケールインを積極的に行うようにスケールイン／スケールアウトの判断条件となる閾値を変更する。 Meanwhile, D is the case (T) is not greater than 0 (D (T) ≦ 0) (step S1403, Yes), the load of the target cluster system determines that the downward trend in period, actively scale in to change the threshold value serving as determining conditions scale in / scale out as performed manner. 具体的には、スケールイン判断部１３１やスケールアウト判断部１３４で利用するスケールイン／スケールアウトの判断条件となる閾値表６０１の閾値列に示す閾値を高くする（ステップＳ１４０５）。 Specifically, increasing the threshold indicating the threshold column in the threshold table 601 as the judgment condition of the scale in / scale-out to be used in scale-in determining unit 131 and the scale-out determining unit 134 (step S1405).
なお、負荷の変動傾向Ｄ（Ｔ）が十分に小さい場合（ほぼ０に近い場合）には、定常状態と判断しスケールイン／スケールアウトの判断条件となる閾値を変更しないようにしてもよい。 Incidentally, when the load of the variation trend D (T) is sufficiently small (if substantially close to 0) may not change the threshold value serving as determining conditions Scale In / scale-out is determined that the steady state. 具体的には、サーバ管理装置１０１を管理する管理者は、クラスタシステムの負荷が定常状態であると判断する負荷の変動幅の値εを入力装置１１５から入力する。 Specifically, the administrator that manages the server management apparatus 101, the load of the cluster system is inputted from the input device 115 the value ε of the variation width of the load is determined to be a steady state. サーバ管理装置は変動幅の値εを記憶装置１１１内のデータ１５２として格納する。 The server management apparatus stores the value ε of the variation width as the data 152 in the storage device 111. ステップＳ１４０３で負荷が上昇傾向か下降傾向か判定する際に、記憶装置１１１に格納されたεを取得する。 When the load is determined whether an upward trend or a downward trend in step S1403, acquires the ε stored in the storage device 111. Ｄ（Ｔ）の絶対値がε以上であり、かつＤ（Ｔ）が０より大きければ上昇傾向と判断する。 The absolute value of D (T) is not less than epsilon, and determines that the rise is greater than D (T) is zero. Ｄ（Ｔ）の絶対値がε以上であり、かつＤ（Ｔ）が０より大きくなければ下降傾向と判断する。 The absolute value of D (T) is not less than epsilon, and determines that the downward trend is not greater than D (T) is zero. Ｄ（Ｔ）の絶対値がεより小さい場合は定常状態と判定し処理を終了する。 The absolute value of D (T) is the is smaller than ε ends the determined steady state processes.
また、負荷変動傾向を導出した期間ＴをさらにＮ分割し、それぞれの期間で負荷変動傾向を導出してもよい。 Further, the time period T derived load variation trend further divided into N may derive the load variation trend in each period. この場合、期間Ｔのうち上昇傾向期間と下降傾向期間がともに一定数（所定値）を超えた場合に不安定状態と判断（判定）し、スケールアウトを積極的に行うようにしてもよい。 In this case, the rise time and the downward trend period are both fixed number of periods T is determined that unstable if it exceeds (predetermined value) (determination) may be performed scale out aggressively.
クラスタシステムの運用管理者が業務の負荷が上昇傾向であるか、下降傾向であるか設定してもよい。 Or the operations manager of the cluster system load of the business is on the rise, it may be set if it were a downward trend. 例えば、8:00〜14:00は業務の負荷が上昇傾向、14:00〜17:00は業務の負荷が下降傾向といった負荷変動傾向データを記憶装置１１１のデータ１５２として運用管理者が事前に入力しておく。 For example, 8:00 to 14:00 trend increases the load of the business is, 14:00 to 17:00 is a load change trend data load operations are such downside operations manager in advance as data 152 of the storage device 111 keep input. 負荷変動予測部１３０１は記憶装置１１１から負荷変動傾向データを参照し、負荷変動傾向を判定する。 Load fluctuation prediction unit 1301 refers to the load variation trend data from the memory device 111, it determines the load change trend.
以上のように負荷変動が上昇傾向の場合にはスケールインが発生しにくくし、下降傾向の場合にはスケールインが発生しやすいように閾値を変更することで、スケールイン／スケールアウトが交互に繰り返すことを防ぐことができる。 Scaled in hardly occurs in the case of load change upward trend as described above, in the case of the downward trend by changing the threshold value so that the scale in is likely to occur, the scale in / scale-out is alternately it is possible to prevent the repeat.
図１５は、負荷変動予測によりスケールイン／スケールアウトのタイミングを変更した場合の効果例を示す図である。 Figure 15 is a diagram showing an effect example of changing the timing of the scale in / scale-out due to load fluctuation prediction. グラフ１５１１には、負荷変動が上昇傾向の場合にスケールイン／スケールアウト閾値を低下させる概要を示しており、閾値変更ありの場合である。 The graph 1511 shows the outline of reducing the scale in / scale-out threshold when the load fluctuation of the upward trend, the case of change required threshold. 比較例として、グラフ１５２１には、スケールイン／スケールアウト閾値を変更しない方式を示しており、閾値変更なしの場合である。 As a comparative example, the graph 1521 shows a method that does not change the scale in / scale-out threshold, which is the case no threshold changing.
通常、クラスタシステムの負荷変動が閾値を下回った場合にはスケールインを実行し、超えた場合にスケールアウトを実行する。 Normally, when the load fluctuation of the cluster system is less than the threshold, run the scale-in, to run the scale-out if it exceeds. 閾値変更ありのグラフ１５１１では、スケールイン／スケールアウト閾値と負荷変動が２回交差しているので、スケールイン／スケールアウトを２回実行する。 In graph 1511 of change required threshold, the load change and the scale in / scale-out threshold is crossed twice to perform the scale in / scale out twice. 一方、閾値変更なしのグラフ１５２１では、スケールイン／スケールアウト閾値と負荷変動が４回交差しているので、スケールイン／スケールアウトを４回実行する。 On the other hand, the graph 1521 of no threshold changing, since the scale in / scale-out threshold and the load variation is crossed four times, to perform four times the scale in / scale out. その内、短期間で負荷が上下する部分１５３１でのスケールイン／スケールアウトを２回実行する。 Of these, performing the scale in / scale-out at the portion 1531 where short term load up and down twice.
この例では、本実施形態を適用することで、短期間で負荷が上下する部分１５３１でのスケールイン／スケールアウトを交互に繰り返すことを防ぐことができる。 In this example, by applying the present embodiment, it is possible to prevent the repetition of scale in / scale-out at the portion 1531 where short term load up and down alternately. さらに、スケールイン／スケールアウトが物理サーバの電源ＯＮ／ＯＦＦを伴えば、短期間での物理サーバの電源ＯＮ／ＯＦＦ繰り返しによる消費電力増加を防ぐことができる。 Further, the scale in / scale out Bane power ON / OFF of the physical servers, it is possible to prevent increase in power consumption by the power ON / OFF repetition of the physical servers in a short period of time.
<<実施形態５>> << Embodiment 5 >>
実施形態５は、実施形態１のサーバ管理装置１０１において、クラスタシステムを構成する仮想サーバをスケールアップして、スケールアウトのタイミングを遅らせる手段を加えている。 Embodiment 5 is the server management apparatus 101 of Embodiment 1, the virtual servers in the cluster system to scale up, and added means for delaying the timing of the scale-out. これにより、クラスタシステムが処理できるリクエスト量を増加させることで、物理サーバの電源ＯＦＦ時間を長くし消費電力を削減する効果を高めることができる。 Thus, by increasing the request amount of the cluster system can handle, it is possible to enhance the effect of reducing the power consumption by increasing the power OFF time of the physical servers.
スケールアップとは、仮想サーバに割当てるＣＰＵやメモリなどのコンピューティングリソース量を増加させ、リクエスト処理の数や速度を増強することである。 Scaling up increases the computing resources of a CPU and memory allocated to the virtual server, is to enhance the number and speed of processing the request. このコンピューティングリソースは、スケールアップを実施する仮想サーバが稼働する物理サーバが保持する未使用のコンピューティングリソースを使用する。 The computing resources may use the unused computing resources physical server virtual server is running to implement the scale-up is held.
図１６は、実施形態５に係るクラスタシステムを示す図である。 Figure 16 is a diagram showing a cluster system according to a fifth embodiment. 図１６に示すようにサーバ管理装置１０１の記憶装置１１１に、スケールアップ対象仮想サーバ選択部１６０２とスケールアップ実行部１６０３の各プログラムを追加する。 The storage device 111 of the server management apparatus 101 as shown in FIG. 16, add each program scale-up target virtual server selecting part 1602 and the scale-up execution unit 1603. さらに、スケールアウトかスケールアップのどちらを実行するか判断するために、スケールアウト判断部１３４をスケールアウト／スケールアップ判断部１６０１に変更する。 Furthermore, in order to determine whether to perform a scale-out or scale up, to change the scale out determination section 134 to the scale-out / scale-up determination section 1601. なお、クラスタシステムを構成する仮想サーバをスケールアップして、スケールアウトのタイミングを遅らせる手段は実施形態２〜４のサーバ管理装置１０１に加えてもよい。 Note that the virtual servers in the cluster system by scaling up, means for delaying the timing of the scale-out may be added to the server management apparatus 101 of the embodiment 2-4. スケールアップ可否を判断し、スケールアップを実行する詳細な説明を図１７のフロー図を参照して説明する。 Determining the scale-up possibility, a detailed description for performing a scale-up with reference to the flow diagram of FIG. 17 will be described.
図１７は、スケールアップの判断と実行の流れを示す図である。 Figure 17 is a diagram showing the flow of execution and determination of the scale-up. 適宜図１６を参照する。 Referring to properly view 16. スケールアウト／スケールアップ判断部１６０１では、負荷情報保存／取得部１４１が記憶装置１１１から負荷情報を取得する（ステップＳ１７０１）。 In scale-out / scale-up determination section 1601, the load information storage / acquisition unit 141 acquires the load information from the storage unit 111 (step S1701). 取得したクラスタシステムの負荷がクラスタシステムに予め設定しておいた閾値αを超えるかを判断する（ステップＳ１７０２）。 Load of the acquired cluster system determines whether more than a threshold value α that has been previously set in the cluster system (step S1702). クラスタシステムの負荷が閾値αを超える場合（ステップＳ１７０２，Ｙｅｓ）、スケールアウト／スケールアップが必要と判断し、ステップＳ１７０３に進む。 If the load of the cluster system exceeds the threshold value alpha (Step S1702, Yes), scale-out / scale-up is deemed necessary, the process proceeds to step S1703. クラスタシステムの負荷が閾値αを超えない場合（ステップＳ１７０２，Ｎｏ）、スケールアウト／スケールアップが不必要と判断し処理を終了する。 If the load of the cluster system does not exceed the threshold value alpha (Step S1702, No), scale-out / scale-up is finished the determination processing unnecessary.
スケールアップ対象仮想サーバ選択部１６０２は、負荷が上昇したクラスタシステムを構成する仮想サーバが稼働する物理サーバ群Ｐの中で未使用コンピューティング（物理）リソース量が最も多い物理サーバＰ Ｎを選択する（ステップＳ１７０３）。 Scale-up target virtual server selection unit 1602, unused computing (physical) resource amount in the physical servers P the virtual server is running to choose the largest physical server P N that constitute a cluster system load rises (step S1703). そして、未使用コンピューティングリソースを持つ物理サーバＰ Ｎが存在するか否かを判定する（ステップＳ１７０４）。 Then, it is determined whether the physical server P N is present with an unused computing resources (step S1704). 未使用コンピューティングリソースを持つ物理サーバＰ Ｎが存在しなければ（ステップＳ１７０４，Ｎｏ）、負荷上昇に対してスケールアウト処理を実行して（ステップＳ１７０５）、処理を終了する。 If there is no physical server P N with unused computing resources (step S1704, No), by executing the scale-out processing on the load increase (step S1705), the process ends.
物理サーバＰ Ｎが存在すれば（ステップＳ１７０４，Ｙｅｓ）、スケールアップ対象仮想サーバ選択部１６０２は、物理サーバＰ Ｎ上で稼働する対象クラスタシステムの仮想サーバＳ Ｎを選択する（ステップＳ１７０６）。 If there physical server P N (step S1704, Yes), scaling up the target virtual server selection unit 1602 selects a virtual server S N represents the cluster system running on the physical server P N (step S1706). そして、スケールアップ実行部１６０３は、仮想サーバＳ Ｎへのコンピューティングリソース量の割当をＭ倍に増加させ仮想サーバＳ Ｎをスケールアップする（ステップＳ１７０７）。 The scale-up execution unit 1603, scaling up the virtual server S N increases the allocation of computing resources of the virtual servers S N M times (step S1707). その後、負荷分散器１０４から仮想サーバＳ Ｎへのリクエスト割振り量をＭ倍に増加させる（ステップＳ１７０８）。 Thereafter, increasing the requested allocation amount from a load distributor 104 to the virtual server S N M times (step S1708).
以上のスケールアップ処理により、未使用コンピューティングリソースを利用して、スケールアウト実行のタイミングを遅らせることができる。 The scale-up process described above, by utilizing the unused computing resources can be delayed timing of the scale-out execution. その結果、次にスケールアウト対象となる物理サーバの電源ＯＦＦ時間を延ばし消費電力を削減する効果を高めることができる。 As a result, it is possible to subsequently increase the effect of reducing the power consumption to extend the power OFF time of the physical servers to be scale-out target.
具体的な効果として、例えば、クラスタシステムの負荷が一定の期間Ｔの間高くなり、再び負荷が下る場合を想定する。 As specific effects, for example, the load of the cluster system is increased during the period of time T, it is assumed that the load descends again. Ｔ時間の間、スケールアップにより新たに物理サーバの電源をＯＮすることなく対応できた場合の削減できる電力量は以下の通りである。 During the time T, reducing possible amount of power when be supported without turning ON the power of the new physical server by the scale-up is as follows.
（物理サーバの起動と停止にかかる電力量）＋Ｔ×（物理サーバの消費電力−スケールアップにより増加した消費電力） (Physical server Starting and according to stop power amount) + T × (physical server power consumption - power consumption was increased by the scale-up)
ここで、スケールアップにより増加した消費電力は、物理サーバの消費電力に比べて十分小さいので、消費電力削減効果が得られる。 Here, the power consumption increased by the scale-up is sufficiently smaller than the power consumption of the physical servers, the power consumption reduction effect is obtained. また、スケールアップ後Ｔａ時間でスケールアウトが発生した場合でも、以下の電力量を削減することが可能である。 Further, even when the scale-out occurs in the scale-up time Ta, it is possible to reduce the following power.
Ｔａ×（物理サーバの消費電力−スケールアップにより増加した消費電力） Ta × (physical server power consumption - power consumption was increased by the scale-up)
なお、本実施形態において、構成情報収集部１２５は、物理サーバが保持する未使用のコンピューティングリソース量を構成情報として収集しており、構成変更判断部１２１のスケールアウト／スケールアップ判断部１６０１は、取得した未使用のコンピューティングリソースを利用し仮想サーバのスケールアップ可否を判断し、構成変更対象選択部１２２のスケールアップ対象仮想サーバ選択部１６０２は、前記判断によりスケールアップ可能のとき、クラスタシステムのスケールアウトの代わりに仮想サーバをスケールアップし、構成変更実行部１２３のスケールアップ実行部１６０３は、クライアント１０６からのリクエストを、クラスタシステムを構成する仮想サーバ群１０３に割振る負荷分散器１０４を管理し、負荷分散器１０４ In the present embodiment, the configuration information collection unit 125 has collected the computing resources of unused physical server maintains as the configuration information, scale-out / scale-up judgment unit 1601 of the configuration change determining portion 121 determines the obtained unused utilize computing resources scaling up whether the virtual servers, scaling up the target virtual server selection unit 1602 of the configuration change target selecting unit 122, when the scaleable by the determining, a cluster system scaling up the virtual server instead scale out of scale up execution unit 1603 of the configuration change execution unit 123, a request from the client 106, the load disperser 104 to allocate to the virtual server group 103 constituting the cluster system manage, load distributor 104 制御することによりスケールアップを実行した仮想サーバへのリクエスト割振り量をクラスタシステム内の他の仮想サーバより増加させることができる。 Request allocation of the virtual server that performed the scale-up by controlling can be increased over other virtual servers in the cluster system.
<<実施形態６>> << Embodiment 6 >>
実施形態６は、実施形態１のサーバ管理装置１０１において、構成変更判断部１２１で利用する閾値を、クラスタシステムの運用ポリシに基づいて変更できるようにする手段を追加した。 Embodiment 6 is the server management apparatus 101 of Embodiment 1, the threshold value utilized in the configuration change determination unit 121, and adding means to be able to change based on the operational policy of the cluster system. また、構成変更対象選択部１２２において、クラスタシステムの運用ポリシに基づいて構成変更対象を選択できる。 In the configuration change target selecting unit 122, the configuration change target can be selected based on the operational policy of the cluster system.
図１８は、実施形態６に係るクラスタシステムを示す図である。 Figure 18 is a diagram showing a cluster system according to the sixth embodiment. 図１８に示すようにサーバ管理装置１０１の記憶装置１１１に、運用ポリシ取得部１８０１のプログラムを、図１のサーバ管理装置１０１に追加する。 The storage device 111 of the server management apparatus 101 as shown in FIG. 18, a program of operational policy acquisition unit 1801 is added to the server management apparatus 101 of FIG. 1. なお、構成変更判断部１２１で利用する閾値を、クラスタシステムの運用ポリシに基づいて変更できるようにする手段は、実施形態２〜５のサーバ管理装置１０１に加えてもよい。 Incidentally, the threshold value utilized in the configuration change determination unit 121, means to be able to change based on the operational policy of the cluster system, it may be added to the server management apparatus 101 of the embodiment 2-5.
図１９は、運用ポリシの例を示す図である。 Figure 19 is a diagram showing an example of operational policy. 判断条件＃０にポリシ種別を記述し、運用ポリシ表１９０１に示すような運用ポリシを定義する。 The policy type described judgment condition # 0, define the operational policy as shown in the operational policy table 1901. 例として「積極的省電力」、「可用性保持」を挙げる。 "Aggressive power-saving" as an example, cited "availability hold". 「積極的省電力」は、コンピューティングリソースの使用率を高め、余剰コンピューティングリソースを削減するポリシである。 "Aggressive power saving" increases the utilization of computing resources, a policy to reduce the excess computing resources. 「可用性保持」は、仮想サーバに割当てるコンピューティングリソースに余裕を持たせ、耐障害性を高め、さらに突発的な負荷上昇に対応するためのポリシである。 "Availability hold" is a margin to the computing resources allocated to the virtual server, enhanced fault tolerance, a policy for dealing with more sudden load increase. なお、運用ポリシ表１９０１は記憶装置１１１内のデータと１５２の一部して保持する。 Incidentally, the operational policy table 1901 and holds the part of the data and 152 in the storage device 111.
「積極的省電力」では、判断条件＃３〜＃８に示すスケールイン／スケールアウトの閾値を「可用性保持」に比べ高く設定し、スケールインがより発生しやすいようにする。 The "aggressive power saving", is set high as compared to the threshold of the scale in / scale-out shown in determination condition # 3 to # 8 in the "Availability hold", the scale-in to more easily generated. また、判断条件＃２に示す条件の「ｏｒ」は判断条件＃３〜＃８の判断条件を１つでも満たせばスケールイン／スケールアウトを実行することを意味する。 In addition, "or" in the conditions shown in the judgment condition # 2 is meant to run the scale in / scale-out satisfy the judgment conditions of the determination condition # 3 to # 8 even one. 一方、判断条件＃２に示す条件の「ａｎｄ」の場合は判断条件＃３〜＃８の判断条件を全て満たせばスケールイン／スケールアウトを実行することを意味する。 On the other hand, in the case of "and" in the conditions shown in decision condition # 2 means that executes a scale-in / scale-out satisfies all determination condition determination condition # 3 to # 8. 「積極的省電力」では、スケールインの条件を「ｏｒ」と設定することでスケールインが発生しやすいようにする。 In the "aggressive power-saving", scale-in to make it easier to occur by the conditions of scale-in is set to "or".
判断条件＃９の最大仮想サーバ数とは、クラスタシステムを構成する仮想サーバ数の最大値である。 Maximum number of virtual servers and the determination condition # 9, the maximum value of the number of virtual servers in the cluster system. この数値を設定することでスケールアウトの上限を設定し、特定のクラスタシステムがコンピューティングリソースを使いきることのないようにする。 Set the upper limit of the scale-out by setting this value, the specific cluster system so as not to use up computing resources. なお、この数を無制限にしてもよい。 It should be noted, it may be this number to unlimited.
クラスタシステムを構成する仮想サーバは、判断条件＃１０の最小物理サーバ数以上の物理サーバ上で常に稼働するようにする。 Virtual servers in the cluster system is always to be run on the minimum physical server number or more physical servers determination condition # 10. 最小物理サーバ数を設定することで、特定の物理サーバに障害が発生した場合もクラスタシステムで実行する処理を中断することなく続行できる。 By setting the minimum number of physical servers, it can continue without interrupting the process to run on even a cluster system when a failure in a particular physical server has occurred. また、スケールイン実行後に停止対象とする仮想サーバを選択する場合に、選択すると最小物理サーバ数の条件を満たさない仮想サーバはスケールイン実行後に停止対象とする仮想サーバとして選択しない。 Also, when selecting a virtual server to be stopped after execution Scale In, virtual servers that do not meet the minimum number of physical servers conditions by selecting does not select a virtual server to be stopped after running Scale In. 片寄せ対象選択時も同様である。 When the target selection biased in the same manner. この最小物理サーバ数を設定することで、耐障害性を考慮したクラスタシステムに本実施形態を適用することができる。 By setting the minimum number of physical servers, it is possible to apply the present embodiment to a cluster system considering fault tolerance. なお、耐障害性を考慮しなければこの数を０としてもよい。 Note that this number may be 0 if considering fault tolerance.
判断条件＃１１の仮想サーバ移行数は一度の片寄せで移行する仮想サーバの上限数である。 Virtual server number shift determination condition # 11 is the maximum number of virtual servers to be migrated in a single biasing. 仮想サーバの移行数が増加すると、システム構成変更時間が延び、他のシステム構成変更要求への遅れや、クライアントからのリクエストに対する応答性能の劣化が発生する可能性がある。 When the migration speed of the virtual servers increases, extends the system reconfiguration time delay or to other systems configuration change request, there is a possibility that the deterioration of the response performance to requests from the client is generated. この影響の許容量をこの仮想サーバ移行で設定する。 The permissible amount of this effect is set in the virtual server migration.
図２０は、運用ポリシを利用した場合の、構成変更判断部、構成変更対象選択部、構成変更実行部の処理の流れを示す図である。 Figure 20 is a diagram showing the case of using the operational policy, configuration change determination unit, the configuration change target selecting section, a process flow of the configuration change execution unit. 適宜図１８を参照する。 Referring to properly view 18. 運用ポリシを利用した場合の、構成変更判断部１２１、構成変更対象選択部１２２、構成変更実行部１２３の処理の流れを、図２０を参照して説明する。 In the case of utilizing the operational policy, configuration change determination unit 121, the configuration change target selecting unit 122, a process flow of the configuration change execution unit 123 will be described with reference to FIG. 20.
構成変更判断部１２１および構成変更対象選択部１２２は、運用ポリシ表１９０１（図１９参照）を運用ポリシ取得部１８０１から取得し（ステップＳ２００１）、取得した運用ポリシ表１９０１からポリシ種別を選択する（ステップＳ２００２）。 Configuration change determination unit 121 and the configuration change target selection unit 122 obtains the operational policy table 1901 (see FIG. 19) from the operational policy acquisition unit 1801 (Step S2001), selects the policy type from the operational policy table 1901 acquired ( step S2002). ポリシ種別の選択は、サーバ管理装置１０１の管理者が予めクラスタシステムを構築する場合に、入力装置１１５から通信装置１１４を介して選択しておくとよい。 Selection of policy type, if the administrator of the server management apparatus 101 to build a pre-cluster system may from the input device 115 keep selecting via the communication device 114. また、クラスタシステムの実行途中で、入力装置１１５から通信装置１１４を介して変更してもよい。 Further, in the middle execution of the cluster system, the input device 115 may be changed via the communication device 114.
次に、構成変更判断部１２１は、構成変更判断対象（ａ）スケールイン、（ｂ）スケールアウト、（ｃ）片寄せに対して別の処理を行うため場合分けする（ステップＳ２００３）。 Next, the configuration change determination unit 121, the configuration change determination target (a) Scale In, (b) scaling out and divided if for performing different processing on biased (c) (step S2003).
（ａ）スケールインの場合は、まずスケールイン判断部１３１が運用ポリシ表１９０１の判断条件の行、かつスケールインの列に記述した閾値を取得し負荷情報保存／取得部１４１が記憶装置１１１から取得した負荷情報と比較する（ステップＳ２００５）。 For (a) Scale In, First from Scale In determining portion 131 rows determining conditions operational policy table 1901 and obtains the threshold value described in the column of the scale in the load information storage / acquisition unit 141 is a storage device 111, comparing the acquired load information (step S2005). 前記比較により、スケールインが可能でなければ（ステップＳ２００５，Ｎｏ）、処理を終了する。 By the comparison, if possible Scale In (step S2005, No), the process ends. スケールインが可能であれば（ステップＳ２００５，Ｙｅｓ）、運用ポリシのスケールイン列に記述した最小物理サーバ数を取得する（ステップＳ２００６）。 Scale In is possible (step S2005, Yes), to obtain the minimum number of physical servers described in Scale In columns of operational policy (step S2006). 次に、スケールイン対象仮想サーバ選択部１３２がスケールイン実行後に、クラスタシステムを構成する仮想サーバが稼働する物理サーバ数が最小物理サーバ数未満とならないようにスケールイン対象（停止対象）の仮想サーバを選択する（ステップＳ２００７）。 Next, the scale in the object after the virtual server selecting part 132 Scale In execution, the virtual server of the virtual server is running to the physical server number minimum physical servers less than the number and become not so Scale In target (stop target) constituting a cluster system to select (step S2007). 最後に、ステップＳ２００７の処理によりスケールイン対象仮想サーバが存在すれば（ステップＳ２００８，Ｙｅｓ）、スケールイン実行部１３３がスケールインを実行し（ステップＳ２００８）、処理を終了する。 Finally, if there is scale in the subject virtual server by the processing in step S2007 (step S2008, Yes), the scale in execution unit 133 executes the scaling-in (step S2008), the process ends. なお、ステップＳ２００７の処理によりスケールイン対象仮想サーバが存在しなければ（ステップＳ２００８，Ｎｏ）、処理を終了する。 Incidentally, if the scale in the subject virtual server exists by the process of step S2007 (step S2008, No), the process ends.
本実施形態では、最小物理サーバ数を規定しているので、クラスタシステムの物理サーバ障害への耐性を高めるためにクラスタを構成する仮想サーバを複数の物理サーバに分散させて稼働させることができる。 In this embodiment, since defines the minimum number of physical servers can be virtual servers in the cluster are dispersed to a plurality of physical servers to run in order to increase the resistance to physical server failure cluster system. また、ステップＳ２００８において、スケールイン実行後に停止すると物理サーバ障害への耐性が低下する仮想サーバをスケールイン実行後に停止対象とする仮想サーバから取り除いてもよい。 Further, in step S2008, resistance to physical server failure is stopped after running scale-in may be removed from the virtual server to be stopped virtual server after executing the scale-in being lowered.
（ｂ）スケールアウトの場合は、まずスケールアウト判断部１３４が運用ポリシ表１９０１の判断条件の行、かつスケールアウトの列に記述した閾値を取得し負荷情報保存／取得部１４１が記憶装置１１１から取得した負荷情報と比較する（ステップＳ２０１０）。 For (b) scale-out, from the first scale out determination section 134 rows determining conditions operational policy table 1901 and obtains the threshold value described in the column of the scale-out load information storage / acquisition unit 141 is a storage device 111, comparing the acquired load information (step S2010). 前記比較により、スケールアウトが不要であれば（ステップＳ２０１１，Ｎｏ）、処理を終了する。 By the comparison, if the scale-out is not required (step S2011, No), the process ends. スケールアウトが必要ならば（ステップＳ２０１１，Ｙｅｓ）、運用ポリシのスケールアウトの列に記述した最大仮想サーバ数を取得する（ステップＳ２０１２）。 If necessary scaling out (step S2011, Yes), to obtain the maximum number of virtual servers described in the column of the scale-out of operational policy (step S2012). 次に、スケールアウト対象物理サーバ選択部１３５がクラスタシステムを構成する仮想サーバ数が最大仮想サーバ数未満か判断する（ステップＳ２０１３）。 Next, scale-out target physical server selecting part 135 is the number of virtual server determines whether less than the maximum virtual server number in the cluster system (step S2013). クラスタシステムを構成する仮想サーバ数が最大仮想サーバ数未満なら（ステップＳ２０１３，Ｙｅｓ）、スケールアウト対象の物理サーバの選択を行い（ステップＳ２０１４）、スケールアウトを実行し（ステップＳ２０１５）、処理を終了する。 If the virtual server number is less than the maximum virtual server number in the cluster system (step S2013, Yes), and selects the physical server scale-out (step S2014), performs the scale-out (step S2015), the process ends to. なお、クラスタシステムを構成する仮想サーバ数が最大仮想サーバ数未満でないなら（ステップＳ２０１３，Ｎｏ）、処理を終了する。 Incidentally, if the number of virtual servers in the cluster system is not less than the maximum virtual server number (step S2013, No), the process ends.
（ｃ）片寄せの場合は、まず片寄判断部１００１が運用ポリシ表１９０１の片寄せの列に記述した仮想サーバ移行数Ｍを取得する（ステップＳ２０１６）。 For offsetting (c), first Katayose determination unit 1001 obtains the virtual server migration number M described in the column of the biasing of the operational policy table 1901 (step S2016). 片寄判断部１００１は片寄せ実行時に必要な仮想サーバ移行数がＭ以下か判断する（ステップＳ２０１７）。 Katayose determination unit 1001 virtual server number migration is determined whether the following M required at runtime biasing (Step S2017).
前記判断が偽ならば（ステップＳ２０１７，Ｎｏ）、処理を終了する。 If the determination is false (step S2017, No), the process ends. 前記判断が真ならば（ステップＳ２０１７，Ｙｅｓ）、次に片寄対象仮想サーバ選択部１００２が運用ポリシ表１９０１の片寄せ列に記述した最小物理サーバ数を取得する（ステップＳ２０１８）。 If the determination is true (step S2017, Yes), then Katayose target virtual server selection unit 1002 acquires the minimum number of physical servers described in biased column of operational policy table 1901 (step S2018). 片寄せ実行後に、クラスタシステムを構成する仮想サーバが稼働する物理サーバ数が最小物理サーバ数未満とならないように片寄せ時に移行対象（移行元と移行先）となる仮想サーバを選択する（ステップＳ２０１９）。 Biasing After execution, selecting a virtual server to which the transition when biased such that the number of physical servers to virtual server is running does not become less than the minimum number of physical servers target (source and destination) that make up the cluster system (step S2019 ). 前記選択により移行対象仮想サーバが決定（選択）し（ステップＳ２０１９）、片寄せが実行可能ならば（ステップＳ２０２０，Ｙｅｓ）、片寄実行部１００３が片寄せを実行し（ステップＳ２０２１）、処理を終了する。 The migration target virtual server by the selection is determined (selected) (step S2019), if biasing is executable (step S2020, Yes), executes the Katayose execution unit 1003 biased (step S2021), the process ends to. なお、片寄せが可能でないならば（ステップＳ２０２０，Ｎｏ）、処理を終了する。 Incidentally, if not possible biasing (step S2020, No), the process ends.
このように、システム構成を動的に変更し、コンピューティングリソース量を最適化するシステムに本実施形態を適用することで、片寄せ実行時に必要な仮想サーバの移行回数を削減し消費電力削減効果を高めることができる。 Thus, to dynamically change the system configuration, by applying the present embodiment to a system for optimizing the computing resource amount, biased to reduce migration times of the virtual servers required to run power consumption reduction effect it can be increased. さらに、スケールインの実行タイミングを変更することでスケールイン／スケールアウトの繰り返しによる消費電力の増加を防ぐことができる。 Furthermore, it is possible to prevent an increase in power consumption due to repeated scale in / scale-out by changing the execution timing of the scale in. また、スケールアウトの実行タイミングを遅らせることで、スケールアウト対象となる物理サーバの電源ＯＦＦ時間を長くし消費電力を削減する効果を高めることができる。 Moreover, by delaying the execution timing of the scale-out, it is possible to enhance the effect of reducing the power consumption by increasing the power OFF time of the physical servers to be scale-out target.
本実施形態のスケールインの実行で稼働中の仮想サーバ数が多い物理サーバと少ない物理サーバといった、片寄せ実行後の状態に近づけることができる。 Such physical server and a small physical server often the number of virtual servers running on the execution of Scale In the present embodiment, it is possible to approach the state after execution biased. さらに、スケールインを続けることで、仮想サーバの移行なしに片寄せ状態を実現できる。 In addition, to continue the scale-in, it is possible to realize a state biased to none of the virtual server migration. また、本発明ではスケールインの実行で片寄せ実行後の状態に効率的に近づけるためにスケールアウト実行前に新たに仮想サーバを稼働させる物理サーバの選択も行う。 Also performs selection of the physical server to run a new virtual server before executing the scale-out to approximate efficiently to the state after the execution biased in the execution of Scale In the present invention.
本実施形態のスケールアウトにより負荷変動が類似したクラスタシステムを構成する仮想サーバが同じ物理サーバに集約する。 Virtual servers load change by the scale-out of this embodiment constitute a cluster system similar to aggregate in the same physical server. そのため、特定のクラスタシステムの負荷が低下する期間は、スケールイン実行後に停止対象となる仮想サーバが特定の物理サーバ上に集中する。 Therefore, the period during which the load is lowered for a particular cluster system, the virtual server to be stopped subject after execution Scale In is concentrated on a specific physical servers.
以上のようにスケールイン／スケールアウトにより、各物理サーバ間で稼働中の仮想サーバを偏らせることで片寄せ実行後の状態に近づける。 The scale in / scale-out as described above, closer to the state after execution biased by biasing the virtual servers running between each physical server. その結果、本発明を利用せず各物理サーバ間で稼働中の仮想サーバの偏りが少ない状態に比べ、片寄せ実行時に仮想サーバを移行する回数を削減することができる。 As a result, without using the present invention compared to the state deviation of the virtual servers is small running between each physical server, it is possible to reduce the number of migrating a virtual server when biasing run.
さらに、スケールインの実行タイミングを変更することでスケールイン／スケールアウトの繰り返しによる消費電力の増加を防ぐことができる。 Furthermore, it is possible to prevent an increase in power consumption due to repeated scale in / scale-out by changing the execution timing of the scale in. また、スケールアウトの実行タイミングを遅らせることで、スケールアウト実行前に稼働対象となる物理サーバの電源ＯＦＦ時間を長くし消費電力を削減する効果を高めることができる。 Moreover, by delaying the execution timing of the scale-out, it is possible to enhance the effect of reducing the power consumption by increasing the physical server power OFF time to be running target before performing scale-out.
本実施形態のサーバ管理装置１０１は、仮想サーバ群１０３を稼働する物理サーバ群１０２を管理し、物理サーバ群１０２に配置された複数の仮想サーバを含んでなるクラスタシステムを運用する際に、仮想サーバ群１０３の負荷状態により仮想サーバの配置状態を管理する。 Server management apparatus 101 of the present embodiment, when operating a cluster system comprising a plurality of virtual servers that manage, arranged in the physical servers 102 physical servers 102 running the virtual servers 103, virtual managing the arrangement state of the virtual servers by the load state of the server group 103. スケールイン実行時には、稼働中の仮想サーバ数が最も少ない物理サーバで稼働する仮想サーバを停止対象とする。 At the time scale in execution, the virtual server number of the virtual server running is running in the most less physical servers and be stopped. スケールアウト実行時には、負荷変動を予測し、負荷の変動が類似したクラスタシステムが同じ物理サーバ上に集まるようにクラスタシステムのスケールアウト先を制御する。 During scale-out run to predict the load variation, load fluctuations cluster system similar to control scale-out destination of the cluster system to collect on the same physical server. スケールインの実行タイミングは、予測した負荷変動が上昇傾向なら実行を遅らせ、下降傾向なら実行を早めることができる。 Execution timing of the scale-in may predicted load variation delay the execution if rising trend, expedite execution if a downward trend.
１０１ サーバ管理装置 １０２ 物理サーバ群 １０３ 仮想サーバ群 １０４ 負荷分散器 １０５ ネットワーク １０６ クライアント １０７ 仮想化ソフトウェア １１１ 記憶装置 １１２ メモリ １１３ ＣＰＵ 101 server management apparatus 102 physical server group 103 virtual servers 104 load balancing 105 network 106 clients 107 virtualization software 111 memory 112 memory 113 CPU
１１４ 通信装置 １１５ 入力装置 １１６ 表示装置 １２１ 構成変更判断部 １２２ 構成変更対象選択部 １２３ 構成変更実行部 １２４ 負荷情報収集部 １２５ 構成情報収集部 １２６ 物理サーバ電源ＯＦＦ可否判断部 １２７ 物理サーバ電源ＯＦＦ実行部 １２８ 物理サーバ電源ＯＮ実行部 １３１ スケールイン判断部 １３２ スケールイン対象仮想サーバ選択部 １３３ スケールイン実行部 １３４ スケールアウト判断部 １３５ スケールアウト対象物理サーバ選択部 １３６ スケールアウト実行部 １４１ 負荷情報保存／取得部 １４２ 構成情報保存／取得部 １５１ プログラム １５２ データ ３０１ スケールイン対象の仮想サーバ ４０１ スケールアウト対象の物理サーバ ４０２ スケールアウト対象の仮想サーバ ５０１ 構成情報表 ６０１ ス 114 communication device 115 input device 116 display device 121 configuration change determination unit 122 configuration change target selecting unit 123 configuration change execution unit 124 load information collecting section 125 configuration information collection unit 126 the physical server power OFF determination section 127 physical server power OFF execution unit 128 physical server power ON execution unit 131 scale in determining portion 132 scale in the target virtual server selecting part 133 scale in execution unit 134 scale out determination section 135 scale-out target physical server selecting part 136 scale out execution unit 141 loads information storage / acquisition unit 142 configuration information storage / acquisition unit 151 program 152 data 301 scale in the subject virtual server 401 scale-out target physical server 402 scaling out the virtual server 501 the configuration information table 601 scan of the target ールイン／スケールアウトの判断条件となる閾値表 ７０１ 負荷変動類似度計算部 ９０１ 負荷変動の合計図 １００１ 片寄判断部 １００２ 片寄対象仮想サーバ選択部 １００３ 片寄実行部 １２０１ 移行元の仮想サーバ １２０２ 移行先の仮想サーバ １３０１ 負荷変動予測部 １６０１ スケールアウト／スケールアップ判断部 １６０２ スケールアップ対象仮想サーバ選択部 １６０３ スケールアップ実行部 １８０１ 運用ポリシ取得部 １９０１ 運用ポリシ表 Ruin / scale-out determination conditions the threshold table 701 load variation similarity calculating unit 901 load variation Total Figure 1001 Katayose determination unit 1002 Katayose target virtual server selecting part 1003 Katayose executing unit 1201 migration source virtual server 1202 destination virtual comprising server 1301 load fluctuation prediction unit 1601 scale-out / scale-up determination section 1602 scale up the target virtual server selecting part 1603 scale-up execution unit 1801 operational policy acquisition unit 1901 operational policy table
複数の仮想サーバを有する仮想サーバ群を稼働する物理サーバを含んでなる物理サーバ群を管理し、前記物理サーバ群に配置された前記複数の仮想サーバを含んでなるクラスタシステムを運用する際に、前記仮想サーバ群の負荷状態により前記仮想サーバの配置状態を管理するサーバ管理装置であって、 When operating the physical server manages comprising at physical servers and the cluster system comprising a plurality of virtual server located on the physical servers running virtual servers having a plurality of virtual servers, a server management device for managing the arrangement state of the virtual servers by the load state of the virtual servers,
前記クラスタシステムを構成する仮想サーバ群の負荷情報を収集する負荷情報収集部と、 A load information collecting section for collecting load information of the virtual servers constituting the cluster system,
前記仮想サーバ群が前記物理サーバのどの物理サーバに割付けられているかを構成情報として収集する構成情報収集部と、 A configuration information collection unit the virtual servers is collected as the configuration information whether the assigned to which physical servers of the physical server,
前記収集した負荷情報からクラスタシステムを構成する仮想サーバ数の削減可否を判断する構成変更判断部と、 A configuration change determination unit that determines the reduced availability of the number of virtual servers in the cluster system from the collected load information,
前記収集した構成情報から稼働する仮想サーバ数が最も少ない物理サーバを選択する構成変更対象選択部と、 And the configuration change target selecting section that selects a smallest physical server the number of virtual servers running from the collected configuration information,
前記選択した物理サーバ上で稼働する仮想サーバを停止する構成変更実行部とを有する ことを特徴とするサーバ管理装置。 Server management apparatus characterized by having a configuration change execution unit to stop the virtual servers running on the physical server that said selected.
前記サーバ管理装置は、さらに、 The server management apparatus further
前記停止対象とした仮想サーバを停止する前に、前記停止対象の仮想サーバへのリクエスト割振りを停止しクラスタシステムから削除するスケールインを実行する ことを特徴とする請求項１に記載のサーバ管理装置。 Wherein before stopping the virtual server and be stopped, the server management apparatus according to claim 1, characterized in that executing the scale-in being removed from the stop to the cluster system requests allocation to the virtual servers of the stop target .
前記構成変更判断部が、前記収集した負荷情報からクラスタシステムを構成する仮想サーバ数の過不足を判断し、 The configuration change determination unit determines excess or shortage of the number of virtual servers in the cluster system from the collected load information,
前記構成変更対象選択部が、クラスタシステムを構成する仮想サーバ数が不足していると判断した場合に、構成情報収集部が収集した構成情報から稼働する仮想サーバ数が最も多い物理サーバを選択し、 Wherein the configuration change target selecting unit, if the number of virtual servers in the cluster system is determined to be insufficient, selects the largest physical server the number of virtual servers running the configuration information that the configuration information collection unit collects ,
前記構成変更実行部が、前記選択した物理サーバ上で仮想サーバを起動する ことを特徴とする請求項１に記載のサーバ管理装置。 The configuration change execution unit, the server management apparatus according to claim 1, characterized in that starting the virtual server on the selected physical server.
前記起動した仮想サーバをクラスタシステムに追加しリクエストの割振りを開始するスケールアウトを実行する ことを特徴とする請求項３に記載のサーバ管理装置。 Server management apparatus according to claim 3, characterized in that executing the scale-out to start allocation of additional requested virtual server that the start cluster system.
前記負荷情報収集部が過去に収集した負荷情報から複数のクラスタシステム間で負荷変動の類似度を導出する負荷変動類似度計算部を備え、 Comprising a load fluctuation similarity calculation unit for deriving the similarity of load change between the load information collecting section of the plurality from the load information collected in the past cluster system,
前記構成変更判断部が、前記収集した負荷情報から仮想サーバを追加するスケールアウトの必要性を判断し、 The configuration change determination unit determines necessity of scaling out to add a virtual server from the collected load information,
前記構成変更対象選択部が、前記判断でスケールアウトの必要性があるとき、前記導出した負荷変動の類似度が高いクラスタシステムを構成する仮想サーバがより多く存在する物理サーバを選択し、 Wherein the configuration change target selecting unit, when there is a need for a scale out the determination, select a physical server virtual server exists more the degree of similarity of the derived load variation constitutes a high cluster system,
前記構成変更実行部が、前記選択した物理サーバをスケールアウト先と判断しスケールアウトを実行する ことを特徴とする請求項１に記載のサーバ管理装置。 The configuration change execution unit, the server management apparatus according to claim 1, characterized in that a physical server that has the selected executing the determined scale out and scale-out destination.
前記構成変更実行部が構成変更した結果、前記物理サーバに対して仮想サーバが存在しないか判断し、仮想サーバが存在しないと判定したとき、物理サーバの電源切断を実行する物理サーバ電源制御部を有する ことを特徴とする請求項１に記載のサーバ管理装置。 The configuration change results execution unit has changed configuration, it is determined whether not the virtual server exists to the physical server, if it is determined that the virtual server is not present, the physical server power control unit for executing a power down of the physical server server management apparatus according to claim 1, characterized in that it has.
前記構成変更実行部が、前記停止対象とした仮想サーバを停止する前に、前記停止対象の仮想サーバへのリクエスト割振りを停止しクラスタシステムから削除するスケールインを実行したのちに、 In after the configuration change execution unit, before stopping the virtual server and the stop target was performed Scale In to be deleted from the request allocation to be stopped virtual server stops cluster system,
前記構成変更判断部は、稼働中の仮想サーバを移行することで物理サーバの電源を切断することができるか判断し、 The configuration change determination unit determines whether it is possible to cut the power of the physical servers by migrating virtual server running,
前記構成変更対象選択部は、前記切断の判断により物理サーバの電源を切断できるとき、１以上の仮想サーバを物理サーバ間で移行し、 Wherein the configuration change target selection unit, when the main disconnecting the physical server at the discretion of the cutting, to migrate one or more virtual servers between physical servers,
前記構成変更実行部は、移行元の物理サーバで稼働する仮想サーバが存在しないか判断し、 The configuration change execution unit determines whether the virtual servers running on the migration source physical server is not present,
前記物理サーバ電源制御部は、前記仮想サーバの存在の判断により稼働する仮想サーバが存在しないなら物理サーバの電源を切断する ことを特徴とする請求項６に記載のサーバ管理装置。 The physical server power control unit, the server management apparatus according to claim 6, characterized in that cutting the power of the physical servers if the virtual server is not present running by determining the presence of the virtual server.
前記負荷情報収集部から収集した負荷情報からクラスタシステム毎に現在時刻における負荷が上昇傾向か下降傾向かの負荷変動を判断する負荷変動予測部を備え、 The load from the collected load information from the information collection section for each cluster system comprising a load fluctuation prediction unit load at the current time to determine load variation or upward trend or a downward trend,
前記負荷変動予測部は、 The load fluctuation prediction unit,
負荷が下降傾向ならスケールインの可否判断を行う閾値を高く変更し、 Load is high and the threshold value is changed to perform the propriety judgment of the downward trend if scale-in,
負荷が上昇傾向ならスケールインの可否判断を行う閾値を低く変更する ことを特徴とする請求項２に記載のサーバ管理装置。 Server management apparatus according to claim 2, load and changes the threshold low for performing permission determination of rise if Scale In.
前記構成情報収集部は、さらに、前記物理サーバが保持する未使用のコンピューティングリソース量を前記構成情報として収集し、 The configuration information collection unit further collects the computing resources of unused said physical server maintains as the configuration information,
前記構成変更判断部は、前記収集した未使用のコンピューティングリソース量に基づいて、仮想サーバに割当てる前記コンピューティングリソース量を増加させるスケールアップの可否を判断し、 The configuration change determination unit, based on the computing resources of unused that the collected, to determine whether the scale-up to increase the computing resource amount to be allocated to the virtual server,
前記変更対象選択部は、前記判断によりスケールアップが可能のとき、当該仮想サーバをスケールアップし、 The change target selection unit, when the scale-up is possible by the determination, the virtual server to scale up,
前記構成変更実行部は、クライアントからのリクエストを、クラスタシステムを構成する仮想サーバ群に割振る負荷分散器を管理し、前記負荷分散器を制御することによりスケールアップを実行した仮想サーバへのリクエスト割り振り量をクラスタシステム内の他の仮想サーバより増加させる ことを特徴とする請求項５に記載のサーバ管理装置。 The configuration change execution unit requests the request from the client, to the virtual server that manages the load disperser allocate to the virtual servers, running the scale-up by controlling the load disperser in the cluster system server management apparatus according to claim 5, characterized in that to increase the allocation amount from the other virtual servers in the cluster system.
前記サーバ管理装置には、スケールインのときの最小の物理サーバ数を含む運用ポリシを記憶装置に記憶しており、 Wherein the server management apparatus, stores the operational policy including the number of physical servers minimum when the scale in the storage device,
前記構成変更対象選択部は、スケールインの実行のときに前記最小の物理サーバ数未満とならないように、停止対象の仮想サーバを選択し、 Wherein the configuration change target selection unit, so as not to said minimum less than the number of physical servers when the execution of Scale In, select the virtual server be stopped,
前記停止対象の仮想サーバのスケールインを実行する ことを特徴とする請求項２に記載のサーバ管理装置。 Server management apparatus according to claim 2, characterized in that to perform the Scale In the virtual servers of the stop target.
前記構成情報収集部は、さらに、稼働する前記物理サーバの消費電力量を収集して前記構成情報として記憶しており、 The configuration information collection unit further stores, as the configuration information gathering power consumption of the physical servers running,
前記構成変更対象選択部は、スケールインのときに停止対象とする仮想サーバが稼働する物理サーバの消費電力量を前記構成情報から取得し、 The configuration change target selecting unit obtains the power consumption of the physical server the virtual server is running to be stopped when the scale-in from the configuration information,
前記取得した消費電力量が多い方の物理サーバ上で稼働する仮想サーバをスケールインのときに停止対象とする仮想サーバと判断する ことを特徴とする請求項２に記載のサーバ管理装置。 Server management apparatus according to claim 2, characterized in that it is determined that the virtual server to be stopped virtual server when the scale-in running on the physical server towards the power consumption and the acquired many.
前記構成情報収集部は、前記物理サーバが前記サーバ管理装置に登録される際にコンピューティングリソース量を含む前記構成情報を収集して記憶装置に登録し、 The configuration information collection unit registers the collection and storing device the configuration information including the computing resources amount when the physical server is registered in the server management device,
前記構成変更判断部は、スケールアウト対象判断のときに、停止中物理サーバの前記コンピューティングリソース量を取得し、停止中物理サーバを含めてスケールアウト先を判断し、 The configuration change determination unit, when the scale-out target decision acquires the computing resources of stopping in the physical server, determines the scale-out destination, including physical servers stopped,
前記構成変更対象選択部は、前記判断により停止中物理サーバをスケールアウト先としたときに、停止中物理サーバをサーバ管理装置が起動し、 Wherein the configuration change target selection unit, a physical server stopped by the determining when the scale-out destination, the physical server stopped server management unit is activated,
前記構成変更実行部は、前記起動をした物理サーバ上で仮想サーバを起動しスケールアウトをする ことを特徴とする請求項５に記載のサーバ管理装置。 The configuration change execution unit, the server management apparatus according to claim 5, characterized in that the scale-out start the virtual servers on the physical server that the activation.
前記サーバ管理装置は、 The server management device,
前記１以上の仮想サーバを物理サーバ間で移行する際に、前記クラスタシステムを構成する移行元の物理サーバで稼働する仮想サーバと移行先の物理サーバで停止状態の仮想サーバとの起動／停止操作において、 When migrating the one or more virtual servers between physical servers, start / stop operation of the virtual servers and virtual server stopped on the destination physical servers running on the migration source physical server constituting the cluster system in,
移行先の物理サーバで停止状態である移行先の仮想サーバに対する起動を移行先の物理サーバに要求し、 Requesting activation on the destination physical server for the destination virtual servers are stopped state to the destination physical server,
クライアントからのリクエストを割振る負荷分散器に、前記移行先の仮想サーバへのリクエストの割り振りの開始を要求し、 The load distribution unit to allocate a request from a client, requests the start of the allocation request to the migration destination virtual server,
前記負荷分散器に、前記移行元の仮想サーバへのリクエストの割り振りの停止を要求し、 To the load disperser, it requests the allocation of stop requests to the migration source virtual server,
前記移行元の物理サーバで稼働する前記移行元の仮想サーバに対する停止を前記移行元の物理サーバに要求する、 Requesting a stop for the migration source virtual servers running on the migration source physical server to the migration source physical server,
ことを特徴とする請求項７に記載のサーバ管理装置。 Server management apparatus according to claim 7, characterized in that.
前記負荷変動類似度計算部は、 The load fluctuation similarity calculation unit,
前記負荷情報収集部から前記収集した負荷情報をクラスタシステム毎に取得し、 Acquires load the collected information from the load information collecting section for each cluster system,
前記クラスタシステムの負荷が増加する期間と減少する期間がより長く一致するクラスタシステム同士を、類似度の高いクラスタシステムと判定する ことを特徴とする請求項５に記載のサーバ管理装置。 Server management apparatus according to claim 5, wherein the cluster system each other period to reduce the period in which the load of the cluster system is increased to match longer, it is determined that the high degree of similarity cluster system.
前記負荷情報収集部から前記収集した負荷情報に基づく過去の負荷変動のデータとそのときの稼働仮想サーバ数をクラスタシステム毎に取得し、 Get the number of operating virtual server of the load from the information collecting unit and the data of the past load change based on the collected load information at that time for each cluster system,
前記クラスタシステムの稼働中の仮想サーバ数が一致する期間がより長いクラスタシステム同士を、類似度の高いクラスタシステムと判定する ことを特徴とする請求項１４に記載のサーバ管理装置。 Server management apparatus according to claim 14 longer cluster system between period the number of virtual servers match is running in the cluster system, characterized by determining a high similarity cluster system.
前記クラスタシステムの稼働中の仮想サーバ数が多い期間より少ない期間が一致するクラスタシステム同士を、より類似度が高いと判定する ことを特徴とする請求項１５に記載のサーバ管理装置。 Server management apparatus according to claim 15, fewer periods than the number of virtual servers is large period during operation of the cluster system cluster between systems that match, and wherein the determining more high similarity.
判定を実施する時間以降でより近い時間帯で稼働中の仮想サーバ数が一致するクラスタシステム同士をより類似していると判定する ことを特徴とする請求項１５に記載のサーバ管理装置。 Server management apparatus according to claim 15, wherein the determining the number of virtual servers running is more similar to a cluster system between a match in a closer time zone after time to implement the decision.
抽出作業を実行する時期と同じ時期の負荷情報から負荷変動の類似度を抽出する ことを特徴とする請求項１５に記載のサーバ管理装置。 Server management apparatus according to claim 15, characterized in that extracting the similarity load change from the load information of the same time as the time to perform the extraction procedure.
より近い過去の負荷変動の類似度がより高いと判断するように所定時間の過去に稼働中であった仮想サーバ数に重み付けする ことを特徴とする請求項１５に記載のサーバ管理装置。 Server management apparatus according to claim 15, characterized in that the weighted number of virtual servers which was in operation in the past predetermined time so closer similarity of past load change is determined to be higher.
前記負荷情報収集部から前記収集した負荷情報に基づく負荷変動のデータを一定期間毎に区切ったデータをさらに一定期間毎に区切り、その期間内で上昇傾向か下降傾向かを算出し、 The separated from the load information collecting section for each further predetermined period data separated for each fixed period data load change based on the collected load information, and calculates how upward trend or a downward trend in the period,
前記算出した上昇傾向と下降傾向の数がともに所定値を上回れば不安定状態と判定する ことを特徴とする請求項８に記載のサーバ管理装置。 Server management apparatus according to claim 8, characterized in that determining an unstable state if exceeds the number both predetermined value downward trend with increasing tendency that the calculated.
前記負荷情報収集部から前記収集した負荷情報に基づく負荷変動のデータを、より近い過去の負荷変動を大きくするとともに、より遠い過去の負荷変動を小さくするように加重平均する ことを特徴とする請求項８に記載のサーバ管理装置。 Billing data load change based on the collected load information from the load information collecting section, to thereby increase the closer past load variation, characterized in that a weighted average so as to reduce the more distant past load change server management apparatus according to claim 8.
負荷変動傾向の予測を実行する時期と同じ時期の負荷情報から負荷変動傾向を予測する ことを特徴とする請求項８に記載のサーバ管理装置。 Server management apparatus according to claim 8, characterized in that predicting the load variation trend from the load information of the same time as the time to perform the prediction of the load variation trend.
複数の仮想サーバを有する仮想サーバ群を稼働する物理サーバを含んでなる物理サーバ群を管理するサーバ管理装置を備え、前記物理サーバ群に配置された前記複数の仮想サーバを含んでなるクラスタシステムを運用する際に、前記仮想サーバ群の負荷状態により前記仮想サーバの配置状態を管理するサーバ管理方法であって、 Comprises a server management device for managing the physical servers comprising physical servers running virtual servers having a plurality of virtual servers, the cluster system comprising a plurality of virtual server located on the physical servers when operated, a server management method for managing the arrangement state of the virtual servers by the load state of the virtual servers,
前記クラスタシステムを構成する仮想サーバ群の負荷情報を収集し、 Collect the load information of the virtual servers constituting the cluster system,
前記仮想サーバ群が前記物理サーバのどの物理サーバに割付けられているかを構成情報として収集し、 The virtual servers is collected as configuration information whether the assigned to which physical servers of the physical server,
前記収集した負荷情報から仮想サーバを停止するスケールインの可否を判断し、 Determining whether the scale in stopping the virtual server from the collected load information,
前記収集した構成情報から稼働する仮想サーバ数が最も少ない物理サーバを選択し、 Select the smallest physical server the number of virtual servers running from the collected configuration information,
前記選択した物理サーバ上で稼働する仮想サーバをスケールイン実行後の停止対象として選択しスケールインを実行する ことを特徴とするサーバ管理方法。 Server management method and executes the selected scale in the virtual servers running on the physical server that said selected as the stop target after execution Scale In.
前記収集した負荷情報から仮想サーバを追加するスケールアウトの必要性を判断し、 Determine the need for scaling out to add a virtual server from the collected load information,
前記判断でスケールアウトの必要性があるとき、前記収集した構成情報から稼働する仮想サーバ数が最も多い物理サーバを選択し、 When there is a need for a scale out the determination, select the highest physical server the number of virtual servers running from the collected configuration information,
前記選択した物理サーバ上に仮想サーバを起動しスケールアウトを実行する ことを特徴とする請求項２３に記載のサーバ管理方法。 Server management method according to claim 23, characterized in that executing the scale-out start the virtual server on a physical server that has the selected.
過去に収集した負荷情報から複数のクラスタシステム間で負荷変動の類似度を導出し、 Deriving a similarity load fluctuation from were collected in the past load information across multiple cluster systems,
前記判断でスケールアウトの必要性があるとき、前記導出した負荷変動の類似度が高いクラスタシステムを構成する仮想サーバがより多く存在する物理サーバを選択し、 When there is a need for a scale out the determination, select a physical server virtual server exists more the degree of similarity of the derived load variation constitutes a high cluster system,
前記選択した物理サーバをスケールアウト先と判断しスケールアウトを実行する ことを特徴とする請求項２３に記載のサーバ管理方法。 Server management method according to claim 23, characterized in that executing the scale-out physical server that has the selected determines the scale-out destination.
JP2009245035A 2009-10-26 2009-10-26 Server management device and server management methods Active JP5378946B2 (en)
JP2009245035A JP5378946B2 (en) 2009-10-26 2009-10-26 Server management device and server management methods
US12/708,150 US8286165B2 (en) 2009-10-26 2010-02-18 Server management apparatus and server management method
JP2011090594A JP2011090594A (en) 2011-05-06
JP5378946B2 true JP5378946B2 (en) 2013-12-25
ID=43899391
JP2009245035A Active JP5378946B2 (en) 2009-10-26 2009-10-26 Server management device and server management methods
US (1) US8286165B2 (en)
JP (1) JP5378946B2 (en)
CN102449603B (en) 2009-06-01 2014-10-08 富士通株式会社 Server hypervisor, management server and virtual server configuration
US8874744B2 (en) 2010-02-03 2014-10-28 Vmware, Inc. System and method for automatically optimizing capacity between server clusters
US8745204B2 (en) * 2010-03-12 2014-06-03 Cisco Technology, Inc. Minimizing latency in live virtual server migration
US9563479B2 (en) * 2010-11-30 2017-02-07 Red Hat, Inc. Brokering optimized resource supply costs in host cloud-based network using predictive workloads
US8626902B2 (en) * 2010-12-03 2014-01-07 International Business Machines Corporation Modeling and reducing power consumption in large IT systems
JP5609730B2 (en) * 2011-03-18 2014-10-22 富士通株式会社 Information processing program and method, transfer processing device
JP5775359B2 (en) * 2011-05-11 2015-09-09 キヤノン株式会社 System management server, management method and program
JP5342615B2 (en) * 2011-08-15 2013-11-13 株式会社日立システムズ Virtual server control system and program
WO2013042269A1 (en) * 2011-09-22 2013-03-28 富士通株式会社 Power supply administration device, power supply administration method, and power supply administration program
WO2013042271A1 (en) 2011-09-22 2013-03-28 富士通株式会社 Electronic computer system and virtual machine deployment method
JP2013080346A (en) * 2011-10-03 2013-05-02 Daiwa Securities Group Inc Information processing device, maintenance work support method and maintenance work support program
US8751657B2 (en) 2011-10-04 2014-06-10 Hitachi, Ltd. Multi-client storage system and storage system management method
JP5785050B2 (en) 2011-10-27 2015-09-24 株式会社日立製作所 The information processing system, the power-saving control method, and apparatus
TWI533146B (en) * 2011-11-10 2016-05-11 Inst Information Industry Virtual resource adjusting method, device and computer readable storage medium for storing thereof
JP5786037B2 (en) * 2011-12-08 2015-09-30 株式会社日立製作所 Control method of a virtual computer and virtual machine system
AU2011384034A1 (en) 2011-12-22 2014-07-10 Schneider Electric It Corporation Systems and methods for reducing energy storage requirements in a data center
KR101696698B1 (en) * 2011-12-23 2017-01-17 한국전자통신연구원 Distribution and management method of components having reliance
JPWO2013102975A1 (en) * 2012-01-06 2015-05-11 日本電気株式会社 The virtual machine management system and virtual machine management method
US9110728B2 (en) * 2012-01-31 2015-08-18 Vmware, Inc. Elastic allocation of computing resources to software applications
US9396041B2 (en) 2012-02-01 2016-07-19 Google Technology Holdings LLC Optimization of resource usage in a multi-environment computing system
TW201336264A (en) * 2012-02-16 2013-09-01 Hon Hai Prec Ind Co Ltd Method for increasing virtual machines
JP5773066B2 (en) 2012-03-19 2015-09-02 富士通株式会社 Program, the management server and patch scheduling method
JP5914699B2 (en) * 2012-04-04 2016-05-11 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． Work load balancing of database due to migration
JP2013225204A (en) * 2012-04-20 2013-10-31 Fujitsu Frontech Ltd Load distribution method and device which automatically optimize number of operation servers based on traffic volume prediction
JP5915406B2 (en) * 2012-06-22 2016-05-11 富士通株式会社 Method of controlling a mobile terminal device, a control program and a portable terminal device
JPWO2014045549A1 (en) 2012-09-19 2016-08-18 日本電気株式会社 The information processing apparatus and machine arrangement plan generation method for generating a machine arrangement plan
CN103793276A (en) * 2012-10-31 2014-05-14 英业达科技有限公司 Load predication method and electronic device
US9727355B2 (en) * 2013-08-23 2017-08-08 Vmware, Inc. Virtual Hadoop manager
CN103428008B (en) * 2013-08-28 2016-08-10 浙江大学 Big Data for multi-user population distribution method
JP6323101B2 (en) 2014-03-20 2018-05-16 富士通株式会社 Arrangement control program, method and apparatus
US9842039B2 (en) 2014-03-31 2017-12-12 Microsoft Technology Licensing, Llc Predictive load scaling for services
US9722945B2 (en) * 2014-03-31 2017-08-01 Microsoft Technology Licensing, Llc Dynamically identifying target capacity when scaling cloud resources
JP6277827B2 (en) * 2014-03-31 2018-02-14 富士通株式会社 The information processing apparatus, scale management method and program
JP6235973B2 (en) * 2014-08-22 2017-11-22 日本電信電話株式会社 server
JP6481299B2 (en) * 2014-09-12 2019-03-13 日本電気株式会社 Monitoring device, a server, a monitoring system, monitoring method and a monitoring program
US9848041B2 (en) 2015-05-01 2017-12-19 Amazon Technologies, Inc. Automatic scaling of resource instance groups within compute clusters
US20180107503A1 (en) * 2015-05-07 2018-04-19 Nec Corporation Computer procurement predicting device, computer procurement predicting method, and recording medium
JP6430892B2 (en) * 2015-05-14 2018-11-28 株式会社Ｎｔｔファシリティーズ Power supply system, power supply method and a server
US9838332B1 (en) * 2015-06-30 2017-12-05 Spanning Cloud Apps Llc Dynamically meeting slas without provisioning static capacity
JPWO2017006384A1 (en) * 2015-07-03 2018-04-19 富士通株式会社 Virtual machine management program, the virtual machine management system and a virtual machine management method
JP6387330B2 (en) * 2015-08-21 2018-09-05 日本電信電話株式会社 Management server apparatus, and a management program
JP4800837B2 (en) * 2006-05-22 2011-10-26 株式会社日立製作所 Computer system, the power consumption reduction method, and the program
2009-10-26 JP JP2009245035A patent/JP5378946B2/en active Active
2010-02-18 US US12/708,150 patent/US8286165B2/en active Active
US20110099403A1 (en) 2011-04-28
JP2011090594A (en) 2011-05-06
US8286165B2 (en) 2012-10-09
US8756610B2 (en) 2014-06-17 Dynamically scaling multi-tier applications vertically and horizontally in a cloud environment
Kusic et al. 2009 Power and performance management of virtualized computing environments via lookahead control
Beloglazov et al. 2010 Energy efficient allocation of virtual machines in cloud data centers
ES2228607T3 (en) 2005-04-16 Management workload in a computing environment.
EP2524277B1 (en) 2017-08-02 Methods and apparatus for coordinated energy management in virtualized data centers
CN101504620A (en) 2009-08-12 Load balancing method, apparatus and system of virtual cluster system
CN1728098A (en) 2006-02-01 System and method for operating load balancers for multiple instance applications
JP2012159928A (en) 2012-08-23 Information processing device, information processing system, arrangement configuration determination method, and program and recording medium therefor
EP2572254A2 (en) 2013-03-27 Leveraging smart-meters for initiating application migration across clouds for performance and power-expenditure trade-offs
Shojafar et al. 2015 FUGE: A joint meta-heuristic approach to cloud job scheduling algorithm using fuzzy theory and a genetic method
Zheng et al. 2016 Virtual machine consolidated placement based on multi-objective biogeography-based optimization
CN102611622B (en) 2014-09-24 Dispatching method for working load of elastic cloud computing platform
JP5332065B2 (en) 2013-11-06 Cluster configuration management method, a management apparatus and program
Liao et al. 2012 Towards a green cluster through dynamic remapping of virtual machines
Sartori et al. 2009 Distributed peak power management for many-core architectures
2012-02-11 A621 Written request for application examination