(57)【要約】【課題】ネットワークのトラフィックに影響を与えることなく仮想マシンのマイグレーションを効率的に実施しうる仮想化システムの管理サーバを提供する。【解決手段】仮想マシンが動作する複数の物理サーバが接続されたネットワークを管理する管理サーバであって、ネットワークを構成する総てのリンクの使用状況を取得する情報取得部と、ネットワークの全体におけるリンクの総未使用帯域に基づき、仮想マシンのマイグレーションの並列処理数を決定し、並列処理数の仮想マシンのマイグレーションのタスクについて、仮想マシンの移動経路をそれぞれ決定する条件決定部と、条件決定部で移動経路を決定した並列処理数の仮想マシンのマイグレーションを並列して実行する実行制御部と、を有する。【選択図】図３
2017182435.tif 000002
【特許請求の範囲】
【請求項１】
仮想マシンが動作する複数の物理サーバが接続されたネットワークを管理する管理サーバであって、
前記ネットワークを構成する総てのリンクの使用状況を取得する情報取得部と、
前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定し、前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定する条件決定部と、
前記条件決定部で前記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行する実行制御部と
を有することを特徴とする管理サーバ。
【請求項２】
前記条件決定部は、前記総未使用帯域に基づいて、前記総未使用帯域のうちの所定の割合として規定される前記仮想マシンのマイグレーションへの使用可能帯域を算出し、前記使用可能帯域に基づいて、前記仮想マシンのマイグレーションの前記並列処理数を決定する
ことを特徴とする請求項１記載の管理サーバ。
【請求項３】
前記条件決定部は、前記仮想マシンの移動元の物理サーバと移動先の物理サーバとを示すリストに従い、優先度の高いタスクから順に前記移動経路を決定する
ことを特徴とする請求項１又は２記載の管理サーバ。
【請求項４】
前記リストは、省電力効果の大きいタスクほど優先度が高く設定されている
ことを特徴とする請求項３記載の管理サーバ。
【請求項５】
前記省電力効果は、前記仮想マシンのマイグレーションの前後における消費電力の差から前記仮想マシンのマイグレーションにより消費される電力を差し引いた電力量によって規定されている
ことを特徴とする請求項４記載の管理サーバ。
【請求項６】
前記条件決定部は、前記使用可能帯域と、前記仮想マシンのマイグレーションで使用する平均帯域と、前記ネットワークの平均ホップ数又は総リンク数とに基づき、前記並列処理数を決定する
ことを特徴とする請求項２乃至５のいずれか１項に記載の管理サーバ。
【請求項７】
前記条件決定部は、前記移動経路を決定する際に、使用帯域が閾値以上の前記リンクを除外して前記移動経路を決定する
ことを特徴とする請求項１乃至６のいずれか１項に記載の管理サーバ。
【請求項８】
前記条件決定部は、前記ネットワークが回線交換方式のリンクを含む場合、前記回線交換方式のリンクが２以上の前記移動経路で使用されないように、前記移動経路を決定する
ことを特徴とする請求項１乃至７のいずれか１項に記載の管理サーバ。
【請求項９】
仮想マシンが動作する複数の物理サーバと、
前記複数の物理サーバが接続されたネットワークを管理する管理サーバであって、
前記ネットワークを構成する総てのリンクの使用状況を取得する情報取得部と、
前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定し、前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定する条件決定部と、
前記条件決定部で前記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行する実行制御部と、を含む管理サーバと
を有することを特徴とする仮想化システム。
【請求項１０】
仮想マシンが動作する複数の物理サーバが接続されたネットワークを含む仮想化システムにおいて、前記仮想マシンを別の物理サーバに移動するマイグレーション方法であって、
前記ネットワークを構成する総てのリンクの使用状況を取得するステップと、
前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定するステップと、
前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定するステップと、
前記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行するステップと
を有することを特徴とするマイグレーション方法。
【請求項１１】
前記並列処理数を決定するステップでは、前記総未使用帯域に基づいて、前記総未使用帯域のうちの所定の割合として規定される前記仮想マシンのマイグレーションへの使用可能帯域を算出し、前記使用可能帯域に基づいて、前記仮想マシンのマイグレーションの前記並列処理数を決定する
ことを特徴とする請求項１０記載のマイグレーション方法。
【請求項１２】
前記仮想マシンの移動元の物理サーバと移動先の物理サーバとを示すリストを生成するステップを更に有し、
前記移動経路を決定するステップでは、前記リストに従い、優先度の高いタスクから順に前記移動経路を決定する
ことを特徴とする請求項１０又は１１記載のマイグレーション方法。
【請求項１３】
前記リストは、省電力効果の大きいタスクほど優先度が高く設定されている
ことを特徴とする請求項１２記載のマイグレーション方法。
【請求項１４】
前記省電力効果は、前記仮想マシンのマイグレーションの前後における消費電力の差から前記仮想マシンのマイグレーションにより消費される電力を差し引いた電力量によって規定されている
ことを特徴とする請求項１３記載のマイグレーション方法。
【請求項１５】
前記並列処理数を決定するステップでは、前記使用可能帯域と、前記仮想マシンのマイグレーションで使用する平均帯域と、前記ネットワークの平均ホップ数又は総リンク数とに基づき、前記並列処理数を決定する
ことを特徴とする請求項１１乃至１４のいずれか１項に記載のマイグレーション方法。
【請求項１６】
前記移動経路を決定するステップでは、使用帯域が閾値以上の前記リンクを除外して前記移動経路を決定する
ことを特徴とする請求項１０乃至１５のいずれか１項に記載のマイグレーション方法。
【請求項１７】
前記移動経路を決定するステップでは、前記ネットワークが回線交換方式のリンクを含む場合、前記回線交換方式のリンクが２以上の前記移動経路で使用されないように、前記移動経路を決定する
ことを特徴とする請求項１０乃至１６のいずれか１項に記載のマイグレーション方法。
【請求項１８】
仮想マシンが動作する複数の物理サーバが接続されたネットワークを含む仮想化システムにおいて、前記仮想マシンのマイグレーションを管理する管理サーバにおいて実行されるプログラムであって、コンピュータを、
前記ネットワークを構成する総てのリンクの使用状況を取得する情報取得手段、
前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定し、前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定する条件決定手段、
前記条件決定手段で記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行する実行制御手段
として機能させるプログラム。
【請求項１９】
請求項１８に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想化システム、仮想化システムの管理サーバ及び仮想マシンのマイグレーション方法に関する。
【背景技術】
【０００２】
データセンタなどクラウドサービスを提供する施設では、仮想化技術によって１つの物理的なコンピュータ（物理マシン）上に複数の仮想的なコンピュータ（仮想マシン）を構築することが行われている。この仮想マシンは、ある物理マシンから他の物理マシンへと移動（マイグレーション）することがある。例えば、一部の物理マシンでリソース不足が生じたときや一部の物理マシンを停止して保守作業を行うときなどに、当該物理マシン上に構築されている仮想マシンを他の物理マシンへと移動する。
【０００３】
しかしながら、仮想マシンのマイグレーションを実施する際、その仮想マシンで提供されていたサービスを停止しなければならない場合があり、サービス停止時間の短縮のために仮想マシンのマイグレーションの処理時間を短縮することが求められている。
【０００４】
特許文献１及び特許文献２には、複数の仮想マシンのマイグレーションを並列して実行することによりマイグレーション時間を短縮する方法が記載されている。また、特許文献３には、仮想マシンの最適な移動先及び移動経路を設定し、移動処理の事前検証及び移動処理に要する時間を短縮させる方法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２０１４−５３１６８９号公報
【特許文献２】特開２０１４−１４２７２０号公報
【特許文献３】特開２０１１−２３２９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１〜３に記載の方法では、仮想マシンの移動経路となるリンクの帯域は考慮しているが、ネットワーク全体のリソース利用状況は考慮していなかった。このため、仮想マシンのマイグレーションのリソースが、データセンタネットワークにおける仮想マシン間通信などのトラフィックに影響を与える可能性があった。
【０００７】
本発明の目的は、ネットワークのトラフィックに影響を与えることなく仮想マシンのマイグレーションを効率的に実施しうる仮想化システムの管理サーバ及びマイグレーション方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一観点によれば、仮想マシンが動作する複数の物理サーバが接続されたネットワークを管理する管理サーバであって、前記ネットワークを構成する総てのリンクの使用状況を取得する情報取得部と、前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定し、前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定する条件決定部と、前記条件決定部で前記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行する実行制御部と、を有する管理サーバが提供される。
【０００９】
また、本発明の他の一観点によれば、仮想マシンが動作する複数の物理サーバと、前記複数の物理サーバが接続されたネットワークを管理する管理サーバであって、前記ネットワークを構成する総てのリンクの使用状況を取得する情報取得部と、前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定し、前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定する条件決定部と、前記条件決定部で前記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行する実行制御部と、を含む管理サーバと、を有する仮想化システムが提供される。
【００１０】
また、本発明の更に他の一観点によれば、仮想マシンが動作する複数の物理サーバが接続されたネットワークを含む仮想化システムにおいて、前記仮想マシンを別の物理サーバに移動するマイグレーション方法であって、前記ネットワークを構成する総てのリンクの使用状況を取得するステップと、前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定するステップと、前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定するステップと、前記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行するステップと、を有するマイグレーション方法が提供される。
【００１１】
また、本発明の更に他の一観点によれば、仮想マシンが動作する複数の物理サーバが接続されたネットワークを含む仮想化システムにおいて、前記仮想マシンのマイグレーションを管理する管理サーバにおいて実行されるプログラムであって、コンピュータを、前記ネットワークを構成する総てのリンクの使用状況を取得する情報取得手段、前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定し、前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定する条件決定手段、前記条件決定手段で前記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行する実行制御手段、として機能させるプログラムが提供される。
【発明の効果】
【００１２】
本発明によれば、ネットワークのトラフィックに影響を与えることなく仮想マシンのマイグレーションを効率的に実施することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による仮想化システムの概略構成を示すブロック図である。
【図２】本発明の一実施形態による仮想化システムにおける管理サーバのハードウェア構成例を示すブロック図である。
【図３】本発明の一実施形態による仮想化システムにおける仮想マシンのマイグレーション方法を示すフローチャート（その１）である。
【図４】ＶＭマイグレーションリストの一例を示す図である。
【図５】本発明の一実施形態による仮想化システムにおける仮想マシンのマイグレーション方法を示すフローチャート（その２）である。
【図６】本発明の一実施形態による仮想化システムにおける仮想マシンのマイグレーション方法を示すフローチャート（その３）である。
【図７】ＶＭマイグレーション後における仮想化システムの状態を示すブロック図である。
【図８】本発明の一実施形態による管理サーバの概略構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
本発明の一実施形態による仮想化システムについて、図１乃至図７を用いて説明する。図１は、本実施形態による仮想化システムの概略構成を示すブロック図である。図２は、本実施形態による仮想化システムにおける管理サーバのハードウェア構成例を示すブロック図である。図３，５，６は、本実施形態による仮想化システムにおける仮想マシンのマイグレーション方法を示すフローチャートである。図４は、ＶＭマイグレーションリストの一例を示す図である。図７は、マイグレーション後における仮想化システムの状態を示すブロック図である。
【００１５】
はじめに、本実施形態による仮想化システムについて、図１を用いて説明する。
本実施形態による仮想化システム１００は、図１に示すように、管理サーバ１０と、複数の物理サーバ２０と、ネットワーク４０とを備えている。図１には、複数の物理サーバ２０として、物理サーバ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ，２０Ｆを例示しているが、物理サーバ２０の数はこれに限定されるものではない。
【００１６】
それぞれの物理サーバ２０は、図示しない仮想化ソフトウェア（ハイパーバイザ）によってそのメモリ内に一又は複数の仮想マシン（ＶＭ：Virtual Machine）３０を構築可能である。図１の例では、物理サーバ２０Ａ内に、仮想マシン３０Ａ，３０Ｂ，３０Ｃが構築されている。また、物理サーバ２０Ｂ内に、仮想マシン３０Ｄ，３０Ｅが構築されている。また、物理サーバ２０Ｃ内に、仮想マシン３０Ｆが構築されている。また、物理サーバ２０Ｄ内に、仮想マシン３０Ｇ，３０Ｈが構築されている。また、物理サーバ２０Ｅ内に、仮想マシン３０Ｉが構築されている。物理サーバ２０Ｆには、仮想マシン３０は構築されていない。図１の例では、１つの物理サーバ２０に最多で３つの仮想マシン３０を構築しているが、１つの物理サーバ２０に構築可能な仮想マシン３０の数は、これに限定されるものではない。
【００１７】
ネットワーク４０は、物理サーバ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ，２０Ｆ間に設けられており、複数のノード４２と、ノード４２間を接続する複数のリンクとを含む。ノード４２は、ルータやスイッチによって構成される。図１には、ノード４２Ａ，４２Ｂ，４２Ｃ，４２Ｄ，４２Ｅ，４２Ｆ，４２Ｇ，４２Ｈ，４２Ｉを含むネットワーク４０を例示している。なお、ネットワーク４０を構成するノード４２の数、配置及びリンクによる接続関係は、図１の例に限定されるものではなく、例えば物理サーバ２０の数や配置等に応じて適宜変更することができる。
【００１８】
図１の例では、ノード４２Ａは、物理サーバ２０Ａと、ノード４２Ｂと、ノード４２Ｄとの間の接続を切り替える機能を備える。ノード４２Ｂは、物理サーバ２０Ｂと、ノード４２Ａと、ノード４２Ｃと、ノード４２Ｅとの間の接続を切り替える機能を備える。ノード４２Ｃは、物理サーバ２０Ｃと、ノード４２Ｂと、ノード４２Ｆとの間の接続を切り替える機能を備える。ノード４２Ｄは、ノード４２Ａと、ノード４２Ｅと、ノード４２Ｇとの間の接続を切り替える機能を備える。ノード４２Ｅは、ノード４２Ｂと、ノード４２Ｄと、ノード４２Ｆと、ノード４２Ｈとの間の接続を切り替える機能を備える。ノード４２Ｆは、ノード４２Ｃと、ノード４２Ｅと、ノード４２Ｉとの間の接続を切り替える機能を備える。ノード４２Ｇは、ノード４２Ｄと、ノード４２Ｈと、物理サーバ２０Ｄとの間の接続を切り替える機能を備える。ノード４２Ｈは、ノード４２Ｅと、ノード４２Ｇと、ノード４２Ｉと、物理サーバ２０Ｅとの間の接続を切り替える機能を備える。ノード４２Ｉは、ノード４２Ｆと、ノード４２Ｈと、物理サーバ２０Ｆとの間の接続を切り替える機能を備える。
【００１９】
管理サーバ１０は、情報取得部１２と、条件決定部１４と、実行制御部１６と、を備える。管理サーバ１０は、管理用ネットワーク４４を介して、物理サーバ２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ，２０Ｆと、ノード４２Ａ，４２Ｂ，４２Ｃ，４２Ｄ，４２Ｅ，４２Ｆ，４２Ｇ，４２Ｈ，４２Ｉと、に接続されている。
【００２０】
情報取得部１２は、管理用ネットワーク４４を介して、ネットワーク４０の状況、具体的には、システム内のネットワークトポロジ、各リンクの使用状況、物理サーバ２０の配置場所、仮想マシン３０の稼働状況等を監視し、把握する機能を備える。ネットワークトポロジには、ネットワーク４０内におけるノード４２及びノード４２間を接続するリンクの物理的な配列に関する情報が含まれる。リンクの使用状況には、それぞれのリンクの全帯域のうちどの程度の帯域が使用されているかを示す情報が含まれる。物理サーバ２０の配置場所には、各物理サーバ２０がどのノード４２に接続されているかを示す情報が含まれる。仮想マシン３０の稼働状況には、各物理サーバ２０に構築されている仮想マシン３０の数や動作状態を示す情報が含まれる。情報取得部１２は、また、システムの管理者からの指示を受信する機能を備える。
【００２１】
条件決定部１４は、情報取得部１２により取得された情報に応じて、仮想マシン３０のマイグレーションを実行する条件を決定する機能を備える。条件決定部１４は、マイグレーション対象の仮想マシン３０に関する情報を記録するＶＭマイグレーションリストや、情報取得部１２を介してネットワークから受信した種々の情報を記録するメモリを備えることができる。
【００２２】
実行制御部１６は、管理用ネットワーク４４を介して、物理サーバ２０及びノード４２を含むネットワーク４０を制御し、条件決定部１４で決定された条件に従って仮想マシン３０のマイグレーションの実行を制御する機能を備える。
【００２３】
管理サーバ１０は、図２に示すように、一般的なコンピュータ装置と同様のハードウェア構成からなり、ＣＰＵ（Central Processing Unit）２００、主記憶部２０２、通信部２０４、入出力インターフェース部２０６を備える。ＣＰＵ２００は、管理サーバ１０の全体的な制御や演算処理を司る制御・演算装置である。主記憶部２０２は、データの作業領域やデータの一時退避領域に用いられる記憶部であり、ＲＡＭ（Random Access Memory）等のメモリにより構成される。通信部２０４は、ネットワークを介してデータの送受信を行うためのインターフェースである。入出力インターフェース部２０６は、外部の出力装置２１０、入力装置２１２、記憶装置２１４等と接続してデータの送受信を行うためのインターフェースである。ＣＰＵ２００、主記憶部２０２、通信部２０４及び入出力インターフェース部２０６は、システムバス２０８によって相互に接続されている。記憶装置２１４は、例えばＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリから構成されるハードディスク装置等で構成することができる。
【００２４】
本実施形態による管理サーバ１０の各機能は、プログラムを組み込んだＬＳＩ（Large Scale Integration）等のハードウェア部品である回路部品を実装することにより、ハードウェア的に実現することができる。或いは、その機能を提供するプログラムを、記憶装置２１４に格納し、そのプログラムを主記憶部２０２にロードしてＣＰＵ２００で実行することにより、ソフトウェア的に実現することも可能である。
【００２５】
次に、本実施形態による仮想化システムにおける仮想マシンのマイグレーション方法について、図１乃至図７を用いて説明する。
【００２６】
本実施形態による仮想マシンのマイグレーション（以下、「ＶＭマイグレーション」と表記する）は、管理サーバ１０により、図３に示すフローチャートのステップＳ３０１からステップＳ３０６に従って実施される。ステップＳ３０１は、ＶＭマイグレーションの契機となる情報を受信するステップである。ステップＳ３０２は、ＶＭマイグレーションリストを作成するステップである。Ｓ３０３は、ＶＭマイグレーションの並列処理数を決定するステップである。ステップＳ３０４は、マイグレーション経路を決定するステップである。ステップＳ３０５は、ＶＭマイグレーションを実行するステップである。ステップＳ３０６は、ＶＭマイグレーションの総てのタスクが終了したかどうかを判断するステップである。
【００２７】
管理サーバ１０は、情報取得部１２がＶＭマイグレーションの契機となる情報を受信することに応じて、ＶＭマイグレーションの処理を開始する（ステップＳ３０１）。ＶＭマイグレーションの契機としては、例えば、管理者から入力装置２１２を介してＶＭマイグレーションの指示があった場合や、情報取得部１２によるネットワーク４０の監視の結果、ＶＭマイグレーションが必要と判断された場合等が挙げられる。前者の例としては、特定の物理サーバ２０のメンテナンスのために当該物理サーバ２０上の仮想マシンを他の物理サーバ２０に移動する場合等が考えられる。後者の例としては、特定の物理サーバ２０のＣＰＵ使用率が基準値を超えた場合に、当該物理サーバ２０上の仮想マシン３０を他の物理サーバ２０に移動する場合等が考えられる。
【００２８】
管理サーバ１０は、ＶＭマイグレーションの契機となる情報を受信すると、条件決定部１４において、受信した情報に基づいてＶＭマイグレーションリストを作成する（ステップＳ３０２）。ＶＭマイグレーションリストとは、マイグレーションの必要な仮想マシン３０の移動元の物理サーバ２０と移動先の物理サーバ２０とを示すレコードをリストにしたものである。
【００２９】
ＶＭマイグレーションの契機となる情報には、マイグレーションを実行する仮想マシン３０に関する情報が含まれている。管理サーバ１０は、例えば物理サーバ２０に割り振られた管理番号順などにより、ＶＭマイグレーションを実行する仮想マシン３０を順次ピックアップしていく。次いで、ピックアップされた仮想マシン３０の移動先となる物理サーバ２０を選択する。移動先の仮想マシン３０を選択する方法は、特に限定されるものではないが、例えば、物理サーバ２０に割り振られた管理番号順に、仮想マシン３０を移動可能な物理サーバ２０を探していく方法が挙げられる。或いは、消費電力低減の観点から、移動対象の仮想マシン３０をぎりぎりにパッキングできる物理サーバ２０を選択するようにしてもよい。仮想マシン３０が構築される物理サーバ２０の数を減らすことで、消費電力を低減することが可能である。或いは、管理者が任意の物理サーバ２０を移動先の物理サーバ２０として選択するようにしてもよい。このようにして、マイグレーションを実行する総ての仮想マシン３０について、移動元の物理サーバ２０の情報と移動先の物理サーバ２０の情報とを含むレコードをそれぞれ作成し、リスト化する。
【００３０】
ＶＭマイグレーションを実行する総ての仮想マシン３０について移動元の物理サーバ２０の情報と移動先の物理サーバ２０の情報とを含むレコードを作成した後、必要に応じて、各レコードの優先順位付けを行う。例えば、より省電力効果が高いＶＭマイグレーションのタスクが上位になるように、レコードを順番に並べることができる。なお、省電力効果は、例えば、ＶＭマイグレーション前の消費電力とＶＭマイグレーション後に見込まれる消費電力との差からＶＭマイグレーションによって消費されると見込まれる電力量を差し引いた電力量に基づいて評価することができる。算出された電力量が大きいほど、省電力効果が高いといえる。省電力効果が高いタスクを優先して処理することにより、ＶＭマイグレーションの実行期間におけるトータルの消費電力を低減することができる。
【００３１】
図４は、このようにして作成されたＶＭマイグレーションリストの一例である。この例では、最も優先度の高いレコード（実行順位が１）として、仮想マシン３０Ｃを、物理サーバ２０Ａから物理サーバ２０Ｆに移動するタスクが挙げられている。また、次に優先度の高いレコード（実行順位が２）として、仮想マシン３０Ｂを、物理サーバ２０Ａから物理サーバ２０Ｅに移動するタスクが挙げられている。また、次に優先度の高いレコード（実行順位が３）として、仮想マシン３０Ｈを、物理サーバ２０Ｄから物理サーバ２０Ｃに移動するタスクが挙げられている。また、次に優先度の高いレコード（実行順位が４）として、仮想マシン３０Ｅを、物理サーバ２０Ｂから物理サーバ２０Ｆに移動するタスクが挙げられている。なお、図４においては、図面との関係を判りやすくするために、図１で使用した符号によって仮想マシン３０及び物理サーバ２０を表している。実際のＶＭマイグレーションリストには、仮想マシンのＩＤやハイパーバイザのＩＰアドレスなどの仮想化システム１００内で使用される情報が用いられる。
【００３２】
次いで、管理サーバ１０は、ネットワーク４０の各リンクの使用状況に基づき、ＶＭマイグレーションの並列処理数を決定する（ステップＳ３０３）。ＶＭマイグレーションの並列処理数とは、ＶＭマイグレーションのタスクを複数並列して実行する際のタスク数の上限値である。
【００３３】
ＶＭマイグレーションの並列処理数の決定は、管理サーバ１０の条件決定部１４により、図５に示すフローチャートのステップＳ５０１からステップＳ５０４に従って実施される。ステップＳ５０１は、ネットワーク４０の各リンクの使用帯域を測定するステップである。ステップＳ５０２は、ネットワーク４０の全体での使用帯域を算出するステップである。ステップＳ５０３は、ＶＭマイグレーションで使用可能な帯域を算出するステップである。ステップＳ５０４は、ＶＭマイグレーションの並列処理数の上限値を算出するステップである。
【００３４】
管理サーバ１０は、管理用ネットワーク４４を介して、ネットワーク４０の総てのリンクについて、使用帯域Ｂ［Ｇｂｐｓ］をそれぞれ測定する（ステップＳ５０１）。例えば、図１に示すネットワーク４０の場合、管理サーバ１０は、９個のノード４２の間を接続している１２個のリンクについて、使用帯域Ｂをそれぞれ測定する。
【００３５】
次いで、管理サーバ１０は、測定した各リンクの使用帯域Ｂから、ネットワークの全体での使用帯域を算出する（ステップＳ５０２）。ネットワーク４０内のリンクの総数がＬの場合に、ネットワーク４０の各リンクに１番目からＬ番目までの番号を付し、ｉ番目のリンクにおける使用帯域ＢをＢｉと表記すると、ネットワーク４０の全体での使用帯域は、ΣＢｉ（ｉ＝１〜Ｌ）となる。
【００３６】
次いで、管理サーバ１０は、算出したネットワーク４０の全体での使用帯域ΣＢｉを元に、ＶＭマイグレーションで使用可能な帯域を算出する（ステップＳ５０３）。ＶＭマイグレーションで使用可能な帯域Ｂ＿ａは、ネットワーク４０の総キャパシティをＣ［Ｇｂｐｓ］、マイグレーション使用可能率をＡ［％］として、以下のように表すことができる。なお、Ｃ−ΣＢｉは、ネットワーク４０の全体におけるリンクの総未使用帯域に相当する。
Ｂ＿ａ＝（Ｃ−ΣＢｉ）×Ａ／１００  ［Ｇｂｐｓ］
【００３７】
マイグレーション使用可能率Ａとは、ネットワーク４０の全体の未使用帯域のうち、ＶＭマイグレーションに使用する帯域を決めるためのパラメータである。ネットワーク４０の全体の未使用帯域の総てをＶＭマイグレーションに使用すると仮想マシン３０間の通信などのトラフィックに影響を与える虞があるため、ネットワーク４０の全体の未使用帯域の一部をＶＭマイグレーションに使用する。マイグレーション使用可能率Ａは、予め定められた値でもよいし、システム全体の使用状況等に応じて適切な値に設定するようにしてもよい。例えば、システム全体の稼動率が低い（仮想マシンの稼働数が少ない）ほど、マイグレーション使用可能率Ａを高い値に設定することができる。
【００３８】
一例として、図１に示される構成のネットワーク４０において、各リンクの帯域が１００［Ｇｂｐｓ］の場合を想定する。この場合、ネットワーク４０内の総リンク数Ｌは１２であり、ネットワーク４０の総キャパシティＣは、１２００［Ｇｂｐｓ］となる。例えば、ネットワーク４０の全体での使用帯域ΣＢｉが１００［Ｇｂｐｓ］、マイグレーション使用可能率Ａが３０［％］であるとすると、ＶＭマイグレーションに使用可能な帯域Ｂ＿ａは、以下のようになる。
Ｂ＿ａ＝（１２００−１００）×０．３＝３３０  ［Ｇｂｐｓ］
【００３９】
次いで、管理サーバ１０は、ステップＳ５０３で算出されたＶＭマイグレーションに使用可能な帯域Ｂ＿ａに基づき、ＶＭマイグレーションの並列処理数の上限値を算出する（ステップＳ５０４）。ＶＭマイグレーションの並列処理数の上限値は、例えば、ＶＭマイグレーションに使用可能な帯域Ｂ＿ａと、各リンクでＶＭマイグレーションが使用する平均帯域Ｂ＿ｍｐｌと、ネットワーク４０の平均ホップ数Ｈ又は総リンク数Ｌとから算出することができる。すなわち、ＶＭマイグレーションの並列処理数の上限値Ｎは、以下のように表すことができる。なお、「ＩＮＴ」は、小数点以下を切り捨てて整数にする関数である。
Ｎ＝ＩＮＴ（Ｂ＿ａ／（Ｂ＿ｍｐｌ×Ｈ（又はＬ）））
【００４０】
平均ホップ数Ｈとは、ネットワーク４０内の一の物理サーバ２０と他の一の物理サーバ２０との間の経路のホップ数のうちの最小のホップ数を、総ての物理サーバ２０の組み合わせについて算出し、これらを平均したものである。或いは、平均ホップ数Ｈは、ネットワーク４０内の一の物理サーバ２０と他の一の物理サーバ２０との間の経路のホップ数のうちの最小のホップ数を、そのときに稼動している総ての物理サーバ２０の組み合わせについて算出し、これらを平均したものとして定義することもできる。図１に示すネットワーク４０の例では、６つの物理サーバ２０が総て稼動しているときの平均ホップ数は、３．４となる。
【００４１】
上述の例において、ＶＭマイグレーションが１つのリンクで使用する平均帯域Ｂ＿ｍｐｌを１０［Ｇｂｐｓ］、平均ポップ数を３．４とすると、ＶＭマイグレーションの並列処理数の上限値Ｎは、以下のように表すことができる。
Ｎ＝ＩＮＴ（３３０／（１０×３．４））＝ＩＮＴ（９．７）＝９
【００４２】
或いは、ＶＭマイグレーションが１つのリンクで使用する平均帯域Ｂ＿ｍｐｌを１０［Ｇｂｐｓ］、ネットワークの総リンク数Ｌを１２とすると、ＶＭマイグレーションの並列処理数の上限値Ｎは、以下のように表すことができる。
Ｎ＝ＩＮＴ（３３０／（１０×１２））＝ＩＮＴ（２．８）＝２
【００４３】
ネットワーク４０の総リンク数Ｌから算出されるＶＭマイグレーションの並列処理数は、システム全体の稼動率が高く最短の経路を介したＶＭマイグレーションが困難な場合のような、厳しい条件下においても実現可能な並列処理数の上限値であるといえる。一方、ネットワーク４０の平均ホップ数から算出されるＶＭマイグレーションの並列処理数の上限値Ｎは、システム全体の稼動率が低く最短の経路を介したＶＭマイグレーションが可能な場合において可能な並列処理数の上限値であるといえる。ＶＭマイグレーションの並列処理数の算出にどちらのパラメータを用いるかは、システム全体の稼動率等に応じて適宜選択することができる。或いは、システム全体の稼動率に応じて、平均ホップ数から算出される並列処理数と総リンク数から算出される並列処理数との間の範囲内の適切な並列処理数を選択する構成とすることも可能である。
【００４４】
次いで、管理サーバ１０は、移動対象の各仮想マシン３０について、マイグレーション経路を決定する（ステップＳ３０４）。マイグレーション経路の決定は、管理サーバ１０の条件決定部１４により、図６に示すフローチャートのステップＳ６０１からステップＳ６０７に従って実施される。ステップＳ６０１は、ＶＭマイグレーションリストの最初のレコードを指定するステップである。ステップＳ６０２は、ＶＭマイグレーションリストの指定されたレコードを参照し、仮想マシン３０の移動元の物理サーバ２０と移動先の物理サーバ２０とを確認するステップである。ステップＳ６０３は、ネットワーク４０の各リンクの使用率に基づき、移動元の物理サーバ２０から移動先の物理サーバ２０までの経路を決定するステップである。ステップＳ６０４は、ステップＳ６０３において経路を決定できたかどうかを判断するステップである。ステップＳ６０５は、移動経路を決定した仮想マシン３０の数が並列処理数に達したかどうかを判断するステップである。ステップＳ６０６は、ＶＭマイグレーションリストの最後のレコードに達したかどうかを判断するステップである。ステップＳ６０７は、ＶＭマイグレーションリストの次のレコードを指定するステップである。
【００４５】
管理サーバ１０は、ＶＭマイグレーションリストに含まれる複数のタスクについて、最初のレコードのタスクから順番に仮想マシン３０のマイグレーション経路を設定していく。タスクに優先順位が付けられている場合、最も優先順位の高いタスクが、ＶＭマイグレーションリストの最初のレコードに該当する。管理サーバ１０は、まず、ＶＭマイグレーションリストのうちの最初のレコードを指定する（ステップＳ６０１）。
【００４６】
次いで、管理サーバ１０は、ＶＭマイグレーションリストの指定されたレコードを参照し、参照したレコードの内容に基づき、移動対象の仮想マシン３０、移動元の物理サーバ２０、移動先の物理サーバ２０を確認する（ステップＳ６０２）。
【００４７】
次いで、管理サーバ１０は、ネットワーク４０の各リンクのリンク使用率に基づいて、移動元の物理サーバ２０から移動先の物理サーバ２０に至る経路を決定する（ステップＳ６０３）。経路の計算には、例えば、ダイクストラ法などの最短経路計算アルゴリズムを使用することができる。その際、各リンクに、リンクの物理的な長さやリンク使用率等に応じた重み付けを行ってもよい。また、リンク使用率に対する閾値を予め設定しておき、リンク使用率がこの閾値を超えているリンクについては経路として選択しないようにしてもよい。また、ネットワーク４０が回線交換方式のリンクを含む場合は、当該リンクについて経路が重ならないように、並列処理を行うタスクの経路を設定する。
【００４８】
次いで、管理サーバ１０は、ステップＳ６０３の処理によって移動元の物理サーバ２０から移動先の物理サーバ２０に至る経路を決定できたかどうかを判断する（ステップＳ６０４）。その結果、ステップＳ６０３において経路を決定できた場合にはステップＳ６０５の処理に移行し、ステップＳ６０３において経路を決定できなかった場合にはステップＳ６０６の処理に移行する。
【００４９】
ステップＳ６０３の処理によって経路を決定できた場合には、管理サーバ１０は、移動経路を決定した仮想マシン３０の数がステップＳ３０３において決定した並列処理数に達したかどうかを判断する（ステップＳ６０５）。その結果、並列処理数に達している場合には、マイグレーション経路の決定の処理を終了し、ステップＳ３０５以降の処理を継続する。並列処理数に達していない場合には、ＶＭマイグレーションリストの次のレコードを指定し（ステップＳ６０７）、ステップＳ６０２からの処理を繰り返し実施する。
【００５０】
ステップＳ６０３の処理によって経路を決定できなかった場合には、管理サーバ１０は、指定されているレコードが最後のレコードかどうかを判断する（ステップＳ６０６）。その結果、最後のレコードである場合には、マイグレーション経路の決定の処理を終了し、ステップＳ３０５以降の処理を継続する。最後のレコードでない場合には、ＶＭマイグレーションリストの次のレコードを指定し（ステップＳ６０７）、ステップＳ６０２以降の処理を繰り返し実施する。
【００５１】
このようにして、ステップＳ３０４の一連の処理により、並列して一度にＶＭマイグレーションを実施可能な仮想マシン３０について、移動元の物理サーバ２０から移動先の物理サーバ２０に至る経路を決定する。
【００５２】
次いで、管理サーバ１０は、実行制御部１６により、ステップＳ３０４において移動元の物理サーバ２０から移動先の物理サーバ２０に至る経路を決定できた仮想マシン３０について、ＶＭマイグレーションを並列して実行する（ステップＳ３０５）。この際、それぞれの経路を実現するためのネットワーク４０の各ノード４２は、ネットワーク制御技術、例えばオープンフロー（OpenFlow）技術を用い、管理サーバ１０の実行制御部１６によって集中管理することができる。
【００５３】
次いで、管理サーバ１０は、ＶＭマイグレーションリストに列挙されている総てのタスクについてＶＭマイグレーションが終了したかどうかを判断する（ステップＳ３０６）。その結果、総てのタスクについて処理が終了している場合には、一連のＶＭマイグレーションの処理を終了する。総てのタスクについて処理が終了していない場合には、終了したタスクに対応するレコードを除いたＶＭマイグレーションリストに更新し、ステップＳ３０３以降の処理を繰り返し実施する。
【００５４】
このようにして、ＶＭマイグレーションリストに列挙されている総てのタスクについて、ＶＭマイグレーションの処理を実施する。図７は、図１に示す状態において、図４に示すＶＭマイグレーションリストに従ってＶＭマイグレーションを行った後の状態を示している。
【００５５】
このように、本実施形態では、ネットワークの全体におけるリンクの総未使用帯域のうちの所定の割合として規定される仮想マシンのマイグレーションへの使用可能帯域を算出する。そして、算出した使用可能帯域に基づいて、仮想マシンのマイグレーションの並列処理数を決定している。したがって、ネットワークのトラフィックのための帯域を十分に確保しつつ、仮想マシンのマイグレーションを効率的に実施することができる。
【００５６】
図８は、上記実施形態に係る管理サーバ１０の概略構成図である。管理サーバ１０は、仮想マシンが動作する複数の物理サーバが接続されたネットワークを管理する機能を備える。管理サーバ１０は、情報取得部１２と、条件決定部１４と、実行制御部１６とを含む。情報取得部１２は、ネットワークを構成する総てのリンクの使用状況を取得する。条件決定部１４は、ネットワークの全体におけるリンクの総未使用帯域に基づき、仮想マシンのマイグレーションの並列処理数を決定する。また、条件決定部１４は、並列処理数の仮想マシンのマイグレーションのタスクについて、仮想マシンの移動経路をそれぞれ決定する。実行制御部１６は、条件決定部１４で移動経路を決定した並列処理数の仮想マシンのマイグレーションを並列して実行する。
【００５７】
本発明は、上記実施形態に限らず種々の変形が可能である。
【００５８】
例えば、上記実施形態で説明した仮想マシンのマイグレーションは、いわゆるライブマイグレーションに適用することも可能である。ライブマイグレーションに適用する場合には、例えば、上述のマイグレーション処理の後、マイグレーション処理の開始から終了までの期間に移動元の仮想マシン３０で生じた情報の差分を、移動先の仮想マシン３０に書き込む処理を実施すればよい。
【００５９】
また、上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
【００６０】
該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【００６１】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００６２】
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００６３】
（付記１）
仮想マシンが動作する複数の物理サーバが接続されたネットワークを管理する管理サーバであって、
前記ネットワークを構成する総てのリンクの使用状況を取得する情報取得部と、
前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定し、前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定する条件決定部と、
前記条件決定部で前記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行する実行制御部と
を有することを特徴とする管理サーバ。
【００６４】
（付記２）
前記条件決定部は、前記総未使用帯域に基づいて、前記総未使用帯域のうちの所定の割合として規定される前記仮想マシンのマイグレーションへの使用可能帯域を算出し、前記使用可能帯域に基づいて、前記仮想マシンのマイグレーションの前記並列処理数を決定する
ことを特徴とする付記１記載の管理サーバ。
【００６５】
（付記３）
前記条件決定部は、前記仮想マシンの移動元の物理サーバと移動先の物理サーバとを示すリストに従い、優先度の高いタスクから順に前記移動経路を決定する
ことを特徴とする付記１又は２記載の管理サーバ。
【００６６】
（付記４）
前記リストは、省電力効果の大きいタスクほど優先度が高く設定されている
ことを特徴とする付記３記載の管理サーバ。
【００６７】
（付記５）
前記省電力効果は、前記仮想マシンのマイグレーションの前後における消費電力の差から前記仮想マシンのマイグレーションにより消費される電力を差し引いた電力量によって規定されている
ことを特徴とする付記４記載の管理サーバ。
【００６８】
（付記６）
前記条件決定部は、前記使用可能帯域と、前記仮想マシンのマイグレーションで使用する平均帯域と、前記ネットワークの平均ホップ数又は総リンク数とに基づき、前記並列処理数を決定する
ことを特徴とする付記２乃至５のいずれか１項に記載の管理サーバ。
【００６９】
（付記７）
前記条件決定部は、前記移動経路を決定する際に、使用帯域が閾値以上の前記リンクを除外して前記移動経路を決定する
ことを特徴とする付記１乃至６のいずれか１項に記載の管理サーバ。
【００７０】
（付記８）
前記条件決定部は、前記ネットワークが回線交換方式のリンクを含む場合、前記回線交換方式のリンクが２以上の前記移動経路で使用されないように、前記移動経路を決定する
ことを特徴とする付記１乃至７のいずれか１項に記載の管理サーバ。
【００７１】
（付記９）
仮想マシンが動作する複数の物理サーバと、
前記複数の物理サーバが接続されたネットワークを管理する管理サーバであって、
前記ネットワークを構成する総てのリンクの使用状況を取得する情報取得部と、
前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定し、前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定する条件決定部と、
前記条件決定部で前記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行する実行制御部と、を含む管理サーバと
を有することを特徴とする仮想化システム。
【００７２】
（付記１０）
前記条件決定部は、前記総未使用帯域に基づいて、前記総未使用帯域のうちの所定の割合として規定される前記仮想マシンのマイグレーションへの使用可能帯域を算出し、前記使用可能帯域に基づいて、前記仮想マシンのマイグレーションの前記並列処理数を決定する
ことを特徴とする付記９記載の仮想化システム。
【００７３】
（付記１１）
前記条件決定部は、前記仮想マシンの移動元の物理サーバと移動先の物理サーバとを示すリストに従い、優先度の高いタスクから順に前記移動経路を決定する
ことを特徴とする付記９又は１０記載の仮想化システム。
【００７４】
（付記１２）
前記リストは、省電力効果の大きいタスクほど優先度が高く設定されている
ことを特徴とする付記１１記載の仮想化システム。
【００７５】
（付記１３）
前記省電力効果は、前記仮想マシンのマイグレーションの前後における消費電力の差から前記仮想マシンのマイグレーションにより消費される電力を差し引いた電力量によって規定されている
ことを特徴とする付記１２記載の仮想化システム。
【００７６】
（付記１４）
前記条件決定部は、前記使用可能帯域と、前記仮想マシンのマイグレーションで使用する平均帯域と、前記ネットワークの平均ホップ数又は総リンク数とに基づき、前記並列処理数を決定する
ことを特徴とする付記１０乃至１３のいずれか１項に記載の仮想化システム。
【００７７】
（付記１５）
前記条件決定部は、前記移動経路を決定する際に、使用帯域が閾値以上の前記リンクを除外して前記移動経路を決定する
ことを特徴とする付記９乃至１４のいずれか１項に記載の仮想化システム。
【００７８】
（付記１６）
前記条件決定部は、前記ネットワークが回線交換方式のリンクを含む場合、前記回線交換方式のリンクが２以上の前記移動経路で使用されないように、前記移動経路を決定する
ことを特徴とする付記９乃至１５のいずれか１項に記載の仮想化システム。
【００７９】
（付記１７）
仮想マシンが動作する複数の物理サーバが接続されたネットワークを含む仮想化システムにおいて、前記仮想マシンを別の物理サーバに移動するマイグレーション方法であって、
前記ネットワークを構成する総てのリンクの使用状況を取得するステップと、
前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定するステップと、
前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定するステップと、
前記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行するステップと
を有することを特徴とするマイグレーション方法。
【００８０】
（付記１８）
前記並列処理数を決定するステップでは、前記総未使用帯域に基づいて、前記総未使用帯域のうちの所定の割合として規定される前記仮想マシンのマイグレーションへの使用可能帯域を算出し、前記使用可能帯域に基づいて、前記仮想マシンのマイグレーションの前記並列処理数を決定する
ことを特徴とする付記１７記載のマイグレーション方法。
【００８１】
（付記１９）
前記仮想マシンの移動元の物理サーバと移動先の物理サーバとを示すリストを生成するステップを更に有し、
前記移動経路を決定するステップでは、前記リストに従い、優先度の高いタスクから順に前記移動経路を決定する
ことを特徴とする付記１７又は１８記載のマイグレーション方法。
【００８２】
（付記２０）
前記リストは、省電力効果の大きいタスクほど優先度が高く設定されている
ことを特徴とする付記１９記載のマイグレーション方法。
【００８３】
（付記２１）
前記省電力効果は、前記仮想マシンのマイグレーションの前後における消費電力の差から前記仮想マシンのマイグレーションにより消費される電力を差し引いた電力量によって規定されている
ことを特徴とする付記２０記載のマイグレーション方法。
【００８４】
（付記２２）
前記並列処理数を決定するステップでは、前記使用可能帯域と、前記仮想マシンのマイグレーションで使用する平均帯域と、前記ネットワークの平均ホップ数又は総リンク数とに基づき、前記並列処理数を決定する
ことを特徴とする付記１８乃至２１のいずれか１項に記載のマイグレーション方法。
【００８５】
（付記２３）
前記移動経路を決定するステップでは、使用帯域が閾値以上の前記リンクを除外して前記移動経路を決定する
ことを特徴とする付記１７乃至２２のいずれか１項に記載のマイグレーション方法。
【００８６】
（付記２４）
前記移動経路を決定するステップでは、前記ネットワークが回線交換方式のリンクを含む場合、前記回線交換方式のリンクが２以上の前記移動経路で使用されないように、前記移動経路を決定する
ことを特徴とする付記１７乃至２３のいずれか１項に記載のマイグレーション方法。
【００８７】
（付記２５）
仮想マシンが動作する複数の物理サーバが接続されたネットワークを含む仮想化システムにおいて、前記仮想マシンのマイグレーションを管理する管理サーバにおいて実行されるプログラムであって、コンピュータを、
前記ネットワークを構成する総てのリンクの使用状況を取得する情報取得手段、
前記ネットワークの全体における前記リンクの総未使用帯域に基づき、前記仮想マシンのマイグレーションの並列処理数を決定し、前記並列処理数の前記仮想マシンのマイグレーションのタスクについて、前記仮想マシンの移動経路をそれぞれ決定する条件決定手段、
前記条件決定手段で前記移動経路を決定した前記並列処理数の前記仮想マシンのマイグレーションを並列して実行する実行制御手段
として機能させるプログラム。
【００８８】
（付記２６）
付記２５に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【符号の説明】
【００８９】
１０…管理サーバ
２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ，２０Ｆ…物理サーバ
３０，３０Ａ，３０Ｂ，３０Ｃ，３０Ｄ，３０Ｅ，３０Ｆ，３０Ｇ，３０Ｈ，３０Ｉ…仮想マシン
４０…ネットワーク
４２，４２Ａ，４２Ｂ，４２Ｃ，４２Ｄ，４２Ｅ，４２Ｆ，４２Ｇ，４２Ｈ，４２Ｉ…ノード
４４…管理用ネットワーク
１００…仮想化システム
【図１】
2017182435.tif 000003
【図２】
2017182435.tif 000004
【図３】
2017182435.tif 000005
【図４】
2017182435.tif 000006
【図５】
2017182435.tif 000007
【図６】
2017182435.tif 000008
【図７】
2017182435.tif 000009
【図８】
2017182435.tif 000010