地理的条件を考慮した分散型データセンターの持続可能な運用法
代表研究者

鮫 島 正樹大阪大学 大学院情報科学研究科 マルチメディア工学専攻 助教

1 はじめに社会がよりクリーンなエネルギーへと転換を図るなか、消費電力が年々増加しているデータセンターにおいて、自然エネルギーを利用することが重要な課題となっている。自然エネルギーを活用するため、データセンターの設備の面では、太陽光パネルや外気を利用した冷却機器の設置等が行われている。また、データセンターの運用の面では、自然エネルギーを利用するための設備を活かすように、太陽光発電量に応じて稼働させるサーバの数を変更する Follow-the-Sun と呼ばれる運用方式を用いたり、冷涼な地域において多くのサーバを稼働させたりしている。特に、地理的に離れた拠点に複数のデータセンターを配置する分散型デー
タセンターは、発電のための太陽光や冷却のための冷気を利用できる拠点数を増加できるため、自然エネルギーをより安定して利用する運用形態として着目されている[1][2]。また分散型データセンターでは、ある一箇所で大規模災害が発生しても、他の拠点でサービスを継続できることから、耐災害性という観点で一極集中型データセンターよりも優れている。このような背景から、安価に設置可能なコンテナ型データセンターの開発が急速に進んでおり、これらを分散配置した分散型データセンターが普及することが予想される。
そこで、コンテナ型データセンターを分散配置した分散型データセンターを対象として、日照量や気温といった自然エネルギーに関わる地理的条件を考慮した、データセンターの運用法を確立することを本研究の最終的な目標とする。

2 分散型データセンターの持続可能な運用法
2-1 持続可能な運用を実現するデータセンターの構成
本研究で扱う分散型データセンターのモデルを図 1 に示す。ユーザは処理したいジョブをまずジョブスケジューラに送信する。ジョブ には、ユーザが予測する処理時間 、完了希望時刻 、必要コア数 の情報が、ユーザによって与えられている。ジョブスケジューラでは、各ジョブを処理する CPU コアと処理を開始する時刻を決定し、ジョブスケジュールとして作成する。時刻 の CPU コア にジョブ が割り当てられているか否かを示す 0-1 変数 を用いてジョブスケジュールを表す。ジョブは、ジョブスケジュールに従って、各デー
タセンターにおけるサーバの CPU コアに割り当てられ処理される。データセンターには、太陽光パネルと外図 1 分散型データセンターモデル

1
電気通信普及財団 研究調査報告書

気を利用した冷却設備が設置されているものとし、データセンター における時刻 の太陽光発電量の予測値を 、外気温の予測値を とする。
本研究では、太陽光発電による発電量が多く、外気温が低いデータセンターにおいて、より多くのサーバを稼働し、多数のジョブを処理することによって、データセンター外部の電力になるべく頼らない持続可能な運用を実現する。しかし、データセンターで消費される電力量は大きいため、太陽光発電や外気冷却を利用して全てをまかなうことはできず、データセンター外からの電力の調達が必要である。そこで、調達電力を最小化するようなジョブスケジュールを作成する。太陽光発電や外気冷却を最大限利用するためには、日照量の多い時間帯や外気温が低い時間帯にジョブを実行することが有効であるが、一方で、そのような時間帯までジョブを遅らせて実行すると、ユーザの完了希望時刻以内にジョブを完了できない。そこで、完了希望時刻に対するジョブ完了時刻の遅延時間を最小化するようなジョブスケジュールを作成する。
2-2 スケジューリング問題の定式化
調達電力と遅延時間を最小化するジョブスケジュールX ∋間を目的関数とする 2 目的最適化問題で定式化する。

を作成する問題を、調達電力と遅延時,ΘMinimize

Minimize, Θ はデータセンターの総電力量、Θ ∋は全データセンターの外気温の変化を表す。主にデータセン
ターの空調に必要な電力, Θ 、サーバ等の機器の稼働に必要な一定の電力、CPU コアにおける処理に必要な電力から、, Θ を以下の式で求められる。
,Θ,ΘとCPU コアでジョブを処理する際、サーバの起動ならびに CPU コアでの処理のために必要な電力が増加し、データセンター内で発生した熱を冷却するために, Θ が増加する。従って、これらの電力はジョブスケジュール によって変化する。また、外気を利用してデータセンターを冷却する場合、データセンターの外気温Θ ∋が低いほど空調に必要な電力, Θ を低く抑えることができる。
はジョブ を時刻 でコア に割り当てたときに利用する太陽光発電量、はそのときの遅延時間を示す。データセンター における CPU コア ∈による電力使用量の総和は、そのデータセンターにおける発電量 を超えることはできないため、以下の制約条件を満たすようにを決定する必要がある。
∀ ,∈または、処理開始時刻 と処理時間 を用いて、定義より以下の式で求めることができる。
max 0,∀, ,さらにジョブが要求するコア数だけ CPU コアを割り当てる必要がある。割り当てるコアは全て同じデー
タセンターの CPU コアでなければならないため、以下の制約条件を満たす必要がある。
max

∀ ,
∈

2-3 研究課題
前節で定式化した問題を解くためには、以下の研究課題を解決する必要がある。

2
電気通信普及財団 研究調査報告書



分散型データセンターの総電力量の算出
データセンターにおける電力量は、ジョブスケジュール ならびに外気温Θによって非線形に変化する
ため、電力量を算出することは困難である。従来、機械学習にもとづいてサーバの消費電力を推定する研究[3]や、流体力学にもとづいて空調に必要な電力を推定する研究[4]がなされている。これらの既存研究を利用して、分散型データセンターの総電力量を算出する仕組みを構築する必要がある。

効率的なジョブスケジュールの作成
本研究で対象とする 2 目的最適化問題の規模は、CPU コア数、ジョブ数、スケジューリング期間の長さに応じて指数関数的に拡大する。コンテナ型データセンターのように小規模であっても CPU コ
ア数は数百を超え、全数探索によって最適なスケジュールを求めようとすると膨大な時間が必要となる。データセンターにおける発電量 と外気温 は長期間の予測が困難であるため、短時間で効率良くジョブスケジュールを再作成する必要がある。
報告者は、実際に大学で運用されているデータセンターを調査し、既存研究を踏まえつつ、分散型データセンターの総電力量を算出する方式を開発した。

3 消費電力量算出のための分散型データセンターシミュレーション
3-1 分散型データセンターにおける消費電力量算出の概要
外気温Θの環境下において、ジョブスケジュール を実行するために必要な分散型データセンターの消費電力量を求める。コンテナ型データセンターにおける消費電力量を算出するため、欧州委員会による科学研究費助成プロジェクト CoolEmAll において開発された、データセンターシミュレータ DCworms[5]を利用する。
消費電力量算出の概要を図 2 に示す。

図 2 分散型データセンターにおける消費電力量算出
消費電力量算出シミュレータの入力は、ジョブスケジュールと各データセンターの外気温の変化である。
ジョブスケジュールは、standard workload format (swf)[6]に従って記述されたジョブの情報と、割り当て先の CPU コアの情報からなる。外気温については、スケジュール作成時点での予測値が入力される。次に、分散型データセンターの拠点ごとに、ジョブスケジュールと外気温を用いて DCworms によって、消費電力量をシミュレーションする。消費電力量は、ジョブスケジュールと外気温だけではなく、データセンターが有する計算機器、空調設備、それらのレイアウト等の影響を受けるため、これらを記述したモデルがシミュレーションに必要となる。本研究では、将来的にコンテナ型データセンターが分散設置されることを想定し、CoolEMAll プロジェクトで用いられたコンテナ型データセンターComputeBox2[7]のモデルを用いて実装した。
異なるデータセンターを対象とする場合はモデルを変更することによって対応可能である。DCworms によって、データセンターごとの消費電力量を算出できるので、これらの消費電力量の合計を, Θ として求めることができる。

3電気通信普及財団 研究調査報告書

3-2 データセンターシミュレータ DCworms
DCworms によるシミュレーションの流れを図 3 に示す。また、シミュレーションの各ステップについて以下で述べる。

図 3 データセンターシミュレーションの流れ

サーバの消費電力の推定
サーバの消費電力は CPU の使用率に比例して変化することが報告されている。そこで、各 CPU コアのCPU 使用率とサーバの消費電力を計測し、回帰分析等を用いてサーバの消費電力と CPU 使用率の関係式を推定する。あるサーバの CPU コア ∈ の推定 CPU 使用率 % とサーバの消費電力の関係
式を以下に示す。

は CPU コア において CPU 使用率 1%につき消費される電力、 はサーバの CPU コアが利用されていない状態でのサーバの消費電力を表す。ジョブを CPU コア に割り当てた際の推定 CPU 使用率 は、過去に同等のジョブを割り当てた際の CPU 使用率を記録して、記録した CPU 使用率の平均値として推定する。
サーバの排熱による温度上昇量の推定
サーバの排熱による温度上昇量 は、上記で求めたサーバの消費電力に比例する。そこで、以下の式によって温度上昇量 を求める。

は比熱[J/kgK]、 はサーバからの空気排出口の面積[m2]、 はサーバから排出される空気の速度[m/s]、 は空気の密度[kg/m3]を表す。
データセンター内の温度変化の推定
データセンター内の空気の循環を、数値流体力学にもとづいてシミュレーションする。実装は、オー4
電気通信普及財団 研究調査報告書

プンソースの数値流体力学ツールボックスである OpenFOAM (Open source Field Operation AndManipulation)を用いて行われている。

空調設定の調整と空調消費電力の推定
上述のデータセンター内の温度変化の推定結果にもとづいて、データセンター内の温度が適正温度になるよう、空調設定を調整する。その際、空調設備の仕様に基づいて、空調の消費電力を推定する。
空調設定を変更すると、再びデータセンター内の温度変化の推定が行われる。
以上のシミュレーション過程において、サーバの消費電力を、空調の消費電力を,Θ として出力することで、データセンターの総電力量, Θ を求めることができる。

4 シミュレーション実験
4-1 実験環境
分散型データセンターの有効性を確認するため、分散型データセンターと集中型データセンターそれぞれに同一のジョブを送信し、作成されたジョブスケジュールに対する調達電力と遅延時間を、3 章で述べたシミュレータによって評価する。実行可能なジョブスケジュールは多数存在するため、調達電力と遅延時間の双方が他のジョブスケジュールに劣らないパレート最適解を比較する。パレート最適解を求めるため、本実験では厳密解法として全探索を用いる。全探索には膨大な計算時間が必要となるため、実際にデータセンターで処理されている 4 種類のジョブのみを対象とした小規模な実験を行う。表 1 に実験で用いたジョブの情報を示す。
表 1 ジョブの情報
ジョブ ID
123
4

到着時刻
5:00
5:00
5:00
5:00

処理時間[時間]
2126
6

完了希望時刻
7:00
17:00
11:00
11:00必要コア数881616また、分散型データセンターの所在地は、実際に企業のデータセンターが存在する、東京(日本)、ブリュッセル(ベルギー)、ハミナ(フィンランド)の 3 都市を選択した。各都市の一日の外気温の変化を図 4 に、太陽光発電量を図 5 に示す。なお表 1、図 4、図 5 に示される時刻は、全て日本標準時(JST)である。図 4、図 5に示されるように、東京、ブリュッセル、ハミナの順に外気温が高く、太陽光発電量はブリュッセル、東京、ハミナの順に高い。東京は、外気温、発電量の観点で優れた拠点とはいえないが、ブリュッセルやハミナと異なるタイムゾーンに属するため、時間帯によっては、他の都市よりも外気が涼しく太陽光による発電量も
気温[℃]
30

電力[W]
1000

25800

20TokyoBrusselBrussel

15400

Hamina10Hamina

200

50Tokyo600

51015200105

4 時刻(JST)

10152001

4 時刻(JST)

図 5 発電量の変化

図 4 外気温の変化

5
電気通信普及財団 研究調査報告書

大きくなる。ブリュッセルとハミナは同じタイムゾーンに属し、外気温に関してはハミナの方が低く、太陽光による発電量に関してはブリュッセルの方が多い。各拠点の外気温、発電量の違いを利用して、ジョブスケジュールを作成する必要がある。
また、高速にジョブスケジュールを作成する既存手法として Backfilling[8]と GreenSlot[9]を用い、実用的な時間で生成可能なジョブスケジュールについて、調達電力と遅延時間を評価する。Backfilling とGreenSlot について以下で述べる。
Backfilling
Backfilling は到着したジョブを、必要な CPU コア数が確保できる時間帯のうち、最も早い時間帯に割り当てていく手法である。そのため、遅延時間を小さく抑えることが可能であるが、調達電力は大きくなる傾向がある。
GreenSlot
GreenSlot は、Least Slack Time First にもとづくスケジューリングアルゴリズムであり、以下の余裕時間の小さいジョブから順に、計画への割り当てを行う。
余裕時間
ただし、ジョブを割り当てる前に を知ることはできないため、 の代わりに計画作成時点の時刻を用いる。余裕時間の小さいジョブから、が大きい時間帯へとジョブを割り当てる。GreenSlot は余裕時間と太陽光発電量を考慮したアルゴリズムであるが、外気冷却の影響は考慮されていない。
4-2 実験結果
分散型データセンターと集中型データセンターにおける全てのジョブスケジュールの評価値をそれぞれ図6、図 7 に示す。全探索で得たジョブスケジュールに加えて、Backfilling と GreenSlot によって作成されたジョブスケジュールの評価値についても示している。
遅延時間
[時間]
70

全探索

遅延時間
[時間]
全探索
70

GreenSlot

Backfilling

60

60

5050

404030302020

10100
101.58101.6

101.62101.64101.660114.12101.68

消費電力量[kwh]114.13

Backfilling

GreenSlot

114.14114.15114.16

消費電力量[kwh]

図 7 集中型データセンターにおけるスケジュールの評価値

図 6 分散型データセンターにおけるスケジュールの評価値

図 6 と図 7 に示す分散型データセンターと集中型データセンターにおけるパレート最適解に着目すると、遅延時間に大きな変化はないが、調達電力に関しては分散型データセンターの方が約 12%削減されている。
このことから、分散型データセンターにおいて、太陽光による発電や外気による冷却が活用され、調達電力の削減に貢献していることを確認できる。また、Backfilling と GreenSlot を適用した場合、1 秒以下でジョブスケジュールを作成することができるが、すべてのパレート最適解となるジョブスケジュールを作成できているわけではない。従って、分散型データセンターにおいて、パレート最適解となるジョブスケジュールを精度よく発見する手法が必要となる。次に分散型データセンターを対象としたときの Backfilling と6
電気通信普及財団 研究調査報告書

GreenSlot で作成されたスケジュールについて比較する。図 6 ならびに図 7 に示すように、Backfilling では、最も早い時間帯にジョブを処理するジョブスケジュールが作成され、遅延時間が 0 に抑えられている。しかし、太陽光による発電量や外気温を考慮していないため調達電力も大きい。一方、GreenSlot によるスケジ
ュールでは、Backfilling で作成されたスケジュールよりも消費電力量が悪化している。実験対象とするデータセンターでは外気冷却の影響が大きく、外気冷却の影響を考慮しない GreenSlot では消費電力量を抑えたスケジュールを作成できなかったことが原因としてあげられる。
分散型データセンターと集中型データセンターそれぞれについて、Backfilling で作成されたスケジュー
ルついて図 8 に、GreenSlot で作成されたスケジュールについて図 9 に示す。まず分散型データセンターにおけるスケジュールに着目する。図 8 に示すように、Backfilling ではジョブが到着した 5 時に全てのジョブを CPU コアに割り当てて、ジョブスケジュールを作成している。GreenSlot では、ジョブを調達電力が小さくなるよう、異なるデータセンターの遅い時間帯で処理するようにスケジュールを作成している。例えば、東京の朝 11 時に太陽光による発電量が増え始めると job3 と job4 が東京のデータセンターにおいて処理される。また東京の 17 時には太陽光による発電量は減少するが、ブリュッセルにおいて太陽光による発電量が増え始めるため、job1 と job2 がブリュッセルのデータセンターで処理される。ハミナでは太陽光による発電量が終日少ないため、いずれの job も割り当てられていない。図 9 の集中型のデータセンターの結果に着目すると、太陽光による発電量が多く冷涼な地域のデータセンターを選択する余地がないと、調達電力を削減するためにはジョブの処理を大きく遅延させる必要が出てくる。一方、図 9 の分散型のデータセンターの結果が示すように、発電量が多く冷涼な地域のデータセンターを選択することができれば、早期に利用可能なデータセンターを順に利用することで遅延を軽減することができる。このことから、分散型データセンターの特性を活かしたジョブスケジュールによって、調達電力と遅延時間の双方を抑えられることを確認した。

分散型データセンター

分散型データセンター
CPU
コア

CPU
コア

job1

job3

job2

job3
job4

TokyoTokyo

BrusselBrusselHaminaHamina571117時刻(JST)CPU
コア

717時刻(JST)

1911

job1

job2

job3
job4
5117集中型データセンター

job1

Hamina

job1

job2

5

集中型データセンター
CPUコア

job4

job2

job3

Haminajob4
175時刻(JST)7111719時刻(JST)

図 9 GreenSlot で作成されたスケジュール

図 8 Backfilling で作成されたスケジュール

5 今後の課題
本研究の遂行によって、2.3 節に示す研究課題のうち、分散型データセンターにおける消費電力を推定する課題を解決できた。
もう 1 つの研究課題である、ジョブスケジュールを効率良く作成する方法については、既存のヒューリスティックな手法である Backfilling や GreenSlot を用いている。しかし数値実験の結果、パレート最適解となるジョブスケジュールを作成できていないことが明らかになった。今後は、パレート最適解を高い精度で発見する手法を開発するため、以下の課題に取り組む必要がある。

7電気通信普及財団 研究調査報告書



メタヒューリスティクスを用いたスケジューリング手法の確立
ヒューリスティックな手法は、1 秒以下という非常に短い時間で計算可能であるが、必ずしもパレート最適解を導出できるとは限らない。実用的な範囲として考えられる数分の計算時間を許容して、より良いスケジュールを探索する手法が求められる。メタヒューリスティクスでは、スケジュールの探索を繰り返しながら、より良いスケジュールに関する情報を収集し、探索を改善する。ヒューリステ
ィックな手法と比べると、繰り返しの探索に計算時間を要するが、より良いスケジュールを探索できることが見込まれる。ジョブスケジューリングは、ジョブを CPU コアに割り当てていく問題であり、スケジュールをノード、ジョブの割当をエッジとするグラフ構造で表現できると考えられる。ジョブを割り当てたときの調達電力や遅延時間をコストとしてエッジに与えると、総コストを最小化するような経路選択問題として考えることができる。そこで経路選択問題への有効性が知られているメタヒューリスティクスとして、Ant Colony Optimization を適用することを検討している。
消費電力推定の高速化
繰り返し探索を行うためには、ジョブスケジュールを実行した場合に消費される電力を DCworms で繰り返し評価する必要がある。DCworms は数値流体力学にもとづく膨大な計算を実行するため、1 回のシミュレーションに数分の時間を必要とする。仮に探索回数を少数に抑えられても、スケジュールの評価に時間がかかるため、全体の探索時間が膨大になる可能性がある。パレート最適解となる可能性の低いジョブスケジュールを厳密に評価する必要はないと考えられるため、探索途中で発見されたジョブスケジュールの評価値を用いて、類似のジョブスケジュールの評価値を近似的に求めるといった方法を検討している。
ジョブスケジュール選択の支援
パレート最適であるようなジョブスケジュールが多数存在する場合、ユーザや管理者が望むジョブスケジュールを選択することが難しくなる。また、ユーザにとっては遅延時間を最小化するようなジョブスケジュールが必要であり、管理者にとっては調達電力を最小化するジョブスケジュールが必要であるように、ユーザと管理者でジョブスケジュールに対する利害が一致しない。そこで、お互いが合意できるようなジョブスケジュールを選択できる仕組みを用意する必要がある。

6 結論
本研究では、分散型データセンターにおける持続可能な運用法を確立するため、データセンターにおける太陽光発電や外気冷却を考慮して、ジョブスケジュールを作成することを目的とした。ジョブスケジュールには、太陽光発電で不足した電力を補うための調達電力と、ジョブ完了時の遅延時間を最小限に抑えることが求められる。そこでジョブスケジューリング問題を、調達電力と遅延時間を最小化する 2 目的最適化問題に定式化した。2 目的最適化問題を解くためには、データセンターにおける消費電力量を推定する方法と効率良くジョブスケジュールを作成する方法が必要となる。消費電力量を推定するため、データセンターにおける CPU コアにかかる負荷、サーバで発生する熱、データセンター内の空気の循環等をシミュレーションするシステムを開発した。開発したシステムは、既存のデータセンターシミュレータである DCworms を用いて実装した。分散型データセンターと集中型データセンターを対象として、少数のジョブを用いてシミュレーション実験を行い、ジョブスケジュールに対する調達電力と遅延時間を評価した。シミュレーション実験の結果、分散型データセンターにおけるジョブスケジュールの方が、集中型データセンターと比べて、調達電力を削減できていることを確認できた。今後の課題として、より良いジョブスケジュールを作成する手法の開発とそのための消費電力推定の高速化が挙げられる。より良いジョブスケジュールを作成するため、メタヒューリスティクスである Ant Colony Optimization を用いた手法を開発し、消費電力を高速に推定するため、類似のジョブスケジュールを用いた近似推定手法を開発する予定である。また、複数のパレート最適なジョブスケジュールから、ユーザと管理者が合意できるようなスケジュールの選択を支援する仕組みを検討する予定である。

8電気通信普及財団 研究調査報告書

【参考文献】[1] 高橋 春樹, 竹下 秀俊, 石井 大介, 岡本 聡, 山中 直明, “太陽追跡型データセンタ実現のための仮想マシン移行方式の一検討”, 信学技報 フォトニックネットワーク, Vol.110, No.264, pp.29-34 (2010)[2] S. Bird, A. Achuthan, O.A. Maatallah, W. Hu, K. Janoyan, A. Kwasinski, J. Matthews, D.
Mayhew, J. Owen, P. Marzocca, “Distributed (green) data centers: A new concept for energy,computing, and telecommunications”, Energy for Sustainable Development, Vol.19, pp.83-91(2014)[3] M. Samejima, H.T. Minh, N. Komoda, “Flexible Peak Shaving in Data Center by Suppression ofApplication Resource Usage”, in Proc. of 16th International Conference on Enterprise
Information Systems (ICEIS2014), pp.355-360 (2014)[4] M. vor dem Berge, W. Christmann, E. Volk, S. Wesner, A. Oleksiak, T. Piontek, G.D. Costa, J.
Pierson, “CoolEmAll - Models and tools for optimization of data center energy-efficiency”,
Sustainable Internet and ICT for Sustainability (SustainIT), pp.1-5 (2012)[5] W. Piatek, “DCworms - A Tool for Simulation of Energy Efficiency in Data Centers”, EnergyEfficiency in Large Scale Distributed Systems, Lecture Notes in Computer Science, Vol.8046,
pp 118-124 (2013)[6] S.J. Chapin, W. Cirne, D.G. Feitelson, J.P. Jones, S.T. Leutenegger, U. Schwiegelshohn, W.
Smith, D. Talby, “Benchmarks and Standards for the Evaluation of Parallel Job Schedulers”,
Job Scheduling Strategies for Parallel Processing, Lecture Notes in Computer Science, Vol.1659,
pp 67-90 (1999)[7] M. Vor Dem Berge, G.D. Costa, A. Kopecki, A. Oleksiak, J.-M. Pierson, T. Piontek, E. Volk, S.
Wesner, “Modeling and Simulation of Data Center Energy-Efficiency in CoolEmAll”, in Proc. ofInternational Workshop on Energy-Efficient Data Centres, pp.25-36 (2012)[8] D. Lifka, “The ANL/IBM SP Scheduling System”, in Proc. of the International Workshop on Job
Scheduling Strategies for Parallel Processing, pp. 295-303 (1995)[9] I. Goiri, L. Kien, M.E. Haque, R. Beauchea, T.D. Nguyen, J. Guitart, J. Torres, R. Bianchini,“GreenSlot: Scheduling energy consumption in green datacenters”, in Proc. of 2011
International Conference for High Performance Computing, Networking, Storage and Analysis(SC), pp. 12-18 (2011)〈発題名表資料〉

掲載誌・学会名等

発表年月

Job Scheduling in Decentralized Data
平成 27 年電気学会 C 部門大会
Center with Distributed Energy
An Evaluation of Job Scheduling based 2015IEEEInternational
on Distributed Energy Generation in Conference on Systems, Man,
Decentralized Data Centersand Cybernetics

2015 年 8 月（予定）2015 年 10 月（予定）9
電気通信普及財団 研究調査報告書