(57)【要約】      （修正有）【課題】サーバの動的な負荷変動および熱流体現象を考慮した制約条件、ならびに不確定要素に対する近似表現を含んだ、秩序をもったサーバ負荷分散法に関する数理モデルを用いた確率型サーバ負荷分散方法および装置を提供する。【解決手段】サーバ室内の熱の分布を把握するため、サーバ室内に温度センサ１６０を複数配置し、温度センサ１６０で計測されたサーバ室内の複数の位置の温度データを収集し、温度データと負荷量データとを関連付けてデータ蓄積部１２１に保存する。サーバの吸気口、排気口における温度に基づき、確率型最適制御部１２４で、空調機とサーバとの相対距離に応じたサーバ負荷量の割り当て、隣接するサーバ間の温度差の最小化、一定負荷量より小さい場合はサーバをＯＦＦにすることなどを考慮した後述するような確率型目的関数を作成し、確率型目的関数を最小化することで、サーバの位置に応じた最適な負荷量を算出する。【選択図】図１
2016114992.tif 000002
【特許請求の範囲】
【請求項１】
複数のサーバが設置されたサーバ室内に温度センサを複数配置し、前記温度センサで計測された温度データに基づきサーバの負荷分散を行う確率型サーバ負荷分散装置であって、
前記サーバの数、各サーバの最大負荷量、前記複数のサーバの総負荷量、前記サーバ室内における前記複数の空調機とサーバとの相対距離を含むサーバ設置・運用条件データ、前記各サーバの負荷量データ、前記温度データを格納する記憶装置であって、前記各サーバの負荷量データと前記温度データとは関連付けて格納されている、記憶装置と、
前記温度センサで計測された吸気温度および排気温度の少なくとも一方に基づき、空調機とサーバとの相対距離に応じたサーバ負荷量の割り当てと、隣接するサーバ間の温度差の最小化とに関する目的関数を含む確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行う確率型最適制御部と、
前記確率型目的関数を最小化した結果に基づき、サーバの配置ごとに割り当てる個別の負荷量を算出するサーバ負荷量割り当て部と、
を備えたことを特徴とする確率型サーバ負荷分散装置。
【請求項２】
割り当てられるサーバ負荷量が一定負荷量より小さい場合は該当サーバをＯＦＦにし、前記サーバ設置・運用条件データから前記複数のサーバの中からＯＦＦにしたサーバを減じ、再度、確率型最適制御部において確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うことを特徴とする請求項１に記載の確率型サーバ負荷分散装置。
【請求項３】
前記確率型最適制御部は、前記サーバの排熱温度を直接センシングできない場合、前記サーバの吸気温度からサーバの熱容量と発熱量を負荷量から近似してサーバの排熱温度を推定することを特徴とする請求項１又は２に記載の確率型サーバ負荷分散装置。
【請求項４】
前記複数のサーバの総負荷量は、前記複数のサーバの負荷量を監視している監視サーバから取得したデータによって更新し、前記確率型最適制御部は、前記複数のサーバの総負荷量が更新される毎に、確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うことを特徴とする請求項１乃至３のいずれかに記載の確率型サーバ負荷分散装置。
【請求項５】
複数のサーバが設置されたサーバ室内に温度センサを複数配置し、前記温度センサで計測された温度データに基づきサーバの負荷分散を行う確率型サーバ負荷分散方法であって、
前記サーバの数、各サーバの最大負荷量、前記複数のサーバの総負荷量、前記サーバ室内における前記複数の空調機とサーバとの相対距離を含むサーバ設置・運用条件データ、前記各サーバの負荷量データ、前記温度データを記憶装置に格納するステップであって、前記各サーバの負荷量データと前記温度データとを関連付けて前記記憶装置に格納するステップと、
前記温度センサで計測された前記各サーバの吸気温度および排気温度の少なくとも一方に基づき、空調機とサーバとの相対距離に応じたサーバ負荷量の割り当てと、隣接するサーバ間の温度差の最小化とに関する目的関数を含む確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うステップと、
前記確率型目的関数を最小化した結果に基づき、サーバの配置ごとに割り当てる個別の負荷量を算出するステップと、
を備えたことを特徴とする確率型サーバ負荷分散方法。
【請求項６】
割り当てられるサーバ負荷量が一定負荷量より小さい場合は該当サーバをＯＦＦにし、前記サーバ設置・運用条件データから前記複数のサーバの中からＯＦＦにしたサーバを減じ、再度、前記確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うステップを行うことを特徴とする請求項５に記載の確率型サーバ負荷分散方法。
【請求項７】
前記確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うステップは、前記サーバの排熱温度を直接センシングできない場合、前記サーバの吸気温度からサーバの熱容量と発熱量を負荷量から近似してサーバの排熱温度を推定することを特徴とする請求項５又は６に記載の確率型サーバ負荷分散方法。
【請求項８】
前記複数のサーバの総負荷量は、前記複数のサーバの負荷量を監視している監視サーバから取得したデータによって更新し、前記確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うステップは、前記複数のサーバの総負荷量が更新される毎に、確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うことを特徴とする請求項５乃至７のいずれかに記載の確率型サーバ負荷分散方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、熱流体の循環性を考慮した確率型サーバ負荷分散方法および装置に関する。
【背景技術】
【０００２】
年々、巨大化していくデータセンタにおいて、ラック内の膨大な数のサーバからの総発熱量は増加の一途を辿っており、空調機をはじめとしたＩＴ機器の消費電力の削減につながるようなさまざまな研究開発がなされてきている（非特許文献１、２参照）。これには、床上あるいは天井からの冷気吹き出し方式や、ラックの配置、間隔、自然冷気導入、仮想化技術と呼ばれるサーバ負荷分散化などを挙げることができる。
【０００３】
しかしながら、サーバの負荷量が時間的に変化することや、センタ内の構造上の特徴やラック付近などにおいて、局所的な空気の流れが形成されるために、一定水準以上の熱循環の効率化を得るためには、依然として多くの試行錯誤が必要となっている。
【０００４】
特に、仮想化技術では、ランダムにサーバ負荷分散が可能であるが、熱循環性を考慮した非ランダムなサーバ負荷分散化の方法の検討が残されている。これまで、線形計画法に基づいた確定型サーバ負荷分散法が中心的に用いられてきた（非特許文献３参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】R.I. Bourisli, “Numerical Investigation Of Optimal Spacing Between Heat-Generating Blocks In Laminar Forced Convection,” In Proc. IEEE ITHERM, pp. 1-8, 2010.
【非特許文献２】M. Iyengar, R. Schmidt, and J. Caricari, “Reducing Energy Usage In Data Centers Through Control Of Room Air Conditioning Units,” In Proc. IEEE ITHERM, pp. 1-11, 2010.
【非特許文献３】中村  雅之、竹内  章、榎本  裕幸、“データセンタエネルギー管理システム（DEMS）のICT−空調連係制御技術による省電力への取り組み”、[online]、平成２４年１１月、ＮＴＴ技術ジャーナル、［平成２６年１２月１日検索］、インターネット＜URL:http://www.ntt.co.jp/journal/1211/files/jn201211015.pdf＞
【非特許文献４】“Tikhonov regularization”、[online]、［平成２６年１２月１日検索］、インターネット＜URL:http://en.wikipedia.org/wiki/Tikhonov_regularization＞
【非特許文献５】中川  雅央、“さまざまな確率分布 probability distributions - 数理的思考 - 中川雅央 ［知と情報の科学］”、[online]、［平成２６年１２月１日検索］、インターネット＜URL:http://www.biwako.shiga-u.ac.jp/sensei/mnaka/ut/statdist.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の確定型サーバ負荷分散法では、ゆらぎ等の不確定要素への近似表現が不十分で、データ学習時に、より本質的な特徴を示す平均値の変化のみを捉えることができず、また、熱流体現象の特徴の考慮が不十分であるため、熱流体現象に起因する変動への追従性が高くないため、省電力化の向上には限界があった。
【０００７】
本発明は、このような課題に鑑みてなされたもので、その目的とするところは、サーバの動的な負荷変動および熱流体現象を考慮した制約条件、ならびに不確定要素に対する近似表現を含んだ、秩序をもったサーバ負荷分散法に関する数理モデルを用いた確率型サーバ負荷分散方法および装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、確率的な表現を導入して不確定要素について確率的な影響度を考慮しながら、サーバ排熱の温度に関して隣接するサーバ間の差の絶対値の和を最小とする、サーバと空調機の物理的な距離に応じて与えうるサーバ負荷量の増減を決定する。また、これらサーバ負荷分散に関する複数の条件をＴｉｋｏｈｏｖ正則化理論に基づいて、１つの目的関数として定義することで、統一的に、サーバ配置ごとに異なるサーバ負荷量を最適に割り当てる。
【０００９】
上記の課題を解決するために、本発明は、複数のサーバが設置されたサーバ室内に温度センサを複数配置し、前記温度センサで計測された温度データに基づきサーバの負荷分散を行う確率型サーバ負荷分散装置であって、前記サーバの数、各サーバの最大負荷量、前記複数のサーバの総負荷量、前記サーバ室内における前記複数の空調機とサーバとの相対距離を含むサーバ設置・運用条件データ、前記各サーバの負荷量データ、前記温度データを格納する記憶装置であって、前記各サーバの負荷量データと前記温度データとは関連付けて格納されている、記憶装置と、前記温度センサで計測された吸気温度および排気温度の少なくとも一方に基づき、空調機とサーバとの相対距離に応じたサーバ負荷量の割り当てと、隣接するサーバ間の温度差の最小化とに関する目的関数を含む確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行う確率型最適制御部と、前記確率型目的関数を最小化した結果に基づき、サーバの配置ごとに割り当てる個別の負荷量を算出するサーバ負荷量割り当て部と、を備えたことを特徴とする。
【００１０】
請求項２に記載の発明は、請求項１に記載の確率型サーバ負荷分散装置において、割り当てられるサーバ負荷量が一定負荷量より小さい場合は該当サーバをＯＦＦにし、前記サーバ設置・運用条件データから前記複数のサーバの中からＯＦＦにしたサーバを減じ、再度、確率型最適制御部において確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うことを特徴とする。
【００１１】
請求項３に記載の発明は、請求項１又は２に記載の確率型サーバ負荷分散装置において、前記確率型最適制御部は、前記サーバの排熱温度を直接センシングできない場合、前記サーバの吸気温度からサーバの熱容量と発熱量を負荷量から近似してサーバの排熱温度を推定することを特徴とする。
【００１２】
請求項４に記載の発明は、請求項１乃至３のいずれかに記載の確率型サーバ負荷分散装置において、前記複数のサーバの総負荷量は、前記複数のサーバの負荷量を監視している監視サーバから取得したデータによって更新し、前記確率型最適制御部は、前記複数のサーバの総負荷量が更新される毎に、確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うことを特徴とする。
【００１３】
請求項５に記載の発明は、複数のサーバが設置されたサーバ室内に温度センサを複数配置し、前記温度センサで計測された温度データに基づきサーバの負荷分散を行う確率型サーバ負荷分散方法であって、前記サーバの数、各サーバの最大負荷量、前記複数のサーバの総負荷量、前記サーバ室内における前記複数の空調機とサーバとの相対距離を含むサーバ設置・運用条件データ、前記各サーバの負荷量データ、前記温度データを記憶装置に格納するステップであって、前記各サーバの負荷量データと前記温度データとを関連付けて前記記憶装置に格納するステップと、前記温度センサで計測された吸気温度および排気温度の少なくとも一方に基づき、空調機とサーバとの相対距離に応じたサーバ負荷量の割り当てと、隣接するサーバ間の温度差の最小化とに関する目的関数を含む確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うステップと、
前記確率型目的関数を最小化した結果に基づき、サーバの配置ごとに割り当てる個別の負荷量を算出するステップと、を備えたことを特徴とする。
【００１４】
請求項６に記載の発明は、請求項５に記載の確率型サーバ負荷分散方法において、割り当てられるサーバ負荷量が一定負荷量より小さい場合は該当サーバをＯＦＦにし、前記サーバ設置・運用条件データから前記複数のサーバの中からＯＦＦにしたサーバを減じ、再度、前記確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うステップを行うことを特徴とする。
【００１５】
請求項７に記載の発明は、請求項５又は６に記載の確率型サーバ負荷分散方法において、前記確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うステップは、前記サーバの排熱温度を直接センシングできない場合、前記サーバの吸気温度からサーバの熱容量と発熱量を負荷量から近似してサーバの排熱温度を推定することを特徴とする。
【００１６】
請求項８に記載の発明は、請求項５乃至７のいずれかに記載の確率型サーバ負荷分散方法において、前記複数のサーバの総負荷量は、前記複数のサーバの負荷量を監視している監視サーバから取得したデータによって更新し、前記確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うステップは、前記複数のサーバの総負荷量が更新される毎に、確率型目的関数を作成し、前記確率型目的関数を最小化する計算を行うことを特徴とする。
【発明の効果】
【００１７】
本発明は、隣接するサーバからの排気の温度分布が滑らかに変化し、サーバ負荷量がラック内、ラック間で空間的に滑らかに変化することで、乱流によるエネルギー損失を最小化することによる熱循環効率を向上させる効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る確率型サーバ負荷分散装置の構成を示す図である。
【図２】本発明の一実施形態に係る確率型サーバ負荷分散方法の主な処理の流れを示す図である。
【図３】サーバ室におけるＣＲＡＣ２０、ラック２１、サーバ２２における相対的な３次元距離について示す図である。
【図４】空調機の単位時間当の消費電力について、本発明および従来法などと比較した実験結果を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について、詳細に説明する。
【００２０】
図１に、本発明の一実施形態に係る確率型サーバ負荷分散装置１００の構成を示す。
【００２１】
本発明を構成するデータ蓄積部１２１、ユーザ定義部１２２、センサ検出部１２３、確率型最適制御部１２４、サーバ負荷量割り当て部１２５、サーバ負荷量判定部１２６、サーバ総負荷量監視部１２７は記憶装置１２０に格納され、以下の機能を持つ部品、もしくは処理装置１３０で実行可能なソフトウェアとして構成可能である。
【００２２】
入力インタフェース１１０は、入力装置１５０、温度センサ１６０、監視サーバ１７０等から入力された信号を数値情報としてシステムに入力するインタフェースである。
【００２３】
出力インタフェース１４０は、処理結果をモニタ１８０等に出力するインタフェースである。
【００２４】
図２に、本発明の一実施形態に係る確率型サーバ負荷分散方法の主な処理の流れを示す。
【００２５】
本発明は、ユーザ定義部１２２において、最大サーバ数、各サーバの最大負荷量（発熱量）、物理的なラックの大きさ、サーバと空調機との距離、全サーバ数に対して、アイドリングしているサーバ数を除いた一定以上の負荷量をもつサーバ数の比率などのサーバの設置・運用条件を、事前にユーザが入力装置１５０から設定する（Ｓ２０１）。
【００２６】
サーバ室内の熱の分布を把握するため、サーバ室内のラックの柱やサーバの吸気口、排気口付近、天井などに温度センサ１６０を複数配置し、温度センサ１６０で計測されたサーバ室内の複数の位置の温度データをセンサ検出部１２３で収集する。同時に、監視サーバ１７０から各サーバの負荷量も収集し、温度データと負荷量データとを関連付けてデータ蓄積部１２１に保存する（Ｓ２０２）。
【００２７】
サーバの吸気口、排気口における温度に基づき、サーバの総負荷量に関して負荷分散するにあたり、確率型最適制御部１２４において、空調機とサーバとの相対距離に応じたサーバ負荷量の割り当て、隣接するサーバ間の温度差の最小化、一定負荷量より小さい場合はサーバをＯＦＦにすることなどを考慮した後述するような確率型目的関数を作成する（Ｓ２０３）。確率型目的関数を最小化することで、サーバ負荷量割り当て部１２５において、各サーバの位置に応じた最適な負荷量を算出する（Ｓ２０４）。
【００２８】
サーバ負荷量判定部１２６は、サーバ負荷量割り当て部１２５において割り当てられるサーバ負荷量が一定負荷量より小さい場合は該当サーバをＯＦＦにしてサーバ数を減少させ（Ｓ２０５）、確率型最適制御部１２４において、再度、確率型目的関数を作成する（Ｓ２０３に戻る）。
【００２９】
算出したサーバ毎の個別の負荷量を各サーバに割り当て、サーバ総負荷量監視部１２７において、時々刻々と変化する各サーバの負荷量を監視サーバ１７０から取得し（Ｓ２０６）、確率型最適制御部１２３で作成した確率型目的関数の各サーバの負荷量を時々刻々と変化させて、確率型最適制御部１２４において、再度、確率型目的関数を作成する（Ｓ２０３に戻る）。
【００３０】
尚、各サーバの排熱温度を直接センシングできない場合は、各サーバの吸気温度からサーバ毎の熱容量および発熱量を負荷量から近似してサーバの排熱温度を推定する。
【００３１】
モニタ１８０には、サーバ室内の温度分布やサーバ毎の負荷量、空調機の消費電力などの状態を表示しても良い。
【００３２】
続いて、本発明における数理モデルについて述べる。
【００３３】
ラック内、ラック間の負荷（発熱）をもつサーバの数や量と、空調機（ＣＲＡＣ：Computer Room Air Conditioning）からの冷気の変化があるため、サーバ室内においては熱流体の循環性を無視することはできない。さらに、熱循環効率は基本的に、熱容量の大きさにも左右されるため、サーバ室をマクロ空間としてみたときには、その熱容量は、ラック間の距離や天井との距離が関係する。
【００３４】
また、サーバ間の隙間やケーブルなどはミクロレベルでの形状の違いが熱循環性に関係し、渦や大きく乱れた乱流が生じずに、滑らかな流れの方がエネルギー損失も少なく冷気の伝搬および暖気の空調機への最短での戻りが期待できる。実環境において、空調機から噴き出した冷気は、床下内においては十分な断熱材の効果がないため、空調機から離れるにしたがって、冷気の温度は上昇し、さらに、床下から天井に向かって吹き上がって、ラック前面に沿っても温度の上昇が加わる。そのため、空調機とサーバとの距離は無視できないものとなっている。特に、サーバの負荷量と排熱部からの風量がおよそ比例するような場合は熱循環性への考慮が必要である。
【００３５】
即ち、ＣＲＡＣの省エネについては、従来の多くの最適制御法に見られるようなサーバの位置と熱循環性を考慮しない単純なサーバ負荷分散は、サーバの排熱部からの風量がサーバの位置ごとに、不均一になる。そのため、サーバの吸気側（通路）における空間温度分布よりも不連続な速度場が乱流の強さを高めてしまうことが考えられる。このことは、熱循環効率の低下の一因となる。
【００３６】
そのため、サーバ近傍の風量が連続的に変化することで、余分な局所的な乱流生成を抑制するように、サーバの排熱温度がサーバ近傍において連続的に変化すべきと考えられる。また、サーバ吸気側の温度はラック内のサーバの位置によって異なるため、同一のサーバ負荷量であっても、サーバ排気側の温度は異なることも考慮する必要がある。
【００３７】
サーバの負荷量が所定の閾値以下のときは、サーバをＯＦＦにし、他のサーバの負荷量をあげることも考えられる。しかし、サーバをＯＦＦにした場合は、サーバ排気側から吸気側へ想定する気流の流れが逆流を示すことが予想される。これにより、サーバ吸気側の温度が局所的に高まることが考えられる。これ以外にも、ラック上部に、サーバより排気された気流がサーバ吸気側へ回り込む再循環現象も知られている。これは、流体力学で数多く実験で示されている物体の角付近の流れであり、ラックの矩形形状では発生しやすいと推察できる。
【００３８】
逆に、このような流れは、形状という境界条件に大きく依存するために、特殊な整流板を取り付けるなどの工夫による境界条件の変更がない限り、気流の強弱に関わりなく、その発生は避けられない。しかしながら、このような気流の循環が生じても、気流の温度が低く抑制できれば、問題の低減につなげることができる。
【００３９】
以上より、サーバ室内において、サーバの総負荷量が一定の場合、３つの条件として、条件１）空調機とサーバとの相対距離、条件２）隣接するサーバ間の温度差がＣＲＡＣの空調温度の変化に与える影響、条件３）一定負荷量以下のサーバをＯＦＦにすること、について次のような数理モデルを導出した。なお、サーバｉ（ｉ＝１、２、．．．ｎ）は、サーバ室内の隅に原点をおき、３次元位置について原点に近い方から連続した番号を割り当てた。
【００４０】
条件１：サーバ数ｎ、サーバｉの発熱量（負荷量：Ｗ）Ｐｉ、サーバＳの位置に一番近い位置にある複数のＣＲＡＣ  Ｃｊ（ＣＲＡＣ数ｊ＝１、２、．．．ｋ）との距離ｄとしたとき、距離に関する総負荷量の加重平均は、次のように定義できる。
【００４１】
【数１】
2016114992.tif 000003
【００４２】
これにより、ＣＲＡＣに近いサーバほど、高い負荷量を許容するものである。
【００４３】
図３に、サーバ室におけるＣＲＡＣ２０、ラック２１、サーバ２２における相対的な３次元距離について示す。図３において、距離ｄについては、ｄ＝ｄ１＋ｄ２である。即ち、ＣＲＡＣ２０と小穴の開いた床面２２を通じてサーバが配置されているラック２１の下までの距離をｄ１として、この距離からラック前面に沿ったサーバの位置までの距離ｄ２である。
【００４４】
従って、式（１）の最小化をすることで、与えられた全サーバ数ｎについて、ＣＲＡＣ２０に近いサーバ２２から、例として、サーバ負荷量Ｐｉは、１５００、１３００、９００、３００．．．などと下記の最適化計算より推定される。ここで、総負荷量Ｐｔｏｔ（８０００Ｗなど）とし、個々のサーバの負荷量は、０〜１５００Ｗで変化するものとした。これらの数理条件（拘束条件）は次のように表せる。
【００４５】
【数２】
2016114992.tif 000004
【００４６】
Ｐｔｏｔは、ユーザが固定値として与える場合と、サーバ総負荷監視サーバ１７０より時々刻々得られる総負荷量であり、Ｐは、時々刻々、最適化計算において、割り当てられるサーバ負荷量である。
【００４７】
式（１）、（２）の数理条件は、Ｔｉｋｈｏｖ正則化理論（非特許文献４参照）に従って、最小化すべき目的関数として定義した。
【００４８】
【数３】
2016114992.tif 000005
【００４９】
ただし、λは拘束条件に関する重み付けであり、正則化係数と呼ばれる。デフォルトは１．０である。
【００５０】
条件２：サーバの排熱温度をＴとする。このとき、隣接するサーバｉ、ｊの温度差の和の平均値
【００５１】
【数４】
2016114992.tif 000006
【００５２】
とする。即ち、平均値
【００５３】
【数５】
2016114992.tif 000007
【００５４】
がなるべく小さくなるようにすることは、隣接する温度分布が滑らかに変化していること、言い換えると、サーバ負荷量がラック内、ラック間で空間的に滑らかに変化することを表現しており、乱流によるエネルギー損失を最小化することによる熱循環効率の向上につながるものと仮定している。拘束条件は条件１の場合と同様に与えられ、条件２における最小化すべき目的関数は、以下のようになる。
【００５５】
【数６】
2016114992.tif 000008
【００５６】
サーバの吸気温度Ｔｉｎを基準として、サーバ負荷量Ｐ、容積Ｖ、吸入口断面積Ｓを想定したときの温度変化を足すと、サーバの排熱温度Ｔｏｕｔを下記のように推定できる。
【００５７】
【数７】
2016114992.tif 000009
【００５８】
【数８】
2016114992.tif 000010
【００５９】
Ｅ１’、Ｅ２’における各項はそれぞれ０に近づくことが理想であるが、変動の大きなデータのばらつきや、ノイズの影響があるため、そういった不確定性、即ち、当てはめ誤差を確率分布に置き換える。ここでは、分散σのガウス分布Φを用い、当てはまりがいい（誤差最小）ほど、その生起確率が高くなり、当てはめが悪いほど、低い生起確率を仮定した（非特許文献４参照）。例として、各項をｚに代入した場合、
【００６０】
【数９】
2016114992.tif 000011
【００６１】
などである。
【００６２】
【数１０】
2016114992.tif 000012
【００６３】
ガウス分布以外にも、ポアソン分布などがあり、項ごとに、異なる確率分布を適用することで、収束性を高められることが考えられる（非特許文献５参照）。
【００６４】
Ｅ１’、Ｅ２’において、確率分布Φに置換した目的関数をそれぞれＥ１、Ｅ２とし、確率分布Φに式（４）を当てはめた目的関数をＥ３（Ｐ）とすると、条件１と条件２を統合した目的関数、すなわち、Ｅ１〜Ｅ３のそれぞれに分散σ１〜σ２を乗じて和をとったものが、サーバ負荷分散のための確率型最適化制御関数Ｅ（Ｐ）として得られる。この確率型最適化制御関数Ｅ（Ｐ）について、サーバごとの負荷量Ｐについての偏微分値をゼロとすることが最小値を求めるための必要条件となる。
【００６５】
【数１１】
2016114992.tif 000013
【００６６】
条件３：式（９）、（１０）より推定されたサーバの負荷量が閾値Ｐｔ（＜１０Ｗなど）よりも小さい場合は、サーバの電源をＯＦＦとして、その分のサーバ総数を減少させて再度、最適化計算を行う。
【００６７】
図４に、空調機の単位時間当の消費電力について、本発明および従来法などと比較した実験結果を示す。実験条件については、総負荷量を１ｋＷ〜２００ｋＷ（２５ｋＷずつ増加）、サーバ数を１０〜１０００台（１０台ずつ増加）、ラック数架とさまざまに変化させたときの空調機の消費電力について１時間当の値を平均値とした。各条件において、３〜５時間ずつ計測した。サーバ負荷分散配置の手法については、一様乱数（ａ）、正規乱数（ｂ）、均等負荷（ｃ）、本発明手法（ｄ）とした。その結果、ａ、ｂ、ｃ、ｄの順に、空調機の消費電力が減少した。
【符号の説明】
【００６８】
１１０  入力インタフェース
１２０  記憶装置
１２１  データ蓄積部
１２２  ユーザ定義部
１２３  センサ検出部
１２４  確率型最適制御部
１２５  サーバ負荷量割り当て部
１２６  サーバ負荷量判定部
１２７  サーバ総負荷量監視部
１３０  処理装置
１４０  出力インタフェース
１５０  入力装置
１６０  温度センサ
１７０  監視サーバ
【図１】
2016114992.tif 000014
【図２】
2016114992.tif 000015
【図３】
2016114992.tif 000016
【図４】
2016114992.tif 000017