(57)【要約】本発明は、機器利用を動的に調整することによってデータセンターの電力消費を特定のレベルに強制するためのシステム及び方法を提供する。【選択図】図１
2014527394.tif 000002
【特許請求の範囲】
【請求項１】
電力グリッド周波数を調整する方法において、
複数個の機器を有するデータセンターに接続された電力グリッドのグリッド周波数を決定するステップと、
前記データセンターに接続された前記電力グリッドの前記グリッド周波数を調整するために、前記データセンターに負荷を強制するステップと、
を含む方法。
【請求項２】
請求項１に記載の方法において、
前記データセンターに前記負荷を強制するステップは、更に、前記データセンターにおける前記複数個の機器のうちの１つ以上に負荷を強制するステップを含む、方法。
【請求項３】
請求項２に記載の方法において、
前記データセンターに前記負荷を強制するステップは、更に、前記データセンターにおける前記複数個の機器のうちの１つ以上の機器の利用を調整するステップを含む、方法。
【請求項４】
請求項２に記載の方法において、
前記データセンターに負荷を強制するステップは、更に、前記データセンターにおける前記複数個の機器のうちの１以上の機器の電力消費を調整するステップを含む、方法。
【請求項５】
請求項４に記載の方法において、
前記電力消費を調整するステップは、更に、前記データセンターにおける前記複数個の機器のうちの１以上の機器の電力消費を増加させるステップを含む、方法。
【請求項６】
請求項１に記載の方法において、
前記グリッド周波数を決定するステップは、更に、ユーティリティから前記グリッド周波数を受信するステップを含む、方法。
【請求項７】
請求項１に記載の方法において、
前記グリッド周波数を決定するステップは、更に、前記データセンターによって前記グリッド周波数を検出するステップを含む、方法。
【請求項８】
請求項１に記載の方法において、
ＩＴ予測電力を、前記機器を特定の電力消費レベルに設定するために強制された負荷によって補完されるベースラインとして用いる、方法。
【請求項９】
電力グリッド周波数を調整する装置において、
データセンターの環境を制御する一組のインフラと、
前記一組のインフラを制御するデータセンター構築自動化システムと、
複数個の機器を有するデータセンターに接続された電力グリッドのグリッド周波数を決定し、前記データセンターに接続された前記電力グリッドの前記グリッド周波数を調整するために、前記データセンターに負荷を強制する最適化エンジンと、
を備える、装置。
【請求項１０】
請求項９に記載の装置において、
前記最適化エンジンは、前記データセンターにおける前記複数個の機器のうちの１つ以上の機器に負荷を強制する装置。
【請求項１１】
請求項１０に記載の装置において、
前記最適化エンジンは、前記データセンターにおける前記複数個の機器のうちの１つ以上の機器の利用を調整する、装置。
【請求項１２】
請求項１０に記載の装置において、
前記最適化エンジンは、前記データセンターにおける前記複数個の機器のうちの１つ以上の機器の電力消費を調整する、装置。
【請求項１３】
請求項１２に記載の装置において、
前記最適化エンジンは、前記データセンターにおける前記複数個の機器のうちの１つ以上の機器の前記電力消費を増加させる、装置。
【請求項１４】
請求項９に記載の装置において、
前記最適化エンジンは、ユーティリティから前記グリッド周波数を受信する、装置。
【請求項１５】
請求項９に記載の装置において、
前記最適化エンジンは、前記グリッド周波数を検出する、装置。
【請求項１６】
請求項９に記載の装置において、
前記最適化エンジンは、ＩＴ予測電力を、前記機器を特定の電力消費レベルに設定するために強制された負荷によって補完されるベースラインとして用いる、装置。
【請求項１７】
データセンターの容量を予測して告知する方法において、
最適化エンジンにより、前記データセンターの環境を制御する一組のインフラの負荷容量を決定するステップと、
前記データセンターの前記負荷容量をエネルギー市場に告知するステップと、
前記エネルギー市場から需要に基づいて前記データセンターの環境を制御する前記一組のインフラの負荷を調整するステップと、
を含む、方法。
【請求項１８】
請求項１７に記載の方法において、
前記負荷容量を決定するステップは、更に、各インフラのＰＡＲ４評価を決定するステップを含む、方法。
【請求項１９】
請求項１７に記載の方法において、
前記負荷を調整するステップは、更に、前記データセンターから他のデータセンターへ負荷を移すステップと、前記一組の基盤をパワーキャッピングするステップと、前記一組の基盤の容量を動的に低減させるステップと、のいずれか１つを含む、方法。
【請求項２０】
請求項１７に記載の方法において、
前記負荷を調整するステップは、更に、ソフトウェアをインストールするステップと、前記ソフトウェアを実行するＣＰＵの前記負荷を自動的に調整するステップとを含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（優先権主張／関連出願）
本願は、米国特許法３５ＵＳＣ§１１９（ｅ）及び１２０のもとで、２０１１年８月２９日に出願された”System and Method for Forcing Data Center Power Consumption to Specific Levels by Dynamically Adjusting Equipment Utilization”（「機器利用を動的に調整することでデータセンターの電力消費を特定のレベルに強制するシステム及び方法」）と題する米国特許出願第６１／５２８，７４５号の利益を主張し、その全体を参照によりここに組み入れる。
【０００２】
本開示は、概して、機器利用の動的な調整に基づいてデータセンターの電力消費を調整するシステム及び方法に関する。
【背景技術】
【０００３】
ユーティリティは、任意の特定の日を通じて、電力需要パターンを概して＋／−３％以内の適度な正確さを持って予測することができる。このことは、電力市場が前もって発電要件を予測することを可能にする。どんな不均衡も、予測の不正確さ又は、（発電所の障害のような）電力供給及び／又は（ユーザが特定の日により多くの電力を必要とするような）電力需要における予定外の変化のいずれかによるものである。上述したタイプの主要な不均衡は、通常５から３０分以内にすぐにオンラインで利用可能な、予備の発電容量を維持しているユーティリティにより対処される。しかしながら、負荷はスイッチオン及びオフされるため、予測負荷と現行の電力供給との間には小さな不均衡が常に存在する。このような不均衡は、一般に、非常にわずかに速く又は遅く稼働しているシステムの発電機によって吸収されるが、これはシステム「周波数」に変化を生じさせる。定常周波数は電力供給の安定性及び質にとって不可欠であるため、ユーティリティはその不均衡をうまく処理しようとする。これは、いわゆる周波数応答モード（周波数制御モード又は自動発電制御モード（ＡＧＣ）とも呼ばれる）で作動することができる発電機を利用し、連続的にそれらの出力を変えて、必要とされる値に近い周波数（「グリッド周波数」）を維持するのを助けることによってなされ、その周波数は米国においては６０Ｈｚで、他国においては変わりうる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
グリッド周波数は、ユーティリティグリッドにおける全体的な電力均衡に関するシステム全体の指標である。グリッド周波数は、多量の電力需要がある場合には発電機が減速し始めるために下がり、反対に、任意の瞬時需要が少なすぎる（又は多量の発電がある）場合には上がる。ＡＧＣの下での発電機は、グリッドオペレータからの直接の制御信号の下で典型的には約４秒毎に新しい「設定値」（出力レベル）が与えられて、ユーティリティグリッドへの又はそれからの電力を追加又は除去することによってこの問題を軽減するのに利用される。多くのシステムでは、かなりの量の水力発電がない限り、ＡＧＣの下で作動できる発電設備の数は制限されているので、ユーティリティはこのサービスにかなり支払うことになる。この問題は、グリッド上の再生可能な電力の量が増えるにつれ、再生可能電力は、化石燃料のような以前のソースよりも遥かに急速に出力が変動する傾向があるので、より重要になっている。
【０００５】
前記グリッド周波数問題を首尾よく処理する他の方法は局所負荷制御を通して行うものであり、その制御においては、グリッド上の電力の供給／需要バランスを即座に維持するために、商業及び工業の公共料金納付者が負荷を減らすか又は追加するかのいずれかを要請される。ＩＴ機器及び冷却負荷を管理することによって電力需要を即座に増加又は減少させる能力を有しているデータセンターは、ユーティリティグリッドの周波数を調整し、従って、このタイプの能力を購入する付帯的なサービス市場に参加するのに非常に適している。従って、機器利用を動的に調整することによってデータセンターの電力消費を特定のレベルに強制するシステム及び方法を提供することが望ましく、そのために本開示がなされる。
【図面の簡単な説明】
【０００６】
【図１】機器利用（この例では、冷却）を動的に調整することによってデータセンターの電力消費を特定のレベルに強制するシステムを内蔵しているデータセンターシステムの一例を示す図である。
【図２】機器利用を動的に調整することでデータセンターの電力消費を特定のレベルに強制する方法のフローチャートを示す図である。
【図３】ユーティリティにとっての典型的な負荷曲線を例示する図表である。
【図４】データセンターの電力消費を特定のレベルに強制することによる動的な負荷調整を例示する図表である。
【図５】機器利用（この例では、ＩＴ機器）を動的に調整することによってデータセンターの電力消費を特定のレベルに強制するシステムを内蔵しているデータセンターシステムの一例を示す図である。
【発明を実施するための形態】
【０００７】
本開示は、機器利用を動的に調整することによってデータセンターの電力消費を特定のレベルに強制するデータセンターシステムに特に適用可能であり、本開示はこの文脈で説明される。しかしながら、本システム及び本方法がより大きな有用性を有することを理解されたい。
【０００８】
図１は、データセンターのエネルギー貯蔵システム１２を導入しているデータセンターシステム１０の一例を例示する。データセンターシステム１０は、データセンターのエネルギー貯蔵システム１２と、データセンターの冷却を含むデータセンターのオペレーションを制御するデータセンターの冷却制御及び構築自動化システム１４と、データセンターの冷却制御及び構築自動化システム１４による制御に基づいてデータセンターを冷却するための一組のデータセンター冷却インフラ１６とを有する。データセンターのエネルギー貯蔵システム１２は、１つ以上の公知の各種構築自動化及び通信プロトコルを用いてデータセンターの冷却制御及び構築自動化システム１４と通信し、データセンターの冷却制御及び構築自動化システム１４は、構築自動化及び通信プロトコルを用いて一組のデータセンター冷却インフラ１６と通信する。
【０００９】
図１に例示されるような一実施形態において、データセンターのエネルギー貯蔵システム１２は、データセンターの１つ以上の冷却コンポーネントとすることができる。データセンターのエネルギー貯蔵システム１２は、ハードウェアで実装されてもよい。データセンターのエネルギー貯蔵システム１２は、電力及びエネルギー消費データ収集ユニット／モジュール２０（これらのモジュール／ユニットの各々は、ソフトウェア実装においてはソフトウェアモジュール又はハードウェア実装においてはハードウェアユニットである）と、エネルギー／電力に対するユーティリティ供給の価格設定モジュール／ユニット（a utility feeds for energy/power pricing module/unit）２２と、予冷最適化ユニット／モジュール２４と、を有する。電力及びエネルギー消費データ収集ユニット／モジュール２０は、データセンターの電力及びエネルギー消費量を収集し、エネルギー／電力に対するユーティリティ供給の価格設定モジュール／ユニット２２は、特定のデータセンターにおけるエネルギー料金についてのデータを集め、消費調整信号も収集し、予冷最適化ユニット／モジュール２４は、以下でより詳細に記述されるようにデータセンターの予冷又は即座の調整のタイミングを決定する。典型的なデータセンターでは、一組のデータセンター冷却インフラ１６は、コンピュータルーム空調機２６、チラープラント２８並びに通気口及び送風機２９を含むが、それらは公知である。
【００１０】
図５に示される他の実施形態では、データセンターのエネルギー管理システム３５は、複数のコンピュータコードのラインを実行する、（一例ではデータセンターにおいて、又は他の場所で稼働している）ストレージ機器若しくはネットワーク機器のような１以上のサーバコンピュータ又は他のＩＴ機器とすることができる。データセンターのエネルギー管理システム３５は、ハードウェアで実装されてもよい。データセンターのエネルギー管理システム３５は、電力及びエネルギー消費データ収集ユニット／モジュール３０（これらのモジュール／ユニットの各々は、ソフトウェア実装においてはソフトウェアモジュール又はハードウェア実装においてはハードウェアユニットである）と、エネルギー／電力に対するユーティリティ供給の価格設定モジュール／ユニット３２と、最適化ユニット／モジュール３３とを有する。電力及びエネルギー消費データ収集ユニット／モジュール３０は、データセンターの電力及びエネルギー消費データを収集し、エネルギー／電力に対するユーティリティ供給の価格設定モジュール／ユニット３２は、特定のデータセンターにおけるエネルギーのエネルギー料金についてのデータのほかに、ユーティリティからの調整要求も集め、最適化ユニット／モジュール３３は、以下でより詳細に記述されるようにデータセンターの調整のタイミングを決定する。典型的なデータセンターでは、一組のデータセンター機器３６は、公知の、ストレージシステム３７、ネットワーク機器３８及びサーバ３９を含む。
【００１１】
図２は、図１に例示される一実施形態でPower Assure社のソフトウェアプラットフォーム１２により実装される、自動的に動的に機器利用を調整することによってデータセンターの電力消費を特定のレベルに強制する方法１３０のフローチャートである。他の実施形態では、下記に説明される様々なプロセスを、最適化エンジンによって実装することができる。本方法は、データセンターがユーティリティグリッド上の電気的負荷を平衡させるのに役立てる目的のための調整装置として作用することを可能にする。本方法は、データセンターの電力消費を動的に調整してグリッドレベルの変動を平衡させることを伴い、そのような調整は、冷却能力を増加又は減少させることによって、又はサーバ及びＩＴ機器の利用を動的に調整することによってなされる。
【００１２】
本方法では、例えば、グリッド周波数の下落／増加の検出、ユーティリティ供給信号、ユーティリティの変更要求、需要応答要求等に基づいて、データ収集ユニット２０によってグリッド周波数の変化を検出する（ステップＳ１３２）。データセンターは、停電及びデータセンターが発電機を停止することを要請される異常の場合を検出することもできる。グリッド周波数の変化が検出された場合又はユーティリティがシステム１２に調整要求を送信した場合、本システムはデータセンターのデータを用いてグリッド周波数（ステップＳ１３４）を調整する。データセンターにおいて、例えば、サーバは、ＰＡＲ４エネルギー効率証明書で実証されているように電力消費の変動性が高く、典型的な負荷曲線を有する例えば図３に示されるように、１００％利用の下でのピーク電力消費の典型的には５０％未満のアイドル電力消費を伴う。より詳細には、たとえピーク需要がごくまれに発生するだけであって平均的な利用率が２５％を十分下回る場合であっても、ほとんどのデータセンターはピーク需要に備えて準備されているため、データセンターから入手できる予備容量及び潜在的な消費電力量はたくさんある。サーバ及びＩＴ機器に負荷を置くことによって（ステップＳ１３６）、電力消費は動的に増加し、もしこの電力消費をリアルタイムで監視して調整すれば、そのような電力消費は、例えば図４に示されるようにサーバ及びＩＴ機器に特定の負荷を強制（「強制負荷」）することによって設定される。
【００１３】
代替の実施形態及び実装では、本システムは、送り込まれる主電力の周波数変動及びＩＴ／冷却負荷に対する相関を検知して、その変動に対処することができる方法を提供する。本システムは、ＩＴ／冷却負荷を調整することによって、＋／−電力消費調整を必要とするエネルギー供給信号に応答する方法も提供する。本システムは、データセンター内のリアルタイムのＩＴ活動毎にエネルギー市場への参加容量を予測し告知する方法及びＰＡＲ４機器参照データ（ＰＡＲ４については参照によってここに組み入れる米国特許第７，９７０，５６１号明細書に記載されている）を用いて補助サービス市場に参加するデータセンターの能力を分析し評価する方法をも提供する。本システムは、補助サービス市場への参加のためにデータセンター内でアプリケーション層及び時間制約毎に負荷を削減する方法及び／又は補助サービス市場への参加のためにデータセンター内でのアプリケーション層及び時間制約毎に負荷を追加する方法及び／又は補助サービス市場への参加のためにデータセンターにアプリケーション層及び時間制約毎に負荷を割り振る方法も提供する。
【００１４】
データセンターにおける機器の電力消費は、他の様々な方法によって調整されてもよい。例えば、データセンターは、サーバのクロック速度を減少させることによって、その特定サーバの電力消費を落とすように調整しながらサーバの最大電力消費を効果的に制限するサーバ用の電力キャップを有することができる。他の例では、本システムは、負荷平衡化又は仮想化用途を調整し且つ、これらの用途又はユーザの一部を、データセンターの電力消費を同じく落とすように調整する他の場所に移すことによっても、他のデータセンターに用途需要を移すことができる。更に、本システムには、所定のレベルでＣＰＵサイクルを用いて実際の用途需要が必要とするよりも高い電力消費を設定可能にするソフトウェアを起動することによって、ＣＰＵサイクルを用いて電力消費を増加させる特定のソフトウェアを追加してもよい。これは、エネルギー市場がより多くの電力を用いるために支払いをする場合に、ＩＴ機器の電力消費を平らにするために又は電力消費を増加させるためになされる。
【００１５】
前述したことは本発明の特定の実施形態を参照しているが、本開示の本質及び精神、添付する特許請求の範囲によって規定される範囲から逸脱しない範囲で当業者によって本実施形態の変更がなされてもよいことは理解されたい。
【図１】
2014527394.tif 000003
【図２】
2014527394.tif 000004
【図３】
2014527394.tif 000005
【図４】
2014527394.tif 000006
【図５】
2014527394.tif 000007
【国際調査報告】
2014527394.tif 000008