(57)【要約】  本発明は、1つまたは複数のコンピュータサーバ(3)用の冷却システムの複数の液体冷却モジュール(4、5、6)の間の通信の方法に関するものであり、冷却モジュール(4、5、6)は、Nが2以上であるN+1冗長構成で稼働する仕方で互いに通信し、冷却を停止することなく、かつ1つまたは複数のサーバ(3)の動作を停止させることなく、これらの冷却モジュール(4、5、6)のうちのどれか1つの標準的な交換を可能にし、この通信は、マスター/スレーブなしで協調プロトコルによって確実にされ、冷却を行っている稼働モード(16、17)からもはや冷却を行っていないバックアップモード(20)に切り替える前に、冗長冷却モジュール(6)は、データセットがこれらすべての冷却モジュール(4、5、6)間で整合していることおよびこの整合性が所定の持続時間の間維持されることを予め検証する(33)、ことを特徴とする。
2019533873.tif 000002
【特許請求の範囲】
【請求項１】
1つまたは複数のコンピュータサーバ(3)用の冷却システムの複数の液体冷却モジュール(4、5、6)の間の通信の方法であって、
前記冷却モジュール(4、5、6)は、Nが2以上であるN+1冗長構成で動作する仕方で互いに通信し、冷却を停止することなく、かつ前記1つまたは複数のコンピュータサーバ(3)の動作を停止することなくこれらの冷却モジュール(4、5、6)のうちのいずれか1つの標準的交換を可能にし、
この通信は、マスター/スレーブなしで協調プロトコルによって確実にされ、
冷却中である稼働モード(16、17)からもはや冷却していないバックアップモード(20)に切り替える(35)前に、冗長冷却モジュール(6)は、データセットがこれらすべての冷却モジュール(4、5、6)にわたって整合性を有すること、およびこの整合性が所定の持続時間の間維持されることを予め検証(33)しなければならない、ことを特徴とする複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項２】
前記冷却モジュール(4、5、6)は、イーサネットネットワーク(2)上で互いに通信する、請求項1に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項３】
このイーサネットネットワーク(2)は、外部コマンドを前記コンピュータサーバ(3)に伝えるネットワークでもあり、同じコンピューティングタスクを実行することに関与することができる複数のサーバキャビネット(1)をグループ化したコンピュータクラスタの一般的ネットワークである、請求項2に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項４】
初期化フェーズにおいて、各冷却モジュール(4、5、6)は、少なくともその識別子と、それが配置されているサーバキャビネット(1)の識別子とをブロードキャスト(91)する、請求項1から3のいずれか一項に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項５】
この初期化フェーズにおいて、各冷却モジュール(4、5、6)は、それ自体と同じサーバキャビネット(1)内に配置されている別の冷却モジュール(4、5、6)の前記識別子を受信すると、受信を確認し、かつその固有の識別子とその共通のサーバキャビネット(1)の識別子とを伝達するターゲットメッセージを送り返し(92)、それにより、他の情報交換グループに属している他の冷却モジュールから分離されている情報交換グループを形成する、請求項4に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項６】
この初期化フェーズの完了後、各冷却モジュール(4、5、6)は、リフレッシュ期間により、そのデータをそれが識別した情報交換グループの他の冷却モジュール(4、5、6)に定期的に送信する、請求項4または5に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項７】
前記冷却モジュール(4、5、6)の各々は、
稼働モードで、前記冷却モジュール(4、5、6)が適切に冷却を行っているが、他のすべての冷却モジュール(4、5、6)と同期することに失敗する、自律ステータス(16)と、
稼働モードで、前記冷却モジュール(4、5、6)が適切に冷却を行っており、他のすべての冷却モジュール(4、5、6)と同期することができる、調節ステータス(17)と
の少なくとも2つのステータスを有することができる、請求項1から6のいずれか一項に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項８】
前記冷却モジュール(4、5、6)の各々は、
故障が生じた場合、前記冷却モジュール(4、5、6)が適切に冷却を続けているべきであるときに冷却を適切に停止している(31)、故障ステータス(18)と、
バックアップモードで、前記冷却モジュール(4、5、6)が不稼働状態であるが、他方の冷却モジュール(4、5、6)を故障した場合に即座に交換する状態にある、冗長ステータス(20)と
の少なくとも2つのステータスを有することができる、請求項1から7のいずれか一項に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項９】
冷却モジュール(4、5、6)は、故障ステータス(18)に切り替わる(31)ときに、それ自体が二次流体圧回路(8)内で流体冷却剤を循環させるためのポンプ(41、51、61、101)をシャットダウンする、請求項8に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項１０】
前記冷却モジュール(4、5、6)のうちの1つが初めに自律ステータス(16)に正常に到達(30)したときに、サーバキャビネット(1)は、それが収容するコンピュータサーバ(3)と同様に始動される、請求項7から9のいずれか一項に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項１１】
前記冷却モジュール(4、5、6)は各々パラメータのセットを有し、前記セットは、
次の有利な機会に冗長ステータスに切り替わることを許可されている前記冷却モジュールの識別子を指す、冗長冷却モジュールパラメータと、
冷却を調節するパラメータに対する設定点を指す、少なくとも1つの冷却調節パラメータと
を含む、請求項7から10のいずれか一項に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項１２】
前記冷却調節パラメータは、二次流体圧回路(8)内の流体冷却剤の、熱交換器(40、50、60、102)を出るときのターゲット温度である、請求項11に記載の複数の液体冷却モジュール（4、5、6）の間の通信の方法。
【請求項１３】
各冷却モジュール(4、5、6)は整合性インジケータを有し、前記整合性インジケータは、
次の3つの条件、すなわち、
前記冷却モジュール(4、5、6)が、他のすべての冷却モジュール(4、5、6)から、所定の第1の持続時間内に更新された、少なくとも前記冗長冷却モジュールパラメータおよび前記冷却調節パラメータに対する値を受信していることと、
前記冗長冷却モジュールパラメータに対するすべての受信された値が、所定の第2の持続時間よりも長い間、前記冗長冷却モジュールパラメータに対するその固有の値に等しかったことと、
前記冷却調節パラメータに対するすべての受信された値が、所定の第3の持続時間よりも長い間、前記冷却調節パラメータに対するその固有の値に等しかったことと
が同時に満たされるときに正であり、
これらの3つの条件のうちの少なくとも1つが満たされていない場合に負であり、
前記冷却モジュール(4、5、6)は、その整合性インジケータが正になったときのみ、自律ステータス(16)から調節ステータス(17)に切り替わる、請求項11または12に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項１４】
前記第1の持続時間は、前記冷却モジュール(4、5、6)によるデータリフレッシュの期間の少なくとも2倍であり、前記第1の持続時間は、好ましくは1から10秒の間、より好ましくは2から10秒の間である、請求項13に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項１５】
前記第2および第3の持続時間は、5から60秒の間、より好ましくは10から60秒の間であり、前記第2および第3の持続時間は有利には等しい、請求項13または14に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項１６】
冷却モジュール(4、5、6)がもはやそのデータを他の冷却モジュール(4、5、6)に伝達していないときに、メモリに記憶されているそのデータは、前記他の冷却モジュール(4、5、6)の前記整合性インジケータを評価する際にもはや考慮されない、請求項13から15のいずれか一項に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項１７】
各冷却モジュール(4、5、6)は安定性インジケータを有し、前記安定性インジケータは、
次の3つの条件、すなわち、
すべての前記冷却モジュール(4、5、6)の前記整合性インジケータが、少なくとも第4の持続時間、好ましくは前記第1、第2、および第3の持続時間よりも長い間、正であったことと、
どの冷却モジュール(4、5、6)も冷却機能不全アラームを受信していないことと、
前記冷却モジュールの多くても1つが冗長ステータス(20)にあり、すべての冷却モジュールまたは他のすべての冷却モジュールが調節ステータス(17)にあることと
が同時に満たされたときに正であり、
これらの3つの条件のうちの少なくとも1つが満たされていない場合に負であり、
前記冷却モジュール(4、5、6)は、次の2つの条件、すなわち、
その冗長冷却モジュールパラメータがその固有の冷却モジュール識別子を指すことと、
その安定性インジケータが正になることと
が同時に満たされるときにのみ、調節ステータス(17)から冗長ステータス(20)に切り替わる、請求項13から16のいずれか一項に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項１８】
前記第4の持続時間は、1分よりも長く、好ましくは2から5分の間である、請求項17に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項１９】
すべての冷却モジュール(4、5、6)が少なくとも所定の第5の持続時間の間、自律ステータス(16)のままである場合に、サーバキャビネット(1)の外部の操作者による介入が行われ、この第5の持続時間は、好ましくは10分よりも長い、請求項7から18のいずれか一項に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項２０】
冷却モジュール(4、5、6)が故障ステータス(18)に切り替わるときに、そのデータは、他の冷却モジュール(4、5、6)の前記整合性インジケータを評価する際にもはや考慮されない、請求項13から19のいずれか一項に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項２１】
各冷却モジュール(4、5、6)によって他の冷却モジュール(4、5、6)に送信されるデータは、
互いに通信することを意図されており、同じサーバキャビネット(1)内に配置され、このサーバキャビネット(1)内に配置されているコンピュータサーバ(3)のグループを一緒に冷却する、冷却モジュール(4、5、6)のグループの識別子と、
その固有の冷却モジュール識別子(4、5、6)と、
その冗長冷却モジュールパラメータの値と、
その冷却調節パラメータの値と、
冷却機能不全アラームの存在または非存在に対応するブールパラメータと
を含む、請求項6および請求項7から20のいずれか一項に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項２２】
前記リフレッシュ期間は、0.5から2秒の間である、請求項6または21に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項２３】
前記冷却モジュール(4、5、6)のうちの1つが故障ステータス(18)に切り替わったときに(31)、
その冗長冷却モジュールパラメータは、その固有の冷却モジュール識別子を指し、
それらの冗長冷却モジュールパラメータがこの故障冷却モジュール(18)の識別子を指すようにするためのコマンドが他の冷却モジュール(4、5、6)に送信され、
冗長ステータス(20)にある前記冷却モジュールは、調節ステータス(17)または自律ステータス(16)に切り替わり、
前記故障冷却モジュール(18)のすべての機能要素への電力の供給は、その回路制御基板(103)を除き、無効化される、請求項7から22のいずれか一項に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項２４】
前記冷却モジュール(4、5、6)のうちの1つが故障ステータス(18)に切り替わったときに(31)、次いで、除外ステータス(19)に切り替わることができ、次いで、
操作者からの特定のコマンド(36)は、この冷却モジュール(4、5、6)の除外を命令し、
前記冷却モジュール(4、5、6)の包含を命令する前記操作者からの特定のコマンド(29)は、除外された冷却モジュールをリスタートするために必要とされ、その回路制御基板(103)の単純なリブートは、前記リスタートを有効化しない、請求項23に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項２５】
前記冷却モジュール(4、5、6)のうちの1つが自律ステータス(16)または調節ステータス(17)または冗長ステータス(20)に切り替わったときに、次いで、故障ステータス(18)を経由することなく除外ステータス(19)に直接進むことができ、次いで、
操作者からの特定のコマンド(36)は、この冷却モジュールの除外を命令し、
この冷却モジュール(4、5、6)の包含を命令する前記操作者からの特定のコマンド(29)は、除外された冷却モジュールをリスタートするために必要とされ、その回路制御基板(103)の単純なリブートは、前記リスタートを有効化しない、請求項23または24に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【請求項２６】
前記冷却モジュール(4、5、6)のうちの1つが除外ステータス(19)を抜けたときに、
前記操作者からの特定のコマンド(29)は、この冷却モジュール(4、5、6)の前記包含を命令し、
故障している(18)この冷却モジュール(4、5、6)のすべての機能要素に供給される電力は、再び活性化される、請求項24または25に記載の複数の液体冷却モジュール(4、5、6)の間の通信の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同じサーバキャビネット内に一般的に収容される1つまたは複数のコンピュータサーバ用の冷却システムの複数の液体冷却モジュールの間の通信プロトコルの分野に関するものである。
【背景技術】
【０００２】
従来技術によれば、2つの液体冷却モジュールを備え、第1のモジュールが稼働し、第2のモジュールは不稼働であるが、第1のモジュールが故障した場合に直ちに引き継げる状態にある、液体冷却システムを使用することが知られている。この冷却システムは、1+1冗長構成で稼働し、比較的単純でロバストである。しかしながら、その有効性は、限定されている。液体冷却モジュールのサイズが適切であれば、サーバキャビネット内では合計80kWしか消費され得ない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、上述の不利点を少なくとも部分的に解消するサーバキャビネットを実現することである。
【０００４】
より具体的には、本発明は、サーバキャビネット内で必要な空間と稼働中に冷却モジュールの1つが故障した場合のロバスト性との間の他に比べてよい妥協を冷却システムが提供するサーバキャビネットを、計算性能の低下を回避するためにサーバキャビネットの動作に対する破壊的影響が小さくなるような仕方で、実現することを目的としている。
【課題を解決するための手段】
【０００５】
本発明により、前述の従来技術は、次のようなジレンマをもたらす。第1の選択肢では、モジュールの冗長性が維持され、冷却システムは故障が起きた場合にロバストであるが、サーバキャビネット全体を冷却するほどの大きな冷却モジュールが不稼働のままであり、したがって使用されないので、通常モードで冷却するために著しくオーバーエンジニアリングにする必要が生じる。第2の代替的選択肢では、モジュールの冗長性は維持されず、冷却システムは通常モードで冷却するのに適した設計がなされ得るが、この冷却システムは、たった1つの冷却モジュールが故障しただけでも影響を受け、そのような故障が生じた結果自動的に冷却能力が著しく低下し、半分になり、たちまち、関連するサーバキャビネットの完全シャットダウンが必要になる。
【０００６】
本発明により、上述の従来技術を改善することは、少なくとも2+1の冗長構成に拡大することによって考えられている、すなわち、少なくとも3つの冷却モジュールの構成をとり、そのうちの少なくとも2つのモジュールが常時冷却を行い、第3のモジュールは不稼働のままであるが、稼働している他の2つの冷却モジュールのいずれかが故障した場合に直ちに引き継ぐことができる状態にある。マスター/スレーブアーキテクチャが考えられた。このアーキテクチャは、スレーブモジュールが故障した場合でもロバストであるけれども、マスターモジュールの故障に対しては依然として影響を受け、後者はここでもまた冷却システム内にウィークリンク(weak link)を構成する。さらに、スレーブ冷却モジュールに加えて多数の交換用マスター冷却モジュールの在庫を手元に置く必要がある。
【０００７】
したがって、本発明は、有利には交換可能である複数の冷却モジュールを保持し、稼働中の冷却モジュールのうちのどれかが故障した場合に引き継げるように不稼働状態のモジュールを除くすべてが冷却を行うようにする、ことを提案する。次いで、冷却モジュールは、協調プロトコル(collaborative protocol)によって、マスター/スレーブを用いることなく、互いに通信するが、これは、サーバキャビネットの全空間の占有を減らしつつ、稼働している冷却モジュールの故障を補償するだけでなく、冷却システムまたは対応するサーバキャビネットのいずれかをシャットダウンすることなくその場で交換を行うことを確実にしながら、ウィークリンクを排除する。本発明により、この協調プロトコルには各冷却モジュールのより高い自律性が伴い、そこでモジュールは以前に実行していなかった作業を実行しなければならなくなる。冷却モジュールが交換可能であるとき、これは、手元に置くべき交換用冷却モジュールの種類の数も減らす。
【０００８】
本発明の好ましい実施形態により、これは2+1冗長構成で少なくとも120kWの冷却を行うことに関係する。60kWの容量を有する3つのモジュールは、各々、第3の従来技術の各々120kWの容量を有する2つのモジュールの代わりに十分である。サーバキャビネット内の必要空間の削減は著しい。したがって、マスターコントローラはなく、そのため、冷却管理は集中化されず、クリティカルポイントにならない。本発明によって採用される集中排除は、協調動作プロトコルの使用に至り、したがって、マスター/スレーブはなく、すべての冷却モジュールは、間に階層関係を有さずに同じレベルで通信し、したがってこれらはすべて同等である。
【０００９】
この集中排除は、故障が発生した場合によりロバストな冷却システムをもたらす。しかしながら、高度に階層的なマスター/スレーブ通信とは異なり、複数の冷却モジュールが協調プロトコルを用いて等しい設置面積上で互いに通信し、いずれもスレーブとなる別のモジュールのマスターでない場合、リスクは冷却モジュール間のこの非階層的な通信における矛盾または無理解から生じる可能性があり、これは、全体としてサーバキャビネットの冷却システム内に不安定性を引き起こす可能性のあるいくつかの条件の下で冷却モジュールのうちのどれかに対する早すぎる状態変化を引き起こすおそれがある。不安定性のこのリスクを低減するために、特定のデータの整合性を検証するステップは、少なくともアドホックベースで整合性が観察されるときに、時間の経過とともにこの整合性の安定性の検証も伴う、いくつかの状態変化の前に明示的に行われる。
【００１０】
時間の経過とともに整合性を検証し、この整合性の安定性を検証するこの二重の余分な予防策は、サーバキャビネットの1つまたは複数の冷却モジュールにおける望ましくない、または少なくとも早すぎる状態変化から生じるであろうサーバキャビネットでの一般的な冷却システム内の逸脱または不安定性のリスクを低減もしくは排除しながら、協調プロトコルにおけるすべての柔軟性およびその有効性の大部分を保持する。サーバキャビネットの1つまたは複数の冷却モジュール内の望ましくない、または少なくとも早すぎる状態変化の可能性があるがとりわけ、本発明により冷却システムの不安定性の最もクリティカルなリスクをもたらす、不稼働であることを意味する、冗長的冷却モジュール状態への冷却モジュールの早すぎる遷移がある。本発明では、実際に、より効率的な冗長性を維持するために、中断することなく、時間の経過とともに安定たままであり、かなり長期間にわたって持続することができる、冷却モジュールの冗長性、言い換えると、その不稼働を探し求める。冗長、したがって、不稼働である冷却モジュールが不稼働状態と稼働状態とを周期的に繰り返すのに時間を費やす場合、これは、時間全体にわたって稼働しているままである場合よりあまりよくない。
【００１１】
この目的のために、本発明は、1つまたは複数のコンピュータサーバ用の冷却システムの複数の液体冷却モジュールの間の通信の方法を提供し、冷却モジュールは、Nが2以上であるN+1冗長構成で稼働する仕方で互いに通信し、冷却を停止することなく、1つまたは複数のサーバの動作を停止させることなく、これらの冷却モジュールのうちのどれか1つの標準的な交換を可能にし、この通信はマスター/スレーブなしで協調プロトコルによって確実にされ、冷却を行っている稼働モードからもはや冷却を行っていない不稼働モードに切り替える前に、冗長冷却モジュールがデータセットがこれらすべての冷却モジュール間で整合していることおよびそのような整合性が所定の持続時間の間維持されることを予め検証することを特徴とする。
【００１２】
好ましい実施形態により、本発明は、別々に、または組み合わせて使用され得る次の特徴のうちの1つまたは複数を含む。
【００１３】
好ましくは、冷却モジュールは、イーサネット（登録商標）ネットワーク上で互いに通信する。このイーサネットネットワークは、単純なメッセージがキャビネット内の冷却モジュール間でやり取りされるこれらのローカル通信に非常によく適している。
【００１４】
好ましくは、イーサネットネットワークは、また、外部コマンドをコンピュータサーバに伝えるネットワークでもあり、同じコンピューティングタスクを実行することに関与することができる複数のサーバキャビネットをグループ化したコンピュータクラスタの一般的ネットワークである。既存のイーサネットネットワークは、したがって、費用効果が高く、追加の専用ネットワークを付加することによって冷却システムの複雑度を高める必要がない。
【００１５】
好ましくは、初期化フェーズにおいて、各冷却モジュールは少なくともその識別子と、それが配置されているサーバキャビネットの識別子とをブロードキャストする。したがって、同じサーバキャビネット内に配置されている同じグループの様々な冷却モジュールが、これらがまだ認識していないグループの他の冷却モジュールとの接触を素早く確立することは確かであり得る。
【００１６】
好ましくは、この初期化フェーズにおいて、各冷却モジュールはそれ自体と同じサーバキャビネット内に配置されている別の冷却モジュールの識別子を受信すると、受信を確認し、その固有の識別子とその共通のサーバキャビネットの識別子とを伝達するターゲットメッセージを送り返し、それにより他の情報交換グループに属している他の冷却モジュールから分離されている情報交換グループを形成する。したがって、同じサーバキャビネット内に配置されている同じグループの様々な冷却モジュールは、他のグループの冷却モジュールから干渉を受けることなく関係するすべての冷却モジュールとのグループ内通信を確立することができる。
【００１７】
好ましくは、この初期化フェーズの完了後に、各冷却モジュールは、リフレッシュ期間とともに、そのデータをそれが識別した情報交換グループの他の冷却モジュールに定期的に送信する。したがって、同じサーバキャビネットのすべての冷却モジュールは、サーバキャビネットの他の冷却モジュールのデータの、場合によってはほぼリアルタイムの、最新の知識を有し、特にこの通信は可能な限り最新のデータを有することが冷却モジュールにとってなおいっそう有用である協調プロトコルに基づくので、モジュール間の通信を改善し、合理化する。
【００１８】
好ましくは、冷却モジュールの各々は、少なくとも次の2つのステータスを有することができる。稼働モードでは、冷却モジュールが適切に冷却を行っているが、他のすべての冷却モジュールと同期することに失敗する自律ステータスと、ここでもまた稼働モードでは、冷却モジュールが適切に冷却を行っており、他のすべての冷却モジュールと同期することができる調節ステータスとである。したがって、これら2つの稼働モードの存在は、冷却モジュールの間の同期が存在しない場合に効果的であるが最適化されない冷却を可能にし、したがってそれでもサーバキャビネットのコンピュータサーバが稼働することを可能にすることによって、および最適条件の下で冷却モジュールが冗長構成に切り替わる、言い換えると、不稼働に切り替わることを可能にする冷却モジュール間の同期の存在下で最適な冷却を行わせることによって、冷却システムの一般的稼働を改善する。
【００１９】
好ましくは、冷却モジュールの各々は、少なくとも次の2つのステータスを有することができる。故障が生じた場合、冷却モジュールが適切に冷却を続けているべきであるときに冷却を適切に停止した故障ステータスと、バックアップモードで、冷却モジュールが不稼働であるが、他方の冷却モジュールを故障した場合に即座に交換する状態にある冗長ステータスとである。それらの冷却モジュールのうちの1つの故障ステータスは、冗長ステータスにある他の冷却モジュールに警告を送り、それがサーバキャビネットのコンピュータサーバの十分な冷却を行っているときに前者を交換することを可能にする。
【００２０】
好ましくは、冷却モジュールが故障ステータスに切り替わったときに、それ自体が二次流体圧回路内の流体冷却剤を循環させるためのポンプをシャットダウンする。マスター冷却モジュールが存在しない場合、各冷却モジュールは、全体として冷却システムのより適切な運転を確実に行わせるために独力で実行しなければならない追加のタスクを有する。
【００２１】
好ましくは、それらの冷却モジュールのうちの1つが最初に自律ステータスに到達することに成功したときに、サーバキャビネットはこれが収容するコンピュータサーバが起動するのと同時に起動する。したがって、サーバキャビネットは、起動中であるが十分な冷却を得ていないサーバキャビネットの緊急シャットダウンを回避するために、最低限の冷却がすでに利用可能であることを検証しながら非常に素早く稼働し始める。
【００２２】
好ましくは、冷却モジュールは、各々、次の好機に冗長ステータスに切り替わることを許可されている冷却モジュールの識別子を指す冗長冷却モジュールパラメータ、冷却を調節するパラメータに対する設定点を指す少なくとも1つの冷却調節パラメータを含む一組のパラメータを有する。したがって、少なくともこれら少数の有用なパラメータがあれば、冷却モジュールは、各々、冷却システムに対するより完全なステータスレポートを有する。
【００２３】
好ましくは、冷却調節パラメータは、熱交換器から出るときの二次流体圧回路内の流体冷却剤のターゲット温度である。このパラメータは、冷却システムの適切な稼働を特に表し、コンピュータサーバの温度が許容限度に接近していないことをより適切に確実にする。
【００２４】
好ましくは、各冷却モジュールは、前記冷却モジュールが第1の所定の持続時間内に更新された、少なくとも冗長冷却モジュールパラメータおよび冷却調節パラメータに対する値を他のすべての冷却モジュールから受け取っていること、冗長冷却モジュールパラメータに対する受け取ったすべての値が第2の所定の持続時間よりも長い時間、冗長冷却モジュールパラメータに対するその固有の値に等しいこと、および冷却調節パラメータに対する受け取ったすべての値が第3の所定の持続時間よりも長い時間、冷却調節パラメータに対するその固有の値に等しいこと、という3つの条件が同時に満たされたときに正であり、それら3つの条件のうちの少なくとも1つが満たされていない場合に負である、整合性指標を有し、前記冷却モジュールはその整合性指標が正になったときのみ自律ステータスから調節ステータスに切り替わる。すべての冷却モジュールが単純で効率的な仕方でそれらの同期が達成されていること、およびそれらのモジュールのうちの1つに対する冗長構成への切り替えを最適化するための有利な条件が間もなく満たされるべきであることを検証することを可能にするのがこの整合性指標である。
【００２５】
好ましくは、第1の持続時間は、冷却モジュールによるデータリフレッシュ期間の少なくとも2倍であり、第1の持続時間は好ましくは1秒から10秒の間であり、より好ましくは2秒から10秒の間である。これらの持続時間は、冷却調節ループ内の不安定性のリスクを著しく高めることなく、ドリフトが生じた場合の冷却システムの応答性を高める。
【００２６】
好ましくは、第2および第3の持続時間は、5秒から60秒の間、より好ましくは10秒から60秒の間であり、第2および第3の持続時間は有利には等しい。これらの持続時間は、冷却調節ループ内の不安定性のリスクを著しく高めることなく、ドリフトが生じた場合の冷却システムの応答性を高める。
【００２７】
好ましくは、冷却モジュールがそのデータを他の冷却モジュールにもはや伝達していないときに、メモリ内に記憶されているそのデータは、他の冷却モジュールの整合性指標を評価する際にもはや考慮されない。したがって、冷却モジュール間の通信および通信データに関連して行われるそれらの決定は、それらが表すことが想定されている冷却モジュールの実際の状態にもはや対応していない陳腐化したデータによってもはや損なわれることはない。
【００２８】
好ましくは、各冷却モジュールは、すべての冷却モジュールの整合性指標が、好ましくは第1、第2、および第3の持続時間よりも長い、少なくとも第4の持続時間の間、ずっと正であったこと、どの冷却モジュールも冷却機能不全アラームを受け取っていないこと、および冷却モジュールのうちのせいぜい1つが冗長ステータスにあり、すべての冷却モジュールまたはすべての他の冷却モジュールが調節ステータスにあること、という3つの条件が同時に同時に満たされたときに正であり、これら3つの条件のうちの少なくとも1つが満たされていない場合に負である、安定性指標を有し、前記冷却モジュールは、冗長冷却モジュールパラメータがその固有の冷却モジュール識別子を指すこと、およびその安定性指標が正になること、という2つの条件が同時に満たされたときにのみ調節ステータスから冗長ステータスに切り替わる。すべての冷却モジュールが効率的にそれと同時に容易に、それらの同期が達成されているだけでなく時間が経過してもこの同期が安定したままであること、およびそれらのモジュールのうちの1つに対する冗長構成への切り替えを最適化するための予想される有利な条件が満たされることを検証することを可能にするのがこの安定性指標である。
【００２９】
好ましくは、第4の持続時間は、1分よりも長い、好ましくは2分から5分の間である。これらの持続時間は、冷却調節ループ内の不安定性のリスクを著しく高めることなく、ドリフトが生じた場合の冷却システムの応答性を高める。
【００３０】
好ましくは、すべての冷却モジュールが少なくとも第5の所定の持続時間の間、自律ステータスのままである場合、サーバキャビネットの外部の操作者による介入が行われ、この第5の持続時間は好ましくは10分超である。実際、冷却モジュールがすべての到達した自律ステータスを有する場合、これは、稼働できることを意味するが、妥当な時間内に同期することに失敗した場合、別のレベルに問題が存在し、したがって、冷却モジュールのみで解決することは困難である可能性が高く、コストの点で最小化しようと試みる操作者介入は非常に有益なものとなり、したがって出費に値する。
【００３１】
好ましくは、冷却モジュールが故障ステータスに切り替わったときに、他の冷却モジュールの整合性指標を評価する際にそのデータはもはや考慮されない。冷却モジュール間の通信および通信データに関連して行われるそれらの決定は、それらが表すことが想定されている冷却モジュールの実際の状態にもはや対応していない陳腐化したデータによってもはや損なわれることはない。
【００３２】
好ましくは、各冷却モジュールによって他の冷却モジュールに送信されるデータは、互いに通信することを意図されており、同じサーバキャビネット内に配置され、このサーバキャビネット内に配置されているサーバのグループを一緒に冷却する、冷却モジュールのグループの識別子と、その固有の冷却モジュール識別子と、その冗長冷却モジュールパラメータの値と、その冷却調節パラメータの値と、冷却機能不全アラームの存在または非存在に対応するブールパラメータとを含む。少なくともこれら少数の有用なパラメータがあれば、それらの値を交換することによって、冷却モジュールは、各々、冷却システムに対するなおいっそう完全なステータスレポートを有する。
【００３３】
好ましくは、リフレッシュ期間は、0.5秒から2秒である。この持続時間は、冷却調節ループ内の不安定性のリスクを著しく高めることなく、ドリフトが生じた場合の冷却システムの応答性を改善する。
【００３４】
好ましくは、これらの冷却モジュールのうちの1つが故障ステータスに切り替わるときに、その冗長冷却モジュールパラメータはその固有の冷却モジュール識別子を指し、それらの冗長冷却モジュールパラメータがこの故障冷却モジュールの識別子を指すようにするためのコマンドが他の冷却モジュールに送信され、冗長ステータスにある冷却モジュールは、調節ステータスまたは自律ステータスに切り替わり、この故障冷却モジュールのすべての機能要素への電力の供給は、回路制御基板を除き、無効化される。したがって、故障冷却モジュールとそれを交換するべき冗長冷却モジュールとの間のハンドオーバーは、より滑らかに行われるようにされる。
【００３５】
好ましくは、これらの冷却モジュールのうちの1つが故障ステータスに切り替わるときに、これは除外ステータスに切り替わり、次いで、操作者からの特定のコマンドがこの冷却モジュールの除外を命令し、操作者からの特定のコマンドは除外された冷却モジュールを再始動するために必要であるこの冷却モジュールを含めることを命令し、その回路制御基板の単純なリブートは前記再始動を有効化しない。
【００３６】
好ましくは、これらの冷却モジュールのうちの1つが除外ステータスを抜けたときに、操作者からの特定のコマンドはこの冷却モジュールを含めることを命令し、この故障冷却モジュールのすべての機能要素への電力は再活性化される。
【００３７】
除外決定が明示的になされたので、対応する冷却モジュールを稼働している冷却システム内にもう一度含めるために、一般的冷却システムにおける不安定性のリスクを低減するためにここでも明示的決定を必要とすることがより安全でより確実である。
【００３８】
好ましくは、これらの冷却モジュールのうちの1つが自律ステータスまたは調節ステータスまたは冗長ステータスに切り替わるときに、これは故障ステータスを経由することなく除外ステータスに直接進むことができ、次いで、操作者からの特定のコマンドがこの冷却モジュールの除外を命令し、操作者からの特定のコマンドは除外された冷却モジュールを再始動するために必要であるこの冷却モジュールを含めることを命令し、その回路制御基板の単純なリブートは前記再始動を有効化しない。故障に加えて、一般的冷却システムに脅威をもたらす他の種類の機能不全の結果として、これらの他の種類の機能不全の影響を受けてその冷却モジュールが除外され得る。
【００３９】
本発明の他の特徴および利点は、例として添付図面を参照しつつ与えられている、本発明の好ましい実施形態の次の説明を読むことで明らかになるであろう。
【００４０】
本発明の別の目的は、サーバキャビネット内の空間要求空間と稼働している冷却モジュールの1つが故障した場合のロバスト性との間の他に比べてよい妥協を冷却システムが提供するサーバキャビネットを、計算性能の低下を回避するためにサーバキャビネットの動作に対する破壊的影響が小さくなるような仕方で、実現することを目的としている。
【００４１】
本発明のこの他の目的により、液体冷却剤の熱容量に比べて空気の熱容量が著しく低いことによって本質的に制限を受けるので空気冷却は使用されない。多数のサーバキャビネットを高密度グループ化するコンピュータクラスタでは、各サーバキャビネットが高密度積層された著しい数のコンピュータサーバを収容し、冷却性能要件は高すぎて空気冷却では満たされないように思われる。
【００４２】
本発明のこの他の目的により、キャビネットの外部に再配置されるコンポーネントによる水冷は、これが2つの不利点を表し得る冷却剤循環ポンプなどのサイズが大きい共有要素を必要とするので保持されない。第1の不利点は、これらの大きい要素が著しい空間を占有するという事実にあり、これは多数のサーバキャビネットを高密度グループ化するコンピュータクラスタではクリティカルであり得、各サーバキャビネットが高密度積層された著しい数のコンピュータサーバを収容している。第2の不利点は、故障した場合に、これらの共有要素は共有されることから一般的システムにおいてウィークリンクであると判明し得るという事実にある。これらの要素がシャットダウンされる必要があるだけでなく、これらの故障要素に依存するすべてのサーバキャビネット、およびもちろん、コンピュータ冷却システムの要素のうちのいくつかが故障した場合にコンピュータクラスタに対する計算性能の重大な低下を引き起こす可能性のある、すべてのそれらのコンピュータサーバもシャットダウンされる必要がある。
【００４３】
本発明のこの他の目的により、1+1冗長構成をとる2つの冷却モジュールによる水冷は次のジレンマをもたらす。第1の選択肢では、モジュールの冗長性が維持され、冷却システムは故障が起きた場合にロバストであるが、サーバキャビネット全体を冷却するほどの大きな冷却モジュールが不稼働のままであり、したがって使用されないので、通常モードで冷却するために著しくオーバーエンジニアリングにする必要が生じる。第2の代替的選択肢では、モジュールの冗長性は維持されず、冷却システムは通常モードで冷却するのに適した設計がなされ得るが、この冷却システムは、たった1つの冷却モジュールが故障しただけでも影響を受け、そのような故障が生じた結果自動的に冷却能力が著しく低下し、半分にされ、たちまち、関連するサーバキャビネットの完全シャットダウンが必要になる。
【００４４】
本発明のこの他の目的により、冗長構成を少なくとも2+1に拡大することによって1+1冗長構成を改善することが考えられた、すなわち、少なくとも3つの冷却モジュールの構成をとり、そのうちの少なくとも2つのモジュールが常時冷却を行い、第3のモジュールは不稼働のままであるが、稼働している2つの冷却モジュールのいずれかが故障した場合に直ちに引き継ぐことができる状態にある。マスター/スレーブアーキテクチャが考えられた。このアーキテクチャは、スレーブモジュールが故障した場合でもロバストであるけれども、マスターモジュールの故障に対しては依然として影響を受け、後者はここでもまた冷却システム内にウィークリンクを構成する。さらに、スレーブ冷却モジュールに加えて多数の交換用マスター冷却モジュールの在庫を手元に置く必要がある。
【００４５】
次いで、本発明のこの他の目的は、有利には交換可能である複数の冷却モジュールを保持し、稼働中の冷却モジュールのうちのどれかが故障した場合に引き継げるように不稼働状態のモジュールを除くすべてが冷却を行うようにする、ことを提案する。次いで、これらの冷却モジュールは、協調プロトコルによって、マスター/スレーブを用いることなく、互いに通信するが、これは、サーバキャビネットの全空間の占有を減らしつつ、稼働している冷却モジュールの故障を補償するだけでなく冷却システムまたは対応するサーバキャビネットのいずれかをシャットダウンすることなくその場で交換を行うことを確実にしながら、ウィークリンクを排除する。本発明のこの他の目的により、この協調プロトコルには各冷却モジュールのより高い自律性が伴い、そこで各モジュールは以前に実行しなかった作業を実行しなければならなくなる。冷却モジュールが交換可能であるとき、これは、手元に置くべき交換用冷却モジュールの種類の数も減らす。
【００４６】
本発明のこの他の目的の好ましい実施形態により、これは、同じサーバキャビネットのコンピュータサーバに対して、2+1冗長構成で少なくとも120kWの冷却を行うことに関係する。60kWの容量を有する3つのモジュールは、各々、1+1冗長構成において各々120kWの容量を有する2つのモジュールの代わりに十分である。サーバキャビネット内の占有空間の削減は著しい。したがって、マスターコントローラはなく、そのため、冷却管理は集中化されず、クリティカルポイントにならない。本発明のこの他の目的において採用される集中排除は、協調動作プロトコルの使用に至り、したがって、マスター/スレーブはなく、すべての冷却モジュールは、間に階層関係を有さずに同じレベルで通信し、したがってこれらはすべて同等である。
【００４７】
この目的のために、本発明のこの他の目的は、少なくとも1つのコンピュータサーバと、そのサーバ用の少なくとも1つの液体冷却モジュールとを備えるサーバキャビネットを実現することであり、キャビネットは、マスター/スレーブなしで協調プロトコルにより互いに通信し、Nを2以上としてN+1冗長構成で稼働する、少なくとも3つの液体冷却モジュールを備え、これにより、サーバキャビネットの冷却を停止することなく、またサーバキャビネット内に配置されているサーバの動作を停止することなく、これらの冷却モジュールのうちのどれか1つの標準的な交換を可能にし、これらの液体冷却モジュールの各々はそれ専用の冷却調節および故障検出システムを備える。
【００４８】
この目的のために、本発明のこの他の目的は、また、サーバキャビネット内に配置されている少なくとも1つのコンピュータサーバ用の少なくとも1つの液体冷却モジュールを備える冷却システムを実現することであり、キャビネットは、サーバキャビネット内に配置され、マスター/スレーブなしで協調プロトコルにより互いに通信し、Nを2以上としてN+1冗長構成で稼働する、少なくとも3つの液体冷却モジュールを備え、これにより、サーバキャビネットの冷却を停止することなく、またサーバキャビネット内に配置されているサーバの動作を停止することなく、これらの冷却モジュールのうちのいずれかの標準的な交換を可能にし、これらの液体冷却モジュールの各々はそれ専用の冷却調節および故障検出システムを備える。
【００４９】
したがって、本発明のこの他の目的の好ましい実施形態により、液体冷却モジュールは、サーバキャビネットまたはそれが収容するコンピュータサーバの動作を停止させることなくメンテナンスのために交換可能である。次いで、この液体冷却モジュールは、調節および故障検出用のそれ専用の電子回路を有し、同じサーバキャビネットの液体冷却モジュール間で独立した協調動作が行われ、サーバキャビネット用にマスターコントローラを有しない。この最適化された冗長構成は、n個のモジュールが稼働し、1個が不稼働であることで、エネルギー消費量を低減する。冗長モジュールを不稼働に設定する決定は、同じサーバキャビネットのすべての冷却モジュールによって、協調アルゴリズムに基づきなされる。
【００５０】
好ましい実施形態により、本発明のこの他の目的は、本発明の他の目的のどれかとともに、別々に、または組み合わせて使用され得る次の特徴のうちの1つまたは複数を含む。
【００５１】
好ましくは、サーバキャビネットは、コンピュータサーバを直接冷却する二次流体圧回路を備え、液体冷却モジュールは、互いに並列に二次流体圧回路に接続される。これは、冷却システムが複雑度を増すことになるバイパス回路を必要とせずに、故障が発生した場合の異なる冷却モジュールの独立性をより確実にする。
【００５２】
好ましくは、サーバキャビネットは、サーバキャビネットの外部にあるヒートシンクに接続することを意図されている一次流体圧回路の一部分を含み、液体冷却モジュールは、互いに並列に一次流体圧回路のこの部分に接続される。これは、冷却システムが複雑度を増すことになるバイパス回路を必要とせずに、故障が発生した場合の異なる冷却モジュールの独立性をより確実にする。
【００５３】
好ましくは、サーバキャビネットは、コンピュータサーバを直接冷却する二次流体圧回路を備え、二次流体圧回路内の液体冷却剤の温度は、20℃から45℃の間である。この温度範囲は、冷却される大部分のコンピュータサーバの適切な稼働を確実にする。
【００５４】
好ましくは、これらの冷却モジュールのうちの1つは、冷却時間の大部分、好ましくは冷却時間の少なくとも90%においてオフ状態である。したがって、冗長構成は十分に機能しており、他の冷却モジュールのうちの1つが故障した場合、このモジュールは、これもまたその後すぐに故障するリスクをかなり低く抑えて直ちに引き継げる状態にある。
【００５５】
第1の代替的形態により、冷却時間の大部分において不稼働状態のままであるのが常に同じ冷却モジュールである。他の冷却モジュールのうちの1つが故障した場合、これは新品のようであり、これもまたその後すぐに故障するリスクなしで直ちに引き継げる状態にある。
【００５６】
第2の代替的形態により、冷却モジュールの各々は定期的に交代して冷却時間の大部分において順次に不稼働状態になる。他の冷却モジュールのうちの1つが故障した場合、このモジュールは、これもまたその後すぐに故障するリスクを比較的低く抑えて直ちに引き継げる状態にある。同じサーバキャビネットのすべての冷却モジュールは定期的に使用され、類似の摩耗度を示すが、これは同じコンピュータ室内の冷却モジュールのプールの管理を簡素化することができる。
【００５７】
好ましくは、すべての冷却モジュールは、冷却時間のわずかな部分、好ましくは冷却モジュールの初期化フェーズおよび/またはリセットフェーズのみにおいて、および/またはサーバキャビネットが一次流体圧回路の一部分を用いて接続される外部ヒートシンクの一時的機能不全において、一緒に冷却している。したがって、冗長冷却モジュール、すなわち、不稼働状態のモジュールが、他の冷却モジュールのうちの1つが故障した場合に引き継ぐことができるだけでなく、悪条件が生じた場合、他の冷却モジュールが、故障していないけれども、もはや所望のレベルの冷却を保証できないときに、冗長冷却モジュールは、その後すべて稼働し続ける他の冷却モジュールを補助するために参加することができる。
【００５８】
好ましくは、キャビネットは、マスター/スレーブなしで協調プロトコルにより互いに通信し、Nを2から4としてN+1冗長構成で稼働する、少なくとも3から5つの液体冷却モジュールを備え、これにより、サーバキャビネットの冷却を停止することなく、またサーバキャビネット内に配置されているサーバの動作を停止することなく、これらの冷却モジュールのうちのいずれかの標準的な交換を可能にする。この中程度の、ただし十分な、数の冷却モジュールは、通常モードにおける冷却効率と故障が発生した場合のロバスト性との間の非常によい妥協となっている。
【００５９】
好ましくは、液体冷却モジュールは、コンピュータサーバのクラスタを冷却するサーバキャビネットのプールを管理し、サーバキャビネットのプールによる冷却に加えて、コンピュータサーバのクラスタをブートすることと、タスク、たとえば、コンピューティングタスクを割り振ることとを含む、コンピュータサーバのこのクラスタに対するいくつかの他の機能を管理する一般的管理者にのみ従い、互いに対等で通信する。これは、冷却モジュールの各々の自律性を改善しながら、クラスタアーキテクチャにおいてより高いレベルにあったとしても、ウィークリンクを排除するので、故障が発生した場合に冷却システムを全体的によりロバストにする。
【００６０】
好ましくは、各冷却モジュールは、少なくとも50kW、好ましくは少なくとも60kWの熱を放散する。したがって、単純な2+1冗長構成は、すでに、サーバキャビネット内に占有する空間が大きくなりすぎないようにしながら大量の熱の効果的放散を確実にしている。
【００６１】
好ましくは、サーバキャビネットは、コンピュータサーバを直接冷却する二次流体圧回路を備え、サーバキャビネットは、サーバキャビネットの外部にあるヒートシンクに接続されることを意図されている一次流体圧回路の一部分を含み、この一次流体圧回路によって熱交換器が二次流体圧回路を冷却し、二次流体圧回路の出口と一次流体圧回路の入口との間の温度差は0℃から6℃の間である。そこで、熱交換器は、冷却モジュールにおける冷却効率とコンパクトなサイズとの間のよい妥協をもたらす。
【００６２】
好ましくは、各冷却モジュールの冷却調節および故障検出システムは、1つまたは複数の温度センサ、1つまたは複数の圧力センサ、漏水検出器、開弁角度の位置を検出するセンサを備える。この一組のセンサは、故障または機能不全が生じた場合に速やかな対応を確実に行えるようにしながら、冷却モジュールが通常の冷却モードで適切に稼働することを確実にする。
【００６３】
好ましくは、各冷却モジュールの冷却調節および故障検出システムは、冷却モジュールのポンプをオンまたはオフにする役割を有する継電器のためのアクチュエータと、開弁角度を制御する役割を有する弁アクチュエータとを備える。これらの要素は、冷却モジュールの自律性を改善することに寄与する。
【００６４】
好ましくは、すべての冷却モジュールは交換可能であり、好ましくは同等である。これは、手元に置くべき交換用冷却モジュールの種類の数を減らす。
【００６５】
好ましくは、すべての液体冷却モジュールは、すべてのコンピュータサーバの下の、サーバキャビネットの下側部分に配置される。したがって、冷却モジュール内に冷却剤がわずかに漏れた場合に、漏出液体がコンピュータサーバのうちの1つへ流れたり、または稼働を妨げたりする可能性はない。
【００６６】
好ましくは、二次流体圧回路内で循環する流体冷却剤は、もはやポンプで送られなくなったときに、残留圧力を有し、これは0.8バール超、好ましくは1.2バール超、より好ましくは2バール超である。これにより、ポンプキャビテーションのリスクは低減されるか、さらには排除される。
【００６７】
好ましくは、サーバキャビネットは、熱交換器の両側に配置される一次流体圧回路の一部分および二次流体圧回路と、一次流体圧回路のその一部分の中の流れを調節する弁と、熱交換器の出口に配置されている二次流体圧回路内の温度センサとを備え、前記弁は前記温度センサによって、好ましくは比例/積分器/微分器(PID)タイプのフィードバック制御を介して制御される。このタイプのフィードバック制御は、単純で効果的であり、サーバキャビネットの冷却を適切に調節するのに適しており、また十分である。
【００６８】
好ましくは、各液体冷却モジュールは、一次流体圧回路の一部分と二次流体圧回路との間のそれ専用の熱交換器と、二次流体圧回路内で流体冷却剤を循環させるためのそれ専用のポンプとを備える。そのため、冷却モジュールの自律性は改善される。
【００６９】
好ましくは、サーバキャビネット内の、現場で許されている冷却システムの唯一のメンテナンスは、故障した冷却モジュールを取り外し、コンピュータサーバの冷却または動作のいずれかを中断することなくスペアの冷却モジュールと交換することからなる冷却モジュールの標準的な交換である。この比較的容易で、比較的安全なメンテナンスは、本発明のこの他の目的によって提案されている、自律的および有利には交換可能な冷却モジュールに基づき、サーバキャビネットおよびその冷却システムの構造によって可能にされる。
【００７０】
本発明のさらに別の目的は、影響を受けやすいコンポーネントのうちの1つの過熱のリスクを低減するか、さらには排除するために、回路制御基板などのクリティカルなコンポーネントのための十分なレベルの換気も確保しながら、十分な冷却能力およびすでにコンピュータサーバを高密度に収容しておりそれにより液体冷却モジュールのための余地がほとんど残されていないサーバキャビネット内の縮小された体積と併せて一体化されるのに十分に強力で十分にコンパクトである、二次流体圧回路内の液体冷却剤を循環させるポンプまたは一次流体圧回路と二次流体圧回路との間の熱交換器などのそれ専用のキーコンポーネントを組み込んだ、自律液体冷却モジュールを実現することである。
【００７１】
この目的のために、本発明のこの他の目的では、液体冷却モジュールのこの新規性のある内部配置構成に関連付けられている二次流体圧回路のトポロジーの簡素化と併せて、互いに関して、およびそれ自体が比較的平坦な幾何学的形状を有する外側ハウジングの内側の空気流に関して、特にこの空気流によって十分なレベルの換気を維持しながら、最も重要で、最も嵩張るコンポーネントの特別な配置構成を提案することである。
【００７２】
本発明のこの他の目的は、コンポーネントの新規性のある内部配置構成および空気流の通過を円滑にするための二次流体圧回路のレイアウトの簡素化を実現し、それにより、モジュールのコンパクトさ、内部換気の効率、およびその外部にあるコンピュータサーバに対する冷却能力の間の妥協を改善することである。
【００７３】
この目的のために、本発明のこの他の目的は、コンポーネントを組み込んだ外側ハウジングを備える、コンピュータサーバ用の液体冷却モジュールを実現することであり、外側ハウジングは長さが幅の2倍未満で、厚さが幅の1/2未満となるような長さ、幅、および厚さを有し、外側ハウジングは、2つが長さ方向に長い壁と称され、残り2つが幅方向に短い壁と称される4つの側壁と、底部と、カバーとを有し、モジュールは、組み込まれたコンポーネントの間に、外側ハウジングの長さ方向に配向され、長い側壁に沿って位置決めされたポンプと、ファンと、外側ハウジングの長さ方向に配向され、他方の長い側壁に沿って位置決めされた熱交換器と、2つの短い側壁内にそれぞれ位置決めされた少なくとも2つの換気グリルと、ポンプと、一方の短い側壁のグリルから他方の短い側壁のグリルへのその中の空気流を円滑にするように配置構成され、この空気流はファンで駆動される、熱交換器との間の開放中心縦方向空間と、ポンプが閉回路として動作することを許し、この開放縦方向空間を乱雑にするであろうバイパスを備えない、流体冷却剤を循環させるための、液体冷却モジュール内に配置されている二次流体圧回路の一部分と、空気流によって直接スイープされるように開放中心縦方向空間の縦方向伸長部内に位置決めされた回路制御基板とを備える。
【００７４】
好ましくは、流体冷却剤は液体冷却剤、たとえば、グリコール-水である。一次および二次流体圧回路は、また、各々、異なるそれぞれの液体冷却剤を収容し得る。
【００７５】
好ましい実施形態により、本発明のこの他の目的は、別々に、または組み合わせて使用され得る次の特徴のうちの1つまたは複数を含む。
【００７６】
好ましくは、前記回路基板は2つの分離可能な部分を備え、これらの部分は、冷却モジュールを分解することなく取り外し可能である論理部分と、別々に取り外し可能であることなく冷却モジュールに固定された接続部分であり、液体冷却モジュールコンポーネントのすべての接続部は前記接続部分(回路基板の)に接続されている前記回路基板に至る。これにより、回路基板のメンテナンスは円滑にされ、潜在的故障の大半は接続部分ではなくむしろ論理部分に生じる可能性が高い。コンパクトな液体冷却モジュールでは、回路基板によって構成されるクリティカルなコンポーネントのメンテナンスは、通常困難であり、多くの場合に、冷却モジュールの大々的な分解を必要とし、外側ハウジングを完全に開くには、たとえば、この外側ハウジングからカバーを完全に取り外す必要があるか、または外側ハウジングから他のコンポーネントを分解しなければならないことすらある。
【００７７】
好ましくは、外側ハウジングの厚さは、外側ハウジングの幅の1/3未満である。外側ハウジングはより平坦化され、より少ない空間を占有する。有利には、十分なパワーのあるキーコンポーネントを収納するために、外側ハウジングの厚さは、外側ハウジングの幅の1/6超、さらには外側ハウジングの幅の1/5超であり、これは好ましくは外側ハウジングの幅の約1/4である。
【００７８】
好ましくは、外側ハウジングの長さ方向に配向され、長い側壁に沿って位置決めされたポンプは、この長い側壁に隣接して右に配置構成される。これは、ポンプの効率を低下させることなく、中心縦方向空間をより広く空けたままにする。
【００７９】
好ましくは、外側ハウジングの長さ方向に配向され、他方の長い側壁に沿って位置決めされた熱交換器は、パイプを除く他の部材を間に入れることなくこの他の長い側壁の近くに配置構成される。これは、交換器の効率を下げることなく、二次流体圧回路のパイプの幅に対してこの交換器とこの他の長い側壁との間に過不足のない空間を残し、中心縦方向空間をより広く空けたままにする。
【００８０】
好ましくは、前記回路基板は、保護カバーを備えず、開放中心縦方向空間から出るすべての空気流と直接接触する。こうして回路基板の換気は改善され、追加の空間が節減される。二次流体圧回路の簡素化は、液体冷却剤が回路基板上に漏出するリスクを大幅に低減する。
【００８１】
好ましくは、前記回路基板は、少なくとも5Wの熱、より好ましくは多くても20W、さらにいっそう好ましくは7から10Wの熱を放散する。したがって、その換気要件はより高く、本発明のこの他の目的による液体冷却モジュールの内部配置構成はなおいっそう魅力的である。
【００８２】
外側ハウジングの長さは、もちろん、その幅よりも大きく、次いで、これは、もちろん、その厚さよりも大きい。好ましくは、外側ハウジングは、60から90cmの間の長さ、50から70cmの間の幅、10から20cmの間の厚さを有し、およびより好ましくは、70から80cmの間の長さ、55から65cmの間の幅、13から17cmの間の厚さを有する。外側ハウジングのこの幾何学的形状は、主コンポーネントの適切に分散された配置構成に有利であり、空気流に対してより広く開かれた中心縦方向空間を可能にする。外側ハウジングは、たとえば、76cmの長さ、59.5cmの幅、15cmの厚さを有する。
【００８３】
好ましくは、ポンプは、2.5から3.5バールの差圧を流体冷却剤の毎分50から100リットルの流速でもたらす十分な能力を有する。
【００８４】
好ましくは、冷却モジュールは、少なくとも50kW、好ましくは少なくとも60kWの熱を放散する。
【００８５】
したがって、従来のサイズで、コンピュータサーバを適切な密度で収容するサーバキャビネットを冷却するのに追加の冗長モジュールを有する液体冷却モジュールが2つだけあれば十分である。
【００８６】
好ましくは、ポンプは、冷却モジュール内の空気取り入れ口換気グリルとポンプ入口との間に空気を導き運ぶ空気ガイドを備える。これは、モジュールの外側ハウジングの内側の流れから加熱された空気がポンプ入口内に直接再注入されるのを防ぐが、防がないと結果としてポンプモータによって発生する熱があまり効果的に放散されなくなる。
【００８７】
好ましくは、冷却モジュールは、ポンプ出口と熱交換器入口との間に配置されている二次流体圧回路のセグメント上に配置されている逆止弁を備える。液体冷却モジュールポンプが故障した場合、これは、他の液体冷却モジュールの1つまたは複数のポンプによって駆動される、このモジュールの二次流体圧回路の一部分の中での液体冷却剤の強制循環を防ぐ。
【００８８】
好ましくは、冷却モジュールは、熱交換器からの出口のところの二次流体圧回路内の流体冷却剤温度を間接的に調節する機能を有する、冷却モジュール内に配置されている一次流体圧回路の一部分上に位置決めされた弁を備え、この弁は好ましくは絞りボール弁である。これは、この液体冷却モジュールの外部にあるヒートシンクから来る一次流体圧回路内の冷えた液体冷却剤の到来を調節することによって、モジュールによって行われる冷却のレベルを管理する液体冷却モジュールの主コンポーネントである。
【００８９】
好ましくは、これらの換気グリルのうちの1つは、冷却モジュールから空気を放出するための第1の換気グリルであり、前記回路基板のちょうど下流に配置されている。したがって、回路基板の換気はこうして円滑にされるが、このことは、特に複数の機能を有する強力な回路基板が選択された場合に大量の熱を放出する傾向がある液体冷却モジュールのクリティカルなコンポーネントであるので重要である。
【００９０】
好ましくは、これらの換気グリルのうちの1つは、冷却モジュールから空気を放出するための第2の換気グリルであり、前記弁のちょうど下流に配置されている。したがって、大量の熱を放出する傾向があるもう1つのコンポーネントである、弁の換気も円滑にされる。
【００９１】
好ましくは、空気放出換気グリルの表面積の総和は、空気取り入れ口換気グリルの表面積に等しい。したがって、空気の流れは、実際上圧力を失うことなくモジュールの外側ハウジングの内側で空気が流れるときにより流動的である。
【００９２】
好ましくは、熱交換器は、その側面に置かれている交換器、好ましくは平板熱交換器、より好ましくは直交流型平板熱交換器である。この方式で配置構成された場合、必然的に嵩張る熱交換器はかなり平たい外側ハウジング内に容易に嵌る。選択された交換器のタイプは、備えられる容量と占有体積との間の妥協を最適化する。
【００９３】
好ましくは、外側絶縁層が熱交換器、および冷却モジュール内に配置されている一次流体圧回路の一部分の1つまたは複数のパイプを囲み、前記外壁の温度が冷却モジュールの露点温度よりも低いときであっても、外壁上の凝結を防ぐ。これは、2つの不利点を有する可能性のある、すなわち、モジュールの別のコンポーネントを損傷するか、またはその動作を少なくとも妨げる可能性のある、凝結水の滴りのリスクを低減するか、または排除すらし、また液体冷却モジュールに有利には備えられている漏出検出器における誤警報のトリガーを防ぐ。
【００９４】
好ましくは、冷却モジュールは、外側ハウジングの底部に配置されている液体漏出検出器を備える。この漏出検出器は、モジュールの1つまたは複数のコンポーネントを損傷する可能性があるか、またはその動作に少なくとも影響を及ぼす可能性がある冷却剤漏出が生じた場合にアラームを発行することを可能にする。この漏出検出器は、好ましくは著しい漏出が生じている場合にのみ、アラームをトリガーし、次いで、影響がなく、液体冷却モジュールの動作を危険に晒さない微小漏出は、有利には無視され、正当な理由がないのに液体冷却モジュールをシャットダウンするリスクが回避される。
【００９５】
好ましくは、ファンはポンプファンであり、ポンプの電動シャフトに結合され、次いでポンプモータは空冷される。このポンプファンは、2つの機能、すなわち、ポンプモータを冷却し、ポンプのパイプ部分が冷却剤の通過によって冷却される、機能と、および液体冷却モジュールの外側ハウジングの内側に配置されている開放中心縦方向空間内の空気流を駆動するか、またはその駆動を円滑にする機能とを遂行する。代替的に、たとえばポンプモータおよびポンプの残り部分の両方が水または他の何らかの液体冷却剤により冷却される場合、ポンプがもはやファンを有せず、空気の流れは別のコンポーネントのファン、この目的のために追加された小型ファン、によって、またはいくつかの場合においてより単純に、ただしあまり効率的でなく、取り入れ口と放出グリルとの間の空気の自然対流によって、円滑にされ得る。
【００９６】
本発明のすべての目的、さらにはすべてのその好ましい実施形態は、組み合わされてよい。
【００９７】
本発明および本発明の他の目的の他の特徴および利点は、例として添付図面を参照しつつ与えられている、本発明の好ましい実施形態の以下の説明を読むことで明らかになるであろう。
【図面の簡単な説明】
【００９８】
【図１】本発明の一実施形態によるサーバキャビネットの一例を非常に大まかに表した図である。
【図２】本発明の一実施形態によるサーバキャビネットの液体冷却モジュール内の一次および二次流体圧回路の例示的な構造を表している概略図である。
【図３】本発明の一実施形態による初期化フェーズにおいて同じサーバキャビネットの異なる液体冷却モジュール間の通信の一例を示す概略図である。
【図４】本発明の一実施形態による初期化フェーズにおいて同じサーバキャビネットの異なる液体冷却モジュール間の通信の一例を示す概略図である。
【図５】本発明の一実施形態による協調通信プロトコルを使用して同じサーバキャビネットの他の液体冷却モジュールと通信する液体冷却モジュールの例示的なフローチャートの概略を示す図である。
【図６】本発明の一実施形態による例示的なコンパクトな液体冷却モジュールの内部配置構成を示す図である。
【発明を実施するための形態】
【００９９】
図1は、本発明の一実施形態によるサーバキャビネットの一例を非常に大まかに表している。
【０１００】
サーバキャビネット1は、一方の1つまたは好ましくは複数のコンピュータサーバ3および他方の液体冷却モジュール4、5、および6が通信するために使用するイーサネットバス2を収容する。たとえば、別々に、または互いに連携してたとえば1つまたは複数の計算を実行しているコンピュータサーバ3の動作中に、冷却モジュール4および5は稼働し、コンピュータサーバ3を冷却しているが、冷却モジュール6は冗長である、すなわち、不稼働状態であるが、サーバキャビネット1の外で操作者が介入することなく、他の冷却モジュール5または6のうちの1つを故障した場合に引き継ぎ即座に交換することができる状態にある。
【０１０１】
1つまたは複数のコンピュータサーバ3は、サーバキャビネット1のラック上に装着され、空気に比べてかなり大きい高熱容量の流体または液体冷却剤を運ぶ二次流体冷却回路によって横断され、この流体または液体冷却剤はモジュール4および5である稼働している冷却モジュールから来る。
【０１０２】
イーサネットネットワーク2は、冷却モジュール4から6の各々のコントローラの間の通信を提供する。したがって、このネットワーク2に障害が生じると、その結果、そうでなければロバストである冷却システムの動作モードが低下し、特に冷却モジュール4または5のうちの1つが故障した場合に、冗長冷却モジュール6は、故障した冷却モジュール、たとえばモジュール4を直ちに交換する。
【０１０３】
図2は、本発明の一実施形態によるサーバキャビネットの液体冷却モジュール内の一次および二次流体圧回路の例示的な構造を表している概略図である。
【０１０４】
一次流体圧回路7は、3つの液体冷却モジュール4から6に、液体冷却モジュール4から6の外部にあるヒートシンク9から来る冷たい液体冷却剤を供給する。液体冷却モジュール4から6は、このヒートシンク9に、液体冷却モジュール4から6を通過することによって暖められた液体冷却剤を戻す。ヒートシンク9は、この液体冷却剤を冷やし、次いで、冷却剤は一次流体圧回路7を通過することを別に開始する。ヒートシンク9から来る、一次流体圧回路7は互いに平行であり、3つの液体冷却モジュール4から6をそれぞれ通過する一次流体圧回路7の3本のブランチに流れ分割器71によって分割される。3つの液体冷却モジュール4から6の出口において、カプラー72が一次流体圧回路7のこれら3つの相互に平行なブランチを組み換えてヒートシンク9に向かう一次流体圧回路7をリフォームする。
【０１０５】
これらの3つの液体冷却モジュール4から6は、次いで、冷やされた流体冷却剤をコンピュータサーバ3に供給する。コンピュータサーバ3は、液体冷却モジュール4から6に、これらのコンピュータサーバ3によって放散され、液体冷却剤によって運び去られる熱エネルギーによって暖められた液体冷却剤を送り返す。液体冷却モジュール4から6はこの液体冷却剤を冷やして戻し、次いで、冷却剤は二次流体圧回路8を通過することを別に開始する。コンピュータサーバ3から来る、二次流体圧回路8は互いに平行であり、3つの液体冷却モジュール4から6をそれぞれ通過する二次流体圧回路8の3本のブランチに流れ分割器81によって分割される。3つの液体冷却モジュール4から6の出口において、カプラー82が二次流体圧回路8のこれら3つの相互に平行なブランチを組み換えてコンピュータサーバ3に向かう二次流体圧回路8をリフォームする。
【０１０６】
一次流体圧回路7および二次流体圧回路8は、流体的に接触していない、言い換えると、これら2つの流体圧回路の液体冷却剤は混じり合わない。一次流体圧回路7および二次流体圧回路8は熱的に接触している、すなわち、これら2つの流体圧回路の液体冷却剤は、液体冷却モジュール4から6の熱交換器40、50、および60を通過するときに互いに熱を交換する。
【０１０７】
冷却モジュール4は、熱交換器40、ポンプ41、弁42、PID(比例-積分器-微分器)コントローラ43、上流圧力センサ44、下流圧力センサ45、二次上流温度センサ46、二次下流温度センサ47、一次上流温度センサ48、一次下流温度センサ49を備える。
【０１０８】
一次流体圧回路7のブランチの冷たい液体冷却剤は液体冷却モジュール4に入り、二次流体圧回路8のブランチの熱い液体冷却剤による熱の交換によって温められる熱交換器40を通過し、開口部が液体冷却モジュール4を通る流れを調節する弁42を通過し、次いで液体冷却モジュール4を出る。この冷たい液体冷却剤の温度は、一次上流温度センサ48によって、液体冷却モジュール4に入った直後に測定される。この暖められた液体冷却剤の温度は、一次下流温度センサ49によって、液体冷却モジュール4を出る直前に測定される。一次流体圧回路7内の液体冷却剤のポンプ汲み上げ動作が、液体冷却モジュール4から6の外側に配置されている1つまたは複数のポンプによって実行され、場合によっては、いくつかの異なるサーバキャビネットの液体冷却モジュールによって共有される。一次温度センサ48および49によって測定された温度は、一次流体圧回路7の適切な動作を検証するために使用される。
【０１０９】
二次流体圧回路8のブランチの熱い液体冷却剤は液体冷却モジュール4に入り、ポンプ41によって強制的に送られ、一次流体圧回路7のブランチの冷たい液体冷却剤による熱の交換によって冷やされる熱交換器40を通過し、次いで液体冷却モジュール4を出る。
【０１１０】
この熱い液体冷却剤の温度は、二次上流温度センサ46によって、液体冷却モジュール4に入った直後に測定される。この暖められた液体冷却剤の温度は、二次下流温度センサ47によって、液体冷却モジュール4を出る直前に測定される。二次温度センサ46および47によって測定された温度は、二次流体圧回路8の適切な動作を検証するために使用される。二次回路8は、サーバキャビネットの内部のループ内の、冷却用液体または液体冷却剤の循環を、20℃から45℃の温度で可能にする。温度センサ47は、冷却モジュール4の二次流体圧回路8の出口のところで温度を測定するのに適しており、一次流体圧回路7の液体冷却剤の流速は二次流体圧回路8の出口のところの温度が閾値温度に等しくなるように選択された速度に維持される。コンピュータサーバ3を通過する二次冷却回路8への入口のところの温度は、二次上流温度センサ46によって測定され、ブレードの電子コンポーネントの冷却を最適化するために一定に保たれる。温度調節は、液体冷却モジュール4から6の各々について独立しており、熱放散に関係なくコンピュータサーバの入口の温度が一定であることを確実にする。
【０１１１】
一次流体圧回路7は、たとえばコンピュータ室内のすべてのサーバキャビネットを収容するコンピュータクラスタを使用するクライアントのインフラストラクチャの流体圧システムに接続されている回路に関係し、また二次流体圧回路8は、サーバキャビネットの冷却回路に接続されている流体圧回路に関係する。冷却モジュール4は、クライアント一次流体圧システムの入口に接続するのに適している出口と、クライアント一次流体圧システム7の出口に接続するのに適している入口とを有する一次流体圧回路7の一部分を含む。冷却モジュール4は、また、サーバキャビネットの二次冷却回路8の入口に接続されている出口と、サーバキャビネットの二次冷却回路8の出口に接続されている入口とを有する二次流体圧回路8の一部分も備える。
【０１１２】
さらに、サーバキャビネット内では、各冷却モジュール4から6の一次流体圧回路7の入口および出口は、冷却モジュール4から6の一次流体圧回路7の一部分をコンピュータクラスタのコンピュータ室の一次流体圧システム7の残り部分に容易に接続し、切断できるように滴り防止クイックコネクタを備える。
【０１１３】
二次流体圧回路8のブランチ内の液体冷却剤の圧力は、上流圧力センサ44によってポップ41のすぐ上流で、および下流圧力センサ45によってポンプ41のすぐ下流で測定され、それにより、ポンプ41の適切な動作を制御し、それが正常に機能しなくなった場合にポンプ41を停止させることができる。ポンプ41は、たとえばグリコール-水である二次冷却用液体の毎分約75リットルの流量で約3バールの圧力により内側ループ内で二次冷却用液体を循環させる十分な容量を有する。ポンプ41は、冷却モジュール4内に配置されている二次流体圧回路8の一部分のパイプ流路の形状により、振動発生圧力変動なしで一定の流れを供給する。ポンプ41は、二次流体圧回路8内の流体冷却剤の流量を制御することができ、このポンプ41を制御するのに適している制御手段に関連付けられている。二次冷却回路8内の液体冷却剤は、好ましくは、2バール以上の静圧を有する。この液体冷却剤を圧力下に置くことによって、ポンプ41はキャビテーションから保護され、サーバキャビネットの冷却システムは、漏出が発生した場合であっても稼働することができる。
【０１１４】
各冷却モジュール4から6の二次流体圧回路8の入口および出口は、冷却モジュール4から6の二次流体圧回路8の一部分をコンピュータサーバ3を冷却するサーバキャビネットの二次流体圧回路8の残り部分に容易に接続し、切断できるように滴り防止クイックコネクタを備える。
【０１１５】
交換器40において、60kWの熱が、両側で類似のもしくは同一の流量、または少なくとも同じオーダーの大きさのこの量の熱と4℃のアプローチ温度とを交換する十分なサイズの平板熱交換器40を用いて、それを供給する二次流体圧回路8と、それを吸収する一次流体圧回路7との間で交換され、このアプローチ温度は一次上流温度センサ48によって測定される外部上流温度と二次下流温度センサ47によって測定される内部下流温度との間の差に対応する。熱交換器40は、一次流体圧回路7を通じて熱を放散することによって二次流体圧回路8を通過する流体冷却剤を冷却することができる。
【０１１６】
コントローラ43は、弁42の開き具合を調節し、したがって、二次下流温度センサ47によって測定される、液体冷却モジュール4の出口のところの二次流体圧回路8の液体冷却剤の温度に従って、液体冷却モジュール4内の一次流体圧回路7の液体冷却剤の流量を調節する。
【０１１７】
液体冷却モジュール4は、モジュール4の適切な動作を制御し、故障検出を行うための手段、さらには特に、以下で図6に表されている回路基板に関連付けられている様々な温度および圧力センサである二次流体圧回路8を通過する流体冷却剤の温度調節を制御するための手段も備える。各液体冷却モジュールの回路制御基板は、この液体冷却モジュールのポンプのモータを冷却する役割を有するファンによって冷却される。
【０１１８】
冷却モジュール5は、熱交換器50、ポンプ51、弁52、PID(比例-積分器-微分器)コントローラ53、上流圧力センサ54、下流圧力センサ55、二次上流温度センサ56、二次下流温度センサ57、一次上流温度センサ58、一次下流温度センサ59を備える。冷却モジュール5は、冷却モジュール4と同等である。冷却モジュール5は、冷却モジュール4と同じ動作をする。
【０１１９】
冷却モジュール6は、熱交換器60、ポンプ61、弁62、PID(比例-積分器-微分器)コントローラ63、上流圧力センサ64、下流圧力センサ65、二次上流温度センサ66、二次下流温度センサ67、一次上流温度センサ68、一次下流温度センサ69を備える。冷却モジュール6は、冷却モジュール4と同等である。冷却モジュール6は、冷却モジュール4と同じ動作をする。
【０１２０】
3つの冷却モジュール4から6は、基本冗長構成で、言い換えると、これらのモジュールのうちの1つが故障するか、または取り除かれたときに2つの稼働状態のモジュールに遷移する3つの稼働状態のモジュールで動作することができる。たとえば、冷却システムの初期化時に使用する、特別な動作モードは、基本冗長構成で動作する。
【０１２１】
3つの冷却モジュール4から6は、最適化冗長構成で、言い換えると、2つの稼働状態のモジュール4および5と、モジュールが故障するか、または取り除かれた後に2つの稼働状態のモジュール4または5が止められる場合に直ちに起動できる状態にある予備の1つのモジュール6とにより動作することができる。通常または定常状態動作モードは、最適化冗長構成で動作する。
【０１２２】
基本冗長構成および/または最適化冗長構成のこの動作は、もちろん、n個の液体冷却モジュールに一般化することができ、nは厳密に2よりも大きい。
【０１２３】
n個の液体冷却モジュールのうちの1つの始動またはシャットダウン時に運用の中断はない。n個の液体冷却モジュールの各々は、サーバキャビネット内に存在するコンピュータサーバ3の冷却を停止することなくメンテナンスを実行するために取り外し可能である。
【０１２４】
調節および故障検出は、温度センサ46から49、56から59、または66から69、および圧力センサ44および45、または54および55、または65および66を監視することによって、各冷却モジュール4、5、または6に特有の回路基板を用いて実行される。
【０１２５】
3つの液体冷却モジュール4から6の基板の間の対話は、TCP(「伝送制御プロトコル/インターネットプロトコル」)またはUDP(「ユーザデータグラムプロトコル」)を使用して行われる。これら3つの液体冷却モジュール4から6は、また、SNMP(「簡易ネットワーク管理プロトコル」)標準を使用してメッセージを一般システムに送信し、キャビネットを監視し、複数のサーバキャビネットを収容するコンピュータ室を管理する。これら3つの液体冷却モジュール4から6の間にマスター/スレーブシステムはないが、それは、マスターコントローラが喪失すると、結果として、冷却システム全体が喪失することになるからであり、本発明ではこれを、故障が発生した場合によりロバストにすることによって回避することを意図されている。
【０１２６】
不稼働への液体冷却モジュールの変更は、緊急時に動作可能であるように、冗長液体冷却モジュール、言い換えると、バックアップ液体冷却モジュールとして利用可能かどうかを検証するためにスケジュールされる。
【０１２７】
液体冷却剤の十分な流れをコンピュータサーバ3に供給するのに十分な数の液体冷却モジュールが、同時に連続的に稼働状態であり、ここで、液体冷却モジュール4および5は、液体冷却モジュール6が不稼働状態であり、予備に回されている間、稼働している。
【０１２８】
冷却モジュール4から6は、サーバキャビネットのラック内に装着されているコンピュータサーバ3に含まれているブレードの各々について最高の一定温度の液体冷却剤を供給する。
【０１２９】
液体冷却モジュール4および5のうちの、2つ、または一般化された場合には厳密に2よりも多いn個のモジュールが稼働状態であり、他の液体冷却モジュール6は、基本冗長構成または好ましくは最適化冗長構成であり得る選択された冗長モードに応じて稼働状態または不稼働状態である。したがって、稼働状態の液体冷却モジュール4または5のうちの1つが正常に機能していない場合、不稼働状態の液体冷却モジュール6のコントローラは、ネットワーク2によってそうであることを通知され、その液体冷却モジュール6を起動し、それにより、サーバキャビネットは少なくとも2つの液体冷却モジュールによって冷却され続ける。液体冷却モジュールのうちの1つが故障したか、またはメンテナンスされている場合であっても、サーバキャビネットは、それにより、正常に機能し続けることができるが、本質的に故障した液体冷却モジュールの標準的交換からなる第1の故障の修理の前に第2の故障が発生するという起こりそうにないことが起きた場合、冷却はもちろん低下することになる。
【０１３０】
液体冷却モジュール4から6は、コンピュータサーバ3の冷却を停止することなくメンテナンスのため取り外し可能である。液体冷却モジュール4から6は、冷却剤の温度を調節することを可能にし、熱放散に関係なくコンピュータサーバ3に入るときに温度が一定になることを確実にする。
【０１３１】
それに加えて、冷却モジュール4から6は、各液体冷却モジュールに特有の制御手段を介して圧力および温度センサを監視することによって故障を検出することができる。冷却モジュールの流体圧コンポーネントは、ポンプ41が供給しなければならない流体圧エネルギーを最小にし、したがってそのサイズおよび電力消費量を最適化するために、圧力損失消費量に関して最適化され、液体冷却モジュールのコンパクトさを改善するために、フットプリントに関して最適化される。本発明の好ましい一実施形態による冷却システムは、2つの稼働状態の液体冷却モジュール4および5に対して120kWを放散する。
【０１３２】
液体冷却モジュール4から6は、互いに同等であり、したがって交換可能であり、コンピュータ室もしくはその近くに局所的に保管されているスペアモジュールによって交換され得る。故障した液体冷却モジュールは、別の場所で修理されるべきであり、コンピュータ室のその場で液体冷却モジュールを開くことは強く勧められない。交換用液体冷却モジュールは、現場で利用可能である。
【０１３３】
現場で許されるメンテナンス作業は、サーバキャビネットのコンピュータサーバ3に対する運用を中断することなく、故障した液体冷却モジュールの取り外し、およびスペア液体冷却モジュールとの交換を数分で行うことだけである。
【０１３４】
液体冷却モジュールの稼働、およびしたがって、液体冷却システムの適切な冷却は、冗長追加モジュール6の存在もしくは非存在、または追加の液体冷却モジュール6が、低下させた動作モードである、自律モードで稼働しているかどうかの影響を全く受けないか、もしくはほとんど受けない。
【０１３５】
メンテナンス時の接続および切断の効果は、各液体冷却モジュール4から6のコントローラによって管理され、一時的効果を弱め、サーバキャビネットのコンピュータサーバ3の適切な冷却を維持する。
【０１３６】
有利には、これら3つの冷却モジュール4から6は、サーバキャビネットの下側部分に置かれ、コンピュータサーバ3は同じサーバキャビネットの上側部分に置かれる。下側部分は、サーバキャビネットが取り付けられ(直立している)、稼働しているときに上側部分の下に配置される。
【０１３７】
冷却モジュール4から6をコンピュータサーバ3の下に置くことで、冷却モジュール4から6のうちの1つから流体冷却剤の著しい漏出が生じた場合に、流体冷却剤がコンピュータサーバ3上に流れることを防ぐ。
【０１３８】
図3および図4は、本発明の一実施形態による初期化フェーズにおいて同じサーバキャビネットの異なる液体冷却モジュール間の通信の一例を示す概略図である。
【０１３９】
図3において、第1の液体冷却モジュール4は、UDPブロードキャストプロトコルを使用してその同一性を表すデータをブロードキャスト91する。メッセージ91は、第1の冷却モジュールの識別子と、その冷却キャビネットに備えられている冷却モジュールのそのグループの識別子と、そのインターネットアドレスを含む。このブロードキャスト91を受信する第2の冷却モジュール5は、第1の液体冷却モジュール4に、その固有の同一性を表すその固有のデータ、およびブロードキャスト91の確認応答を含むターゲットメッセージ92を送り返す。メッセージ92は、メッセージ91の確認応答、第2の冷却モジュールの識別子、その冷却キャビネットに備えられている冷却モジュールのそのグループの識別子(したがって、第1の冷却モジュールの識別子と同じである)、そのインターネットアドレス(第2の冷却モジュールのインターネットアドレス)を含む。これは、以下で図4において説明されている通信およびデータ交換フェーズの前に実行される識別の第1のフェーズである。識別のこの第1のフェーズは、TCPまたはUDPプロトコルを使用してブロードキャストモードで実行される。グループの冷却モジュールのインターネットアドレスのテーブルは、冷却モジュールの各々のところでローカルに構築されてよく、それにより、情報を交換するプロセスが生じるそれらの動作状態を更新することを可能にする。このブロードキャストは、冷却モジュールの各々によって2分間にわたって複数回実行されるが、これは非同期通信であり、それにより、他の液体冷却モジュールはこのブロードキャストを受信することができる。次いで、冷却モジュールの各々は、クライアントタイプのデータ送信機およびサーバタイプのデータ受信機の両方として動作する。
【０１４０】
図4では、第1の液体冷却モジュール4は、定期的に、共有されているサーバキャビネットの他の液体冷却モジュール5および6に、その同一性を表すデータの残りを含むターゲットメッセージ93および動作パラメータのうちのいくつかに対する更新を送信する。他の液体冷却モジュール5および6の各々は、同じことを行う、言い換えると、定期的に、共有されているサーバキャビネットの他の液体冷却モジュールに、その同一性を表すデータの残りを含む同じターゲットメッセージ93および動作パラメータのうちのいくつかに対する更新を送信する。ここで使用される期間は、1秒である。交換されるデータの構造は、次の通りであり、この順序で、共通グループの識別子、冷却モジュールの識別子、1つまたは複数の状態変数、1つまたは複数の冷却パラメータ、1つまたは複数の冷却変数を含むものとしてよい。冷却モジュールは、環境に従って状態変数を変更する。サーバキャビネットステータスは、サーバキャビネットのセットの一般制御および監督システムによって構築され、これはコンピュータクラスタの一般制御および監督システムを意味する。この目的のために、この一般制御および監督システムは、各々冷却モジュールに、たとえば、定期的にIPMI(「インテリジェントプラットフォーム管理インターフェース」)コマンドを、たとえば1秒おきに使用してクエリを実行し得る。代替的に、サーバキャビネットの外部にあるスクリプトは、様々な冷却モジュールに定期的に、たとえば、1秒おきにクエリを実行してよい。
【０１４１】
液体冷却モジュール4から6の各々は自律的に動作し、液体冷却モジュール4から6の間の協調通信プロトコルを用いて、液体冷却モジュール4から6のどれもスレーブとして他のモジュールを管理するマスターとして動作することなく、その動作を調節する。液体冷却モジュール4から6の各々は、独力で起動することができる。液体冷却モジュール4から6の各々は、サーバキャビネットおよびしたがって関連付けられている液体冷却モジュールのグループのトポロジー、さらにはそのグループ識別子、さらにはグループ内のその位置を認識し、この情報はすべてサーバキャビネットをブートするプロセスが開始されたときに別のコンピュータネットワークによって伝達される。冷却モジュールは、DHCP(「動的ホスト構成プロトコル」)によって伝達されるインターネットアドレスに無関係にそのグループ識別子およびグループ内の位置を認識する。
【０１４２】
図5は、本発明の一実施形態による協調通信プロトコルを使用して同じサーバキャビネットの他の液体冷却モジュールと通信する液体冷却モジュールの例示的な流れ図の概略を示す。
【０１４３】
冷却モジュールは、マスターまたはスレーブなしで、協調プロトコルを介して互いに通信し、それらは通常満場一致で決定を下し、ときには過半数が決定する。
【０１４４】
冷却モジュールは、オフ状態10、始動状態11、排出状態12、テスト状態13、セルフテスト状態14、予熱状態15、自律ステータス16、調節ステータス17、故障ステータス18、除外ステータス19、冗長ステータス20を含む、異なる1つまたは複数の状態をとり得る。
【０１４５】
オフ状態10では、冷却モジュールは電力を受けていない。
【０１４６】
始動状態11では、冷却モジュールは、電力を受けており、始動している。
【０１４７】
排出状態12では、冷却モジュールは、特に冷却モジュールの一次回路部分から水を排出することを許すメンテナンスを実行している。
【０１４８】
テスト状態13では、冷却モジュールは、それが適切に稼働しているかどうかを検証するためのテストを実行する。冷却モジュールのメーカーの工場で検証テストが完了した後、この冷却モジュールは除外ステータス19に置かれ、冷却パラメータに対して既定値をとる。新しい冷却モジュールまたは予備冷却モジュールは、原理上、除外ステータス19に入る。冷却モジュールがサーバキャビネット内に手動で挿入された後、冷却モジュールは除外ステータス19で始まり、新しいコマンドが与えられるまでそこに留まる。次に、外部の操作者が、この冷却モジュールの冷却パラメータを共有されているサーバキャビネット内に存在している他の冷却モジュールの冷却パラメータと突き合わせてチェックするが、それは、これらが冷却モジュールの同じグループ内にあるからである。この制御フェーズの後にのみ、冷却モジュールは冷却モジュールのこのグループに含まれるものとしてよい。冷却モジュールが除外ステータス19に留まっている間、これは、その冗長冷却モジュールパラメータに割り当てられたままである固有の識別子の値である。
【０１４９】
セルフテスト状態14では、冷却モジュールそれ自体が、それが適切に稼働しているかどうかを検証するためのテストを実行する。
【０１５０】
予熱状態15では、冷却モジュールは予熱を実行する。
【０１５１】
自律ステータス16では、冷却モジュールは、適切に冷却を行っているが、他の冷却モジュールとまだ同期していない。それらの冷却モジュールのうちの少なくとも1つが自律ステータス16に到達することに成功した場合、電力がサーバキャビネットに、さらにはこれが収容するコンピュータサーバに供給される。
【０１５２】
調節ステータス17では、冷却モジュールは、適切に冷却を行っており、他の冷却モジュールとすでに同期している。
【０１５３】
故障ステータス18では、冷却モジュールは、もはや適切に動作しておらず、もはや正しく冷却していない。すなわち、故障した。故障ステータス18では、冷却モジュールは、ポンプへの電力をオフにするが、これは特に、凝結のリスクが高くなりすぎたとき、または二次回路内の圧力が低くなりすぎたとき、の2つの場合にオフにする。故障ステータス18に変わる前に、冷却モジュールは、コンピュータクラスタのサーバキャビネットを見張って、一般管理者にアラートを送信する。したがって、すべての冷却モジュールが故障ステータス18にあるときに、サーバキャビネットを見張る一般管理者は、それらがすべて故障ステータス18にあること、すべてのポンプが停止していること、冷却が停止していること、したがってサーバキャビネット全体への、言い換えると、それが収容するすべてのコンピュータサーバへの電力がオフにされる必要があることを確認できる。冷却モジュールが故障ステータス18にあること、および除外ステータス19に変わっていないこと、である限り、サーバキャビネットの外で操作者によってリセットされ得る。このリセットにおいて故障31が再発しない場合、冷却モジュールは、最初に、自律ステータス16に入り、次いで、場合によっては調節ステータス17に入る。このリセットにおいて故障31が再発する場合、冷却モジュールは、外部の操作者からの除外コマンド36を受け取った後、除外ステータス19に変わる。
【０１５４】
除外ステータス19で、冷却モジュールは、冷却モジュールのグループから明示的に除外される。冷却モジュールのグループに戻すためには、明示的包含コマンドが必要である。この明示的包含コマンドがないと、パワーオンコマンド21またはリスタートコマンド23への電力であっても、結果として、これは冷却モジュールのグループに戻らない。リスタートコマンド23は、オフ状態10からを除き、ほとんどすべての他の状態またはステータスからも与えられ得る。
【０１５５】
冗長ステータス20では、冷却モジュールは冗長である、言い換えると、不稼働状態であり、その他の冷却モジュールが故障ステータス18に変わったか、または除外ステータス19に置かれた場合に、共通のグループ内の別の冷却モジュールを交換し、その場所で冷却するために自律ステータス16に切り替えることができる状態にある。
【０１５６】
冷却モジュールは、外部の操作者からのコマンドを用いて、または対応する条件が満たされたときにそれ自体を実行する動作によって一方の状態またはステータスから別の状態またはステータスに変わる。
【０１５７】
これらのコマンドまたは操作は、パワーオンコマンド21、排出コマンド22、リスタートコマンド23、セルフテスト開始コマンド24、セルフテスト終了コマンド25、テスト開始コマンド26、冷却電力コマンド27、始動失敗後除外コマンド28、包含コマンド29、予熱終了操作30、故障31、予熱故障32、データ整合性発見操作33、データ不整合発見操作34、冗長性切り替え操作35、除外コマンド36を含む。
【０１５８】
パワーオンコマンド21は、冷却モジュールへの電力をオンにし、冷却モジュールの始動を開始する。パワーオンコマンド21は、冷却モジュールをオフ状態10から始動状態11に切り替える。
【０１５９】
排出コマンド22は、メンテナンスを実行する、特に、冷却モジュールの一次回路部分から水を排出することを可能にする命令を与える。排出コマンド22は、冷却モジュールを始動状態11から排出状態12に切り替える。
【０１６０】
リスタートコマンド23は、冷却モジュールにリスタートすることを指令する。リスタートコマンド23は、冷却モジュールを排出状態12から始動状態11に、またはテスト状態13から始動状態11に切り替える。
【０１６１】
セルフテスト開始コマンド24は、冷却モジュールにセルフテストを始めることを指令する。セルフテスト開始コマンド24は、冷却モジュールをテスト状態13からセルフテスト状態14に切り替える。
【０１６２】
セルフテスト終了コマンド25は、冷却モジュールにセルフテストを停止することを指令する。セルフテスト終了コマンド25は、冷却モジュールをセルフテスト状態14からテスト状態13に切り替える。
【０１６３】
テスト開始コマンド26は、冷却モジュールにテストを開始することを指令する。テスト開始コマンド26は、冷却モジュール13をテスト状態から始動状態11に切り替える。
【０１６４】
冷却電力コマンド27は、冷却モジュールに予熱を開始することを指令する。冷却電力コマンド27は、冷却モジュールを始動状態11から予熱状態15に切り替える。
【０１６５】
始動失敗後除外コマンド28は、冷却モジュールを、開始することを失敗した後に冷却モジュールのグループから除外する。始動失敗後除外コマンド28は、冷却モジュールを始動状態11から除外ステータス19に切り替える。
【０１６６】
包含コマンド29は、冷却モジュールを冷却モジュールのグループに含めるか、または再び含める。包含コマンド29は、冷却モジュールを除外ステータス19から始動状態11に切り替える。包含コマンド29が冷却モジュールのうちの1つに送信されたときに、包含プロセスは、この冷却モジュールが包含コマンド29を、好ましくはIPMIコマンドの形態で受信するときに始まる。次いで、この冷却モジュールは、その固有の識別子の値を冗長冷却モジュールパラメータに割り当てるが、これは実際にすでにそうであるべきである。この冷却モジュールは、始動状態11に切り替わり、冷却パラメータは前の除外プロセスにおいて操作者によって直接すでに初期化されているのが通常である。冷却電力コマンド27が冷却モジュールによって受信された場合、モジュールは最初に自律ステータス16に切り替わり、次いで、データ整合性発見操作33が実行された場合に調節ステータス17に切り替わる。次いで、安定性インジケータも正になると、この冷却モジュールは冗長性切り替え操作35によって冗長ステータス20に移る。
【０１６７】
予熱終了操作30は、冷却モジュールの予熱を停止させる。予熱終了操作30は、冷却モジュールを予熱状態15から自律ステータス16に切り替える。
【０１６８】
故障31は、冷却モジュールの故障である。故障31は、冷却モジュールが自律ステータス16から、または調節ステータス17から、または冗長ステータス20から故障ステータス18に切り替わることを引き起こす。故障31が冷却モジュールのうちの1つで生じたときに、その冷却モジュールは、その固有の識別子の値を冗長冷却モジュールパラメータに割り当て、それらの冗長冷却モジュールパラメータをそれ自体と同じ値に設定することを求める要求を他の冷却モジュールに送信する。次いで、冗長冷却モジュールは、冗長ステータス20を抜けて、調節ステータス17に、またはむしろ自律ステータス16に切り替わるが、それは、冷却モジュールのうちの1つ、すなわち、故障ステータス18にちょうど切り替わったばかりのモジュールがもはや調節ステータス17にないので安定性インジケータが負になるからである。
【０１６９】
予熱故障32は、予熱の最中に生じる冷却モジュールの故障である。予熱故障32は、冷却モジュールを予熱ステータス15から故障ステータス18に切り替える。
【０１７０】
データ整合性発見操作33は、冷却モジュールの整合性インジケータを正に設定するか、またはそれらを正のままにする。データ整合性発見操作33は、冷却モジュールを自律ステータス16から調節状態17に切り替える。
【０１７１】
データ不整合発見操作34は、冷却モジュールの整合性インジケータのうちの少なくとも1つを負に設定するか、またはそれを負のままにする。データ不整合発見操作34は、冷却モジュールを調節状態17から、または自律ステータス20から、自律ステータス16に切り替える。稼働状態の冷却モジュールのうちの1つが故障ステータス18に切り替わったときに、これはポンプを停止させ、冗長ステータス20にあった冷却モジュールは自律ステータス16に切り替わるために独力でポンプを始動する。
【０１７２】
冗長性切り替え操作35は、単一の冷却モジュールを不稼働状態に設定するが、緊急事態には即座に冷却を再開し、特に故障を生じている冷却モジュールを交換することができる。冗長性切り替え操作35は、冷却モジュールを調節ステータス17から冗長ステータス20に切り替える。
【０１７３】
除外コマンド36は、冷却モジュールを冷却モジュールのグループから除外する。除外コマンド36は、冷却モジュールを自律ステータス16から、または調節ステータス17から、または故障ステータス18から、または冗長ステータス20から除外ステータス19に切り替える。
【０１７４】
除外コマンド36が冷却モジュールのうちの1つに送信されたときに、除外プロセスは、その冷却モジュールが除外コマンド36を、好ましくはIPMIコマンドの形態で受信するときに始まる。次いで、冷却モジュールは、その固有の識別子の値を冗長冷却モジュールパラメータに割り当て、それらの冗長冷却モジュールパラメータをそれ自体と同じ値に設定することを求める要求を他の冷却モジュールに送信する。次いで、冗長冷却モジュールは、冗長ステータス20を抜けて、自律ステータス16または調節ステータス17に切り替わる。
【０１７５】
除外コマンド36は、それが送信される冷却モジュールに対して、冷却モジュールにメンテナンスを実行するためにサーバキャビネットから故障ステータス18を有する冷却モジュールを取り除くプロセスにおける第1のステップである。
【０１７６】
通常の動作モードでは、冷却モジュールは、データセットを交換して、整合性インジケータが正になることによって表されるデータセットが整合しているかどうか、および安定性インジケータが正になることによって表されるこのデータセットが安定した仕方で時間が経過しても整合しているかどうか、をチェックすることを可能にするために協調プロトコルを介して定期的に互いに通信する。
【０１７７】
このデータ交換では、各冷却モジュールはいくつかのものをチェックする、すなわち、他の冷却モジュールのうちのどれかとの通信が喪失している可能性がないかチェックし、交換されたデータの整合性および交換されたデータの整合性の時間の経過とともに安定性もチェックする。これらのチェックは、冷却モジュールが自律ステータス16または調節ステータス17または冗長ステータス20にある間に実行され得る。
【０１７８】
冷却モジュールの間の通信の喪失がないかチェックすることは、通信するためにこれらの冷却モジュールによって使用されるイーサネットネットワーク上の通信の喪失に何ら問題がなかったことを各冷却モジュールについて検証することからなる。これに対していくつかのシナリオが企図され得る。
【０１７９】
第1に、冷却モジュールのうちの1つが欠損を報告され得る、言い換えると、イーサネットネットワークのバス上でもはや送信しておらず、その場合、データはもはやグループのデータセットに含まれず、またもはやデータ整合性発見操作33を実行するために使用されない。
【０１８０】
次に、3つの冷却モジュールのうちの2つが欠損を報告され得る、言い換えると、それらはイーサネットネットワークのバス上でもはや送信しておらず、その場合、通信することがまだできる、したがってイーサネットバス上で送信することができる、最後の冷却モジュールのデータのみが、グループのデータセットに含まれ、データ整合性発見操作33を実行するために使用される。
【０１８１】
最後に、冷却モジュールのうちの1つが故障ステータス18または除外ステータス19に切り替えられるものとしてよく、その場合、データはもはやグループのデータセットに含まれず、またもはやデータ整合性発見操作33を実行するために使用されない。
【０１８２】
交換されたデータのセットの整合性をチェックすることは、交換されたデータの一部または全部に関係し得る。定期的に、たとえば、1秒毎に、冷却パラメータがすべての冷却モジュールにわたって等しいかどうか、およびこの等しいことが少なくとも10秒間維持されるかどうかをプロセスが比較する。
【０１８３】
冷却パラメータは、最初に、条件が有利であるとき、言い換えると、冗長性切り替え操作35が行われるときに、冗長性に切り替わるべき、言い換えると不稼働状態に切り替わるべきである冷却モジュールの識別子の値を有する冗長冷却モジュールパラメータを含み、第2に、交換器出口における二次流体圧回路内を流れる液体冷却剤の調節に対するターゲット温度の値を有する冷却調節パラメータを含む。
【０１８４】
サーバキャビネットのセットの一般的初期化のフェーズにおいて、コンピュータ室または外部の操作者(コンピュータ室の監督またはメンテナンスを担当する人)一般的監視システムは、IPMIコマンドを対応するサーバキャビネットのすべての冷却モジュールに送信することによって各サーバキャビネットの冷却パラメータを初期化することができる。通常は、これらのコマンドは、実質的に同時にすべての冷却モジュールによって送受信される。追加のセキュリティに関して、安全マージンが加えられ、そのような通信に対するタイムスロットは10秒延長され得る。各冷却モジュールがIPMIコマンドを受信した後、これは冷却パラメータを変更し、調節ステータス17に切り替わる。他の冷却モジュールは、次いで、これらの冷却パラメータ値を受信し、その冷却パラメータをこれらの受信された値で更新し、その固有の冷却パラメータを他の冷却モジュールに送信するために10秒のタイムスロットも有する。このデータ交換が持ち時間の間に完了していない場合、故障を指摘した各冷却モジュールは自律ステータス16に切り替わり、整合性インジケータは負となる。
【０１８５】
整合性インジケータは、次の3つの条件が同時に満たされたときに正のままであるか、または正になる。第1の条件は、冷却モジュールの間で交換されたすべてのデータが長くても2秒以内に更新されているときに満たされる、すなわち、更新を送信された多くても1つが冷却モジュールのうちのどれかによって見逃されたことを意味する。第2の条件は、冗長冷却モジュールパラメータがグループのすべての冷却モジュールについて等しいときに満たされ、これは少なくとも10秒の間に、真であった。第3の条件は、冷却調節パラメータがグループのすべての冷却モジュールについて等しいときに満たされ、これは少なくとも10秒の間に、真であった。
【０１８６】
逆に、整合性インジケータは、上記のこれら3つの条件のうちの少なくとも1つが満たされていないか、またはもはや満たされないときに負のままであるか、または負になる。整合性インジケータが正であるときに、冷却モジュールは、自律ステータス16から調節状態17に切り替わることができる。整合性インジケータが負であるときに、自律ステータス16にある冷却モジュールは、そこに留まる。負の整合性インジケータが持続する場合、たとえば、外部の操作者によって是正処置が実施され、負の整合性インジケータの持続に関わる1つまたは複数の冷却パラメータを解析し、是正する。
【０１８７】
交換されたデータのセットの安定性をチェックすることは、交換されたデータの一部または全部に関係し得る。安定性チェックは、整合性チェックと同じデータに関係する。定期的に、たとえば、1秒毎に、プロセスは、冷却モジュールが互いに同期したままであり、それらのうちのどれも冷却機能不全アラームを受け取っていない特定の期間に正のままであることを検証する。安定性インジケータが正のままであるか、または正になったときに、不稼働状態になるべき、言い換えると、冗長である、冷却モジュールは、実際に冗長になるか、またはすでに冗長であればそのままとなる。
【０１８８】
安定性インジケータは、次の3つの条件が同時に満たされたときに正のままであるか、または正になる。第1の条件は、冷却モジュールのところのすべての整合性インジケータが少なくとも3分間正のままであるときに満たされる。第2の条件は、冷却機能不全アラームが冷却モジュールによって受信されていないときに満たされる。そのような冷却機能不全アラームは、たとえば、ポンプまたは交換器に欠陥があったことで受信されることがある。第3の条件は、グループの3つの冷却モジュールのうちの少なくとも2つ(またはn+1個のうちのn個)が調節ステータス17にあるときに満たされ、グループの第3の(または最後の)冷却モジュールは調節ステータス17または冗長ステータス20のいずれかにある。
【０１８９】
逆に、安定性インジケータは、上記のこれら3つの条件のうちの少なくとも1つが満たされていないか、またはもはや満たされないときに負のままであるか、または負になる。安定性インジケータが正であり、冷却モジュールのうちの1つがその固有の識別子を指す冷却モジュールパラメータを有するときに、この冷却モジュールは、調節ステータス17から冗長ステータス20に切り替わることができるが、この場合のみである。安定性インジケータが負であるときに、どの冷却モジュールも冗長ステータス20に切り替わることができないが、その代わりに、調節ステータス17に留まる。
【０１９０】
図6は、本発明の実施形態による例示的なコンパクトな液体冷却モジュールの内部配置構成を示している。冷却モジュールは、約60kWを消費する。冷却モジュールは、いくつかのコンポーネントを組み込んだ外側ハウジング100を備える。流体冷却剤は液体冷却剤、たとえば、グリコール-水である。液体冷却剤を収容している一次流体圧回路7は、熱交換器102の内側の、液体冷却モジュールの外側ハウジング100内で、液体冷却剤を混合することなく、ただし、液体冷却剤の間で熱を交換して、液体冷却剤を収容する二次流体圧回路8を横切る。
【０１９１】
外側ハウジング100は、互いに対向する2つの長い側壁131および132と、互いに対向する2つの短い側壁133および134と、外側ハウジング100の内部を図示するために取り除かれているため図6には見えていないカバー136に対向する底部135とを備える。「長い」および「短い」という言い回しは、長い側壁131および132が短い側壁133および134よりも長いことを意味するに過ぎない。外側ハウジング100の一般的形状は、平行六面体である。長い側壁131および132は、実質的に等長である。短い側壁133および134は、実質的に等長である。外側ハウジング100は、76cmの長さL、59.5cmの幅l、および15cmの厚さeを有する。
【０１９２】
外側ハウジング100内にコンポーネントがいくつか組み込まれているがとりわけ、ポンプ101、熱交換器102、回路基板103、弁104、取り入れ口グリル105、2つの放出グリル106および107、逆止弁108、開放中心縦方向空間109、漏出検出器110、圧力センサ111、継電器112、温度センサ113、空気ガイド114、ファン117、二次流体圧回路8内のパイプ121から123、一次流体圧回路7内のパイプ124および125がある。「パイプ」および「ホース」という用語は、交換可能に使用される。
【０１９３】
ポンプ101は、外側ハウジング100の長さ方向に配向され、長い側壁132に沿って位置決めされ、これはこの長い側壁132のすぐ隣にある。ポンプ101の軸は、ポンプ101に規則正しく供給するように上流ホース121に揃えられる。この上流ホース121は、ポンプ101を接続できるように柔軟性を有し、これはミスアライメントを補正することを可能にし、またメンテナンスのためにポンプ101を取り外すことを可能にする。
【０１９４】
熱交換器102は、外側ハウジング100の長さ方向に配向され、他方の長い側壁131に沿って配置され、パイプを除く他の部材を間に入れることなくこの他の長い側壁131の近くに配置構成される。熱交換器102は、熱交換性能を高めるために、フットプリントを最小にするよう横向きに置かれている熱交換器102、銅鑞付けステンレス鋼の直交流型平板熱交換器102である。
【０１９５】
外側絶縁層が熱交換器102、ならびに冷却モジュール内に配置されている一次流体圧回路7の一部分の1つまたは複数のパイプ124および125を囲み、外壁の温度が冷却モジュールの露点温度よりも低いときであっても、外壁上の凝結を防ぐ。これにより、交換器102ならびに一次回路7のホース124および125上のこの絶縁体は、冷却機能不全アラームを不必要にトリガーすることができる凝結監視システムを排除する。パイプ124および125は、占有空間を最小化するために交換器102の出口および入口に曲がりを有する。
【０１９６】
回路基板103それ自体は、2つの部分、すなわち論理部分115と接続部分116とを備える。この回路制御基板103は、通過する空気の流れによって直接スイープされるように開放中心縦方向空間109の縦方向伸長部内に位置決めする。互いから分離され得るこの回路基板103の2つの部分115および116は、冷却モジュールの残り部分を分解することなく取り外し可能である論理部分115および、別々に分離可能でないようにして冷却モジュールの底部135に固定されている接続部分116である。この回路基板103に至る液体冷却モジュールコンポーネントのすべての接続部は、この接続部分116に接続される。回路基板103は、保護カバーを備えず、開放中心縦方向空間109から出るすべての空気流と直接接触する。この回路基板103は、約10Wの熱を放散する。この回路基板103は、ポンプ101のファン117によって発生する空気流によって冷却される、集中調節回路基板である。
【０１９７】
弁104は、熱交換器102の出口のところの二次流体圧回路8内の冷却剤温度を間接的に調節する機能を有する、冷却モジュール内に配置されている一次流体圧回路7の一部分上に配置され、弁104は好ましくは絞りボール弁104である。この絞りボール弁104は、フットプリントを最小にするように側部に取り付けられているサーボモータにより、流れ応答対開角度における線形性に有利に働く、流れの断面積を調整するためのデバイスを備え、電気的制御が正確な開放を可能にし、比例ソレノイド弁の場合に比べてこの開放のより正確な読み取りを可能にする。
【０１９８】
入口換気グリル105は、短い側壁133に配置されている。2つの放出換気グリル106および107は、短い側壁134にそれぞれ配置されている。グリル106は、空気が冷却モジュールから出るのを可能にする第1の換気グリル106であり、回路基板103のちょうど下流に配置されている。グリル107は、空気が冷却モジュールから出るのを可能にする第2の換気グリル107であり、弁104のちょうど下流に配置されている。空気放出換気グリル106および107の表面積の総和は、空気取り入れ口グリル105の表面積に等しい。
【０１９９】
逆止弁108は、ポンプ101の出口と熱交換器102の入口との間に配置されている二次流体圧回路8のセグメント上に配置される。逆止弁108は、取り外し可能なユニットを形成するために熱交換器102の近くに配置されるが、これはポンプ101が停止されたときに他の冷却モジュールからの流れがこの一方の冷却モジュールに入るリスクを排除するので重要である。
【０２００】
開放中心縦方向空間109は、ポンプ101と熱交換器102との間に、一方の短い側壁133のグリル105から他方の短い側壁134の2つのグリル106および107への空気流を円滑にする方式で配置構成され、この空気流はポンプ101のファン117で駆動される。
【０２０１】
流体冷却剤を循環させるための、液体冷却モジュール内に配置されている二次流体圧回路8の一部分は、ポンプ101が閉回路として動作することを許し、この開放中心縦方向空間109を乱雑にするであろうバイパスを備えない。冷却モジュールのコンポーネント間のこの開放中心縦方向空間109は、上流のグリル105と下流のグリル106および107との間の冷却空気の通過を円滑にするのに十分な大きさであり、したがって回路基板103および弁104は両方とも適切に冷却される。
【０２０２】
漏出検出器110は、外側ハウジング100の底部135内に配置される。漏出検出器110は、排出ホース125の近くに置かれ、外側ハウジング100の底部135は、流体密封され、漏出が発生した場合に実質的な量の液体を入れることができる。漏出は、比較的大きい場合にのみ検出され、小さな漏れは、実際には問題にならないので意図的に無視される。
【０２０３】
圧力センサ111は、その動作をチェックするために、ポンプ101の入口および出口にそれぞれ配置される。
【０２０４】
ポンプ101の継電器112は、ポンプ101への交流高電圧を受け入れる防水ケーシング内に収納される。
【０２０５】
温度センサ113は、一次回路7および二次回路8内で液体冷却剤の循環の監視および調節を確実にする、すなわち、短い側壁134を通過する場所の近くの各パイプ121、122、124、125のところに1つある。
【０２０６】
空気ガイド114は、冷却モジュール内の空気取り入れ口換気グリル105とポンプ101の入口との間に空気を導き運ぶ。ポンプ101は外側ハウジング100の前面のグリル105の近くに置かれるので、ファン117は、このグリル105を通して外部から新鮮な空気を引き込み、空気ガイド114は冷却モジュール内をすでに通過している高温の空気が引き戻されるのを防ぐ。
【０２０７】
ポンプ101の空気冷却ファン117は、ポンプ101のモータの電動シャフトに結合される。
【０２０８】
二次流体圧回路8内のポンプ101の上流に配置されているパイプ121、および二次流体圧回路8内のポンプ101と交換器102との間に配置されているパイプ122、さらには二次流体圧回路8内の熱交換器102の下流に配置されているパイプ123は、冷却モジュール内に配置されている二次回路8の一部分を形成する。
【０２０９】
一次流体圧回路7内の熱交換器102の上流に配置されているパイプ124および一次流体圧回路7内の熱交換器102の下流に配置されているパイプ125は、冷却モジュール内に配置されている一次回路7の一部分を形成する。
【０２１０】
様々なパイプ121から125の曲がりは、圧力損失を最小限度に抑え、これらのパイプ121から125内の液体冷却剤の流れに干渉するのを回避するために、大きい曲率半径を有する。外側ハウジング100の短い側壁134内の通過部はコンパクトであり、圧力損失を最小限度に抑えるように、流れの面積の著しい変化を見せない。
【０２１１】
一次回路7および二次回路8は、流れの断面積の変化および流体冷却剤の流れの妨げを最小にするために、剛体パイプ121から125と適切に揃えられている柔軟なコネクタを備える。同様に、冷却モジュール内、およびサーバキャビネットの残り部分内で振動が発生するような圧力変動は低減される。それに加えて、剛体パイプ121から125内の液体冷却剤の流れを規則正しくすることによって腐食も最小限度に抑えられる。
【０２１２】
もちろん、本発明は、これらの例および説明され図に表されている実施形態に限定されず、当業者にアクセス可能な多数の変更形態を実現できる。
【符号の説明】
【０２１３】
1  サーバキャビネット
2  イーサネットバス
3  コンピュータサーバ
4、5、6  液体冷却モジュール、冷却モジュール
7  一次流体圧回路
8  二次流体圧回路
9  ヒートシンク
10  オフ状態
11  始動状態
12  排出状態
13  テスト状態
14  セルフテスト状態
15  予熱状態
16  自律ステータス
17  調節ステータス
18  故障ステータス
19  除外ステータス
20  冗長ステータス
21  パワーオンコマンド
22  排出コマンド
23  リスタートコマンド
24  セルフテスト開始コマンド
25  セルフテスト終了コマンド
26  テスト開始コマンド
27  冷却電力コマンド
28  始動失敗後除外コマンド
29  包含コマンド
30  予熱終了操作
31  故障
32  予熱故障
33  データ整合性発見操作
34  データ不整合発見操作
35  冗長性切り替え操作
36  除外コマンド
40  熱交換器
41  ポンプ
42  弁
43  PID(比例-積分器-微分器)コントローラ
44  上流圧力センサ
45  下流圧力センサ
46  二次上流温度センサ
47  二次下流温度センサ
48  一次上流温度センサ
49  一次下流温度センサ
50  熱交換器
51  ポンプ
52  弁
53  PID(比例-積分器-微分器)コントローラ
54  上流圧力センサ
55  下流圧力センサ
56  二次上流温度センサ
57  二次下流温度センサ
58  一次上流温度センサ
59  一次下流温度センサ
60  熱交換器
61  ポンプ
62  弁
63  PID(比例-積分器-微分器)コントローラ
64  上流圧力センサ
65  下流圧力センサ
66  二次上流温度センサ
67  二次下流温度センサ
68  一次上流温度センサ
69  一次下流温度センサ
71  流れ分割器
72  カプラー
81  流れ分割器
82  カプラー
91  ブロードキャスト、メッセージ
92  メッセージ
93  ターゲットメッセージ
100  外側ハウジング
101  ポンプ
102  熱交換器
103  回路基板
104  弁
105  取り入れ口グリル、入口換気グリル
106、107  放出グリル
108  逆止弁
109  開放中心縦方向空間
110  漏出検出器
111  圧力センサ
112  継電器
113  温度センサ
114  空気ガイド
115  論理部分
116  接続部分
117  ファン
121、122、123  パイプ
124、125  パイプ、ホース
125  排出ホース
131、132  長い側壁
133、134  短い側壁
135  底部
136  カバー
【図１】
2019533873.tif 000003
【図２】
2019533873.tif 000004
【図３】
2019533873.tif 000005
【図４】
2019533873.tif 000006
【図５】
2019533873.tif 000007
【図６】
2019533873.tif 000008
【国際調査報告】
2019533873.tif 000009
2019533873.tif 000010
2019533873.tif 000011
2019533873.tif 000012