(57)【要約】高性能計算システムのための冷却システムは、２つの計算ラックと、これら計算ラック間の冷却タワーとを有する閉鎖ループ冷却セルを含む。各計算ラックは、１つのブレードエンクロージャを含み、冷却タワーは、１つの水冷熱交換器と、暖気を計算ラックの側面から背面に向かって水冷熱交換器を横切って引き込み、かつ、冷却された空気を前面に向かって計算ラックの側面に循環させるように構成された１つ以上のブロアとを含む。冷却セルは、計算ラックおよび冷却タワーを取り囲むことにより冷却セル内に閉鎖ループ空気流れを提供するハウジングをさらに含む。冷却システムはさらに、計算ブレード内の２つの計算ボード間に配置されるように構成された冷却プレート（単数または複数）と、冷却プレートに結合されてブレードエンクロージャと流体連通している流体接続とを含む。
2016505917.tif 000002
【特許請求の範囲】
【請求項１】
複数の計算ブレードを有する高性能計算システムのための冷却システムであって、前記冷却システムは、
閉鎖ループ冷却セルであって、前記閉鎖ループ冷却セルは、
少なくとも１つのブレードエンクロージャを含む第１の計算ラックであって、前記第１の計算ラックは、前面、背面、および、側面を有する、第１の計算ラックと、
少なくとも１つのブレードエンクロージャを含む第２の計算ラックであって、前記第２の計算ラックは、前面、背面、および、側面を有する、第２の計算ラックと、
前記第１の計算ラックの前記側面および前記第２の計算ラックの前記側面に隣接する冷却タワーと
を含み、前記冷却タワーは、
少なくとも１つの水冷熱交換器と、
暖気を前記側面から前記第１の計算ラックの前記背面および前記第２の計算ラックの前記背面に向かって前記水冷熱交換器を横切って引き込み、かつ、冷却された空気を前記第１の計算ラックの前記前面および前記第２の計算ラックの前記前面に向かって前記側面に循環させるように構成された１つ以上のブロアと、
前記第１の計算ラック、前記第２の計算ラックおよび、前記冷却タワーを取り囲むことにより、前記冷却セル内の閉鎖ループ空気流れを提供するハウジングと
を有する、
閉鎖ループ冷却セルと、
１つ以上の冷却プレートであって、各冷却プレートは、前記計算ブレード内の２つの計算ボード間に配置されるように構成される、1つ以上の冷却プレートと、
前記冷却プレートに結合され、前記ブレードエンクロージャと流体連通している流体接続と
を備える、冷却システム。
【請求項２】
前記冷却システムは、請求項１に記載の２つの閉鎖ループ冷却セルを含み、前記２つの閉鎖ループ冷却セルは、背中合わせに位置決めされ、前記ハウジングは、前記閉鎖ループ冷却セルを取り囲むことにより、前記冷却システム内の２つの閉鎖ループ空気流れを提供する、請求項１に記載の冷却システム。
【請求項３】
前記閉鎖ループ冷却セルのうちの１つにおける前記計算ラックのうちの少なくとも1つは、前記ブレードエンクロージャにおいて、前記ブレードエンクロージャにおける前記複数の計算ブレードに結合するように構成されている冷却マニホールドをさらに含み、前記冷却システムは、前記冷却マニホールドと流体連通している流体接続を有する外部冷却分配ユニットをさらに備える、請求項２に記載の冷却システム。
【請求項４】
前記外部冷却分配ユニットは、
前記流体接続の一部と接触している液冷熱交換器と
前記流体接続内の液体を前記冷却マニホールドから前記液冷熱交換器に移動させるように構成された１つ以上のポンプと
をさらに含む、請求項３に記載の冷却システム。
【請求項５】
前記閉鎖ループ冷却セルにおける前記計算ラックのうちの少なくとも1つは、前記ブレードエンクロージャにおいて、前記ブレードエンクロージャにおける前記複数の計算ブレードに結合するように構成されている冷却マニホールドをさらに含み、前記冷却システムは、前記冷却マニホールドと流体連通している流体接続を有する外部冷却分配ユニットをさらに備える、請求項１に記載の冷却システム。
【請求項６】
前記外部冷却分配ユニットは、
前記流体接続の一部と接触している液冷熱交換器と
前記流体接続内の液体を前記冷却マニホールドから前記液冷熱交換器に移動させるように構成された１つ以上のポンプと
をさらに含む、請求項５に記載の冷却システム。
【請求項７】
前記冷却セルは、ｖ字形状に位置決めされた２つの水冷熱交換器を含む、請求項１に記載の冷却システム。
【請求項８】
前記第１のラックおよび前記第２のラックは、Ｍラック構成にある、請求項１に記載の冷却システム。
【請求項９】
前記第１のラックおよび前記第２のラックは、Ｄラック構成にある、請求項１に記載の冷却システム。
【請求項１０】
高性能計算（ＨＰＣ）システムであって、前記ＨＰＣシステムは、
閉鎖ループ冷却セルであって、前記閉鎖ループ冷却セルは、
少なくとも１つのブレードエンクロージャを含む第１の計算ラックであって、前記第１の計算ラックは、前面、背面、および、側面を有する、第１の計算ラックと、
少なくとも１つのブレードエンクロージャを含む第２の計算ラックであって、前記第２の計算ラックは、前面、背面、および、側面を有する、第２の計算ラックと、
前記第１の計算ラックの前記側面および前記第２の計算ラックの前記側面に隣接する冷却タワーと
を含み、前記冷却タワーは、
少なくとも１つの水冷熱交換器と、
暖気を前記側面から前記第１の計算ラックの前記背面および前記第２の計算ラックの前記背面に向かって前記水冷熱交換器を横切って引き込み、かつ、冷却された空気を前記第１の計算ラックの前記前面および前記第２の計算ラックの前記前面に向かって前記側面に循環させるように構成された１つ以上のブロアと、
前記第１の計算ラック、前記第２の計算ラックおよび、前記冷却タワーを取り囲むことにより、前記冷却セル内の閉鎖ループ空気流れを提供するハウジングと
を有する、
閉鎖ループ冷却セルと、
各ブレードエンクロージャにおける複数の計算ブレードと、
１つ以上の冷却プレートであって、各冷却プレートは、前記計算ブレード内の２つの計算ボード間に配置される、1つ以上の冷却プレートと、
前記冷却プレートに結合され、前記ブレードエンクロージャと流体連通している流体接続と
を備える、ＨＰＣシステム。
【請求項１１】
前記ＨＰＣシステムは、請求項１０に記載の２つの閉鎖ループ冷却セルを含み、前記２つの閉鎖ループ冷却セルは、背中合わせに位置決めされ、前記ハウジングは、前記閉鎖ループ冷却セルを取り囲むことにより、前記冷却システム内の２つの閉鎖ループ空気流れを提供する、請求項１０に記載のＨＰＣシステム。
【請求項１２】
前記閉鎖ループ冷却セルのうちの１つにおける前記計算ラックのうちの少なくとも1つは、前記ブレードエンクロージャにおいて、前記ブレードエンクロージャにおける前記複数の計算ブレードに結合している冷却マニホールドをさらに含み、前記ＨＰＣシステムは、前記冷却マニホールドと流体連通している流体接続を有する外部冷却分配ユニットをさらに備える、請求項１１に記載のＨＰＣシステム。
【請求項１３】
前記外部冷却分配ユニットは、
前記流体接続の一部と接触している液冷熱交換器と、
前記流体接続内の液体を前記冷却マニホールドから前記液冷熱交換器に移動させるように構成された１つ以上のポンプと
をさらに含む、請求項１２に記載のＨＰＣシステム。
【請求項１４】
前記閉鎖ループ冷却セルにおける前記計算ラックのうちの少なくとも1つは、前記ブレードエンクロージャにおいて、前記ブレードエンクロージャにおける前記複数の計算ブレードに結合している冷却マニホールドをさらに含み、前記ＨＰＣシステムは、前記冷却マニホールドと流体連通している流体接続を有する外部冷却分配ユニットをさらに備える、請求項１０に記載のＨＰＣシステム。
【請求項１５】
前記外部冷却分配ユニットは、
前記流体接続の一部と接触している液冷熱交換器と
前記流体接続内の液体を前記冷却マニホールドから前記液冷熱交換器に移動させるように構成された１つ以上のポンプと
をさらに含む、請求項１４に記載のＨＰＣシステム。
【請求項１６】
前記冷却セルは、ｖ字形状に位置決めされた２つの水冷熱交換器を含む、請求項１０に記載のＨＰＣシステム。
【請求項１７】
前記第１のラックおよび前記第２のラックは、Ｍラック構成にある、請求項１０に記載のＨＰＣシステム。
【請求項１８】
前記第１のラックおよび前記第２のラックは、Ｄラック構成にある、請求項１０に記載のＨＰＣシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本出願は、２０１３年６月２８日に出願された米国特許出願第１３／９３１，７５４号への優先権を主張し、この米国特許出願は、２０１２年１１月８日に出願された米国仮特許出願第６１／７２４，２７４号への優先権を主張し、これらの開示はそれらの全体が本明細書に参照によって援用される。
【０００２】
本出願は、「ＯＮ−ＢＬＡＤＥ  ＣＯＬＤ  ＳＩＮＫ  ＦＯＲ  ＨＩＧＨ−ＤＥＮＳＩＴＹ  ＣＬＵＳＴＥＲＥＤ  ＣＯＭＰＵＴＥＲ  ＳＹＳＴＥＭ」と題される２０１３年６月２８日に出願された米国特許出願第１３／９３４，７３０号、および、「ＴＷＩＮ  ＳＥＲＶＥＲ  ＢＬＡＤＥＳ  ＦＯＲ  ＨＩＧＨ−ＤＥＮＳＩＴＹ  ＣＬＵＳＴＥＲＥＤ  ＣＯＭＰＵＴＥＲ  ＳＹＳＴＥＭ」と題される２０１３年６月２８日に出願された米国特許出願第１３／９３１，７３０号に関連し、これら開示は、それらの全体が本明細書に参照によって援用される。
【０００３】
技術分野
本発明は、概して、マルチノードコンピュータシステムで用いられる冷却構成に関し、より特定すれば、本発明は、高密度クラスタラー化コンピュータシステムのための閉鎖ループ冷却セルを提供することに関する。
【背景技術】
【０００４】
背景技術
高性能計算システム（「ＨＰＣ」）がよりパワフルになるにつれ、これらのよりパワフルな構成要素を冷却したままにすることに関連付けられる挑戦は、ますます困難になっている。さらに、物理的制約が、高密度クラスタラー化コンピュータ構成の多くのアスペクトを駆動していて、これは、システムの有効かつ効率的な冷却をよりいっそう要求の多いものにし、大規模なＨＰＣ設備の必須の部分にする。標準的な計算ラックおよび冷却構成は、しばしば、高密度クラスターにとって必要なスケールおよび密度の要件を適切に提供することができない。それゆえ、新たな冷却設計がこれらの要求の多い高密度クラスター化コンピュータ設備に対応するために必要とされている。
【発明の概要】
【課題を解決するための手段】
【０００５】
種々の実施形態の要旨
本発明の種々の実施形態は、高性能計算（「ＨＰＣ」）システムとの使用のための閉鎖ループ冷却セル構成を伴う高度に効率的な冷却システムを提供する。閉鎖ループ冷却セルは、２つの計算ラックと、これら計算ラックの間の冷却タワーとを含む。各計算ラックは、少なくとも１つのブレードエンクロージャを含む。この冷却タワーは、１つ以上の水冷熱交換器と、暖気を計算ラックの側面から背面に向かって水冷熱交換器を横切って引き込み、かつ、冷却された空気を前面に向かって計算ラックの側面に循環させるように構成された１つ以上のブロアとを含む。冷却セルは、計算ラックと冷却タワーとを取り囲むハウジングをさらに含むことにより、冷却セル内の閉鎖ループ空気流れを提供する。冷却システムはさらに、各冷却プレートが計算ブレード内の２つの計算ボード間に配置されるように構成されている１つ以上の冷却プレートと、冷却プレートに結合されてブレードエンクロージャと流体連通している流体接続とを含む。
【０００６】
関連する実施形態では、冷却システムは、背中合わせに位置決めされている２つの閉鎖ループ冷却セルを含み、ハウジングは、両方の閉鎖ループ冷却セルを取り囲むことにより、冷却システム内に２つの閉鎖ループ空気流れを提供する。単一の冷却セルおよび二重の冷却セル構成の両方において、計算ラックはまた、ブレードエンクロージャにおける計算ブレードに結合する冷却マニホールドを有し得、冷却システムは、冷却マニホールドに接続している流体接続を伴う外部冷却分配ユニットをさらに有してもよい。この外部冷却分配ユニットはさらに、流体接続の一部と接触している液冷熱交換器と、流体接続内の液体を冷却マニホールドから液冷熱交換器に移動させる１つ以上のポンプとを含み得る。冷却セルは、ｖ字形状に位置決めされた２つの水冷熱交換器を含み得る。計算ラックは、Ｍラック構成またはＤラック構成にあり得る。
【図面の簡単な説明】
【０００７】
当業者は、直下に要約される図面を参照して議論される下記の「例示の実施形態」から、本発明の種々の実施形態の利点をより完全に認識するはずである。
【０００８】
【図１】図１は、本発明の実施形態とともに用いられる例示のＨＰＣシステムの論理図を概略的に示す。
【０００９】
【図２】図２は、図１のＨＰＣシステムの物理図を概略的に示す。
【００１０】
【図３】図３は、図１のＨＰＣシステムの例示のブレードシャーシの詳細を概略的に示す。
【００１１】
【図４】図４は、本発明の実施形態に従う、２つの計算ラックおよび１つの冷却タワーを備えた閉鎖ループ冷却セルの平面図を概略的に示す。
【００１２】
【図５】図５は、図４の閉鎖ループ冷却セルにおける空気流れを概略的に示す。
【００１３】
【図６】図６は、本発明の実施形態に従う、各々が２つの計算ラックおよび１つの冷却タワーを有する２つの閉鎖ループ冷却セルを備えた冷却システムを概略的に示す。
【００１４】
【図７】図７は、本発明の実施形態に従う、背中合わせの２つの冷却タワーを示す。
【００１５】
【図８】図８は、冷却システムの部分を除いて、図６の斜視断面図を概略的に示す。
【００１６】
【図９】図９Ａおよび図９Ｂは、それぞれ、本発明の実施形態とともに用いられる、Ｄ−ラッ構成クおよびＭ−ラック構成を概略的に示す。
【００１７】
【図１０Ａ】図１０Ａ〜１０Ｄは、本発明の実施形態とともに用いられる、Ｍ−ラック構成の種々の図を概略的に示す。
【図１０Ｂ】図１０Ａ〜１０Ｄは、本発明の実施形態とともに用いられる、Ｍ−ラック構成の種々の図を概略的に示す。
【図１０Ｃ】図１０Ａ〜１０Ｄは、本発明の実施形態とともに用いられる、Ｍ−ラック構成の種々の図を概略的に示す。
【図１０Ｄ】図１０Ａ〜１０Ｄは、本発明の実施形態とともに用いられる、Ｍ−ラック構成の種々の図を概略的に示す。
【００１８】
【図１１Ａ】図１１Ａ〜１１Ｃは、本発明の実施形態とともに用いられる、Ｄ−ラック構成の種々の図を概略的に示す。
【図１１Ｂ】図１１Ａ〜１１Ｃは、本発明の実施形態とともに用いられる、Ｄ−ラック構成の種々の図を概略的に示す。
【図１１Ｃ】図１１Ａ〜１１Ｃは、本発明の実施形態とともに用いられる、Ｄ−ラック構成の種々の図を概略的に示す。
【００１９】
【図１２】図１２は、本発明の実施形態に従う、２つの閉鎖ループ冷却セルおよび外部冷却分配ユニット（ＣＤＵ）を備えた冷却システムを概略的に示す。
【００２０】
【図１３】図１３は、本発明の実施形態に従う、冷却セルにおける１つの計算ラックと、外部冷却分配ユニット（ＣＤＵ）との間の水流れを概略的に示す。
【００２１】
【図１４】図１４は、本発明の実施形態に従う、冷却システムとの使用のための、ハウジングの部分を除いた外部冷却分配ユニット（ＣＤＵ）を概略的に示す。
【００２２】
【図１５Ａ】図１５Ａおよび１５Ｂは、本発明の実施形態との使用のためのオンブレードコールドシンクを伴うブレードの上方斜視図と分解図とをそれぞれ概略的に示す。
【図１５Ｂ】図１５Ａおよび１５Ｂは、本発明の実施形態との使用のためのオンブレードコールドシンクを伴うブレードの上方斜視図と分解図とをそれぞれ概略的に示す。
【発明を実施するための形態】
【００２３】
例示の実施形態の説明
例示の実施形態では、高性能計算（「ＨＰＣ」）システムのための冷却システムは、自立型環境における２つの計算ラック間にある冷却タワーを有する閉鎖ループ冷却セル構成を含み、その結果として、冷却セルは、加熱された空気をコンピュータルーム中には排出しない。空気冷却に加え、上記システムはさらに、レベルで冷却を提供し、１つ以上の冷却プレートがブレード内にある。冷却セルは、全ての側面および上部および底部において封止されている封止ユニットであることにより、コンピュータルームにおける熱負荷を加えるように暖まった空気がコンピュータルーム中に逃れることを、実質的に防ぐ。２つの冷却セルは、背中合わせで配列されることにより、冷却システム内で２つの閉鎖ループ空気流れを提供し得る。冷却タワーは、水冷熱交換器を横切って熱気を引き込み、冷却された空気を循環させることにより計算ラック内の計算ブレードを冷却する。このアプローチは、ラックレベル冷却に対してより大きな効率を提供し、冷却に関連付けられる電力コストを低減し、単一の水供給源を利用する。さらに、閉鎖ループ空気流れ配列は、開放ループシステムに対して音響放出を低減する利点を有している。なぜなら、より低いＲＰＭで稼働するより大きなブロアが、用いられる得、より小さい直径のファンよりも少ないノイズを生じさせるからである。追加の冷却が、冷却セルに対して外部にある冷却分配ユニットを用いて、ブレードに提供されてもよい。例示の実施形態の詳細は下記で議論される。
【００２４】
システムアーキテクチャ
図１は、本発明の例示的な実施形態とともに使用され得る例示的な高性能計算システム１００の論理図を概略的に示す。詳細には、当業者に公知であるように、「高性能計算システム」または「ＨＰＣシステム」は、ハードウェア相互接続を使用してタイトに結合されている複数のモジュール式計算リソースを有する計算システムであり、その結果として、プロセッサは、共通のメモリアドレススペースを使用して遠隔データに直接アクセスし得る。
【００２５】
ＨＰＣシステム１００は、計算リソースを提供するための多くの論理計算パーティション１２０、１３０、１４０、１５０、１６０、１７０と、この複数のパーティション１２０〜１７０を管理するためのシステムコンール１１０とを含む。ＨＰＣシステムにおける「計算パーティション（または「パーティション）」は、単一のオペレーティングシステムインスタンスを走らせるコンピュータリソースの管理用割り当てであり、共通メモリアドレススペースを有する。パーティション１２０〜１７０は、論理通信ネットワーク１８０を使用してシステムコンソール１１０と通信し得る。計算を実施することを望む科学者、エンジニア、または、技術者のようなシステムユーザは、システムコンソール１１０を使用することによりこれらのリソースを割り当て、管理するシステムオペレータからの計算リソースを要求し得る。パーティションへの計算リソースの割り当ては、下記で説明される。このＨＰＣシステム１００は、下記でより詳細に説明されるように、管理用に指定される任意の数の計算パーティションを有し得、しばしば、利用可能な計算リソースの全てを包含するただ１つのパーティションを有する。したがって、この図は、本発明の実施形態の範囲を限定するものとして見られるべきではない。
【００２６】
パーティション１６０のような各計算パーティションは、それがデスクトップコンピュータに似通った単一の計算デバイスであるかのように論理的に見られ得る。それゆえ、パーティション１６０は、当該技術分野で一緒に使用されるような基本入出力システム（「ＢＩＯＳ」）１９２を使用する単一オペレーティングシステム（「ＯＳ」）インスタンス１９１と、１以上のシステムユーザのためのアプリケーションソフトウェァ１９３とを含むソフトウェアを実行し得る。
【００２７】
したがって、図１にまた示されるように、計算パーティションは、システムオペレータによってそれに割り当てられた種々のハードウェアを有し得、それは、１つ以上のプロセッサ１９４、揮発性メモリ１９５、不揮発性ストレージ１９６、ならびに、入力および出力（「Ｉ／Ｏ」）デバイス１９７（例えば、ネットワークカード、ビデオディスプレイデバイス、および、キーボードなど）を含む。しかし、図１における実施形態のようなＨＰＣシステムにおいて、各計算パーティションは、典型的なデスクトップコンピュータよりも多量のプロセッシンパワーおよびメモリを有する。ＯＳソフトウェアは、例えば、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ  ＣｏｒｐｏｒａｔｉｏｎによるＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム、または、Ｌｉｎｕｘ（登録商標）オペレーティングシステムを含み得る。さらに、ＢＩＯＳは、カリフォルニア州サンタクララのＩｎｔｅｌ  Ｃｏｒｐｏｒａｔｉｏｎのようなハードウェア製造業者によるファームウェアとして提供され得るが、それは、典型的に、下記でより詳細に記載されるように、高性能計算をサポートするように、ＨＰＣシステム設計者のニーズに応じてカスタマイズされる。
【００２８】
そのシステム管理役割の一部として、システムコンソール１１０は、計算パーティション１２０〜１７０の計算能力と、システムオペレータまたは他の計算システムとの間のインターフェースとして作用する。その目的のために、システムコンソール１１０は、システムオペレータのために、とりわけ、１）ハードウェアをブートすること、２）システム計算リソースを計算パーティションに分割すること、３）パーティションを初期化すること、４）各パーティションおよびその中で生じさせられる任意のハードウェアまたはソフトウェアのエラーの健全性をモニタすること、５）オペレーティングシステムおよびアプリケリーションソフトウェアを種々のパーティションに分配すること、６）オペレーティングシステムおよびソフトウェアを実行させること、７）パーティションまたはその中のソフトウェアの状態をバックアップすること、８）アプリケーションソフトウェアをシャトダウンすること、および、９）計算パーティションまたは全体のＨＰＣシステム１００をシャトダウンすることを可能にするコマンドを、ＨＰＣシステムハードウェアおよびソフトウェアに発する。これらの特定機能は、「システムオペレーション」と題される下記のセクションでより詳細に記載される。
【００２９】
図２は、図１の実施形態に従う、高性能計算システム１００の物理図を概略的に示す。図１のＨＰＣシステム１００を含むハードウェアは、点線によって取り囲まれている。このＨＰＣシステム１００は、ユーザアクセスを容易にするために、企業データネットワーク２１０に接続されている。
【００３０】
このＨＰＣシステム１００は、システムコンソール１１０の機能を実施するシステム管理ノード（「ＳＭＮ」）を含む。この管理ノード２２０は、デスクトップコンピュータ、サーバコンピュータ、または、企業もしくはＨＰＣシステム設計者のいずれかによって提供される他の類似の計算デバイスとして実行され得、ＨＰＣシステム１００を制御するために必要なソフトウェア（すなわち、システムコンソールソフトウェア）を含み得る。
【００３１】
ＨＰＣシステム１００は、企業ローカルエリアネットワーク（「ＬＡＮ」）、仮想私設網（「ＶＰＮ」）、インターネットなど、または、これらネットワークの組み合わせのような、当該技術分野で公知の任意のデータネットワークを含み得るデータネットワーク２１０を使用してアクセス可能である。これらのネットワークのうちの任意のものは、多くのユーザが、ＨＰＣシステムリソースに、遠隔から、かつ／または、同時にアクセスすることを可能にし得る。例えば、管理ノード２２０は、Ｗｉｎｄｏｗ（登録商標）Ｒｅｍｏｔｅ  Ｄｅｓｋｔｏｐ  ＳｅｒｖｉｃｅｓまたはＵｎｉｘ（登録商標）  ｓｅｃｕｒｅ  ｓｈｅｌｌのような当該技術分野で公知のツールを使用する遠隔ログインを介して、企業コンピュータ２３０によってアクセスされ得る。企業がそのような気になると、ＨＰＣシステム１００へのアクセスは、遠隔コンピュータ２４０に提供され得る。遠隔コンピュータ２４０は、まさに記載されたように管理ノード２２０へのログインを介して、または、当業者に公知であるようなゲートウェイまたはプロキシシステムを使用して、ＨＰＣシステムにアクセスし得る。
【００３２】
ＨＰＣシステム１００のハードウェア計算リソースは（例えば、図１に示されるプロセッサ、メモリ、不揮発性ストレージ、および、Ｉ／Ｏデバイス）、図２に示されるブレードシャーシ２５２、２５４、２５６、２５８のような１つ以上の「ブレードシャーシ」によって集合的に提供され、それらは、管理され、かつ、計算パーティションに割り当てられる。ブレードシャーシは、「ブレード（ｂｌａｄｅ）」と呼ばれる複数のスタック可能なモジュール式電子回路ボード間の高速度データ通信を収容し、それに出力を与え、それを提供するように構成されている電子シャーシである。各ブレードは、独立型の計算サーバとして作用するために十分な計算ハードウェアを含む。ブレードシャーシのこのモジュール式の設計は、ブレードが、最小の配線と垂直スペースを伴って電源およびデータラインに接続されることを可能にする。
【００３３】
したがって、各ブレードシャーシ、例えばブレードシャーシ２５２は、計算リソースを提供するために、ブレードシャーシ２５２、および、多くのブレード２６２、２６４、２６６におけるシステム機能を管理するためのシャーシ管理コントローラ２６０（「シャーシコントローラ」または「ＣＭＣ」とも称される）を有する。各ブレード、例えばブレード２６２は、そのハードウェア計算リソースをＨＰＣシステム１００の集合的な全体リソースに寄与させる。システム管理ノード２２０が、シャーシコントローラ２６０のようなシャーシコントローラを使用して、全体のＨＰＣシステム１００のハードウェア計算リソースを管理する一方で、各シャーシコントローラは、そのブレードシャーシにおける適切なブレードについてのリソースを管理する。シャーシコントローラ２６０は、下記でより詳細に記載されるように、ローカル管理バス２６８によってブレードシャーシ２５２の内側でブレード２６２〜２６６に物理的かつ電気的に結合される。他のブレードシャーシ２５４〜２５８におけるハードウェアは、同様に構成される。
【００３４】
シャーシコントローラは、管理接続２７０を使用して互いと通信する。管理接続２７０は、例えば、イーサネット（登録商標）通信プロトコル、または、他のデータバスを稼働させるための高速度ＬＡＮであり得る。対照的に、ブレードは、計算接続２８０を使用して互いと通信する。その目的のために、計算接続２８０は、カリフォルニア州フレモントのＳｉｌｉｃｏｎ  Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｒｐによって開発されたＮｕｍａＬＩｎｋのような、高バンド幅、低待ち時間システム相互接続を例示的に有する。
【００３５】
シャーシコントローラ２６０は、ＨＰＣシステムの残りにシステムハードウェア管理機能を提供する。例えば、シャーシコントローラ２６０は、ＳＭＮ２００からシステムブートコマンドを受け取り得、ローカル管理バス２６８を使用して、ブレード２６２〜２６６の各々にブートコマンドを発することによって応答する。同様に、シャーシコントローラ２６０は、ブレード２６２〜２６６のうちの１つ以上からハードウェアエラーデータを受け取り得、他のシャーシコントローラによって記憶されたエラーデータと組み合わせて、後の分析のためにこの情報を記憶し得る。いくつの実施形態では、図２に示されるもののように、ＳＭＮ２２０または企業コンピュータ２３０は、システム管理コマンドを処理することによりＨＰＣシステム１００を制御し、かつ、これらのコマンドを他のシャーシコントローラに転送する単一のマスターシャーシコントローラ２６０へのアクセスを提供される。しかし、他の実施形態では、ＳＭＮ２２０は、管理接続２７０に直接結合され、各シャーシコントローラにコマンドを個々に発する。当業者は、同じタイプの機能性を可能にするこれらの設計の改変例を企図し得るが、明瞭さのためにこれらの設計のみが本明細書に提示されている。
【００３６】
ブレードシャーシ２５２、そのブレード２６２〜２６６、および、ローカル管理バス２６８は、当該分野で公知であるように提供され得る。しかし、シャーシコントローラ２６０は、ＨＰＣシステム設計者によって提供されるハードウェア、ファームウェア、または、ソフトウェアを使用して実装され得る。各ブレードは、独立型のコンピュータサーバの技術分野で公知の、ある程度の量のプロセッサ、揮発性メモリ、不揮発性ストレージ、および、Ｉ／Ｏデバイスを備えたＨＰＣシステム１００を提供する。しかし、各ブレードはまた、「システムオペシーション」と題されるセクションでより詳細に下記で説明されるように、これら計算リソースが、一緒にグループ化されて、計算パーティションとして集合的に扱われることを可能にするためのハードウェア、ファームウェア、および／または、ソフトウェアを有する。
【００３７】
図２は、各シャーシ中に４つのシャーシおよび３つのブレードを有するＨＰＣシステム１００を示しているが、シャーシとブレードとの任意の組み合わせが使用され得、これらの図は、本発明の実施形態の範囲を限定しないことが認識されるべきである。例えば、ＨＰＣシステムは、数十のシャーシおよび数百のブレードを有し得、実際、ＨＰＣシステムは、しばしば、所望される。なぜなら、それらは、非常に大きな量のしっかりと結合された計算リソースを提供するからである。
【００３８】
図３は、単一ブレードのシャーシ２５２をより詳細に概略的に示す。この図では、この場での説明に関連しないパーツが省略されている。シャーシコントローラ２６０は、システム管理ノード２２０への、および、管理接続２７０へのその接続とともに示されている。シャーシコントローラ２６０は、シャーシ管理データを記憶するためのシャーシデータ記憶装置３０２を提供される。シャーシデータ記憶装置３０２は、揮発性ランダムアクセスメモリ（「ＲＡＭ」）であり得、シャーシデータ記憶装置３０２におけるケースデータは、計算パーティションのうちの１つ以上が（例えば、ＯＳクラッシュに起因して）故障するか、または、ブレードが誤作動した場合でさえ、電力がブレードシャーシ２５２に印加されている限り、ＳＭＮ２２０によってアクセス可能である。シャーシデータ記憶装置３０２は、ハードディスクドライブ（「ＨＤＤ」）またはソリッドステートドライブ（「ＳＳＤ」）のような不揮発性ストレージであり得る。この場合、シャーシデータ記憶装置３０２におけるデータは、ＨＰＣシステムがパワーダウンして再ブートされた後にアクセス可能である。
【００３９】
図３は、議論の目的のためのブレード２６２および２６４の詳細な実装の関連する部分を示す。ブレード２６２は、シャーシレベルでシャーシコントローラによって実施される機能に類似の様式で、ブレードレベルでシステム管理機能を実行するブレード管理コントローラ３１０（「ブレードコントローラ」または「ＢＭＣ」とも呼ばれる）を含む。シャーシコントローラおよびブレードコントローラの動作に関するより詳細については、下記の「システムオペレーション」と題されるセクションを参照のこと。ブレードコントローラ３１０は、ＨＰＣシステム設計者によってシャーシコントローラ２６０との通信を可能にするように設計されたカスタムハードウェアとして実装され得る。さらに、ブレードコントローラ３１０は、それ自体のＲＡＭ３１６を有することによりその管理機能を実施し得る。シャーシコントローラ２６０は、図３および先の図に示されるように、ローカル管理バス２６８を使用して各ブレードのブレードコントローラと通信する。
【００４０】
ブレード２６２はまた、ＲＡＭ３２４、３２６に接続される１つ以上のプロセッサ３２０、３２２を含む。ブレード２６２は、当該分野で公知であるように、複数のプロセッサが単一のバス上で共通セットのＲＡＭにアクセスし得るように、交互に構成され得る。プロセッサ３２０、３２２は、当該技術分野で公知であるように、任意の数の中央プロセッシングユニット（「ＣＰＵ」）またはコアを含み得ることも、認識されるべきである。ブレード２６２におけるプロセッサ３２０、３２２は、Ｉ／Ｏデバイス３３２と通信するデータバス、不揮発性ストレージ３３４と通信するデータバス、および、スタンドアローン計算システムで共通に見出される他のバスのような他のアイテムに接続され得る（明瞭さのために、図３は、プロセッサ３２０からこれら他のデバイスへの接続のみを示す）。プロセッサ３２０、３２２は、例えば、Ｉｎｔｅｌ  Ｃｏｒｐｏｒａｔｉｏｎによって製造されるＩｎｔｅｌ（登録商標）ＣｏｒｅＴＭプロセッサであり得る。Ｉ／Ｏバスは、例えば、ＰＣＩまたはＰＣＩ  Ｅｘｐｒｅｓｓ（「ＰＣＩｅ」）バスであり得る。ストレージは、例えば、ＳＡＴＡ、ＳＣＳＩ、または、ファイバチャネルバスであり得る。他のバス標準、プロセッサタイプ、および、プロセッサ製造業者が本発明の例示的な実施形態とともに使用され得ることが、認識される。
【００４１】
各ブレード（例えば、ブレード２６２および２６４）は、その機能性の多くを制御するアプリケーション特定用途向けＩＣ３４０（「ＡＳＩＣ」、「ハブチップ」、または、「ハブＡＳＩＣ」とも称される）を含み得る。より詳細には、プロセッサ３２０、３２２、ＲＡＭ３２４、３２６、および、他のデバイス３３２、３３４を論理的に一緒に接続することにより、管理された複数プロセッサの同期共有分散メモリ（ｍａｎａｇｅｄ，  ｍｕｌｔｉ−ｐｒｏｃｅｓｓｏｒ，  ｃｏｈｅｒｅｎｔｌｙ−ｓｈａｒｅｄ  ｄｉｓｔｒｉｂｕｔｅｄ−ｍｅｍｏｒｙ）ＨＰＣシステムを形成するために、プロセッサ３２０、３２２は、ハブＡＳＩＣ３４０に電気的に接続される。それゆえ、このハブＡＳＩＣ３４０は、ＳＭＮ２２０によって生じさせられるＨＰＣシステム管理機能、シャーシコントローラ２６０、および、ブレードコントローラ３１０と、ブレード２６２の計算リソースとの間のインターフェースを提供する。
【００４２】
この接続では、ハブＡＳＩＣ３４０は、集積回路間に信号を通過させるための書き換え可能ゲートアレイ（「ＦＰＧＡ」）３４２または類似のプログラム可能なデバイスによって、ブレードコントローラ３１０と接続する。特に、シャーシコントローラ２６０によって発せられたコマンドに応答して、信号が、ブレードコントローラ３１０の出力ピン上に生じさせられる。これらの信号は、ＦＰＧＡ３４２によって、ハブＡＳＩＣ３４０の特定の入力ピンのためのコマンドに翻訳され、その逆も起こる。例えば、シャーシコントローラ２６０からブレードコントローラ３１０によって受け取られる「パワーオン」信号は、とりわけ、ハブＡＳＩＣ３４０上の特定のピンに「パワーオン」電圧を提供することを要求し、このＦＰＧＡ３４２は、このタスクを容易にする。
【００４３】
ＦＰＧＡ３４２の書き換え可能性質は、ブレードコントローラ３１０とＡＳＩＣ３４０との間のインターフェースが、製造後に再プログラム可能であることを可能にする。それゆえ、例えば、ブレードコントローラ３１０とＡＳＩＣ３４０は、特定の包括的な機能を有するように設計され得、ＦＰＧＡ３４２は、アプリケーション特異的な様式でこれら機能の使用をプログラムするために有利に使用され得る。ブレードコントローラ３１０とＡＳＩＣ３４０との間の通信インターフェースはまた、いずれかのモジュールでハードウェア設計エラーが発見された場合、アップデートされ得、新たなハードウェアが製造される必要なしで迅速なシステム修復を可能にする。
【００４４】
また、計算リソースとシステム管理との間のインターフェースとしての役割と関連して、ハブＡＳＩＣ３４０は、高速プロセッサ相互接続３４４によってプロセッサ３２０、３２２に接続される。１つの実施形態では、プロセッサ３２０、３２２は、この目的のためにＩｎｔｅｌ（登録商標）ＱｕｉｃｋＰａｔｈ  Ｉｎｔｅｒｃｏｎｎｅｃｔ（「ＱＰＴ」）を提供するＩｎｔｅｌ  Ｃｏｒｐｏｒａｔｉｏｎによって製造され、ハブＡＳＩＣ３４０は、ＱＰＩを使用してプロセッサ３２０、３２２と通信するためのモジュールを含む。他の実施形態は、他のプロセッサ相互接続構成を使用し得る。
【００４５】
各ブレードにおけるハブチップ３４０はまた、高バンド幅、低待ち時間のデータ通信のための他のブレードへの接続を提供する。それゆえ、ハブチップ３４０は、異なるブレードシャーシを接続する計算接続２８０へのリンク３５０を含む。このリンク３５０は、例えば、ネットワークケーブルを使用して実装される。ハブＡＳＩＣ３４０はまた、同じブレードシャーシ２５２における他のブレードへの接続を含む。ブレード２６２のハブＡＳＩＣ３４０は、シャーシ計算接続３５２によって、ブレード２６４のハブＡＳＩＣ３４０に接続する。シャーシ計算接続３５２は、ネットワークケーブルを使用するのではなく、ブレードシャーシ２５２のバックプレーン上のデータバスとして実装され得、有利なことに、高性能計算タスクのために要求されるブレード間超高速データ通信を可能にする。シャーシ間計算接続２８０およびシャーシ内計算接続３５２の両方におけるデータ通信は、ＮｕｍａＬｉｎｋプロトコルまたは類似のプロトコルを使用して実装され得る。
【００４６】
システムオペレーション
システム管理コマンドは、概して、ＳＭＮ２２０から、管理接続２７０を通り、ブレードシャーシ（およびそれらのシャーシコントローラ）に、次いで、ブレード（およびそれらのブレードコントローラ）に、最終的に、システム計算ハードウェアを使用してコマンドを実装するハブＡＳＩＣに伝搬する。
【００４７】
例えば、ＨＰＣシステムをパワーオンするプロセスを考える。ＨＰＣシステム１００は、システムオペレータがＳＭＮ２２０から「パワーオン」コマンドを発するとき、パワーが与えられる。ＳＭＮ２２０は、ブレードシャーシ２５２におけるシャーシコントローラ２６０のようなそれらの個々のシャーシコントローラによって、このコマンドをブレードシャーシ２５２〜２５８の各々に伝搬する。次いで、各シャーシコントローラは、ブレード２６２のブレードコントローラ３１０のような、それらのそれぞれのブレードコントローラによって、そのブレードシャーシにおけるそれぞれのブレードの各々に「パワーオン」コマンドを発する。ブレードコントローラ３１０は、「パワーオン」コマンドを、ハブチップ３４０を初期化するハブチップのピンのうちの１つに信号を提供するＦＰＧＡ３４２を使用して、その対応するハブチップ３４０に発する。他のコマンドも同様に伝搬される。
【００４８】
ＨＰＣシステムがパワーオンされると、その計算リソースは、計算パーティションに分割され得る。各計算パーティションに割り当てられる計算リソースの量は、管理者決定である。例えば、企業は、完成すべき多くのプロジェクトを有し得、各プロジェクトは、特定量の計算リソースを要求するように企画される。異なるプロジェクトは、異なる比率の処理パワー、メモリ、および、Ｉ／Ｏデバイス使用を要求し得、異なるブレードは、インストールされる異なる量のリソースを有し得る。ＨＰＣシステム管理者は、ＨＰＣシステム１００の計算リソースをパーティション化するときにこれらを考慮する。計算リソースをパーティション化することは、各ブレードのＲＡＭ３１６をプログラムすることによって達成され得る。例えば、ＳＭＮ２２０は、システムコンフィグレーションファイルを読み取った後に、適切なブレードプログラミングコマンドを発し得る。
【００４９】
ＨＰＣシステム１００の集合的ハードウェア計算リソースは、任意の管理者ニーズにしたがって、計算パーティションに分割され得る。それゆえ、例えば、単一の計算パーティションは、１つのブレードシャーシ２５２のブレードのうちのいくつかまたは全て、複数のブレードシャーシ２５２および２５４のブレードのうちの全て、１つのブレードシャーシ２５２のブレードのうちのいくつか、および、ブレードシャーシ２５４のブレードのうちの全ての計算リソース、全体のＨＰＣシステム１００の計算リソースのうちの全て、または、他の類似の組み合わせを含み得る。ハードウェア計算リソースは、統計的にパーティションに区切られ、この場合、全体のＨＰＣシステム１００の再ブートは、ハードウェアを再割り当てすることが必要とされる。あるいは、かつ、好ましくは、ＨＰＣシステム１００がパワーオンされる間に、ハードウェア計算リソースは、動的にパーティション化される。このようにして、割り当てられないリソースは、他のパーティションの動作を中断することなくパーティションに指定され得る。
【００５０】
ＨＰＣシステム１００が適切にパーティション化されると、各パーティションは、スタンドアローンの計算システムとして作用すると考えられ得ることが、注記されるべきである。それゆえ、２つ以上のパーティションは、ＨＰＣシステム１００の内側で、論理的計算グループを形成するように組み合わされ得る。このようなグルーピングは、例えば、特定の計算タスクが、単一のオペレーションシステムが制御し得るよりも多くのプロセッサまたはメモリに割り当てられる場合、必要であり得る。例えば、単一のオペレーションシステムが６４のプロセッサのみを制御し得るが、特定の計算タスクが２５６のプロセッサの組み合わされたパワーを必要とする場合は、４つのパーティションが、このようなグループにおいてタスクを割り当てられる。このグルーピングは、各計算パーティションに同じソフトウェアをインストールすること、および、パーティションにＶＰＮを提供することのような当該分野で公知の技法を使用して達成され得る。
【００５１】
少なくとも１つのパーティションが作成されると、このパーティションは、ブートされ得、その計算リソースは初期化される。パーティション１６０のような各計算パーティションは、単一のＯＳ  １９１および単一のＢＩＯＳを有するように論理的に見られ得る。当該分野で公知のように、ＢＩＯＳは、利用可能なハードウェアを電気的に探り、かつ、ＯＳがブート可能であるような既知状態にそれを初期化する命令の集合であり、典型的に、各物理的サーバ上のファームウェアチップ上に提供されている。しかし、単一の論理的計算パーティション１６０は、いくつかのブレードにまたがり得、または、いくつかのブレードシャーシにさえまたがり得る。ブレードは、特定のパーティションへのその割り当てを強調するために「計算ノード」または単に「ノード」と称され得るが、物理的ブレードは、それが複数のプロセッサ３２０、３２２およびメモリ３２４、３２６を有する場合、１つよりも多い計算ノードを含み得ることが、理解される。
【００５２】
パーティションをブートすることは、標準ブレードシャーシに多くの改変がなされることを要求し得る。特に、各ブレードにおけるＢＩＯＳは、同じブレードまたはブレードシャーシにおけるものではない同じ計算パーティションにおける他のハードウェアリソースを決定するように改変される。ＳＭＮ２２０によってブートコマンドが発せられた後、ハブＡＳＩＣ３４０は、適切な信号をプロセッサ３２０に最終的に提供することにより、ＢＩＯＳ命令を使用してブートプロセスを開始する。ＢＩＯＳ命令は、次いで、パーティションにおける識別（ノード）番号、ノード相互接続トポロジー、パーティションにおける他のノード中に存在するデバイスのリスト、および、パーティションにおける全てのノードによって使用されるマスタークロック信号などのような、ハブＡＳＩＣ３４０からのパーティション情報を得る。この情報で武装させられて、プロセッサ３２０は、ブレード２６２を初期化するために要求されるいかなるステップをも取り得、これは、１）Ｉ／Ｏデバイス３３２および不揮発性ストレージ３３４を初期化することのような非ＨＰＣ特異的ステップと、２）また、ローカルハードウェアクロックをマスタークロック信号に同期すること、所与のノードにおけるＨＰＣ特化型ハードウェアを初期化すること、パーティションにおける他のノードがそのＲＡＭにアクセスした情報を含むメモリディレクトリを管理すること、および、パーティション幅の物理的メモリマップを準備することなどのＨＰＣ特異的ステップとを含む。
【００５３】
この点で、各物理的ＢＩＯＳは、パーティションのそれ自体のビュー（ｖｉｅｗ）を有し、各ノードにおける計算リソースの全ては、ＯＳがロードするために準備される。次いで、ＢＩＯＳは、ＯＳイメージを読み取り、マルチプロセッサシステムの分野で公知の技法にしたがって、それを実行する。ＢＩＯＳは、ハードウェア自体が複数ブレードシャーシおよびブレードの間に分散させられているとしても、ＯＳにパーティションハードウェアのビューを、それが単一の非常に大きな計算デバイス中に存在する全てであるかのように提示する。このようにして、単一のＯＳインスタンスは、それ自体を、そのパーティションに指定されているブレードシャーシおよびブレードのいくつかまたは好ましくは全てを横切って広がる。異なるオペレーティングシステムが種々のパーティションにインストールされ得る。ＯＳイメージが存在しない場合、例えばパーティションが作成された直後には、パーティションブートの前に当該分野で公知のプロセッサを使用してＯＳイメージがインストールされ得る。
【００５４】
ＯＳが安全に実行していると、そのパーティションは、単一の論理的計算デバイスとして動作させられ得る。所望の計算処理を実行するためのソフトウェアは、ＨＰＣシステムオペレータによって種々のパーティションにインストールされ得る。ユーザは、次いでＳＭＮ２２０にログインする。ＳＭＮ２２０からのそれらのそれぞれのパーティションへのアクセスは、例えば、ログイン資格証明書に基づいたボリュームマウンティングおよびディレクトリ許可を使用して制御され得る。システムオペレータは、各パーティションの健全性をモニタし得、ハードウェアまたはソフトウェアのエラーが検出されるとき、矯正ステップをとる。長期実行アプリケーションプログラムの現在の状態は、定期的、または、システムオペレータまたはアプリケーションユーザのコマンドのいずれかで、不揮発性ストレージにセーブされることにより、システムまたはアプリケーションのクラッシュの事象で作業を失うことに対する保護を行う。システムオペレータまたはシステムユーザは、アプリケーションソフトウェアをシャットダウンするためのコマンドを発し得る。ＨＰＣパーティションの他のオペレーションは、当業者に公知であり得る。管理者が要求するとき、システムオペレータは、計算パーティションを完全にシャットダウンし得、パーティションにおける計算リソースを再割り当てもしくは割り当て解除し得、または、全体のＨＰＣシステム１００をパワーダウンし得る。
【００５５】
閉鎖ループ冷却セル構成
図４は、本発明の実施形態に従う、冷却システムにおいて使用される閉鎖ループ冷却セル１０の平面図を示す。冷却セル１０は、２つの計算ラック１４間に冷却タワー１２を含む。各計算ラック１４は、少なくとも１つのブレードエンクロージャ１６を含み、前面１４ａ、背面１４ｂ、および、２つの側面１４ｃを有する。冷却タワー１２は、少なくとも１つの水冷熱交換器１８、および、冷却タワー１２の前面に向かって位置決めされた１つ以上のブロア２０を含む。冷却セル１０はさらに、計算ラック１４と冷却タワー１２とを取り囲むハウジング２２を含むことにより、冷却セル１０内に閉鎖ループ空気流れを提供する。この目的のために、計算ラック１４と冷却タワー１２とは、側面１４ｃで繋ぎ合わされ、ラック１２、１４の上部、底部、および、全ての側面は封止される。例えば、前部ドアおよび後部ドアは、穿孔穴を含む標準的なドアではなく中実のドアであり得る。このようにして、コンピュータルームの空気から隔離されている封止ユニットが、形成される。
【００５６】
図５も参照すると、動作において、１つ以上のブロア２０は、暖気をコンピュータラック１４の側面から背面１４ｂに向かって水冷熱交換器（単数または複数）１８を横切って引き込み、冷却された空気を前面１４ａに向かってコンピュータラック１４の側面に循環させる。矢印は、冷却システムが動作にあるときの冷却セル１０内の閉鎖ループ空気流れを示す。このようにして、計算ブレードを冷却するために、冷却タワー１２におけるブロア（単数または複数）２０が、使用されることにより、調和空気を計算ラック１４の前面から後部にブレードエンクロージャ１６を通って押す。冷却タワー１２は、水冷熱交換器１８（単数または複数）（例えば、水コイル）を介して冷却セル１０から熱を除去する。水冷熱交換器（単数または複数）１８は、熱水および冷水ライン２４（例えば、約４５〜８５゜Ｆの範囲にある）を介して広範な設備供給冷却水に接続され得る。より高い水温限界は、冷却器ユニットを動作させる必要性なしで水が供給されることができる、より長い時間の自由冷却を可能にし得る。あるいは、水冷熱交換器（単数または複数）１８は、より冷たい水温を供給するために、水ライン２４を介して、外部熱交換器、例えば冷却器ユニット（図示せず）に接続され得る。好ましくは、冷却タワー１２は、約１６０ｋＷの冷却能力を有する。
【００５７】
本発明の閉鎖ループ冷却セル１０構成は、いくつかの利点を提供する。各冷却セル１０は、一体化された熱通路閉じ込めを有し、データセンターにおける空気と混合する冷却セル１０内からの空気が実質的にない。冷却セル１０内の全ての空気は、水冷される。さらに、この閉鎖ループ空気流れ配列は、開放ループシステムに対し、音響放出を低減する利点を有している。なぜなら、より大きいブロアは、より低いＲＰＭで稼働し、より小さい直径のファンよりもノイズが少ないからである。このアプローチはまた、ラックレベル冷却に対してより大きい効率を提供し、冷却と関連付けられる電力コストを低減する。なぜなら、より少ないブロワ／ファンが必要とされ、単一の水供給源を利用しているからである。さらなる冷却が必要とされる状況では、液体  対  水熱交換器（ＣＤＵ）が、下記の「オンブレード冷却との冷却分配ユニット」と題されるセクションでさらに議論されるように、オンブレード冷却とともに用いられ得る。
【００５８】
図４および５は、２つの計算ラック１４および１つの冷却タワー１２を伴う１つの冷却セル１０を有する冷却システムを示しているが、この冷却システムは、本発明の実施形態に従って、１つ以上の冷却セル１０を有し得る。例えば、図６は、各々が２つの計算ラック１４および１つの冷却タワー１２を有する２つの閉鎖ループ冷却セル１０を伴う冷却システムを概略的に示している。２つの冷却セル１０が使用されるとき、これら冷却セル１０は、背中合わせで位置決めされ、その結果として、１つの冷却セル１０の計算ラック１４の背面１４ｂは、もう一方の冷却セル１０における計算ラック１４の背面１４ｂに当接している。ハウジング２２は、冷却セル１０を取り囲むことにより、図６に矢印で示されるように、冷却システム内の２つの閉鎖ループ空気流れを提供する。複数の冷却セル１０は、互いの隣に配置されることにより、任意の数の計算ブレード、例えば何万という計算ブレードを冷却するようにシステムをスケーリングする。複数の冷却セル１０を構成するとき、冷却セル１０間の電気配線は、冷却セル１０の上部上の計算ラック１４の上部とハウジング２２との間のスペースに経路設定され得る。
【００５９】
図７は、取り付けられた計算ラック１４のない背中合わせの２つの冷却タワー１２を示す。好ましくは、各冷却タワー１２は、３つの大きいブロア２０を有し得、ｖ字の開いた側がブロア２０に面するようにｖ字型に位置決めされた２つの水冷熱交換器１８を有し得る。図８は、両方の冷却セル１０について計算ラック１４の１つの側面と冷却タワー１２の部分とが取り除かれている、図６の斜視断面図を概略的に示す。さらに、ハウジング２２の上部は、除去されて、計算ラック１４の上部とハウジング２２との間のスペース２６を示し、そこでは、電気配線が、冷却セル１０の側面１４ｃで、例えばハウジング２２における側面開口部２８を通り、１つの冷却セル１０から別の冷却セルに経路設定され得る。
【００６０】
閉鎖ループ冷却セル１０を伴う冷却システムの実施形態は、種々の計算ラック構成とともに使用され得る。例えば、図９Ａおよび９Ｂに示されるように、冷却タワー１２は、Ｄラック構成およびＭラック構成とともに使用され得る。図１０Ａ〜１０Ｄは、Ｍラック構成の種々の図を概略的に示し、図１１Ａ〜１１Ｃは、Ｄラック構成の種々の図を概略的に示す。詳細には、図１０Ａは、上部ブレードエンクロージャ１６および下部ブレードエンクロージャ１６と、ブレードエンクロージャ１６の側面に取り付けられた４つの電力棚３０とを伴うＭラック計算ラック１４の斜視前面図を示す。図１０Ｂおよび１０Ｃは、それぞれ、ブレードエンクロージャ１６に設置されて流体接続３６を介して冷却マニホールド３４に接続されているブレード３２を備えるＭラック計算ラック１４の前面図および前方斜視図である。冷却マニホールド３４と流体接続３６とを使用するオンブレード冷却構成は、下記の「オンブレード冷却との冷却分配ユニット」と題されるセクションにおいてさらに議論される。図１０Ｄは、Ｍラック計算ラック１４の後面図を示す。図１１Ａは、上部ブレードエンクロージャ１６および下部ブレードエンクロージャ１６と、これらブレードエンクロージャ１６間の電力棚３０とを伴うＤラック計算ラック１４の斜視前方図を示す。図１１Ｂおよび１１Ｃは、ブレードエンクロージャ１６に設置されたブレード３２を伴うＤラック計算ラック１４の前面図および後面図をそれぞれ示す。
【００６１】
オンブレード冷却との冷却分配ユニット
図１２に示されるように、冷却システムはさらに、特定タイプの計算ブレード、例えばカリフォルニア州フレモントのＳｉｌｉｃｏｎ  Ｇｒａｐｈｉｃｓ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｒｐ．によって販売されている７２０Ｗ  Ｇｅｍｉｎｉ  Ｔｗｉｎ計算ブレードのための増加した冷却要件をサポートするために、冷却セル１０に対して外部にある冷却分配ユニット（ＣＤＵ）４０を含み得る。例えば、この計算ブレードによって発生させられる熱の量が約６００ワットを超えるとき、ＣＤＵは、オンブレード冷却を有するＭラック構成と組み合わされて使用され得る。このＣＤＵ４０は、１つの冷却セル１０内の２つの計算ラック１４に接続されてもよく、または図１２に示されるように、１つが供給ラインを有し、かつ、１つが戻りラインを有する流体接続（例えば、ホース）３８のセットを介して、４つの計算ラック１４に接続されてもよい。
【００６２】
図１３および１４も参照すると、ＣＤＵ４０は、熱交換器４４と、その他のコントロール、バルブ、および、配管を伴う１つ以上の循環ポンプ（単数または複数）４６とを取り囲むハウジング４２を含む。図１３は、ＣＤＵ４０から、ブレードエンクロージャ１６の側面に位置させられた冷却マニホールド３４を有する１セットの計算ラック１４への冷却剤経路を示す。動作において、１つ以上の循環ポンプ４６は、流体接続３８内の冷却液体を、計算ラック１４における冷却マニホールド３４を通して、次いで、各個々のブレード３２を冷却マニホールド３４に接続する流体接続３６を通して移動させるように構成されている。個々のブレード３２は、図１５Ａおよび１５Ｂに示されるような、ブレード３２の内部の１つ以上の液冷ヒートシンク５０を含む。冷却プレート５０は、計算ブレード３２内の２つの計算ボード５２間に配置されるように構成される。これらの液冷プレート５０は、ブレード３２におけるプロセッサによって発生させられる熱を除去するために、冷却流体（例えば、水）が通路を通って流れることを可能にする内部通路を有する。このオンブレードコールドシンク構成のさらなる詳細は、２０１３年６月２８日に出願された「ＯＮ−ＢＬＡＤＥ  ＣＯＬＤ  ＳＩＮＫ  ＦＯＲ  ＨＩＧＨ−ＤＥＮＳＩＴＹ  ＣＬＵＳＴＥＲＥＤ  ＣＯＭＰＵＴＥＲ  ＳＹＳＴＥＭ」と題される米国特許出願第１３／９３１，７３０号に見出されることができ、それは、その全体が本明細書に参照によって援用される。冷却流体は、次いで、冷却マニホールド３４における戻りラインに流れ、暖まった冷却液体は、ＣＤＵ４０に戻る。ＣＤＵ４０は、熱交換器４４を介して冷却液体から熱を除去し、その熱交換器は、設備供給冷却水を用いて冷却され、次いで、冷却された冷却液体を計算ラック１４に戻すようにポンプ輸送する。
【００６３】
好ましくは、各計算ボード５２は、別個の計算ノードとして構成され得、その結果として、計算ブレード３２は、ブレードエンクロージャ１６において単一のスロットを共有するために、論理的には独立しているが物理的には一緒に繋ぎ合わされて種々のハードウェア構成要素を共有する２つの計算ノードを含む。このようにして、１つの計算ボード５２の損失は、全体の計算ブレード３２を動作不能にはしない。さらに、計算ブレード３２は、ブレード内の計算ボード５２を保持するように構成された２つの側面レールを含み得る。このツインノード構成は、存在する単一ノードブレード構成に対して、達成可能な計算密度を効率的に倍増させる。ツインブレードのさらなる詳細は、「ＴＷＩＮ  ＳＥＲＶＥＲ  ＢＬＡＤＥ  ＦＯＲ  ＨＩＧＨ−ＤＥＮＳＩＴＹ  ＣＬＵＳＴＥＲＥＤ  ＣＯＭＰＵＴＥＲ  ＳＹＳＴＥＭ」と題される米国特許出願第１３／９３１，７４８号に見出されることができ、それは、その全体が本明細書に参照によって援用される。
【００６４】
ＣＤＵ４０から計算ラック１４への冷却剤経路は閉鎖ループシステムであり、これは、流体接続３６、３８において漏れが生じた場合の液体損失の量を最小にすることを助ける。例えば、この閉鎖ループシステムは、水処理溶液、例えば約１リットルとともに約５５ガロンの蒸留水を保持し得る。使用され得る好適な水処理溶液は、ヴァージニア州リッチモンドのＣｈｅｍｔｒｅａｔ，Ｉｎｃ．から商業的に入手可能であるもののような水酸化ナトリウム溶液を含む。
【００６５】
ＣＤＵ４０は、ビルディング冷水システムと、Ｍラック１４内の冷却マニホールド３４との間のインターフェースであり、冷却マニホールド３４へ冷水を循環させてそれを制御するように設計されている。この目的のために、ＣＤＵ４４は、部屋条件をモニタし得、冷却マニホールド３４にポンプ輸送されている冷水を部屋の露点を超える温度で維持することによってコイル結露を防ぎ得る。（利用可能な場合に）ポンプをスイッチすること、水温を制御することなどのような、ＣＤＵ４０内の全ての機能は、自動化され得る。冷却システムの実施形態では、冷却タワー１２は、流体接続２４によって、ビルディング供給および戻り水配管に接続され、ＣＤＵ４０は、流体接続４８によって、ビルディング供給および戻り水配管に接続され、また、流体接続３８によってＭラック冷却マニホールド３４に接続される。
【００６６】
上記構成に依存して、オンブレードコールドシンク冷却は、ＨＰＣシステムにおける個々のデュアルソケットノードブレードによって散逸させられる熱の約５０〜６５％を直接吸収し得る。次いで、熱の残りは、冷却セル１０構成に存在する閉鎖ループ空気流れによって空冷され得る。コールドシンク冷却を伴う冷却セル１０およびＭラック構成を伴う冷却システムの実施形態は、最大１０００Ｗの計算ブレードまでをサポートすることができ得る。
【００６７】
上記の議論は、本発明の種々の例示的な実施形態を開示しているが、当業者が、本発明の真の範囲から逸脱することなく、本発明の利点のいくつかを達成する種々の改変をなし得ることは、明らかである。
【図７】
2016505917.tif 000003
【図８】
2016505917.tif 000004
【図１０Ｃ】
2016505917.tif 000005
【図１１Ａ】
2016505917.tif 000006
【図１４】
2016505917.tif 000007
【図１５Ａ】
2016505917.tif 000008
【図１５Ｂ】
2016505917.tif 000009
【図１】
2016505917.tif 000010
【図２】
2016505917.tif 000011
【図３】
2016505917.tif 000012
【図４】
2016505917.tif 000013
【図５】
2016505917.tif 000014
【図６】
2016505917.tif 000015
【図９】
2016505917.tif 000016
【図１０Ａ】
2016505917.tif 000017
【図１０Ｂ】
2016505917.tif 000018
【図１０Ｄ】
2016505917.tif 000019
【図１１Ｂ】
2016505917.tif 000020
【図１１Ｃ】
2016505917.tif 000021
【図１２】
2016505917.tif 000022
【図１３】
2016505917.tif 000023
【国際調査報告】
2016505917.tif 000024