(57)【要約】  発熱コンピュータ構成要素がその液相にある誘電性流体を気化させる二相液浸冷却システムが記載される。そして、誘電性蒸気は、凝縮して液相に戻され、コンピュータ構成要素を冷却するのに使用される。開示のシステムは、圧力制御容器及び圧力コントローラを用いて、大気圧未満で動作し得る。システムが動作する圧力を制御することによって、ユーザは誘電性流体が気化する温度に影響を及ぼし、それにより、所与のコンピュータ構成要素から増加した性能を達成し得る。ロボットアーム及びスロットイン型コンピューティング構成要素を利用して、自己治癒型コンピューティングシステムが形成され得る。【選択図】図１
2022501728.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティング構成要素のための冷却システムであって、
圧力制御容器であって、前記圧力制御容器の内圧を大気圧未満に低減する圧力コントローラを備え、熱伝導性の凝縮可能な誘電性流体を液及び気相で保持するように構成された圧力制御容器と、
１以上のコンピュータ構成要素であって、前記１以上のコンピュータ構成要素が前記液相の所定体積の熱伝導性の凝縮可能な誘電性流体内に少なくとも部分的に浸漬されるように配置され、プロセッサ又はネットワークカードである前記１以上のコンピュータ構成要素と、
気相の誘電性流体を液相の誘電性流体に凝縮するための凝縮器と
を備える前記冷却システム。
【請求項２】
前記圧力制御容器が、上位構造物内に搭載されている、請求項１に記載の冷却システム。
【請求項３】
バックプレーンシステムをさらに備える請求項１に記載の冷却システム。
【請求項４】
前記１以上のコンピュータ構成要素は、前記圧力制御容器の前記内圧の大きな外乱なしにスワップ可能である、請求項１に記載の冷却システム。
【請求項５】
ロボットアーム及びエアロックをさらに備え、前記エアロックが、前記圧力制御容器内の圧力に大きく外乱を与えることなく前記圧力制御容器の内部へのアクセスを可能とするように構成されている、請求項１に記載の冷却システム。
【請求項６】
パージシステムをさらに備え、前記パージシステムが、前記所定体積の熱伝導性の誘電性流体から汚染物を除去するように構成されている、請求項１に記載の冷却システム。
【請求項７】
前記パージシステムが、気体の誘電性流体の少なくとも一部分を凝縮し、気体の汚染物を廃棄するように構成されている、請求項６に記載の冷却システム。
【請求項８】
前記圧力制御容器が、電源、水供給源及びネットワーク接続に動作可能に接続されている、請求項１に記載の冷却システム。
【請求項９】
前記圧力制御容器は、上部の開口部及び取外し可能な蓋を備える、請求項１に記載の冷却システム。
【請求項１０】
１以上の前記蓋が、気相の前記熱伝導性の誘電性流体を前記圧力制御容器の側部に向けて方向付けるように構成されている、請求項９に記載の冷却システム。
【請求項１１】
前記圧力制御容器は、約１００立方フィートと約３００立方フィートの間の内容積を備える、請求項１に記載の冷却システム。
【請求項１２】
前記圧力制御容器は、気体の誘電性流体の体積に対して約１：３と約１：８の間の比の液体の誘電性流体の体積を備える、請求項１に記載の冷却システム。
【請求項１３】
バラストブロックをさらに備える請求項１に記載の冷却システム。
【請求項１４】
コンピューティング構成要素のための冷却システムであって、
圧力制御容器であって、
前記圧力制御容器の内圧を大気圧未満に低減する圧力コントローラと、
液及び気相における所定体積の熱伝導性の凝縮可能な誘電性流体と
を備える圧力制御容器と、
気相の誘電性流体を液相の誘電性流体に凝縮するための凝縮器と、
前記圧力制御容器を収容する構造物と、
配電システムであって、交流電力を直流電力に変換し、前記液相の所定体積の熱伝導性の誘電性流体内に少なくとも部分的に浸漬されている、前記配電システムと、
前記配電システムに動作可能に接続された無停電電源装置と
を備える前記冷却システム。
【請求項１５】
前記配電システムは、４００ボルト超の交流電力を５０ボルト未満の直流電力に変換する、請求項１４に記載のシステム。
【請求項１６】
前記配電システムは、約４１５ボルトの交流電力を約４８ボルトの直流電力に変換する、請求項１４に記載のシステム。
【請求項１７】
前記配電システムは、約４１５ボルトの交流電力を約３．５ボルトの直流電力に変換する、請求項１４に記載のシステム。
【請求項１８】
グラフィックプロセッサユニットをさらに備える請求項１４に記載のシステム。
【請求項１９】
前記配電システムに動作可能に接続されるように構成され、前記圧力制御容器の動作を制御するように構成されたプロセッサをさらに備える請求項１４に記載のシステム。
【請求項２０】
前記プロセッサは、前記液相の所定体積の熱伝導性の誘電性流体内に少なくとも部分的に浸漬される、請求項１９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、液浸冷却されるコンピューティングシステム、すなわち、圧力及び／又は蒸気の管理を利用する液浸冷却されるコンピューティングシステムに関する。
【発明の概要】
【０００２】
従来的なコンピューティング及び／又はサーバシステムは、種々の構成要素を冷却するのに空気を利用している。従来的な液体又は水冷コンピュータは、コンピュータ構成要素から熱を奪うのに流液を利用するがコンピュータ構成要素と液体自体との間の直接の接触を回避するものである。非導電性及び／又は誘電性の流体の開発により、構成要素から直接液体へと熱を奪うためにコンピュータ構成要素及び他の電子部品が誘電性又は非導電性の液体に浸漬され得る浸漬冷却の使用が可能となる。浸漬冷却は、コンピュータ構成要素を冷却するのに必要な総エネルギーを低減するのに用いることができ、充分な冷却に必要な空間及び機器の量を減少させることもできる。
【０００３】
以下に説明する本発明の開示の実施形態では、蒸気及び圧力管理システム並びに電力管理システムの使用が、液浸冷却を利用する大幅に改善されたコンピュータシステムを形成するように個別に又は組み合わされて利用され得る。
【０００４】
本開示の発明の実施形態は、液浸冷却されるコンピューティングシステムを収容するのに使用され得る圧力制御容器に関する。ある実施形態では、圧力制御容器は、発熱コンピュータ構成要素を実質的に浸漬する充分な量の液体誘電性流体を含み、大気含有気体誘電性流体も含む。実施形態は、気体誘電性流体を冷却して液体誘電性流体に変換するための凝縮システムをさらに備える。開示の圧力管理システムは、開示の実施形態が真空下で動作することを可能とし、それにより、誘電性流体が気化するとともにコンピューティングシステムが動作する温度が低下する。開示の実施形態は、記載の温度管理システムの向上によってコンピュータ構成要素の高密度化及び／又はコンピュータの高性能化を可能とする。
【図面の簡単な説明】
【０００５】
【図１】図１は、例示の実施形態による圧力制御容器の模式図を示す。
【図２】図２は、例示の実施形態による圧力制御容器の模式図を示す。
【図３】図３は、圧力制御容器１１０の例示の実施形態の外観図を示す。
【図４】図４は、複数の圧力制御容器を含む上位構造物の例示の実施形態を図示する。
【図５】図５は、中央給電に接続された複数の圧力制御容器を示す例示のデータセンタの実施形態を図示する。
【図６】図６は、相互に直列接続された複数の圧力制御容器を示す例示のデータセンタの実施形態を図示する。
【図７−１】図７Ａは、内部ロボットアーム、エアロック及び外部ロボットアームを有する被冷却コンピューティングシステムの例示の実施形態を図示する。図７Ｂは、内部ロボットアーム、エアロック及び外部ロボットアームを有する被冷却コンピューティングシステムの例示の実施形態を図示する。
【図７−２】図７Ｃは、内部ロボットアーム、エアロック及び外部ロボットアームを有する被冷却コンピューティングシステムの例示の実施形態を図示する。図７Ｄは、内部ロボットアーム、エアロック及び外部ロボットアームを有する被冷却コンピューティングシステムの例示の実施形態を図示する。
【図８Ａ】図８Ａは、ラックシステムの例示の実施形態を示す。
【図８Ｂ】図８Ｂは、ラックシステムの例示の実施形態を示す。
【図８Ｃ】図８Ｃは、ラックシステムの例示の実施形態を示す。
【図９Ａ】図９Ａは、種々の構成要素を搭載するためのシャーシの例示の実施形態を示す。
【図９Ｂ】図９Ｂは、種々の構成要素を搭載するためのシャーシの例示の実施形態を示す。
【図９Ｃ】図９Ｃは、種々の構成要素を搭載するためのシャーシの例示の実施形態を示す。
【図９Ｄ】図９Ｄは、種々の構成要素を搭載するためのシャーシの例示の実施形態を示す。
【図９Ｅ】図９Ｅは、種々の構成要素を搭載するためのシャーシの例示の実施形態を示す。
【図９Ｆ】図９Ｆは、種々の構成要素を搭載するためのシャーシの例示の実施形態を示す。
【図９Ｇ】図９Ｇは、種々の構成要素を搭載するためのシャーシの例示の実施形態を示す。
【図１０Ａ】図１０Ａは、圧力制御容器の例示の実施形態を示す。
【図１０Ｂ】図１０Ｂは、圧力制御容器の例示の実施形態を示す。
【図１０Ｃ】図１０Ｃは、圧力制御容器の例示の実施形態を示す。
【図１０Ｄ】図１０Ｄは、圧力制御容器の例示の実施形態を示す。
【図１０Ｅ】図１０Ｅは、圧力制御容器の例示の実施形態を示す。
【図１０Ｆ】図１０Ｆは、圧力制御容器の例示の実施形態を示す。
【図１１】図１１は、圧力制御容器のための例示の冷却及び蒸気管理システムを示す。
【図１２Ａ】図１２Ａは、容器の他の実施形態を示す。
【図１２Ｂ】図１２Ｂは、容器の他の実施形態を示す。
【図１２Ｃ】図１２Ｃは、容器の他の実施形態を示す。
【図１２Ｄ】図１２Ｄは、容器の他の実施形態を示す。
【図１２Ｅ】図１２Ｅは、容器の他の実施形態を示す。
【図１３】図１３は、自己完結型容器の例を示す。
【図１４】図１４は、自己完結型容器のための外部ハウジングの例を示す。
【図１５Ａ】図１５Ａは、容器から突出することができるプラットフォームに位置する例示のマガジンを示す。
【図１５Ｂ】図１５Ｂは、容器から突出することができるプラットフォームに位置する例示のマガジンを示す。
【図１５Ｃ】図１５Ｃは、容器から突出することができるプラットフォームに位置する例示のマガジンを示す。
【図１５Ｄ】図１５Ｄは、容器から突出することができるプラットフォームに位置する例示のマガジンを示す。
【図１６】図１６は、例示の実施形態による蒸気回収システムを示す。
【図１７】図１７は、ラック電力分散システムの例示の実施形態を示す。
【発明を実施するための形態】
【０００６】
以下の説明では、ここに開示される本実施形態の完全な理解を与えるように、具体的な量、サイズ、配置、構成、構成要素などの特定の詳細を説明する。ただし、本開示はそのような具体的詳細なしに実施され得ることは当業者には明らかである。多くの場合において、そのような検討事項などに関する詳細は、そのような詳細が本開示の完全な理解を得るのに必要ではなく当業者の技術の範囲内であるために省略されている。
【０００７】
以下の幾つかの開示の実施形態の機器、構成要素、システム及びサブシステムは、商品名で記載される。本開示は、そのような構成要素が特定の商品名で開発及び／又は販売されているかにかかわらず多数の類似の構成要素で実施され得ること、並びに特定の商品名の構成要素に関連する特徴及び／又は発明特定事項は開示の発明を実施するのには必要ではないことは、当業者には明らかである。
【０００８】
誘電性流体
浸漬冷却の一態様は、熱的に伝導性であるが電気的には実質的に非伝導性又は実質的に誘電性の流体の使用である。そのような流体の例はＮｏｖｅｃ７１００を含む３Ｍ（商標）によって設計されたＮｏｖｅｃ（商標）シリーズの流体の一部を含むが、記載される発明は特定の誘電性流体に限定されない。浸漬流体によっては、通常は、被冷却コンピュータ構成要素を動作させることが望ましい沸点を有する。開示のシステムの全てのコンピュータ構成要素及び他の態様は、好ましくは、可溶性ではなく、そうでない場合でも誘電性流体との接触時に圧力制御容器内で絶縁破壊しない材料からなる。ある実施形態では、標準大気圧における誘電性流体の沸点は、約１００℃未満、約８０℃未満、約６０℃未満、約５０℃未満又はさらに低くてもよい。ある実施形態では、標準大気圧における誘電性流体の沸点は、約６０℃超、約４０℃超、約３０℃超又は約２０℃超であり得る。浸漬冷却流体の特定の実施形態は、概略として低い蒸気圧を有する。浸漬冷却流体のある実施形態は、フルオロカーボン及び／又はフッ素化ケトンである。誘電性流体の特定の実施形態は、（ＣＦ３）２ＣＦＣＦ２ＯＣＨ３、Ｃ４Ｆ９ＯＣＨ３若しくはＣＦ３ＣＦ２ＣＦ２ＣＦ２ＯＣＨ３の、又はそれに類似する化学式を有し得る。特定の誘電性流体は、ハイドロフルオロエーテル、メトキシ−ノナフルオロブタンを含む。
【０００９】
浸漬冷却流体の他の望ましい特性は、低毒性、不燃性及び／又は低表面張力を含む。ある実施形態では、浸漬冷却流体は、液浸冷却に利用される圧力及び温度において、コンピュータ構成要素並びに／又はコンピュータ構成要素に関連する接続、配線、ケーブル、封止及び／若しくは接着剤を実質的に害さない。ある誘電性流体は、約１．８〜約８の範囲の誘電率、及び１メートルあたり約１５メガボルト（ＭＶ／ｍ）の誘電強度を有する。ある実施形態では、少なくとも約５ＭＶ／ｍ、少なくとも約８ＭＶ／ｍ、少なくとも約１０ＭＶ／ｍ又は少なくとも約１２ＭＶ／ｍの誘電強度を有する。ある実施形態では、誘電性流体は、最大で約３ＭＶ／ｍ、最大で約５ＭＶ／ｍ又は最大で約８ＭＶ／ｍの誘電強度を有する。開示の実施形態では、コンピュータ構成要素１７０と接するいずれの液体も、特定のアプリケーションの間隔及び条件においてコンピュータ構成要素にダメージを与えないように充分に高い誘電強度を有する。
【００１０】
ある誘電性流体は、少なくとも約１０Ｗ／ｃｍ２、少なくとも約１５Ｗ／ｃｍ２、少なくとも約１８Ｗ／ｃｍ２又は少なくとも約２０Ｗ／ｃｍ２の臨界熱流束を有する。ある誘電性流体は、最大で約１５Ｗ／ｃｍ２、最大で約１０Ｗ／ｃｍ２、最大で約８Ｗ／ｃｍ２又は最大で約５Ｗ／ｃｍ２の臨界熱流束を有する。
【００１１】
図１は、例示の実施形態による被冷却コンピューティングシステム１１０の模式図を示す。開示の被冷却コンピューティングシステム１１０（又はコンピューティングシステム、システム、容器又は圧力制御容器であってその全ては互換可能に使用可能である）の実施形態は、構成要素を流体の槽に浸漬することによってコンピュータ構成要素１７０を冷却するのに液体誘電性流体１４０を利用し得る。電気が構成要素１７０を通過するにつれて、構成要素１７０は発熱する。構成要素１７０が昇温するにつれて、構成要素の性能は低下し、又は構成要素は故障点までダメージを受けることになる。種々のコンピューティング構成要素を安定した比較的低温に維持することが有利である。ある実施形態では、コンピュータ構成要素１７０は、約８０℃未満、約７０℃未満、約６５℃未満、約６０℃未満又は約５５℃未満に維持され得る。ある実施形態では、コンピュータ構成要素１７０は、約６０℃超、約５０℃超、約４０℃超、約３５℃超又は約３０℃超に維持され得る。コンピュータ構成要素１７０が昇温するにつれて、熱は構成要素１７０を囲む液体誘電性流体１４０に伝達される。液体誘電性流体がその沸点に達すると、それは液相から気相に遷移し、液体槽１４２から上昇することになる。誘電性流体の槽１４２における構成要素１７０は、使用されている特定の誘電性流体１４０の沸点付近に概ね維持され得る。
【００１２】
所与のアプリケーションについて採用される圧力における気化点まで液体誘電性流体が加熱されて気体となると、誘電性蒸気の気泡が液体槽１４２から上昇してシステム１１０の最上部まで上昇する。そして、蒸気は、凝縮器１３０を用いて凝縮点まで冷却される。システム１１０の構成に応じて、液相から蒸気相そして液相への誘電性流体の加熱及び冷却は、図２に示すような対流を生成し得る。
【００１３】
ある実施形態では、コンピュータ構成要素１７０は、システムの動作中に液体誘電性流体１４０内に完全に浸漬されることになる。言い換えると、コンピュータ構成要素１７０の上側部分が、誘電性液体１４０の水位以下となる。コンピュータ構成要素からの熱が誘電性流体を液相から気相に変化させ、誘電性流体の小さな気泡がコンピュータ構成要素に接することになることが分かるはずである。そのような構成要素は、それでも液相の誘電性流体内に完全に浸漬されたものとみなされる。ある実施形態では、コンピュータ構成要素１７０は、液相の誘電性流体１４０内に浸漬され得る。例示の一実施形態では、これに限られないが、マザーボード、チップ、サーバ、カード、ブレード、ＧＰＵ若しくはＣＰＵのいずれかの部分及び／又はいずれかの周辺構成要素を含む、コンピュータ構成要素のいずれかの部分が液相の誘電性流体１４０に直接接している場合、コンピュータ構成要素は浸漬されたものとみなされる。特定の実施形態では、コンピュータ構成要素１７０は、液相の誘電性流体１４０内に少なくとも部分的に浸漬され得る。コンピュータ構成要素１７０が浸漬されないが誘電性蒸気によって充分に冷却される場合、コンピュータ構成要素は少なくとも部分的に浸漬されたものとみなされる。
【００１４】
ある既存の浸漬冷却システムでは、流体が常に沸騰しているので、誘電性流体が誘電性流体の槽に常に追加されなければならない。誘電性流体を槽１４２に追加し損ねると、槽１４２における誘電性流体の高さは、構成要素が気体雰囲気に曝されて充分に冷却されなくなるまで下がることになる。これは、構成要素１７０の性能低下又はダメージをもたらし得る。
【００１５】
ある実施形態では、流体管理システムがその液体状態にある誘電性流体に関する状態で考慮され得る複数の動作モードがあり得る。これらのモードは、（１）誘電性流体が貯蔵システムから容器に伝達される処理である初期充填、（２）追加の流体が容器に追加され、又は過剰な流体が容器から除去される処理である連続平準化、（３）流体が容器から退避されて貯蔵システムに配置される処理である引抜き、及び（４）流体がフィルタシステムに連続的に循環されて何らかの微粒子の除去を確実にする処理である動作フィルタリングを含み得る。
【００１６】
ある実施形態では、最初の３個の液体管理上の課題、すなわち、初期充填、連続平準化及び引抜きが、全体として同じセットの配管、ポンプ及びバルブによって達成され得る。液体冷媒を貯蔵するための専用タンクが、新たな流体及び除去されてから蒸気管理処理中に再凝縮される過剰な流体の貯蔵のために使用され得る。パイプ及びポンプのセットは、充填及び平準化中に冷媒（又は誘電性流体）を貯蔵システムから容器に搬送し、引抜き動作中に容器から貯蔵システムに搬送し戻すのに使用され得る。
【００１７】
ある実施形態では、液体管理の課題のうちの４番目のもの、すなわち、動作フィルタリングが、一連のスキマー及び／又はフィルタによって達成され得る。第１段階は、容器の底部内に位置する大粒子フィルタであり得る。このフィルタの目的は、後段では大き過ぎて扱うことができない粒子がシステムの残余部に進入するのを防止することである。第２段階は、第１段階と第３段階の間に配管システムにインラインで位置する中微粒子フィルタであり得る。この第２段階の中微粒子フィルタは、第１段階のフィルタでは小さ過ぎて除去できないがそれでも第３段階のフィルタでは大き過ぎて扱うことができない微粒子を除去する小型のバレル型フィルタを用いることができる。第３段階のフィルタは、種々のフィルタ構成のための支持部付きの１以上の平行なフィルタからなり得る。ある実施形態では、特定の型のフィルタが、それが曝露された後に流体の分析を行い、容器環境内に位置するハードウェア部材のセットとともに動作することによって、専用化されることになる。ハードウェア及び／又は構成要素を異ならせることで、誘電性流体の長期寿命及び効率を保証するためにフィルタリングされることが必要となり得る異なるタイプの微粒子及び化学物質を生成し易くなる。
【００１８】
圧力管理
一般に、浸漬冷却流体は、塵、水及び／又は他の汚染がない状態に維持されなければならない。コンピュータ構成要素１７０は浸漬冷却流体１４０と直接接しているので、わずかな汚染物でもコンピュータ構成要素の短絡又はダメージをもたらし得る。さらに、誘電性流体を汚染し得る水又は水蒸気は、それが汚染されるにつれて、流体の、これに限定されないが、誘電強度を含む誘電特性を低下させ得る。誘電性流体の誘電強度が低下した場合、コンピュータ構成要素は短絡し、又はそうでない場合でも動作中にダメージを受け得る。汚染を減少させる１つの態様は、大気圧よりもわずかに高く又はそれ以上に高く維持されるエンクロージャにおいて浸漬冷却システムを動作させることである。
【００１９】
コンピュータ構成要素１７０が動作するにつれて、コンピュータ構成要素の初期使用からの発熱によって、幾らかの誘電性流体１４０は気化して気体となる。浸漬冷却システムが実質的に密閉のハウジング内に閉じ込められる場合、この気化は通常、ハウジング内の大気の圧力を増加させる。圧力軽減バルブ、膨張エンクロージャ及び／又は他の技術が、増加する圧力を制限し、及び／又は大気圧における若しくは大気圧よりもわずかに高いハウジング内の圧力を維持するのに使用され得る。エンクロージャにおけるわずかな正圧を維持することは、浸漬冷却コンピューティングシステムへの塵、水蒸気又は他の汚染物の浸入を低減するのに役立ち得る。
【００２０】
現在の実施形態は、密閉圧力制御容器１１０（又は被冷却コンピューティングシステム１１０）を利用し、コンピューティング構成要素１７０及び浸漬冷却機器、並びに関連する電源、ネットワーキング接続、配線接続などを圧力制御容器内に内包する。既存のモデルとは対照的に、圧力制御容器１１０は、少なくともわずかな真空に維持され、それにより、誘電性流体１４０の沸点を標準大気圧におけるその沸点未満の温度に低下させることができる。
【００２１】
コンピューティング及び浸漬冷却システムを真空下で動作させることによって、構成要素１７０は、誘電性流体１４０の低下した低圧沸点に維持され得る。これは、より多くの電気が種々の構成要素１７０を流れてより大きな構成要素性能をもたらすことを可能とする冷却の増強といった利点を有する。圧力制御容器１１０における圧力を制御することによって、誘電性流体１４０の沸点も制御され得ることより、同じ流体１４０がより広い範囲の条件で使用されることが可能となる。多くの実施形態が、より低い温度から利益を得るが、特定のコンピュータ構成要素１７０には理想的な範囲があり、その範囲未満の温度では性能が低下してしまう。圧力制御容器１１０における圧力を制御することによって、浸漬冷却流体１４０の沸点も制御され得る。特定の実施形態では、開示の圧力管理システムは、コンピューティングシステムが起動され、シャットダウンされると、又は他の変化条件に応じて、誘電性流体１４０の圧力及びそれにより沸点を動的に制御するのに使用されてもよい。
【００２２】
大気圧未満の圧力制御容器１１０で動作することによって誘電性流体１４０の沸点を低下させることに加えて、コンピュータ構成要素１７０自体が、より効率的に熱をそれ自体から及び誘電性流体１４０に伝達させるために変更されてもよい。液体誘電性流体１４０に曝露される構成要素１７０、例えば、チップの表面積を増加させることによって、構成要素１７０と誘電性流体１４０の槽１４２との間の伝熱が増加し得る。表面積を増加させるための例示の装置は、銅ボイラー又は銅ディスクであってもよく、それは他のコンピュータ構成要素１７０のチップに接着され得る。特定の実施形態では、使用される接着剤は、誘電性冷却流体におけるその伝熱能力及びその可溶性に基づいて選択されることになる。好適な接着剤は、選択された誘電性流体における高い熱伝導性及び低い可溶性を示す。
【００２３】
図１は、開示のコンピューティングシステムの例示の実施形態の模式図を示す。開示のシステムの実施形態は、圧力制御容器１１０（又は被冷却コンピューティングシステム１１０）、圧力コントローラ１５０、少なくともある体積の誘電性流体１４０及び凝縮構造物１３０を含む浸漬冷却システム、並びに所望のコンピュータ構成要素１７０を含む。圧力システムは、所望の程度の減圧を維持するように構成され得る。圧力制御容器１１０は、これに限定されないが、電力、データ、ネットワーキング、冷却水及び／又は通信システムを含む種々の接続のために、圧力制御容器１１０への複数の貫通部を可能としつつも負圧を維持するように構成され得る。ある実施形態は、気密及び／又は海洋グレードの接続を利用する。大気圧未満で圧力制御容器１１０内でコンピューティングシステムを動作させることは、全体としてシステムに対する一連の変更を必要とする。これらの変更が以下に記載され、一部は当業者には直ちに明らかなものである。
【００２４】
図３は、圧力制御容器１１０の例示の実施形態の外観を示す。ある実施形態では、開示の圧力制御容器１１０は、少なくとも高さ２フィート、少なくとも高さ３フート、少なくとも高さ４フィート又は少なくとも高さ５フィートである。ある実施形態では、圧力制御容器は、最大で高さ約３フィート、最大で高さ約４フィート又は最大で高さ約５フィートである。
【００２５】
特定の実施形態では、圧力制御容器は、少なくとも約１００立方フィート、少なくとも約１５０立方フィート、少なくとも約２００立方フィート、少なくとも約２５０立方フィート、少なくとも約３００立方フィート、少なくとも約３５０立方フィート又は少なくとも約４００立方フィートの内容積を有する。
【００２６】
ある実施形態では、圧力制御容器は、動作中に鉛直方向に約１２インチの流体誘電性流体及び鉛直方向に約３６インチの誘電性流体蒸気を含むように構成される。特定の実施形態では、気体体積対液体体積の比が、対流を生成し、蒸気を液体に戻す凝縮構造物に気体誘電性蒸気を方向付けるのに役立つ。ある実施形態では、圧力制御容器は、動作中に、気体誘電性流体の体積に対して約１：６の比の液体誘電性流体の体積を含むように構成される。他の実施形態では、圧力制御容器は、動作中に、気体誘電性流体の体積に対して約１：３、約１：５、約１：８、約１：１０又は約１：１５の比の液体誘電性流体の体積を含むように構成される。
【００２７】
例示の一実施形態では、圧力管理システムは、圧力コントローラ１５０を含み得る。圧力コントローラ１５０は真空源であればよく、例えば、圧力コントローラ１５０は圧力制御容器１１０に接続され得る真空ポンプであってもよい。ある実施形態では、真空ポンプ１５０は遠隔にあってもよく、真空が、配管を用いて圧力制御容器１１０に搬送され得る。好適な実施形態では、圧力センサ１８０が、圧力制御容器１１０内に含まれ、圧力制御容器１１０内の所望の負圧を調整及び／又は維持するのに使用される。ある実施形態では、圧力センサ１８０及び／又は圧力レギュレータ１９０が、圧力センサ１８０を用いて圧力制御容器１１０の圧力をモニタリングして圧力レギュレータ１９０を用いて圧力を調整するプロセッサに接続されてもよい。
【００２８】
ある実施形態は、オペレータ保護機構を備える。例示の一実施形態では、オペレータ保護機構は、圧力制御容器に対する蓋又はサービスパネルのいずれかが適所にない場合にシステムが動作することを防止するロック機構であり得る。例示の一実施形態では、オペレータ保護機構は、圧力制御容器のドア又はパネルの１つが不正に突破された場合に直ちにシステムの電源を遮断するコントローラを含んでいてもよい。人命安全構成を設けることに加えて、オペレータ保護機構は、機密データが容器内に収容される配備のための強化された動作セキュリティ構成を設けてもよい。システムへの電力が遮断されることなく通常動作中に機器がアクセス不可となることを保証することによって、ディスク保護機構の効率化において高いレベルの保証が達成され得る。またさらに、ある実施形態では、ディスク保護機構は、圧力制御容器上の保存データを保護するのにランタイム保存暗号化鍵を用いてもよい。
【００２９】
特定の実施形態では、圧力制御容器への安全でないアクセスを拒否することに加えて、システムが設計通りに動作していることを確認するためにセンサが配置されてもよい。主要なセンサパッケージは、蒸気空間における温度センサ、液体空間における温度センサ、蒸気空間における湿度センサ、及び／又は蒸気空間における圧力センサを含み得る。これらのセンサ読取り値は、システムが安全かつ正常な態様で動作していることを確認するためにソフトウェア及び／又は人間のオペレータによってモニタリングされてもよい。ある実施形態では、センサデータは、記録され、又は後に分析される。
【００３０】
ある実施形態では、追加のセンサが、容器又は（以下に規定される）上位構造物内に含まれてもよい。そのようなセンサは、例えば、周囲環境への誘電性流体の漏れを検知するように設計された、ＦＬＩＲによる熱画像カメラ、ＶＥＳＤＡ若しくは他の形態の吸引煙検知器及び／又は冷媒漏れ検知器を含み得る。
【００３１】
ある実施形態では、容器及び／又は上位構造物には、システムの動作状況に関するインジケータライトが装備されてもよい。
【００３２】
被冷却コンピューティングシステム１１０は圧力被制御システム１１０ともいわれることもあるが、当業者は、被冷却コンピューティングシステム１１０の、全てではないとしても多数の利点が「圧力被制御システム」を用いることなく実現可能であることを認識する。
【００３３】
蒸気管理システム
液浸冷却システムは、異なる態様で運転され得る。あるものは、連続的に浸漬流体を直接冷却することによって動作し得る。他のものは、液体をその最大液相温度に到達させてから沸騰させて蒸気相とすることによって動作し得る。液体を気化させることによって動作する浸漬冷却システムを二相浸漬冷却システムという。二相浸漬冷却システムは、誘電性流体を沸騰及び／又は気化させ、規則的に追加の流体を追加して大気に失われた流体を代替することが多い。
【００３４】
開示の実施形態は、圧力制御容器１１０内に含まれる液浸冷却システムを利用する。これは、気体の形態に変換された後であっても誘電性流体１４０を失うことがないという効果を有する。密閉又は実質的に密閉された圧力制御容器１１０では、気体誘電性流体は、凝縮されて、コンピューティング構成要素１７０を冷却するのに積極的に使用される液体誘電性流体１４０の槽１４２に追加されて戻されることになる。凝縮ステップは、例えば、処理水を熱伝導管に流通させることによって、任意の適宜の態様で実行され得る。凝縮構造物１３０は、放熱フィン及び／又は凝縮器の表面積を増加させる同様の機器を含んでいてもよく、それにより、気体誘電性流体のより大きな及び／又はより速い凝縮が可能となり、それは液体の形態に戻る。ある実施形態では、処理水は周囲温度であり、積極的には冷却されない。他の実施形態では、処理水は、気化冷却、乾燥冷却タワー及び／又は処理水を冷却する、本技術分野における他の公知の方法を用いて冷却され得る。
【００３５】
ある実施形態では、圧力制御容器と外部システムとの間に２つのインターフェースがあり得る。第１のインターフェースは、処理水供給インターフェースであり得る。これは、冷却された処理水を供給する設備から圧力制御容器上の分配マニフォールドに処理水を送達するパイプであり得る。第２のインターフェースは、処理水戻りインターフェースであり得る。これは、冷却された水を供給する設備に処理水を戻すパイプであり得る。処理水は、処理水が圧力制御容器及び関連の冷却構成要素を流通した後に設備に戻され得る。冷却構成要素は、例えば、容器内の凝縮器、凝縮コイル及び／又は放熱器、並びに例えばモータ、ポンプ及び／又はユーティリティキャビネットを含むいずれかの被給電構成要素の排気からの熱を遮断するコイルを含み得る。ある実施形態では、上位構造物と外部システムの間に２つのインターフェースがあってもよい。そのインターフェースは、圧力制御容器と外部システムの間の２つのインターフェースと同様又は実質的に同様であり得る。
【００３６】
ある実施形態では、圧力制御容器１１０内での凝縮構造物１３０の位置は、蒸気相誘電性流体の流れを最適化して凝縮の速度及び／又は効率を増加させるために構成され得る。ある実施形態では、圧力制御容器１１０自体の幾何学形状が、凝縮の速度及び／又は効率を増加させるために制御されてもよい。
【００３７】
図１〜３に示すように、例示の一実施形態では、圧力制御容器は、長さ約１０フィート、幅約４フィート、及び高さ約４フィートである。槽１４２は、約１３０ガロンのＮｏｖｅｃ（商標）誘電性流体１４０を用いて圧力制御容器１１０内に形成され得る。これは、圧力制御容器の底部の浸漬冷却タンクに液体誘電性流体の層を深さ約１２インチで残す一方で、圧力制御容器の体積の大部分は気体である。圧力制御容器の天井部は、縦長の構造物の中央部よりも低い。天井部及び／又は蓋１２０は、上向きに角度を有し、圧力制御容器１１０の側壁に近付くにつれて高くなる。凝縮構造物１３０は、圧力制御容器１１０の２面に縦長となる。この例示の実施形態の凝縮構造物１３０は、幅約１２インチ及び高さ約２４インチであり、圧力制御容器１１０の実質的に全長に延在する。凝縮構造物１３０は、流処理水を用いて冷却される大きな表面積のフィンを有する材料などの放熱器を含む。ある実施形態は、追加的又は代替的に熱交換器を備え得る。
【００３８】
図２に示すように、圧力制御容器１１０内の構造的配置は、誘電性流体蒸気が沸騰後に液体槽１４２から上昇するにつれて、誘電性流体蒸気の対流を方向付ける。構造的配置は対流を圧力制御容器の天井部に向けて方向付け、ここで、大きな表面積の凝縮構造物１３０に流れが方向付けられて液体の形態に再凝縮される。そして、誘電性流体１４０は、液体槽１４２に再流入する。この態様において、誘電性流体１４０の総量は、この密閉ハウジング内で保持され得る。誘電性流体蒸気を循環させる対流を用いることによって、誘電性液体を循環させるための機械的ポンプがなくても開示の実施形態は動作することができ、それにより、開示のシステムの総エネルギー使用量を低減することを可能とする。
【００３９】
特定の実施形態は、圧力制御容器が開放されなければならない場合及び／又は液体誘電性流体の高さの冗長でロバストな制御を可能とするために、システムの起動及び／又はシャットダウン中に使用され得る誘電性流体の追加のタンク及び／又は貯蔵容器を利用してもよい。
【００４０】
図１１は、圧力制御容器１１０のための例示の冷却及び蒸気管理システム６００を示す。この例示の実施形態では、冷却及び蒸気管理システム６００は、誘電性流体１４０の凝縮をもたらすように冷却コイル１３２を通る、冷却された処理水の貯蔵部６１１を含み得る。冷却コイル１３２を通過した後、処理水は処理水戻り貯蔵部６１２に進み得る。冷却及び蒸気管理システム６００はまた、蒸気貯蔵部用タンク６１４及び誘電性流体貯蔵部用タンク６１５を含み得る。タンク６１４及び６１５は、必要に応じて、例えば、システムの起動及び／又はシャットダウン中に、誘電性流体又は蒸気を供給することができる。例示の一実施形態では、タンク６１４及び６１５は、凝縮構造物６１６を介して結合されてもよい。タンク６１４に蒸気の余剰の供給がある場合には、凝縮構造物６１６は蒸気を除去してそれを誘電性流体として流体貯蔵タンク６１５に追加してもよい。
【００４１】
ある実施形態では、動作中に、圧力制御容器は、大気圧よりも約３ｐｓｉ低く維持され、それは誘電性流体の沸点を低下させ、それによりコンピュータチップ及び他の構成要素の動作温度を低下させるよう作用する。ある実施形態では、圧力制御容器１１０は、大気圧よりも少なくとも約２ｐｓｉ低く、少なくとも約４ｐｓｉ低く、少なくとも約６ｐｓｉ低く、少なくとも約８ｐｓｉ低く、又は大気圧よりも少なくとも約１０ｐｓｉ低く維持される。
【００４２】
ある実施形態では、圧力変動に対するある程度の許容度を有する構成要素を選択することが必要となる。システムの動作圧を調整することによって、冷媒の沸点の操作及びそのようにシステム全体の概ねの動作温度の操作を可能とするように広範囲の圧力に耐え得る構成要素を用いることが好適となる。二相システムの動作の性質を考慮すると、ある実施形態に対する標準動作条件は、±４ＰＳＩｇの間のばらつきとなる。システムの急速起動又はシャットダウン中などの特定の条件では、３つの追加のＰＳＩｇの差がもたらされ得る。ある実施形態では、それらの変数をより良好に制御し、それらをより制御及び規定された範囲内に維持するようにシステムレベル調整がなされ得る。
【００４３】
特定の実施形態では、コンピュータ構成要素１７０は、大気圧よりも少なくとも約３％低い圧力、大気圧よりも少なくとも約５％低い圧力、少なくとも約１０％低い圧力、少なくとも約１５％低い圧力、少なくとも約２０％低い圧力、少なくとも約２５％低い圧力、又は少なくとも約３０％低い圧力で動作される。
【００４４】
ある実施形態では、圧力制御容器は、動作中に、約７５０ｔｏｒｒ未満、約７１０ｔｏｒｒ未満、約６５０ｔｏｒｒ未満、約６００ｔｏｒｒ未満、約５５０ｔｏｒｒ未満、約５００ｔｏｒｒ未満、約４５０ｔｏｒｒ未満、約４００ｔｏｒｒ未満、又はそれ未満で維持される。ある実施形態では、圧力制御容器は、動作中に、約６５０ｔｏｒｒ超、約６００ｔｏｒｒ超、約５５０ｔｏｒｒ超、約５００ｔｏｒｒ超、約４５０ｔｏｒｒ超、約４００ｔｏｒｒ超又は約３００ｔｏｒｒ超に維持される。
【００４５】
ある実施形態は、圧力制御容器内の気体雰囲気を制御するために蒸気スクラビング処理及び／又は初期パージング処理を利用する。この処理は、圧力制御容器から気体雰囲気の一部分を除去し、空気及び水蒸気などの雰囲気の望ましくない部分を除去する。これら及び雰囲気の他の望ましくない部分は、蒸気が液体に凝縮する温度に基づいて分離され得る。誘電性流体の特殊化された性質及び沸点に起因して、多数の自然発生汚染物が、この方法を用いて除去され得る。直ちには凝縮可能でない流体を除去することは、誘電性流体の純度を維持するよう作用する。流体は、流体の凝縮点が標準大気圧における誘電性流体の凝縮点よりも約２０℃を超えて低い場合、又は流体の凝縮点が標準大気圧において１０℃未満である場合には直ちに凝縮可能ではないとみなされる。
【００４６】
メンテナンス、起動及び／又はシャットダウン動作中、圧力制御容器が開放され及び／又は大気条件に露出される際に失われる誘電性流体の量を減少させるために、窒素ガスなどの不活性ガスの層が圧力制御容器に導入されてもよい。図１１に示すように、冷却及び蒸気管理システム６００は不活性ガスタンク６１３を含んでいてもよく、それは不活性ガスを供給して誘電性流体の消失を減少させることができる。
【００４７】
開示のある実施形態は、実質的に自己完結型のサーバ及び／又はコンピューティングシステムを含み得る。ある実施形態では、特殊化された封止及び／又は接続が、圧力制御容器１１０への貫通部の総数を減少させるのに利用され得る。ある実施形態は、システムが真空下にある間に漏れの可能性を低減すべく圧力制御容器への貫通部を最小化するために、電力、水、真空及びネットワーキング接続をラインの束にまとめる。
【００４８】
図４は、複数の圧力制御容器を含む上位構造物の例示の実施形態を図示する。この例示の実施形態では、２つの圧力制御容器１１０が、モジュール式上位構造物２１０内に事前に配管、事前に配線及び収容される。これにより、実施形態が、事前作製され、実質的に完成して自己完結型システムとして配送されることが可能となる。モジュール式システムは、開示のコンピューティングシステムの他のモジュール式の実施形態に接続されるように構成されてもよい。ある実施形態では、モジュール式上位構造物２１０は単一の電力接続しか必要とせず、必要な電圧をコンピュータ構成要素及び／又は他の電子部品に供給する適宜の電子機器と事前に配線されることになる。
【００４９】
図５は、中央電源に接続された複数の圧力制御容器を示す例示のデータセンタの実施形態を図示する。図６は、相互に直列接続された複数の圧力制御容器を示す例示のデータセンタの実施形態を図示する。これらの例示の実施形態では、圧力制御容器１１０は、上位構造物内に配置されてもよいし、されなくてもよい。
【００５０】
図７Ａ〜Ｄは、内部ロボットアーム、エアロック及び外部ロボットアームを有する被冷却コンピューティングシステムの例示の実施形態を図示する。この例示の実施形態では、構成要素１７０を除去し、除去した構成要素をエアロック２２０に搬送するのに、圧力制御容器１１０内に含まれた内部ロボットアーム２３０が使用され得る。構成要素１７０は、エアロック２２０を用いて、圧力制御容器１１０内の圧力、雰囲気、誘電性流体及び／又は他の条件を実質的に阻害し又はそれに外乱を与えることなく、除去され得る。構成要素１７０が圧力制御容器１１０から除去されると、交換構成要素が、エアロック２２０を用いて圧力制御容器１１０内に導入され得る。そして、交換構成要素は、内部ロボットアーム２３０によって設置され得る。ブレードサーバ及びシャーシのような「スロットイン」の態様で設置され得る構成要素を使用することによって、この処理が大幅に容易化され得る。
【００５１】
圧力制御容器内の条件に対する外乱は、圧力制御容器内に配置されたセンサ、例えば、圧力センサによって検出され得る。その外乱は、その条件における動作条件の標準範囲外の少なくとも１０％の偏差によって示され得る。圧力制御容器内の条件に対する大きな外乱は、その条件における動作条件の標準範囲外の少なくとも３０％の偏差によって示され得る。
【００５２】
特定の実施形態では、圧力制御容器１１０内の構成要素の性能を分析する自己完結型診断プログラムが実行されてもよい。構成要素１７０が所望通りに動作していない場合、ロボットアーム２３０が用いられて自動的にその構成要素を除去及び／又は交換することになる。この態様において、自己治癒、自己完結型サーバ及び／又はコンピューティングシステムが形成され得る。特定の実施形態では、そのような自己治癒システムは、大幅に高効率なコンピューティング電力を供給する、従来的な方法を用いて遠隔の場所に出荷又は配送され得るモジュール式ユニットを形成するように事前作製及び事前配線され、それは限定的なセットアップ及び／又はメンテナンスしか必要としない。
【００５３】
ある実施形態では、蒸気を冷却してそれを気体状態から凝縮して液体状態に戻すという第１の蒸気管理の課題が、凝縮コイルの使用を通じて容器の閉システム内で完全に達成される。処理水は、容器内の凝縮コイルを介して配管される。容器自体の形状及び幾何学形状が槽領域からコイル領域への蒸気の流れを促進し、重力が、再凝縮された液体を引き抜いて槽領域に戻すように作用する。
【００５４】
ある実施形態では、容器の内圧をモニタリング及び維持するという第２の蒸気管理の課題が、容器内の統合圧力センサの使用及びパージシステムの使用を通じて達成される。ある実施形態では、パージシステムは、余剰な蒸気を容器から除去してそれを液体貯蔵タンクでの貯蔵のために凝縮して液体に戻すのに使用される。
【００５５】
ある実施形態では、システム起動中に存在する蒸気の非凝縮性成分を制御及び除去するという第３の蒸気管理の課題が、第２の課題と同じ機構を介して達成される。パージシステムは、その初期起動中にシステムを加圧下としてシステムからいずれかの非凝縮性の気体を除去するのに使用され得る。
【００５６】
ある実施形態では、不活性ガスの重層を制御するという第４の蒸気管理の課題が、専用窒素重層供給システムを用いて達成され得る。この重層は、冷媒を容器の最上部より下部に維持し、容器が開放されてその中の構成要素を修理する期間中の冷媒の消失の最小化を可能とする。容器内の専用重層パイプのセットを通じる窒素貯蔵タンクのセットからの専用配管は、オペレータがシステムを開放したい場合に不活性重層の付加を可能とする。このガスは、他の何らかの非凝縮性物質とともに、システム起動時に起こり得る非凝縮性物質の除去処理中に除去されてもよい。全体的な蒸気管理処理は、ユーザ命令及びシステム状態モニタリングに基づく制御システムソフトウェアを通じて管理及びモニタリングされ得る。
【００５７】
バラストブロック
図１に示すものなどの開示のシステムのある実施形態では、圧力制御容器１１０は、誘電性流体１４０の大部分を含むための深槽部１４２及び槽に隣接する広域棚領域１１２を含み得る。基板、カード、チップ、ブレード及び／又は他のいずれかのコンピュータ構成要素１７０は、圧力制御容器１１０の深槽部１４２内に実質的に含まれる。広域棚領域１１２も、液体誘電性流体１４０を含み、及び／又は蒸気相から液相に再凝縮される誘電性流体１４０を収集し得る。特定の実施形態では、圧力制御容器１１０における誘電性液体の深さは、バラストブロック１６０を利用して増加され得る。バラストブロック１６０は、棚上の不要な体積を占有するのに使用され、それにより、それがなければ棚１１２上に存在していた誘電性液体１４０を排除し、追加の誘電性液体１４０の追加を要さずに液体の水位を上昇させることができる。ある実施形態では、バラストブロック１６０は、流れがバラストブロック１６０によって阻害されることなく凝縮液体が圧力制御容器の深槽部に流入し続けることができるように流体がバラストブロック１６０の下を流れることを可能とするライザー脚１６１を含む。  
【００５８】
バラストブロック１６０は、開示の浸漬冷却システムの動作と干渉しないいずれかの材料からなり得る。バラストブロックは、これに限定されないが、金属、ゴム、シリコーン及び／又はポリマーを含む材料からなり得る。好適な材料は、誘電性流体に実質的に溶解可能でない。ブロックは、誘電性流体よりも高密度でなければならないが、固体である必要はない。好適な実施形態では、ブロックは、ブロックをより簡単にハンドリング及び操作することを可能とするハンドル又は切欠き部を有する。あるバラストブロック１６０の実施形態は、ブロックが固定的な態様で相互上に積載され得るように、インターロック型の上部及び底部を利用する。インターロック型の上部及び底部は、ブロックがスライドし又はその所望位置からずれる場合に、ブロックが付近の構成要素にダメージを与える危険を減少させる。ある実施形態では、最下ブロックが流体の流れを妨げずかつ大きな体積を占有するためにブロックを最下ブロックの上部に固定的に積載し、それにより、大量の追加の誘電性液体が追加されることを要することなく誘電性液体の水位が上昇することを可能とするように、インターロック型の上部は底部上に脚及び／又はライザーと整合する凹部を含む。
【００５９】
ある実施形態では、バラストブロック１６０は、圧力制御容器１１０及び／又は棚１１２の全長にわたるように構成される。他の実施形態では、バラストブロック１６０は、ブロックをハンドリング可能とする実質的に任意のサイズであり得る。そのような実施形態では、複数のモジュール式バラストブロックは、所望されるだけの大量又は少量の体積を排除するように構成され得る。ある実施形態では、１つのバラストブロックは、長さ約２フィート、長さ約３フィート、長さ約４フィート又はそれ以上、幅約６インチ、幅約８インチ、幅約１２インチ又はそれ以上、及び高さ約１インチ、高さ約３インチ、高さ約６インチ、高さ約８インチ又はそれ以上の外寸を有する。
【００６０】
上位構造物
開示のコンピューティングシステムは種々の構成要素からなり、その全ては、図４に示すように、物理的な上位構造物２１０に直接又は間接的に取り付けられ得る。上位構造物２１０は、いずれかの必要とされる電気的なセンサ、制御、電力、流体制御、圧力制御及び／又は通信システムの事前配線及び事前配管を可能とする。これは、より迅速で簡素な実地での配備及び顧客への配送前の工場での試験を可能とする。
【００６１】
上位構造物２１０は、標準的には金属構成要素から作製され、スキッド搭載され、又はフォークリフト、ホイスト若しくはクレーンでハンドリングされるように構成され得る。ある実施形態では、上位構造物２１０は、出荷を容易化するために、標準コンテナ内に合致するように構成される。上位構造物２１０及び関連の構成要素は、合計約５８０００ｌｂｓ未満の重量となるように構成され、特殊な機器を要することなく出荷を容易化するためにより小さな小構成要素に分けられてもよい。ある実施形態では、上位構造物２１０及び関連の構成要素は、約５００００ｌｂｓ未満、約４００００ｌｂｓ未満、約３００００ｌｂｓ未満又は約２００００ｌｂｓ未満の重量である。ある実施形態では、上位構造物２１０及び関連の構成要素は、約５０００ｌｂｓ超、約１００００ｌｂｓ超、約２００００ｌｂｓ超又は約３００００ｌｂｓ超の重量である。上位構造物２１０の実施形態は、任意のサイズ及び／又は形状であり得る。多くの実施形態は、複数の圧力制御容器１１０、サーバラック３１０及び関連の液浸冷却機器、並びに電力伝送及び分配並びにネットワーク接続を管理するために必要な機器を含むように充分に大きいものである。
【００６２】
上位構造物２１０の全体設計は、既存の設備のニーズに合うように、型式へのカスタマイズ並びに電力及び処理水の相互接続数を含む、各配備の固有の態様を適応させるように調整され得る。
【００６３】
開示の圧力制御容器内の構成要素の全てに対する制御及び管理システムが、開示のコンピューティングシステムの部分として含まれ得る。開示のシステムの好適な実施形態は、必要なポンプ、バルブ、レギュレータ、蒸気管理システム、圧力管理システム及び他の関連の構成要素を含む、二相液浸冷却環境を維持及び運用するのに必要な機械システムの全てを含む。
【００６４】
上位構造物２１０は、開放フレーム設計であってもよいし、側部パネル及びアクセスドアを含んでいてもよい。これにより、既存の構造物の内部又は実地場所の外部での配備が可能となる。上位構造物２１０は、耐候性構成を含むように変更されてもよく、過酷な環境における配備が可能となる。ある実施形態では、上位構造物は、スキッド／モジュールフレームワークであってもよい。
【００６５】
種々のシステム、構成及び／又は能力が、圧力制御容器の他の構成要素及び圧力制御容器内に含まれ又はそれに関連する、何らかの環境を支持、モニタリング及び管理するように上位構造物２１０に含まれてもよい。ある実施形態では、そのようなシステムは、他の多数のものの中でも、火災検知及び／若しくは抑制能力、専用空調及び／若しくは環境管理能力、入退出管理などのセキュリティ構成、並びに／又は監視構成を含み得る。
【００６６】
電力システム
ある上位構造物２１０の実施形態は、種々の電気入力の手段を受容し、それらを上位構造物内に構築された既存の配電システムに接続するように設計される。多数の例示の実施形態の１つは、主ブレーカへの４１５Ｖ入力を含み、それはその後にＡＣ４１５Ｖ入力をＤＣ１２Ｖ出力に変換する一連の電力棚に分配される。好適な実施形態では、この変換は実質的に１変換ステップで行われ、それにより、通常はそのような変換に伴って損なわれる効率が減少する。従来的なコンピュータサーバ位置は、標準的には、入来する工業用電力を４１５Ｖなどの高いＡＣ電圧から１２０Ｖなどの低減したＡＣ電圧に変換する。この変換は、エネルギーから熱への損失をもたらす。一般的な環境下では、これは約６％のエネルギー損失となり得る。そして、１２０Ｖの電圧は、種々のコンピュータ構成要素による使用のためにさらにＤＣ電流に変換されなければならない。この２回目の変換は、エネルギーから熱への２回目の約６％の損失となる。約４１５Ｖの工業用電圧を約ＤＣ１２Ｖに直接変換することによって、エネルギーから熱への総損失が低減可能となる。
【００６７】
他の例示の実施例は、ＡＣ４８０Ｖ入力をＤＣ４８Ｖ出力に変換する電力棚へのＡＣ４８０Ｖ入力の接続を含み、ＤＣ４８Ｖ出力はその後に、ＤＣ４８Ｖ入力を、例えば、１２Ｖ、５Ｖ、３．５Ｖ、３．３Ｖ及びその他を含む種々のＤＣ出力に変換する一連の中継電源に分配される。
【００６８】
ある実施例において、単一のセットの電源があってもよいし、異なる入出力電圧で動作する複数の電源があってもよい。正確な構成は、設置されている特定の機器のニーズに合うようにかつアプリケーションの条件に応じて調整される。電力システムの特定の設計は、開示のコンピューティングシステムが配備されている特定の環境のニーズに合うように調整され得る。カスタマイズは、システムに対する電力の入力及び出力の双方について、種類、容量及びインターフェースを含み得る。
【００６９】
ある実施形態では、ラック配電システムが、モジュール式電源システム及び／又はモジュール式電源システムのセットを備え得る。単数又は複数のモジュール式電力システムの具体的構成は、それが所望量及び種類の電力をラックに伝送することができる限り、特に重要ではない。そこで、モジュール式電力システムは、１本、２本又は更には多数の配電経路を提供するように、並列若しくは直列又はその組合せで構成され得る。ラックまでの具体的な経路は、直接であっても間接的であってもよく、関与する構成要素、電力量及び種類並びに／又は所望の構成に応じることが多い。所望であれば、ラックへの経路は、ラック内に位置するシャーシへの配電を伴い得る。分配される電力は、構成及び構成要素に応じて異なり得る１以上の所望の電圧で伝送され得る。場合によっては、望ましい電圧は、例えば、１２Ｖ、５Ｖ及び／又は３．５Ｖを含み得る。ある実施形態では、シャーシが採用される場合には、それは１以上のサブシステムを採用してもよい。そのようなサブシステムは、ラックに伝送される電力の所望の量及び種類と干渉しない任意の所望のサブシステムを含み得る。一例を挙げると、パワー・オン・パッケージのサブシステムが採用され得る。そのようなパッケージは、所望されるものに応じて、ＡＣ電流を受けてＤＣ電流に変換し及び／又はその逆を行うことができる。例えば、特に有用なパワー・オン・パッケージのサブシステムは、ＡＣ２０８、２４０、３８０、４００、４１５、４８０及び／又は６００ボルトで入力電力を受けてその電力をＤＣ電力、例えば、ＤＣ４８Ｖに直接変換するように設計され得る。
【００７０】
単数又は複数のモジュール式電源システムは、任意の適宜の態様で直接又は間接的に給電され得る。例えば、モジュール式電源システムは、シャーシ内の主配電システムを介して直接給電され得る。電力及び他の構成要素の種類及び量に応じて、シャーシは、一組のバネ付きピン又は他の適切なコネクタインターフェースなどのインターフェースを用いて配電経路とシャーシ自体との間の電気的連続性を確立してもよい。そして、連続性が、そのインターフェースコネクタと、シャーシ上に位置する所望のサーバ又は他のコンピューティング構成要素におけるいずれかの所望の電源入力インターフェースとの間に確立され得る。ある実施形態では、パワー・オン・パッケージモジュールが、シャーシ自体において直接に電圧を適切なレベルに変換するように各シャーシ内で利用されもよい。これは、種々の種類の配電について使用され得るが、例えば、４８Ｖの配電で特に有用となり得る。図１７は、ラック配電システム９５０の例示の実施形態を示す。この例示の実施形態では、ラック３１０は、ラック３１０のＡＣインターフェース３１１においてＡＣ入力９６０を受けることができる。配電システム９５０は、ＤＣ出力３２０を生成し、ＤＣ出力３２０を１以上のシャーシ４００に分配することができる。
【００７１】
ある実施形態では、信頼性の高い電力をラック内のコンピュータ構成要素に確実に供給することが、主な関心事項となる。その目的のため、ある実施形態は、特定の入力電圧を供給して必要な出力電圧をブレード及び／又は構成要素レベル電源に供給し得るブレードレベル電源又はコンピュータ構成要素レベル電源を用いる。ある実施形態は、冗長性を与えるために複数の電源を各ブレードに含む。
【００７２】
ある実施形態では、１以上のスイッチが、電力を必要とし得る。例示のスイッチは、バックプレーンに接続してラックレベルの通信を各ブレードに与える適宜のインターフェースを有する標準的データセンタのグレードのスイッチであり得る。ある実施形態は１つのみの電圧を分配し、これは電力レールとブレードの各々との間のインターフェースとなるコネクタを有する電力レール及びインターフェースシステムによって達成可能であり、電源入力レールに直接に、又は電源電力リードとラックレベル電圧分配システムとの間に位置する中継コネクタを介して、電圧を伝送する。
【００７３】
ある実施形態では、主電圧をラックの底部に沿って分配する１本以上の電力レールがあってもよい。このレールは、圧力制御容器の外部に位置することが多い１以上の主電力整流器から供給され、ケーブル又はバスバーシステムを介して各ラックに伝送される。このレベルにおいてより高い電圧、例えば、４８ボルトを使用することで、配電システムの必要とされる電流搬送容量が減少し、分配レールと負荷インターフェースとの間を効率的にインターフェースできる。
【００７４】
ある実施形態では、上位構造物プラットフォーム内に位置する２つの主配電システムがある。第１の主配電システムは一次機器電力システム（ＰＥＰＳ）であり、第２の主配電システムは二次機器電力システム（ＳＥＰＳ）である。ＰＥＰＳの目的は、電気的サービスを容器内の構成要素に提供することである。このシステムは、銅導電体又はバスバーシステムを介して入力を受け、それをシャーシ、コンピュータ構成要素及び／又は他の重要な負荷機器に動作可能電流を供給する役割を担う主電源に伝送する高電圧・大電流分配システムであり得る。電力は、規定点において上位構造物に入り、マスタサービス切断ブレーカに伝送される。電気的サービス及びシステムにおいて使用される全ての電力冗長構成要素は、この点の上流側にある。この入力は、例えば、ＡＣ４１５又は４８０ボルトなどの高い電圧となる。主機器負荷は、マスタ切断ブレーカの下流側のブレーカパネルから給電される電源又は整流器によって駆動される。
【００７５】
ＳＥＰＳの目的は、上位構造物内に位置するインフラサポートシステム及び構成要素の全てに電気的サービスを提供することである。二次機器インフラの部分として必要とされる構成要素はより低い入力電圧を想定し得るので、ＳＥＰＳは、ＰＥＰＳマスタサービス切断ブレーカの上流側に二次サービス切断を介して接続される降圧変換器によって給電され得る。
【００７６】
この配置は、主電力がシステム構成要素の残余のものに伝送されていなくても、ＳＥＰＳから給電される構成要素の全てを含む上位構造物サポート及びインフラシステムがオンされて動作することを可能とする。管理及び制御システム並びに蒸気制御システムの全ての態様がＰＥＰＳの動作とは独立して動作することができるようにしてもよい。
【００７７】
ある実施形態では、無停電電源装置（ＵＰＳ）が、配電システムの部分として又はそれに加えて含まれる。ＵＰＳを含むことによって、外部電源に対する一時的な中断の場合に開示のコンピューティングシステムの連続運転が可能となる。
【００７８】
開示の配電システムの構成要素は、これに限定されないが、例えば、無停電電源装置、ＤＣ電力システム、ＡＣ電力システム並びに／又は電力制御及びモニタリングシステムなどの市販の構成要素を含み得る。そのような構成要素は、これに限定されないが、例えば、Ｌｉｅｂｅｒｔ及び／又はＣｈｌｏｒｉｄｅＵＰＳ製品などのＶｅｒｔｉｖ製品、デュアル変換オンラインＵＰＳ、ラインインタラクティブＵＰＳ、スタンバイＵＰＳ、リチウムイオン電池ＵＰＳ及びこれらの組合せを含み得る。ＵＰＳ製品は、単相又は三相であり得る。他の例示の配電システム構成要素は、例えば、ＥｍｅｒｓｏｎＮｅｔｗｏｒｋＰｏｗｅｒ製品、ＮｅｔＳｕｒｅＤＣ電力システム、Ｖｅｒｔｉｖ、Ｌｉｅｂｅｒｔ、Ｃｈｌｏｒｉｄｅ及び／又はＮｅｔＳｕｒｅ配電ユニット、並びに例えばインバータ、整流器、転送スイッチ及びその組合せなどの関連構成要素を含み得る。そのような構成要素に関連する市販のモニタリングユニット、コントローラユニット及び／又はソフトウェアも、開示の特定の実施形態に含まれ得る。
【００７９】
圧力制御容器及び圧力管理システム
開示のシステムの実施形態は、二相液浸冷却システムを収容するように設計される圧力制御容器を含む。圧力制御容器１１０は、誘電性冷却流体１４０の槽１４２、気相誘電性流体を液体に凝縮する冷却コイル１３２を有する凝縮器１３０、並びにコンピュータ構成要素１７０を保持するとともに電力を電力システムから圧力制御容器１１０内の機器及び構成要素に分配するのに必要な物理的機構及び／又は機器を含む。
【００８０】
動作中、圧力制御容器１１０は、わずかな真空に維持され得る。負圧に維持される圧力制御容器１１０内でコンピューティングシステムを動作させるために多様な特化した接続及び検討がなされなければならないことが分かるはずである。
【００８１】
ある開示のシステムの実施形態は、パネル及びケーブルトレイを突破してファイバをラック３１０に分配することに加えて、一連の光ファイバメディア転送プロトコル（ＭＴＰ）インターフェースを用いて圧力制御容器１１０へのファイバの接続を可能とする。この配置は、圧力制御容器１１０への貫通部の総数を低減して容器における漏れの可能性を低減する。
【００８２】
圧力制御容器１１０のある実施形態は、安全動作を保証するセンサを含む。これらのセンサは、これに限定されないが、システムの動作を保証及び／又は自動化するために温度センサ、流体高さセンサ、圧力センサ１８０、気体部分圧センサ、位置センサ、電気センサ、マイクロフォン及び／又はカメラを含み得る。
【００８３】
例示の一実施形態では、温度センサは、これに限定されないが、圧力制御容器１１０内の気相の温度を測定するためのセンサ、圧力制御容器内の液相の温度を測定するためのセンサ、水及び／若しくは他の処理流体の温度を測定するためのセンサ、並びに／又はコンピュータ構成要素１７０を含む他の構成要素の温度を測定するためのセンサを含み得る。ある実施形態では、熱電対、サーミスタ及び／又はシリコーンセンサが、コンピュータ構成要素の温度を測定するのに利用され得る。ある実施形態では、システムは、構成要素自体によって提供される情報、及び装置提供のＡＰＩ又はＨＴＴＰＴ若しくはＳＮＭＰを介するＪＳＯＮなどの他のプログラムのインターフェースなどの一般に受け入れられている通信プロトコルの使用を介して取得又はモニタリングされる情報に依存して機器温度を決定してもよい。
【００８４】
ある実施形態は、ユーザの安全を保証する種々の人命安全構成を含んでいてもよい。これらの構成は、これに限定されないが、自動電磁ロック機構、フェールセーフシステム、火災及び／若しくは煙の検知器及び／若しくは抑制システム、換気システム並びに／又はバックアップ照明を含み得る。特定の実施形態では、これらの構成は、包括的プラットフォームの部分として含まれ得る。
【００８５】
特定の実施形態は、圧力制御容器におけるいずれの流体の消失も迅速に検出されることを保証する自動蒸気検知系漏れ検知システムを含む。これらのシステムは、実質的な漏れがないことを確認するために圧力をモニタリングする、圧力制御容器１１０内の圧力センサ１８０、及び／又は圧力制御容器から漏れた可能性のあるいずれかの誘電性蒸気の存在を検出する、圧力制御容器の外部に位置するガスセンサを含み得る。
【００８６】
開示のシステムの実施形態の特定の設計、配置及び／又はレイアウトは、それが配備される条件に基づいて調整され得る。ある実施形態では、サイズ、材料、内部システム、構成要素実装及び構成の選択肢、圧力制御容器１１０、コンピュータ構成要素１７０及び電力システムの間のインターフェースは全て、システムが利用される条件に基づいて調整され得る。
【００８７】
ラックシステム
図８Ａ〜Ｃは、ラックシステム３１０（又はラック３１０）の例示の実施形態を示す。ラック３１０は、圧力制御容器１１０内に設置された電気及び通信システムとラック３１０内に設置されるコンピューティング機器１７０との間の中継物として作用し得る。コンピュータ構成要素１７０は、圧力制御容器１１０におけるコンピュータ構成要素１７０の間隔、向き、位置及び／又は構成を制御するためにラック３１０に搭載され得る。例示の一実施形態では、各コンピュータ構成要素１７０は、圧力制御容器１１０に搭載される前にシャーシ４００に設置され得る。
【００８８】
ラック３１０は、これに限定されないが、フレーム、ブラケット、サポート又は他の構造物を含む、コンピュータ構成要素１７０を搭載するのに使用され得る任意の物理的構造物であり得る。コンピュータ構成要素１７０は、それらが直接又は間接的にラック３１０に取り付けられるとともに実質的に固定の位置に保持される場合にラック３１０に搭載されたとみなされる。ある実施形態は、搭載機構としての専用機械ガイドプレート、バルクヘッドフィッティングに取り付けられる配線ハーネス、並びに／又は電力及び信号をラック内に分配する中継電源及びバックプレーン受信機３３１の使用を含み得る。
【００８９】
ラックシステム３１０の特定の設計は、システムが配備される条件に基づいて調整され得る。あるラック３１０の実施形態は、専用スイッチを含み得る。ある実施形態では、アップリンクインターフェースがファイバインフラを介して接続され、及び／又はダウンリンクアクセスインターフェースが、バックプレーン受信機３３１インターフェース若しくはコンピューティング機器を接続する他の任意の適切な態様を介してラック内のコンピューティング機器１７０に接続され得る。
【００９０】
特定の実施形態では、ラックシステム３１０は、適切な電圧を電力インターフェースからラック３１０内に設置された他の機器に分配し得る１以上の中継電源のためのハウジングを含み得る。分配システムから中継電源に電力を相互接続するインターフェースは、種々のラック、電力及び通信システムの間のインターフェースを切断することによって、それが除去され及び／又は代替のラック構成に交換されることを可能とするようにラック３１０の設計に含まれてもよい。
【００９１】
図８Ａは、ラック３１０の上面図を示す。この例示の実施形態では、ラック３１０は、ＡＣインターフェース３１１及びデータインターフェース３１２を含む。ラック３１０は、一対の電源である電源３１３及び冗長電源３１４（又はバックアップ電源）も含む。ラック３１０は、整流器及びコントローラも含み得る。冗長電源３１４（並びに／又は整流器及びコントローラ）は、ラック３１０が迅速に修理されること又はさらには主電源が機能を停止しても機能を継続することを可能とする）。ラック３１０は、コンバータ３１５を選択的に含み得る。ラック３１０は、複数のシャーシ４００を受け、シャーシ４００を実質的に固定の位置に保持するように構成される。
【００９２】
ある実施形態では、ラック３１０の全体が、誘電性流体に浸漬され得る。これは、動作中の誘電性液体における整流器、電力接続部及び／又はデータ接続部を浸漬することを含み得る。誘電性流体のプラスチック汚染を低減及び／又は排除するために、ある実施形態では、プラスチック絶縁物及び／又はケーブル被覆は排除され得る。そのような実施形態では、誘電性流体は、そうでなければ露出していたことになるケーブル及び／又は接続部を絶縁するように作用し得る。
【００９３】
図８Ｂは、複数のシャーシ４００を含むラック３１０の斜視図を示す。ラックの開示の構成は、シャーシ４００のホットスワップ性を促進する。この例示の実施形態では、ラック３１０は、ＡＣインターフェース３１１を電源３１３及び／又は冗長電源３１４に接続する複数のＡＣケーブル３１８を含み得る。電源３１３及び／又は冗長電源３１４は、バックプレーン受信機３３１にＤＣケーブル３２１を介して伝送可能なＤＣ出力３２０を生成することができる。ラック３１０は、データインターフェース３１２をバックプレーン受信機３３１に接続する複数のデータケーブル３１９も含み得る。バックプレーン受信機３３１は、シャーシ４００の底部上のデータ接続部からラックの上部のデータ接続部にデータを供給するのに使用され得る。
【００９４】
図８Ｃは、ラック３１０の側面図を示す。ある実施形態では、ラック３１０は、シャーシ４００及びその構成要素の機械安定性及び／又はハウジングを与える。さらに、ラック３１０は、電力ケーブル及びデータケーブルの、それらのケーブルが容器内で一般にアクセス可能であるラック３１０の上部から、それらのケーブルがシャーシ４００と接続するラック３１０の底部までの、引回しを容易化する。
【００９５】
シャーシ及びインターフェースシステム
例示の一実施形態では、開示のシャーシシステム４００の目的は、従来的な及び／又は専用のコンピューティング構成要素１７０と開示のラックシステム３１０との間の標準化された物理的中継構成要素として作用することである。例示の一実施形態では、バックプレーン受信機３３１の目的は、シャーシ４００とラック３１０の間のスロットイン型インターフェースを与えて、シャーシ４００内に設置される種々のコンピューティング構成要素１７０を有する、電力システムにおける電源と通信システムにおけるネットワークスイッチとの間の電力及び信号の分配を可能とすることである。
【００９６】
ある実施形態では、本開示の圧力制御容器は、１以上のサーバ、例えば、ブレードサーバを含み得る少なくとも１つのラック３１０を含み得る。各サーバは、シャーシ４００（サーバケース又はケースともいう）に取付け可能である。図９Ａ〜Ｇは、種々の構成要素１７０を搭載するためのシャーシ４００の例示の実施形態を示す。シャーシは、圧力制御容器のラック上へのサーバの設置又はシステムからのそれらの除去を容易化し得る。ある実施形態では、圧力制御容器の他の電子部品は、シャーシに搭載可能である。例えば、マザーボード、チップ、カード、ＧＰＵ又はＣＰＵのいずれかの部分などのコンピュータ構成要素又はハードウェアが、シャーシに設置可能である。他の例として、電源、電力インターフェース又はネットワーク通信インターフェースなどの構成要素がシャーシに搭載可能である。
【００９７】
例示の一実施形態では、シャーシは、構成要素（例えば、サーバ）と圧力制御容器との間の共通のインターフェースとして作用することができる。シャーシは、構成要素の性質又は設計に基づいてカスタマイズ可能な多様な搭載、電力及び接続構成を与えることができる。言い換えると、シャーシの種々の態様が、構成要素の設計仕様に基づいて変更され得る。このように、シャーシは、ほとんどいずれのモデル又は種類のハードウェアも収容することができる。例えば、シャーシは、具体的に設計されたハードウェア又は既製のハードウェアの使用を促進することができる。
【００９８】
シャーシ４００の実施形態は、既存の市販構成要素の適合、カスタム設計の構成要素の使用、及び／又は特定のアプリケーションのために特化されたシャーシの使用を可能とするように設計された構成要素を含み得る。実施形態は、標準マザーボード及び特殊構成要素のための適合キットを含み得る。特定の実施形態では、そのような構成要素は、ＮＶｉｄｉａのＧＰＵを有するギガバイトマザーボード及び／又はＩｎｔｅｌのＣＰＵを有する超小型マザーボードを含む。
【００９９】
図９Ａは、例示の実施形態によるラック上にサーバを搭載するためのシャーシ４００を示す。この例示の実施形態では、シャーシ４００は、背面壁４１０及び２枚の側壁４２０を含む矩形のボックスであり得る。背面壁４１０は、シャーシ４００内の流体の循環を促進する複数の孔４１１を含み得る。シャーシ４００は、各側壁４２０上にガイドレール４２１を含み得る。
【０１００】
図９Ｂは、例示の実施形態によるシャーシ４００の内部の複数の構成要素を示す。この例示の実施形態では、背面壁４１０は除去されている。このように、図９Ｂは、電源モジュール４３１、ＧＰＵモジュール４３２、ＣＰＵモジュール４３３及びインターフェースカード４３４を含むサーバ４３０を示す。例示の一実施形態では、シャーシ４００内部の構成要素は、ブレードサーバにおいて使用される構成要素、例えば、ＣＰＵモジュール４３３及びＧＰＵモジュール４３２を備え得る。さらに、シャーシ４００内部の構成要素は、サーバに従来的には含まれていない他の構成要素、例えば、電源モジュール４３１又はインターフェースカード４３４を含んでいてもよい。シャーシ４００は従来的な空冷機器を必要としないので、シャーシ４００はシャーシ内にファンもヒートシンクも含まない。このように、シャーシは、シャーシのコンピューティング電力に対して非常に薄型のプロファイルを有する。
【０１０１】
図９Ｃは、シャーシ内の構成要素の模式図を示す。この例示の実施形態では、サーバマザーボード４４５、複数の電源モジュール４３１及びインターフェースカード４３４が、シャーシ４００に搭載される。記憶装置及び／又は他の周辺機器構成要素も、バックプレーンインターフェース３３０並びに／又は電力モジュール及び通信システムモジュールとともにシャーシ４００に搭載され得る。
【０１０２】
一例では、搭載インターフェースは、１つのハードウェアがシャーシに固定されるようにシャーシに付加され又はシャーシから除去可能である。シャーシ４００の内表面上には、構成要素（例えば、マザーボード、ＧＰＵ、ＣＰＵ、インターフェースカード及び他の関連構成要素）がシャーシに搭載されることを可能とする対策がなされ得る。これらの対策は、搭載インターフェースである。シャーシシステム４００の具体的配置は、シャーシ４００及び／又はラックに取り付けられる機器及び／又は構成要素に応じることになる。あるシャーシ４００の実施形態は、機器の取付けのために使用可能な互換可能な搭載プレートを特徴とし得る。標準取付けプレートのセットが、共通の又は頻繁に使用される構成要素に対して使用されてもよい。
【０１０３】
シャーシシステム４００内の電力及びネットワークインターフェースモジュールのスタイル及び形態の要素は、特定の構成要素及び／又はユーザ指定機器の要求及び要件に基づいて調整され得る。一例では、シャーシの電力サブシステムは、特定の構成要素のニーズに対応するように変更可能である。他の例では、シャーシのサイズは、任意のサイズの１つのハードウェアを収容するように設計可能である。さらに他の例では、シャーシは、シャーシに設置されたネットワーク接続カードに応じて異なるネットワーキングの選択肢を与えることができる。シャーシのこれらの構成及び他の構成のために、シャーシは多様な構成要素を収容することができる。結果として、圧力制御容器のこれらの構成要素の組立て及び除去が簡素化可能となり、したがって自動化可能となる。例えば、シャーシはブレードサーバを含んでいてもよく、ロボットは圧力制御容器のラックに対してシャーシを容易に設置又は除去することができる。このように、ロボットは、人間の介在なしにブレードサーバを除去及び交換することができ、それにより誘電性流体への人間の曝露を最小化することができる。
【０１０４】
例示の一実施形態では、シャーシは、圧力制御容器の管理システムと通信可能なマイクロコントローラを含み得る。マイクロコントローラは、シャーシ内又は外部に配置された種々のセンサからセンサデータを受信することができる。例えば、シャーシは、シャーシがラック内に適切に配置されたかを検出するためのセンサを含み得る。サーバは、サーバがラックとの接続を行うことができる場合にはラック内に適宜配置される。センサは、シャーシがラック内に適切に配置されているか否かを判定することができる。このように、センサは、データをマイクロコントローラに送信することができ、そのデータを用いて、マイクロコントローラはシャーシがラック内に適切に配置されているか否かを示す信号を管理システムに供給することができる。
【０１０５】
一実施形態では、マイクロコントローラは、シャーシ内に搭載された構成要素に対して電源オン又はオフをすることができるスイッチに結合され得る。マイクロコントローラは、管理システムから電源オン又はオフ信号を受信することができ、その信号の受信に応じて、マイクロコントローラは構成要素、例えば、サーバを電源オン又はオフするスイッチに信号を送信することができる。例示の一実施形態では、マイクロコントローラは動作可能データをサーバから受信することができ、マイクロコントローラはこのデータを管理システムに中継することができる。動作可能データは、サーバの重要な性能のインジケータであり、その性能を示すことができる。動作可能データは、計算動作の速度、計算動作の低下、消費電力、回路の温度及びシステムの帯域幅を含み得る。
【０１０６】
例示の一実施形態では、マイクロコントローラは、ブレードサーバの電気及び通信設備をモニタリング、管理及び制御することができる。例えば、電流（すなわち、アンペア）及び電圧などの表示が、システムがそれ自体を保護可能なこと、例えば、過電流又は電流不足の対策がないことを確認するようにモニタリングされる。
【０１０７】
例示の一実施形態では、シャーシは、ロボットがシャーシを把持し、除去することを可能とすることができる構造物を含んでいてもよい。例えば、シャーシは、前面壁、背面壁及び側壁を有する矩形のボックスの形状であり得る。シャーシは、上壁及び底壁も含んでいてもよい。シャーシの上壁は、ロボットアームとの結合を行うことができるプレートを含み得る。このプレートを用いて、ロボットアームは、荷下ろし及び他のハンドリング操作のためにプレートを把持することができる。
【０１０８】
例示の一実施形態では、シャーシは、ラックにおけるシャーシの適切な配列及び挿入を確実にする機械的ガイドレール及び位置決めピンを含んでいてもよい。機械的ガイドレールは、シャーシの側壁に配置され得る。
【０１０９】
例示の一実施形態では、シャーシは、流体の流れを促進する種々の構成を含んでいてもよい。例えば、シャーシは、前面壁、背面壁及び側壁を有する矩形のボックスの形状であり得る。シャーシは、上壁及び底壁も含んでいてもよい。この例では、シャーシの壁の少なくとも１つは、壁全体にわたって流体フロー孔を含んでいてもよい。例えば、背面壁は、シャーシが液体槽に浸漬される場合にシャーシへの及びシャーシからの流体の流れを促進可能な複数の孔を含んでいてもよい。
【０１１０】
例示の一実施形態では、シャーシは、シャーシが液体槽から除去される場合にシャーシ内の全ての流体が排出することを確実にする開口を含んでいてもよい。例えば、ラックは、ラックによって保持されるコンピュータ構成要素を冷却する液体槽に位置し得る。サーバを除去するために、ロボットがシャーシのプレートを把持し、ラックからシャーシを持ち上げる（それにより、シャーシが液体槽から除去される）ことができる。シャーシが液体槽から除去されると、特定量の流体は、シャーシ内に残り得る。シャーシは、圧力制御容器が完全に水平とされていない場合でも流体が確実に退避できるようにシャーシの底壁にノッチ又はドレーン（drain）を含んでいてもよい。ノッチ又はドレーンは、底壁の角部に存在し得る。
【０１１１】
例示の一実施形態では、シャーシは、電力インターフェース及び／又は通信インターフェースを含んでいてもよい。インターフェースは、シャーシ内に搭載された構成要素をラック及び／又は圧力制御容器に電気的に結合することができる。電力インターフェース及び／又は通信インターフェースは、バックプレーンに配置され得る。例えば、シャーシ内に搭載されたサーバが、シャーシのインターフェースに種々の配線及びケーブルを介して接続され得る。シャーシがラック内に配置されると、インターフェースは、ラック（すなわち、バックプレーン受信機）及び／又は圧力制御容器に接続された他のインターフェースに電気的に結合可能となる。この２つのインターフェース（すなわち、バックプレーンとバックプレーン受信機）の間の電気的結合によって、サーバに電力を供給し、サーバを圧力制御容器内部又は外部の通信ネットワークに接続することができる。この２つのインターフェースの間の結合は、ラックへのシャーシの機械的挿入中に自動的に行われ得る。同様に、ラックからのシャーシの除去によって、ラック及び／又は圧力制御容器をサーバから切り離すことができる。  
【０１１２】
ある実施形態では、バックプレーンインターフェース３３０及び通信システムインターフェースを介した標準化された相互接続性を提供することによって、データインターフェースの誤接続の可能性を最小化し、接続のトラブルシューティングの必要性を減少させることができる。
【０１１３】
特定の実施形態では、シャーシ４００は、標準的電力及びネットワークインターフェースのセットを含む。ネットワークインターフェースは、機器のマザーボードにおける１Ｇ又は１０Ｇイーサネットインターフェースへの接続のためのＣａｔ６Ａ又はＣａｔ７互換のＲＪ４５インターフェースの形式であり得る。そのような実施形態では、電力インターフェースは、標準マザーボード及び／又は周辺機器構成要素の接続のための標準Ｍｏｌｅｘスタイルのコネクタのセットを含み得る。
【０１１４】
例示の一実施形態では、圧力制御容器は、システム内に設置された構成要素についての情報を記憶する内部データベースを含んでいてもよい。内部データベースは、圧力制御容器に設置された構成要素のリポジトリであり得る。例えば、内部データベースは、システム内に設置された各サーバ及び電源の構成及びモデルを記憶することができる。システムの構成要素は、例えば、ロボットによって交換又は置換されるので、管理システムは内部データベースに記憶された情報の変更及び更新を追跡することができる。圧力制御容器は、ネットワークを介して外部データベースに接続されることもできる。
【０１１５】
例示の一実施形態では、各シャーシは、例えば、シャーシ上のバーコードとして表示された固有のシリアルナンバーに対応付けられてもよい。構成要素がシャーシ内に配置される場合、構成要素の仕様（又は構成要素の構成及びモデル）が固有のシリアルナンバーと関連付けて外部データベースに記憶され得る。その後、シャーシが圧力制御容器に設置されると、圧力制御容器は外部データベースにおいて固有のシリアルナンバーを検索することによって構成要素を参照することができる。例えば、ロボットアームは、シャーシ上のバーコードをスキャンすることができ、管理システムはバーコードを用いて外部データベースにおいて検索することができる。管理システムは、外部データベースから取得される情報を用いて内部データベースを更新することができる。同様に、シャーシが圧力制御容器から除去されると、ロボットアームはシャーシに関連付けられたバーコードをスキャンすることができ、管理システムは、シャーシに搭載された構成要素がもはやシステムに設置されていないことを示すように内部データベースを更新することができる。
【０１１６】
例示の一実施形態では、シャーシは、ＲＦＩＤタグを含み得る。圧力制御容器のロボットアームは、無線周波を放射してＲＦＩＤタグを検出可能なスキャナを含み得る。ロボットアームがシャーシをハンドリングしている時に、ロボットアームはＲＦＩＤタグをスキャンし、固有のシリアルナンバーを管理システムに提供して内部データベースを更新することができる。
【０１１７】
例示の一実施形態では、シャーシは、ユーザ特有資産識別番号を含み得る識別プレートを含み得る。この資産識別番号は、シャーシ内に搭載される構成要素と関連付けて記憶され得る。ある実施形態では、識別プレートは、資産識別番号を記憶するように構成されたチップであり得る。
【０１１８】
例示の一実施形態では、シャーシは、シャーシ内の流体の流れを強化するポンプを含み得る。シャーシ内の構成要素と液体槽との間の熱交換を最大化するために、シャーシは、流体をシャーシ内及び構成要素周辺に循環可能なポンプを含み得る。ポンプは、シャーシ周辺に拡げられた種々のコンジットから流体を引き出して流体をシャーシの外部に押し出すこと又はその逆を行うことができる。
【０１１９】
例示の一実施形態では、シャーシは、シャーシ及びそこに搭載される構成要素を乾燥させるためにシャーシ周辺に種々のコンジットを含み得る。シャーシが液体槽から引き抜かれると、所定量の液体がシャーシ又はその中の構成要素内に残り得る。シャーシは、シャーシ内又は構成要素周辺の気体の流れを誘導してシャーシ及び構成要素の乾燥を促進することができる種々のコンジットを含み得る。例示の一実施形態では、圧力制御容器は、シャーシをユーザに配送する前にシャーシをガスの流れに曝露させることができる。例えば、シャーシはガスの流れを受信するための入力パイプを含んでいてもよく、圧力制御容器は入力パイプを通じてガスの流れを供給することができる。
【０１２０】
図９Ｄは、例示の実施形態によるシャーシ４００の底壁４１５を示す。この例示の実施形態では、底壁４１５は、電力インターフェース４１６及び通信インターフェース４１７を含み得る。図９Ｄは、シャーシ４００の側壁４２０上のガイドレール４２１も示す。
【０１２１】
図９Ｅは、例示の実施形態によるシャーシ４００の上壁４２５を示す。この例示の実施形態では、上壁４２５は、プレート４２６及び一対のハンドル４２７を含み得る。ロボットアームは、プレート４２６を用いてシャーシ４００を取り出すことができる。
【０１２２】
図９Ｆは、例示の実施形態によるシャーシ４００の側壁４２０を示す。この例示の実施形態では、側壁４２０は、ガイドレール４２１を含み得る。図９Ｆはまた、背面壁４１０、ハンドル４２７及び電力インターフェース４１６を示す。
【０１２３】
図９Ｇは、例示の実施形態によるシャーシ４００の底部ドレーン孔４５０の分解図を示す。この例示の実施形態では、底部ドレーン孔４５０は、底壁４１５、側壁４２０及び背面壁４１０の角部に配置可能である。
【０１２４】
図１０Ａ〜Ｆは、圧力制御容器５００の例示の実施形態を示す。特に、図１０Ａは、容器５００、例えば、６００ＫＷスキッドの例示の実施形態を示す。例示の実施形態は、モジュール式スキッドを含む。容器５００は、所望位置への容器５００の移動及び移送を促進する複数のフォークリフトチューブ５１４を含み得る。容器５００は、電力及び通信入力５１１及び処理水パイプ５１２からの処理水を、容器自体を通る最小の貫通部で受けることができる。これらの接続部は、データセンタにおけるモジュール式容器の密閉梱包を促進するために容器の上部に配置され得る。ある実施形態では、接続は、データセンタ内の複数のモジュール式容器の鉛直方向の積載物を収容するために容器の前面及び／又は側部に配置されてもよい。ある実施形態では、容器は、容器が相互の上部に鉛直に積載されることを容易化する鉛直方向のスペーサを備えていてもよい。鉛直方向の空間は、容器間の接続、気流及び／又は絶縁のための更なる空間を形成し得る。容器を鉛直に積載することにより、非常に高い電力密度が平方フィート単位で達成され得る。ある実施形態では、容器５００は、入力５１１を受信し、電力及びネットワーク接続を容器５００にわたって分配するように構成された電力及び通信ボックスを含み得る。容器５１５は、容器５００への構成要素の追加及び／又は容器５００からの構成要素の除去を促進し得る封止蓋５１５を含み得る。
【０１２５】
図１０Ｂは、容器５００の他の図を示す。ある実施形態では、容器を開放することなく容器内のロボットシステムを用いて構成要素が交換され得るように、交換構成要素の在庫が容器５００内に格納されてもよい。ロボットシステムは、ガントリーモータ５１６を用いて操作され得る。そのような実施形態では、構成要素が破損し又は修理を要する場合、交換構成要素がシステムに設置され、破損し又は破損していなくても除去される構成要素が、カセットがフルとなるまでカセットに格納され得る。その時点において、除去された構成要素を含むカセットが容器から除去され、新たな交換構成要素を有する新たなカセットが将来の使用のために容器に挿入され得る。ある実施形態では、開示の容器は、長さ約１５フィート、幅約７フィート及び高さ約１０フィートである。ある実施形態では、開示のシステムは、約１５０平方フィートにおいて達成されるべき６００ＫＷのコンピューティング電力を供給する。
【０１２６】
ある実施形態では、容器５００は、１以上のベローズタンク５１７も含み得る。ベローズタンク５１７は、容器内の圧力を調整するのに使用され得る。開示のコンピューティング及び／又は冷却システムが最初に作動されると、膨張した誘電性流体が、それが環境に消失しないように及び／又は容器内での増圧を回避するように、ベローズタンクに方向付けられてもよい。ある実施形態では、ベローズタンク５１７は、約２倍の液体誘電性流体を容器内に保持できるほど大きなものであってもよい。
【０１２７】
図１０Ｃは、容器５００の断面図を示す。容器５００の下部は、コンピューティング構成要素を含むラック３１０及び／又はシャーシ４００を含み得る。いずれかの誘電性蒸気を冷却及び凝縮する凝縮器コイル１３２がラック上にある。電力が、電力バスバー５１８を用いて容器内に分配されてもよい。これにより、電力がホットスワップ可能に個々のコンピューティング構成要素に分配されることが可能となる。電力バスバー５１８によって、容器が、容器を通る１つのみ又は少数の貫通部を用いて外部電力を受信することが可能となる。この設計は、容器システムの設置及び動作を簡素化する。ある実施形態では、各電力バスバーは、５個のラックへの電源として６００アンペアを供給することができる。そのような実施形態では、容器の各側に１セットの２セットのバスバーがあってもよい。ある実施形態では、バスバーは、プラスチック絶縁物を含まない。プラスチックは、幾つかの誘電性流体の汚染物としてみなされることがあり、ある実施形態では概して回避されることになる。
【０１２８】
ある実施形態では、容器５００は、乾燥剤５１９を含み得る。ある実施形態では、誘電性蒸気が、容器５００の頭部空間から除去され、いずれかの非凝縮性構成要素が誘電性流体から除去されることを可能とする態様で凝縮されてもよい。水は、多くの誘電性流体と同じ条件下では凝縮しない。このように、このシステムは、水汚染物を誘電性流体から除去するのに使用され得る。
【０１２９】
ある実施形態では、容器５００は、流体フィルタ５２０、流体パイプ５２１及び流体ポンプ５２２を含んでいてもよい。ある実施形態では、誘電性流体は、液体誘電性流体をラック３１０から溜め領域５２３に溢れ出させる態様で容器に加えられてもよい。そして、流体は、流体フィルタ５２０を用いてフィルタリングされ、流体ポンプ５２２及び流体パイプ５２１を用いて容器の遠位側にポンピングされ得る。このシステムは新たなフィルタリング済み誘電性流体を容器を通じて循環させるので、誘電性流体はコンピューティング構成要素を冷却するのに再利用可能となる。
【０１３０】
図１０Ｄは、容器５００の断面図を示す。この実施形態では、液体誘電性流体の水位が、ラック３１０及び／又はそこにあるコンピューティング構成要素の高さより高い流体高さ５２４に維持され得る。結果として、ラック３１０及び／又はコンピューティング構成要素は、誘電性流体に浸漬されることになる。飽和誘電性蒸気が、流体高さ５２４上、例えば、中間高さ５２５まで存在し得る。ある実施形態では、飽和誘電性蒸気は、中間高さ５２５まで維持され、それは凝縮器コイル１３２の高さの約半分であり得る。ある実施形態では低密度な誘電性蒸気を含み得る頭部空間が、飽和蒸気上に存在する。
【０１３１】
通信システム
開示の通信システムの実施形態は、開示の上位構造物２１０、圧力制御容器１１０及び／又はコンピューティングシステム内にあり若しくはそれと関連する機器のための標準レイヤ１〜３の接続性及び管理インターフェースを提供するように設計される。
【０１３２】
ある実施形態では、一連のＭＴＰインターフェースは、複数の高密度マルチモードファイバ接続を圧力制御容器１１０に導入する機能を提供する。圧力制御容器１１０に含まれると、ファイバ接続は、専用ブレークアウトケーブル、ブレークアウトインターフェース、パッチパネル及び／又はラック３１０への分配パッチパネルのセットを用いて、個々のスイッチレベルの接続に分割され得る。
【０１３３】
開示のシステムのある実施形態は、短いパッチパネルを介してそこに設置されるスイッチシステムへの接続を可能とするように各ラック３１０において専用ファイバパッチパネルインターフェースのポートを含んでいてもよい。他の実施形態では、専用のパッチパネル、又は各スイッチシステムからＭＴＰ分配インターフェースに延びるパッチパネルのセットがあってもよい。
【０１３４】
ある実施形態では、スイッチシステムとシャーシ４００との間のインターフェースは、バックプレーンインターフェース３３０を介していてもよく、及び／又はバックプレーンコネクタの使用を含んでいても含んでいなくてもよい他の何らかの機構を介していてもよい。ある実施形態では、中継ラックレベルスイッチシステムは、なくてもよい。そのような実施形態は、そこに位置する種々のコンピューティング機器に接続するように圧力制御容器１１０内の中央化スイッチのセットを用いることができる。
【０１３５】
スイッチシステムとシャーシ４００との間の標準的なインターフェースは、ラック３１０に取り付けられたパッチパネルを用いて実現され、パッチパネルのポートをスイッチシステムの適切なポートに接続するパッチケーブルでバックプレーンシステム３３０に配線され得る。
【０１３６】
ある実施形態では、通信システムキャビネットを各圧力制御容器１１０におけるＭＴＰインターフェースに相互接続するパッチパネルを含む小さな（６Ｕ）ラックレール領域、並びにスイッチシステムを相互に及び／又は外界に相互接続するように作用する中央化通信システム分配スイッチがある。そのような実施形態では、エンドユーザ又は顧客は、この空間内に彼ら自身の引回し手段を設置し、開示のコンピューティングシステムと外界との間の接続となる外部接続をそこに与えること、又は圧力制御容器１１０若しくは上位構造物２１０と既存のネットワーク環境との間にファイバ接続を行うことのいずれかを選択することができる。
【０１３７】
通信システム環境の実施形態内で利用されるアクセス、通信及び／又はネットワーキング構成要素は、標準機器であってもよいし、ユーザ指定のものであってもよい。ラック３１０及びバックプレーンインターフェース３３０のシステムは、既存のスイッチを除去し、それを何らかの標準スイッチ（１Ｕスイッチなど）と交換し、所望のインターフェースをバックプレーンネットワークインターフェースパネルに再配線することによって、各ラック３１０内に位置するスイッチシステムを交換する機能を含んでいてもよい。
【０１３８】
特定の実施形態では、バックプレーンシステム３３０と直接インターフェースするように設計された製品が、利用されてもよい。そのような製品は、特化した専用相互ネットワーキングインターフェースを介して、商業的に使用されるプロトコルを介して、又はネットワークレベル相互接続インターフェースの設計のための仕様を介して、シャーシ４００のパッチパネルシステム、及び／又はスイッチポートを相互接続するように具体的に設計された直接電気インターフェースを利用することができる。
【０１３９】
ある実施形態では、各ブレード又はシャーシとスイッチとの間の接続は、複数のインターフェースを含んでいてもよい。１つのインターフェースは、市販のスイッチ上で利用可能な標準ポートであり得る標準スイッチポートであってもよい。共通のインターフェースは、スイッチとホスト装置の間のＣａｔ６又はＣａｔ７撚線対銅接続を利用する１ＧＢＡＳＥ−Ｔ又は１０ＧＢＡＳＥ−Ｔであり得る。他のインターフェースは、標準スイッチポートからパッチパネルの前面側に向かう標準パッチケーブル付きのパッチパネル及びそのパッチパネルの背面側から信号バックプレーンの信号インターフェースへのハード配線接続のセットのいずれかからなり得るスイッチ−バックプレーン中継装置であってもよい。あるいは、これは、標準スイッチポートとバックプレーンの間の接続を確立するように、スイッチポートからボードに向かう特化したケーブル及び／又は標準ＲＪ４５インターフェースからなり得る。さらに他のインターフェースは、信号経路を標準スイッチポートからプリント回路基板（ＰＣＢ）に沿って分配するインターフェースシステム信号バックプレーンとなり得る。信号経路の１本以上が、信号バックプレーンインターフェースが接続するＰＣＢにおけるコネクタで終端されてもよい。さらに他のインターフェースは、シャーシ信号バックプレーンインターフェースであってもよい。これは、インターフェースシステム信号バックプレーンにおいてコネクタに嵌合する、シャーシ自体に位置するコネクタであってもよい。それは、インターフェースシステム信号バックプレーンとシャーシ自体の間のインターフェースとなる。さらに他のインターフェースは、シャーシネットワークインターフェースであり得る。これは、シャーシネットワークインターフェースから、シャーシに取り付けられるサーバにおけるＲＪ４５インターフェースへのパッチケーブルの接続を可能とする標準パッチインターフェースであり得る。
【０１４０】
ロボットシステム
ある開示のシステムの実施形態では、圧力制御容器１１０内の構成要素のホットスワップ性に対する必要性に対処する有望な方法を示す。故障した構成要素１７０を遠隔で除去及び交換する機能に対する必要性は、ロボットによって対処され得る。
【０１４１】
開示のシステムの組合せの特定の実施形態は、内部ロボットアーム２３０及び／又は外部ロボットアーム２４０を含み得る。暗号通貨アプリケーション及び／又は特定の高性能コンピューティング環境のための実施形態などのある実施形態は、構成要素のホットスワップ性を必要とすることがある。他のハイパースケールＧＰＵ及びＣＰＵ環境では、これは基本的要件となり得る。開示のロボットシステムの実施形態は、他のいずれの構成要素も中断することなくシャーシ及び／又は他のコンピュータ構成要素の交換を可能とする。ある実施形態では、故障したカード及び／又は構成要素は、自動的に及び／又はプログラムにより交換及び／又は格納され得る。これにより、開示のシステムの実施形態の短期間及び中程度の期間の完全に遠隔でかつ自律的な動作が可能となる。
【０１４２】
内部ロボットアーム２３０の機構は、圧力制御容器１１０の環境内に位置する。図７Ａ〜Ｄに示すように、例示の実施形態では、カード又は構成要素が適切に動作していない場合、除去シーケンスが開始され得る。除去シーケンスが開始されると、内部アーム２３０は適切なコンピュータ構成要素１７０及び／又は関連のシャーシ４００をラック３１０から除去し、それを圧力制御容器１１０内に位置するエアロック２２０まで移動し、除去シーケンスの完了をシグナリングする。このシーケンスが完了すると、内側エアロックドア２２２が閉じ、エアロックの圧力が外気圧の圧力と等しくされ、外部エアロックドア２２４が開放する。外部ドア２２４が開放されると、外部ロボットアーム２４０はシャーシ４００をエアロック２２０から除去し、それを空の格納スロットに配置する。
【０１４３】
ある実施形態では、エアロック２２０が外部環境に開放される前に、エアロック２２０は窒素、他の不活性ガス及び／又は非凝縮性ガスでパージされる。ある実施形態では、これは、エアロックが開閉される場合に誘電性蒸気の消失を減少させ又はなくす効果を有する。特定の実施形態では、エアロックは、一方向バルブと、内部、外部又は両方で整合する。エアロックの内部及び外部の双方で一方向バルブを有する実施形態では、エアロックをパージすることで、圧力制御容器１１０の内部雰囲気への外部環境による相互汚染を防止し、誘電性蒸気の消失も防止する。
【０１４４】
カード又は構成要素交換シーケンスが開始されると、外部ロボットアーム２４０は、交換構成要素及び／又はシャーシ４００を格納スロットから除去し、構成要素をエアロック２２０に配置する。完了すると、外側エアロックドア２２４が閉じ、エアロックの圧力が圧力制御容器１１０の内圧と等しくされ、内側ドア２２２が開放される。内側ドア２２２が開放されると、内部ロボットアーム２３０は、シャーシ４００をエアロック２２０から除去し、それを適切なラック３１０に挿入する。
【０１４５】
遠隔でアクセス可能な管理システムと結合されると、内部及び外部ロボットアーム２３０及び２４０は、データセンタ環境の遠隔動作及び管理を可能とする。これにより、人間のオペレータが待機している必要が減少するとともに、コスト及び／又は休止時間が減少し得る。ある実施形態では、外部ロボットアーム２４０は、可動のベース上に搭載され、それにより、１つの外部ロボットアームシステムが開示のコンピューティングシステムの複数の実施形態として作用することを可能とする。
【０１４６】
カスタム開発ワークフロー管理システム及び仮想化技術に統合されると、開示のロボットシステムは、最大レベルのシステム信頼性を与えることができる完全に自律的で自己治癒型のデータセンタソリューションの開発を可能とする。
【０１４７】
ある実施形態では、固有の人間及び／又は機械可読シリアルナンバー及び／又は製品バッチコードを有するアセットタグが、各コンピュータ構成要素及び／又はシャーシに含まれ得る。これらの実施形態では、アセットタグは、固有のシリアルナンバーであり得る。タグは、印刷バーコード又はＱＲコードを含み、開示のロボットシステムの実施形態による自動部位識別を可能とし得る。タグコードは、在庫管理及び自動化システムに関して詳細な構成要素情報を提供する管理ソフトウェアシステムとの関係で使用されてもよい。タグ及び任意の関連の接着剤又は他の構成要素は、好ましくは、誘電性流体と互換可能な材料からなる。タグは、好ましくは、シャーシがラックに挿入されると読取り可能となるスポットにおいてシャーシ上に位置する。ある実施形態では、二次的な又は追加のタグが、構成要素及び／又は在庫管理の識別に役立つようにシャーシの他の領域に位置していてもよい。
【０１４８】
開示のロボットシステムの実施形態は、いずれかの個々のシャーシが一時的に除去及び交換される、「再装着」という処理を可能とする。これは、トラブルシューティング中に、構成要素のハード電力サイクルが望まれると判定される場合に有用である。再装着は、全電力を遮断し、一時的に待機し、それを再接続することによってこれを達成する。
【０１４９】
ある実施形態は、個々のカード及び／又はシャーシがエアロックを通じて圧力制御容器から除去されることを可能とする。ある実施形態では、ロボットシステムは、ラック内のそのスロットからシャーシを除去し、それをエアロックに移動し、エアロックが開放されてカード及び／又はシャーシが除去されることを可能とするこのタスクの完了をシグナリングする。ある実施形態は、除去の際に使用された同じエアロックを通じて交換構成要素及び／又はシャーシが特定のラックスロットに配置されることを可能とする。ある実施形態では、ロボットシステムは、シャーシをエアロックから除去し、それを適切なラックスロットに配置し、このタスクの完了をシグナリングする。
【０１５０】
内部システムのロボット
開示のシステムの実施形態は、「ロボット内部」ロボットシステムを含み得る。そのような実施形態では、圧力制御容器は、容器内で動作するロボットアームを収容するために拡張されてもよい。容器は、動作しているコンピュータ構成要素を含むラック上のコンピュータ構成要素及び／又はシャーシの移動又は移送を収容するように配置されてもよい。圧力制御容器をタンク、ポッド及び／又は真空チャンバともいうことがあることが分かるはずである。あるいは、圧力制御容器の特定の構成要素をタンク又はポッドということがあることが分かるはずである。
【０１５１】
図１０Ｅは、コンピューティング構成要素、例えば、ラック３１０のシャーシ４００を除去、交換及び／又は設置するように構成されたガントリーロボット５２６を有する開示のシステムの実施形態を図示する。ある実施形態では、ガントリーロボット５２６は、配電システムのＤＣ整流器及び／又は他の構成要素を除去、交換及び／又は設置するように構成されてもよい。開示のコンピュータ構成要素及び配電構成要素の幾つかの実施形態はホットスワップ可能となるように設計されてもよく、ガントリーロボット５２６によるハンドリングを容易化するハンドル又は他の構成を含んでいてもよいことが分かるはずである。ある実施形態では、ガントリーロボット５２６は、ｘ及びｙ両方向に進行するように配置され、交換構成要素を除去及び／又は設置するためにｚ方向に降下することができる。ある実施形態では、ガントリーロボット５２６は、シャーシ４００及び／又は電源を把持する把持ツールを備え、例えば、把持ツールはプレート４２６を把持できる。
【０１５２】
図１０Ｅは、開示のタンクの例示の実施形態の上断面図を示す。ある実施形態では、ラック３１０のアレイが、シャーシ４００及び／又はコンピューティング基板に装着されてもよい。ある実施形態では、各シャーシ４００は約６ＫＷの電力を利用し、各ラック３１０は１０個のシャーシを含み得る。これにより、そのような１０個のラック３１０を含む実施形態では、容器は約６００ＫＷの電力をコンピューティング用に利用することができる。ある実施形態では、シャーシ４００の追加のラック３１０及び／又はマガジン５２７並びにＤＣ電力整流器が容器５００に格納され、交換構成要素として使用され及び／又は容器５００から除去された構成要素を格納する空間を提供してもよい。
【０１５３】
外部システムのロボット
図１２Ａ〜Ｅは、容器の他の実施形態を示す。特に、図１２Ａは、シャーシ４００及び／又はコンピューティング構成要素を収容するタンク７１０の外部にガントリーロボット５２６が存在する容器７００の実施形態を図示する。この実施形態では、タンク７１０は、より小さいが、外部のガントリーロボット５２６がタンク７１０内部のシャーシ４００及び／又は電源にアクセスするために、より頻繁に開放される必要がある。また、交換機器は、タンク７１０の外部にある貯蔵部７１６などのモジュール式エンクロージャ内に格納及び／又は収容されてもよい。ある実施形態では、タンク７１０は、複数のドア７１１を有していてもよく、それにより、構成要素又はシャーシ４００を除去、設置及び／又は交換する目的で１つのドア７１１が開放される場合にタンク７１０の内部の露出を制限することができる。このような実施形態では、交換構成要素は、タンクを不必要に開放することを回避するためにタンク７１０の外部に格納されてもよい。
【０１５４】
さらに、容器７００は、１以上のトランス７１２、配電パネル７１３、処理水パイプ５１２及び電気チェース７１４を含み得る。容器７００は、容器７００内の種々の機器の状態をモニタリング及び制御するプログラマブルロジックコントローラ（ＰＬＣ）キャビネット７１５も含み得る。トランス７１２、配電パネル７１３、処理水パイプ５１２、電気チェース７１４及びＰＬＣキャビネット７１５は、タンク７１０の外部に位置していてもよい。
【０１５５】
図１２Ｂは、タンク７１０が外部ガントリーロボット５２６にアクセス可能な容器７００の断面図を示す。この例示の実施形態では、凝縮器コイル１３２、ラック３１０及びベローズ７１７は、タンク７１０に位置する。図１２Ｃは、外部ガントリーロボット及び複数のドア７１１を有するタンク７１０を有する容器７００の側面図を示す。この例示の実施形態では、タンク７１０は、流体を溜め領域から除去し、流体を流体フィルタ５２０に流体パイプ５２１を通じて送出するための流体ポンプを含む。容器７００は、交換機器の格納のためのマガジン７１８も含む。この例示の実施形態では、マガジン７１８は、タンク７１０の外部に位置する。ある実施形態では、タンク７１０における液体誘電性流体の総体積を減少させるために、スペーサ及び／又はバラストブロック１６０が用いられてもよい。
【０１５６】
図１２Ｄは、例示の実施形態によるラック３１０を示す。ある実施形態では、冗長電源３１４が、一次電源３１３に隣接するのではなく、ラック３１０の逆側に配置され得る。さらに、電力並びに／又はデータケーブル３１８及び３１９は、特定の配備の具体的要件を適応させるために、代替の構成に引き回されてもよい。この例示の実施形態では、バックプレーン受信機３３１は、ラック３１０の下部に位置する。
【０１５７】
図１２Ｅは、開示のタンク７１０のある代替実施形態で使用され得る例示のヒンジドア７１１を示す。ある実施形態では、誘電性蒸気における誘導電流を低減又は回避するために、ヒンジドアではなく、スライドドアが利用されてもよい。ドアをゆっくりとスライドして開放することは、ヒンジドアをスイングして開放して混合電流を発生させることに比べて誘電性蒸気の変動が少なくなる。
【０１５８】
管理システム
管理システムは、開示のコンピューティングシステムのユーザとコンピューティングシステム自体との間のウェブによるインターフェースである。管理システムの実施形態は、コンピューティングシステムの動作上の表示を与え、圧力制御容器１１０、ロボットシステム、通信システム、電力システム並びに／又は他のシステム及び構成要素を含む種々の構成要素のモニタリング及び管理を可能とする。例示の一実施形態では、管理システムは、図１２ＡのＰＬＣキャビネット７１５において実施され得る。他の例示の実施形態では、管理システムは、図１０Ａの電力及び通信ボックス５１３において実施され得る。各実施形態において、電力管理システムは、制御装置又は他の適切な装置、例えば、コンピュータ上のソフトウェアプログラムとして実施可能である。
【０１５９】
特定の実施形態では、簡素なネットワーク管理プロトコルでアクセス可能なデータポイントのセットが、第三者モニタリングシステムを介した鍵となる動作パラメータのモニタリングを可能とするように管理システムのユーザに利用可能とされてもよい。全動作ログが保持されてもよく、チャートが動作条件データのユーザ更新に提供されてもよい。
【０１６０】
システム構成要素の定期的なメンテナンスが、管理システムを介して予定及び維持されてもよい。ユーザには定期メンテナンスの定期的なリマインダが与えられてもよく、ユーザはそれをインターフェース内で実行されているものとして認識することができる。このデータは全て、履歴上の動作の検討のための動作ログ情報の部分として保持され得る。
【０１６１】
ある実施形態では、動作機能は、コンピューティングシステム及び関連の構成要素の遠隔プログラムによるモニタリング及び管理を可能とするように、ＡＰＩインターフェースを介して公開されてもよい。何らかの問題の場合にオペレータへの通知を可能とするように、動作モニタリング及び警告機能の全セットが含まれてもよい。
【０１６２】
中央化されたサーバのバージョン又はホスト化されたクラウドベースの管理のバージョンの管理システムが、複数の圧力制御容器コンピューティングシステムを用いて顧客に利用され得る。これは、圧力制御容器コンピューティングシステムの一群の管理のための単一のプログラムによるユーザアクセス可能なインターフェースをオペレータに提供する。
【０１６３】
ある実施形態では、ソフトウェアベースのインターフェースモジュールは、Ｍｉｃｒｏｓｏｆｔ  Ｓｙｓｔｅｍ  Ｃｅｎｔｅｒ及びＶＭＷａｒｅ  ＶＣｅｎｔｅｒなどのコンピューティングプラットフォーム及び第三者管理ユーティリティとの相互動作を可能とする。ユーザ、及び管理システムによって提供されるＡＰＩインターフェースは、開示のロボットシステムとの完全な相互動作を可能とし、開示のコンピューティングプラットフォームの完全な遠隔かつプログラム的な自律動作及び管理を可能とする。
【０１６４】
ある実施形態では、制御システムは、温度、圧力、流量及び／又は電力管理を含む動作の調整及び制御を可能とする。ある実施形態では、ユーザ認証システムは、複数の固有のユーザがシステムに認証されることを可能とする。ある実施形態は、役割ベース及び／又は要素ベースの許可システムを含む。そのような実施形態では、管理者は、ユーザが関連付けられる複数の役割を構成し、及び／又は特定の許可を彼らの役割割当て外で個々のユーザに適用することができる。
【０１６５】
ある実施形態は、容器及び／又は上位構造物内に位置し得るカメラからの映像入力を記録及び取得する機能をユーザに与えるために、映像管理を含む。ある実施形態では、カメラは、プロセッサによって分析され得る可視データを取得し得る。そのような実施形態では、プロセッサは、取得された可視データに応じて容器、ロボット及び／又は上位構造物システムの動作を制御するために、コンピュータビジョン技術を利用してもよい。
【０１６６】
ある実施形態では、制御システム及びソフトウェアは、開示のコンピューティングプラットフォームのシステム全体、個々のサブシステム及び／又は構成要素の動作及び状態に関するレポートを生成するように構成され得る。
【０１６７】
例示の併合システムの実施形態
開示のシステムは個別に又は組み合わせて利用され得ることが理解されるはずである。種々のユースケースに適合され得る併合コンピューティングシステムの多数の実施形態がある。
【０１６８】
例示の一実施形態は、Ｃｒｙｐｔｏシリーズである。これは、専用コンピューティングハードウェア、そのハードウェアのために設計されたガイドプレート及び配線ハーネスを有するラック３１０、通信システム３６０のアーキテクチャの変形実施例、並びに１ＭＷ圧力制御容器１１０及び配電システムを利用する開示の技術の超高密度な実施例である。この実施形態の典型的なユーザは、カスタマイズされたコンピューティング構成要素を用いて暗号通貨マイニング若しくは他の超高電力密度の処理を実行することを望む者、又は彼ら自身のハードウェアを含む全域二相液浸冷却システムを開発することを望むコンピューティング構成要素の製造者である。
【０１６９】
他の例示の実施形態は、ＧＰＵシリーズである。これは、本開示の技術の高密度ＧＰＵスーパーコンピューティングの実施例である。この実施例は、ＧＰＵ通信に対する超高速ＧＰＵを促進するＮＶｉｄｉａ  ＮＶＬｉｎｋ技術を用いてＧｉｇａｂｙｔｅ製のマザーボード及びＮＶｉｄｉａ製のＧＰＵを含むように設計されたカスタム製シャーシ４００、ラック３１０及びバックプレーンインターフェース３３０の技術を利用する。この技術の典型的なユーザは、グラフィック描写、粒子シミュレーション及び一般的研究活動を含むＧＰＵベースのコンピューティング及びメモリ能力を利用することができる汎用並列処理アプリケーションを含む。
【０１７０】
さらに他の例示の実施形態は、ＣＰＵシリーズである。これは、開示の技術の高密度ＣＰＵコンピューティングの実施例である。この実施例は、ハイエンドＳｕｐｅｒｍｉｃｒｏベースのマザーボード、Ｉｎｔｅｌ  Ｘｅｏｎ  ＣＰＵ、高速ネットワークインターフェース、高速メモリ、及びローカルストレージのための半導体記憶装置を利用する。この技術の典型的なユーザは、彼ら自身の内部アプリケーションのため又は彼らが第三者顧客及び他の組織に提供するもののために高性能コンピューティングを利用するデータセンタ、企業及びクラウド／ＶＰＳホスティングプロバイダ及びサービスプロバイダを含む。
【０１７１】
さらに他の例示の実施形態は、Ｅｄｇｅシリーズを含む。これは、遠隔／実地配備に対して又は従来的なビジネス及びデータセンタ環境内に若しくはそれに付随して具体的に設計された開示のコンピューティングシステムの規模を縮小した実施例である。実施形態は、完全な遠隔モニタリング及び管理能力を有する安全な耐候性環境に特化される。この技術の対象ユーザは、ネットワークオペレータ及び分散実地インフラを有する他の組織などの実地配備及び分散技術のオペレータ、並びに既存の設備又は構造物に対する最小限の変更で彼らのコンピューティング能力を増強することを望む既存の設備のオペレータとなる。このシステムは、種々の拡張機能を外部構造物に含めて、電気、水道及びネットワーク接続を含むユーティリティサービスのシステムへの接続を簡素化し得る。
【０１７２】
自己完結型実施形態
ある開示の実施形態は、外部の水供給源を必要としない。そのような実施形態は、上述のように凝縮器を通じて循環され得る水又は他の流体を冷却するための閉ループチラーを備え得る。外部の冷却水供給源ではなく閉ループチラーを用いることで、実質的に自己完結型の実施形態を可能とする。
【０１７３】
図１３は、例示の自己完結型容器７５０を示す。図１３の例示の実施形態は、ポッド又は浸漬タンク７１０内の凝縮器で使用される水又は他の液体を冷却するためのスキッド搭載型閉ループチラー７１９を利用する。閉ループチラーを利用することによって、外部の冷却水供給源の必要がなくなることとなり、完全に動作可能となるために外部電源及びネットワーク接続しか必要としない自己完結型データセンタソリューションとなる。容器７５０は、ベローズ７１７、ドア７１１、ガントリーロボット５２６、配電パネル７１３、ＰＬＣキャビネット７１５及びマガジン７１８も含み得る。
【０１７４】
ある実施形態では、閉ループチラー７１９は、モジュール式圧力制御容器の外側ハウジング内に内包されるスキッド搭載型閉ループチラーであり得る。そのような実施形態では、熱が、コンピュータ構成要素からタンク７１０内の誘電性液体に伝達される。この処理は、ここに記載されるように誘電性液体を誘電性蒸気に変換する。誘電性蒸気は、タンク７１０内を上昇し、凝縮器によって冷却され、それにより誘電性蒸気を変換して誘電性液体に戻す。そして、誘電性蒸気から凝縮器に伝達される熱は、凝縮器内で凝縮器から冷媒又は凝縮流体に伝達されてから、閉ループチラー７１９に伝達される。ある実施形態では、チラー７１９は、蒸気圧縮、圧縮器、蒸発器、熱交換器、又は冷媒若しくは凝縮流体を冷却する閉ループの他の方法を用いて冷媒又は凝縮流体から熱を除去する。冷媒又は凝縮流体からの熱は、最終的には空冷を介して分散される。ある実施形態では、これは、自己完結型のモジュール式空冷二相液浸コンピューティングシステムとなる。浸漬冷却の分野は空冷、特に自己完結型装置の空冷に対して逆のことを一般に教示してきたので、何らかの自己完結型の実施形態の空冷は驚くべきものである。
【０１７５】
ある開示の実施形態は、省スペースの設置範囲の形態要素で提供され得る。例示の実施形態は、上述のように誘電性液体に浸漬される１０個のブレード又はサーバを含む単一のラックを備える。ある実施形態では、各サーバは、約６ｋＷの電力を引き出すことができる。したがって、約６０ｋＷのコンピュータ電力を小設置範囲で提供する。
【０１７６】
図１３に示す例示の実施形態は、深さ約４フィート２インチ、幅約８フィート８．５インチ、及び高さ約８フィート８インチの設置範囲内に含まれる。この例示の実施形態は約６０ｋＷのコンピュータ電力並びに他の動作構成要素及びシステムを備え、約３６．３平方フィートの面積に含まれる。容器の動作構成要素は、これに限定されないが、コンピュータ構成要素のための誘電性流体、凝縮器、電源及びデータ接続を含むタンク又はポッドを含み得ることが分かるはずである。容器は、センサ、制御機器、電力キャビネット、ベローズ７１７、真空システム、流体フィルタ、パージシステム及び／又は他の構成要素も備え得る。ある自己完結型の実施形態は、外側ハウジングを備え得る。ある実施形態では、外側ハウジングは、容器を内包し、構造的サポートを与え、スキッド搭載可能であり、換気され、耐候及び／若しくは耐水性であり、並びに／又は装飾可能であり得る。ある実施形態では、自己完結型容器の外側ハウジングは、放熱器コイル、ファングレート、伝熱構成要素及び／又は閉ループチラーの使用を容易化する空冷構成要素を備え得る。
【０１７７】
ある実施形態では、自己完結型コンピューティングシステムは、面積平方フィートあたり少なくとも約１．５ｋＷ、平方フィートあたり少なくとも約１．６ｋＷ、平方フィートあたり少なくとも約１．６５ｋＷ、平方フィートあたり少なくとも約１．８ｋＷ、平方フィートあたり少なくとも約２．０ｋＷ、又は平方フィートあたり少なくとも約３．０ｋＷのコンピューティング電力を供給する。ある実施形態では、自己完結型コンピューティングシステムは、面積平方フィートあたり最大で約１．５ｋＷ、平方フィートあたり最大で約１．６ｋＷ、平方フィートあたり最大で約１．６５ｋＷ、平方フィートあたり最大で約１．８ｋＷ、平方フィートあたり最大で約２．０ｋＷ、又は平方フィートあたり最大で約３．０ｋＷのコンピューティング電力を供給する。自己完結型システムの高さが調整されることにより所与の設置範囲内で供給される、より多くの又はより少ないコンピューティング電力が可能となることが分かるはずである。
【０１７８】
開示の例示の実施形態の寸法、構成要素、配置及び構成は、多様な形態要素における多様な潜在的な実施形態を生成するように変更、付加及び／又は削除され得ることが分かるはずである。
【０１７９】
ある実施形態では、自己完結型コンピューティングシステムは、例えば、ブレードサーバ、電源又は他の構成要素、例えば、シャーシ４００を除去、交換及び／又は設置するように構成されたガントリーロボット５２６などのロボットシステムを備え得る。自己完結型システムは、システムの「内部側のロボット」又は「外部側のロボット」のいずれかを備え得る。より小さな設置範囲の実施形態では、交換構成要素の、より小さなマガジン７１８が使用され得る。ある実施形態では、交換構成要素のマガジン７１８は、図１３に示すタンク７１０の外部に取り付けられてもよい。ある実施形態では、タンク７１０、ラック、コンピュータ構成要素、電源、交換マガジン７１８及びガントリーロボット５２６は、ガントリーロボット５２６が実質的に一方向のみに進行しつつ構成要素を除去、交換及び／又は設置し得るように配置され得る。種々の構成要素が略直線的に配置される場合、ガントリーロボット５２６は第２の方向に進行することなく所望の構成要素を除去、交換及び／又は設置するために単一の軸に沿って進行可能となる。ガントリーロボット５２６は単一の直線的方向に進行することに加えて構成要素を昇降可能であってもよいことが分かるはずである。
【０１８０】
図１３に示す実施形態のような小型の要素を利用することによって、自己完結型２ＰＬＩＣシステムが容易に搬送されることが可能となる。閉ループチラー７１９を含むことによって、二相液浸冷却システムが、被冷却水の現実的な供給源へのアクセスを有し得ない遠隔条件において利用されることが可能となる。さらに、外部冷却水を必要としないことで、ある実施形態では、２つの外部接続、１つの電源及び１つのデータ接続しか必要としない自己完結型コンピューティングシステムが形成される。
【０１８１】
ある実施形態では、コンピューティングシステムは、図１４に示すような外側ハウジング内に含まれ得る。ある実施形態では、図１３において模式的に特定され及び／又はここに開示される構成要素が、外側ハウジング内に含まれ得る。ある実施形態では、外側ハウジングの体積は、想定される冷却要件、閉ループチラーの構成、及び／又は自己完結型コンピューティングシステムが配備されることが想定される環境に基づいて適合され得る。
【０１８２】
開示の自己完結型、自己治癒かつ小型形態要素の実施形態は、大きなコンピューティング能力をほぼあらゆる場所又は環境に提供するスタンドアロンソリューションとして使用され得る。あるアプリケーションでは、複数の小型コンピューティングシステムが、相互付近に位置し、及び／又はともにリンクされてクラスタを形成し得る。ある実施形態では、外側ハウジングが、外側ハウジングの１又は２面のみにアクセスしつつメンテナンス及び／又はサービス作業が行われることを可能とするように配置される。この配置によって、個々の自己完結型コンピューティングシステムが、各自己完結型システム間で減少した又は最小の距離で配置可能となる。
【０１８３】
例示の一実施形態では、４個の例示の自己完結型コンピューティングシステムのクラスタが、約１４０平方フィートの設置範囲において約２４０ｋＷの自己完結型コンピュータ電力を可能とするように戦略的に配置され得る。ある実施形態では、これらのユニットは、相互に電力及び／又はデータ通信状態にあってもよく、それにより単一の外部電力接続及び単一のデータ接続しか有さないマルチユニットクラスタの動作が可能となる。ある実施形態では、データセンタは、複数の小型コンピューティングシステム又はそのようなコンピューティングシステムの複数のクラスタを用いて確立され得る。
【０１８４】
ある開示の実施形態及び／又はここに開示されるコンピューティングシステムは、現代のデータセンタ及び／又は天候制御環境において利用され得るが、開示の自己完結型コンピューティングシステムの幾つかの実施形態は、遠隔の場所及び／又は過酷な環境条件に配備され得る。ある実施形態では、外側ハウジングは、耐候性であり、耐水性であり、及び／又はそうでない場合には長期間にわたる過酷な環境への曝露に耐えるように配置され得る。ある開示の実施形態は、遠隔の又は困難な場所への大量のコンピューティング資源の迅速な配備を可能とする。ある自己完結型の実施形態は、電源及びデータ接続にアクセスできる実質的にいずれの場所においても動作可能となるように配置され得る。ある実施形態では、無停電電源装置及び／又は発電機が、電力への、より信頼性の高い又は常時のアクセスを与えるようにコンピューティングシステムに動作可能に接続されてもよい。
【０１８５】
ある開示の自己完結型の実施形態は、積載可能となるように設計される。ある積載可能な実施形態は、低背設計され得る。特定の実施形態は、高さ約５フィート５インチ、深さ５フィート６インチ、及び幅９フィートであり得る。これは、４２平方フィートの設置範囲における約６０ｋＷのコンピュータ電力となる。そのようなユニットは、同じ４２平方フィートの設置範囲において１２０ｋＷのコンピュータ電力を供給するように鉛直に積載されてもよい。
【０１８６】
開示のコンピューティングシステムの実施形態は積載され、複数の積載体が相互に隣接して配置され得る。これは、個々のコンピューティングシステム間の通路空間の必要性を減少させ、それにより、データセンタ内での全体的に高い電力密度が可能となる。
【０１８７】
ある実施形態は、自己完結型コンピューティングシステムの１面のみへのアクセスで完全に動作可能かつメンテナンス可能となるように設計され得る。そのような実施形態は、自己完結型システムを相互に非常に近接して配置することを容易化するので、有利となり得る。さらに、ある自己完結型の実施形態では、浸漬タンク全体が、装置の１面のみにアクセスしつつ除去及び／又は交換され得る。特定の実施形態では、タンクは、個々にモジュール式及び／又はスキッド搭載型であり得る。
【０１８８】
ある実施形態では、自己完結型コンピューティングシステムは、一層小さな設置範囲を利用するように鉛直方向に配置されてもよい。開示のシステムの鉛直方向設計の実施形態は、約２２．９平方フィートの設置範囲において約６０ｋＷのコンピューティング電力を供給することができる。他の開示の実施形態と同様に、幾つかの鉛直配向自己完結型コンピューティングシステムは、相互に近接して配置され得る。また、幾つかの他の実施形態で記載したように、幾つかの鉛直配向自己完結型コンピューティングシステムは、装置の１面のみへのアクセスで操作及び保守され得る。ある実施形態では、タンク全体が、外側ハウジングから除去され、交換され得る。この配置によって、複数のブレードサーバ及び／又は他のコンピューティング構成要素の迅速な交換が可能となる。
【０１８９】
モバイル実施形態
冷却水の外部供給源を必要としない自己完結型コンピューティングシステムによって、新奇なコンピューティングアプリケーションが可能となる。ある実施形態では、発電機を用いて電力がシステムに供給されることにより、システムを外部及び／又は固定電源に接続する必要を排除する。ある実施形態では、システムは、無線データ通信に依存するものであってもよい。
【０１９０】
固定電源又は有線データ通信に依存しない特定の自己完結型の実施形態では、完全モバイルコンピューティングシステムが実現され得る。開示の実施形態は、ほぼあらゆる環境で大量のコンピューティング電力を供給するように使用され得る車載自己完結型コンピューティングシステムを含む。ある実施形態では、トラック搭載無線コンピューティングシステムが、既存の又は一時的なネットワークの無線通信範囲内で駆動され、実質的にセットアップ又は設置時間なしで大量のコンピューティング電力を供給し得る。
【０１９１】
天然水の実施形態
ある実施形態では、コンピューティングシステムは、ボート、船舶、石油採掘装置、浮きプラットフォーム、又は水体に近接して位置する他の容器若しくは構造物上で利用されるように配置され得る。そのような実施形態では、ここに記載されるように誘電性蒸気を変換して誘電性流体に戻すのに使用される凝縮器は、水体からの水を用いて冷却され得る。例示の一実施形態では、モジュール式コンピューティングシステムは、取水口、出水口及びポンプ又はインペラを備え得る。ポンプ及び／又はインペラは、水を水体から凝縮器を通じてから水体に流して戻すことができる。ある実施形態は、凝縮器、配管及び他のコンピューティングシステム構成要素を水体における汚染源から保護するように設計されたフィルタ及び／又は処理構成要素を備え得る。ある実施形態では、凝縮器及び他の構成要素は、例えば、海水などの汽水又は塩水との長時間の接触に耐えるように配置される。
【０１９２】
水平マガジンスワップ
ある実施形態では、交換構成要素のマガジンが、タンクの外部でコンピューティングシステムの外側ハウジング内に格納されてもよい。例えば、シャーシ、サーバ、ブレード及び／又は電力構成要素などの交換構成要素は、マガジンから除去され、タンク内の構成要素を交換するのに使用され得る。マガジンは、構成要素がマガジンから交換されることを可能とするためにコンピューティングシステムの外側ハウジングから張り出すように構成されたプラットフォーム上にあってもよい。
【０１９３】
非限定的な一例では、タンク内のブレードサーバが正常に動作しない場合、ロボットアームが、タンクから不動作の構成要素を取り出してその不動作の構成要素をマガジンの格納スロットに移動させるのに使用され得る。そして、ロボットアームは、マガジンから機能するブレードサーバを除去してそれを不動作のサーバが以前に設置されていた箇所に設置し、それにより、不動作のサーバを新たな動作可能なサーバに交換することができる。
【０１９４】
時間が経過すると、マガジンは、ロボットシステムに長期間の運用を継続させるために、新たな動作可能な構成要素と交換され得る不動作の構成要素を蓄積する。ある実施形態では、マガジンは、外側ハウジングの外部に張り出し得るプラットフォーム上にあってもよく、それによりオペレータがマガジンにアクセスすることが可能となる。ある実施形態では、プラットフォームは、構成要素がマガジン内に又はマガジン外にスライドすることを可能とするために、マガジンを略鉛直位置から略水平位置に回転させるように構成される。
【０１９５】
ある実施形態では、調整可能な高さのカートが、人間のオペレータが構成要素をマガジンから除去又は交換しつつ構成要素の重量を持ち上げ又は支持することを必要としないように、構成要素を移動、積載及び／又は受容するのに使用され得る。略水平位置に回転するように構成されたマガジンはマガジンへの機能する構成要素の積載及び機能しない構成要素の除去も促進し得ることが分かるはずである。
【０１９６】
図１５Ａ〜Ｄは、容器の外部に張り出すことができるプラットフォーム８２０に位置する例示のマガジン８１０を示す。図１５Ａでは、マガジン８１０は、回転部材８２１、支持部材８２２及びレール８２３を含むプラットフォームに接続され得る。ある実施形態では、支持部材８２２は、支持部材８２２がマガジン８１０及びマガジン内に格納されるいずれのサーバ又は他の構成要素の重量を支持しつつ移動することを可能とするレール８２３に接続され得る。図１５Ａの例示の実施形態では、プラットフォーム８２０が拡張位置にある。
【０１９７】
図１５Ｂに示すように、通常動作中、支持部材８２２は、コンピューティングシステムの外側ハウジングに対して縮退され得る。マガジン８１０は、通常動作中、レール８２３上に格納され得る。ある実施形態では、マガジン８１０の重量は、レール８２３上の支持部材８２２の位置にかかわらず支持部材８２２及びレール８２３によって支持される。
【０１９８】
ある実施形態では、開示の実施形態で利用される、例えば、サーバなどのコンピュータ構成要素は、従来的なコンピュータ構成要素よりも高密度で及び／又は重いことがある。ある実施形態では、開示の実施形態の冷却能力の増大に起因して、ブレードサーバの重量は、少なくとも約５０ｌｂｓほど、少なくとも約６０ｌｂｓほど、少なくとも約７０ｌｂｓほど、少なくとも約８０ｌｂｓほど、少なくとも約９０ｌｂｓほど又は少なくとも約１００ｌｂｓほどとなり得る。ある実施形態では、ブレードサーバの重量は、最大で約５０ｌｂｓほど、最大で約６０ｌｂｓほど、最大で約７０ｌｂｓほど、最大で約８０ｌｂｓほど、最大で約９０ｌｂｓほど又は最大で約１００ｌｂｓほどとなり得る。図１５Ｂに示すように、マガジン８１０は、複数のシャーシ４００又はブレードサーバを保持することができ、個々のブレードサーバの重量は約７３ｌｂｓであり得る。マガジンに３個のそのようなサーバが積載される場合、マガジン８１０及びサーバの総重量は、約３９５ｌｂｓとなり得る。
【０１９９】
ある実施形態では、使用されるサーバは、シャーシに搭載されるブレードサーバである。サーバ及び／又はシャーシは、コンピューティングシステムにおけるサーバの設置及び除去を容易化するバックプレーンシステムを含み得る。ある実施形態では、サーバは、ファン又は他の空冷装置を含まない浸漬サーバであり得る。ある実施形態では、個々のサーバ基板は、１６個のＧＰＵを備え、約６ＫＷの電力を引き出すように構成され得る。ある実施形態では、サーバは、１．５Ｕサーバである。ある開示のサーバは、１オット浸漬ユニット（ＯＩＵ）サーバであり得る。そのようなサーバは、高さ１．５Ｕであり、液浸冷却用に構成される。ある実施形態では、コンピューティングシステム内の単一のタンクは、１０個の１ＯＩＵサーバを動作させ、全１０個のサーバが実質的にフルパワーで動作している場合に約６０ＫＷの電力となるように構成され得る。ある実施形態では、コンピューティングシステムは、そのようなタンクのうちの１個又は２個を備え得る。ある実施形態では、コンピューティングシステムは、例えば、１０個のそのようなタンクなど、複数のタンクを備え得る。
【０２００】
ある実施形態では、図１５Ａに示すように、マガジンがコンピューティングシステムから取り出される場合、支持部材は、レールに沿って格納位置から移動し、コンピューティングシステムの外側ハウジングの外部で片持ちにされる。
【０２０１】
図１５Ｃ〜Ｄにも示すように、マガジンは、引き出され又はそうされない場合にはレールに沿ってスライドし、コンピューティングシステムの外部で片持ちとされ得る。ある実施形態では、図１５Ｃ〜Ｄに示すように、マガジン除去ツールが、マガジン全体及びマガジン内に含まれる構成要素を除去するのに使用されてもよい。そのような実施形態では、マガジン除去ツールは、マガジンを搬送するために、マガジンを支持部材から持ち上げてレール上をスライドさせるのに使用され得る。
【０２０２】
ある実施形態では、マガジンがコンピューティングシステムの外部に移動されると、プラットフォームはマガジンを略水平位置に回転させることができる。そして、マガジン内に含まれるサーバは、マガジン外にスライドし得る。
【０２０３】
図１５Ａ〜Ｄは、例示の実施形態による、マガジンからサーバを除去するための例示の一連のステップを示す。例示の実施形態では、マガジンは、アクセスドア裏のリニアガイドレールシステムに取り付けられ得る。図１５Ｃ〜Ｄに図示するように、マガジンは、引き抜かれ、コンピューティングシステムの外部で片持ちとされ得る。マガジンは、手動で引き抜かれてもよいし、動力化又は自動化されたシステムを用いてコンピューティングシステムの外部に移動されてもよい。図１５Ｄに示すように、マガジンは、マガジンに含まれるサーバ及び／又は他の構成要素を略水平位置に向けるように約９０度回転され得る。略水平位置となると、サーバ及び／又は他の構成要素は、マガジンから外部にスライドし、サーバ及び／又は他の構成要素を受容するように構成されたカート又は他のツール上にスライドすることができる。図１５Ｃに示すように、シザーリフトカートが、サーバ又は他の構成要素を受容する適宜の高さに調整されてもよい。回転面による高さ調整可能なカートが、人間のオペレータがサーバの重量を支持することを要することなくサーバがマガジンからカート上に移送されることを可能とするのに使用されてもよい。図１５Ｄに示すように、研削面又は回転面を有するカート上にサーバがスライドされると、サーバ又は他の構成要素は、交換又は修理される他の場所に搬送されることになる。新たな構成要素が、実質的に同じステップを逆の順序で用いてマガジンに積載され得ることが分かるはずである。
【０２０４】
ある代替の実施形態では、マガジンは、レールなしに回転及び拡張可能なアーム上に支持され得る。そのような実施形態では、マガジンは、通常動作中、コンピューティングシステムの外側ハウジング内で略鉛直位置に格納され得る。マガジン内の構成要素が交換されるべきであると判断されると、マガジンは、拡張可能なアームを用いて外側ハウジングの外部に拡張され得る。マガジンが外側ハウジングを越えて拡張されると、マガジンは、マガジン内に格納された構成要素がマガジンから水平に除去されることを可能とするように略鉛直位置から略水平位置に回転され得る。
【０２０５】
ベローズ
ある実施形態では、ベローズ及び／又は蒸気収集システムが利用され得る。ある開示の実施形態が最初に作動される前に、誘電性流体、サーバなどのコンピュータ構成要素及び他のシステム構成要素が熱平衡とされ得る。コンピューティングシステムが作動されると、サーバなどのコンピュータ構成要素は、誘電性流体に消散され得る熱を発生し始めることになる。このプロセスは、誘電性流体の一部を液体状態から蒸気状態に遷移させる。流体の温度が上昇すると、誘電性流体のより多くの部分が蒸気状態に遷移し得る。閉システムでは、誘電性蒸気の体積の増加は、システム内の圧力の増加をもたらすことになる。ある実施形態では、誘電性流体を含むタンクは、回収システムとの流体及び／又は蒸気流通状態となり得る。
【０２０６】
図１６は、例示の実施形態による蒸気回収システム９００を示す。回収システム９００は、誘電性蒸気を含むタンク７１０に接続される。誘電性蒸気は、タンク７１０から配管を通じて１以上のベローズ９０５に流れることになる。ある実施形態では、蒸気回収システム９００は、誘電性蒸気を受容するように構成された拡縮ベローズ９０５を備え、それにより、タンク７１０で増大したいずれの圧力も減少させ又は排除する。システムが冷却され、又は誘電性蒸気の部分が誘電性液体に凝縮されると、ベローズはタンク７１０内の圧力平衡を実質的に維持するように折り畳まれ又は収縮することができる。
【０２０７】
ある実施形態では、蒸気回収システム９００は、大気を蒸気回収システムに導入させるように構成されたバルブ９１２を備える。そのような実施形態では、誘電性蒸気は、大気に混合され得る。誘電性蒸気を大気と混合することによって、誘電性蒸気の温度が低下し得る。ある実施形態では、混合空気／蒸気は、カーボンベッド９１１を通じて方向付けられてもよい。カーボンベッド９１１内の炭素媒体は、大気が炭素媒体を通過してシステム９００から、例えば、出口バルブ９１３を介して換気されることを可能としつつ誘電性蒸気を引きつけるように構成され得る。このような態様において、加熱された誘電性蒸気は、炭素媒体によって冷却及び捕集され得る。
【０２０８】
充分な時間にわたって動作した後、コンピューティングシステムの実施形態は、コンピューティング構成要素が利用される電力容量に基づいて安定的な熱状態に達する。より多くの又はより少ないコンピューティング電力が利用される場合、より多くの又はより少ない誘電性流体が誘電性蒸気に遷移され得る。これにより、ベローズ９０５は、誘電性流体に消散された熱に応じて膨張及び／又は収縮し得る。
【０２０９】
ある実施形態では、ベローズ９０５は、１以上のパウチを備えていてもよい。各パウチは、金属箔及びポリマー積層構造を備え得る。ベローズパウチは、蒸気回収システム配管に及び相互に直列又は並列に接続され得る。ある実施形態では、拡張したベローズパウチの総体積は、タンクの液体流体体積の少なくとも約１５％となり得る。ある実施形態では、拡張したベローズパウチの総体積は、タンクの液体流体体積の少なくとも約２０％、少なくとも約２３％若しくは少なくとも約２５％又はそれ以上であってもよい。ある実施形態では、拡張したベローズパウチの総体積は、タンクの液体流体体積の最大で約４０％、最大で約３０％若しくは最大で約２５％又はそれ以下であってもよい。
【０２１０】
ある実施形態では、コンピューティングシステムが熱的な安定に実質的に達すると、蒸気回収システム９００は冷却大気に対して閉じられ、空気がシステムから排出されることを可能とするバルブは閉じられてもよい。ある実施形態では、カーボンベッドは、バルブを用いてタンク及びベローズのみに開放されるように構成され得る。ある実施形態では、炭素媒体に熱を流通するように構成された脱着ヒータが、炭素媒体の温度を上昇させるように作動され得る。炭素媒体の温度が上昇するにつれて、炭素媒体によって以前に捕集されたいずれかの誘電性流体は炭素から引き離されてタンクに戻されることになり、それは前述したように凝縮して誘電性流体に戻され得る。
【０２１１】
ある実施形態では、コンピューティングシステムが前回の安定状態未満で給電される場合、蒸気状態の誘電性流体の部分は減少することがあり、ある実施形態では、ベローズは誘電性蒸気の減少を調節するように収縮し得る。ある実施形態では、大気をベローズに導入させるバルブは、空気をベローズに導入させて圧力差をさらに減少させるために開放されてもよい。ある実施形態では、大気ではなく窒素が、圧力差を低減するとともに大気からの潜在的な汚染の導入も回避するのに使用されてもよい。
【０２１２】
ある実施形態では、ベローズ及び／又は蒸気回収システムは、完全に又は実質的に受動的であり得る。ある実施形態では、ベローズ及び／又は蒸気回収システムは、コンピューティングシステムの全体にわたって配置された温度、圧力及び／又は電力センサからのセンサデータに基づいて給電及び／又は自動化され得る。
【０２１３】
ある実施形態では、蒸気回収システムを有するコンピューティングシステムは、システムが閉システムでない場合であっても排出のないものとなる。ある実施形態では、大気又は窒素は、誘電性流体を周囲雰囲気に全く又はほとんど放出することなくシステムに導入され、システムから排出され得る。
【０２１４】
例示の実施形態
開示の実施形態は、コンピュータ構成要素及び／又はコンピューティング電力の密度の増加を可能とする。圧力制御容器１１０内の二相液浸冷却されるコンピュータ構成要素１７０を備えるある実施形態では、構成要素は、約１インチ未満、約０．７インチ未満又は約０．５インチ未満だけ相互から離隔され得る。ある実施形態では、個々の構成要素は、約０．３インチ超、約０．５インチ超、約０．７インチ超、約１インチ超、又は約１．５インチ超だけ離隔され得る。
【０２１５】
ある開示の実施形態は、従来的なデータセンタと比較して改善された電力使用効率（ＰＵＥ）を可能とする。開示の実施形態を用いることにより、コンピュータ構成要素１７０を冷却するためのエネルギー使用量の低減を可能とし、それにより、データセンタの総エネルギー使用量が減少し、ＰＵＥが１．０に近づくことになる。ある実施形態は、二相液浸冷却されるコンピュータ構成要素を圧力制御容器１１０内に備えるデータセンタに関し、データセンタは約１．１５未満、約１．１０未満、約１．０８未満又は約１．０５未満のＰＵＥを有する。ある実施形態は、二相液浸冷却されるコンピュータ構成要素を圧力制御容器１１０内に備えるデータセンタに関し、データセンタは約１．０５超、約１．０６超、約１．０８超又は約１．１０超のＰＵＥを有する。
【０２１６】
ある実施形態では、伝熱性凝縮可能な誘電性流体が、二相液浸冷却システムで使用されるように提供される。コンピュータ構成要素は大気圧未満で作動され、それは誘電性流体が気化する温度を低下させ、それにより、標準大気圧と比較して誘電性流体の液相が低温で維持される。コンピュータ構成要素は、それらが動作するにつれて発熱する。発生した熱は、コンピュータ構成要素と接する誘電性液体に伝達され、誘電性液体をガスに気化させる。気体誘電性流体は、凝縮器を用いて凝縮され得る。周囲温度の又は冷却された処理水が、凝縮器に通される。気体誘電性流体が凝縮器によって冷却されると、それは凝縮されて液相に戻り、降下して液体誘電性流体の槽に戻る。
【０２１７】
ある開示の実施形態は、高密度データセンタに関する。従来的なデータセンタは、約１００００平方フィートにわたって分散される約１メガワット（ＭＷ）のコンピューティング電力を含む。ハイエンドなデータセンタは、約６０００平方フィートにわたって分散される１ＭＷのコンピューティング電力を含み得る。開示の実施形態は、二相液浸冷却されるコンピュータ構成要素１７０を圧力制御容器１１０内に備えるデータセンタに関し、データセンタは約３０００平方フィート、約１５００平方フィート、約１０００平方フィート、約８００平方フィート又は約６００平方フィートにわたって分散される約１ＭＷのコンピューティング電力を利用する。ある実施形態では、開示のコンピューティングシステムを含む複数の圧力制御容器が、列状に配置され、中央電源によって給電され得る。ある実施形態では、開示のコンピューティングシステムの複数の実施形態が、相互に直列に接続されてもよい。
【０２１８】
開示の実施形態は、圧力制御容器１１０内に液浸冷却されるコンピュータ構成要素１７０を備え、これにより、構成要素は圧力制御容器によって及び誘電性液体１４０に浸漬されることによって大気汚染から遮断される。ある開示の実施形態は、最小の空気濾過及び／又は洗浄の要件で動作するデータセンタに関する。ある実施形態では、データセンタは、ＨＥＰＡフィルタ若しくはその等価物なしで、ＭＥＲＶ１１フィルタ若しくはその等価物なしで、又はＭＥＲＶ８フィルタ若しくはその等価物なしで動作する。
【０２１９】
開示の実施形態は、圧力制御容器１１０内に液浸冷却されるコンピュータ構成要素１７０を備え、これにより、構成要素は気体の空気によっては冷却されない。開示の実施形態は、冷却ファン及び／又は空気を循環させるための他の類似の装置なしで動作するデータセンタを含む。
【０２２０】
開示の実施形態は、環境配慮型データセンタに関する。ある実施形態では、データセンタは、圧力制御容器１１０内に液浸冷却されるコンピュータ構成要素１７０を備え、冷却処理のためにほとんど又は全く水を消費しない。ある実施形態は、凝縮構造物１３０を冷却して誘電性流体蒸気を誘電性流体液体に凝縮するために、閉回路乾燥冷却タワーを利用して、開示の凝縮構造物１３０を通じて循環される水の温度を低下させる。そのような実施形態は閉ループとして大量の水の投入又は排出なしに動作し、乾燥冷却タワーは気化冷却又は冷却動作のための水の流れに依存しない。あるデータセンタの実施形態は、１日あたり約１００００ガロン未満の水、１日あたり約１０００ガロン未満の水、１日あたり約１００ガロン未満の水、１日あたり約１０ガロン未満の水、１日あたり０ガロンの水を利用及び／又は排出する。あるデータセンタの実施形態は、１日あたり約１００ガロン超の水、１日あたり約１０００ガロン超の水、１日あたり約１００００ガロン超の水を利用及び／又は排出する。
【０２２１】
開示の実施形態は、圧力コントローラ及び／又は真空源に動作可能に接続された圧力制御容器であって、内部及び外部を有し、内部に雰囲気を含むように構成された圧力制御容器と、所定体積の熱伝導性の凝縮可能な誘電性流体と、コンピュータ構成要素を搭載するためのラックであって、コンピュータ構成要素がラックに搭載されると所定体積の熱伝導性誘電性流体内に少なくとも部分的に浸漬されるように配置されたラックと、凝縮構造物とを備え、所定体積の熱伝導性誘電性流体、ラック、コンピュータ構成要素及び凝縮構造物は圧力制御容器内に含まれる、コンピューティングシステムに関する。ある実施形態は、内部を備える圧力制御容器であって、内圧を大気圧未満に低減する圧力コントローラに動作可能に接続されるように構成され、液及び気相において所定体積の熱伝導性の凝縮可能な誘電性流体を備えるように構成された圧力制御容器と、１以上のコンピュータ構成要素が所定体積の熱伝導性の凝縮可能な誘電性流体の液相内に少なくとも部分的に浸漬され得るように配置された１以上のコンピュータ構成要素と、気相誘電性流体を液相誘電性流体に凝縮するための凝縮器とを備える冷却システムに関する。
【０２２２】
ある実施形態では、圧力制御容器は上位構造物内に搭載され、ブレードサーバはコンピューティングシステムの中断なくスワップ可能となるように構成され、圧力制御容器は電源、水供給源及びネットワーキング接続に動作可能に接続され、圧力制御容器は上部の開口及び開口を封止可能に閉じるように構成された蓋を備え、蓋は上昇する蒸気を圧力制御容器の中間部から圧力制御容器の側部に方向付けるように構成され、圧力制御容器は約１００立方フィートと約３００立方フィートの間の内容積を有し、及び／又は圧力制御容器は気体の誘電性流体に対して約１：３と約１：８の間の比の液体の誘電性流体を含む。ある実施形態は、バラストブロック、ブレードサーバ及びブレードサーバシャーシ、ロボットアーム及びエアロックであってエアロックは圧力制御容器内の雰囲気に大きく外乱を与えることなく圧力制御容器内の内部へのアクセスを可能とするように構成されたロボットアーム及びエアロック、並びに／又はパージシステムであって所定体積の熱伝導性誘電性流体から汚染物を除去するように構成されたパージシステムをさらに備える。ある実施形態では、パージシステムは、圧力制御容器から雰囲気の一部分を除去し、雰囲気からいずれかの誘電性流体を凝縮し、いずれかの残余の蒸気を廃棄するように構成される。ある実施形態では、パージシステムは、気体誘電性流体の少なくとも一部分を凝縮し、気体汚染物を廃棄するように構成される。
【０２２３】
ある実施形態は、コンピュータ構成要素を冷却する方法に関し、その方法は、ハウジングを提供するステップであって、ハウジングは熱伝導性の凝縮可能な誘電性流体及び発熱コンピュータ構成要素を含み、ハウジングは少なくともわずかな真空に耐えるように構成された、ステップと、コンピュータ構成要素を動作させるステップであって、コンピュータ構成要素を動作させるステップは熱を生成し、コンピュータ構成要素は誘電性流体と接している、ステップと、ハウジング内に真空を生成するステップであって、ハウジング内の圧力は少なくとも約１大気圧未満である、ステップとを備える。ある実施形態は、ハウジング内の真空を維持するステップであって、コンピュータ構成要素が動作している間にハウジング内の圧力が約１大気圧未満である、ステップと、コンピュータ構成要素によって生成される熱を用いて誘電性流体を液体状態から気体状態に気化するステップと、凝縮器を用いて誘電性流体を気体状態から液体状態に凝縮するステップと、誘電性流体から直ちには凝縮可能でない液体を除去するステップとをさらに備える。ある実施形態では、及び／又はシステムの動作中にコンピュータ構成要素の部分を交換する。特定の実施形態では、非凝縮性流体を除去するステップは、気体雰囲気の一部分をハウジング内から遮断するステップと、いずれかの誘電性流体を気体雰囲気から凝縮するステップと、凝縮された誘電性流体をハウジングに戻すステップと、気体雰囲気のいずれかの残余の部分を廃棄するステップとを備え、及び／又はハウジングが対流を生成するように構成される。
【０２２４】
ある実施形態は、熱伝導性の誘電性流体と接しているコンピュータ構成要素を大気圧未満で動作させるステップを備えるコンピュータ構成要素を冷却する方法に関する。ある実施形態は、誘電性流体を気化するステップと、誘電性流体を大気圧未満で凝縮するステップとをさらに備える。
【０２２５】
ある実施形態は、コンピュータ構成要素を冷却する方法に関し、その方法は、熱伝導性の凝縮可能な誘電性流体を液及び気相で供給するステップと、熱伝導性の凝縮可能な誘電性流体の存在下で、液相の熱伝導性の凝縮可能な誘電性流体と少なくとも部分的に接しているコンピュータ構成要素を大気圧未満の圧力で動作させるステップとを備える。ある実施形態は、コンピュータ構成要素を動作させることによって生成される熱の少なくとも一部分を用いて誘電性流体を液相から気相に気化するステップと、誘電性流体の少なくとも一部分を気相から液相に凝縮するステップと、誘電性流体から直ちに凝縮可能でない流体の少なくとも一部分を除去するステップと、及び／又は当該コンピュータ構成要素が動作している間に少なくとも１以上のコンピュータ構成要素を交換するステップとをさらに備える。
【０２２６】
ある実施形態は、コンピュータ構成要素を冷却する方法に関し、その方法は、コンピュータ構成要素を大気圧未満少なくとも１ｐｓｉで動作させるステップを備え、コンピュータ構成要素は熱伝導性の誘電性流体と少なくとも部分的に接しており、誘電性流体の沸点は約８０℃未満である。ある実施形態は、コンピュータ構成要素が約８０℃を超えないような条件で誘電性流体を凝縮するステップをさらに備える。
【０２２７】
種々の開示の実施形態は、ここに記載されていない場合でも構成要素の一部又は全部を含み得ることが理解されるはずである。特定の構成要素及びその特性は、各特定の実施形態の特性に基づいて調整され得る。変形例は、より高い又はより低い密度の電力、冷却及びネットワーク接続システム、圧力管理システム、蒸気管理システムの使用、並びに特化された機器及び構成要素の選択を含み得る。
【０２２８】
上記説明から、当業者はこの開示の本質的特徴を容易に確認することができ、その主旨及び範囲から逸脱することなく、本開示を種々の使用及び条件に適合させる種々の変化及び変形を行うことができる。上述した実施形態は、例示のためのものにすぎず、本開示の範囲の限定と解釈されるべきではない。
【０２２９】
浸漬冷却の処理
１．方法であって、
コンピュータ構成要素を熱伝導性の凝縮可能な誘電性流体に少なくとも部分的に浸漬するステップであって、
前記コンピュータ構成要素は、ラックから電力を受けるためのバックプレーンを備えるシャーシに搭載され、
前記コンピュータ構成要素は、前記コンピュータ構成要素が動作する際に前記誘電性流体に熱を消散するように構成される、
ステップと、
凝縮器を用いて、気相の前記誘電性流体を液相の前記誘電性流体に凝縮するステップと
を備え、前記ラックは、タンクの内圧を低下又は上昇させる圧力コントローラを備える前記タンク内にある、方法。
２．前記タンクは、空間の各平方フィートにわたって分散された少なくとも３００Ｗのコンピューティング電力のコンピューティング電力密度を有する、実施形態１の方法。
３．ロボットを用いて前記ラックから前記シャーシを除去するステップをさらに備え、前記ロボットは前記タンク内に位置する、実施形態１の方法。
４．前記ロボットを用いて、前記シャーシをエアロックに搬送するステップをさらに備え、前記エアロックは、前記タンク内の圧力に大きく外乱を与えることなく前記タンクの内部へのアクセスを可能とするように構成された、実施形態３の方法。
５．前記エアロックの内側ドアを開放するステップと、
前記シャーシを前記エアロックに配置するステップと、
前記エアロックの前記内側ドアを閉じるステップと、
前記エアロックの圧力を大気圧と等しくするステップと、
前記エアロックの外側ドアを開放するステップと
をさらに備える実施形態４の方法。
６．前記ロボットを用いて、前記シャーシをマガジンに格納するステップをさらに備える実施形態３の方法。
７．前記マガジンは、支持部材、回転部材及びレールを含むプラットフォーム上に位置する、実施形態６の方法。
８．前記ロボットは、前記シャーシを除去、交換又は設置するように構成されたガントリーロボットである、実施形態３の方法。
９．前記ガントリーロボットが、水平面で移動し、鉛直に降下するように構成された、実施形態８の方法。
１０．前記ロボットが、配電システムの構成要素を除去、交換又は設置するように構成された、実施形態９の方法。
１１．前記ロボットは、前記シャーシを把持するための把持ツールを含む、実施形態１０の方法。
１２．前記タンクが、複数のタンクを含む上位構造物内に搭載された、実施形態１の方法。
１３．前記誘電性流体から汚染物を除去するステップをさらに備える実施形態１の方法。
１４．気体汚染物を除去するステップをさらに備える実施形態１の方法。
１５．電力、ネットワーク接続及び処理流体を前記タンクに供給するステップをさらに備える実施形態１の方法。
１６．前記タンクは、上部の開口部及び除去可能な蓋を備える、実施形態１の方法。
１７．前記タンクは、約１００立方フィートと約３００立方フィートの間の内容積を備える、実施形態１の方法。
１８．前記シャーシは、ヒートシンク及びファンを含まない、実施形態１の方法。
１９．前記シャーシは、ブレードサーバ、プロセッサ、電源又はインターフェースカードを含む、実施形態１の方法。
２０．前記バックプレーンは、１Ｇ又は１０Ｇイーサネットインターフェースへの接続のためのＣａｔ６Ａ又はＣａｔ７互換ＲＪ４５インターフェースであるインターフェースカードに電気的に接続される、実施形態１９の方法。
【０２３０】
浸漬冷却のための容器設計及び構成
１．装置であって、
熱伝導性の凝縮可能な誘電性流体を保持するように構成されたタンクと、
前記タンクの内圧を低下又は上昇させる圧力コントローラと、
前記誘電性流体内に少なくとも部分的に浸漬されたラックと、
気相の前記誘電性流体を凝縮するための凝縮器と、
前記ラック内のシャーシを移動させるように構成されたロボットと
を備える装置。
２．前記装置は、複数のフォークリフトチューブを備えるモジュール式スキッドを備える、実施形態１の装置。
３．前記タンクは、空間の各平方フィートにわたって分散された少なくとも３００Ｗのコンピューティング電力のコンピューティング電力密度を有する、実施形態１の装置。
４．前記装置の外部は、電力入力部及び通信入力部を含む、実施形態１の装置。
５．前記電力入力部及び前記通信入力部は、ボックスに電気的に接続され、
前記ボックスは、複数の配線を用いて前記電力入力部及び前記通信入力部を前記ラックに分配する、実施形態４の装置。
６．前記ラックは、電力及び通信信号を前記シャーシに分配するように構成されたバックプレーン受信機を含む、実施形態５の装置。
７．前記シャーシは、
前記ラックの前記バックプレーン受信機から前記電力及び前記通信信号を受信し、
前記電力及び前記通信信号を前記シャーシ内のコンピュータ構成要素に分配する
ように構成されたバックプレーンを含む、実施形態６の装置。
８．前記複数の配線は、プラスチック絶縁物を含まない、実施形態５の装置。
９．前記ラックは、トランスを含む、実施形態５の装置。
１０．前記装置は積載可能である、実施形態１の装置。
１１．前記装置は、交換構成要素の格納のためのマガジンを備える、実施形態１の装置。
１２．前記ロボットが、前記シャーシを前記ラックから除去し、該シャーシを前記マガジンに配置するように構成された、実施形態１１の装置。
１３．前記マガジンは、回転部材、支持部材及びレールを含むプラットフォーム上に位置する、実施形態１２の装置。
１４．前記プラットフォームが、前記マガジンを前記装置の外部に誘導するように構成された、実施形態１３の装置。
１５．前記装置は、前記装置から水蒸気汚染物を除去するように構成された乾燥剤を含む、実施形態１の装置。
１６．溜め領域と、
ポンプと、
フィルタと
をさらに備え、前記ポンプが、前記誘電性流体を前記タンクの槽部分に搬送する前に、前記誘電性流体を前記溜め領域から除去し、前記誘電性流体を前記フィルタに通すように構成された、実施形態１の装置。
１７．前記誘電性流体は、２０℃〜１００℃の範囲内に沸点を有する、実施形態１の装置。
１８．前記誘電性流体は、（ＣＦ３）２ＣＦＣＦ２ＯＣＨ３、Ｃ４Ｆ９ＯＣＨ３若しくはＣＦ３ＣＦ２ＣＦ２ＣＦ２ＯＣＨ３の式の化学物質、ハイドロフルオロエーテル、又はメトキシ−ノナフルオロブタンを含む、実施形態１の装置。
１９．前記装置の蓋又はドアのいずれかが固定されない場合に前記装置が動作することを防止するロックをさらに備える実施形態１の装置。
２０．前記蓋又は前記ドアへの不正なアクセスがあった場合に前記装置を電源遮断するように構成されたコントローラをさらに備える実施形態１９の装置。
【０２３１】
浸漬冷却のためのロボット及び自動化
１．装置であって、
熱伝導性の凝縮可能な誘電性流体を保持するように構成されたタンクと、
前記タンクの内圧を低下又は上昇させる圧力コントローラと、
前記誘電性流体内に少なくとも部分的に浸漬されたコンピュータ構成要素と、
気相の前記誘電性流体を凝縮するための凝縮器と、
前記コンピュータ構成要素を取り出すように構成されたロボットと
を備える装置。
２．エアロックをさらに備える実施形態１の装置。
３．前記エアロックは、内側ドア及び外側ドアを含む、実施形態２の装置。
４．前記エアロックが、前記外側ドアが開放される前に前記気相の前記誘電性流体をパージする不活性ガスを受容するように構成された、実施形態３の装置。
５．前記ロボットは、前記タンク外に位置する、実施形態３の装置。
６．前記ロボットは、前記タンク内に位置する、実施形態３の装置。
７．前記ロボットが、前記コンピュータ構成要素をラックから除去し、該コンピュータ構成要素を前記エアロックに搬送するように構成された、実施形態６の装置。
８．前記ロボットが、さらに、
前記エアロックの前記内側ドアを開放し、
前記コンピュータ構成要素を前記エアロックに配置し、
前記エアロックの前記内側ドアを閉じ、
前記エアロックの圧力を大気圧と等しくし、
前記エアロックの前記外側ドアを開放する
ように構成された、実施形態７の装置。
９．前記タンク外に位置する第２のロボットをさらに備える実施形態８の装置。
１０．前記第２のロボットが、前記外側ドアが開放される際に前記コンピュータ構成要素を前記エアロックから除去するように構成された、実施形態９の装置。
１１．前記第２のロボットが、前記コンピュータ構成要素を格納スロット内に配置するように構成された、実施形態９の装置。
１２．前記エアロックが、前記外側ドアが閉じられた後に前記エアロックの圧力を等しくするように構成された、実施形態９の装置。
１３．前記装置が、該装置の外部に位置するサーバから命令を受信するように構成された、実施形態１の装置。
１４．前記コンピュータ構成要素が、アセットタグを示すシャーシ内に位置する、実施形態１の装置。
１５．前記ロボットが、前記アセットタグをスキャンし、該アセットタグを管理システムに中継するように構成された、実施形態１４の装置。
１６．前記ロボットは、前記コンピュータ構成要素を除去、交換又は設置するように構成されたガントリーロボットである、実施形態１の装置。
１７．前記ガントリーロボットが、水平及び鉛直に移動するように構成された、実施形態８の装置。
１８．前記ロボットが、配電システムの構成要素を除去、交換又は設置するように構成された、実施形態１の装置。
１９．前記配電システムの前記構成要素は、トランス又は電源である、実施形態１８の装置。
２０．前記ロボットは、前記コンピュータ構成要素を把持するための把持ツールを含む、実施形態１の装置。
【０２３２】
浸漬冷却のためのバラストブロック
１．装置であって、
タンクであって、
熱伝導性の凝縮可能な誘電性流体及びコンピュータ構成要素を保持するための槽部分と、
少なくとも１つのバラストブロックを保持するように構成された棚部分と
を備えるタンクと、
前記タンクの内圧を低下又は上昇させる圧力コントローラと、
気相の前記誘電性流体を凝縮するための凝縮器と、
前記コンピュータ構成要素を取り出すように構成されたロボットと
を備える装置。
２．前記槽部分の底部点が、前記棚部分の高さよりも低い高さを有する、実施形態１の装置。
３．前記槽部分が、前記誘電性流体に前記コンピュータ構成要素が少なくとも部分的に浸漬されるように構成された、実施形態１の装置。
４．前記コンピュータ構成要素は、ブレードサーバ、プロセッサ、電源又はトランスである、実施形態３の装置。
５．前記誘電性流体の高さが、前記棚部分の少なくとも一部分を覆うのに充分な高さである、実施形態１の装置。
６．前記棚部分が、前記凝縮器の隣にある、実施形態１の装置。
７．前記棚部分が、凝縮された誘電性流体を前記凝縮器から受けるように構成された、実施形態６の装置。
８．前記バラストブロックが、前記誘電性流体を前記棚から前記槽部分上の領域に排除するように前記棚上の前記タンクの体積を占有するように構成された、実施形態１の装置。
９．前記バラストブロックは、前記誘電性流体が前記バラストブロックの下を流れることを可能とするための複数のライザーフィートを含む、実施形態１の装置。
１０．前記バラストブロックは、前記誘電性流体において可溶性でない、実施形態１の装置。
１１．前記バラストブロックは、金属、ゴム、シリコーン又はポリマーからなる、実施形態１の装置。
１２．前記バラストブロックは、前記誘電性流体よりも高密度である、実施形態１の装置。
１３．前記バラストブロックは、前記バラストブロックの除去又は交換のためのハンドル、切欠き又はプレートを有する、実施形態１の装置。
１４．前記ロボットが、前記ハンドル、前記切欠き又は前記プレートを用いて前記バラストブロックを持ち上げるように構成された、実施形態１３の装置。
１５．前記バラストブロックが、当該バラストブロックの上側又は底側から他のバラストブロックとインターロックするように構成された、実施形態１の装置。
１６．前記インターロックは、前記他のバラストブロックがスライドすることを防止する、実施形態１５の装置。
１７．前記他のバラストブロックが、当該バラストブロックの前記上側又は前記底側に存在するように構成された、実施形態１５の装置。
１８．当該バラストブロックが当該バラストブロックの前記上側に凹部を備え、それにより、前記他のバラストブロックのライザーフィートが当該バラストブロックの前記凹部の１つにロックするように構成される、実施形態１５の装置。
１９．前記バラストブロックが、前記棚部分の全長の少なくとも４０％にわたるように構成された、実施形態１の装置。
２０．前記バラストブロックは、長さ約２フィート、幅約８インチ及び高さ約１インチの外寸を有する、実施形態１の装置。
【０２３３】
浸漬冷却のためのサーバケース
１．装置であって、
熱伝導性の凝縮可能な誘電性流体を保持するように構成されたタンクと、
前記タンクの内圧を低下又は上昇させる圧力コントローラと、
前記誘電性流体内に少なくとも部分的に浸漬されたシャーシと、
気相の前記誘電性流体を凝縮するための凝縮器と、
前記シャーシを取り出すように構成されたロボットと
を備える装置。
２．前記シャーシは、ヒートシンク及びファンを必要としない、実施形態１の装置。
３．前記シャーシは、ブレードサーバを含む、実施形態１の装置。
４．前記シャーシは、プロセッサ、電源又はインターフェースカードを含む、実施形態１の装置。
５．前記インターフェースカードは、１Ｇ又は１０Ｇイーサネットインターフェースへの接続のためのＣａｔ６Ａ又はＣａｔ７互換ＲＪ４５インターフェースである、実施形態４の装置。
６．前記シャーシは、ラックに取外し可能に取り付けられる、実施形態１の装置。
７．前記シャーシは、該シャーシと前記ラックの間のスロットイン型インターフェースを提供するバックプレーンを含む、実施形態６の装置。
８．前記バックプレーンが、前記シャーシ内で前記ラックから受信した電力及び信号を分配するように構成された、実施形態７の装置。
９．前記バックプレーンが、電力及びデータをブレードサーバにケーブルを介して送信するように構成された、実施形態８の装置。
１０．前記シャーシは、背面壁及び２枚の側壁を備える略矩形のボックスであり、前記背面壁は、前記シャーシ内の前記誘電性流体の循環を促進する複数の孔を有する、実施形態１の装置。
１１．前記シャーシは、前記２枚の側壁の各々にガイドレールを備える、実施形態１０の装置。
１２．前記シャーシは、コンピュータ構成要素を保持するための搭載インターフェースを備える、実施形態１の装置。
１３．前記シャーシはプレーンを備え、前記ロボットが前記プレートを用いて前記シャーシを持ち上げるように構成された、実施形態１の装置。
１４．前記シャーシは、マイクロコントローラを含む、実施形態１の装置。
１５．前記マイクロコントローラが、
前記シャーシ上に搭載されたセンサから、前記シャーシがラックに適切に配置されているかを示すセンサデータを受信し、
前記センサデータを管理システムに送信する
ように構成された、実施形態１４の装置。
１６．前記マイクロコントローラが、
管理システムから電力信号を受信し、
前記シャーシ内の前記電力を遮断するように構成されたスイッチに前記電力信号を送信する
ように構成された、実施形態１４の装置。
１７．前記マイクロコントローラが、
前記シャーシ内に搭載されたコンピュータ構成要素から動作データを受信し、
前記動作データを前記管理システムに送信する
ように構成された、実施形態１４の装置。
１８．前記マイクロコントローラが、ブレードサーバの電気及び通信設備を制御するように構成された、実施形態１４の装置。
１９．前記シャーシは、ＲＦＩＤタグを備える、実施形態１の装置。
２０．前記ロボットが、前記ＲＦＩＤタグをスキャンし、信号を管理システムに送信するように構成された、実施形態１９の装置。
【０２３４】
ベローズを用いた浸漬冷却のための蒸気管理
１．装置であって、
熱伝導性の凝縮可能な誘電性流体及びコンピュータ構成要素を保持するように構成されたタンクと、
前記タンクの内圧を低下又は上昇させる圧力コントローラと、
気相の前記誘電性流体を凝縮するための蒸気管理システムと、
前記コンピュータ構成要素を取り出すように構成されたロボットと
を備える装置。
２．前記蒸気管理システムは、前記タンク内に凝縮構造物を含む、実施形態１の装置。
３．前記凝縮構造物は、熱伝導性チューブ、コイル及び放熱フィンを含む、実施形態２の装置。
４．前記凝縮構造物が、冷却液が前記凝縮構造物を通過するように、前記冷却液の供給源に結合されるように構成された、実施形態２の装置。
５．前記装置が、気化冷却又は乾燥冷却タワーを用いて前記冷却液を冷却するように構成された、実施形態２の装置。
６．前記蒸気管理システムは、取込パイプ及び排出パイプを含む、実施形態２の装置。
７．前記取込パイプが、冷却された冷却液供給源から冷却液を受け、該冷却液を前記凝縮構造物に誘導するように構成された、実施形態６の装置。
８．前記排出パイプが、前記凝縮構造物から冷却液を受け、該冷却液を前記冷却された冷却液供給源に戻すように構成された、実施形態６の装置。
９．前記蒸気管理システムは、前記誘電性流体の貯蔵のための貯蔵ユニットを含む、実施形態１の装置。
１０．前記蒸気管理システムが、前記誘電性流体を前記貯蔵ユニットから前記タンクに方向付けるように構成された、実施形態９の装置。
１１．前記蒸気管理システムは、前記誘電性流体の蒸気の貯蔵のための蒸気貯蔵ユニットを含む、実施形態１の装置。
１２．前記蒸気貯蔵ユニットはベローズである、実施形態１１の装置。
１３．前記ベローズが、前記タンクの前記内圧を維持するように膨張又は収縮するように構成された、実施形態１２の装置。
１４．前記ベローズは、１以上のパウチを備える、実施形態１２の装置。
１５．前記蒸気貯蔵ユニットは、前記蒸気管理システムへの空気の導入を可能として前記誘電性流体の前記蒸気の温度を低下させるためのバルブを備える、実施形態１１の装置。
１６．前記蒸気貯蔵ユニットが、前記誘電性流体蒸気を空気から分離するカーボンベッドに動作可能に接続された、実施形態１５の装置。
１７．前記カーボンベッドは、該カーボンベッドを加熱して該カーボンベッドの温度を上昇させるように構成された脱着ヒータを備える、実施形態１６の装置。
１８．前記蒸気管理システムは、フィルタを備える、実施形態１の装置。
１９．前記フィルタが、空気及び水蒸気を除去するように構成された、実施形態１７の装置。
２０．前記蒸気管理システムは、
不活性ガス貯蔵ユニットを備え、
起動動作又はシャットダウン動作中に前記不活性ガス貯蔵ユニットから前記タンクに不活性ガスを投入するように構成された、実施形態１の装置。
【図１】
2022501728.tif 000003
【図２】
2022501728.tif 000004
【図３】
2022501728.tif 000005
【図４】
2022501728.tif 000006
【図５】
2022501728.tif 000007
【図６】
2022501728.tif 000008
【図７−１】
2022501728.tif 000009
【図７−２】
2022501728.tif 000010
【図８Ａ】
2022501728.tif 000011
【図８Ｂ】
2022501728.tif 000012
【図８Ｃ】
2022501728.tif 000013
【図９Ａ】
2022501728.tif 000014
【図９Ｂ】
2022501728.tif 000015
【図９Ｃ】
2022501728.tif 000016
【図９Ｄ】
2022501728.tif 000017
【図９Ｅ】
2022501728.tif 000018
【図９Ｆ】
2022501728.tif 000019
【図９Ｇ】
2022501728.tif 000020
【図１０Ａ】
2022501728.tif 000021
【図１０Ｂ】
2022501728.tif 000022
【図１０Ｃ】
2022501728.tif 000023
【図１０Ｄ】
2022501728.tif 000024
【図１０Ｅ】
2022501728.tif 000025
【図１０Ｆ】
2022501728.tif 000026
【図１１】
2022501728.tif 000027
【図１２Ａ】
2022501728.tif 000028
【図１２Ｂ】
2022501728.tif 000029
【図１２Ｃ】
2022501728.tif 000030
【図１２Ｄ】
2022501728.tif 000031
【図１２Ｅ】
2022501728.tif 000032
【図１３】
2022501728.tif 000033
【図１４】
2022501728.tif 000034
【図１５Ａ】
2022501728.tif 000035
【図１５Ｂ】
2022501728.tif 000036
【図１５Ｃ】
2022501728.tif 000037
【図１５Ｄ】
2022501728.tif 000038
【図１６】
2022501728.tif 000039
【図１７】
2022501728.tif 000040
【国際調査報告】
2022501728.tif 000041