(57)【要約】  冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の収納部に収納可能なように構成され、一対の基板群を含む。各基板群は、第１の回路基板であって、少なくとも１つのプロセッサ及び複数のメインメモリを基板の一の面に実装する、第１の回路基板と、複数のコプロセッサであって、各コプロセッサは断面矩形状の筐体と、電気的接続端とを有する、コプロセッサと、第１の回路基板と複数のコプロセッサとの間を電気的に接続するコネクタとを含む。各コプロセッサの電気的接続端がコネクタに挿入されたときの、第１の回路基板の一の面と各コプロセッサの筐体底面との距離Ｈ１は、プロセッサの高さ及び複数のメインメモリの高さよりも長く、また、一の基板群の第１の回路基板の一の面と、他方の基板群の各コプロセッサの筐体上面との距離Ｈ２を短くする方向に、第１の回路基板を背面側にして一対の基板群が組み合わせられてなる。
2017199314.tif 000002
【特許請求の範囲】
【請求項１】
冷却装置内の冷却液中に浸漬されて直接冷却される電子機器であって、
前記電子機器は、冷却装置の収納部に収納可能なように構成され、
前記電子機器は、一対の基板群を含み、
各基板群は、
第１の回路基板であって、少なくとも１つのプロセッサ及び複数のメインメモリを基板の一の面に実装する、第１の回路基板と、
複数のコプロセッサであって、各コプロセッサは断面矩形状の筐体と、電気的接続端とを有する、コプロセッサと、
前記第１の回路基板と前記複数のコプロセッサとの間を電気的に接続するコネクタと、
を含み、
各コプロセッサの前記電気的接続端が前記コネクタに挿入されたときの、前記第１の回路基板の一の面と各コプロセッサの筐体底面との距離Ｈ１は、前記プロセッサの高さ及び前記複数のメインメモリの高さよりも長く、
一の基板群の第１の回路基板の一の面と、他方の基板群の各コプロセッサの筐体上面との距離Ｈ２を短くする方向に、前記第１の回路基板を背面側にして前記一対の基板群が組み合わせられてなる、電子機器。
【請求項２】
前記第１の回路基板の幅Ｗと、前記一の基板群の第１の回路基板の一の面と他方の基板群の第１の回路基板の一の面との距離Ｌとの比が、Ｗ：Ｌ＝１：１．５〜１．５：１である、請求項１に記載の電子機器。
【請求項３】
前記第１の回路基板を背面側にして前記一対の基板群が組み合わせられたときの、一の基板群の第１の回路基板の一の面と、他方の基板群の各コプロセッサの筐体上面との距離Ｈ２は、前記距離Ｈ１以下である、請求項１に記載の電子機器。
【請求項４】
各基板群が、前記第１の回路基板と前記複数のコプロセッサと前記コネクタのセットを複数含む、請求項１に記載の電子機器。
【請求項５】
前記複数のコプロセッサが、ＧＰＵ（Graphics Processing Unit）又はＧＰＧＰＵ（General Purpose computing on GPU）である、請求項１、２又は３のいずれかに記載の電子機器。
【請求項６】
前記コネクタが、入出力インターフェースのコネクタである、請求項１、２又は３のいずれかに記載の電子機器。
【請求項７】
前記複数のコプロセッサが前記第１の回路基板の一の面に櫛状に配置されている一対の基板群が組み合わせられる、請求項１、２又は３のいずれかに記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は電子機器に係り、特に、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器に関するものである。本明細書において電子機器とは、一般に、スーパーコンピュータやデータセンター等の超高性能動作や安定動作が要求され、かつそれ自体からの発熱量が大きな電子機器をいうが、これに限定されるものではない。
【背景技術】
【０００２】
近年のスーパーコンピュータの性能の限界を決定する最大の課題の一つは消費電力であり、スーパーコンピュータの省電力性に関する研究の重要性は、既に広く認識されている。すなわち、消費電力当たりの速度性能（Ｆｌｏｐｓ／Ｗ）が、スーパーコンピュータを評価する一つの指標となっている。また、データセンターにおいては、データセンター全体の消費電力の４５％程度を冷却に費やしているとされ、冷却効率の向上による消費電力の削減の要請が大きくなっている。【０００３】
スーパーコンピュータやデータセンターの冷却には、従来から空冷式と液冷式が用いられている。液冷式は、空気より格段に熱伝達性能の優れる液体を用いるため、一般的に冷却効率がよいとされている。特に、フッ化炭素系冷却液を用いる液浸冷却システムは、合成油を用いるものに比べて電子機器のメンテナンス（具体的には、例えば調整、点検、修理、交換、増設。以下同様）に優れる等の利点を有しており、近年注目されている。【０００４】
本発明者は、小規模液浸冷却スーパーコンピュータ向けの、小型で冷却効率の優れた液浸冷却装置をすでに開発している。当該装置は、高エネルギー加速器研究機構に設置されている小型スーパーコンピュータ「Ｓｕｉｒｅｎ」に適用され、運用されている（非特許文献１）。【０００５】
また、本発明者は、液浸冷却される電子機器における実装密度を大幅に高めることのできる、改良された液浸冷却装置を提案している（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】「液浸冷却小型スーパーコンピュータ「ExaScaler-1」が、25%を超える性能改善により最新のスパコン消費電力性能ランキング「Green500」の世界第一位相当の値を計測」、２０１５年３月３１日、プレスリリース、株式会社ExaScaler他、URL:http://www.exascaler.co.jp/wp-content/uploads/2015/03/20150331.pdf
【非特許文献２】「Exa級の高性能機を目指し半導体・冷却・接続を刷新（上）」、日経エレクトロニクス２０１５年７月号、pp.９９−１０５、２０１５年６月２０日、日経ＢＰ社発行
【発明の概要】
【発明が解決しようとする課題】
【０００７】
液浸冷却装置に適用される電子機器において、限られた体積内に複数のプロセッサ及び複数のコプロセッサを搭載して、演算能力と実装密度をより一層高めることのできる、複数のプロセッサ及び複数のコプロセッサによる演算を主体とする新構成の電子機器を開発することが望まれている。【０００８】
また、液浸冷却装置に適用される電子機器において、実装密度をより一層高めてもなお、電子機器のメンテナンス性に優れている、複数のプロセッサ及び複数のコプロセッサによる演算を主体とする新構成の電子機器を開発することが望まれている。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明によれば、冷却装置内の冷却液中に浸漬されて直接冷却される電子機器は、冷却装置の収納部に収納可能なように構成され、
前記電子機器は、一対の基板群を含み、
各基板群は、
第１の回路基板であって、少なくとも１つのプロセッサ及び複数のメインメモリを基板の一の面に実装する、第１の回路基板と、
複数のコプロセッサであって、各コプロセッサは断面矩形状の筐体と、電気的接続端とを有する、コプロセッサと、
前記第１の回路基板と前記複数のコプロセッサとの間を電気的に接続するコネクタと、
を含み、
各コプロセッサの前記電気的接続端が前記コネクタに挿入されたときの、前記第１の回路基板の一の面と各コプロセッサの筐体底面との距離Ｈ１は、前記プロセッサの高さ及び前記複数のメインメモリの高さよりも長く、
一の基板群の第１の回路基板の一の面と、他方の基板群の各コプロセッサの筐体上面との距離Ｈ２を短くする方向に、前記第１の回路基板を背面側にして前記一対の基板群が組み合わせられてなる。【００１０】
本発明に係る電子機器の好ましい実施の形態において、前記第１の回路基板の幅Ｗと、前記一の基板群の第１の回路基板の一の面と他方の基板群の第１の回路基板の一の面との距離Ｌとの比が、Ｗ：Ｌ＝１：１．５〜１．５：１であるとよい。【００１１】
本発明に係る電子機器の好ましい実施の形態において、前記第１の回路基板を背面側にして前記一対の基板群が組み合わせられたときの、一の基板群の第１の回路基板の一の面と、他方の基板群の各コプロセッサの筐体上面との距離Ｈ２は、前記距離Ｈ１以下であるとよい。【００１２】
本発明に係る電子機器の好ましい実施の形態において、各基板群が、前記第１の回路基板と前記複数のコプロセッサと前記コネクタのセットを複数含むとよい。【００１３】
本発明に係る電子機器の好ましい実施の形態において、前記複数のコプロセッサが、ＧＰＵ（Graphics Processing Unit）又はＧＰＧＰＵ（General Purpose computing on GPU）であるとよい。【００１４】
また、本発明に係る電子機器の好ましい実施の形態において、前記コネクタが、入出力インターフェースのコネクタであるとよい。【００１５】
本発明に係る電子機器の好ましい実施の形態において、前記複数のコプロセッサが前記第１の回路基板の一の面に櫛状に配置されている一対の基板群が組み合わせられるとよい。【００１６】
上記した本発明の目的及び利点並びに他の目的及び利点は、以下の実施の形態の説明を通じてより明確に理解される。もっとも、以下に記述する実施の形態は例示であって、本発明はこれに限定されるものではない。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る電子機器の正面図である。
【図２】本発明の一実施形態に係る電子機器の底面図である。
【図３】本発明の一実施形態に係る電子機器における基板群を示す図である。
【図４】本発明の一実施形態に係る電子機器における、２セットの基板群を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明に係る電子機器の好ましい実施の形態を、図面に基づいて詳細に説明する。
図１は、本発明の一実施形態に係る電子機器１００の正面図、図２は底面図である。電子機器１００は、冷却装置（図示せず）内の冷却液中に浸漬されて直接冷却される電子機器であり、冷却装置の収納部（図示せず）に収納可能なように構成されている。電子機器１００は、収納部に設けられた一対のボードリテーナ（図示せず）により保持されるベースボード１１０と、ベースボード１１０を挟んで位置する一対の基板群１２０を含んでいる。
【００１９】
図示の例では、各基板群１２０は、第１の回路基板１２１と、複数のコプロセッサ１２２と、第１の回路基板１２１と複数のコプロセッサ１２２との間を電気的に接続するコネクタ１３１を含む。第１の回路基板１２１の各々は、１個のプロセッサ１２４及び８個のメインメモリ１２５を実装する。基板群１２０は、第１の回路基板１２１と、複数のコプロセッサ１２２と、コネクタ１３１のセットを２セット含んでおり、２個のプロセッサ間を相互接続するコンポーネント（図示せず）を含む。第１の回路基板１２１と、複数のコプロセッサ１２２と、コネクタ１３１のセット同士は、図４に示すように、コネクタ１３５によって電気的に接続されている。なお、第１の回路基板１２１の数、プロセッサ１２４の数、及びメインメモリ１２５の数、並びにこれらのセットの数は、あくまで例示であり、特定の数に限定しない。また、プロセッサ間相互接続用コンポーネントは、例えば、インテル社のＱＰＩ（QuickPath Interconnect）であるとよい。加えて、コネクタ１３１は、入出力インターフェース（例えば、ＰＣＩエクスプレス）のコネクタでよい。
【００２０】
図示の例において、基板群１２０の第１の回路基板１２１は、第２の回路基板１２３に接続されている。第２の回路基板１２３は、ネットワークコントローラチップ及びネットワークケーブルソケットを有する。また、第１の回路基板１２１と第２の回路基板１２３との間はコネクタ１３３によって電気的に接続されている。
【００２１】
また、図示の例において、基板群１２０の各々の上方には、ベースボード１１０の第１の面、及び第１の面と反対側の第２の面にそれぞれ、２つのスロット１３４が、ベースボード１１０に並列に取り付けられている。そして、４つのスロット１３４の各々には、電源ユニットが収納可能なように構成されている。
【００２２】
なお、各スロットの底部には、電源ユニットと第１の回路基板１２１とを電気的に接続するコネクタ１３２のソケットが設けられている。
【００２３】
本実施形態において、プロセッサ１２４とメインメモリ１２５が搭載された第１の回路基板１２１の一の面と、第１の回路基板１２１の一の面と反対の面を流通する冷却液が、プロセッサ１２４から、熱を速やかにかつ効率よく奪い取る。プロセッサの冷却効率を向上させるために、プロセッサ１２４の表面に放熱部材（例えば、ヒートシンク）を熱的に接続してよい。
【００２４】
図示のように、複数のコプロセッサ１２２の各々は、断面矩形状の筐体と、電気的接続端１２２１とを有する。コプロセッサ１２２は、ＧＰＵ（Graphics Processing Unit）又はＧＰＧＰＵ（General Purpose computing on GPU）であるとよいが、これらに限定するものではない。なお、ベースボード１１０には、複数のコプロセッサ１２２を貫通させることのできる大きさの開口部が、２カ所形成されている。図１及び図４に示す例において、４個のコプロセッサがベースボード１１０の各開口部を貫通している。
【００２５】
本実施形態においては、特に、各コプロセッサ１２２の電気的接続端１２２１がコネクタ１３１に挿入されたときの、第１の回路基板１２１の一の面と各コプロセッサ１２２の筐体底面１２２３との距離Ｈ１は、プロセッサ１２４の高さ（放熱部材をさらに有するときは、プロセッサと放熱部材を含めた高さ）及び複数のメインメモリ１２５の高さ（ｈ）よりも長く設定されている。そして、一の基板群１２０の第１の回路基板１２１の一の面と、他方の基板群１２０の各コプロセッサ１２２の筐体上面との距離Ｈ２を短くする方向に、第１の回路基板１２１を背面側にして一対の基板群１２０が組み合わせられてなる。ここで、第１の回路基板１２１を背面側にして一対の基板群１２０が組み合わせられたときの、第１の回路基板１２１の幅Ｗと、一の基板群１２０の第１の回路基板１２１の一の面と他方の基板群１２０の第１の回路基板１２１の一の面との距離Ｌとの比が、Ｗ：Ｌ＝１：１．５〜１．５：１であるとよく、これにより、組み合わせられた一対の基板群１２０の断面形状が、正方形かそれに近い四角形をなすよう構成できる。
【００２６】
加えて、第１の回路基板１２１を背面側にして一対の基板群１２０が組み合わせられたときの、一の基板群１２０の第１の回路基板１２１の一の面と、他方の基板群１２０の各コプロセッサ１２２の筐体上面１２２４との距離Ｈ２は、距離Ｈ１以下であるとより好ましい。但し、各コプロセッサ１２２の筐体上面１２２４が、プロセッサ１２４又はメインメモリ１２５に接触するまで、一対の基板群１２０を接近させる必要は無い。
【００２７】
プロセッサの個数とコプロセッサの個数の比は、本実施形態におけるように、プロセッサ１個に対してコプロセッサ２個が好ましいが、これに限定しない。コプロセッサの筐体サイズは、特にＧＰＵ又はＧＰＧＰＵの場合、プロセッサ（ＣＰＵ：Central Processing Unit）のチップサイズに比べて格段に大きく、例えば長さが約３００ｍｍ程度になる。したがって、このような大サイズのコプロセッサを、ベースボード１１０の長さ方向に３個以上並べると、ベースボード１１０の全長（又は電子機器１００の全長）は１０００ｍｍをはるかに超えることになるので取扱いが不便であるし、プロセッサ及びコプロセッサの実装密度も当然低いので現実的とはいえない。そこで本発明者は、限られた体積中に、２個を超えるプロセッサと、４個を超えるコプロセッサを同時に搭載可能とする、液浸冷却用電子機器の構成を鋭意検討した結果、本発明を完成した。本実施形態に従った構成であれば、図２に示すように、電子機器１００のほぼ正方形の縦断面内に、断面矩形のコプロセッサ１２２を４個並べて搭載することができ、しかも、プロセッサ及びメインメモリと、コプロセッサとの隙間も最小限とすることができる。なお、複数のコプロセッサ１２２が第１の回路基板の一の面に櫛状に配置されている場合、一対の基板群１２０に、全く同じ構成の第１の回路基板、コプロセッサ、及びコネクタのセットを使用して組み合わせることができるので、有利である。
【００２８】
このように、本実施形態によれば、コプロセッサを超高密度実装した液浸冷却用電子機器を提供することができる。
【産業上の利用可能性】
【００２９】
本発明は、プロセッサとコプロセッサが超高密度に実装された液浸冷却用の電子機器に広く適用することができる。
【符号の説明】
【００３０】
１００    電子機器
１１０    ベースボード
１２０    基板群
１２１    第１の回路基板
１２２    コプロセッサ
１２２１    電気的接続端
１２２３    底面
１２２４    上面
１２３    第２の回路基板
１２４    プロセッサ
１２５    メインメモリ
１３１、１３２、１３３、１３５    コネクタ
１３４    スロット
【図１】
2017199314.tif 000003
【図２】
2017199314.tif 000004
【図３】
2017199314.tif 000005
【図４】
2017199314.tif 000006
【国際調査報告】
2017199314.tif 000007
2017199314.tif 000008