全国共同利用大規模並列計算システム調達の背景
伊達 進 1 木越信一郎 2
大阪大学サイバーメディアセンター1

大阪大学情報推進部情報基盤課 2{date, kigoshi}@cmc.osaka-u.ac.jp
概要：大阪大学サイバーメディアセンターでは、2017 年 12 月より全国共同利用大規模並列計算システム(通称：OCTOPUS)による計算サービスを開始する。本システムの調達は、大阪大学サイバーメディアセンターの教職員が中心となり、2015 年後半期より検討を開始し、当該センターの利用状況、利用者へのアンケート、調達予算額を総合的に鑑み、当該システムの仕様策定がなされた。本稿では、大阪大学に新規に導入される全国共同利用並列計算システムの調達背景についてまとめる。

1

まえがき
現在、大阪大学サイバーメディアセンターでは、ーが実施した利用者へのアンケートから、後継システムへの要望・期待をまとめる。4 節では、本NEC 製ベクトル型スーパーコンピュータ SX-ACE、稿執筆時点で構築を進めている全国共同利用並列スカラ型スーパーコンピュータ大規模可視化対応

計算システムの概要について記し、5 節で本稿をPC クラスタ(通称: VCC, 31.1TFlops)および汎用まとめる。

コンクラスタシステム(通称: HCC)による計算機利用するユーザは、その性能、使いやすさから、2 サイバーメディアセンターのスカラ型スーパーコンピュータの問題点高い評価がある一方、スカラ型スーパーコンピュ2.1サービスを提供している。しかし、SX-ACE を主にスカラ型スーパーコンピュータータを利用するユーザあるいは利用したいと考え

大阪大学サイバーメディアセンターでは、1 節

るユーザからは、性能、ノード数の少なさ（実行で述べたように、スカラ型スーパーコンピュータジョブの並列度数）、待ち時間の長さ、仮想化資源として、VCC および HCC の計算サービスが提供さへの反発等、現状システムへの不満が寄せられてれている。前者は、2013 年の補正予算「高性能汎いる現状がある。

用計算機高度利用事業「京」を中核とする HPCI の本稿で取り扱う全国共同利用大規模並列計算シ産業利用支援・裾野拡大のための設備拡充」の一ステム(通称：OCTOPUS)[1]の調達は、本センター環として、大阪大学サイバーメディアセンターがの有する HCC の後継システムをターゲットとして実施した調達「HPCI と連動するネットワーク共有行われた。本稿では、本センターのスカラ型スー型可視化システム」の一環として導入された計算パーコンピュータによる問題点、および、後継シクラスタシステムである。後者は、2012 年に実施ステムへの要望・期待等を始めとする調達背景とされた調達「汎用コンピュータシステム」で導入ともに、どのようなシステムが導入されたのかにされたクラスタシステムである。

ついてを記す。これにより、本センターの計算サ

VCC は、本稿執筆時点では、Intel Xeon E5-2670v2ービスを近い将来担当することとなる教職員、あプロセッサ 2 基、64GB の主記憶が搭載された計算

るいは、他計算機センターの教職員が計算機シスノードが 66 ノード、Intel Xeon E5-2690v4 プロテムの調達を行う際の一助となれば幸いである。

セッサ 2 基、64GB の主記憶が搭載された計算ノー

本稿の構成は以下の通りである。2 節では、本ドが 3 ノードを InfiniBand FDR によるインターコセンターの有するスカラ型スーパーコンピュータネクトで接続したクラスタシステムとなっている。の問題点について説明する。3 節では、本センタ

また、当該システムは、59 基の NVIDIA 製 GPU Tesla

K20 がリソースプール化されている構成となって金として課されている。そのため、利用者からはおり、システムハードウェア仮想化技術 ExpEther(3)利用負担金が高い、という問題も発生している。

により、任意の枚数の GPU を計算ノードに比較的次に、HCC についての問題点をまとめる。HCC の高い自由度をもって割り付けることのできる再構問題点は、上述した調達「汎用コンピュータシス成可能システムとしての特徴を有している。そのテム」は、本センターが全学支援業務として行う、ため、例えば、1 計算ノードに対し GPU4 枚、1 計教育、CALL、高性能計算、図書館のすべての要望

算ノードに対し GPU2 枚といった構成を、利用者のを取り込んだシステムとして導入されていたこと計算要求に応じた設定が可能である。に起因する。調達当時は、仮想化技術への期待も一方、HCC は、2012 年 10 月より稼働する NEC 製高かったことも関係しているのであろうと思われExpress5800/53h 575 台からなるクラスタシステ

るが、「汎用コンピュータシステム」の高性能計算ムである。本システムのそれぞれの計算ノードは、に係る機能は、計算機 Express5800/53h 上でオペIntel Xeon E3-1225v2(1CPU4 コア)、主記憶としレーティングシステムとして Windows を稼働させ、て 8GB あるいは 16GB のメモリを有するものの、本仮想化技術 Parallels を導入した上で、当該計算システムの計算サービスは仮想計算機としてのサ機のもつ 4 コアのうち 2 コアを使う Cent OS 6.1ービスとなっている。

を稼働させ、それらをクラスタ化することで実現されている。このような構成のため、利用者から2.2

問題点は、(1) 高性能計算用途に仮想計算機を利用して上述したように、VCC は 2014 年に導入された比いること、(2)システムの不安定な挙動(仮想化技較的新しい計算クラスタシステムである。本シス術 Parallels と InfiniBand へのパススルー技術のテムを実際に利用している利用者の多くは、(老朽不安定な挙動)などの不満・問題が数多く生じてい化の影響はあるものの)本システムの性能に不満た。

があるわけではない一方、(1)高い並列度数でジョ上述のように、大阪大学サイバーメディアセンブを実行しようとする際の待ち時間の長さ、(2)ターのスカラ型スーパーコンピュータに対する問本システムで投入できる並列度数のジョブの大き

題点や不満から、HCC の後継システムである全国さ、に不満を持っているユーザが数多く存在して共同並列計算システムの調達は、スカラ型計算サいる。これらは、本システムを構成する計算ノーービスに期待する利用者にとっては必要不可欠かド数が 69 と小さいために、本センターのシステムつ重要な調達案件となっていた。

管理上、ノード数の少ない本システムが並列度数とを防止する視点から、ジョブスケジューラのキ

3 新システム導入に向けたアンケート調
査

ュー構成の最大並列度数を小さくしていること、

3.1の高いジョブをもつユーザによって占有されるこ

調査内容

本センターの採用するジョブスケジューラの特性

前節で述べたように、本センターの現状有する上並列度の小さいジョブが並列度の高いジョブをスカラ型スーパーコンピュータに対する不満や問先行してジョブが実施される傾向にあることに起題点から、HCC の後継システムの導入は非常に重因する問題である。また、本システムは、上述し要な調達である。そのため、本センターでは、利たように、該当年度でのみ有効である補正予算で用者を対象とし、新システムに対する要望調査アの導入であるため、通常、本センターが利用者にンケートを実施した。当該アンケートでは、より計算機利用負担金として課す電気代相当分の費用多くの回答数を得られるよう、できるだけ簡易的に加え、導入業者による保守運用費用が利用負担な下記の質問項目に限定し、本センターのウェブページで実施した。
(1) 下記で最も/2 番目/3 番目に/優先する利用基準を教えてください
A: 並列利用できる最大ノード数
B: ノードあたりのコア数
C: ノード(コア)あたりのメモリ
D: 利用できるアクセラレータ(2) どのようなアクセラレータを利用したいで

図 1: 計算ノードに対する優先基準すか？
XeonPhiGPU

また、(2)の設問に際しては、FPGA についてはFPGA「希望しない」が大多数を占めたが、XeonPhi お

その他

よび GPU については、「希望する」、「希望しない」(3) どのようなアプリケーションを利用しますがおおよそ半数ずつ程度の結果となった。

か？

(3)の設問に際しては、「希望しません」が全体希望しませんの 30%となり、他のアプリケーションについてのAdams

希望は分散の大きいものとなった。

AMBER(4)の設問に際しては、自由記述であったが、数ANSYS多くの回答が得られた。以下にいくつかを抜粋す

Dytranる(一部、個人、組織名を特定できる箇所は修正をGaussianいれています。)。

GROMACSl

計算待ち時間が長く混雑しているように思LAMMPS

われますので、ノード数を増やして頂けれMarcばと思います。
lMentat

京につながるような、中規模(とはいえ並Nastran

列度数千)の並列計算が可能なシステムを望OpenFOAMみます。

VASP

l

ベクトルコンピュータを希望します。

その他

l

大規模メモリ型 x86 サーバを希望いたします。

(4) その他

次期システムに希望すること(希望理由を必ずご記入ください)

Pascal-GPGPU の搭載も希望いたします。
l

NVIDIA の GPU が速くて個人的には好みです。
（中略）GPU を採用いただける場合は、CUDA

3.2 アンケート結果

や OpenACC のユーザー講習会をぜひともよろアンケートの結果、(1)の設問に際しては、図１に示されるような結果となり、次期システムに対しくお願いいたします。
l

自前の並列コード（■□■□シミュレーショ

しては、アンケート回答者のうち約 40%が並列利ン） を使いますので、アプリについては特用できる最大ノード数を最も希望し、約 50%がノに希望なしです。通常の MPI、OpenMP 可能なードあたりのコア数を 2 番目に優先する結果となクラスタが最優先で、そして将来的に GPU、った。

FPGA などのアクセラレータの使用も考慮しlていく予定です。ベクトルマシンは、汎用結果、本センターの利用できる予算内で、提案候性がおちるのでやめた方がいいと思いま

補ベンダ間の競争も働き、本センターの利用者のす。

望むノード数を多く搭載するとともに、多様な計1 ノードあたりのメモリ容量は、64GByte 以

算ニーズを収容できるハイブリッド型クラスタシ上(SX と同レベル以上)できれば、128GByteステムの搭載が実現できたと考えている。

とかが望ましいです。最近の■□■□のサイズが極端に大きくなってきているので、それなりのメモリが欲しい所です。それなりのメモリのアクセス速度も重要な要件です。
l

通信速度にも重点を置いてください。(■□
大学の話をきいたのですが、通信速度をケチったために、■□■□コードの実行性能が 0.1%にまで落ちて使えなかったそうです。)ピーク性能を高くするために、通信をケチってしまったために性能を出せなくな

図 2: 全国共同利用大規模並列計算システム概ってしまったという話を他でも聞きます。

要.

通信はケチらないでください。

5 まとめ
本アンケートの結果から、本センターの全国共

本稿では、本センターが 2017 年 12 月より計算

同利用大規模並列計算システムでは、ノード数をサービスを開始する全国共同利用大規模並列計算最優先項目と設定するとともに、コア数、メモリシステム調達の背景についてまとめた。本システ

容量、アクセラレータ、インターコネクトに関すムの調達に際しては、システムコードネームをる多様なユーザの計算要求を柔軟に収容できるハoctopus として、本センターの教職員が団結し、イブリッド型クラスタシステムの導入を目指した。

利用者のニーズを満たすことのできるシステムを目指した。その結果、汎用 CPU ノード群(236 ノー

4 全国共同利用大規模並列計算システムド)、GPU ノード群(37 ノード)、XeonPhi ノード(44

本節では、全国共同利用大規模並列計算システノード)、大容量主記憶搭載ノード 2 ノード、大容ムとして導入が決定したシステムの概要を図 2 に量ストレージ 3.1PB から構成される 1.46PFlops の記す。本システムの調達では、上述したようにシハイブリッド型クラスタシステムの導入が確定しステムの有する計算ノード数を優先項目と定め、た。本稿執筆時点では、いまだ構築作業中である調達を推進した。調達当時、プロセッサのリリーが、今後、多様なユーザの計算ニーズを収容するス時期・価格等の詳細が明確ではなかったため、

目 的 を 達 成 で き る OCTOPUS (Osaka university

本調達に際しては、各提案候補ベンダの担当者とCybermedia center Over-Petascale Universal

は何度も何度も話をし、プロセッサ、アクセラレ

Supercomputer)へと完成させていきたいと考えてータ、相互結合網の価格感を想定し、総合評価方いる。

式による加点を調整することで、プロセッサ性能

参考文献のよいプロセッサを搭載したノード数を多く含む[1] OCTOPUS, http://www.hpc.cmc.osaka-u.ac.jp/octopus/.

システム提案が高得点となるよう設定した。その