Reedbush スーパーコンピュータシステムの運用
坂井 朱美, 宮嵜 洋, 田川 善教, 山本 和男, 佐島 浩之, 安部 達巳
東京大学情報システム部情報基盤課
スーパーコンピューティングチーム
概要：2016 年 7 月、2017 年 3 月、10 月より各サブシステムの運用を開始した Reedbush スーパーコ
ンピュータシステムについての概要と運用状況について報告する。

1

載している。

はじめに
東京大学情報基盤センター（以下本センター）

Reedbush-U は計算ノードが 420 台で、計算ノー

では、データ解析・シミュレーション融合スーパ

ド単体の理論演算性能、主記憶容量はー

1209.6GFLOPS 、 256GB で あ り 、 全 体 で はコン

ピュ

ータシス

テム

（Reedbush-U/Reedbush-H）[1][2]、及び、長時間

508.03TFLOPS、105TB の性能を有している。

ジョブ実行用演算加速装置付き並列スーパーコン

Reedbush-H は計算ノードが 120 台で、GPU 1 基のピュータシステム（Reedbush-L）を導入し、2016

理論演算性能、主記憶容量は 5.3TFLOPS、16GB で年 7 月から第 1 期運用を開始した。Reedbush シスあり、各ノードには GPU が 2 基搭載され、CPU をテムは CPU のみのノードによる Reedbush-U システ

含めたノード全体では 1417.15TFLOPS、30TB の性

ム、演算アクセラレータとしてノードあたり２つ能を有している。の GPU を搭載する Reedbush-H システム、ノードあReedbush-L は計算ノードが 64 台で、Reedbush-Hたり４つの GPU を搭載する Reedbush-L システムのと同じ GPU が各ノードに 4 基搭載され、CPU を含3 つのサブシステムから構成される。

めたノード全体では 1435.3TFLOPS、16TB の性能

2016 年 7 月に第 1 期となる Reedbush-U[3]、2017 年 3 月に第 2 期となる Reedbush-H[4]、2017年 10 月に第 3 期となる Reedbush-L[5]の運用を開始した。

を有している。
ログインノードは 5 台をサービス提供している。
表１．システム全体諸元（計算ノード）
項目

導入の背景については、既存スパコンである
Oakleaf/Oakbridge-FX（Fujitsu PRIMEHPC FX10）

総理論演算性能の混雑緩和、および Post FX10 システムに向けて総ノード数のテストベッドシステムとして、データ解析や深層学習等の新規ユーザ開拓があげられる。本センターのサービスとして演算アクセラレータ搭載機は初の試みとなる。

2

システム概要

2.1 ハードウェア
Reedbush システム[2]は SGI 社製（現 HPE 社製）の ス ー パ ー コ ン ピ ュ ー タ で あ る 。 CPU はBroadwell-EP で、GPU は NVIDIA Tesla P100 を搭

総主記憶容量ネットワークトポロジー
システム名ル並シ 列 サーバ(OSS)ス フ サーバ(OSS)数テ ァ 容量ムイ転送速度
高 サーバッ速シフュァ サーバ数
シイ 容量ス
ル 転送速度テキム
ャReedbush-U

Reedbush-H

Reedbush-L

508.03
TFLOPS

1417.15
TFLOPS

1435.3
TFLOPS

420

12064105 TB
30 TB
16 TB
Full-bisection Fat Tree
Lustre ファイルシステム
DDN SFA14KE
3
5.04 PB
145.2 GB/sec
DDN
DDN
IME14K
IME24068209 TB
153.6 TB
436.2
166.4
GB/secGB/sec

32GiB DDR4-2400 X 4

32GiB DDR4-2400 X 4

DDR4

DDR4

QPI
9.6GT/sIntel Xeon
E5-2695v4-EP
2.1GHz
18coreDDR4

DDR4Intel Xeon
E5-2695v4-EP
2.1GHz
18coreQPI
9.6GT/s

DDR4

DDR4
DDR4

DDR4

PCH

NVLink
20GB/sPCIe3 x16
128GTsPCIe3 x16
128GTsP100

P100

EDR IB x1
GbE

PCIeswitch

IB HCAGbE x 2 or 1port

PCIeswitch

IB HCAEDR IB x1

PCIe3 x16
128GTsPCIe3 x16
128GTsP100

Tesla P100
SXM2 NVLink

P100

NVLink
20GB/sTesla P100
SXM2 NVLink

図１．Reedbush 全体構成

図２．Reedbush-L ノードブロック図

その他、並列ファイルシステム 5.04PB と高速

2.2 ソフトウェア
表 3 に示すとおり、多数の OSS を用意している。

フ ァ イ ル キ ャ ッ シ ュ シ ス テ ム を

とくに Reedbush-H/Reedbush-L についてはデータ

Reedbush-U/Reedbush-H に 209TB（DDN 社製 IME14K）、解析、ディープラーニング向けのソフトウェアをReedbush-L に 153.6TB（DDN 社製 IME240）を備え取り揃えた。OpenCV（コンピューター・ヴィジョる。高速ファイルキャッシュシステムはバーストン・ライブラリ）、Theano（Python 数値計算ライバッファとして機能する。

ブラリ）、ROOT（ビッグデータ向けのライブラリ）、TensorFlow（Google 開発の機械学習向けライブラ

表２．ノード諸元（計算ノード）
項目
マシン名

C
P
U

Reedbush-U
SGI
Rackable
C2112-4GP3

Reedbush-H Reedbush-L
SGI
Rackable
C1102-GP8

プロセIntel Xeon E5-2695v4
ッサ名(Broadwell-EP)
プロセ
2 (36 コア)ッサ数
周波数
2.1 GHz (Turbo boost 時最大 3.3 GHz)
理論演
1209.6 GFLOPS算性能
メ 容量
256 GB
モ メモリ
153.6 GB/sec
リ 帯域幅G
プロセ（搭載なNVIDIA Tesla
Pッサ名し）
P100(Pascal)
U
コ ア 数
56(SM)(単体)
メモリ
容量（単16 GB体）
メモリ帯域幅(単732 GB/sec体)
理論演算性能(単5.3 TFLOPS体)
搭載数
24CPU-GPU
PCI Express Gen3 x16 ﾚｰ間接続
ﾝ(16 GB/sec)GPU
NVLink 2
NVLink 2間接続
brick (40brick (20GB/sec)
GB/sec x1or x2)
イ ン タ ー コ InfiniBand InfiniBand InfiniBandネクト
EDR 4x (100 FDR 4x 2 ﾘﾝ EDR 4x 2 ﾘﾝGbps)
ｸ(56Gbps
ｸ(100 Gbpsx2)x2)

リ）等である。
表３．ソフトウェア一覧
項目

Reedbush-U, Reedbush-H, Reedbush-L

OS

Red Hat Enterprise Linux 7
GNU コンパイラ
Intel コンパイラ (Fortran77/90/95/2003/2008、C、C++)[H,L] PGI コンパイラ(Fortran77/90/95/2003/2008、C、C++、OpenACC 2.0、CUDAFortran)
NVCC コンパイラ(CUDA C)Intel MPI、 SGI MPT、 Open MPI、 MVAPICH2、Mellanox HPC-X

コン
パイララ通メリ信ッラセイブジライブラリ

アシプ
ョンリ
ケロデフバ
ァッイガラプ[H,L]GPUDirect for RDMA: OpenMPI、MVAPICH2-GDRIntel 社製ライブラリ(MKL)
BLAS、LAPACK、ScaLAPACK
その他ライブラリ
FFTW、GNU Scientific Library、NetCDF、PnetCDF 他[U]SuperLU、SuperLU MT、SuperLU
DIST、METIS、MT-METIS、ParMETIS、Scotch、PT-Scotch、PETSc、Boost[H,L] cuBLAS、cuSPARSE、cuFFT、MAGMA、
OpenCV、ITK、Theano、Anaconda、ROOT、TensorFlow[U]
OpenFOAM、ABINT-MP、PHASE、FrontFlow、FrontISTR、REVOCAP、
ppOpen-HPC 他[H,L]

Torch、Caffe、Chainer、GEANT4

Total View、Intel VTune、Trace Analyzer &Collector

[U] Reedbush-U 向け

表 5．Reedbush グループコース[H,L] Reedbush-H,Reedbush-L 向け

利用負担金、他項目

Reedbush-U

3 運用形態
一般申込

3.1 トークン制と利用コース
研究者個人単位で利用するための「パーソナルコース」、研究・グループ単位でまとまって利用するための「グループコース」によるサービスを行っている。
利用するコース、利用申込したノード数に応じて、計算ノードの利用可能時間である「トークン（ノード時間積）」を割り当て、この割り当てられグル

たトークン内であれば（一部のコースを除き）利プ
コ

用できるノード数制限などはなく、最大利用可能

スノード数まで、バッチジョブの実行が可能である。
トークンはバッチジョブの実行ごとに消費され、計算式は「経過時間×ノード数×消費係数」である。バッチジョブ実行において各コースで定められたノード数を超えると、超えた部分について消

公募
制
度

ノド
固定
要審
査

費係数が 2 倍となる。
トークンを使い切るとバッチジョブの投入ができなくなる。この場合、払い出せる計算機資源に余裕があれば追加購入することができる。なお、トークンは利用期間内に消費できることを保証するものではなく、次年度への繰り越しや返金等は並列実
行ノード数
トーク
ン消費係数
トークン追加できない。

Reedbush-H

Reedbush-L【大学・公共機関等 300,000 円】(申込ノード 4 ノード当たり)
トークン：34,560 ノード時間
ディスク容量：4TB【大学・公共機
関等 300,000円,企業 360,000円】(申込ノード 4ノード当たり)
トークン：
34,560 ノード時
間
ディスク容量：4TB【大学・公共機
関等 180,000円,企業 216,000円】(申込ノード 1ノード当たり)
トークン：
21,600 ノード時
間
ディスク容量：4TB【大学・公共機
関等 300,000円,企業 360,000円】(申込ノード 1ノード当たり)
トークン：
34,560 ノード時
間
ディスク容量：4TB【大学・公共機
関等 450,000円,企業 540,000円】(申込ノード 4ノード当たり)
トークン：
34,560 ノード時
間
ディスク容量：4TB【大学・公共機
関等 270,000円,企業 324,000円】(申込ノード 1ノード当たり)
トークン：
21,600 ノード時
間
ディスク容量：4TB【大学・公共機関等 450,000円,企業 540,000円】(申込ノード 1ノード当たり)
トークン：
34,560 ノード時
間
ディスク容量：4TB

最大 128

最大 32

最大 16申込ノードまで申込ノードまで申込ノードまで
1.0
2.5
4.0
申込ノード超申込ノード超申込ノード超2.0
5.0
8.0【大学・公共機関等 25,000 円,企業 30,000 円】
2,880 ノード時間以上の方式は既存の Oakleaf/Oakbridge-FX やOakforest-PACS と基本的には同じである。
表４．Reedbush パーソナルコース
利用負担金、他

パソ
ナル
コ

一般
申込

Reedbush-H

Reedbush-L

トークン
追加

特殊なライブラリ等の利用、利用環境のカスタマ
イズ（インタラクティブ実行環境、ローカルディ【大学・公共機関等 150,000 円】
トークン：17,280 ノード時間
ディスク容量：1TBス
並列実行
ノード数
トークン
消費係数

を当該グループで占有して利用することができる。
バッチジョブによる利用の他、商用プログラムや項目

Reedbush-U

3.1.1 ノード固定
グループコースのノード固定では、計算ノードスク利用等）が可能である。専用ログインノードの設置も利用者負担により可能であり、高いセキュリティが求められる場合に有用である。申込に際しては審査がある。現在、8 グループがノー最大 16

最大 32

最大 16ド固定を利用し、うち 2 グループが専用ログイン

4 ノードまで
1.0
4 ノード超2.0

1 ノードまで
2.5
1 ノード超5.0

1 ノードまで
4.0
1 ノード超8.0

ノードを設置している。ノード固定は【大学・公共機関等 12,500 円】
1,440 ノード時間

Reedbush-U/Reedbush-L で利用が可能である。

3.1.2 トークン移行
本センターのスーパーコンピュータシステム相互にトークンの移行を可能とした。この仕組みにより新たな利用負担金が発生することなく他方のシステムを利用することができる。トークンの移行にあたっては表 6 の換算率により移行先のトーJHPCN（学際大規模情報基盤共同利用・共同研究拠クン量が決まる。

点）に資源を供出している。平成 29 年度は、HPCI

表６．トークン換算率
トークン移行で 採 択 さ れ た 1 課 題 に Reedbush-U の 資 源 を換算率155,520 ノード時間提供し、JHPCN で採択された 4Reedbush→ Oakforest-PACS

1.5

課題に Reedbush-U の資源を 62,389 ノード時間、

Reedbush→ FX102.5

同じく JHPCN で採択された 4 課題に Reedbush-H のOakforest-PACS → Reedbush

0.6

資源を 105,720 ノード時間提供した。平成 30 年度

FX10

0.4

は Reedbush-L も提供する予定である。

→ Reedbush

3.2 ジョブキュー
Reedbush では、表７のとおり３つのサブシステ
ム毎にジョブクラスを用意している。
キューは regular キュー、実行時間の短い debug
キュー、short キューを用意し、regular キューはノード数により small、medium、large、x-largeの各キューに振り分けられる。Reedbush-L については制限時間を 168 時間とし、長時間のジョブ実行を可能としている。
インタラクティブ実行用のキューはトークンが消費されない（Reedbush-L を除く）。このほか講習会や講義利用については専用のキューを用意して対応している。
キュー名
Reedbush-U Reedbush-H Reedbush-L（注意:実際のキュー名は Web[1] ノード 制限 ノード 制限 ノード 制限
(経過)
(経過)
数数数 (経過)を参照）
debug
short(regular)
smallmediumlarge
x-laege(interactive)
interactive_1
interactive_4

女性利用、トライアルユース（有償・無償）についても募集を行っている。2017 年 12 月からは
Reedbush-H の最大計算ノード数 120 ノードを、最大 24 時間・1 研究グループで計算資源の占有利用ができる公募型プロジェクト（大規模 HPC チャレンジ）を開始する。

4 利用状況
4.1 ノード利用率
Reedbush-U については 2016 年 7、8 月に試験運転（利用負担金無し）、2016 年 9 月から正式サービスを開始している。年度始めとなる 2017 年 4 月
は利用率が一時的に低くなったが、その後、60〜

表７．ジョブクラス制限値

時間

一般利用に加えて教育利用や企業利用、若手・時間70%の利用率を保っている。
Reedbush-H については Reedbush-U に比べて利用率は低めであるが、増加傾向にある。

時間

1-24 30min
1-84h

1-4
1-430min
2h

--

4-16
17-32
33-64
65-128

48h
48h
48h
24h

1-4
5-8
9-16
17-32

48h
48h
48h
24h

1-4
5-8
9-16-168h168h168h-

12-430min
10min

1230min10min

1-24h-

3.3 ファイルシステム
Reedbush にはログイン・計算ノードの双方から

図３．Reedbush-U/Reedbush-H ノード利用率利用できる並列ファイルシステム（/lustre）とロ

4.2 バッチジョブ
Reedbush-U と Reedbush-H のキュー別ノード時

グインノード専用のファイルシステム（/home）がある。/lustre の容量は申込コースにより基本料が決まり、増量が可能である。/home は各ユーザ一律に 2GB を上限としており、バッチジョブからの利用はできない。

3.4 その他
平成 29 年度からは HPCI（革新的ハイパフォー
マンス・コンピューティング・インフラ）および間積割合を図４と図５に示す。両システムともにsmall キューの割合が高く、全体の約 70〜90%がsmall キューである。

・コンパイラやアプリケーションの更新拡充
・高速ファイルキャッシュシステムの安定運用

6 おわりにReedbush は 3 期に分けてサブシステムを導入し、2017 年 10 月から 3 期目の Reedbush-L の試験運用を開始した。これまで大規模なシステム障害もなく運用しているが、今後も安定運用に努め、皆様に安心してサービスを提供できるように努めていきたい。
図４．Reedbush-U キュー別ノード時間積割合

参考文献[1] Reedbush スーパーコンピュータシステム
http://www.cc.u-tokyo.ac.jp/system/reedbush/[2] 東京大学情報基盤センター 塙敏博 中島研吾、「データ解析・シミュレーション融合スーパーコ
ンピュータシステム Reedbush の紹介」、東京大学
情報基盤センタースーパーコンピューティング
ニュース、Vol.18, No.4 pp.21-26 2016[3] 東京大学情報システム部「Reedbush スーパーコンピュータシステム（Reedbush-U）運用開始のお知らせ」、東京大学情報基盤センタースーパーコ
ンピューティングニュース、Vol.18, No.4 p.5

図５．Reedbush-H キュー別ノード時間積割合

2016[4] 東京大学情報システム部「Reedbush スーパー4.3 利用申込
2017 年 10 月時点での登録ユーザ数はグループ
コースが 75 グループ 730 ユーザ、パーソナルコースが 25 ユーザである（本センタースタッフを除く）。Reedbush の第 1 期運用開始から、企業利用、HPCI お よ び JHPCN へ の 資 源 提 供 の 開 始 、Reedbush-H 運用開始を順次行い、年々利用者数は増加している。教育利用はこれまでに講義利用が8 グループ、センターが開催している講習会での利用が予定も含み 26 グループである。
利用者へのトークンの払い出しについては 2017年 10 月初旬時点で総量の 64% 程度である。総量の 120% までの払い出しを上限としている。

5 今後の課題
今後の課題として以下のことが挙げられる。
・Reedbush-H/Reedbush-L の利用向上に向けた取り組み（講習会、手引書の充実）
・12 月から実施予定の Reedbush-H 大規模 HPC
チャレンジの安定運用

コンピュータシステム（Reedbush-H）運用開始のお知らせ」、東京大学情報基盤センタースーパーコ
ンピューティングニュース、Vol.19, No.2 p.5
2017[5] 東京大学情報システム部「Reedbush スーパーコンピュータシステム（Reedbush-L）運用開始のお知らせ」、東京大学情報基盤センタースーパーコ
ンピューティングニュース、Vol.19, No.5 p.5
2017