Oakbridge-CX スーパーコンピュータシステムの運用状況と利用者支援の取り組み
山田 新 1), 宮嵜 洋 1), 前田 光教 1), 山本 和男 1), 佐島 浩之 1),
佐藤 孝明 1), 福沢 秋津 1), 中張 遼太郎 1), 中島 研吾 2) ,塙 敏博 2)1) 東京大学 情報システム部 情報基盤課
2) 東京大学 情報基盤センター
yamada@cc.u-tokyo.ac.jp

The operation of Oakbridge-CX Supercomputer System
and user support efforts
Hajime Yamada 1), Hiroshi Miyazaki 1), Mitsunori Maeda 1), Kazuo Yamamoto 1),
Hiroyuki Sajima 1), Takaaki Sato 1), Akitsu Fukuzawa 1), Ryotaro Nakahari 1)
Kengo Nakajima 2) , Toshihiro Hanawa 2)
1) Information Technology Group, Information Systems Department, The University of Tokyo2) Information Technology Center, The University of Tokyo
概要
2019 年 7 月より運用を開始した Oakbridge-CX スーパーコンピュータシステムについて運用状況と利用者支援の取り組みについて報告する。

1 はじめに東京大学情報基盤センター[1]（以下、本センタ

2 システム概要
2.1 ハードウェアー）では、大規模超並列スーパーコンピュータシ

Oakbridge-CX は Intel® Xeon® Platinum 8280(開ステム（Oakbridge-CX）[2][3]を導入し、2019 年 7

発コード名：CascadeLake)を搭載したスーパーコ月から試験運用を開始し[4]、2019 年 10 月から正ンピュータシステムである。計算ノードは 1,368式サービスを開始している。

台で、そのうち 128 台に SSD を搭載している。計

本稿では、Oakbridge-CX についての概要と、運算ノード単体の理論演算性能は 4.8384TFLOPS、用開始から 2020 年 9 月下旬までの運用状況、同期

主 記 憶 は DDR4 192GiB で あ り 、 全 体 で は間に行われたプリポスト予約システムの整備につ6.61PFLOPS の性能、256.5TiB の主記憶容量を有いて紹介する。

している。サーバ 10 台をログインノードとしてサービスに提供している。並列ファイルシステム
として 12.4PB の Lustre ファイルシステムを備える(表 1、表 2)。
表 1．システム全体諸元（計算ノード）
総理論演算性能
総ノード数
総主記憶容量ネットワークトポロジー

図 1．Oakbridge-CX の外観

並シ列スフ
テァ
ムイル

システム名
サーバ(OSS)
サーバ(OSS)数
容量
転送速度

6.61 PFLOPS
1,368(内 SSD 搭載 128)256.5 TiB
フルバイセクションバンド幅
Fat Tree
DDN ExaScaler(Lustre ベースファイルシステム)
DDN ES18K
2
12.4 PB
193.9 GB/sec表 2．ノード諸元（計算ノード）
項目

計算ノード

計算ノード
(SSD 搭載)

マシン名

FUJITSUPRIMERGYCX2550 M5

FUJITSUPRIMERGYCX2560 M5

ノード数

プロセッサ数周波数
理論演算性能1240128Intel® Xeon® Platinum 8280
（開発コード名：CascadeLake）
2 (28+28 コア)
2.7 GHz
4.8384 TFLOPS

容量

192 GiB(DDR4)

メモリバンド幅

281.5 GB/sec

プロセッサ名CP
U
メモ
リ

インターコネクト(通信性能)
容量
S
S
読み出し性能D
書き込み性能Intel® Omni-Path ネットワーク(100 Gbps)
1.6 TB(NVMe)
3.20 GB/sec
1.32 GB/sec

図 2．ステージング概要
2.3 外部接続ノード
SSD 搭載ノードのうち 16 ノードは、外部接続ノードとして用意されており、現在 5 ノードをノード固定利用として資源提供中である。外部接続
ノードは、学術情報ネットワーク(SINET)を経由して、外部計算資源（サーバ、ストレジ、センサーネットワーク等）に直接接続が可能であるため、大量のデータをリアルタイムに処理する場合に威力を発揮する。実際の活用例として、地震観測装置やデータアーカイブと連携した利用が行われている。
外部接続ノードの運用には、システムの構成やセキュリティ等、通常の計算ノードとは異なった配慮が必要であり、運用にあたって得られた知見は本センターへ導入を予定している 「計算・デー

2.2 SSD 搭載ノード

タ・学習」融合スーパーコンピュータシステム や

Oakbridge-CX は、全 1,368 ノードの内、128 ノmdx (調達システム名称:データ活用社会創成プラードに SSD を搭載しており、1 ジョブで最大 112

ットフォーム基盤システム) へ還元していく予定ノードまで利用可能である。1 ノードの SSD 容量である。

および読込性能，書込性能はそれぞれ 1.6TB、3.2GB/s 、 1.32GB/s で あ り 、 112 ノ ー ド で は
179.2TB、358.4GB/s、147.84GB/s である。

2.2 ソフトウェア
表 3 に示すとおり、多数のオープンソフトウェ

なお、SSD 搭載ノードは、ジョブ実行時の一時アを事前に用意している。ライブラリ、アプリケ

ファイルの置き場所としての利用を想定しており、ーションは東京大学で開発しているソフトウェア

ジョブ終了時にはデータがクリアされる。ジョブを導入している。

終了後も利用するデータは、ファイルステージン
グ機能を用いて各自の領域へ退避するが必要ある。
また、各計算ノードの SSD を個別に使用するだけでなく、ジョブ割り当ての都度 BeeGFS on
Demand (BeeOND)により 200TB 以上の単一の並列共有ファイルシステム(/dist)を構成して利用することも可能である。

表 3．ソフトウェア一覧
OS
言語
処理系
メッセー
ジ通信ラ
イブラリ

ライブ
ラリ

アプリ
ケーション

デバッガ
プロファ
イラ

Red Hat Enterprise Linux 7、CentOS 7Intel® Parallel Studio XE Cluster
Edition、GCC コンパイラ、OpenJDKIntel® MPI、Open MPI、Intel® Omni-Path Fabric SoftwareIntel® Parallel Studio XE Cluster
Edition(MPI、MKL(BLAS、CBLAS)、IPP DAAL)、
HDF5、FFTW、METIS、MT-METIS、ParMETIS、NetCDF、Parallel netCDF、PETSc、SuperLU、SuperLU MT、 SuperLU DIST、Scotch、PTScotch、Xabclib、GNU Scientific Library、
ppOpen-HPC、ppOpen-AT、MassiveThreads、Trillinos、CMake、Python、LAPACK、
ScaLAPACK、Anaconda
mpijava、OpenFOAM、ABINIT-MP、PHASE、
FrontFlow/blue、FrontISTR、REVOCAPCoupler、REVOCAP-Refiner、OpenMX、
xTAPP、AkaiKKR、MODYLAS、ALPS、feram、GROMACS、BLAST、R packages、
Bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、Xcrypt、Paraview、Vislt、POV-Ray
Arm DDT、Intel® Parallel Studio XE Cluster
Editon(Vtune Amplifier XE、 Advisork、Inspector、Trace Analyzer & Collector)

2.3 商用ソフトウェア

3.2 ジョブキューと制限値

商用の科学技術計算用アプリケーションとして 、 総 合 CAE プ ラ ッ ト フ ォ ー ム

AltairOakbrigde-CX では、表 5 に示すようなジョブクラスを用意している。

HyperWorks を提供中である。本センター所有のregular キューは、最大 256 ノード、最長 48 時

ライセンスで、国内アカデミックユーザ(大学、間(x-large は 24 時間)までのジョブが実行可能であ短大、大学校、高専等に所属)はライセンス料無り、ノード数により small, medium, large, x-large の料で利用可能であり、HyperMesh、HyperView な各キューに自動的に振り分けられる。さらに、実どクライアント PC で動作するソフトも無料で利行時間が 8 時間までの short キュー(最大 8 ノード用できる。その他のユーザ(企業や研究機関に所まで)、30 分までの debug キュー(16 ノードまで)、属)は本センター所有のライセンスでは、利用でを提供している。

きないが、ライセンスを個別に購入することで利用可能となる。

インタラクティブ実行用のキューは最大 8 ノードまで利用可能であり、トークンは消費されない。
このほか講習会や講義利用については専用のキューを用意して対応している。

3 利用制度なお、SSD 搭載ノードは regular キューのみで使用可能である。

3.1 トークンと消費係数
一般利用制度で Oakbridge-CX の利用を申し込むと、申込時のセット数に応じて、計算ノードの利用可能時間である「トークン（１セット当たり8,640 ノード時間）」が割り当てられる。この割り当てられたトークン内であれば（一部のコースを除き）利用できるノード数制限などはなく、最大利用可能ノード数まで、バッチジョブの実行が可能である。トークンはバッチジョブの実行ごとに「経過時間×ノード数×消費係数」で計算される

表 5．ジョブクラス制限値
キュー名ノード数

debug
1-16
short
1-8
regular(small)
1-16(medium)
17-64(large)
65-128(x-large)
129-256
interactive)(interactive_1)
1(interactive_8)
2-8

制限(経過)
時間

30min
8h
48h
48h
48h
24h
2h
10min

量が消費され、トークンを使い切るとバッチジョブの投入ができなくなる。
表 4．Oakbridge-CX 一般利用制度概要
項目

パーソナル
コース

利用負担金、他基本セット円】

一般
申込

トークン

ディスク容量基本セット100,000 円】

グループ
コース

一般
申込

トークン

ディスク容量4.1 プリポストキュープリポスト（prepost）キューは、可視化などの(最大 3 セットまで)
8,640 ノード時間(1 ノード/年)
消費係数 1.0
4TB

解析データの前処理や後処理のために、インタラ【大学・公共機関等法が異なり、ジョブを直接投入することはできず(複数セット申込可)
8,640 ノード時間(1 ノード/年)
消費係数 1.0
4TB

クティブなジョブを実行することができるキュー
で、ノード構成は計算ノードと同様である。しかし、このプリポストキューは他のキューと利用方後述のプリポストキュー予約システムから予約して利用する必要がある。
4.2 プリポストキュー予約システム
プリポストキュー利用のために必要なプリポス基本セット150,000 円】(トークン)

ノード
固定要審
査【大学・公共機関等 100,000

4. プリポストキュー予約システム

ディスク容量【大学・公共機関等(複数セット申込可)
8,640 ノード時間(1 ノード/年)
消費係数 1.0
4TB

トキュー予約システムを 2019 年 9 月に整備し、2019 年 10 月より正式提供している。プリポスト
キュー予約システムを使うことで、表 6 に示す条件の範囲内で、希望の時間帯にプリポストキューの資源を予約して利用することができる。このような予約利用は、Oakbrigde-CX 利用支援ポータ

図 5 に示す。small キューの占める割合が大きい

ル内の「プリポスト予約」から、必要事項を入力が、large, x-large キューが割当てられるような、した上で予約申込を行うことで利用が可能である。

並列度の高いジョブ利用も相当数存在している。

表 6．プリポストキュー予約条件
利用時間

1h から 6h （１h 単位）

100%

利用ノード数

1 か 8 ノード（１ノード単位）

80%x-large

予約期間

予約日時の 15 分後から 60 日以内

60%

large

予約数上限

実行中を含め 5 件

40%

mediumsmall

20%

プリポストキュー予約システムは、図 3 の通り

short0%debug2019 年度中は利用が低調であったが、2020 年度に入ってからは徐々に利用が増えつつある。しか図 5．キュー別ノード時間積割合

し、利用増加の余地は十分あるため、認知度向上に努めていきたい。

5.3 利用分野
Oakbrigde-CX で利用されている研究の分野は

7060

図 6、図 7 に示す通りである。従来から本センタ

5040

ーのスーパーコンピュータシステムの利用が多い

30
20

物理・工学系の分野が大きな割合を占めているが、10

データ科学・データ同化の分野でも多く利用され2020/92020/82020/72020/62020/52020/42020/32020/2

2020/1

2019/122019/112019/92019/100ている。

図 3．プリポストキュー予約システム

情報科
学：アル情報科学：
ゴリズム
AI

月別予約件数
データ科
学・データ
同化

5 利用状況

社会科学・経済学

5.1 ノード利用率

後は、比較的低い状況が続いていたが、その後生物化学・生体力学
産業
利用は増加傾向にあり、直近の数ヶ月では 7 割程度

教育の高い水準の利用率を維持している。

情報科
学：システムOakbrigde-CX の利用率は、正式サービス直100%

バイオイン
フォマティ
クス

工学・ものつくりエネル
ギー・物理学

材料科学

80%
60%
40%

2020/92020/82020/72020/62020/52020/42020/32020/2

2020/1

2019/122019/112019/9（2019 年 10 月～2020 年 3 月）
2019/100%

2019/8図 6．研究分野別ノード時間積割合
2019/720%

図 4．ノード利用率
5.2 バッチジョブ
Oakbrigde-CX のキュー別ノード時間積割合を

地球科
学・宇宙科学バイオイン
フォマティク
ス
社会科学・
経済学

生物化学・
生体力学
産業利用
教育
情報科学：システム

情報科
学：アルゴ
リズム

情報科学：AI

データ科
学・データ
同化
工学・ものつくりエネルギー・物理学

材料科学

地球科学・
宇宙科学

図 7．研究分野別ノード時間積割合（2020 年 4 月～2020 年 9 月）

6 まとめと今後の課題
本稿では、2019 年 7 月より運用を開始した
Oakbridge-CX スーパーコンピュータシステムについて運用状況と利用者支援の取り組みを報告した。
外 部 接 続 ノ ー ド や SSD 搭 載 ノ ー ド を 備 え た
Oakbridge-CX は、データ同化など本センターの伝統的な利用分野とは異なる分野での利用が広がっている。
今後の課題としては、より安定した運用とさらなる利用拡大があり、具体的には以下のことが挙げられる。
・ 利用向上に向けた取り組み（講習会、手引書の充実）
・ 新型コロナウィルス感染による活動制限下での大規模 HPC チャレンジの運用
・ コンパイラやアプリケーションの更新拡充
・ SSD 搭載ノード活用法の周知
・ プリポストキュー予約機能の認知度向上
これらの課題に取り組みながら、より使いやすいシステムを目指して運用に努めていく予定である。

参考文献[1] 東京大学情報基盤センター
http://www.cc.u-tokyo.ac.jp/[2] Oakbridge-CX スーパーコンピュータシステム,
http://www.cc.u-tokyo.ac.jp/supercomputer/obcx/
service/[3] 富士通株式会社 坂口 吉生、「大規模超並列スーパーコンピュータシステム OakbridgeCX の特長」、東京大学情報基盤センタース
ーパーコンピューティングニュース、Vol.21,
No.4 pp.23-35 2019．
[4] 東京大学情報システム部 「Oakbridge-CX ス
ーパーコンピュータシステム運用開始のお知らせ」、東京大学情報基盤センタースーパーコンピューティングニュース、Vol.21, No.4
p.5 2019．