Oakbridge-CX スーパーコンピュータシステムの運⽤
下條 清史, 宮嵜 洋, 田川 善教, 山本 和男,佐島 浩之, 佐藤 孝明, 中張 遼太郎, 山田 新
東京大学大学 情報システム部 情報基盤課 スーパーコンピューティングチーム
shimojo@cc.u-tokyo.ac.jp

The operation of Oakbridge-CX Supercomputer System
Kiyofumi Shimojo, Hiroshi Miyazaki, Yoshiyuki Tagawa, Kazuo Yamamoto,Hiroyuki Sajima, Takaaki Sato, Ryotaro Nakahari, Hajime Yamada
Supercomputing Team, Information Technology Group,Information Systems Department, The University of Tokyo
概要

2019 年 7 月より運用を開始した Oakbridge-CX スーパーコンピュータシステムについての概要と運用状況について報告する。

1

はじめに

2

東京大学情報基盤センター[1]（以下、本センタ

2.1 ハードウェアシステム概要ー）では、大規模超並列スーパーコンピュータシOakbridge-CX は Intel® Xeon® Platinum 8280(開ステム（Oakbridge-CX）[2][3]を導入し、2019 年 7

発コード名：CascadeLake)を搭載した富士通社製月から試験運用を開始し[4]、2019 年 10 月から正のスーパーコンピュータである。CPU は計算ノー式サービスを開始する。Oakbrigde-CX はシステム

ドが 1,368 台で内 128 台に SSD を搭載し、計算ノ全 1,368 ノードの内、128 ノードに SSD を搭載しード単体の理論演算性能は、4.8384TFLOPS、主ており、ステージングを含む高速で効率的なデー記 憶 容 量 は 、 192GiB(DDR4) で あ り 、 全 体 で はタ入出力を実現し、大容量データ処理をともなう6.61PFLOPS、256.5TiB の性能を有している。フ

データ同化処理等に威力を発揮する。

ロントエンドにはサーバ 10 台(FUJITSU Server

Oakbridge-CX は、2018 年 3 月を以って運用をPRIMERGY CX2560 M5)をログインノードとして終了した Oakleaf/Oakbridge-FX（Fujitsu PRIMEHPCサービスに提供している。ファイルシステムには、FX10）の後継システムとして位置づけられ、最新並列ファイルシステムを 12.4PB 備える。(図 2 おの技術に基づく高い計算・通信・入出力性能及びよび、表 1、表 2)

安定性を備え、Oakleaf/Oakbridge-FX システムの他，Reedbush-U[5]をはじめとする既存システムからのプログラム類の移行を容易に実施し、高い性能を維持する環境を提供する。

図 2．Oakbridge-CX 全体構成

図 1．Oakbridge-CX の外観242

表 1．システム全体諸元（計算ノード）
総理論演算性能
総ノード数
総主記憶容量ネットワーク
トポロジー
並シ列スフテァムイル

システム名
サーバ(OSS)
サーバ(OSS)数
容量
転送速度デバッガ
プロファイラ6.61 PFLOPS
1,368(内 SSD 搭載 128)256.5 TiB

2.3 商用ソフトウェア

FBB Fat TreeDDN ExaScaler(Lustre ベースファイルシステム)
DDN ES18K
212.4 PB
193.9 GB/sec

計算ノード(SSD 非搭載)

計算ノード(SSD 搭載)

マシン名

FUJITSUPRIMERGYCX2550 M5

FUJITSUPRIMERGYCX2560 M5

ノード数
CP
U
メモ
リ

プロセッサ数周波数
理論演算性能1240128
Intel® Xeon® Platinum 8280
（開発コード名：CascadeLake）
2 (28+28 コア)
2.7 GHz
4.8384 TFLOPS

容量

192 GiB(DDR4)

メモリバンド幅

281.5 GB/sec

プロセッサ名インターコネクト(通信性能)
容量SS
読み出し性能D
書き込み性能HyperWorks[6] を提供予定である。本センター所有のライセンスで、国内アカデミックユーザ(大学、短大、大学校、高専等に所属)はライセンス研究機関に所属)は本センター所有のライセンス
では、利用できないが、ライセンスを個別に購入することで利用可能となる。
すでに Reedbush では HyperWorks を題材とした講習会が開催されており、Oakbridge-CX での開催も検討している。

3運用形態

3.1 トークン制と利用コース

Intel® Omni-Path ネットワーク(100 Gbps)
1.6 TB(NVMe)
3.20 GB/sec
1.32 GB/sec

研究者個人単位で利用するための「パーソナルコース」、研究・グループ単位でまとまって利用するための「グループコース」によるサービスを行っている。

ライブラリ、アプリケーションは東京大学で開発しているソフトウェアを導入している。

利用するコース、利用申込したノード数に応じて、計算ノードの利用可能時間である「トークン（ノード時間積）」を割り当て、この割り当てられたトークン内であれば（一部のコースを除き）利用できるノード数制限などはなく、最大利用可

表 3．ソフトウェア一覧アプリケーション

Altairトも無料で利用できる。その他のユーザ(企業や表 3 に示すとおり、多数の OSS を用意している。

ライブ
ラリて 、 総 合 CAE プ ラ ッ ト フ ォ ー ム

HyperView などクライアント PC で動作するソフ

2.2 ソフトウェア

OS
言語処理系
メッセー
ジ通信ライブラリ

商用の科学技術計算用アプリケーションとし料 無 料 で 利 用 可 能 で あ り 、 HyperMesh 、

表 2．ノード諸元（計算ノード）
項目

Arm DDT、Intel® Parallel Studio XE Cluster
Editon(Vtune Amplifier XE、 Advisork、Inspector、Trace Analyzer & Collector)

能ノード数まで、バッチジョブの実行が可能であRed Hat Enterprise Linux 7、CentOS 7Intel® Pallalel Studio XE Cluster
Edition、GCC コンパイラ、OpenJDKる。トークンはバッチジョブの実行ごとに消費され、計算式は「経過時間×ノード数×消費係数」

Intel® MPI、Open MPI、Intel® Omni-Path Fabric Software

である。バッチジョブ実行において各コースで定Intel® Pallalel Studio XE Cluster
Edition(MPI、MKL(BLAS、CBLAS)、IPP DAAL)、
HDF5、FFTW、METIS、MT-METIS、ParMETIS、NetCDF、Parallel netCDF、PETSc、SuperLU、SuperLU MT、 SuperLU DIST、Scotch、PTScotch、Xabclib、GNU Scientific Library、
ppOpen-HPC、ppOpen-AT、MassiveThreads、Trillinos、CMake、Python、LAPACK、
ScaLAPACK、Anaconda
mpijava、OpenFOAM、ABINIT-MP、PHASE、
FrontFlow/blue、FrontISTR、REVOCAPCoupler、REVOCAP-Refiner、OpenMX、
xTAPP、AkaiKKR、MODYLAS、ALPS、
feram、GROMACS、BLAST、R packages、Bioconductor、BioPerl、BioRuby、BWA、GATK、SAMtools、Quantum ESPRESSO、
Xcrypt、Paraview、Vislt、POV-Ray

243

められたノード数を超えると、超えた部分について消費係数が 2 倍となる。
トークンを使い切るとバッチジョブの投入ができなくなる。この場合、払い出せる計算機資源に余裕があれば追加購入することができる。なお、トークンは利用期間内に消費できることを保証するものではなく、次年度への繰り越しや返金等はできない。
以上の方式は、既存システムである Reedbush
や Oakforest-PACS[7]と基本的には同じである。

表 4．Oakbridge-CX 利用コース
利用負担金、他

トークン移行【大学・公共機関等 100,000 円】(申込口数 1 口当り、最大 3 口まで)
トークン
8,640 ノード時間(1 ノード/年)
並列実行ノード数 4 ノードまで消費係数 1.0
4 ノード超のとき消費係数 2.0
ディスク容量4TB（基準ノード数）

項目
基本セット

パソナル
コ

表 6．消費係数切替点換算

一般
申込ス

グルプ
コス

ノ(ド固定)

要審査→(4 ノード)Oakbridge-CX【大学・公共機関等 400,000 円】(申込ノード 4 ノード当たり)
トークン
34,560 ノード時間(4 ノード/年)
並列実行ノード数 申込ノードまで消費係数 1.0
申込ノード超のとき消費係数 2.0
ディスク容量16TB(申込ノード数 4 ノードあたり)

Oakforest-PACS

6(4 ノード)→

Oakforest-PACS(4 ノード)Reedbush

係数Reedbush

8(8 ノード)→

Oakbridge-CX(4 ノード)

基本セット
一般
申込

Oakbridge-CX

換算

3(4 ノード)→

Oakbridge-CX(8 ノード)4(4 ノード)

3.2 ジョブキューと制限値
Oakbrigde-CX では、表７に表記したようなジョブクラスを用意している。

基本セット【大学・公共機関等 600,000 円】(申込ノード 4 ノード当たり)
トークン
34,560 ノード時間(4 ノード/年)
並列実行ノード数 申込ノードまで消費係数 1.0
申込ノード超のとき消費係数 2.0
ディスク容量16TB(申込ノード数 4 ノードあたり)ノード数が 256 ノードまで使用可能で、実行時間が最大 48 時間(x-large は 24 時間)の regular キュー(ノード数により small, medium, large, x-large の各 キ ュ ー に 振 り 分 け ら れ る )と 実 行 時 間 の 短 いdebug キュー(16 ノードまで)、short キュー(8 ノードまで)を提供している。

3.1.1 ノード固定
グループコースのノード固定では、計算ノードを当該グループで専有して利用することができる。バッチジョブによる利用の他、商用プログラムや特殊なライブラリ等の利用、利用環境のカスタマイズ（インタラクティブ実行環境、ローカルディスク利用等）が可能である。専用ログインノードの設置も利用者負担により可能であり、高いセキュリティが求められる場合に有用である。申込に際しては審査がある。現在 1 グループが正式サービス開始後にノード固定を利用予定である。
3.1.2 トークン移行
本センターのスーパーコンピュータシステム相互にトークンの移行を可能とした。この仕組みにより新たな利用負担金が発生することなく他方のシステムを利用することができる。トークンの移行にあたっては表 5 の換算率により移行先のトークン量、表 6 の基準ノード数、換算係数より移行先のトークン消費係数切替点(ノード)が決まる。
表 5．トークン換算率
トークン移行

換算率

インタラクティブ実行用のキューは 8 ノードまで用意しており、このキューではトークンが消費されない。このほか講習会や講義利用については専用のキューを用意して対応しているほか、可視化などの解析データの前処理や後処理のために、ログインノードと同じ構成のノードで対話的実行する prepost キューを提供する予定であり、利用支援ポータルからの予約利用形式での提供を予定している。
なお、SSD 搭載ノードは regular キューのみで使用可能である。
表７．ジョブクラス制限値(正式サービス)
キュー名

ノード数

debug
1-16
short
1-8
regular(small)
1-16(medium)
17-64(large)
65-128(x-large)
129-256
interactive)(interactive_1)
1(interactive_8)
2-8

制限(経過)
時間

30min
8h
48h
48h
48h
24h
2h
10min

Oakbridge-CX→

Reedbush

Oakbridge-CX→

Oakforest-PACS

1.3
2.0

Reedbush→

Oakbridge-CX

0.75

Oakbrigde-CX にはログイン・計算ノードの双Oakforest-PACS→

Oakbridge-CX

0.5方から利用できる並列ファイルシステム（/work）

3.3 ファイルシステムとログインノード専用のファイルシステム（/home）がある。/work の容量は申込コースにより基本量244が決まり、増量が可能である。/home は各ユーザ

る 1,280 ノード(内 SSD 搭載 112 ノード)を、最大一律に 50GB を上限としており、バッチジョブか24 時間、1 研究グループで計算資源の専有利用がらの利用はできない。

できる公募型プロジェクトである。月に 1 回、午3.4 SSD 搭載ノード

前 9 時から翌日の 9 時までの 24 時間、1,280 ノー

Oakbridge-CX は、全 1,368 ノードの内、128 ノドを使用できる環境に切り替える。年数回公募をードに SSD を搭載しており、SSD 搭載ノードは行い、課題審査で採択されると利用することがでregular キューのみで使用可能で、1 ジョブで最大きる。正式サービス開始後に公募を開始する予定

112 ノードまで利用可能である。1 ノードの SSDである。

容量および読込性能，書込性能はそれぞれ 1.6TB、3.6 その他

3.2GB/s 、 1.32GB/s で あ り 、 112 ノ ー ド で は

令和元年度 10 月からは HPCI（革新的ハイパフ

179.2TB、358.4GB/s、147.84GB/s である。SSD 搭ォーマンス・コンピューティング・インフラ）お載ノードは、ジョブ実行時の一時ファイルの置きよび JHPCN（学際大規模情報基盤共同利用・共同場所としての利用を想定しており、ジョブ終了時研究拠点）に資源を拠出予定である。令和元年度にデータがクリアされるため各自の領域への退避は、HPCI で採択された 3 課題に Oakbridge-CX のが必要である。

資源を 133,680 ノード時間提供し、JHPCN で採択

また、各計算ノードの SSD を個別に使用するだ

された 5 課題に Oakbridge-CX の資源を 101,837 ノけでなく、単一の並列共有ファイルシステムード時間提供する予定で、令和 2 年度は通年で資(/dist)を構成して利用することも可能で、ファイ源を拠出する予定である。

ルステージング機能を有する。

一般利用に加えて教育利用や企業利用、若手・女性利用、トライアルユース（有償・無償・無料体験）についても正式サービス開始後に順次募集を開始する予定である。

4利用状況

4.1 試験運用期間
Oakbridge-CX は、2019 年 7～9 月の予定で試験運用を行なっており、試験運用期間中はジョブの実行時間制限を正式サービスの 1/4 程度の時間とし、ユーザに開放している。システムの動作に問題がないか、リソースの制限値など設定が適切か、ユーザの従来機からの移行など検証を行っている段階であるが、9 月途中時点では、日別最大74.57%の利用率を記録している。10 月 1 日からは

図 3．ステージング概要

正式サービスを開始する予定である。
SSD 搭載ノードのうち 16 ノードは、外部接続4.2 利用申込ノードとして使用することとしており、一例とし2019 年 9 月中旬時点での試験運用登録ユーザては、VLAN を使用して SINET 経由で特定の外部数はグループコースが 43 グループ 277 ユーザ、ネットワークと直結し、遠隔でリアルタイムなデパーソナルコースが 31 ユーザである（本センターータ処理を実現する計画がある。データ利活用型スタッフを除く）。その内、2019 年 9 月中旬時点の利用形態が求められており、個別のニーズにもで、正式サービス開始後も継続利用予定のユーザ対応していく予定である。

数は、2019 年 9 月中旬の時点で、グループコース

3.5 大規模 HPC チャレンジが 24 グループ 145 ユーザ、パーソナルコースが2019 年 12 月より、「大規模 HPC チャレンジ」13 ユーザとなっており、正式サービス開始に向けを実施する。「大規模 HPC チャレンジ」は、て増加傾向にある。正式サービス開始後は、企業

Oakbridge-CX が持つ最大規模の計算ノード数であ利用、HPCI および JHPCN への資源提供を開始し利用者数の増加が見込まれる。講義やセンターが245

開催している講習会での教育利用も提供予定である。
利用者へのトークンの払い出しについては年間総量の 120% までの払い出しを上限としている。

5

今後の課題
今後の課題として以下のことが挙げられる。

・ 利用向上に向けた取り組み（講習会、手引書の充実）
・ 12 月から実施予定の大規模 HPC チャレンジの安定運用
・ コンパイラやアプリケーションの更新拡充
・ SSD 搭載ノード活用法の周知
・ prepost キュー予約機能の提供

参考文献[1] 東京大学情報基盤センター
http://www.cc.u-tokyo.ac.jp/[2] Oakbridge-CX スーパーコンピュータシステム,
http://www.cc.u-tokyo.ac.jp/supercomputer/obcx/
service/[3] 富士通株式会社 坂口 吉生、「大規模超並列スーパーコンピュータシステム OakbridgeCX の特長」、東京大学情報基盤センタース
ーパーコンピューティングニュース、Vol.21,No.4 pp.23-35 2019．
[4] 東京大学情報システム部 「Oakbridge-CX スーパーコンピュータシステム運用開始のお知らせ」、東京大学情報基盤センタースーパーコンピューティングニュース、Vol.21, No.4
p.5 2019．
[5] Reedbush スーパーコンピュータシステム,
https://www.cc.u-tokyo.ac.jp/supercomputer/reedbush/service/[6] Altair HyperWorks
http://altairhyperworks.jp/[7] Oakforest-PACS スーパーコンピュータシステ
ム, https://www.cc.u-tokyo.ac.jp/supercomputer/ofp/service/246