九州大学情報基盤研究開発センター新スーパーコンピュータシステムの紹介
大島 聡史 1) , 南里 豪志 1) , 美添 一樹 1) , 平島 智将 1) , 原田 浩睦 1) , 池田 嗣穂 1)
1) 九州大学 情報基盤研究開発センター
ohshima@cc.kyushu-u.ac.jp

Introduction of the New Supercomputer System at ResearchInstitute for Information Technology of Kyushu University
Satoshi Ohshima1) , Takeshi Nanri1) , Kazuki Yoshizoe1) , Tomoyuki Hirashima1) ,Hiroyoshi Harada1) , Tsuguho Ikeda1)
1) Research Institute for Information Technology, Kyushu University

概要
九州大学情報基盤研究開発センターでは、2024 年 7 月より新スーパーコンピュータシステムの運用を開始する。
本稿では、このシステムの概要を、現有システム ITO からの改善点を踏まえながら紹介する。

シミュレーションに加え、データ駆動型研究の展開1 背景を支援するスーパーコンピュータシステムの調達を九州大学情報基盤研究開発センター（以下、本セン実施し、入札の結果、富士通社の FUJITSU Serverター）は、大学等の教員、大学院学生、その他の研究PRIMERGY シリーズを中核とするシステムとなる者が学術研究等のために利用する全国共同利用施設でことが決定した。本稿では、まず現有システム ITOあり、1969 年に設置されて今日に至っている。本センの課題を説明し、その課題を解決する新スーパーコン

ターでは、科学技術シミュレーションに加えて第 5 期ピュータシステムについて、特徴と概要を紹介する。

科学技術基本計画に示された AI（人工知能・機械学習）、ビッグデータ、さらにデータサイエンスの研究及びこれらを活用した研究にも対応した研究基盤の提2 現有スーパーコンピュータシステム ITOの課題供を目指し、2017 年度にスーパーコンピュータシステ新スーパーコンピュータシステムの調達にあたり、

ム ITO を導入した。ITO は、国内の大学・高等専門

本センターの現有スーパーコンピュータシステム ITO

学校・大学共同利用機関の構成員の他、センター長がにおける主な課題として以下を提起し、これらを解決利用を認めた民間企業の構成員や国外の研究者にも利できるシステムとなるよう仕様を策定した。

用されている。
このシステムは 2023 年 2 月までの需要を想定したものであり、その後、半導体や部材の世界的な不足に伴って運用を 2024 年 2 月まで延長したものの、計算資源の需給が逼迫していた。また、第 6 期科学技術・イノベーション基本計画では、データ駆動型研究やオープンサイエンスの推進が掲げられており、これを支援する新しい計算基盤の整備が求められている。そこで単なる計算能力増強だけでなく、データサイエンスに代表されるように、急速に多様性を増しつつある様々な需要にも耐えるシステムへの更新が必要であった。
そこで、2024 年 7 月から 5 年間強で予想される計算需要を想定するとともに、従来の大規模科学技術

89

計算能力の需給逼迫解消
ユーザの計算需要に計算リソースが追い付いておらず、特に CPU 搭載ノード群で待ち時間の長期化が頻発している。一方、GPU 搭載ノード群については、2017 年の導入当時のアーキテクチャのままであり、最近のデータ駆動型研究や機械学習での需要にこたえるには不十分である。そのため、今後の需要を想定した計算能力の全般的な向上が求められている。
外部ストレージとの連携

ITO のようなオンプレミス型のスーパーコンピ
ュータは冗長性が低いため、保守作業等により全サービスを停止する期間が発生し、その期間ドにより構成される。このノードグループは、GPUはファイルにアクセスもできないため、可用性にの利用に適していない汎用のアプリケーションや、多問題が生じている。特に今後重要性を増すオープ

数のノードを用いた大規模な分散計算への利用が想定

ンサイエンスでは、外部システムとの間で頻繁にされている。

データの相互参照を行うことが想定されており、同様に GPU を搭載しない ITO のサブシステム A

従来のようなオンプレミスストレージ領域のみにと比較すると、ノード単体の理論演算性能は 2.11 倍による構成では対応が困難である。そのため、パブ増加しているが、ノード数は 0.512 倍に減少している。

リッククラウドのストレージサービスなど、24 時ノードグループ（サブシステム）全体としては 1.07 倍間稼働が想定されている外部のストレージとの同に性能が向上している。

期機能や連携機能を有する、オープンなストレージシステムが必要である。

各ノードに搭載されているストレージは OS 起動用の HDD のみであり、ユーザが一時領域として使新しい利用形態に対応したソフトウェアツール用することを想定した高速ストレージは搭載していな

ITO には、仮想マシンを時間予約して対話的にい。ノード間の接続には InﬁniBand NDR 200Gbps利用する機能が用意されているが、Linux での利をノードあたり 1 ポート備えている。

用を前提としている点や、仮想マシンの起動に時3.3

ノードグループ B間を要する点等の課題があった。一方、特に最近

ノードグループ B は、ノード内に 4 基の GPU をスーパーコンピュータ利用が進みつつあるデータ搭載した計算ノードグループであり、製品としては駆動型研究の分野では、ブラウザベースの GUI

FUJITSU Server PRIMERGY CX2560 M7 によりインタフェースやワークフローツールによるプロ構成される。

ジェクト管理などが一般的に利用されている。そノードグループ B は各ノードに CPU としてノーのため、これらのソフトウェアツールを用意する

ドグループ A と同じ Intel Xeon Platinum 8490H をことにより、PC やパブリッククラウドなどと同2 基と、1024 GiB の DDR5 メモリ、さらに GPU と様の使い勝手を提供可能となると期待できる。

して NVIDIA H100 (SXM5 版, HBM2e 94GiB 搭載)
を 4 基ずつ搭載している。このノードグループは、非3 新スーパーコンピュータシステムの概要
3.1

常に高い演算性能とメモリ転送性能を有する GPU を搭載しており、データ科学アプリケーションにも数値新スーパーコンピュータシステムの構成

新システムのシステム構成図を図 1 に示す。本シス
テムは主に、計算ノード群（ノードグループ A、ノードグループ B、ノードグループ C）、ログインノード群、共有ストレージ、管理サーバ群から構成される。
本章では主なハードウェア仕様と導入予定ソフトウェアについて述べる。
新システムと旧システム (ITO) の性能比較を表 1に、新システムの各ノードグループの詳細を表 3, 表

4, 表 5 にそれぞれ示す。
3.2

シミュレーションにも高い性能が期待される。
同様に GPU を搭載した ITO のサブシステム Bと比較すると、ノード単体の GPU の理論演算性能
は FP64 で 6.32 倍、FP32 や FP16 などでは Tensor

Core を含めると 46.67 倍に大きく増加しているが、ノード数は 0.29 倍に大きく減少している。ノードグループ（サブシステム）全体の GPU の性能としては、FP64 で 1.88 倍、FP32 や FP16 などでは Tensor

Core を含めると 13.87 倍に大きく上昇している。メ
モリ転送性能については、GPU 単体では 3.27 倍に上ノードグループ A

ノードグループ A は、GPU などの演算加速装置を搭載しない計算ノードグループであり、製品としては

FUJITSU Server PRIMERGY CX2550 M7 により構成される。
ノードグループ A は各ノードに Intel 社の Xeon

Platinum 8490H（Sapphire Rapids アーキテクチャ）を 2 基ずつと 512 GiB の DDR5 メモリを搭載しており、全ノードグループ中で最も多い 1024 の計算ノー90

昇しているものの、ノード数が減少したためノードグループ（サブシステム）全体ではほぼ同性能（1.03 倍）に留まっている。（表 1 では GPU の総性能にノードグループ C も含んでいる点に注意されたい。）
ユーザが利用できるノード内ストレージとしては、ノードあたり容量 12.8 TB, アクセス性能 4 GB/s（書き込み性能）の NVMe SSD を搭載している。ノード間の接続には InﬁniBand NDR 400Gbps をノードあたり 2 ポート備えており、CPU と GPU を繋ぐ 2 つ図1

新スーパーコンピュータシステムの全体構成

表 1 ITO と新システムの全体性能の比較

ITO

新システム比率（対 ITO）

7.38 PF ∗17.76 PF ∗31.05∗2∗4

総理論演算性能- CPU FP64
- GPU FP64 (TC 除く)

2.71 PF- GPU FP16, BF16 (TC 含む)

5.63 PF∗2166.22 PF

542 TiB ∗1566 TiB ∗3

10.84 PF

2.08
∗415.33

総メモリ容量- ホストメモリ- デバイスメモリ

8,192 GiB

∗215,568 GiB

1.04∗41.90

総メモリ転送性能- ホストメモリ

341.18 TB/s ∗1

653.72 TB/s ∗3

1.92

∗2

∗4

1.17

- デバイスメモリ

374.78 TB/s

総計算ノード数

2,292∗1

ストレージ容量

HDD 24.6 PB

437.82 TB/s
1,064

∗3

大容量 HDD 55.2 PB

0.46
2.24

高速 SSD 737.28 TB
ログインノード数221.00(*1: サブシステム A,B とフロントエンドシステムの合算。*2: サブシステム B のみ。*3: ノードグループ

A,B,C の合算。*4: ノードグループ B,C の合算。)の PCI-Express スイッチに 1 ポートずつ接続される。

3.4

ノードグループ Cに適している。大規模言語モデル (Large Language

Model, LLM) などの計算需要にも応えることが期待

ノードグループ C は、ノード内に 8 基の GPU をされる。

搭載した計算ノードグループであり、製品としては

ノードグループ C は、ITO における大容量フロン

Supermicro SYS-821GE-TNHR により構成される。

トエンドノードが担っていた大容量メモリ環境の提供

ノードグループ C の各ノードには CPU として Intelという役割を担っている。基本フロントエンドノード

Xeon Platinum 8480+ を 2 基と、8 TiB の DDR5 メとともに提供していた予約利用については、新システ

モリ、さらに GPU として NVIDIA H100 (SXM5 版,

ムではノードグループ A, B, C のスケジューラが提供

HBM3 80GiB 搭載) を 8 基ずつ搭載している。このする予定である。

ノードグループは、非常に高い演算性能とメモリ転送ユーザが利用できるノード内ストレージとしては、性能を有する GPU を多数搭載しており、単体ノード

ノードあたり 15.3 TB, アクセス性能 5.6 GB/s（書きの性能やメモリ容量を多く必要とする分野での利用込み性能）の NVMe SSD を搭載している。ノード間

91

表2の接続には InﬁniBand NDR 400Gbps をノードあた

ソフトウェア一覧

り 4 ポート備えており、CPU と GPU を繋ぐ 4 つの分類

PCI-Express スイッチに 1 ポートずつ接続される。

コンパイラ・ Intel oneAPI base&HPC toolkit,

3.5

ログインノード群

ソフトウェア

開発ツール

ログインノード群は、利用者が ssh ログインやプロNVIDIA

HPC

SDK,

NVIDIA

CUDA SDK, GCC, Julia, Mathe-グラムのコンパイル、ジョブの投入などを行うため

matica, MATLABのノード群であり、製品としては FUJITSU Server

数値計算ライ FFTW, PETSc, BLAS, LAPACK,PRIMERGY CX2530 M7 により構成される。

ブラリ

ログインノード群は 2 ノードによって構成されておその他のライ HDF5, NetCDF, NAG

り、各ノードには CPU としてノードグループ A と同

ブラリ

じ Intel Xeon Platinum 8490H を 2 基と、1024 GiB

計算化学の DDR5 メモリを搭載している。

3.6

ScaLAPACK

共有ストレージ

新システムは大容量ストレージと高速ストレージのGAMESS, GROMACS, LAMMPS,
Quantum

ESPRESSO,

CP2K,Gaussian,GaussView,

Molpro,Amber,MSC

VASP

2 種類の共有ストレージを有する。製品としてはいず

流体・構造解 OpenFOAM,

れも DDN EXAScaler により構成される。ファイル

析Marc/Nastran,

システムはいずれも Lustre である。

FIELDVIEW,

MicroAVS

大容量ストレージは HDD で構成され、680 本の機 械 学 習・ MLﬂow,TensorFlow,PyTorch,

HDD からなる OSS/OST を 6 セット、合計で 4,080 本

データ解析の HDD を搭載しており、物理容量としては合計 69.1

ワ ー ク フ OpenWheel,PB、RAID6 による実効容量としては合計 55.2 PB の

ロー・外部連 Nextcloud, AWS CLI, Azure CLI,容量を備える。取り扱い可能なファイル数（inode 数）

携

Jupyter Notebook, ROpen

gcloud CLI, OCI CLI, AWS Par-は約 450 億個である。書き込み性能は合計 360GB/s、allelCluster,読み込み性能は合計 420GB/s である。

GSISSH, Gfarm

高速ストレージは NVMe SSD で構成され、21 本のOnDemand,その他

Azure

CycleCloud,Singularity

SSD からなる OSS/OST を 6 セット、合計で 126 本の SSD を搭載しており、物理容量としては合計 921.6TB、RAID6 による実効容量としては合計 737.28 TB

または 10GbE の Ethernet により接続される。詳細の 容 量 を 備 え る 。取 り 扱 い 可 能 な フ ァ イ ル 数（in-は省略する。

ode 数）は約 110 億個である。書き込み性能は合計

3.8

360GB/s、読み込み性能は合計 480GB/s である。

新システムの提供する主なソフトウェアを表 2 にこれらのストレージに対し、NFS や S3 による外部からのアクセス機能も提供する予定である。

3.7

ソフトウェア示す。新ステムでは ITO が提供してきたソフトウェ
アに加えて、Open OnDemand、Wheel、MLﬂow とインターコネクト

いった利便性や生産性の向上に関するソフトウェア

各システムを相互接続するインターコネクトは In-や、NextCloud、AWS/Azure/gcloud/OCI のコマン

ﬁniBand NDR によるフルバイセクションバンド幅のドラインインタフェースといったスーパーコンピュー

Fat Tree トポロジーにより接続される。ネットワーク

タ外部との連携に関するソフトウェアなど、スーパーの上流に配置する Spine スイッチとしては NVIDIA

コンピュータの新しい使い方をサポートするソフトの QM9790 を 13 台と QM9700 を 3 台、下流に配置ウェアを充実させている。今後も利用者からの要望にする Leaf スイッチについては QM9790 を 21 台使応じてソフトウェアの拡充をする予定である。

用する。QM9790, QM9700 ともに InﬁniBand NDR

3.9400Gbps を 64 ポート搭載している。このネットワー
ク（NIC およびスイッチ）は MPI 集団通信の一部をCPU の代わりに実行する機能を有している。

新スーパーコンピュータシステムによる課題
解決

2 章で挙げた課題について、新スーパーコンピュー
タシステムでは、それぞれ以下の形で解決を図って制御および管理用のネットワークについては 1GbE92いる。

計算能力の需給逼迫解消

定した時刻に利用可能とする予約機能を提供す

まず CPU ノード群について、ノードグループ Aる。これにより短時間での対話型環境提供が可能のノード数は ITO のサブシステム A の半分程度となる。さらに、近年計算機センターでの導入がであるものの、ノード当たりのコア数は 3.3 倍、進んでいる Open OnDemand を提供することに搭載メモリ量は 2.6 倍、メモリバンド幅は 2.4 倍より、ウェブブラウザ上の GUI での操作を支援であり、より大量のジョブを同時に処理できるする。さらに、研究プロジェクトにおけるタスク構成となっている。また、計算性能について、単フローの管理を支援するツールとして MLﬂow と純なクロック周波数とコア数の積で計算されるWHEEL を導入する。これらにより、今までスーFP64 の理論演算性能では 3.2 節に記述した通りパーコンピュータや Linux になじみのなかった利ITO のサブシステム A に対して 1.07 倍にとど用者に対し、PC やパブリッククラウドなどに近まるものの、実際に科学技術計算に用いられる浮い利用環境を提供する。

動小数点演算にもとづいたベンチマークプログラム群の性能値である SPECrate 2017 FP では、ITO のサブシステム A での 2000 ノードの合計値414000 に対し、ノードグループ A は 1024 ノードの合計で 1050624 となり、約 2.5 倍に向上している。これにより、性能面でも、CPU ジョブの大幅なスループット性能向上が達成できている。一方 GPU ノード群については、3.3 節、および 3.4節に記述した通り、ノードグループ B、C に最新の GPU アーキテクチャである NVIDIA H100 を搭載することで、Tensor Core を含めた理論演算性能が FP64 で 4.1 倍、FP16 で 15.3 倍と、ITOのサブシステム B に搭載された GPU に対して大幅な性能向上を達成している。さらに、特にノードあたり 8 基の NVIDIA H100 と 8TiB のメモリを搭載するノードグループ C は、LLM のように高い演算性能と大量のデバイスメモリを必要とする計算需要にも十分対応可能となっている。

4 今後の予定
本センターでは、2024 年 7 月の新システム運用開始に向け、現在準備を進めている。現在のところ、最初の 2 カ月程度は試験運用とし、本運用の開始は 9 月を想定している。なお、現有の ITO の運用は 2024 年 2月末で運用を停止するものの、ログインノードと共有ストレージは 2024 年 9 月末まで利用可能とする。これにより ITO の利用者はシステム更新の作業期間中（2024 年 3 月〜6 月）もファイル参照が可能となる予定である。また、新コンピュータシステムと ITO を 3カ月程度並行運用することにより、ITO のファイルのうち必要なものを利用者自身で新コンピュータシステムにコピー可能とする。
新システムでの運用方針についても現在検討を進めており、特に利用負担金について、ITO で採用している月額定額制ではなく、予め購入したトークンを利用計算資源に応じて消費する従量課金制に移行すること

外部ストレージとの連携
共有ストレージシステムには、クラウドコンピューティングにおいて標準的に用いられているストレージインタフェース Amazon S3 API、及び外部のシステムとのファイル連携を容易にする NextCloud によるアクセスを可能としている。
さらにログインノード群では、主なクラウドコン
ピューティングサービス (Amazon Web Service,Microsoft Azure, Google Cloud, Oracle Cloud)を呼び出し可能な API 群が利用可能となっている。これらを用いて外部のストレージやコンピューティングサービスと連携することで、オープンサイエンスに求められる高可用性の実現が可能となる。

を検討している。これは、定額制では混雑状況によって計算資源単価が変動することが問題となっていたた
め、従量課金制の導入によって単価を安定させることが目的である。
なお、新システムの名称については、今後公募で決定する予定である。公募の要領など詳細はセンター

Web ページ等でアナウンスする。

5 おわりに
本稿では、2024 年 7 月に運用を開始する新スーパーコンピュータシステムの概要を紹介した。現有システ
ム ITO に対して、システム全体のジョブスループット向上や GPU 性能向上などのハードウェア性能向上に加え、対話型利用の利便性向上、ワークフロー管理

新しい利用形態に対応したソフトウェアツール
まず、ジョブスケジューラの対話型ジョブを、指93支援およびクラウドコンピューティング連携のための新しいソフトウェア導入により、今後予想される多様な研究分野からの計算需要に十分応えることのできるシステムを調達できたと考えている。利用者に質の高い研究環境を提供できるよう、導入業者の富士通株式会社と協力して稼働準備を進めたい。

94

表3

ノードグループ A の構成

機種名

CPU

FUJITSU Server PRIMERGY CX2550 M7
型番とノードあたり数量

Intel Xeon Platinum 8490H (Sapphire Rapids) × 2

コア数と動作周波数

60 コア, 1.90 GHz - 3.50 GHz

1CPU あたり理論演算性能

FP64: 3,648 GFLOPS

1CPU あたりメインメモリ

DDR5 4800 MHz, 256 GiB （32 GiB × 8 枚）

1CPU あたり理論メモリバンド幅

307.2 GB/s （4800 MHz × 8 Byte × 8 チャネル）

ノード数

1024

ノード間接続InﬁniBand NDR (200Gbps) × 1 ポート/ノード

冷却方式

水冷

総理論演算性能

FP64: 7.47 PFLOPS

総メインメモリ容量

512 TiB

総理論メモリバンド幅

629 TB/s

ユーザ用ローカルストレージなし

表4

ノードグループ B の構成

機種名

CPUGPUFUJITSU Server PRIMERGY CX2560 M7
型番とノードあたり数量

Intel Xeon Platinum 8490H (Sapphire Rapids) × 2

コア数と動作周波数

60 コア, 1.90 GHz - 3.50 GHz

1CPU あたり理論演算性能

FP64: 3,648 GFLOPS

1CPU あたりメインメモリ

DDR5 4800 MHz, 512 GiB （64 GiB × 8 枚）

1CPU あたり理論メモリバンド幅

307.2 GB/s （4800 MHz × 8 Byte × 8 チャネル）

型番とノードあたり数量

NVIDIA H100 (Hopper) × 4

1GPU あたり理論演算性能

FP64: 33.5 TFLOPSFP64 (TC): 66.9 TFLOPS
FP16, BF16 (TC): 989.4 TFLOPS

1GPU あたりメモリ

HBM2e 94 GiB, 2,396 GB/s

ホストとの接続

PCI-Express Gen.5, 総帯域 128GB/s（片方向あたり64GB/s）

GPU 間の接続

NVLink × 18/GPU（1 本あたり片方向 25GB/s、総帯域片方向あたり 450GB/s）

ノード数

38

ノード間接続InﬁniBand NDR (400Gbps) × 2 ポート/ノード

冷却方式

水冷

総理論演算性能CPU FP64: 277.25 TFLOPSGPU FP64: 5.09 PFLOPSGPU FP16, BF16 (TC): 150.39 PFLOPS

総メモリ容量ホストメモリ 38 TiB
デバイスメモリ 14.2 TiB

総理論メモリバンド幅

ホストメモリ 23.35 TB/s
デバイスメモリ 364.19 TB/s

ユーザ用ローカルストレージ

NVMe SSD 12.8 TB / ノード95

表5

ノードグループ C の構成

機種名CPUGPUSupermicro SYS-821GE-TNHR
型番とノードあたり数量

Intel Xeon Platinum 8480+ (Sapphire Rapids) × 2

コア数と動作周波数

56 コア, 2.00 GHz - 3.80 GHz

1CPU あたり理論演算性能

FP64: 3,584 GFLOPS

1CPU あたりメインメモリ

DDR5 4800 MHz, 4 TiB （256 GiB × 8 枚）

1CPU あたり理論メモリバンド幅

307.2 GB/s （4800 MHz × 8 Byte × 8 チャネル）

型番とノードあたり数量

NVIDIA H100 (Hopper) × 8

1GPU あたり理論演算性能

FP64: 33.5 TFLOPSFP64 (TC): 66.9 TFLOPS
FP16, BF16 (TC): 989.4 TFLOPS

1GPU あたりメモリ

HBM3 80 GiB, 3,352 GB/s

ホストとの接続

PCI-Express Gen.5, 総帯域 128GB/s（片方向あたり64GB/s）

GPU 間の接続

NVLink × 18/GPU（1 本あたり片方向 25GB/s、総帯域片方向あたり 450GB/s）

ノード数

2

ノード間接続InﬁniBand NDR (400Gbps) × 4 ポート/ノード

冷却方式

水冷

総理論演算性能CPU FP64: 14.34 TFLOPSGPU FP64: 536.00 TFLOPSGPU FP16, BF16 (TC): 2140.80 TFLOPS

総メモリ容量ホストメモリ 16 TiB
デバイスメモリ 1.28 TiB

総理論メモリバンド幅

ホストメモリ 1.23 TB/s
デバイスメモリ 53.63 TB/s

ユーザ用ローカルストレージ

NVMe SSD 15.3 TB / ノード96