新スーパーコンピュータシステムの紹介
島袋 友里 1) , 當山 達也 1) , 疋田 淳一 1)
1) 京都大学 情報部
shimabukuro.yuri.8e@kyoto-u.ac.jp

Introduction of New Supercomputer System
Yuri Shimabukuro1) , Tatsuya Tohyama1) , Junichi Hikita1)
1) Information Management Department, Kyoto Univ.

概要
京都大学学術情報メディアセンターでは、全国の学術研究者に対してスーパーコンピュータシステムを提供しており、2023 年 4 月より新スーパーコンピュータシステムの正式サービスを開始した。本稿では、システムの構成およびサービス内容について紹介し、新システムの性能について報告する。

いる機械学習・深層学習用途に対応するために、GPU1 はじめにを搭載した構成である。クラウドシステムは、クラウ

京都大学学術情報メディアセンター（以下、「本セド事業者が提供するリソースを活用することで、柔ンター」と言う）では、全国共同利用サービスとして、軟に運用可能なシステムとして位置付けている。スト

学術研究者に対してスーパーコンピュータシステムをレージシステムは、HDD で構成した大容量ストレー提供している。高性能な演算環境を提供するために 4ジと、SSD で構成した高速ストレージの 2 種である。

〜6 年間隔でシステムを更新しており、2023 年 4 月よ2.2

り新スーパーコンピュータシステム（以下、「新システム」と言う）の正式サービスを開始している [1]。

Camphor3（System A）

Camphor3 は、第 4 世代の Intel Xeon CPU Max
9480（Sapphire Rapids）プロセッサ 2 基を搭載した

新システムは、Camphor3（System A）、Laurel3演算ノードを 1120 ノード接続した大規模クラスタ構（System B）、Cinnamon3（System C）、Gardenia（Sys-成のシステムである。各ノードには 112 個の CPU コtem G）、クラウドシステムからなる 5 種の演算シス

アを搭載し、6.80 TFLOPS の演算性能を有している。

テムと、大容量ストレージ、高速ストレージからなるメモリは高いメモリバンド幅を有する HBM2e を 1282 種のストレージシステムによって構成された、総演GiB 搭載しており、理論上のメモリバンド幅は 3.2

算性能 11 PFLOPS、総メモリ容量 370 TiB、総ストTB/sec である。ノード間は 50 GB/sec の転送性能をレージ容量 44 PB の高性能かつ大規模なシステムで持つ Inﬁniband NDR による Fat-Tree 構成で接続しある。ている。総演算性能は 7.63 PFLOPS、総メモリ容量

本稿では、新システムの構成およびサービス内容について紹介し、新システムの性能について報告する。

HBM2e と Inﬁniband NDR による高速なデータ転送能力により、CPU の演算性能を発揮しやすい大規

2 システム構成
2.1

は 140 TiB である。

模な並列演算が可能なシステムとなっている。

システム概要2.3

Laurel3（System B）

新システムの構成図を図 1 に示す。演算システムのLaurel3 は、第 4 世代の Intel Xeon Platinum 8480+

内、Camphor3、Laurel3、Cinnamon3 については前プロセッサ（Sapphire Rapids）を 2 基搭載した演算システムの設計理念を継承しており、Camphor3 は演ノードを 370 ノード接続したクラスタ構成のシステ算性能を、Laurel3 は汎用性を、Cinnamon3 はメモリムである。各ノードには 112 個の CPU コアを搭載

容量を重視した構成となっている。Gardenia は今回し、7.17 TFLOPS の演算性能を有しており、メモリ追加したシステムであり、近年著しく発展・拡大しては最新の規格である DDR5-4800 を 512 GiB 搭載し、121図1

システム構成図614 GB/sec のメモリバンド幅を備えている。ノード算性能は 2.66 TFLOPS、GPU 演算性能は倍精度 78

間は 25 GB/sec の転送性能を持つ Inﬁniband NDR

TFLOPS、半精度 1248 TFLOPS である。CPU 総200Gbps による Fat-Tree 構成で接続している。総演

演算性能は 42.59 TFLOPS、GPU 総演算性能は倍

算性能は 2.65 PFLOPS、総メモリ容量は 185 TiB で精度 1.24 PFLOPS、半精度 20.2 PFLOPS である。

ある。

TensorFlow、Pytorch 等のツールも備えることで、機Camphor3 と比較し、メモリバンド幅、ネットワー

械学習・深層学習用途に活用しやすいように整備した

ク転送性能には劣るが、メモリ容量が大きいことからシステムである。

多様な計算を実行しやすい中規模なシステムとなって2.6

いる。

ストレージ

ストレージシステムは、DDN 社の EXAScaler を用

2.4 Cinnamon3（System C）

いた Lustre ファイルシステムで構成している。HDD

Cinnamon3 は、メモリ以外は Laurel3 と共通のシで構成される大容量ストレージの物理容量は 40.32

ステムで、1 ノードあたり 563 GB/sec のメモリバン

PB、データ転送速度は 280 GB/sec、SSD で構成されド幅を有する DDR5-4400 を 2 TiB のを搭載した大容る高速ストレージの物理容量は 4.06 PB、データ転送量メモリのシステムである。演算ノードは 16 ノード

速度は 768 GB/sec である。

で構成している。総演算性能は 114.6 TFLOPS、総メ2.7

モリ容量は 32 TiB である。

ソフトウェア

利用可能なソフトウェアスタックを図 2 に示す。

大規模な可視化やデータ分析を共有メモリ上で実行しやすいように、容量だけでなく、メモリバンド幅もOS は全システム共通で Red Hat Enterprise Linux 8である。

重視したシステムである。

ジョブスケジューラはオープンソースソフトウェア

2.5 Gardenia（System G）である Slurm Workload Manager を採用した。本セ

Gardenia は、AMD EPYC 7513 プロセッサを 2ンターの固有機能の一部はプラグインによる機能拡基、NVIDIA A100 を 4 基搭載した演算ノードを 16張が行われており、キューごとの資源量保障の仕組み

ノード接続したシステムである。各ノードの CPU 演や、要求リソース量を指定する機能、追い越し許容ポ122リシーなどが該当する。

つ、ノードの確保を保証しないことで、節電のためのCamphor3、Laurel3、Cinnamon3 向けの開発ツールとして Intel oneAPI を、Gardenia 向けの開発ツー縮退運転等、柔軟に運用できるように設計したタイプである。

ルとして NVIDIA HPC SDK を導入した。この他に専用クラスタコースは計算ノードの一部をスーパーも、図 2 に示した ISV アプリケーションを導入してコンピュータから切り離し、クラスタの先頭ノードにいる。

グローバル IP アドレスを割り当てることで、研究室のクラスタに近い環境を提供するコースである。
エントリコースは他のサービスコースに属さないユーザのためのコースである。最大 0.5 ノード相当の資源を提供している。

3.2

ストレージの提供

ホームストレージ、大容量ストレージ、高速ストレー
ジの 3 種類のストレージ領域を提供している。
ホームストレージは、ユーザのホームディレクトリとして全ユーザに対して 100GB を割り当てている。
大容量ストレージはパーソナルコース向けに 8TB、グ図2

ソフトウェアスタック

ループコース向けにはタイプ・申請ノード数に応じて標準提供している。
大容量ストレージは 2 つのファイルシステムに分割

3 提供サービスして構成しており、そのうち 1 つをバックアップ領域

本センターでは、全国の学術研究者に対し、定額のとし、週 1 回を目安にバックアップを行っている。大

利用負担金によるサービスを提供している。サービス

容量ストレージのバックアップはユーザ自身で無効にコースごとに利用可能な資源量やジョブの実行可能時することも可能であり、バックアップが有効の場合、間が異なっており、ユーザは利用目的に応じたコース

使用可能な容量は提供している容量の 1/2 となるが、を選択できるようになっている。

無効とすることで、提供している容量を全て使用するサービスコースの種類ことも可能である。標準提供の大容量ストレージでは

3.1

本センターでは、エントリコース、パーソナルコース、グループコース、専用クラスタコースの 4 種類か不足する場合は、別途申請を行うことで容量を 10TB単位で追加することも可能である。
高速ストレージについては、2023 年度を試用期間とらなるサービスコースを用意している。
パーソナルコースは個人で利用するユーザのためのし、パーソナルコース向けに 500TB、グループコースコースであり、Camphor3/Laurel3 は最大 2 ノード相向けには申請ノード数に応じた容量を無償で提供して当、Cinnamon3 は最大 1 ノード相当、Gardenia は最いる。

大 1GPU 相当の資源を提供している。

3.3

その他のサービス

グループコースは研究室や共同研究グループ等の複前述のサービスの他に、短期間だけ高並列ジョブを数名での利用を想定したコースである。申請ノード数実行したいユーザのための、Camphor3 または Lau-が常に確保されることを保証する「占有」タイプ、申rel3 を 1 週間（7 日）単位で利用可能な大規模ジョブ請ノード数の 1/2 の確保を保証し、残りはシステムのコース、研究室の PC にアプリケーションをインス空き状況に応じて提供する「優先」タイプ、申請ノートールして利用可能な ENVI/IDL のライセンスサー

ド数の 1/4 の確保を保証し、残りはシステムの空き状

ビス、学会や研究会のポスターセッションなどへの投況に応じて提供する「準優先」タイプ、常に確保する稿支援のための大判プリンタのサービスを提供してノードは無く、ベストエフォートで提供する「準々優いる。

先」タイプの 4 種類のタイプから選択が可能である。
なお、「準々優先」は新システムから開始したサービ

4 利用支援制度スであり、電気代が高騰した状況においても、負担金本センターで実施している、スーパーコンピュータを抑えたタイプを用意することで計算需要に応えつシステムのユーザに向けた利用支援制度について紹介123する。いずれの制度も、課題募集後に審査を行い、採択課題を決定する方式である。

4.1

プログラム高度化共同研究

スーパーコンピュータをグループコースまたは専用クラスタコースで利用中の研究グループを対象に、大規模計算プログラムの高度化・高性能化を支援する制度である。本制度に採択された課題は、本センターとの共同研究として、プログラムの性能評価やより良いアルゴリズムの検討を実施し、プログラムを改良する取り組みである。本制度のプログラム開発等に要する

図3

過去 3 世代性能比較

費用は本センターが負担することで、ユーザの費用負担なしで実施している。

4.2

大規模計算支援枠したことで、実際の性能の面では旧システムよりも性スーパーコンピュータをパーソナルコース、グルー能を発揮しやすい環境になったと考えている。表 1 にプコースまたは専用クラスタコースで利用中の研究グ

示す新/旧システムの Camphor の Top500[2] のデー

ループを対象に、「大規模ジョブコース」の利用負担金

タからは、実効効率が大幅に上昇し、実効性能を示すを一定範囲で本センターが負担する制度である。既にRmax の値では、2.19 倍の向上を達成している状況

大規模なプログラムを持っているユーザや、プログラを確認できている。ユーザの体感的にも性能向上のメ

ム高度化共同研究を利用したユーザが、その成果を元リットを感じられるものと考えている。本稿での紹介に、大規模計算を実行するための制度である。

は省略するが、いくつかのベンチマークプログラムで

4.3

若手・女性研究者奨励枠

は、2〜5 倍の性能向上を得られていることを確認でき

40 才未満の若手研究者または女性研究者を対象とている状況である。

した奨励研究制度である。パーソナルコースまたはグ
表 1 Camphor 性能比較

ループコースを利用可能であり、それらのコースを利用するために必要な利用負担金のうち、最大 10 万円を本センターで負担する制度である。また、採択されRmax

た課題は「学際大規模情報基盤共同利用・共同研究拠[TFLOPS]点（JHPCN）」の萌芽型共同研究へ推薦する候補としRpeakている。

[TFLOPS]
実行効率 [%]

5 性能向上の達成状況

旧システム

新システム

新旧比

3,057

6,708

2.19 倍

5,483

7,627

1.39 倍

55.76

87.96

1.58 倍新システムを含めて、本センターで稼働していた

6 おわりに

直近 3 世代それぞれの総理論演算性能を図 3 に示す。

2012 年〜2016 年に稼働していたシステムから 2016

本稿では、今年度より運用を開始した新システムの年〜2022 年に稼働していた（以下、「旧システム」と言概要およびサービスについて紹介し、以前導入していう）システムへの更新の際は、約 6.7 倍の性能向上をたシステムとの性能比較を行った。

達成していたが、今回の更新では、約 1.8 倍の向上にCamphor3 の総演算性能は 7.63 PFLOPS、Laurel3留まっている。システム更新の計画を立てた当初は、の総演算性能は 2.65 PFLOPS、Cinnamon3 の総演算

CPU の性能向上のスピードが鈍化している状況や予性能は 114.6 TFLOPS となっている。また、今回新算上の制約をふまえて、旧システムの 2〜2.5 倍程度のしく導入した Gardenia では、ノードあたり GPU を達成を目指していたところであった。しかし、調達の4 基搭載しており、機械学習・深層学習方面での利用タイミングでの円安や物価上昇等の影響もあり、当初が見込まれる。

想定以上にシステム規模を抑えざるを得なかった。

サービスコースは新システムからグループコースに理論演算性能の見かけ上の伸びは想定より小さく「準々優先」タイプを新設したことで、システムの柔軟なったが、高いメモリバンド幅を持つシステムを導入124な運用が可能になった。

システムの性能としては総理論演算性能として約1.8 倍のシステムを導入した。更新計画当初の目標には届かなかったものの、高いメモリバンド幅を持つシステムを導入したことで旧システムより性能を発揮することができるようになったと考えている。
サービス面、システム面ともに、今後もより良い計算機環境を実現するための取り組みを続けていく所存である。

参考文献[1] 深 沢 圭 一 郎. 新 ス ー パ ー コ ン ピ ュ ー タ シ ス
テ ム の ご 紹 介. 京 都 大 学 情 報 環 境 機 構 広 報
誌「Info!」. 2023, vol 28, p.10-12. https://www.iimc.kyoto-u.ac.jp/info28.pdf,（参照2023-09-22）.
[2] Top500 . TOP500. https://www.top500.
org/, （参照 2023-09-22）.

125