スーパーコンピュータ「不老」のシステム構成と性能
大島 聡史 1) , 永井 亨 1) , 片桐 孝洋 1)1) 名古屋大学 情報基盤センター 大規模計算支援環境研究部門
ohshima@cc.nagoya-u.ac.jp

System overview and performance of supercomputer “Flow”
Satoshi Ohshima1) , Toru Nagai1) , Takahiro Katagiri1)
1) High Performance Computing Division, Information Technologcy Center, Nagoya University

概要
名古屋大学 情報基盤センターでは 2020 年 7 月 1 日に新しいスーパーコンピュータ「不老」のサービスを開始した。スーパーコンピュータ「不老」は、多様化する計算需要に対応するため、特徴の異なる複数の計算サブシステムを備えた複合型のシステムとし、新しい制度も多くとりいれた。本稿ではスーパーコンピュータ「不老」のシステ
ム構成とその性能について紹介する。

1 はじめに愛知県名古屋市千種区不老町に由来し、このシステム
によって人類が得た恩恵がその後末永く人類の文明の名古屋大学 情報基盤センター（以下、当センター）は中に生き続けることを願って命名されたものである。

名古屋大学 情報連携統括本部に含まれる組織であり、なお、英語名称は処理の流れなどを示す「Flow」であ学内外の様々な情報サービスを一元的に扱っている。

り、「不老」の読みも「フロウ」ではなく「フロー」で当センターでは全国共同利用施設として学内外の研究ある。スーパーコンピュータ「不老」（以下、「不老」）

者に計算資源を提供してきており、近年では、2013 年

は、従来のスーパーコンピュータシステム利用者に引に導入した FUJITSU Supercomputer PRIMEHPC

き続き計算資源を提供するという役割に加えて、多様FX10 システム (以下、FX10 システム)[1] を 2015

化する利用者の需要・要望や社会的ニーズ等に応える

年にアップグレードした FUJITSU Supercomputer

ために、特徴の異なる複数の計算サブシステムと 2 種

PRIMEHPC FX100 システム (以下、FX100 システ

類のストレージシステムを備えた複合的なシステムとム)[2] と、同様に 2013 年に導入し 2015 年にアップなっている。また、電力モニタリング機構とそれを活グレードした FUJITSU Server PRIMERGY CX400

用した節電対応運転を行う仕組みを有し、消費電力削システム (以下、CX400 システム) を中心としたサー減のために湧水を活用した冷却機構を備えるなど、先ビスを提供してきた。これらのシステムは安定して計進的で挑戦的なシステムとなっている。

算資源の提供を続けてはきたものの、運用期間が当初の予定を超え、またノードあたりの性能も現在主流の

2 スーパーコンピュータ「不老」のシステ
ム構成機種に劣るものとなってきたことから、2020 年 3 月末
日にてサービス提供を終了した。

2.1

全体構成

当センターでは、2018 年頃から本格的に次期システ「不老」の全体構成を図 1 に示す。また、当センター

ムの仕様について調査検討を開始し、2019 年 9 月に仕本館地下 1 階にある計算機室に設置された「不老」の様書を公開した。その後、2020 年 1 月に富士通株式会

写真を図 2 に示す。

社が落札し、2020 年 7 月 1 日に新システムのサービス多様化する計算需要に応えるため、「不老」は特徴のを開始した。従来、当センターでは提供するスーパー

異なる複数の計算サブシステムと 2 種類のストレージ

コンピュータシステムに愛称をつけてこなかったが、システムを中心とした複合的なスーパーコンピュータ

利用者にさらに身近に感じてもらえるシステムとなるシステムとなっている。「不老」の主要な計算サブシことを目指して、今回初めて公募を行い愛称を付けた。

ステムとストレージの主な仕様を表 1 および表 2 に示

愛称である「不老」は、名古屋大学の所在地名である

す。システム全体の理論演算性能 (Type I, II, III, おに 2,304 ノードが搭載され、総理論演算性能は 7.782

PFLOPS と全サブシステムの中で最も高い。
Type I サブシステムは従来の FX100 システム利用者向けの高速な後継機としての期待が大きい。さらに、現在は試行運用中かつ本格運用においても審査があり利用者が限られる「富岳」に対して、「不老」は利用資格を持つ者であれば利用できることから、「富岳」
における超大規模実行を目指す研究者・開発者にとっての開発・テスト環境や「富岳」向けに開発された高性能ソフトウェアの利用環境として、また新しいアー
図1

スーパーコンピュータ「不老」の全体構成

キテクチャ向けの研究開発環境としてなど、様々な役割が期待される。

2.3

Type II サブシステム

Type II サ ブ シ ス テ ム は 、FUJITSU Server
PRIMERGY CX2570 M5 により構成されている。
本サブシステムは、各計算ノードに 2 基の Intel Xeon

CPU と 4 基の NVIDIA Tesla V100 GPU を搭載し
図2

スーパーコンピュータ「不老」の外観写真 (計算機室の奥からと手前から)た、いわゆる GPU スパコンである。現行の最新世代といえる CPU と GPU を搭載しており、約 33.89

TFLOPS という高いノードあたりの理論演算性能 (倍精度浮動小数点演算) を備えている。本サブシステム
よびクラウドに搭載された CPU と Type II に搭載さは 221 ノードが 10 ラックに搭載されており、ノード

れた GPU の倍精度浮動小数点演算性能の合計値) は間の接続は InﬁniBand EDR、総理論演算性能は 7.489

15.88 PFLOPS であり、これは旧システムの全体性能

PFLOPS と Type I サブシステムに匹敵する。

(約 3.7 PFLOPS) の約 4.3 倍である。各サブシステム

Type II サブシステムは、当センターでは初の大規

間は InﬁniBand HDR/EDR にて相互に接続されては模な GPU 搭載システムである。高性能な GPU を多いるものの、複数のサブシステムにまたがって 1 つの数搭載するとともに、各ノードに高速な NVMe SSD

計算ジョブを実行することは想定されていない。

を搭載、コンテナ機能も提供しており、当センターで「不老」の最大消費電力は約 1900kVA であり、Typeはこれまで十分に対応できていなかった機械学習やI サブシステムと Type II サブシステムのみが水冷にビッグデータなどデータ科学分野を中心とした様々なよる冷却方式を用いている。「不老」における省電力分野の研究への活用が期待される。

に向けた取り組みと実消費電力については文献 [3] を

2.4

参照されたい。

2.2 Type I サブシステム

Type III サブシステム

Type III サブシステムは、2 ノードの HPE Superdome Flex によって構成されている。本サブシステム

Type I サブシステムは、理化学研究所と富士通社がは各計算ノードに 16 基の Intel Xeon CPU と 4 基の共同開発している「富岳」[4] の商用版として知られる

NVIDIA Quadro GPU を搭載しており、ノードあた

FUJITSU Supercomputer PRIMEHPC FX1000(以りの理論演算性能 (倍精度浮動小数点演算) は約 38.71

下、FX1000)[5] により構成されている。FX1000 は

TFLOPS と全サブシステムで最も高い。しかし本サA64FX CPU を 1 ノードあたり 1 基搭載しており、そブシステム最大の特徴はノードあたり 24 TiB というの理論演算性能 (倍精度浮動小数点演算) は 1 ノード

大規模な主記憶を搭載している点であり、大規模なプ

あたり約 3.38 TFLOPS である。A64FX の主記憶はリ・ポスト処理や可視化処理への活用が期待される。

HBM2 であり、1,024 GB/s という高いバンド幅を有

本サブシステム内のノード間は InﬁniBand EDR にする一方、容量は 32GiB に限られる。ノード間は高よって相互接続されているが、1 ノードは会話型処理、速で低遅延な Tofu インターコネクト D によって相もう 1 ノードはバッチ型処理と異なる利用方式で運用互接続されている。Type I サブシステムは 6 ラック

している。

Type III サブシステムは当センター 1 階の可視化室

してはならない）大容量データや、アクセス頻度は低に設置されている 185 インチ 8K 高精細ディスプレイ

いが重要性は高い大容量データを扱う需要が急速に増など可視化用の設備と組み合わせて使えるよう設計さ加している。HDD や SSD から構成されるストレー

れているため、コンテンツの作成や閲覧などにも活用

ジは最大容量にあわせて消費電力も増加し、また記録することができる。

媒体を取り出して持ち出すことも現実的ではない。そ2.5

クラウドシステム

こで「不老」ではこれらの需要に効率よく対応するたクラウドシステムは、100 ノードの HPE ProLiant

め、追記書き込みのみ可能で耐久性の高い光ディスク・

DL560 により構成されている。クラウドシステムは、

アーカイブ (Optical Disc Archive) を用いたコールド

Type II サブシステムと同様の Intel Xeon CPU を 1

ストレージを、スーパーコンピュータシステムとしてノードあたり 4 基搭載している。そのため、ノードあは世界に先駆けて導入した。コールドストレージはソたりの理論演算性能 (倍精度浮動小数点演算) は、CPU

ニー社の PetaSite 拡張型ライブラリにより構成され、だけで比較すれば約 5.38 TFLOPS と Type I, II の2020 年 7 月の運用開始時点 (Phase1) では総容量 484

各サブシステムよりも高く、特にスレッド並列化のみ

TB、2021 年 2 月 (Phase2) には約 6 PB に拡張され適用されている計算インテンシブなプログラムの高速る予定である。コールドストレージの詳細については実行に適している。クラウドシステム内のノード間は

文献 [6] を参照されたい。

InﬁniBand EDR によって相互接続されている。

2.7

その他の構成ハードウェア、ソフトウェア

クラウドシステムは、スーパーコンピュータシステ

以上の計算サブシステムやストレージに加えて、

ムでは一般的であるバッチジョブシステムを介した利FUJITSU PRIMERGY RX2530 M5 および RX2540

用に加えて、Web ベースの予約システムを介した時刻

M5 から構成される合計 25 台のフロントエンドシス

指定実行にも対応している。そのため本システムは、

テム (主にログインノード群として利用)、USB 記憶Type I, II 各サブシステムの混雑緩和とノードあたり装置などを持ち込んで「不老」のデータを読み書きすCPU 性能の高い x86 CPU 環境の提供に加えて、インる際などに便利なオンサイト利用装置、「不老」と可視

タラクティブ処理環境の提供により研究室の PC サー

化設備に接続されている Windows 端末である画像処

バ/ワークステーションなどの日常的な作業環境を代

理装置、その他の管理ノード群などにより「不老」は替するなど、様々な需要に対応できる。

構成されている。

2.6

共有ストレージ「不老」は商用ソフトウェアを含め様々なソフト「不老」は 2 種類の大規模な共有ストレージを有しウェアを提供している。特に、Type I サブシステムている。

は CPU アーキテクチャが他の計算サブシステムとは

ホットストレージは、スーパーコンピュータシステ

異なり、また Type II サブシステムは GPU を搭載

ムでは一般的である、多数の HDD によって構成さしているため、ソフトウェアごとに利用が推奨されるれる共有 RAID ストレージである。保存されたデー

計算サブシステムが異なる。計算サブシステムとソフタの情報を保持するメタデータサーバ (MDS)・メタ

トウェアの対応情報など最新の情報については Web

データストレージ (MDT) は FUJITSU PRIMERGY

ページ [7] にて公開している。

RX2540 M5 および FUJITSU ETERNUS AF250 S2により構成されており、データ自体は DDN SFA18KE

3 スーパーコンピュータ「不老」の性能

および DDN SS9012 に保持される。ホットストレー「不老」の各サブシステムを用いて測定した主要ベジのデータは RAID6(8D+2P) により保護されておンチマークの性能を報告する。本稿に掲載している

り、総容量は物理容量 40.32 PB、実効容量約 30.44PB

性能値はいずれも実機による性能値である。Type Iである。従来のストレージは実効容量約 6PB であっサブシステムについてはいずれも Fujitsu Software

たため、約 5 倍に増量されている。

Technical Computing Suite V4.0L20 に含まれるコン

ストレージ容量は約 5 倍に増量されたものの、近パイラや MPI を用いた。Type II サブシステムとク

年はデータ科学研究の発展にともない非常に大容量のラウドシステムについては特に断りがない限り Intel

データを生成する研究も増加している。特に、観測機

Parallel Studio XE 2019 Update 5 に含まれるものを器（センサ）から得られるデータや自動運転に用いる用いた。

環境データなど、生成されたら変更は行わない（変更3.1 STREAM ベンチマーク
STREAM ベンチマーク [8] は 2 つまたは 3 つの配列に対する単純な処理の性能を測定するベンチマーク(Rmax) は約 85.0% である。なお、前回の 2019 年 11
月版における FX100 システムの性能と順位は 2,910

TFLOPS で 84 位であった。

であり、メモリ転送性能を測定するものとして広く用Type II サブシステムは、導入時期の都合によりいられている。STREAM ベンチマークに含まれる項

TOP500 ランキングには掲載されていないが、221目のうち、配列の積和計算を行う Triad の性能を示す。

ノード全てを用いた実測値として 4,880 TFLOPS が

GPU の性能については、OpenMP により並列化され確認されている。この性能は TOP500 ランキングている CPU 版（オリジナル版）を OpenACC を用い2020 年 6 月版の 50 位に相当する。このときの問題サて GPU 化し、1GPU 内のデバイスメモリに対する処イズ (Nmax) は 1,880,064、理論演算性能 (Rpeak) に理の性能を測定した。

対する測定値 (Rmax) は約 65.2% である。コンパイラ

Type I サ ブ シ ス テ ム の 性 能 は 826GB/s、理や MPI については、Intel Parallel Studio XE Cluster論 性 能 に 対 し て 約 80.7% の 性 能 を 得 た 。特 に

Edition 2018 update4、CUDA10.2、OpenMPI-3.1.3

コ ン パ イ ル 時 オ プ シ ョ ン-Kzﬁll お よ び 実 行 時を用いた。

の 環 境 変 数 XOS MMM L PAGING POLICY を

ク ラ ウ ド シ ス テ ム に つ い て は 、Intel コ ン パ イ

demand:demand:demand に設定することが性能に大ラ (mkl, 2019 Update 5) に 付 属 の プ ロ グ ラ ム

きく影響した。Type II サブシステムの性能は、1 ノー(mp linpack) にて測定したところ、1 ノード 4CPU

ド 2CPU で 202GB/s(理論性能の約 71.7%)、1GPUで 3.25 TFLOPS、実行効率は約 60.5% であった。

で 777GB/s(理論演算性能の約 86.3%) の性能を得た。

3.3

HPCG ベンチマーク

CPU のメモリ性能はメモリ種別が異なるため Type

HPCG ベンチマーク [11] は、有限要素法から得I サブシステムと比べて低い。GPU のメモリ性能は、られる疎行列を対象として共役勾配法 (Conjugate

同じ HBM2 でも A64FX より理論性能の低い構成でGradient method, CG 法) を用いて連立一次方程式をあるため性能値では劣るが、理論性能に対する実測性

解く性能を求めるベンチマークである。本ベンチマー

能値の割合は高く、またノード内に 4GPU 搭載していクは行列積和演算の性能に大きく左右される HPL ベ

るため、ノード全体のメモリ転送性能では Type I サンチマークと比べて現実のアプリケーションに近いもブシステムを凌駕する。クラウドシステムは 1 ノードのとされている。

4CPU で 338GB/s(理論性能の約 60.0%) と、Type I,

HPCG ランキング 2020 年 6 月版において、Type

II サブシステムと比べて理論性能に対する実測性能値

I サブシステムは 230.594 TFLOPS で 16 位にランの割合が低かった。

クインしている。日本国内の順位では、「富岳」、AI

3.2 HPL ベンチマーク

Bridging Cloud Infrastructure (ABCI)、Oakforest-

High Performance Linkpack (HPL) ベンチマーク

PACS に次いで 4 位である。HPCG は HPL と比べて[9] は、LU 分解により連立一次方程式の求解を行う

ピーク性能に対する実測性能の比が非常に低いことが性能を求めるベンチマークである。このベンチマー

知られており、「不老」 Type I サブシステムの性能

クは、倍精度浮動小数点データに対する行列積和演算

比は 3.0% である。この性能比は現在のスーパーコン(Level-3 BLAS DGEMM) の性能に大きく影響を受けピュータにおいては非常に高い値であり、「不老」よりることが知られている。また、世界中のスーパーコン

も上位で 2.0% に到達しているのは HPCG スコア世

ピュータシステムの性能を順位付けする TOP500 お界一の「富岳」(2.6%) のみである。なお、2019 年 11

よび Green500[10] の指標としても、本ベンチマーク

月版における FX100 システムの性能と順位は 86.534が用いられている。

TFLOP で 31 位であった。

TOP500 ランキング 2020 年 6 月版において、Type

Type II サブシステムについては導入時期の都合にI サブシステムは 6,617.8 TFLOPS で 36 位 (2020より全ノードを利用した測定が行えていない。現時点

年 9 月 30 日現在) にランクインしている。日本国

では 100 ノードを用いたテスト実行 (ランキング登録内の順位では、「富岳」、AI Bridging Cloud Infras-には 3600 秒以上の実行時間が必要だが、今回はテス

tructure (ABCI)、Oakforest-PACS、TSUBAME3.0

ト実行として 60 秒だけ動かした) を行った結果としにつづく 5 位である。このときの問題サイズ (Nmax)て 48254.4 GFLOPS の性能が確認できている。今後

は 2,621,440、理論演算性能 (Rpeak) に対する測定値

システム全体での測定を行う予定であるが、100 ノー

ドの結果から単純に推測すると 100 TFLOPS 程度の性能が期待される。実行には HPCG ベンチマークのWeb サイトで配付されている 2019 年 12 月 5 日版のHPCG 3.1 バイナリを用いた。
クラウドシステムについては、Intel コンパイラ(mkl, 2019 Update 5) に付属のプログラムを用いて測定したところ、1 ノード 4CPU、60 秒試行で 61.7766

TFLOPS、実行効率 1.15% であった。

4 OSU Micro-Benchmarks

図 3 1 ノード内 1 対 1 通信のレイテンシ

OSU Micro-Benchmarks[12] は MPI 通信性能を測定するベンチマークである。本ベンチマークは様々な通信パターン (通信関数) に対応しているが、ここでは2MPI プロセス間通信のレイテンシと MPI Allreduce
集団通信の性能を報告する。

Type II サ ブ シ ス テ ム の OpenMPI に つ い て は
HPC-X v2.6 を用いた。
図 3 に Type I サブシステムと Type II サブシステ
ムの 1 ノード内 2 プロセスによる通信のレイテンシを示す。Type I サブシステムについては同一ノード内の異なる CMG 間、Type II サブシステムについては同一ノード内の異なる CPU ソケット間の通信を対象

図 4 2 ノード間 1 対 1 通信のレイテンシとしている。測定の結果、通信サイズ 8,192Byte まで
は Type II の Intel MPI が最も低レイテンシ、通信サ
イズ 16,384Byte から 262,144Byte までは Type I が
最も低レイテンシという結果となった。GPU 間通信
は他よりもレイテンシが大きいが、262,144Byte 以上
では高速という結果であった。
図 4 には 2 ノード間の通信のレイテンシを示す。

16,384Byte までは Type I と Type II の OpenMPIのレイテンシが同程度に小さく、それ以上のサイズでは Type I がやや劣るという結果が得られた。
図 5 には集団通信 MPI Allreduce の通信レイテン

図 5 MPI Allreduce の通信レイテンシ (ノードあたり 1 プロセス)シを示す。同一ノード数で比較すると、通信サイズが非常に小さい場合は Type I サブシステムが高速であるが、それ以外は Type II サブシステムが高速というの MDS、4 組の OSS/OST によって構成されており、結果となった。また GPU 間の通信時間は CPU 間よその構成には幾つか選択肢がある。
「不老」では、実際

り大幅に遅かった。

の利用シナリオを想定したストレージの負荷分散とス

5 IOR ベンチマーク

ループット向上や耐障害性などを考慮し、OST poolとマルチ MDS 機能を用いてアクセスの分散を図ってIOR ベンチマーク [13] はストレージの性能を測定いる。構成の概要を図 6 に示す。/home には一般ユーするベンチマークである。ここではホットストレージ

ザのホームディレクトリを配置し、/data/group1 は従に対するアクセスの性能を報告する。

来のシステムからの引き継ぎデータや追加で大容量の「不老」のホットストレージは全サブシステムから共ストレージを要求するユーザ用に利用、/data/group2

通にアクセス可能である。ただし、1 台の MDT、4 台

は特に I/O 負荷の大きなジョブ (ヘビーユーザ) を隔

[2] FUJITSUFX100Supercomputer
富 士 通

-

PRIMEHPC

https://www.fujitsu.

com/jp/products/computing/servers/(accessed

supercomputer/primehpc-fx100/
2020-09-28)[3] 田島嘉則, 山田一成, 高橋一郎, 毛利晃大, 片桐孝
広, 大島聡史, 永井亨, スーパーコンピュータ「不老」のサービスとエコシステム, 大学 ICT 推進協
図6

議会 2020 年度 年次大会 予稿集, 2020

ストレージの構成[4] スーパーコンピュータ「富岳」について — 理化学研究所 計算科学研究センター (R-CCS) https://www.r-ccs.riken.jp/jp/fugaku (accessed2020-09-28)

離するために用いている。

Supercomputer

PRIMEHPC シ

ストレージの各領域に対して実施した IOR ベンチ[5] FUJITSU

マークの性能を表 3 に示す。いずれも POSIX 版の結リーズ :果である。性能評価結果から、多数のユーザが同時に

com/jp/products/computing/servers/

利用する/data/group1 領域については読み込みと書

supercomputer/ (accessed 2020-09-28)

富 士 通 https://www.fujitsu.

き込みそれぞれ 100GiB/sec 程度、少数のヘビーユー[6] 高橋一郎, 大島聡史, 片桐孝洋, スーパーコン

ザ向けの/data/group2 領域については 35GiB/sec 程

ピュータ「不老」における光ディスクライブラリ度の性能を提供できることが確認できた。

を用いたコールドストレージシステムの構築, 大学 ICT 推進協議会 2020 年度 年次大会 予稿集,

6 おわりに2020

本稿では、2020 年 7 月 1 日より名古屋大学情報基盤[7] スーパーコンピュータシステム — 名古屋大学 情センターにてサービスを開始したスーパーコンピュー報連携推進本部 http://www.icts.nagoya-u.

タ「不老」の設計を紹介し、また主要なベンチマークプ

ac.jp/ja/sc/ (accessed 2020-09-28)

ログラムにより得られた性能評価結果を示した。スー[8] MEMORYBANDWIDTH:STREAM

パーコンピュータ「不老」は、「富岳」型の計算ノード

BENCHMARK PERFORMANCE RESULTS

を世界で初めて本格サービス運用するとともに、全国

https://www.cs.virginia.edu/stream/

共同利用のスーパーコンピュータではまだ提供数が少(accessed 2020-09-28)ない Tesla V100 GPU を多数提供し、光ディスクによ[9] HPL-A

Portable

Implementation

るコールドストレージシステムをスーパーコンピューtheHigh-Performance

タでは初めて導入、さらに湧水を用いた冷却システム

mark

for

を導入するなど、非常に先進的で挑戦的なシステムでhttps://www.netlib.org/benchmark/hpl/

ある。今後も安定したサービス運用を行うと共に、適(accessed 2020-09-28)

Linpack

Distributed-MemoryofBench-

Computers

切な利用方法や性能情報など利用者に役立つ情報を提[10] Home — TOP500 Supercomputer Sites https:

供し、ユーザによる本システムを用いた研究をサポー//www.top500.org/ (accessed 2020-09-28)

トするとともに、様々な分野の研究の発展に寄与していきたい。

[11] https://www.hpcg-benchmark.org

https://www.hpcg-benchmark.org/(accessed

2020-09-28)

参考文献[12] MVAPICH :: Benchmarks https://mvapich.

[1] FUJITSUFX10-Supercomputer
富 士 通

PRIMEHPC

https://www.fujitsu.

com/jp/products/computing/servers/
supercomputer/primehpc-fx10/
2020-09-28)(accessed

cse.ohio-state.edu/benchmarks/ (accessed2020-09-28)[13] hpc/ior: IOR and mdtest https://github.
com/hpc/ior (accessed 2020-09-28)

表1

スーパーコンピュータ「不老」の性能諸元 1Type I サブシステム
CPU

型番と数量
コア数と動作周波数

1CPU あたり理論演算性能
1 ノードあたりメインメモリ
1CPU あたり理論メモリバンド幅
ノード数
ノード間接続

機種名: FUJITSU Supercomputer PRIMEHPC FX1000

FUJITSU A64FX (Armv8.2-A + SVE) × 1 ソケット
48 コア +2 アシスタントコア, 2.2 GHz(I/O 兼計算ノードは 48 コア +4 アシスタントコア)
3.3792 TFLOPS (DP), 6.7584 TFLOPS (SP), 13.5168 TFLOPS (HP)
HBM2 32 GiB
1,024 GB/s (1CMG=12 コアあたり 256 GB/s, 1CPU=4CMG)
2,304
Tofu インターコネクト D 隣接ノード間 40.8 GB/s × 双方向(6.8 GB/s/link, 6 link 同時通信可能)

冷却方式

水冷

総理論演算性能
総メインメモリ容量

7.782 PFLOPS
72 TiB

Type II サブシステム

機種名: FUJITSU Server PRIMERGY CX2570 M5

ノード間接続Intel Xeon Gold 6230 (Cascade Lake) × 2 ソケット
20 コア, 2.10 - 3.90 GHz
1.344 TFLOPS (DP), 2.688 TFLOPS (SP)DDR4 2933 MHz, 384 GiB (32 GiB × 6 枚 × 2 ソケット)
140.784 GB/s
NVIDIA Tesla V100 (Volta), upto 1,530 MHz × 4 枚
HBM2 32 GB, 900 GB/s
7.8 TFLOPS (DP), 15.7 TFLOPS (SP), 125 TFLOPS (Deep Learning)
PCI-Express Gen.3 ×16 (16GB/s)
NVLink 2, 1GPU あたり合計 300 GB/s
(1GPU から他の 3GPU に対してそれぞれ 50 GB/sec × 双方向)
221
InﬁniBand EDR 100Gbps × 2 port

冷却方式

水冷

総理論演算性能

7.489 PFLOPS
メインメモリ 82.875 TiB, デバイスメモリ 28.288 TiB
各ノードに NVMe SSD 6.4 TB, 総転送性能 707 GB/s
一部のノードにて BeeGFS, BeeOND, NVMesh を提供

CPU

型番と数量
コア数と動作周波数

1CPU あたり理論演算性能
1 ノードあたりメインメモリ
1CPU あたり理論メモリバンド幅
GPU

型番と数量

1GPU あたりメモリ
1GPU あたり理論演算性能
ホストとの接続

GPU 間の接続
ノード数

総メモリ容量ローカルストレージ

Type III サブシステム

機種名: HPE Superdome Flex

ノード間接続Intel Xeon Platinum 8280M (Cascade Lake) × 16 ソケット
28 コア, 2.70 - 4.00 GHz
2.4192 TFLOPS (DP), 4.8384 TFLOPS (SP)DDR4 2933 MHz, 24 TiB (128 GiB × 16 ソケット)
140.784 GB/s
NVIDIA Quadro RTX6000 (Turing) × 4 枚
GDDR6, 24 GiB
PCI-Express Gen.3 x16 (16GB/s)
2
InﬁniBand EDR 100Gbps

冷却方式

空冷

総理論演算性能

77.414 TFLOPS
48 TiB
各ノードあたり 500TB の外部接続ローカルストレージ
可視化用ノードのみ 104TB の NVMe SSD を搭載

CPU

型番と数量
コア数と動作周波数

1CPU あたり理論演算性能
1 ノードあたりメインメモリ
1CPU あたり理論メモリバンド幅
GPU

型番と数量

1GPU あたりメモリ
ホストとの接続
ノード数

総メモリ容量ローカルストレージ表2

スーパーコンピュータ「不老」の性能諸元 2

クラウドシステム

機種名: HPE ProLiant DL560

ノード間接続Intel Xeon Gold 6230 (Cascade Lake) × 4 ソケット
(Type II サブシステムと同じ CPU のため詳細は省略)
DDR4 2933 MHz, 384 GiB (32 GiB × 3 枚 × 4 ソケット)
140.784 GB/s
100
InﬁniBand EDR 100Gbps

冷却方式

空冷

総理論演算性能

537.6 TFLOPS
37.5 TiB

CPU

型番と数量

1 ノードあたりメインメモリ
1CPU あたり理論メモリバンド幅
ノード数

総メインメモリ容量
ホットストレージMDS
MDT
OSS/OST
ストレージ容量
データ保護
転送性能

FUJITSU PRIMERGY RX2540 M5 × 4 台
FUJITSU ETERNUS AF250 S2 × 1 台(DDN SFA18KE × 1 台, DDN SS9012 × 10 台) × 4 セット
物理容量 40.32 PB, 実効容量 約 30.44 PB
RAID6 (8D+2P), データバックアップなし
384 GB/sec (最も転送速度が遅い部分の理論性能)

コールドストレージ

Phase 1 (2020 年 7 月 1 日から)
機種名
搭載カートリッジ数 / 最大搭載可能カートリッジ数
総物理容量 / 最大搭載可能容量
搭載ドライブ数

Sony PetaSite 拡張型 Library
88 巻 / 88 巻
484 TB / 484 TB
6台

Phase 2 (2021 年 2 月 1 日から)
機種名
搭載カートリッジ数 / 最大搭載可能カートリッジ数
総物理容量 / 最大搭載可能容量
搭載ドライブ数

Sony PetaSite 拡張型 Library
1,092 巻 / 1,980 巻
6.0 PB / 10.89 PB
20 台

表 3 IOR ベンチマークの結果

File Per Process 性能

Single Shared File 性能

操作対象

OST

write 平均値

read 平均値

write 平均値

read 平均値

ディレクトリクライアント数[MiB/sec][MiB/sec][MiB/sec][MiB/sec]/data/group1

576

93,130.36

106,612.15

84,112.94

83,286.16/data/group2

288

33,770.22

38,685.99

32,984.10

36,369.85

/home

144

17,928.59

22,037.02/data/tmp

144

12,697.28

13,242.41

write+read 合計値

169,052.000

write+read 合計値

118,381.525