JSS3/TOKIのファイルシステム~SSDとﾚﾌﾟﾘｹｰｼｮﾝ~
国立研究開発法人宇宙航空研究開発機構
スーパーコンピュータ活用課
藤田 直行

2021/12/10

JLUG2021

P.1

■Agenda
 JAXA概要
 JAXA Supercomputer Systemストレージの変遷
 JSS3/TOKI概要
 IORによるTOKI-FS初期性能評価
 レプリケーション
 これからの課題
 まとめ

2021/12/10

JLUG2021

P.2

■JAXA概要
Mission・設立 ：2003年
・職員数：1,575名
・予算 ：1,541億円(2021年4月時点)

Space Development

Earth Observation

Aeronautics“HAYABUSA2”

Space Science
2021/12/10

JLUG2021

P.3

■Agenda
 JAXA概要
 JAXA Supercomputer Systemストレージの変遷
 JSS3/TOKI概要
 IORによるTOKI-FS初期性能評価
 レプリケーション
 これからの課題
 まとめ

2021/12/10

JLUG2021

P.4

■JAXA Supercomputer System ストレージの変遷■システム内のストレージ容量変遷
ファイル
LE-X システムが非HSM
アーカイ
ランディングギア↓
バを試験
アーカイバの本格的導入
的に導入

スーパーコンピュータ性能[FLOPS]

射場音響

ファイル
システム
をHSM化

テープはあったが
ヘリコプタ
ローター
管理者用

1Exa=1018
1Peta=1015

HOPE-X

現行システム(非定常現象、データ処理)

HOPE-H2
短距離離着陸機

1Tera=1012

飛鳥

装置

メインメモリ
1Giga=109

ディスク
1Mega=106

1980

テープ

数値シミュレーション
2021/12/10

開拓

1(44GB)(3.7TB)

7

等方性乱流(300GB)
2000

1990

JSS1

1
二次元翼x103

230-75APU
11MFLOPS

CeNSS

NWT

1111(94TB)(180TB)

1
微粒化(94TB)

H3射JSS3
場JSS2
壁乱流

浮き上がり火炎53278(57TB)(1PB) (5PB)(50PB)
2010
2020
2030

1511168

106213

389(70PB)(500GB)(620TB)(10PB)(20PB)x245

x33

x13x25CeNSS
9.3TFLOPS

JSS3
JSS1
JSS2
120TFLOPS 3.49PFLOPS 19.4PFLOPS

検証

実用VP400
NWT
1.14GFLOPS 280GFLOPS
技術開発
JLUG2021

x6

P.5

■JAXA Supercomputer System ストレージの変遷■ストレージの電力
表

JSS2時代(2014～2020年)のシステム消費電力
ファイルシステム

アーカイバ
全体

Tape

Disk
ｻｰﾊﾞ等
Cache

5.25

21.72

210.72

[PB]

[PB]

[PB]

[PB]

[PB]

50144

50

10102010[GB/s][GB/s][GB/s][GB/s][GB/s][GB/s][GB/s]

電力b48.43

38.4

10.03 19.22

6.43

6.21

6.58

[KVA]

[KVA]

[KVA]

[KVA]

[KVA]

[KVA]

[KVA]

電力/容量
b/a

9.22

7.31

0.88

0.31

[KVA/PB][KVA/PB][KVA/PB][KVA/PB]

全体

Disk

記憶容量a

5.25

総I/O速度ｻｰﾊﾞ等システムで10分の1
2021/12/10

JLUG2021

ドライブで20分の1以下

P.6

■JAXA Supercomputer System ストレージの変遷■ファイルサーバ構成の変遷
大きなファイルサーバがひとつ(1990年代)

大きなファイルサーバが少数(2000年代)

小さなファイルサーバがたくさん(2010年代以降)
スイッチ

ファイル
サーバ

ファイル
サーバ

ファイル
サーバ

ファイルサーバ
サーバ

スイッチ

2021/12/10

JLUG2021

P.7

■Agenda
 JAXA概要
 JAXA Supercomputer Systemストレージの変遷
 JSS3/TOKI概要
 IORによるTOKI-FS初期性能評価
 レプリケーション
 これからの課題
 まとめ

2021/12/10

JLUG2021

P.8

■JSS3/TOKI概要■JSS3構成図

2021/12/10

JLUG2021

P.9

■JSS3/TOKI概要■ストレージの利用分野変遷

Aeronautics
Space Development

Missions

Space Science

Earth Observation
2021/12/10

JLUG2021

P.10

■JSS3/TOKI概要■TOKI-FS構成
FEFSクライアント

TOKI-SORA

TOKI-LI

TOKI-RURI・・・

InfiniBandスイッチ

システム管理ノード
計算クラスタ管理ノード

レプリケーションサーバInfiniBandスイッチ

FEFSサーバ
OSS

OSS
OSS

OSS

メタデータサーバ (MDS)
PRIMERGY RX2540 M5 x 4台

[1台当たり]CPU: Intel Xeon Gold 5222
(4コア/3.8GHz) x 2Memory: 384GiB (32GiB x 12)
HDD: SAS 900GB(10krpm) x 2 (RAID1)Interconnect: InfiniBand HDR100 x 2
SAN: Fibre Channel (16Gbps) x 2

データストレージ（OSS/OST）
データ用(SSD)
DDN SFA200NVXE × 1台
VM: OSS × 2
Interconnect: InfiniBand HDR100 x 4
SSD: 15.36TB × 23
(22 Drive × 1DCR Pool + 1 HS)

データストレージ (OSS/OST)
ホーム用
DDN SFA7990XE × 1台
VM: OSS × 2
Interconnect: InfiniBand HDR100 x 4
HDD: NL-SAS 8TB(7.2krpm) x 87
(43 Drive x 2 DCR Pool + 1 HS)
データストレージ (OSS/OST)
データ用(HDD)DDN SFA7990XE × 1台
VM: OSS × 2
DDN SS9012 × 4台
HDD: NL-SAS 14TB(7.2krpm) x 340(42 Drive x 8 DCR Pool + 4 HS)

メタデータストレージ (MDT)ETERNUS AF250 S3 x 1台

SSD: 1.92TB x 68
RAID1+0構成(4D+4M)x8+4HS

上記構成を x2セット

OSSOSS

上記構成を x1セット

上記構成を x12セット

上記構成を x39セット

UPSで保護2021/12/10

JLUG2021

P.11

■JSS3/TOKI概要■TOKI-FS基礎性能
SFA200NVXE

諸元

数値

パフォーマンス

最高24GB/秒のシーケンシャル読み取り性能
最高20GB/秒のシーケンシャル書き込み性能
最高1.5M IOPS

ポート

4 x EDR/HDR100 InfiniBand、または 40/100 GbE

ドライブ

24 x 2.5インチ デュアルポート NVMeドライブ

2021/12/10

JLUG2021

P.12

■Agenda
 JAXA概要
 JAXA Supercomputer Systemストレージの変遷
 JSS3/TOKI概要
 IORによるTOKI-FS初期性能評価
 レプリケーション
 これからの課題
 まとめ

2021/12/10

JLUG2021

P.13

■IORによるTOKI-FS初期性能評価
 SFA200NVXE×1で測定。
 同一パラメータを10回測定。
 パラメータは次の通り(組合せ:150通り)。
① 転送サイズ-t:4K,16K,64K,256K,1024K② ファイル数とstripe設定-F_link,-F,無し③ キャッシュ利用有無--posix.odirect,無し④ ノード当たりのプロセス数-proc:1,2,4,8,16(×4ノード)⑤ 計測打ち切り時間＝30秒で固定
2021/12/10

JLUG2021

P.14

■IORによるTOKI-FS初期性能評価■測定時の構成
FEFSクライアント

TOKI-RURI(4ノード)

TOKI-SORA

TOKI-LI

・・・

InfiniBandスイッチ

システム管理ノード
計算クラスタ管理ノード

レプリケーションサーバInfiniBandスイッチ

FEFSサーバ
OSS

OSS
OSS

OSS

メタデータサーバ (MDS)
PRIMERGY RX2540 M5 x 4台

[1台当たり]CPU: Intel Xeon Gold 5222
(4コア/3.8GHz) x 2
Memory: 384GiB (32GiB x 12)
HDD: SAS 900GB(10krpm) x 2 (RAID1)Interconnect: InfiniBand HDR100 x 2
SAN: Fibre Channel (16Gbps) x 2

データストレージ（OSS/OST）
データ用(SSD)
DDN SFA200NVXE × 1台
VM: OSS × 2
Interconnect: InfiniBand HDR100 x 4
SSD: 15.36TB × 23
(22 Drive × 1DCR Pool + 1 HS)

データストレージ (OSS/OST)
ホーム用
DDN SFA7990XE × 1台
VM: OSS × 2
Interconnect: InfiniBand HDR100 x 4
HDD: NL-SAS 8TB(7.2krpm) x 87
(43 Drive x 2 DCR Pool + 1 HS)
データストレージ (OSS/OST)
データ用(HDD)DDN SFA7990XE × 1台
VM: OSS × 2
DDN SS9012 × 4台
HDD: NL-SAS 14TB(7.2krpm) x 340(42 Drive x 8 DCR Pool + 4 HS)

メタデータストレージ (MDT)ETERNUS AF250 S3 x 1台

SSD: 1.92TB x 68
RAID1+0構成(4D+4M)x8+4HS

上記構成を x2セット

OSSOSS

上記構成を x1セット

上記構成を x12セット

上記構成を x39セット

UPSで保護2021/12/10

JLUG2021

P.15

■IORによるTOKI-FS初期性能評価■SFA200NVXE Raw(Block device)性能(Sequential IO)

2021/12/10

JLUG2021

P.16

■IORによるTOKI-FS初期性能評価■SFA200NVXE Raw(Block device)性能(Random IO)

2021/12/10

JLUG2021

P.17

■IORによるTOKI-FS初期性能評価■性能曲線(対 総プロセス数) (-F_link,--posix.odirect)
38%
62%
34%

44%

2021/12/10

JLUG2021

P.18

■IORによるTOKI-FS初期性能評価■性能曲線(対 総プロセス数) (-F,--posix.odirect)

2021/12/10

JLUG2021

P.19

■IORによるTOKI-FS初期性能評価■性能曲線(対 総プロセス数) (-F,クライアントキャッシュ有効)

2021/12/10

JLUG2021

P.20

■IORによるTOKI-FS初期性能評価■性能曲線(対 転送サイズ) (-F_link,--posix.odirect)

2021/12/10

JLUG2021

P.21

■IORによるTOKI-FS初期性能評価■性能曲線(対 転送サイズ)

2021/12/10

JLUG2021(-F,--posix.odirect)

P.22

■IORによるTOKI-FS初期性能評価■性能曲線(対 転送サイズ)

2021/12/10

JLUG2021(-F,クライアントキャッシュ有効)

P.23

■Agenda
 JAXA概要
 JAXA Supercomputer Systemストレージの変遷
 JSS3/TOKI概要
 IORによるTOKI-FS初期性能評価
 レプリケーション
 これからの課題
 まとめ

2021/12/10

JLUG2021

P.24

■レプリケーション

2021/12/10

JLUG2021

P.25

■Agenda
 JAXA概要
 JAXA Supercomputer Systemストレージの変遷
 JSS3/TOKI概要
 IORによるTOKI-FS初期性能評価
 レプリケーション
 これからの課題
 まとめ

2021/12/10JLUG2021

P.26

■これからの課題■媒体の課題DateIssue / Cause

Remark2015/07/16

Silent DataCorruption

2017/05/01

Disk controller
failure?

S.D.C.?

2017/07/07

Disk controller
failure?

S.D.C.?

2017/05/09

1st copy
unreadable

Media damage?

2017/05/09

2nd copy
unreadable

Debris ?

2017/09/08

Meta data unmatch

2017/09/21

Meta data unmatch

2017/10/16

Meta data unmatch

2021/12/10• コントローラ、伝送路の冗長構成も、媒体内でデータが破壊されれば無力である。
• エラー訂正機能（例:RAID6）があっても、媒体内データは壊れる。

・File System
S/W bug?
・H/W failure?

JLUG2021

P.27

■これからの課題■並列ファイルシステムの課題
小さなファイルサーバがたくさん(2010年代以降)

メタデータ
サーバ

メタデータ
サーバ

スイッチ

メタデータ
サーバ

メタデータ
サーバ

スイッチ

実際はサーバ
サーバ

サーバ

2021/12/10

JLUG2021

サーバ

サーバ

サーバ

P.28

■Agenda
 JAXA概要
 JAXA Supercomputer Systemストレージの変遷
 JSS3/TOKI概要
 IORによるTOKI-FS初期性能評価
 レプリケーション
 これからの課題
 まとめ

2021/12/10

JLUG2021

P.29

■まとめ
 JSS3/TOKI
 オンラインストレージの需要が高い
 NVMeｽﾄﾚｰｼﾞ(SFA200NVXE)10PBを含む50PBのファイルシステム
 レプリケーション(これから構築)

 TOKI-FSの初期性能評価
 引き続き、分析とチューニング

 これからの課題
 媒体：エラー訂正機構があってもエラー発生
 並列ファイルシステム：ワンシステムであり続けられるのか

2021/12/10

JLUG2021

P.30

ありがとうございました。

Woomeraの夕日
2021/12/10

JLUG2021

P.31