LUG JAPAN 2022

OISTにおけるLustre活用のこれまでとこれから
田仲 康司
HPCシステムエンジニア＠OIST© Okinawa Institute of Science and Technology
Graduate University 2020

概要

1. OISTの紹介
2. OISTにおけるLustreの歴史（2008〜）
3. 今後の課題と展望

LUG JAPAN 2022

2

OISTのHPCシステムエンジニアについて●

HPCシステムエンジニア@OIST
1) 導入されたハードウェアに合わせてクラスタを構築する
2) HPCだけでなくストレージやその他のシステムの維持管理も行う
3) 新しいニーズやパッチに応じてシステムをアップデートする
4) システム管理者の存在をなるべく感じさせないように心がける
5) システム障害 → 研究が止まる → 「早く直してくれ！」と言われる

https://unsplash.com/photos/5jz3T5LwuPA

LUG JAPAN 2022

HPCシステムエンジニアを募集中!
3

OISTキャンパス

LUG JAPAN 20224

研究分野について研究分野●物理学●

化学●神経科学●海洋科学●

環境・生態学●

数学・計算科学●

分子・細胞・発生生物学●

工学・応用科学

学際的な研究と教育●学部が存在しない●

博士課程コースの分野が限定されない●

研究支援ディビジョンが存在する

LUG JAPAN 20225

研究支援ディビジョン
学長

研究担当ディーン
研究支援ディビジョン

https://groups.oist.jp/rsd
LUG JAPAN 2022

6

SCDA Open Hours

SCDAセクションについて●HPCとストレージの管理・運用●

HPC利用者へのトレーニングとサポート●–

定期的にハンズオンセミナーを開催–

平日15:30~17:30はオープンアワー

ユーザ向けウェブサービスHighSci(ハイサイ)の運用–●

https://axies.jp/_files/conf/conf2020/FA2-2.pdf

BlenderによるMicro-CT scanデータのボリューム・レンダリング

研究データ → 可視化プリプロセス → 画像/動画

データ取得と解析のサポート–●

オンプレ、パブリッククラウド

データ可視化のトレーニングとサポート–●

HPCやストレージのステータス、グループ管理など

CloudサービスおよびVMの管理・運用–●HighSci

研究機器 → ストレージ → HPC

商用ソフトウェアライセンスの管理と運用–

サイトライセンスとコンカレントライセンス活用を推進–

定期的にソフトウェア・ウィークを開催

LUG JAPAN 2022

7

概要

1. イントロダクション
2.OISTにおけるLustreの歴史（2008〜）
3. 今後の課題と展望

LUG JAPAN 2022

8

OISTにおけるLustreの歴史 – cstone (2008~2011)

MGT/MDT
MGS/MDS/OSS1●

Lustreクライアント数：144 nodes●

キャパシティ：24TB●

1 x MDS, 2 x OSS

OST1

MGS/MDS/OSS: PowerEdge 2950 III
OST3

MGT/MDT/OST: PowerVault MD1000
OST2

Compute nodes: PowerEdge M1000e with M600

OST4LUG JAPAN 2022

9

OISTにおけるLustreの歴史 – tombo (2011~2015)●Lustreクライアント数：391 nodes

Lustreキャパシティ：500TB●
2 x MDS(Active, Stand-by), 4 x OSS●

LUG JAPAN 2022

10

OISTにおけるLustreの歴史 – Sango (2015~2020)●

Lustreクライアント数：400+●

キャパシティ：3PB

2 xMDS(Active, Stand-by), 12 xOSS●
2 x NFS/CIFS●LUG JAPAN 2022

11

OISTにおけるLustreの歴史 – Saion (2017~現在) (1) 構成

GPGPU Nodes

High Core-count Nodes\4x

4x1440 cores

2x 20-core Intel Skylake
512 GiB Memory / 960 GB local SSD

14x

2x 18-core Intel Xeon
4x nVidia P100 GPU
512 GiB Memory
960GB local SSD drive

96 GPUs8x

2x 32-core AMD Napples
512 GiB Memory / 960 GB local SSD\\16x2x 18-core Intel Xeon
4x nVidia V100 GPU
512 GiB Memory
1.6TB local NVMe drive

64-core Intel Xeon Knights Landing
192 GiB Memory
500 GB local hard drive

2xCampus
10Gb/s2x 20-core IBM Power94x nVidia V100 GPU
512 GiB Memory
960GB local SSD drive

IB EDR 100Gb/s

LUG JAPAN 2022

230TB All-Flash storage

12

OISTにおけるLustreの歴史 – Saion (2017~現在) (2) ベンチマーク - LUG 19
Benchmark Setup► Lustre 2.10.5-ddn7► Capacity: 229.26 TiB► Number of inodes: ~1.5 billion
IB EDR (100 Gpbs)
22 Lustre Clients
Ethernet
MDS#1MDS#2

DDN SFA200NVE #1960GB 4Kn SSD x7

OSS#1OSS#2OSS#3

DDN SFA200NVE #2
3.84TB 4Kn SSD x23

OSS#4

DDN SFA200NVE #3
3.84TB 4Kn SSD x23

OSS#5OSS#6DDN SFA200NVE #4
3.84TB 4Kn SSD x23

OSS#7

OSS#8

DDN SFA200NVE #5
3.84TB 4Kn SSD x23Method► Use fio with server/client mode
► Create test files(4GB file x processes) first, then random read (4KB, 32KB, and 128KB)► Minimize I/O cache effects (“sync” and O_DIRECT mode)► 10 sec run time
LUG JAPAN 2022

13

OISTにおけるLustreの歴史 – Saion (2017~現在) (3) シングルクライアント性能
Single Client IOPS and Bandwidth (1 x client and 4 x ES200NV)
Single Client IOPS (4 x ES200NV, random read)Single Client Banwdith (4 x ES200NV, randomread)

35000014,000300000IOPS (ops/sec)

200000

4KB
32K
128K

15000010000050000
01248163248648096112 128

Bandwdith (MB/sec)

12,00025000010,000
4KB
32K
128K

8,000
6,000
4,000
2,000
0

Number of Process

12481632

48648096112 128

Number of Process• Achieved 333K IOPS at 4K Random Read and 11.5GB/sec at 128KB Random Read
• 128K Random Read is limited by EDR Bandwidth at Client
LUG JAPAN 2022

14

OISTにおけるLustreの歴史 – Saion (2017~現在) (4) マルチクライアント性能
Multiple Client IOPS and Bandwidth (22 x client and 4 x ES200NV)
Multiple Client IOPS (4 x ES200NV, random read)

Multiple Client Banwdith (4 x ES200NV, randomread)

3,500,000

120,000

3,000,000

IOPS (ops/sec)

2,000,000

4KB
32K
128K

1,500,000
1,000,000
500,000
012481632

48648096Bandwdith (MB/sec)

100,000

2,500,000

80,0004KB
32K128K

60,00040,00020,000112 128

Number of Process01248163248648096112 128

Number of Process• Achieved 2.84M IOPS at 4K Random Read and 95.7GB/sec at 128KB Random Read
• Delivered balanced IOPS(2.39M IOPS) and Bandwidth(76.9GB/sec) for 32KBRandom Read
LUG JAPAN 2022

15

OISTにおけるLustreの歴史 – Deigo (2020~現在) (1)構成
Lustre 2.12.3_ddn13●
クライアント数：658+ノード●
キャパシティ：500TB●
4 x MDS, 16 x OSSs●
8 x LNET routers●Dell EMC PowerEdge
C6525/C6420●●

456 x PowerEdge C6525●
CPU: 2 x AMD EPYC 7702●
Mem: 512GB (DDR4-3200)●
Local storage: 894GB (SSD)
192 x PowerEdge C6420●
CPU: 2 x Intel(R) Xeon(R)Gold 6230●
Mem: 512GB (DDR4-2933)●
Local storage: 894GB (SSD)

DDN LustrePerfMon

658 Lustre clientsLUG JAPAN 2022

16

OISTにおけるLustreの歴史 – Deigo (2020~現在) (2)ベンチマーク結果●

スループット(IORにて計測)–

データのバッファサイズ: 1MB●●–●

Max Write: 152 GB/s●

Max Read: 189 GB/s

データのバッファサイズ: 4KB●

Max Write: 139 GB/s●

Max Read: 189 GB/s

4KBランダムリード(fioにて計測)–

7M IOPs–849MiB/s

Metadataパフォーマンス(MDTestにて計測)–Unique Directory to Four MDSs/MDTs●–Shared Directory to Single MDS/MDT●LUG JAPAN 2022

617,199.696
111,530.378

172022年度Deigoの月間アクティブなユーザー数、ユニット数、ジョブ数2022 - Active Users and Units / Month2022 - Total Jobs / Month

250

1000000
900000200

800000100

600000
Users
Units

Jobs

150

Active units

Active users

700000MultiNode / MultiCore
SingleNode / MultiCore
SingleNode / SingleCore

50000040000030000050200000100000

0JanFebMarAprMayJunJulAug SepOct0NovMonth

Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov
Month

LUG JAPAN 2022

18

OISTにおけるLustreの歴史 – Naruto (2021~) (1)構成

Spectrum Protectサーバのリプレイスとアップグレード●
キャッシュスペースを500TB GPFS(onSFA7700)から1PB Lustre(on ES400NVX)へ●

LUG JAPAN 2022

19

OISTにおけるLustreの歴史 – Naruto (2021~) (2)LustreFSの構成

naruto-mds01

naruto-mds02

naruto-oss01

LUG JAPAN 2022

naruto-oss02

20

概要

1. イントロダクション
2. OISTにおけるLustreの歴史（2008〜）
3.今後の課題と展望

LUG JAPAN 2022

21

OISTの計算環境
HPC

User

Research Instruments

Deigo:/flash

500TB Lustre
10TB/Unit/hpacquire/homeHighspeed data transfer
72TB/bucket

Isolated VLAN

Naruto:/naruto

20TB+ OneFS
50GB/User

Saion:/work
230TB Lustre
10TB/Unit

12PB GPFS (SFA7700 + GS18K)
50TB+ / UnitLUG JAPAN 2022

13PB tape archive
Incremental backups
Data archiving

Off-campus (Ginoza IDC)

22

今後の課題と展望●

Deigo:/flashの拡張とノードの増設

ポストDeigoに向けたデータセン
ター●
ポストBucket●●●

Lustre, GPFS, or something else?

●

データ・マネジメント●

データ・グラビティ●

ラストマイル問題●

ダーク・データ

HPCのハイブリッド化●

オンプレ＆クラウド

LUG JAPAN 202223

注目しているLustreの機能●●

シングルスレッド性能、シングルクライアント性能●

Persistent Client Cache (2.13)●シングルストリームDirect I/O性能の向上 (2.15)●

LustreクライアントWBC (2.16+)

メタデータ性能●

DNE auto-striping (2.14)●

DNE MDT Space Balance (2.15+)●

Lustre Metadata Redundancy (2.17+)

LUG JAPAN 2022

24

THANK YOU!