DDN Updata @PCCC22

DataDirect Networks Japan, Inc.
橋⽖信明
2022/12/5

アジェンダ• 2022実績(Lustreのみ)• HW新製品紹介• EXAScaler Update© 2022 DDN

22022年実績(Lustreのみ)

2022年導⼊実績(1)
お客様

NVMe物理容量 (TB)

HDD物理容量 (PB)

ファイルシステム

某機構

67.00

EXAScaler

某省庁

59.60

FEFS

京都⼤学

40.00

EXAScaler

東京⼤学情報基盤センター Ipomoea01

34.40

EXAScaler

某⺠間企業

24.90

EXAScaler

某機構

19.58

EXAScaler

1474

18.43

EXAScaler

88

12.90

EXAScaler

筑波⼤学 Pegasus

9.60

EXAScaler

東京⼤学某研究所

6.10

EXAScaler

理研R-CCS

5.00

EXAScaler

某研究機関

3.33

EXAScaler

某製造業

3.20

EXAScaler

理研 AIP2.98

EXAScaler

理研 CBS

2.98

EXAScaler

某製造業

2.56

EXAScaler

某⺠間研究所

2.40

EXAScaler

某機構

2.34

EXAScaler

某⺠間企業

2.30

FEFS

NEC
NICT UCRI© 2022 DDN

42022年導⼊実績(2)
お客様

NVMe物理容量 (TB)

HDD物理容量 (PB)

ファイルシステム

某製造業

1.80

EXAScaler

某⺠間研究所

1.58

EXAScaler

OIST

1.50

EXAScaler

某製造業

1.28

EXAScaler

某製造業

1.20

EXAScaler

某製造業

1.00

EXAScaler

某製造業

0.86

EXAScaler

理研

0.85

EXAScaler

NAIST

0.84

EXAScaler

某製造業

0.80

EXAScaler

某省庁

0.70

EXAScaler

某製造業

0.63

EXAScaler

某機構

1000

EXAScaler

某製造業

737

EXAScaler

某製造業

368

EXAScalerJAXA

350

EXAScaler

某機構

177

EXAScaler

某⺠間企業

135

EXAScaler

某通信事業者

76

EXAScaler

合計© 2022 DDN

4.41PB

332.64PB

5

2023年導⼊予定
お客様
某省庁

NVMe物理容量 (TB)

HDD物理容量 (PB)
944

某研究機関

ファイルシステム
91.30

EXAScaler

53.20

EXAScaler

NICT Cinet

706

30.60

EXAScaler

理研Spring-8

154

28.50

EXAScaler

AIST北陸デジタルものづくりセンター(仮称)17.00

EXAScaler

東京⼤学HGC

16.00

EXAScaler

某研究機関

8.92

EXAScaler

AIST

5.97

EXAScaler

東北⼤学

5.90

EXAScaler

東京⼤学 マテリアル先端リサーチセンター(ARIM)

4.00

EXAScaler

理研

2.98

EXAScaler

1.62

EXAScaler

豊橋技術科学⼤学

1.60

EXAScaler

某製造業

1.20

EXAScaler

国⽴成育医療研究センター(NCCHD)

1.00

EXAScaler

某製造業

460

某製造業

737

EXAScaler

京都⼤学

4000

EXAScaler

合計© 2022 DDN

7.00PB

269.79PB

6

2022/21との⽐較
NVMe実績⽐較
18.00

HDD実績⽐較

16.83

600.00JAXA様の13PB含む

16.00

502.43500.0014.00
400.00

10.00

7.29

8.00

2.2倍

6.00

7.00

1.43倍

296.03300.00200.00

4.41

3.32

4.00

40%減😢

物理容量(PB)

物理容量(PB)

12.00

理研様の206.4PB含む

332.64269.79231.5622%減

100.00
2.00
0.00

0.00

2020実績

2020実績 −JAXA© 2022 DDN

2021実績

2022実績

2023予定2020実績 2020実績 − 2021実績

2022実績

2023予定富岳

7HW新製品紹介New “X2” Platform
ES200NVX2Class / Controller
CPU2U All NVMe Platform, Active/Active Dual Controller
2x Ice Lake CPUs

NVMe
NVMe Performance

ES400NVX2

4x Ice Lake CPUs
24 Drive (PCI Gen 4)~45GB/s以上, 1.5M IOP/s~90GB/s, 3M IOP/s

HDD

N/A

Max 900 Drive (10x SAS4 90Slot Enc)

HDD Performance

N/A~80GB/sHDR IB (200Gb/100Gb) (4ポート)
Or 100/200 GbE (4ポート)

HDR IB (200Gb/100Gb) (8ポート)Or 100/200 GbE (8ポート)提供予定 : NDR200 IB (8ポート)

Connectivity© 2022 DDN

9400NVX2E SAS-4 Expansion Options

NVMe SlotsCapacity

24732 TB

SS9024 qty
Slots
Capacity2180
3.2 PB

NVMe Slots
Capacity

24732 TB

SS9024 qty
Slots
Capacity

4360
6.4 PB

NVMe Slots
Capacity

24732 TB

SS9024 qty
Slots
Capacity

5450
8.0 PB

100% NVME without use of SAS expansion is also supported.
Capacity is maximum raw device capacity based on 30TB NVMe flash and18TB SAS HDD. SAS SSD (up to 30TB) can also be used in SS9024.

© 2022 DDN

NVMe Slots
Capacity

24732 TB

SS9024 qty
Slots
Capacity

8720
12.8 PB

NVMe Slots
Capacity

24732 TB

SS9024 qty
SlotsCapacity

10900
16 PB 10

DDN SS9024
SS9024ディスクエンクロージャは、90本のドライブを収容可能な⾼密度スト
レージエンクロージャです。SSD、SASの各種ドライブを混在可能であり、I/Oパスも含めてコンポーネントが冗⻑化されております。

項⽬© 2022 DDN

製品仕様

シャーシ

4U / 90 Drive

スロット数

90 (3.5inch/2.5inch)

IOモジュール

2x IOモジュール, SAS4(24Gb)
4x 4lane SAS 24Gb Mini SASポート/IOモジュール

対応ドライブSSD, SAS, NL-SAS

冷却ファン

5x 冷却ファン

電源

4 x 1300W 冗⻑電源 (2+2)

ホットスワップ対象部品

ドライブ、電源、冷却ファン

LCD Display

Status, Power, Environmental Monitoring

LED

Power, Status, Monitoring, Drive Activity

11SFA Drive Lineup
NVMe (STD/SED)(up to 15TB) gen3

…2021 Q3

2021 Q4

NVMe (SED)

NVMe (FIPS)(up to 15TB) gen42022 Q1

2022 Q2

NVMe (SED)(up to 30TB) gen4

(up to 30TB) gen42022 Q4

NVMe (FIPS)(up to 15TB) gen3

NVMe
SAS

SAS SSD (SED)

SAS SSD (FIPS)(up to 30TB)(up to 30TB)

SAS 10TB

SAS SSD (SED)(up to 30TB)

FlashHDD

SAS 20TB

SAS 22TB

SAS 14TB
SAS 18TB

KEY:© 2022 DDN

Released

Scheduled

Planning

Investigation

12ES400NVX2 Flash Performance
ES400NVX and ES400NVX2IOR(FPP, IOsize=64m, ODIRECT=1)

40 x EXAScaler(Lustre) Client
1 x Gold 5218
96GB DDR4(2666MHz)
1 x IB-HDR100
CentOS8.1 (4.18.0-147.el8.x86_64)
Mellanox OFED-5.1-2.5.8.0

IB-HDR100

IB-HDR200

ES400NVX2VM0

VM1VM2VM3

DDN EXAScaler(Lustre)
4 x VM(OSS/MDS)
20 x 3.84TB NVMe
4 x IB-HDR200

Bandwidth (GB/sec)

9080

Write

70

Read

60
50
4030
20
100

ES400NVX© 2022 DDN

ES400NVX213

ES400NVX2 HDD Performance
ES400NVX2 SAS4 HDD Performance
80,000⾼スループット
70GB/sを超えるスループット性能

60,00050,000

⾼密度実装
40,0001台のES400NVX2で20PBに迫る物理容量を提供

Throughput (GB/s)

70,00030,00020,000⾼い性能効率
アプリケーションに対して、ドライブあたり170MB/sを超えるファイルシス
テムレベルの性能効率を実現

10,000248Enclosure Count© 2022 DDN

14

DDN EXAScaler QLC Flashソリューション
• QLC Flashを24本搭載可能なエンクロージャを最⼤4基接続(2023年中)o

2024年に5エンクロージャ構成をサポート予定

2023Q4

DDN ES400NVX2/AI400X2••••

All Flash EXAScalerファイルシステムを2RUで提供
90GB/s Read, 65GB/s Writeスループット
3M IOPS
700TBを超えるTLC Flash容量

スイッチレスな Ethernet Fabricを構成••

高性能で低遅延なNVMeoFを提供
単一障害点のない完全な冗長構成

DDN SE2420••••© 2022 DDN

NVMeoF Flash拡張エンクロージャ
2RUで720TB以上搭載可能な高密度構成
4エンクロージャ構成で2.88PBのQLC Flash容量を実現
IOM上にSwitch Chipを搭載するEmbedded Switching Fabric

15

SE2420 : ES400NVX2 NVMeoF拡張エンクロージャ• DDNが提供する⾼密度QLCを使⽤した新しいNVMeoF拡張エンクロージャ
最⼤4エンクロージャ構成(2023)
最⼤5エンクロージャ構成(2024)
2,4,5エンクロージャ構成をサポート予定

ooo

Real-Time, Many-Core RAID
EngineFull Implementation of Real-Time
Storage OS, Interrupt-Free;
Massively Parallel I/O Delivery
SystemHigh Density Flash
24 QLC SSDs per enclosure
30TB initially, moving to60TB
Parallel multi-channelrebuilds
Super fast rebuilds for largeSSDs© 2022 DDN

ReACT Cache Management
Real-Time I/O Data-Aware Cache
Optimizer, Small IOs use Mirrored Battery
Backed Cache (Write-Back), Large &Streaming I/Os Dynamically use WriteThroughNo Single Point of Failure,
Zero Midplane Design
No External Switching - Storage
Fusion NMVe FabricHighly-Over-Provisioned Backend
RAIDed Fabric Withstands Failures ofDrives, Enclosures, Cables, etc
Data Protection on disk
T10 PI Type 216

SE2420: NVMe Device ➡ Ethernet Fabric
Ethernet Switch Chip on IOM

SE2420

シングルポートQLCドライブ
IOM 01 x4
NVMe25Gbps Ethernet
Interposer converts 1x4
NVMe to 2x 25GbE© 2022 DDNIOM 1Ethernet

17SE2420 - Front/Rear View
Power,health,locator
LEDs

24 U.2 QLC Flash Drives

Switch Module A
Fan/PSU

Switch Module B

2RU

Mgmt Port
Console PortQSFP 28/56 ports supporting 100/200GbE© 2022 DDN18

性能・容量要件に応じた柔軟な構成を提供
TLC Flash

QLC FlashHybrid
Best IOPS & Throughput per rack
63M IOPS by 21x ES400NVX2
1.89 TB/s READスループット
1.26 TB/s WRITEスループット
物理容量 15PB Flash領域

Best Price per Flash TB
12M IOPS by 4x ES400NVX2360 GB/s READスループット
240 GB/s WRITEスループット
物理容量 26PB Flash領域

Best Price per TB
物理容量 19.8PB HDD領域, 0.7PB Flash領域by 1x ES400NVX2
80 GB/s READスループット
65 GB/s WRITEスループット© 2022 DDN

19

EXAScaler Update

EXA6の主な新機能
Lustre2.14をベースとした新EXAScalerバージョンEXA6を昨年リリース済
Security・Compliance

Performance• Client-side file Encryption••

fscrypt APIによるファイル暗号化に対応。ディレクト
リ単位で暗号化を適⽤可能

シングルスレッド性能の向上 "15GB/sec”
ロックレスIO
Direct IO時、Server, Client間でファイルlockを⾏わないことでオーバヘッドを削除し低Latencyアクセスを実現•Lustre Over Striping
OST数以上のストライプ数を設定可能→Single Shared Fileの性能向上

Cache Management

Efficiency• Hot Pools• OST Pool Quota

NVMe OST、HDD OST間のTieringを実現• Hot Nodes
クライアントのローカルストレージを Cacheとして利⽤
IOPSが必要なアプリケーションの性能向上© 2022 DDN

１つのファイルシステムに混在する異なるデバイス(HDD, NVMe)毎にそれぞれOST Poolを作成して、異なるQuota設定可能• Auto Directory Split
同⼀ディレクトリ内でinode数が設定値を超えた時点から複数のMDTを⾃動的に利⽤

21

Lustre 2.15 ‒ Communityへのコントリビューション
•DDN/Whamcloudがオープンソースプロセスとツリーすべてのメンテナンス管理を⾏っています•

DDNは引き続きオープンソース（コミュニティ）
Lustreのメイン・コントリビューターです•

Lines of Code Lustre 2.15

SuSE

OpenSFSは全体的な⽅向性とユーザ間の議論のためのフォーラムを提供します•

EOFSが主催するヨーロッパでのユーザ会議•

DDN/Whamcloud主催のアジアでのユーザ会議© 2022 DDN

ORNL

DDN

LinaroDDN

Aeon

AmazonAtosCEA

Cornelis Networks

DDN-Whamcloud

EMC

GSIHPE/Cray

IU

Intel

LLNL

LinaroNvidia

ORNL

Other

SUSE

SangerSeagateStanford

22

Hot Pools - 記憶メディアの階層構造に対応
EXAScalerファイルシステム上のストレージプール間の⾃動階層化を実現• EXAScalerはOSTの集まりをPoolとして管理可能• Flash層(Hot Pool)からHDD層(Cool Pool)へのア
クセスが少ないファイルの⾃動マイグレーションを提供• Cool Pool上のアクセス頻度が⾼いファイルをHot
Poolに⾃動マイグレーションを提供
o ファイルヒートポリシー• LustreのFile Level Replication(FLR)機能がベース• 使⽤量の増減に合わせて、HDD容量とFlash性能を効率的に使⽤• ユーザはHot Poolsの構成を意識することなく利⽤可能© 2022 DDN

HOT(FLASH)
アクセスの少ないファ
イルをHDDプールに移動

ファイルヒートポリシーにより、ホットファイルをHot Poolにミラーバック

COOL
(HDD)
EXAScalerはファイルヒートポリシーに基づき、継続的にデータのコピーをFlash層に作成/削除し、最もアクセスされるファイルをFlash層に維持します※ OST(Object Storage Target) : ファイルデータを格納

23

EXA6 Hot Poolsの実装
クライアントファイルをHot Poolに書き込み

lamigoはHot Poolのファイルのクローズイベントを監視<min-age>時間の間待機

MDS

MDS

lamigolamigo

1

OSS

OSS

OSS

OSS

lpurgelpurgelpurgelpurge2changelog

MDT

lpurgeはパージするオブジェクトをスキャン Hot Poolの空き領域がfreeloの設定値 (%age) を下回ったらHot Poolのオブジェクトを削除
空き領域がfreehiの設定値(%age)を確保するまで継続
lfs mirror split -d <fast pool>

4changelog MDTOSTOSTOSTOSTHot Pool (Flash)<min-age>の間ファイルが操作されなかった場合、lamigoはファイルのミラーをCool Poolに作成するようOSSに指⽰
lfs mirror extend -N -p <HDD pool>

5

3

OST

lamigoはアクセス頻度が高いread-onlyファイルとアクセ
ス頻度は高いが一定期間書き込みが無いread-writeファイ
ルをミラーバックしますlfs mirror extend -N -d <fast pool>

OSTOST

OST

Cool Pool (HDD)© 2022 DDN

24

Hot Poolsのスペース管理• 閾値FREEHIとFREELOによるHot Pool OST(Flash部)からのファイルパージング
Fastスキャン+パージング

Free

FREELO (default=50% free)Slowスキャン+パージング
FREEHI (default=80% free)
スキャン無し、パージング無し

Used
Hot Pool• FREEHIとFREELOは、消費されたスペースの量では無く、Hot Pool(Flash部)のフリースペースの残量を⽰しますoo© 2022 DDN

FREEHIはシステムがHot Pool(Flash部)からCool Pool(HDD部)へのファイルミラーリングを開始（同時にHotPoolからファイルをパージ)するフリースペースのレベルを⽰します
FREELOはスキャンプロセスの負荷が⾼くなるフリースペースのレベルを⽰します25

Hot Pools容量逼迫時の仕組み• Hot Pool(Flash部)のSpill閾値とSpill Poolによる容量枯渇回避
lfs setstripe -E 1G -c 1 -p ddn_ssd --comp-flags=prefer -E 16G -c 4

Spill閾値推奨範囲

Spill閾値設定可能範囲

Spill閾値 デフォルト
10% free = 90% used

-E eof -c 40 -p ddn_hdd /mnt/testfs
新規の⼩さいファイル(spillover),既存Coolファイル,⼤容量ファイルへの書き込み

既存Hotファイルへの書き込み

Free
FREELOデフォルト
50% freeFree

UsedUsed© 2022 DDN

Hot Pool(Flash部)

Cool Pool(HDD部) = Default Spill Pool26

EXAScalerの⾼いメタデータ性能
Metadata Benchmarks

File statオペレーションの改善

2500

EXAScalerはFile statオペレーションを改善し、他社に⽐べて2倍以上の性能を達成しました。
stat ahead機能により、連続したstatオペレーションをEXAScalerクライアントが検知し、複数のstatオペレーションを纏めて発⾏して性能向上を測っています

2000

1500

1000

500

WEKA

dt
es
tha
rd-del
ete
mde
lete
dt
es
tea
sy-

dt
es
tha
rd-statm

2x AI400X2 SC22

© 2022 DDNm

stat
m

dt
es
tea
sy-

r ite
dt
es
thard-w
m

dt
es
tha
rd-r
ea
dm

m

dt
es
tea
sy-w

rite0vast

https://io500.org/submissions/view/30
https://io500.org/submissions/view/555

27

JLUG 2022 – 2022年12⽉9⽇(⾦)•今年はハイブリッド開催•詳細/お申し込みは今すぐ！
https://www.jlug.info/