DDN Updata @JLUG2022

DataDirect Networks Japan, Inc.
橋⽖信明
2022/12/9

アジェンダ• 2022実績(Lustreのみ)• HW新製品紹介など© 2022 DDN

22022年実績(Lustreのみ)

2022年導⼊実績(1)
お客様

NVMe物理容量 (TB)

HDD物理容量 (PB)

ファイルシステム

某機構

67.00

EXAScaler

某省庁

59.60

FEFS

京都⼤学

40.00

EXAScaler

東京⼤学情報基盤センター Ipomoea01

34.40

EXAScaler

某⺠間企業

24.90

EXAScaler

某機構

19.58

EXAScaler

1474

18.43

EXAScaler

88

12.90

EXAScaler

筑波⼤学 Pegasus

9.60

EXAScaler

東京⼤学某研究所

6.10

EXAScaler

理研R-CCS

5.00

EXAScaler

某研究機関

3.33

EXAScaler

某製造業

3.20

EXAScaler

理研 AIP

2.98

EXAScaler

理研 CBS

2.98

EXAScaler

某製造業

2.56

EXAScaler

某⺠間研究所

2.40

EXAScaler

某機構

2.34

EXAScaler

某⺠間企業

2.30

FEFS

NEC
NICT UCRI© 2022 DDN

42022年導⼊実績(2)
お客様

NVMe物理容量 (TB)

HDD物理容量 (PB)

ファイルシステム

某製造業

1.80

EXAScaler

某⺠間研究所

1.58

EXAScaler

OIST

1.50

EXAScaler

某製造業

1.28

EXAScaler

某製造業

1.20

EXAScaler

某製造業

1.00

EXAScaler

某製造業

0.86

EXAScaler

理研

0.85

EXAScaler

NAIST

0.84

EXAScaler

某製造業

0.80

EXAScaler

某省庁

0.70

EXAScaler

某製造業

0.63

EXAScaler

某機構

1000

EXAScaler

某製造業

737

EXAScaler

某製造業

368

EXAScaler

JAXA350EXAScaler

某機構

177

EXAScaler

某⺠間企業

135

EXAScaler

某通信事業者

76

EXAScaler

合計© 2022 DDN

4.41PB

332.64PB

5

2023年導⼊予定
お客様
某省庁

NVMe物理容量 (TB)

HDD物理容量 (PB)
944

某研究機関

ファイルシステム
91.30

EXAScaler

53.20

EXAScaler

NICT Cinet

706

30.60

EXAScaler

理研Spring-8

154

28.50

EXAScaler

AIST北陸デジタルものづくりセンター(仮称)17.00

EXAScaler

東京⼤学HGC

16.00

EXAScaler

某研究機関

8.92

EXAScaler

AIST

5.97

EXAScaler

東北⼤学

5.90

EXAScaler

東京⼤学 マテリアル先端リサーチセンター(ARIM)

4.00

EXAScaler

理研

2.98

EXAScaler

1.62

EXAScaler

豊橋技術科学⼤学

1.60

EXAScaler

某製造業

1.20

EXAScaler

国⽴成育医療研究センター(NCCHD)1.00

EXAScaler

某製造業

460

某製造業

737

EXAScaler

京都⼤学

4000

EXAScaler

合計© 2022 DDN

7.00PB

269.79PB

62022/21との⽐較
NVMe実績⽐較
18.00

HDD実績⽐較

16.83

600.00JAXA様の13PB含む

16.00

502.43500.0014.00
400.00

10.00

7.29

8.00

2.2倍

6.00

7.00

1.43倍

296.03300.00200.00

4.41

3.32

4.00

40%減😢

物理容量(PB)

物理容量(PB)

12.00

理研様の206.4PB含む

332.64269.79231.5622%減

100.00
2.00
0.00

0.00

2020実績

2020実績 −JAXA© 2022 DDN

2021実績

2022実績

2023予定2020実績 2020実績 − 2021実績

2022実績

2023予定富岳

7

HW新製品紹介など

New “X2” Platform
ES200NVX2Class / Controller
CPU

2U All NVMe Platform, Active/Active Dual Controller
2x Ice Lake CPUs

NVMe
NVMe Performance

ES400NVX2

4x Ice Lake CPUs
24 Drive (PCI Gen 4)~45GB/s以上, 1.5M IOP/s~90GB/s, 3M IOP/s

HDD

N/A

Max 900 Drive (10x SAS4 90Slot Enc)

HDD Performance

N/A~80GB/sHDR IB (200Gb/100Gb) (4ポート)
Or 100/200 GbE (4ポート)

HDR IB (200Gb/100Gb) (8ポート)Or 100/200 GbE (8ポート)提供予定 : NDR200 IB (8ポート)

Connectivity© 2022 DDN

9400NVX2E SAS-4 Expansion Options

NVMe Slots
Capacity24732 TB

SS9024 qty
Slots
Capacity2180
3.2 PB

NVMe Slots
Capacity

24732 TB

SS9024 qty
Slots
Capacity

4360
6.4 PB

NVMe Slots
Capacity

24732 TB

SS9024 qty
Slots
Capacity

5450
8.0 PB

100% NVME without use of SAS expansion is also supported.
Capacity is maximum raw device capacity based on 30TB NVMe flash and18TB SAS HDD. SAS SSD (up to 30TB) can also be used in SS9024.

© 2022 DDN

NVMe Slots
Capacity

24732 TB

SS9024 qty
Slots
Capacity

8720
12.8 PB

NVMe Slots
Capacity

24732 TBSS9024 qty
Slots
Capacity

10900
16 PB 10

DDN SS9024
SS9024ディスクエンクロージャは、90本のドライブを収容可能な⾼密度スト
レージエンクロージャです。SSD、SASの各種ドライブを混在可能であり、I/Oパスも含めてコンポーネントが冗⻑化されております。

項⽬© 2022 DDN

製品仕様

シャーシ

4U / 90 Drive

スロット数

90 (3.5inch/2.5inch)

IOモジュール

2x IOモジュール, SAS4(24Gb)
4x 4lane SAS 24Gb Mini SASポート/IOモジュール

対応ドライブSSD, SAS, NL-SAS

冷却ファン

5x 冷却ファン

電源

4 x 1300W 冗⻑電源 (2+2)

ホットスワップ対象部品

ドライブ、電源、冷却ファン

LCD Display

Status, Power, Environmental Monitoring

LEDPower, Status, Monitoring, Drive Activity

11

ES400NVX2 Flash Performance
ES400NVX and ES400NVX2IOR(FPP, IOsize=64m, ODIRECT=1)

40 x EXAScaler(Lustre) Client
1 x Gold 5218
96GB DDR4(2666MHz)
1 x IB-HDR100
CentOS8.1 (4.18.0-147.el8.x86_64)
Mellanox OFED-5.1-2.5.8.0

IB-HDR100

IB-HDR200

ES400NVX2VM0

VM1

VM2

VM3DDN EXAScaler(Lustre)
4 x VM(OSS/MDS)
20 x 3.84TB NVMe
4 x IB-HDR200

Bandwidth (GB/sec)

9080

Write

70

Read

60
50
4030
20
100ES400NVX© 2022 DDN

ES400NVX212ES400NVX2 HDD Performance
ES400NVX2 SAS4 HDD Performance
80,000⾼スループット
70GB/sを超えるスループット性能

60,00050,000⾼密度実装
40,0001台のES400NVX2で20PBに迫る物理容量を提供

Throughput (GB/s)

70,00030,00020,000⾼い性能効率
アプリケーションに対して、ドライブあたり170MB/sを超えるファイルシス
テムレベルの性能効率を実現

10,000248

Enclosure Count© 2022 DDN

13

DDN EXAScaler QLC Flashソリューション
• QLC Flashを24本搭載可能なエンクロージャを最⼤4基接続(2023年中)o

2024年に5エンクロージャ構成をサポート予定

2023Q4

DDN ES400NVX2/AI400X2••••

All Flash EXAScalerファイルシステムを2RUで提供
90GB/s Read, 65GB/s Writeスループット
3M IOPS
700TBを超えるTLC Flash容量

スイッチレスな Ethernet Fabricを構成••

高性能で低遅延なNVMeoFを提供
単一障害点のない完全な冗長構成

DDN SE2420••••© 2022 DDNNVMeoF Flash拡張エンクロージャ
2RUで720TB以上搭載可能な高密度構成
4エンクロージャ構成で2.88PBのQLC Flash容量を実現
IOM上にSwitch Chipを搭載するEmbedded Switching Fabric

14

SE2420 : ES400NVX2 NVMeoF拡張エンクロージャ• DDNが提供する⾼密度QLCを使⽤した新しいNVMeoF拡張エンクロージャ
最⼤4エンクロージャ構成(2023)
最⼤5エンクロージャ構成(2024)
2,4,5エンクロージャ構成をサポート予定

ooo

Real-Time, Many-Core RAID
EngineFull Implementation of Real-Time
Storage OS, Interrupt-Free;
Massively Parallel I/O Delivery
SystemHigh Density Flash
24 QLC SSDs per enclosure
30TB initially, moving to60TB
Parallel multi-channelrebuilds
Super fast rebuilds for largeSSDs© 2022 DDN

ReACT Cache Management
Real-Time I/O Data-Aware Cache
Optimizer, Small IOs use Mirrored Battery
Backed Cache (Write-Back), Large &Streaming I/Os Dynamically use WriteThroughNo Single Point of Failure,
Zero Midplane Design
No External Switching - Storage
Fusion NMVe FabricHighly-Over-Provisioned Backend
RAIDed Fabric Withstands Failures ofDrives, Enclosures, Cables, etc
Data Protection on disk
T10 PI Type 215

SE2420: NVMe Device ➡ Ethernet Fabric
Ethernet Switch Chip on IOM

SE2420

シングルポートQLCドライブ
IOM 01 x4
NVMe25Gbps Ethernet
Interposer converts 1x4NVMe to 2x 25GbE© 2022 DDN

IOM 1Ethernet

16

SE2420 - Front/Rear View
Power,health,locator
LEDs

24 U.2 QLC Flash Drives

Switch Module A
Fan/PSU

Switch Module B

2RU

Mgmt Port
Console PortQSFP 28/56 ports supporting 100/200GbE© 2022 DDN

17

SFA Drive Lineup…2021 Q4
NVMe (SED/FIPS)(up to 30TB) gen3/ gen42022 Q1

2022 Q2

2022 Q4

NVMe (SED)

NVMe (FIPS)(up to 30TB) gen4

(up to 15TB) gen3

2023 Q4
NVMe QLC

NVMe QLC(15/30TB)(60TB)

NVMeSAS

SAS SSD (SED/FIPS)

SAS SSD (SED)(up to 30TB)(up to 30TB)
FlashHDD

SAS 10TB

SAS 20TB

SAS 22TB

SAS 14TB

SAS 20TB

SAS 18TB

SAS 14TB© 2022 DDN

KEY:Released

Scheduled

SAS 24TB

Planning

Investigation

18

性能・容量要件に応じた柔軟な構成を提供
TLC Flash

QLC FlashHybridBest IOPS & Throughput per rack
63M IOPS by 21x ES400NVX2
1.89 TB/s READスループット
1.26 TB/s WRITEスループット
物理容量 15PB Flash領域

Best Price per Flash TB
12M IOPS by 4x ES400NVX2
360 GB/s READスループット
240 GB/s WRITEスループット
物理容量 26PB Flash領域

Best Price per TB
物理容量 19.8PB HDD領域, 0.7PB Flash領域 by 1x ES400NVX2
80 GB/s READスループット
65 GB/s WRITEスループット© 2022 DDN

19

Hot Pools - 記憶メディアの階層構造に対応
EXAScalerファイルシステム上のストレージプール間の⾃動階層化を実現• EXAScalerはOSTの集まりをPoolとして管理可能• Flash層(Hot Pool)からHDD層(Cool Pool)へのア
クセスが少ないファイルの⾃動マイグレーションを提供• Cool Pool上のアクセス頻度が⾼いファイルをHot
Poolに⾃動マイグレーションを提供
o ファイルヒートポリシー• LustreのFile Level Replication(FLR)機能がベース• 使⽤量の増減に合わせて、HDD容量とFlash性能を効率的に使⽤• ユーザはHot Poolsの構成を意識することなく利⽤可能© 2022 DDN

HOT(FLASH)
アクセスの少ないファイルをHDDプールに移動

ファイルヒートポリシーにより、ホットファイルをHot Poolにミラーバック

COOL(HDD)
EXAScalerはファイルヒートポリシーに基づき、継続的にデータのコピーをFlash層に作成/削除し、最もアクセスされるファイルをFlash層に維持します20

EXA6 Hot Poolsの実装
クライアントファイルをHot Poolに書き込み

lamigoはHot Poolのファイルのクローズイベントを監視<min-age>時間の間待機

MDS

MDS

lamigolamigo

1

OSS

OSS

OSS

OSS

lpurgelpurgelpurgelpurge2changelog

MDT

lpurgeはパージするオブジェクトをスキャン Hot Poolの空き領域がfreeloの設定値 (%age) を下回ったらHot Poolのオブジェクトを削除
空き領域がfreehiの設定値(%age)を確保するまで継続
lfs mirror split -d <fast pool>

4changelog MDTOSTOSTOSTOST

Hot Pool (Flash)<min-age>の間ファイルが操作されなかった場合、lamigoはファイルのミラーをCool Poolに作成するようOSSに指⽰
lfs mirror extend -N -p <HDD pool>

53

OST

lamigoはアクセス頻度が高いread-onlyファイルとアクセ
ス頻度は高いが一定期間書き込みが無いread-writeファイ
ルをミラーバックしますlfs mirror extend -N -d <fast pool>

OST

OST

OSTCool Pool (HDD)© 2022 DDN

21

Hot Poolsのスペース管理• 閾値FREEHIとFREELOによるHot Pool OST(Flash部)からのファイルパージング
Fastスキャン+パージング

Free

FREELO (default=50% free)Slowスキャン+パージング
FREEHI (default=80% free)
スキャン無し、パージング無し

Used
Hot Pool• FREEHIとFREELOは、消費されたスペースの量では無く、Hot Pool(Flash部)のフリースペースの残量を⽰しますoo© 2022 DDN

FREEHIはシステムがHot Pool(Flash部)からCool Pool(HDD部)へのファイルミラーリングを開始（同時にHotPoolからファイルをパージ)するフリースペースのレベルを⽰します
FREELOはスキャンプロセスの負荷が⾼くなるフリースペースのレベルを⽰します22Hot Pools容量逼迫時の仕組み• Hot Pool(Flash部)のSpill閾値とSpill Poolによる容量枯渇回避
lfs setstripe -E 1G -c 1 -p ddn_ssd --comp-flags=prefer -E 16G -c 4

Spill閾値推奨範囲

Spill閾値設定可能範囲

Spill閾値 デフォルト
10% free = 90% used

-E eof -c 40 -p ddn_hdd /mnt/testfs
新規の⼩さいファイル(spillover),既存Coolファイル,⼤容量ファイルへの書き込み

既存Hotファイルへの書き込み

Free
FREELOデフォルト
50% freeFree

Used
Used© 2022 DDN

Hot Pool(Flash部)

Cool Pool(HDD部) = Default Spill Pool

23