DDN Update @PCCC21
DataDirect Networks Japan
橋⽖信明
2021/12/9© 2021 DDN

アジェンダ• DDNとHPCストレージ• 2021実績(Lustreのみ)• HW新製品紹介• EXA6新機能© 2021 DDN

2

DDNは世界最⼤⼿の⾮上場ストレージベンダー
世界規模のマーケットリーダー• 20年以上に渡る業界リーダーシップ• 10,000以上の顧客• 世界10拠点にテクノロジーセンターを設置

At Scale | Enterprise
AIストレージシステム

仮想環境

⼤規模HPCストレージ

ソフトウェアデファインド統合ストレージ

スケーラブルデータ管理© 2020 DDN© 2021 DDN

⾼性能統合ストレージ

DDNの20年に渡る技術⾰新
分散ストレージ : EXAScaler NFS/SMB, POSIX & Object 超⾼速で⾼効率

技術と需要データ完全性,、デクラスタリング : データ保護、GEO分散、スケーリング
Flash 、NVMe : 性能、耐久性、メモリクラス
仮想化、コンテナ : Openstack, Docker, Kubernetes…
Hybrid Cloud : オーケストレーション, AI, SW/CloudEnterprise & MultiCloud : 簡素化 & 管理

EXAScaler ‒並列
ファイルシステム

S2A ‒ ASICシステム
1998
DDN創業

© 2021 DDN

2003

2013

SFA ‒ スケーラブル
ストレージエンジン
2014

エンべデットシステム

2017

最初の⼤規模世界最⼤のプライベート
並列ファイルストレージ会社に世界最速のNVMe
システム導⼊システム導⼊
世界最速のシステムがDDNのシステム採⽤

2018

RED
エラスティック
データサービス

2019

2020

2023

世界最速のスパコンがDDNを採⽤IntelからLustre
部⾨を買収
At-ScaleとEnterprise
部⾨を発⾜

4

性能と容量の拡⼤を続けるHPCストレージ

120GB© 2021 DDN

200GB

320GB

640GB

2TB

3TB

4TB

6TB

12TB

16TB

参照︓「Lustre:The Next 20 Years(次の20年)」、ISC19、Andreas Dilger5指数関数的に増加する⼤規模データ処理の需要
AI & Analytics

Web/Cloud20

⾃⽴型IT のマーケット規模は2025年に$25B (USD)75%のAIシステムを採⽤しているところは今後もAI環境のための予算が増加

2025年には世界の約半分のデータがクラウドに2025年にはインターネットユーザデータは300%の増加

Government/AcademiaEnterprise at Scale$150B (USD)規模がCovid19
関連の研究のために利⽤

データ戦略における迅速な採⽤。ただ、74%がデータアクセスの困難さに直⾯。

データインテンシブのHPCでは 7% 平均成⻑率
データ解析17%の成⻑率

爆発的に増加するヒューマンデータとセンサーデータ
150ZB
ヒューマンデータはビジネスデータの10倍のスピードで増加

100ZB

50ZB

“Data is the critical ingredient of AI projects,and data access and data visibility are major
concerns for AI adopters” ‒ 451 Research

センサーデータはビ
ジネスデータの50倍のスピードで増加

ビジネスデータ

2020

2025

*451 Research ‒ AI & Machine Learning Infrastructure 2020 *inside Big Data

© 2021 DDN

6SSD Expands, but HDD Does Not Die - Gartner• DDNは近年、⼤規模HPCシステムに多くのNVMeのストレージを提供• ガートナーの予測では:
o 2030年、エンタープライズにおけるストレージの70%はHDD• HDDとSSDのギャップは供給と容量あたりのコスト
o これまでは~25%で推移していた 2020年のNANDベースSSDの⽣産コストの削減は10-15%に低下
o 2030年までにすべてのエンタープライズストレージがNANDベースになるのは懐疑的• 今後もHDDとNVMe/SSDとのハイブリッドは⾮常に重要
o DDNはすでに多くのハイブリッド⼤規模HPCシステムを導⼊• 阪⼤SQUID、産総研ABCI2.0、東⼤Westeria/BDEC-01,mdx、JAXA TOKI-SORA、JAMSTEC ES4など© 2021 DDN

7

2021年実績(Lustreのみ)

2021年導⼊実績
お客様

NVMe物理容量 (TB)

某省庁

HDD物理容量 (PB)

ファイルシステム
43.4

EXAScaler

307.2

36.1

EXAScaler

東京⼤学情報基盤センター mdx

2027.52

35.784

EXAScaler

東京⼤学情報基盤センター Westeria/BDEC-01

1413.1234.176

FEFS

⼤阪⼤学サイバーメディアセンター SQUID

1536

26.88

EXAScaler

産業技術総合研究所(AIST) ABCI2.0

529.9

14.4

EXAScaler

13.87

EXAScaler

5.6

EXAScaler

国⽴遺伝学研究所(NIG) DDBJ

4.816

EXAScaler

名古屋⼤学宇宙地球環境研究所(ISEE)

4.14

EXAScaler

某機構

3.1

EXAScaler

情報通信研究機構(NICT)

3.09

EXAScaler

マクロジェン・ジャパン

3.0

EXAScaler

1.62

EXAScaler

1.58

EXAScaler

東京⼤学HGC

国⽴環境研究所(NIES) GOSAT/GOSAT-2 プロジェクト
理化学研究所Spring-8

某⺠間企業

161.28

某研究所
北陸先端科学技術⼤学院⼤学(JAIST)

322.5

EXAScaler

理化学研究所R-CCS

307.2

EXAScaler

某⺠間企業

276.48EXAScaler

某⺠間企業

161.28EXAScaler

某⺠間企業

161.28EXAScaler

某⺠間企業

88.32

EXAScaler

合計© 2021 DDN

7.29PB

231.6PB
9

2022年導⼊予定
お客様

NVMe物理容量 (TB)

HDD物理容量 (PB)

ファイルシステム

某機構

67.0

EXAScaler

東京⼤学情報基盤センターIpomoea-01

34.4

EXAScaler

某機構

19.58

EXAScaler

12.9

EXAScaler

東京⼤学HGC

9.0

EXAScaler

某⼤学

6.00

EXAScaler

某⺠間企業

2.56

EXAScaler

某⺠間企業

1.8

EXAScaler

某機構

1.58

EXAScaler

沖縄科学技術⼤学院⼤学(OIST)

1.5

EXAScaler

某⺠間企業

1.2

EXAScaler

0.13

EXAScaler

情報通信研究機構(NICT)

88

某研究機関

1000

某⺠間企業

737.28

合計© 2021 DDN

1.73PB

EXAScaler

157.7PB

102020年との⽐較
NVMe実績⽐較
18.00

HDD実績⽐較

16.83

600.00JAXA様の13PB含む

16.00

502.43500.00

理研様の206.4PB含む

14.00
400.00

物理容量(PB)

物理容量(PB)

12.00
10.00
8.00

2.2倍

7.29

6.00

0.78倍
231.56200.00157.65

3.32

4.00

1.74

2.00
0.00

100.000.00

2020実績

© 2021 DDN

296.03300.002020実績 − JAXA

2021実績

2022予定2020実績

2020実績 − 富岳

2021実績

2022予定11

HW新製品紹介

New “X2” Platform
ES200NVX2Class / Controller
CPU2U All NVMe Platform, Active/Active Dual Controller
2x Ice Lake CPUs

NVMe
NVMe Performance
HDD
HDD Performance
Connectivity© 2021 DDN

ES400NVX2

4x Ice Lake CPUs
24 Drive (PCI Gen 4)~46GB/s, 1.5M IOP/s~90GB/s, 3M IOP/s

2022 Q3以降 : Max 360 Drive (4x SAS4 90Slot Enc)

2021 Q3以降 : Max 360 Drive (4x SAS3 90Slot Enc)
2022 Q3以降 : Max 900 Drive (10x SAS4 90Slot Enc)

2022 Q3以降 : ~46GB/s

2021 Q3以降 : ~40GB/s
2022 Q3以降 : ~90GB/s

HDR IB (200Gb/100Gb) (4)Or 100/200 GbE (4)HDR IB (200Gb/100Gb) (8)Or 100/200 GbE (8)13ES400NVX2 SAS-3 Expansion Option (2021〜2022 1H)
ES400NVX2 SAS3Platform

ES400NVX2 SAS-3NVMe
Slots
Capacity

24max (raw)SAS Chassis
Slots
Capacitymax (raw)© 2021 DDN

368 TB(15.36TB NVMe)
4360
6.4 PB(18TB HDD)

100% NVME without use of SAS expansion is also supported

14

Planned X2 SAS-4 Expansion Options (2022 Q3以降)
ES200NVX2

ES200NVX2 SAS-4

24

2424732 TB

732 TB732 TB(30TB NVMe)
190
1.8 PB2180
3.6 PB4360
7.2 PB(20TB HDD)
© 2021 DDN

ES400NVX2Platform
NVMe
Slots
Capacitymax (raw)SAS Chassis
Slots
Capacitymax (raw)

ES400NVX2 SAS-4

242424732 TB

732 TB732 TB(30TB NVMe)
6540
10.8 PB

8720
14.4 PB

10900
18 PB

(20TB HDD)

100% NVME without use of SAS expansion is also supported

15

SS9024 ENCLOSURE
SAS4サポートエンクロージャ

SS9024 ENCLOSURE SPECIFICATIONS

Bezel design pending© 2021 DDN

ChassisRedundant 4U

Disk Slots

90 top accessible 3.5” drive slots, SAS-3 (12G)

PSU/Cooling

4 PSUs (2+2 redundant), 5 Independent Fans

Monitoring

LCD displays for providing system status
Per drive activity LEDs

IO Modules

2x IO Modules. SAS-4 (24G)
4x 4 lane SAS 24Gb Mini SAS HD ports on each IO
Module16

Hyper Fast AI & HPC Data Storage
All Flashパフォーマンス
ES400NVX2-NVMe (Sequential IO, O_DIRECT=1, sync)
100.0
90.0
80.0

• Over 90GB/s for reads• Over 65GB/s for writes

70.0
B/W (GB/sec)

世界最速ストレージ

60.0
50.0

Write

40.0

Read

30.0
20.0
10.0
0.0
1m

2m

4m

8m

16m

I/O Size (Byte)© 2021 DDN17

ES400NVX2 HDD Performance (HDD/w SAS3)
60,000250

50,00030,000100
20,00050

10,00000

B/W (MB/s)

150

250

50,000200

40,000200

40,000150
30,000100
20,00050

10,0000082(2x41) 122(2x61) 164(4x41) 244(4x61) 328(8x41)

82(2x41) 122(2x61) 164(4x41) 244(4x61) 328(8x41)

Number of Disk(Disk Configuration)

Number of Disk(Disk Configuration)

Chunksize=256k© 2021 DDN

60,000

Disk Efficiency(MB/s)

B/W (MB/s)

ES400NVX2 HDD Performance(1MB, Buffered, Read)

Chunksize=2MB

DiskEff(256K)

DiskEff(2MB)

Disk Efficiency(MB/s)

ES400NVX2 HDD Performance(1MB, Buffered, Write)

Chunksize=256K

Chunksize=2MB

Chunksize : RAIDのChunksize
DiskEff : Disk 1本あたりの性能
WriteはParity 2本分のWrite性能を付与するため、性能の1.2倍をDisk本数で除した値
Readは性能をDisk本数で除した値

DiskEff(256K)

DiskEff(2MB)18

EXA6新機能

EXA6の主な新機能
Lustre2.14をベースとした新EXAScalerバージョンEXA6をリリース
Security・CompliancePerformance• Client-side file Encryption••

fscrypt APIによるファイル暗号化に対応。ディレクト
リ単位で暗号化を適⽤可能

シングルスレッド性能の向上 "15GB/sec”
ロックレスIO
Direct IO時、Server, Client間でファイルlockを⾏わないことでオーバヘッドを削除し低Latencyアクセスを実現•Lustre Over Striping
OST数以上のストライプ数を設定可能→Single Shared Fileの性能向上

Cache ManagementEfficiency• Hot Pools• OST Pool Quota

NVMe OST、HDD OST間のTieringを実現• Hot Nodes
クライアントのローカルストレージを Cacheとして利⽤
IOPSが必要なアプリケーションの性能向上© 2021 DDN

１つのファイルシステムに混在する異なるデバイス(HDD, NVMe)毎にそれぞれOST Poolを作成して、異なるQuota設定可能• Auto Directory Split
同⼀ディレクトリ内でinode数が設定値を超えた時点から複数のMDTを⾃動的に利⽤

20

Lustre 2.14 ‒ Communityへのコントリビューション
• 2021/2 GA• OS support• RHEL 8.3 servers/clients• RHEL 8.3/SLES15 SP2/Ubuntu 20.04 clients• Interop/upgrades from 2.13 and latest Lustre
2.12.x• 多くの新機能• Client-side Data Encryption (LU-12275)• OST Pool Quotas (11023)• DNE Auto Restriping (LU-11025)

Oracle1

Number of Commits Aeon

55
SUSE 2Seagate Amazon
1 1
5Uber
ATOS 2Other 4
Mellanox 1Intel LLNL 11
CEA 7
ORNL
766

HPE 264
DDN-Whamcloud657• http://wiki.lustre.org/Release_2.14.0
Google 1
Fujitsu 1
Data courtesy of Dustin Leverman (ORNL)© 2021 DDN

21

Lustre Striping(”-c -1”は全てのOST)

root@ubuntu1804-1:~# lfs setstripe -c -1 /ai200x1/shared-fileroot@ubuntu1804-1:~# lfs getstripe /ai200x1/shared-file/ai200x1/sharedfile
lmm_stripe_count:4

lmm_stripe_size:

1048576

lmm_pattern:

raid0

lmm_layout_gen:0shared-file

P0

P1

P2

P3

P4

1M

1M

1M

1M

1M

P5

1M

P6

1M

P7

1M

lmm_stripe_offset: 1
obdidx objid objid group
1

20x20

3

20x2

00

20x20

2

20x20

S1

S2

S3

S4

obj1

obj2

obj3

obj4

OST0

OST1

OST2

OST3

プロセス数 > ストライプ数の場合 OST
オブジェクトに対する競合が発⽣© 2021 DDN※ OST : Object Storage Target

22Lustre OverStriping
root@ubuntu1804-1:~# lfs setstripe -C 8 /ai200x1/shared-file-OSroot@ubuntu1804-1:~# lfs getstripe /ai200x1/shared-file-OS/ai200x1/shared-file-OS
lmm_stripe_count:8

lmm_stripe_size:

1048576

lmm_pattern:

raid0,overstriped

lmm_layout_gen:0shared-file-OS

P0

P1

P2

P3

P4

1M

1M

1M

1M

1M

1M

1M

1M

S1

S2

S3

S4

S5

S6

S7

S8

obj1

obj2

obj3

obj4

obj5

obj6

obj7

obj8

P5

P6

P7

lmm_stripe_offset: 0obdidx objid objid group
040x40240x40

140x40340x40050x50250x50

150x50350x50© 2021 DDN

OST0OverStriping機能によってOST数以上のストライプ数を設定可能になりオブジェクトアクセスにおける競合を排除

OST1

OST2

OST3

※ OST : Object Storage Target
23

Striping vs Over Striping性能⽐較
１つのファイルに複数プロセスでアクセスした場合の性能⽐較
Striping vs OverStriping (8 x OST)
18000

THroughput (MB/sec)

16000
14000

• ES7990(160 x HDD, 2 x OSS, 8 x OST)

Write

• 32クライアント, 512プロセス

Read• 1MB, Single Shared File

12000

# ior/src/ior -w -r -C -g -i 3 -vv -s 13000 -b 1m -t
1m -a POSIX -e

10000
8000

• ストライプカウント8と512で⽐較

6000
4000
2000
08

512

StripeCount© 2021 DDN

24

Lustreにおける暗号化

Clear• ユースケース:o 各ユーザの特定のディレクトリに含まれるファイルに対する機密性を提供• ゴール:
Cliento クライアントおよびサーバ間でデータ保護
Applicationso 保存データの保護• ソリューションo fscrypt kernel APIに準拠
EXAScaler Client• ext4, F2FS, and UBIFSにて使⽤されているAPI• 基本原則: Page Cacheに含まれるPageはクリアテキストデータを含む
o fscrypt ユーザスペースツールを活⽤• Lustreにおける実装
o 暗号化の⽅法• Lustre Clientにて透過的にWrite時に暗号化、Read時に復号化を実施
o ディレクトリにおけるポリシーの適応⽅法• fscryptユーザスペースを使った新しいIOCTLのサポート• アトミックな暗号化コンテキストの処理© 2021 DDN

25

Lustre Client Encryption ‒ bandwidth performance© 2021 DDN26

従来のDNE(Distributed Namespace Environment)• 2.14以前のLustreは２つのタイプのDNEをサポート
o Remote Directory(DNE1)とStriped Directory(DNE2)
o いずれも動的に設定できDNE1とDNE2の混在も可能# lfs mkdir ‒i 0 /ai200x1/mdt0# lfs mkdir ‒i 1 /ai200x1/mdt1© 2021 DDN# lfs mkdir ‒c 4 /ai200x1/striped-dir# lfs mkdir ‒c 4 -D /ai200x1/ striped-dir
27

DNE Auto Rebalancing (2.14で追加)[root@vexa01 ~]# lctl get_param mdt.*.enable_dir_auto_split
mdt.*.dir_split_count mdt.*.dir_split_delta
mdt.ai200x1-MDT0000.enable_dir_auto_split=1
mdt.ai200x1-MDT0000.dir_split_count=50000
mdt.ai200x1-MDT0000.dir_split_delta=2

MDT0
MDT0
MDT0
dir_split_count

MDT1
MDT1
enable_dir_auto_split=1(Auto rebalancing)が有効の場合、同⼀ディレクトリ内でinode数がdir_split_countを超えた時点からdir_split_deltaに基づき複数のMDTに⾃動的に分散される

閾値を設定することでディレクトリのサイズが⼤きくなる
前に複数のMDTに⾃動的に分散し性能劣化を防ぐ© 2021 DDN28

Hot Pools
ストレージプール間のTieringを実現
Lustre Clients1lamigoはHot Poolのファイルのクローズイベントを監視
2<min-age>時間の間待機

MDS
lamigoOSS
lpurgeOSSlpurge

OSSlpurge

ClientはHot poolにファイルを書き込み

OSS
lpurge4

Hot Pool

OSTOSTOSTOSTOST

OSTlpurgeはパージするオブジェクトをスキャン
Hot Poolの空き領域が設定値 (%age) を下回ったらHot Poolのオブジェクトを削除
空き領域を確保するまで継続

OST

Flash OST

3
<min-age>の間ファイルが操作されなかった場合、lamigoはファイルのミラーをCool Poolに作成する
ようOSSに指⽰© 2021 DDN

OSTCool PoolHDD OST29

OST Pool Quota
特定のディレクトリファイルに付与されたProject-IDに対してinode数および容量のQuota設定が可能
UID, GIDに対してinode数および容量の Quota設定が可能User1: 30GB

Project-IDは”lfs project <dir>”で設定
User2: 20GB

Group1: 50GB

User1:10GB(pool1)

事前に作成されたOST
Poolに対してUID, GIDに対する容量のQuota設定が可能
OST Poolは”lctl
pool_create/pool_add“
で動的に作成DIR-B

Project1: 100GB
Project1: 50GB(pool2)

Lustre Filesystem 400GB

OST0100GB

OST1
100GB

OST pool1 : 200GB© 2021 DDN

DIR-A

OST2
100GB

OST3
100GB

OST pool2 : 200GB

１つのファイルシステムに混在する異なるデバイス(HDD, NVMe)毎にそれぞれOST Poolを作成して、異なるQuota設定可能

30

Hot Nodes• クライアントのローカルストレージとのインテグレーション
o レイテンシの削減, ネットワークトラフィックの削減
o DAX(Direct Access)可能なNVDIMMデバイスとインテグレーション• ReadおよびWriteの透過的なキャッシュを提供
o Read Onlyキャッシュもサポート• ワークフロー全体の最適化に活⽤
o 同⼀クライアントでのデータの再利⽤
o データの先読みにて、IOと計算利⽤のネットワークリソースの分散化

Client VFS Interface
NormalIO

Cache IO

NormalIO

NVMe

ReleaseDAX IO

NVRAM

Fetch

Lustre Client

Lustre Client

OSS© 2021 DDN

Client VFS Interface

OSS

OSS

31

Single Stream Performance(IOR)
IOR(O_DIRECT, 256GB File), Lustre StripeCount=8, StripeSize=1MB# mpirun -np 1 ior -w -r -t $t -b 256g -e -o $DIR/file --posix.odirect
Single Stream Performance(Read)

Single Stream Performance(Write)
18,00018,000EXA5EXA516,000

16,000EXA6

14,00014,00012,00012,000

Bandwdith (MB/sec)

Bandwdith (MB/sec)

EXA6

10x

10,000
8,000
6,000

8,000
6,000

4,000

4,000

2,000

2,000

00
1m

2m

4m

8m

16m

32m

64m

128m

256m

10x

10,000

1m

2m

4m

8m

16m

32m

64m

128m

256m

io size (Byte)

io size(Byte)

単⼀プロセス/DirectIO性能© 2021 DDN

32

JLUG 2021
• 2021年12⽉10⽇（⾦)• オンライン開催• 詳細/お申し込みは今すぐ！ https://www.jlug.info/© 2021 DDN© 2021 DDN

© 2021 DDN