DDN Update @PCCC20

DataDirect Networks Japan, Inc.
Nobu Hashizume
2020/12/14

アジェンダ• 2020年実績• EXAScaler and A3I• 2021年予定HW新製品• RED© 2020 DDN

2

2020年実績

2020年導⼊実績
お客様NVMe物理容量 (TB)

HDD物理容量 (PB)

理化学研究所 富岳

ファイルシステム
206.40

FEFS

83.23

EXAScaler

核融合科学研究所(NIFS) プラズマシミュレータ雷神

44.80

EXAScaler

名古屋⼤学情報基盤センター 不⽼

40.32

FEFS

322.56

38.22

EXAScaler

13516.80

16.40

FEFS

⽇本原⼦⼒研究開発機構(JAEA)

23.04

EXAScaler

東北⼤学メディカル・メガバンク機構(ToMMo)

16.16

EXAScaler

8.16

EXAScaler

⼤阪⼤学核物理研究センター(RCNP)

8.88

EXAScaler

名古屋⼤学N研

4.03

EXAScaler

理化学研究所⽣命医科学研究センター(IMS)

3.20

EXAScaler

東北⼤学サイバーサイエンスセンター AOBA

2.56

ScaTeFS

某製造業

2.30

EXAScaler

某製造業

2.30

FEFS

京都⼤学基礎物理学研究所(YITP)

1.56

EXAScaler

海洋研究開発機構(JAMSTEC)

理化学研究所 理研データ科学基盤
宇宙航空研究開発機構(JAXA)

沖縄科学技術⼤学院⼤学(OIST)

1766.40

720.00某製造業

337.92

EXAScaler

某製造業

84.00

EXAScaler

某製造業

84.48

0.86

16.83PB

502.43PB

合計© 2020 DDN

EXAScaler

EXAScaler : 14 , FEFS : 4, ScaTeFS : 14

2020年12⽉〜2021年導⼊予定
お客様

NVMe物理容量 (TB)

HDD物理容量 (PB)

某省庁

ファイルシステム
43.40

EXAScaler

東京⼤学情報基盤センター mdx

2027.52

35.78

EXAScaler

東京⼤学情報基盤センター Wisteria/BDEC-01

1413.12

34.18

FEFS

⼤阪⼤学サイバーメディアセンター SQUID

1536.00

26.88

EXAScaler

産業技術総合研究所(AIST) ABCI++

529.9014.40

EXAScaler

国⽴環境研究所(NIES) GOSAT/GOSAT-2 プロジェクト

13.87

EXAScaler

国⽴遺伝学研究所(NIG) DDBJ

4.82

EXAScaler

名古屋⼤学宇宙地球環境研究所(ISEE)

4.14

EXAScaler

情報通信研究機構(NICT)

3.09

EXAScaler

北陸先端科学技術⼤学院⼤学(JAIST)

合計© 2020 DDN

322.505.83PB

EXAScaler

180.56PB

EXAScaler : 9 , FEFS : 15

2019年との⽐較
NVMe実績⽐較

HDD実績⽐較
16.83

18.00

600.00502.4316.00
500.0014.00
400.00

物理容量(PB)

物理容量(PB)

12.00
10.00

既に1.75倍

8.00
6.00
4.00

5.83

300.00200.001.77倍 3.32
1.87

2.01倍

296.03180.56146.86100.00

2.00
0.00

0.00

2019実績

© 2020 DDN

2020実績 − JAXA

2021予定2020実績

2019実績

2020実績 − 富岳

2021予定2020実績

6最新のEXAScaler構成例 : 産総研様 ABCI++FLASH Tier

EXAScaler MDS : 4x DDN 1U Server
EXAScaler MDT : 1x DDN SFA200NV

Monitoring

EXAScaler OSS/OST(⾼速データ領域) : 3x DDN ES400NVX
Controller

Monitoring Server
1x DDN 1U Server

Controller

Controller

Controller

Controller

Controller

Controller

vOSS vOSS vOSS vOSSvOSS vOSS vOSS vOSS

ControllervOSS vOSS vOSS vOSSMETA DATA

Controller

Controller

vOSS

vOSSvOSSvOSSvOSSvOSS

Controller

Controller

Controller

Controller

Controller

Controller

EXAScaler MDS : 4x DDN 1U ServerEXAScaler MDT : 1x DDN SFA200NV
EXAScaler OSS/OST(通常データ領域) : 3x DDN ES7990X
実効容量(通常)10.8864PB

実効容量(⾼速)405.508TB

最⼤合計inode数

約320億個

最⼤想定実効スループット(通常)60GB/s

最⼤想定実効スループット(⾼速)Write : 105GB/s, Read : 120GB/s© 2020 DDNHDD Tier
1x EDR or HDR100 Infiniband
1x 1GbE Management
1x 8Gbps Fiber Channel

7

最新のEXAScaler構成例 : ⼤阪⼤学CMC様 SQUIDNFS Gateway
2x DDN 1U Server

S3 Data Service2x DDN 1U Server

Monitoring Server
1x DDN 1U Server

META DATA
ProtocolEXAScaler MDS : 4x DDN 1U Server
EXAScaler MDT : 1x DDN SFA200NV
Controller

Monitoring

FLASH TierController

EXAScaler OSS/OST : 5x DDN ES400NVX
Controller Controller

Controller Controller

Controller Controller

Controller Controller

Controller Controller

vOSS vOSS vOSS vOSS

vOSS vOSS vOSS vOSS

vOSS vOSS vOSS vOSS

vOSS vOSS vOSS vOSS

vOSS vOSS vOSS vOSSHDD TiervOSSvOSS

Controller ControllervOSSvOSS

Controller ControllervOSSvOSS

Controller ControllervOSSvOSSvOSS

Controller ControllervOSS

Controller Controller

vOSS

vOSS

Controller Controller

vOSS

vOSS

Controller Controller

vOSS

vOSS

Controller Controller

vOSS

vOSS

Controller Controller

vOSS

vOSS

Controller Controller

EXAScaler OSS/OST : 10x DDN ES7990X
実効容量(HDD)

20.00PB

実効容量(NVMe)

1.20PB

最⼤合計inode数

約150億個

最⼤想定実効スループット(HDD)

160GB/s以上

最⼤想定実効スループット(NVMe)

Write : 160GB/s以上, Read : 180GB/s以上© 2020 DDN

1x EDR or HDR100 Infiniband
1x 1GbE Management
1x 8Gbps Fiber Channel

8EXAScaler and A3I(Accelerated, Any-Scale AI)

EXA5 (EXAScaler5)
AIおよびHPC向けに最適化されたストレージソフトウェア環境► コアのファイルシステムはLustreを採⽤► AIとHPCの双⽅に対する詳細な最適化により最⾼の効率性と適正な機能を実現► データを必要な場所に必要なタイミングで提供

DDN/Whamcloud

Lustre-2.13への貢献© 2020 DDN

10

EXA5 Hot Pools: データ⾃動キャッシュ/階層管理• 新しいファイルは優先的にFlashへ

Incoming Application IO• ⾃動的にHDD poolへレプリカを作成

flash Pool(NVMe)• 最⼤Flashの容量、使⽤率を考慮• もしファイルが更新された場合、バックグ
ラウンドにて再同期• LRUポリシーにてFlashのレプリカはリリースされる• 拡張のためCLI/APIを提供

Auto-migrate to hdd
pool by LRU/policy

Mirror to flash Pool by
job/request/policy

hdd Pool• スケジューリング, ユーザリクエス等• レプリカ HDD pool -> Flash pool
• 使⽤頻度の多いファイルをトラッキング© 2020 DDN11EXA5: シングルクライアント性能• NUMAに最適化されたLustre Multi-rail• ⾼いシングルクライアント性能
DDN AI400X PERFORMANCE SCALINGWITH SINGLE DGX A100 SYSTEM

8 x IB-HDR200+2 x IB-HDR200

120110108 GB/s READ

THROUGHPUT (GB/s)

100
90

95 GB/s WRITE

80
7060
50403020100© 2020 DDN

12CPU-IO とGPU DIRECTストレージを使ったGPU-IO
EXA5: GPU DIRECT STORAGE• 不必要なメモリコピーを排除し低レイテンシーを実現

DDN AI400X PERFORMANCE SCALING• ホストCPUやメモリサブシステムの消費量が減少

GPU-IOTHROUGHPUT (GB/s)

CPU-IOWITH SINGLE DGX A100 SYSTEM AND GDS
180170160
1501401301201101009080706050403020100178GB/s READ
154GB/s WRITE

108 GB/s READ
95 GB/s WRITE

Source: Introducing NVIDIA HGX A100: The Most Powerful Accelerated Server Platform for AI and High Performance Computing
https://developer.nvidia.com/blog/introducing-hgx-a100-most-powerful-accelerated-server-platform-for-ai-hpc© 2020 DDN

13

DDN AI400Xが⽀える
NVIDIA SuperPODとDGX A100
DDNストレージがスケーラブルなソリューションであることを最⼤のSuperPODとDGX A100のプロダクション環境で証明

Top500のTop5にランキングされたSelene•

560 NVIDIA DGX A100 システム•

850 Mellanox 200G HDR スイッチ•

40 x DDN AI400X アプライアンス• 最⼤2TB/secのスループットと1.2億 IOPS
• 最適かつ完全にDGX A100向けにインテグレーション• 最初の10システムを4時間で導⼊し、その後シームレースに拡張

NVIDIA社によってテスト、検証されたAI400Xは ⾮常に簡素化されDGX A100,DGX PODまたはDGX SuperPODのいずれにおいても利⽤可能© 2020 DDN

14

DDN AI400X WITH SUPERPOD
ALL-NVME CONFIGURATION
⼤規模システムでリニアにスケールする 20x DGX A100⽤コンフィグレーション• あらゆるワークロードとデータタイプに最高のパフォーマンスを提供するAll-NVMe構成。どのスケールに於いても運用の柔軟性を最大化する究極のアーキテクチャ。
• 統合された単⼀ネームスペースによってデータ管理のオーバーヘッドを排除し、GPUやコンテナ化されたアプリケーションがNVMeの利点を最⼤限に利⽤できます。
• シンプルなAll-NVMeアプライアンスをビルディングブロッ
クとし、リニアにスケールする環境を容易に、確実に構築できます。

• 7 x DDN AI400Xアプライアンス• 2 PB (NVME)• スループット336 GB/s, 21M IOPS
• 56 x HDR100 IB or 100GbE• 14 RU, 10.5 kW Nominal© 2020 DDN© 2020 DDN• インジェストとアーカイブのために、ファイル、オブジェクト、クラウドベースのデータリポジトリと容易に連携可能です。
• NVIDIA DGX-2およびDGX A100 SUPERPODを利用するお客様サイトで導入され使用されています。

15

DDN AI400X WITH SUPERPODHYBRID CONFIGURATION
⼤規模システムでリニアにスケールする 20x DGX A100⽤コンフィグレーション• ハイブリッド構成は、⼤容量ストレージリポジトリによりデータプラットフォームを増強でき、SuperPODでより⼤きなデータセットを扱いたいお客様に最適です。
• 変化するニーズに合わせて、性能と容量をそれぞれ個別に拡張できます。
• 可能な限り最大の密度と性能を最小限のフットプリントで構成できます。
• 7 x DDN AI400Xハイブリッドアプライアンス• 2 PB (NVME), 7PB/14PB (HDD)• 336 GB/s スループット, 21M IOPS (NVME)• 56 x HDR100 IB or 100GbE• 統合された安全なデータインジェスト、管理および保持機能により、エンドツーエンドのディープラー
ニングワークフローを簡素化します。
• NVIDIA DGX-2 SUPERPODを利用するお客様サイトで導入され使用されています。

• 42 RU, 18.5 kW Nominal© 2020 DDN© 2020 DDN

16

EXA5: S3データサービス
統合されたスケールアウト型S3データサービス• Lustreストレージ上にてS3 APIを提供• S3とPOSIXの名前空間を共有
S3とPOSIXのデータアクセスの統合
o 双⽅向からのデータアクセスo S3もしくはLustreからのデータの書き込み、読み込み“/s3_content/<バケット>/<ファイル名>…"

EXAScalerクライアント

S3クライアントoイーサネット
またはInfinibandイーサネット• シンプルなワークフローを実現
S3経由にてデータをインジェスト
o データコピーなしに⼊⼒データとして活⽤o 結果をS3経由でデータ共有o• 複数サイトで採⽤

S3データサービスノード
EXAScaler

東京⼤学mdxo ⼤阪⼤学SQUID
oo

理研データ科学基盤© 2020 DDN

17

2021年予定新HW製品

SFA Platform@2021• 2021年Q3以降、PCIe gen4対応SFA Platformを提供予定
o SAS-3 Hybridを提供するかは未定
o SAS-4は2022年予定

EntryHigh End

Class

All NVMe or Hybrid

All NVMe or Hybrid

NVMe Performance

46GB/s, 1.5M IOP/s

90GB/s, 3M IOP/s

SAS Performance

24GB/s SAS-3 (SAS-4 in 2022)

48GB/s SAS-3 (SAS-4 in 2022)

Media

24 NVME Slots
Up to 360 SAS Slots

24 NVME Slots
Up to 900 SAS Slots

Connectivity

HDR IB (200Gb) (4)Or 100/200 GbE (4)HDR IB (200Gb) (8)Or 100/200 GbE (8)© 2020 DDN

19

RED(Reliable Elastic Data Services)REDとは?
• NVMeにフォーカスした100%ソフトウェ
ア・ ディファインド ・ストレージ• スケーラブル・エラスティック・データ
サービス

マルチテナントデータサービス
ファイル

KV

ブロック

オブジェクト• クラウドネイティブ、マルチテナント、仮想的なパーティション設計• 様々なプロトコルでのデータサービス• エンタープライズ機能を完備

RED DATA PLANE• 制限のないメタデータ© 2020 DDN

21

RED 性能• ハイブリッドエラスティックエンジンを実装した唯⼀のストレージシステム

CC

C

C

CCC

• ⼊出⼒データを⾃動的に正しいエンジンを判断• それぞれのエンジンのデータ配置はIOパ
ターンとサイズによって最適化される• バイトアドレス、分散、ログ構造• フレキシブルで効率的なイレイシャーコー
ディングでデータを保護IOPS

BULK

制限のないメタデータ© 2020 DDN

22

RED 柔軟性とシンプルさ
シンプルさ

柔軟性

RED
レポジトリ

RED DATA PLANE

継続的なサービス

ユーザスペース
Non-rootユーザでの利⽤

ダウンロードRED DATA PLANE

1

シームレスなオンライン拡張、縮退
RED DATA PLANE

X

障害サーバ、デバイスのハンドルおよびマイグレーション

コンテナベース

クライアント適応

全⾃動、ダウンタイムなしのディスカバリー、ローリング
アップグレード

2
ネットワーク、メディアディスカバリー

RED DATA PLANE
スタート

新しい世代のデバイスにおいても継続的なストレージサービスと性能を提供© 2020 DDN

3RED DATA PLANE

23

RED 包括的なデータサービス•oo•

RED Block サポート EXAScaler: スケーラブル HPC Flashシステム
スケーラブルKey-Valueストア: ⼤規模スケーラブルKVストア

2021/2022以降
oPFS

EXA5

2021 Q1

NVMeoF

Block KV

NFS/SMB

Objectネイティブファイルとオブジェクト

2020
EXAScalerの機能、性能改善をさらに加速しそれらの資産を維持しつつ、次世代のプラットフォームを⾒据える
ユーザーおよびサービス管理
データ管理

マルチテナント型
セキュリティ

2021

2022

S3 NFS SMB HDFS

透過的階層RED© 2020 DDN

HDD or SSD/NVMe

NVMe

24