JLUG 2021

Intel® Optane™ Technology, DAOS update
and Lustre Persistent Client Cache withIntel® Optane™ Persistent Memory
Intel Optane Group Fumiyasu Ishibashi

第3世代インテル® Xeon® スケーラブルプロセッサ対応
インテル® Optane™ テクノロジー製品
第３世代インテル® Xeon® スケーラブル・プロセッサ・ファミリーインテル® Optane™ パーシステント・メモリー200シリーズ (2020年12月発表)

インテル® Optane™ SSD P5800X シリーズ
(2020年12月発表)

８チャンネル128~512GB

PCI 4.0

1.5M IOPS

メモリーモジュール対応

対応

最大

ソケットあたり最大

メモリー帯域

シーケンシャル・リード

超低レイテンシー

4TB

3,200MT/s

7.2GB/s

6us

eADR

-17%

100 DWPD+40%

ADモード対応アプリ
ケーションの性能向上

前世代と比べて消費電力を削減

一般的なNAND SSDの30~100倍の耐久性

前世代と比べてQoSが向上

メモリー帯域が最大 32% 向上

前世代と比較して 約３倍 高性能

2ソケットサーバーで最大8TBを実現

世界最速のデータセーンター向けSSD

Intel Optane Group2強力なメモリとストレージの未来
2019

2020

2021

未来

第2世代
インテルXeon
スケーラブルプロセッサー（Cascade Lake）

第3世代
インテルXeon
スケーラブルプロセッサー（Cooper Lake）

第3世代
インテルXeon
スケーラブルプロセッサー(Ice Lake)

未来のインテルXeon
スケーラブルプロセッサ(Sapphire Rapids)

未来のインテルXeon
スケーラブルプロセッサ

未来のインテル® Optane
パーシステント・メモ
リー(CrowPass)

未来のインテル® Optane
パーシステント・メモ
リーインテル® Optane
パーシステント・メモリー
100シリーズ(Apache Pass)

Intel Optane Group

インテル® Optane
パーシステント・メモリー200シリーズ(Barlow Pass)

3http://daos.io/DAOSとは？

低遅延、高メッセージ率▪ インテル® Optane™ パーシステント・メモリーとNVMe SSD をベースにした、新しい革新的な分散型並列オブジェクトストア▪ ブロックベースのIOとPOSIXにおける業界のボトルネックを克服

コレクティブオペレーション&インストレージ・コンピューティング

DAOS ストレージエンジン▪ コモディティサーバー上で非常に高い帯域幅とメモリーIOPSを実現し、HPC、AI、高性能データ分析の インターフェース
要求に応える▪ スタンドアロンのファイルシステムとしても、既存のストレージシステムと統合したパフォーマンス層としても利用可能

通信

メタデータ、低遅延I/O、インデックス/クエリー
PMDK

NVMe
インターフェース

Intel Optane
PersistentMemory

バルクデータ
SPDK

NVMe SSD

価格あたりのIOPsと帯域幅を増やし、記録的なパフォーマンスを実現

Intel Optane Group44

IO-500 Full List Overall Score (ISC’21)…
512 servers, 512 clients
40 servers, 10 clients
30 servers, 52 clients
12 servers, 36 clients
120 servers, 345 clients
16 servers, 60 clients
18 servers, 38 clients
200 servers, 1000 clients
10 servers, 16 clients
480 servers, 52 clients

Source: io500.org
Intel Optane Group

ベンダー採用の増加 フルリストのトップ10のうち5つがDAOS
55

DAOS エコシステム
ハードウェア
パートナー

リセラー
パートナー
ソフトウェア開発
サードパーティーサポート

エンドユーザーIntel Optane Group

6

DAOS ロードマップ
2

DAOS 2.0

DAOS 1.0
Released June 18, 2020
DAOS 1.0
2020年6月18日リリース
NVMe & DCPMMのサポート
プール毎のACLDAOSのdfuse経由でのUNS
MPI-IOドライバー
HDF5 DAOSコネクター
基本的なPOSIX I/Oのサポート
CentOS 7対応
レプリケーション＆セルフヒーリング（プレビュー）

イレイジャーコード
静止状態のサーバードレイン
テレメトリーとジョブごとの統計
Libfabricの安定化
操作性の向上CentOS 8のサポート
DAOS 1.2
Released April 30, 2021

エンド・ツー・エンドのデータ整合性
コンテナーごとのACL
レプリケーション＆セルフヒーリング
休止中のサーバーの再統合
HPD5 DAOS VOLコネクタ
POSIX I/Oの改善
POSIXデータムーバー
Apache Sparkのサポート
Leap 15のサポート
イレージャーコード（プレビュー）

DAOS 2.4
チェックサム・スクラビング
分散型トランザクション
コンテナパーキング/シリアル化
マルチホーム・ネットワークのサ
ポート
キャタストロフィックリカバリー
DSAの最適化

DAOS 2.2
Lustreの統合
オンラインドレイン、再統合＆追加
インテルVMDのサポート
Libfabric TCP Providerのサポート
HPE Slingshotのサポート
MLX UCXのサポート

DAOS 3.0
プログレッシブレイアウト
インライン重複排除
インラインでの暗号化(QAT)
述語のプッシュダウンによるSQLサポート
メタデータのSSDへのシリアライズ

DAOS 2.6
ネットワークトポロジーの認識
DAOSプールのサイズ変更
ティアリングサポート
インライン圧縮(QAT)

注：このロードマップに記載されている情報は、予告なしに変更されることがあります。
Intel Optane Group7

DDN EXA6 永続的クライアントキャッシュ(PCC: Persistent Client Cache)• クライアントのNVMe/NVRAM領域を透過的にLustreのキャッシュ領域に活用
o ファイルアクセス時に非同期でファイルをPCC(ローカルキャッシュ)に保存
o 同一ファイルへの再アクセスの高速化とネットワークリソースの軽減
o Optane Persistent MemoryもDAXモードとして利用可能

Client VFS Interface

Client VFS Interface

Cache IO

Normal IO

Normal IO

NVRAM

NVMe
ReleaseFetch

Lustre Client

Lustre Client© 2021 DDNOSSDAX IOOSSOSS

Optane Persistent Memoryを使ったPCC(PCC-PMem)性能

2x IB-HDR200

VM0

VM1© 2021 DDN

VM2

VM3

ES400NVX2DDN EXAScaler Appliance
4 x VM(OSS/MDS)
20 x 3.84TB NVMe
4 x IB-HDR200

Bandwidth (MB/s)

EXAScaler(Lustre)6 Client
2 x Gold 6338 CPU @ 2.00GHz(IceLake)
512GB DDR4(3200MHz)
80000
2.0TB Optane PMEM 200
70000
2 x IB-HDR200
60000
Ubuntu20.04 (5.4.0-91-generic)
50000
Mellanox OFED-5.4-3.1.0.0

RandomRead (NP=64, O_DIRECT=1, QD=1)
4KB
1MBNetwork性能制限
2 x IB-HDR200

40000
30000

20000

77倍の性能向上

10000
0NonPCC

PCC/w Optane
PMem
PCC/w
OptaneMemory• DAXを使ってLinux kernelのPageCacheをバイパス• QD=1の4KB IOサイズにおいてPCC-PMemは圧倒的な性能実現• PCC-PMemでは、ネットワーク性能(2xIB-HDR200)の性能

10