HugeParadigm

Change矢澤 克巳
インテル株式会社 インダストリー事業本部 HPC事業開発部長

今ほど変化のペースが速い時代は過去になかった。
だが今後、今ほど変化が遅い時代も二度と来ないだろう。
Justin Trudeau（ジャスティン・トルドー：カナダ首相）

パラダイムチェンジを牽引

気象パターン検出

創薬

高エネルギー物理学

HPC のワークフローに組み込まれる AI

HPC のシミュレーションを高速化する AI

HPC のシミュレーション
にとって代わる AI

システムのパラダイムチェンジ
ワークフローを最適化
階層的、プーリング、動的に再構成可能、コンピューティングの多様性

メモリーストレージ階層の拡大
性能、容量、機能ソフトウェアの抽象化
アーキテクチャーに依存しない、読みやすく分かりやすい、保守が容易、ポータブル

インテル® Xeon® プロセッサー：さらなる発展
コンバージェンス向けに最適化されたデータセンター CPU
インテル® アドバンスト・ベクトル・エクステンション 512
インテル® ディープラーニング・ブースト (インテル® DL ブースト)
インテル® Optane™ DC パーシステント・メモリー

2019年

Cascade lake

14NM
AI の新たな加速化 (VNNI)
メモリーストレージの新しい階層

2020年

2021年

Cooper lake

14NM
次世代インテル® DL ブースト (BFLOAT16)

ice lake

10NM
現在サンプルを出荷開始

業界最先端のパフォーマンス

Sapphire rapids
次世代テクノロジー

メモリーとストレージの性能差が問題に大容量メモリー・高性能ストレージへの要求が加速
メモリーCPUCACHEDRAM
HOT TIER

パーシステント・メモリー

メモリー容量拡張

ストレージ

SSD 性能の向上

メモリー容量のギャップ
ストレージ性能のギャップ

10s GB<0.1usec
100s GB<1usec1s TB<10usecs

3D NAND SSD
WARM TIER

効率的なストレージを実現

インテル® QLC 3D NAND SSD

10s TB<100usecs

コスト・パフォーマンス・ギャップ
HDD / TAPE
COLD TIER

10s TB<10,000 usecsメモリーストレージ間の境界問題を解決する
インテルのテクノロジー
インテル® Optane™ テクノロジー

ホットデータ向け
高IOPS・高耐久性・低レイテンシーインテル® 3D NAND テクノロジー

ウォームデータ向け
大容量・低価格

さまざまなベクトルで価値を提供

DRAM の代替となる
価格設定

TCO の改善

メモリーサイズの向上

IO ボトルネックの解消

ワークロードの統合

迅速な復旧

スケールアップからスケールアウトへ

高速ストレージ

オンモジュールの暗号化
http://www.intel.co.jp/content/www/jp/ja/architecture-andtechnology/optane-dc-persistent-memory.html

インテル® Optane™ テクノロジーで高速化を実現
インテル® Optane™ DC パーシステント・メモリー を使いインテル ® SSD RAID0 よりも 75% スピードアップ
インテル® Optane™ DC パーシステント・メモリーを使った
LS-DYNA® R9.3 Implicit のパフォーマンス向上

192GB DDR4 および SSD RAID0 搭載
2-way 第2世代インテル® Xeon®
スケーラブル・プロセッサー Gold 6248M
192GB DDR4 およびインテル® Optane™
DC パーシステント・メモリーを基盤としたRAID0 (SToAD Mode) の場合
1.5TB インテル® Optane™ DC パーシステント・
メモリー + 192GB DDR4 およびSSD基盤のRAIDO (Memory Mode) の場合

システム構成： 2-way インテル® Xeon® Gold 6248M ノード、192GB DDR4@2933Mhz、1.5TB Optane™ DC パーシステント・メモリーおよび RAID0/w 2x 1.2TB インテル® 3710 SSD、
インテル® ターボ・ブースト対応、インテル® ハイパースレッディング・テクノロジーは無効。2 MPI ランク x 12 OMP スレッド、インテル® MPI 2018。Linux カーネル： 4.18.19100.fc27.x86_64

インテル® Optane™ SSD でストレージを再設計
同一コストで性能が+ 40%、レイテンシーを 50% 削減
オール・フラッシュ構成

インテル® Optane™ DC SSD + インテル® QLC NAND 構成

ワークロード – リード70/ライト30; 4k Block Size; QD=8; 5 ノード

ノード容量

P99 レイテンシー(lower is better)
IOPS(higher is better)

構成

Intel®
3DIntel®
3DIntel®
3D
NAND™
Intel®
3D
NAND™
NAND™
DC
SSD
NAND™
DC
SSD
DC
DCSSD
SSD

4x 8TB TLC
NAND SSDs

6.5ms Read / 19.8MS Write~410,000
CPU: Intel® Xeon® Gold 6142 Processor
Capacity/RocksDB*/WAL: Intel® SSD DC
P4510 (PCIe*)Intel®
3DIntel®
3DIntel®
NAND™
Intel® 3D
QLC
NAND™
NAND™
DC
SSD
NAND
DC
SSD
DC
SSD
Technology

4x 8TBIntel® QLC
NAND SSDs+1x 750GB Intel®
Optane™
DC SSD

4.1MS Read / 9.4MS Write~570,000
CPU: Intel® Xeon® Gold 6142 Processor
RocksDB*/WAL: Intel® Optane™ SSD DC P4800X
Capacity: Intel® SSD DC P4320 (PCIe*)

同一価格
価格差 2% 以内
最大50%
40%

レイテンシーを削減1

約IOPSの向上1• + インテル® Optane™ SSD
DC P4800X をRocksDB/WAL に使用• + インテル® QLC 3D NAND
をキャパシティーに使用

SYSmark* や MobileMark* などのパフォーマンス・テストは、特定のコンピューター・システム、コンポーネント、ソフトウェア、操作、機能を使用して測定されます。これらの要因のいずれかを変更すると、結果が異なる場合があります。他の製品と組み合わせた場合のその製品のパフォーマンスなど、意図した購入を完全に評価するのに役立つ
他の情報とパフォーマンス・テストを参照する必要があります。詳細については、http://www.intel.com/benchmarks/ (英語) をご覧ください。パフォーマンスの結果は、2018年10月時点でのテストに基づいており、公開されているすべてのセキュリティー・アップデートを反映しているわけではありません。詳細については、付録 D の構成を参照してください。絶対に安全な製品やコンポーネントはありません。
1ソース– Intel テスト済み：パフォーマンス・テストで使用されるソフトウェアとワークロードは、インテル® マイクロプロセッサーでのみパフォーマンスが最適化されている場合があります。NVMe* 構成の概要：インテル® Xeon® Gold 6142 プロセッサー、インテル® SSD DC P4510、BIOS：00.01.0013; ME：.00.04.294; BMC：
1.43.91f76955; インテル® Optane™ SSD 構成: キャッシュ/ RocksDB / WAL 用インテル® Optane™ SS DC P4800X を除いて同一付録 D の詳細な構成を参照 2 ソース– Intel：NAND SSD の価格は 10/19/2018 および対象変更する。説明されているコスト削減シナリオは、特定の状況および構成において、特定の Intel ベースの製品が将来のコストにどのように影響し、コストを削減するかを示す例です。状況は異なります。インテルは、コストやコスト削減を保証しません。
*その他の名称およびブランドは、他者の財産として主張される場合があります。

インテル® 3D NANDテクノロジーで大容量化を実現
144 層 QLC
96 層 QLC

1024Gb1024Gb64 層 QLC
32 層 TLC

1024Gb384Gb

2016: 第 1 世代

2017: 第 2 世代

2019: 第 3 世代

2020: 第 4 世代

最高密度の記憶媒体を実現する
新たなフォームファクター
規格仕様

熱設計効率

E1.L 18mm および 9.5mm
E1.S ケース付き、ケースレス設計

E1.L は U.2 15mm より 2 倍優れた熱効率2E1.S は U.2 7mm より 3 倍優れた熱効率3大容量化
E1.L は U.2 に対して 1 ラック当たり最大で容量 2.6 倍増加1
E1.S は M.2 に対して 1 ドライブ当たり最大で容量 2 倍増加4EDSFF 仕様 https://edsffspec.org/edsff-resources/
付録 C の脚注と免責条項を参照してください。
性能やベンチマーク結果について、さらに詳しい情報をお知りになりたい場合は、http://www.intel.com/benchmarks/ (英語) を参照してください。

将来性
PCIe* 4.0 および 5.0 対応5大規模で効率的なストレージ環境を実現
4TB 3.5 インチ HDD

1PB ストレージの占有スペース

4TB 3.5 インチ HDD
4TB 3.5 インチ HDD
4TB 3.5 インチ HDD
4TB 3.5 インチ HDD
4TB 3.5 インチ HDDまたはインテル® SSD
D5-P4326
15.36TB E1.L

D5-P4420
7.68TB U.2

ウォームストレージのフットプリントを最大1/１0 に削減可能44TB 3.5 インチ HDD
4TB 3.5 インチ HDD

QLC NAND SSDs

4TB 3.5 インチ HDD

QLC NAND SSDs

4TB 3.5 インチ HDD

QLC NAND SSDs

20U
1.

インテル® SSD
D5-P4320

10x 2U
ノード16U

3x 2U
ノード2

QLC NAND SSDs
QLC NAND SSDs

2U

2x 1U
ノード34TB 3.5 インチ HDD - 1PB 当たり 2U ノード x 10 – 2U 当たり 3.5 インチ HDD x 24台で合計 960TB この比較で 4TB HDD を使用している理由は、「ウォーム」ストレージをターゲットとしているため、一定の容量が必要であり、かつ性能も重要だからです。4TB HDD は、それより大容量の HDD よりも性能がはるかに優れています。4TB 3.5 インチ HDD - WD Gold TB エンタープライズ・クラス 7200 RPM に基づくhttps://www.newegg.com/Product/Product.aspx?Item=N82E16822235059&nm_mc=KNC-MSNSearch-PC&cm_mmc=KNC-MSNSearch-PC-_-pla-_-Hard+Drives-_-Western+Digital-_22235059&msclkid=db39c4b23332181f75ba9f9095adacd2&gclid=CPCN99fX09sCFRiFxQId5DQAeA&gclsrc=ds
2. 8TB 2.5 インチ U.2 SSD – 1PB 当たり 2U ノード x 3 - 7.68TB SSD x 144 台で合計 1,106TB、2U ノード当たり 2.5 インチ SSD x 48 台 (2.5 インチ U.2 フォームファクターを使用)、2U ノード x 3 で合計 6U。7.68TB インテル® D5-P4320
QLC SSD に基づく
3. 15TB E1.L SSD – 1PB 当たり 1U ノード x 2 – 15.36TB SSD x 64 台で合計 983TB、1U ノード当たり SSD x 32 台 (E1.L フォームファクター使用)、1U x 2 で合計 2U。15.36TB インテル® D5-P4326 QLC 3D NAND SSD に基づく
4. 30TB E1.L SSD – 1PB 当たり 1U ノード x 1 – 30.72TB SSD x 32 台で合計 983TB、1U 当たり SSD x 32 台 (E1.L フォームファクター使用)、1U ノード x 1 で合計 1U。今後発売予定の 30.72TB インテル® D5-P4326 QLC SSD に基づく

メモリーとストレージの展望Intel® 3D NAND SSD

APACHE PASSBARLOW PASS

3RD GEN DC PERSISTENTMEMORY

4TH GEN DC PERSISTENTMEMORYインテル® SSD DC P4800X(COLDSTREAM)

ALDER STREAM

NEXT GENERATIONNEXT GENERATIONインテル® SSD DC
P46XX/P45XX

CLIFFDALE-R/ARBORDALE+(96L, 144L)

NEXT GENERATIONNEXT GENERATION

For each processor above, Intel® Optane™ DC Persistent Memory will be supported on select SKUs

インテル® Optane™ DCパーシステント・メモリー
メモリーおよびストレージのパラダイムの変更
HPC ストレージモデル

AI ストレージモデル

アプリケーション・データセット

アプリケーション・データセット
キー2

@

キー1

@

val1
キー3

@

val2

val3
POSIX* シリアライゼーション

POSIX* ファイルにシリアライズされたデータセット
ブロック 1

ブロック 2
ブロック 3
ブロック 4POSIX* シリアライゼーション
POSIX* ファイルにシリアライズされたデータセット
ブロック 1
ブロック 2
ブロック 3
ブロック 4
ブロック 4
ブロック 4ヘッダー

サイズ キー1 サイズ

val1 続きサイズ

val1

キー2サイズ

val2
val2 続きval2 続きval3

サイズ

キー3サイズval3

Distributed Asynchronous Object Storage(DAOS：分散型非同期オブジェクト・ストレージ)
コンバージド・モデル
HPC ストレージモデル
AI ストレージモデル
アプリケーション・データセット

アプリケーション・データセット

アプリケーション
データセットアプリケーション・データセットキー2
@

キー1

val1
キー3

キー1

キー3

@
@
POSIX ファイルにシリアライズされたデータセット

ブロック
1
コーディネート・レンジ@@

コーディネート・レンジ コーディネート・レンジ

ブロック 2コーディネート・レンジ@

ブロック 3
NVMe* SSD 4
ブロック

@

@

@

@

@

@
val2

@

val3

val2

val3

POSIX シリアライゼーション
ルート

キー2

val1

@

DAOS

@

POSIX シリアライゼーション
ルート@@
POSIX ファイルにシリアライズされたデータ
@
セット
サイズ
キー1 サイズval1
ブロック ヘッダー
1
コーディネート・レンジ
キー3
キー1
キー2
val1
続きサイズ
キー2サイズブロック 2@val2
ブロック 3@@@val2 続きブロック 4val3
キー3
サイズ val3
ブロック 4val2 続き サイズ
NVMe*
SSDval3
ブロック 4val1

val2
val2 続きGitHub にて利用可能： @ https://github.com/daos-stack/daos (英語) *ソリューション概要は www.intel.com/hpc からダウンロード

DAOS パブリック・ロードマップ： https://wiki.hpdd.intel.com/display/DC/Roadmap (英語)「Argonne Leadership Computing Facility は、Aurora の一部である DAOS ストレージシステムが初めて本格的に本番環境展開するもので、2021年にアメリカで始まる初のエクサスケール・システムです。DAOS のストレージシステムは、エクサスケール・レベルのマシンで I/Oの拡張的ワークロードに必要なメタデータの容量使用率のレベルを提供できるように設計されています。」
Susan Coghlan
ALCF-X Project Director/Exascale Computing Systems Deputy Director* Apache 2.0 ライセンスに基づき利用可能