Huge

Paradigm

Change2019年12月12日
インテル株式会社
HPC事業開発部長
矢澤 克巳
HPC テクニカル・ソリューション・セールス

力 翠湖

# OF HPC SYSTEMS

1 ERA IN HPC
ST

VERTICALLY INTEGRATED SYSTEMS

10,000,000’s

PROPRIETARY HARDWARE
AND SOFTWARE

1,000,000’s

100,000’s

PARAGON
143 GFLOP

1000’sDELTA
8.1 GFLOP

10’s

1970

1980

1990

2000

2010

2020

ERA IN HPC# OF HPC SYSTEMS2ND

MOSTLY BASED ON GENERAL PURPOSE CPU’S

10,000,000’s

TIANHE-2

X86

34PFLOP

LINUX

1,000,000’s

OPEN STANDARDSBUILD TO ORDER SYSTEMS

100,000’s

ASCI R ED

1000’s

1 TFLOP

10’s

1970

1980

1990

2000

2010

2020

# OF HPC SYSTEMSEXASCALE

NEXT ERA IN HPC

DRIVEN BY INSATIABLE AI COMPUTE

10,000,000’s

1,000,000’s

100,000’s

1000’s

10’s

1970

1980

1990

2000

2010

2020

COMPUTECOMPUTEDEMOCRATIZATIONTECHNOLOGY LED DISRUPTIONS

1018

1015
2045

1 BILLIO N INTERNETCONNECTE D DEVICES

109

PC ERA
DIGITIZEEVERYTHINGNETWORKEVERYTHING

104

102
1980

1990

2000

2010

2020

2030

2040

COMPUTECOMPUTEDEMOCRATIZATIONTECHNOLOGY LED DISRUPTIONS

1018

10 BILLIO N CLOUD CONNECTE D DEVICES
1015

MOBILE + CLOUD ERA

1 BILLIO N INTERNETCONNECTE D DEVICESPC ERA
DIGITIZEEVERYTHING

2045

CLOUD
EVERYTHING

MOBILE
EVERYTHING109

NETWORKEVERYTHING

104

102
1980

1990

2000

2010

2020

2030

2040

COMPUTECOMPUTEDEMOCRATIZATION

100 BILLIONINTELLIGENTCONNECTEDDEVICESTECHNOLOGY LED DISRUPTIONS

1018

INTELLIGENCE ERA

10 BILLIO N CLOUD CONNECTE D DEVICES
1015

MOBILE + CLOUD ERA

1 BILLIO N INTERNETCONNECTE D DEVICESPC ERA
DIGITIZEEVERYTHING

2045

CLOUD
EVERYTHING

MOBILE
EVERYTHING109

NETWORKEVERYTHING

104

102
1980

1990

2000

2010

2020

2030

2040

EXASCALE
FOR EVERYONETECHNOLOGY LED DISRUPTIONSCOMPUTECOMPUTEDEMOCRATIZATION

1018

10 BILLIO N CLOUD CONNECTE D DEVICES
1015

MOBILE + CLOUD ERA

1 BILLIO N INTERNETCONNECTE D DEVICESPC ERA
DIGITIZEEVERYTHING

CLOUD
EVERYTHING

MOBILE
EVERYTHING109

NETWORKEVERYTHING

104

102
1980

1990

2000

2010

2020

2030

2040

EXASCALE FOR EVERYONETAXONOMYSCALAR

VECTOR

MATRIXSPATIAL

CPU

GPU

AI

FPGA

FPGA

SCALABILITYCOMPUTEAI PERFORMANCEHPC PERFORMANCEHPC FEATURESSCALABILITYMEMORYBANDWIDTHUNIFIED MEMORYTECHNOLOGYFOR
NEED HUGE LEAP IN PERF/WATT
AND PERF/MM^2

INTEL NEXT GEN 7nm
PROCESS &TM
FOVEROS PACKAGINGCOMPUTE DENSITYMEMORYFOR
NEED HUGE LEAP IN
BANDWIDTH/WATT& FOOTPRINT/MM^2

EMIB FOR HBM&
FOVEROS TM FOR RAMBO CACHEMEMORY

CONNECTIVITYFORLINK
SCALE OUT TO MANYGPUS/NODEUNIFIED MEMORYCXL BASEDCONNECTIVITYRELIABILITY
FOR
T
M
XEON

CLASS RAS

IN-FIELD REPAIR
ECC, PARITY ACROSS ALL
MEMORY AND CACHESCONNECTIVITY

HPC

インテル® Xeon® プロセッサーさらなる発展
唯一、コンバージェンス向けに最適化されたデータセンター CPU
インテル® アドバンスト・ベクトル・エクステンション 512
インテル® ディープラーニング・ブースト (インテル® DL ブースト)
インテル® Optane™ DC パーシステント・メモリー

2019年

Cascade lake

2020年

2021年

Cooper lake

14NM
次世代インテル® DL ブースト (BFLOAT16)

14NM
AI の新たな加速化 (VNNI)
メモリーストレージの新しい階層

ice lake

10NM
現在サンプルを出荷開始

業界最先端のパフォーマンス

Sapphire rapids
次世代テクノロジー

第 2 世代インテル® Xeon®
スケーラブル・プロセッサー
インテル® Xeon®

Platinum 9200
プロセッサーインテル® Xeon®

インテル® Xeon®

プロセッサープロセッサー

Platinum 8200

Gold 6200

インテル® Xeon®

インテル® Xeon®

インテル® Xeon®

プロセッサープロセッサープロセッサー

人工知能
アクセラレーション

ハードウェア支援型
セキュリティー

Gold 5200

Silver 4200

Bronze 3200

新たなクラスの高度なパフォーマンス

価値

トップクラスのワークロード・パフォーマンス

画期的なメモリー・
イノベーション

俊敏性と使用率の向上

http://www.intel.co.jp/xeonscalable/

第 2 世代インテル® Xeon® スケーラブル・プロセッサーが実現する

インフラストラクチャー全体にわたる AI 対応
新しい AI アクセラレーション

推論のスループット (1 秒当たりの画像数)

Caffe ResNet-50 向けのインテルの最適化

Vector Neural Network
Instruction

インテル® DL ブースト搭載のインテル® Xeon® Platinum
9200 プロセッサー
11

インテル® DL ブースト搭載のインテル® Xeon® Platinum
8200 プロセッサー

インテル® Xeon® Platinum
8100 プロセッサー

内蔵の推論アクセラレーション

開発者とデータ・サイエンティスト向けの最適化

10

5.7倍

ツールキット

9

最適化した
フレームワーク

1.0
8

2017年7月

2018年12月

2019年4月

性能の測定結果は、構成に示した日付時点のテストに基づいています。また、現在公開中のすべてのセキュリティー・アップデートが適用されているとは限りません。構成とベンチマークの詳細は、スライド 52 ページに記載しています。 絶対的なセキュリティーを提供できる製品やコンポーネントはありません。 性能に関するテストに使用されるソフトウェアとワークロードは、性能がインテル® マイクロプロセッサー用に最適化されていることがあります。SYSmark* や MobileMark* などの性能テストは、特定のコンピューター・システム、コンポーネント、ソフトウェア、操作、機能に基づいて行ったものです。結果はこれらの要因によって異なります。製品の購入を検討される場合は、他の製品と組み合わせた場合の本製品の性能など、ほかの情報や性能テストも参考にして、パフォーマンスを総合的に評価することをお勧めします。 詳細については、
http://www.intel.com/benchmarks/ (英語) を参照してください。

データ
タイプ

http://ai.intel.com/ (英語)新しいレベルのパフォーマンス

ラックあたりのパフォーマンス

ソケットあたり最大

最大

12 チャンネル

56 コア

ネイティブ DDR4 メモリー

データ集約度の高いワークロード用に設計
CPU

CPU
パッケージ

インテル®
• インテル® oneAPI プロジェクトはさまざまな
アーキテクチャーにわたる開発を容易にする
統合プログラミング・モデルを提供• データ並列 C++ 言語とインテル® oneAPI
ライブラリー API により並列処理を表現

アプリケーションワークロードは多様なハードウェアを要する

ScalarVectorMatrixSpatialミドルウェア / フレームワーク• 妥協のないパフォーマンス
• CPU、GPU、AI、および FPGA をサポート• 業界標準およびオープン仕様ベース

Industry
InitiativeIntel
Product• OpenMP*、Fortran、MPI などとの相互運用性

XPUs

CPU

GPU

FPGA

SVMS

Other
Accel.

oneAPI の目指すもの：
単一ベンダーソリューションの代替
Application Workloads• 標準ベースのクロスアーキテクチャ言語
DPC++、 C++ と SYCLがベース。

Middleware / Frameworks• キードメイン特化の機能を加速するために設計された強力なAPI群• ハードウェアの抽象レイヤをベンダーへ提供する低レベルハードウェアインター
フェース

oneAPI Industry Specification
Direct Programming

API-Based Programming

Data Parallel C++

Libraries• オープンスタンダード、コミュニティへの訴求、インダストリサポート

Low-Level Hardware Interface• アーキテクチャとベンダーをまたがった
コードの再利用

XPUs

CPU

GPU

FPGA

Visit oneapi.com for more details

Other
Accel.

(Beta)Intel® oneAPI Programming Guide• https://software.intel.com/sites/default/files/oneAPIProgrammingGuide_5.pdf

インテル® oneAPIの始め方• インテル® DevCloud、または、ローカル環境へのダウンロードの2通りの方法がございます。

ダウンロード＆インストール
https://software.intel.com/en-us/oneapi

インテル® DevCloud
https://software.intel.com/enus/devcloud/oneapiインテル® oneAPI ツールキット の使用

インテル® oneAPIツールキット(Beta)
を 使 用 し て 、 か つ 、 イ ン テ ル CPU 、
GPU、FPGAをまたがったワークロードを開発、テスト、実行するためのサンドボックス

Data Parallel C++の学習

ワークロードの評価

ヘテロジニアスアプリケーション構築

プロジェクトのプロトタイピング

No downloads | No hardware acquisition | No installation | No set -up & configuration

We are ina data-centric world
All data must be異なるデータ階層ごとの技術革新の必要性
メモリー

CPU
キャッシュ

DRAM
ホット・データ層

パーシステント・
メモリー

ストレージ
3D NAND SSD
WARM TIER

インテル® QLC 3D NAND SSD

HDD / TAPEドライブ
コールド・データ層

更なるNANDの階層化

144層 QLC
1024Gb96層 QLC
1024Gb32層 TLC

64層 QLC
1024Gb384Gb

2016: 第1世代

2017: 第2世代

2019: 第3世代

2020: 第4世代

インテルのフローティング・ゲート・セルは
5 ビット / セルへと拡張

セル数

5 ビット / セル
32 states

4 ビット / セル
16 states
Vt (AU)

より高密度な実装へ:
ビット / セル→ ビット / ダイ → ビット / ウエハー → ビット / SSD → ビット / ラック

Highest Density Media Meets
Highest Density Form Factor
E1.L 18mm and 9.5mm
E1.S, 5.9mm

E1.L 2x more thermally efficient than U.2 15mm2
E1.S 3x more thermally efficient than U.2 7mm3

E1.L up to 2.6x the capacity per 1 rack unit than U.21
E1.S up to 2x the capacity per drive than M.24

PCIe* 4.0 and 5.0 ready5

EDSFF specifications https://edsffspec.org/edsff-resources/
See footnotes and disclaimers in Appendix A.
For more complete information about performance and benchmark results, visit www.intel.com/benchmarks.

What is Intel® Optane™ Technology?

Data is written at a bit level,so each cell's state can bechanged from a 0 or 1
independently of other cells

Intel® Optane™
Memory MediaIntel® Optane™ Technology design is fundamentally different from NAND

Intel® Optane™ DC Technology
Products Coexist

Improving
MemoryCapacityIntel® optane™ DC
Persistent Memory

Intel® optane™
DC SSD

Improving
Working
StorageMore to be Gained by being on memory Bus
ランダムリード平均アイドルレインテシー
ハードウェアレイテンシー
100

ソフトウェアレイテンシー

75

50

Idle Avg. is About
for 4kB

25

Memory Subsystem
Idle Avg. is About
for 64B2

0

Storage With
NAND SSD

Storage withIntel® Optane™ SSD

Memory Subsystemwith Intel® Optane™
DC Persistent memory

Performance results are based on testing as of July 24, 2018 set forth in the configurations and may not reflect all publicly available security updates. See configuration disclosure for details. No product can be absolutely secure.
For more complete information about performance and benchmark results, visit www.intel.com/benchmarks.

Aerospike Certification Test (ACT) RESULTS
Test read latency under 1 ms at high write pressure
for key-value database usage
AEROSPIKE CERTIFICATION TEST FAILURE RATE @ 300K TPS
ALDERSTREAM VS CURRENT INTEL® SSDS (LOWER IS BETTER)

lower fail ratevs 3D NAND

0

(HIGHER IS BETTER)

TPS (higher is better)

FAILURE RATE (lower is better)

Intel® SSD DC P4610
Intel® Optane™ SSD DC P4800X
Alderstream (future product)

Maximum TPS at <5% ACT Failure Rate

0

32

64

128

256

512

1024

DEVICE READ LATENCY (microsecond - us)

2048

~1.3M
300K
Intel® SSD
DC P4610

435K
Intel® Optane™ SSD Alderstream
DC P4800X(future product)

See Appendix B for complete system configurations. For more complete information about performance and benchmark results, visit www.intel.com/benchmarks.
Results have been estimated or simulated using internal Intel analysis or architecture simulation or modeling, and provided to you for informational purposes. Any differences in your system hardware, software orconfiguration may affect your actual performance. All information provided here is subject to change without notice. Contact your Intel representative to obtain the latest Intel product specifications and roadmaps.

Bottlenecks:
The Nemesis of HPC Performance
HPC Clusters are only as fast as their slowest component

Challenge:

Breakthroughs:

ComputeIntel® Xeon® processors
Intel® FPGAs

NetworkDual-ported 100Gb

Storage MediaPOSIX block-based
I/OIntel® 3D NAND SSDs
Intel® Optane™ SSDs
No good solution…
until now

インテル® Optane™ DCパーシステント・メモリー
メモリーおよびストレージのパラダイムの変更

HPC ストレージモデル

AI ストレージモデル

アプリケーション・
データセットアプリケーション・データセット
キー2

@

キー1

@

val1
キー3

@

val2

val3
POSIX* シリアライゼーション

POSIX* ファイルにシリアライズされたデータセット
ブロック 1POSIX* シリアライゼーション

POSIX* ファイルにシリアライズされたデータセット
ブロック 1
ブロック 2

ヘッダー
val1 続き

サイズ

キー1

サイズ

サイズ

キー2

ブロック 2

ブロック 3val2

ブロック 3

ブロック 4val2 続きブロック 4
ブロック 4

ブロック 4val2 続き

サイズ

val1

キー3

サイズ

サイズ

val3

FLOPS：秒あたりバイト = 100,000 : 1

val3

Distributed Asynchronous Object Storage(DAOS：分散型非同期オブジェクト・ストレージ)▪Small I/Os are stored in Intel Optane DC
persistent memory▪Bulk I/Os go straight to the NVMe SSDs
▪Built entirely in userspace

Low-latency, high-message-rate communications
Collective operations & in-storage computing

DAOS Storage Engine
Metadata, low-latency
I/Os & indexing/query
MemoryInterface

Bulk data
Persistent Memory
Development Kit

Intel Optane
DCPMM

NVMe
Interface

Storage Performance
Development Kit

3D NAND/
XPoint™ Storage
HDDistributed Asynchronous Object Storage(DAOS：分散型非同期オブジェクト・ストレージ)

コンバージド・モデル
アプリケーション・
データセットアプリケーション・データセット
キー2

@

キー1

@

val1
キー3

@

val2

val3

DAOS
ルート

@
@

@

コーディネート・レンジ

@

@

@

コーディネート・レンジ@@@
コーディネート・レンジ

コーディネート・レンジ

キー3

キー1

キー2

@

コーディネート・レンジ

@

ルート

@

@

@

@

@

val3

NVMe* SSD

NVMe* SSD
val1

val2
val2 続きFLOPS：秒あたりバイト = 10 : 1

GitHub にて利用可能： @ https://github.com/daos-stack/daos (英語) *ソリューション概要は www.intel.com/hpc からダウンロード
DAOS パブリック・ロードマップ： https://wiki.hpdd.intel.com/display/DC/Roadmap (英語)「Argonne Leadership Computing Facility は、Aurora の一部である DAOS ストレージシステムが初めて本格的に本番環境展開する
もので、2021年にアメリカで始まる初のエクサスケール・システムです。DAOS のストレージシステムは、エクサスケール・レベルのマシンで I/O の拡張的ワークロードに必要なメタデータの容量使用率のレベルを提供できるように設計されています。」
Susan Coghlan
ALCF-X Project Director/Exascale Computing Systems Deputy Director* Apache 2.0 ライセンスに基づき利用可能

Notices & DisclaimersIntel® technologies’ features and benefits depend on system configuration and may require enabled hardware, software or service activation. Performance varies depending on system
configuration. No computer system can be absolutely secure. Check with your system manufacturer or retailer or learn more at intel.com.
Performance results are based on testing as of the dates shown in configurations and may not reflect all publicly available security updates. See configuration disclosure for details. No
product or component can be absolutely secure.
Software and workloads used in performance tests may have been optimized for performance only on Intel® microprocessors. Performance tests, such as SYSmark* and MobileMark*, aremeasured using specific computer systems, components, software, operations, and functions. Any change to any of those factors may cause the results to vary. You should consult otherinformation and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more
information, go to www.intel.com/benchmarks.
Intel's compilers may or may not optimize to the same degree for non-Intel microprocessors for optimizations that are not unique to Intel® microprocessors. These optimizations include
SSE2 and SSE3 instruction sets and other optimizations. Intel does not guarantee the availability, functionality, or effectiveness of any optimization on microprocessors not manufactured byIntel.
Microprocessor-dependent optimizations in this product are intended for use with Intel® microprocessors. Certain optimizations not specific to Intel® microarchitecture are reserved forIntel® microprocessors. Please refer to the applicable product user and reference guides for more information regarding the specific instruction sets covered by this notice. Notice revision#20110804.
Cost reduction scenarios described are intended as examples of how a given Intel®-based product, in the specified circumstances and configurations, may affect future costs and provide
cost savings. Circumstances will vary. Intel does not guarantee any costs or cost reduction.
No license (express or implied, by estoppel or otherwise) to any intellectual property rights is granted by this document.
Intel does not control or audit third-party benchmark data or the websites referenced in this document. You should visit the referenced website and confirm whether referenced data are
accurate.
© Intel Corporation. Intel, Xeon, Optane, AVX, and DL Boost are trademarks of Intel Corporation in the U.S. and/or other countries.
*Other names and brands may be claimed as property of others.

THANK YOU!
R A J AK O D U R I

Business Forecast: Statements in this document that refer to Intel’s plans andexpectations for the quarter, the year, and the future, are forward-looking statementsthat involve a number of risks and uncertainties. A detailed discussion of the factorsthat could affect Intel’s results and plans is included in Intel’s SEC filings, including theannual report on Form 10-K.

Appendix A

Appendix BIntel is Leading the Way with NVM Technology

1. 1st to 3Xnm (34nm)- https://phys.org/news/2009-07-intel-industry-nanometer-nand-solid-state.html
2. 1st to 2Xnm (25nm)- https://www.intel.com/pressroom/archive/releases/2010/20100201comp.htm
3. 1st 128GB with 1st integrated Hi-K Metal Gate Stack - https://www.pcmag.com/article2/0,2817,2397287,00.asp
4. Highest Density 3D NAND – based on launch on March 26, 2015 comparing to other NAND die in production at that time https://newsroom.intel.com/news-releases/micronand-intel-unveil-new-3d-nand-flash-memory/
5. Areal Density. Source – IEEE. Comparing areal density of Intel measured data on 512 Gb Intel 3D NAND to representative competitors based on 2017 IEEE International SolidState Circuits Conference papers citing Samsung Electronics and Western Digital/Toshiba die sizes for 64-stacked 3D NAND component.
6. 1st to 64 layer TLC - http://www.storagereview.com/intel_shows_off_new_tech_ships_1st_64layer_3d_nand_for_data_center
7. Source: Intel. 1st PCIe* Intel QLC 3D NAND SSD. Based on Intel achieving PRQ status of Intel® SSD D5-P4320 on 13 July 2018.
8. 1st PCIe* QLC SSD for Client - https://www.tomshardware.com/reviews/intel-ssd-660p-qlc-nvme,5719.html