2018年12月13日
インテル株式会社
ＨＰＣ 事業開発マネージャー 矢澤 克巳

第十八回PCクラスタシンポジウム

2013年～変わることなくHPCのイノベーションに注力

何が変わったか？

コンピューティングソリューション
GeneralPurpose CPU

Programmable
Data Parallel
Accelerator

FPGAIntel®
Processor Graphics
and future
Discrete GPU(Arctic Sound)

CustomProcessor

Intel® Nervana™
NNPGeneral
Innovative ISA, architecture
providing the best value
across diverse computing
workloads

DomainOptimized
Accelerator

Custom
Optimized accelerators forcustomers who require
optimized solutions

Custom silicon for
specific task

イノベーション…

そして融合

Increased compute, memory bandwidth, AI
acceleration, security features, etc. tomaximize customer value for the standard
platform

GeneralPurpose CPU

Programmable
Data Parallel
Accelerator
Intel®
Processor Graphics
and future
Discrete GPU(Arctic Sound)

FPGADomain
Optimized
Accelerator

CustomProcessor

Intel® Nervana™
NNP

Deliver high-value, workload optimized technologies (Memory,arithmetic methods, architectures, energy saving techniques…and more)イノベーションからメインストリームへ - 実例
New Mesh Interconnect Architecture
Broadwell EX 24-core die
PCI-E
X16

PCI-E X8

PCI-E X4(ESI)
UBox

2.5MB

SAD

Cache
BOSAD

Core Core CoreBOCache
BO

2.5MB

SAD

2.5MB

CoreBOCoreCore Core BO

IDI

IDI

IDI

CBOCoreCoreBO

Core

CBOCacheBO

LLC LLC

CacheBO

SAD

2.5MB

2.5MB

SAD

Cache
BO

LLC LLC

CacheBO

PCIe**16x

PCIe 16x
DMI x4CBDMA

On Pkg
PCIe 16x

1x UPI 20x

PCIe 16x

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

SKX Core

SKX Core

SKX Core

SKX Core

SKX Core

DDR4

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

DDR4

SKX Core

SKX Core

SKX Core

SKX Core

DDR4CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

SAD

2.5MB

2.5MB

SAD

Cache
BO

LLC LLC

Cache
BOSAD

2.5MB

SAD

DDR4Home AgentMem Ctlr

DDRCoreBOCore

SKX Core

SKX Core

SKX Core

SKX Core

SKX Core

SKX Core

Core
BO

Core

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

Core
BO

Core

CBO
Cache
BO

LLC LLC

Cache
BO

SAD

2.5MB

SAD

2.5MB

CBO

SKX Core

SKX Core

SKX Core

SKX Core

SKX Core

SKX Core

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

CHA/SF/LLC

SKX Core

SKX Core

SKX Core

SKX Core

SKX Core

CBODDR

Home AgentMem Ctlr

DDR

CHA– Caching and Home Agent; SF– Snoop Filter; LLC– Last Level Cache;
SKX Core– Skylake-SP Core; UPI– Intel® UltraPath Interconnect

Mesh Improves Scalability with Higher Bandwidth and Reduced Latencies

Intel® Xeon Phi™
71xx Coprocessor

Intel® Xeon Phi™
72xx Processor

Intel® Xeon® Processor
E5-2600 v4 Family

Intel® Xeon®
Platinum 8180

Up to 61 Cores

Up to 68 Cores

Up to 24 Cores/Socket

Up to 28 Cores/socket

In Order Low Power CPU

Out of Order Low Power CPU

Xeon Core

Updated Xeon CoreIMCI SIMD 16

AVX-512

AVX2

AVX-512Multiple-Ring uArch

Mesh uArch

Multiple-Ring uArch

Mesh uArch

Up to 16 Gigabytes GDDR5

On package MCDRAM

Up to 4 Channels DDR4Up to 6 Channels DDR4Up to 6 Channels DDR4DDR4DDR4SKX CoreDDRSKX Core
MCCore

CBO

2.5MB

MC

Core
BO

CBO

IDI/QPII

LLC LLC

SAD

SAD

2.5MB

CBO

IDI/QPII

Cache
BO

2.5MB

CBO

IDI

IDI

Core Core

Core
BO

CBO

CBO

SAD

Core
BO

CBO

CBO

CoreBO

CBO

2.5MB

IDI/QPIIIDI/QPIIIDICoreBO

IDI

SAD

CacheBO

IDI

IDI

2.5MB

2.5MB

LLC LLC

CacheBO

IDI/QPII

2.5MB

LLC LLCSAD

IDI/QPIIIDI/QPII

CoreCore Core CoreBO

IDI/QPII

SAD

Cache
BO

CBO

Core BO

CoreBO

CBO

CBO

Core Core
BO

Cache
BO

CBO

IDI

LLC LLC

IDI

Cache
BO

IDI

IDI

SAD

SAD

IDI/QPII

2.5MB

2.5MB

IDI/QPII

Cache
BO

2.5MB

IDI/QPIIIDI/QPII

Core

Core Core CoreBO

IDI/QPII

LLC LLC

SAD

CBO

CoreBOCoreBO

IDI/QPII

Cache
BO

IDI/QPIIIDI/QPII

Core Core
BO

Cache
BO

2.5MB

CBO

CBO

IDI

IDI

2.5MB

CBO

LLC LLC

SAD

IDI

SAD

IDI/QPIIIDI/QPII

Core Core
BO

CBO

Cache
BO

IDI

LLC LLC

Cache
BOCore Core CoreBO

IDI

Cache
BO

CBO

CoreBO

IDI

SAD

IDI

2.5MB

IDI/QPII

Cache
BO

2.5MB

IDI/QPII

LLC LLCSAD

IDI/QPII

Cache
BO

2x UPI 20x

IOAPICIDI/QPII

IDI

IIO

IDI/QPIIIDI/QPII

Core CoreBOPCU

CB DMA

R2PCI

IDI

PCI-E
X16

IDI

QPI
Link
R3QPI
QPI Agent

IDI

QPI
Link

Skylake-SP 28-core dieインテル® Xeon® プロセッサーの再定義
2016

2017

Brickland† プラットフォーム

2018
Purley† プラットフォーム
Skylake†

E7 v3

Cascade Lake†

E7 v4

インテル® Xeon® Platinum プロセッサー
インテル® Xeon® Gold プロセッサー
Grantley-EP† プラットフォーム
E5 v3

E5-4600 v4 (4S)

E5 v3

E5-2600 v4

インテル® Xeon® Silver プロセッサー
インテル® Xeon® Bronze プロセッサー

Skylake-SP† マイクロアーキテクチャー
革新的なコンバージド・プラットフォームを実現† 開発コード名

Cascade Lake†
インテル® Xeon® スケーラブル・プロセッサー

圧倒的なパフォーマン ス

最適化されたキャッシュ階層

クロック周波数の向上

セキュリティー機能の強化

Intel Deep Learning Boost (VNNI)

最適化されたフレーム ワークとライブラリー† 開発コード名AI 向けにインテル® Xeon® プロセッサーを強化
INFERENCE THROUGHPUT (IMAGES/SEC)CAFFE RESNET-50の最適化

VECTORNEURAL NETWORKINSTRUCTION

インファレンスを高速化

5.4X I N T 8 最 適 化

フレームワークとライブラリー対応

2.8X フ レ ー ム ワ ー ク 最 適 化
1.0 単 精 度
Jul’17Jan’18Aug’18Intel® Xeon® Scalable Processor

MKL-DNN

ANNOUNCING

N E W C L A S S O F I N T E L ® X E O N ® S C A L A B LE P R O C E S S OR S
ARCHITECTED FOR
DEMANDING HPC, AI& IAAS WORKLOADSCASCADE LAKE ADVANCED PERFORMANCE
2-SOCKET SERVER

DDR412 channels

MORE MEMORYCHANNELS THANANY OTHER CPU

CASCADE LAKEMCP

CASCADE LAKE
MCP

48 CORES

48 CORESHIGHSPEEDINTERCONNECTDDR412 channels

LINPACKUp
toUp
tovs AMD EPYC 7601

www.intel.com/benchmarks

DL INFERENCE

STREAM TRIADUp
toIMAGESPERSECOND
vs Intel® Xeon® Platinum
Processor at launchメモリー / ストレージ階層の再構築
メモリーDRAMHOT TIER

不揮発性メモリー

メモリー容量を改善

ストレージ

SSD 性能を改善
SSD
WARM TIER

インテル® 3D NAND SSD
HDD / テープ
COLD TIER

大容量ストレージを提供

大容量で手ごろな価格

128, 256, 512GB

高性能ストレージ

DDR4 ピン互換

ダイレクト・ロード / ストアアクセス

ハードウェア暗号化

ネイティブな不揮発性

高信頼性

一部のお客様に対し出荷中

幅広いアプリケーションをサポート

PERSISTENT PERFORMANCE& MAXIMUM CAPACITY

AFFORDABLE MEMORY CAPACITY
FOR MANY APPLICATIONSAP P L ICAT ION

AP P L ICATIONVOLATILE MEMORY POOLOPTANE PERSISTENTMEMORYDRAM

DRAM AS CACHEOPTANE PERSISTENT MEMORY優れた応答性を実現したデータセンター向けSSD

99%QoS が最大で 60 倍改善1
低レイテンシーの要件を伴う
アプリケーションに最適
1. Common Configuration - Intel 2U PCSD Server (“Wildcat Pass”), OS CentOS 7.2, kernel 3.10.0-327.el7.x86_64, CPU 2 x Intel® Xeon® E5-2699 v4 @ 2.20GHz (22 cores), RAM 396GB DDR @ 2133MHz. Optane
Configuration – Intel® Optane™ SSD DC P4800X 375GB. NAND Configuration – Intel® SSD DC P3700 1600GB. QoS – measures 99% QoS under 4K 70-30 workload at QD1 using fio-2.15.

インテル® Optane™ SSD 事例
拡張メモリー

高速ストレージキャッシュインテル® メモリー・ドライブ・テクノロジー

DRAMインテル®
Xeon®
プロセッサー

インテル®
Xeon®
プロセッサー

DDR

PCIe*

DRAM

DDRPCIe*

インテル®
Optane™ SSD

インテル®
Optane™ SSD
PCIe*

PCIe*

インテル® 3D NAND SSD*Other names and brands names may be claimed as the property of others

インテル® 3D NAND SSD‘メモリープール´ブートディスクに最適な 3D-NAND SSD
10K HDDSATA ベース SSD

インテル® SSD DC S4500
および DC S4600 シリーズ

高い信頼性、最大で年間不良率を 3 分の 1 に低減2
最大で消費電力を約 3 分の 1に低減1
最大で冷却要件を約 3 分の 1 に低減1

1.

2.

Intel TCO tool comparing Intel SSD DC S4500 960GB and Seagate Savvio* 10K.6 900 GB 10k SAS HDD & Intel SSD DC S4500 960GB and Seagate Savvio 10K.6 900 GB 10k SAS HDD. The workload equates 128 KB (131,072 bytes)
Queue Depth equal to 32 sequential writes. Average power for Seagate drive from http://www.tomshardware.com/charts/enterprise-hdd-charts/-19-Power-Requirement-at-Database,3389.html. http://estimator.intel.com/ssddc/
Industry AFR Average (2.11%): Source - Backblaze.com https://www.backblaze.com/blog/hard-drive-failure-rates-q1-2017/*Other names and brands may be claimed as the property of others.

新しいフォームファクターの提案“Ruler”

1PB /1U

インテル® 3D NAND SSD、32TB Ruler
2019年に登場

高いTCOを実現したウォームストレージの新しい利用事例インテル® Omni-Path アーキテクチャーの利点
HPC および AI システムの高速化➢ 高性能: ワークロードに最適化された性能➢ 価格性能比:ファブリックで節約した予算をコンピューティング・パワーへ投資➢ 拡張性と回復力: スケールしてもエンドツーエンドで低レイテンシ ーを維持

➢ 電力効率: 高密度と低消費電力によるコスト削減

FPGA （書き換え可能な半導体）
ハードウェアのパフォーマンスとソフトウェアの柔軟性を併せもつIntel® Programmable Acceleration Cardwith Intel®Arria® 10 GX fpGA

フレキシブル

並列計算

高性能

書き換え可能低遅延

電力効率

インテルの FPGA エコシステム
FPGA に最適化されたライブラリーとフレームワークにより、開発者の生産クラウド・データセンター

FPGA
モノとデバイス性が向上し、デザインサイクルを短縮インテル® Select ソリューション
HW と SW コンポーネントの密な組み合わせ

事前に定義されたセッティング、全体システムでのチューニング
最適性能を提供できるようにデザイン評価を簡素化
導入を早く簡単にシミュレーションとモデリング
ゲノム解析向け
Intel® Select Solution for
Simulation & ModelingIntel® Select Solutions for
Genomics Analytics

プロレベルの可視化
Intel® Select Solution forProfessional Visualization

ワークロードの最適化
Intel® Select Solution configurations
and benchmark results areIntel verified

シミュレーションとモデリング
Intel® Select Solution for
Simulation & Modeling

リファレンス性能

Intel® Select Solutions for HPC
Simulation and Modeling areIntel verified

Ensuring a minimum
performance standard acrossfive key HPC-focusedbenchmarks on a 4-nodecluster unit

▪
▪
▪
▪
▪

Benchmark

Method of Execution

Minimum Performance RequirementHPL

Across all 4 nodes

8192.00 GLOP/s

HPCG

Across all 4 nodes

126.90 GFLOP/s rating

On each node

32.00 GFLOP/s rating

DGEMM

On each node

2048.00 GFLOP/s

STREAMOn each node

164000.00 MB/s

IMB PingPong

Between each pair ofnodes

11300.00 MB/s (bandwidth)
1.90 µs (latency)

HPL: solves a dense linear system in double precision (64bits) arithmetic calculation on distributed memory
HPCG: models data access patterns of real-work applications such as sparse matric calculations, testing memory
subsystems and internal interconnect
DGEMM: double precision general matrix multiplication measures computing capability of processor and memory
STREAM: measures the sustainable memory bandwidth and corresponding computation rate for simple vector kernels
IMB PingPong: measure speed and latency of passing a single message from host to peer, including response

Benchmark results were obtained prior to implementation of recent software patches and firmware updates intended to address exploits referred to as "Spectre" and"Meltdown." Implementation of these updates may make these results inapplicable to your device or system.

シミュレーションとモデリング
Intel® Select Solution for
Simulation & ModelingManagement
head node

リファレンスアーキテクチャ

Message fabricStorage fabricComputenodes
Managementfabric₮ Recommended, not required
https://builders.intel.com/docs/intel-select-simulation-modeling.pdf*Other names and brands may be claimed as the property of others.

Configuration

The minimum Intel-recommended solution configuration fortoday’s Simulation and Modeling workloads consists of 4
compute nodes. A management node is required and may bepart of the 4 compute nodes. Consult with OEMs for variations
to system configurations.

Platform

Dual-socket server platform

Processor

2x Intel® Xeon® Gold 6148 processors at 2.4 GHz, 20 cores/40
threads, or a higher model Intel Xeon Scalable processor

Memory96 GB (12 x 8 GB 2,666-MHz 288-pin DDR4 RDIMM)
2 GB memory per processor core and all memory channels
populated

Local Storage

1 x Intel® Solid-State Drive (SSD ) Data Center (DC) Family₮

Messaging Fabric

1 x Intel® Omni-Path Architecture, single-port Peripheral
Component Interconnect Express* (PCIe*) 3.0 x16 adapter, 100
Gbps

Management Network

Integrated 1 gigabit Ethernet (GbE)₮

SoftwareLinux* operating systemIntel® Cluster Checker 2018 Update 2OpenHPC₮Intel® Parallel Studio XE 2018 Cluster Edition₮

ゲノム解析向け

ゲノム解析

Intel® Select Solutions forGenomics Analytics
より簡単な導入、ライフ・サイエンス・リサーチ、ヘルスケア・インサイトにおけるゲノム・パイプラインのスピードを向上 (BIGstack* 2.0 リファレンス・アーキテクチャー利用時）

拡張性

スピード

最大

最大

5倍

多くのゲノム処理（GenomicsDB 使用）

3倍

高速
6 週間が 2 週間にIntel®
Omni-PathArchitecture1.

Source: Data presented by, and slide courtesy of Broad Institute, Geraldine Van der Auwera, Ph.D., BioIT World May 24, 2017 https://software.broadinstitute.org/gatk/gatk4
For more information on Intel® Select Solutions for Genomics Analytics, visit https://builders.intel.com/docs/intel-select-genomics-analytics.pdf
For more complete information about performance and benchmark results, visit www.intel.com/benchmarks. Config details on last slide*Other names and brands may be claimed as the property of others.

プロレベルの可視化
Intel® Select Solution forProfessional Visualization

デジタル・コンテンツ・クリエーション

インテル® データセンター・マネージャー
Power, thermal and health management a path to data center agility and optimization
DCM Console
Power, Thermal, Control, Health

SDK for ISV

Protocols
IPMI, SNMP, HTTPS, SSH

BMC (IDRAC, IMM, ILO), CMC, Node Manager
Rack Servers, Blades, Networking, Storage, PDU

インテルが実現するＨＰＣインテル® スケーラブル・システム・フレームワーク
AI

インテル® Xeon®
スケーラブル・プロセッサー

モデリング・シミュレーション

多種多様なワークロード

インテル®プログラマブル・
アクセラレーション・カード
インテル® Nervana™ニューラル・
ネットワーク・プロセッサー
インテル® Omni-Path
アーキテクチャー可視化

単一のフレームワーク

Compute Memory / Storage
Fabric Software

ビッグデータ・アナリティクス

インテル® 3D NAND SSD

注意事項および免責事項
インテル® テクノロジーの機能と利点はシステム構成によって異なり、対応するハードウェアやソフトウェア、またはサービスの有効化が必要となる場合があります。実際の性能はシステム構成によって異なります。絶対的なセキュリティーを提供できるコンピューター・システムはありません。詳細については、各システムメーカーまたは販売店にお問い合
わせいただくか、[http://www.intel.co.jp/] を参照してください。
テストでは、特定のシステムでの個々のテストにおけるコンポーネントの性能を文書化しています。ハードウェア、ソフトウェア、システム構成などの違いにより、実際の性能は掲載された性能テストや評価とは異なる場合があります。購入を検討される場合は、ほかの情報も参考にして、パフォーマンスを総合的に評価することをお勧めします。性能やベンチマーク結果について、さらに詳しい情報をお知りになりたい場合は、http://www.intel.com/benchmarks/ (英語) を参照してください。
インテルは、製品やサービスの内容を、いつでも予告なく変更できるものとします。本資料に記載した情報、製品、サービスの適用や使用により生じた損害について、インテルは、書面で明示的に合意した場合を除き、一切の責任や義務を負いません。公開された情報を利用する場合や、製品やサービスをご注文の場合は、事前に最新バージョンのデバイス仕様を入手されることをお勧めします。
本資料に記載されているすべての日付は予告なく変更されることがあります。特定されている日付は全て目標日であり、計画以外の目的ではご利用になれません。
記載されているコスト削減シナリオは、指定の状況と構成で、特定のインテル® プロセッサー搭載製品が今後のコストに及ぼす影響と、その製品によって実現される可能性のあるコスト削減の例を示すことを目的としています。状況はさまざまであると考えられます。インテルは、いかなるコストもコスト削減も保証いたしません。
本資料は、(明示されているか否かにかかわらず、また禁反言によるとよらずにかかわらず) いかなる知的財産権のライセンスも許諾するものではありません。
Intel、インテル は、アメリカ合衆国および / またはその他の国における Intel Corporation の商標です。

Intel technologies’ features and benefits depend on system configuration and may require enabled hardware, software or service activation. Performance varies
depending on system configuration.
No product or component can be absolutely secure.
Tests document performance of components on a particular test, in specific systems. Differences in hardware, software, or configuration will affect actual performance.
For more complete information about performance and benchmark results, visit http://www.intel.com/benchmarks .
Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark andMobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results
to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that
product when combined with other products. For more complete information visit http://www.intel.com/benchmarks .
Intel® Advanced Vector Extensions (Intel® AVX)* provides higher throughput to certain processor operations. Due to varying processor power characteristics, utilizing
AVX instructions may cause a) some parts to operate at less than the rated frequency and b) some parts with Intel® Turbo Boost Technology 2.0 to not achieve any or
maximum turbo frequencies. Performance varies depending on hardware, software, and system configuration and you can learn more at http://www.intel.com/go/turbo.
Intel's compilers may or may not optimize to the same degree for non-Intel microprocessors for optimizations that are not unique to Intel microprocessors. These
optimizations include SSE2, SSE3, and SSSE3 instruction sets and other optimizations. Intel does not guarantee the availability, functionality, or effectiveness of any
optimization on microprocessors not manufactured by Intel. Microprocessor-dependent optimizations in this product are intended for use with Intel microprocessors.
Certain optimizations not specific to Intel microarchitecture are reserved for Intel microprocessors. Please refer to the applicable product User and Reference Guides
for more information regarding the specific instruction sets covered by this notice.
Cost reduction scenarios described are intended as examples of how a given Intel-based product, in the specified circumstances and configurations, may affect future
costs and provide cost savings. Circumstances will vary. Intel does not guarantee any costs or cost reduction.
Intel does not control or audit third-party benchmark data or the web sites referenced in this document. You should visit the referenced web site and confirm whether
referenced data are accurate.
Intel, the Intel logo, and Intel Xeon are trademarks of Intel Corporation in the U.S. and/or other countries.
*Other names and brands may be claimed as property of others.
© 2018 Intel Corporation.