インテルHPC-AI の今
2023年12月7日
矢澤克巳

インテル株式会社 ＨＰＣ事業開発部長

シリコノミーシリコンの可能性によって実現する経済成長
現代経済の維持と発展に半導体は不可欠•••

テクノロジーは現代の生活に広く浸透しており、コンピューティングの需要が拡大している「Superpowers」（コンピューティング、接続性、インフラ、AI、センシングなど）が相互に結合し、新たな可能性を切り拓いている
これにより、コンピューティング技術が急速に進化し、その基盤としてシリコンが重要な役割を果たしている。

シリコノミーの世界へようこそ© 2023 Intel Corporation. 無断での引用、転載を禁じます。

グローバル・サプライチェーンの強靭化© 2023 Intel Corporation. 無断での引用、転載を禁じます。

ムーアの法則の継続

AI Everywhere

3

2015

2016

2017

2018

2019

2020

2021

2022

2023

Source: Moore, S. (2022), “Nvidia’s Next GPU Shows That Transformers Are Transforming AI“, IEEE Spectrum.

CodeGeeX

BloombergGPT

mT0

OPT
BLOOM
NLLB

UL2

GPT-NeoX

BLOOMZ

Open AssistantGalactica

YaLM

PaLM

June

Luminous

OPT-IML

July

AugustSeptember

Sparrow

ChatGPT

WeLM

AlexaTM

OctoberNovember

VicunaCohereGLM

2022

CerebrasGPT

Flan-T5

Tk-Instruct

Pythia

LLaMA

December

BARD
PanGu-Σ
Flan-PaLM

January

February

GPT - 4

March

April

May

2023
Source: Zhao, W. X., Zhou, K., Li, J., Tang, T., Wang, X., Hou, Y., ... & Wen, J. R. (2023). A survey of large language models. arXiv preprint arXiv:2303.18223.

2023年1月10日（日本時間11日）正式発表®

®

インテル® Xeon® CPU マックス・シリーズ
インテル® データセンター GPUマックス・シリーズ

インテル® Xeon®
プロセッサー

E-CoreCPU

インテル® Xeon®
プロセッサー

コードネーム Sierra Forest

コードネーム Clearwater Forest

第四世代 インテル® Xeon®
スケーラブル・プロセッサー

P-CoreCPU

インテル® Xeon®
CPU マックス・シリーズ

AI

第五世代 インテル® Xeon®
プロセッサーインテル® Xeon®
プロセッサー

コードネーム Emerald Rapids

コードネーム Granite Rapids

Habana®
Gaudi® 2

専用アクセラレータ

Habana®
Gaudi® 3

次世代 GPU
コードネーム Falcon Shores

HPC & AI

インテル® Data Center GPU マックス・シリーズ

GPU
Visual Cloud

インテル® Data Center GPU Flex SeriesGPU

15+ new FPGAs onschedule to PRQ in2023

FPGA2023

インテル® Data Center GPU Flex Series
コードネーム Melville Sound

Next Gen FPGAs

2025+

2 p ro ces sors w i t h 288 co res

Intel® Xeon® プロセッサー
第四世代 インテル®
Xeon® プロセッサー
アクセラレータエンジンを搭載しワークロードに最適化
ML Perf 学習: コスト効率に優れたインテル®
イーサネットを使用し、97～100%のマルチノード・スケーリングを実現

提供中インテル® Xeon® CPU
マックス・シリーズ
高いメモリバンド幅
HBM2e

第五世代 インテル®
Xeon® プロセッサー
Emerald Rapids

消費電力当たりのより高い性能

将来のインテル® Xeon®
プロセッサーGranite Rapids

Intel 3 で作る
最初の P-Core Xeon

第四世代Xeonとプラットフォーム
互換

第四世代Xeonとプラットフォーム
互換

多いコア数,高いメモリバンド幅,AIアクセラレーションの拡張

提供中

2023年12月14日
発表予定

2024年提供に向け開発中インテル® Xeon® プロセッサー
HPC とAI アクセラレーションに最適化された特徴的な新機能

ブレークスルー・テクノロジー

DDR5
強化されたメモリバンド幅

PCIE 5CXL 1.1

高いスループット

次世代 IO

内蔵AI アクセラレーション
インテル® Advanced Matrix Extensions (AMX)
ディープラーニングの推論および学習処理性能を向上

広帯域メモリ

HBM2e
広帯域を必要とするワークロードの性能を飛躍的に向上インテル® Advanced Matrix Extensions (AMX)
ディープラーニングの推論および学習処理性能を向上

2048▪ int8▪ Bfloat16

1024

ISAレベルでの加速▪ 完全なインテルアーキテクチャのプログラマビリティ
▪ 低遅延
256

業界関連のフレームワークおよびライブラリが利用可能

64
AVX-512 (2xFMA) FP32

AVX-512 (2xFMA) INT8

AMX (TMUL) BF16

AMX (TMUL) INT8

Results have been simulated. For workloads and configurations visit
www.intel.com/ArchDay21claims . Results may vary

Ops/Cycle per core @ 100% utilization

ディープラーニング
データータイプ

1.37

1.60

1.62
1.21

Visit www.intel.com/performanceindex for workloads and configurations. Results may varyThis offering is not approved or endorsed by OpenCFD Limited, producer and distributor of the OpenFOAM software via www.openfoam.com, and owner of the OPENFOAM® andOpenCFD® trademark

Relative performance (Higher is better)

物理

1.42
1.26

1.37

1.13

1.32

1.33

1.55

1.64

1.51

1.66

1.54

1.47
1.32

1.44

1.47

1.58

製造

11.461.83

1.94

最大ライフとマテリアル
サイエンス

1.48

金融サービス

1.68

エネルギー

1.98

地球システムモデリング

1.25

標準ベンチマーク最適なメモリ選択肢となりうる64GB
HBM2e

最大最大220GF/s

2GB

HPCG

HBM per CoreSee backup for workloads and configurations. Results may vary.

HBM Only

HBM Flat

HBM Caching

Bootable from HBM

2 Memory Regions

HBM as cache for DDR

No code change

SW Optimization Needed

No code change

HBM

DDR

HBM

DDR

HBM

DDR

Relative Perf. Higher is better

Industry Standard
6

5.3

5

メモリ帯域を要求するベンチマーク 4
CPU MAXでは最大5倍の性能
2S インテル® Xeon® CPU マックス・シリーズ vs.
2S 第三世代 インテル® Xeon® 8380 プロセッサー3.8

3
2

1

1.0

1.5

1.4 1.4

1.6

StreamTriad

HPL

HPCG0Intel®
Xeon®
8380
Processor

第四世代 インテル® Xeon® スケーラブル・プロセッサー

See backup for workloads and configurations. Results may vary.

インテル® Xeon® CPU マックス・シリーズ

Relative performance (Higher is better)

1.65x

1x

HPCG 性能AMD EPYC 9654

インテル® Xeon®
CPU マックス
9480

Visit www.intel.com/performanceindex for workloads and configurations. Results may vary

地球システム
モデリング

エネルギー

金融 サービス

ライフとマテリアル
サイエンス

製造

物理

4.8

4.8

5.0

標準ベンチマーク

2.1

1.7
1.0

1.6

1.3

1.3

1.3

2.1
1.5

1.9
1.21.9
1.5

1.5

1.9

2.2

2.1

1.0

1.0

1.5

1.7

2.2

2.5

2.7

2.8

3.5

3.4

3.2

2倍の性能

Relative performance (Higher is better)

CPU MAXでは平均

See backup for workloads and configurations. Results may vary.
This offering is not approved or endorsed by OpenCFD Limited, producer and distributor of the OpenFOAM software via www.openfoam.com, and owner of the OPENFOAM® and OpenCFD® trademark
MLPerf™ HPC-AI v0.7 Training ベンチマーク Performance. Result not verified by MLCommons Association. Unverified results have not been through an MLPerf™ review and may use measurement methodologies and/or workload implementations that areinconsistent with the MLPerf™ specification for verified results. The MLPerf™ name and logo are trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See
www.mlcommons.org for more information

第五世代 インテル® Xeon®
プロセッサー
2023年12月14日

第五世代 インテル® Xeon® プロセッサー

HPC

音声認識

LAMMPS Copper

メディア

最大最大

最大

AI
ワークロードに最適化された
電力効率の高いコンピュート
高速メモリ 8x DDR5, 5600 MT/s

拡張 I/O: CXL タイプ1と2, PCIe Gen 5, 80レーン

1.4倍
higher throughput(rec/sec) on
Xeon 8592+
vs
Xeon 8480+ (BF16)

1.4倍
higher performanceOn
Xeon 8592+
vs
Xeon 8480+

Transcode(FFMPEG)

1.2倍
aggregate FPS
on
Xeon 8592+
vs
Xeon 8480+

See backup for workloads and configurations. Preproduction 5th Gen Xeon CPU performance measurements. Results may vary.

将来の インテル® Xeon® プロセッサー
codenamed Granite Rapids

Extends the Intel® Xeon® processor Advantage▪ より多いコア数, より高い周波数,Intel®
Advanced Matrix Extensions (Intel® AMX)

より高いAIワークロード性能1▪ FP16 を追加▪ 12 メモリチャネルおよび MCRサポート（large LLMモデルに有効）より高いメモリバンド幅1

DeepMD+LAMMPS AI インファレンス2
1 - Based on architectural projections as of August 21, 2023 vs prior generation platforms. Your results may vary.
2 – See intel.com/performanceindex for workloads and configurations. Your results may vary.

▪ HPCとAIワークロードに最適なTCOを実現

Granite Rapids向け2-Rank RDIMMによる同容量でより高いメモリバンド幅を持つ

最大

最大

2 socket

8800

83% peak>1.5 TB/s

MT/s

B/W increase

DRAM

Buffer128

Xe HPC
Cores

52TF

Peak FP64
Throughput

839TF
Peak BF16
Throughput

128 MB 16
HBM2eMemory

Xe Links

976 GB/s
GPU-to-GPU comms
via Xe Links

0.851See backup for workloads and configurations. Results may vary.

1.0
1.31

1.56

Relative performance (Higher is better)

2.27

2.3

2.25

製造

1.51

1.72

1.78

1.99

2.67

ライフとマテリアル
サイエンス

1.12

1.33

2.42

2.69

金融 サービス

1.16

1.98

2.03

1.85

4.9

地球システム
モデル

1.85

平均
エネル
ギー

1.48

1.25

標準
ベンチマーク物理

エネル
ギー

地球システムモデル

金融 サービス

ライフとマテリアル
サイエンス

製造

物理

3.8

標準
ベンチマーク

Relative performance (Higher is better)

0.92

1.35

1.2
0.91

1.13

1.54

1.45

1.77

1.83

1.86
0.82

0.92

1.31

1.45

1.51

1.17

1.58

1.16

1.55

0.98

11.12

1.89

平均

Visit www.intel.com/performanceindex for workloads and configurations. Results may vary

標準ベンチ

物理

D,S,H,I,BF-GEMM

DAOS

Graph500

HPCG

HPL

IO500

MLPerf 2.0

MLPerf.HPC

OSU

SPEChpc

Stream Triad

MLBenchSPEC ACCEL

SpMV

RINF

ELPA

GinkgoHeFFTe

HYPRE

MFIX (AMReX)

HACC

DPEchoGENE

NEKBONE

nekRS

OpenMC

XGC

CloverLeaf

Deep Galaxy

GadgetGRID QCD

MILC

QUDA

ChromaHotQCDBQCD

CERN 3D GAN

ライフ
サイエンス

Autodock-GPU

miniBUDE

AMBER

GROMACSLAMMPS

NAMD

OpenMM

RelionQuantum
Espresso

BerkeleyGW

CP2K

NWChemQMCPACK

DeePMD製造

ANSYS CoMLSim

Jacobi Solver

Commercial EDA
ISVCommercial CFD
ISVANSYS ParSeNet(SplineNet)

Commercial Multi
物理 ISV

Commercial CFD
ISVProprietary CFD
code

Binomial Options

Black-Scholes

EuropeanMonte Carlo

AmericanMonte Carlo

Riskfuel Risk
Calculations

STAC-A2

SPECFEM3D
GLOBE

ES3M/MMF

SeisSol

RTM Stencil
KernelISO3DFD金融
地球システムエネルギー

Computer
VisionResNet-50
v15

ResNeXt-101

ResNet-101

EfficientNetB7

SEResNeXt50

TSM

Image
Classification

Adorym

CosmoFlow

RegNetY32Y

ResNeXt-101

Candle Uno

Swin Transformer

CosmicTagger

Mask R-CNNDenseNet169

FFN

3D-UnetPointNet

DeepCAMDRN-D-54

ResNeXt3D101

SSDResNet34

SSDResNet50

EfficientDet

ShuffleNet

YOLO-v3

YOLO-v4

Deep Fusion

CascadeRCNN-MobileNet v3

SSDMobileNet

MMA

ResNet101-FPN

BERT-Large

StableDiffusion

ALBERT

FastFormers

TransformerLT

Big Bird

BERT-base

GP-J

BLOOM

DistilBERTRoBERTa

XLNet

音声認識

RNN-T

LAS - Listen
Attend & Smell

Wave2Vec

QuartzNet

音声合成

FastSpeech2

Tacotron-2
with LPCNet

DLRM

DSSM

ESSM

Wide & Deep

DIN

AttRec

DIEN

MMOE

画像
セグメンテーション

物体検知

NLP
言語モデリング

リコメンデーションDeepFM

RetinaNetResNet50

FasterTransformer

7nm

2496 GB

ProcessTechnologyTensor
Processor Cores

On-Board
HBM248 MB

24SRAM

Integrated
Ethernet ports`

Availability
CloudOn-Prem

Intel Developer Cloud
Supermicro Gaudi2 ServerIntel® Gaudi® 2 AI アクセラレータ
Normalized to account for # of GPUs

MLPerf GPT-3 学習ベンチマーク▪ MLPerfの結果を提出した唯一のAIアクセラレーター3社のうちの1社▪ FP8 により103% GPT-3性能を向上▪ 価格性能の優位性

MLPerf GPT-J 推論ベンチマーク▪ H100とほぼ同等のパフォーマンス

▪ A100と比較して2倍の性能

Visit https://mlcommons.org/en/ for workloads and configurations. Results may vary.

Intel® Gaudi® 3 AI アクセラレータ 2024年予定

BF16

Networking

HBMCapacity

HPC/AIAINew Disclosure

Habana と Xe IPを統合

タイルベースのモジュラー・アーキテクチャー
HBM 3とI/Oは拡張できるように設計
標準イーサネット・スイッチング

GPUAI & HPC向け
次世代 GPU

柔軟なCPUとGPU比率
単一のGPUプログラミング・インターフェース
CXLプログラミングモデル

どういったモデルに適している？
スモール～ミディアムサイズのモデル（ビジネスアプリケーションのボリュームゾーン）

1e+09

ビッグサイズのモデル（先進技術）

学習処理コンピューティング (PFLOPS)

1e+08

1e+07

1e+06

1e+05

1e+04

1e+03

1e+02
2012年

2013年

2014年

2015年

2016年

2017年

2018年

2019年

2020年

2021年

2022年

出典: Moore, S. (2022年)、「Nvidia’s Next GPU Shows That Transformers Are Transforming AI」、IEEE Spectrumインテルハードウェアの価値、アプリケーションのパフォーマンス、開発の生産性を最大化
HPCAIRendering
High-fidelity
Graphics

Modeling & Simulation

Data Analytics at Scale

Scientific Computing

DL Inference and Training

Visualization/
Visual Compute

Classical MLAnalytics

Ray Tracing

Powered by oneAPI
Performance
Libraries

oneMKL

oneDNNTools & Compilers

oneDAL

oneCCL

Direct Programming

Hardware interface

oneTBB

oneDPL

oneVPLIntel® MPI

C++

Fortran

MPI

OpenMPCUDA から C++/SYCLへの移行

アーキテクチャごとに異なるコードを書いたり保守したりする必要はない CUDA to SYCL

Migration Portal▪

好みのアクセラレータを選択し、性能と移植性を備えたコードを再利用▪

単一のC++ with SYCLコードベースで、複数のベンダーの複数のアーキテクチャーのアクセラレータ上で実行可能▪

インテル® DPC++ Compatibility ToolとオープンソースSYCLomaticは、典型的なCUDAアプリケーションの約90～95%*を自動的にSYCLに移行▪

CUDA から SYCL への移行ポータルでは、チュートリアル、ベストプラクティス、コードサンプル、アプリケーションカタロ
グ、コミュニティーサポートを参照可能
Migration Success Examples:

1Intel estimates as of March 2023. Based on measurements on a set of 85 HPC benchmarks and samples, with examples like Rodinia, SHOC, PENNANT. Results may vary.

*Other names and brands may be claimed as the property of others. SYCL is a trademark of the Khronos Group Inc.

Intel® Developer Cloud
最新のインテル製ハードウェアとソフトウェアでマルチアーキテクチャーアプリケーションとテスト環境を構築

開発者向け

最新のインテル製CPUとGPUと、インテルに最適化されたAIソフトウェアへのアクセスし開発者に提供する
Available software tools and optimizations

インテル製品とテクノロジーの導入と展開を加速し、新しいソフトウェアとサービスを創出する
AI Tools

企業向けパートナー向け

パフォーマンスとコストを最適化したインテルAIコンピュート・サービスを顧客に提供する

無償利用のクラウドクレジットありIntel® NeuralCompressor

Available platforms

Visit Intel® Developer Cloud at cloud.intel.com

ScaleOpen

TrustedChoiceNotices and Disclaimers
Statements in this document that refer to future plans or expectations are forward-looking statements. These statements are based on current
expectations and involve many risks and uncertainties that could cause actual results to differ materially from those expressed or implied in suchstatements. For more information on the factors that could cause actual results to differ materially, see our most recent earnings release and SEC filings atwww.intc.com.
All product plans and roadmaps are subject to change without notice.

Performance varies by use, configuration and other factors. Learn more on the Performance Index site. Intel technologies may require enabled hardware,software or service activation.
Performance results are based on testing as of dates shown in configurations and may not reflect all publicly available updates. See backup forconfiguration details. No product or component can be absolutely secure.
Your costs and results may vary.

Intel does not control or audit third-party data. You should consult other sources to evaluate accuracy.
Code names are used by Intel to identify products, technologies, or Service that are in development and not publicly available. These are not "commercial"names and not intended to function as trademarks.
© Intel Corporation. Intel, the Intel logo, and other Intel marks are trademarks of Intel Corporation or its subsidiaries. Other names and brands may beclaimed as the property of others.