GRAPHCORE IPU (INTELLIGNCE PROCESSING UNIT)

IPU-PO‍D: NEW BREAKTHROUG‍HS‍IN‍AI‍AT‍SC‍A‍LE

AI専用プロセッサIPUとIPU-PODシステム
次世代AIとストレージ
Graphcore Japan KK

www.graphcore.ai

1

Neural network visualization from POPLARTMIPU GC200
2018 July 第一世代 IPU
Begins to ship the
PCI card.

IPU POD16IPU M2000

第2世代IPU2020 12月より出荷開始

IPU POD16 POD64/128/256

EXA PODCEOCTO
Nigel Toon Simon Knowles

2013 Q4
GC project began in stealth modeto design the 1st Gen Chip in Bristol.

2016 June Graphcore is officially founded as a company
2021 Jul over 600 employee, HQ Bristol, United Kingdom

グラフコア・ジャパン株式会社
東京都千代田区
内幸町1-1-1
日比谷帝国ホテルタワー15F

2016 Oct
Series A Funding
2020 Dec Series ETotal $710M IN FUNDING
2

GRAPHCORE IPU（Intelligence Processor Unit）
AI Domain
SpecificProcessor

M2000

GC200(Processor)

TSMC 7nm 823mm2 59.4B Transistors @ 1.325 GHz
Many-cores 1472 tiles (Core, In-Proc-Mem) 8832 threads
In-proc Mem Total 900MB/IPU
Peak Perf (fp16) 250TFlops AI-Float 64*1.33G*1472*2(fp32) 62TFLOPS (fp32) 16*1.33G*1472*2

第2世代プロセッサ GC200を4基1Uの筐体に搭載したAIアクセラレータ

POD256筐体をIPU-Linkで相互接続することで、性能をスケールアップ
IPU環境を容易に使うための POPLAR SDK を提供
PyTorch や TensorFlow 等の主要なフレームワークをサポート
POD16• 1筐体で 1ペタFlops AI-Float(fp16)

POD64

MACHINE LEARNING REQUIRESCOMPUTE INNOVATIONCPUGPU>

General purpose

Intelligence Processing Unit

Graphics, part of HPC and ML/DL

ML/DL
Massively parallel MIMD.
High performance/efficiency as ML trends tosparsity & small kernels

SIMD architecture. Suitable
for large blocks of dense
contiguous data

Suitable for scalar
processes

Parallelism

IPU>

Graphics Processing Unit

64x16PF

HBM2

HBM2

HBM2

SIMD
HBM2
MPI

MIMD
In-Processor Memory
Compute in Memory

HBM2BSP

Bulk Synchronous Parallel
DRAM

MemoryAccess ration, MemBW

Off-chip memory
DRAM

Model and Data spread across off-chip and small on-chipcache and shared HBM2.

1x5x – 32x

1.6TB/sProcessor

MemoryModel & Data in tightly coupled large
locally distributed SRAM

x30

47.5TB/s

320x4

GC200 IPU PROCESSOR
Layout➢ IPU Tiles 1472 (Core+Mem)8832 threads➢ in-Processor Memory
900MB /IPU (620KB/tile)
47.5TB/s Memory BW/IPU(33GB/s per tile)

GC200 TSMC 7nm @ 823mm2
250TFlops AI-Float (fp16)@ 1.325 GHz➢ IPU-Exchange
8 TB/s All to All➢ PCIeG4x16 25

IPU-POD FLEXIBLE SCALE OUT SYSTEM
Reusable, simple migration between platforms
Disaggregated Server enables configurable Host Server /IPU ratio
depending on workload for optimised TCO

IPU-POD16 DA（Direct attached）

IPU-POD64

IPU-POD64

1 host server

4 host server

IPU-POD64(Scale out）

+ servers

IPU-POD16 DA
IPU-POD4 DA

switches

switches

x4 IPU-M2000(direct attach)

x1 IPU-M2000+ servers+ switches+ IPUM2000
recableHost Server+ IPU-M2000

IPU-M2000

Switched version adds
TOR switch & Mgmt switch

Direct Attached, Pre-configured Model
POD4,16,32
reconfigurable as 4xPOD16

1x IPU-M2000

4x IPU-M2000

16x IPU-M2000

Upto 16Kx IPU-M2000

POPLAR SDK
Host Server OS

18.04
20.04 (preview)

7.6（RHELへの移行）

Debian 10Docker

Management data can be delivered via Redfish DTMF to management systems such as Grafana.
Poplar software and our IPUs support containerization with Docker.

POPLAR
Visualization& Debug Tools

8RESNET50 TRAINING : IPU-POD64

2.8x Higher Throughput | 3.3x Perf/$ Advantage

102,320

TensorFlowIPU-POD642x DGX A100 TensorFlow

036,659

20,00040,00060,00080,000100,000

120,000

Throughput (images/sec)
NOTES: (updated 20th Oct 2021)
ResNet-50 v1.5 Training Highest Throughput | ImageNet2012 Dataset
IPU-POD64 (16x IPU-M2000) | FP 16.16 | SDK 2.3.0 | TensorFlow | https://www.graphcore.ai/performance-results
Best results for DGX A100 640GB (A100-SXM4-80GB) using TensorFlow | Mixed Precision | using 0.90x scaling from 1=>2 DGX A100
DGX A100 results published by NVIDIA (https://developer.nvidia.com/deep-learning-performance-training-inference) on 27 Sep 2021

MSRP Price
IPU-POD64 (4-host)~$500k

2x DGX A100 640GB~600k

BERT-LARGE PRE-TRAINING : IPU-POD64

2.3x Higher Throughput | 2x Perf/$ Advantage
BERT-Large Pre-Training (SL128) Throughput
14,122

IPU-POD64 PopART

IPU-POD64 PyTorch

12,5282x DGX A100 PyTorch

6,268

IPU-POD64 TensorFlow

12,9035,570

2x DGX A100 TensorFlow
02,000

4,000

6,000

8,000

10,00012,00014,00016,000Throughput (sequences/sec)
NOTES: (updated 20th Oct 2021) | headline speedup based on TensorFlow vs TensorFlow throughput comparison
BERT-Large Phase 1 Pre-Training Throughput (SL128) |IPU-POD64 (16x IPU-M2000) | SDK 2.3.0 | https://www.graphcore.ai/performance-results
DGX A100 320GB (A100-SXM4-40GB) | Mixed Precision | Using 97% perf scaling based on published BERT results
DGX A100 PyTorch https://developer.nvidia.com/deep-learning-performance-training-inference 27 Sep 2021
DGX A100 TensorFlow - https://ngc.nvidia.com/catalog/resources/nvidia:bert_for_tensorflow/performance

MSRP Price
IPU-POD64 (1-host)~$440k

2x DGX A100 320GB~400k

IPU PERFORMANCESCALE OUT
75% Scaling
86%POD16-256
Scaling
POD16-128

8GPU

List Price $299,000

8GPU$149,995

List Price $299,000$149,995

GRAPHCORE IPUの適用領域
データセンター
インターネット業界

自動車/電機製造業

ヘルスケア
ライフサイエンス・リコメンド・検索エンジン
・トレンド分析・予測
・スマートアシスタント
・画像検索
・顧客サポート

・自動運転
・自動設計
・不良個所の画像認識
・販売支援
・混雑予想
・高度ナビゲーション
システム

・ゲノム研究・医療画像診断・疾患診断・タンパク質の機能解析
・創薬

金融/保険/株式研究開発
高等教育

・株価予測
・リスク分析
・景気予測
・マネロンの検知/防止・保険料率予測・顧客の本人確認・認証

・ニューラルネットによるシミュレーション
・ビッグデータ解析
・実験画像解析・素粒子物理学
・天文学

Copyright © SCSK Corporation

12IPU-POD256 DATACENTER ARCHITECTURE
DisaggregatedServers

Storage
AI400X
2Uから始められる、
オールNVMeフラッシュ
並列ファイルシステム

IPU
1IPU
2IPU
IPU
11GW

IPU
IPU
22IPU
IPU
11GW
GW

IPU
IPU
22IPU
1IPU
2GW

GW
GW

IPU
3IPU
4IPU
IPU
33IPU
IPU
44IPU
IPU
33IPU
IPU
44IPU
3IPU
4IPU
5IPU
6IPU
IPU
55IPU
IPU
66

IPU
IPU
55IPU
IPU
66

IPU
5IPU
6GW

GW
GW

GW

GW
GW

IPU
7IPU
8IPU
IPU
77IPU
IPU
88IPU
IPU
77IPU
IPU
88IPU
7IPU
8IPU
61IPU
62

IPU
IPU6161IPUIPU
6262

IPU
IPU
61
61

IPU
IPU
62
62IPU
61

IPU
62GW

IPU
63

GW
GW

IPU
64

IPU-POD64

IPU
IPU
63
63

GW

GW
GW

IPU
IPU
64
64

IPU-POD64
IPU-POD64

IPU
IPU
63
63

IPU
IPU
64
64

IPU-POD64
IPU-POD64

IPU
63

IPU
64

IPU-POD64
IPU-POD64ETHERNET IPU FABRIC

Ethernet Switced Fabric

Ethernet Switched FabricGraphcore adds DDN to Elite Partner program, DDN is recognizedglobally as innovators in storage technology Sep 30 2021

IPU POD
Ai専用プロセッサ
高性能、高スケーラブルシステム
Easetechnologyof Userecognised globally as innovators in storage

GRAPHCORE IPU-POD+LUSTRE• Graphcore のIPU-PODシステムはDDN社の提供するA3IソリューションAccelerated, Any-Scale AIにより、あらゆる規模のAIを高速化 - 最高のパフォーマンスと柔軟性を提供します。
•A3I(AI400X- Lustre)

Iオールフラッシュアプライアンス• AIに最適化された高性能な並列ファイルシステム• シーケンシャル読み込みスループット 最大48GB/秒• シーケンシャル書き込みスループット 最大34GB/秒•Lustre• オープンソース高速並列ファイルシステム• AIとディープラーニングのトレーニング、検証、推論等のアクティビティを同時に処理するために完全に最適化• マルチレベルセキュリティ(MLS) Lustreソリューション
15

IPU-POD 性能機能評価❑ 性能機能評価メニュー

1.

1.

Graphcloudを利用した評価

2.

性能評価課題を預かり、弊社にて性能評価、報告

3.

評価用IPU-PODシステムの貸し出し

4.

Try＆Buyプログラム

Graphcloudを利用した評価
IPU-POD16 をクラウド上に配置したGraphCloudで2週間無償評価が可能.
● SSH経由● 無償期間は2週間 (POD64 利用は有償(要相談）)● 長期利用、IPU-POD64等の利用は有償にて対応可能．

2.

性能評価課題を預かり、弊社にて性能評価、報告
評価目的、実施内容、日程などをお聞きした上で実施可能な場合、課題を預かり、弊社で移植、最適、試験実施、報告を行います。
評価を実施する時間がない、大きな規模のシステムが必要、最適化なども含めたサポートが必要な場合にご利用下さい。

3. 評価用IPU-PODシステムの貸し出し
評価目的、実施内容、日程などをお聞きした上で実施可能な場合、ホストサーバも含めたPOD-4（もしくはPOD8）を貸し出し評価。
セキュリティ高いデータを外部に出せない等の受験科デモ、貸し出しシステムを利用して評価可能になります。
貸し出しに際して、○弊社Webもしくは代理店様経由で利用申し込み可能○ 事前にシステム、プログラミングの速習トーレニングも用意○

事前にシステム、プログラミングの速習トーレニングも用意○ モデル, 入力データ種別を事前にお伝えいただけますと,○

モデル, 入力データ種別を事前にお伝えいただけますと,事前準備等を対応させて頂きます。

事前準備を対応させて頂きます。
４． Try＆Buyプログラム
購入を前提として評価目的、実施内容、日程などをお聞きした上で実施可能な場合、ホストサーバも含めたIPU-PODシステムをお貸出しし、評価終了後には購入いただくプログラムです。
IPU-POD16やPOD64を実際の設置環境に置き、既存システムとのインテグレーションなども含めて動作検証などを行えます。

ご清聴ありがとう御座いました。
Try IPU GraphCloud
性能/機能評価(POD16/2Week無償利用）
クラウドサービス(POD16,POD64)
https://www.graphcore.ai/partners

WebinarやVideo,のご紹介
https://www.graphcore.ai/resources

IPU-POD16
Dell R6525 (1)IPU-M2000 (4)Graphcoreへのお問い合わせhttps://www.graphcore.ai/
Mail mamorun@graphcore.aiTEL 03-3507-5600

graphcore@dell.com
Graphcore:dellsales@graphcore.ai

IPU-POD64
Dell R6525 (3)IPU-M2000 (16)PowerSwitch
Rack (1) & PDU (2)IPU-POD256 W/ DDN STORAGE CONFIGURATION SAMPLE• This configuration could support up to three storages
oFour storages could be supported, but all ports on 32P spine switch will be occupied
two more storages could beadded, will connect to spine

2x 32P 100GbE spine switch

4x 32P 100GbE leaf switch
for IPU-POD64

4x 4xHost Server

4x IPU-POD64 (16xM20000)

IPU-POD64

IPU-POD64

IPU-POD64

IPU-POD6418