クレイ製品のご紹介

Rev.2

JLUG： Japan Lustre Users Group 2014

クレイ・ジャパン・インク
Oct 17, 2014

Page 1

Safe Harbor Statement

This presentation may contain forward-looking statements that are
based on our current expectations. Forward looking statements
may include statements about our financial guidance and expected
operating results, our opportunities and future potential, our productdevelopment and new product introduction plans, our ability to
expand and penetrate our addressable markets and otherstatements that are not historical facts. These statements are only
predictions and actual results may materially vary from thoseprojected. Please refer to Cray's documents filed with the SEC fromtime to time concerning factors that could affect the Company andthese forward-looking statements.

JLUG on 10/17, 2014

Page 2

Cray Adaptive Supercomputing

JLUG on 10/17, 2014

Computation
XC40
CS400

Analytics
Urika-XA
Urika-GD

Storage & Data Management

Big Data

Supercomputing

Today’s
Topic

Page 3

（1） Cray XC40システム

JLUG on 10/17, 2014

Page 4

Cray XC40TM Supercomputer

Adaptive
Supercomputing

Scalable
Performance

Comprehensive
HPC Integration

Flexible Processor
Options & Upgrades

Enhanced Aries
Interconnect

HW & Networking

Hybrid Systems

Global Network
Bandwidth

Adaptive Network
Routing
Advanced Adaptive
Programming Tools
JLUG on 10/17, 2014

HPC Development
Tools
Cray LinuxSW Environment &Partner Ecosystem
Storage
Reliability &Resiliency

Page 5

Cray XC40システムのパッケージング

システム

シャーシ
Rank 1 Network- 16x 計算ブレード

計算ブレード- 4x 計算ノード- 8x CPUソケット- 16x Ariesチップ- ケーブルレス- 64x 計算ノード

グループ

Rank 3 Network

Rank 2 Network

アクティブ・ファイバー
ネットワーク- 242x キャビネット
- 46,464x 計算ノード

パッシブ・カッパー
ネットワーク- 2x キャビネット
- 6x シャーシ- 96x Ariesチップ

2つのAriesチップから5本の光ケーブル
他のグループ接続用に最大280本の光ケーブルが利用可能- 384x 計算ノード- 1x Ariesチップ
JLUG on 10/17, 2014

Page 6

Cray XC40システムの特徴● Cray XC40システムは、Cray XC30システムの後継機です。Cray XC30システムは、米国DARPAのUHPCプロジェクトなどの資金を得て、「Cascade」のコードネームで開発が行われ、2012年11月のSC12で製品発表いたしました。

● 柔軟に各種のプロセッサに対応
v Intel Xeonプロセッサを2基搭載
v ドータカードによるCPU交換が可能でアップグレードに対応（GPUやMICに対応）● アダプティブなプログラミング環境
v CPE（Cray Programming Environment）による包括した並列計算向け環境をご提供
v グローバルアドレスが指定可能なPGASモデルをサポート
v Crayコンパイラに加えてIntel製コンパイラが利用可能● スケーラブル・パフォーマンス
v 階層型All-to-AllのDragonflyトポロジーと高速ルータチップ「Aries」により、高バンド幅、低レイ

テンシを実現v 分散型共有ファイルシステムLustre● 汎用性と高性能をバランス良く両立
v ライトウェイトOSの採用（OSジッタ対策）
v CCM（Cluster Compatible Mode）が選択可能
v 耐障害性の強化と高い信頼性の実現
v 省エネルギー、節電機能
JLUG on 10/17, 2014

Page 7

PDC（プロセッサ・ドータ・カード）によるアップグレード● NVIDIA TeslaやIntel Xeon Phiのアクセラレータも搭載可能
SPECIFICATIONSModule power:

2014 Watts

PDC max. power:

900 Watt

Air flow req.:

275 cfm

Size:

2.125 in x 12.95 in x 33.5 in

Weight:<40 lbm

JLUG on 10/17, 2014

Page 8

Cray XC40システムのRank-1ネットワーク

o Chassis with 16 compute bladeso 128 Sockets
o Inter-Aries communication overbackplaneo Per-Packet adaptive Routing

JLUG on 10/17, 2014

Page 9

ジョブプレイスメントにおける影響は3%未満
llll

Sandia miniApp, models performance of CTH
Running on 2256 node CSCS system (¼ global bandwidth)
Four concurrent 512 node parallel jobs, different layouts
Runtime in seconds for 100 cycles

111111111111111111111111111111111111111111111111111111111111
1111111111111111111111111111111111111111111111111111111111111111
1111111111111111111111111111111111111111111111111111111111111111
111111111111111111111111111111111111111111111111111111111111
1111111111111111111111111111111111111111111111111111111111111111
1111111111111111111111111111111111111111111111111111111111111111

111111111111111111111111111111111111111111111111111111111111
1111222222222222222222222222222222222222222222222222222222222222
2222333333333333333333333333333333333333333333333333333333333333
333344444444444444444444444444444444444444444444444444444444
4444444411111111111111111111111111111111111111111111111111111111
1111111122222222222222222222222222222222222222222222222222222222

222222222222222222222222222333333311111111111111111111111111
111111111112 222222222222222222222222222222222222222222222222222
2222222223333333333333333333333333333333333333333333333333333333
333333344444444444444444444444444444444444444444444444444444
4444444444444444444444444444444444444444444222222222222222222222
2222222222222224444444444444444444444444444444444444444444444444

313213233114413342123222323142434131421141323323443213331124
1433334233443442322323111112222214142431223242344331422333124321
3121323444213411141214213241212443231211211114143132132241414134
334244433434443112314212212421442121414341242244414231423122
4324343123241242233241134421123121442123431214224412444213331433
1124134442211114441422331144221141112223124111342241343444411443

111111111111111111111111111111111111111111111111111111111111
1111111111111111111111111111111111111 11111111111111111111111111
1111111111111111111111111111111111111111111111111111111111111111
122222222222222222222222222222222222222222222222222222222222
2222222222222222222222222222222222222222222222222222222222222222
2222222222222222222222222222222222222222222222222222222222222222

222222223333333333333333333333333333333333333333333333333333
3333333333334444444444444444444444444 44444444444444444444444444
4444444444444111111111111111111111111111111111111111111111111111
111111111111122222222222222222222222222222222222222222222222
2222222222222222233333333333333333333333333333333333333333333333
3333333333333333344444444444444444444444444444444444444444444444

444444444411111111111111111111111111111111111111111112222222
2222222222222222222222222222222222222 22222222222233333333333333
3333333333333333333333333333333333333333333333333333333333333333
333333333333333333333333333333333333333333333333333333333333
3333333333333333333333333333333333444444444444444444444444444444
4444444444444444444444444444433333333333333333333333333344444444

334214233133431134132243234123212144321321423434244413223234
4312114243343433234124244312411343344 24441424424412313211312343
1232143122444333322442441232124121132422431243324411221144232431
222223243234442211232311421221212143233221341233422443423131
1111113134442114211243413422411221443322343311421222231314213123
3342432124321343431343144222123121341421214224234222433113111334

222222222222222222222222222222222222222222222222222222222222
2222222222222222222222222222222222222222222222222222222222222222
2222222222222222222222222222222222222222222222222222222222222222
222222222222222222222222222222222222222222222222222222222222
2222222222222222222222222222222222222222222222222222222222222222
2222222222222222222222222222222222222222222222222222222222222222

444444444444444441111111111111111111111111111111111111111111
1111111111111111111112222222222222222222222222222222222222222222
2222222222222222222223333333333333333333333333333333333333333333
333333333333333333333444444444444444444444444444444444444444
4444444444444444444444444111111111111111111111111111111111111111
1111111111111111111111111222222222222222222222222222222222222222

444444444444444444444444444444444444444444444444444444411111
1111111111111444444444444442222222233333333333333333333333333333
3333333333331111111111111111111111111111111111111111111111111111
111113333333333333333333333333333333333333333333333333333333
3333333333333333333333111111111111122222222222222224444444222222
2222222222244444444444444444422222222222222222244444444444444444

422113341222232212121241313332341221131443133134331441324143
3131411132323414422112434313244224132344111321211221411412142133
3142314323414243344442423434441221213231324124311431131131113134
433221333342423334423242421114344113342422422412222112142331
4223241242244214323243234343144111442411341423331421423142242431
3314141144133311222134211113441143212142141234443142313422223321

233333333333333333333333333333333333333333333333333333333333
3333333333333333333333333333333333333333333333333333333333333333
3333333333333333333333333333333333333333333333333333333333333333
333333333333333333333333333333333333333333333333333333333333
3333333333333333333333333333333333333333333333333333333333333333
3333333333333333333333333333333333333333333333333333333333333333

222222222222222222222222233333333333333333333333333333333333
3333333333333333333333333333344444444444444444444444444444444444
4444444444444444444444444444411111111111111111111111111111111111
111111111111111111111111111112222222222222222222222222222222
2222222222222222222222222222222223333333333333333333333333333333
3333333333333333333333333333333334444444444444444444444444444444

444444444444444333333333333333333333333333333334444444444444
4444444444444444444444444333333333333333333333333333333333333333
3333333333333333333333333333333333333333333333333333333333333333
331111111111111111111111111111111111111111111111111111111111
1124444441111114444444444444444444444444444444444444444444444444
4442222222222222222222222222222222111111111111111111111111111111

211212344244233233232412441442112134341324411331421432423322
2124441133333142313241223312332213244411134332424141443442413434
1114134313111142131244231442132233234433441333311231331224233243
212213421113313342222321441223342241441343131231214422312224
2143424143121244323241414221424124443344313411223133134332122142
3412331231143141233312142223131112114221421342214132132243444442

333333333333333333333333333333333333333333333333333333333333
3333333333333333333333333333333333333333333333333333333333333333
3333333333333333333333333333333333333333333333333333333333333333
344444444444444444444444444444444444444444444444444444444444
4444444444444444444444444444444444444444444444444444444444444444
4444444444444444444444444444444444444444444444444444444444444444

444444444444444444444444444444444111111111111111111111111111
1111111111111111111111111111111111111222222222222222222222222222
2222222222222222222222222222222222222333333333333333333333333333
333333333333333333333333333333333333344444444444444444444444
4444444444444444444444444444444444444444411111111111111111111111
1111111111111111111111111111111111111111122222222222222222222222

111111111111111111111111111111444444444444444444444444444444
4444444444444444444444444444444422222222222222222222222222222222
2222222223333333333333333333333333311111111111111111111111111111
111111111111111333333333333333444444442222222222222222222222
2222222222222222222222222222222221111111111111111111111111111111
1111111111111111111111111114444444111111111111111111111111111111

442132144214233212314232232233434424312324443144113322144424
3123414343211122244334313444113331111334324423224432424244323212
3123321234124421443344434132433133132212411412122414244234341431
431314232332333221424342144312421221222124313244131142143311
2322241232413423144412313413433421133422134314441333114241141422
2311144131214442241421441121434121233143342114342424224341213442

444444444444444444444444444444444444444444444444444444444444
4444444444444444444444444444444444444444444444444444444444444444
4444444444444444444444444444444444444444444444444444444444444444
444444444444444444444444444444444444444444444444444444444444
4444444444444444444444444444444444444444444444444444444444444444
4444444444444444444444444444444444444444444444444444444444444444

222222222222222222222222222222222222222223333333333333333333
3333333333333333333333333333333333333333333334444444444444444444
4444444444444444444444444444444444444444444441111111111111111111
111111111111111111111111111111111111111111111222222222222222
2222222222222222222222222222222222222222222222222333333333333333
3333333333333333333333333333333333333333333333333444444444444444

111111111111111111111111111111111111111111111111111111111111
1111111144444444444444444444444444444444444444444441111111111111
2222221111111111111111111111111111111111111111111111111111112222
222222222222222222222222222222222222222222222222222222222222
2222222222222222222222222222222222222222222222222222221112222222
2222222222222222222222222222222222222222222222222222222222222222

244122143133334132224333232113411234414342323243121241233134
3342443333421112342424313411323341113342232341141332444233331241
4432223222143243442343423313211232144123242334441244234443232313
244134232441432223112224442414234133143423422421143243332232
3122133433223122424224133234212131311332431441114431133212122312
1132233312122123133312331133313133313313313111331131131111111111

Blocks of 512 nodes
69.0

68.8

68.9

68.9

Blocks of 64 nodes
69.4

69.4

69.4

69.5

Average of 32 nodes
69.7

69.7

69.4

69.7

Random nodes
70.9

71.0

70.6

70.5

This work has continued on the larger 28-cabinet CSCS system
JLUG on 10/17, 2014

Page 10

Cray XC40システムの冷却

Room
Air InRoom
Air Outl Inlet water 5-25C, condition
dependentl Inlet air 10-32C, if >25C
preconditioning used
JLUG on 10/17, 2014l Single air inlet and exhaustl Preconditioning option relaxes
inlet air requirementsl Outlet air conditioned (roomneutral)Page 11

Cray XC40-ACシステム● Cray XC40システムの廉価版● ノード性能は同じ（同じ計算ブレードを使用）● 1キャビネットに64ノードを収納（XC40システムは192ノード）● 空冷冷却方式（XC40システムは水冷冷却方式）● 電源は3相200V（XC40システムは3相400V）● 最大で8キャビネットまで構成が可能（最大500ノード）

JLUG on 10/17, 2014

Page 12（2） Cray CS400システム

JLUG on 10/17, 2014

Page 13

Cray Computing Solutions

Cray CS400
Cluster Supercomputers
Capacity Computing Focus• Price/Performance/Watt• Flexible system configurations• Industry Standards Technologies• Manageability and Reliability• Modular Scalability

Cray X40
Supercomputers
Capability Computing Focus• Application Scalability• HPC Optimized HW, SW & IP
• Price/Performance• Roadmap Upgradability• Reliability/Availability/Serviceability

Scaling Across the Performance Spectrum
JLUG on 10/17, 2014

Page 14

Cray CS400システムの構成要素● 使用用途、設置条件、予算に応じて自由に選択可能● 大規模システム専用設計のカスタマイズ実績
Accelerator# ofProcessors,Intel Xeon
Phi

10GbE

HDD

Air-Cooling

NFS# of Cores

NVIDIA GPU

InfiniBand
QDR

SSD

LequidCooling

LustreIntel Xeon

Other

InfiniBand
FDR

NAND Flash
MemoryAMD
OpteronJLUG on 10/17, 2014

Interconnect

Storage

Cooling

SharedStorage

Processors

Sonexion

DDN

Page 15

Cray CS400ブレード型サーバの構成例
ブレードシャーシ

SR5110 Subrack（5U）

サブラック管理アプライアンス

iSCB：サブラック管理アプライアンス• 10ブレード• 5CPU+GPUブレード
空
冷
タ
イ
プ

SR8116 Subrack（8U）• 16ブレード• 8CPU+GPUブレード

水
冷
タ
イ
プ

JLUG on 10/17, 2014

SR6110 Subrack（6U）• 10ブレード• 5CPU+GPUブレード• 水冷+低回転ファン搭載● 全てのブレード製品共通のI/F● 各計算ブレードのコンソールを一括管理● 冷却ファンのモニタリングと制御● 電源ユニットモニタリング● GPU/MIC 電源制御
● 温度モニタリング● BIOSアップグレード● IPMI 2.0を利用しBMCへアクセス可能● 管理ソフトウェアとの組み合わせで大規模
HPCシステムを効率よく管理可能

Page 16

Direct Warm Water Cooling
野外クーリングタワーで熱交換l ブレード内のプロセッサとメモリを直接水冷冷却l 野外クーリングタワーにより熱交換を行い最大システムの80%の発熱をカバー
l Warm Water Cooling技術を採用し、冷却にチ
ラーシステムを必要としません
l 設備投資、および運用コストが軽減
l ブレード内の温度が下がることで構成部品（CPU 61.5℃が43.3℃に）の故障率が減少
ブレード内のプロセッサとDDRメモリを直接冷却

JLUG on 10/17, 2014

Page 17

Cray CS400システムのカスタマイズ例
Cray CS-STORMラックマウントサーバ
l 2Uラックマウントシャーシに最大8つのNVIDIA Tesla GPU K40を搭載
l ユーザコード用にカスタマイズしたプラットフォーム
l エネルギーとフィナンシャル・サービス市場をターゲット

JLUG on 10/17, 2014

Page 18

（3） Crayのプログラミング環境

JLUG on 10/17, 2014

Page 19

Cray Programming Environment Distribution
Focus on Performance and Productivity
Programming
Languages

FortranProgramming
modelsDistributed
Memory(Cray MPT)
• MPI
• SHMEMC
Shared Memory• OpenMP 3.0• OpenACC
C++

PythonPGAS & Global
View• UPC (CCE)• CAF (CCE)• Chapel

Cray developed
Licensed ISV SW

Compilers

Cray Compiling
Environment
(CCE)

Tools

Optimized ScientificLibraries

Environment setup

LAPACK

ModulesModulesDDT

3rd Party
Compilers

lgdb
Debugging Support
Tools

PGI

• Abnormal
Termination
Processing

NetCDF

ScaLAPACK

Debuggers

GNU

I/O Libraries

HDF5
BLAS (libgoto)
Iterative
Refinement
Toolkit
Cray Adaptive
FFTs (CRAFFT)
FFTW

STAT

Cray PETSc(with CASK)

Performance Analysis

Cray Trilinos(with CASK)•CrayPat• CrayApprentice2

3rd party packaging
Cray added value to 3rd party

Scoping Analysis

RevealJLUG on 10/17, 2014

Page 20

Crayのコンパイラと計算ライブラリ
Benefits:l Focus on HPC, not just single node, but high scale parallel job
l Reliable PE for HPC users
l Make use of advanced HPC technology, Xeon Phi, GPU, Hybrid programmingl New users who need improved performance and standard compliance, can leverage Cray’s
Programming Environment experience and domain knowledge with scientific libraries andcompilers optimized for parallel programming with MPI 3.0, OpenMP 3.1 and OpenACC 2.0.

Features
Cray Compiler Environment (CCE)v Complete vectorization capabilities for hybrid applications and OpenACC directives.
v Gives users flexibility and compatibility of the programming environment that they
are most familiar with to be used for their specific application performancerequirements

C, C++ Compiler
Fortran Compiler

Cray LibSci, Scien:ﬁc & Math Libraries
v Compatible and tested with the cluster software stack including middleware software,
management and HPC programming tools.
v Offers a library of highly tuned linear algebra solvers that enhances user CPU andGPU application performance based on problem size, improving productivity for
Fortran, C, and C++ programmers.

JLUG on 10/17, 2014

LibsciLibsci-acc

Page 21

Example: Cray porting tool ‘Reveal’

NPB/MG benchmark test
Time in Seconds
Original

The
way touse
Reveal

1 Thread 2 Threads 4 Threads
2.79

Using Reveal for high levelloops, no assistance (fullautomation)

2.16

1.13

Using Reveal with Scope all
and Threshold

2.12

1.15

Using Reveal with Scope all

2.10

1.08

lThe original version was running 64 MPI tasks on 16 nodes.
lThe node had 16 cores/node.
lThe OpenMP version ran with OMP_NUM_THREADS = 1, 2, 4.
JLUG on 10/17, 2014

Page 22

（4） Cray TAS（Tiered Adaptive Storage）

JLUG on 10/17, 2014

Page 23

Managing Time-Value of Datal どのようなデータが本当に高速なストレージシステムを必要としているか？
v ユーザの約80%は、データの20%に対してのみで十分
v 実際には複数のペタバイト・ファイルシステムは不要かもしれません

l 解決手段はデータのTime-Valueを管理すること
v まれにアクセスされたデータは、適切なTier（ディスク／テープ）に自動的に移動
v データ・ライフサイクルを通してデータ保護を維持
v 特別なI/Fを使用せずにユーザによるすべてのTierへの透過的なアクセス

2500
2000

Maximum Eﬃciency

Parallel Access

Data Accessibility

25

Performance Scaling

Capacity Scalability

20

1500

15

1000

10

500

5

0

0
Day 1

JLUG on 10/17, 201430

Throughput and I/O

30 Days

60 Days

90 Days

180 Days

360 Days

Capacity (PB)

Throughput (MB/sec)

3000

2 Years

Page 24