計算科学研究センター
スーパーコンピュータ
Cygnusの概要

Cygnusについて
計算科学研究センターではこれまでGPU、many-core等のアクセラレータ付きクラスタによる超高速演算加速スーパーコンピュータを導入して来ました。many-coreスーパーコ
ンピュータとしてIntel Knits Cornerカードを搭載したクラスタCOMAは2019年3月末をもって運用を終了します。このプログラムや利用技術は筑波大学・東京大学共同運用によるOakforest-PACS (Intel Knights Landingプロセッサによる超並列クラスタ）に引き継がれています。また、GPUクラスタHA-PACS及びHA-PACS/TCAはそれぞれ2018年3月、2018年10月をもって運用が終了しました。
同センターでは、次世代のスーパーコンピュータとして、GPUクラスタの技術を踏襲しつつ、さらなる新技術の開発とアプリケーションプログラム開発を目指し、GPUに加え超高性能FPGAを併せて搭載する計算ノードを持つ新スーパーコンピュータCygnusを導入することになりました。Cygnusの全ノードは4台の最新型GPUを備え、さらに全ノードの半分弱のノードにはこれらに加え2台の最新型FPGAを搭載します。
GPUとFPGAの混載により、これまでGPUだけでは効率的な計算が難しかったアプリ
ケーションの性能を高め、またこれからの時代のstrong scaling並列処理に対応する演算加速技術の確立を目指すことを目的とし、Cygnusクラスタの運用を行います。

Cygnusの構成(1)• 筑波大学計算科学研究センターが平成31年4月より運用を開始
するスーパーコンピュータ• システム構成•”ih:BF”ic4UKR NX
dm v

• 7NWNK

c7NWNK WXMNd u:BFg9B:4z 4UKR NX• 6BF1 W NU INXW :XUM -()- ) -: b () LX N ) XLTN
• :BF1 @G 7 4 EN U G( B6 N +•NVX a 6BF 1 (0) :R5# ),, 0 :5•
NVX a :BF 1 ) :R5 + 2 ()/ :R5# 0 :5+2 • @N X T1 WORWR5 WM 7C(+ L WWNU + :K+• @XMN D X PN1 @G N )E5:5• 4UKR NX ”i• 9B:41 @ UU NL ,) @ W NU DR (• W N 9B:4 @N X T1 ( :K )7 EXR( :5/ /+L

WWNU NX

Cygnusの構成(2)• Albireo nodeのFPGA• W NU D
R ( :I)/ERUN• 81 )., =P N / RW + XXXT
• NVX a

E KUN

• 5C4 1 ) = ))0 KR•
451 (, KR• 8 N W U VNVX a1 ) :R5# .- / :5

• 8 N W U WN

X T1 (:K+LWWNU(KRNPR N

Cygnusの構成(3)• 共有ファイルシステム•”i mvN• C4 7• c X Td upswv) , B5eN

LN xz ii

• システム理論ピーク性能
• ”i
• 6BF
• :BF
• 9B:4•h 7NWNK +/ WXMN # 4UKR NX) WXMN 2 / WXMNMX KUN NLR RXW h) E9 ABD / 2 (- E9 ABD
MX KUN NLR RXW h)/ E9 ABD / 2 ))+ E9 ABD
RWPUN NLR RXW 1 ( E9 ABD) 2 ) E9 ABD
MX KUN NLR RXW 1 ) + B9 ABD
RWPUN NLR RXW 1 , () B9 ABD• システムNetwork理論ピーク性能• (:Kups+/ 2 +:5O UU KR NL RXW K WM RM

Cygnusの構成(4)• ホーム領域•”i mk• c XVNd upsiv@9Deups• 外部ネットワーク• ( :K+ X• ログインノード•m• 9B:4x“i”iivx”i”iwj WORWR5 WM 87C
prxi

Albireo nodeのブロックダイアグラム
SINGLENODE(with FPGA)CPU

Network switch(100Gbps x2)

HCA

Network switch(100Gbps x2)

CPU

HCA

HCA

HCA

PCIe network (switch)

PCIe network (switch)

GP
UGPU

GP
U

FPGA

Inter-FPGA
direct network(100Gbps x4)

GPU

FPGA

Inter-FPGA
direct network(100Gbps x4)

Deneb nodeのブロックダイアグラム
Network switch
SINGLE(100Gbps x2)
NODE(without FPGA)CPUHCA

Network switch(100Gbps x2)

CPU

HCA

HCA

PCIe network (switch)

PCIe network (switch)

GP
U

GP
U

GP
U

GP
U

HCA

2種類の相互結合網
9B:4

4UKR NXx

9B:4

9B:4

9B:4

9B:4

9B:4

9B:4

9B:4

9B:4

9B:4”i5

LXV
WXMN

w

7C(…

i)

LXV
WXMN

7NWNK WXMN
4UKR NX”i x-+
9B:4 WXMNky)i wo) (/ ()x9B:4j)ivpt”iw

il

8B66 66D HX T@N

XT (LXVWXMN:KLXV
WXMN

4UKR NX WXMN+ WXMN

LXV
WXMN
LXV
WXMN

…

9B:4xi y WORWR5 WMw
xte B w
nf6BF z:BFx
ne9B:4m 6BF
psxfX ) (/38MRWK P0

Cygnusの性能・機能諸元
ItemSpecification

BN T N OX V WLN) + B9 ABD 7B:BF1 ) ) B9 ABD# 6BF1 ) B9 ABD# 9B:41 - B9 ABD DB
NW WLNM Ka VR NM NLR RXW WM
R KUN NLR RXW XW 9B:4XO WXMN./) 4UKR NX :BF 9B:4 WXMN # +- 7NWNK :BF XWUa WXMN) MMR RXW U WXMNRUU LXVN# RW X U /NVX a(0) :R5 77C+ )--- WXMN 2 ),-:56BF

WXMNW NU INXW :XUM D=:BF

WXMN@G 7 4 G(+ B6 N

9B:4WXMNW NU D) N L:UXK U 9RUN Da NV

R (# ):R5+ OX :BF WXMN 2-E5+ URWT

9B:4 WM / URWT

WXMN) XLTNR(:KN# C4 7-# ) , B5W N LXWWNL RXW @NXTNUU WX WORWR5 WM 7C(++ E5PP NP NM K WM RM S

B XP VVRWPPN

6BF1 6# 6 # 9X
W# A NW B# :BF1 A NW466# 6F74
9B:41 A NW6 # GN RUXP 7

Da NV GNWMXWP@86

X L KUN XO7C)WXMN