新スーパーコンピュータ
AOBAのご紹介
東北大学サイバーサイエンスセンター
スーパーコンピューティング研究部 教授

滝沢 寛之<takizawa@tohoku.ac.jp>

サイバーサイエンスセンター
Cyberscience Center= 大規模コンピュータ(スパコン)を使って様々な科学技術の進展を支えるセンター「コンピュータの」という科学意味の形容詞/接頭語• 1969年に日本で2番目の全国共同利用型大型計算機(computational)センターとして設立（去年50周年）• 2001年に情報シナジーセンターへ改組• 2008年にサイバーサイエンスセンターへ改組

新スーパーコンピュータAOBAのご紹介

歴史と使命

 沿革
1969

設立

 使命

• 全国の学術利用のために最先端の計算環境を提供

Cyberscience

Info. Synergy

Computer Center• NEC SX-ACE ベクトル並列システムを運用(7月末まで)

1985

NEC SX-1

1989

NEC SX-2

1994

NEC SX-3

1998

NEC SX-4

2001

改組

2003

NEC SX-7

2008

改組
NEC SX-9

2015

NEC SX-ACE• 利用登録者数 1,556名 (2019年度)• 利用者支援• 性能測定，性能解析，高速化支援• 高性能計算に関するセミナーや講習会• 高性能計算に関する研究開発• 利用者や企業との共同研究• 高生産性かつ高性能な計算環境を実現するための次世代高性能計算システムやそのアプリケーションの創出• 研究と教育• 東北大学学部生・大学院生の指導

新スーパーコンピュータAOBAのご紹介いまだに高い利用率
大入

新スーパーコンピュータAOBAのご紹介

利用者支援・共同研究

 平成9年よりセンター教職員とベンダーの協働による高速化支援体制を構築
 利用者支援を重視• 技術職員1名あたり2～3件の高速化支援を常時担当

これまでの高速化支援実績
年度

1997

1998

1999

2000

2001

2002

2003

2004

2005

2006

2007

2008

2009

2010

2011

2012

2013

2014

2015

2016

2017

2018

件数

2

8891071820816

101588136119697

7

ベクトル化性能向上比

1.9

46.7

4.5

2.5

1.62.26.7

2.9

1.3

2.9

33

9.4

381

47

16.2

19.7

16.7

10.3

32

19.2

5.9

1.7

並列化性能向上比

11.1

18.4

31.7

8.6

4.9

2.8

18.6

4.5

5.3

8.1

1.9

5.1

3.6

48

17.2

15.3

12.9

8

53

1.2

3.6

• システム規模は小さいけれども利用者満足度でナンバー1を目指している情報基盤センターです!
新スーパーコンピュータAOBAのご紹介

10月稼働の新システム
 愛称:スーパーコンピュータ AOBA (あおば)• 公募期間:7月1日～31日• 応募総数:346件• 選定理由:• 新スパコンの愛称としての相応しさ・親しみやすさ• 36件の応募があり他を圧倒する高い支持率 (10.4%)

10月1日 運用開始
新スーパーコンピュータAOBAのご紹介システムの写真

新スーパーコンピュータAOBAのご紹介スパコンAOBAの全体像
AOBA-A

AOBA-B

新スーパーコンピュータAOBAのご紹介システム構成
第2世代VE

サブシステム AOBA-A
NEC SX-Aurora TSUBASA B401-8 x 72

AMD EPYC 7402P x 1
NEC Vector Engine Type 20B x 8Vector Engine Core x 8
HBM2E Module x 6

Node Performance- Comp.
: 20.7 TF- Mem size : 640 GB- Mem BW : 12.4 TB/s

サブシステム AOBA-B
NEC LX 406Rz-2 x 68
AMD EPYC 7702P x 2

Node Performance- Comp.
: 4.1 TF
- Mem size : 256 GB- Mem BW : 0.41 TB/s

システム全体性能: 1.78 Pflop/s, 924 TB/s
新スーパーコンピュータAOBAのご紹介標準ソフト + 専用ハード

Vector Host (VH)
= Standard x86 CPU

Vector Engine (VE)
= Vector Processor with HBMs

$ gcc matmul.c –o matmul$ ./matmul$ ncc matmul.c –o matmul
新スーパーコンピュータAOBAのご紹介$ ./matmul

メモリバンド幅の重要性
1024円なり256円なり・・・
1024円なり256円なり・・・
1024円なり256円なり・・・1024円なり256円なり・・・

超人的な腕前の持ち主
毎年指数関数的に腕をあげている
おっとりさんメモリ
新スーパーコンピュータAOBAのご紹介

プロセッサ真に役立つスパコンを目指して普通のスパコン

メモリ
性能バランスのとれたスパコン

演算性能
メモリ性能

演算性能

↑ AOBAはこちらを目指している
新スーパーコンピュータAOBAのご紹介

SXシリーズの特⾧
その時代の標準的なプロセッサよりも圧倒的に高いメモリバンド幅を実現
9.96x

Memory bandwidth of Intel x86 processors

Xeon (DDR4-3200*6) vs SX-Aurora2 (HBM2E*6)
新スーパーコンピュータAOBAのご紹介

多様な科学技術分野に貢献
Next-Generation SuperSonic
Transport

Turbine Design

Perpendicular Magnetic
Recording Medium Design

Nano Material Design

Earthquake Analysis
Antenna Analysis
Next-Generation CFD Analysis

Ozone-hole Analysis
Combustion Flow Simulation

MRJ

新スーパーコンピュータAOBAのご紹介

近年の代表的な成果例

 熱中症のシミュレーションを高速化してその成果を社会に還元 (江川隆輔(現東京電機大学教授)他)

熱中症シミュレーション（名工大平田教授開発）
環境に応じた人体の体温変化を計算し熱中症リスクを評価

スーパーコンピューティン研究部教員・技術職員による高速化支援により、従来7～16時間かかっていた1固体の評価を40秒程度で実現可能に．

H27～H29年度にかけて3度のプレスリリース、IEICE、IEEE共著学術論文、報道多数
新スーパーコンピュータAOBAのご紹介

日本気象協会，名工大と共に「熱中症セルフチェック」
ウェブページを公開

Egawa et al.@PMBS20

評価環境
SXACE
Core

SX-AT
10AE

SX-AT
20B

EPYC
7702

Xeon
6246

Xeon
6248

Clock Freq.
[GHz]

1

1.4

1.58

1.6

23.3

2.5

Peak Perf.
[Gflop/s]

64

268

304

307

32

105

80

4888641220

Peak Perf.
[Gflop/s]

256

2150

2433

2457

2048

1267

1600

Mem BW[GB/s]

256

1228

1352

1536

204

140

140

1

11

1222

Peak Perf.
[Gflop/s]

2562150

2433

2457

4096

2534

3200

System B/F

10.56

0.56

0.62

0.1

0.11

0.09

Socket No. of Cores

NodeSX-AT10BNo. of Sockets

新スーパーコンピュータAOBAのご紹介

AOBA

HPL 性能

Egawa et al.@PMBS20

Sustained Perf. / Peak Perf.

1 socket (1 VE)

新スーパーコンピュータAOBAのご紹介

2 sockets (2 CPUs)HPL 電力効率

新スーパーコンピュータAOBAのご紹介

Egawa et al.@PMBS20

HPCG 性能

Egawa et al.@PMBS20

Peak Memory Bandwidth

新スーパーコンピュータAOBAのご紹介

HPCG 電力効率

Egawa et al.@PMBS20

Sustained Perf. / Peak Perf.

新スーパーコンピュータAOBAのご紹介

HPCG & HPL on AOBA
Egawa et al.@PMBS20

Subsystem AOBA-B

Subsystem AOBA-A

NEC LX 406Rz-2 x 68

NEC SX-Aurora TSUBASA B401-8 x 72

Node Performance- Comp.
： 4.1 TF
- Mem size ： 256 GB- Mem BW ： 0.41 TB/s

Node Performance- Comp.
： 20.7 TF- Mem size ： 640 GB- Mem BW ： 12.4 TB/s

【SX-Aurora】
72VH(576VE) Peak 1415.6TF【AMD Rome 7702】
68node Peak 278.5TF

HPL : 1140.1TF (Efficiency 80.5%)

HPL : 161.7TF (Efficiency 58.08%)

HPCG : 75.3TF (Efficiency 5.32%)

HPCG :

2.55TF (Efficiency 0.92%)

一般的なx86サーバと比較して圧倒的に高い効率を達成
新スーパーコンピュータAOBAのご紹介

21実アプリによる評価
Vectorization[%]

Ave Vec Len

HPL

99.3

254.4

256320.31

HPCG99.0237.5

256Compute-intensive

3211.08

FDTD-MAS

99.6

252.7

110.29Reflect_Array

98.8

216.1

813.74

Heat_Stroke

99.3

214.2

16020

1.87

Nano_Powder

98.9

255.1

3232

2.40

MHD

99.6

249.6

Turbine

92.0

175.5

15920

2.52

Multiphase_Fl

29.1

18.0

11

12.88

Vector-unfriendly

新スーパーコンピュータAOBAのご紹介

No. ofProcesses

Egawa et al.@PMBS20

No. of VEs

B/F

Memory-intensive
25632

1.33

性能評価結果

Egawa et al.@PMBS20

SX-ACE : V% = 99.407%, VL = 237.95
SX-AT : V% = 99.632%, VL = 252.65
SX-ACE : $ hit = 15.6%
SX-AT : $ hit = 34.2%

Compute-intensive
次世代領域研究開発 - システムソフト (confidential)

Memory-intensive

Vector-unfriendly

VHとVEの連携

Egawa et al.@PMBS20

 Vector Host Call (VHC)• ベクトル化できない部分をVEからVHにオフロード

VH

VE
VHC

VectorizableNon-vectorizable

新スーパーコンピュータAOBAのご紹介

適材適所でプロセッサを利用した効果スパコンAOBAの特⾧

 標準的ソフトウェア、特色あるハードウェア• ソフトウェア (=使い勝手) は標準的なLinux環境• 研究室にある演算サーバと同じ環境で利用可能• データ科学やAI分野で世界的に使われているソフトウェアも利用可能• ハードウェア (=性能) は特色あるベクトル型• 高いメモリ性能とそれを活用するためのベクトル演算• AOBAで採用されているベクトルプロセッサは最大512演算を1命令で実行可能 (VFMA)• 通常のパソコンでは最大でも8つの数字の同時演算• 研究者自身が開発しているソフトウェアを高速化• 特別なハードウェアにもかかわらず普通のプログラミングで利用可能

 使い勝手と性能の両立 ＝ 真に役立つスパコン
新スーパーコンピュータAOBAのご紹介

HPCI Tier 2 Systems Roadmap (As of June 2020）
Fiscal Year

Hokkaido

2016

2017

2018

HITACHI
SR16000/M1（（172TF,22TB） ）HITACHI SR16000/M1
172TF,22TB
Cloud System BS2000 （44TF, 14TB））

Cloud System BS2000 （44TF, 14TB
Data Science Cloud / Storage HA8000 / WOS7000（10TF, 1.96PB）

TohokuTsukuba

Tokyo Tech.

2021

2022

Fujitsu CX2550 M4, CX400 M4（3.08PF, 377TB）
Fujitsu CX1640 M1, CX600 M1 （0.87PF, 32TB）
Fujitsu CX2550 M4, CX400 M4, RX2540 M4 （0.24PF）

PPX1(62TF)

HAPACS(1166TF)

2020

High performance inter cloud

SX-ACE(707TF,160TB, 655TB/s)
LX406e(31TF), Storage(4PB), 3D Vis, 2MW

Fujitsu FX10 (Oakleaf/Oakbridge) (1.27PFlops, 168TiB, 460 TB/s),

2025

AOBA

1.8PF, 0.5MW

PACS-XI 100PF (TPF)

BDEC 60+ PF (FAC/UCC+ TPF) 3.5-4.5MW

Kyoto
Osaka
KyushuJAMSTEC
ISM

Cray XC40(5.5PF) + CS400(1.0PF)
1.33 MW(983TF)

Cray XC30 (584TF)

NEC SX-ACE NEC Express5800(423TF) (22.4TF)
HA8000 (712TF, 242 TB)
SR16000 (8.2TF, 6TB)

2.0MW

FX10 (272.4TF, 36 TB)
CX400 (966.2 TF, 183TB)~20 PF (FAC/UCC + CFL-M)

100+ PF (FAC/UCC+CFL-M)

up to 3MW

up to 3MW

20-40+ PF(FAC/TPF + UCC) 1.5 MW

80-150+ PF(FAC/TPF + UCC) 2 MW

3.2PB/s,15~25Pflop/s, 1.0-1.5MW (CFL-M)

25.6 PB/s, 50-100Pflop/s(TPF) 1.5-2.0MW

OCTPUS 1.463PF (UCC)

OCTOPUS NEXT 5Pflop/sFujitsu PRIMERGY CX subsystem A + B, 10.4 PF (UCC/TPF) 2.7MW

100+ PF(FAC/TPF + UCC/TPF)

FX10 (90.8TFLOPS)～3MW～100PF, ～3MW

SX-ACE(1.3PF, 320TiB) 3MW
UV2000 (98TF,128TiB) 0.3MW

200+ PF(FAC+TPF)
6.5-8.0MW

TSUBAME 4.0 (60~100 PF, 6~10PB/s)(UCC+TPF+CFL-D) 1.2~2.0MW

2MW in total
Cray:XE6 +GB8K XC30

100+ PF(CFL-D/CFL-D)~4 MW

Post OFP 100+ PF 4.5-6.0MW(UCC + TPF)

Oakforest-PACS (OFP) 25 PF(UCC + TPF) 3.2 MW(542TF,71TiB)

2027

35 PF （UCC +CFL-M） 2MW

SX-Aurora TSUBASA(1.5PF,46.1TB, 910.7TB/s)
LX406Rz-2(278.5TF), Storage(2PB)

TSUBAME 3.0 (12.15 PF, 1.66 PB/s) 0.9MW

Fujitsu FX100 (2.9PF, 81 TiB)
Fujitsu CX400 (774TF, 71TiB)

2026~30PF, ~15PB/s Mem BW (CFL-D/CFL-M) ~3MW

(5.7 PF, 110+ TB, 1160 TB/s), 1.4MW

Nagoya

2024

4.2PF
1MW

Oakbridge-CX (UCC) 6.61 PF 0.95MW
Reedbush-U/H: 1.92 PF (FAC) 0.7MW (Reedbush-Uは2020年6月末まで)
Reedbush-L1.4 PF (FAC) 0.2 MW
Hitachi SR16K/M1 (54.9 TF, 10.9 TiB, 28.7 TB/s)

TSUBAME 2.5

2023

Cygnus 2.4PF (TPF) 0.4MW

COMA (PACS-IX) (1001 TF)

Tokyo

2019

2PF, 0.3MW

現在
新スーパーコンピュータAOBAのご紹介

Power is the maximum consumption including cooling26

システム更新計画
30Pflop/s?
15PB/s?

SX-9

新スーパーコンピュータAOBAのご紹介

SX-ACE

AOBA-1.0

AOBA-1.5