スーパーコンピュータ
AOBAの始動
東北大学サイバーサイエンスセンター
スーパーコンピューティング研究部 教授

滝沢 寛之<takizawa@tohoku.ac.jp>

歴史と使命 沿革1969

設立

 使命• 全国の学術利用のために最先端の計算環境を提供

Cyberscience

Info. Synergy

Computer Center• NEC SX-ACE ベクトル並列システムを運用(7月末まで)

1985

NEC SX-1

1989

NEC SX-2

1994

NEC SX-3

1998

NEC SX-4

2001

改組

2003

NEC SX-7

2008

改組
NEC SX-9

2015

NEC SX-ACE• 利用登録者数 1,556名 (2019年度)• 利用者支援• 性能測定，性能解析，高速化支援• 高性能計算に関するセミナーや講習会• 高性能計算に関する研究開発• 利用者や企業との共同研究• 高生産性かつ高性能な計算環境を実現するための次世代高性能計算システムやそのアプリケーションの創出• 研究と教育• 東北大学学部生・大学院生の指導

スーパーコンピュータAOBAの始動

利用者支援・共同研究

 平成9年よりセンター教職員とベンダーの協働による高速化支援体制を構築
 利用者支援を重視• 技術職員1名あたり2～3件の高速化支援を常時担当

これまでの高速化支援実績
年度
件数
ベクトル化性
能向上比
並列化性能向上比

1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 20182889107182081610

158

1.9 46.7

4.5

2.5

1.6

2.2

6.7

2.9

1.3

2.9

33

9.4

381

11.1 18.4 31.7

8.6

4.9

2.8 18.6

4.5

5.3

8.1

1.9

5.1

3.6

8

136

119

97

7

47 16.2 19.7 16.7 10.3

32 19.2

5.9

1.7

48 17.2 15.3 12.9

5

1.2

3.6

863

• システム規模は小さいけれども利用者満足度でナンバー1を目指している情報基盤センターです！
スーパーコンピュータAOBAの始動

メモリバンド幅の重要性
1024円なり256円なり・・・1024円なり256円なり・・・1024円なり256円なり・・・1024円なり256円なり・・・

超人的な腕前の持ち主
毎年指数関数的に腕をあげている
おっとりさんメモリ
スーパーコンピュータAOBAの始動

プロセッサ多様な科学技術分野に貢献
Next-Generation SuperSonic
Transport

Turbine Design

Perpendicular Magnetic
Recording Medium Design

Nano Material Design

Earthquake Analysis
Antenna Analysis
Next-Generation CFD Analysis

Combustion Flow Simulation

MRJ

スーパーコンピュータAOBAの始動

Ozone-hole Analysis

近年の代表的な成果例

 熱中症のシミュレーションを高速化してその成果を社会に還元 (江川隆輔(現東京電機大学教授)他)

熱中症シミュレーション（名工大平田教授開発）
環境に応じた人体の体温変化を計算し熱中症リスクを評価

スーパーコンピューティン研究部教員・技術職員による高速化支援により、従来7〜16時間かかっていた1固体の評価を40秒程度で実現可能に．

H27〜H29年度にかけて3度のプレスリリース、IEICE、IEEE共著学術論文、報道多数
スーパーコンピュータAOBAの始動

日本気象協会，名工大と共に「熱中症セルフチェック」
ウェブページを公開

新システムAOBAの始動
 愛称：スーパーコンピュータ AOBA (あおば)• 公募期間：7月1日～31日• 応募総数：346件• 選定理由：• 新スパコンの愛称としての相応しさ・親しみやすさ• 36件の応募があり他を圧倒する高い支持率 (10.4%)

10月1日 運用開始
スーパーコンピュータAOBAの始動

AOBA運用開始記念サイト
https://www.cc.tohoku.ac.jp/aobadebut.html
東北大学理事・副学長

青木 孝文

東北大学サイバーサイエンスセンター長

菅沼 拓夫

文部科学省研究振興局参事官（情報担当）付 計算科学技術推進室長

宅間 裕子

日本電気株式会社 代表取締役 執行役員社長 兼 CEO

新野 隆

Director, The High Performance Computing Center (HLRS) in Stuttgart

Michael M. ReschDirector, Research Computing Center, Lomonosov Moscow State University

Vladimir Voevodin

東京理科大学工学部情報工学科 教授 (JAXA 名誉教授)

藤井 孝蔵

NUG (NEC User Group) 会長、大阪大学サイバーメディアセンター 准教授

伊達 進

掲載順 (敬称略)
スーパーコンピュータAOBAの始動

スパコンAOBAの全体像
AOBA-A

AOBA-B

スーパーコンピュータAOBAの始動

システム構成
第2世代VE

サブシステム AOBA-A
NEC SX-Aurora TSUBASA B401-8 x 72

AMD EPYC 7402P x 1
NEC Vector Engine Type 20B x 8
Vector Engine Core x 8
HBM2E Module x 6

Node Performance- Comp.
： 20.7 TF- Mem size ： 640 GB- Mem BW ： 12.4 TB/s

サブシステム AOBA-B
NEC LX 406Rz-2 x 68
AMD EPYC 7702P x 2

Node Performance- Comp.
： 4.1 TF
- Mem size ： 256 GB- Mem BW ： 0.41 TB/s

システム全体性能: 1.78 Pflop/s, 924 TB/s
スーパーコンピュータAOBAの始動

ベクトルプロセッサ

スーパーコンピュータAOBAの始動

標準ソフト + 専用ハード

Vector Host (VH)
= Standard x86 CPU

Vector Engine (VE)
= Vector Processor with HBMs

$ gcc matmul.c –o matmul$ ./matmul$ ncc matmul.c –o matmul
スーパーコンピュータ
AOBAの始動$ ./matmul

通常のプログラム実行
Memory space
論理的にはメモリ空間が分割されてOSやそれぞれのプロセスに割り当てられている

P1

P2
Linuxx86

スーパーコンピュータAOBAの始動

VEでのプログラム実行
Memory space

Memory space

物理的にも分けた！
物理的に別のHWであるVE上で動作OSの機能が必要な場合にはVH上のLinuxを利用
 事実上Linux OSのすべての機能が使える
System call

P2

P1
Linux
VH

スーパーコンピュータAOBAの始動

P2
LinuxVEオーバヘッド低減
 Direct I/O• VHを経由せずにI/O

図：NEC Scalable Technology File System (ScaTeFS)運用手引の手引より

運用中のAOBA-AでのIOR-3.4によるファイルI/O性能評価結果
スーパーコンピュータAOBAの始動

Egawa et al.@PMBS20

評価環境
Core

Clock Freq.
[GHz]

1

SX-AT
10B

SX-AT
10AE

SX-AT
20B

1.4

1.58

1.6

EPYC
7702

2Xeon
6246

3.3

Xeon
6248

2.5

Peak Perf.
[Gflop/s]

64268

3043073210580

Peak Perf.
[Gflop/s]

4256

82150

82433

82457

642048121267

201600Mem BW[GB/s]

2561228

1352

1536

204140140

Peak Perf.
[Gflop/s]

1256

12150

12433

12457

24096

22534

23200

10.56

0.56

0.62

0.1

0.11

0.09

Socket No. of Cores

Node

SXACE

No. of Sockets

System B/F

スーパーコンピュータAOBAの始動

AOBA

HPL 性能

Egawa et al.@PMBS20

演算性能 (flop/s)
実行効率：HPL性能 / 理論性能

1 socket (1 VE)

スーパーコンピュータAOBAの始動

2 sockets (2 CPUs)HPL 電力効率

Egawa et al.@PMBS20

電力効率：HPL性能 / 電力

実行効率：HPL性能 / 理論性能

スーパーコンピュータAOBAの始動

HPCG 電力効率

Egawa et al.@PMBS20

電力効率：HPCG性能 / 電力

実行効率：HPCG性能 / 理論性能

スーパーコンピュータAOBAの始動

HPCG & HPL on AOBA
Egawa et al.@PMBS20

Subsystem AOBA-B

Subsystem AOBA-A

NEC LX 406Rz-2 x 68

NEC SX-Aurora TSUBASA B401-8 x 72

Node Performance- Comp.
： 4.1 TF
- Mem size ： 256 GB- Mem BW ： 0.41 TB/s

Node Performance- Comp.
： 20.7 TF- Mem size ： 640 GB- Mem BW ： 12.4 TB/s

【SX-Aurora】
72VH(576VE) Peak 1415.6TF【AMD Rome 7702】
68node Peak 278.5TF

HPL : 1140.1TF (Efficiency 80.5%)

HPL : 161.7TF (Efficiency 58.08%)

HPCG : 75.3TF (Efficiency 5.32%)

HPCG :2.55TF (Efficiency 0.92%)

一般的なx86サーバと比較して圧倒的に高い効率を達成
スーパーコンピュータAOBAの始動

20実アプリによる評価
Vectorization[%]

Ave Vec Len

99.3

254.4

HPCG

99.0

237.5

FDTD-MAS

99.6

Reflect_Array

HPL

No. ofProcesses

Egawa et al.@PMBS20

No. of VEs

256
Compute-intensive

32

0.31

32

11.08

252.7

110.29

98.8

216.1

813.74

Heat_Stroke

99.3

214.2

160

20

1.87

Nano_Powder

98.9

255.1

3232

2.40

MHD99.6

249.6

Turbine

92.0

175.5

159202.52

Multiphase_Fl

29.1

18.0

1112.88

Vector-unfriendly

スーパーコンピュータAOBAの始動

256

B/F

Memory-intensive
256321.33

性能評価結果
SX-ACEからの速度向上率

SX-ACE : $ hit = 15.6%
SX-AT : $ hit = 34.2%

Compute-intensive

スーパーコンピュータAOBAの始動

Egawa et al.@PMBS20

SX-ACE : V% = 99.407%, VL = 237.95
SX-AT : V% = 99.632%, VL = 252.65

Memory-intensive

Vector-unfriendly

VHとVEの連携

Egawa et al.@PMBS20

 Vector Host Call (VHC)• ベクトル化できない部分をVEからVHにオフロード

VHVE
VHC

VectorizableNon-vectorizable

スーパーコンピュータAOBAの始動適材適所でプロセッサを利用した効果スパコンAOBAの特長

 標準的ソフトウェア、特色あるハードウェア• ソフトウェア (=使い勝手) は標準的なLinux環境• 研究室にある演算サーバと同じ環境で利用可能• データ科学やAI分野で世界的に使われているソフトウェ
アも利用可能• ハードウェア (=性能) は特色あるベクトル型• 高いメモリ性能とそれを活用するためのベクトル演算• AOBAで採用されているベクトルプロセッサは最大512演算を1命令で実行可能 (VFMA)• 研究者自身が開発しているソフトウェアを高速化• 特別なハードウェアにもかかわらず普通のプログラミングで利用可能

 使い勝手と性能の両立 ＝ 真に役立つスパコン
スーパーコンピュータAOBAの始動

アカウント登録は無料です！ 詳しくはウェブで！

https://www.ss.cc.tohoku.ac.jp
サブシステムAOBA-A（SX-Aurora TSUBASA）

利用形態

負担額および利用可能 VE 時間共有（無料）利用 VE 数 1 （実行数，実行時間の制限あり）無料

共有（従量）

課金対象時間 ＝ （利用 VE 数÷ 8 を切り上げた数）×経過時間（秒）
課金対象時間の合計 1 時間につき 125 円≒ ノード時間

課金対象時間は半期毎 (4～9 月および 10～3 月) に合計し，1 時間未満を切上げて負担金を請求する 。

共有
（定額）

負担額 10 万円につき課金対象時間の合計 800時間

占有

利用VE数8，利用期間3ヶ月につき 270,000円

サブシステムAOBA-B（LX 406-Rz2）
利用形態
共有
（従量）

負担額および利用可能ノード時間
課金対象時間 ＝ 利用ノード数 × 経過時間（秒）
課金対象時間の合計 1 時間につき 22 円

課金対象時間は半期毎 (4～9 月および 10～3 月) に合計し，1 時間未満を切上げて負担金を請求する 。

共有
（定額）

負担額 10 万円につき課金対象時間の合計 4,600時間

占有

利用ノード数1，利用期間3ヶ月につき 47,000円

スーパーコンピュータAOBAの始動 民間企業利用については成果公開型は2倍、成果非公開型は4倍の課金単価

HPCI Tier 2 Systems Roadmap (As of June 2020）
Fiscal Year

Hokkaido

2016

2017

2018

HITACHI
SR16000/M1（172TF, 22TB）HITACHI SR16000/M1（172TF,22TB）
Cloud System BS2000 （44TF, 14TB））

Cloud System BS2000 （44TF, 14TB
Data Science Cloud / Storage HA8000 / WOS7000（10TF, 1.96PB）

TohokuTsukuba
Tokyo
Tokyo Tech.

2019

2021

2022

High performance inter cloud

Fujitsu CX2550 M4, CX400 M4（3.08PF, 377TB）
Fujitsu CX1640 M1, CX600 M1 （0.87PF, 32TB）
Fujitsu CX2550 M4, CX400 M4, RX2540 M4 （0.24PF）

SX-ACE(707TF,160TB, 655TB/s)
LX406e(31TF), Storage(4PB), 3D Vis, 2MW
PPX1(62TF)

HAPACS(1166TF)

2020

Fujitsu FX10 (Oakleaf/Oakbridge) (1.27PFlops, 168TiB, 460 TB/s),

SX-Aurora TSUBASA(1.5PF,46.1TB, 910.7TB/s)
LX406Rz-2(278.5TF), Storage(2PB)

AOBA

Kyoto
Osaka
KyushuJAMSTEC
ISM(542TF,71TiB)

2MW in total

Cray XC30 (584TF)

NEC SX-ACE NEC Express5800(423TF) (22.4TF)
HA8000 (712TF, 242 TB)
SR16000 (8.2TF, 6TB)

2.0MWFX10 (272.4TF, 36 TB)
CX400 (966.2 TF, 183TB)

PACS-XI 100PF (TPF)

BDEC 60+ PF (FAC/UCC+ TPF) 3.5-4.5MW~20 PF (FAC/UCC + CFL-M)

200+ PF(FAC+TPF)
6.5-8.0MW

100+ PF (FAC/UCC+CFL-M)

up to 3MW

up to 3MW

20-40+ PF(FAC/TPF + UCC) 1.5 MW

80-150+ PF(FAC/TPF + UCC) 2 MW

3.2PB/s,15~25Pflop/s, 1.0-1.5MW (CFL-M)

25.6 PB/s, 50-100Pflop/s(TPF) 1.5-2.0MW

OCTPUS 1.463PF (UCC)

OCTOPUS NEXT 5Pflop/s

Fujitsu PRIMERGY CX subsystem A + B, 10.4 PF (UCC/TPF) 2.7MW

100+ PF(FAC/TPF + UCC/TPF)

FX10 (90.8TFLOPS)SX-ACE(1.3PF, 320TiB) 3MW
UV2000 (98TF,128TiB) 0.3MW

1.8PF, 0.5MW

100+ PF(CFL-D/CFL-D)~4 MW

TSUBAME 4.0 (60~100 PF, 6~10PB/s)(UCC+TPF+CFL-D) 1.2~2.0MW

Cray XC40(5.5PF) + CS400(1.0PF)
1.33 MW(983TF)

2027

Post OFP 100+ PF 4.5-6.0MW(UCC + TPF)

Oakforest-PACS (OFP) 25 PF(UCC + TPF) 3.2 MW

TSUBAME 3.0 (12.15 PF, 1.66 PB/s) 0.9MW

Fujitsu FX100 (2.9PF, 81 TiB)
Fujitsu CX400 (774TF, 71TiB)

2026~30PF, ~15PB/s Mem BW (CFL-D/CFL-M) ~3MW

Oakbridge-CX (UCC) 6.61 PF 0.95MW
Reedbush-U/H: 1.92 PF (FAC) 0.7MW (Reedbush-Uは2020年6月末まで)
Reedbush-L1.4 PF (FAC) 0.2 MW
Hitachi SR16K/M1 (54.9 TF, 10.9 TiB, 28.7 TB/s)

Cray:XE6 +GB8K XC30

2025

35 PF （UCC +CFL-M） 2MW

4.2PF
1MW

(5.7 PF, 110+ TB, 1160 TB/s), 1.4MW

Nagoya2024

Cygnus 2.4PF (TPF) 0.4MW

COMA (PACS-IX) (1001 TF)

TSUBAME 2.5

2023～3MW～100PF, ～3MW
2PF, 0.3MW

現在
スーパーコンピュータAOBAの始動

Power is the maximum consumption including cooling26

システム更新計画
30Pflop/s?
15PB/s?

SX-9

スーパーコンピュータAOBAの始動

SX-ACE

AOBA-1.0

AOBA-1.5