1

AOBA-1.5
スパコンAOBAの運用開始と将来展望
Supercomputing JAPAN! 2024
2024年3月12日@タワーホール船堀
東北大学サイバーサイエンスセンター

滝沢 寛之

2

スパコンAOBAとは?

東北大学サイバーサイエンスセンター
 沿革
1969

設立

3 使命

• 学術利用のために最先端の計算環境を提供• ベクトル型のスーパーコンピュータAOBAを運用

Computer Center~

1985

NEC SX-1

1989

NEC SX-2

1994

NEC SX-3• 利用登録者数 1,592名 (2024年2月末時点)• 利用者支援2020年10月
AOBA-1.0 稼働• 性能測定，性能解析，高速化支援• 高性能計算に関するセミナーや講習会

運用開始以降、常に高い利用率

Cyberscience

Info. Synergy「提供時間に対する利用時間の割合」は運用開始以降の平均で89.3%

1998

NEC SX-4

2001

改組

2003

NEC SX-7

2008

改組
NEC SX-9

2015

NEC SX-ACE• 研究開発型の情報基盤センター• 利用者や企業との共同研究• 高生産性かつ高性能な計算環境を実現するための次世代高性能計算システムやそのアプリケーションの創出
運用

システム

利用支援

設計

人材育成

研究開発

教育

スパコンAOBAの増強の歩み

利用率90％超え
⾧く待たなければ使えない状況が常態化

第1世代(AOBA-1.0)の運用開始直後からメモリバンド幅を重視してベクトル型スパコンを整備・運用

4

スパコンAOBAの増強の歩み

14倍の性能向上

より大規模/高速/多様/高精度な数値シミュレーションが可能に

5

スパコンAOBAの増強の歩み

世界1位の性能

ベクトル型スパコンとしてはベクトル型以外のスパコンも含む順位

世界50位 (国内4位) (*1)
メモリバンド幅は2023年11月時点で世界10位 (国内2位) (*2)
演算性能は2023年11月時点で*1 : TOP500 https://www.top500.org/lists/top500/2023/11/*2 : HPCG https://www.top500.org/lists/hpcg/2023/11/

6

新スパコン AOBA-1.5 の構成

7

今回の増強された部分
DDN ES400NVX2NEC SX-Aurora TSUBASA C401-8 x 504

AOBA-S

Storage21.05 Pflop/s
9.97 PB/s

Frond-end
servers

4.5 PB(Lustre)

Internet

InfiniBand NDR 200G
Ethernet 10G
InfiniBand HDR 200G

Front-end
servers

Storage

AOBA-A

AOBA-B

2 PB (ScaTeFS)

1.48 Pflop/s
893 TB/s

279 Tflop/s
29 TB/s

DDN SFA7990XE

NEC SX-Aurora TSUBASA B401-8 x 72

NEC LX 406Rz-2 x 68

AOBA-Sの物理構成

8

アプリケーション実行

VE: Vector Engine
ベクトルプロセッサを搭載する
PCI-Express カード形式のベクトル演算ユニット

x8

システム制御x1
8VE/2Uサーバー × 16台→ 128VEカード/ラック

システム全体で4,032VE

VEとGPUの実行方式の違い

9ベクトルGPU
アプリ実行

カーネル
実行

アプリ実行
システム
制御システム制御

アプリ実行

アプリ全体を実行

アプリの一部を実行

標準的ソフトウェア環境 + 特徴的ハードウェア

10• ヘテロなハードウェア構成を意識せずに利用可能

PCI-Express link
Vector Host (VH)
= 標準的な x86 CPU

Vector Engine (VE)
= 高いメモリバンド幅を持つベクトルプロセッサ$ gcc matmul.c –o matmul$ ./matmul$ ncc matmul.c –o matmul
新スーパーコンピュータAOBAのご紹介$ ./matmul

VE30プロセッサのアーキテクチャ

11

Core

Core

Core

Core

Core

Core

LLC

CoreCore

CoreCore

Core

Core

Core

VPU
410 GB/s

L3 Cache (2 MB)

LLC

Core

SPU

HBM2E

Core

410 GB/s

HBM2E

Core

Network on Chip (2D Mesh)
6.4 TB/s

HBM2E

HBM2E

HBM2E

HBM2E

16コア

Last-Level Cache (64 MB)
2.45 TB/s
Main Memory (96 GB)

VE20A

VE30A
10

1.6x

FP64演算性能 [TFLOP/s]

3.07

1.6x

メモリ帯域幅 [TB/s]

1.53

コア数

1.6x

16
4.91
2.45

メモリ容量 [GB]482x

LLC帯域幅 [TB/s]

3.0

2.1x

6.4

LLC容量 [MB]

164x

64

96

• コア専有L3キャッシュ•L3キャッシュはソフトウェア制御によってバイパスすることが可能• LLC内演算器•

各LLCバンクが加算器を内蔵することでリスト総和演算をLLC内で実行可能• FP32演算性能の強化•VE20ではFP32データが8バイトアラインされている必要があったが、4バイトアラインに緩和AOBA-Sの相互結合網とストレージ

12x16…

NDR Switch

NDR Switch

x2x16…

NDR SwitchHCA

NDR Switch

HCA

HCA

HCA

HCA…

HCA

…

NDR Switch

NDR Switch

Storage
Frontend Servers

32 VHs (64 HCAs)

504 VHs (1,008 HCAs)•

フルバイセクションかつノンブロッキングの2段Fat-treeトポロジによって計算ノード、ストレージ、各種サーバを接続•

計4.4 PBのLustreストレージ

13

性能評価結果のご紹介

詳しくは以下の論文を参照[1] Takahashi et al., “Performance Evaluation of a Next-Generation SX-Aurora TSUBASA
Vector Supercomputer,” ISC23.
[2] 高橋ら, ”ベクトル型スーパーコンピュータ「AOBA-S」の性能評価,” 第191回情処HPC研究会, 2023.

他のプロセッサとの比較
既設(AOBA-A) 新設(AOBA-S)
VE20B

VE30A

14
富岳

汎用GPU

A64FX

Xeon 8368

A100-80 PCIe

1.6

1.6

2.2

2.4

1.412

307 (DP)612 (SP)307 (DP)612 (SP)70 (DP)
140 (SP)

83.2 (DP)166 (SP)

181 (DP)
181 (SP)

81648

38

108

2.4 (DP)
4.9 (SP)

4.9 (DP)
9.8 (SP)

3.3 (DP)
6.7 (SP)

3.1 (DP)
6.3 (SP)

19.5 (DP)19.5 (SP)LLC Bandwidth [TB/s]

3.0

6.4

3.6

3.2

4.9

LLC Capacity [MB]1664325440

Mem Bandwidth [GB/s]

153624501024204

1935

Memory Capacity [GB]489632256

80

Clock Freq. [GHz]Core Peak Perf. [Gflop/s]
No. of Cores
Socket Peak Perf. [Tflop/s]

GPU並みのメモリバンド幅を持つプロセッサ
Takahashi et al., “Performance Evaluation of a Next-Generation SX-Aurora TSUBASA
Vector Supercomputer,” ISC23.
Takahashi et al.@ISC23

SPEChpc 2021(medium)による評価結果

15• 128ノード使用時の性能• コード改変なしでの比較結果• VE30はメモリ律速のベンチマークにおいて高い実行性能

NEC User Group Society Meeting 34

Takahashi et al.@ISC23

実アプリケーションによる性能評価• カタログスペックの向上率 (VE20 vs VE30)• 演算性能で2倍、メモリバンド幅で1.6倍• 実アプリケーションの向上率はそれ以上• メモリ階層の深化や新命令の追加による効果

メモリ・LLC
帯域幅の向上L3CとLLC
帯域幅の向上科学分野

律速要因

VE30/VE
20

Earthqua
ke

地震学

メモリ帯
域幅

1.56x

Turbulent
Flow

流体力学

LLC帯域
幅

2.33x

Antenna

電波工学

メモリ帯
域幅

1.77x

Land
Mine

電波工学

メモリ帯
域幅

1.92x

Turbine

流体力学

レイテン
シ

2.40x

Plasma

プラズマ
科学

レイテン
シ

2.41x

L3Cによるレイテンシ短縮
NEC UserGroup Society Meeting 34

Takahashi et al.@ISC23

大規模言語モデルでも使える?

17

https://sx-aurora.github.io/posts/Llama2-on-VE/https://www.ss.cc.tohoku.ac.jp

18

サブシステムAOBA-S（SX-Aurora TSUBASA）
利用形態

負担額および利用可能 VE 時間

共有
（無料）

利用 VE 数 1 （実行数，実行時間の制限あり）無料

共有
（従量）

課金対象時間 ＝ （利用 VE 数÷ 8 を切り上げた数）×経過時間（秒）
課金対象時間の合計 1 時間につき 100 円≒ ノード時間

課金対象時間は半期毎 (4〜9 月および 10〜3 月) に合計し，1 時間未満を切上げて負担金を請求する 。

共有
（定額）

負担額 10 万円につき課金対象時間の合計 1,000時間

占有

利用VE数8，利用期間3ヶ月につき 216,000円

サブシステムAOBA-A（SX-Aurora TSUBASA）
利用形態

負担額および利用可能 VE 時間

共有
（無料）

利用 VE 数 1 （実行数，実行時間の制限あり）無料

共有
（従量）

課金対象時間 ＝ （利用 VE 数÷ 8 を切り上げた数）×経過時間（秒）
課金対象時間の合計 1 時間につき 75 円

課金対象時間は半期毎 (4〜9 月および 10〜3 月) に合計し，1 時間未満を切上げて負担金を請求する 。

共有（定額）

負担額 10 万円につき課金対象時間の合計 1,400時間

占有利用VE数8，利用期間3ヶ月につき 162,000円
民間企業利用については成果公開型は2倍、成果非公開型は4倍の課金単価

https://www.ss.cc.tohoku.ac.jp

19

サブシステムAOBA-B（LX 406-Rz2）
利用形態

負担額および利用可能ノード時間

共有（従量）

課金対象時間 ＝ 利用ノード数 × 経過時間（秒）
課金対象時間の合計 1 時間につき 22 円

課金対象時間は半期毎 (4〜9 月および 10〜3 月) に合計し，1 時間未満を切上げて負担金を請求する 。

共有（定額）

負担額 10 万円につき課金対象時間の合計 4,600時間

占有

利用ノード数1，利用期間3ヶ月につき 47,000円
民間企業利用については成果公開型は2倍、成果非公開型は4倍の課金単価

アカウント登録は無料です！ 詳しくはウェブで！

ご利用をお待ちしております!!!

20

最近の研究成果と今後の展望

科学技術の進展を支えるインフラ• AOBA Users’ News「AOBAの杜」
https://www.cc.tohoku.ac.jp/usersnews/

21

安全安心な社会を支えるインフラ

22• リアルタイム津波浸水被害推計システム• 地震発生後20分以内に6時間後の浸水範囲、浸水被害等を推計
政府・自治体等の災害初動対応の方針決めの検討情報として活用• 内閣府、高知県、高知市、民間企業が利用中

AOBA で実運用

減災への思いから生まれた東北大学発ベンチャー企業
リアルタイム津波浸水・被害予測システムシステム等を用いた予測情報、計算結果を提供

～7分
断層推定

最大浸水深

～5 分
津波シミュレーション

～5分
被害推定

最大水位

地図化

配信

浸水域内人口2022年度 災害レジリエンス共創研究プロジェクト 「災害デジタルツイン実現に向けた調査研究」

共用スパコンで緊急ジョブ実行

23• 運用システムを緊急時にも活用する基盤技術• ヘテロ構成スパコンでの緊急ジョブの割り込み実行
SX-AT

VE

Process 𝑃

SIGSTOP

Running
Process 𝑃
Running

VH

Process 𝑃 Swap out

PPS buffer

StoppedSIGCONT

Process 𝑃

VH memory

VE上のジョブをVHへ部分的に退避してから緊急ジョブを実行 (Partial Process Swapping)𝑃 Swap in𝑃

ReadyPreemption

Resume• 通常ジョブへの影響を抑えるジョブスケジューリング

通常ジョブの実行時間

通常ジョブの速度低下率

東北大学サイバーサイエンスセンターのご紹介

緊急ジョブの開始遅延

Agung et al.@ IEEE ACCESS

防災減災に資するスパコンの役割の拡大

24• 過去１時間の降雨データと6時間先までの予測降雨データを用いて現状と６時間先までを予測• 30分間隔で送られてくる降雨データに基づくリアルタイム
河川氾濫予測 (〆切時刻が定められたシミュレーション)
三井共同建設コンサルタント様との産学共同研究

RRIモデル概要
河川水位のイメージ図(https://www.pwri.go.jp/icharm/research/rri/index_j.html)

Shimomura et al.@HiPC22

津波災害デジタルツイン!
•25

戦略的イノベーション創造プログラム(SIP) サブ課題
「津波災害デジタルツインの構築とスマート・レジリエンスの実現」（研究開発責任者:越村俊一 教授）• 津波におけるハザードとその社会影響を予測し、最適な災害対応をリアルタイムで提示

放射光施設ナノテラスとの密な連携

26• 3GeV高輝度放射光施設 NanoTerasuの運用開始• 東北大学青葉山キャンパスのサイエンスパーク内に設置

 スパコンAOBAへの期待＝ 大規模データの受け皿＋解析装置としての役割
Tohoku University
Cyberscience Center

100Gbps x 2

AOBA

Synchrotron Radiation Facility
NanoTerasu

36th Workshop on Sustained Simulation Performance

Data Lake新しいスパコンの使い方への対応

27• オンデマンド実行、センサーデータ処理など• リアルタイム河川氾濫予測シミュレーションの場合

降雨データ受信 → 過去１時間分の降雨データから、現状と６時間先までの予測
実況

予測
実況

予測
予測

実況

予測
予測

予測

予測
予測

予測

予測
予測

予測

予測
予測

予測

予測
予測

予測

• 30分後に次のデータを受信  シミュレーションを30分以内に完了する必要性• 計算時間は降雨量に依存して変化  大雨時に合わせて資源確保するのは無駄
Shimomura et al.@HiPC22効率的な運用に向けて

28
外部連携を伴う運用

学術利用のみ資源

資源

なるべく隙間なくジョブ実行

多様なジョブを連携させて実行
リアルタイム解析

A

時間

ABCの依存関係(AとCの同時実行不可)

BC

〆切

時間

順番待ち
=公平に実行

異なる時間制約・順序制約
SIP 津波災害DT グループ会議

ポスト「富岳」時代のスパコンセンターとして 29

情報ｼﾅｼﾞｰｾﾝﾀｰ

ｻｲﾊﾞｰｻｲｴﾝｽｾﾝﾀｰ~

大型計算機センター

次世代計算基盤に係る政策・技術動向 次世代計算基盤検討部会 中間取りまとめ概要(https://www.mext.go.jp/content/20210913-mxt_jyohoka01-000017979_02.pdf)

まとめ30• 東北大学のスパコンAOBAを大幅増強  AOBA-1.5• ベクトル型スパコンとしては世界最大 (2023年11月)• TOP 500 List 50位 (国内4位)• HPCG 10位 (国内2位)• 最新のベクトルプロセッサを搭載• NEC Vector Engine Type 30A• ヘテロな物理構成を意識することなく利用可能 メモリ律速の数値シミュレーションで高性能を期待

詳しくはウェブで• ポスト富岳時代に向けた東北大学の取り組み• 科学技術の進展を支えるインフラ• 数値シミュレーションの代表例は「AOBAの杜」の動画参照• 大規模実験施設(NanoTerasu)との連携によるさらなる用途拡大• 安心安全な社会を支えるインフラ• 津波災害デジタルツイン (東北大学 越村俊一教授)• リアルタイム河川氾濫予測 (三井共同建設コンサルタント株式会社)

 限られた計算資源を効率よく利用する運用技術の確立