現在使えるリソースのまとめ
金森逸作（広島大学）

2018 年 8 月 22 日

資料を提供して下さった•••

青山龍美さん
石川健一さん
松古栄夫さん

どうもありがとうございます (アルファベット順)

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

2/32

計算リソース•••

自前の計算機
計算時間を買う: 大学の計算機センター、レンタルサーバー、、、公募リソースを使う: HPCI 経由

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

3/32

計算リソース•••

自前の計算機
計算時間を買う: 大学の計算機センター、レンタルサーバー、、、公募リソースを使う: HPCI 経由

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

3/32

計算リソース•••

自前の計算機
計算時間を買う: 大学の計算機センター、レンタルサーバー、、、公募リソースを使う: HPCI 経由
どんな計算機が使える？特徴は？

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

3/32

計算リソース•••

自前の計算機
計算時間を買う: 大学の計算機センター、レンタルサーバー、、、公募リソースを使う: HPCI 経由
どんな計算機が使える？特徴は？

アンケートの結果より
n = 31
第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

3/32

「京」の運用停止とポスト「京」への移行に向けた説明会 (2018/1/24) より
https://hpci-c.jp/news/file/HPCIC_180124.pdf

ԇ༏Ԇਈԇ (2017ฅ10‫܆‬؆༏

HPCIଇ2؉అ

Ԇअ

HPCI‫̆܇‬༈ȅค
2017

2018

Fiscal Year2016

Hokkaido

HITACHI
SR16000/M1༏172TF,
22TB༏
HITACHI SR16000/M1༏172TF,
22TB༏
Cloud System BS2000 ༏44TF, 14TB༏
Cloud System BS2000 ༏44TF, 14TB
༏10TF, 1.96PB༏

Tsukuba

SX-ACE(707TF,160TB, 655TB/s)
LX406e(31TF), Storage(4PB), 3D Vis, 2MW
PPX1(62TF)()

HAPACS(1166TF)

2021

2022

Oakbridge-II 5-10 PF 1.0MW

Nagoyaค(  ̅)(3.5̅201940PF)

1.4MW

Fujitsu FX100 (2.9PF, 81 TiB)
Fujitsu CX400 (774TF, 71TiB)
2MW in total

Kyoto

Cray:XE6 +GB8K XC3050+ PF (FAC/UCC + CFL-M)

Crayy XC30 ((584TF))

Osaka
KyushuJAMSTEC
ISM

NEC SX-ACE NEC Express5800(423TF) (22.4TF)
HA8000 (712TF, 242 TB)
SR16000 (8.2TF, 6TB)

2.0MW

FX10 (272.4TF, 36 TB)
CX400 (966.2 TF, 183TB)

up to 4MW

100+ PF (FAC/UCC+CFL-M) up to 4MW

3.2PB/s,15~25Pflop/s, 1.0-1.5MW (CFL-M)

OCTOPUS 1.463PF (UCC)

FX10 (90.8TFLOPS)

25.6 PB/s, 50-100Pflop/s (TPF)
1.5-2.0MW

༏3MW

100PF, 3MW

SX-ACE(1.3PF, 320TiB) 3MW

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

200-300+ PF(FAC/TPF + UCC) 2 MW

100+ PF(FAC/TPF + UCC/TPF)

Fujitsu PRIMERGY CX subsystem A + B, 10.4 PF (UCC/TPF) 2.7MW

UV2000 (98TF,128TiB) 0.3MW

200+ PF (FAC)
6.5MW

TSUBAME 4.0 (100+ PF, >10PB/s, ~2.0MW)

50-100+ PF(FAC/TPF + UCC) 1.8-2.4 MW

Cray XC40(5.5PF) + CS400(1.0PF)
1.33 MW(983TF)

2027

100~200 PF,
100-200 PB/s
(CFL-D/CFL-D) ~4 MW

BDEC 50+ PF (FAC) 3.5MW

TSUBAME 3.0 (12.15 PF, 1.66 PB/s)ԇ̅ ‫܆‬अ5 PF

2026

100+ PF 4.5MW((UCC + TPF))

Oakforest-PACS (OFP) 25 PF(UCC + TPF) 3.2 MW

TSUBAME 2.6 ฅԉ

(5.7 PF, 110+ TB, 1160 TB/s), 1.4MW

2025

PACS-XI
100PF (TPF)

PACS-X 10PF (TPF) 2MW

Fujitsu FX10 (Oakleaf/Oakbridge) (1.27PFlops, 168TiB, 460 TB/s),

TSUBAME 2.52024

35 PF ༏UCC +CFL-M༏ 2MW

Reedbush-U/H: 1.92 PF (FAC) 0.7MW
Hitachi SR16K/M1 (54.9 TF, 10.9 TiB, 28.7 TB/s)
Reedbush-L1.4 PF (FAC) 0.2 MWTokyo Tech.

2023~30PF, ~30PB/s Mem BW (CFL-D/CFL-M) ~3MW

PPX2 (62TF)

COMA (PACS-IX) (1001 TF)

Tokyo

2020

3.7 PF (UCC(+ CFL/M)) 1.0MW
0.15 PF (Cloud)() 0.1MW༏

Data Science Cloud / Storage HA8000 / WOS7000

Tohoku2019

http://www.hpci-c.jp/news/HPCI-infra-20171025-summary.pdf

2PF, 0.3MW

4/32؉ȅ‫܆‬अ༄ഇĉ༏ਇਈЅ༏

Outline: HPCI を経由して使えるリソース（＋α）
http://www.hpci-office.jp/pages/h30_boshu_hpci_resource を元に作成

••
•
•
•
•
•
•
•

京; FX-100: 名古屋大
KNL: 北海道大、筑波大/東京大、京都大、大阪大
KNC: 筑波大、名古屋大
Xeon: 北海道大、東北大、筑波大、東京大、東工大、名古屋大、大阪大、九州大
ベクトル機（SX-ace）: 大阪大、東北大、JAMSTEC
GPU: 筑波大、東京大、東工大、大阪大、九州大Power7: 北海道大PEZY: （理研、KEK）
ポスト京: 2021 年〜

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

5/32

京コンピュータ : 2019 年まで （最長で 9 月）
特徴•••2012 年〜: アプリケーションは、かなりこなれている（はず）
SPARC64 VIIIfx: 128 GFlops/core, 8 core/node
レジスター数が多い: 256/coreloop unroling が有効（必須？）•••

SIMD 幅は 128 bits (= 倍精度の複素数一つ分 [単精度演算はない])
複素数演算の命令が充実 でも何故か i をかける操作がない
メモリアクセスが速い: 0.5 Byte/Flop
HPCG で 2017 年 11 月まで世界 1•

Tofu interconnect

比較的使いやすい（単に使い慣れた?）計算機
あと（最長）1 年で運用終了
次に使える計算機は何？どんな計算機？

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

6/32

FX-100: 2019 年まで（？）
名古屋大

特徴••

京の改良型: 京用のコードがそのまま動く
SIMD 幅は 256 bits, 32 core/cpu (1126 GFlop/cpu)
京の SIMD 幅 128 bits (もしくは 8 core/cpu) に特化したコードを使う
ときは要注意第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

7/32

Intel Xeon Phi cluster: Knights Landing (KNL)※ 生産終了のお知らせ [2018/7/23]: 受注は 2018/8/31 まで、出荷は 2019/7/19 まで
cf. qdms.intel.com/dm/i.aspx/9C54A9A7-BF37-4496-B268-BD2746EA54D3/PCN116378-00.pdf

北海道大（次期システム B）、筑波大/東京大（Oarkforest-PACS）、京都大（Cray XC40）、大阪大（OCTOPUS）

特徴

•
•
•

many core: 64–72 cores, 4 hyper threading /core
SIMD 幅: 512 bits (AVX-512 instruction sets)
16 GB の MCD-RAM （メモリとキャッシュの中間）∼ 0.08 Byte/Flops (単精度)、0.16 Byte/Flops (倍精度)••

レジスタ数は 32/thread(Intel Omnipath fabric)使い方••

512 bits の SIMD 幅を使いこなすには、データ構造を工夫する必要あり
core(thread) が多い: ロードバランス、同期のオーバヘッドに注意

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

8/32

Intel Xeon Phi cluster: Knights Corner (KNC)
生産終了。intel compiler も 2017 でサポート終了
筑波大（COMA）、名古屋大（CX400）

特徴•••
••
•

co-prosessor: ホストからオフロードする/ co-processor 単独で実行
many core: 57–61 cores
4 hyper threading /core
SIMD 幅: 512 bits — AVX-512 ではない！
レジスタ数は 32/thread
命令実行は in order: 適切なデータプリフェッチがないとパフォー
マンスが出ない

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

9/32

Intel Xeon Cluster
ほとんどの場所に何らかの Xeon Cluster があり（GPU や KNC のホスト含む）

AVX-512 対応: 北海道大（時期システム A）、九州大（サブシステム A,B）

いわゆる PC クラスターです。
特徴••••

core 数 ≤ 40 core/node
SIMD: 256 (AVX/AVX2) から 512(AVX-512) へ[KNL との比較] cache は L3 まである
手元の laptop/desktop/workstation にもっとも近い

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

10/32

vector（松古）第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

11/32

GPU は使いますか？ （アンケートの結果より）

n = 34••使っている/使いたい方が約 6 割
使い方（coding framework）は様々

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

12/32

GPU は使いますか？ （アンケートの結果より）

n = 34••使っている/使いたい方が約 6 割
使い方（coding framework）は様々

GPU の現状見てみましょう

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

12/32

gpu（松古）

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

13/32

gpu
（松古）

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

14/32

gpu
（松古）

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

15/32

gpu
（松古）

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

16/32

gpu
（松古）

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

17/32

gpu
（松古）

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

18/32

gpu
（松古）

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

19/32

gpu
（松古）

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

20/32

gpu
（松古）

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

21/32

gpu
（松古）

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

22/32

gpu
（松古）

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

23/32

  （青山）

   ! " " "

#

$ # ") %  & '( * #  " "  #  # '      * %  + +#  "   

#  ) +# !  "# ) " # ) "    #   ")

%, *- 

#  #. 

 / %)#  *  "#% 

 2" 1 # 3  / #01

+  $  "

# #



 "  ! ")   4"## 

5 

  ! !(" !    !

"  
第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

" 6-24/32

ARM、ポスト京คARM༏‫܇‬അ༏• ąԉࠅ༏༏ଆࠅ༏
HPCI༏https://www.hpci-c.jp/༏NEWS‫܇‬༏2018ฅ2‫܆‬2Ԇค‫܇‬༏ԇଆคค؉༏‫܆‬24Ԇԉคԉਈ؆༄ĉฅఈԆ̆ଅਈ༄Їࠅଇ༏؅ HPC-Phys ȅ༅༄@คअଅ‫܅‬इȇЇଅࠇਇȆ

第 12018/8/22
回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

225/3225/32

ARM、ポスト京คARM༏‫܇‬അ༏• ąԉࠅ༏༏ଆࠅ༏
HPCI༏https://www.hpci-c.jp/༏NEWS‫܇‬༏2018ฅ2‫܆‬2Ԇค‫܇‬༏ԇคค؉

༏‫܆‬24Ԇԉคԉਈ؆༄ĉฅఈԆଇ༏؅ HPC-Phys ȅ༅༄@คअଅ‫܅‬इȇЇଅࠇਇȆ

第 12018/8/22
回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

326/32

26/32

ARM、ポスト京คARM༏‫܇‬അ༏• ąԉࠅ༏༏ଆࠅ༏
HPCI༏https://www.hpci-c.jp/༏NEWS‫܇‬༏2018ฅ2‫܆‬2Ԇค‫܇‬༏ԇคค؉༏‫܆‬24Ԇԉคԉਈ؆༄ĉฅఈԆଇ༏؅ HPC-Phys ȅ༅༄@คअଅ‫܅‬इȇЇଅࠇਇȆ

第 12018/8/22
回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

427/3227/32

ARM、ポスト京คARM༏‫܇‬അ༏• ąԉࠅ༏༏ଆࠅ༏
HPCI༏https://www.hpci-c.jp/༏NEWS‫܇‬༏2018ฅ2‫܆‬2Ԇค‫܇‬༏ԇଆคค؉

༏‫܆‬24Ԇԉคԉਈ؆༄ĉฅఈԆ
ȅԇԇ
ਈȆഇ


ĉਈࠉ2017/2/9 ԉȅԇଇԉਈ؆༄
ਈ؆ԇਈȆഇ̅

ଇ༏؅ HPC-Phys ȅ༅༄@คअଅ‫܅‬इȇЇଅࠇਇȆ

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

52018/8/22

28/32
28/32ARM、ポスト京คARM༏‫܇‬അ༏• ąԉࠅ༏༏ଆࠅ༏
ARM ARM
༏https://.
.
ts/hp
༏Ettwt-ARMइąԉࠅȅ HPC
Eԉ

2018/8/22

ࠅଇ༏؅ HPC-Phys ȅ༅༄@คअଅ‫܅‬इȇЇଅࠇਇȆ

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

6



29/32
29/32

まとめ

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

30/32

まとめ
今/今後の計算機のトレンドが何であれ、使いこなす必要がある
分類
加速タイプ: GPU, KNC, PEZY
汎用タイプ: PC Cluster(Xeon/KNL), SX-ACE, 京, ポスト京•••

GPU が存在感を増している（top 500）
国内の GPU が使えるシステム (HPCI)
東工大 Tubame 3.0、東大 Reedbush-H/L、大阪大 OCTOPUS、
九大 ITO サブシステム B、筑波大 HA-PACS/TCA
汎用型はワイド SIMD へ（512bit）

データ移動 : CPU-メモリ, ホスト-GPU, GPU-GPU, node-node,...

••••

もちろん少ないほうが良い
マルチノード: node-node 通信を少なく、効率よく汎用タイプ: CPU-メモリがボトルネック（になることが多い）
GPU: データ移動の明示的な指示

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

31/32

まとめ
並列度は今後ますます増加：core 数、simd 長、、、
API based
Directive based
分散並列
MPI
XcalableMP
スレッド並列 Pthread, TBB
OpenMP
C++thread
自動並列化+指示文
SIMD 並列intrinsics
OpenMP 4.x
assembler
自動並列化+指示文
オフロード

OpenCL
CUDA(NVIDIA)

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

OpenACC
OpenMP 4.x
Hitachi Fortran

32/32

まとめ
並列度は今後ますます増加：core 数、simd 長、、、
API based
Directive based
分散並列
MPI
XcalableMP
スレッド並列 Pthread, TBB
OpenMP
C++thread
自動並列化+指示文
SIMD 並列intrinsics
OpenMP 4.x
assembler
自動並列化+指示文
オフロード

OpenCL
CUDA(NVIDIA)

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

OpenACC
OpenMP 4.x
Hitachi Fortran

32/32

まとめ
並列度は今後ますます増加：core 数、simd 長、、、
API based
Directive based
分散並列
MPI
XcalableMP
スレッド並列 Pthread, TBB
OpenMP
C++thread
自動並列化+指示文
SIMD 並列intrinsics
OpenMP 4.x
assembler
自動並列化+指示文
オフロード

OpenCLCUDA(NVIDIA)

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

OpenACC
OpenMP 4.x
Hitachi Fortran

32/32

まとめ
並列度は今後ますます増加：core 数、simd 長、、、
API based
Directive based
分散並列
MPI
XcalableMP
スレッド並列 Pthread, TBB
OpenMP
C++thread
自動並列化+指示文
SIMD 並列intrinsics
OpenMP 4.x
assembler
自動並列化+指示文
オフロード

OpenCL
CUDA(NVIDIA)

OpenACC
OpenMP 4.x
Hitachi Fortran

階層性を踏まえたアルゴリズムも重要

第 1 回 HPC-Phys 勉強会＠京大基研 2018/08/22 金森逸作

32/32