数値計算とAIを融合する
スーパーコンピュータ「不⽼」
名古屋大学

情報基盤センター
片桐孝洋

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜
2020年8月27日(木) フォーラム 16:25-17:25（講演 40分 Q&A 20分）
オンライン開催（ZOOM予定）

1

SS研HPCフォーラム2020 富岳スペシャ
ル〜システムから応⽤〜

まとめ スパコン「富岳」ベース

2020年6月のTOP500で世界一 (415PFLOPS) のスーパーコンピュータ「富岳」の同型機を正式運⽤開始（2020年7月1日〜、TypeⅠサブシステム） スーパーコンピュータ「不⽼」の特徴
1.
2.
3.
4.
5.

2

敷居が低い
（研究目的等に問題無なら有資格者が誰でも利⽤可）AI/機械学習研究を加速するGPU（TypeⅡサブシステム）
100年データ保存可能な最大6PBの光ディスクストレージ
充実した可視化システム
湧⽔を⽤いたエコ冷却、夏季電⼒を制御するシステム
SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

まとめ 異常気象解析、津波シミュレーション、

遺伝⼦解析、医療診断⽀援、⾃動運転から宇宙の仕組みの解明まで幅広い研究をサポート

 スーパーコンピュータ「不⽼」特有のアプリケーション例

 台風のメカニズム解析
 医⽤画像処理
 ⾃動運転 プラズマシミュレーション
 高精細可視化
3

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

システム紹介

4

SS研HPCフォーラム2020 富岳スペシャ
ル〜システムから応⽤〜

導入の背景 研究のデジタル化 (デジタルサイエンス)
コンピューティングを活⽤した研究の広まり AI/機械学習研究の増大

⾃動運転、医療、創薬 シミュレーション研究の増加

異常気象、津波など国⺠の安全に密接にかかわる現象 生命・宇宙などの基礎科学 データの爆発的増大

元データ、解析結果、AI学習結果など

 従来のスパコンでは明らかな能⼒不⾜
5

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

設置状況
 2020年7月1日、スーパーコンピュータ「不⽼」が稼働開始しました。現在も順調に稼働中です。
 名古屋大学 情報基盤センター 本館地下1階の様⼦Type II

計算機室入口クラウド

クラウド

Type I
Type III

Type II
計算機室入口Type I

6

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

スーパーコンピュータ「不⽼」
全体図

7

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

名古屋大学情報基盤センターのスパコンの歴史
96

00

Fujitsu M-1800

Fujitsu GP7000F/90

メインフレーム系

05

09

Fujitsu
HPC2500

13
Fujitsu HX600,
M9000

スーパーコンピュータ「不⽼」導入15
Fujitsu
CX400

20
CX400

Fujitsu
CX2570GPUサーバアプリケーションサーバ

スカラー型スパコン

Fujitsu VPP500

Fujitsu VPP5000

ベクトル型スパコン

Fujitsu FX1Fujitsu
FX10

スーパーコンピュータ

複合型「不⽼」

FX100

Fujitsu
FX1000超並列

HPE Super
Dome Flex
大規模共有メモリこれまで約5年間隔でリプレイス
「不⽼」も5年弱（4年9ヶ月）の稼働を予定
8

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

HPE ProLiant
DL560
クラウド

次
期
不
⽼
へ

実際に入ったもの（主な構成要素）
Type I, II, III, クラウドの合計で15.886PFLOPS（旧システムの約4倍）

7.782 PF7.489 PF

77.414 TF

Type Iサブシステム
FUJITSU Supercomputer FX1000「富岳」型

Type IIサブシステム
FUJITSU Server PRIMERGY CX2570 M5
GPUスパコンType IIIサブシステム
HPE Superdome Flex
大容量メモリ・可視化

ホットストレージ
FUJITSU PRIMGERY RX2540 M5
FUJITSU ETERNUS AF250 S2
DDN SFA18KEDDN SS9012

30 PB

9

537.6 TF
クラウドシステム
HPE ProLiant DL560
バッチ＆インタラクティブ

コールドストレージ
SONY PetaSite Library↓2020年2月更新
SONY PetaSite 拡張型 Library

484 TB → 6 PB

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

性能諸元（主要サブシステム群）
Type II

Type III

クラウド

CPU

A64FX ×1
(Armv8.2-A + SVE)
48+2コア、2.2GHz

Xeon Gold 6230×2(Cascade Lake)
20コア、2.10-3.90 GHz

Xeon Platinum 8280M×16(Cascade Lake)
28コア、2.70-4.00 GHz

Xeon Gold 6230×4(Cascade Lake)
20コア、2.10-3.90 GHz

メインメモリ

HBM2, 32GB

DDR4, 384GB

DDR4, 24TB

DDR4, 384GB

GPU-

Tesla V100×4 (Volta)
HBM2, 32GB

Quadro RTX6000×4 (Turing)
GDDR6, 24GB

-

理論性能

3.3792 TFLOPS(DP)1,024 GB/s

・CPU
1.344 TFLOPS(DP)×2
140.784 GB/s×2
・GPU
7.8 TFLOPS(DP)×4
900 GB/s×4

・CPU
2.4192 TFLOPS(DP)×16
140.784 GB/s×16

1.344 TFLOPS(DP)×4
140.784 GB/s×4

ノード数

2,304

221

2

100

ノード間接続Tofuインターコネク
トD

InfiniBand EDR ×2

InfiniBand EDR

InfiniBand EDR

総理論性能

7.782 PFLOPS(DP)2.359 PB/s

7.489 PFLOPS(DP)857.8 TB/s

77.414 TFLOPS(DP)2.253 TB/s

537.6 TFLOPS(DP)56.314 TB/s

冷却⽅式

⽔冷

⽔冷

空冷

空冷

ノードあたりType I

10

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

消費電⼒・省電⼒対策
 最大消費電⼒
サブシステム名 電⼒可視化
消費電⼒

TypeIサブシステム

628.1kVA

TypeIIサブシステム

393.5kVA

TypeIIIサブシステム

21.6kVA

クラウドシステム

93.0kVA

ストレージ

49.9kVA

フロントエンド

19.6kVA

運⽤管理システム他

52.3kVA

冷却設備

641.9kVA

合11

計1,899.9kVA

 湧⽔を⽤いた冷却地下の湧⽔を活⽤したら総合評価時加点 屋外チラーに散⽔して冷却SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

湧⽔による冷却システム
 情報基盤センターの地下は夏季でも18℃程度の湧き⽔が毎分30L程度湧く
 この湧き⽔は、地下からポンプで吸い上げて雨⽔扱いで捨てていた 今回の仕様で、湧き⽔を冷熱源として使⽤する
場合は加点

冷却⽔としての利⽤許可・
⽔質検査済み12

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

湧⽔による冷却システム

13

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

湧⽔による冷却システム

 気温の高い

4月から11月の間で利⽤
 夏季の1日（2019年8月3日）の（旧）FX100
システムの⽔冷チラーの
電気使⽤量(KW)

⽔の霧吹の温度低下
による電⼒削減

年間数百万円程度の電気代削減を予想
14

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

使⽤最大電⼒の動的制御機構
 監視ソフトウェアから⼀定時間毎に電⼒値を取得
 出⼒された電⼒値と、あらかじめ規定したシステム全体の使⽤最⼤電⼒の上限値を⽐較し、最⼤電⼒の上限を超えないよう、計算ノードやジョブ実⾏可能範囲を制限
ピーク電⼒（例︓1.5MW）↓
電⼒マージン（例︓20%)（1.2MW）
12時間
以下で
変更
可能

ネットワークデバイス⽤監視ソフトウェア

定期的に格納定期的に⽐較
電⼒上限（1.2MW）（例︓10分単位）
ログ整形→⽐較→条件分岐→
リソースグループ停止/開始
計算ノード制限
TypeⅠ/TypeⅡ / TypeⅢ/クラウドサブシステム
リソースユニット
リソースグループX

リソースグループW

リソースグループY

リソースグループZ

電⼒量センサーType I
サブシステムネットワークスイッチ群

15

電⼒値ログ
電⼒値ログ
電⼒値ログ

Type II
サブシステム

周辺装置群

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

Type III
サブシステムHot Storage

2009/7/1.2

Cold Storage

クラウド
システム

空調設備など各サブシステムの仕様と特徴︓Type I サブシステム
機種名

FUJITSU Supercomputer PRIMEHPC FX1000

計算ノード

CPU

A64FX (Armv8.2-A + SVE), 48コア+2アシスタントコア( I/O兼計算
ノードは48コア+ 4アシスタントコア ), 2.2GHz, 1ソケット

メインメモリ

HBM2, 32GiB

理論演算性能倍精度 3.3792 TFLOPS, 単精度 6.7584 TFLOPS, 半精度 13.5168
TFLOPS

メモリバンド幅

1,024 GB/s (1CMG=12コアあたり256 GB/s, 1CPU=4CMG)

ノード数、総コア数

2,304ノード, 110,592コア (+4,800アシスタントコア)

総理論演算性能

7.782 PFLOPS

総メモリ容量72 TiB

ノード間
インターコネクト

TofuインターコネクトD
各ノードは周囲の隣接ノードへ同時に合計 40.8 GB/s × 双⽅向
で通信可能（1リンク当たり 6.8 GB/s × 双⽅向, 6リンク同時通
信可能）

ユーザ⽤
ローカルストレージ

なし

冷却⽅式

⽔冷

16

 世界初正式運⽤のスーパーコンピュータ「富岳」型
システム
 ⾃己開発のMPIプログラム向き
 超並列処理⽤
 AIツールも提供
ノード内構成SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

各サブシステムの仕様と特徴︓Type II サブシステム
機種名
CPU

FUJITSU Server PRIMERGY CX2570 M5Intel Xeon Gold 6230, 20コア, 2.10 - 3.90 GHz × 2 ソケット

計算ノード

NVIDIA Tesla V100 (Volta) SXM2, 2,560 FP64コア, up to 1,530 MHz ×
4ソケット

メモリ

メインメモリ(DDR4 2933 MHz)︓384 GiB (32 GiB × 6 枚 × 2 ソケット)
デバイスメモリ(HBM2)︓32 GiB × 4 ソケット

理論演算性能倍精度 33.888 TFLOPS (CPU 1.344 TFLOPS × 2 ソケット, GPU 7.8
TFLOPS × 4 ソケット)

メモリバンド幅

メインメモリ 281.5 GB/s (23.464 GB/s × 6 枚 × 2 ソケット)
デバイスメモリ 900 GB/s × 4 ソケット

GPU間接続NVLINK2 (1GPUから他の3GPUに対してそれぞれ50GB/s×双⽅向)

CPU-GPU間接続
ノード数、総コア数

PCI-Express 3.0 (x16)221ノード、8,840 CPUコア + 2,263,040 FP64 GPUコア

総理論演算性能
7.489 PFLOPS (CPU 0.594 PFLOPS, GPU 6.895 PFLOPS)
総メモリ容量メインメモリ 82.875 TiB、デバイスメモリ 28.288 TiB
ノード間インターコネクト InfiniBand EDR 100 Gbps × 2, 200 Gbps
ユーザ⽤
ローカルストレージ

NVMe SSD 6.4TB, 一部ノードにて BeeGFS/BeeOND/NVMesh (ローカルストレージを使⽤した共有ファイルシステム) を提供

冷却⽅式

⽔冷

17

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

 データサイエンス研究、
機械学習⽤のGPUクラスタ型
 最新GPU (Volta) 4台／ノード
 充実したAIツール
 高速SSDローカルディスク

ノード内構成GPU

2009/7/1.2

各サブシステムの仕様と特徴︓Type III サブシステム
機種名

HPE Superdome Flex

計算ノード

CPU

Intel Xeon Platinum 8280M, 28コア, 2.70 - 4.00 GHz × 16 ソケットGPU

NVIDIA Quadro RTX6000 × 4

メモリ

メインメモリ(DDR4 2933 MHz)︓24 TiB (128 GiB × 12枚 × 16ソケット)
デバイスメモリ(GDDR6)︓24 GiB × 4

理論演算性能倍精度 38.7072 TFLOPS (CPU 2419.2 TFLOPS × 16 ソケット)

メモリバンド幅

メインメモリ 2252.544 GB/s (23.464 GB/s × 12枚(6チャネル)
× 16ソケット)

ノード数

PCI-Express 3.0 (x16)2

総理論演算性能

77.414 TFLOPS (38.7072 TFLOPS × 2 ノード)

総メインメモリ容量

48 TiB

ノード内構成CPU-GPU間接続

 大規模共有メモリ（24TiB）
 プリポスト処理⽤・可視化処理⽤
 NICE DCVを⽤いたリモート可視化

ノード間インターコネクト InfiniBand EDR 100 Gbps
ユーザ⽤
ローカルストレージ

一⽅のノードに102.4 TB SSD、
もう一⽅のノードに1008 TB 共有ストレージを接続

冷却⽅式

空冷

18

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

各サブシステムの仕様と特徴︓
クラウドシステム
機種名

HPE ProLiant DL560

計算ノード

CPU

Intel Xeon Gold 6230, 20コア,
2.10 - 3.90 GHz × 4 ソケット

メモリ

メインメモリ(DDR4 2933 MHz)384 GiB (16 GiB × 6 枚 × 4 ソケット)

理論演算性能倍精度 5.376 TFLOPS(1.344 TFLOPS × 4 ソケット)

メモリバンド幅

メインメモリ 563.136 GB/s
(23.464 GB/s × 6枚 × 4 ソケット)

ノード数

100

総理論演算性能

537.6 TFLOPS(5.376 TFLOPS × 100 ノード)

総メインメモリ容量

37.5 TiB

ノード間インターコネクト

InfiniBand EDR 100 Gbps

ユーザ⽤ローカルストレー
ジ

なし

冷却⽅式

空冷

19

 研究室クラスタから移⾏しやすい
Intel CPU搭載システム
 高いノードあたりCPU性能（４ソケット） 時刻を指定してのバッチジョブ・
インタラクティブ利⽤が可能

ノード内構成SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

ホットストレージの仕様と特徴
データストレージ(OSS/OST)

メタデータサーバ(MDS)
機種名

FUJITSU PRIMERGY RX2540 M5

CPUIntel Xeon Gold 5222 (3.80GHz, 4コア) × 2

メインメモリ DDR4 192 GiB
HDD

SAS 900 GB 10krpm × 2 (RAID1)Interconnect

InfiniBand EDR × 2

SAN

FibreChannel 32 Gbps &tiems; 2OS

RedHat Enterprise Linux

ノード数

4台

メタデータストレージサーバ(MDT)
機種名

FUJITSU ETERNUS AF250 S2

SSD

RAID1+0 [4D+4M] × 2 + 2HS
RAID1+0 [3D+3M] × 1 + 2HS

ノード数

1台

機種名

DDN SFA18KE × 1台
DDN SS9012 × 10 台

HDD

NL-SAS 14TB 7.2krpm × 730、RAID6 [8D+2P]
30 Device × 24 DCR Pool + 10HS

Interconnect

InfiniBand EDR × 8

搭載セット数

4

総容量
物理容量

40.32 PB (Global Spareを除く)

実効容量

約30.44PB HDD RAID
 大容量︓30.44 PB （実効容量） 超高速アクセス性能︓384 GB/s

20

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

コールドストレージの仕様と特徴
フェーズ1: 2020年7月1日より稼働開始
機種名

PetaSite Library

総スロット数88巻（最大搭載可能カートリッジ数）
総物理容量 / 最大搭載可能容量

484 TB / 484 TB

総ドライブ数6

ODAサーバ数1

フェーズ2: 2021年2月1日より稼働開始予定
機種名PetaSite拡張型 Library

総スロット数(最大搭載可能カートリッジ数)

1,980巻

総物理容量 / 最大搭載可能容量

6 PB / 10.89 PB

総ドライブ数20

ODAサーバ数421

 １度書き込み（追記）のみの光ディスクストレージ
 実験データ等の⻑期データ保存⽤ 理論上100年データ保持可能
 ⽔にぬれても読み出せる
 サービス終了後ユーザに光ディスクを返却

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

その他の構成要素
 フロントエンドシステム（ログインノード群）

合計25ノード Type I⽤も含めて全てXeon Gold 6248(Cascade Lake)×2、
一部にTesla V100(PCIe)搭載
 オンサイト利⽤装置・画像処理装置

センター内の利⽤者⽀援室・可視化室に設置、訪問者が利⽤できる機器
 SINETやIBでシステムに接続、持ち込みUSB機器（ハードディスク）を利⽤してデータの出し入れが可能
 画像処理装置はSINET(10G)と可視化設備に接続 オンサイト利⽤装置はコールドストレージ
単体ディスクドライブを装備
22

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

運⽤形態


TypeI〜TypeIII、クラウドの４サブシステムは１つの申込で利⽤可能、かつ、
共有ファイルシステム（ホットストレージ）で連結⇒シームレスなデータ移動

Type I, IIサブシステムは完全にバッチ処理運⽤

Type IIIサブシステムはノード毎に別の運⽤形態


1ノードはバッチ処理運⽤

1ノードは可視化室の機器に接続

クラウドシステム

一部ノードはバッチ処理運⽤、一部ノードはUNCAIによる時刻指定利⽤


利⽤状況にあわせて割合を調整していく予定

コールドストレージ

可視化室で直接操作、SSH接続、NICE DCVによるリモートデスクトップ接続

専⽤ログインノードから専⽤コマンドで操作、ホットストレージとのデータコピーが可能

バッチ処理システム運⽤上の⼯夫


23

ノード共有（1/4ノード）キュー、優先キュー（消費係数2倍）、
インタラクティブキュー、節電時の縮退運⽤時には止まるextraキュー
SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

利⽤制度・課⾦制度の特徴
 課⾦制度の特徴

前払い、システム共通の利⽤ポイント制度


購入した利⽤ポイントを全システムで利⽤できる、消費係数がシステムごとに異なる



初期費⽤は1ユーザ10,000円 ※登録料という扱いだが利⽤ポイントに変換される
一度に50万円以上購入すると1.25倍のポイントになる

優先キュー︓ポイント消費2倍で投げられるキュー

旧システム運⽤後半は優先キューすら混む事態

ログインノードの利⽤も課⾦対象、ストレージは一定量を超えたら課⾦対象

 「不⽼」の利⽤制度


基本的には従来の制度を継承、いくつかの新制度を導入

グループ利⽤︓20アカウントまでで1グループ、グループ内のポイント融通が可能



準占有制度︓1時間以内の実⾏を保証、空き時間はdebugキューで活⽤クラウドノード予約利⽤︓Web（UNCAI）で予約を⾏い実⾏時間帯を確定させての利⽤

⾃動的にバッチが起動する時刻指定バッチジョブとsshでログインして利⽤する時刻指定インタラクティブ実⾏

24

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

ベンチマーク結果

25

SS研HPCフォーラム2020 富岳スペシャ
ル〜システムから応⽤〜スーパーコンピュータ「不⽼」ベンチマーク結果
ベンチマーク名

性能

TOP500（HPL）

6.617 PFLOPS
2.27倍( 世界 36位 )（国内5位） 2.910 PFLOPS (FX100)

連⽴一次⽅程式の求解

旧システムからの速度向上(2020年6月TypeⅠサブシステム)

HPCG

産業利⽤で多い疎⾏列反復解法

0.231 PFLOPS
2.65倍( 世界 16位 )（国内4位） 0.087 PFLOPS (FX100)(2020年6月TypeⅠサブシステム)

GKVカーネルベンチ

名大独⾃開発のプラズマシミュレーションベンチマーク

Modylas0.258 [秒](kernel2_intgrl)
TypeⅠサブシステム

20.72 [秒]分⼦動⼒学ソフトウェア

TypeⅠサブシステム

VOLR

1.29 [秒]ボリュームレンダリング
26

TypeⅢサブシステム
SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

9.16倍
2.36[秒](FX100)

2.99倍
61.9[秒] (FX100)

9.79倍
12.6[秒](UV2000)
2009/7/1.2

大島聡史准教授提供

各種ベンチマークによる性能評価
 FX1000、Cascade Lake、V100それぞれの性能⾃体は既知の部分が多いため、同じ問題を各サブシステム
で実⾏した場合の性能など、「不⽼」ならではの比較結果を紹介する
コンパイラなど（特に断りのない限り）
 主要ベンチマーク
Stream, HPL, HPCG

 通信性能

OSU Micro-Benchmarks• Type Iサブシステム︓TCS 1.2.26• Type IIサブシステム︓Intel 2019.5.281, CUDA 10.2, PGI 20.4
• クラウドシステム︓Intel 2019.5.281
Type IIのPCIe/NUMA構成は先に示したとおり（「片寄せ」で「SNC無効」）

 ストレージ

27

⾃作の単純なテストプログラム

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

主要ベンチマーク性能︓Stream Triad (N=20,000,000)• A64FXのHBM2の速さが良くわかる結果• 4CPUのクラウドシステムは2CPUのType IIの倍は出ない Type Iサブシステム


大島聡史准教授提供

1ノード︓826 GB/s

コンパイル時オプション -Kfast,openmp,zfill 実⾏時環境変数 XOS_MMM_L_PAGING_POLICY=demand:demand:demand 特にzfillとdemand設定が大きく影響、CとFortranの差はなし
 Type IIサブシステム


1ノード 2CPU︓202 GB/s-qopt-streaming-stores は
変更しても向上せず（デフォルトはauto）

1ノード 1GPU︓777 GB/s
※streamベンチコードにOpenACC指示文を入れて測定

 クラウドシステム
28(-xHost -qopenmp -qopt-zmm-usage=high)

1ノード 4CPU︓338 GB/s（〃）

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

主要ベンチマーク性能︓HPL

大島聡史准教授提供• GPUの性能の高さとA64FXの効率の良さがよくわかる結果

Type Iサブシステム
 1ノード︓2.4849 TFLOPS︓ 2.4849/3.3792=73.5%
 全系︓6.6178 PFLOPS︓ 6.6178/7.782=85.0%TOP500 2020年6月版で世界36位・国内5位（「富岳」、ABCI、OFP、TSUBAME3.0の次）

メモリサイズが小さめ＝大きな問題を解けないため1ノードの効率は控えめ、大規模では高効率

Type IIサブシステム（GPU利⽤） 1ノード︓24.440 TFLOPS︓ 24.440/33.888=72.1%
 全系︓4.880 PFLOPS（測定時期の都合でTOP500未登録、〃51位相当）︓
4.880/7.489=65.2%
 クラウドシステム
 1ノード︓3.25 TFLOPS︓3.250/5.376=60.5%

Type I, II は富士通による最適化・測定
クラウドはIntelコンパイラ2019.5.281（のMKL）に付属のmp_linpack
29

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

大島聡史准教授提供

主要ベンチマーク性能︓
HPCG







1ノード︓105.956 GFLOPS︓ 105.956/3379.2=3.14%
全系︓230.594 TFLOPS︓ 230.594/7782=2.96%


HPCG 2020年6月版で世界16位・国内4位、「不⽼」以上の性能で2%以上は「富岳」の2.6%のみ

富士通による最適化・測定

Type IIサブシステム（GPU利⽤）• HPL同様に、GPUの性能の高さとA64FXの効率の良さがよくわかる結果

Type Iサブシステム

1ノード︓550.6 GFLOPS︓ 550.6/33888=1.62%
100ノード︓48.2544 TFLOPS︓ 48.2544/33888=1.42%


全系では100 TFLOPS程度か︖



HPCG Webサイトにて配布されているHPCG3.1バイナリ(2019.12.05版)で測定、60秒試⾏

クラウドシステム

1ノード 1CPU（1MPIプロセス）︓16.6079 GFLOPS︓ 16.6079/1344=1.24%
1ノード 4CPU（4MPIプロセス）︓61.7766 GFLOPS︓ 61.7766/5376=1.15%
30Intelコンパイラ2019.5.281（のMKL）に付属のベンチマークにて測定、60秒試⾏
SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

通信性能⽐較︓
OSU Micro-Benchmarks
測定項目
 Type IとType IIの通信性能比較
 latency
 allreduce, alltoall 今回はCPU間通信のみ
 TypeIのノード割り当てポリシー︓
mesh と torus
 Type IIのMPIの違い︓
Intel MPI と OpenMPI
31

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

通信性能比較︓
OSU Micro-Benchmarks︓latency

●ノード間

●ノード内

• Type IIのOpenMPIが速い• Type Iもサイズ小では速いが、サイズ大はやや遅い• GPU間は他より遅い
1000

100

100

Latency (us)

1000

10

10

0
1
2
4
8
16
32
64
128
256
512
1024
2048
4096
8192
16384
32768
65536
1310722621445242881048576
20971524194304

1

1
0
1
2
4
8
16
32
64
128
256
512
1024
2048
4096
8192
16384
32768
65536
1310722621445242881048576
20971524194304

Latency (us)• サイズ小• Type IIのCPUソケット間（特にOpenMPI） が速い• サイズ大• Type IのCMG間が速い、TypeIIの GPU間も速い

0.1

大島聡史准教授提供

0.1

Size (Byte)

Size (Byte)
Type I 2ノード間

Type II IntelMPI 2ノードCPU間

Type II OpenMPI 2ノードCPU間

Type II OpenMPI 2ノードGPU間

Type I 1ノード内CMG間
Type II IntelMPI 1ノード内別CPUソケット間
Type II OpenMPI 1ノード内別CPUソケット間
Type II OpenMPI 1ノード内GPU間

32

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

大島聡史准教授提供
通信性能比較︓
OSU Micro-Benchmarks︓allreduce, alltoall●allreduce●alltoall

100000100000Type I 12
ノード

10000

torus
Type I 12

10000

Avg Latency(us)

1000

100

mesh
Type I 120

1000

ノード
torus
Type I 120

100

ノード
10

1

1

mesh
Type II 12
ノード CPU
1
2
4
8
16
32
64
128
256
512
1024
2048
4096
8192
16384
32768
65536
1310722621445242881048576

10

4
8
16
32
64
128
256
512
1024
2048
4096
8192
16384
32768
65536
1310722621445242881048576

Avg Latency(us)ノード

Size(Byte)

Size(Byte)• 全体的にはType IIの⽅が低レイテンシの傾向• Type Iについてはより多くのノードでも実験するべきであったか• GPU to GPUの通信性能はパラメタ等
精査中……

33

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

Type II 12
ノード GPU

Type Iのallreduceアルゴリズム選択実験︓
大島聡史准教授提供
96ノード（TypeⅠ）●96nodes:●96nodes:torus

100000mesh

100000
osu_reduce osu_allreduce default

osu_allreduce trix6
100

osu_allreduce rdbc

10000

Avg Latency (us)osu_allreduce trix3
1000

1000

100

osu_allreduce segmented_ring
1010
osu_allreduce ring
osu_allreduce
recursive_doubling
osu_allreduce nonoverlapping

Size (byte)

1
4
8
16
32
64
128
256
512
1024
2048
4096
8192
16384
32768
65536
1310722621445242881048576

1
4
8
16
32
64
128
256
512
1024
2048
4096
8192
16384
32768
65536
1310722621445242881048576

Avg Latency (us)10000

Size (byte)• デフォルト（未指定）でほぼ最速、
ただし128KBが若⼲遅い
34

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

Type Iのallreduceアルゴリズム選択実験︓
96ノード、torus 対 mesh（TypeⅠ）
meshが高速1.20

96nodes, torus/mesh

大島聡史准教授提供
osu_reduce -1.15

osu_allreduce default

1.10

osu_allreduce trix3
osu_allreduce trix6

ratio

1.05

osu_allreduce rdbc
1.00

osu_allreduce segmented_ring
osu_allreduce ring

0.95

osu_allreduce recursive_doubling

0.90

osu_allreduce nonoverlapping
0.85

osu_allreduce basic_linear

0.80

Size (byte)• 4Byte, 8Byteはtorusの⽅が明らかに高速、16byte以上ではあまり変わらない（±5%）• recursive_doublingだけはサイズが大きな時にmeshが高速
35

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

ストレージ性能︓
IOR（運⽤時性能）大島聡史准教授提供

 IORベンチマーク性能


一般的なバッチジョブで利⽤が推奨されている/data/group1に対してType Iサブシステムから読み書き
File Per ProcessでR/Wともに100GB/s前後
 Single Shared FileでR/Wともに80GB/s強36

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

ストレージ性能︓
自作のテストプログラム


実際の使い⽅を想定したテストプログラムを作成し運⽤中に測定プログラム内容（いずれもファイルのopen/close時間を含む）
1.

2.
3.
4.


singleio︓マスタープロセスのみがファイル操作、配付と集約はMPI通信
 ノード数が増えた場合に全プロセス分を持てないことを想定し、逐次的に1対1通信
singlefile︓全プロセスがfread/fwriteで1ファイルを読み書き
multifile︓全プロセスが個別の1ファイルをfread/fwrite
mpiio︓MPI-IOで1ファイルを読み書き（MPI_File_set_view, MPI_File_write/read_all)

問題設定（プロセス数と容量）


12プロセス、1プロセス/1ノード（Tofu-Dを考慮（12:mesh）、比較のためType IIも12ノード）

{1M,10M,100M,1G}elements/processで測定、今回は100M版を提示（10M以上は同様の傾向）

データ型は全てdouble型（8byte）


大島聡史准教授提供

100M elements/processはプロセス当たり800MB、1秒で終了すれば9600MB/sec相当

githubに公開してあるため興味がある人はご自由にお試しください

https://github.com/exthnet/iotest
37

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

テスト結果︓12ノード、1プロセス/1ノード、
大島聡史准教授提供
プロセスあたり100M要素※1秒=9600MB/sec

一発測定、min, max, avgは12ノード中のmin, max, avg

0

min

max

avg

min

max

avg

min

max

avg

6

7

5

6

4
3
2

5
4
3
2

1

1

0

0
singleio W
singleio R
singlefile W
singlefile R
multifile W
multifile R
mpiio W
mpiio R

10

Type II: NVMesh

time [sec]20Type II: BeeOND

singleio W
singleio R
singlefile W
singlefile R
multifile W
multifile R
mpiio W
mpiio R

30

4.0
3.5
3.0
2.5
2.0
1.5
1.0
0.5
0.0

time [sec]time [sec]40

singleio W
singleio R
singlefile W
singlefile R
multifile W
multifile R
mpiio W
mpiio R

time [sec]

50

9
8
7
6
5
4
3
2
1
0

time [sec]60Type II: ローカルSSD

singleio W
singleio R
singlefile W
singlefile R
multifile W
multifile R
mpiio W
mpiio R
（独⽴した領域では実⾏できない）

Type II: ホットストレージ

singleio W
singleio R
singlefile W
singlefile R
multifile W
multifile R
mpiio W
mpiio R

Type I: ホットストレージ

min

min

max

avg

max

avg

• multifileが良い性能︓max値（R/W）を比較すると、左から順に

W/R = 4.82/3.27, 0.79/0.28, 0.56/0.26, 0.27/0.34, 0.52/0.39• 実はType IがType IIよりかなり遅い、ただしホットストレージは計算ノードとストレージ
両⽅の負荷の影響を受けるため測定タイミングの影響もあるかもしれない︖• mpiioの性能が今ひとつ、特にBeeOND・NVMeshが遅い• SSDによる劇的な性能向上は観測できていないが、singlefileでも高性能、他のジョブの影響も受けない利点有。
38

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

アプリケーション性能

39

SS研HPCフォーラム2020 富岳スペシャ
ル〜システムから応⽤〜スーパーコンピュータ「不⽼」で動かす
アプリケーション例
 名大 坪木和久教授研究室 (Type I)スーパー台風解析 (雲解像モデル CReSS)COVID-19解析、フラグメント分⼦軌道計算（ABINIT-MP）

 ⽴教大 望月祐志教授研究室 (Type I)


理研R-CCS: 新型コロナウイルス対策を目的としたスーパーコンピュータ「富岳」の優先的な試⾏的利⽤採択課題

 名大 森健策教授研究室 (Type II GPU大規模AI計算)
AIによる医⽤画像診断⽀援技術



医⽤画像処理 LDDMM



プラズマシミュレーションGKV 名⼯大 本谷秀堅教授研究室 (Type I 大規模GPU計算)
 名大 渡邉智彦教授研究室 (Type I) 名大 高橋一郎 技術職員 (Type III)

可視化ツール VisPlus
 コールドストレージ操作ツールODAPLUS
40

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

実施済み
アプリケーション

41

SS研HPCフォーラム2020 富岳スペシャ
ル〜システムから応⽤〜

（坪木和久教授提供）

スーパー台風のメカニズム解析
 名古屋大学 坪木和久教授 開発による 雲解像モデルCReSS(Cloud Resolving Storm Simulator)によるシミュレーション
 未来の台風（2076年09月に発生）に伴う雲を⽴体的表示

この台風は太平洋上を北上し、日本に上陸する直前でも中⼼気圧880 hPa以下を維持。
台風が太平洋上にあるとき、中⼼気圧870〜860 hPa、最大地上風速70〜80 m/sを4日間維持し、ほぼその強度のまま関東地⽅に上陸する。

伊勢湾台風のシミュレーション結果
42

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

台風のメカニズム解析
︓スーパーコンピュータ「不⽼」でのターゲット
 旧システム（FX100）

⽔平間隔 2 km 格⼦、東⻄・南北それぞれ1000〜2000格⼦、鉛直は地上から上空約20 km まで 100層、
積分時間数日程度の計算
 数日の実⾏時間を必要 スーパーコンピュータ「不⽼」によってより細かく短時間に ⽔平1 kmあるいは 500 m 、かつより広い領域で、台風の急発達のメカニズムや詳細な構造が明らかになる 数100 m 格⼦でより詳細な地形を考慮したシミュレーションにより豪雨の詳細な構造を明らかにし、豪雨に伴う被害の詳細な予測が可能に

43

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

台風のメカニズム解析
︓スーパーコンピュータ「不⽼」での計算結果

従来︓⽔平格⼦間隔約2.5km

1600ノード、24時間程度
現在計算中・結果検証中
44

⽔平格⼦間隔約1.0km

スーパーコンピュータ「不⽼」で計算

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

医用画像処理 名工大 本谷秀堅 教授
人の臓器形状の滑らかな補間のための高速計算
 人工知能の学習には多数のデータが必要
 人の臓器の形のサンプルを多数揃えるのは大変

大量データ/大規模計算→スパコンで高速化

形の違う臓器二つの間を自然に高速変形させることで学習データを多数獲得→病気の自動診断システム開発へ
膵臓1

肝臓1

変形計算

変形計算

膵臓2

肝臓2

45

（本谷秀堅教授提供）

医用画像処理 名工大 本谷秀堅 教授
スーパーコンピュータ「不老」TypeⅡサブシステム（GPU）

3500000

120

3000000

300

3000000

100

2500000250

2000000

200

1500000

150

1000000

100

500000

50

0

0

STEP1
STEP3(CALC)
STEP4250000080

2000000

60

1500000

40

1000000
500000

20

0

0

STEP2
STEP3(COMM)
1MPI/GPU

STEP1
STEP3(CALC)
STEP4

326倍
 CPU（1ソケット）に対し： 96倍

STEP2
STEP3(COMM)
20MPI/GPU CPUシングルコアに対し:

46

対1ソケットCPU性能比

350
実行時間(msec)

3500000

対シングルコア性能比

実行時間(msec)

 大変形微分同相写像（Large Deformation Diffeomorphic
Metric Mapping,LDDMM)法によるプログラム（本谷研究室開発）
 プログラムをGPU化（OpenACC）

核融合プラズマ乱流コードGKVの概要
GyroKinetic Vlasov code
• ジャイロ運動論モデルに基づく
核融合炉心プラズマ乱流の第一原理シミュレーション• 5次元位相空間上の移流・拡散

開発者：
Tomo-Hiko Watanabe (Nagoya Univ.)
Shinya Maeyama (Nagoya Univ.)
Masanori Nunami (NIFS)
Motoki Nakata (NIFS)
Akihiro Ishizawa (Kyoto Univ.)
Yuuichi Asahi (JAEA)
Flux tube• MPI/OpenMPハイブリッド並列• FFTスペクトル法 𝑥, 𝑦 +差分法

𝑧, 𝑣∥ , 𝜇
• 時間積分：陽的ルンゲクッタ法+
陰解法衝突項• フラックスチューブ配位による局所乱流の高精度・高解像度計算• 電子・イオン系マルチスケール乱流• 多粒子種プラズマ乱流

スーパーコンピュータ「不老」TypeⅠサブシステム
全系（2304ノード（11万コア））ベンチマーク
スーパーコンピュータ「富岳」想定規模：格子点数：2048*2048*48*96*48*3=1.3×10^12、
MPI並列数：16*4*8*6*3=9216 = (2304ノード×4MPI / ノード)、OpenMP並列数: 12

本研究の一部は，文部科学省「富岳」
成果創出加速プロ
グラム「核燃焼プラ
ズマ閉じ込め物理の開拓」の一環として実施したものです。
47

GKVフルアプリ結果（その１） スーパーコンピュータ「不⽼」TypeⅠサブシステム（富岳型ノード）

288ノードジョブ（13,824コア）
 理論性能︓973 TFLOPS 演算効率︓6.78% ( 66.06 TFLOPS ) 問題サイズ512 * 256 * 48 * 96 * 48 * 3 = 8.7×1010 格⼦点
 2 * 4 * 8 * 6 * 3 = 1,152 MPI ( = 288node * 4MPI/node) ラージページ指定効果
export XOS_MMM_L_PAGING_POLICY=demand:demand:demand

適⽤前︓77.66 [秒] → 適⽤後︓75.44 [秒] （2.9%高速化）

48

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

GKVフルアプリ結果（その２） スーパーコンピュータ「不⽼」

TypeⅠサブシステム（富岳型ノード）
全系ジョブ
 2304ノードジョブ（110,592コア）
 理論性能︓7.782 PFLOPS 演算効率︓6.67% ( 519 TFLOPS )

ランクマップなし︓76.7[秒] → あり︓66.4[秒] (15.5%高速化)

 問題サイズ1024 * 1024 * 48 * 96 * 48 * 3 = 7.0×1011 格⼦点
 16 * 4 * 8 * 6 * 3 = 9,216 MPI ( = 2,304 node * 4MPI/node)49

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

GKVフルアプリ
弱スケーリング結果

効率︓95.7%

[秒]
80
60

63.6

66.4

40
20
0
N288

(ランクマップ無し)
50

N2308(TypeⅠ全系)

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

GKVフルアプリ
ランクマップの効果（２３０４ノード）
 ランクマップなし
MPI% Communication (s) Start

End--------------------------------------------------------------847695

1.174084764.0938---- Application--------------------------------------------------------------847672

1.173984761.7969

976

1032 gkv_bndry.bndry_zv_sendrecv_

 ランクマップあり
MPI% Communication (s) Start

End--------------------------------------------------------------472885

0.735347284.8438---- Application--------------------------------------------------------------472847

51

0.735347281.0430

976

1032 gkv_bndry.bndry_zv_sendrecv_

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

実施・開発予定
アプリケーション

52

SS研HPCフォーラム2020 富岳スペシャ
ル〜システムから応⽤〜

（望月祐志教授提供）

コロナウイルスのメインプロテアーゼとN3阻害剤の複合構造に関するフラグメント分子軌道計算
畑田崚, 奥脇弘次, ○望月祐志（立教大学）, 福澤薫 （星薬科大学）
古明地勇人（産業技術総合研究所）, 沖山佳生（国立医薬品食品衛生研究所）,
田中成典（神⼾大学院）●SARS-CoV-2 メインプロテアーゼとN3阻害剤の結晶構造
2020年2月に、Liuらによって
SARS-CoV-2のメインプロ
テアーゼと、阻害能を有する化合物の複合体の結晶構造が発表された(PDB ID: 6LU7)
本研究では、フラグメント分子軌道法と6LU7結晶構造を用いてメインプロテアーゼ-N3阻害剤間の相互作用解析を行った●研究内容はChemRxivで2020/3/17に公開 (https://bit.ly/3f67nlc)●アメリカ化学会の専門誌に採録：Fragment molecular orbital based interaction analyses on COVID-19 main protease - inhibitor N3
complex (PDB ID:6LU7), J. Chem. Inf. Model. 2020, June 15, 2020 (https://doi.org/10.1021/acs.jcim.0c00283）

53

フラグメント分子軌道法を用いた相互作用解析
解析方法
N3阻害剤を5つの部位に、タンパク質をアミノ酸単位にフラグメント分割し、フラグメント間の相互作用エネルギー(IFIE)を算出
気相条件・溶媒条件下で各々MP2/6-31G*レベルで計算

計算環境： ABINIT-MPプログラム @ 名大FX-100
気相条件 : 128ノード（16スレッド - 256プロセス） 1.4時間
溶媒条件 : 192ノード（ 16スレッド - 384プロセス） 30.5時間

解析結果

BDA→BAA

Fragment3-47.50 kcal/mol(気相)-49.45 kcal/mol(溶媒)
主にGlu166, Gln189と 相互作⽤

Fragment3

Fragment1

Fragment5-21.32 kcal/mol (気相)-17.77kcal/mol (溶媒)⼤ き な相互作⽤ はなし

Fragment2

Fragment5

Fragment4-84.85 kcal/mol(気相), -79.58 kcal/mol(溶媒)主にHis163, 164と 相互作⽤

Fragment1-24.21 kcal/mol (気相)-26.20 kcal/mol (溶媒)主にThr190と 相互作⽤

Fragment4

Fragment2-28.41 kcal/mol (気相)-26.92 kcal/mol (溶媒)
主にGlu166, Gln189と 相互作⽤

新型コロナウイルスのメインプロテアーゼと結合した阻害剤N3の重要部位の構造ゆらぎ（立教大学望月研究室提供）

スーパーコンピュータ「不老」で以下の研究開発を予定：
 TypeⅠサブシステム：SIMD化強化等のコードチューニング
 TypeⅡサブシステム：AI処理連携55

プログラム名： VisPlus
開発者： 名古屋大学 高橋一郎
概要 ： 多くの大学や研究機関で利用されている可視化アプリケーション開発ツール”AVS Express” を使って開発した可視化アプリケーションプログラムとユーティリティプログラムの集合体である。
可視化アプリケーションプログラムは、AVSのNetworkエディタを使ってカストマイズしてオープンプラットホームで利用することができる。
また、リモート可視化、ローカル可視化にも対応している。
動作環境： Linux, Windows, Mac

高周波電磁界シミュレーションのフライスルー可視化

気象シミュレーションのー可視化

気象データのー可視化
脳動脈瘤のPre/Post結果

太陽風のシミュレーションのマルチビューを使った可視化

自動車の衝突解析結果の可視化

高分子シミュレーションの可視化

細胞膜シミュレーションの可視化

56プログラム名： ODAPLUS
開発者： Sony, 高橋一郎
概要 ： Sony社製コールドストレージ（光DiskライブラリODA)システムの管理・運用を行うプログラム(現在開発中）

ー ODA単体ドライブ＆ライブラリ装置の利用方法 －利用者端末

学内Network, SINET
情報基盤センター

スーパーコンピュータ「不老」
フロントエンド・サーバ
スパコン用ログインノード

データ転送用ODAログインノード
利用者支援室スーパーコンピュータ
TypeⅠ

TypeⅡ

TypeⅢ

）

クラウド

脳動脈瘤のPre/Post結果

サブシステム サブシステム サブシステム サブシステム

ODA単体ドライブ装置

Hot Storage

データ転送

Hot Storage アーカイブ
DDN 共有ストレージ（/home,/largeファイルシステム）

リコール

Cold
Storage
Cold Storage
ODAライブラリ装置
ODAライブラリ装置

センター内・センター外での利用、研究室で保管

細胞膜シミュレーションのカートリッジの収容｜搬出 可視化
57

正式運⽤で生じた問題

58

SS研HPCフォーラム2020 富岳スペシャ
ル〜システムから応⽤〜

稼働開始から約２ヶ月の運⽤経験


運⽤初期は重大な障害や再起動をともなう設定変更がある可能性もあり利⽤者に迷惑をかけるかも知れない→7月の間だけは無料利⽤とした（一般ユーザ利⽤のみ）


結果的に全系障害など致命的な問題はまったく発生せず、HW的には安定運⽤

一般利⽤・グループ利⽤は、費⽤は⽀払うがポイントの減算はしない、という運⽤
SW的には⾊々と不備・不⾜があり対応中

利⽤状況・混雑具合（7月中）Type Iサブシステム︓
全然流れない状況まではいかないものの、タイミングによっては利⽤者多数

Type IIサブシステム︓数ノードのジョブに1日待つほど混雑した日もあり


各ジョブがどの程度GPUを使っていたのかは不明

Type IIIサブシステム︓限定的な利⽤（そもそもノード数が少ないため評価が難しい）

クラウドシステム（バッチ）︓大混雑、ノード使⽤率100％となっていることも

クラウドシステム（UNCAI）︓使われていなかった



無料期間ということもあり、思った以上に使っていただけたという印象

ノード利⽤率が高い割には消費電⼒は低いと予想（正確な統計情報を試算中）

59

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

これからの運⽤で取り組む課題 性能向上や使い勝手の調査・対応

機械学習の性能（TypeⅠ vs. Type Ⅱ） Type IIサブシステムのローカルストレージ（特にNVMESH）の積極的な活⽤ インストールはしてあるが性能が妥当なのかを確認できていない
アプリも多い システム利⽤率を高く保つための調整

全体的なキュー構成の再検討（最適化）

各キューの埋まり具合によっては最⻑時間や最大ノード数などを調整する必要がある

クラウドシステムのバッチ・UNCAIの割合

 その他


60

コールドストレージ（2021年2月のアップグレード後が本番）
SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

おわりに

61

SS研HPCフォーラム2020 富岳スペシャ
ル〜システムから応⽤〜

おわりに 名古屋大学情報基盤センターで7月1日から

正式サービス開始のスーパーコンピュータ「不⽼」
 数値シミュレーションとデータサイエンス（主に機械学習）を融合可能な設計と運⽤

１．TypeIサブシステム（「富岳」型ノード）⇒超並列処理⽤、国策スパコン連結
２．TypeⅡサブシステム ⇒機械学習、高速ローカルディスク
３．TypeⅢサブシステム ⇒48TBの大規模共有メモリによる
プレ／ポスト／可視化処理
４．クラウド ⇒PCクラスタ利⽤、時刻指定予約
５．可視化システム ⇒詳細可視化ディスプレイ連結、リモート可視化
６．大規模共有ホットストレージ⇒１〜５に連結、シームレスなデータ移動
７．コールドストレージ ⇒データを100年保存可能、
サービス終了時に光ディスクを持ち帰り可能

62

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2

謝辞 ベンチマークの取得・資料提供に関して以下の皆様のご協⼒ありがとうございました。
 名古屋大学情報基盤センター

大島聡史 准教授
 名古屋大学情報基盤センター 永井亨 助教
 富士通社 SE各位

63

SS研HPCフォーラム2020 富岳スペシャル〜システムから応⽤〜

2009/7/1.2