スーパーコンピュータ「不老」紹介

2022.04.04更新版

スーパーコンピュータ「不老」の概要と基本的な使い方

名古屋大学情報基盤センターのスーパーコンピュータ（スパコン）について「不老」までの歴史と「不老」導入の経緯、「不老」に期待される役割

名大スパコンの役割


全国共同利用・共同研究拠点として学内外へ計算資源提供


全国共同利用・共同研究拠点として国が位置づけ


全国の研究者の世界トップレベル研究を強力に支援

世界トップレベルの研究の支援

HPCI (High Performance
Computing Infrastructure) 利用者

簡便な
移行支援

「富岳」

国策スパコン 名大拠点利用者の利用支援
JHPCN利用者


ものつくり企業の計算需要支援

世界トップレベル
研究成果創出

データサイエンス（ビッグデータ）、機械学習に対応する新サービスの開拓指定国立大学としても重要な役割
数理・データ科学教育
 人材育成・研究力強化・社会との連携
3

名大FX1000

新しい計算需要に向けたサービス開拓




高性能化・
長時間実行支援

産業利用制度（公開、非公開）
 計算機利用型講習会による並列処理・大規模計算普及（地域特有の中小企業支援）




スーパー
コンピュータ

東海国立大学機構（マルチキャンパスシステム）において、継続した世界トップレベルの成果創出支援と、企業利用・教育利用による社会貢献名大情報基盤センターのスパコンの歴史
9600

Fujitsu M-1800

Fujitsu GP7000F/90

メインフレーム系

05

09

13
Fujitsu HX600,
M9000

Fujitsu HPC2500

2020年7月1日
スーパーコンピュータ「不老」導入（運用開始）

15
Fujitsu
CX400

20
CX400

Fujitsu CX2570

アプリケーションサーバ

GPUサーバ

スカラー型スパコン

Fujitsu VPP500

Fujitsu VPP5000

ベクトル型スパコン

Fujitsu FX1Fujitsu
FX10

複合型「不老」FX100

スーパーコンピュータ

Fujitsu FX1000
超並列

HPE Super
Dome Flex◆ これまで約5年間隔でリプレイス（競争入札）◆ 様々な計算需要に応えるため、超並列型、クラスタ型、大規模共有メ
モリ型、クラウド型による複合型システムを採用
4

大規模共有メモリ
HPE ProLiant
DL560
クラウド

次
期
不
老
へ

スーパーコンピュータ「不老」導入の背景
 研究のデジタル化 （デジタルサイエンス）
 様々な分野におけるコンピューティングを活用した研究の広まり AI/機械学習研究の増大 自動運転、医療、創薬、etc.

 数値シミュレーション研究の増加
 異常気象、津波など国民の安全に密接にかかわる現象 生命・宇宙などの基礎科学

 データの爆発的増大
 計測データ、解析結果、AI学習結果など

 従来のスパコンでは明らかに能力不足
5設置状況（名古屋大学 情報基盤センター

本館地下１階）

出入り口
ストレージ

Type II

クラウド

クラウド

Type I
Type III

Type II
Type I
搬入口
6

出入り口

システム構成（全体の概要）
総理論演算性能 15.886PFLOPS、総主記憶容量240.375TiB
Hot Storage 30PB、Cold Storage 6PB
TypeI サブシステム

TypeⅡサブシステム

TypeⅢサブシステム

x2,304

TofuインターコネクトD

FUJITSU PRIMEHPC FX1000
x 2,304ノード
総理論演算性能: 7.782PFLOPS
総主記憶容量: 72.0TiB (32GiB/ノード)

PRIMERGY CX2570 M5
x 221ノード(NVIDIA Tesla V100 x 4基/ノード)
総理論演算性能: 7.489PFLOPS
総主記憶容量: 82.875TiB (384GiB/ノード)
PCIe SSD: 1.4PB (6.4TB/ノード)

x100

x2

x221

HPE Superdome Flex
x 2ノード
総理論演算性能: 77.414TFLOPS
総主記憶容量: 48.0TiB (24TiB/ノード)

オンサイト利用装置

クラウドシステム

PRIMERGY RX2530M5
x 2台

画像処理装置HPE ProLiant DL560
x 100ノード
総理論演算性能: 537.6TFLOPS
総主記憶容量: 37.5TiB (384GiB/ノード)

LenovoThinkStation P920
x 1台

InfiniBand HDR/EDR
1/10ギガビットネットワーク

Hot Storage
MDS,MDT

Cold Storage

運用管理システム／管理ノード

－＞

30PB

7

フロントエンドシステム

OSS, OST

ファイルシステム: FEFS
総実効容量: 30PB
MDS: PRIMERGY RX2540 M5 x 4ノード
MDT: ETERNUS AF250 S2 x 1
OSS: 16VM (2VM/CM)
OST: DDN SFA18KE x 4台, SS9012 x 40台

484TB

2021年2月1日Ver.up済PetaSite拡張型ライブラリ

6PB

PetaSite拡張型ライブラリ

記録媒体：Optical Disc Archive 記録媒体：Optical Disc Archive
光ディスクカートリッジ: 484TB
光ディスクカートリッジ: 6PB
最大搭載可能容量: 10.89PB

x25

x25

PRIMERGY RX2530 M5
x 25台

PRIMERGY RX2530 M5 x 18
PRIMERGY RX2540 M5 x 7
理論演算性能: 3.2TFLOPS/ノード
主記憶容量: 384GiB/ノード

インターネット性能諸元（主要サブシステム群）
Type I

Type II

Type III

クラウド

CPU

A64FX ×1
(Armv8.2-A + SVE)
48+2コア、2.2GHz

Xeon Gold 6230×2(Cascade Lake)
20コア、2.10-3.90 GHz

Xeon Platinum 8280M×16(Cascade Lake)
28コア、2.70-4.00 GHz

Xeon Gold 6230×4(Cascade Lake)
20コア、2.10-3.90 GHz

メインメモリ

HBM2, 32GB

DDR4, 384GB

DDR4, 24TB

DDR4, 384GB

GPU-

Tesla V100×4 (Volta)
HBM2, 32GB

Quadro RTX6000×4 (Turing)
GDDR6, 24GB

-

理論性能

3.3792 TFLOPS(DP)1,024 GB/s

・CPU
1.344 TFLOPS(DP)×2
140.784 GB/s×2
・GPU
7.8 TFLOPS(DP)×4
900 GB/s×4

・CPU
2.4192 TFLOPS(DP)×16
140.784 GB/s×16

1.344 TFLOPS(DP)×4
140.784 GB/s×4

ノード数

2,304

221

2

100

ノード間接続Tofuインターコネク
トD

InfiniBand EDR ×2

InfiniBand EDR

InfiniBand EDR

総理論性能

7.782 PFLOPS(DP)2.359 PB/s

7.489 PFLOPS(DP)857.8 TB/s

77.414 TFLOPS(DP)2.253 TB/s

537.6 TFLOPS(DP)56.314 TB/s

水冷

水冷

空冷

空冷

ノ
ー
ド
あ
た
り

8

冷却方式

消費電力・省電力対策
 最大消費電力
サブシステム名

 電力可視化
消費電力

TypeIサブシステム

628.1kVA

TypeIIサブシステム

393.5kVA

TypeIIIサブシステム

21.6kVA

クラウドシステム

93.0kVA

ストレージ

49.9kVA

フロントエンド

19.6kVA

運用管理システム他

52.3kVA

冷却設備

641.9kVA

合計

1,899.9kVA

 電力使用状況に応じた自動縮退運転の用意あり

9 湧水を用いた冷却地下の湧水を活用したら総合評価時に加点とした
 屋外チラーに散水して冷却 水道代無料で冷却効果UP、年間200万円くらいの効果を期待

湧水による冷却システム
 情報基盤センターの地下は夏季でも18℃程度の湧き水が毎分30L程度湧く
 この湧き水は、地下からポンプで吸い上げて雨水扱いで捨てていた 今回の仕様で、湧き水を冷熱源として使用する
場合は加点


10

冷却水としての利用許可・
水質検査済み湧水による冷却システム

11湧水による冷却システム
 気温の高い4月から11月の間で利用 参考：夏季の1日（2019年8月3日）の（旧）FX100システムの水冷チラーの
電気使用量(KW)

年間数百万円程度の電気代削減に期待
12

水の霧吹の温度低下
による電力削減※テレワークが多いためか、そもそもの消費電力が低いためか、2020年度と2021年度は電力逼迫状況にならず未適用

使用最大電力の動的制御機構
 監視ソフトウェアから一定時間毎に電力値を取得

 出力された電力値と、あらかじめ規定したシステム全体の使用最大電力の上限値を比較し、最大電力の上限を超えないよう、計算ノードやジョブ実行可能範囲を制限
ピーク電力（例：1.5MW）↓
電力マージン（例：20%)（1.2MW）

12時間
以下で
変更
可能

定期的に格納定期的に比較
電力上限（1.2MW）（例：10分単位）

電力値ログ
電力値ログ
電力値ログ

ログ整形→比較→条件分岐→
リソースグループ停止/開始
計算ノード制限
TypeⅠ/TypeⅡ / TypeⅢ/クラウドサブシステム
リソースユニット

13

ネットワークデバイス用監視ソフトウェア

リソースグループX

リソースグループW

リソースグループY

リソースグループZ

電力量センサーType I
サブシステムネットワークスイッチ群

Type II
サブシステム周辺装置群

Hot Storage

Type III
サブシステムCold Storage

クラウド
システム

空調設備などスーパーコンピュータ「不老」
システム構成のポイント
 主要計算サブシステム合計15.88 ペタフロップス

デジタルサイエンスのサポート

 Type I：理研スパコン「富岳」と同じアーキテクチャCPU

世界初の本格運用、富岳と連携したワールドクラス研究支援 「富岳」型 2,304ノード（110,592コア、7.782 PFLOPS) Type II：GPUスパコン（総GPUメモリ 28TB, SSD内蔵メモリ1.4PB）
 AI/機械学習研究を強力にサポート

221ノード、NVIDIA V100 (32GB) x 884基、7.489 PFLOP 国産コールドストレージ

スパコン初/データ爆発への対応/低消費電力/長期保存

 可視化システムと直結
14

超大規模データ可視化と大規模画面での表示

スーパーコンピュータ「不老」の性能（主要なベンチマークの結果）
 Type I サブシステム

HPL (TOP500)：6.6178 PFLOPS、 2020年6月版で世界36位（国内5位）、11月版
で世界41位 HPCG：0.231 PFLOPS、 2020年6月版で世界16位（国内4位）、11月版で世界21位
 HPL-AI(低精度版HPL)：30PFLOPS、2020年11月版で世界5位
 Type II サブシステム

HPL (TOP500)：4.880 PFLOPS、2020年11月版で世界58位
 HPCG：0.097 PFLOPS、2020年11月版で世界34位


 参考


15

旧FX100システムは2019年11月版でTOP500 2.910 PFLOPS 世界84位、HPCG 0.087 PFLOPS 世界31位

これまでの名大スパコンを利用した研究成果
分子動力学
創薬

流体物理

災害・防災

気象
「全原子分子動力学計算によるポリオウィルスカプシドのシ
ミュレーション」 名古屋大学大学院工学研究科
安藤 嘉倫、岡崎進 提供

プラズマ
物理

16

「地球磁気圏-電離圏結合系におけるオーロラ乱流のシミュレーション」名古屋大学理学研究科素粒子宇宙物理学専攻 渡邉智彦 提供

地球惑星物理医療

新素材開発

今後のスパコンでの想定アプリケーション
 これまでのアプリケーションに加え、台風のメカニズム解析、医療画

像診断や遺伝子解析、自動運転への人工知能の適用等の研究を強力に推進

台風のメカニズム解析
4K

高精細可視化 4K

2K Display×4

2K Display×4

4K
2K Display×4

17

4K
2K Display×4

それぞれ数百TB級のデータ蓄積医療画像
処理

自動運転研究スーパーコンピュータ「不老」詳細
システムの構成と特徴

全体システム構成

19

高精細可視化システム
8Kタイルドディスプレイ

Type IIIサブシステム（HPE Superdome Flex）
77.4TFLOPS/48TiB MEM

185inchi 8K高精細大画面タイルドディスプレイ
（総解像度：7680×4320）
Samsung 46inchi Display×16

Intel Xeon Platinum 8280M(2.7GHz,28Core)×16CPU×2 24TiB×2
NVIDIA Quadro RTX6000×4×2
Quadro RTX6000
HDD:実効容量500TB(RAID6)×2, NVMe:51.2TB×2

4K

4K

光ケーブル
SINET

2K Display×4

2K Display×4

4K

4K

リモート可視化

大規模共有メモリ：24TiB

2K Display×4

HDMI

スーパーコンピュータ共有ストレージ
画像処理装置（Windows可視化サーバ）
ホットストレージ

20

DDN SFA18KE
総実行容量： 30PB

コールドストレージ
Sony ODA PetaSite 拡張型ライブラリ
搭載容量：6PB（5.5TB×1091巻）
最大容量：10.89PB（5.5TB×1980巻）

2K Display×4

4K Display×4

Intel Xeon Gold 5122
3.6GHz 4 Cores, 512 GiB MEM
NVIDIA Quadro RTX8000
SATA SSD 2TB
光Disk 5.5TBドライブ ODS-D380U

スーパーコンピュータ「不老」のファイルシステムの特徴
 共有ホットストレージ（HDD RAID）
 実効容量：30PB
 理論性能：384 GB/s

 共有コールドストレージ（光ディスクアーカイブ）
 実効容量：6PB（搭載上限、10.89PB）
 ユーザによる光ディスク持ち込み可能

 運用終了時にユーザに光ディスクを返却（途中持ち出しも可能）

 Type IIサブシステムローカルストレージ
 NVMe SSD、合計1.3PB（ノード内6.4TB）
 総合性能：640GB/s
 100ノード分は「BeeGFS」により分散共有ストレージ化
21

スーパーコンピュータ「不老」
Type I サブシステム
機種名

計
算
ノ
ー
ド

FUJITSU Supercomputer PRIMEHPC FX1000CPUA64FX (Armv8.2-A + SVE), 48コア+2アシスタントコア( I/O兼計算ノードは48コア+ 4アシスタントコア ),2.2GHz, 1プロセッサ

メインメモリ

HBM2, 32GiB

理論演算性能倍精度 3.3792 TFLOPS, 単精度 6.7584 TFLOPS, 半精度
13.5168 TFLOPS

メモリバンド幅

1,024 GB/s (1CMG=12コアあたり256 GB/s, 1CPU=4CMG)

ノード数、総コア数

2,304ノード, 110,592コア (+4,800アシスタントコア)

総理論演算性能

7.782 PFLOPS

総メモリ容量72 TiB

ノード間インターコネクト

TofuインターコネクトD
各ノードは周囲の隣接ノードへ同時に合計 40.8 GB/s ×
双方向 で通信可能（1リンク当たり 6.8 GB/s × 双方向, 6
リンク同時通信可能）

ユーザ用
ローカルストレージ

なし

冷却方式
22

水冷

⚫ 世界初運用のスーパーコンピュータ「富岳」
型システム⚫ 自己開発のMPIプログラム向き⚫ 超並列処理用⚫ AIツールも提供
ノード内構成スーパーコンピュータ「不老」
Type II サブシステム
種名
CPU

計
算
ノ
ー
ド

FUJITSU Server PRIMERGY CX2570 M5Intel Xeon Gold 6230, 20コア, 2.10 - 3.90 GHz × 2 ソケットGPU

NVIDIA Tesla V100 (Volta) SXM2, 2,560 FP64コア, up to 1,530 MHz
× 4ソケットメモリ

メインメモリ(DDR4 2933 MHz)：384 GiB (32 GiB × 6 枚 × 2 ソケット)
デバイスメモリ(HBM2)：32 GiB × 4 ソケット

理論演算性能倍精度 33.888 TFLOPS (CPU 1.344 TFLOPS × 2 ソケット, GPU
7.8 TFLOPS × 4 ソケット)

メモリバンド幅

メインメモリ 281.5 GB/s (23.464 GB/s × 6 枚 × 2 ソケット)
デバイスメモリ 900 GB/s × 4 ソケット

GPU間接続NVLINK2 (1GPUから他の3GPUに対してそれぞれ50GB/s×双方向)

CPU-GPU間接続 PCI-Express 3.0 (x16)ノード数、総コア数
221ノード、8,840 CPUコア + 2,263,040 FP64 GPUコア
総理論演算性能
7.489 PFLOPS (CPU 0.594 PFLOPS, GPU 6.895 PFLOPS)
総メモリ容量メインメモリ 82.875 TiB、デバイスメモリ 28.288 TiB
ノード間インターコネクト InfiniBand EDR 100 Gbps × 2, 200 Gbps
ユーザ用
ローカルストレージ

NVMe SSD 6.4TB, 一部ノードにて BeeGFS/BeeOND/NVMesh (ローカルストレージを使用した共有ファイルシステム) を提供

冷却方式

水冷

23

⚫ データサイエンス研究、
機械学習用のGPUクラスタ型⚫ 最新GPU (Volta) 4台／ノード⚫ 充実したAIツール⚫ 高速SSDローカルディスク

ノード内構成スーパーコンピュータ「不老」
Type III サブシステム
機種名
CPU

計
算
ノ
ー
ド

HPE Superdome FlexIntel Xeon Platinum 8280M, 28コア, 2.70 - 4.00 GHz × 16 ソ
ケット

GPU

NVIDIA Quadro RTX6000 × 4

メモリ

メインメモリ(DDR4 2933 MHz)：24 TiB (128 GiB × 12枚 × 16
ソケット)
デバイスメモリ(GDDR6)：24 GiB × 4

理論演算性能倍精度 38.7072 TFLOPS (CPU 2419.2 TFLOPS × 16 ソケット)

メインメモリ 2252.544 GB/s (23.464 GB/s × 12枚(6チャネル)
× 16ソケット)
CPU-GPU間接続 PCI-Express 3.0 (x16)ノード数
2
メモリバンド幅

総理論演算性能

77.414 TFLOPS (38.7072 TFLOPS × 2 ノード)

総メインメモリ容量
ノード間インターコネク
ト

48 TiB

ユーザ用
ローカルストレージ

ノードあたり500 TBの外部接続HDDストレージ
会話型処理用ノードに102.4 TBのNVMe SSDストレージ

冷却方式
24

空冷

InfiniBand EDR 100 Gbps

⚫ 大規模共有メモリ（24TiB）⚫ プリポスト処理用、可視化処理用⚫ NICE DCVを用いたリモート可視化⚫ 1ノードをバッチ処理、1ノードを会話型処理に利用

ノ
ー
ド
内
構
成

スーパーコンピュータ「不老」
クラウドシステム
機種名

計
算
ノ
ー
ド

HPE ProLiant DL560
CPUIntel Xeon Gold 6230, 20コア,
2.10 - 3.90 GHz × 4 ソケット

メモリ

メインメモリ(DDR4 2933 MHz)384 GiB (16 GiB × 6 枚 × 4 ソケット)

理論演算性能倍精度 5.376 TFLOPS(1.344 TFLOPS × 4 ソケット)

メモリバンド幅

メインメモリ 563.136 GB/s
(23.464 GB/s × 6枚 × 4 ソケット)

ノード数

100

総理論演算性能

537.6 TFLOPS(5.376 TFLOPS × 100 ノード)

総メインメモリ容量

37.5 TiB

ノード間インターコネクト

InfiniBand EDR 100 Gbps

ユーザ用ローカルストレージ

なし

冷却方式

空冷

25

⚫ 研究室クラスタから移行しやすい
Intel CPU搭載システム⚫ 高いノードあたりCPU性能（４ソケット）⚫ 時刻を指定してのバッチジョブ・インタラ
クティブ利用が可能

ノード内構成スーパーコンピュータ「不老」
ホットストレージ
メタデータサーバ(MDS)
機種名
FUJITSU PRIMERGY RX2540 M5
CPUIntel Xeon Gold 5222 (3.80GHz, 4コア) × 2

メインメモリ DDR4 192 GiB
HDD
SAS 900 GB 10krpm × 2 (RAID1)Interconnect InfiniBand EDR × 2
SAN
FibreChannel 32 Gbps × 2
OS
RedHat Enterprise Linux
ノード数
4台
メタデータストレージサーバ(MDT)
機種名
FUJITSU ETERNUS AF250 S2
RAID1+0 [4D+4M] × 2 + 2HS
SSD
RAID1+0 [3D+3M] × 1 + 2HS
ノード数
1台⚫ 大容量：30.44 PB （実効容量）⚫ 超高速アクセス性能：384 GB/s
26

データストレージ(OSS/OST)DDN SFA18KE × 1台
機種名
DDN SS9012 × 10 台
HDDInterconnect搭載セット数
総容量
物理容量
実効容量

NL-SAS 14TB 7.2krpm × 730、RAID6 [8D+2P]
30 Device × 24 DCR Pool + 10HS
InfiniBand EDR × 8
4

40.32 PB (Global Spareを除く)
約30.44PB

スーパーコンピュータ「不老」
コールドストレージ
フェーズ1: 2020年7月1日より稼働開始
機種名

PetaSite 拡張型 Library

カートリッジ数（総カートリッジ
88巻 / 88巻
数 /最大搭載可能カートリッジ数)
総物理容量 / 最大搭載可能容量

484 TB / 484 TB

総ドライブ数6

ODAサーバ数1

フェーズ2: 2021年2月1日より稼働開始
機種名

PetaSite 拡張型 Library

カートリッジ数（総カートリッジ
1,092巻 / 1,980巻
数 /最大搭載可能カートリッジ数)
総物理容量 / 最大搭載可能容量

6 PB / 10.89 PB

総ドライブ数20

ODAサーバ数

4

27

⚫
⚫
⚫
⚫
⚫

１度書き込み（追記）のみの光ディスクストレージ
実験データ等の長期データ保存用
理論上100年データ保持可能
水にぬれても読み出せる
サービス終了後ユーザに光ディスクを返却

スーパーコンピュータ「不老」
ハードウェア構成一覧
システムあたり
サブシステム名/ 装置名

機種名

Type I（「富岳」型）

総理論
演算性
能(PF)

総主記
憶容量
（TiB)

ノード
数

PRIMEHPC
FX1000

7.782

72

2304

Type II（GPU搭載）PRIMERGY
CX2570 M5

7.489

82.875221

Type III（大規模共有メモリ）

HPE
Superdome Flex

0.0774

48

2

クラウド

HPE
ProLiant DL560

0.537637.5

ノードあたり演算性能（TFLOPS)

メモリ容量(GiB)

3.379

32(HBM2)

1（48コア)

33.888384

2(40コア)

38.70724TiB

16(448コア)

100

5.376

384

4
(80コア)PRIMERGYCX2530 M5（システムⅡ以外）

18

3.2

384

2
(40コア)PRIMERGYCX2540 M5（システムⅡ）

7

3.2

384

2
2
(40コア) （TeslaV100)

画像処理装置Lenovo P920

1

0.25

512

1
(4コア）

1
（RTX8000)

2TB
(HDD)

Xeon Gold 5122
(3.6GHz/4コア）

オンサイト利用装置

PRIMERGYCX2540 M5

2

0.486

384

1
(4コア）

1
（P400)

8TB(HDD)

Xeon Gold 5222
(3.8GHz/4コア）

ログイン
ノード

計

28

15.886 240.375

Storage※1
1.3PB(NVMe)
0.5PB
(HDD)

CPU数
(Core数）

GPU数

ローカル
ストレージ

CPU

Hot
Storage
HDD
※3

A64FX
ArmV8.2-A+SVE○

4(TeslaV100)

Xeon Gold 6230
（2.1GHz/20コア）x2○

4(RTX6000)

51.2TB Xeon Platinum 8280M(NVMe SSD) (2.7GHz/28コア）x16○

Xeon Gold 6230
(2.1GHz/20コア）ｘ4○

Xeon Gold 6248
（2.5GHz/20コア）x2○

Xeon Gold 6248
（2.5GHz/20コア）x2○※2
19.2TB(SSD)

Cold
Storage※4○○※1) 100ノードにまたがるローカルファイルシステム (50ノードはRAID6構成）※2) Sony社製光Diskライブラリ制御用のログインノードにのみ19.2TBのSSDを搭載※3) FEFS共有ファイルシステム 実行容量 30PB
※4) Sony社製光Diskライブラリ装置 最大搭載容量 9.6PB（導入時 6PB搭載)。専用のログインノードから利用。

スーパーコンピュータ「不老」
ソフトウェア利用環境について
 「不老」はサブシステムごとにハードウェア構成や主な用途が異なるため、使えるソフトウェアが異なる
 提供ソフトウェアの多くはmoduleコマンドによって制御されている
module availコマンドで利用可能なmoduleを確認できる
 module loadすることで利用可能になる module helpで利用方法などを確認できる
 一部のmoduleは特定のmoduleをloadすることでさらにload可能になる メンテナンスのタイミングなどでバージョンアップ
 バージョンアップ情報はHPCポータルやシステム速報にて提供

詳細は利用手引書を参照
 一般ユーザによるpipやSpackの利用は自由

29スーパーコンピュータ「不老」
ソフトウェア利用環境：プログラム開発環境など
フロントエンド
クラウド
画像処理 オンサイト
Type I
Type II
Type III
企業利用システム
サブシステム サブシステム サブシステム サブシステム サーバ
利用装置
FUJITSUTechnical Computing Suite

コンパイラ (Fortran, C/C++)
プロファイラ/デバッガ
MPI, 数値計算ライブラリ○

Arm Forge Professional

プロファイラ/デバッガ/最適化

○

○

○

Intel
Parallel Studio Computing Suite

コンパイラ (Fortran, C/C++),
プロファイラ/デバッガ,
MPI, 数値計算ライブラリ

○

○

○

PGI
Professional Edition→ NVIDIA HPC SDK

コンパイラ (Fortran, C/C++, OpenACC,
CUDA Fortran),
プロファイラ/デバッガ,
MPI, 数値計算ライブラリ

○

○

●

NVIDIA CUDA SDK

GPU統合開発環境○○●

Singularity

コンテナ環境○○●GV, Gfortran, GCC, perl, Python, Ruby, R,
Emacs, vi, nkf, etc.

○

OpenGL

○

その他

30

○

○

●

●

○

●

○

○

○

○

●

○

○

○

○

●

※ソフトウェア環境は継続的に更新しています。最新の情報ついては利用手引書やWebページで確認してください。

スーパーコンピュータ「不老」
ソフトウェア利用環境：ライブラリ

数値計算ライブラリ

FFTW,
SuperLU, SuperLU MT, SuperLU DIST,METIS, MT-METIS, ParMETIS,
Scotch, PT-Scotch,
PETSc,MUMPUS,
Xabclib

フロントエンドシステム

Type I
サブシステムType II
サブシステムType III
サブシステムクラウド
サブシステム

○

○

○

○

○

●

画像処理
サーバ

オンサイト
利用装置

企業利用

ppOpen-HPCライブラリ：
ppOpen-APPL, ppOpen-AT, ppOpenMATH
精度保障ライブラリ：
LINSYS_V, DHPMM_F
入出力フォーマット
ライブラリ

NetCDF, Parallel netCDF,
HDF5,
JHPCN-DF

○

○

○

○

○

●

画像処理ソフトウエア

OpenCV, Geant4

○

○

○

○

○

●

○

○

○

○

○

●

Caffe, Chainer, Keras, PyTorch, TensorFlow,
Theano, Mxnet, ONNX
機械学習ソフトウエア

31

パッケージ：
conda, Numpy, Scipy, scikit-image, pillow,
matplotlib, jupyterlab※ソフトウェア環境は継続的に更新しています。最新の情報ついては利用手引書やWebページで確認してください。

スーパーコンピュータ「不老」
ソフトウェア利用環境：解析ソフトウエア
フロントエンド
クラウド
画像処理 オンサイト
Type I
Type II
Type III
企業利用システム
サブシステム サブシステム サブシステム サブシステム サーバ
利用装置
OpenFOAM, FrontFlow blue/red

流体解析

○

LS-Dyna

○

○

○

●

○

○

●

○

構造解析

計算化学解析

FrontISTR

○

AMBER

○

○

○

○※2

○

●

Modylas

○

○

○

●

Pointwise

統合ソフトウエア

HyperWorks

32

○※2

Gaussian, Gamess, Gromacs, LAMMPS,
NAMD

メッシャー

※1
※2

○

○※1

○
○※2

○

Type IIIサブシステムの会話型ノード(lm01)で利用可。
CPU並列版の他にGPU対応版が利用可。

※ソフトウェア環境は継続的に更新しています。最新の情報ついては利用手引書やWebページで確認してください。

スーパーコンピュータ「不老」
ソフトウェア利用環境：可視化ソフトウエア
フロントエンド
クラウドType I
Type II
Type IIIシステム
サブシステム サブシステム サブシステム サブシステム

リモート可視化

画像処理
サーバ

オンサイト
企業利用
利用装置

NICE DCV○○※1

FieldView

○

○

○

○

AVS/Express, Paraview, POV-Ray, VMD

○

○

○

○

●

3D AVS Player, ffmpeg, ffplay

○

○※1

○

○

●

IDL, ENVI

○

○

○

●

可視化ソフトウエア※133

MicroAVS○

3dsMax, Visual Studio Pro○●

Type IIIサブシステムの会話型ノード(lm01)で利用可。

※ソフトウェア環境は継続的に更新しています。最新の情報ついては利用手引書やWebページで確認してください。

計算サブシステムの使い分け
どのサブシステムを使えば良いのか各サブシステムの特徴から選ぶ
 Type Iサブシステム

特徴：FX100の後継機、「富岳」と同じアーキテクチャ、ノード数が多い 主な対象利用者：FX100や「富岳」で実績のあるプログラムを動かしたい、富士通コンパイラを使いたい、大規模分散(MPI)並列実行したい Type IIサブシステム

特徴：Intel CPU + NVIDIA GPU 、ローカルSSD搭載
 主な対象利用者：GPUを使いたい、高いI/O性能が欲しい Type IIIサブシステム

特徴：大容量メモリ環境、可視化システムと接続
 想定される利用者：大容量メモリを使いたい、可視化システムを使いたい クラウドシステム

特徴：インタラクティブ実行、Intel CPU×4ソケット搭載
 想定される利用者：インタラクティブ処理がしたい、高いノード内CPU並列演算性能が欲しい、研究室のワークステーション・小規模クラスタの代わりに使いたい35

用途から選ぶ（1／3）
 旧システム利用者はどのシステムを使うのがオススメ？

旧FXシステム → Type Iサブシステム
 旧CXシステム → Type IIサブシステム または 旧UVシステム → Type IIIサブシステム
36

クラウドシステム

用途から選ぶ（2／3）
 対象プログラムの属性とサブシステムの対応

大規模分散(MPI)並列 → Type Iサブシステム
 GPU、高速I/O → Type IIサブシステム
 可視化、大容量メモリ → Type IIIサブシステム
 ノード内CPU並列実行で高い計算性能 → クラウドシステム


OpenMP並列化は行えているがMPI並列化は行えていない場合など

機械学習


→

Type Iサブシステム

またはType IIサブシステム

対象プログラム（利用するフレームワークなど）がGPU向けに最適化されているならType II、「富岳」向けに最適化されているならType I

インタラクティブ実行 → 大容量メモリも必要ならType IIIサブシステム、それ以外はクラウドシステム 研究室のワークステーションや小規模PCクラスタ（Core i, Xeonなどx86系のCPUを搭載）の代
わりに使いたい、高速化・大規模化したい→ GPUを使いたいならType IIサブシステム、それ以外はクラウドシステム
37用途から選ぶ（3／3）
 「○○というソフトウェアを使いたいのだが？」「ソフトウェア利用環境」の表に従う、以下のWebページでも公開中
 http://www.icts.nagoya-u.ac.jp/ja/sc/software.html



それ以外は、利用実績を元に考えると良い 「富岳」での利用実績がある→ Type Iサブシステム
 GPUを用いた利用実績がある → Type IIサブシステム
 それ以外 → クラウドシステム、大容量メモリが必要であればType IIIサブシステム
各サブシステムに適したコンパイラの違いも参考に Type I：富士通、LLVM
 Type II：Intel、LLVM、GNU、PGI NVIDIA
 Type III：Intel、LLVM、GNU クラウド：Intel、LLVM、GNU ※OSSとして公開されているソフトウェア等を自分でコンパイルして利用する場合は、対応38するコンパイラや関係するライブラリの情報も確認してサブシステムを選択してください利用料金体系
2022年度版

スーパーコンピュータ「不老」
課金体系 (1/8)
 前払い定額制（プリペイド形式）
 利用すべき資源の料金を前払いして利用 利用ポイントに変換して利用

 単年度会計(４月１日～翌年３月３１日)
 年度途中で申込み可能だが、利用終了は年度末
 年度末に余った利用ポイントは没収

 一度の申込みで全てのサブシステムと可視化システムを利用可能
 Type I、Type II、Type III、クラウド

40

全て共通

スーパーコンピュータ「不老」
課金体系 (2/8)
 アカデミックユーザ（大学、研究機関など所属）向けプラン
 基本負担金 利用登録1名につき年額10,000円
 10,000利用ポイントを付加（他ユーザへの譲渡不可）
 追加負担金 1,000円単位で追加が可能

 50万円未満：
 50万円以上：

1円あたり1ポイント付加
1円あたり1.25ポイント付加※利用審査なし
 予算（運営費交付金や科研費など）が確認できる、平和利用に限る、といった基本的な条件を満たせばOK 利用後の報告等も不要（成果登録にはご協力いただけると助かります）
41

スーパーコンピュータ「不老」
課金体系 (3/8)
 Type Iサブシステム（「富岳」型ノード）消費ポイント
 計算課金：利用ノード数×経過時間[s] × 0.0056
 基本負担金１万円＝１万ポイント付加で利用可能な目安
 １ノードを

約２１日 ４ノードを 約 ５日
 １０万円（基本利用料金１万円、追加料金９万円）＝１０万ポイント付加で利用可能な目安
 １ノードを 約２０７日
 ４ノードを 約 ５２日
 ８ノードを 約 ２６日
 １ノードの年間利用額：約１６万９０００円
 保守日等を考慮し年間３５０日利用できると仮定、以下同様
42スーパーコンピュータ「不老」
課金体系 (4/8)
 Type IIサブシステム（GPUノード）消費ポイント
 計算課金：利用GPU数×経過時間[s] × 0.007
 基本負担金１万円※ cx-shareリソースグループを使った場合のみGPU=1で計算されます＝１万ポイント付加で利用可能な目安
 １ノード（１GPU）を 約１７日
 １ノード（４GPU）を 約 ４日
 １０万円（基本利用料金１万円、追加料金９万円）＝１０万ポイント付加で利用可能な目安
 １ノード（１GPU）を 約１６５日
 １ノード（４GPU）を 約 ４１日
 ４ノード（16GPU）を 約 １０日
 １ノード（４GPU）の年間利用額：約８４万７０００円
43

スーパーコンピュータ「不老」
課金体系 (5/8)
 Type IIIサブシステム（バッチ処理）、およびクラウドシステムの消費ポイント

 計算課金：利用ソケット数×経過時間[s] × 0.002
 基本負担金１万円◆ Type III：１ソケット当たり２８コア◆ クラウド：１ソケット当たり２０コア＝１万ポイント付加で利用可能な目安
 １ソケットを 約５８日
 ４ソケットを 約１４日
 １０万円（基本利用料金１万円、追加料金９万円）＝１０万ポイント付加で利用可能な目安
４ソケットを 約１４５日
 ３２ソケットを 約 １８日
 ２ソケットの年間利用額：約１２万１０００円
44

スーパーコンピュータ「不老」
課金体系 (6/8)
 Type IIIサブシステム（会話型処理）消費ポイント
 計算課金：利用CPUコア数×経過時間[s]×0.002
 各計算サブシステムの備えるinteractiveジョブクラスはバッチジョブ扱いの課

金です（fx-interactive, cx-interactive, cxgfs-interactive, cl-interactive）
 2020年度に適用されていたログインノード上での処理に対するポイント消費は撤廃されました。
 ただし、ログインノード上での並列度やメモリ使用量が大きなプログラム、
実行時間が長いプログラムの実行は他のユーザに影響するためおやめください。そのようなプログラムは強制終了させる可能性もあります。

45

スーパーコンピュータ「不老」
課金体系 (7/8)
 ホットストレージ ファイル課金
 １TB 以下の場合(Home + Large)：徴収しない
 ファイルの使用容量が１TB を超えた場合：

超えた容量について、１GB につき １日当たり 0.01 ポイント 例) 2TB(2000GB)利用：1000GBが課金対象⇒ １０ポイント/日 ⇒３００円/３０日、３，５００円/３５０日（保守などで停止する日については徴収しない）※128TBを超える場合は、全体容量を考慮して、削除依頼をさせていただくことがあります【予定】。
※128TBを超える容量が必要な場合は、事前に相談ください。
46

スーパーコンピュータ「不老」
課金体系 (8/8)
 コールドストレージ ファイル課金
 １口：50TB
 １回だけ書き込める（追記可能）の光ディスク×10枚（1枚約5TB）

 ファイル負担経費（初回利用時のみ必要）：１口

190,000円
 ファイル管理経費（毎年必要、基本負担金とは別）：１口 10,000円※ユーザの利用終了時、もしくは、スーパーコンピュータ「不老」運用終了時に、光ディスクを持ち帰りいただけます。

47スーパーコンピュータ「不老」
新サービス：ノード準占有利用
 ノード準占有利用
 1時間以内のジョブ実行開始を保証
 バッチ利用のみ １ノード、１ヶ月間の利用負担金
 Type IIサブシステム：210,000円（通常価格の約2.8倍）
 クラウドシステム： 62,000円（通常価格の約2.8倍）

48

スーパーコンピュータ「不老」
新サービス：クラウドノード予約利用
 クラウドノード予約利用
 専用の予約システム「UNCAI」（Webブラウザで操作）でノードを予約して利用する

 利用料金 計算課金：利用コア数×経過時間[s] × 0.0001（ソケット当たりコア数を考えればバッチ実行と同等）
 １ソケット当たり20コア、10コア（0.5ソケット）から利用可能
 利用可能なメモリ容量もコア数に比例 基本負担金1万円でXeon Gold 20コア1ソケットを約58日間使用可能

49

スーパーコンピュータ「不老」
新サービス：グループ利用
 グループ利用
 １口10人まで、10万円で100,000ポイント付与
 参考：2020年度は20人まで20万円で200,000ポイント
 登録料なし
 個人利用（個別に1万円×10人が個別に基本負担金を払う）との違い
 100,000ポイントを10人で共有して利用可能

 個人利用の基本負担金で付与された10,000ポイントは他者と共有して利用で

きない

50

お試し利用、リテラシー利用
 トライアルユース
 ソフトウェアの動作確認などへの利用を想定し、無料で利用できる制度
 お1人様1回限り利用可能、企業においては同一の課で１回限り利用可能 アカデミックユーザは無審査、企業ユーザは書類審査あり
 10,000ポイント付与、有効期限1ヶ月
 終了後に報告書を提出していただきます リテラシー利用（アカデミックユーザのみ）
 名大学内外の学部・大学院等の講義や演習で利用いただける制度
 利用登録25 件につき10,000 円、50,000ポイント付与
 有効期限：上限6ヶ月（講義・演習実施期間に依存） ゼミでの利用も可能（一般的にシラバスに講義として掲載されるため）51スーパーコンピュータ「不老」
民間利用制度（産業利用）
 書類での審査があります。
 公開型
 １０アカウントまで２０万円
 ポイント購入費用がアカデミック利用の2倍（20万円で100,000ポイント）
 企業名、課題名、報告書をWebで公開（延期制度あり）

 非公開型
 １０アカウントまで４０万円
 ポイント購入費用がアカデミック利用の4倍（20万円で100,000ポイント） 外部に情報は非公開（ただし内部会議では情報が出ます）

 追加負担金も同額です。
52

申込み金額に応じたポイント優遇はございません。
詳しくは、産業利用のパンフレットをご参照ください。

優先ジョブクラス（アカデミック・民間）
 TypeI、TypeII、クラウドの各サブシステム
 ポイントを通常の２倍消費することで利用可能なジョブクラス
 専用のキューにジョブを投げることで利用 通常のジョブクラスが混んでいるときでも早く実行したい、というユーザの利用を想定

 （優先ジョブクラスも混んでしまったらすいません）

53

コンサルティング
 並列化、利用高度化、ISVアプリの利用方法などに関するコンサルティングを行っています。
 本センター教職員や学内外の専門家で構成される専門分野相談員によるコンサルティング（面談）ができます。


Web受付 Q&A SYSTEM
 各種ご質問、ご相談等は下記Webサイトからお問合せください。
 https://qa.icts.nagoya-u.ac.jp/



面談相談 実際に画面を見ながらなど、電話やメールでは伝えにくいご質問やご相談は面談でも受け付けています。
 事前にお約束の上、本センター3階図書室内のIT相談コーナーにお越しください。または、相談員が訪問させていただくことも可能です。
 連絡先：052-789-4366（IT相談コーナー直通）、または上記のQ&A SYSTEMから
54

可視化設備 情報基盤センター可視化室（本館１階）


可視化室の利用は予約制となります• 8K 185型タイルドディスプレイ
• 全天周映像視聴システム• 円偏光立体視システム など
55

可視化設備 情報基盤センター可視化室（本館１階）


可視化室の利用は予約制となります

8K 185型
タイルドディスプレイ

16

利用者支援室
 情報基盤センター利用者支援室（本館３階）


57

利用者支援室の利用は予約制となります訪問者が現地で利用可能な機材


画像処理装置（1F可視化室）

⚫Windows10が動作するデスクトップパソコン（１台）⚫対話型のプリ・ポスト処理や共有ファイルストレージの大容量ファイル取り扱い用⚫10Gbps SINETによる高速インターネットが利用可能⚫USB外付けHDDやディスクメディア（Blu-rayディスク）を持ち込んでホットストレージに対するデータの読み書きが可能⚫可視化室に設置された185インチ8K高精細ディスプレイ
に接続、大規模データの高品位なプリポスト処理やコンテンツ生成に活用可能

画像処理装置

58

オンサイト利用装置（3F利用者支援室）⚫Linuxが動作する計算サーバ（２台）⚫対話型のプリ・ポスト処理、スーパーコンピュータシス
テムとの大容量ファイル取り扱い用⚫USB外付けHDDや光ディスクメディア（Blu-rayディスク）を持ち込んでホットストレージに対するデータの読み書きが可能⚫予約制の部屋貸し切りで、ハードディスク持ち込みで大規模データの入力、回収が可能

ODA単体ドライブ

オンサイト利用装置⚫コールドストレージの光ディスクアーカイブと互換性のあるUSB接続ドライブ⚫画像処理装置・オンサイト利用装置に接続して利用可能⚫郵送による貸し出しも可能（専用BOXを用意）

スーパーコンピュータ「不老」の利用方法
具体的な利用手順

マニュアルなどの入手方法
 スパコンへのログインなど初歩的なことや最新のTips（便利な使い方）、

最適化のためのお役立ち情報など

情報基盤センターのWebページで誰でも入手可能
 「スーパーコンピュータ「不老」基本マニュアルおよび関連資料」
 http://www.icts.nagoya-u.ac.jp/ja/sc/usage.html
 各サブシステムの詳細なマニュアルなど

HPC Portalからダウンロード
 「不老」のアカウントを持つ利用者のみがアクセス可能 https://portal.cc.nagoya-u.ac.jp/

60基本的な使い方 SSH公開鍵の設定、マニュアルの閲覧：HPC PortalにWebアクセス
 バッチジョブ：SSHで接続し、バッチジョブシステムにジョブを登録
 クラウドシステムの時間指定ジョブ実行：Webシステム（UNCAI）から予約、時間になったらSSHで接続して利用

 多くのスパコンと同様、「不老」もバッチジョブシステムでプログラムの

実行を管理


多数のユーザの多数のジョブを効率よく処理するため

 利用者はSSH接続環境を整備しジョブスクリプトの書き方を習得する必要

がある

61

利用登録からログインまでの手順
利用登録

1.

「申請書類一覧」のページから申請書をダウンロードして記入押印し郵送
 http://www.icts.nagoya-u.ac.jp/ja/sc/riyou/apps.html
パスワード入手

2.

郵送されるのを待つ ペーパーレス化については学内ユーザ向け限定で対応開始しています

SSH接続環境とSSH公開鍵の準備
4. HPCポータルへのログインとSSH公開鍵の登録
5. SSHアクセス
3.

62

接続先
 SSH接続先
対象計算サブシステム

SSH接続先備考

Type Iサブシステム

flow-fx.cc.nagoya-u.ac.jp

Type Iサブシステム（HPCI）

hpcifx.cc.nagoya-u.ac.jp

Type IIサブシステム

flow-cx.cc.nagoya-u.ac.jp

GPU搭載

Type IIサブシステム（HPCI）

hpcicx.cc.nagoya-u.ac.jp

GPU搭載

Type IIIサブシステム

flow-lm.cc.nagoya-u.ac.jp

GPU搭載

Type IIIサブシステム（可視化用）

post.cc.nagoya-u.ac.jp

リモート可視化用

クラウドシステム

flow-cloud.cc.nagoya-u.ac.jp

 HPC Portal：https://portal.cc.nagoya-u.ac.jp/
 UNCAI：https://portal.cc.nagoya-u.ac.jp/reserve/
63バッチジョブシステムの操作
 （スパコンでは一般的ですが）計算ノードにジョブを実行させたり情報を取得したりするには、内容と実行方法を記述したジョブスクリプトと、ジョブ制御用のコマンドを使います Type I, II, III, クラウドの各計算サブシステムで共通のジョブ制御用コマ
ンドが使えます 主なジョブ制御用コマンド
 pjsub：ジョブを投入する（プログラムの実行を指示する）

pjstat, pjstat2：ジョブの投入状況を確認する
 pjdel：投入したジョブを削除する
 各コマンドの詳細や指定できる引数についてはmanコマンドや--helpオプション
で確認してください

64

利用イメージ
SSH接続

ログインノード群
プログラムの作成（コンパイルなど）

pjsub

バッチジョブシステム

ジョブの実行と結果の回収

計算ノード群（並列化された）プログラムの実行➢ 利用者はログインノード上でプログラムの作成・コンパイルなどを行い、計算ノード上でのプログラム実行はバッチジョブシステムが担当。プログラムの作成はソースコードをsftpなどで送付しても良いし、ログインノード上のエディタで行っても良い。

65

手元のPCとスパコンの間のデータ送受信
 scpやsftpを使う必要がある

LinuxやMacでは（おそらく）上記のコマンドが使える Windowsでは対応するアプリケーションをインストールする WinSCPやFileZillaなどを使う
 MobaXtermは左側のツリービューでファイルのUpload/Downloadが可能

66

リソースグループの選択 実行したいジョブの設定に合わせてリソースグループ（キュー）を選択する必要がある

ユーザから見れば何も気にせずに実行できるのが楽だが、大量のジョブをスムーズに実行するにはユーザの協力が不可欠
 基本的には利用するノード数や実行したい時間が適切なものを選べば良い

 指定した利用時間を過ぎると問答無用で強制終了されます

67

ちょうど良いリソースグループ・空いているリソースグループを適切に選んで効率よく利用してくださいType Iサブシステム
リソース
グループ名

最小
ノード数

最大
ノード数

最大
CPUコア数

最長実行時間(デフォルト値)

最長実行時間(最大値)

最大
メモリ容量(*)

割当方法(トーラス)

割当方法
(離散)

備考

fx-interactive

1

4

192

1時間

24時間

28 GiB x 4

不可

可 会話型バッチ

fx-debug

1

36

1,728

1時間

1時間

28 GiB x 36

不可

可 短時間デバッグ用

fx-extra

1

36

1,728

1時間

12時間

28 GiB x 36

不可

可 12時間ノード縮退運転用

fx-small

1

24

1,152

12時間

168時間

28 GiB x 24

不可

可 1 BoB単位

fx-middle

12

96

4,608

12時間

72時間

28 GiB x 96

可可 2 シェルフ単位

fx-large

96

192

9,216

12時間

72時間

28 GiB x 192

可可 1/2 ラック単位

fx-xlarge

96

768

36,864

12時間

24時間

28 GiB x 768

可可 2 ラック単位

fx-special

1

2,304

110,592

unlimited

unlimited

28 GiB x 2,304

可可 事前予約制

fx-middle2

1

96

4,608

12時間

72時間

28 GiB x 96

可可 実行優先度強化型 (‡)

68* ノードあたり搭載メモリ容量は32GiBですが、そのうちユーザープログラムが使用可能な容量は28GiBです。
‡ 他のジョブクラスよりも優先して実行されますが、実行には経過時間1 秒につき 通常の2倍のポイントが必要です。

Type IIサブシステム
リソース
グループ名

最大
ノード数

最大
CPUコア数

最長実行時間(デフォルト値)

最長実行時間(最大値)

最大
メモリ容量 (*)

ローカルストレージ
NVMeSSD 6.4TB
利用可能

BeeOND
利用可能

備考

BeeGFS(NVMesh)
利用可能(申請制)

cx-interactive

1

1

1時間

24時間

338 GiB○

会話型バッチcx-debug

4

160

1時間

1時間

338 GiB x 4○

短時間デバッグ用、準占有利用ノードと共有

cx-extra

8

320

1時間

12時間

338 GiB x 8○

12時間ノード縮退運転用

cx-share

1/4(共有)

10

1時間

168時間

84 GiB○(共有)

cx-single

1

40

1時間

336時間

338 GiB x 1○

cx-small

8

320

1時間

168時間

338 GiB x 8○○

cx-middle

16

1,280

1時間

72時間

338 GiB x 16○○

cx-large

64

3,840

1時間

72時間

338 GiB x 64○○

cx-special

221

8,840

unlimited

unlimited

338 GiB x 221○

cx-middle2

16

1,280

1時間

72時間

338 GiB x 16○

cxgfs-interactive

1

40

1時間

168時間

338 GiB x 1○ 会話型バッチ

cxgfs-single

1

40

1時間

336時間

338 GiB x 1○

cxgfs-small

8

320

1時間

168時間

338 GiB x 8○

cxgfs-middle

16

1,280

1時間

72時間

338 GiB x 16○

cxgfs-special

50

2,000

1時間

72時間

338 GiB x 50

○ 事前予約制

準占有利用(契約次第)(契約次第)

unlimited

unlimited

338 GiB x 実行ノード数69○

ノード共有(**)、資源を1/4に分割

事前予約制
○

要相談

* ノードあたり搭載メモリ容量は384GiBですが、そのうちユーザープログラムが使用可能な容量は338GiBです。
** 1ノードを4件のジョブで共有します。1/2 CPU（10コア）、86.25GBのメモリを使用してジョブが実行されます。
‡ 他のジョブクラスよりも優先して実行されますが、実行には経過時間1 秒につき 通常の2倍のポイントが必要です。

実行優先度強化型(‡)

要相談

Type IIIサブシステム
リソースグループ名

最大CPUソケット数(CPUコア数)

最大ノード数

最長実行時間(デフォルト値)

最長実行時間(最大値)

備考

lm-middle

16(168)

24時間

72時間

8,034 GiB

lm-large

1

16(448)

24時間

24時間

21,424 GiB

70

クラウドシステム
リソースグループ名

最小
ノード数

最大
ノード数

最大
CPUコア数

最長実行時間(デフォルト値)

最長実行時間(最大値)

最大
メモリ容量 (*)

備考

338 GiB x 1 会話型バッチ

cl-interactive

1

1

80

1時間

168時間

cl-debug

1

4

320

1時間

1時間

cl-share

1/4（共有）1/4（共有）

20

1時間

168時間

cl-extra

1

18

1240

1時間

12時間

338 GiB x 18 12時間ノード縮退運転用

cl-single

1

1

80

1時間

168時間

338 GiB x 1

cl-small

2

8

640

1時間

168時間

338 GiB x 8

cl-middle

8

16

1,280

1時間

72時間

338 GiB x 16

cl-special

1

95

7,600

unlimited

unlimited71

338 GiB x 4

短時間デバッグ用、準占有利用ノードと共有

84 GiB ノード共有

338 GiB x 95 事前予約制* ノードあたり搭載メモリ容量は384GiBですが、そのうちユーザープログラムが使用可能な容量は338GiBです。

クラウドシステムの利用形態
 バッチジョブ実行
 時刻指定実行

時刻指定バッチジョブ実行
 時刻指定インタラクティブ実行 Type I, II, III同様のバッチジョブ実行、

ログインノードからジョブ投入

 実行時刻を指定した実行 専用のWebシステムを用いて操作

 指定にあわせて仮想マシンが起動する
 全100ノードをバッチジョブ実行用と時刻指定実行用に分けて利用

割合は利用状況を見て調整予定

 その他、準占有制度による利用も可能

72

4ソケットCPU+384GiBメモリを使いたい放題時刻指定実行の特徴


通常のバッチジョブ実行は、ジョブスケジューラによる調整の結果で実際のジョブ開始時刻が決まる



時刻指定実行は、ジョブ開始時刻を指定してジョブの予約をすることができる






時刻指定実行の種類


73

専用のWebシステムから予約を行う
HWトラブルなど特別な事情がない限り、指定した時刻に開始する計算資源が足りない場合や同時実行制限を超える場合は予約ができない

時刻指定インタラクティブ実行

指定時刻にあわせて仮想マシンが用意され起動される

ログインノードからクラウドシステム上の計算資源にsshアクセスできるようになる

ログインのための情報はメールで送られてくる

時刻指定バッチジョブ実行

指定した時刻になると、Webシステムから選択しておいたスクリプトが自動的に実行開始される



時刻指定インタラクティブ実行の冒頭で指定したスクリプトが実行される、と思えば良い時刻指定実行の操作手順
 時刻指定インタラクティブ実行

ブラウザで専用Webシステムにアクセス 実行時刻と利用資源を選択して登録する
 メールでsshアクセス情報（IPアドレス情報）が送られてくる 予約した時刻以降、ログインノードからsshでアクセス可能になる 時刻指定バッチジョブ

あらかじめ所定のディレクトリにバッチ
ジョブスクリプトを用意しておく 時刻指定インタラクティブ実行と同様に
Webシステムにアクセスし、用意したス
クリプトを実行対象として指定する





74

ログインしていたかどうかとは関係なく、確保した時間分だけポイントが消費される（Webから明示的に終了させればその時点で消費が止まる）

予約した時刻になると登録したスクリプ
トが自動的に実行開始される、それ以外
は時刻指定インタラクティブ実行と同様


終了時刻になるか明示的に終了させるまでポイントは消費される

専用Webシステム（UNCAI）の操作イメージ
1. 予約表から使いたい時間帯を指定、または「予約作成」ボタン
2. 利用資源や予約時間帯等を指定する

その他、変更、中止などもWeb予約表から行う
75

時刻指定インタラクティブ実行の確認メールの例
ご予約されていたリソースが利用可能となりました。
予約内容、および、割り当てられたFloating IPをご連絡いたします。
Floating IPで対象のノードにアクセスが可能です。
-------------------------------------------------------------------------------Reserve ID: xxxxxxxxxxxxxxxx(予約ID)
User(予約者): a49999a

Template(テンプレート): VX

OS image(OSイメージ): CentOS-7.7

Number of host(s)
(予約数)

: 1

Batch script(時刻指定バッチスクリプト): (No execution)

Reservation term
(利用期間): 2020/06/27 14:00 - 2020/06/27 20:00

Floating IP address(Floating IP)
76xx.xx.xx.xx←ログインノードからここに書かれたIPアドレスにsshできる実際に「不老」へSSH接続する手順の紹介
 SSH公開鍵の準備

ssh公開鍵の作成方法が分からない方は、「SSH接続とコンパイル環境の整備」という資料を読み、鍵ファイルを用意してください http://icts.nagoya-u.ac.jp/ja/sc/usage.html
77

HPC PortalへのログインとSSH公開鍵の登録
 https://portal.cc.nagoya-u.ac.jp/

へアクセス

78



郵送されたユーザ名とパスワードでログインする

講習会用のアカウントを使う方には別途案内されているはずパスワードの変更
 初めてログインした場合はパスワードの変更が必要です

79（講習会用の一時的なアカウントを利用する場合は変更を要求されません）

SSH公開鍵の登録画面

ssh-rsa AAAA… … … … … …
(中略、英数字がしばらく続く）… … … ユーザ名@ホスト名

作成した公開鍵を
コピー&ペーストで入力する

入力後にボタンで登録80入力した公開鍵情報がおかしい場合（正しくコピー&ペーストできているか確認してください）

81

正しく登録できた場合

SSHログインが完了した状態（Type IIを使う場合）

この例ではflow-cx04というログインノードにログインしていますが、自動負荷分散によって04以外の数字のログインノードに割り当てられることも
あります。

82

ホームディレクトリと/dataディレクトリ
 ログインした時点では /home/ユーザID というディレクトリにいる（ホームディレクトリ） /data/group1/ユーザID というディレクトリも利用できる
 なるべく/data/group1/ユーザID 側を使うことを推奨

ホームディレクトリは最大で1TBまでのファイルしか置けず、速度も遅め
 どちらのディレクトリも、ログインノードと計算ノード両方から同じように見える83参考：スパコン上でのプログラム（テキスト）編集
 CUIのsshアクセス状態で利用するエディタとしてはEmacsやviが有名
 ただし両方とも慣れが必要であり、また統合開発環境に慣れた利用者にとっては不便なことも多い 手持ちの統合開発環境に慣れている人は、作成して転送したほうが手軽で便利 スパコン上でもちょっとしたテキスト編集をしたいケースは多いと思うので、sshアクセス状態で使えるエディタにも慣れておくと良い Emacsやviに慣れていない人はnanoの利用を推奨「いわゆる普通のテキストエディタ」に近い

 Visual Studio Codeに慣れている人はRemote SSHを使っても良い
84

プロセスが残留するという話もあるため、もしかしたら禁止するかも知れません（いまのところ様子見）nanoの使い方
 起動：nanoコマンドで起動

実行時引数でファイル名を渡すと開いた状態で起動
 例：nano hello.c
 Shift+カーソルキーで文字列の選択ができる
 画面の一番下にショートカット
コマンドが書かれている^X Exit → Ctrl+Xで終了※保存が必要そうな場合は確認が出る
85

M-U Undo → Alt+U、またはEsc→Uでアンドゥ