内容に関する質問はkatagiri@cc.nagoya-u.ac.jp
まで

2022年9月13日13：35－13：55
Zoomによるオンライン開催「不老」運用状況報告
名古屋大学情報基盤センター 片桐孝洋

1

第３回不老ユーザ会

名大情報基盤センターのスパコンのご紹介

2

第３回不老ユーザ会

スーパーコンピュータ「不老」の役割
１．全国共同利用・共同研究拠点として学内外へ計算資源提供


全国共同利用・共同研究拠点として国が位置づけ全国の研究者の世界トップレベル研究を強力に支援
HPCI (High Performance
世界トップレベル
Computing Infrastructure) 利用者
研究の支援

国策スパコン
利用支援

簡便な
移行支援

導入支援／高性
能化／特殊処理／長時間実行名大拠点利用者
JHPCN利用者

名大「不老」
TypeⅠシステム（富岳型ノード）

２．ものつくり企業支援（地域イノベーションコア形成）

スーパーコンピュータ「富岳」

世界トップレベル
研究成果創出

産業利用制度（公開、非公開）



計算機利用型講習会による並列処理・大規模計算普及（地域特有の中小企業支援）

３．新しい計算需要に向けたサービス開拓

データサイエンス（ビッグデータ）、AI基盤の提供による新サービスの開拓

４．指定国立大学として重要な役割


数理・データ科学教育

人材育成・研究力強化・社会との連携

3・数理データ科学分野の人材育成
・AI技術基盤提供 （大規模AI計算基盤、
大規模ストレージ、サイバーフィジカル）・技術コンサルティング・・・等による社会貢献スーパーコンピュータ「不老」の特徴
 以下の新しいスパコン利用法を提供しています: ① TypeⅠサブシステム（｢富岳｣型）による超並列処理
 ② TypeⅡサブシステム（GPUクラスタ）による大規模機械学習 ③ 数値計算 ＋ AI 処理
 ④ ①～③のシームレスなデータ可視化 ⑤ ①～④で必要な大規模・堅牢なデータ蓄積
 ④に必要なTypeⅢサブシステム（大規模共有メモリ（48TB））、精細／遠隔可視化装置が、伝統的に名古屋大学は充実
 ⑤のコールドストレージ（100年保存可能な光ディスク）搭載スパコンは業界初
4

第３回不老ユーザ会

名古屋大学情報基盤センターのスパコン利用の特徴
 計画書提出なし／論文出版等の義務なく利用可能
名古屋大学拠点利用の場合（HPCI、JHPCN利用を除く）
 年間随時募集（ただし、提供資源がなくなった場合を除く）
 アカデミックの方

研究目的（平和利用）、予算確保（運営費、科研費等）が明確であれば、必ず利用承認されます 研究目的の記載は数行
 成果報告書は１ページ
 事実上、発表・出版論文などの情報の登録をお願いするのみ
 申込書提出後、１週間程度で承認、アカウント発行


民間利用の方
課題の計画書提出が必要
 審査委員会で審議の上で承認（１～２週間程度）。
その後、アカウント発行。
 報告書はアンケート程度
5

第３回不老ユーザ会

スーパーコンピュータ「富岳」との連携
同型計算機・同一ソフトウェアスタック

1.

「不老」TypeⅠサブシステムはCPUが「富岳」と同型
 OS・コンパイラ等のソフトウェアスタックも同一と想定


国策ソフトウェアの「不老」TypeⅠサブシステムのプリインストール・講習会実施

2.


国費開発ソフトウェアで「富岳」で動作するソフトウェアのいくつかを、
一般財団法人 高度情報科学技術研究機構（RIST）の協力のもと、「不老」TypeⅠで提供、ハンズオン講習会も実施
☞講習会予定をご覧ください「富岳」向けチューニングと「富岳」への移行支援

3.


6

☞「不老」のほうがより進んだバージョンが提供される可能性がありコンサルティング・教員との共同研究で「富岳」向けと想定される
コードチューニング（☞「不老」TypeⅠ向けと等価）を支援します
第３回不老ユーザ会

名古屋大学情報基盤センターのスーパーコンピュータ
スパコンの歴史「不老」導入96

00

Fujitsu M-1800

05

13
Fujitsu HX600,
M9000

Fujitsu GP7000F/90

メインフレーム系

09

Fujitsu HPC2500

15
Fujitsu
CX400

20
CX400

Fujitsu VPP5000

ベクトル型スパコン

複合型「不老」Fujitsu CX2570

アプリケーションサーバ

GPUサーバ

スカラー型スパコン

Fujitsu VPP500

24

Fujitsu FX1Fujitsu
FX10

スーパーコンピュータ

FX100

Fujitsu FX1000
超並列

HPE Super
Dome Flex
大規模共有メモリこれまで約5年間隔でリプレイス
「不老」も5年弱（4年9ヶ月）の稼働を予定
7

第３回不老ユーザ会

HPE ProLiant
DL560
クラウド

次
期
不
老
へ

スーパーコンピュータ「不老」
主な構成要素Type I, II, III, クラウドの合計で15.886PFLOPS（旧システムの約4倍）

7.489 PF7.782 PF

77.414 TF

537.6 TF

Type Iサブシステム

Type IIサブシステム

Type IIIサブシステム

クラウドシステム

FUJITSU Supercomputer FX1000「富岳」型

FUJITSU Server PRIMERGY CX2570 M5
GPUスパコン

HPE Superdome Flex
大容量メモリ・可視化

HPE ProLiant DL560
バッチ＆インタラクティブ

ホットストレージ

30 PB

8FUJITSU PRIMGERY RX2540 M5
FUJITSU ETERNUS AF250 S2
DDN SFA18KEDDN SS9012

第３回不老ユーザ会

コールドストレージ
SONY PetaSite 拡張型 Library

6 PB

全体システム構成

9

第３回不老ユーザ会

高精細可視化システム
8Kタイルドディスプレイ

Type IIIサブシステム（HPE Superdome Flex）
77.4TFLOPS/48TiB MEM

185inchi 8K高精細大画面タイルドディスプレイ
（総解像度：7680×4320）
Samsung 46inchi Display×16

Intel Xeon Platinum 8280M(2.7GHz,28Core)×16CPU×2 24TiB×2
NVIDIA Quadro RTX6000×4×2
HDD:実効容量500TB(RAID6)×2, NVMe:51.2TB×2

4K

4K

Quadro RTX6000

光ケーブル

2K Display×4

4K

SINET
リモート
可視化

4K

2K Display×4

大規模共有メモリ：
24TiB ×2ノード
スーパーコンピュータ共有ストレージ

2K Display×4

2K Display×4

HDMI

画像処理装置（Windows
可視化サーバ）4K Display×4

Intel Xeon Gold 5122
3.6GHz 4 Cores, 512 GiB MEM
NVIDIA Quadro RTX8000
SATA SSD 2TB
光Disk 5.5TBドライブ ODS-D380U
ホットストレージ
DDN SFA18KE
総実行容量： 30PB

10

コールドストレージ
Sony ODA PetaSite 拡張型ライブラリ
搭載容量：6PB（5.5TB×1091巻）
最大容量：10.89PB（5.5TB×1980巻）

第３回不老ユーザ会

スーパーコンピュータ「不老」
ソフトウェア利用環境
プログラム開発環境など
フロントエン Type I サブシ Type II サブシ Type III サブシ クラウドシステ 画像処理 サー オンサイト 利
ド システム
ステム
ステム
ステム
ム
バ
用装置
Intel Parallel
StudioComputing
Suite

コンパイラ
(Fortran, C/C++),
プロファイラ/デバッガ, MPI, 数値
計算ライブラリ○○

NVIDIAHPC SDK

コンパイラ(Fortran, C/C++,
OpenACC, CUDA
Fortran), プロファ
イラ/デバッガ, MPI,
数値計算ライブラリ○○

FUJITSUTechnical
Computing
Suite

コンパイラ
(Fortran,C/C++),
プロファイラ/デバッガ, MPI, 数値
計算ライブラリ○

Arm Forge
Proffesional
NVIDIA
CUDA SDK
Singularity

プロファイラ/デ
バッガ/最適化
GPU統合開発環境
コンテナ環境

その他

11

○

○

企業利用

●

●

○

●

○

○

○

○

●

○

○

●

GV, Gfortran,
GCC, perl, Python,Ruby, R, Emacs, vi,
nkf, etc.

○

OpenGL

○

○

○
○

○

●

○

○

○

●

○

○

○

●

第３回不老ユーザ会

スーパーコンピュータ「不老」
ソフトウェア利用環境
ライブラリ利用環境
フロントエンド Type I サブシス Type II サブシ
システム
テム
ステム

Type III サブシ クラウド サブシ 画像処理 サー オンサイト 利用
ステム
ステム
バ
装置

企業利用

FFTW, SuperLU,
SuperLU MT,
SuperLU DIST,METIS, MT-METIS,ParMETIS, Scotch, PTScotch, PETSc,
MUMPUS, Xabclib
数値計算
ライブラリ ppOpen-HPCライブラ
リ：ppOpen-APPL,
ppOpen-AT, ppOpenMATH

○

○

○

○

○

●

○

○

○

○

○

●

○

○

○

○

○

●

○

○

○

○

○

●

精度保障ライブラリ：
LINSYS_V,
DHPMM_F
入出力
NetCDF, Parallel
フォーマッ
netCDF, HDF5,
トライブラ
JHPCN-DFリ
画像処理
ソフトウエ OpenCV, Geant4アCaffe, Chainer, Keras,
PyTorch, TensorFlow,
Theano, Mxnet,
機械学習 ONNX
ソフトウエ
ア
パッケージ：conda,
Numpy, Scipy, scikitimage, pillow,
matplotlib, jupyterlab
12

第３回不老ユーザ会

スーパーコンピュータ「不老」
ソフトウェア利用環境
解析ソフトウェア利用環境•*1 Type III サブシステムの会話型ノード(lm01)で利用可。
•*2 CPU並列版の他にGPU対応版が利用可。

フロントエンド システム

流体解析

OpenFOAM,
FrontFlow
blue/red

Type I サブ
システム

Type II サブ
システム

○

○

LS-DynaType III サブ クラウド サブ
システム
システム

画像処理
サーバ

オンサイト
利用装置

企業利用

○

○

●

○

○

●

○

構造解析

計算化学
解析

メッシャー

FrontISTR

○

○

AMBER

○

○ *2

○

Gaussian,Gamess,Gromacs,
LAMMPS,
NAMD

○

○ *2

○

●

Modylas

○

○

○

●

Pointwise

統合ソフトウHyperWorks
エア

13

○ *1

○
○ *2

○

第３回不老ユーザ会

スーパーコンピュータ「不老」
ソフトウェア利用環境
可視化ソフトウェア利用環境•*1 Type III サブシステムの会話型ノード(lm01)で利用可。

フロント
エンド
システム
リモート可 NICE
DCV
視化
FieldView
AVS/Expre
ss,
Paraview,
POV-Ray,
VMD
3D AVS
可視化ソ Player,
フトウエア ffmpeg,
ffplayIDL, ENVI

14Type I
サブシス
テム

Type II
サブシス
テム

Type III
サブシス
テム

クラウド
サブシス
テム

画像処理 オンサイト
企業利用
サーバ 利用装置

○

○ *1

○

○

○

○

○

○

○

○

●

○

○ *1

○

○

●

○

○

○

●

MicroAVS○

3dsMax,VisualStudio Pro○
第３回不老ユーザ会

●

課金体系

15

第３回不老ユーザ会

スーパーコンピュータ「不老」
課金体系 (1/8)
 前払い定額制（プリペイド形式）
 利用すべき資源の料金を前払いして利用 利用ポイントに変換して利用

 単年度会計(４月１日～翌年３月３１日)
 年度途中で申込み可能だが、利用終了は年度末
 年度末に余った利用ポイントは没収

 一度の申込みで全てのサブシステムと可視化システムを利用可能
 Type I、Type II、Type III、クラウド
16

全て共通

第３回不老ユーザ会

スーパーコンピュータ「不老」
課金体系 (2/8)
 アカデミックユーザ（大学、研究機関など所属）
向けプラン
 基本負担金 利用登録1名につき年額10,000円（登録料）
 10,000利用ポイントを付加（他ユーザへの譲渡不可）
 追加負担金 1,000円単位で追加が可能
 50万円未満：

1円あたり1ポイント付加
 50万円以上： 1円あたり1.25ポイント付加
17

第３回不老ユーザ会

スーパーコンピュータ「不老」
課金体系 (3/8)
 TypeIサブシステム（「富岳」型ノード）消費ポイント
 計算課金：利用ノード数×経過時間[s] × 0.0056
 基本負担金１万円＝１万ポイント付加で利用可能な目安
 １ノードを

約２１日 ４ノードを 約 ５日
 １０万円（基本利用料金１万円、追加料金９万円）＝１０万ポイント付加で利用可能な目安
 １ノードを 約２０７日
 ４ノードを 約 ５２日
 ８ノードを 約 ２６日
 １ノードの年間利用額：約１６万９０００円
 保守日等を考慮し年間３５０日利用できると仮定、以下同様
18

第３回不老ユーザ会

スーパーコンピュータ「不老」
課金体系 (4/8)
 TypeIIサブシステム（GPUノード）消費ポイント
 計算課金：利用GPU数×経過時間[s] × 0.007
 基本負担金１万円＝１万ポイント付加で利用可能な目安
 １ノード（１GPU）を 約１７日
 １ノード（４GPU）を 約 ４日
 １０万円（基本利用料金１万円、追加料金９万円）＝１０万ポイント付加で利用可能な目安
 １ノード（１GPU）を 約１６５日
 １ノード（４GPU）を 約 ４１日
 ４ノード（16GPU）を 約 １０日
 １ノード（４GPU）の年間利用額：約８４万７０００円
19

第３回不老ユーザ会

スーパーコンピュータ「不老」
 Type III：１ソケット当たり２８コア
課金体系 (5/8)
 クラウド：１ソケット当たり２０コア
 TypeIIIサブシステム（大規模共有メモリノード）、

およびクラウドシステムの消費ポイント
 計算課金：利用ソケット数×経過時間[s] × 0.002
 基本負担金１万円＝１万ポイント付加で利用可能な目安
 １ソケットを 約５８日
 ４ソケットを 約１４日
 １０万円（基本利用料金１万円、追加料金９万円）＝１０万ポイント付加で利用可能な目安
 ４ソケットを 約１４５日
 ３２ソケットを 約 １８日
 ２ソケットの年間利用額：約１２万１０００円
20

第３回不老ユーザ会

スーパーコンピュータ「不老」
課金体系 (6/8)
 会話型利用：
ログインノード上での処理の消費ポイント
 課金：無料 主にインストール作業での利用想定です。

計算利用はご遠慮ください。
 Type IIIサブシステム（会話型処理）の課金はありますのでご注意ください。
 各計算ノードの備えるinteractiveジョブクラスはバッチジョブ扱いの課金です（fx-interactive, cx-interactive, cl-interactive）
21

第３回不老ユーザ会

スーパーコンピュータ「不老」
課金体系 (7/8)
 ホットストレージ ファイル課金
 １TB 以下の場合(Home + Large)：徴収しない
 ファイルの使用容量が１TB を超えた場合：

超えた容量について、１GB につき １日当たり 0.01 ポイ
ント 例) 2TB(2000GB)利用：1000GBが課金対象⇒ １０ポイント/日 ⇒３００円/３０日、３，５００円/３５０日（保守などで停止する日については徴収しない）※１２８TBを超える場合は、全体容量を考慮して、削除依頼をさせていただくことがあります【予定】。
※１２８TBを超える容量が必要な場合は、事前に相談ください。
22

第３回不老ユーザ会

スーパーコンピュータ「不老」
事前納入の光ディスク６PB売り
課金体系 (8/8)
 コールドストレージ ファイル課金

切り後は、ユーザによる持ち込み
のみなります（上限１０PBまで）。
管理料１万円／年と格安です！
すでに、３PB程度が売れています！
ご購入はお早めに！

 １口：50TB
 １回だけ書き込める（追記可能）の光ディスク×10枚（１枚約5TB）
 ファイル負担経費（初回利用時のみ必要）：
１口 190,000円
 ファイル管理経費（毎年必要、基本負担金とは別）：
１口 10,000円※ユーザの利用終了時、もしくは、「不老」運用終了時に、
光ディスクを持ち帰りいただけます。
23

第３回不老ユーザ会

24

第３回不老ユーザ会

Windows/Mac OSを搭載したPCに、USB3.2又はUSB3.0で単体ドライブを接続して、専用のFilerソフトを使って利用できます。

光ディスクカートリッジ

単体ドライブ

詳細は、以下をご覧ください：25
https://icts.nagoya-u.ac.jp/ja/sc/pdf/pamphlet-cold-202012.pdf

スーパーコンピュータ「不老」
新サービス：ノード準占有利用
 ノード準占有利用
 1時間以内のジョブ実行開始を保証
 バッチ利用のみ １ノード、１ヶ月間の利用負担金
 Type IIサブシステム：

210,000円（通常価格の約2.8倍）
 クラウドシステム：
62,000円（通常価格の約2.8倍）
提供資源量が無くなり次第、受付終了
→お早めに
26

第３回不老ユーザ会

スーパーコンピュータ「不老」
新サービス：クラウドノード予約利用
 クラウドノード予約利用
 専用の予約システム「UNCAI」（Webブラウザで操作）でノードを予約して利用する
 利用料金 計算課金：利用コア数×経過時間[s] × 0.0001（ソケット当たりコア数を考えればバッチ実行と同等）
 １ソケット当たり20コア、10コア（0.5ソケット）から利用可能 利用可能なメモリ容量もコア数に比例 基本負担金1万円でXeon Gold 20コア1ソケットを約58日間使用可能
27

第３回不老ユーザ会

スーパーコンピュータ「不老」
新サービス：グループ利用
 グループ利用

売れています！

 １口１０人まで、１０万円で100,000ポイント付与
 登録料なし
 個人利用（個別に１万円×１0人が個別に基本負担金を払う）との違い
 １00,000ポイントを１0人で共有利用できます 個人利用では、購入した１0,000ポイントを他者と共有できません
28

第３回不老ユーザ会

お試し利用、リテラシー利用
 トライアルユース
 ソフトウェアの動作確認などを、無料で行える制度です。
 お1人様1回限りで申請できます。
 企業においては、同一の課で１回のみです。
 アカデミックユーザ（無審査）、企業ユーザ（書類審査）
 10,000ポイント付加
 有効期限1ヶ月

 リテラシー利用（アカデミックユーザのみ）
 名大学内外の学部・大学院等の講義や演習で利用いただける制度です。
 利用登録25 件につき10,000 円、50,000ポイント付与
 有効期限：上限6ヶ月（講義・演習実施期間に依存）
29

第３回不老ユーザ会

スーパーコンピュータ「不老」
民間利用制度（産業利用）
 書類での審査があります。追加負担金も同額です。
 公開型
 １０アカウントまで２０万円
 アカデミック利用の料金の申込み金額に応じたポイント優遇
はございません。
詳しくは、産業利用のパンフレット
をご参照ください。

２倍（２０万円当たり１００,０００ポイント）
 企業名、課題名、報告書をWebで公開（延期制度あり）
 非公開型
 １０アカウントまで４０万円
 アカデミック利用の料金の４倍（４０万円当たり１００,０００ ポイント） 外部に情報は非公開（ただし内部会議では情報が出ます）
30

第３回不老ユーザ会

優先ジョブクラス（アカデミック・民間）
 TypeI、TypeII、クラウドの各サブシステム
 ポイントを通常の２倍消費することで利用可能な

ジョブクラス 専用のキューにジョブを投げることで利用 通常のジョブクラスが混んでいるときでも早く実行
したい、というユーザの利用を想定 （優先ジョブクラスも混んでしまったらすいません）

31

第３回不老ユーザ会

コンサルティング
 並列化、利用高度化、ISVアプリの利用方法などに関するコンサルティングを行っています。
 本センター教職員や学内外の専門家で構成される専門分野相談員によるコンサルティング（面談）ができます。
Web受付 Q&A SYSTEM
各種ご質問、ご相談等は下記Webサイトからお問合せください。
 https://qa.icts.nagoya-u.ac.jp/

面談相談（※ZOOMによる遠隔面談も可）
実際に画面を見ながらなど、電話やメールでは伝えにくいご質問やご相談は面談でも受け付けています。
 事前にお約束の上、本センター3階図書室内のIT相談コーナーにお越しください。または、相談員が訪問させていただくことも可能です。
 連絡先：052-789-4366（IT相談コーナー直通）、または
上記のQ&A SYSTEMから

32

第３回不老ユーザ会

可視化設備 情報基盤センター可視化室（本館１階）
 可視化室の利用は予約制となります（無料）• 8K 185型タイルドディスプレイ
• 全天周映像視聴システム• 円偏光立体視システム など
33

第３回不老ユーザ会

可視化設備 情報基盤センター可視化室（本館１階）
 可視化室の利用は予約制となります（無料）8K 185型
タイルド
ディスプレイ16

第３回不老ユーザ会

利用者支援室（２部屋） 情報基盤センター利用者支援室（本館３階）
 利用者支援室の利用は予約制となります（無料）35

第３回不老ユーザ会

訪問者が現地で利用可能な機材


画像処理装置（1F可視化室）

Windows10が動作するデスクトップパソコン（１台）
対話型のプリ・ポスト処理や共有ファイルストレージの大容量ファイル取り扱い用
10Gbps SINETによる高速インターネットが利用可能USB外付けHDDやディスクメディア（Blu-rayディスク）を持ち込んでホットストレージに対するデータの読み書
きが可能
可視化室に設置された185インチ8K高精細ディスプレ
イに接続、大規模データの高品位なプリポスト処理やコンテンツ生成に活用可能

画像処理装置

オンサイト利用装置（3F利用者支援室）
Linuxが動作する計算サーバ（２台）
対話型のプリ・ポスト処理、スーパーコンピュータシ
ステムとの大容量ファイル取り扱い用
USB外付けHDDや光ディスクメディア（Blu-rayディスク）を持ち込んでホットストレージに対するデータの読み書きが可能予約制の部屋貸し切りで、ハードディスク持ち込み
で大規模データの入力、回収が可能

オンサイト利用装置

ODA単体ドライブコールドストレージの光ディスク
アーカイブと互換性のあるUSB接続
ドライブ
画像処理装置・オンサイト利用装置に接続して利用可能
36

ODA単体ドライブの貸し出しできます（宅配便で郵送できる専用ケースも有）ご相談ください

第３回不老ユーザ会

スーパーコンピュータ「不老」
講習会等 開催情報（2022年4月～）
2022年度「不老」利用型講習会 開催予定
（オンライン開催）
 9月20日：OpenACC（初級） 9月21日：OpenFOAM（初級 自動車空力解析）
 10月3日：数値計算ライブラリ（初級） 2022年11月以降も、多数開催予定
 最新状況は以下のHPをご覧ください

https://www2.itc.nagoya-u.ac.jp/cgi-bin/kousyu/csview2.cgi
37

第３回不老ユーザ会

スーパーコンピュータ「不老」
アプリケーション

38

第３回不老ユーザ会

スーパーコンピュータ「不老」：
利用されているアプリケーション例■ 大規模数値計算（TypeⅠサブシステム）名大 坪木和久 教授：スーパー台風解析 雲解像モデルCReSS

名大 渡邉智彦 教授：プラズマシミュレーション GKV■ AI／GPUコンピューティング（TypeⅡサブシステム）名大 森健策 教授: AIによる医用画像診断支援技術 (AI)

名工大 本谷秀堅 教授:医用画像処理 LDDMM (GPU Comp.)



防衛大 萩田克美 講師：全原子MD計算による結晶化挙動の解明 (GPU Comp.)⇒第三部で発表■ 大規模数値計算＋AI（TypeⅠサブシステム＋TypeⅡサブシステム連携）


立教大 望月祐志 教授: フラグメント分子軌道計算 ABINIT-MP

山梨大 相馬一義 准教授: 機械学習による気象予測⇒第三部で発表■ 名古屋大学情報基盤センター 独自開発ソフトウェア


名大 高橋一郎 特任主任技師: 可視化ツール VisPlus、コールドストレージ操作ツール
ODAPLUS（TypeⅢサブシステム＋ホット／コールドストレージ）



名大 片桐孝洋 教授：精度保証数値計算ライブラリ VNC-HPC（東女大 荻田武史教授、芝工大 尾崎克久教授との共同研究成果物）(TypeⅠ/TypeⅡ/クラウド)
39

第３回不老ユーザ会

センター独自開発ソフトウェア

40

第３回不老ユーザ会

プログラム名： VisPlus
開発者： 名古屋大学 高橋一郎
概要 ： 多くの大学や研究機関で利用されている可視化アプリケーション開発ツール”AVS Express” を使って開発した可視化アプリケーションプログラムとユーティリティプログラムの集合体である。
可視化アプリケーションプログラムは、AVSのNetworkエディタを使ってカストマイズしてオープンプラットホームで利用することができる。
また、リモート可視化、ローカル可視化にも対応している。
動作環境： Linux, Windows, Mac

高周波電磁界シミュレーションのフライスルー可視化

太陽風のシミュレーションのマルチビューを使った可視化

41

気象シミュレーションのー可視化

気象データのー可視化
脳動脈瘤のPre/Post結果

自動車の衝突解析結果の可視化

高分子シミュレーションの可視化

第３回不老ユーザ会

細胞膜シミュレーションの可視化

プログラム名： ODAPLUS
開発者： Sony, 高橋一郎
概要 ： Sony社製コールドストレージ（光DiskライブラリODA)システムの管理・運用を行うプログラム(専用コマンド、現在運用中）

ー ODA単体ドライブ＆ライブラリ装置の利用方法 －利用者端末

学内Network, SINET
情報基盤センター

スーパーコンピュータ「不老」
フロントエンド・サーバ
スパコン用ログインノード

データ転送用ODAログインノード
利用者支援室スーパーコンピュータ
TypeⅠ

TypeⅡ

TypeⅢ

）

クラウド

脳動脈瘤のPre/Post結果

サブシステム サブシステム サブシステム サブシステム

ODA単体ドライブ装置

Hot Storage

データ転送

Hot Storage アーカイブ
DDN 共有ストレージ（/home,/largeファイルシステム）

42

リコール

Cold
Storage
Cold Storage

センター内・センター外での利用、研究室で保管

ODAライブラリ装置
ODAライブラリ装置

細胞膜シミュレーションのカートリッジの収容｜搬出 可視化

「不老」プリインストール：VNC-HPCライブラリ ポスト「京」萌芽的課題１ 基礎科学のフロンティア－極限への挑戦－：「極限の探究に資する精度保証付き数値計算学の展開と超高性能計算環境の創成」（代表：荻田武史 東京女子大学 教授、～2019年度終了）で開発
 2021年度JHPCN課題で実施：（jh210002-NAHI）「Developing Accuracy Assured High Performance
Numerical Libraries for Eigenproblems」（片桐孝洋（名古屋大学・情報基盤センター））
 演算精度が保証された計算結果を、実用的時間で得られる超高性能計算環境を構築
 スーパーコンピュータ「不老」 プリインストールソフトウェア
 以下のライブラリのソースコードを公開中
HP：http://www.math.twcu.ac.jp/ogita/post-k/index.html
1.
2.
3.
4.
5.
6.

7.
8.

OzBLAS: Accurate and Reproducible BLAS basedon Ozaki scheme (尾崎スキームに基づく
高精度基本線形計算ライブラリ) [for PC, GPU]GEMMTC: GEMM using Tensor Cores(Tensorコアを用いた行列積プログラム) [for GPU]
DHPMM_F for GPU: High-precision Matrix
Multiplication with Faithful Rounding(高精度行列積プログラム) [for GPU]PDDOTK: K-fold Precision Dot Product(分散並列版高精度内積計算プログラム)[for PC, FX100]
BLAS-DOT2: Higher-precision BLAS based on
Dot2 (高精度内積計算アルゴリズムDot2に基づく基本線形計算ライブラリ) [for GPU]LINSYS_VR: Verified Solution of Linear Systems
with Directed Rounding (連立一次方程式に対する精度保証プログラム（丸めモードの変更機能付き）) [for K Computer, FX100]
LINSYS_V: Verified Solution of Linear Systems(連立一次方程式に対する精度保証プログラム)[for PC, K Computer, FX100]
DHPMM_F: High-precision Matrix Multiplication with Faithful Rounding (高精度行列積プログラム)[for PC, K Computer, FX100]
第３回不老ユーザ会

43スパコン「不老」の今後の展開～TypeⅡ（GPU）利活用を中心に～

44

第３回不老ユーザ会

OSS活用事例
 タンパク質構造予測ソフト

AlphaFold2 を TypeⅡ
サブシステム上で簡単に利用できるように整備(2022年2月2日)
https://icts.nagoyau.ac.jp/ja/sc/news/maintenance/2022-01-28alphafold.html(source: https://github.com/deepmind/alphafold) AlphaFoldの利用規約が更新され民間利用のユーザも利用可能 分散ノードのSSDを利用可能とするNVMESHにデータベース配置⇒10時間以上かかるHHblits処理が10分に短縮

45

第３回不老ユーザ会

機械学習の利用促進
 AIモデル学習、AIモデルの向上のための、実行時間が増加 実行時間を短縮したい⇒解決法）AI処理（GPU）の並列実行
 例）ディープラーニング実行時のハイパーパラメタチューニング

46

第３回不老ユーザ会

工学院大学 田中輝雄 教授 提供
2022年度JHPCN採択課題 jh220044「機械学習ソフトウェアへのソフトウェア自動チューニング技術の適用」
第184回ハイパフォーマンスコンピューティング研究発表会
2022/5/11

超解像のための機械学習プログラムのハイパーパラメータ最適化に対する自動チューニングの適用

楊暄(ヨウケン) 1)，藤家空太郎 1)，矢島 雄河 1)，秋田 和俊 2)，
田中 輝雄 1)，浮田 宗伯 2)，大島 聡史 3)
藤井 昭宏1)，
1)工学院大学， 2)豊田工業大学， 3)名古屋大学

2022/9/13

47

工学院大学 田中輝雄 教授 提供
2022年度JHPCN採択課題 jh220044「機械学習ソフトウェアへのソフトウェア自動チューニング技術の適用」

研究目的• 機械学習プログラムでは，より良い学習をするためにハイパーパラメータを最適化が必要• 機械学習(超解像)プログラムに自動チューニングを適用►学習プログラムを繰り返し実行するため，
必要実行時間の大幅に削減が必要

自動チューニング時間の大幅な削減
48

工学院大学 田中輝雄 教授 提供
2022年度JHPCN採択課題 jh220044「機械学習ソフトウェアへのソフトウェア自動チューニング技術の適用」

画像比較
250回トレーニングした後の出力画像の画質を検証

各辺を4倍に拡大

事前学習，ファインチューニングを用いて250回トレーニングする(epoch=250)

事前学習を行わずに2000回トレーニングする(epoch=2000)

49

工学院大学 田中輝雄 教授 提供
2022年度JHPCN採択課題 jh220044「機械学習ソフトウェアへのソフトウェア自動チューニング技術の適用」

自動チューニング手法• 方向探索と一次元探索を繰り返す
方向探索:基準点に隣接する点を比較して，探索方向を選択

性能パラメータ2（PP2）

一次元探索:方向探索で見つけた方向にある点を全て調べ，最も性能の良い点を新たな基準点とする

初期
点周りの点を比較して探索方向を選択
方向決定
(横)

性能評価値
最も良い点
性能パラメータ1（PP1）

50

工学院大学 田中輝雄 教授 提供
2022年度JHPCN採択課題 jh220044「機械学習ソフトウェアへのソフトウェア自動チューニング技術の適用」

並列実⾏• 複数のジョブで同時に実測

複数のジョブを並列に実行できる環境に向けて，
自動チ ューニング機構を改良➀➁ 全ての性能パラメータ
を読み込み

ジョブ

➂

ジョブ投入

ジョブごとの性能パラメータを設定➃ ジョブ投入確認

チューニング対象
プログラム実⾏➄ 全ジョブ完了まで待機

評価値を送信➅自動チューニング機構

性能パラメータが取り得る値の範囲を設定

各ジョブの評価値をまとめて送信DSICE

51

工学院大学 田中輝雄 教授 提供
2022年度JHPCN採択課題 jh220044「機械学習ソフトウェアへのソフトウェア自動チューニング技術の適用」

超解像プログラムの設定• ハイパーパラメータ►4種類: 学習率， w2 (Perceptual損失ウェイト)， w3 (Adversarial 損失ウェイト)，w4(Style損失ウェイト)►w1 (MSE損失ウェイト)を固定: 10ିଵ
►組み合わせ13,310(ൌ 10 ൈ 11 ൈ 11 ൈ 11)通り
学習率
w2 (Perceptual損失ウェイト)10ି଺ , 5 ൈ 10ି଺ , 10ିହ , 5 ൈ 10ିହ , 10ିସ , 5 ൈ 10ିସ , 10ିଷ , 5 ൈ 10ିଷ , 10ିଶ , 5 ൈ 10ିଶ

10パターン0, 10ିଶ , 5 ൈ 10ିଶ , 10ିଵ , 5 ൈ 10ିଵ , 1, 5, 10ଵ , 5 ൈ 10ଵ , 10ଶ , 5 ൈ 10ଶ

11パターン

w3 (Adversarial 損失ウェイト) 0, 10ିହ , 5 ൈ 10ିହ , 10ିସ , 5 ൈ 10ିସ , 10ିଷ , 5 ൈ 10ିଷ , 10ିଶ , 5 ൈ 10ିଶ , 10ିଵ , 5 ൈ 10ିଵw4 (Style損失ウェイト)
w1(MSE損失ウェイト)

0, 10ିଶ , 5 ൈ 10ିଶ , 10ିଵ , 5 ൈ 10ିଵ , 1, 5, 10ଵ , 5 ൈ 10ଵ , 10ଶ , 5 ൈ 10ଶ
10ିଵ

11パターン
11パターン

固定52

計算機環境工学院大学 田中輝雄 教授 提供
2022年度JHPCN採択課題 jh220044「機械学習ソフトウェアへのソフトウェア自動チューニング技術の適用」• 計算機環境名古屋大学のスーパーコンピュータ「不老」 TypeⅡ サブシステム►リソースグループはcx-share►cx-share: 最大50のジョブを同時に実行できる►1ジョブにつき1GPU を使う

Matlab R2021 b►入力した画像から性能評価値(Perceptual Score)を計算►PIRM(Perceptual Image Restoration and Manipulation)プログラムを実行

53

工学院大学 田中輝雄 教授 提供
2022年度JHPCN採択課題 jh220044「機械学習ソフトウェアへのソフトウェア自動チューニング技術の適用」

ジョブ実⾏状況300

最大

ジョブの学習を並列実行

200
150
第2段

100
50
0

第1段
階
40回
26
回

14
回

25
回

再度実
行

4
回

2回実行失敗

1
9
17
25
33
41
49
57
65
73
81
89
97
105
113
121
129
137
145
153
161
169
177
185
193
201
209
217
225
233
241
249
257
265
273
281
289
297
305
313
321
329
337
345
353
361
369
377

実行時間[hour]

250

ジョブ番号

54

工学院大学 田中輝雄 教授 提供
2022年度JHPCN採択課題 jh220044「機械学習ソフトウェアへのソフトウェア自動チューニング技術の適用」

推定したハイパーパラメータ

所要時間
探索回数
学習率
w2(Perceptual損失ウェイト)

DSICE並列化
262時間
363回
0.0001
50.0

従来値
ー
ー
0.0001
2.0

w3(Adversarial 損失ウェイト)
w4(Style損失ウェイト)
Perceptual Score:最適値

0.01
0.01
2.00053

0.001
1.0
2.04

55

量子コンピュータ回路シミュレータの展開
 量子コンピュータの回路シミュレータが、アルゴリズムの進展に加え、GPUでの演算効率の良さから注目 例）プログラミング プラットフォーム「NVIDIA Quantum Optimized Device Architecture (QODA)」（参考：https://www.hpcwire.jp/archives/64737）
 「不老」TypeⅡサブシステム：

量子回路シミュレータ cuQuantum が稼働中
 「不老」を利用するJHPCN課題で活用中 2022年度 JHPCN採択課題 ： jh220010「FMOプログラムABINIT-MPの高速化と超大規模系への対応」
望月祐志 教授（立教大学）⇒第三部で発表
56

第３回不老ユーザ会

cuQuantumによる量⼦回路の数値シミュレーション⾼速化
大阪公⽴大学 杉﨑研司先生提供

量子ビット数911
17
19

CPU only
2093 秒6736 秒
67.51 時間

CPU + GPU
627 秒
1947 秒
5.13 時間

313.61 時間

9.75 時間

加速
x 3.34x 3.46x 13.2x 32.2[CPU only]
Linuxワークステーション
CPU: AMD EPYC 7713P (2.0 GHZ, 64-core)
GPU: None[CPU + GPU]
スパコン「不⽼」 Type IIサブシステム
CPU: Intel Xeon-Gold 6230 (2.10–3.90 GHz, 20-core)
GPU: NVIDIA Tesla V100 (All simulations were executed by using one
GPU (cx-share))