スーパーコンピュータ「不老」HP：http://www.icts.nagoya-u.ac.jp/ja/sc/

名古屋大学 情報基盤センター

スーパーコンピュータ「不老」Type II システム

１．概要
このパンフレットではスーパーコンピュータ「不老」の主要な計算サブシステムの 1 つである Type II サブシステムについて紹介します。

２．Type II サブシステムの概要●ハードウェアFUJITSU Server PRIMERGY CX2570 M5プロセッサ：
各ノードに 2 基の Intel Xeon Gold 6230 (20 コア)
各ノードに 4 基の NVIDIA Tesla V100
ノード数：221 ノード
総理論演算性能：7.489 PFLOPS (CPU 0.594 PFLOPS + GPU 6.895 PFLOPS)
総メモリ容量：メインメモリ 82.875 TiB, デバイスメモリ 28.288 TiB(ノードあたりメインメモリ 384 GiB, GPU あたりデバイスメモリ 32GiB)
ローカルストレージ：各ノードに NVMe SSD 6.4TB (BeeGFS, BeeOND, NVMesh 対応)●ソフトウェア（下線ソフトは企業利用不可）
サ ブ シ ス テ ム 毎 に 利 用 可 能 ソ フ ト ウ ェ ア が 異 な り ま す 。 詳 し く は 、 Web ペ ー ジ(http://www.icts.nagoya-u.ac.jp/ja/sc/) をご覧ください。
pip などによるソフトウェアインストールや Singularity によるコンテナの利用も行えます。
（Docker コンテナの持ち込みや、「不老」上でのコンテナの編集が可能です。
）ライセンスやソフトウェアの持込みによる利用は個別にご相談ください。
●利用可能な（インストール済み）ソフトウェアの例
開発環境：Intel Parallel Studio Computing Suite, NVIDIA HPC SDK, NVIDIA CUDA
Toolkitライブラリなど：FFTW, METIS, NetCFD, OpenCV, Geant4, Keras, PyTorch, TensorFlow,
conda, Numpy, Scipy
解析ソフトウェア：
流体解析：OpenFOAM, FrontFlow blue/red

構造解析：LS-Dyna, FrontISTR

計算化学解析： AMBER, Gaussian, Gamess, Gromacs, LAMMPS, NAMD, Modylas
統合ソフトウェア：HyperWorks

計算生物学：AlphaFold３．Type II サブシステムの備える特徴的な機能の活用について
Type II サブシステムは各計算ノードに 4 基の NVIDIA Tesla V100 GPU を搭載した GPU スパコンです。数値計算やシミュレーションだけではなく AI・機械学習に関するプログラムを高速に実行することができます。ここでは GPU を有効に活用するうえで便利な Singularityとローカル SSD について紹介します。
各機能の詳細は HPL ポータルに掲載されている利用手引書をご確認ください。
●Singularity コンテナの活用
Type II サブシステムとクラウドシステムでは Singularity によりコンテナを利用できます。
Type II サブシステムではもちろんコンテナから GPU も利用可能、fakeroot 機能によりコンテナの編集も可能です。Docker コンテナをそのまま（コンテナを操作するコマンドを書き換える必要はあります）動かすこともできます。
特に公開リポジトリで配付されている機械学習コンテナを使っている方などは簡単に研究環境を「不老」へ移行することができます。
Singularity の利用方法
ログインノードまたは計算ノードで module load singularity を実行すると singularity コマンドが利用可能になります。
Docker と Singularity のコマンドの対応例
docker hub からコンテナを入手する$ docker pull dockerhub_address⇒$ singularity pull docker://dockerhub_address⇒$ singularity shell container

コンテナに入る$ docker exec -it container bash

コンテナを起動し、その上でコマンドを実行する$ docker run container command⇒$ singularity exec container command

singularity コマンドは sudo と組み合わせて実行する必要はありません。GPU を使いたい
場合は--nv オプションを付ける必要があります。その他、詳細なオプションなどは Singularityのドキュメントや、「スーパーコンピュータ「不老」基本マニュアルおよび関連資料」のページにて公開している「Type II サブシステム向け、Singularity の利用方法」を参照してください。
●ローカル SSD の活用

Type II サブシステムには各ノードに 6.4TB の高速な SSD が搭載されています。SSD を使うことでホットストレージより高速なファイル操作が期待できます。


ローカルストレージとして利用する：cx-で始まるリソースグループではジョブ実行時に $PJM_LOCALDIR にマウントされており、自由に利用することができます。



一時的な共有ストレージとして利用する：上記に加えて、cx-small, cx-middle, cx-large,cx-middle2 ではジョブ実行時に PJM_BEEOND=1 オプションを有効にしている（ジョブ ス ク リ プ ト に #PJM -x PJM_BEEOND=1 と 記 述 ） と BeeOND に よ り

$PJM_BEEONDDIR に SSD を用いた共有ディレクトリがマウントされます。ローカルストレージとして利用した場合は各ノード上のプロセスに見えるのは個別のファイルになりますが、BeeOND を使った場合はノード間で共通のファイルが見えます。複数ノードにまたがり大容量のファイルを操作したい場合にご利用ください。


永続的な共有ストレージとして利用する：ローカルストレージや一時的な共有ストレージとして利用する場合、対象ディレクトリはジョブ開始時には必ず空っぽになっており、ジョブ終了時には全てのファイルが消去されます。一方、cxgfs-で始まるリソー
スグループは NVMesh をサポートしており、こちらはジョブが終了しても置いてあるデータは消えません。複数のジョブで共通して高速アクセスしたいファイルがある場合に有効です。NVMesh の利用は申請制です。追加料金はかかりません。利用状況によって利用いただける容量が制限される可能性があります。なお、cxgfs-で始まるリソースグループは NVMesh を使うユーザ専用ではありません。どなたでもご利用いただ
けます。ただし、NVMesh の申請をしていない利用者にはローカル SSD 自体アクセスできない状態になりますのでご注意ください。（SSD を使わない利用者から見れば、cxgfs-で始まるリソースグループと cx-で始まるリソースグループに差はありません。）

4．Type II サブシステムの利用料金
アカデミック利用の場合 ※民間利用料金は「民間利用制度」（Web）をご参照ください● 基本負担金：10,000 円（1 人）。6,500 ポイントに換算。
● 追加負担金：1,000 円単位の任意の金額。1 円を 0.65 ポイントに換算します。グループ利用の場合は複数ユーザ間で共有できます。
ポイント優遇制度：50 万円以上の入金時、ポイントが 1.25 倍になります。

● Type II サブシステムの計算利用に対する課金：利用 GPU 数×経過時間[s]×0.007
利用料金の例


基本負担金 1 万円＝6,500 ポイント付加で利用可能な目安

1 ノード（1GPU）：約 11.1 日。1 ノード（4GPU）：約 2.6 日。

10 万円（基本負担金 1 万円、追加 9 万円）＝65,000 ポイント付加で利用可能な目安1 ノード（1GPU）：約 108 日。1 ノード（4GPU）：約 27 日。

1 ノード（4GPU）の年間利用額：約 128 万 5000 円 ※年間 350 日利用時

● ストレージに対する課金

ホットストレージ：1TB まで無料。1TB を超えると、超えた分について 1GB につき0.01 ポイント/日。

コールドストレージ（光ディスク）：10 カートリッジを 1 口（50TB）として、初年度のみ導入費 190,000 円が必要。別途、管理費として 1 口あたり 10,000 円/年が必要。

● トライアルユース制度：無料で 10,000 ポイントまでお試し可能。最長 1 ヶ月間。
● グループ利用制度：１口 10 人まで、10 万円で 65,000 ポイント付与。登録料なし。



個人利用との違い：65,000 ポイントを 10 人で共有利用できます。

● 共通ポイント制度：ポイントは全サブシステム間で共通です。使用するサブステムによって消費係数が異なります。

5．利用の流れ利用申込書をお送りください。利用承認後、10 営業日程度でアカウントが発行されます。

6．サポート体制
利用時のご質問やプログラムチューニングなどの技術支援、コンサルティングなどに対応しています。情報基盤センター教職員や相談員による面談相談も行っています。
● IT 相談室（サポートに関する情報全般）
http://www.icts.nagoya-u.ac.jp/ja/center/service/it.html● 講習会・セミナー実施情報
https://www2.itc.nagoya-u.ac.jp/cgi-bin/kousyu/csview2.cgi

7．利用申請・案内・利用規定・負担金規定
スーパーコンピュータ「不老」ホームページをご参照ください．
http://www.icts.nagoya-u.ac.jp/ja/sc/

8. お問合せ先名古屋大学 情報システム運用課 共同利用担当（山田・林・高橋）
電子メール kyodo@itc.nagoya-u.ac.jp

電話 052-789-4354