TSUBAME4.0スーパーコンピュータ
利用者ガイダンス
東京工業大学 学術国際情報センター
2024年4月9日（火）

1

はじめに
⚫ 皆様のご協力のおかげでTSUBAME4.0をサービスインすることができました、御礼申し上げます⚫ 運用開始にあたり、さまざまな不具合でご迷惑をおかけしていることをお詫び申し上げます◼ TSUBAME4ポータルの不具合◼ アプリ配布の開始遅れ (準備中)◼ ドキュメント不足 (特に英語版)◼ アナウンス不足⚫ 不具合報告・改善要望等、どしどしお寄せください◼ 深刻度・難易度によって対応が遅くなった際にはご容赦ください⚫ 4/22までのテスト運用期間中は引き続き改修のため、無予告でサービス瞬断等が起こりますがご容赦ください◼ TSUBAME4ポータルからいきなりログアウトされるなど

2

Webページなどのご紹介⚫ TSUBAME4計算サービス◼ https://www.t4.gsic.titech.ac.jp/◼ 全ての案内はここから到達可能⚫ TSUABME4ポータル◼ https://portal.t4.gsic.titech.ac.jp/◼ SSH鍵登録・TSUBAME4ポイントの購入など⚫ X (旧Twitter)◼ @titech_tsubame⚫ 速報的な情報の広報は計算サービスサイトのトップページとXにて行っております⚫ 問い合わせはTSUBAME4計算サービスページ内、「お問い合わせ」のウェブフォームまで◼ TSUBAME4ポータル内の問い合わせフォーム機能は準備中◼ 過去の回答メールのアドレスに直接送信はご遠慮ください

3

運用スケジュール4今年度の主な運用スケジュール⚫ ～4/22 テスト運用期間◼ この間にジョブ実行で使ったポイントは期間後に返却します⚫ アプリ利用権・ストレージのポイントは返却しません◼ 不具合報告・改善要望お待ちしています⚫ 4/22 9:00～4/24 17:00 メンテナンス等で利用不可⚫ 4/24 17:00 正式運用開始⚫ 5月～6月 グランドチャレンジによるノード減 (応募状況次第)⚫ 4/24～6月末 TSUBAME4講習会 (入門・商用アプリ・並列化・GPU活用)⚫ 9月上旬(数日程度) 定期メンテナンス⚫ 3月上旬(金曜～月曜) 法定停電メンテナンス⚫ 3月下旬～4月上旬(数日程度) 年度末メンテナンス⚫ 設置場所変更に伴い、メンテナンスの時期・回数を変更しました

5

システム

6

東工大TSUBAMEの歴史
2006/4TSUBAME 1.0
85TFlops/1.1PB
アジアNo.1「みんなのスパコン」
AMD+ClearSpeed

2007
TSUBAME 1.1
100TFlops/1.6PB

ストレージ・アクセラ
レータ増強

GPUアクセラレータ増強→ Top500で初GPUスパコン

GPUをアップグレード
2013/9TSUBAME 2.5
5.7PFlops/7.1PB

2008
TSUBAME 1.2
160TFlops/1.6PB

2010/11TSUBAME 2.0
2.4PFlops/7.1PB
日本初のペタフロップス超え2017/8TSUBAME 3.0
12PFlops / 15PB
省エネ型「ビッグデータ」スパコン
Green世界一

2024/4TSUBAME 4.0
66.8PFlops/44PB

TSUBAME4.0の特徴• AI時代に即した演算性能とストレージ• 計66.8PFlops(倍精度)の演算性能 ・・・ TSUBAME3.0の5.5倍• NVIDIA H100 GPU 総計960枚！
• AI分野で注目されている、半精度なら952PFlops!

• 計44PBの共有ストレージ容量• 高速共有ストレージ(SSD)の追加• 様々な利用形態への対応• Webベースでも、これまで通りSSHでも• 4コアの資源タイプから高並列・マルチGPUジョブ向けまで• TSUBAME3などのソフトウェアはほぼそのまま稼働• x86_64 CPU + NVIDIA GPU + Linux OSという組み合わせ8

TSUBAME4.0@すずかけ台キャンパス
すずかけ台キャンパスG4-A棟を新データセンターとして改修・利用

G4-A棟

新マシン室

屋外冷却設備等

加藤山
トンネル

マシン室
210m2
(TSUBAME3部屋の2倍)

電気室

すずかけ台駅

駅から徒歩約10分
9TSUBAME4.0のシステム構成

10

TSUBAME4.0性能概略
TSUBAME4.0

TSUBAME3.0
総演算性能• 倍精度演算 (FP64)x5.5
12PFlops

x20

66.8PFlops (行列演算)
34.7PFlops (汎用演算)

952PFlops• 深層学習演算 (FP16の場合)

47PFlops

計算ノード数HPE/SGI ICE XA
540ノード (均一)

HPE Cray XD6500シリーズ
240ノード (均一)

総GPU数

2160個

960個

共有ストレージ

DDN社 SFAHPE ClustreStor E1000• 容量

16PBytex2.8 44PByte+ AllFlash 327TByte

TSUBAME4.0ノード構成
TSUBAME3.0

TSUBAME4.0

CPUIntel Xeon 2680v4 ×2

AMD EPYC 9654 ×2• 周波数、コア数

2.4GHz, 28コア (=14×2)

2.4GHz, 192コア (=96×2)

メインメモリ

DDR3-2400 4ch×2

DDR5-4800 12ch×2• 容量

256GiB

768GiB

ネットワークOmniPath 100Gbps×4

InfiniBand NDR 200Gbps×4

OS

SUSE Linux Enterprise 12

RedHat Enterprise LinuxGPUNVIDIA P100 SXM×4

NVIDIA H100 SXM5 94GB HBM2e ×4• 演算性能(倍精度)

5.3TFlops

66.9TFlops (行列), 33.4TFlops(汎用)• メモリ容量

16GB

94GB

• メモリ速度0.73TB/s

2.39TB/s

以下、1GPUあたり※通常のH100製品(80GB, 3.3TB/s)より
メモリ容量が大きい（やや遅い）

TSUBAME4.0のストレージ• ホーム– /home以下– SSDベース– 各アカウントに存在。無料で利用可能だが容量制限• 共有ストレージ– /gs/bs 以下– ハードディスクベース、計44PB– グループによる購入が必要

全ノード
から共有

• 高速共有ストレージ ← New– /gs/fs 以下– SSDベース、(ホームと合わせ)計327TB– グループによる購入が必要• ローカルスクラッチ領域– ノードあたり1.9TB– 高速だが、ジョブ終了時に消える

各ノード
固有
13

TSUBAME3.0ソフトウェア• OS: Red Hat Linux 9• スケジューラ: Altair Grid Engine• コンパイラ: gcc, Intel, AOCC, NVIDIA HPC(旧PGI)• MPI: OpenMPI, Intel• CUDA• 多種ISVアプリ（後述）moduleコマンドで切り替え

14利用開始とログイン

15

TSUBAMEに慣れている人向けの情報• （東工大メンバの場合）アカウント作成はWeb上で「東工大ポータル」⇒「TSUBAME4ポータル」• 「TSUBAME4ポータル」でSSH公開鍵アップロード• SSHクライアントを用いて、login.t4.gsic.titech.ac.jp へ接続

16

TSUBAME利用までの流れ[if needed] Install terminal app

Web-only route
Password Setting

Log-in to login node

Visit “Open-on-Demand”
Web Page

Log-in to interactive nodeSign-in to interactive node

利用のたびに行う

Register SSH public key

一回行うStandard route

Account creationin TSUBAME portal

17

Standard routeWeb-only route

TSUBAME Portalでのアカウント作成• Visit TokyoTech Portal / 東工大ポータル and log-in
Click “TSUBAME4 portal”➔ If you are new to TSUBAME,
you will be taken to accountcreation pages➔ You will get an account.
• An account name looks like:
ux02345 (not the student ID)⚫

For details, visit
https://www.t4.gsic.titech.ac.jp/ and click“Getting Accounts” / “アカウント取得方法”
18

Web-only route

パスワード設定
Go to “TSUBAME4 portal” again• Visit “Tokyo Tech portal”• Log-in• Click “TSUBAME4 portal”
Your account nameSet a new password→ used in next page19

Web-only route“Open-on-Demand”
Webページへ• Webブラウザで、 https://ood.t4.gsic.titech.ac.jp/ を開く
TSUBAME3の「Webサービス利用」から変わりましたType your account name

Type your password

2段階認証を行います• “Access code” 記載のメールが届くはず➔ 次画面で入力
20

Web-only route“Web Service”の起動 (1)

今回の例では無料利用可能な
jupyter (interactive)
を使ってみます21

Web-only route“Web Service”の起動 (2)Select “free”
Type maximum time,such as “2:00:00”

22

Web-only route“Web Service”の起動 (3)• 「セッション」が作られたとわかる。状態がStartingならしばらく待つ⚫

状態が“Running”に変わったら“Connect to Jupyter”をクリック

23Web-only route“Web Service”の起動 (4)• “Jupyter”画面が表示されるはず• Click the Terminal icon

Your account nameMachine namein TSUBAME~/ (your home) directoryin TSUBAME

24

Standard route[if needed]
SSHクライアントのインストール(In standard route) Your PC must have a terminal application that
supports SSH protocol•On Mac– Start terminal / ターミナル app → use ssh command•On Windows…
– Recently, command prompt / コマンドプロンプト is ok
Also you can install other applications– MobaXterm on Windows– Putty on Windows/Mac– iTerm on Mac …

Or try google“windows ssh client”“mac ssh client”

25

Standard route

SSH鍵認証の準備 (1)• To log-in to TSUBAME by SSH,
– A password is NOT used
– instead, public key (公開鍵) method is usedprivate key (秘密鍵)public key (公開鍵)Actually, they are two text files

26

Standard route

SSH鍵認証の準備 (2)Please create key-pair on your PC by yourself•On Mac terminal or Windows command prompt– Use ssh-keygen command– Setting “passphrase” is strongly recommend➔ Two files are created
For example,
private key → .ssh/id_ecdsa (Mac).ssh\id_ecdsa(Win)public key → .ssh/id_ecdsa.pub (Mac) .ssh\id_ecdsa.pub (Win)•If you are using another terminal application, try Google– Such as “mobaXterm public key”
– If you are asked the key format, choose “OpenSSH” format, NOT “ssh.com
format”
27

Standard route

SSH公開鍵のアップロード
Register your public key on TSUBAME portal
1.

Click Register SSH public
key / SSH公開鍵登録

2.

Upload your public key
Don’t upload the private
key!!

⚫

X

id_ecdsa

id_ecdsa.pub
NOTE: The key is automatically added to~/.ssh/authorized_keys on TSUBAME

28

Standard route

TSUBAMEログインノードにログイン• On Mac terminal or Windows command promptssh -i [private key] [account]@login.t4.gsic.titech.ac.jpex) ssh -i .ssh/id_rsa ux02345@login.t4.gsic.titech.ac.jp

Login Nodelogin.t4.gsic.titech.ac.jp

 If successful,
you will see
On other terminal
applications, try Google

29

Standard route

インタラクティブノードへログイン• ログインノードは、入口用であり、計算用でなく、GPUもついていない• 気軽にGPUなどへアクセスする方法の一つ；「インタラクティブノード」– 全240中2ノードがインタラクティブ専用であり、複数ユーザにより共有

Login Node⚫

ログインノードで以下を実行
iqrsh -l h_rt=2:00:00

Interactive
Nodes

成功時の表示 ➔なお、上記時間がたつ・exitコマンド・Ctrl+D のいずれかによりログアウト

インタラクティブノードでできること
1. [Web-only route] で”jupyter (interactive)”や”TSUBAME interactive desktop”を選んだ場合
2. [Standard route] からiqrshを実行した場合
どちらも、以下のCPU/GPUが見えます (後述のnode_o相当)• CPU 24コア + GPU 0.5個
※ NVIDIA MIGという機能でGPUを分割している

これらを使い、比較的小規模なCPU/GPU並列プログラムの開発・実行が可能[注意]• 東工大メンバは無償・学外メンバは有償• インタラクティブノードを利用できるのは一人あたり同時に1セッション– Web-only / Standard含めて同時に1セッション。終了し忘れに注意• 上記資源は複数ユーザによって共有 ➔ 実行が遅くなったりメモリ不足の可能性

31

moduleコマンドによるソフトウェア切り替え• 利用するソフトウェアに関係する環境設定を、前もってmodule
コマンドで行う– 例： module load intel → Intelコンパイラ• module load intel/2024.0.2 のようにバージョン指定も可能– 例： module load cuda

•
•
•
•

“module load xxx”の効力は、入力したシェルからexitするまで用意されているモジュールの一覧：module avail
すでにloadされたモジュールを全て無効に：module purge
ジョブスクリプト内の注意点あり(後述)32現在インストールされているモジュール------------------------------------------- /usr/share/Modules/modulefiles -------------------------------------------dot module-git module-info modules null use.own------------------------------------- /apps/t4/rhel9/modules/modulefiles/compiler ------------------------------------aocc/4.1.0 cuda/12.0.0 cuda/12.1.0 cuda/12.3.2 intel/2024.0.2 nvhpc/24.1--------------------------------------- /apps/t4/rhel9/modules/modulefiles/mpi ---------------------------------------intel-mpi/2021.11 openmpi/5.0.2-gcc openmpi/5.0.2-intel openmpi/5.0.2-nvhpc-------------------------------------- /apps/t4/rhel9/modules/modulefiles/tools --------------------------------------forge/23.1.2 intel-dnnl/3.3.0 intel-ins/2024.0 intel-itac/2022.0 intel-vtune/2024.0--------------------------------------- /apps/t4/rhel9/modules/modulefiles/isv ---------------------------------------abaqus/2024
ansys/R24.1
gaussview/6.1
schrodinger/2024-1
amber/22up05_ambertools23up06_cpu comsol/62_u2
mathematica/14.0 VASP/6.4.2/5.0.2-nvhpc
amber/22up05_ambertools23up06_gpu gaussian/16C2_cpu matlab/R2024a--------------------------------------- /apps/t4/rhel9/modules/modulefiles/free --------------------------------------alphafold/2.3.2
gromacs/2024
novnc/1.4.0
spack/0.21.2
cmake/3.28.3
hadoop/3.3.6
openfoam-esi/v2312
tensorrt/8.6.1.6
code-server/4.22.1 hdf5-parallel/1.14.3/gcc11.4.1
openfoam/11.0
tgif/4.2.5
cp2k/2024.1
imagemagick/7.1.1-29
papi/7.1.0
tinker/8.10.5
cudnn/9.0.0
jupyterlab/4.1.4
paraview/5.12.0
tmux/3.3
deepmd-kit/2.2.9
lammps/2aug2023_u3
paraview/5.12.0-egl
turbovnc/3.1.1
ffmpeg/6.1.1
miniconda/24.1.2
petsc/3.20.4-complex
VESTA/3.5.8
fftw/3.3.10-gcc
namd/3.0b6
petsc/3.20.4-realvisit/3.1.4
fftw/3.3.10-intel
nccl/2.20.5
pov-ray/3.7.0.9
vmd/1.9.4
fftw/3.3.10-nvhpc
netcdf-parallel/4.9.2/gcc11.4.1 quantumespresso/7.3.1
gamess/Jun302023R1 ninja/1.11.1
R/4.3.2

現在pythonというモジュールは無いが、loadしなくてもPython
3.9.10が使える(将来別バージョンのために
moduleができる予定)
33

TSUBAME4.0のより本格的な利用
TSUBAMEポイントの購入・用途
ジョブスケジューラによる大規模ジョブ実行
共有ストレージの利用

34

TSUBAMEポイント・TSUBAMEグループ• 大規模にTSUBAMEを利用する場合は、TSUBAMEポイントを介して有償となります• TSUBAMEポイントは原則、TSUBAMEグループというユーザグループ単位で購入します– TSUBAME3（1ポイント≒ノード×秒）と異なり、1ポイント≒ノード×時間となりました– 学内グループの場合は、1000円⇒ 16TSUBAMEポイント (≒ノード・時)– 「10分未満・2ノード以下のジョブはお試し利用扱いで無償」は継続– 学内メンバの場合、TSUBAMEポイントを購入できる（グループの管理者・サブ管理者）のは、予算コードを持っている教職員等となります35ポイント・グループの処理の流れ• 処理の流れはTSUBAME3と同様
•
•
•
•
•

TSUBAMEグループを作成
グループにユーザを追加
グループ管理者が
予算コードを登録
TSUBAME4ポータル
グループにTSUBAMEポイントを購入
上で手続きする(必要に応じて)TSUBAMEポイントを消費して共有ストレージ・
商用アプリ権限を購入• ジョブ投入のたびにTSUBAMEポイントを消費各グループメンバがジョブ投入(qsub)の際にグループ名を指定

36

TSUBAME4ポータル• ログイン方法– (東工大メンバ) 東工大ポータル → TSUBAME4ポータル• 以下のサービスが利用可能– 全ユーザ：• 利用者情報の変更、利用停止• ジョブ情報の確認• 予約ジョブの操作– TSUBAMEグループの管理者：• グループの作成、管理、予算の登録• グループ参加者の管理、利用状況• TSUBAMEポイントの購入• 共有ストレージ（グループディスク）・商用アプリ利用権の購入、など
37

グループディスクについて二種類のストレージから選び、「容量指定」して購入• 共有ストレージ– /gs/bs/[グループ名]– ハードディスクベース– グループによる購入が必要 ➔ 1TB×月あたり、0.5ポイント• 高速共有ストレージ ← New– /gs/fs/[グループ名]– SSDベース– グループによる購入が必要 ➔ 100GB ×月あたり、0.2ポイント

38

TSUBAME4.0におけるジョブ投入• TSUBAME4.0において「24コア+0.5GPU」の枠を超えるには、「ジョブスケジューリングシステム」に対してジョブを投入する必要– qsubコマンドなどの習得が必要– インタラクティブノードと違ってジョブがCPUコア/GPUを占有するのでプログラム
実行速度が安定しやすい

Login Node※ ほかにもqrshコマンドや、Webサービス利用からの大規模利用もあるが、有償※ たまたま計算機に空きがないといけないなどの制約も39

ジョブの投入についての概要
前提：TSUBAME4.0では、Altair UNIVA Grid Engine(UGE)というジョブスケジューリ
ングシステム(管理ソフト)が計算機たちの管理を行う• ユーザは並列プログラムを用意する• その実行に必要な計算機の規模・台数を考える– 「資源タイプ」の選択を行う。node_f (ノード一台まるごと)、node_q (1/4)、cpu_4 (4CPUコア
だけ)…
• 資源タイプ・動かしたいプログラムの情報をもとに「ジョブスクリプト」ファイルを作る• qsubコマンドにより、ジョブの投入を行う– qsubなどのコマンドは、ログインノードやインタラクティブノードで実行可能• 結果が出るまで待つ

40

資源タイプ一覧
最大

バランス型
GPU重視

• 利用料金は「大きい」資源ほど高いので、必要十分な資源を選ぶのがおすすめ• MPIジョブ等では、node_f×4、cpu_16×10のように複数個の資源を利用可能– 異種混在は不可• なお「インタラクティブノード」は
node_o相当を、複数ユーザで
共有

CPUのみ
最小
41

Step 1. ジョブスクリプトの用意• 下記のような構成のファイル(ジョブスクリプト)をテキ
ストエディタなどで作成– 拡張子は.sh#!/bin/sh#$ -cwd#$ -l [資源タイプ] =[個数]#$ -l h_rt=[経過時間]#$ -p [プライオリティ]←現在のディレクトリで下記を実行する (あったほうがよい)← 資源タイプ×個数を利用 (必須)
← 打ち切り時間を0:10:00などと指定 (必須)
← スケジューラにとっての優先度(なくてもよい)
省略時は-5, -4が中間、-3が優先度高[必要moduleのロード][プログラム実行]
他のオプションについては、利用の手引き5.2.2を参照

現時点の利用の手引きと異なり、. /etc/profile.d/modules.sh はなくてよい42

ジョブスクリプトの例(1)• 例：Intelコンパイラ+CUDAでコンパイルされたプログ
ラム./a.outを実行したい#!/bin/sh#$ -cwd#$ -l node_q=1#$ -l h_rt=0:10:00#$ -N GPU
module load cuda
module load intel./a.out

ここではnode_q 1個としたジョブにすきな名前をつけてもよい「cuda」と「intel」モジュールが必要なのでloadプログラムを実行

43

ジョブスクリプトの例 (2)• OpenMPなどによる、ノード内並列ジョブの例
a.outが標準バージョンのgccでコンパイルされたとき

a.outがIntelコンパイラでコンパイルされたとき#!/bin/sh#$ -cwd# 資源タイプF 1ノードを使用#$ -l node_f=1#$ -l h_rt=1:00:00#$ -N openmp#!/bin/sh#$ -cwd# 資源タイプF 1ノードを使用#$ -l node_f=1#$ -l h_rt=1:00:00#$ -N openmp# ノード内に192スレッドを配置
export OMP_NUM_THREADS=192./a.out

module load intel# ノード内に192スレッドを配置
export OMP_NUM_THREADS=192./a.out
44

ジョブスクリプトの例(3)• MPIによる、複数ノード並列の例 (Open MPI)
a.outがIntelコンパイラ + OpenMPIでコンパイルされたとき#!/bin/sh#$ -cwd# 資源タイプF 4ノードを使用#$ -l node_f=4#$ -l h_rt=1:00:00#$ -N flatmpi# Intelコンパイラ+Open MPI環境の読込
module load openmpi/5.0.2-intel# ノードあたり192プロセスMPI全768プロセスを使用
mpirun -npernode 192 -n 768 -x LD_LIBRARY_PATH ./a.out

45

ステップ2: qsubによるジョブ投入
qsub -g [TSUBAMEグループ] ジョブスクリプト名• -g [TSUBAMEグループ] については、ジョブスクリプト
内ではなく、ここで指定– 省略した場合は、お試し実行扱いとなり、2ノード10分まで

例: qsub -g tga-ABCDE ./job.sh→成功すると、Your job 3456 ("job.sh") has been submittedのように表示されて、ジョブID(ここでは3456)が分かる
46

ステップ3: ジョブの状態確認
qstat [オプション]
例: qstat→ 自分の現在のジョブ情報が表示
job-ID
prior
name
user
state submit/start atqueue
jclassslots ja-task-ID----------------------------------------------------------------------------------------------------------------------------------------------3456 0.55500 job.sh
ua02023r
08/03/2017 12:17:41
all.q@r16n107rなら実行中、qwなら待機中• 主なオプション

47

ステップ4: (必要なら)ジョブの削除
qdel [ジョブID]

例: qdel 3456

48

ステップ5: ジョブ結果の確認• ジョブが(printfなどで)出力した結果は通常、下記のファイルに格納される– 標準出力→ [ジョブスクリプト名].o[ジョブID]– 標準エラー出力 → [ジョブスクリプト名].e[ジョブID]
たとえば、job.sh.o3456とjob.sh.e3456• ジョブ投入時に-N [ジョブ名]をつけておくと、[ジョブ名].o[ジョブID]などに• -o [ファイル名], -e [ファイル名]オプションでも指定可

49

計算ノードの予約利用• TSUBAME4でqsubできるジョブの最大時間(-l h_rt=…)24時間➔それを超える方法：ノード予約利用• 計算ノードを、開始時刻・終了時刻を指定して予約利用– 1時間単位で時刻指定• イメージとしてはホテルのチェックイン時刻・チェックアウト時刻– 通常ジョブの最大時間である、24時間も超えられる– TSUBAME4ポータルから予約• (T3からの変更) 予約枠を作れるユーザは、グループ管理者から権限を与えてもらう必要あり• 消費ポイントは予約タイミング・季節により変動
50

TSUBAME3.0からの変更点
データ移行

51

TSUBAME3からの主な変更点⚫ ノード性能・台数・ノード単価◼ ノード分割の細分化・GPU分割の導入⚫ TSUBAMEポイントの単位を 1ノード秒 → 1ノード時へ⚫ 定額制利用の導入 (あとで説明)⚫ 一部商用アプリケーションへの課金 (あとで説明)⚫ ログイン名の命名規則の変更◼ 学内・学外問わず、ux00000 という形式になりました⚫ グループ内の権限の細分化◼ ノード予約やTSUBAME4ポイント購入、ストレージ・アプリ利用権購入の可否をグループメンバーごとに設定する必要があります⚫ TSUBAME3とはユーザ・ストレージは別管理◼ TSUBAME3のデータは6月末でアクセスできなくなります52

TSUBAME3→4へのデータ移行⚫ TSUBAME3のストレージへのアクセスは6月末まで◼ 契約上の問題で、これ以上の延長は不可能です◼ 研究室もしくはTSUBAME4へのデータ移行をお願いします⚫ TSUBAME3とTSUBAME4の間に専用線を設置しました◼ TSUBAME3からのみ t4-login1, t4-login2 でアクセス◼ 詳細は、データ移行の手引きを参照してください53

有償サービスの使い方

54

有償サービスの範囲⚫ 計算ノードを使った計算(従量制の利用)⚫ 計算ノードの事前予約⚫ 定額制による月単位のノード確保(TSUBAME4で導入)⚫ 一部商用アプリケーションの利用(TSUBAME4で導入)◼ TSUBAME4内での利用 (月額制・ユーザ毎)◼ アプリケーション配布を受けて研究室内で利用 (年額制・研究室毎)⚫ TSUBAMEの有償サービスを利用する場合、「TSUBAME4ポイント」というものをTSUBAME4ポータルで購入して、上記各サービスと交換⚫ TSUBAME4ポイントの有効期限は年度内・繰り越し不可55

有償サービス購入の流れ⚫ TSUBAMEグループの作成⚫ 支払いコード申請 (グループを作った人がやる)◼ 人手での承認作業が必要なので、時間がかかります⚫ 支払いコードをグループに割り当て⚫ TSUBAME4ポイントを購入

学内利用の場合
教職員が実施(例外: 学振DC）
学外利用の場合
ここまではセンターが実施⚫ 各種サービスをTSUBAME4ポイントを使って利用⚫ このあたりの流れはTSUBAME3と同様
56

グループ作成(学内利用者のみ)

グループ区分で単価と所属できるユーザの範囲がことなります57

グループ区分およびTSUBAMEポイント購入単位⚫ 区分一覧(学内ユーザが作成できないグループは省略)
Prefixtgatgb-tgctgd(他)グループ区分

購入単位
ポイント
円

東工大に在籍する教職員、学生等のみのグループ
他大学又は研究機関等の研究者を含むグループ(東工大教職員と公的競争資金に基づく共同研究関係にある研究グループ)
東工大と国際共同研究契約を締結した研究者又は研究グループの構
成員を含むグループ
東工大と共同研究契約を締結した研究機関又は企業の研究者を含み、共同利用専門委員会によって承認されたグループ
学外利用者のみのグループ

ポイント
単価

16

¥1,000 ¥62.5/point5¥1,00016¥1,000 ¥62.5/point5¥1,000¥200/point¥200/point¥250/point⚫ 1TSUBAMEポイント≒1ノード×1時間◼ TSUBAME3は1ノード×1秒でした⚫ グループ区分自体はTSUBAME3と同様◼ 購入単位を小さくし、細かく買えるようにしました◼ 共同研究関係のグループの単価が相対的に20％減

58

TSUBAME4.0のノード提供形態概要⚫ 従量制◼ ジョブを実行するたびにTSUBAMEポイントを消費◼ TSUBAME3.0から変更なし⚫ インタラクティブジョブ専用キュー◼ 専用ノードを共有する形で「いつでも」計算ノードが使える◼ 性能に関する保証なし、学内者は無償利用可能◼ TSUBAME3.0から変更なし⚫ ノード予約◼ 日時・ノード数を指定して、1時間単位でノードを占有利用◼ TSUBAME4.0では10～3月の消費ポイントを倍に⚫ 定額制 (TSUBAME4で導入)◼ 計算ノードを月単位で「準」占有利用◼ TSUBAME4.0で導入
59

定額制の概要⚫ 月極で1ノード単位で購入可能
1グループ・1予算責任者あたり2ノードまで、全体で50ノードまで⚫ 年度頭の時点で、直近の月から連続して購入することを条件に3月までのノードを確保することが可能◼ 年頭に混雑期の11～3月だけ買うというのは不可⚫ 確保したノードでは、購入者のグループのジョブが最優先で実行される、ただし実行時間1時間未満の他ユーザの従量制ジョブも実行されうる◼ ジョブ投入から最長で1時間後の実行開始を保証⚫ キューの設定変更を伴うため、切替は月初の第1営業日の昼に実施
購入は切替日の2営業日前の昼に締め切ります
詳細はWebの定額制ページをご参照ください60

ポイント消費の計算式の概略⚫ 従量制ジョブ◼ 利用ノード数×資源タイプ係数×優先度係数×(0.7×実際の実行時間(時) ＋0.1×指定した実行時間(時))◼ 資源タイプ係数: ノード全体で1、ノードを分割するとその割合◼ 優先度係数: 通常で1、優先度を上げると大きくなる⚫ 予約利用・定額制◼ それぞれ ノード数×予約係数×時間◼ 予約利用: 係数は1.5～5 (4～9月)、3.0～10(10月～3月)◼ 定額制: 係数は10⚫ ストレージ◼ 1月1TBあたりHDD: 0.5ポイント、SSD: 2ポイント⚫ アプリ (TSUBAME4で一部有償化)◼ 別スライドで説明⚫ 詳細はTSUBAME4ウェブサイト経由で規約をご覧ください61商用アプリケーション

62

TSUBAME4内で利用できる商用アプリケーション
東工大所属のユーザが利用可能な商用アプリケーション
開発環境、ライブラリ

シミュレーション ソフトウェア

Intel oneAPI

ANSYS

NVIDIA HPC SDK

Abaqus, Abaqus CAE

AMD AOCC

Gaussian, Gauss View

ARM FORGEAMBER

CuDNN・NCCL

Materials Studio

数値解析/可視化ソフトウェア

Discovery Studio

Mathematica

COMSOL Multiphysics

MATLAB

Schrodinger
VASP (学術、ライセンス所持者のみ)

TSUBAME3から、一部利用者数の少なかった商用アプリケーションを廃止しました• MSC One, AVS/Express, LS-DYNA, Maple• これらの有償アプリケーションは非常に高額、かつ値上がりが大きく、
TSUBAME3と同じアプリケーションをすべて導入することは困難でした
63

TSUBAME4内で利用できる商用アプリケーション
東工大に 所属していない ユーザが利用可能な商用アプリケーション
開発環境、ライブラリ

シミュレーション ソフトウェア

Intel oneAPI

ANSYS

NVIDIA HPC SDK

Abaqus, Abaqus CAE

AMD AOCC

Gaussian, Gauss View

ARM FORGEAMBER (非営利、学術利用のみ)

CuDNN・NCCL

Materials Studio

数値解析/可視化ソフトウェア

Discovery Studio

Mathematica

COMSOL Multiphysics

MATLAB

Schrodinger
VASP (学術、ライセンス所持者のみ)

TSUBAME3から、一部利用者の少ない商用アプリケーションを廃止しました• MSC One, AVS/Express, LS-DYNA, Maple• これらの有償アプリケーションは非常に高額、かつ値上がりが大きく、
TSUBAME3と同じアプリケーションをすべて導入することは困難でした64アプリケーション課金の導入⚫ TSUBAME4.0では、商用アプリケーションの利用者に応分の負担を求めることとなりました⚫ TSUBAME内でのアプリ利用◼ 1ユーザ・1月あたりの価格を設定⚫ TSUBAME外(研究室)での利用のためのアプリ配布◼ 1研究室・年度あたりの価格を設定⚫ 初年度は、課金するということの告知と操作に慣れてもらうため、コストと比較して低額で実施しています
次年度以降適正な価格に調整(値上げ)します
65

TSUBAME内アプリケーション購入の方法⚫ アプリケーション購入権限の付与(グループ管理者)◼ TSUBAME4ポータル内、所属グループ管理を表示◼ 構成者情報のうち、権限付与したいユーザの左のボックスをチェック◼ 右側のアプリの利用権購入をチェック◼ 表の下の権限の設定を選択⚫ アプリケーション利用権の購入(アプリを実行する人)◼ TSUBAME4ポータル内、所属グループ管理を表示◼ 利用オプション内、アプリケーション利用を選択◼ 利用したいアプリケーションを選択⚫ 利用権の購入操作はアプリを実際に実行する人が行ってください◼ グループ管理者が任意のメンバーの利用権を買う機能は今後実装予定◼ 手順がわからず、誤ったユーザの利用権を買ってしまった方はお問い合
わせください、TSUBAMEポイントを返却します66

TSUBAME内アプリケーション購入の方法

1.

自分に アプリの利用権購入 の権限

2.

アプリケーション利用 をクリック

3.

別ページでアプリの 個別購入

4.

購入済みアプリケーション一覧

67

TSUBAME内アプリケーション購入の方法

1.

自分に アプリの利用権購入 の権限

2.

アプリケーション利用 をクリック

3.

別ページでアプリの 個別購入

4.

購入済みアプリケーション一覧

68

TSUBAME内アプリケーション購入の方法

1.

自分に アプリの利用権購入 の権限

2.

アプリケーション利用 をクリック

3.

別ページでアプリの 個別購入

4.

購入済みアプリケーション一覧

69

TSUBAME内アプリケーション購入の方法

1.

自分に アプリの利用権購入 の権限

2.

アプリケーション利用 をクリック

3.

別ページでアプリの 個別購入

4.

購入済みアプリケーション一覧70個別のアプリについて（1/2）⚫ AMBER ー ライセンス改訂について◼ AMBERは2023/4/15にライセンス改訂あり⚫ 非営利・政府機関・学術機関のユーザのライセンス料が無償化⚫ AMBER公式サイトから無償ライセンス取得可能、直接ダウンロード可能◼ TSUBAME4.0のライセンスはスパコン向けライセンスで有償⚫ コンパイル済みバイナリの利用・サポートの利用はTSUBAME4.0上でのAMBERアプリ利用権を購入したユーザに限らせていただきます⚫ VASP ー コンパイル済みバイナリへのアクセス◼ GSICでは VASP のスパコン用ライセンスを取得◼ ライセンスを所持しているユーザからの申請により、ユーザ単位でコンパイル済みバイナリへのアクセスを許可
72

個別のアプリについて（2/2）⚫ LS-DYNA ー TSUBAME4.0では個別購入を廃止◼ TSUBAME3.0ではJSOL社が提供するLS-DYNAを個別購入◼ TSUBAME4.0ではANSYSの一部として含まれる◼ JSOL社では研究室単位のライセンスを安価に提供している⚫ HPCIで整備されたアプリケーション群◼ まだインストールされていないが、上半期で順次整備予定◼ TSUBAME3.0では以下がインストールされていた
HΦ, MODYLAS, NTCHEM2013, OpenMX, SALMON, SMASH,
ABINIT-MP, FrontFlow/blue, FrontISTR, GENESIS,PHASE/0, AkaiKKR, ALAMODE, mVMC
73

学外者の利用74

TSUBAME4.0での学内と学外の区別方法⚫ 利用料を支払う予算で区別
学内
東工大の予算(内部振替)
学外
東工大以外から振込⚫ HPCI/JHPCNなどの採択課題による利用も学外利用扱い⚫ 他に東工大が提供する無償利用制度も学外利用扱い◼ 若手・女性・より若い利用者支援制度◼ グランドチャレンジ大規模計算制度⚫ TSUBAME4計算サービス> アカウント取得方法
学外

学内

学外

75

TSUBAME4内で利用できる商用アプリケーション
開発環境、ライブラリ

シミュレーション ソフトウェア

Intel oneAPI

ANSYS

NVIDIA HPC SDK

Abaqus, Abaqus CAE

AMD AOCC

Gaussian, Gauss View

ARM FORGEAMBER (非営利、学術利用のみ)

CuDNN・NCCL

Materials Studio

数値解析/可視化ソフトウェア

Discovery Studio

Mathematica

COMSOL Multiphysics

MATLAB

Schrodinger
VASP (学術、ライセンス所持者のみ)

・商用アプリケーションのライセンスのほとんどは利用できません。
利用したい場合は、自らライセンスを確保してください。
その他のフリーソフトウェアなどは利用可能です。

・学外ユーザ向けのライセンスサーバー用のマシンはなくなりました。
商用アプリを利用の際はご自身でライセンスサーバーをご用意ください。
計算ノードから外部インターネットへのアクセスはT3と同様の予定です。

76学外の利用制度におけるグループ区分やポイント購入単位⚫ 区分一覧(学外利用に相当するグループ)
Prefix

グループ区分

購入単位
ポイント
円

ポイント
単価

購入上限

tgh-

TSUBAME共同利用 (学術利用・成果公開)

400 ¥110,000¥250/point

60口（＝400point×60）

tgi-

TSUBAME共同利用 (産業利用・成果公開)

400 ¥110,000¥250/point

30口（＝400point×30）

tgj-

TSUBAME共同利用 (産業利用・成果非公開)

400 ¥440,000 ¥1000/point

30口（＝400point×30）

hp

HPCIに基づくグループ

400

ー

無償

135口（＝400point×135）

jh

JHPCNに基づくグループ
若手・女性・より若利用者支援制度
グランドチャレンジ大規模計算制度

400

ー

無償

27口（＝400point×27）

400

ー

無償

3口（＝400point×3）
全ノード／80ノード 占有利用

tge-

⚫ アカウント名は学内者と区別なく ux00000 の形式◼ HPCI/JHPCNも、HPCI-IDではなくなった⚫ グループディスク容量： (GSICに依頼ではなく)ユーザがポータルで変更可能になった
77

TSUBAME4.0の学外利用制度
利用区分

利用者

制度
HPCI

学術利用

大学
または
研究機関
等

一般課題

募集時期

申請および審査

成果

料金（税別）

年1回 10月頃

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償

公開

無償

年1回 12月頃

TSUBAME共同利用（学術利用）

随時募集中

東京工業大学
学術国際情報センター

公開

１口 110,000 円(税込)

TSUBAMEグランドチャレンジ
大規模計算制度

年数回（春期、秋期）

東京工業大学
学術国際情報センター

公開

無償

TSUBAME若手・女性・より若い世代の利用者支援制度

年2回/随時募集

東京工業大学
学術国際情報センター

公開

無償

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償

公開

無償

公開
非公開

１口 110,000 円(税込)
１口 440,000 円(税込)

産業課題

民間企業
JHPCN

産業試行課題(旧 トライアル・ユース)

随時募集中

企業共同研究課題

年1回 12月頃

TSUBAME共同利用（産業利用）（東京大学 情報基盤センター）

年1回 10月頃

HPCI

産業利用

JHPCN拠点事務局

JHPCN

随時募集中

JHPCN拠点事務局（東京大学 情報基盤センター）

東京工業大学
学術国際情報センター

78TSUBAME4.0の学外利用制度
利用区分

利用者

制度
HPCI

学術利用

大学
または
研究機関
等

一般課題

募集時期

申請および審査

成果

料金（税別）

年1回 10月頃

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償

公開

無償

年1回 12月頃

TSUBAME共同利用（学術利用）

随時募集中

東京工業大学
学術国際情報センター

公開

１口 110,000 円(税込)

TSUBAMEグランドチャレンジ
大規模計算制度

年数回（春期、秋期）

東京工業大学
学術国際情報センター

公開

無償

TSUBAME若手・女性・より若い世代の利用者支援制度

年2回/随時募集

東京工業大学
学術国際情報センター

公開

無償

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償

公開

無償

公開
非公開

１口 110,000 円(税込)
１口 440,000 円(税込)

産業課題

民間企業
JHPCN

産業試行課題(旧 トライアル・ユース)

随時募集中

企業共同研究課題

年1回 12月頃

TSUBAME共同利用（産業利用）（東京大学 情報基盤センター）

年1回 10月頃

HPCI

産業利用

JHPCN拠点事務局

JHPCN

随時募集中

JHPCN拠点事務局（東京大学 情報基盤センター）

東京工業大学
学術国際情報センター

79TSUBAME4.0の学外利用制度
利用区分

利用者

制度
HPCI

学術利用

大学
または
研究機関
等

一般課題

募集時期

申請および審査

成果

料金（税別）

年1回 10月頃

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償

公開

無償

年1回 12月頃

TSUBAME共同利用（学術利用）

随時募集中

東京工業大学
学術国際情報センター

公開

１口 110,000 円(税込)

TSUBAMEグランドチャレンジ
大規模計算制度

年数回（春期、秋期）

東京工業大学
学術国際情報センター

公開

無償

TSUBAME若手・女性・より若い世代の利用者支援制度

年2回/随時募集

東京工業大学
学術国際情報センター

公開

無償

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償

公開

無償

公開
非公開

１口 110,000 円(税込)
１口 440,000 円(税込)

産業課題

民間企業
JHPCN

産業試行課題(旧 トライアル・ユース)

随時募集中

企業共同研究課題

年1回 12月頃

TSUBAME共同利用（産業利用）（東京大学 情報基盤センター）

年1回 10月頃

HPCI

産業利用

JHPCN拠点事務局

JHPCN

随時募集中

JHPCN拠点事務局（東京大学 情報基盤センター）

東京工業大学
学術国際情報センター

80

TSUBAME4.0で東工大が提供する無償利用制度⚫ TSUBAMEグランドチャレンジ大規模計算制度◼ カテゴリA：全ノードを用いた大規模計算のピーク性能(計算速度)を目指す (課題募集終了)◼ カテゴリB：大規模かつ膨大な計算量が必要な課題、全体の1/3を1週間占有利用可能
カテゴリB(6月実施分) 公募受付締切 4月15日（月）17:00
https://www.gsic.titech.ac.jp/GrandChallenge/R06_1st_GC⚫ TSUBAME若手・女性利用者支援制度 （最大3口、1200ノード時間）◼ 若手利用者(40歳未満、含む大学院生)及び女性利用者(年齢不問)の優れた研究課題を公募◼ 第２回公募受付期間は4月30日(火) ～ 6月3日(月)17 時
https://www.gsic.titech.ac.jp/encouragement_program/young_female_r06⚫ TSUBAMEより若い世代の利用者支援制度（1口、400ノード時間）◼ より若い世代（大学生、高校生、高専生）を対象とした研究課題を公募◼ (随時公募、公募受付中) 受付締切は令和6年12月16日(月)17時
https://www.gsic.titech.ac.jp/encouragement_program/younger_r06

82