令和6年度 TSUBAME共同利用 公募説明会

東京工業大学
学術国際情報センター
共同利用推進室
渡邊寿雄
令和6年2月2日 令和6年度 TSUBAME共同利用 公募説明会
kyoyo@gsic.titech.ac.jp

令和6年度 TSUBAME共同利用 公募説明会

事務局よりご連絡
質問方法： 挙手 > 口頭で質問可能です。所属とお名前が全参加者へ見えてしまいます。
Q&A > 文章にてご質問ください。こちらで代読し、回答します。
令和6年2月2日 令和6年度 TSUBAME共同利用 公募説明会
録画させていただきます。

本日の概要• TSUBAME4.0 の紹介(17シート)• TSUBAME4.0 の利用制度(7シート)• TSUBAME4.0 利用可能なアプリ (10シート)
やその他

TSUBAME性能向上の歴史
2007
TSUBAME1.1
100TFlops/1.6PB

2006
TSUBAME1.0
85TFlops/1.1PB

2007年 文科省 先端研究施設
共用イノベーション創出事業

アジアNo.1 !!
「みんなのスパコン」

2009年 TSUBAME共同利用開始

2010/11/01

2013/9TSUBAME2.5
5.7PFlops/7.1PB

2016年 HPCI 産業利用開始（実証利用、トライアル・ユース）

2008
TSUBAME1.2
160TFlops/1.6PB

TSUBAME2.0
2.4PFlops/7.1PB
日本初のペタコン
2012年 HPCI開始

2017/8/1
TSUBAME3.0
12PFlops / 16PB

2010年 JHPCN 開始

2024/4TSUBAME4.0
66.8PFlops / 44PBTSUBAME4.0:

データ・計算科学・AI融合のための「もっと」みんなのスパコンにより、コンバージェンス・サイエンスの中核インフラへ
深層学習との融合によるシミュレーション革新

対話的データ解析

シミュレーションとリアルタイム可視化

ビッグデータ解析

計算科学・シミュレーション

SNSのフォロー関係解析

AI・深層学習
深層学習による画像等認識

TSUBAME4.0
2024/4運用開始
6

大学統合後の東京科学大学(2024年10月～)
においても重要な研究教育インフラTSUBAME4.0の特徴
 現行TSUBAME3と比べ、5倍以上の演算
速度 ※倍精度・行列演算にて AI・シミュレーションにおいてさらに増大する計算量への対応
 混雑の緩和へ 対話的利用・コンテナ技術の拡充

ビッグデータ解析や可視化を容易化、研究のPDCAを加速
 各ユーザの欲しいソフトウェア環境を迅速に準備待ち時間を短縮するスケジューリングにより、ライトユーザへも恩恵• GPUの大幅利用による加速• TSUBAMEシリーズではGPUの利用により、演算速度効率が数倍に
 投資あたりの研究成果の増大「GPU利用には工夫が必要」という課題に対しては、以下の対応• 東工大の長年のGPUに関する教育・研究コ
ミュニティの実績• 深層学習分野ではGPUがデファクトスタンダードになっており、急速に整備

データ・計算科学・AIを中心とした研究成果創出の支援を大幅強化
7

TSUBAME4.0 概要
Compute Node

CPU: AMD EPYC 9654 (96 core) × 2
GPU: NVIDIA H100 SXM5 HBM2e × 4Performance: 278.5 TFLOPS
Memory: 768 GB(CPU)94 GB(GPU)

System

240 nodes: 480 CPU sockets, 960 GPUs
Performance: 66.8 PFLOPS

Operating System

RedHat Enterprise Linux 9

Job Scheduler

Altair Grid Engine(UNIVA Grid Engine)

Interconnect

InfiniBand NDR 200Gbps ×4
Topology: Fat-Tree

https://www.gsic.titech.ac.jp/sites/default/files/T4SpecJ.pdf

TSUBAME4.0性能概略
TSUBAME3.0

TSUBAME4.0

総演算性能

66.8PFlops (行列演算)

•

倍精度演算

12PFlops•

深層学習

47PFlops

952PFlops (FP16)

計算ノード数540ノード (均一)

HPE Cray XD665
240ノード (均一)

総GPU数

2160個

960個

共有ストレージ

DDN社 SFAHPE ClustreStor E1000•

16 PByte

44 PByte+ AllFlash 327 TByte

容量34.7PFlops

11(汎用演算)11

TSUBAME4.0 ノード構成概要

https://www.gsic.titech.ac.jp/sites/default/files/T4SpecJ.pdf

TSUBAME4.0ノード構成
TSUBAME3.0

TSUBAME4.0

CPUIntel Xeon 2680v4 ×2

AMD EPYC 9654 ×2•

2.4GHz, 28コア (=14×2)

2.4GHz, 192コア (=96×2)

メインメモリ

DDR3-2400 4ch×2

DDR5-4800 12ch×2•

256GiB

768GiB

ネットワークOmniPath 100Gbps×4

InfiniBand NDR 200Gbps×4

OS

SUSE Linux Enterprise 12RedHat Enterprise Linux 9

GPU

NVIDIA P100 SXM×4

NVIDIA H100 SXM5 94GB HBM2e ×4

周波数、コア数

容量以下、1GPUあたり•演算性能(倍精度) 5.3TFlops

66.9TFlops (行列), 33.4TFlops(汎用)

•

メモリ容量

16GB94GB•

メモリ速度0.73TB/s

2.39TB/s※通常のH100製品(80GB, 3.3TB/s)とメモリ性能が異なる

12TSUBAME4.0 計算資源タイプ一覧
資源タイプ

タイプ名

CPUコア数GPU数

メモリ(GB)

課金係数

F

node_f

192

4768

1.000

H

node_h

96

2

384

0.500

Q

node_q48

1

1920.250

O

node_o24½(*)

96

0.125

G1

gpu_1

8

164

0.200

G2

gpu_h

4½(*)

32

0.100

C1

cpu_160160-

5120.600

C2

cpu_8080-

2560.300

C3cpu_40

40-1280.150

C4

cpu_1616-

320.060

C5

cpu_88-160.030

C6

cpu_44-80.015

１口で400ノード時間相当の計算資源（400 TSUBAMEポイント）が利用可能。240ノードから各資源タイプを割り当てます。
(*) 1/2GPU は H100 の MIG 機能により１つのGPUを半分に分割し利用します。

（ ＞ TSUBAME3.0 １ノード）

「もっとみんなの・リアルクラウドスパコン」へ向けた取り組み
拡がる計算資源の利用法への対応
TSUBAMEは2006年にみんなのスパコンとして誕生
しかし、主な利用法は旧来の• コマンドラインベース• ジョブスケジューラ (固定的な計算資源割当)

TSUBAME4.0 (2024～)
合計演算性能：66.8 ペタフロップス
ストレージ容量：44.2 ペタバイト
国内有数の学術情報基盤(400CPU, 900GPU)を、学内外のユーザへ提供• 製薬シミュレーション、気象・気候・・・• ビッグデータ分析、ディープラーニング・・・

利用のすそ野を広げ、人材育成への貢献が急務
 Webベース機械学習を含む、多様な利用へ対応した
TSUBAMEの運用改善により推進
Webからの計算利用(cf. Jupyter Lab,Open OnDemand)

TSUBAME3 +シングルサインオン+Jupyter =みんなのビッグデータ・AI/ML基盤

Tokyo Tech

JupyterNoteBook(当時)をはじめ、Web上での計算資源利用が急激に普及
 TSUBAME上にWebインタフェースを実装: JupyterLab / CodeServer / noVNC
 ブラウザだけでGPUを含めTSUBAMEを直接インタラクティブ利用できる
 注：OpenOnDemandがメジャーになる少し前だった

この図のどこにもSSH・公開鍵は出てこない→ 覚える必要がない
2022年度に約240名の利用実績
うち1/3 (推定)は、Webのみ利用
 スパコンユーザの新規発掘
次期TSUBAME4.0において、計算性能・使いやすさの両方をさらに向上

User
TSUBAME 計算ノード
ポータル経由で計算ノード上のJupyter Labに直接アクセス

スマホもokTSUBAMEポータルTSUBAME4.0ではOpen OnDemandを提供
2020

「富岳」でのOpen OnDemandの提供開始

Tokyo Tech

1.中尾昌広 et al. 「スーパーコンピュータ「富岳」における HPCクラスタ用WebポータルOpen OnDemandの導入」,
第186回HPC研究発表会，2022年9月
2.中尾昌広 et al.「スーパーコンピュータ「富岳」における HPCクラスタ用WebポータルOpen OnDemandの運用」,
第191回HPC研究発表会，2023年9月

21TSUBAME4.0の導入状況

Tokyo Tech

2024/4 TSUBAME4は東工大すずかけ台キャンパスで稼働
TSUBAME1, 2, 3:
TSUBAME 4:
すずかけ台キャンパス 大岡山キャンパス
~20km
大岡山
(東京都目黒区)

すずかけ台(横浜市緑区)

23

2024/4 TSUBAME4は東工大すずかけ台キャンパスで稼働
すずかけ台キャンパス
G4A棟(旧MHD棟)を新データセンターとして改修

G4A棟
新マシン室

屋外冷却設備等

マシン室
210m2(TSUBAME3部屋の2倍)

加藤山
トンネル

電気室

すずかけ台駅

駅から徒歩約10分

TSUBAME4.0 ラックデザインコンテスト
TSUBAME4ラックデザインコンテスト 結果発表

https://www.t4.gsic.titech.ac.jp/design

12

本日の概要• TSUBAME4.0 の紹介(17シート)• TSUBAME4.0 の利用制度(7シート)• TSUBAME4.0 利用可能なアプリ (10シート)
やその他

TSUBAME学外利用の歴史
共同利用推進室の事業 TSUBAME学外利用の窓口として2007年 文科省 先端研究施設共用イノベーション創出事業 としてスタート
2009年 TSUBAME共同利用開始
2010年 文科省 先端研究施設共用促進事業、JHPCN 開始
2012年 HPCI（革新的ハイパフォーマンス・コンピューティング・インフラ）開始
2013年 文科省 先端研究基盤共用・プラットフォーム形成事業
2016年 東京工業大学 学術国際情報センター 自主事業化、HPCI 産業利用（実証利用、トライアル・ユース）開始

利用区分 ／ 年度
学術利用2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023

合計

HPCI-----

6510145912161481010119

JHPCN---

465111010121115148767126

有償利用-

-

1491417222325

23272528302826302

無償/HPCI1115158101221

171315833

1110154--36798108856452

1082-

-

2

7641012101316191920

141210174

産業
公開
利用 有償
利用 非公開TSUBAME4.0 の利用制度
利用区分

利用者

制度

募集時期

申請および審査

成果

料金（税別）

令和6年度利用
公募終了

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償JHPCN

年1回
1月頃（東京大学 情報基盤センター）

公開

無償

TSUBAME共同利用（学術利用）

随時募集

東京工業大学
学術国際情報センター

公開

１口 110,000 円(税込)

TSUBAMEグランドチャレンジ
大規模計算制度

年数回（春期、秋期）

東京工業大学
学術国際情報センター

公開

無償

TSUBAME若手・女性・より若い世代の利用者支援制度

年1回/随時募集

東京工業大学
学術国際情報センター

公開

無償

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償

公開

無償

公開
非公開

１口 110,000 円(税込)
１口 440,000 円(税込)

HPCI

学術利用

大学
または研究機関
等

一般課題

産業課題

令和6年度利用
公募終了

HPCI

産業利用

民間企業
JHPCN

JHPCN拠点事務局

産業試行課題(旧 トライアル・ユース)

令和6年度利用随時募集

企業共同研究課題

令和6年度利用
公募終了（東京大学 情報基盤センター）

令和6年度利用募集開始

東京工業大学
学術国際情報センター

TSUBAME共同利用（産業利用）

JHPCN拠点事務局

TSUBAME4.0 民間企業への提供資源
利用区分
TSUBAME
共同利用（産業利用）

HPCI
産業利用
産業課題

JHPCN
企業共同研究課題
HPCI
産業試行課題（旧 産業利用トライアル・ユース）

提供期間

利用形態(共通)

共有利用
R6年度
募集開始
1口
400ノード時間相当

利用形態(個別)

申請上限資源

随時募集
当該年度末まで
R6/4～R7/3

30口

四半期単位
R6年度
ストレージ
通年利用の場合は公募終了
課題あたり1～300TB 四半期すべて申請※ストレージの確保には1TB 1年あたり120
R6年度
公募終了 ノード時間の計算資源を消費するため、ストレージ分を考慮に入れて希望資源量を算出す
R6年度ること。
随時募集

成果料金（税込）

公開

1口 110,000円

非公開

1口 440,000円

Lクラス：135口
Sクラス： 40口

公開

無償

通年利用
ただし四半期単位での計算資源申請

27口
10,800ノード時間

公開

無償

随時募集
通年利用可能HPCI事務局へ申請

2口
800ノード時間

公開

無償※提供システム： クラウド型ビッグデータ グリーンスパコン「TSUBAME4.0」

TSUBAME4.0 共同利用 申請手続きの流れ
・新規申し込みの産業利用では２口までは小口利用で審査免除、３口以上は審査が必要です。
・あらかじめ申請時に身分証も提出いただくと申請がスムーズに行えます。
・採択後にアカウントを発行し利用開始となります。
利用料金は支払期日申請書に従ってお支払いいただきます。
希望者には利用講習会を開催します。

TSUBAME4.0 利用申請手続き日程
令和6年2月2日、3月1日 公募説明会
３月中頃 利用申請書提出
申請書をワードファイルにて送付いただき内容を確認します。
新規申請で３口以上の課題は審査（２週間程度）を行います。
３月末頃 採択通知予定（審査課題の場合は４月中頃）
４月初旬～ 利用開始（アカウント発行、口数設定など）
テスト運用中は継続利用者に限る
新規利用者は正式運用後の利用開始
４月以降、随時受付（共同利用、HPCI産業試行課題）
利用料金の支払い日程につきましては、支払期日申請書の設定日にてお願いします。

TSUBAME4.0 運用予定
４月初～中旬 テスト運用 開始
４月中旬 TSUBAMEグランドチャレンジ
大規模計算制度 全ノード占有利用
４月下旬
正式運用 開始

TSUBAME4.0 利用申請手続き日程
4月以降は随時申請受付（共同利用、HPCI産業試行課題）
メールにて利用申請書提出
申請書をワードファイルにて送付いただき内容を確認します。
新規申請で３口以上の課題は審査（２週間程度）を行います。
審査免除の場合
１週間以内に採択通知予定
利用開始（アカウント発行、口数設定など）
利用料金の支払い日程につきましては、支払期日申請書の設定日にてお願いします。
※年度末メンテナンス ３月２９日～４月６日（昨年度）※夏季メンテナンス ８月10日～８月17日（昨年度、大岡山キャンパス）※ すずかけ台キャンパスの法定点検の停電は２０２５年３月９～10日

本日の概要• TSUBAME4.0 の紹介(17シート)• TSUBAME4.0 の利用制度(7シート)• TSUBAME4.0 利用可能なアプリ (10シート)
やその他

TSUBAME4.0 で利用可能なアプリ••••TSUBAME3.0 と同等のソフトウェアを提供予定
コンパイラ・開発ツールなどは学外利用可能
アカデミックライセンスのISVアプリは学内のみ利用可能
一部のISVアプリは学外でも利用可能 (Gaussian, AMBER など)––––––

量子化学/MD関連ソフトウェア
CFD関連ソフトウェア
GPU用数値計算ライブラリ
機械学習、ビッグデータ解析関連ソフトウェア
可視化関連ソフトウェア
HPCIで整備されたアプリケーション

TSUBAME3.0 で利用可能なアプリ（ISV)
アプリケーション名
開発環境、ライブラリ
Intel Compiler
NVIDIA HPC SDK (PGI)
Arm Forge
CuDNN
NCCL
数値解析/可視化ソフトウェア
Mathematica
Maple
MATLAB
AVS/Express (PCE)
シミュレーション ソフトウェア
ANSYS
ABAQUS / ABAQUS CAEMSC OneGaussian / Gauss View
AMBER
Materials StudioDiscovery Studio
LS-DYNACOMSOL Multiphysics
Schrodinger Small-Molecule Drug
Discovery Suite

概要ライセンスIntel 開発環境 (Intel Parallel Studio XE Cluster Edition、oneAPI)PGIコンパイラ、NVIDIA HPC SDK (nvhpc)
統合開発環境（デバッグ、プロファイル、最適化、コーディング、ビルド）
NVIDIA CUDA® Deep Neural Network library (CuDNN)
NVIDIA Collective Communications Library (NCCL)

外部利用可能
外部利用可能
外部利用可能
外部利用可能
外部利用可能数式処理システム
数式処理システム
インタプリタ型 数値解析ソフトウェア
汎用可視化ソフトウェア、およびクラスター対応並列可視化ソフトウェア

東工大所属者のみ
東工大所属者のみ
東工大所属者のみ
東工大所属者のみ

有限要素法CAEを中心とする解析ソフトウェア群
有限要素解析ソフトウェア & ABAQUS専用のプリ・ポストツール
有限要素法を中心とする解析ソフトウェア群
分子軌道法プログラム & Gaussian専用のプリ・ポストツール
分子動力学プログラム
材料科学向けモデリング/シミュレーション環境
ライフサイエンス向けモデリング/シミュレーション環境
汎用非線形構造解析ソフトウェア
有限要素法(FEM)ベースの汎用工学シミュレーションソフトウェア

東工大所属者のみ
東工大所属者のみ
東工大所属者のみ
外部利用可能
外部利用可能（学術利用のみ）
東工大所属者のみ
東工大所属者のみ
東工大所属者のみ
東工大所属者のみ

低分子創薬向けモデリング/シミュレーションソフトウェア群

東工大所属者のみ

TSUBAME3.0 で利用可能なアプリ（他)アプリケーション名

概要

機械学習、Deep Learningフレームワーク
Caffe

Berkeley AI Research (BAIR) が開発しているDeep Learning フレームワーク。

PyTorchPythonのオープンソース機械学習ライブラリ

TensorFlow

Google が開発しているDeep Learning フレームワーク。

AlphaFold2
開発環境、ライブラリ、ツール
Apache Hadoop
Java SDK
PETSc
fftw

タンパク質立体構造予測プログラム

Performance API (PAPI) ライブラリ

CPUやGPUのHardware counter解析用APIライブラリ

数値解析/可視化ソフトウェア、ツール
ParaView
POV-Ray
VisIt
R
GIMP
Gnuplot
Tgif
ImageMagick
シミュレーション ソフトウェア
CP2K
GAMESSGROMACSLAMMPS
NAMD
Tinker
OpenFOAM

大規模データの分散処理ミドルウェア
Java開発環境
科学技術計算向けライブラリ群
離散フーリエ変換 (DFT) ライブラリ

大規模データ分析、可視化アプリケーション
可視化アプリケーション
大規模データ分析、可視化アプリケーション
統計解析システム
画像処理ソフト（ペイントソフト）
グラフ作成ソフト
2次元の描画ソフト
画像表示と画像処理ソフト
電子状態計算プログラム
分子軌道法プログラム
分子動力学プログラム
分子動力学プログラム
分子動力学プログラム
分子動力学プログラム
流体/連続体シミュレーション

TSUBAME3.0で利用可能なアプリ（他２)
HPCIで整備されたアプリケーション
アプリケーション名

概要

HΦ

並列計算機に対応した数値厳密対角化法による有効模型ソルバーパッケージ

MODYLAS

高並列汎用分子動力学シミュレーションソフト

NTChem量子化学計算アプリケーション。既存アプリケーションの機能をカバーしつつ、他のプログラムでは利用できない多くの量子化学計算手法を実装

OpenMX

原子局在基底と擬ポテンシャルを用いた第一原理計算プログラム

SALMON

時間依存密度汎関数理論に基づく実時間・実空間グリッド法を用いた、光励起電子ダイナミクスシミュレータ

SMASH

オープンソースの大規模並列量子化学計算ソフトウェア。ナノサイズ分子のエネルギー及び最適化構造を、分割せずにまるごと計算することが可能

ABINIT-MP

フラグメント分子軌道法（FMO法）を実装した大規模並列量子化学計算ソフトウェア

FrontFlow/blue

乱流変動などの非定常現象の高精度予測が可能な Large Eddy Simulation (LES) に基づいた乱流燃焼解析ソフトウェア

FrontISTR

オープンソースの大規模並列FEM非線形構造解析プログラム

GENESIS

生体分子シミュレーション用 オープンソースの分子動力学アプリケーション

PHASE/0

密度汎関数理論に則った平面波基底・擬ポテンシャル法電子状態計算プログラム

AkaiKKR

密度汎関数法の局所密度近似(LDA)あるいは一般化勾配近似(GGA)に基づく第一原理電子状態計算のためのプログラムパッケージ

ALAMODE

格子振動の非調和性を露わに考慮した原子間ポテンシャルを構築するプログラムパッケージ

mVMC

広汎な多体量子系の有効模型の基底状態の高精度な波動関数を変分モンテカルロ法によって数値的に求める有効模型ソルバーパッケージ••

国プロで開発された国産アプリケーション
TSUBAME3.0以外にも、多くのHPCI共用計算資源で利用可能に整備

TSUBAME4.0 で利用可能なアプリその他•

ライセンスサーバー用のマシンはなくなりました。

•

一部のISVアプリケーションを利用の際に課金が発生します。

ISVソフトを利用の際はご自身でライセンスサーバーをご用意ください。

(導入開始の2024年度は低い価格設定、2025年度以降に価格は再検討)– 学内向け ISVアプリケーション– AMBER
1ユーザ、1か月あたり、１ノード時間相当の課金– Gaussian 1ユーザ、1か月あたり、１ノード時間相当の課金TSUBAME3.0

混雑状況
2019/4/4～2020/2/14

毎年、12月から年度末にかけては混雑が激しいため、上半期の利用を強くお薦めします。

TSUBAME4.0 最大利用口数について
TSUBAME共同利用課題の最大利用口数について
産業利用課題の最大利用口数は３０口
学術利用課題の最大利用口数は６０口

TSUBAME4.0 ご利用にあたって共同利用推進室による利用講習会
・ 新規利用課題の採択後、必要に応じて随時開催
利用の手引きの内容に準じて概略説明
ジョブ投入の方法など基本的な内容
https://www.gsic.titech.ac.jp/kyodou/beginners_course

東工大による春の利用講習会•

毎年 ４月~５月に実施予定 （一部、学内のみ対象）
外部利用可能なアプリケーションソフトについても開催
TSUBAME4.0の講習会ページをご参照ください。
TSUBAME計算サービス TSUBAME4.0 > 講習会
https://www.t4.gsic.titech.ac.jp/lectures東京工業大学TSUBAME4.0の紹介
TSUBAME4.0の共同利用に関してご不明な点がございましたら、こちらまでお気軽にお問い合わせください。

東京工業大学
学術国際情報センター
共同利用推進室kyoyo@gsic.titech.ac.jp

https://www.gsic.titech.ac.jp/tsubame
令和6年2月2日 令和6年度 TSUBAME共同利用 公募説明会