東京工業大学TSUBAME3.0の紹介

東京工業大学
学術国際情報センター
共同利用推進室
渡邊寿雄
kyoyo@gsic.titech.ac.jp
H30/09/28 平成31年度HPCIシステム利用研究課題募集 第4回説明会

TSUBAMEの歴史
2006
TSUBAME1.0
85TFlops/1.1PB
アジアNo.1 !!
「みんなのスパコン」

2007
TSUBAME1.1
100TFlops/1.6PB

2008
TSUBAME1.2
160TFlops/1.6PB

2007年 文科省 先端研究施設
共用イノベーション創出事業

2009年 TSUBAME共同利用開始

2010/11/01
2013/9TSUBAME2.5
5.7PFlops/7.1PB

TSUBAME2.0
2.4PFlops/7.1PB
日本初のペタコン
2012年 HPCI開始

2010年 JHPCN 開始

2017/8/1
2016年 HPCI 産業利用開始（実証利用、トライアル・ユース）

TSUBAME3.0
12PFlops / 16PB

TSUBAME3.0 Green500 List 1位
2017年8月から稼働開始Green500 List(2017年6月版)
にて世界1位！

•

コンピュータと冷却の双方が、世界トップクラスの省エネ性能
冷却効率を示す指標のPUEは1.033(推定値)•より少ない電力での計算が可能

TSUBAME3.0

クラウド型ビックデータ、グリーンスパコン TSUBAME3.0

計算ノード

計算ノード (540台)

計算ノード
計算ノード
ストレージ

高性能計算ノード:

毎秒150GBで読書可能

ネットワーク・管理サーバ

２基のCPUと４基のGPU
メモリ256GB、 高速SSD 2TB

高速ネットワークで相互接続：
４本のOmni-Pathネットワーク・インターフェイス

人工知能(AI)やビッグデータ分野では半精度計算が有効

ストレージ（15.9PB)

計算ノード

ネットワーク
2,160本の光ファイバーケーブル
ファットツリー構造

TSUBAME3.0はこの精度にて国内最大級の性能
左図： 計算ノード内部
銅パイプで繋がれた４個の金属部品がGPU用水冷ブロック。
発熱が多いCPUとGPUは水冷、その他のチップは空冷
冷却する水は屋上の冷却塔で生成され、夏場では３２度くらいだが、高温なプロセッサを冷やすには十分計算ノード以外も熱を発します。
TSUBAME3.0ではラックの背面にリアドアというラジエータを装着し、機器の廃熱を水で冷やして室内に戻す。室内のエアコンで冷やすより、消費電力が少ない。

TSUBAME3.0 でのクラウド的ノードリソース分割• 計算ノード•

TSUBAMEのユーザの様々な要望––––––•• 4 GPUs, 28 CPU cores• 非常にパワフルな計算ノード

CPU&GPU User: CPUもGPUもあるだけ使う
GPU User: GPUはあるだけ使うがCPUは最低限で十分
1GPU User: 1GPUは使えるが、1ノード複数GPUは使わない(含ISVユーザ)
CPU User 1: GPUは使わない、CPU並列利用
CPU User 2: GPU未対応ISVを利用したい
CPU User 3: CPUのシリアルジョブをたくさん流したい

計算ノードを分割して共有すれば、運用側： 利用率向上
利用者： 待ち時間の短縮
不必要な資源の課金負担が不要

TSUBAME3.0 でのリソース分割メニュー
TSUBAME3.0の1ノードの模式図

GPU
GPU

OPA
HFI
14コア
CPU
OPA
HFI

GPU

7コア

CPUGPU

2コア
4コア

OPA
HFI
OPA
HFI

H

Q
GC4

• F: 計算ノード1台をそのまま使用
ノードを階層的に分割• H: ½ノード ⇒ 課金も ½• Q: ¼ノード ⇒ 課金も ¼• G: 1 GPU + 2 CPU Core
• C4: 4 CPU Core
• C1: 1 CPU Core
• 運用側：利用率向上• 利用者：待ち時間の短縮
必要最低限の資源への課金

TSUBAME3.0 でのリソース分割メニュー
TSUBAME3.0の1ノードの模式図

GPU
GPU

OPA
HFI
14コア
CPU
OPA
HFI

GPU

7コア

CPU

GPU

2コア

4コア

OPA
HFI
OPA
HFI

• Singularityを利用可能（HPC向けLinuxコンテナ）

H

QG• F: 計算ノード1台をそのまま使用
ノードを階層的に分割• H: ½ノード ⇒ 課金も ½• Q: ¼ノード ⇒ 課金も ¼• G: 1 GPU + 2 CPU Core
• C4: 4 CPU Core
• C1: 1 CPU CoreC4

利用者の環境（OS、アプリ、ライブラリ等）をスパコン上で再現可能

TSUBAME3.0 の利用制度
利用区分

利用者制度

募集時期

申請および審査

成果

料金（税別）

平成31年度利用
現在公募中

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償

JHPCN

年1回
1月頃

（東京大学 情報基盤センター）

公開

無償

TSUBAME学術利用

随時
募集中

東京工業大学
学術国際情報センター

公開

１口 100,000 円

TSUBAMEグランドチャレンジ大規模計算制度

年数回（春期、秋期）

東京工業大学
学術国際情報センター

公開

無償

TSUBAME若手・女性・より若い世代の利用者支援制度

年1回/随時募集中

東京工業大学
学術国際情報センター

公開

無償

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償

東京工業大学
学術国際情報センター

公開
非公開１口 100,000 円
１口 200,000 円

HPCI

学術利用

大学
または研究機関等

一般利用課題若手人材育成課題

実証利用

平成31年度利用
現在公募中

HPCI
産業利用

民間企業

トライアル・ユース

TSUBAME産業利用

平成30年度利用
随時募集中
随時
募集中

JHPCN拠点事務局

TSUBAME3.0 のHPCIへの提供資源
提供システム： クラウド型ビッグデータ グリーンスパコン「TSUBAME3.0」
利用区分

提供期間

利用形態(共通)

利用形態(個別)

提供総資源量

課題あたり申請上限

第１～３四半期：制限なし
一般 900Unit
共有利用(900,000 ノード時間)
H31.4
Ｌクラス
若手人材育成課題 ～H32.3
四半期（3ヶ月）単位
年間合計上限量：
1Unit
若手100Unit(学術利用)
75,000 ノード時間
1,000 ノード時間相当(100,000 ノード時間)
通年利用を希望する
第４四半期：
場合は、全ての四半
10,000 ノード時間
ストレージ
Sクラス：
課題あたり1～300TB 期(第1～4 四半期)
HPCIH31.4
300Unitを申請すること。
年間合計上限量：
産業利用～H32.3 ※ストレージの確保には(300,000 ノード時間)
46,000 ノード時間
実証利用
第４四半期：
1TB 1年あたり120 ノード
6,000 ノード時間
時間の計算資源を消費するため、ストレージ申請分を計算資源に換算/
HPCI
最長6 ヶ月
加算して希望資源量を産業利用
H30.9
もしくは年度末まで
100Unit
最長6カ月：算出すること。
(100,000 ノード時間)
10,000 ノード時間
トライアル・～H31.3
平成30年度利用
ユース
随時募集中
HPCI
一般利用課題TSUBAME3.0 で利用可能なアプリ（ISV)
アプリケーション名
開発環境、ライブラリ
Intel Compiler
PGI Compiler
Allinea FORGE
CuDNN
NCCL
数値解析/可視化ソフトウェア
Mathematica
Maple
MATLAB
AVS/Express (PCE)
シミュレーション ソフトウェア
ANSYS
ABAQUS & ABAQUS CAEMSC OneGaussian16 & Gauss View6AMBERCST MW-Studio
Materials StudioDiscovery Studio
LS-DYNACOMSOL Multiphysics
Schrodinger Small-Molecule Drug
Discovery Suite

概要ライセンスIntel 開発環境 (Intel Parallel Studio XE Cluster Edition)
PGIコンパイラ
統合開発環境（デバッグ、プロファイル、最適化、コーディング、ビルド）
NVIDIA CUDA® Deep Neural Network library (CuDNN)
NVIDIA Collective Communications Library (NCCL)HPCIで利用可能
HPCIで利用可能
HPCIで利用可能
HPCIで利用可能
HPCIで利用可能

数式処理システム
数式処理システム
インタプリタ型 数値解析ソフトウェア
汎用可視化ソフトウェア、およびクラスター対応並列可視化ソフトウェア

東工大所属者のみ
東工大所属者のみ
東工大所属者のみ
東工大所属者のみ

有限要素法CAEを中心とする解析ソフトウェア群
有限要素解析ソフトウェア & ABAQUS専用のプリ・ポストツール
有限要素法を中心とする解析ソフトウェア群
分子軌道法プログラム & Gaussian専用のプリ・ポストツール
分子動力学プログラム
電磁界解析プログラム
材料科学向けモデリング/シミュレーション環境
ライフサイエンス向けモデリング/シミュレーション環境
汎用非線形構造解析ソフトウェア
有限要素法(FEM)ベースの汎用工学シミュレーションソフトウェア

東工大所属者のみ
東工大所属者のみ
東工大所属者のみ
HPCIで利用可能
HPCIで利用可能（学術利用のみ）
東工大所属者のみ(予定）
東工大所属者のみ
東工大所属者のみ
東工大所属者のみ
東工大所属者のみ

低分子創薬向けモデリング/シミュレーションソフトウェア群

東工大所属者のみ

TSUBAME3.0 で利用可能なアプリ（他)アプリケーション名

概要

機械学習、Deep Learningフレームワーク
Caffe

Berkeley AI Research (BAIR) が開発しているDeep Learning フレームワーク。

Chainer

Preferred Networks が開発しているDeep Learning フレームワーク。

TensorFlow
開発環境、ライブラリ、ツール
Apache Hadoop
Java SDK
PETSc
fftw

Google が開発しているDeep Learning フレームワーク。

Performance API (PAPI) ライブラリ

CPUやGPUのHardware counter解析用APIライブラリ

数値解析/可視化ソフトウェア、ツール
ParaView
POV-Ray
VisIt
R
GIMP
Gnuplot
Tgif
ImageMagick
シミュレーション ソフトウェア
GAMESS
CP2K
GROMACSLAMMPS
NAMD
Tinker
OpenFOAM

大規模データの分散処理ミドルウェア
Java開発環境
科学技術計算向けライブラリ群
離散フーリエ変換 (DFT) ライブラリ

大規模データ分析、可視化アプリケーション
可視化アプリケーション
大規模データ分析、可視化アプリケーション
統計解析システム
画像処理ソフト（ペイントソフト）
グラフ作成ソフト
2次元の描画ソフト
画像表示と画像処理ソフト
分子軌道法プログラム
電子状態計算プログラム
分子動力学プログラム
分子動力学プログラム
分子動力学プログラム
分子動力学プログラム
流体/連続体シミュレーション

TSUBAME3.0で利用可能なアプリ（他２)で整備されたアプリケーション
アプリケーション名HΦ
MODYLAS

概要
並列計算機に対応した数値厳密対角化法による有効模型ソルバーパッケージ。
高並列汎用分子動力学シミュレーションソフトNTCHEM2013

量子化学計算アプリケーション。既存アプリケーションの機能をカバーしつつ、他のプログ
ラムでは利用できない多くの量子化学計算手法を実装。

OpenMX原子局在基底と擬ポテンシャルを用いた第一原理計算プログラム。

SALMON

時間依存密度汎関数理論に基づく実時間・実空間グリッド法を用いた、光励起電子ダイナミクスシミュレータ。

SMASH

オープンソースの大規模並列量子化学計算ソフトウェア。ナノサイズ分子のエネルギー及び最適化構造を、分割せずにまるごと計算することが可能。

• 国プロで開発された国産アプリケーション•
以外にも、多くの共用計算資源で利用可能に整備

東京工業大学TSUBAME3.0の紹介
TSUBAME3.0のHPCI申請に関してご不明な点がございましたら、こちらまでお気軽にお問い合わせください。

東京工業大学
学術国際情報センター
共同利用推進室
渡邊寿雄
kyoyo@gsic.titech.ac.jp

H30/09/28 平成31年度HPCIシステム利用研究課題募集 第4回説明会