東京工業大学TSUBAME3.0の紹介

東京工業大学
学術国際情報センター
共同利用推進室
渡邊寿雄
kyoyo@gsic.titech.ac.jp
平成30年 2月 9日 平成30年度 TSUBAME共同利用 公募説明会

TSUBAME3.0 Green500 List 1位
2017年8月から稼働開始
Green500 List(2017年6月版)
にて世界1位！

•

コンピュータと冷却の双方が、世界トップクラスの省エネ性能
冷却効率を示す指標のPUEは1.033(推定値)•

より少ない電力での計算が可能

TSUBAME性能向上の歴史
2006
TSUBAME1.0
85TFlops/1.1PB
アジアNo.1 !!
「みんなのスパコン」

2007
TSUBAME1.1
100TFlops/1.6PB

2008
TSUBAME1.2
160TFlops/1.6PB

2007年 文科省 先端研究施設
共用イノベーション創出事業

2009年 TSUBAME共同利用開始

2010/11/01
2013/9TSUBAME2.5
5.7PFlops/7.1PB

TSUBAME2.0
2.4PFlops/7.1PB
日本初のペタコン
2012年 HPCI開始

2010年 JHPCN 開始

2017/8/1
2016年 HPCI 産業利用開始（実証利用、トライアル・ユース）

TSUBAME3.0
12PFlops / 16PB

TSUBAME学外利用の歴史
共同利用推進室の事業 TSUBAME学外利用の窓口として2007年 文科省 先端研究施設共用イノベーション創出事業 としてスタート
2009年 TSUBAME共同利用開始
2010年 文科省 先端研究施設共用促進事業、JHPCN 開始
2012年 HPCI（革新的ハイパフォーマンス・コンピューティング・インフラ）開始
2013年 文科省 先端研究基盤共用・プラットフォーム形成事業
2016年 東京工業大学 学術国際情報センター 自主事業化、HPCI 産業利用（実証利用、トライアル・ユース）開始
利用区分
学術利用

産業利用／年度

2007年 2008年 2009年

2010年

2011年

2012年

2013年

2014年

2015年

2016年

2017年

合計

HPCI-----

6510145949

JHPCN---

465111010121169

有償利用--

149141722232523138

無償利用11151581012211713158145

公開

-

-

367981088463

非公開

-

-

2764101210131579

有償利用TSUBAME3.0

クラウド型ビックデータ、グリーンスパコン TSUBAME3.0

計算ノード

計算ノード (540台)

計算ノード
計算ノード
ストレージ

高性能計算ノード:

毎秒150GBで読書可能

ネットワーク・管理サーバ

２基のCPUと４基のGPU
メモリ256GB、 高速SSD 2TB

高速ネットワークで相互接続：
４本のOmni-Pathネットワーク・インターフェイス

人工知能(AI)やビッグデータ分野では半精度計算が有効

ストレージ（15.9PB)

計算ノード

ネットワーク
2,160本の光ファイバーケーブル
ファットツリー構造

TSUBAME3.0はこの精度にて国内最大級の性能
左図： 計算ノード内部
銅パイプで繋がれた４個の金属部品
がGPU用水冷ブロック。
発熱が多いCPUとGPUは水冷、その他のチップは空冷
冷却する水は屋上の冷却塔で生成され、夏場では３２度くらいだが、高温なプロセッサを冷やすには十分計算ノード以外も熱を発します。
TSUBAME3.0ではラックの背面にリアドアというラジエータを装着し、機器の廃熱を水で冷やして室内に戻す。室内のエアコンで冷やすより、消費電力が少ない。

TSUBAME3.0 の利用制度
利用区分

利用者制度

募集時期

申請および審査

成果

料金（税別）

平成30年度利用
現在公募中

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償

JHPCN

年1回
1月頃

（東京大学 情報基盤センター）

公開

無償

TSUBAME学術利用

随時
募集中

東京工業大学
学術国際情報センター

公開

１口 100,000 円

TSUBAMEグランドチャレンジ大規模計算制度

年数回（春期、秋期）

東京工業大学
学術国際情報センター

公開

無償

TSUBAME若手・女性・より若い世代の利用者支援制度

年1回/年4回

東京工業大学
学術国際情報センター

公開

無償

HPCI運用事務局（高度情報科学技術研究機構）

公開

無償

公開

無償公開非公開

１口 100,000 円
１口 200,000 円

一般利用課題

HPCI

学術利用

大学
または研究機関等

実証利用

平成30年度利用
公募終了

HPCI
産業利用

トライアル・ユース

平成30年度利用
随時募集

企業共同研究課題

平成30年度利用
公募終了（東京大学 情報基盤センター）

平成30年度利用
募集開始

東京工業大学
学術国際情報センター

民間企業
JHPCN

JHPCN拠点事務局

TSUBAME産業利用

JHPCN拠点事務局

TSUBAME3.0 民間企業への提供資源
提供システム： クラウド型ビッグデータ グリーンスパコン「TSUBAME3.0」
利用区分

提供期間

利用形態(共通)TSUBAME
産業利用

H30年度 共有利用
募集開始
1口
1,000ノード時間相当

HPCI
産業利用
実証利用

四半期単位
Lクラス：75,000
H30年度 ストレージ
通年利用の場合は Sクラス：46,000
公募終了 課題あたり1～300TB
四半期すべて申請
ノード時間※ストレージの確保に
H30年度 は1TB 1年あたり120
公募終了 ノード時間の計算資源を消費するため、ストレージ分を考慮に入れて希望資源量を算出すHPCI 産業利用
H30年度ること。
トライアル・
随時募集
ユース
JHPCN
企業共同研究課題

利用形態(個別)随時募集
当該年度末まで
H30/4～H31/3

申請上限資源成果

料金（税別）

公開

1口 100,000円

なし

非公開 1口 200,000円

公開

無償

通年利用
ただし四半期単位での計算資源申請

27,000
ノード時間

公開

無償

最長６カ月
もしくは当該年度末まで

10口10,000
ノード時間

公開

無償

TSUBAME3.0 利用申請手続きの流れ
・新規申し込みの産業利用では２口までは小口利用で審査免除、３口以上は審査が必要です。
・あらかじめ申請時に身分証も提出いただくと申請がスムーズに行えます。
・採択後にアカウントを発行し利用開始となります。
利用料金は支払期日申請書に従ってお支払いいただきます。
希望者には利用講習会を開催します。

TSUBAME3.0 利用申請手続き日程
平成３０年 ２月９日 公募説明会
平成３０年～３月中頃 利用申請書提出
申請書をワードファイルにて送付いただき内容を確認します。
新規申請で３口以上の課題は審査を行います。
平成３０年～３月末頃 採択通知予定
平成３０年 ４月初～ 利用開始（アカウント発行、口数設定など）
平成３０年 ４月以降、随時受付（共同利用、HPCI産業利用トライアル）
利用料金の支払い日程につきましては、支払期日申請書の設定日にてお願いします。

TSUBAME3.0 参考：H30公募スケジュール
HPCI産業利用(実証利用)
2017年9月5日(火)2017年10月5日(木)2017年11月7日(火)17時
2017年11月21日(火) 必着
2018年2月初旬ごろ

http://www.hpci-office.jp/
課題募集開始及び申請書配布開始
申請受付開始申請受付締切
押印済申請書の郵送
課題選定結果通知

JHPCN 企業共同研究課題 https://jhpcn-kyoten.itc.u-tokyo.ac.jp/
2017年11月15日(水)2017年12月13日(水)2018年1月9日(火)2018年1月15日(月)3月中旬までに公募案内開始
課題応募受付開始
課題応募受付締切【厳守】紙媒体の課題申込書提出期日
採否結果通知TSUBAME2.0/2.5 混雑状況
TSUBAME2.0 & 2.5 年度別使用状況（2017年7月末）
1,200,000

2011年度 合計
2012年度 合計
2013年度 合計
2014年度 合計
2015年度 合計
2016年度 合計

月別総ノード時間（h）

1,000,000
800,000
600,000

毎年、12月～年度末にかけては混雑が激しいた
め、上半期の利用を強くお薦めします。

400,000
200,000
0
4月

5月

6月

7月

8月

9月 10月 11月 12月 1月

2月

3月

TSUBAME3.0 で利用可能なアプリ（ISV)
アプリケーション名
開発環境、ライブラリ
Intel Compiler
PGI Compiler
Allinea FORGE
CuDNN
NCCL
数値解析/可視化ソフトウェア
Mathematica
Maple
MATLAB
AVS/Express (PCE)
シミュレーション ソフトウェア
ANSYS
ABAQUS & ABAQUS CAEMSC OneGaussian16 & Gauss View6
AMBER
CST MW-Studio
Materials StudioDiscovery Studio
LS-DYNACOMSOL Multiphysics
Schrodinger Small-Molecule Drug
Discovery Suite

概要

ライセンス

Intel 開発環境 (Intel Parallel Studio XE Cluster Edition)
PGIコンパイラ
統合開発環境（デバッグ、プロファイル、最適化、コーディング、ビルド）
NVIDIA CUDA® Deep Neural Network library (CuDNN)
NVIDIA Collective Communications Library (NCCL)

外部利用可能
外部利用可能
外部利用可能
外部利用可能
外部利用可能数式処理システム
数式処理システム
インタプリタ型 数値解析ソフトウェア
汎用可視化ソフトウェア、およびクラスター対応並列可視化ソフトウェア

東工大所属者のみ
東工大所属者のみ
東工大所属者のみ
東工大所属者のみ

有限要素法CAEを中心とする解析ソフトウェア群
有限要素解析ソフトウェア & ABAQUS専用のプリ・ポストツール
有限要素法を中心とする解析ソフトウェア群
分子軌道法プログラム & Gaussian専用のプリ・ポストツール分子動力学プログラム
電磁界解析プログラム
材料科学向けモデリング/シミュレーション環境
ライフサイエンス向けモデリング/シミュレーション環境
汎用非線形構造解析ソフトウェア
有限要素法(FEM)ベースの汎用工学シミュレーションソフトウェア

東工大所属者のみ
東工大所属者のみ
東工大所属者のみ
外部利用可能
外部利用可能（学術利用のみ）
外部利用可能（産業利用のみ）
東工大所属者のみ
東工大所属者のみ
東工大所属者のみ
東工大所属者のみ

低分子創薬向けモデリング/シミュレーションソフトウェア群

東工大所属者のみ

TSUBAME3.0 で利用可能なアプリ（他)アプリケーション名

概要

機械学習、Deep Learningフレームワーク
Caffe

Berkeley AI Research (BAIR) が開発しているDeep Learning フレームワーク。

Chainer

Preferred Networks が開発しているDeep Learning フレームワーク。

TensorFlow
開発環境、ライブラリ、ツール
Apache Hadoop
Java SDK
PETSc
fftw

Google が開発しているDeep Learning フレームワーク。

Performance API (PAPI) ライブラリ

CPUやGPUのHardware counter解析用APIライブラリ

数値解析/可視化ソフトウェア、ツール
ParaView
POV-Ray
VisIt
R
GIMP
Gnuplot
Tgif
ImageMagick
シミュレーション ソフトウェア
GAMESS
CP2K
GROMACSLAMMPS
NAMD
Tinker
OpenFOAM

大規模データの分散処理ミドルウェア
Java開発環境
科学技術計算向けライブラリ群
離散フーリエ変換 (DFT) ライブラリ

大規模データ分析、可視化アプリケーション
可視化アプリケーション
大規模データ分析、可視化アプリケーション
統計解析システム
画像処理ソフト（ペイントソフト）
グラフ作成ソフト
2次元の描画ソフト
画像表示と画像処理ソフト
分子軌道法プログラム
電子状態計算プログラム
分子動力学プログラム
分子動力学プログラム
分子動力学プログラム
分子動力学プログラム
流体/連続体シミュレーション

ISVアプリ東京工業大学TSUBAME3.0の紹介
TSUBAME3.0の共同利用に関してご不明な点がございましたら、こちらまでお気軽にお問い合わせください。

東京工業大学
学術国際情報センター
共同利用推進室kyoyo@gsic.titech.ac.jp

http://www.gsic.titech.ac.jp/tsubame
平成30年 2月 9日 平成30年度 TSUBAME共同利用 公募説明会

TSUBAME3.0 計算資源タイプ一覧
資源タイプ

タイプ名

CPUコア数メモリ(GB)

GPU数

課金係数

F

f_node

28240

41.00

H

h_node

14120

20.50

Q

q_node

760

10.25

G

s_gpu

230

10.20

C4

q_core

430

N/A

0.20

C1

s_core

1

7.5

N/A

0.06

１口で1,000ノード時間相当の計算資源(3,600,000 TSUBAMEポイント)が利用可能。
520ノードから各資源タイプを割り当てます。１ジョブあたり最大72ノード割当可能です。