TSUBAMEスパコンの過去、現在、未来
2021年12月9日（木）PCクラスタシンポジウム

東京工業大学遠藤 敏夫

東工大TSUBAMEスパコンの概要
 東京工業大学学術国際情報センターで運用するスーパーコン
ピュータ  現在はTSUBAME3.0
 当初からのキャッチフレーズは「みんなのスパコン」
 多分野・学内外（学生も）・産業利用含むユーザ
 アクティブユーザ1000～1500人

 GPU等のアクセラレータ採用により計算能力向上
 シミュレーション等に加え機械学習・深層学習の利用者増

2

東工大TSUBAMEスパコンの歴史
2006/4TSUBAME 1.0
85TFlops/1.1PB

アジアNo.1「みんなのスパコン」
x86+ClearSpeed

GPUをアップグレード

2013/9TSUBAME 2.5
5.7PFlops/7.1PB
2013/9TSUBAME-KFC
0.2PFlops
液浸冷却Green500 世界一

2007
TSUBAME 1.1
100TFlops/1.6PB

2008
TSUBAME 1.2
160TFlops/1.6PB

ストレージ・アクセラ
GPUアクセラレータ増強
レータ増強
 Top500で初GPUスパコン

2010/11TSUBAME 2.0
2.4PFlops/7.1PB
日本初のペタフロップス超え2017/8TSUBAME 3.0
12PFlops / 15PB
「ビッグデータ」スパコン
Green500 世界一※プロトタイプ時測定

3

TSUBAMEスパコンシリーズ
TSUBAMEシリーズはGPUのリーディングスパコンとTSUBAME1.0～1.2 して世界的にも知られ、次期TSUBAME4.0へも注目(2006～2010)

TSUBAME2.0/2.5(2010～2017)

アジアNo.1 スパコン認定 (2006)

世界初大規模GPUスパコン (2008)

Top500:演算性能世界4位 (2010)



ACMゴードンベル賞 (2011)Peta-scale Phase-Field Simulation for Dendritic Solidification on theTSUBAME 2.0 Supercomputer

文部科学大臣表彰科学技術賞(開発部門)(2012)

運用世界一グリーンペタスパコンの開発

Green500:省エネ性能世界一 (2017)

TSUBAME3.0(2017～)

4

TSUBAME-KFC: ウルトラグリーン・スパコン試作機
油浸冷却＋大気冷却＋高密度スパコン技術を統合した、コンテナ型研究設備
4GPU搭載計算サーバ群

K20X GPU

液浸サーバラック
熱交換器
熱はプロセッサチップから油へ 熱は油から水へ蒸散熱
自然大気中へNEC LX104Re-1G改×40台

合計理論性能217TFlops (倍精度)645TFlops (単精度)
設計時目標

コンテナ型研究設備
20フィートコンテナ(16m2)

冷却塔：
熱は水から自然大気へ• 世界トップクラスの電力性能比, 3GFlops/Watt以上• 次世代の超省電力スパコン技術の実証実験
5

TSUBAME 3.0 のシステム概要

Integrated byHewlett Packard (HPE)2017年8月～2022年7月
2023年

DDNストレージシステム（並列FS 15.9PB+ Home 45TB）
並列FS理論速度 150GB/s

フルバイセクションバンド幅のインテル® Omni-Path® 光ネットワーク
432 Terabits/秒 双方向
全インターネット平均通信量の2倍540台の計算ノード HPE/SGI ICE XAIntel Xeon CPU (Broadwell)×２＋NVIDIA P100 GPU×４
256GBメモリ、２TBのNVMe対応Intel SSD

システム消費電力• 約600kW (平均運用時)

1台あたり計算能力 22 Tflops (FP64), 87 Tflops (FP16)
 合計計算能力 12.1 PFlops (FP64), 47.2 PFlops (FP16)

多種シミュレーション
6

深層学習

広分野で利用されるTSUBAME
東工大内の利用例

2018~2020年度
合計学内利用料（万円）
その他,
3347

理学院,

工学院,

408.5

2203
物質理工学院, 1531.5

 創薬の大規模分子シミュレーション(COVID-19の阻害剤など)
 創薬手法開発と治療薬探索
 素粒子の量子ダイナミクス研究 高イオン伝導性固体電解質の探索

科学技術創成研究院,
5786
環境・社会理工学院,
2080

情報理工学院,
生命理工学

7911院, 259

東工大の6学院+研究院のすべてから有償利用されている

 深層学習による自然言語処理
 深層学習による音声・動画認識7：高いTSUBAMEの利用率
TSUBAME3ノード利用率（月毎）
1009080
ノード利用率 (%)

アカウント数
約5600
うち、アクティブ約1200

京～富岳の間7060
5040

FY2018FY2019 FY202020
平均76.5% 平均82.1%平均86.3%
30

10Aug-21

Jun-21

Apr-21

Feb-21

Dec-20

Oct-20Aug-20Jun-20

Apr-20Feb-20Dec-19Oct-19Aug-19Jun-19Apr-19Feb-19Dec-18Oct-18Aug-18Jun-18Apr-180※ノード単位の利用率なので、コア単位ではもう少し空きあり 高い利用率  運用効率はよいが、ユーザにとっては長い待ち時間 特に2020年度後半は>95%

 「次の」計算資源も重要だが、運用による影響軽減も必要
8

TSUBAME3.0の運用
 OS: SLES12 + ジョブスケジューラ: Univa Grid Engine
 PyTorch, TensorFlowなどをプレインストール、しかしバージョン進展速い Singularityコンテナにより、ユーザの希望する環境を利用可能
 TSUBAMEノード(28CPUコア+4GPU)はファット ノードを動的分割してスケジュール対象
 ほかにも、利用を容易にする仕組みを中途追加
92つの運用改善の合わせ技で「みんなのスパコン」強化へ[改善1] インタラクティブ専用キュー
 TSUBAMEの540台の計算ノードから4台(<1%)をインタラクティブジョブ専用に切り出し、別キューとして提供
 ¼ノード(7コア・1GPU・64GiB実メモリ)を最大7人が共有


同時実行 4 x 4 x 7 = 112ジョブ, 実習系講義が1クラス分収まるレベル[改善2] Webブラウザ利用
 TSUBAME利用者ポータルでユーザ認証ができる  ノードログインに使ってもよいことに Jupyter Lab (コマンドプロンプトあり), Code Serverを提供中 
SSHを知らなくてもGPUを使ったデータ分析可能

10

TSUBAME4.0:
データ・科学・AI融合のための「もっと」みんなのスパコン
深層習学との融合によるシミュレーション革新
Ex) AlphaFold2

対話的データ解析

シミュレーションとリアルタイム可視化

ビッグデータ解析

計算科学・シミュレーション

SNSのフォロー関係解析

AI・深層学習

ドライブレコーダデータに基づく深層学習

TSUBAME4.0(イメージ図)112023/8～2029/7 運用予定

TSUBAME4.0の特徴
 現行TSUBAME3と比べ、約6倍の演算速度 (倍精度70～90PFlops程度)

 AI・シミュレーションにおいてさらに増大する計算量への対応
 混雑の緩和へ 対話的利用・コンテナ技術の拡充

ビッグデータ解析や可視化を容易化、研究のPDCAを加速
 各ユーザの欲しいソフトウェア環境を迅
速に準備待ち時間を短縮するスケジューリングにより、ライトユーザへも恩恵• GPU等の大幅利用による加速• TSUBAMEシリーズではGPU等の利用により、演算速度効率が数倍に
 投資あたりの研究成果の増大
一方、「GPU利用には工夫が必要」という課題に対しては、以下の対応• 東工大の長年のGPUに関する教育・研究
コミュニティの実績• 深層学習分野ではGPUがデファクトスタンダードになっており、急速に整備

データ・計算科学・AIを中心とした研究成果創出の支援を大幅強化
12

ストレージの階層構造？
ユーザにどのようなビューを見せる？

TSUBAME4.0は東工大すずかけ台キャンパスへ
TSUBAME1~3は大岡山キャンパス・GSIC情報棟に設置
TSUBAME4: すずかけ台キャンパスG4A棟(旧MHD棟)を新データセンターとして改修後に設置予定
屋外冷却設備等© Google
マシン室
210m2
電気室

13

ありがとうございました← スライド表紙はすずかけ台
キャンパスの画像でした(建物は別)

14