TSUBAME: Supercomputers forEverybody's AI/Machine Learning
2023/4/19 PCCC AI/ML ワークショップ

東京工業大学遠藤 敏夫

東工大TSUBAMEスパコンシリーズ
TSUBAMEシリーズは、世界に先駆けたGPUの採TSUBAME1.0～1.2 用など、先進的な取り組みを行ってきた(2006～2010)

TSUBAME2.0/2.5(2010～2017)

アジアNo.1 スパコン認定 (2006)

世界初大規模GPUスパコン (2008)



Top500:演算性能世界4位 (2010)

ACMゴードンベル賞 (2011)Peta-scale Phase-Field Simulation for Dendritic Solidificationon the TSUBAME 2.0 Supercomputer

文部科学大臣表彰科学技術賞(開発部門)(2012)

運用世界一グリーンペタスパコンの開発

Green500:省エネ性能世界一 (2017)

TSUBAME3.0(2017～)2東工大TSUBAMEの歴史
2006/4TSUBAME 1.0
85TFlops/1.1PB

2007
TSUBAME 1.1
100TFlops/1.6PB

アジアNo.1「みんなのスパコン」
AMD+ClearSpeed
GPUをアップグレード
2013/9TSUBAME 2.5
5.7PFlops/7.1PB

2013/9TSUBAME-KFC
0.2PFlops
液浸冷却による小型実験スパコン
Green世界一

2008
TSUBAME 1.2
160TFlops/1.6PB

ストレージ・アクセラ GPUアクセラレータ増強
レータ増強
 Top500で初GPUスパコン

おことわり：TSUBAME 2.0
本日時点ではまだ2.4PFlops/7.1PB TSUBAME4.0に関する情報
日本初のペタフロップス超え は仕様書ベースのものです
2010/112017/8TSUBAME 3.0
12PFlops / 15PB
省エネ型「ビッグデータ」スパコン
Green世界一

32024/4 予定

TSUBAME 4.0>60PFlops/>38PB

現行TSUBAME 3.0 のシステム概要
2017/8~

DDNのストレージシステム（並列FS 15.9PB+ Home 45TB）• ユーザには学内・学外研究者・産業利用を含み、アクティブユーザ数1,400• 東工大では200近くの研究室が利用• 深層学習ユーザが大幅増加

Integrated byHewlett Packard (HPE)

フルバイセクションバンド幅のインテル® Omni-Path® 光ネットワーク
432 Terabits/秒 双方向
全インターネット平均通信量の2倍540の計算ノード SGI ICE® XAIntel Xeon (Broadwell) CPU×２＋NVIDIA P100 GPU×４
256GBメモリ、２TBのNVMe対応インテル®SSD

12PFlops (倍精度), 47PFlops (FP16)

4

TSUBAME3.0の特徴
AI/機械学習を強力にサポートするためのTSUBAME3.0の方策：計算科学・シミュレーションとの共存 ハードウェア面  GPU!!
 ソフトウェア・運用面

 機械学習/深層学習フレームワークの提供 (TensorFlow, PyTorch,Chainer…)
 ↑バージョンアップが早い。ユーザが必要なバージョンを入れられるよう、Singularityコンテナの用意 ばらばらなジョブの粒度への対応：>100GPUのMPIジョブもあれば、1コア+1GPUで十分な場合、Pythonスクリプトが動けばよい場合・・・
 インタラクティブ利用需要への対応：バッチスケジューラだけでなく、Webベース利用(2020～)5

CPU・GPU資源を有効活用しつつジョブ粒度対応
TSUBAME3.0は「ファットノード」：28 core + 4 GPU + 256GB memory「小さい」ジョブにノード丸ごとはもったいない  ノード分割の導入

 TSUBAME3上で、複数の「インスタンスタイプ」を定義した
 GSIC野村准教授(現在)が設計

GPU
GPU
GPU
GPU

OPA
HFI
14core
CPU
OPA
HFI
7core

CPU

2core
4core

OPA
HFI
OPA
HFI

HQ

•

f_node: 分割しないノード丸ごと•••••

h_node: 14 core + 2GPU
q_node: 7 core + 1GPU
s_core: 1 Coreq_core: 4 Cores_gpu: 2 Core + 1 GPU

G1
C4

ユーザは、ジョブ投入時に「タイプ」×「インスタンス数」を指定
 ユーザは日常的にタイプを選んでいる

6

ジョブ件数の統計(2023/3)：>80%が分割タイプ指定

TSUBAME + シングルサインオン+ Jupyter =みんなのビッグデータ・AI/ML基盤 [野村 SWoPP2020]
JupyterNoteBook(当時)をはじめ、Web上での計算資源利用が急激に普及
 TSUBAME上にWebインタフェースを実装: JupyterLab / CodeServer / noVNC
 ブラウザだけでGPUを含めTSUBAMEを直接インタラクティブ利用できる
 注：OpenOnDemandがメジャーになる少し前だった

この図のどこにもSSH・公開鍵は出てこない→ 覚える必要がない
2022年度に約240名の利用実績
うち1/3 (推定)は、Webのみ利用
 スパコンユーザの新規発掘
UserTSUBAME 計算ノード
ポータル経由で計算ノード上のJupyter Labに直接アクセススマホもok
TSUBAMEポータル

7

次期TSUBAMEにおいて、計算性能・使いやすさの両方をさらに向上
7

TSUBAME4.0:

データ・計算科学・AI融合のための「もっと」みんなのスパコンにより、コンバージェンス・サイエンスの中核インフラへ
深層学習との融合によるシミュレーション革新

対話的データ解析

シミュレーションとリアルタイム可視化

ビッグデータ解析

計算科学・シミュレーション

SNSのフォロー関係解析

AI・深層学習TSUBAME4.0
2024/4運用開始予定(写真はイメージ図)
8

深層学習による画像等認識

TSUBAME4.0の特徴
 現行TSUBAME3と比べ、5倍以上の演算速度 ※倍精度・行列演算にて AI・シミュレーションにおいてさらに増大する計算量への対応
 混雑の緩和へ 対話的利用・コンテナ技術の拡充

ビッグデータ解析や可視化を容易化、研究のPDCAを加速
 各ユーザの欲しいソフトウェア環境を迅
速に準備待ち時間を短縮するスケジューリングにより、ライトユーザへも恩恵• GPUの大幅利用による加速• TSUBAMEシリーズではGPUの利用により、演算速度効率が数倍に
 投資あたりの研究成果の増大「GPU利用には工夫が必要」という課題に対しては、以下の対応• 東工大の長年のGPUに関する教育・研究
コミュニティの実績• 深層学習分野ではGPUがデファクトスタンダードになっており、急速に整備

データ・計算科学・AIを中心とした研究成果創出の支援を大幅強化
9

TSUBAME4.0の性能概要
下記は仕様書時点の情報
 総演算性能 倍精度: ≧60PFlops
 半精度: ≧ 240PFlops

TSUBAME3.0の5倍以上

 計算ノード(少なくとも一部)は、x86互換CPU + CUDA対応GPU
 現行機との連続性
 単体GPUは、少なくとも以下の性能
 倍精度 ≧36TFlops
 メモリ容量 ≧64GB※A100は要件を満たさない ストレージ 共有ストレージ ≧38PB
 一部、SSDベースの高速共有ストレージ10

2024/4 TSUBAME4はすずかけ台キャンパスで稼働
TSUBAME1~3は大岡山キャンパスに設置

G4A棟

TSUBAME4: すずかけ台キャンパスG4A棟(旧MHD棟)を新データセンターとして設置予定

新マシン室

屋外冷却設備等
マシン室
210m2(TSUBAME3部屋の2倍)

加藤山
トンネル

電気室

すずかけ台駅11

TSUBAME4.0のもう少し先へ向けて
HPCシステムへの期待の高まりから、計算資源利用法も広がる• 機械学習などの対話利用 (LLMも含む)• リアルタイム高速可視化• Io Tデバイス・エッジからのデータ解析

HPCシステム 現状の多くのスパコンでは、バッチスケジューラによる固定的な運用がほとんど

 ユーザはジョブスクリプトを前もって作成し、システムに実行依頼（投入） システムがすでに満杯だったら待たされる 対話利用・リアルタイム可視化×(2020年から一部TSUBAME3で対応)
 各ジョブは有限時間で終わり、計算資源を明け渡す(時間方向に固定)
 外部データの継続的解析 ×
 各ジョブ投入前に、資源量(コア数・GPU数…)指定(空間方向に固定)
 計算資源の有効活用 ×

12

スパコンの利用率とは何か
 各ジョブが利用を宣言した資源と、時間ごとの実利用率にはギャップ
TSUBAME3の平均占有率85%
 繁忙期は待ち時間>24時間も実利用率ではCPU30%程度、GPUはそれ以下

13

ムーア則が止まる時代に富豪的利用はふさわしいか・・・？

利用率のギャップの原因 AI/機械学習ジョブにおける実利用率の変動
 ビッグデータのディスク読み込み 複数の計算フェーズ インタラクティブ利用ではさらに、「ユーザが考える」時間が入る
複数のインタラクティブ利用中のCPU利用率

GPUメインの部分、CPUメインの部分・・・

AlphaFold2実行中の利用率
CPU利用率
ディスクI/Oネック

GPU利用率GPU使うのは終盤だけ

14

進行中の研究(一部) ノード分割よりもさらにアグレッシブに資源共有を行う試み
 「Oversubscribing」スケジューリングの導入？
 コアレベルでも、複数ジョブが計算資源を共有

シミュレーションによる影響評価
Minami et al. HPCAsia23
占有型運用
共有運用

一部のジョブが>10x無駄な時間の被害
即時かつ速度低下なしで実行できたジョブたち

課題は山積み• (当然)各ジョブの速度は低下  特に並列ジョブへの影響のアセスメント• スケジューリングアルゴリズム提案• 公平性・即時性とのトレードオフをどう考えるか• GPUへの対応！
• 外部データ解析ジョブや、Microserviceとの親和性調査• メモリ容量の不足をどうカバーするか(Pegasusすごい)

これらを含み、さらなる次世代高性能システムへ向け研究中
15

TSUBAME4予定地
このあたり

ありがとうございました