東京工業大学 学術国際情報センターの紹介
TSUBAMEスパコンシリーズを中心に2024年6月27日（木）PCクラスタワークショップ in すずかけ台2024

東京工業大学遠藤 敏夫

学術国際情報センター(GSIC)の役割
東京工業大学の情報インフラ一般を担当
 情報支援部門：情報技術による教育研究支援
 認証・ネットワーク分野
 情報基盤活用分野
 情報セキュリティ分野；東工大CERTと連携

 先端研究部門：高性能計算等の先端的研究 高性能計算システム分野
 高性能計算先端応用分野
 大規模データ情報処理分野

TSUBAMEスパコンシリーズ等の運用・設計・研究

 HPCIおよびJHPCNに参加
 国内外の研究機関・企業と連携・共同研究
2

学術国際情報センターの場所
 大岡山キャンパスが主拠点（キャンパス内移転中）
 TSUBAME関連教員の一部(2名)がすずかけ台に2022~2023に移転
石9棟+石8棟

すずかけ台キャンパス

大岡山キャンパス

移転

移転中

現GSIC情報棟
TSUBAME1.0～3.0

2024年10月の大学合併のタイミ
ングでさらに改組予定
3

TSUBAME
4.0

東工大TSUBAMEスパコンの概要
 学術国際情報センターで運用するスーパーコンピュータ 現在はTSUBAME4.0 (2024年4月～)
 「みんなのスパコン」をキャッチフ
レーズに、コモディティ技術を用いた使いやすさと、アクセラレータなどの先進的な取り組みを両立してきた
 省エネ性・設備面でも注目される

 多分野・学内外（学生も）・産業利用含むユーザ
 アクティブユーザ1000～1500人

4東工大TSUBAMEスパコンの歴史
2006/4TSUBAME 1.0
85TFlops/1.1PB

アジアNo.1「みんなのスパコン」
x86+ClearSpeed

2007
TSUBAME 1.1
100TFlops/1.6PB

ストレージ・アクセラ
GPUアクセラレータ増強
レータ増強
 Top500で初GPUスパコン

2010/11

GPUをアップグレード

TSUBAME 2.0
2.4PFlops/7.1PB

2013/9TSUBAME 2.5
5.7PFlops/7.1PB
2013/9TSUBAME-KFC
0.2PFlops
液浸冷却Green500 世界一

2008TSUBAME 1.2
160TFlops/1.6PB

日本初のペタフロップス超え2017/8TSUBAME 3.0
12PFlops / 15PB
「ビッグデータ」スパコン
Green500 世界一

52024/4

TSUBAME 4.0

66.8PFlops/44PB

TSUBAME1.0～1.2スーパーコンピュータ (2006~）
SunFire X4600
16 Opteroncoresx 655nodes

Voltaire ISR9288
Infiniband 10Gbps

SunBlade X6250
8 Xeon cores x 90nodes(tsubasa cluster)

NVIDIA Tesla
S1070
4GPUs x 170Units

6

Integrated
by NEC

ClearSpeed X620
x 360 PCI-X boards
648

世界初のGPUスパコンとしてTop500ランキングに(2008, TSUBAME1.2)

T1の時代：多数アクセラレータの利用の模索+ ClearSpeed BLAS, CUDAなどはあった しかし多数のアクセラレータを連携させるには？

+Example of mapping of DGEMM computation
Processes

 Linpackベンチマークを題材に
 MPIと各種APIの併用
 CS, GPU, CPUのヘテロプロ
セッサへの負荷分散・・・

Processors

ハードウェア増強・ソフトウェア改良によりLinpack7期連続性能向上!
Jun06

Nov06

Jun07

Nov07

Jun08

Nov08

Jun09

LinpackS
peed

38.18

47.38

48.88

56.43

67.70

77.48

87.01

Rank

7914

16

24

2941

Nov09

(TF)

756

TSUBAME2.0～2.5スーパーコンピュータ (2010~）• NVIDIA Tesla M2050 4224枚(のち、K20Xへアップグレード)• 国内初のペタフロップス超え• Top500 4位• ペタスケールシミュレーションなど国際的成果多数

8T2の時代：電力危機への対応にせまられる
2011.3.11 東日本大震災

 東電原発事故による関東地方の電力不足のため，運用を大きく変更
 三月の計画停電
 政府・大学による節電要請

 TSUBAME2はキャンパスの約10%の電力 (1～1.7MW)を消費
運用開始

震災発生

“ピークシフト”“短時間ジョブ運用キュー”導入

稼働CPU数

ピークシフト運用では、朝夕の電源ON/OFFを自動化
9

通常運用

TSUBAME-KFC: ウルトラグリーン・スパコンテストベッド (2013)
液浸冷却＋大気冷却＋高密度スパコン技術を統合した、コンテナ型研究設備
4GPU搭載計算サーバ群

K20X GPU

液浸サーバラック
熱交換器
熱はプロセッサチップから油へ 熱は油から水へ
蒸散熱
自然大気中へNEC LX104Re-1G改×40台
合計理論性能217TFlops (倍精度)645TFlops (単精度)コンテナ型研究設備
20フィートコンテナ(16m2)

冷却塔：
熱は水から自然大気へ

その後K80 GPUへ置き換え、性能倍増• 世界トップクラスの電力性能比, 4.5GFlops/Watt 省エネランキング Green500 世界一• 実測PUE 1.09
10

2019年5月に撤去
駐車場スペース返却

TSUBAME3.0スーパーコンピュータ (2017~）
Integrated byHewlett Packard (HPE)

DDNのストレージシステム（並列FS 15.9PB+ Home 45TB）• ユーザには学内・学外研究者・産業利用を含み、アクティブユーザ数1,400• 東工大では200近くの研究室が利用• 深層学習ユーザが大幅増加

フルバイセクションバンド幅のインテル® Omni-Path® 光ネットワーク
432 Terabits/秒 双方向
全インターネット平均通信量の2倍540の計算ノード SGI ICE® XAIntel Xeon (Broadwell) CPU×２＋NVIDIA P100 GPU×４
256GBメモリ、２TBのNVMe対応インテル®SSD

12PFlops (倍精度), 47PFlops (FP16)

11

TSUBAME3の省エネ冷却技術
 TSUBAME-KFCの経験を経て

 液体冷却方式と、その液温の重要性
 しかし、液浸方式は大変冷却塔によるフリークーリング(地上) チラー 【TSUBAME2と兼用】

冷却能力: 約1MW

冷却能力: 約2MW

還り冷却水 : 約40℃

還り冷却水 : 24℃

往き冷却水 : 約32℃

往き冷却水 : 約17℃

室内エアコン(環境潜熱除去用)

計算ノード
HPE SGI ICE XA

I/O , File system
熱交換機
（予備）

Green500世界一 (プロトタイプシステムの計測時）
12冷却能力: 約100kW

専用設計のノード：
直接液体冷却のための水パイプ有T3の時代：みんなのスパコン・現代版へ
SSH・コマンドラインだけでなく、Webからの利用対応

1ノードは4GPUを含み、資源が大きめ(ファットノード)
 並列シミュレーション/AIユーザから初学者が利用  ノードの動的分割が必要
 TSUBAME3上で、複数の「インスタンスタイプ」を定義した※OpenOnDemandがメジャーになる少し前だった

 GSIC野村准教授(現在)が設計

GPUGPUUserGPU

TSUBAME 計算ノード
ポータル経由で計算ノード上のJupyter Labに直接アクセス

スマホもokGPU

TSUBAMEポータル

CPU

14core

7core

CPU

2core
4core

OPA
HFI
OPA
HFI
OPA
HFI
OPA
HFI

拡張した形でTSUBAME4.0へ引き継ぎ
13H

Q
G1
C4

ジョブ件数の統計(2023/3)：>80%が分割タイプ指定
 資源を効率利用

TSUBAME4.0

2024/4/1すずかけ台で稼働開始

計算ノード：
HPE Cray XD665 ×240台

共有ストレージ：
HPE Cray ClusterStor E1000

総演算性能：• 66.8 PFlops (倍精度)• 952 PFlops (半精度)

総容量：• 44 PByte (ハードディスクベース)• 327 TByte (SSDベース)
30ラックに格納• 計算ノード 23ラック• ストレージ・管理 7ラック
東工大すずかけ台キャンパス
G4-A棟に設置

14

構築業者：
Hewlett Packard EnterpriseTSUBAME4.0のインストール場所
すずかけ台G4-A棟を新データセンターとして改修

G4-A棟

屋外冷却設備等
マシン室
210m2
フリーアクセス
フロア

電気室

15

2024/10、東工大＋医科歯科大  東京科学大学へ
学術国際情報センターも改組予定
これからも、先進的な情報インフラと高性能計算技術の提供により、国内外の研究・教育を前進

16