TSUBAME3.0

AIとビッグデータ解析のためのクラウド基盤

東京⼯業⼤学 学術国際情報センター
三浦 信⼀

リーディングスパコンTSUBAME3.0• 最先端の技術チャレンジに挑むスパコン• HPCIリーディングスパコン：TSUBAME2と合算し京の⼆倍の性能：
15-20ペタフロップス、4-5ペタバイト/秒メモリバンド幅、ペタビッ
ト級光ネットワーク• BYTES 中⼼スパコン：⼤規模シリコンストレージによりマルチテラバ
イト/秒のI/O、機械学習・AI含むビッグデータ⽤ミドルウェアやアプリ• グリーンスパコン10ギガフロップス/W以上の性能電⼒性能・グリー
ン・PUE < 1.05
• クラウドスパコン：種々のクラウドサービスと⾼速性の両⽴• 「⾒える化」スパコン：超複雑なマシンの状態が「⾒える」

TSUBAMEシリーズ
2013年 TSUBAME2.5
GPU upgrade
5.7 PFlops

2010年 TSUBAME2.0
2.4 Pflops#4 World“Greenest Production SC”

2006年 TSUBAME1.0
80テラフロップス・アジア一位
世界7位

2017年8月1日稼働
TSUBAME3.012.1 PFlops

2013年 TSUBAME-KFC#1 Green 500

アクセラレータを積極的に⽤いた⾼密度かつ低消費電⼒なスーパーコンピュータシステムを提供

TSUBAME 3.0 のシステム概要

⼤容量ストレージ DDN SF14K（Lustre FS 15.9PB+ NFS 45TB）SINET5へ100Gbpsで接続

フルバイセクションバンド幅のインテル® Omni-Path 光ネットワーク
432 Terabits/秒 双⽅向計算ノード HPE SGI ICE® XA 540ノード
インテル®Xeon® CPU×２＋NVIDIA Pascal GPU×４
256GBメモリ、２TBのNVMe対応インテル®SSD 12.1 PFlops

TSUBAME3.0 計算ノード• HPE SGI ICE-XA Blade (新規開発)- No exterior cable mess (power, NW, water)- Plan to become a future HPE productTSUBAME3.0 計算ノード HPE SGI ICE-XA ベース
PCH

計算ノードの接続構成

相互結合網の範囲

相互結合網の上位（スパイン）スイッチ：フルバイセクション
432 Terabit/s 双⽅向 Intel OmniPath

18ポート使⽤

18ポート使⽤SSD

x60ペア（合計 120スイッチ）

DIMM
DIMM
DIMM
DIMM

x16 PCIe

DMI

x16 PCIex4 PCIe

CPU 0PCH
SSD
DIMM
DIMM
DIMM
DIMM

x16 PCIe

DMI

x16 PCIex4 PCIe

QPI
DIMM
DIMM
DIMM
DIMM

OPA HFIPLX

x16 PCIe

CPU 0

18ポート使⽤

x16 PCIe

PCH

OPA HFI

SSD
DIMM
DIMM
DIMM
DIMM

x16 PCIeGPU 1GPU 0
NVLinkGPU 3
x16 PCIex16 PCIex16 PCIe

PLX

x16 PCIe

計算ノード

x16 PCIex16 PCIeOPA HFIOPA HFI

x9

DIMM
DIMM
DIMM
DIMM

OPA HFIPLX

x16 PCIe

CPU 0

QPI

GPU 2

CPU 1

x16 PCIe

DMI
x4 PCIe

x16 PCIe

OPA HFI

x16 PCIe

GPU 1

GPU 0
NVLink

GPU 3

GPU 2

CPU 1

x16 PCIex16 PCIex16 PCIe

PLX

x16 PCIex16 PCIe

OPA HFIOPA HFI

計算ノード
SGI ICE XA （製品の範囲）

x16 PCIe

OPA HFI

x16 PCIe

GPU 1

GPU 0
NVLinkGPU 3GPU 2

CPU 1

x16 PCIex16 PCIex16 PCIe

18ポート使⽤

PLX

x16 PCIe

QPI
DIMM
DIMM
DIMM
DIMM

OPA HFIPLX

x16 PCIex16 PCIeOPA HFIOPA HFI

超⾼性能な”Fat Node”構成(TSUBAMEの伝統)• 4 SXM2(NVLink) NVIDIA Pascal P100 GPU• ⾼ネットワークバンド幅 ‒ Intel Omnipath
ネットワーク 100GBps x 4 = 400Gbps• ⾼ I/O バンド幅- Intel 2 TeraByte NVMe
• システム合計容量1ペタバイト以上、x60セット（合計2Terabyte/秒の合算バンド幅540ノード）• ⾼密度・⾼温⽔冷ブレード ‒ 1ラックあたり36 ブレード = 144 GPU + 72 CPU、5060KW• ⼀般データセンターの10-20倍

A Massively BYTES Centric Architecture for Converged BD/AI and HPC
Intra-node GPU via NVLink
20~40GB/s

HBM2 64GB
2.5TB/sTerabit class network/node800Gbps (400+400)
full bisection

Intra-node GPU via NVLink
20~40GB/s

Inter-node GPU via OmniPath
12.5GB/s fully switched

DDR4 256GB
150GB/s

NVMe Flash2TB 3GB/s

16GB/s PCIe
Fully Switched

16GB/s PCIe
Fully Switched

Any “Big” Data in the system can be moved to anywhere via RDMA
speeds minimum 12.5GBytes/s
also with Stream Processing
Scalable to all 2160 GPUs, not just 87

計算ノード の性能⽐較 T2/2.5/3
MetricTSUBAME2.0 TSUBAME2.5(2010)(2013)TSUBAME3.0(2017)

Factor

CPU Cores x Freq (GHz)

35.16

35.16

72.8

2.07

CPU Memory Capacity (GB)5454256

4.74

CPU Memory Bandwidth (GB/s)

6464

153.6

2.40

GPU CUDA Cores

1,344

8,064

14,336

1.78

GPU FP64 Peak (TFLOPS)

1.58

3.93

21.2

13.4 & 5.39

GPU FP32 Peak (TFLOPS)

3.09

11.85

42.4

13.7 & 3.58

GPU FP16 (TFLOPS)

3.09

11.85

84.8

27.4 & 7.16

GPU Memory Capacity (GB)

918

64

7.1 & 3.56

GPU Memory Bandwidth (GB/s)

450

750

2928

6.5 & 3.90

SSD Capacity (GB)120120

2000

16.67

SSD READ (MB/s)

550

550

2700

4.91

SSD WRITE (MB/s)

500

500

1800

3.60

Interconnect Bandwidth (Gbps)

80

80

400

5.00

TSUBAME3.0 ストレージ階層• 計算ノード• Intel社製 NVMe DC P3500 2TB• ジョブ単位• NVMe + BeeGFS (BeeOND)• ジョブアローケーション時にダイナミック共有ファイルシステムを構築

IntelDC P3500 2TB• システム全体• DDN社製SFA14KXEとExaScaler(Lustre)を⽤いた⾼速・⼤容量・⾼可⽤性ストレージ• 物理容量20.4PB• 実効容量約15.9PB• 理論スループット150GB/s

⾼バンド幅を前提として、ストレージの階層化によりランダムアクセス性能も最適化

⾼IOPS性能+
Multi Node NVMe

DDN SFA14KXE+ExaScaler(Lustre)
5PB x 3ファイルシステム

⼤容量/⾼可⽤⾼効率なTSUBAME3.0を⽀える設備

計100tを⽀える強化された床部

省スペース化

低損失化

電気配線・冷却⽔管天井配置を基本とし、設備レイアウトの⾃由度・床耐荷重を最⼤化420Vの⾼電圧で配電することにより、配電エネルギーの点損失化と配線コストを低減

32度の⾼温冷却⽔による冷却床部の強化により⾼密度なシステムを導⼊可能に。
1t/m2以上を実現

冷却塔によるフリークーリン
グ技術を利⽤した、⾼効率な冷却技術の適⽤

⾼密度化

省エネルギー化

天井部に設置された配管・配線

420V 3相4線式 配電設備

計算性能の⾼密度化とインフラの整備 (検討)
TSUBAME2.5
計算ノード

情報棟 (1972年竣⼯)
学内でも有数の⽼朽化建築物

TSUBAME2.5
計算ノード

床耐荷重不⾜スペース不⾜
天井⾼不⾜
電気室

TSUBAME2.5
ストレージ

電⼒量不⾜

TSUBAME3.0を設置可能な唯⼀の場所

計算性能の⾼密度化とインフラの整備 (検討結果)
電気室

TSUBAME2.5
計算ノード

TSUBAME2.5
計算ノード

2階へ移動

TSUBAME2.5
床⾯積: 150m2, 5.7PFlops
性能密度: 約38TFlops/m2

新電気室を整備
3線4線式 420V
⾼電圧化 = ⾼配電効率

電気室

TSUBAME2.5
ストレージ

TSUBAME3.0
TSUBAME3.0

床耐荷重強化 ⇒ 約100t
居室⼀体化 ⇒約120m2
天井撤去 ⇒ 最⼤⾼ 約6m

床⾯積: 120m2, 12.1PFlops
性能密度: 約100TFlops/m2
現状の利⽤スペースは半分
実質的な性能密度: 約200TFlops/m2

サーバルーム改修の様⼦ストレージ撤去後の様⼦

壁・天井の撤去

H28.6
床の撤去

撤去後の様⼦H28.10
床が撤去され地下室が露出

H28.10

H28.11

H28.10地下室の床の基礎 再構築

H28.12

サーバルーム改修後
H29.3 完成
約120m2に拡張された部屋

100tに耐える強化された床部

耐荷重の強化によって、45UラックにDDN社のストレージをフル実装可能に(⽇本で初めて)冷却システムの省エネ化(屋上) 設置冷却塔によるフリークーリング(地上) チラー 【TSUBAME2と兼⽤】

冷却能⼒: 約1MW

冷却能⼒: 約2MW還り冷却⽔ : 約40℃

還り冷却⽔ : 24℃

往き冷却⽔ : 約32℃

往き冷却⽔ : 約17℃

室内エアコン(環境潜熱除去⽤)

計算ノード
HPE SGI ICE XA

I/O , File system
熱交換機
（予備）

冷却能⼒: 約100kW

TSUBAME3.0 世界トップクラスの冷却効率
PUEは冷却のオーバーヘッドを表す。1.0に近いほど良い
PUE = ｛（計算ノードの消費電⼒）＋（計算ノードの冷却に必要なすべての設備消費電⼒）｝／ （計算ノードの消費電⼒）• 通常のデータセンター：PUE = 2〜3 (冷却の⽅がマシンより電気を⾷っている)• 最新の空冷データセンター、TSUBAME1：PUE = 1.4〜1.6• TSUBAME2.0：PUE = 1.28
• TSUBAME-KFC：PUE = 1.09
TSUBAME 3.0 PUE 予測 (900KW消費仮定) ２０１３〜２０１５年の天候データを元に計算
１⽉

２⽉

３⽉４⽉

５⽉

６⽉

７⽉

８⽉

９⽉

１０⽉

１１⽉

１２⽉

年間
平均

冷却設備
平均消費電⼒
[ｋW]

２８．
８３

２８．
８３２８．
８３２８．
８３２９．
２１３０．
０６

３０．
０６

３２．
００

３０．
０６

２９．
２１２８．
８３

２８．
８３２９．４
６５

ＰＵＥ

１．０
３２

１．０
３２

１．０
３２

１．０
３２

１．０
３２

１．０
３３

１．０
３３

１．０
３６

１．０
３３

１．０
３２

１．０
３２

１．０
３２

１．０３
３

TSUBAME3.0の計算ノードの年間PUE平均値は『１．０３３』
世界トップクラス
4-27

TSUBAME 2.5 の運⽤で得られた課題
1.

2.

3.

計算ノード内のリソース分割制限• 利⽤ユーザによってCPUやアクセラレータ(GPU)の利⽤量に偏りがある• CPUジョブとGPUジョブを同時に実⾏するためにVMを導⼊し、⼀部計算ノードを分割しているが、分割ノード数を静的に決定する必要があり、状況に応じた適切なリソース配分ができない

Linux ディストリビューションバージョンの固定化• 使⽤しているLinuxディストリビューションの陳腐化が進み、早い段階からソフトウェアの新規導⼊・更新に労⼒が必要• システムソフトウェアをバージョンアップした際に、ユーザに⼤きな負担を要する• セキュリティ対策が難しい
T3: クラウド技術をスパコンに適⽤ ⇒ コンテナ技術の導⼊ストレージ容量の不⾜とデータ連携環境の⽋如• TSUBAME2.5へのアップグレードによって、計算能⼒が増強されたが、ストレージについてはそのままの為、処理能⼒に対して容量が少ない• ストレージ設置エリアの制限のため、⼤型のストレージ導⼊が難しい• 外部からのデータアクセスが難しいため、データ同化やIoT機器との連携でデータの蓄積⽤に、TSUBAMEのストレージを利⽤することができない• 研究機関間でデータを共有する場合は、SSHを介したファイルコピーが基本であり、連携が難しい

T3: 外部のクラウドとの連携 ⇒ クラウドストレージの利⽤TSUBAME3.0 へのクラウド技術の適⽤• 計算ノードのシステムイメージ仮想化対応• cgroups によるユーザプロセスのパーティショニング• Dockerコンテナによる、ユーザ毎のシステム環境選択 （来年度開始）• ネットワーク• 全計算ノード（物理+論理）のインターネット接続対応• SINET5 L2VPNの計算ノード（物理+論理）への引き込み• ストレージ連携• ⾼速ストレージの外部からのマウント許可• オブジェクトストレージとの連携

TSUBAME3におけるクラウド的ノードリソース分割• 計算ノード• TSUBAMEのユーザ• Expert: CPUもGPUもあるだけ使う• GPU User: GPUはあるだけ使うが、CPUは最低限で⼗分• 1GPU User: GPUは使えるが、1ノード複数台は使えない(含ISVユーザ)• CPU User: GPU使えない、GPU未対応ISVユーザ• 4 GPUs, 28 CPU cores• ⼤抵のユーザにとっては過剰• 計算ノードを分割して共有す
れば、利⽤率向上

TSUBAME2で実現したこと (KVM利⽤)• KPerformance• GPUを仮想化NG => GPUベアメタルノード実⾏• CPUジョブはKVMのVM下で実⾏
ネットワークは仮想化されたIP層のみ
RDMAは使⽤不可• JUsability• KVM→TSUBAME1⽐で「できなくなった」
ことはなかった(はず)

GPU

4コア

CPUG
Bare-Metal

GPU
8コア

GPUCPU• JIsolation• VMの内外で互いに他⼈のジョブに関する情報は⾒えない• LVirtualization• 7年前のシステムソフトウェアでは(簡単には/全然)動かないソフト• glibc, GCC他が古すぎる• ISVの最新バージョン、AI関係のソフトウェア(Caffe, Tensorflow)• OSのアップグレードコストは絶望的• ISVの認証・動作確認、互換性(今までのアプリが動作するか、性能が出るか)

IB
HCA

U/VVM

IBIP over IBHCA

TSUBAME3のリソース分割: Docker利⽤• 2017年時点でのリソース分割の選択肢• VMを⽤いた仮想化• コンテナ技術(Docker, Shifter, Singularity等)を⽤いた資源分割• VMを使う場合• 7年前(T2構築時)と⽐べ、PCI pass throughなど、VM仮想化でも性能を損なわない技術が出てきている• ネットワークが分割できない: TSUBAME3のOmniPathはSR-IOVをサポートしていない → VM仮想化だとネットワーク性能が出ない• コンテナ技術を使う場合• 性能⾯での懸念はない OSカーネル(GPU/通信)はホストで動作• SSH利⽤、リソース分離、セキュリティは要検証• TSUBAME3.0ではDockerを導⼊• 運⽤開始時は試験的サービスとしてテスト• 将来的には全てのジョブでDocker利⽤を強制• Dockerイメージの持ち込みは当⾯許可しない (セキュリティの問題が未解決)• Lustreファイルシステムをコンテナ単位でマウントしたいが、UIDやセキュリティ問題により、ホスト側でマウントすることにする (改善希望)TSUBAME3.0でのリソース分割メニュー
GPUGPUGPU

OPA
HFI
CPU 14コア
OPA
HFI7コアCPU 2コア
GPU

4コア

OPA
HFI
OPA
HFI

HQ
GC4

• F: 計算ノード1台をそのまま使⽤ノードを階層的に分割• H: ½ノード• Q: ¼ノード• G: 1 GPU + 2 CPU Core
• C4: 4 CPU Core
• C1: 1 CPU Core

TSUBAME3.0(Docker):各課題の達成状況• JPerformance• GPU、OmniPathともにDocker内からベアメタルと同様にアクセス可• JUsability• SSHによるX利⽤を含め、TSUBAME2.5でできていたことは可• JIsolation• cgroupによって割り当て外の資源・プロセス情報の利⽤は制限可• KVirtualization• 現時点ではベアメタルと同じSLES12のみの提供• 来年度末までに最新のCentOS, Ubuntu等が使えるように• ユーザ持ち込みのDockerイメージの認証プログラムを検討中
現状はcgroupによる資源分割のみ
Dockerは来年度よりサービス予定その他のリソース分配における改善点• 予約利⽤の柔軟化• T2では16ノード以上・1⽇単位だった予約を、T3では1ノード以上・1時間単位に変更
年末よりサービス予定• これまで難しかった短時間の⼤規模実⾏が容易に• ローカルストレージの利便性向上• BeeONDを⽤いて計算に⽤いるノードのNVMe領域を結合することにより、ジョブごとの⾼速共有ストレージを構成
すでにサービス中• 並列ファイルシステム(⾼速ストレージ領域)よりも⾼速• 従来通りのSSD(NVMe)領域の直接利⽤も可能• アカウント申請のペーパーレス化・計算機の⾒える化(モニタリング情報の公開)は継続して実施
適宜アップデート中

外部ネットワークとの接続• インターネットアクセス• 全計算ノード（物理・論理）から可能• IPv4: プライベートアドレス+SNATを⽤いたアクセス (8/1開始)• Outgoingのみ接続可能• IPv6: グローバルアドレスによる直接アクセス （今年度中）• Incoming + Outgoing 双⽅向で接続可能• SINET5 L2VPNとの接続 （来年度）• 計算ノード内コンテナにSINET L2VPNを引き込む• SINET L2VPNをVXLAN GWまで接続• コンテナ ⇔ VXLAN GW間をVXLANで論理的に接続• 利⽤グループごとに、接続可能なL2VPNを定義し、認証後に接続する仕組みを構築中• TSUBAME外ストレージとの連携 （実験段階）• TSUBAME3.0に付随するストレージを他の基盤センターやクラウドリソースから直接マウント可能にする• 東⼯⼤外の遠隔のストレージ（e.g Amazon S3）などを計算ノードからアクセス可能な環境を構築するストレージ 運⽤状況
• スーパーコンピュータでのストレージ運⽤• 定期的に（多くの場合に1年に⼀度）、ユーザやグループを棚卸し、不要グループのデータを削除• 運⽤期間中（リース期間）は、ユーザやグループ情報を維持し続けると共に、データも維持し続ける• ストレージには、実質的にスーパーコンピュータからのみアクセス可能• TSUBAME2.5 では…

• 書き込まれたデータは、システムリース期間終了まで維持する
グループあたり最⼤で30TB 2領域 計60TBの領域を利⽤可能• ユーザは1⽉単位 1TB単位でストレージ領域を購⼊する• 運⽤の課題• データを消したくない、消せないなどの理由で、使われないデータが残留• グループあたりのストレージ量が不⾜• 絶対的な領域不⾜（データ同化の計算で数百TBないと計算不可能）• inodeが不⾜ （1グループがシステムの半分ほどのinodeを消費）クラウドストレージ導⼊の検討• すべてのデータ が、常に⾼速にアクセスできる必要があるのか？

• 今までのストレージ容量の増加は、速度向上のための副産物• オールフラッシュストレージの登場で、圧倒的⾼速なシステムの導⼊が可能になるが、容量単価が増加する• ⼤量のデータを⼤学で維持し続けるリスク• データが消えたらどうするか？天災だけでなく⼈災へも備えが必要• システムメンテナンス中のデータアクセスの要求• 5年程度に1度発⽣する、システムリプレースへの対応• 商⽤クラウドストレージの活⽤• 必要なストレージサイズが、本当に必要な経費のみで利⽤可能• 24時間365⽇の保守対応 （⼀般に⼤学では、平⽇⽇中のみ）• スーパーコンピュータ繁忙期の代替機能• 運⽤コスト・導⼊コストを最⼩化する意味で、⻑期保存データなどは、商⽤クラウド上のストレージに保存することも検討

TSUBAME3.0のサービス形態の検討
TSUBAME3

クラウドベンダー
各研究機関
S3ファイルシステム

公開⽤サーバを⽤いてデータ公開

Cloud Instance

SINETクラウドサービスを⽤いた
⾼速接続/work0 /work1

SINET5Gateway

Gateway
S3ファイルシステムを直接マウント

計算ノードが直接クラウドストレージをアクセス

TSUBAME計算ノード群

TSUBAME3.0の計算ノードは直接インターネットにアクセス可能（仕様）クラウドストレージ利⽤の諸問題• ネットワーク遅延やバンド幅など、ネットワークの物理的な問題により⽣じる性能低下を、如何に隠蔽するか？
• 遠隔計算資源より広域ファイルシステムに⾼速にアクセスする技術を開発が必要• ステージング技術• HuronFS (Cloudストレージをターゲットとするbased Burst Buffer)• HPC⽤のファイルシステム(Lustre)から効率よく遠隔データ転送⼿段の提供• 遠隔地から、セキュアに⾼速にLustreファイルシステムにアクセスできる⽅法

最先端の技術チャレンジに挑むスパコンTSUBAME3.0• FlopsからBYTESへのパラダイムシフト• ⼤規模シリコンストレージによりマルチテラバイト/秒のI/O、機械学習・AI含むビッグデータ⽤ミドルウェアやアプリ• 世界最⾼峰のグリーン性能• 10ギガフロップス/W以上の性能電⼒ Green500 Top 1 (2017年6⽉)• PUE < 1.05

• 種々のクラウドサービスと⾼速性の両⽴• スケジューラ連動によるコンテナ技術を⽤いたユーザ環境提供• 他資源とのデータの連携• ⾒える化• 超複雑なマシンの状態が「⾒える」を実現