TSUBAME

TSUBAMEとは、東京工業大学に設置された大規模クラスター型スーパーコンピュータの名称。TSUBAMEの名称は「Tokyo-tech Supercomputer and UBiquitously Accessible Mass-storage Environment」の略であり、東京工業大学のシンボルマークであるつばめを掛けている。Linpackベンチマークで38.18TFLOPSを達成し、2006年6月の世界のスーパーコンピュータ性能ランキングTOP500において、7位にランクインした。以降2008年11月まで日本国内のシステムにおいて最上位を占めた。2009年6月には87.01TFLOPSを記録し、全体では41位、日本国内では新システムに更新した地球シミュレータらに次いで4番手となったdate=2023年6月}}。

2010年にはインテルのXeonとNVIDIAのGPUを用いたTSUBAME 2.0にバージョンアップされ、2011年6月現在1192TFLOPSを記録し、全体では5位、日本国内では2位のスーパーコンピュータである。また同月のGreen500では世界2位に入った。

2013年9月に「TSUBAME 2.0」のGPUをNVIDIA Tesla M2050からNVIDIA Tesla K20XへアップグレードしたTSUBAME 2.5にバージョンアップされた。

2017年8月1日、「TSUBAME3.0」本格稼働を開始した。TSUBAME3.0はIntelのXeon E5-2680 v4 CPUが2個とNVIDIAのSXM2 P100 GPUが4個からなり、浮動小数点演算をはじめとした演算性能を前モデルであるTSUBAME 2.0の2～10倍以上に向上させている。また、冷却効率を示す指標「PUE」で年間平均値1.033を実現できる見込みで高い冷却効率を実現している。

TSUBAME 3.0およびそれ以降のためのテストベッドシステムであるTSUBAME-KFCは、2013年11月、2014年6月にGreen500で1位を獲得した。

1. 導入への流れ
---------

東京工業大学・学術国際情報センターにおける2002年からのTitech Campus Gridのクラスタ・グリッドに関する研究開発及び運用経験をふまえ仕様が決定され、2005年10月に日本電気 、サン・マイクロシステムズなどによる企業連合が落札し、2006年3月から4年の運用契約で導入された。

TSUBAMEでは、「みんなのスパコン」として、既存のスーパーコンピュータシステムでは実施不可能な規模の計算を可能とするとともに、学内外のすそ野の広いユーザー層をとりこみ、将来のシミュレーション科学に携わる人間を養成するため、多くのユーザーにとって簡便なスパコン環境や他のサービスを提供するという、二律背反的な要素を同時に満たすべく、リーダーの松岡聡の下で開発や調達が進められた。

国立大学法人化以前では、大学基盤センターにおけるスーパーコンピュータは、大学の予算とは別途文部科学省から運用予算が直接提供され、それを基盤センターのみの裁量で各メーカーのカタログから選ぶような方法で政府調達し、全国共同利用施設として運用する形態であった。一方、法人化後は大学運営の基本予算である運営費交付金に含まれてスパコンの運用予算が各大学法人に配布されることとなり、その学内における予算の配分は大学の裁量に任されることとなって、大学の他の経費と直接競合することとなった。したがって、TSUBAMEの研究開発においては、スパコンとしての特質はもとより、いかにコストパフォーマンスを革新的に上げるか、全学のメンバーに情報システムとしての利得をもたらして幅広い学内支持を得るか、外部との連携の礎となって社会貢献するとともに東工大に外部資金などをもたらすか、などの従来にない複数の目標を掲げ、それを満たすマシンとしての姿が仕様化された。

2. TSUBAMEの仕様
-------------

TSUBAME 1.0
AMD製64ビットCPU AMD Opteron Dual Core model 880 8CPU搭載Sun Fire x4600 32GBメモリ 639ノード
AMD製64ビットCPU AMD Opteron Dual Core model 885 8CPU搭載Sun Fire X460 64GBメモリ 16ノード
SUSE Linux Enterprise Server 9
NEC iStorage S1800AT 96TB RAID6
Sun Microsystems 1PBストレージ--- Sun Fire x4500 24TB ユニット 42ノード
ClearSpeed CSX600 2基搭載96GFLOPSアクセラレータボード
Voltaire社 ISR9288 288ポートInfiniBandネットワークスイッチ 8基 TSUBAME 1.2
NVIDIA社製システム「Tesla S1070 」 Tesla 4枚で1ユニット 170ノード 680GPU
tsubasaシステム Sun Blade X6250 90ノード 720CPU TSUBAME 2.0
"THIN"ノード -- HP SL390s G7 1408ノード
"Med"ノード -- HP DL580 G7 24ノード
"Fat"ノード -- HP DL580 G7 10ノード
ノード間接続 -- Voltaire Grid Director 4700 12台,Voltaire Grid Director 4036 179台,Voltaire Grid Director 4036E 6台
ストレージ -- Data Direct NETWORKS社製 DDN SFA10000 6台 7.13PB TSUBAME 2.5
"THIN"ノード  -- HP SL390s G7, Xeon X5670 2つ, NVIDIA Tesla K20X 3つ, メモリ 54GiB or 96GiB
"Medium"ノード  -- HP DL580 G7, Xeon 7550 4つ, NVIDIA Tesla S1070 or S2070, メモリ 128GiB
"Fat"ノード  -- HP DL580 G7, Xeon 7550 4つ, NVIDIA Tesla S1070, メモリ 256GiB or 512GiB TSUBAME 3.0
SGI ICE XA 540台 --Xeon E5-2680 v4 2つ、NVIDIA Tesla P100 for NVLink-Optimized Servers 4つ、メモリ256GiB、ネットワークインターフェイス インテルOmni-Path 4ポート
ストレージ -- DataDirect Networks 15.9 PB Lustreファイルシステム、 各計算ノード 容量2 TB NVMe対応高速SSD。
ノード間接続 -- Omni-Path 100Gb/s接続 TSUBAME 4.0
HPE Cray XD6500 ー 240台 -- 第4世代AMD EPYC プロセッサ2つ、NVIDIA H100 Tensorコア GPU 4つ、メモリ 768GiB、NVIDIA Quantum-2 InfiniBand ネットワークインターフェイスを4ポート搭載
ストレージ -- Cray ClusterStor E1000、Lustre ファイルシステムによってハードディスクベース共有ストレージ 44.2PB、 SSDベース高速ストレージ 327TB、各計算ノードNVMe対応高速SSDストレージ 1.92TB
ノード間接続 -- InfiniBand 400Gb/s接続
インターネット接続 -- Sinet6 100Gb/s

3. TSUBAMEの特徴
-------------

AMD Opteron CPUを搭載したSun Fire X4600が655ノードで10,480 CPUコアとx86系システムとしては世界最大級のCPUコア数を誇っている。またClearSpeed CSX600を採用したスーパーコンピュータシステムとしても世界初、世界最大規模である。調達当時のシステムの理論ピーク性能は85TFLOPSと公表されているが、50TFLOPSがOpteronにより、35TFLOPSがClearSpeed CSX600によるものであるdate=2023年6月}}。

また、みんなのスパコンとして1.1ペタバイトの高速なディスクストレージがNEC iStorageと42台のSunFire x4500として実現された。LUSTREファイルシステムにより、運用時でも数GB/s、最高性能では40GB/sのI/O性能を誇る。

システム全体は、計算ノード・ストレージノードとも8台の288ポートのInfinibandスイッチで多段相互結合網として相互接続され、各計算ノードからは20Gbps、中心部分では288Gbpsのバイセクションバンド幅を実現して、大規模なMPIなどによる並列計算や高速I/Oをサポートする。

その後の増設により、現状では最大メモリのノードは128GBとなるとともに、ストレージではx4500がNESTREシステムとして増設され、合計60台で1.5ペタバイトとなり、さらにClearSpeedボードが分子動力学アクセラレータとして追加されて、スパコン部分を含む全体での合算のピーク性能は、2007年10月に日本初の汎用コンピュータとして103TFLOPSに達した 。

2008年11月にNVIDIAのTesla、さらにクワッドコアXeon 2ソケットのブレード90ノードからなるtsubasaシステムを導入し、理論値ピーク性能170TFLOPS、Linpackの結果で77.48TFLOPSを記録した 。

2010年11月にインテル製CPUとNVIDIA製GPUを搭載したHPのHP SL390sへの置き換えを実施。Linpackにおいて1192TFLOPSを記録した 。

4. TSUBAMEのキャッチフレーズ「みんなのスパコン」
-----------------------------

スパコンとしての利用のみならず、新入生を始めとして東工大に属するすべての人々に利用権が与えられ、教育利用や種々のホスティングサービスなど、東工大のキャンパスITの集中資源として広く利用されている。また、日本の基盤センター系としてははじめて公式に外部の私企業の利用を認め、シミュレーションを用いた産業イノベーションを手助けして幅広い社会貢献を行うとともに、学内外の産学共同研究の要となっているdate=2023年6月}}。

5. TSUBAME 2.0
--------------

NEC・HP連合の落札により、TSUBAME 2.0の導入が行われ、2010年11月稼働開始した。

6. TSUBAME 2.5
--------------

2013年9月に「TSUBAME 2.0」のGPUをNVIDIA Tesla M2050から最新のNVIDIA Tesla K20Xへアップグレードした改良版。2013年11月のTOP500で世界11位、Green500で世界6位。「TSUBAME 2.5」のアップグレードは「TSUBAME 2.0」に対する需要過多の早急な解消と、「TSUBAME 3.0」の実現に向けた技術開発を推進するのが狙い。「TSUBAME 2.0」の2012年度の繁忙期におけるノード稼働率は99%に達し、特に緊急性の高い防災シミュレーションや産業分野向けアプリケーションの利用がほぼ不可能になる恐れが生じていた。理論演算性能は単精度で「TSUBAME 2.0」比3.6倍の約17.1PFLOPS、倍精度で同2.4倍の5.76PFLOPSに向上。

7. TSUBAME-KFC
--------------

TSUBAME-KFC  とはTSUBAME 3.0およびそれ以降のためのテストベッドシステムで、空冷だけでなくシステムを油浸により冷却する液冷機構を備え、冷却に使う電力を抑えている。2013年11月のGreen500で日本のスパコンとして初めて世界1位、Green Graph500のビッグデータ部門において世界1位。2014年6月のGreen500でも1位を獲得、2015年6月は5位、2015年11月は2位を獲得。

8. TSUBAME3.0
-------------

2017年8月1日可動開始。2017年6月に発表されたGreen500で1位を獲得、同時に発表されたTOP500では61位であった。性能は16bitの半精度での計算処理が有効とされており47.2ペタフロップスとなっている。TSUBAME2.5とTSUBAME3.0を併せて運用することにより、東工大GSICは半精度で64.3ペタフロップスの演算性能を提供できる国内有数のスパコンセンターとなる。

9. TSUBAME4.0
-------------

2024年春稼働開始予定。性能は16bitの半精度での計算処理が有効とされており952ペタフロップスを達成する予定となっている。

10. 脚注
------

11. 関連項目
--------

スーパーコンピュータ
Linux
Supercomputing Programming Contest
GPGPU

12. 外部リンク
---------

[1]