••••

東工大のスーパーコンピュータ2011112010年11月に稼働開始世界ランキング(TOP500)で第４位(*)
世界グリーンランキングで第３位(*)
10実働スパコンの中で世界一グリーン(*)(*) 2010年11月当時のランキング

TSUBAMETokyo-techSupercomputer &UBiquitouslyAccessibleMass-storageEnvironment

201261428

2011 Jun.

Ｑ１．スパコンって？
現在世界 No.2 スパコン日本の京コンピュータ

スーパーコンピュータその時代の通常のコンピュータに比べはるかに高度な計算能力（とくに非常に高速な計算能力）を持つコンピュータ

現在世界 No.1 スパコン米国 Sequoia (IBM BlueGene/Q)演算速度を比較してみると携帯0.6G FLOPS ?
パソコン50G FLOPSスパコン 100T ～ 10P FLOPS

2000倍～

注）1976年のスパコンは 0.16 G FLOPSＱ１．スパコンって？
現在世界 No.2 スパコン日本の京コンピュータ

スーパーコンピュータその時代の通常のコンピュータに比べはるかに高度な計算能力（とくに非常に高速な計算能力）を持つコンピュータ

現在世界 No.1 スパコン米国 Sequoia (IBM BlueGene/Q)

データ記憶（ストレージ）が莫大！
パソコン 100G バイトスパコン10T バイト～

100倍～

TSUBAME2.0の場合11P バイト以上！

スーパーコンピュータ

Ｑ１．スパコンって？

その時代の通常のコンピュータに比べはるかに高度な計算能力（とくに非常に高速な計算能力）を持つコンピュータ

現在世界 No.2 スパコン日本の京コンピュータ

現在世界 No.1 スパコン米国 Sequoia (IBM BlueGene/Q)

ネットワークが高速！
パソコンスパコン

100 M bps10 G bps

100倍～

TSUBAME2.0の場合80Gbps

スパコンスパコン「京」10.51PF (2011)

毎年約 2 倍のスピードアップ様々な工夫，技術革新の成果！

Japanese NLP>10PF(2012)

10PF

US >10PF(2011~12?)

TSUBAME ⇒TSUBAME 2.04年間で30-40倍

1PFBlueGene/L360TF(2005)

100TF

10TF

Earth Simulator40TF (2002)

TitechCampus Grid1TF

1.3TF

2002

KEK 59TFBG/L+SR11100

2004

2006

2008

2010

2012

100PF

BlueGene/Q （米）京 16.3PF (2012)10.5PF (2011)天河（中）4.7PF (2010)

10PF

1PF

BlueGene/L（米）360TF (2005)

3.0 ?
2.0100TF

10TF

地球シミュレータ40TF (2002)2002

2004

TSUBAME2006

1.120081.22010

2012

2014

TSUBAME1.0比で20倍以上の実電力性能比向上

Nov 2010 Green 500 List

軽量ノートブックよりも電力効率は良い。
燃費（ワット数当たりの計算）＜世界第３位！

実働スパコンの中で世界一グリーン

Green 500 指標 = Top500 Linpack Mflops/W

The Green500 list, June 2011TSUBAME2.0 PUE = 1.2(Power Usage Effectiveness)グリーン世界一の秘密その１： GPU の本格導入

GPU (graphic processing unit)画面の制御のために開発された演算装置．多数の演算コアが並列処理を行う設計．
CPU よりちょっと劣るけど・・・1 GPU に 448 コアは使える！
この計算ノードが →約 1400 個CPU コア 1万 8 千GPU コア 189 万

スパコンに導入したのはTSUBAME 1.0 が世界初

グリーン世界一の秘密その１： GPU の本格導入⇒ 高性能なのに省スペース ⇒ 省エネ

これ１つで地球シミュレータと同等の演算能力

スパコン本体は教室２つ分でＯＫグリーン世界一の秘密その２： 高密度実装・水冷キャビネット冷却• ラック内に熱交換システムを内蔵した密閉型水冷システム• 高密度な冷却が可能・ラックあたり最大35kW（世界最高）• 通常のデータセンターの10 倍!!
• ドア平開は自動化・加湿不要• 完全自動温度制御による最適な消費電力点の制御• 95% の熱を水冷で除去• ポリカーボネート製のドアにより大幅なノイズ削減

TSUBAME 2.0 システム概要

18

TSUBAME2.0 ComputationalNodesTSUBAME2.0 計算ノードThin NodeMdedium Node

Fat Node19

TSUBAME 2.0 ノードアーキテクチャ

20

TSUBAME2.0 ネットワーク

21

TSUBAME 2.022

GPU M2050

23

24

25

26

27

3月

4月

5月

6月

7月

8月

9月

4/8～計画停電時30%程度のほぼ運用停止縮退運用

4/25～75%程度の縮退運用

6/7～100%の運用再開

7/1～24ピークシフト運用

7/25～100%運用

9/25～通常運用

GSICで50%の電力削減

ピークシフト運用開始

緊急時強制停止キュー15%

TSUBAMEを利用するには（http://www.gsic.titech.ac.jp/tsubame）○ TSUBAME 共同利用○ 先端研究施設共用促進事業『みんなのスパコン』TSUBAMEによるペタスケールへの飛翔○ 学際大規模情報基盤共同利用・共同研究拠点

• 東京工業大学 TSUBAME 2.0• 地球シミュレータ• 東京工業大学 TSUBAME 2.0• 地球シミュレータ• 京コンピュータ• HPCI 資源提供機関（7基盤センター、筑波大、東工大、地球シミュレータ）

300

250

200

150

100

50

0平成19年度

平成20年度

平成21年度

平成22年度

平成23年度

平成24年度 前払いの従量制課金 １口は 3,000 TSUBAMEポイント
 １ TSUBAMEポイントで Thin 計算ノードを１ 時間利用可能
 Thin 計算ノードは、2.93GHz 12CPUコア、メモリ54GB、GPU (Tesla M2050) 3基搭載

１口で計算できる量は？





1ノード×4ヵ月間連続使用4ノード×1ヵ月間連続使用1,000CPUコア並列×1日半100GPU並列×4日間1,000CPUコア並列×1h/day×36日間

共用促進事業の採択状況 （平成24年3月31日現在）－ トライアルユース 戦略分野利用推進５分野 延べ31件採択 （H23： 5件）－ トライアルユース 新規利用拡大延べ28件採択 （H23： 5件）－ 産業利用（有償）述べ30件採択 （H23：12件）H23H22H21H20トライアルユースに終了後、有償利用での継続利用に発展した課題複数あり課題種別応募数審査数採択数

戦略
分野利
用推進

実施数

実施数

実施数

実施数

H19実施数計算化学手法による創薬技術の開発

10

10

6

0

2 (2)

6 (5)

5 (4)

4

大規模流体－構造連成解析技術の開発

2

2

20

1 (1)

2 (1)

1 (1)

1

シミュレーションによるナノ材料・加工・デバイス開発

13

13

13

7 (6)

10 (8)

10 (4)

4

設定無社会基盤のリスク管理シミュレーションへのHPC応用技術の開発

7

7

7

2 (1)

3 (3)

6 (4)4設定無アクセラレータ利用技術の推進

33330設定無設定無設定無新規利用拡大

28282856566

トライアルユース小計

63635917 (7)

22 (14)29 (14)20 (5)

11

成果公開

1616167

63設定無設定無成果非公開

15151567

29494

90

30 (7)

35 (14)34 (14)20 (5)

11

産業利用（有償）合計（カッコ内は内数で継続課題数） 大学・独立行政法人等の研究機関等の保有する先端研究施設の共用を促進し、基礎研究からイノベーション創出に至るまでの科学技術活動全般の高度化を図るとともに国の研究開発投資の効率化を図るため、文部科学省が平成21年度から開始した事業であり、平成23年度は全国30の施設を採択し事業を実施。
 東京工業大学のTSUBAMEは、本事業の前身である平成19年度に文部科学省が開始した先端研究施設共用イノベーション創出事業【産業戦略利用】制度より採択されたのを始まりに、既に5年にわたり、本学の計算機資源を、文部科学省の補助を得て先進的企業に提供。

http://kyoyonavi.mext.go.jp/ 計算化学手法による創薬技術の開発 大規模流体－構造連成解析技術の開発 シミュレーションによるナノ材料・加工・デバイス開発 社会基盤のリスク管理シミュレーションへのHPC応用技術の開発 アクセラレータ利用技術の推進 （平成22年度より新設）• TSUBAMEに搭載されたGPGPU等の非常に多数の演算器を持ったアクセラレータを利用する技術、新アルゴリズム開発、アクセラレータコードのチューニングや応用分野の開拓に取り組む課題等の採択を目指します。
（利用は年度末まで）

 TSUBAME上でこれまで実施されたことがないHPC分野の利用課題のみならず、従来のHPCでは試みられなかった用途の開拓を目指します。
（利用は年度末まで）（平成24年度より新設）

 一般的にスパコンで動作する商用ソフトウェアは非常に高価で、トライアルでのスパコン利用にも係わらず、高価な商用ソフトウェアの調達を利用者に強いてきました。本カテゴリではTSUBAME上で動作する特定の商用アプリケーションの利用権を、TSUBAMEの計算機資源とともに無償にて提供することで、企業でのスパコン利用の普及を促進いたします。
42

公募説明会公募締切り採択通知利用開始

平成23年12月20日、平成24年 1月17日平成24年 2月10日平成24年 3月30日平成24年 4月 9日

公募説明会公募締切り採択通知利用開始

平成24年 7月 6日、 7月20日平成24年 8月10日平成24年 9月21日平成24年10月 9日

当月15日締切りで翌々月月初より利用可能

東京工業大学・学術国際情報センターの中の研究会活動活動内容：・月に一度の CUDA 講習会・2～3ヵ月毎にセミナー・国際ワークショップ・年一回シンポジウム・ML を通じた情報交換

東工大の教員・学生だけでなく、他大学・研究機関、民間企業の方も参加（入会）可能。 基本的に無料。
http://gpu-computing.gsic.titech.ac.jp/44

• 学術国際情報センター内に共同利用推進室を設置– 室長：青木尊之 （副センター長）– 副室長：佐々木 淳 （共用促進リエゾン）– 共用技術指導研究員・支援員：2名（兼任）– 共用促進リエゾン：2名（兼任）– 事務職員、補佐員2名合計6名• 契約事務：研究推進部情報基盤課• 他、必要に応じて東工大教員・研究員の支援• 共同研究契約が必要になった場合は産学連携本部