３．情報基盤推進活動
3-1 Titech Grid Cluster

TSUBAMEのH19年度現状と将来計画
研究システム専門委員会報告資料 2008/03/24

東京工業大学 学術国際情報センター(GSIC) /国立情報学研究所(客員)教授 松岡 聡matsu@is.titech.ac.jp38

TSUBAME構築の目標---単なるスパコンではない
2．研究推進：莫大な計算パワー・ストレッジ(1ペタバイト以上)・みんなのスパコン

1．東工大のシンボル：世界トッ
プレベルの情報インフラ保持

わが国・アジア・一般研究機関で圧倒的１位： (地球シミュレータの2-3倍弱)

Top500リスト：世界でトップ10へ

大規模災害・都市環境・社 蛋白質構造解析・ 脳の血流シミュレーション(医療)大規模ナノ物性シ
会・シミュレーション
ゲノム創薬
ミュレーション エキスパートによる地球シミュレータクラスのシ

ミュレーションから初心者まで、全学的に利用

3．産学連携等の推進、大型プロジェクトへの呼び水、アライアンスを組む他大学計算ニーズホスティング
XX国UU大学

4．学内の分散した情報基盤の集約化・ホスティングシミュレーション
科学の飛躍的な研究推進と教育

YY私立大学ZZ社

2006年4月東工大スパコン ”TSUBAME”(スパコンとしての調達分)
Voltaire ISR9288 Infiniband x8
10Gbps x2 ~1310+50 Ports~13.5Terabits/s(3Tbits bisection)
10Gbps+外部ネ
ットワーク

Sun/AMD高性能計算クラスタ(Opteron Dual core 8-Way)
10480core/655ノード
2006年6月現在
50.4TeraFlops
アジア No.1, 世界No.7
OS(現状)
Linux
38.18Teraflops(検討中)
Solaris,Windows(Top500計測値)
NAREGIグリッドミドル

500GB
48disks 500GB 500GB
48disks
48disksストレッジ
1 Petabyte (Sun “Thumper”)
0.1Petabyte (NEC iStore)
Lustre ファイルシステム>400Gbps

39

ClearSpeed CSX600
SIMD accelerator
360 boards,
35 TeraFlops

TSUBAMEの’06-07年度機能拡張（GSICセンター全体の複合システム)
Voltaire ISR9288 Infiniband x8
10Gbps x2 ~1310+50 Ports~13.5Terabits/s(3Tbits bisection)
10Gbps+External NW

NEC SX-8i(for porting)

Top500にて4期連続で Sun x4600 (16 Opteron Cores)

我国最速のスパコン

32~128GB32~64 GBytes/Node(平成18年度末 10480core/655Nodes
NESTREシステム)
21.4TeraBytes
103TFlops Peak
50.4TeraFlops(平成19年度末110TFlops）
OS Linux (SuSE 9, 10)
NAREGI Grid MW
Unified Infiniband

30th Top500@56.43TF

network(平成18年度ベクトル計算機追加)

IntegerWorkload (平成19年度末Accelerator Global COE
8.2TeraFlops「計算世界観」)

500GB
48disks 500GB
500GB
48disks
48disks

Storage

1.5PB 1.0 Petabyte (Sun x4500 x 42)60(平成18年度末 0.1Petabyte (NEC iStore)
NESTREシステム)Lustre FS, NFS, CIF, WebDAV (over IP)

60GB/s 50GB/s aggregate I/O BW

ClearSpeed CSX600
SIMD accelerator (平成19年度
分子動力学
360 648 boards, アクセラレータ)
35
52.2TeraFlops

TSUBAMEの一年半の運用成果：全目標達成
1．東工大のシンボル：世界トップレベルの情報インフラ

3．産学連携等の推進、大型プロジェクトへの呼び水、アライアンスを組む他大学計算ニーズホスティング『みんなのスパコン』
TSUBAMEによるペタスケールへの飛翔

文部科学省先端研究施
設共用イノベーション創出
事業【産業戦略利用】

Global COE「計算世界観」
多数の内外
報道・訪問者* Top500 *4期連続日本一
4期連続性能向上(世界初)

Microsoft 包括契約
HPC Institute/TCI

NAREGI/NII-CSI
全国サイバーサイエンスインフラ

2．研究推進：莫大な計算パワー・ストレッジ(1ペタバイト以上)・みんなのスパコン* NAREGI 開発への貢献* 阪大-東工大 NAREGI β 2連携

4．学内の分散した情報基盤の集約化・ホスティング•TSUBAME「みんなのスパコン」•新概念の課金利用法によるユーザ数増
加 => 1300人へ倍増• SE運用業務の追加（アプリ・性能評価・グリッド試験運用など）•各種ITサービスのホスティング40

27-29th TOP500アジア最速スパコン(4期連続日本最速)

TSUBAMEのテレビ出演

テレビ東京「ジパング」
2007 4月

NHKサイエンスゼロ
2007 3月

他、NHKニュース(2007年11月)など

41

多数の新聞・雑誌報道など(Unix Magazine, 20ページ特集記事)
The Wall Street Journal,
日経、毎日、朝日など

Nature 特集広告

東工大のシンボルとしてのTSUBAME：
本学で最も訪問者が多い研究施設
Dr. Phil Papadopoulos(SDSC)
Dr. Rick Stevens
Dr. Horst Simon(Vice Director,
Dr. Burton Smith (Dep. Director Computing,ArgonneNational Labs)(CrayLawrence Berkeley NL)(Cray-Microsoft)

Dr. Guy L. Steele @ Sun
Micro,
Prof. Serge Petition @ U.
Paris,
Prof. M. Iida @Aoyama U

Prof. Thomas
Sterling @ NASANASALouisiana St.

Baidu Inc.
Search Engine
(百家)
百家)

• 年間100件あまりの内外の訪問者((本年度現在で8年間100件あまりの内外の訪問者本年度現在で80件近く)件近く)– 大臣から外国の北欧の高校生まで– DoE,DoE, DoD,DoD, NSF, NASA, CNRS（フランス）
CNRS（フランス）,, 等のセンター長クラス

42TSUBAMEの認知度 on(2008/2/6, 日本語のページ)• “TSUBAME” 2006稼動 – 合計20,000件程度
c.f.
• 「東工大」「東京工業大学」 – 332,000件• 「東工大ポータル」 2006稼動– 643件
• 「TITANET」 1994稼動 – 404件
• 「地球シミュレータ」 2002稼動 – 66,400件• 「白川英樹」 – 28,400件

TSUBAMEの「経済効果」-TSUBAMEに依存した学内研究の合計資金 • 東工大GSIC等合計 24億円 (2007~2012)(総額、ただし研究費で運用経費ではない)• 科研費・受託研究費・COEなどで、TSUBAMEの有料サービスを利用している研究費– 以下は除く• 無料サービス利用• 先端イノベーションなどの企業利用• GSICの大規模実験– 現状の集計：平成19年度では合計12.47億円• 間接経費2億円以上(集計中)432006年度末NESTREシステムによるストレージ拡張NESTRE
x4500 x 20台~0.5PB
総合 1.1PB => 1.6PBに高信頼大容量サービス
TSUBAME拡張ストレージ利用による賞
SC07 Storage Challenge

44分子動力学用ClearSpeed拡張(2007年11月)
Advance™ Dual CSX600 PCI-X追加• PCI-X accelerator boards with peak
performance of 96GFlops– CSX600 SIMD proc x 2 + 1GB DRAM on board– 0.5GFlops PE x 96 per processor– 8” single-slot PCI-X– 25W / board• すでにTSUBAMEでは655ノード中360枚装備していたが、 両者とも~80GFLops / node、消費電力
今回ほぼ全ノードまで拡張配備、1300W(x4600
Opteron)
主に分子動力学用vs.
(他のアプリも間接的に利益が)25W (ClearSpeed)

ClearSpeed拡張による性能向上
Speed (TFlops)

50

56.43TF(30th,#16)
47.38TF(28th,#9)38.18TF(27th,#7)
Relative Speed60403020
10060

350

Half Acc

Relative speed (No Acc=1)

60648

350

648

Number of nodes

Number of nodes
Full Acc

1.6
1.4
1.2
1
0.8
0.6
0.4
0.2
0

Full Acc

No AccHalf Acc

No Acc• 47.38TF with 648 nodes and 360 Accelerators for the 28 thTop500 (48.88TF for the 29 th Top500, #14)––––

+24 % improvement over No Acc (38.18TF)+25.5GFlops per accelerator
Matrix size N=1148160 (It was 1334160 in No Acc)
5.9hours• With new DGEMM&648 cards, 56.43TF (16th on the 30th Top500)

45

アプリ例：様々な乱流場のDNS(東工大・店橋研)

空間発展乱流混合層

Taylor-Couette 流

液滴を伴う一様等方性乱流

TSUBAME ジョブ統計
Dec. 2006-Aug.2007 (#Jobs)
1400人のユーザ

account for 2/3 ofcumulative CPU usage

TSUBAME Jobs
700000600000500000# Jobs• 797,886 Jobs (~3270daily)• 597,438 serial jobs
(74.8%)• 121,108 <=8p jobs
(15.2%)
90%• 129,398 ISV Application
Jobs (16.2%)• However, >32p jobs

400000系列1300000
2000001000000=1p<=8p<=16p <=32p <=64p <=128p >128p# Processors / Job

Coexistence of ease-of-use in both
- short duration parameter survey- large scale MPI
予想通りのジョブ配分

46

TSUBAMEの危機的な混雑度
CPU稼働率
待ち時間予測システム(UCSBと共同研究)

長い待ち時間(数日単位)高いCPU・ノード稼働率(2008年2月13日
過去一ヶ月)

みんなのスパコン
スパコンを全学教育研究で活用「みんなの全学アカウント」• スパコンを用いた高度教育– スパコンではじめて可能になる高度シミュレーションを学部の学生演習・実験で• グリッド技術を用いた研究室のIT環境とスパコンとのシームレス化• ポータルによる高度アプリ利用

アプリポータル事例：WebMO
量子化学プログラム(Gaussian,NWChem,GAMESS, MOPAC, Molpro等)をWebブラウザから簡単に利用できるインターフェース

1.認証

3.分子編集2.ジョブ管理デスクトップがそのまま数千プロセッサになったみたい

4.計算条件設定

47

(4) スパコンによるIT統合の新潮流• All University AAA and E-mail system– 50TB of Thumper, 9 Galaxy 1 nodes from TSUBAME• 全学ストレッジサービス(試行中・H20より本格運用)– 全学全員数十GB (パソコンでマウント可)– 研究結果のレポジトリ化 (シミュレーション結果など)• 高度研究用アプリの教育利用(Open CourseWare)
これでラップトップの全データをバックアップできるな

• 図書館業務のホスティング• 事務系のホスティング(VMによる)先端研究施設共用イノベーション創出
事業【産業戦略利用】• 企業のパソコン・クラスタ上の所有ソフトがそのまま、数十倍の速度や規模で動作
単にCPUパワーだけでなく、メモリ・ストレージ・ネットワークも「アキバのプログラムは動くがアキバでは買えないスパコン」• アジア一のスパコンを、既存シミュレーション利用者以外(ICT、金融、流通、サービス業界等)にも開放• 本学への産学連携・共同研究の呼び水

Perl Java48

採用課題一覧 (2008/1) 11件•

戦略分野利用推進– 巨大生体分子の非経験的分子軌道法による設計指針構築 三菱化学科学技術研究センター– タンパク質一次構造の網羅的解析による創薬技術の開発(株)ライフィクス– コンピュータ支援によるポリアミン誘導体医薬品の開発 (株) アミンファーマ研究所– CONFLEXを用いた配座探索および結晶多形解析 (株) コンフレックス– 電磁場中大規模粉体挙動シミュレーションによる電子写真設計プロセス革新 (株) リコー•新規利用拡大– 銀行業・保険業におけるALM（Asset Liability Management）システムの開発(株)ニューメリカルテクノロジーズ– 大規模分散検索エンジン製品の開発 (株)ビジネスサーチテクノロジ– ワイドギャップナノ構造体精密加工のシミュレーション (株)日本電気– 機能性無機材料の光学的電子的物性と構造設計の研究 (株)住友化学– 混相流シミュレーションコードの並列拡張性能の評価 (株)計算流体力学研究所– 高層ビルの大規模耐震構造解析 (株) アライドエンジニアリング•その他、東芝・三菱住友UFJ・ニッセイなどが応募予定

三井住友系の金融ベンチャー
Numerical Technologies「移植は一日」 「3000CPUのモンテカルロで画期的な成果」「自分で用意したら数十億円」

49

GlobalCOE 「計算世界観」
HPCSプロジェクト

科学の対象を計算を中心に見直そう！

by 米国 DARPA
目標： スパコン生産性向上
手法： 巨大システム開発
超大規模予算新視点の改革背景

従来型改革
科学におけるコンピュータ改革が必要！

複雑・大規模シミュレーション
スパコン例）・ 物質分析→物質合成
・ 社会システムの分析

programTSUBAME@東工大
アジア第一のスパコン

さらなる要望数々の成果

GlobalCOE による HPC人材育成
実践ができる数理計算科学者の育成
目ざす人物像「計算世界観」を実践できる人材
自らの専門＋解析・設計の理論
・ アルゴリズム・ 離散構造解析
・ 確率構造解析

計算世界観
・ 異分野に乗り込む
・ 交流力
・ 吸収力

HPC 実践技術
・ モデル化技法
・ プログラミング・ システム実現

対象分野の研究者

１．魅力的なテーマ
↓解消へ！
計算世界観
２．組織的な指導体制
人材不足 !
↓３．多くの分野へ実践もできる博士50

H20年度へ向けて• 更なる性能向上 => TSUBAME 1.5– Top500日本一維持または奪還• Global COEマシンなどの資源バーターによる一体化による増強• 教育・事務系を含むホスティングの更なる強化– 教育でのさらなる活用も  システム統合へ• 本格的な大規模データ基盤・データグリッドサービスの開始• 全国基盤センター化へ向けた国立情報学研究所と連携したCSI(サイバーサイエンスインフラ)グリッド運用– NAREGIグリッドミドル v.1.0の運用開始• 特任教員(連携研究員含む)やSEの拡充– 特任教員 => ネットワーク・認証を合わせて4名追加– TSUBAME SEも実質1名増加(データ・ホスティングなど)• 課金体制の見直し– 公平性の確保 => より高いレベルのQoSを妥当な対価で• TSUBAME2.0へ向けたアクティビティ開始

TSUBAME2.0へ向けた今後の進展10PF

2010-11 TSUBAME 2.0

Japanese NLP>10PF(2012)=> TSUBAME 1.5 260-600TeraFlops @ 4Q2008=> Sustained Petaflop @ 3Q2010-1Q2011

US >10P(2011~12?)

Sustain leadership in JapanU-T
Tsu okyo,
kub Kya T otoU
2K61- ,140TF(20BlueGene/L08)
360TF(2005)

1PF

1TF

AM
E

Earth Simulator
40TF (2002)

TitechCampus Grid
1.3TF

2002

US NSF/DoE(2010)TSU
1PF B AME
>10 Sust 2.0ain
PB(20 ed,10)

OthersTSUUp BAM
gra
E
TSU
de? 1.5B(4QA
PB, 12 M E 1200
TSU.
818)
GB
U

100TF

10TF

USPetascales(Peak)(2008)

Bnode pgrad1.0s (1 e 1185T
Q20 1TFF (1, 1.
08)
Q20606)

KEK 59TF
BG/L+SR11100

2004

2006512008

2010

2012

In the Supercomputing Landscape,Petaflops class is already here… in early 2008
Other Petaflops 2008/2009- LANL/IBM “Roadrunner”- JICS/Cray(?) (NSF Track 2)- ORNL/Cray- ANL/IBM BG/P
- EU Machines (Julich…)…

2008 LLNL/IBM “BlueGene/P”~300,000 PPC Cores, ~1PFlops~72 racks, ~400m2 floorspace~3MW Power, copper cabling
2008Q1 TACC/Sun “Ranger”~52,600 “Barcelona” Opteron
CPU Cores, ~500TFlops~100 racks, ~300m2 floorspace
2.4MW Power, 1.4km IB cx4
copper cabling
2 Petabytes HDD> 10 Petaflops> million cores> 10s Petabytes
planned for 2011-2012
in the US, Japan, (EU),(other APAC)

2010年TSUBAME 2.0の概要• 我が国初のペタフロップスマシン(?)– 世界的なリーダーシップ、単なるマシンでなくレファレンス– わが国初のペタフロップスマシン• 性能・消費電力等様々な技術革新=>世界基準スパコンへ– 低調達コスト・低消費電力・高バンド幅・最適設計• 現状のTSUBAMEアーキテクチャとの連続性– 現TSUBAMEからも、研究室や企業のパソコンからも簡単に• 大規模大容量データ– 10ペタバイト級・長期間(10年単位)データアーカイブのサポート• 研究室などインフラとよりシームレスな運用・ホスティング– OSや環境の選択・仮想マシンによる運用も– NII-サイバーサイエンス ナショナルグリッドのリソースセンター• 高信頼なITサービスのホスティング

すでに概要設計、さらに各メーカーとの技術協議は開始– 高セキュリティ・高信頼・高アベイラビリティ– 学内の更に多くのサービスをホスティングへ(特に教育システム統合)

52

TSUBAMEの電力性能は優れているが。。。
今後10倍以上の向上が必要
MachineCPU Cores Watts

Peak
GFLOPS
50,400Peak
MFLOPS/Watt

Watts/CPUTSUBAME(Opteron)

10480

800,000

63 76.336

TSUBAME(w/ClearSpeed)

11,200810,000 103,000

127.1672.321

Earth Simulator

5120

6,000,000

40,0006.7

1171.9ASCI Purple (LLNL)

12240

6,000,000

77,82412.971

490.2

AIST Supercluster

3188 522,240

14400

27.574163.81

LLNL BG/L (rack)2048

25,0005734.4

229.3812.207

Next Gen BG/P (rack)4096

30,00016384546.13 7.3242

40000

800,000 2000000

TSUBAME Next Gen(2010)

53250020