TSUBAME Grid Cluster
Tokyo-tech
Supercomputer and
UBiquitously
Accessible
Mass-storage
Environment)
東京工業大学 学術国際情報センタ(GSIC)
特任助教授（産学官連携研究員） 西川武志
t.nishikawa@gsic.titech.ac.jp
2006年9月22日@NSUG
第18回 NSUG総会／シンポジウム

1

本日の話題• 東京工業大学GSICの紹介• プロモーションビデオ
• TSUBAME Grid Cluster(TGC)基本構成• 日本一のスーパコンピュータを一大学の予算で実現できたのはなぜか• 性能評価速報• 今後のシステム活用
第18回 NSUG総会／シンポジウム2

東工大学術国際情報センター(GSIC)のミッション• 先進的な研究教育のためのITインフラの提供– TSUBAME スーパコンピュータおよびグリッド基盤• マルチギガビットのキャンパスネットワーク– SuperTITANET• ITを用いた国際研究教育連携– タイ・フィリピン等の国際オフィス、遠隔講義、国際共同研究など• IT セキュリティ– キャンパス共通認証・認可システム
第18回 NSUG総会／シンポジウム

3プロモーションビデオ

第18回 NSUG総会／シンポジウム

4TSUBAME の名称の由来• Tokyo-tech• Supercomputer and• UBiquitously• Accessible• Mass-storage• Environment
TSUBAMEは東工大の校章でもあります

大岡山駅のツバメ(大岡山商店街のシンボルはインコですが)

第18回 NSUG総会／シンポジウム

5TSUBAMEの源流(1)
東工大松岡研究室• Sun SPARC WSのクラスタ– Sun SuperSparc ~50MHz,
1+1+2+2+4+4 =14 Processors– Switched 10Base-T + Myrinet– Solaris + MPI + Ninf backend– ピーク性能 0.7GFLOPS( TSUBAMEの1/10万以下)

第18回 NSUG総会／シンポジウム

6TSUBAMEの源流(2)• AMD社の協力、Athlonプロセッサの提供• Athlon Palomino 1.3Ghz, 78 processors(Rpeak 208GFlops)• 1ヶ月で完成• Trunked 100Base-T Ethernet• June 2001 The Top500リストに
結果: 77.4GigaFlopsでAMD プロセッサのマシンとして世界初439位にランクイン
第18回 NSUG総会／シンポジウム

7

TSUBAMEの源流(3)•Presto III– June 2002••

– ベストシステムズと共同研究– AMD, Tyan, 住商、Approなどの協力– CPUの倍増およびクロックアップ– Dual 512 proc AthlonMP 1900+
Rpeak 1.6 TeraFlops– 結果、47位、716GFlops– 国内クラスタでは最高性能、世界 •ではAthlonベースのHelixクラスタについで 、世界2位– PCクラスタでAMDが1,2位 : すか
さずAMDは Press Release– あとは、新聞や雑誌やテレビやなにやらNov. 2002では68位
760.1 GigaFlops– チューニングのみ– PCクラスタは全体ですでに5位、5.8TeraFlops (Linux Networx)– PrestoIIIはSelf-madeでは三位

最新のリスト では影も形もないが

第18回 NSUG総会／シンポジウム

8

TOP500 Nov. 12, 2002
• Nov. 2002では68位• 760.1 GigaFlops– チューニングのみ– PrestoIIIはSelf-madeでは3位• 最新のリスト では影も形もないが第18回 NSUG総会／シンポジウム

9東工大キャンパス・グリッド(1)Titech Grid(2002/3-2006/3)• Titech Gridは、キャンパス内に次世代E-Scienceアプリのためのグリッドテストベッドを構築する、世界にも類を見ない大規模実験(平成13年度末補正予算で開始)• 最初は800プロセッサ以上のPC群をキャンパス内で分散
配置、ギガビットネットワーク(Super TITANET)で接続••••

キャンパス内でグリッドのテストベッド
グリッドミドルウェアによる実装・運用
様々な新世代E-Scienceアプリ
設置場所は2キャンパス・十数個所
第18回 NSUG総会／シンポジウム

10東工大キャンパス・グリッド(2)Titech Grid(2002/3-2006/3)
すずかけ台
キャンパス

全体概要図
1300 processors, 2.5 TFlops,
15 クラスタ and 4スパコン

m
k
0

3

24-processor Satellite Systems @各学科毎（×12システム）

Super
NEC Express
TITANET 5800 Series(1-4Gbps) Blade Servers

大岡山
キャンパス
Grid-wide Single System
Image via Grid
middleware: Globus, NinfG, Condor, NWS, …

高密度 GSIC Main Clusters(256 processers) x 2 systems
Super SINET
in just 5 cabinets(10 Gbps MOE National

第18回 NSUG総会／シンポジウム

Backbone Network)to other Grids

11

東工大キャンパス・グリッド(3)Titech Grid(2002/3-2006/3)
大岡山 (10 nodes)

すずかけ台 (5 nodes)

CPU:PentiumIII 1400MHz x2,
Mem:512MB,OS:Linux2.4.19,
Network: 100 Base-T
MPI :mpich-1.2.5

94.1Mbps 330us

計算工学
C (予定)
数理・計算
C (予定)

30km
1.2km

94.0Mbps 770us

90.3Mbps 50us
第18回 NSUG総会／シンポジウム

12

東工大キャンパスグリッド
2005年12月–2006年1月 利用率 80~90%

第18回 NSUG総会／シンポジウム

200~300 users, 24/7 13
usage

TSUBAMEの設計方針(1)• 「トロフィー・ハイエンド」と「みんなのスパコン」の両立• 高性能 64bit x86 互換マルチコアCPU (Dual Core
Opteron) の採用• 圧倒的な汎用性・INT/FP高性能・高コストパフォーマンス・
高信頼• 最先端設計とプロセス技術: 高性能かつ低消費電力• Best applications & software availability: OS(Linux/Solaris/Windows),
languages/compilers/programming tools, libraries, Grid
tools, all ISV Applications
第18回 NSUG総会／シンポジウム

14

TSUBAMEの設計方針(2)• Hybrid Architecture: General-Purpose Scalar+ SIMD Vector Acceleration w/ ClearSpeed
CSX600• 35 Teraflops peak @ 90 KW• PB級大規模・超高速・超高信頼ストレッジ– All Disk Storage Architecture (no tapes), 1.1Petabyte– Overall HW data loss: once / 1000 years– High bandwidth NAS I/O: ~60GBytes/s Livermore Benchmark– Unified Storage and Cluster interconnect: low cost, high bandwidth,
unified storage view from all nodes w/o special I/O nodes or SW

第18回 NSUG総会／シンポジウム

15

TSUBAMEの基本構成
Total
655 nodes,
85TFlops
5,240CPU10,480Cores
50TFlops(peak) (peak)
Sun Fire X4600

ClearSpeed Advance Accelerator Board

360 boards, 35TFlops(peak)Super
Titanet

10Gbps InfiniBand
2,304 ports

24Gbps

NEC iStorage S1800AT

Sun Fire X4500

42 nodes, 1PB disk storage

0.1 PB RAID6

第18回 NSUG総会／シンポジウム

16

SunFire X4600
Galaxy 4
Enterprise-Class Data Center
Compute Engine
ハードウェアType-A(639nodes)
CPU : 8ソケット800
ソケット800 シリーズAMD
シリーズAMD Opteron 2.4GHz
メモリ : 32GB (32x DIMM スロット)
スロット)
OS: SuSE Enterprise Linux 9 SP3

Full performance
Opteron processor
modules (8 -total)
Dual-Core Available

CPU Module

6 PCI-Express slots

Redundant,
hot-plug fans

- 4 – x8-lane slots- 2 – x4-lane slots

2 PCI-X slots
24” deep(133MHz/64-bit)

Type-B(16nodes)
CPU : 8ソケット
800 シリーズAMD
8ソケット800
シリーズAMD Opteron 2.6GHz
メモリ : 64GB (32x DIMM スロット)
スロット)
OS: SuSE Enterprise Linux 9 SP3

合算メモリ容量 : 21.4 TB
合算ピーク性能
合算ピーク性能 : 50.4 TFlops

ClearSpeed AdvanceAccelerator Board■ハードウェア
・最大消費電力25W
・CSX600 processor 2個実装（合計理論ピーク96GFLOPS）
・IEEE 754形式64bit浮動小数点型対応
・133MHz PCI-X ホストインターフェイス
・オンボードメモリ搭載量：最大 4 GB
・内部メモリ帯域幅 ：200 Gbytes/s・オンボードメモリ帯域幅：6.4Gbyte/s■ソフトウェア
・スタンダードソフトウェアライブラリの形で提供
・標準ライブラリ未対応のアプリケーションソフトウェアでもClearSpeedʻs Software Development Kit (SDK)によってCSX600ボード対応にさせることが可能■アプリケーション• 線形代数 ‒ BLAS, LAPACK• バイオシミュレーション ‒ AMBER, GROMACS• シグナルプロセッシング ‒ FFT (1D, 2D, 3D), FIR, Wavelet• シミュレーション ‒ CFD, FEA, N-body• イメージプロセッシング ‒ filtering, image recognition, DCTs
• オイル/ガス ‒ Kirchhoff Time/Wave Migration

TSUBAME Computing Node第18回 NSUG総会／シンポジウム

19Voltaire ISR 9288
Infiniband Swithc Router
・最大: 288port (4x Infiniband)or 96port (12x Infiniband)
・10Gbpsまたは30Gbpsインターコネクト対応の超高速スイッチング機能により，数千ノードのHPCク
ラスタを構成することが可能
・サーバ，ネットワーク，ストレージを1つのスイッチで接続可能
・ホットスワップ可能なコンポーネントと冗長化された管理ブレードにより高可用性を実現
・広範囲なマネージメントソフトウェウェアにより容易な管理を実現・Infiniband仕様 1.1 に準拠
・5.76 Tbps のフルバイセクションバンド幅・4μs以下の低レイテンシー
・冗長でシンクロナイズされた管理ブレード
・インテリジェントなパフォーマンスマネジャー，QoS
マネージャー

Backend view

第18回 NSUG総会／シンポジウム

21

SunFire X4500
Thumper

高性能ストレッジサーバ(合計:
合計: 42台
42台)

High perforamance Serverwith a lot of local data

CPU : 2.4GHz Dual Core AMD Opteron 280プロセッサ
280プロセッサ
メモリ : 4GB メモリ (4x DIMM スロット)
スロット)
OS: Redhat Enterprise Linux 4
HDD : 500GB SATA ディスクドライブ x 48

合算容量(42
台Total) : 1.0 Peta Bytes
合算容量(42台
48x 250-500GB SATA Hard Drives(12-24TB Raw/6-12TB RAID 5)

2 socket, dual core
Opteron Processor
Subsystem with 8x
DIMMS(on risers)

1 + 1 Hot-Swap
Power Supplies

4RU

2x Half-Height
PCI Cards
10x Hot-Swap 80mm Fans

SATA “Backplane” with 48x
HDD Connectors

Hot-Swap I/O
Subsystem(under Processor
Subsystem):
1x 10/100 (mgmt.)
2x USB 2.0
4x GbE

iStorage S1800AT
構成
筐体: 1コントローラ＋16ディスクエンクロージャ（1エンクロージャあたり3U/15HDD）
メモリ : 16GB
RAID : RAID6 (2HDD故障でも業務継続）
HDD: 400GB SATA ディスクドライブ
240台
物理ディスク容量 ： 96テラバイト
機器仕様
最大HDD : SATA 400GB(7200rpm) 240台搭載
標準: 8ホストポート(FC 2Gbps/1Gbps)
第18回 NSUG総会／シンポジウム

23第18回 NSUG総会／シンポジウム

24

TSUBAME 物理レイアウト•
Titech Grid Cluster•

TSUBAME

2階 A室

3 部屋合計 (600m2), 設置面積350m2 (サービスエリア含)
76 ラック (計算ノード、ネットワーク、
ストレッジ) 46.3 トン–

内10 ストレッジラック•••

32 空調機ユニット, 12.2 トン
合計 58.5 トン (屋上の室外器の俗)
最大消費電力1.2メガワット程度•

構築期間三週間

TSUBAME

2階 B室

TSUBAME & Storage

TSUBAME

第18回 NSUG総会／シンポジウム

1階

25Titech TSUBAME~80+ racks
350m2 floor area
1.2 MW (peak)

第18回 NSUG総会／シンポジウム

26

Local Infiniband Switch(288 ports)
Currently
2GB/s / node
Easily scalable to
8GB/s / node

Node Rear

Cooling Towers (~20 units)~500 TB out of 1.1PB

第18回 NSUG総会／シンポジウム

27

TSUBAME は2006年3月に一ヶ月で構築された！
•2月28日: 旧スパコンサービス停止– NEC SX-5, SGI Origin2000, HP GS320•••

3月1日~3月7: 旧スパコン搬出
3月8日~ 3月31日: TSUBAME 設置
4月3日~5月末: 第一仮運用フェーズ(無料運用)– 32ノード、100TB 試験公開
– さらに23台を項目 2.(チューニング)のために割り当て– 残りはThe Top500や他のベンチマーク・負荷試験•

6月初旬〜:第二仮運用フェーズ(無料運用)– 299 ノード, (4748 CPUs), 無料運用
– ジョブスケジューリングの様々なトライアル– SSO, WebDAV, Portalや他のサービスの試験運用– キャンパス認証・認可システムによるSSO,– 外部共同利用のためのグリッド運用体制整備– 電力削減運用の手続き化•

10月頭: フル運用

第18回 NSUG総会／シンポジウム

28– 従来の数十人相手の個人課金ではない、「みんなのスパコン｣運用体制

Lustreby Cluster File System Inc.

• スケーラブルな（10,000クライアント対応）高性能
分散共有ファイルシステム• Cluster File System Inc.が開発のOpen
Source Software• CFS Inc.は有償サポートを提供($5,000/年)• 多数の大規模クラスタで実績
PNNL: HPCS2; LLNL: Thunder, MCR/PVC, ALC,
Lilac; NCSA: Tungsten
第18回 NSUG総会／シンポジウム

32

Lustreby Cluster File System Inc.

• Client,
ユーザ要求を受け付けMDS, OSTに依頼• Meta Data Server (MDS),
ファイルシステムの位置情報を管理• Object Storage Targets (OST)
実際のデータを保持からなる。
第18回 NSUG総会／シンポジウム

33

Lustreサブシステムの相互関係
config. information, network connection details,& security management

LDAP server

ClientClientClientClientClientClientClientClientClientdirectory operations,
Clientmeta data, &concurrency

MDS

file I/O & file locking

OST
OST
OST
OST
OST
OST
OST
OST
OST
OST
OST
OST
OST
OST
OST
OST
recovery, file status, file creation
OST
OST
OST
OST
OST
第18回 NSUG総会／シンポジウム

34

Lustre vs NFS• NFSはマウントポイントが増えるとNFS
サーバの負担が非常に大きくなる• NFSにはSingle Point of Failureが存在
Luster

NFS

容量スケーラビリティ

◎

△

耐故障性

◎

×

I/O処理能力◎△

第18回 NSUG総会／シンポジウム

35

Lusterのパフォーマンス
• 100MB/sをクライアント数が増えても維持

第18回 NSUG総会／シンポジウム

36

調達戦略
• 種々の技術選択肢および制約事項– ハードウェアコンポーネンツの性能とロードマップ・availability– ソフトウェア：OS/ミドル、各種アプリ、汎用性・継続性– 予算、課金(数十億円/4~6年)– 設置面積、電力消費量、冷房 (メガワット級)– SE/スタッフ/サービス体制 (東工大でも十数人)– 学内政治(国立大学法人化後特に)– 。。。。。。。。。
– 研究室でクラスタを作って自分だけで使うのとは全く違う• 学内・学外ユーザに対する責任、国プロに対する影響
第18回 NSUG総会／シンポジウム

37

TSUBAME Grid Clusterの影響• 筑波大、東大、京大が次世代スーパーコンピュータの共同仕様「オープンスパコン」策定へ

http://www.itc.u-tokyo.ac.jp/press/060905-1.pdf
http://www.itc.u-tokyo.ac.jp/press/060905-2.pdf

第18回 NSUG総会／シンポジウム

38

次世代スパコンがもたらすもの• 世界トップレベルの情報インフラ保持によるネームバリュー• 研究推進：莫大な計算パワー、ストレージシステム• 産学連携、学学連携の推進• 学内の分散した情報インフラの集約化

第18回 NSUG総会／シンポジウム

39

次世代スパコンがもたらすもの• 世界トップレベルの情報インフラ保持によるネームバリュー

わが国・アジア・一般研究機関で圧倒
的１位： (地球シミュ
レータの2-3倍弱)

Top500リスト：
世界でトップ10

他大センターの低コスト
パフォーマンスな特殊ス
パコンの追従を調達期間の4年の間許さない

第18回 NSUG総会／シンポジウム

40

次世代スパコンがもたらすもの• 研究推進：莫大な計算パワー、ストレージシステム（>40TFlops、1PB）• 地球シミュレータ級のシミュレーションから初心者まで全学的に利用

大規模ナノ物性シミュレーション

大規模災害・都市
環境・社会・シミュ
レーション

蛋白質構造
解析・ゲノム創薬

脳の血流シ
ミュレーショ
ン(医療)

第18回 NSUG総会／シンポジウム

41

次世代スパコンがもたらすもの• 産学連携、学学連携の推進
XX国
UU大学

YY私立大学ZZ社

第18回 NSUG総会／シンポジウム

42

次世代スパコンがもたらすもの• 学内の分散した情報インフラの集約化
サーバ調達コスト、運用コストの低減
仮想マシンの活用

第18回 NSUG総会／シンポジウム

43

既存スパコンの利用環境ギャップ

第18回 NSUG総会／シンポジウム

44

みんなのスパコン

第18回 NSUG総会／シンポジウム

45

HPCインフラに対する要求と指針
このような指針と、あらゆる技術
予測・制約・ニーズを鑑み、2004
年頃より設計開始
デスクトップ・研究室クラスタと連続性の確保
研究・教育・産学連携など広い
ユーザ層
データグリッド・センサネット・HPC
教育など新しい用途

大規模HPCマシン「グランドチャレンジ」アプリ
ケーション・ペタフロップスへ
グリッド技術による仮想組織化、シームレス化
サイバーサイエンスインフラ
へ

昔のHPC：限られたユーザ層、お互いに独立、少ない資源を少ないユーザで取り合い、限られたアプリ・特殊なソフトウェア・孤立した計算環境
第18回 NSUG総会／シンポジウム=>単なるHPCインフラからサイバーサイエンスインフラへの推移：より高く・広く・統合へ
46
数十人のために数十億のスパコンを買うだけの次代は終わった日、米（独）、英、イスラエル各国、世界中の技術と叡智を集結
東工大の新たなチャレンジに、地球シミュレータおよび東工大キャンパスグリッドの構築・運用技術を持つNECが世界中の技術を集結して応え、技術パートナーシップを結びました
英独

AMD:Fab36

米

イスラエル

日

第18回 NSUG総会／シンポジウム

47

各パートナーの技術
0.1ペタバイト超高信頼ストレッジ iStore
地球シミュレータおよび東工大キャンパスグリッドの構築・運用技術
高性能・低消費電力サーバCPU(Dual Core Opteron 880/885
2.4/2.6GHz, 10480 コア)

ノード計算機：Sun Galaxy 4600
8-Way/16-Core 655ノード50.4TFlops
１ペタバイト大容量・高密度・高速ストレッジ
９６GigaFlops SIMD アクセラレータボード（CSX600 360 枚、35TeraFlops)
Infiniband 高性能10Gbps ネットワーク
288ポート高性能スイッチ Voltaire ISR9288
大規模並列ファイルシステム
Lustre
第18回 NSUG総会／シンポジウム
研究グリッド国家プロジェクト・
NAREGI グリッドおよびアカウント管理ミドル48

性能評価速報

第18回 NSUG総会／シンポジウム

49

TSUBAME 27th Top500 7位
2006年6月30日
T/V
N
NB
P
Q
Time
Gflops----------------------------------------------------------------WR10R2R413341602403614441462.22
3.818e+04-----------------------------------------------------------------

1
2
3
4
5

•
•
•
•

38.18 TeraFlops
Opteron Only, 648 nodes~14 Terabytes memory
76.56% Efficiency

6
7
8
9
10

第18回 NSUG総会／シンポジウム

50

TSUBAME as No. 1 in Asia-Pacific
Top500 June, 2006

#22: 15.7TFlops, Korea
Meteorological Administration#35: 10.3TFlops, China
Meteorological Administration#7: 38.18TFlops
TSUBAME, Japan#147: 3.76TFlops Petroleum
Company (G), Saudi Arabia#141: 3.83TFlops Semiconductor
Company (L), India#200: 3.52TFlops, Semiconductor
Company (L), Malaysia#346: 2.77TFlops, Gaming
Company, Taiwan#47: 8.97TFlops, AustralianPartnership for Advanced Computing#228: 3.39TFlops, Institute ofHigh Performance Computing#147: 3.76TFlops, WETA Digital, New
第18回 NSUG総会／シンポジウム(IHPC), Singapore
Zealand51

TSUBAMEの世界最高の安定性
Manufacturer

Computer

Procs

RMax

RPeak

Matrix

Est.

Mem

Time

Est time

Sys

Mem

Eff

Nmax

(GB)

(sec)

(hours)

Mem

Eff

IBM

LLNLBG/L

1E+05 280600 367000

76.5%

1769471 23328

13163

3.656

65536

35.6%

IBM

IBM BG/L

40960

91290 114688

79.6%

983039

7200

6937

1.927

20480

35.2%

10240

63390

77824

81.5%

1280000 12207

22056

6.127

40960

29.8%

10160

51870

60960 85.1%

1290240 12403

27606

7.668

20320

61.0%

8000

38270

64512

59.3%

1150000

9853

26494

7.359

24000

41.1%

10880

36190

43520

83.2%

1100000

9015

24519

6.811

21760

41.4%

5120

35860

40960 87.5%

1075200

8613

23108

6.419

10240 84.1%

4800

27910

42144

66.2%

977816

7124

22332

6.203

9600 74.2%

12288

27450

34406

79.8%

516095

1984

3339

0.927

6144

32.3%

5200

20527

24960

82.2%

0

0

0

0.000

10400

0.0%

10368

38180

49766

76.7%

1334140 13262

41465

11.518

20736

64.0%

IBM
SGI
Dell
Cray Inc.
NEC
IBM
IBM
Cray Inc.
Sun/NECLLNLASCI
PurpleNASA/SGI
Columbia
SandiaThunderbird
SandiaRedstorm
EarthSimulator
Marenostru
m PPC
Astron BG/L
ORNL Cray
XT3,
TitechGalaxy 4600

第18回 NSUG総会／シンポジウム

52
Top500にて最長時間のLinpack実行時間

TSUBAME の性能/ワット比較
Machine

CPU
Cores

Watts

Peak
GFLOPSPeak

MFLOPS/Watt

Watts/CPUTSUBAME(Opteron) 10480 800,000

50,4006376.336TSUBAME(w/CS)

11,200 810,000

85,000104.9472.321

Earth Simulator

5120 8,000,000

40,00051562.5ASCI Purple

12240 7,000,000

77,82411.118571.9

Orion (DS-96)
Low power Cluster

96

1400

268.8

192

14.583

BG/L (rack)2048

25,0005734.4229.3812.207

BG/P? (rack)4096

30,00016384

546.137.3242

Next Gen (2010)

40000 800,000 1000000

1250

20

第18回 NSUG総会／シンポジウム

53

MPI Basic BW / Latency• Single lane usage (preliminary)• Node-node latency min=4.74, max=5.78 microsec• Max BW=1103~1146 MB/s @ 4 MB
• *+,*(-./0(70<=>?@>;AMax ½ = 16384~32768 bytes• Very uniform, high performance

678970:;4.

!

"

#$

$%&

$!"'

(&#'"

(#(!)$(!"'%)&!

*+,*(-./0(/

第18回 NSUG総会／シンポジウム

456750892.

!

$!!

*+,*&-./0#*+,*%-./0)*+,*"-./0((*+,*"-./0#*+,*#-./0)*+,*$-./0((*+,*$-./0#"*+,*%-./0((*+,*%-./0(*+,*"-./0#*+,*#-./0%*+,*$-./0)*+,*(-./01

#$

"!!

$%&

&!!
203.45

$!"'

'!!

MPI
Latency

(&#'"

(!!!

(#(!)$MPI BW(!"'%)&($!!

*+,*(-./0(/*+,*(-./0(B*+,*(-./0#*+,*(-./0%%!!!
*+,*(-./0)*+,*(-./01"%!!
*+,*(-./0((*+,*$-./0("!!!
*+,*$-./0#*+,*$-./0%#%!!
*+,*$-./0)*+,*$-./01*+,*$-./0((#!!!
*+,*#-./0( 1.23*+,*#-./0#$%!!
*+,*#-./0%*+,*#-./0)$!!!
*+,*#-./01*+,*#-./0(((%!!
*+,*"-./0(*+,*"-./0#(!!!
*+,*"-./0%*+,*"-./0)%!!
*+,*"-./01*+,*"-./0((!
*+,*%-./0(*+,*%-./0#*+,*%-./0%*+,*%-./0)*+,*%-./01*+,*%-./0((*+,*&-./0(*+,*&-./0#*+,*&-./0%*+,*(-./0(5/:92;38*+,*(-./0)*+,*(-./0(/54

Scaling Gaussian Test397
!%))
!())

!!"#$%&"

01234/356

!)))
*))

#&+$&&%#!"$%"'&##$!

"))&(!$'%"%')$!!*%!*$+"!(*(&"%%&$%&'&))$&"(

%))
())
)
!"

'(

%*

"%

'*%

&!(

!)(%

,-./

第18回 NSUG総会／シンポジウム

55

ClearSpeed 利用法• 1. ISV アプリケーションの直接加速– Matlab, Mathematica, Amber, …
– ユーザには見えない⇒一般ユーザ向け• 2. 標準ライブラリの加速– BLAS/DGEMM, IMSL, FFTW…
– やはりユーザには見えない(Fortran/C bindings)• 3. アクセラレータ上のユーザプログラミング– 明示的なSIMDプログラミング– CのSIMD拡張言語など– 一般ユーザ向けではない⇒ハイエンドユーザ向け
第18回 NSUG総会／シンポジウム
56

Mathematica Performance Data without CS
Mathematica Notebook
Data for system with NO
CSX600 Advance card

Maximum ~ 3 GFLOPS DGEMM

第18回 NSUG総会／シンポジウム

57

Mathematica Performance Data with CS
Mathematica Notebook
Data for system with
CSX600 Advance card

Maximum ~ 40 GFLOPS DGEMM

第18回 NSUG総会／シンポジウム

58

今後のシステム活用について• 100TFlops級スーパーコンピューティング• 高度なシミュレーション研究人材育成• スパコンを全学教育研究で活用

第18回 NSUG総会／シンポジウム

59

(1) 100テラフロップス級スーパコンピューティング
莫大な計算機パワーによる科学技術の最先端シミュレーション
流体（CIP法）

ナノテク

バイオシミュレーション

地球磁場予測高精度気象予測

都市環境予測第18回 NSUG総会／シンポジウム

バイオシミュレーションとバイオインフォマティクスの融合
高 C/Pのスパコン加速へ60

(2) 高度なシミュレーション研究人材育成•

スーパコンピューティング用
汎用資源
提供
教育
•
次世代
高度スパ 高度利用

スーパコンピューティング用
ハイエンド資源コンユーザ
成長
学部生を含む全学ユーザ
一部を通常の高度情報教
育・研究(+事務)へ

ストレッジは100TB
第18回 NSUG総会／シンポジウム

ストレッジ300TB程度
61

(3) スパコンを全学教育研究で活用•

スパコンを用いた高度教育– スパコンではじめて可能になる高度シミュレーションを学部の学生演習・実験で•グリッド技術を用いた研究室のIT環境とスパコンとのシームレス化•

ポータルによる高度アプリ利用

アプリポータル事例： WebMO
量子化学プログラム (Gaussian,NWChem,GAMESS , MOPAC, Molpro 等)をWeb ブ
ラウザから簡単に利用できるインターフェース(西川武志特認助教授のチームが NEDOでSSOへの対応パッチを 開発)

1.認証

3.分子編集デスクトップがそのまま数千プロセッサになったみたい

2.ジョブ管理4.計算条件設定

第18回 NSUG総会／シンポジウム

62

Tokyo Tech Portal

第18回 NSUG総会／シンポジウム

63General Purpose DataCenter Hosting• All University AAA and E-mail system– 50TB of Thumper, 9 Galaxy 1 nodes from TSUBAME• 全学ストレッジサービス(7月より)– 全学全員数十GB(パソコンでマウント可)– 研究結果のレポジトリ化(シミュレーション結果など)• 高度研究用アプリの教育利用(Open CourseWare)
これでラップ• 事務系のホスティング(VMによる)トップの全デー
タをバックアッ
プできるな

第18回 NSUG総会／シンポジウム

64日本の最先端学術情報基盤の構築に向けて最先端の学術研究基盤が、今後の学術分野・産業分野での国際協調・競争の死命を制す！！
サイバー・サイエンス・インフラストラクチャ（CSI）

NAREGIの成果

学術機関統合リポジトリの形成（デジタルライブラリ）

バーチャル研究組織
ライブコラボレーション

連携ソフトウェアとしての研究グリッドの実用展開
大学・研究機関としての認証システムの開発と実用化

産
業
・
社
会
貢
献

人材育成及び推進体制の整備（推進組織・人材確保等）
NIIと7大学情報基盤センター等連携による次世代学術情報ネットワークの構築
学術情報ネットワーク運営・連携本部設立（H17.2）

北海道大学

★
★

九州大学
★

大阪大学

★

●

京都大学
★
名古屋大学

★

東北大学

国
際
貢
献

☆★

NI
I

東京大学

（東京工業大学、筑波大学、早稲田大学、
高エネルギー加速器研究機構、国立天文台）

大学・研究機関の研究リソース整備・研究成果等の発信

第18回 NSUG総会／シンポジウム

65

将来の強化計画

第18回 NSUG総会／シンポジウム

66