先端研究施設共用促進事業『みんなのスパコン』TSUBAMEによる
ペタスケールへの飛翔
平成23年度第2回定期公募 説明会
東京工業大学 学術国際情報センター
共同利用推進室
1

TSUBAME の外部利用制度

民間企業向け＝先端研究施設共用促進事業
産業利用
有償利用/
無償利用
成果・公開/非公開

他大学や公的研究機関の研究向け

地方自治体
等その他の組織向け

学術利用
有償利用

社会貢献利用成果公開

有償利用
成果・公開/非公開

トライアルユース（本日説明）

先端研究施設共用促進事業•

独立行政法人・大学等の研究機関等の保有する先端的な研究開発に係る施設及び設備の共用を促進し、基礎研究からイノベーション創出に至るまでの科学技術活動全般の高度化を図るとともに国の研究開発投資の効率化を図るため文部科学省が平成２１年度から開始した事業•
平成１９年度に文科省が開始した先端研究施設共用イノベーション創出事業【産業戦略利用】制度が発展して整備された。
• 本事業で得た知的財産権は基本的に実施企業が全て保有
3共用ナビ
http://kyoyonavi.mext.go.jp/

共用促進事業の総合的な案内、他施設の紹介、各種情報提供
4

先端研究施設共用促進事業
交付対象研究施設 ３７件 （平成２２年１０月時点）「みんなのスパコン」TSUBAMEによる
ペタスケールへの飛翔

TSUBAME2.0への更新（Nov. 2011）
実運用スパコンでは世界一のグリーンスパコン

6

TSUBAME2.0の運用状況
3月

4月

5月

6月

7月

8月

9月

計画停電ほぼ運用停止

4/8～
30%程度の縮退運用

4/25～
75%程の縮退運用

6/7～
100%の運用再開

7/1～24ピークシフト運用

7/25～
100%運用9/25～
通常運用

GSICで50%
電力削減

ピークシフト
運用開始

緊急時強制停止キュー15%

7

TSUBAME2概要
ペタバイト級HDD ストレージ： Total 7.13PB(Lustre+ home)
並列ファイルシステム領域
5.93PB

x5

MDS,OSS
HP DL360 G6 30nodes
Storage
DDN SFA10000 x5( 10 enclosure x5)
Lustre（5File System）
OSS: 20 OST: 5.9PB
MDS: 10 MDT: 30TB
OSS x20

ホーム領域
1.2PB

MDS x10Sun SL8500
テープシステム~8PB

Storage Server
HP DL380 G6 4nodes
BlueArc Mercury 100 x2
Storage
DDN SFA10000 x1（10 enclosure x1）

NFS,CIFS用 x4

Titenet3

NFS,CIFS,iSCSI用 x2

E-Science
Renkei-POP
高速データ交換

ノード間相互結合網: フルバイセクション ノンブロッキング 光 QDRInfiniband ネットワーク
Core Switch

Edge Switch

12switches
Voltaire Grid Director 4700 12switches
IB QDR: 324port

Edge Switch(10GbE port付き)

179switches

6switches

Voltaire
Grid Director 4036 179switches
IB QDR : 36 port

Voltaire
Grid Director 4036E 6 switches
IB QDR:34port
10GbE: 2port

管理サーバ群

Sinet3

計算ノード： 2.4PFlops(CPU+GPU)，224.69TFlops(CPU), ~100TBメモリ、~200TB SSD
Thin計算ノード

・・・・・・

HP Proliant SL390s G7 1408nodes
CPU Intel Westmere-EP 2.93GHz（Turbo boost 3.196GHz） 12Core/node
Mem:55.8GB(=52GiB)
103GB(=96GiB)GPU NVIDIA M2050 515GFlops,3GPU/node
SSD 60GB x 2 120GB ※55.8GBメモリ搭載node
120GB x 2 240GB ※103GBメモリ搭載node
OS: Suse Linux Enterprise Server
Windows HPC Server

Medium計算ノード

Fat計算ノード

HP DL580 G7 24nodes
CPU Intel Nehalem-EX 2.0GHz
32Core/node
Mem:137GB(=128GiB)
SSD 120GB x 4 480GB
OS: Suse Linux Enterprise Server
CPU Total: 6.14TFLOPSHP DL580 G7 10nodes
CPU Intel Nehalem-EX 2.0GHz
32Core/node
Mem:274GB(=256GiB) ※8nodes
549GB(=512GiB) ※2nodes
SSD 120GB x 4 480GB
OS: Suse Linux Enterprise Server
CPU Total: 2.56TFLOPSCPU Total: 215.99TFLOPS(Turbo boost 3.2GHz)

CPU+GPU: 2391.35TFlops
1408nodes (32node x44 Rack)

Memory Total：80.55TB (CPU) + 12.7TB (GPU)SSD Total：173.88TB

PCI –E gen2 x16 x2slot/node

GSIC:NVIDIA Tesla S1070GPU

TSUBAME2計算ノード特徴• Thin計算ノード 1408
CPU:Xeon Westmere-EP 2.93GHz 12コア/ノード、メモリ:52GiB or 96GiB
GPU:Tesla M2050 515GFlops 3基/node
SSD:（52GiBノード） 120GB or （96GiBノード）240GB• Medium計算ノード 24、Fat計算ノード 10
CPU:Xeon Nehalem-EX 2.0GHz 32コア/ノード、メモリ:（Medium） 128GiB or （Fat） 256[8台]/ 512[2台]GiB
NEW GPU:（Medium) Tesla M2070 4基/node [10台]SSD:480GB
9

共同利用に東工大が提供する
TSUBAME２計算機資源• 東工大が持つスーパーコンピュータを共同利用のために、年間供給可能計算量の上限３０％を提供（TSUBAME1.2時は２０％）

トライアルユース• 「戦略分野利用推進」５分野と「新規利用拡大」の募集区分で課題を公募– 戦略分野利用推進：
国家的、社会的課題に対応した技術 課題等を解決する区分– 新規利用拡大：
これまでにTSUBAMEを利用したことの無い利用者および利用分野に対し、新たに有望な戦略分野を創出するための募集区分
10

トライアルユース募集区分••••

計算化学手法による創薬技術の開発
大規模流体－構造連成解析技術の開発
シミュレーションによるナノ材料・加工・デバイス開発
社会基盤のリスク管理シミュレーションへのHPC応用技術の開発• アクセラレータ利用技術の推進 平成２２年度新設– TSUBAMEに搭載されたGPGPU等の非常に多数の演算器を持ったアクセラレータを利用する技術、新アルゴリズム開発、アクセラレータコードのチューニングや応用分野の開拓に取り組む課題等の採択を目指します。

• 新規利用拡大 （利用は年度末まで）– 本事業でTSUBAME上でこれまで実施されたことが無い、従来のHPC分野の利用課題のみならず、従来のHPCでは試みられなかった用途の開拓を目指します。
11

申請、採択、利用状況－ 戦略分野利用推進５分野－ 新規利用拡大

延べ26件採択
延べ23件採択

新規利用拡大に採択・利用後、戦略分野へ発展した課題複数あり
応募数

審査数

採択数

H22実施数

H21実施数

H20実施
数

H19実施
数

計算化学手法による創薬技術の開発

10

1062 (2)

6 (5)

5 (4)

4

大規模流体－構造連成解析技術の開発

22

2

1 (1)

2 (1)

1 (1)

1

シミュレーションによるナノ材料・加工・デバイス開発

12121210 (8)10 (4)

4

設定
無

社会基盤のリスク管理シミュレーション
へのHPC応用技術の開発

6

6

63 (3)

6 (4)

4

設定
無アクセラレータ利用技術の推進

0000

設定無設定無設定無新規利用拡大

23

23

23

6

5

66

小計

53

53

49

22(14)

29(14)

20 (5)

11

課題種別

戦略分
野
利用
推進（カッコ内は内数で継続課題数）

12共用促進事業（共用イノベーション）
予算推移と計算使用料(万円)
H19 H20 H21 H22 H23
計算機使用料 2,110 2,330 2,400 2,735 3,218
全体予算 4,250 4,400 5,000 4,234 4,502

H19, H20:共用イノベーション、H21以降共用促進

H19-H21の評価（平成22年2月23日）において２２機
関中３機関のみが与えられた最高評点区分４を獲得
しかしながらH２２は政権交代による予算縮減により、
東工大事業の予算も１５％減となるが、計算機使用料は前年度より１５％増を確保
H23も計算機使用料と全体予算ともに予算増を確保
13

共用促進事業でのTSUBAME
利用と波及効果
企業内計算機
様々な成果の
企業内
seeds
フィードバック

x86アーキテクチャ
プログラム移植が容易
TSUBAME

企業の日常利用

GPGPUの大規模環境プログラム開発や有効性確認
TSUBAME

イノベーション創出
フィージビリティスタディ
企業による事業化

企業の自立事業

企業の新規利用14

スパコン環境の経験
高速Network、大容量メモリ、高速ストレージによるボトルネック解消
TSUBAME

企業の計算機更新

平成23年度公募日程
平成23年度6月3日(金)
7月4日(月)7月18日(月)平成23年度第2回定期公募 第1回説明会
平成23年度第2回定期公募 第2回説明会
平成23年度第2回定期公募 受付開始
（現在、随時公募実施中 毎月15日締切・翌々月利用開始）

8月5日(金)平成23年度第2回定期公募 受付締切（当日必着）
8月8日(月)〜8月26日(金)平成22年度第2回定期公募 一次審査
8月29日(月)〜9月22日(木)平成22年度第2回定期公募 二次審査
9月26日(月) 平成23年度第2回定期公募 採択通知、利用手続き開始
3月末
平成23年度利用終了
随時公募
4月末
新規利用拡大課題は7月15日(金) 受付締切
利用成果報告書提出期限
9月～
利用開始
15

実施体制（１）
利用課題の公募・選定・評価• 通常年２回公募：４・１２月の利用開始の４ヶ月前に公募開始• 新規採択予定件数：１０件 （平成22年度実績：8件）
採択数を厳選、１課題あたりの計算機利用機会を増やす（配分資源に余裕があれば、追加随時公募実施予定）• 課題選定評価委員会による公平な公募審査– 分野に通じた東工大教職員および外部有識者– 二段階審査、申請者匿名一次審査で採択可否または申請書修正要求の判断、申請者顕名二次審査では計算資源配分量と最終的な採択の可否（一次審査で申請書修正の場合）• 課題選定委員会による公正な評価– 利用終了から３０日以内に利用成果報告書提出– 戦略分野は実施期間の中間点で中間成果報告を提出
以上に基づき公正な評価を行い、その後の実施に反映
16

実施体制（２）企業向け利用支援：
高いセキュリティの確保
提供する利用環境• SSHによるログイン環境、ジョブ名、ユーザー名の隠蔽

サポート体制• 東工大内の通常サポートとは独立したサポート体制% t2stat -all -at2zpbsReq'd Req'd Elap
Job ID
Username Queue
JobnameSessID NDS TSK Memory Time S Time--------------- -------- -------- ---------- ------ --- --- ------ ----- - ----13434.t2zpbs01 konishi- L512
kegg20m500 21359 1 1 500gb 96:00 R 19:18
13436.t2zpbs01 konishi- L512
kegg18m500-- 1 1 500gb 96:00 Q-16391.t2zpbs01 ando-s-a SOTHERS
13103 1 12 48gb 96:00 R 90:44
16528.t2zpbs01 09M25255 S
Fairy_Pyua 14832 1 12 12gb 96:00 R 85:57
16757.t2zpbs01 10M31235 S
hF_1.6520746 1 1 1gb 96:00 R 79:39
16820.t2zpbs01 10M25016 S
OTHERS11355 1 12 53gb 96:00 R 76:30
17357.t2zpbs01 08D31090 S
w200k2.3.1
4390 1 48gb 96:00 R 61:02
17518.t2zpbs01 ******** S********** 21635 1 12 50gb 96:00 R 57:29
18450.t2zpbs01 10M12226 S
OTHERS
15408 8 64 424gb 06:00 R 02:35
18459.t2zpbs01 ******** S********** 10103 1 12 30gb 96:00 R 17:23
18913.t2zpbs01 07D53093 S
1000_5_007-- 8 64 24gb 24:00 Q --17

実施体制（３）
企業向け利用支援：手厚い支援• 利用前にTSUBAMEの利用説明会の開催– 受講がアカウント発行の条件となります。

• GPU研究会主催のGPU利用説明会への斡旋• TSUBAMEの使い方から、シリアル高速化、並列化の相談に乗ります。
– 施設共用技術指導研究員による支援、TSUBAME運用SEによる支援、東工大教員・研究者による支援と幅広く対応します。

申請書p.1518

実施体制（４）
東工大共用促進事業実施体制
学術国際情報センター内に共同利用推進室を設置– 室長：
佐伯元司 （事業代表／センター長）– 室長代理：青木尊之 （副センター長）– 施設共用技術指導研究員： １名– 共用促進リエゾン：
2名– 共同利用推進室員：
4名• 契約事務：研究推進部情報基盤課• 他、必要に応じて東工大教員・研究員の支援• 共同研究契約が必要になった場合は産学連携本部
19

応募にあたって利用課題申請書への記載事項• 実際の申請書類にて、説明します。

20

採択にあたって• 利用規則、共同利用約款、細則、条件を守るという覚書の提出をお願いします。
– 常識的な契約条項です。

• 平成２１年４月までは、東工大との共同研究契約の締結をお願いしておりましたが、平成21年７月より約款による契約に変更となりました。
– 東工大と採択企業両者の契約の手間が省けました。
– 東工大教員との共同研究の希望があれば、共同研究契約を結ぶことも可能です。

21

利用終了後• 成果報告書（Ａ４にて２ページ程度）一般公開されます。
学会の口頭発表予稿程度の内容を要請• 成果報告会へのご協力をお願いします。
参考）平成22年度シンポジウム開催報告

http://www.gsic.titech.ac.jp/H22Sympreport

22

まとめ
• 大学としての特色である、研究と教育を担う組織の知識と経験を活かして本事業に取り組みます。
• 将来、東工大教員との共同研究や有償利用への発展を期待します。
• 戦略分野、新規利用拡大、共に産業利用しやすい、イノベーションを創出できるような環境を提供します。

23