「先端研究施設共用イノベーション創出事業」【産業戦略利用】『みんなのスパコン』
TSUBAMEによるペタスケールへの飛翔
平成21年度第1回公募説明会
スーパーコンピューティングキャンパスグリッド基盤システム
東京工業大学
学術国際情報センター
センター長 渡辺 治
教授 青木尊之1特任准教授 西川武志

平成２１年度 第１回公募日程
平成20年
１２月１日(金)第１回公募 受付開始
１２月５日(月)
第１回公募第１回説明会（本日）
平成２１年
１月９日(金)
第１回公募第２回説明会
２月６日(金)
第１回公募 受付締め切り（当日必着）
２月９日(月)~２７日(金)第１回公募一次審査
３月２日(月)~２７日(金)第１回公募二次審査
３月３０日(月) 第１回公募 採択通知、利用手続き開始
４月 ６日(月) 第１回公募 利用開始

2先端研究施設共用イノベーション創出事業
大学、独立行政法人等の研究機関が保有する先端的な研究施設・機器の共用を進め、イノベーションにつながる成果の創出が目的
平成19年度から文部科学省が新たに開始
本事業を通じて、産学官の研究者による戦略的かつ効率的な研究開発や、研究機関や研究分野を越えた横断的な研究開発活動を推進することにより、 継続的 に産学官の知の融合によるイノベーションを加速していくことを目指します。
本事業で得た知的財産権は基本的に実施企業が１００％保有
3

共用ナビ
http://kyoyonavi.mext.go.jp/

共用イノベーション創出事業の総合的な案内、他施設の紹介、各種情報提供
4北海道大学
創成科学共同研究機構
オープンファシリティ

同位体顕微鏡システム北海道

筑波大学
研究基盤総合センター 応用加速器部門

東北大学

マルチタンデム
茨城県
静電加速器システム

エネルギー安全科学国際研究センター

先端的経年損傷計測・評価
宮城県と破壊制御システム

高エネルギー加速器研究機構
物質構造科学研究所

日本原子力研究開発機構
信州大学

放射光科学研究施設

高崎量子応用研究所

イオン照射研究施設等（TIARA等）
群馬県

カーボン科学研究所

ナノカーボン・デバイス
長野県
試作・評価装置群

茨城県

東京理科大学
総合研究機構
赤外自由電子レーザー 研究センター

赤外自由電子レーザー千葉県

名古屋大学
エコトピア科学研究所

東京大学 ※１

100万ボルト 電子顕微鏡施設
愛知県

情報基盤センター

全国共同利用施設
スーパーコンピューター
東京都、他
システム群

九州大学
中央分析センター

先端材料分析機器

東京工業大学 ※１

福岡県

学術国際情報センター

スーパーコンピューティング
キャンパスグリッド基盤システム
東京都（TSUBAME)

理化学研究所 ※２

京都大学

横浜研究所
ゲノム科学総合研究センター

静岡大学

エネルギー理工学研究所
附属エネルギー 複合機構研究センター

複合ビーム材料照射装置（DuET）及びマルチスケール
材料評価基盤設備（MUSTER）京都府

大阪大学

創造科学技術大学院
浜松ものづくりコア実験室

NMR基盤施設先端光マザープロセス
静岡県
複合計測設備神奈川県

横浜市立大学 ※２

海洋研究開発機構

レーザーエネルギー 学研究セン
ター

横浜研究所
計算システム計画・運用部

激光XⅡ号をはじめとする
大阪府
高強度レーザー装置群

地球シミュレータ

神奈川県

大学院国際総合科学研究科
分体超分子科学専攻

NMR装置

神奈川県

合計１７件 5※１及び※２はそれぞれ連携して実施『みんなのスパコン』TSUBAMEによるペタスケールへの飛翔

事業概要
提供資源: TSUBAME スーパコンピュータ
Opteron 2.4/2.6GHz Dual-core 8CPU （16CPUコア）
合計10512CPUコア50TFlops, 22TB RAM, 1.6PByte Diskの一部を提供（計算量で約10%、CPUコア数で最大約５千）
x86PCクラスタとの高い連続性
戦略分野利用推進：標準割当48,960ノード時間/課題「計算化学手法による創薬技術の開発」（平成19年度~、継続５件）「大規模流体‐構造連成解析技術の開発」 （平成19年度~、継続１件）「シミュレーションによるナノ材料・加工・デバイス開発」(平成20年度~、継続４件)「社会基盤のリスク管理シミュレーションへのHPC応用技術の開発」(平成20年度~、継続４件)

新規利用拡大：標準割当5,760ノード時間/課題
これまでTSUBAMEでやったことが無い分野の課題
なお、標準割当時間は平成20年度予算に準じております。平成２１年度予算の状6況によって、増減があります。

東大事業との連携• 本事業は東京大学が実施する「先端的大規模計算シミュレーションプログラ ム利用サービス」と連携して実施いたします。
• 重複応募は認められません。
• 主要メンバーが異なり*、課題内容も異なれであれば応募可能です。
*並列化チューニングの人材は社内で共通であると言う場合等
7

東工大事業の特徴• 企業のパソコン・クラスタ上の所有ソフトがそのまま、数十倍の速度や規模で動作• 消耗品（ソフトウェア）、旅費等は利用者の実費負担• 数千CPUのスパコンを、既存シミュレーション利用者以外(ICT、金融、流通、サービス業界等)にも開放• ハイスループットコンピューティング課題も採択

東京工業大学 学術国際情報センター TSUBAME Grid Cluster
TSUBAME Grid Cluster

Sun Fire X4600
CPU655 nodes: AMD Opteron(Dual-Core)5,240CPU / 10,480Core
メモリ: 21.4TB
演算性能 : 50TFlops(Peak)38.18TFlops(Linpack)

総合演算性能:103TFlops(Peak)
56.43TFlops(Linpack)

ClearSpeed CSX600 SIMD accelerator
総演算性能:53TFlops(Peak)TSUBAME導入システム 29TFlops
分子動力学アクセラレータ 24TFlops

648 slots
100ギガビット級ネットワーク装置

4x10Gbps(片方向)InfiniBand Network Voltaire ISR 9288 ×8

24x1Gbps(片方向)SX-8i:porting

Internet

SuperTitanet
SINET340Gpbs
JGN210Gbps
WIDE
10GbpsAPAN1Gbps

・・・
42台

・・・
20台
Sun Fire X4500
高度研究用大規模ストレッジ基盤
総物理容量： 0.5PB

500GB
48disks

500GB
48disks

Sun Fire X4500
物理容量: 1PB

総計 ペタバイト級ストレッジサーバ
1.6PB
総物理容量： 1.1PB

NEC iStorage
S1800AT
物理容量: 100TB

9

TSUBAMEを使うメリット- 企業の標準的x86計算資源とTSUBAMEの比較 CPUコア
企業Network1Gbps
2~4（ノード）
32~128（ジョブ） 32Gbps

TSUBA 16 （ノード）ME1888 （ジョブ）Network1Gbps
数十倍規模20Gbps
2.5TbpsRAM

Disk(容量、速度）

2~8GB
128GB

数TBGB, 100MB/s
10TB(NAS), 100MB/s

32~128GB
3840GB

10TB程度, 3GB/s
10TB程度, 2GB/s

Disk

20Gbps RAM
128GB
2GB

10TB程度500
GB10本事業での企業HPC利用のライフサイクル確立
x86クラスタアーキテク
チャ：企業の日常利用との連続性

イノベーション

本事業

企業内
seeds
申請書p.5TSUBAME
企業内
計算機

自立
事業

プログラム移植・独自事業化が容易
企業による事業化
高速ネットワーク機器、大容量メモリ利用による低コスト化
11

【戦略分野事例】「 計算化学手法による創薬技術の開発」• 従来手法の10~100倍も大きな系を扱い、分子の規模を拡大したり、計算精度を向上したりして生体物質解析の質の向上を図る課題• 大規模計算化学手法で得た結果をデータベース化する等、新薬をより安価に、高速に、安全に開発する技術を開発する課題• Gaussian, GAMESS, NWChem, UTChem利用可
ABINIT-MP RSS21およびCREST版準備中• 例：FMO法による巨大タンパクと薬剤分子のドッキン
グ解析【戦略分野事例】「大規模流体-構造連成解析技術の開発」• 東工大矢部教授等によって開発・発展されたCIP法やその他東工大教員が先端的に研究を進めている数値計算手法、これらの最先端の流体解析手法と構造計算を連成させる大規模流体−構造連成解析に取り組む課題等• これまでになされたことの無い大規模流体または大規模構造解析に取り組む課題等• 例：ポンプ、ガスタービン、ビルと風の相互作用などの流体−構造連成問題に対する大規模数値解析

【戦略分野事例】「シミュレーションによるナノ材料・加工・デバイス開発」• 「物性・機能発現指向のシミュレーション・デザイン技術」、「革新的ナノ計測・加工技術」としての「シミュレーションによるナノ材料・加工・デバイス開発」技術の確立を目的とする課題を募集• 文部科学省 先端研究施設共用イノベーション創出事業 ナノテ
クノロジーネットワークプログラム、東京工業大学量子ナノエレ
クトロニクス研究センター「電子ビームによるナノ構造造形・観察支援」で造形したり観察したりする構造に関連するシミュレーション提案も募集• その他、実験と連携、あるいは実験や加工に先行するナノ技術
関連シミュレーション課題も募集【戦略分野事例】
社会基盤のリスク管理シミュレーションへのHPC応用技術の開発••

社会の抱えているリスクを軽減する研究開発
国民の利便性を向上させ、質の高い生活を実現するための研究開発– 防災、テロ対策・治安対策、都市再生・生活環境、ストックマネジメント、国土の管理・保全、交通・輸送システム、ユニバーサルデザイン等、国民生活を支える基盤的分野で、豊かで安全・安心、快適な社会を実現する研究開発を推進する課題を募集•社会基盤のリスク管理シミュレーションにおいて、これまで利用することが少なかったHPCインフラを提供– 大規模化、詳細化、適用範囲の拡大を目的とする課題を募集– 利用可能な計算資源量の制約から簡略化されたり、適用を見送られてきたりしてきた手法をHPCインフラにより詳細化、適用を図る課題を募集•例–––––

金融資産ポートフォリオのリスク評価
自然災害リスク評価
巨大地震発生時の経済リスク管理・避難誘導・支援ロジスティク立案
交通渋滞防止新型インフルエンザの感染大流行防止

新規利用拡大課題
これまでTSUBAMEでなされたことが無い課題を募集• 次世代ネットワークアプリケーション– クライアント１万台問題の解決法の開発• 第2、第3のGoogle開発試験プラットフォーム

16
申請書p.13

実施体制（１）
利用課題の公募・選定・評価• 年２回公募：４・１０月の利用開始の４ヶ月前に公募開始• 年間予定採択件数：１０件程度– 戦略分野利用推進12件（既存5件、新規7件[5件採択済]）+新規利用拡大7（配分資源に余裕があれば、追加随時公募実施予定）• 課題選定評価委員会による公平な公募審査– 分野に通じた東工大教職員• 課題選定委員会による公正な評価– 利用終了から３０日以内に利用成果報告書提出– 戦略分野は実施期間の中間点で中間成果報告を提出
以上に基づき公正な評価を行い、その後の実施に反映

17

実施体制（２）
企業向け利用支援：高いセキュリティの確保• SSHによるログイン環境、ジョブ名、ユーザー名を隠蔽する
ジョブ管理• 東工大内の通常サポートとは独立したサポート体制（tracシステム）• 学内と分離したファイルシステム（/ihome, /iwork）
以下、物理的に隔離された個別施錠セキュリティラックにて提供• 利用者群毎の専用の仮想計算機ログイン環境の提供（有償）• 独立したファイルシステム（ペタバイト級Diskにより可能）の提供
（有償）

18

利用課題のJob名とuserは隠蔽• 誰が何をやっているかが漏れません

19トラッキングシステムによるサポート• 各利用課題毎に独立したtracページ

20物理的に隔離したサーバラック• 利用者群毎の専用の仮想計算機ログイン環境（有償）• 独立ファイルシステ
ムの提供（有償）

遠隔監視装
置付き、４
パーティションセキュリ
ティラック：
個別に鍵をかけ、開閉を遠隔監視

21

実施体制（３）
企業向け利用支援：手厚い支援
採択前• 施設共用技術指導研究員による提案支援– 応募を検討する企業の現場までヒアリングに参ります。
• 東工大教員・研究者とのマッチング– 東工大産学連携本部経由、GSIC直接• 「みんなのスパコン」利用者間交流の促進– 東工大で運営の「みんなのスパコン」SNSへの招待
採択後• TSUBAMEの使い方から、シリアル高速化、並列化の相談に乗ります。
– 施設共用技術指導研究員による支援、TSUBAME運用SEによる支援、東工大教員・研究者による支援と幅広く対応します。

•申請書p.15

東工大教員・研究者とのマッチング– 利用課題での利用後に発生した問題解決のために役立つ東工大教員・研究者を紹介します。
22

支援例• 全くバッチキューシステムを使ったことが無かった利用者に対するオンサイトでの利用指導• TSUBAME上でのコンパイルから実行までのステップバイス
テップ指導• 大規模並列化によるボトルネックの発見方法およびデータ配布方法の改善指導• 異なるアーキテクチャによる計算精度の際に関する技術指導（POWER X、Itanium2からOpteronへの移行）• 異なるMPI実装での実行支援（MPICH, HP-MPI,OpenMPからTSUBAME上のVoltaireMPIへの移行）
23

実施体制（４）
本事業人員体制• 施設共用技術指導研究員：１名– 特任准教授 西川武志

• 共用促進リエゾン：（西川兼任）• 施設共用技術指導支援員：１名– 質問受付窓口、アカウント発行、利用者サポート• 事務支援要員：１名• 他、必要に応じて東工大教員・研究員の支援
24
申請書p.15

応募にあたって（１）
利用課題申請書への記載事項
１．課題概要• 利用課題名（邦文、英文）• １−１．利用課題責任者• １−２．利用課題従事者––––––––––

続く

氏名
フリガナ
NAME
所属
職名
連絡先住所
郵便番号
E-mail
電話番号
FAX番号

利用課題責任者は公開されますが、従事者は非公開です。
25

応募にあたって（２）
利用課題申請書への記載事項
２．利用課題内容• ２−１．課題種別–
戦略分野「計算化学手法による創薬技術の開発」–
戦略分野「大規模流体‐構造連成解析技術の開発」–
戦略分野「シミュレーションによるナノ材料・加工・デバイス開発」–
戦略分野「社会基盤のリスク管理シミュレーションへのHPC応用技術の開発」–
新規利用拡大上記いずれか一つを選ぶこと。

• ２−２．利用課題概要（採択時、公開されます。）• ２−３．利用課題説明（審査に利用します。課題選定評価委
員会の委員が課題の審査が出来る程度の内容を記述く
ださい。課題選定評価委員会以外には非公開です。）
26
続く応募にあたって（３）
利用課題申請書への記載事項• ２−４．どのような国家的・社会的課題に対応した技術課題の解決に資するものか• ２−５．利用課題の社会的意義について• ２−６．利用課題の経済波及効果について• ２−７．イノベーション創出への貢献について（新規利用拡大の場合は記載しなくても構いません。）• ２−８．平和利用であるか• ２−９．文部科学省「生命倫理・安全に対する取組」に適合しているか• ２−１０．人権および利益保護への配慮を行っているか続く27

応募にあたって（４）
利用課題申請書への記載事項• ２−１１．利用課題を実施するために必要な人員および予算の確保について（プロジェクトの研究開発項目に応じた人員分担と予算措置について具体的に記述してください。）（利用課題に従事する人数、各自の経験、必要なソフトウェアのライセンス取得状況、費用について、特に具体的に記述してください。）• ２−１２．将来的な有償利用への移行の見込みについて（新規利用拡大の場合は記載しなくても構いません。）• ２−１３試作までに必要とする計算資源量の見積りについて（新規利用拡大の場合は記載しなくても構いません。） 28
続く応募にあたって（５）
利用課題申請書への記載事項• ２−１４．製品化までに必要とする計算資源量の見積りについて（事業全体の推進のための参考にさせていただきます。審査には利用しません。）• ２−１５．ビジネスプランについて（イノベーション創出の見込み、成果の社会的意義・経済的波及効果を踏まえて具体的に記述してください。 知的財産権の取得方針についても記述してください。）（明確なビジネスプランがなくとも応募は可能です。）（新規利用拡大の場合は記載しなくても構いません。）
続く29

応募にあたって（６）
利用課題申請書への記載事項• ２−１６．利用するコンピュータプログラムについて（新規利用拡大の場合は記載しなくても構いません。ただし、記載された方が評価されます。）––––––––––––

プログラム名：
動作実績：（ハードウェア、OS、コンパイラ、ライブラリ、具体的な環境名等）
最大問題サイズ：
並列実行効率：（基準となる実行数に対し、何並列で何倍になったかを最低３点明示のうえ記載のこと）
最大メモリサイズ：（１プロセス当たり、および、総合計）
最大ストレージサイズ：（１プロセス当たり、および、総合計）
要求最大入出力性能：（メモリ、ストレージ、通信網）
希望する最大並列数と時間：
希望する合計CPUコア数と時間：プログラムの性能プロファイル情報：
並列化ライブラリの経験について：（MPI, Linda, DDI等）（以上の項目を、利用するプログラムは必要に応じて複写し、繰り返してください。）
30

続く応募にあたって（７）
利用課題申請書への記載事項• ２−１７．利用課題の基礎となる査読付公刊論文の有無について（なくても構いません。）• ２−１８．利用課題の基礎となる知的財産権の有無について（なくても構いません。）• ２−１９．実施計画（中間目標を明記するとともに、利用課題実施機関の四半期毎の計画を具体的に記述してください。）• ２−２０．将来計画（本利用期間終了後の計画を具体的に記述してください。 将来的な有償利用への移行の見込みを先に記載された場合は、その時期、可能な投資額等を具体的に記載してください。）

続く31

応募にあたって（８）利用課題申請書への記載事項• ３．注釈（審査委員は非専門家も含まれるのでなるべく充実をお願いします。）• ４．用語集（審査委員はGSIC教員＋東工大教員なのでなるべく充実をお願いします。）

32

応募のメリット• 有償利用制度の利用資格が得られます。
• 東工大教員・研究員との共同研究のマッチングの機会が得られます。
• ハイスループットコンピューティング、ハイパフォーマンスコンピューティングの両方のノウハウが得られます。
• 自社の将来のシステム構築、機種選定に役立ちます。
33

採択にあたって• 利用規則、細則、条件を守るという覚書の提出をお願いします。
– 常識的な契約条項です。

• 東工大との共同研究契約の締結をお願いします。
– 産学連携本部が窓口となります。
– 契約書のひな形を提供しますが、協議により修正可能です。
34

利用終了後• 成果報告書（Ａ４にて２ページ程度）一般公開されます。
学会の口頭発表予稿程度の内容を要請• 成果報告会へのご協力をお願いします。
参考）平成１９年度利用課題利用成果報告シンポジウム

http://www.gsic.titech.ac.jp/innovation/
H20SympoTop.html
35

まとめ• 大学としての特色である、研究と教育を担う組織の知識と経験を活かして本事業に取り組みます。
• 将来、東工大教員との共同研究や有償利用への発展を期待します。
• 戦略分野、新規利用拡大、共にイノベーションを創出する環境を提供します。

36