2-8

先端研究施設共用促進事業『みんなのスパコン』TSUBAME によるペタスケールへの飛翔

学術国際情報センター
センター長
学術国際情報センター 副センター長
学術国際情報センター
特任准教授
学術国際情報センター
特任准教授

渡辺 治
青木尊之
西川武志
渡邊寿雄

【事業概要】趣旨
文部科学省の委託事業「先端研究施設共用イノベーション創出事業」【産業戦略利用】を平成２１年度から補助事業として引き継いだ先端研究施設共用促進事業においても、本学学術国際情報センターでは『みんなのスパコン』TSUBAME によるペタスケールへの飛翔”を同一事業名で継続して実施している。
本事業の中心は民間企業に無償で TSUBAME を利用して成果を上げてもらう制度（トライアルユース）であり、平成２２年度の課題採択件数は８件（戦略分野利用推進課題２件、新規利用拡大課題６件）、実施件数は２２件（戦略分野利用推進課題１６件、新規利用拡大課題６件、前年度からの継続課題１４件）であった。また年度途中（平成２２年１１月）に TSUBAME1.2 からTSUBAME2.0 へ移行するに伴い、平成２２年度は第２回定期公募（例年１０月利用開始）の日程を遅らせて、１月利用開始（説明会を１１月２９日と１２月６日、申請受付締切を１２月１７日、採択通知を１月５日）として行った。
【事業実施と成果】【課題採択】
平成２２年度は戦略分野利用推進課題（以下、戦略利用）のうち、「シミュレーションによるナノ材料・加工・デバイス開発（以下、ナノシム）」にて２件を採択した。他の３つの戦略利用（「計算化学手法による創薬技術の開発（以下、計算創薬）」、「大規模流体－構造連成解析技術の開発（以下、流体構造）」、「社会基盤のリスク管理シミュレーションへの HPC 応用技術の開発（以下、基盤リスク）」）と、新設した戦略利用「アクセラレータ利用技術の推進（以下、アクセラ）」においては本年度の採択は無かった。新規利用拡大課題（以下、新規拡大）は６件を採択した。トライアルユース合計で８件を採択となり、当初目標のトライアルユース採択目標１０件程度の目標をほぼ達成した。
表１に平成２２年度の課題採択・実施状況を示した。
【課題実施】TSUBAME1.2 で２３８口、TSUBAME2.0 へ移行後に６２口を合計２２件のトライアルユース課題へ配分した。TSUBAME1.2 で配分した口数は TSUBAME1.2 サービス終了時に失効し、TSUBAME2.0 への持ち越しは行わなかった。これは他のすべての利用区分の TSUBAME ユーザーと同様な処置である。
TSUBAME が提供した計算資源に対するトライアルユース課題へ配分した共用時間の割合（共用率）は、TSUBAME1.2 では２２．４％、TSUBAME2.0 では３．２％、そしてこれらの合算値では９．８％となり、本補助事業の当初計画していた共用率１０％をほぼ達成した。TSUBAME2.0

での共用率が低い理由は、年度当初は TSUBAME2.0 の仕様が分からないため、本事業の安定実施のために TSUBAME1.2 へ補助金を重点配分した点、そして TSUBAME2.0 の全体提供計算資源量が膨大なため相対的に共用率が小さいためである。
配分口数の利用率としては、TSUBAME1.2 では６７．６％、TSUBAME2.0 では６７．９％となった。TSUBAME1.2 では、年度途中での TSUBAME2.0 への移行に伴う８月以降の縮退運用による混雑により配分口数が余った課題や、配分計算資源が TSUBAME2.0 へ持ち越されないことの周知が不十分だったために残り配分口数が失効した課題もあった。一方、TSUBAME2.0 では、３月１１日の東日本大震災の影響による計画停電区域に東工大が入ったことにより、サービスが一時停止されたことと、縮退運用によるサービス再開後も「節電のための不要不急ジョブの自粛」を全ユーザーへ要請し残り口数の利用自粛が起きた結果、配分口数を残した課題が多く見られた。
【広報活動】
広報活動では、事業広報のブース出展、日本コンピュータ化学会 学会誌への広告掲載、成果報告会、公募説明会等を実施した。
事業広報のブース出展を、DMS 設計・製造ソリューション展 2010（東京ビックサイト）、SACSIS2010（奈良）、日本コンピュータ化学会 2010 春季年会（東工大）、平成 22 年度産学官連携推進会議（科学・技術フェスタ in 京都）、第 24 回分子シミュレーション討論会（福井）、第 24 回数値流体力学シンポジウム（慶應大）、HPCS2011（つくば）において行った。日本コンピュータ化学会 学会誌への広告掲載は Journal of Computer Chemistry, Japan Vol.9, No1-5 (2010)に出稿した。
成果報告会として平成２２年６月２９日（火）に１００名を超える出席者を得てシンポジウムを開催し、口頭発表にて平成２１年度に実施された２課題の成果報告とポスター発表にて平成１９年度から平成２ １年度ま での課題 の成果報告 を行 った。また１ １月から サービス 開始予定のTSUBAME2.0 の情報提供や、課題公募説明なども行った。シンポジウムの模様とともに終了課題の報告書は事業 Web ならびに文科省共用ナビに掲載し公開した。
【利用者支援】
本年度より、初めて TSUBAME を利用するトライアルユース採択課題従事者に対して、TSUBAME 利用講習会の受講を義務化した。この講習会にて、リモートログイン・コンパイル・ジョブ投入といったスパコンを使うための基礎的なユーザー教育を行うことにより、利用者が躓きやすい問題を排除し、TSUBAME の更なる有効利用を促した。この利用講習会は TSUBAME2.0 へ移行後にも開催し、TSUBAME1.2 の利用者に対しても利用講習会の受講を促した。
利用者の社内における開発・利用環境と TSUBAME の環境との差異に由来する問題を解消するため施設共用技術指導研究員等によるプログラム開発、チューニング、並列化等の指導、支援を行った。一例として、採択課題が社内で利用していた GPU 版無償アプリケーションの TSUBAME 上へのインストール指導などを行った。また、採択課題が取得した有償アプリケーションのライセンスを、TSUBAME 上で使えるようにするためのライセンスサーバー利用申請が、４課題からのべ５件あり、ライセンスサーバーのホスティングや持ち込みライセンスサーバーの TSUBAME ネットワークへの接続などにより、有償アプリケーションによる TSUBAME 利用を支援した。

【プロジェクトの総合的推進】
本事業は、学術国際情報センター 共同利用専門委員会の審議・承認の元で、共同利用推進室が運用業務の主体となり、学術情報部情報基盤課、財務部契約課、外部資金支援課、産学連携本部等からの支援を受け実施した。平成２１年度まで本事業の運用業務を担当していた共用促進事業推進室から発展して平成２２年４月に設置された共同利用推進室では、本事業のみならず、有償のTSUBAME 共同利用サービスや、学際大規模情報基盤共同利用・共同研究拠点を含む TSUBAMEの共用サービス全般の運用業務を担当することとなった。
利用申請書の改訂も行った。特に「公開する成果」を申請書に明記することで、国民の税金で運営されている本事業における利用成果の社会への還元を更に確実に行うとともに、「成果公開」というキーワードに対する民間企業の漠然とした不安を取り除いた。
TSUBAME1.2 における利用課金額の積算根拠はすべてが本事業における補助対象経費であったが、TSUBAME2.0 にて新規に策定された成果公開時の利用課金額の積算根拠の内２５％は補助対象外経費であった。そのため有償の共同利用（成果公開）の１口１０万円の利用課金額に対して、本事業の利用課金額を１口７．５万円とした。
３月１１日の東日本大震災の影響による計画停電区域に東工大が入ったことにより、サービスの一時停止や縮退運用が行われた。縮退運用中も「節電のための不要不急ジョブの自粛」を全ユーザーへ要請を行い節電に努めた結果、当初の計画が遂行できずに残り配分口数が失効し、利用期限が終了した課題があった。そのうち希望があった課題には、本事業の期間延長ではなく、東工大からの無償付与という形で失効口数相当を与え、本来はデータ参照期間である利用終了後３ヶ月間にもジョブ投入などの利用を認めた。
表３

平成２２年度採択課題一覧

表３−１

戦略利用「シミュレーションによるナノ材料・加工・デバイス開発」

申請課題名
Li-グラファイト層間化合物のステージ構造変化に関するハイブリッド量子古典シミュレーション

会社名
株式会社豊田中央研究所

強誘電体電子材料の電子物性発現に関わるナノレベル構造 太陽誘電株式会社
設計シミュレーション
表３−２ 新規利用拡大
申請課題名
分子動力学計算ソフトウェア NAMD の GPGPU 大規模並列環境における性能評価
建築物の室内外環境の連成解析とその高速化技術の開発

会社名株式会社フィアラックス
清水建設株式会社

進化的映像符号化の高度並列シミュレーション
日本電信電話株式会社
移流/抵抗/放電を考慮した 3 次元電界計算の電子写真設 株式会社リコー
計への適用
素反応過程を考慮した燃焼のシミュレーション技術の開発
株式会社 爆発研究所
Gaussian と GAMESS の実行を支援する GUI ソフトの開発
株式会社テンキューブ研究所

2-7

TSUBAME 共同利用サービス
青木 尊之
渡邊 寿雄

【概要】
平成２１年７月より開始したTSUBAME共同利用サービスは平成２２年度で２年目となった。
TSUBAME 2.0導入時に各方面にて制度を周知していただいたことにより、問合せ件数・申請件数が増加し、平成２２年度の採択課題数は１７件（学術利用４件、産業利用・成果公開６件、産業利用・成果非公開７件）と平成２１年度の６件（学術利用１件、産業利用・成果公開３件、産業利用・成果非公開２件）から約３倍の大幅な増加となった。
またサービス開始より２年目が経ち、実運用上の細かな問題が顕在化してきたため、運用・制度の改善が行われた。年度途中には TSUBAME1.2 から TSUBAME2.0 への機種更新があり、TSUBAME共同利用サービスにおいてもそれに伴って新たな課金単価の設定やいくつかの特別な運用が行われた。年度末には東日本大震災によるサービス停止・縮退運転・不要不急ジョブの自粛のお願いなどがあり、それに伴う補償なども行われた。
【TSUBAME共同利用サービス】
平成２１年７月に開始したTSUBAME共同利用サービスは、TSUBAMEの計算資源を学内のみでなく、学外の利用者へも広く提供するサービスである。平成２２年度は、TSUBAME 1.2では全提供可能計算資源の２０％を上限に、TSUBAME 2.0 では同じく３０％を上限に学外の利用者（共同利用サービスのみならず、学際大規模情報基盤共同利用・共同研究拠点や先端研究施設共用促進事業トライアルユースの利用者を含む）に対してTSUBAMEの計算資源を提供する。共同利用サービスには、「学術利用」、「産業利用」、「社会貢献利用」の３つの利用区分と「成果公開」と「成果非公開」のカテゴリーがあり、それぞれ下記のように分類される。
学術利用：学術的な貢献を目的とし、「成果公開」のカテゴリーの課題のみ公募する。利用課題責任者は、大学・大学共同利用機関・国立研究所・高等専門学校、独立行政法人・公設試験研究機関・特殊法人（非株式会社形態のもの）、財団法人又は社団法人等（以下「大学・研究機関等」）、特定非営利活動促進法に規定される特定非営利活動法人等のいずれかに所属する者でなければならない。
産業利用：産業界でのイノベーション創出、競争力向上のために企業では実施し難い規模の計算をTSUBAME で行う課題であり、「成果公開」と「成果非公開」の両方のカテゴリーの課題を公募する。利用課題責任者は、会社法等に規定される法人に所属する者でなければならない。
社会貢献利用：さまざまな社会貢献を目的として、「成果公開」と「成果非公開」の両方のカテゴリーの課題を公募する。利用課題責任者は、特定非営利活動促進法に規定される特定非営利活動法人、または公共団体等のいずれかに所属する者でなければならない。

【課題採択】
平成２２年度の採択課題数は１７件（表１－１、１－２）となった。内訳は、学術利用４件、産業利用・成果公開６件、産業利用・成果非公開７件であり、このうち学術利用は、昨年度からの継続課題が１件、TSUBAME1.2 での GPU利用を目的とした課題が１件、TSUBAME2.0 移行後の潤沢な計算資源を目的とした課題が２件であった。
TSUBAME共同利用（産業利用）では成果公開が６件、成果非公開が７件と、課金単価が４倍高いにも関わらず成果非公開課題の採択数の方が多かった。これは、比較的成果公開が容易な基礎研究の部門のみでなく、激しい開発競争のため成果非公開が必須である製品開発の部門においても、スパコン利用が普及してきたことの現れである。また１企業で２課題が採択されているケースが３件あり、これはこれまでのTSUBAMEの利用実績が評価されて、複数部署や複数の研究・開発課題での利用が進んでいることを示している。
【運用・制度の改善】
またサービス開始より２年目が経ち、実運用上の細かな問題が顕在化してきたため、運用・制度の改善が行われた。
まず、利用課金の支払期日に関する改善が行われた。元々の東工大の経理規則では、請求書発行日から２０日以内の支払う必要があり、課金の支払を遅延した場合、支払い期限の２ヶ月以内は年率7.3％、それ以降は年率14.6％の割合による遅延損害金を支払わねばならない。しかしながら、民間企業の経理処理手続きではこの20日以内の期限は非常に短く（例えば、月末締め・翌月末払いだと10日程度の遅延）、請求書発行日の調整のみでは困難である。そのため、双方の合意の下で支払日が変更可能なように制度を変更した。
また、課題審査免除枠の拡大も行われた。これは、運用コストの削減と申請者の利便性の確保を行うことで、更なる申請数の増加を促すことが目的である。具体的には、学術利用の利用区分では課題申請は審査免除となった。また産業利用／社会貢献利用では、利用実績のある企業などの更なる利用を促進するために、終了課題評価が良好（優 良 可 不可の４段階評価で優もしくは良）であった課題に対しては、その後の２つの課題申請において審査免除となった。

表１－１．平成２２年度

TSUBAME 共同利用（学術利用）の採択課題一覧

研究課題名
所属機関名

カテゴリ

大規模 Web ページコレクションの言語解析およびそれに基づく言語知識獲得(独)情報通信研究機構
GPU を利用した 3D-RISM 理論によるドラッグスクリーニン
グプログラムの開発
分子科学研究所
MSES 法によるタンパク質相互作用形成シミュレーション
理化学研究所
逐次モンテカルロ法による 1 分子 FRET 時系列解析
理化学研究所

学術利用
成果公開
学術利用
成果公開
学術利用
成果公開
学術利用
成果公開

配分口数
T1 ／ T2
合計
5 ／ 1015

1 ／ ―1― ／ 14

14― ／ 1111

表１－２．平成２２年度

TSUBAME 共同利用（産業利用）の採択課題一覧

研究課題名
所属機関名
（成果非公開）
株式会社ブリヂストン
天然光合成の動作メカニズムに関する理論的研究(株)地球快適化インスティテュート
理論計算に基づく有機半導体材料の開発
住友化学株式会社 筑波研究所
大規模流体解析ソフトの開発
住友ゴム工業株式会社（成果非公開）
コニカミノルタテクノロジーセンター株式会社
分子シミュレーションによる高分子中の水と低分子拡散挙動の研究
日東電工株式会社（成果非公開）
日東電工株式会社
超大規模三次元高周波電磁界シミュレーションへの GPU
クラスター適用検証
株式会社エーイーティー
複雑地形 CFD シミュレーションコードの高度化のための研究
株式会社数値フローデザイン（成果非公開）株式会社日立製作所（成果非公開）
株式会社リコー（成果非公開）
株式会社リコー（成果非公開）
株式会社ブリヂストン

カテゴリ
産業利用
成果非公開
産業利用
成果公開
産業利用
成果公開
産業利用
成果公開
産業利用
成果非公開
産業利用
成果公開
産業利用
成果非公開
産業利用
成果公開
産業利用
成果公開
産業利用
成果非公開
産業利用
成果非公開
産業利用
成果非公開
産業利用
成果非公開

配分口数
T1 ／ T2合計（非公開）
13 ／ 5186 ／ 2811 ／ ―

11（非公開）
2 ／ 13（非公開）
1 ／ ―12 ／ ―

2（非公開）
（非公開）
（非公開）
（非公開）

ユーザー教育についてもより重点を置くよう改善が行われた。初めてTSUBAMEを利用するユーザーがTSUBAMEをより有効に使いこなすために、「産業利用」および「社会貢献利用」の採択課
題のユーザーへは、利用講習会の受講を義務化した。
課金単価が大きく異なる成果公開と成果非公開のカテゴリー間の差別化を行うため、成果公開カテゴリーにおいて『公開する「成果」の明確化』が行われた。具体的には、利用終了後に公開を予定している成果の内容について、予め申請時に申告するよう申請書様式の改訂を行った。
【TSUBAME の機種更新に伴う課金単価の設定と特別運用】
年度途中に TSUBAME1.2 から TSUBAME2.0 への機種更新があった。この両システムでは計算機の規模や速さ、運用維持費、借料などが大きく異なるため、TSUBAME2.0における新たな課金単価を設定する必要があり、共同利用とコンピュータシステムの両専門委員会の下に課金検討ワーキンググループ（主査 青木尊之教授）を設け、課金単価の検討と提案が行われた。この課金単価案は、正式な課金単価として両専門委員会にて承認された。
TSUBAME 2.0の課金単価は、運用維持費を基礎として策定された。具体的には、年間の運用維持費の合計は354,152,440円であり、これをTSUBAME 2.0 がユーザーに提供可能な計算機資源量（11,169,000ノード・時間）で割ると、ノード・時間当たりの運用維持費が33円になり、1口を3000

ノード・時間とした場合には課金額が10万円となった。成果非公開の課題では、運用維持費に加えてTSUBAMEの借料分も負担すべきであるため、課金額は1口40万円となった。
また、TSUBAME1.2にて配分された利用口数については、TSUBAME1.2でのサービス提供終了に伴い失効し、TSUBAME2.0へは繰り越さない事とした。これは、平成２２年度当初は課金制度や課金単価どころか、TSUBAME2.0の納入業者や仕様さえ決まっておらず、利用口数の繰り越し可能かどうかが全く不明だったため、このような運用を行った。
【東日本大震災の影響とそれに伴う対応】
東日本大震災とその後の計画停電の影響で、TSUBAME2.0 は停止や縮退運用を余儀なくされた。
天災のため不可避とはいえ、ユーザーの皆様には 縮退運用中にも不要不急のジョブをご遠慮いただ
くなど、ご理解・ご協力をいただいた。
一方で、予期せぬ震災により TSUBAME が十分に使えない状態になり、年度末に残余計算口数が出てしまった課題が多数あるが、現在の制度では年度末でそれらが失効する。そこで、学術国際情報センターとして、利用者を救済するため平成23年度に代替のTSUBAMEポイントの無償付与を下記の通りに行うこととした。
・ いかなる場合でも返金はしない。
・ 残余口数に対応した補償は繰り越しではなく平成２２年度で失効とした上で、利用者が希望する場合に限り、端数を切り捨てた残余口数相当の TSUBAME ポイントを無償で付与する。
・ 希望調査の際に、利用者の所属する組織において利用課題の支払元となる研究プロジェクト等で平成２３年度に代替の TSUBAME ポイントを付与されることが会計検査等の問題にならないことを利用者に確認してもらい、その利用に関する同意書を提出してもらう。
・ 平成２３年３月で終了するアカウントに対しては、３ヶ月の利用期間の延長を設定した上で付与する。アカウントの継続利用申請がある場合には、そのアカウントの有効期限までとする。