2-7TSUBAME 共同利用サービス
青木 尊之
渡邊 寿雄

【概要】
平成21年7月より開始したTSUBAME共同利用サービスは平成23年度で3年目となった。また平成23年度はTSUBAME 2.0にて1年間フルに運用を行う最初の年であり、平成22年11月の導入時に各方面にて制度を周知していただいたことにより、平成23年度の採択課題数は22件（学術利用9件、産業利用・成果公開7件、産業利用・成果非公開6件）と平成22年度の17件や平成21年度の6件から順調な増加となった。
サービス開始からの3年間の運用経験を元に運用・制度の改善が行われた。学術利用においては、平成22年度に審査免除としたのに引き続き平成23年度は申請書の簡略化を行うな
ど利用拡大に努めた結果、平成23年度は9件となり平成22年度の4件からの倍増となった。
また産業利用／社会貢献利用についても滞りなく実施された課題による継続課題申請は審査免除とするなど、利用者側と運用側の両方にとって負担削減となるような改善が行われた。また3年間の様々な制度改善を取り込むために募集要項の大幅改訂も行った。また、平成22年度末には東日本大震災によるサービス停止・縮退運転・不要不急ジョブの自粛のお願いなどがあり、それに伴う補償などが平成23年度に行われた。
【TSUBAME共同利用サービス】
平成21年7月に開始したTSUBAME共同利用サービスは、TSUBAMEの計算資源を学内のみでなく、学外の利用者へも広く提供するサービスである。平成23年度は、TSUBAME2.0
では全提供可能計算資源の30％を上限に学外の利用者（共同利用サービスのみならず、学際大規模情報基盤共同利用・共同研究拠点や先端研究施設共用促進事業トライアルユースの利用者を含む）に対してTSUBAMEの計算資源を提供する。共同利用サービスには、「学術利用」、「産業利用」、「社会貢献利用」の3つの利用区分と「成果公開」と「成果非公開」のカテゴリーがあり、それぞれ下記のように分類される。
学術利用：学術的な貢献を目的とし、「成果公開」のカテゴリーの課題のみ公募する。利用
課題責任者は、大学・大学共同利用機関・国立研究所・高等専門学校、独立行政法人・公設試験研究機関・特殊法人（非株式会社形態のもの）、財団法人又は社団法人等（以下「大学・研究機関等」）、特定非営利活動促進法に規定される特定非営利活動法人等のいずれかに所属する者でなければならない。
産業利用：産業界でのイノベーション創出、競争力向上のために企業では実施し難い規模の計算をTSUBAME で行う課題であり、「成果公開」と「成果非公開」の両方のカテゴリーの課題を公募する。利用課題責任者は、会社法等に規定される法人に所属する者でなければな

53

らない。
社会貢献利用：さまざまな社会貢献を目的として、「成果公開」と「成果非公開」の両方のカテゴリーの課題を公募する。利用課題責任者は、特定非営利活動促進法に規定される特定非営利活動法人、または公共団体等のいずれかに所属する者でなければならない。

【課題採択】
平成 23 年度の共同利用の有償利用課題は 22 件であり、内訳は学術利用 9 件、産業利用・成果公開 7 件、産業利用・成果非公開 6 件となった。採択課題一覧は表 1、2 に掲載した。
TSUBAME共同利用（産業利用）では成果公開が7件、成果非公開が6件となった。これらのうち前年度からの継続課題が成果公開と成果非公開がそれぞれ3件ずつ、無償の産業利用トライアルユースからの移行課題がそれぞれ3件と1件となっており、それまでの利用実績を評価いただいた上で引き続いてご利用いただけていることを示している。
継続利用との相関がよりはっきりと表れているのが大口での利用課題である。10口以上の大口での利用は、学術利用が2件、産業利用・成果公開が4件あるが、これらのうち産業利用の1件を除く5件は前年度からの継続利用（産業利用トライアルユースからの移行を含む）であった。これは、TSUBAME2.0での運用が2年目となってその膨大な計算資源が十分周知されつつあることとともに、大口利用申請を行うためにはそれなりの利用実績が必要であることの表れである。
成果公開と成果非公開の課題数の比率は、課金単価が4倍高いにも関わらずほぼ同数となっている。これは、比較的成果公開が容易な基礎研究の部門のみでなく、激しい開発競争のため成果非公開が必須である製品開発の部門においても、本事業によるスパコン利用が普及してきたことの表れである。
【運用・制度の改善】
サービス開始からの3年間の運用経験を元に運用・制度の改善が行われた。
学術利用においては、平成22年度に審査免除としたのに引き続き平成23年度は申請書の大幅な簡略化を行うなど利用拡大に努めた結果、平成23年度は9件となり平成22年度の4件からの倍増となった。申請書の簡略化を行った背景には、それまでの申請書が産業利用を想定した申請書をベースとしたものであったため、下記のような問題点があった。


他の全国共同利用施設のスパコンセンターと比較して、申請書が重すぎる。



申請書や成果報告のハードルが高いため、萌芽的研究での利用が難しい。



負担金の減免がある他の競争的なTSUBAME 利用制度（JHPCN やグランドチャレンジ大規模計算制度など）とは異なり、学内との共同研究による利用と同じ額の負担金である。

そこで、改めて記載内容を精査することで、プログラムの詳細や予算の確保などの記載を削減し、申請書の簡略化を行った。
産業利用／社会貢献利用における課題審査免除枠の拡大も行われた。これは、申請者の54

表 1．平成 23 年度
課題番号123456789TSUBAME 共同利用（学術利用）の採択課題一覧

所属機関 利用課題責任者
申請課題名

利用
口数

共同利用（学術利用・成果公開）
理化学研究所 次世代計算科学分子スケールチーム 森次 圭
MSES 法によるタンパク質複合体シミュレーション
京都大学 大学院情報学研究科知能情報学専攻 河原大輔
大規模ウェブコーパスからの知識獲得およびその応用
京都大学 大学院情報学研究科知能情報学専攻 黒橋 禎夫
会話エージェント構築のための大規模ウェブコーパスからの知識獲得
九州大学 応用力学研究所 大澤 一人
金属中の格子欠陥の構造と相互作用に関する第一原理計算
桐蔭横浜大学 川久保 達之
ＡＴＰ加水分解によって惹き起こされるミオシン分子モーターの変形運動に関する分子動力学シミュレーション
筑波大学 数理物質系 石塚 成人
TSUBAME2 GPU による η-η’中間子質量の計算
理化学研究所 泰地 真弘人
タンパク質間相互作用阻害ペプチドの設計
筑波大学 数理物質系 石塚 成人
TSUBAME2 GPU による非連結グラフ計算の改良とη-η’中間子質量の計算
首都大学東京 岡部 豊
TSUBAME2 GPU によるスピン系のクラスターアルゴリズム・
モンテカルロシミュレーション

22020112551

利便性の確保と運用コストの削減を行うことで、更なる申請数の増加を促すことが目的である。具体的には、利用成果報告書を期限までに提出するなど滞りなく実施された課題による継続課題申請は審査免除とした。
また、これらの改善を含めた3年間の様々な制度改善を取り込むために募集要項の大幅改訂も行った。
【東日本大震災の影響とそれに伴う対応】
平成22年度末の東日本大震災とその後の計画停電の影響で、TSUBAME2.0 は停止や縮退運用を余儀なくされた。天災のため不可避とはいえ、ユーザーの皆様には 縮退運用中にも不要不急のジョブをご遠慮いただくなど、ご理解・ご協力をいただいた。
一方で、予期せぬ震災により TSUBAME が十分に使えない状態になり、平成22年度末に残余計算口数が出てしまった課題が多数あった。現在の制度をそのまま適用すれば年度末で残余口数は失効するが、学術国際情報センターとしては、利用者を救済するため平成23年度に代替のTSUBAMEポイントの無償付与を下記の通りに行った。
いかなる場合でも返金はしない。



残余口数に対応した補償は繰り越しではなく平成22年度で失効とした上で、利用者が希望する場合に限り、端数を切り捨てた残余口数相当の TSUBAME ポイントを無償付与。

55

表2. 平成23年度
課題
番号1234567

TSUBAME共同利用（産業利用）の採択課題一覧

所属機関
申請課題名

利用口数

共同利用（産業利用・成果公開）
武田薬品工業株式会社 医薬研究本部
拡張アンサンブルシミュレーションによるタンパク質とリガンドの結合構造予測法の開発
住友化学株式会社 筑波研究所
理論計算に基づく有機半導体材料の開発
日東電工株式会社
高分子中における低分子拡散挙動のシミュレーション
新日本製鐵株式会社
鋼材強化に資する微細析出物成長制御のための計算機シミュレーション株式会社 エーイーティー技術部
超大規模三次元高周波電磁界シミュレーションへの GPU クラスター
適用検証
風工学研究所
オープンソースコードによる風速の地形影響評価に関する LES
清水建設株式会社
複雑地形を考慮した超大規模津波波力解析システムの開発

25
10730
1181

共同利用（産業利用・成果非公開）

1

コニカミノルタテクノロジーセンター株式会社（非公開）（非公開）2

株式会社リコー
（非公開）

（非公開）

3

日東電工株式会社
（非公開）

（非公開）

4

富士通アドバンストテクノロジ株式会社
（非公開）

（非公開）

5

株式会社 キヤノン
（非公開）

（非公開）

6

日産自動車株式会社
（非公開）

（非公開）

希望調査の際に、利用者の所属する組織において利用課題の支払元となる研究プロジェク
ト等で平成23年度に代替の TSUBAME ポイントを付与されることが会計検査等の問題にならないことを利用者に確認した上で付与。



平成23年3月で終了するアカウントに対しては、3ヶ月の利用期間の延長を設定した上で付与。アカウントの継続利用申請がある場合には、そのアカウントの有効期限まで有効。

56

2-8 先端研究施設共用促進事業『みんなのスパコン』TSUBAME によるペタスケールへの飛翔
学術国際情報センター 共同利用推進室 佐々木 淳【事業概要】
文部科学省 先端研究施設共用促進事業の一つである“『みんなのスパコン』TSUBAME によるペタスケールへの飛翔”は、平成 19 年度に採択された「先端研究施設共用イノベーション創出事業」により採択され、平成 21 年度より先端研究施設共用促進事業の枠組みに移行し、本学 学術国際情報センター 共同利用推進室が主体的に実施している。図 1 に平成 19 年度からの補助金の推移を提示する。
本事業は、本学 学術国際情報センターのスパコン TSUBAME2.0 の計算資源を企業の方々に提供する事業であり、既に平成 23 年度末時点で延べ 90 の課題に利用頂いている。本事業のフラッグシップ 的な位置づ けにあたる 共用促 進トライアルユースは 、企業の 方々に無償 にてTSUBAME2.0 の計算資源を提供する制度であり、平成 23 年度の課題採択件数は 10 件（戦略分野利用推進課題 5 件、新規利用拡大課題 5 件）、実施件数は 17 件であった。また有償による企業での利用は 13 件（成果公開 7 件、成果非公開 6 件）であった。

図 1 共用促進事業における本学の補助金額の推移

（万円）
7,000

計算機使用料
6,000

5,000

4,000

3,000

2,000

1,000

0
平成19年度

平成20年度

平成21年度57

平成22年度

平成23年度

平成24年度【事業実施と成果】【実施体制】
平成 23 年度は、本事業を主体となって行う学術国際情報センター 共同利用推進室（室長 佐伯元司教授（本事業代表者、学術国際情報センター長）、室長代理 青木尊之教授（学術国際情報センター副センター長・共同利用専門委員会委員長））に、本学経費による雇用の施設共用技術指導研究員 1 名に加え、共用促進事業の補助金（以下、「本補助金」）で新たに雇用した専従の共用促進リエゾン員 1 名、専従の施設共用技術指導員 1 名を配置した。また課題の受付・管理を行う事務員 1 名、経理などを行う事務補佐員 1 名も配置した。
なお本補助金での採用は、施設共用技術指導研究員 兼 共用促進リエゾン員 1 名（エフォート100％）の年度当初からの雇用を計画していたが、共用促進リエゾン員 1 名（エフォート 100％）、施設共用技術指導員 1 名（エフォート 100％）の 2 名が年度途中からの雇用となった。雇用の遅れの分については、本学経費による雇用の施設共用技術指導研究員が対応した。
共同利用推進室の主な業務内容は、事業運営・実施業務、事業計画策定、事業広報、応募課
題の発掘・渉外、課題選定評価支援業務、利用制度および環境整備、技術指導および支援等と広範な業務となるため、研究推進部情報基盤課、研究資金管理課、産学連携本部、財務部契約課等からの支援を受け実施した。
また、本事業を含む TSUBAME2.0 のすべての共用制度は、学術国際情報センターの共同利用専門委員会の承認の下で実施される。共同利用専門委員会は本学教職員 11 名、他大学教員 5名、一般企業職員 2 名、合計 18 名の委員で構成され、多様な意見を反映するようにした。
【広報活動】
本事業の認知向上のため、また利用課題を広く公募するために、積極的に広報・渉外活動を行った。特に 6 月の設計・製造ソリューション展においては地球シミュレータセンターの隣接のブースにて出展する連携を行い、企業活動におけるスパコン利用の効用を訴求し、潜在利用者の獲得に努めた。その他、SACSIS2011（5 月）、日本コンピュータ化学会 2011 春季年会（5 月）、GTC
Workshop Japan 2011（6 月）、第 22 回設計・製造ソリューション展（6 月）、JHPCN 第 3 回拠点シンポジウム（7 月）、日本機械学会（9 月）、日本 EDA ベンチャー連絡会（JEVeC）（11 月）、第 25 回分
子シミュレーション討論会（12 月）、HPCS2012（平成 24 年 1 月）、GAUSSIAN Workshop 2012（平成 24 年 2 月）、第 11 回 GPU コンピューティング講習会（平成 24 年 3 月）、2012 年春季第 59 回
応用物理学関係連合講演会（平成 24 年 3 月）、2012 電子情報通信学会総合大会（平成 24 年 3月）などの国内の主要な展示会・学会・研究会に出展し、本事業の認知向上に努めた。加えて新分野開拓のため、電子情報通信学会や情報処理学会への広告掲載やブース出展を行った。
当初は 6 月に本事業の利用成果報告会として共用促進シンポジウムの開催を予定していたが、震災の影響により 10 月 19 日に文部科学省 基盤研究課長の柿田様を来賓としてお招きし開催し、武田薬品工業株式会社 小久保様、清水建設株式会社 フック様の 2 件の課題の口頭発表と、9件のポスター発表にて平成 22 年度終了課題の成果を報告、満席となる 105 名もの参加を得て盛58況なシンポジウムとなった。本シンポジウムの模様および終了課題の報告書は、本事業の Web ページならびに文部科学省の共用ナビに掲載し公開したとともに、本学のクロニクルにおいても報告している。
【課題公募】
平成 23 年度の定期公募は、4 月利用開始は平成 22 年 12 月から、10 月利用開始は平成 23 年
6 月から公募を実施し、それぞれ 2 回の公募説明会を開催、4 月 12 日から利用開始には 3 件、10月 3 日から利用開始には 4 件の課題の応募があった。また随時公募も実施し、4 月、6 月、8 月にそれぞれ 1 件の応募があった。
【課題採択】
平成 23 年度の課題採択件数は 10 件（戦略分野利用推進課題 5 件、新規利用拡大課題 5 件）、実施件数は 17 件であった。平成 22 年度に新設した戦略分野利用推進の課題種別「アクセラレータ利用技術の推進」に平成 23 年度は 3 件を採択・実施した。また「シミュレーションによるナノ材料・加工・デバイス開発」は実施 7 件（うち採択 1 件）、「社会基盤のリスク管理シミュレーションへの HPC
応用技術の開発」は実施 2 件（うち採択 1 件）、新規利用拡大は採択・実施が 5 件となった。また有償による企業での利用は 13 件（成果公開 7 件、成果非公開 6 件）であった。表 1 に共用促進トラ
イアルユースの採択課題の一覧を提示する。
表 1 平成 23 年度 共用促進トライアルユース 採択課題一覧
No.
1234

課題区分
戦略分野
ナノシム

課題名

企業名

量子化学計算を活用した企業研究の効率化

出光興産株式会社
先進技術研究所

戦略分野

大規模地震における強震動評価と株式会社 構造計画研究所

社会基盤

屋内収容物の被害評価

防災ソリューション部

戦略分野

メソ構造を持つ高分子材料の日本ゼオン株式会社

アクセラ

マルチスケール・シミュレーション

総合開発センター

戦略分野

衛生陶器設計のための並列 GPGPU

ＴＯＴＯ株式会社

アクセラ

気液二相流シミュレーション

技術開発センター

大規模三次元電磁界シミュレーションの株式会社 構造計画研究所

トンネルモデルへの適用

情報・通信事業企画部

5アクセラ

6新規拡大

7新規拡大

ＰＣクラスタミドルウェア「HarmonyCalc」のTSUBAME での動作実証実験
個別要素法を用いた粉末充填シミュレー
ションプログラムの並列化とその評価

59

株式会社 イマジオム

住友電気工業株式会社

8

新規拡大

9新規拡大

10新規拡大建築物の室内外環境の連成解析と清水建設株式会社

その高速化技術の開発

技術研究所

移流/抵抗/放電を考慮した 3 次元電界計算の電子写真設計への適用
Gaussian と GAMESS の実行を支援する
GUI ソフトの開発

株式会社 リコー

株式会社 テンキューブ研究所【課題実施】
平成 23 年度の先端研究施設共用促進事業トライアルユースの新規採択課題数は 10 件で、平成 22 年度採択の継続課題 6 件（うち 4 件は H23 年 9 月末に終了）と合わせて、14 件の実施となった。年度当初の実施計画でトライアルユース課題の年間総口数として計上していた 429 口のうち319 口を配分した。平成 23 年度のトライアルユースの実施課題と企業名、および配分した口数とその利用実績について表 2 に提示する。
表２ 平成 23 年度 共用促進トライアルユース 実施課題一覧
企業名

配分口数課題
継続課題（9 月末に終了）

利用実績

日本工営株式会社
アジアモンスーン地域の津波・高潮メガリスクに関する防災ソリューション
日産自動車株式会社
排ガス浄化触媒材料開発における第一原理シミュレーション株式会社 コベルコ科研
酸化物分散強化鋼の密度汎関数理論による界面エネルギー計算
アドバンスソフト株式会社
リチュームイオン二次電池正極の材料設計
新日本製鐵株式会社
鋼材強化に資する微細析出物成長の計算機シミュレーション
小計

54

94.93%

継続課題
株式会社豊田中央研究所
Li-グラファイト層間化合物のステージ構造変化に関するハイブリット量子古典シミュレーション
太陽誘電株式会社
強誘電体電子材料の電子物性発現に関わるナノレベル構造設計シミュレーション
小計
9395.96%

60

新規採択課題株式会社イマジオム
PC クラスタミドルウェア「HarmonyCalc」の、TSUBAME での動作実証実験
住友電気工業株式会社
個別要素法を用いた粉末充填シミュレーションプログラムの並列化とその評価
清水建設株式会社
建築物の室内外環境の連成解析とその高速化技術の開発
株式会社リコー
移流/抵抗/放電を考慮した 3 次元電界計算の電子写真設計への適用
株式会社テンキューブ研究所
Gaussian と GAMESS の実行を支援する GUI ソフトの開発
日本ゼオン株式会社
メソ構造を持つ高分子材料のマルチスケール・シミュレーション株式会社 構造計画研究所
大規模地震における強震動評価と屋内収容物の被害評価
ＴＯＴＯ株式会社
衛生陶器設計のための並列 GPGPU 気液二相流シミュレーション
出光興産株式会社
量子化学計算を活用した企業研究の効率化
株式会社 構造計画研究所
大規模三次元電磁界シミュレーションのトンネルモデルへの適用
小計
合計

17231977.59%
85.88%

3 月 11 日の東日本大震災の影響により、平成 22 年度の課題で、年度末に使用していない口数を有しているにも係わらず年度末までに課題の完了できなかった課題について、年度末で全ての口数が失効するため、利用者救済のために特例として平成 23 年度に計 20.2 口の計算口数を補填する対応を講じた。
TSUBAME が提供した計算資源に対するトライアルユース課題へ配分した共用時間の割合（共用率）は、15.6%となり、本補助事業の当初計画していた共用率 13.0%を上回った。表 3 に平成 23年度のトライアルユースの TSUBAME2.0 の使用実績を提示する。
表 3 平成 23 年度 共用促進トライアルユースの TSUBAME2.0 使用実績
計算資源供給量

使用時間 (a)トライアルユース

全産業利用

トライアルユース

実績値

実績値

年度計画値

860,953

1,145,557

1,420,000

全体提供時間 (b)5,522,546

5,522,546

10,640,000

共用率 100*(a)/(b)15.6 ％

20.7 ％

13.0 ％

使用時間、全体提供時間、共用率（単位：ノード時間はマシンタイムの単位で、1 ノード時間は1 計算ノードを 1 時間占有利用に相当。）

61

【利用者支援】
ユーザ教育の継続的な取組みは、スパコンの産業利用促進には不可欠であり、TSUBAME2.0を初めて使うすべての課題従事者に対し、利用開始前の利用講習会への参加を義務づけ、該当者のために延べ 9 回の利用講習会を開催した。その他にも、当センター主催のプログラムチューニング講習会（12 月）やアプリケーション講習会（7、11 月）、当センターGPU コンピューティング研究会による GPU 講習会（平成 24 年 3 月）、Gaussian 社と共催の Gaussian Workshop 2012（平成 24年 2 月）を開催し、様々なユーザ教育に積極的に取組んだ。日常の利用においては施設共用技術指導研究員が、TSUBAME2.0 の基本操作、プログラム開発、チューニング、並列化等の指導および支援を行った。
本事業のユーザが課題遂行のため使用する有償アプリケーションのライセンスを、TSUBAME2.0 上で使えるようにするため、当該有償アプリケーションのライセンスサーバへの設定や登録等、ユーザの課題の遂行が滞ることの無いように支援している。
【利用環境整備】
企業ユーザの GPU アプリケーション開発効率向上のための環境整備として、GPU コードジェネ
レータ HMPP の導入を行ったことで、既存プログラムの GPU 向け変更におけるコスト削減・簡易化・開発期間短縮が可能となり、GPU 利用促進に寄与した。
TSUBAME2.0 の利用に際し、計算の入出力に数 TB 以上の膨大なデータが必要な際に利用可能な「ビッグデータ アップ＆ダウンロード用ファイルサーバ」の導入を行い、ユーザの大規模な物理メディアの持込みによるデータ運搬を可能とした。
TSUBAME2.0 は Linux 系の OS に加えて、MS Window HPC サーバでの利用も可能だが、学外からのリモートアクセスが出来なかったため、MS Windows HPC サーバへアクセスするための環境の整備を行った。
TSUBAME2.0 のユーザは学外よりインターネットを介した TSUBAME2.0 への接続が可能だが、一部の製造業系企業ではセキュリティポリシーのためにインターネット経由では接続できない。また
大規模データ持込／持出などの場合には、本事業のユーザが本学での作業を必要となるが、「学外者向け作業スペース」としてはこれまで学生と共用の演習室しか無く、セキュリティの確保や授業で演習室が利用不可になるなど問題が多かった。このため学外ユーザの利便性確保のために、入室／退室の監視と施錠が可能な隔離したセキュアな端末作業スペースと利用環境の整備を行った。
【総括】
表 4 に平成 23 年度の共用促進トライアルユースと有償利用（産業利用）の課題の実施状況を示す。平成 23 年度は、産業利用においてトライアルユースで 6 件、有償利用で 10 件の採択を計画していたが、トライアルユースで 10 件、有償利用で 13 件の採択実績となり、計画を上回ることができた。

62

表 4 平成 23 年度 産業利用（トライアルユース、有償利用を含む）課題の実施の状況
利用区分

トライアルユース
有償利用（産業利用）

実 績

計画

応 募

採 択

実 施

成果公開

10 件

10 件

17 件（*1）

6 件程度

成果公開

7件

7件

7件

5 件程度

成果非公開

6件

6件

6件

5 件程度

23 件

23 件

30 件

計

*1：実施 17 件のうち 7 件は平成２２年度採択分である。
また表 2 の平成 23 年度共用促進トライアルユース 実施状況一覧で示した通り、トライアルユー
ス 17 件の実施状況は、総配分口数 319 口の 85.88%の利用率であり、平成 22 年度の 67.9%を大きく上回っている。
共用率においても、表 3 平成 23 年度 共用促進トライアルユースの TSUBAME2.0 使用実績で提示の通り、トライアルユースの共用率実績が 15.6%と、当初計画の 13.0%を上回っていることから、平成 23 年度の事業計画は数値上達成されたと判断するが、本事業の申請フローを記した Web ページや申請書フォーマット、利用細則等、現行の運用と齟齬がある箇所が散見されることから、次年度以降も継続的な「改善」を講じていく。

63