2015 年度 年報

目次

巻頭言

1

トピックス
1. ラオス人民民主共和国より友好勲章授与

3

2. TSUBAME-KFC/DL がスパコンの省エネランキング世界 2 位獲得

4

3. 次世代ファイアウォール導入

6

4. eduroam 導入

8

5. SINET5 への移行（対外接続 100 ギガ化）

10

1. 組織・運営

11

1-1 組織図11

1-2 教員一覧および人事異動

12

1-3 事務組織

14

1-4 各種委員会メンバー一覧

16

1-5 運営委員会開催状況

17

2. 情報基盤サービス
2-1 スーパーコンピュータシステム

19
19

2-1-1 構成

192-1-2 運用

21

2-1-3 実績

23

2-1-4 TSUBAME におけるアプリケーション利用状況と利用分野

29

2-2 教育用計算機システム

33

2-2-1 構成33

2-2-2 運用

34

2-2-3 実績

35

2-3 ネットワークシステム

38

2-3-1 有線ネットワーク（Titanet3）38

2-3-2 無線ネットワークシステム

39

2-3-3 その他のサービス

40

2-3-4 特記事項

42

2-4 情報セキュリティ

47

2-4-1 東工大 CERT 活動の概要

47

2-4-2 WEB サイトの運用

47

2-4-3 全学向けの注意喚起

47

2-4-4 学内向け脆弱性診断

472-4-5 標的型メール攻撃に関する訓練

47

2-4-6 ファイル共有システムの開発

48

2-4-7 講演活動等

48

2-4-8 次世代型セキュリティ機器の検証および導入

48

2-4-9 セキュリティインシデントへの対応

48

2-4-10 コンプライアンス・危機管理担当との連絡体制の構築

48

2-4-11 専任技術職員を配置

48

2-5 キャンパス共通認証・認可システム

49

2-5-1 構成49

2-5-2 運用49

2-5-3 実績50

2-6 ソフトウェア包括契約

54

2-6-1 概要

54

2-6-2 運用55

2-6-3 実績

56

2-7 学際大規模情報基盤共同利用・共同研究拠点の公募型共同研究

61

2-8

HPCI,革新的ハイパフォーマンス・コンピューティング・インフラの運用

66

2-9

TSUBAME 共同利用サービス

71

2-10 TSUBAME の産業利用サービス

73

2-11 TSUBAME グランドチャレンジ大規模計算制度

792-12 萌芽的研究課題支援制度

83

3.国際協働

87

3-1

87

MOU に基づく国際共同研究

3-1-1 ミュンヘン工科大学 Informatics 専攻,Scientific Computing

87

グループとの TSUBAME を用いた国際共同研究
3-1-2 Friedrich-Alexander-Univeisity Erlangen-Nuremberg 大学

87

Computer Science 専攻,System Simulation グループとの TSUBAMEを用いた国際共同研究
3-1-3 Princeton 大学 Princeton Institute for Computational Science &87

Engineering との TSUBAME を用いた国際共同研究
3-1-4 インド工科大学マドラス校 Biotechnology 専攻とのバイオインフォマ

88

ティクスに関する国際共同研究
3-1-5 発展途上国の世界遺産地域における持続可能な情報通信技術の応用に関する実践研究

88

3-2 海外シンポジウム・ワークショップ

88

3-2-1 文科省政府援助ユネスコ活用補助金合同シンポジウム

88

3-2-2 東京工業大学 GSIC・インド工科大学マドラス校バイオテクノロジー

89

学科共催シンポジウム
3-2-3 GSIC-KAUST シンポジウム
3-3 国際共同研究・協働事業
3-3-1 ミュンヘン工科大学・機械工学専攻 Institute of Aerodynamics

90
91
91

and Fluid Mechanics との共同研究
3-3-2 JICA（国際協力機構）との協定に基づいた「草の根パートナー

91

シップ型協力事業」
3-3-3 Free University,Berlin の Macromolecular Modeling Group との

91

共同研究
3-3-4 台湾国立大学、応用数学科学研究所との共同研究
4.イベント及び啓蒙活動

92
93

4-1 工大祭・オープンキャンパスにおける TSUBAME 一般公開

93

4-2 Supercomputing 2015 におけるブース出展

94

4-3 第 21 回スーパーコンピューティングコンテスト

96

4-4 講習会

98

4-5 GPU コンピューティング研究会活動

100

5. 広報活動103

5-1 マスコミ報道等

103

5-2 TSUBAME e-Science Journal の発行（Vol.14）

104

5-3 見学者受入状況

105

6. 予算執行状況

109

7. 研究部門活動報告

111

7-1 情報支援部門

111

一色 剛

111

権藤 克彦

113

友石 正彦

114

飯田 勝吉

116

松浦 知史

119

實本 英之

120

金

勇

123

7-2 先端研究部門

125

青木 尊之

125

松岡 聡

132

山口 しのぶ

141

関嶋 政和

143

遠藤 敏夫

145

横田 理央

149

渡邊 寿雄

152

額田 彰

153

佐々木 淳

156

下川辺 隆史

160

佐藤 幸紀

163

佐藤 仁

166

三浦 信一

168

野村 哲弘

170

小林 宏充

172

丸山 直也

174

稲富 雄一

176

7-3 受賞学術賞等

179

8.業務貢献181

8-1 専門委員会所属・開催状況

181

8-2 講演会・セミナー・シンポジウム等企画・実施状況

182

8-3 仕様策定・技術審査対応状況

183

8-4 国際共同研究コーディネート・マッチング状況

183

巻頭言
学術国際情報センター長 山田 功
学術国際情報センター（GSIC: Global Scientific Information and Computing Center）の新任センター長を拝命してから早くも１年が過ぎ、時の流れの速さに驚いております。佐伯元司
前センター長からバトンタッチしていただいた時期が前年度年報の発行直後だった特殊事情もあり、年報を通して皆様に御挨拶申し上げる機会が遅れてしまい大変失礼いたしました。就任当初は，浅学非才な私に東工大の情報基盤を担う当センターの運営責任者が務まるのか、私自身が大きな不安を覚えましたが、お２人の副センター長(青木尊之教授と西畑伸也教授)をはじめ、GSIC 教職員のみなさまの献身的なサポートと全学の皆様の温かい御理
解のおかげで、教育改革元年前夜の１年間を何とか乗り切ることができました。「乗り切ることができた」と言い切ってしまいましたが、当センターの業務の猛烈なスピード感とそれを可能にしている教職員の皆様の超人的なお仕事振りに圧倒されっぱなしの１年間でした。遠い昔，上野動物園で観た「お猿の電車の屋根に繋がれていたお猿さんの心境」と現在の私の心境にはそれほど差がないのかもしれません。どうか引き続き皆様の温かい御支援を賜りますようよろしくお願い申し上げます(1955 年頃までのお猿の電車は、猿が実際に運転していたことを最近知り、びっくりしました)。
当センターは 2001 年に発足して以来、TSUBAME をはじめとするスーパーコンピュータ
による学内外への計算サービスの提供、学内のキャンパスネットワーク、キャンパス共通
認証・認可システムの開発・運用、教育用計算機の運用、ソフトウェアサイトライセンスなど情報基盤の運用管理、情報分野における国際協働プロジェクトなどを行ってまいりました。2010 年の改組によって、学内情報基盤支援や先端的研究の取り組みを中心に一層の強化が図られました。 2014 年度に実施された外部評価では学内情報基盤サービスに関する先進的な取り組みが高く評価されましたが、同時に「継続性があまり担保されていない現在の予算や人員体制で、本センターの活動の質の高さと国内外の visibility の高さが維持されているのは、驚くべきことであり、センターの教職員の頑張りには敬服する。このような質や visibility を維持・発展させていくための予算・体制構造のあるべき姿を示し、それを学内外にどのように訴えていくか、しっかりとしたビジョンを持って検討していってほしい」という御助言もいただいており、現行の情報基盤整備とその運用体制には、サスティナビリティの観点から大きなリスクがあることが顕在化しています。特に「情報基盤という大学の教育研究を支える重要なインフラの維持・発展は大学全体で考えるべきものと思われ、大学執行部との調整の上、大学内での情報基盤整備・運用に関するガバナンス体制を構築し、（設備面だけでなく）センターの将来ビジョン・将来計画を明確にすべきと思われる」という御指摘は今後膨らみ続ける一方の情報基盤整備費を担保し続けていくために本学が抜本的な戦略を打ち出す時期を迎えていることの顕れであり、待った無しの体制で解決に当たらなければなりません。全学の皆様が享受されているサービス(例：学内のキャンパスネットワーク、キャンパス共通認証・認可システムの開発・運用、教育用計算機の運用、ソフトウェアサイトライセンスの管理、サイバーセキュリティ強化など)を安全に運用していくために必要となる最低限の予算すら不安定財源(TSUBAME 学外利用収入)に大きく依存している現状は本学が抱えるリスク要因にもなっており、運営責任者として大1

きな危機を感じています。また、国家戦略や本学の経営戦略とも深く関係する最先端情報基盤(TSUBAME など)の整備・運用には、大規模な予算が必要となるため、当センターの枠を超えた総合的戦略が不可欠であり、研究面や財政面の観点からも慎重かつ大胆に進めていく必要があります。幸い、教育改革元年を迎え、本学の情報基盤整備・運用に関する
諸課題について当センターの枠を超えて大学執行部と議論できる体制がはじまりました。
既に TSUBAME3.0 を来年度導入するための準備も進行中ですが、目先の利益だけに囚われない本質的な議論を深めていくには、現在の当センターの活動成果・方向性について学内
外のみなさまに広く御理解いただき、忌憚のない御意見、御助言を賜る機会を得ることが極めて重要です。以下に本年報から特筆すべきトピックを簡単に御紹介させていただきます。
2015 年 11 月には、本センターの TSUBAME-KFC/DL が、スパコンの省エネランキング
Green 500 List で世界 2 位にランクされました。このスパコンの前身は,、2013 年 11 月と2014 年 6 月の Green 500 List で世界一となった TSUBAME-KFC です．TSUBAME-KFC は2015 年 6 月に世界 5 位までランクを落としていましたが、TSUBAME-KFC/DL への進化に
よって再びトップレベルの座に返り咲くことができました。TSUBAME の利用サービスにおきましても，学際大規模情報基盤共同利用・共同研究拠点としての計算資源の提供、グランドチャレンジの実施、先端研究基盤共用・プラットフォーム形成事業（TSUBAME の産業界での利用サービス）など、学内はもとより海外を含む学外の産業利用まで多彩なサービスが提供され、大きな成果を挙げています。海外でも科学技術や教育技術の普及活動、
国際協働分野で数多くの事業を展開しています。その一環で本学はラオス人民民主主義共
和国より国家友好勲章を受賞しています。学内向け情報基盤の高速化・安定化・安全化・利便化を促進するための整備・運用もが進められています。国立情報学研究所が提供する学術情報ネットワークが 2016 年度から SINET5 にアップグレードされることに伴い、2016
年 3 月 23 日から，本学と SINET 間の回線は 100 ギガ回線になりました。また，世界 76 か国で利用されてきている学術無線 LAN ローミング基盤(Eduroam)が 2016 年 1 月より本学でも正式運用されることになりました。さらに，インターネットを介したサイバー攻撃の多様化に伴い，学内外でセキュリティインシデントが多発している現状に可能な限り対処していくために次世代ファイアウォールが導入されています。
以上のように本年報には当センターの１年間の活動とその成果が生々しく纏められています。本年報を御覧いただければ、みなさまが日常的に御利用されている情報基盤サービ
スを支えておられる教職員の広範な活動の一端を実感していただきながら、当センターの現在をみなさまに御理解いただけるものと確信しております。 今後とも何卒よろしくお願い申し上げます。

2

トピック１
東京工業大学がラオス人民民主主義共和国ルアンパバーン世界遺産
２０周年記念式典にて国家友好勲章を受章
東京工業大学は、ラオス人民民主主義共和国ルアンパバーン世界遺産２０周年記念式にてトンシン・タンマヴォン首相より国家友好勲章を受章した。学術国際情報センターは、理工学研究科国際開発工学専攻との連携のもと、12 年にわたりルアンパバーン世界遺産
地域の持続可能な開発を促進するために多様な情報通信技術を導入した研究を進めている。世界遺産 20 周年記念シンポジウムでは、モバイルラーニングを活用した地域住民の遺産保存に関する意識の向上に関する研究成果が発表され、世界 10 ヶ国以上、120名の参加者から注目を集めた。近年、ルアンパバーンでは、若い世代を中心にスマート
フォンの活用が拡大していることを背景に、本モバイルアプリケーションは現地調査結果に基づき（インタラクティブであること、使い勝手の良さ、英語とラオ語のバイリン
ガルサポート、長期メンテナンスの可能性）開発された。コンテンツは、ルアンパバー
ンの文化、歴史や世界遺産地域保護のための規則に関するクイズと関連情報から構成されており、世界遺産局を始め、関連政府機関や現地大学から更なるコンテンツ開発が期待されている。１０月には世界遺産保全に向けた意識向上のためのモバイルアプリケー
ション Moladok LP が公式に発表され、住民の間でのダウンロード件数が伸びている。
東京工業大学は 2010 年にラオス労働勲章を受けている。

3

トピック２TSUBAME-KFC/DL がスパコンの省エネランキング世界 2 位獲得
東 京 工 業 大 学 学 術 国 際 情 報 セ ン タ ー (GSIC) で 稼 働 中 の ス ー パ ー コ ン ピ ュ ー タ
TSUBAME-KFC/DL が 2015 年 11 月、スパコンの省エネランキングである The Green 500 List
で世界２位にランクされた。１ワットあたり 5,331.79 メガフロップスの浮動小数演算性能を達成しており、11 月 21 日、米国オースティン市で開催された国際会議 SC’15 にて発表・表彰された。

TSUBAME-KFC/DL の前身は 2013 年に稼働開始した TSUBAME-KFC と呼ばれるシステムである。
TSUBAME-KFC は、TSUBAME2 の後継となる TSUBAME3.0 及びそれ以降の世代のスパコンをより省電力化する研究のテストベッドシステムとして、同センターが推進する文部科学省概算
要求「スパコン・クラウド情報基盤におけるウルトラグリーン化技術」プロジェクトによって設計・開発された。同プロジェクトではスーパーコンピュータの計算に係る消費電力とそれに係る冷却電力の双方の削減を目標としており、TSUBAME-KFC では計算ノードを循環する油性冷却溶媒液の中に計算機システムを浸して冷却する油浸冷却技術及び冷却塔による大気冷却の組み合わせによって非常に少ない消費電力で冷却できるように設計している。このような効率的な冷却方式・GPU アクセラレータを用いた高密度なノード実装・アーキテクチャ特性を詳細に考慮したチューニングなどを組み合わせることにより、2013 年
11 月および 2014 年 6 月の Green 500 List において、TSUBAME-KFC は省エネ世界一（日本のシステムとしては初）を獲得した。しかしながら国際的な技術競争の中で、わずか一年半後の 2015 年 6 月には世界 5 位までランクを落としていた。
TSUBAME-KFC/DL システムは、TSUBAME-KFC が備えていた GPU アクセラレータ NVIDIA Tesla
K20X を、Tesla K80 へアップグレードしたものである。K80 は 1 枚のボードに 2GPU を搭載したものであるため、これまでと同じ設置面積・体積で、計算に用いることのできる GPUが倍増となった。このアップグレードにより、これまで稼働していたスパコンアプリケー

4

ションのほとんどが加速されるが、演算性能の伸びがプロセッサ間データ転送性能の伸びに比べて大きいという性質のために、近年重要性が増している深層学習(Deep Learning・DL)用途において特に大幅な加速が見込まれている。
アップグレード後の TSUBAME-KFC/DL システム構成は下記のとおりである：システムは 42
台の計算ノードとそれらを接続する FDR InfiniBand ネットワークで構成される。各計算ノードは 1U サイズのサーバに Intel Xeon E5-2620 v2 プロセッサ(Ivy Bridge EP)を 2 基、GPU として NVIDIA Tesla K80 ボード（１ボードあたり 2GPU を搭載）を 4 ボード搭載しており非常に高密度な実装となっている。42 ノードを 1 つの油浸ラックに収容するコンパク
トな設計になっており、搭載される GPU 数は 336 と膨大。システム全体の理論ピーク演算
性能は倍精度で 318 テラフロップス、auto-boost 機能を加味すると 493 テラフロップス。
さらに単精度では 951 テラフロップス、auto-boost 機能を加味すると 1476 テラフロップスと、１ラックあたりの性能が１ペタフロップスを超える。

上の写真は今回導入した NVIDIA Tesla K80 のボードを示す。１枚の PCI-Express 拡張カード上に２基の GPU が搭載されている。油浸冷却に対応するため、プロセッサと放熱用のヒートシンクの間に塗られているサーマルグリスを拭き取り、代わりにインジウム製のサーマルシートが装着されている。
この TSUBAME-KFC/DL 上で、Green 500 List の規定競技である Linpack ベンチマークを実行した。以前と同じ世代の GPU とはいえ、アーキテクチャバランスの変化に対応するために、省電力のためのチューニングをやりなおす必要があった。結果として、272.61 テラフ
ロップスの Linpack 速度を 51.13 キロワットの電力で達成した。これは冒頭で述べた通り
１ワットあたり 5,331.79 メガフロップスに相当し、本記録によって 2015 年 11 月 Green 500
List において世界二位に返り咲いた。
TSUBAME-KFC/DL システムはランキング上位となっただけではなく、深層学習アプリケー
ションやビッグデータ処理を含むさまざまなスパコンアプリケーションの省電力・高性能化研究のプラットフォームとして活用されており、引き続きスパコン・クラウド情報基盤のさらなるエネルギー最適化研究に活用される予定である。

5

トピック３
次世代型ファイアウォールの導入
背景
本センターでは、全学セキュリティ対策として、啓蒙活動、ウィルス対策ソフトウェアの全学ライセンスに加え、幹線における異常通信・不正通信・ファイル交換ソフトウェア
利用の検知・遮断などを継続して行なってきた。 しかし、インターネットにおける昨今の状況、特に攻撃の多様化によるセキュリティインシデントの多発、そこからの重要情報流出の事態が相継いでいるため、次世代ファイアウォールの導入について平成 26 年から検討が開始された。以降、機能の検討に加えて、プライバシ保護について法律顧問等と相談、
オプトアウト方法があることの確認など、通信への強い検査を行うことへの不安払拭にも務め、最終的に、本学の情報セキュリティ監査・危機管理専門委員会、本センターのネッ
トワーク専門委員会、運営委員会において、東工大 CERT と本センターによる施策の実施が決定された。
導入までの経過
その後、実機による性能評価試験の開始にあたっては、テスト開始についての周知期間を設け、全学の理解を得てから、実際の通信のコピーを用いた性能評価試験をほぼ 1 年に渡って、5 メーカ、6 機種、7 OS について実施した。 テスト期間を長く設けたのは、検出・遮断能力に加え、現在のセンター構成員により十分に運用できるかを最重要確認項目としたことによる。 現在の攻撃の多様化、変化の速度は大変早く、また、次世代ファイ
アウォールから得られる情報は多岐に渡るため、導入するだけで万全の防御となるわけではない。先行して次世代ファイアウォールを導入した事例においても、機器が境界条件にある通信についての検知・警告を行っていたにもかかわらず、運用体制が十分に対応できておらず、インシデントとなってしまった場合が報告されている。そのため本学での導入にあたっては、本来のファイアウォール機能に加え、運用支援機能、情報提供機能が、本センターと東工大 CERT の現体制、運用指針・形態・実績において、もっとも効果的に働くかどうかを、実際にある程度実施してみることで、重点的に調査・確認を行なった。具体的には、秒単位で出力されるメッセージの観測しやすさ、フィードバック可能性、蓄積したデータの分析・再利用のしやすさ、それらの連絡・啓蒙活動への利用のしやすさ等を確認した。
これらテストにより得られた知見すべてを同時に満足する機器については残念ながら確認できなかったが、実運用可能となる要求仕様は作成でき、それを満たす機種は複数確認されたため、それらを反映した仕様策定を実施し、本年度末に調達を行った。
なお、調達に際しては、予算面での目処が一時立たなくなったが、施策運用を担当する
情報支援部門に加え、本センター先端研究部門からも、全学の安全に対する懸念とともに、非常に力強い施策実施への推進があり、本年度の実施が可能となった。

6

今後
現在、本格稼働をめざしデプロイを行っている。具体的には、早い段階での全学無線サービス、イベントネットサービスでの利用の開始、それと並行して、現ファイアウォールと同時（検知のみの）利用状態に入り、誤・過遮断等、新機能にともなう副作用を十分に緩和できた後に、ファイル交換ソフトウェア検知サービスを統合する形でのリプレースを予定している。なお、これらの進捗についてはネットワーク専門委員会等を通じて全学に随時広報される。

7

トピック４eduroam 導入
1. 背景
eduroam は、欧州の GÉANT Association で開発された学術無線 LAN ローミング基盤であり、日本を含む世界の 76 か国・地域で利用されている。日本への導入は 2006 年に、国立
情報学研究所(NII)の全国大学共同電子認証基盤構築業務の一環として行われ、「eduroam
JP」として NII および東北大学が共同で国内における運用・サポートを行っている。国内
参加機関は 2016 年 3 月において、136 箇所である。
本センターでは、昨年 10 月より eduroam に参加するとともにテストを開始し、1 月からは正式運用を開始した。これにより、海外学会時等、本学構成員が世界中の学術機関において無線 LAN を利用する場合、および、国内外学術機関ゲストが本学の無線 LAN 利用をする場合の簡便性が飛躍的に向上した。
2. eduroam 構成
eduroam 基盤は、大きく分けて 2 つの機能で構成される。1 つは世界に対して利用者のeduroam アカウントを提供する共通認証基盤、そして、その認証基盤による eduroam アカウ
ントを受け入れる各機関アクセスポイントを中心とする無線 LAN 基盤である。本センター
では、2 つの機能に対応する学内サービスを異なる部門が担当していたため、利用者対応
を含めた運用体制について調整、担当確認を行った上で正式運用を開始した。また、実際の機能実現については、前者については、学術認証フェデレーションへの加入を行い、NII の提供する eduroam 仮名アカウント発行サービスを利用することとし、後者については、
本学キャンパス無線 LAN 基盤にサービスを追加することで実現し、構築、導入コストの抑制をはかった。
なお、eduroam アカウントは、東工大ポータルを通じて取得する仕組みとなっており、取得可能な者の範囲は、教職員および大学院学生としている。
また、学外ゲストが eduroam によって学内無線 LAN を利用する場合には、学外ネットワーク・アクセスとして扱われるようになっているため、学内の情報基盤・サーバなどの設定を改めて変更するなどの対応は必要ない。
3. 本年度の利用者数と今後の計画
本年度 eduroam 仮名アカウント発行サービスを利用した延べユーザ数は以下のようにな
っている。
10 月

11 月
68

12 月
157

1月
99

2月
91

計
106

521

教員および大学院学生の 1 割程度がアカウントを発行した状況であるが、一部利用者からは大変便利である旨、直接の連絡があるなど、好評を得ている。

8

学内における eduroam 利用者は、サービス開始アナウンス前から、特にヨーロッパの研究者による利用が観測され、現在は、通常時は数 10 で横ばい、学会開催時は数 100 に達する。
また、ヘルプデスクには、アカウント、学内利用について、どちらについても目立った質問はなく、現在は eduroam を知っている利用者による利用が主と考えられる。今後はより本基盤が利用可能になったことを学内にさらに広告することも検討している。

9

トピック５SINET5 への移行(対外接続 100 ギガ化）
背景
本センターでは、全国の大学・研究機関向けの接続として国立情報学研究所が提供する学術情報ネットワーク（SINET）との接続を維持しているが、平成 28 年度、その SINET が、
SINET4 から SINET5 に更新されるにあたり、多くのサービスの変更が予定されている。特に、SINET から多くの国立大学に延長していた回線供給が停止され、今後は各大学が SINET デー
タセンターまでの回線を用意することとなり、プロジェクト線もその回線に集約する、接続として 100 ギガ回線の利用が可能となることが、特に大きなものである。また、SINET5のバックボーンも 100 ギガとなる。
本センターでも、これら事項に対応するため、ネットワーク専門委員会を中心に平成
25 年から検討に入り、回線の大岡山への集中と残回線費用の調整、将来の TSUBAME の帯域利用見込みを確認の上、100 ギガ回線への移行を方針とし、最終的に、回線調達と 100 ギガへの更新を行うことで、CIO 他の承認を得た。
選定、調達回線については、国立情報学研究所があっせんする形で全国の大学が共同で調達を行い、本学もこれに参加した。また、現在の回線費用との差額については、本センター内で、キャンパスネットワーク運用経費と TSUBAME 運用経費でせっぱんすることで、全学利用と大規模高性能計算利用の双方のためのサービスであることを予算計画面でも反映させる形とした。
100 ギガスイッチについては、本学初導入となるため、ほぼ 1 年の期間を掛け機種選定から調達までを行い、最終的には特に 100 ギガと 10 ギガの混在時のキューイングに優位性を持つ機種を導入することとなった。
導入
各プロジェクト利用については、昨年度から各プロジェクトそれぞれに連絡し、随時キャンパスネットワークバックボーン利用への切り替えを実施した。回線準備としては、3
月中に、現地調査、WDM 設置、回線引き込みが終了した。100 ギガスイッチについては、納品後、1 月あまりのテスト、および、デプロイメントを行い、 3 月 23 日に、無事、本学とSINET の間の回線は 100 ギガとなった。
本 100 ギガ回線の利用により、ビックデータ関連研究など高帯域を利用する最先端研究
が、学内外の壁を越えて推進されることが期待される。

10

1.組織・運営
1-1

組織図

センター長

運営委員会

認証基盤専門委員会
ネットワークシステム専門委員会
コンピュータシステム専門委員会
グローバル情報資源活用協働専門委員会
共同利用専門委員会
広報専門委員会

情報支援部門副センター長認証・ネットワーク分野（情報支援担当）

情報基盤活用分野

副センター長

先端研究部門先端研究部門

高性能計算システム分野（先端研究担当）

高性能計算先端応用分野
大規模データ情報処理分野
情報技術国際協働分野

共同利用推進室事

務 ・ 技 術研究推進部情報基盤課
技術部情報基盤支援センター

情報基盤課長
基盤総務グループ
情報企画グループ
基盤システムグループ
認証基盤システム担当
コンピュータシステム担当
ネットワークシステム担当
情報支援グループ11

1-2

教員一覧および人事異動

セ ン タ ー 長 （ 兼 ）教授

山田 功【大学院理工学研究科】

副センター長（情報支援担当）（兼）教授

西畑 伸也【大学院情報理工学研究科】

副センター長（先端研究担当）（兼）教授

青木 尊之（高性能計算先端応用分野）

情報支援部門（認証・ネットワーク分野/情報基盤活用分野）
教

授

一色 剛

教

授

権藤 克彦

教授（兼）

友石 正彦

准

教

授

飯田 勝吉

准

教

授

松浦 知史

教

實本 秀之

助

特 任 助 教金勇

先端研究部門（高性能計算システム分野/高性能計算先端応用分野
大規模データ情報処理分野/情報技術国際協働分野）
教

授

青木 尊之

教

授

松岡 聡

教

授

山口 しのぶ

准

教

授

関嶋 政和

准

教

授

遠藤 敏夫

特任准教授

渡邊 寿雄

特任准教授

額田 彰

特任准教授

佐々木 淳

特 任 講 師

佐藤 幸紀

助

下川辺 隆史教

27.4.1～

特 任 助 教佐藤 仁

特 任 助 教三浦 信一

産学官連携研究員

野村 哲弘

産学官連携研究員

DROZD.Aleksandr

産学官連携研究員

佐藤 真平

27.4.1～

産学官連携技術員

幸朋矢

27.5.1～

産学官連携研究員

黄遠雄

27.10.1～

産学官連携研究員

Marlon ARCE ACUNA

産学官連携研究員

榎本 直子

12

～28.3.31

産学官連携研究員

山本 祐規子客 員 教 授小林 宏充

客 員 教 授JAVZAN SUKHBAATAR

客員准教授

丸山 直也

客員准教授

稲富 雄一

客員研究員

Thomas Indinger

28.3.1～28.5.1

准客員研究員LIN Xinhua

27.4.1～28.3.31

准客員研究員Jerome Frisch27.10.12～27.10.21

共同利用推進室室長（兼務） 教授

青木 尊之

副 室 長 特任准教授

佐々木 淳

特任准教授

渡邊 寿雄

教育研究支援員

松本 豊

ス タ ッ フ板倉 有希

13～28.3.31

1-3

事務組織

情報基盤課長松原 康夫～28.3.31

基盤総務グループ（庶務及び会計）
グループ長

遠藤 慎也

主

任

永山 京子

主

任

石田 千香子 27.10.1～28.3.31

スタッフ

板倉 有希

補 佐

員

金子 純子

補 佐

員

伊藤 智子

補 佐

員

土井 淳子

補 佐

員

木下 裕子

～27.9.30

情報企画グループ（国立大学法人等情報化連絡協議会等の運営・連絡調整、情報セキュリ
ティ・情報倫理に関する業務、情報学務情報部会等の運営・連絡調整
業務）
グループ長

小寺 孝志

主

森谷 寛

任

スタッフ

林

宏樹

技術職員

森

健人

技術専門員

神野 文男

27.11.1～

基盤システムグループ
グループ長

小野 忍

認証基盤システム担当（認証基盤システムの構築・運用・管理）
主

査

井上 進

スタッフ

昆野 長典

スタッフ

山﨑 孝治

技術専門員

太刀川 博之

技術職員

新里 卓史

技術職員

一瀬 光

技術職員

橋本 重治

技術職員

伊藤 剛

技 術

中井 拓人

員

14

コンピュータシステム担当（研究・教育用計算機システムの運用管理、ソフトウェア
包括契約に関する業務）
グループ長

小野 忍

スタッフ

鶴見 慶

スタッフ

梁井 善之

技術専門員

根本 忍

技術職員

安良岡 由規

技術職員

藤田 和宏

技術職員

岩井 敦子

補 佐

山田 章代

員

ネットワークシステム担当（学内基幹ネットワークの運用管理）
主

査

増渕 長興

スタッフ

谷口 公洋

技術職員

隅水 良幸

技術職員

大場 準也

技術職員

岸本 幸一

技術職員

後藤 洋子

補 佐

員

冨澤 佳子

～27.8.31

佐 員

飯塚 香菜

27.10.1～

補27.12.1～

情報支援グループ（業務システム利用等に関する総括・連絡調整・運用管理事務系ネット
ワークの維持管理業務）
グループ長

江尻 佳代

主

査

増渕 長興

スタッフ

磯野 涼子

スタッフ

福沢 秋津

補 佐

岩崎 敏則

員

15

～27.12.1
27.12.1～

1-4

各種委員会メンバー一覧
所属1

職

学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
大学院理工学研究科理学系
大学院理工学研究科工学系
大学院生命理工学研究科
大学院総合理工学研究科
大学院情報理工学研究科
大学院社会理工学研究科
大学院ｲﾉﾍﾞｰｼｮﾝﾏﾈｼﾞﾒﾝﾄ研究科
資源化学研究所
精密工学研究所
応用セラミックス研究所
原子炉工学研究所
教育推進室
研究戦略室
国際室
留学生センター
外国語研究教育センター
附属図書館
附属科学技術高等学校
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
学術国際情報センター
大学院理工学研究科理学系
大学院理工学研究科理学系
大学院理工学研究科理学系
大学院理工学研究科理学系
大学院理工学研究科理学系
大学院理工学研究科工学系
大学院理工学研究科工学系
大学院理工学研究科工学系
大学院理工学研究科工学系
大学院理工学研究科工学系
大学院理工学研究科工学系
大学院理工学研究科工学系
大学院総合理工学研究科
大学院総合理工学研究科
大学院総合理工学研究科
大学院総合理工学研究科
大学院総合理工学研究科
大学院総合理工学研究科
大学院総合理工学研究科
大学院生命理工学研究科
大学院情報理工学研究科
大学院情報理工学研究科
大学院情報理工学研究科
大学院情報理工学研究科
大学院情報理工学研究科
大学院情報理工学研究科
大学院情報理工学研究科
大学院情報理工学研究科
大学院情報理工学研究科
大学院情報理工学研究科
大学院社会理工学研究科
大学院社会理工学研究科
大学院社会理工学研究科
大学院社会理工学研究科
大学院ｲﾉﾍﾞｰｼｮﾝﾏﾈｼﾞﾒﾝﾄ研究科
精密工学研究所
附属科学技術高等学校
東京大学
国立情報学研究所
名古屋大学
筑波大学
電気通信大学

教授
教授
教授
教授
教授
教授
教授
教授
准教授
准教授
准教授
准教授
准教授
准教授
准教授
教授
教授
講師
教授
教授
准教授
准教授
教授
准教授
教授
准教授
教授
教授
教授
教授
教授
特任准教授
特任准教授
特任准教授
助教
助教
特任助教
准教授
准教授
教授
教授
助教
准教授
准教授
准教授
教授
教授
教授
准教授
教授
准教授
教授
准教授
教授
教授
准教授
教授
教授
教授
教授
准教授
准教授
准教授
准教授
教授
准教授
准教授
准教授
教授
助教
教授
教授
教授
副校長
准教授
副所長
教授
准教授
教授

名

国立研究開発法人海洋研究開発機構

HPCI応用グループリーダー

主任研究員
ニューメリカルテクノロジーズ 代表取締役社長
事務局
事務局長
教務課
課長
施設整備課
グループ長
情報図書館課課長
施設安全総合企画課安全企画室 室長
情報基盤課
課長
NTTメディアインテリジェンス研究所

氏

名

運営委員会

認証基盤

山田 功
西畑 伸也
青木 尊之
一色 剛
権藤 克彦
松岡 聡
山口 しのぶ
友石 正彦
横田 理央
飯田 勝吉
関嶋 政和
遠藤 敏夫
松浦 知史
竹内 一将
塚越 秀行
櫻井 実
出口 弘
中村 隆志
桑子 敏雄
二宮 祥一
関
宏也
宮本 智之
東 正樹
筒井 広明
久堀 徹
田中 圭介
高田 潤一
須佐 匡裕
山崎 太郎
高橋 栄一
宮本 文人
渡邊 寿雄
佐々木 淳
額田 彰
實本 英之
下川辺 隆史
金 勇
植草 秀裕
村山 光孝
河合 誠之
齊藤 晋
岡元 太郎
山下 幸彦
山岡 克式
川内 進
店橋 護
神田 学
松澤 昭
藤田 英明
山口 雅浩
杉野 暢彦
山村 雅幸
肖 鋒
新田 克己
伊東 利哉
小野 功
伊藤 武彦
横田 治夫
秋山 泰
徳永 健伸
西崎 真也
脇田 建
首藤 一幸
鹿島 亮
篠田 浩一
渡部 卓雄
原 精一郎
赤間 啓之
室田 真男
棟居 洋介
西原 明法
尾形 わかは
奥村 学
仲道 嘉夫
片桐 孝洋
安達 淳
太田 元規
建部 修見
成見 哲
浅野 俊幸
高村 誠之
鳥居 秀行
丹沢 広行
田中 昇
村山 修
加藤 晃一
本城 弘幸
松原 康夫

★
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○

○
○
★
○

ネットワーク CC研究系 CC教育系 ｸﾞﾛｰﾊﾞﾙ資源共同利用 広
○
○
○
○
★

○

○
○
○
○
★
○
○

○
○
★
○

○
○
★

報
○
★
○
○

○
★

○

○

○

○

○

○

○
○
○

○
○

○
○

○
○

○

○

○

○

○

○

○

○

○
○

○

○
○

○

○
○
○

○
○

○
○
○
○
○
○
○
○
○

○
○

○
○
○
○

○
○
○
○
○

○

○
○
○

○
○
○
○
○
○

○

○

○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○

○
○
○
○
○
○

★ 委員長

16

○

○

1-5 運営委員会開催状況
第１回運営委員会
開催日 ２０１５年６月１１日（木）１．審議事項（１）平成２７年度学術国際情報センター特任教員称号付与について（２）準客員研究員の受入について
２．報告事項（１）平成２７年度専門委員会委員の選出について（２）セキュリティ関連報告（３）専門委員会・部門報告（４）業務報告

第２回運営委員会
開催日 ２０１５年９月１７日（木）１．審議事項（１）平成２７年度学術国際情報センター特任教員称号付与について
２．報告事項（１）第２１回スーパーコンピューティングコンテスト開催報告について（２）平成２７年度学術国際情報センター執行計画（案）について（３）HPCI 共用ストレージ障害について（４）セキュリティ関連報告（５）専門委員会・部門報告（６）業務報告

第３回運営委員会
開催日 ２０１５年１２月２５日（金）１．審議事項（１）自主事業を含んだ平成 28 年度からの TSUBAME 共同利用について（２）学術国際情報センター規則の一部改正について（３）学術国際情報センター助教の選考に関する申合せの一部改正について（４）客員研究員の受入れについて

17２．報告事項（１）学術国際情報センター情報支援部門情報基盤活用分野教授選考委員会設置について（２）セキュリティ関連報告（３）専門委員会報告（４）業務報告

第４回運営委員会
開催日 ２０１５年３月６日（金）１．審議事項（１）学術国際情報センター情報支援部門教授の選考について（２）学術国際情報センター先端研究部門准教授の選考について（３）学術国際情報センター先端研究部門特任准教授の選考について（４）平成２７年度学術国際情報センター客員教員の選考について（５）平成２７年度学術国際情報センター特任教員称号付与について（６）準客員研究員の受入について（７）東京工業大学特別研究員の称号付与について
２．報告事項（１）セキュリティ関連報告（２）各専門委員会・部門報告（３）業務報告18

2

情報基盤サービス

2-1 スーパーコンピュータシステム
2-1-1

構成

平成 22 年 11 月より TSUBAME Grid Cluster(TSUBAME1.2)に代わり「クラウド型グリーン
スーパーコンピュータ」TSUBAME2.0 を導入、平成 25 年 9 月には GPU を入れ替えることで性能・電力効率を向上させた TSUBAME2.5 として運用している。
TSUBAME2.5 は NEC のシステムインテグレーション技術を中心に、Intel、HP、NVIDIA、
DataDirect Networks、Voltaire 等の優れた技術を用いて構築されており、大規模並列計算機及び流体解析・構造解析・計算科学等の大規模計算処理をおこなう HP 社のサーバ群及びNVIDIA 社の GPU(総合演算性能(ピーク) 5.76PTFlops)、ペタバイト級 HDD ストレージ(総容量 7.13PB)で構成されている。(前システムと比べ演算性能で約 67 倍、ディスク容量で約 7倍の性能向上)平成 25 年 11 月に発表された Top500 のランキングで 1.19PFlops で世界第 11 位、スーパ
ーコンピュータの省エネランキングである The Green500 では 3,068.71MFlops/W で世界第 6
位にランキングされた。
なお、性能向上前の TSUBAME2.0 は、平成 24 年 2 月、スーパーコンピュータ界の業界紙として広く信頼を集めている HPC Wire 紙上にて TOP500、Graph500、GREEN500 の指標を基に解析が行われ、世界をリードするトップランクのスーパーコンピュータであるとの評価を受けている。

19

(http://www.hpcwire.com/hpcwire/2012-02-02/number_crunching,_data_crunching_and_energy_efficiency:_the_hpc_hat_trick.html)○演算ノード： HP ProLiant SL390s、HP ProLiant DL380 G7【ハードウェア構成】
ノード数

プロセッサ

Thin ノード

1,408

Medium ノード

24

Fat ノード

10

計

1,442

Thin ノード

Intel Xeon X5670(2.93GHz)×2

Medium、Fat ノード

Intel Xeon X7550(2.0GHz)×4

プロセッサ数

2,952CPU / 17,984 CoreGPUNVIDIA Tesla K20X

GPU 数4,224 GPU / 11,354,112 Core

演算性能

5.76PFlops (ピーク性能)

主記憶容量110.7 テラバイト【ソフトウェア構成】
OS

Linux, Windows Server

コンパイラ等C, C++, Fortran

ライブラリ

OpenMP, MS MPI, CUDA, CULA

アプリケーションPGI CDK, Intel compiler, ABAQUS, MD NASTRAN, PATRAN, ANSYS,
LS-DYNA, Fluent, AVS/Express PCE, AVS/Express Developer,
EnSight, AMBER, MOPAC, Molpro, Gaussian, GaussView, Linda,
Scigress, Materials Studio, Discovery Studio, Mathematica,
Maple, MATLAB○高速フーリエ変換演算加速装置： TESLA S1070【ハードウェア構成】
台数

170 台

演算性能

59TFlops (ピーク性能)○ペタバイトスケール・データアーカイブ： Sun SL8500【ハードウェア構成】
台数

2台

総容量

4PB(非圧縮時、LTO4 テープ 5000 巻使用)20

2-1-2

運用

1) 24 時間運転
計算機システムは定期点検を除き、1 日 24 時間 365 日運転している。従って、利用者
はキャンパスネットワークを介し、研究室から 24 時間計算機システムを利用することができる。
2) ホスティングサービス
TSUBAME2.5 の一部を利用して学内向けホスティングサービスを行っており 2016 年 3 月
末現在、以下の合計 66 プロジェクトが TSUBAME ホスティングを利用している。
仮想ホスティングサービス(47 プロジェクト)
1. WEB サーバ代行サービス
2. HPCI 管理システム
3. Tokyo Titech OCW
4. 化学物質管理支援システム
5. 環境安全衛生教育システム
6. 総合プロジェクト支援センター
7. 研究力 DB(高度化プロジェクト)
8. TAMEDAS (Tokyo Tech Alumni Member Database System) 事業
9. 応用セラミック研究所ホームページ
10. Tokyo Tech E-Learning for Information Technology Education
11. 大学情報データベース
12. 電気電子工学専攻・電子物理工学専攻ホームページ
13. 生命時空間ネットワーク進化型教育研究拠点
14. 国際開発工学専攻 web サーバ
15. 原子炉工学研究所 Web システム
16. 施設運営部建物情報管理システム
17. STAR サーチ
18. 通時コーパスによる古代語話しことばの再現プロジェクト
19. 教務 WEB システムバックアップサーバ
20. 教務基幹システムバックアップサーバ
21. 授業評価アンケートシステム
22. 多言語対応日本語読解学習支援システムあすなろ
23. 広報センター
24. 情報基盤支援センターWeb フォーム提供サーバ
25. 東工大元素戦力拠点
26. 研究企画課グループウェア導入
27. グループウェア導入評価

21

28. 研究戦略推進センタースケジュール管理29. 地球生命研究所 Web サーバ
30. 認証基盤システム担当
31. 教育システム
32. 学生調査 2014
33. CAMPAS Asia Research Review
34. オンライン教育プロジェクト
35. 研究者情報管理システム
36. 社会人教育院講座支援システム
37. TiROP CANVAS
38. 2015 年度 4 月入社学生対象 東工大 就職活動アンケート調査
39. 情報活用 IR 室
40. 学びのコミュニティシステム
41. 学生の自己管理学習を支援する IR システムの構築
42. 東京工業大学リサーチリポジトリ(T2R2)
43. 2016 年 4 月入社学生対象 東工大 就職活動アンケート調査
44. 添付ファイルを抑制する次元的なファイル共有システム
45. 『以心電心』ハピネス共創研究推進機構
46. イノベーション人材養成機構(IIDP)教育院登録データーベース
47. 機械系 SolidWorks ライセンス管理

個別ホスティングサービス(1 プロジェクト)
1. 人事給与 web システム、物品等請求システム、出張旅費システム、財務会計システム
等 (事務局)

ライセンスサーバホスティング(17 プロジェクト)
アプリケーション名

プロジェクト名

1. Atomistix---

2. Agilent EMPro 2008

大規模空間での高い周波数におけるアンテナ伝播・電磁界シミュレーション

3. Fluent FC モジュール---

4. COMSOL Multiphysics

COMSOL Multiphysics による連成解析・電磁応力解析

5. sysnoise

折り紙工学の産業への応用

6. MATLAB

平成 20 年度文部科学省大学院教育改革支援プログラム
PBL と論文研究を協調させた教育の実践

22

7. Metacomp CFD++

素反応過程を考慮した燃焼シミュレーション技術の開発

8. MATLAB

旧機械系 COE MATLAB 利用グループ

9. PGI SV Compiler Linux

学外者用 PGI コンパイラ

10. Intel Cluster Toolkit

学外者用 INTEL コンパイラ

Compiler Edition
11. Fluent FC モジュール

燃料電池のシミュレーション

12. MATLAB

旧教育用電子計算機システム MATLAB(学内配布用)

13. COMSOLTSUBAME による MEMS 構造解析

14. SCRYU/Tetra

熱流体解析ソフトウェア

15. Materials Studio

化学アプリケーション

16. COMSOL

伝熱・流体達成解析を用いたレーザ加工減少の解明

17. ansys---

18. COMSOL

高圧圧電ポンプの開発における COMSOL ライセンス

2-1-3 実績
◎H27 年度計算機利用料収入内訳
総収入141,449,091

学内

45,420,000

学外

国立大学／大学共同利用機関

14,628,075

公立大学

1,036,942

私立大学

1,555,661

独立行政法人

1,944,000

民間

72,846,300

その他

129,600◎利用者登録状況
平成 27 年

平成 28 年

4月

5月

6月

7月

8月

9月

10月

11 月

12 月

1月

2月

3月

9346

9442

9501

9451

9488

9504

9617

9671

9587

9593

9611

9659

23

◎所属別登録状況◎システム利用状況
インタ
ラクテ

バッチキュー

予約キュー

ィブ
ログイ

H28 年

H27 年

ン数

ジョブ件数

CPU 時間

GPU

提供ノ

(時)

割り当て数

ード数

利用ノ

利用グ

ード数

ループ

*1

数

4月

646

26,818526,457

89,435

7,140

420

1

5月

553

44,956

1,802,690

160,485

13,020

632

23

6月

624

53,625

1,792,145

277,741

9,660

722

24

7月

551

79,4932,013,634

140,657

7,534

906

43

8月

468

104,001

2,092,228

156,514

6,386

3,624

55

9月

451

124,425

1,856,292

223,559

7,888

3,882

99

10 月

683

209,244

1,975,395

175,767

9,240

2,585

48

11 月

658

153,547

2,028,889

327,317

12,600

3,001

56

12 月

608

167,6102,510,624

249,629

11,760

4,505

60

1月

650

129,020

2,695,386

304,175

11,760

3,376

41

2月

547

339,423

3,382,351

209,067

12,180

9,366

109

3月

482

327,7392,398,624

372,224

9,240

8,006

74

1,759,901

25,074,715

2,686,570

118,408

41,025

633

合計

-

24

*1： 予約キューは予約が入っていない場合、短時間キューとして運用*2： 予約キューは節電のため平日縮退運転*3： 予約キューは実行機会均等化のため休日サービス停止◎システム障害件数
平成 27 年

平成 28 年

4月

5月

6月

7月

8月

9 月 10月 11月 12 月 1 月

2月

3月

合計

32

18

86

36

69

12

119

27

12

38

36

2

487

36

19

14

46

80

47

49

24

25

53

21

39

453

その他

27

56

16

32

32

20

20

33

56

5

6

123

426

月小計

95

93

116

114

181

79

188

84

93

96

63

164

1,366

ソフト
ウェア
ハード
ウェア

◎運用実績
平成 27 年4 月 2 日 16:00～

グランドチャレンジ実施に伴うサービス停止(全 Thin ノード)4 月 6 日 16:00
4 月 6 日 16:00
4 月 14 日
4 月 21 日～4 月 28 日
4 月 28 日～6 月 10 日
6 月 5 日～6 月 11 日
6 月 16 日
7 月 1 日～9 月 30 日
8 月 12 日 15:00～
8 月 17 日 15:00
9 月 16 日
9 月 29 日 13:00～
10 月 1 日 17:00

TSUBAME2.5 計算サービスの平成 27 年度運用開始
グランドチャレンジ実施に伴うサービス停止(420 ノード)
平成 27 年度前期 TSUBAME 講習会の開催
グランドチャレンジ実施に伴うサービス停止(420 ノード)
ピークシフト運用の実施
夏季一斉休業及び夏季法令停電に伴う TSUBAME サービス停止
グランドチャレンジ実施に伴う H/X キュー停止(420 ノード)
グランドチャレンジ実施に伴うサービス停止(全 Thin ノード)

10 月 14 日～12 月 1 日

平成 27 年度後期 TSUBAME 講習会の開催

12 月 29 日～

年末における H キューの停止

平成 28 年 1 月 4 日

25

平成 28 年 3 月 22 日

グランドチャレンジ実施に伴う H/X キュー停止(420 ノード)3 月 23 日～3 月 28 日

年度末における H キューの停止
年度末メンテナンス、グランドチャレンジ(全 Thin ノード)に

3 月 29 日～4 月 5 日

伴うサービスの停止◎TSUBAME 2.5 キュー構成
ノード数
サービス

キュー名

用途

コア数
スレッド数

無料

インタラ

デバック，

クティブ

ジョブ投入

時間
制限

S

中規模並列

240

30 分

従量

S96
メモリ

3600

1～4 日

41
492

1～4 日

984
10
従量

L128

96GB 以上のメモリ
96GB 以上の
従量

L128F

メモリ
GPU あたり 6GB の
メモリ

従量

L256

128GB 以上のメモリ

256GB 以上の
従量

L512
メモリ

上限

6GB

4

*9

320

1～4 日

640
10
320

1～4 日

640
8
256

1～4 日

512
2
64

1GB*4
(54GB まで)

7200

*14

1GB*4
(96GB まで)

984

*5

1GB*4
(128GB まで)

640

*6

1GB*4
(128GB まで)

640

*6

1GB*4
(256GB まで)

512

*7

128

*8

1GB*4
1～4 日

128

(512GB まで)
G 側で
480

従量

G

GPU 専用

備考

480

7200*1354GB 以上の

並列数

20

300
無料

メモリ制限

1920
3840

26

1～4 日

1GB*4

無制限

コア指定
は不可能

240
従量

U

ノード内並列

1920

ジョブ
1～4 日

1GB*4

3640(最大)V

ノード内並列

3440

1～4 日

1GB*4

6880(最大)定額

Vw

WindowsHPC*1

40 ノード*12

1～4 日

1GB*4

定額

Sw

WindowsHPC*1

8 ノード*12

1～4 日

1GB*4

予約

H*3
X*14

420
大規模並列

5040
10080

仮想環境

り可変

430
定額

量によ

割当に

仮想環境

よる*10
割当に

仮想環境

よる*11
192

native
予約期間

スロッ
ト時間

*4

1GB

10080

はshh
接続可能

1. 事前の利用準備が必要です。
2. 利用状況に応じて動的に配置されます。
3. 利用するためには事前に予約システムでスロットの予約を行う必要があります。(最小ノード数：16 ノード、最大スロット数：7)
予約方法に関しては『TSUBAME2.5 利用ポータル利用の手引き』を参照して下さい。
4. 「mem」オプションで変更可能です。詳細は『TSUBAME2.5 利用の手引き』の「5.5 メモ
リサイズの指定」を参照して下さい。
5. S に比して 1.2 倍の課金がかかります。(使用時間に 1.2 倍の係数がかかります)6. S に比して 2 倍の課金がかかります。(使用時間に 2 倍の係数がかかります)
7. S に比して 4 倍の課金がかかります。(使用時間に 4 倍の係数がかかります)8. S に比して 8 倍の課金がかかります。(使用時間に 8 倍の係数がかかります)9. 経過時間ではなく、プロセスごとの CPU 時間が最大 30 分となります。
10. 1 ユニットあたり、64CPU(64 並列または 64 本のシングルジョブ)となります。
11. 1 ユニットあたり、24CPU(24 並列または 24 本のシングルジョブ)となります。
12. 別途用意されている『TSUBAME2.5 Windows 環境利用の手引き』を参照して下さい。
13. ジョブの混雑状況に応じて割り当てが増える可能性があります。
14. S キューに投球されたジョブのうち、翌日 9 時までに終了するアレイ以外のジョブは X
キューとして、H キューの予約が無いマシンに割り当てます。(X キューは通常見えません)27※ノード割り当てポリシーについて
ノードのユーザーへの割り当て方法によって、占有ノードと共有ノードの 2 種類に分けられます。
占有ノード
各ノードは、1 つのジョブによって占有されます。1 つのジョブが複数のノードを使用することも可能です。 S、L128、L128F、L256、L512、S96、G、U、X キ
ューおよび予約キューのノードが該当します。
共有ノード
各ノード内で、リソースが許す範囲で不特定多数のユーザーによる複数のジョブが実行されることがあります。1 つのジョブが複数のノードを使用することも可能です。 V キューのノードが該当します．

28

2-1-4TSUBAME におけるアプリケーション利用状況と利用分野
共同利用推進室

特任准教授

高性能計算システム分野 助教

佐々木 淳
下川辺 隆史

高性能計算システム分野 産学官連携研究員 野村 哲弘
TSUBAME におけるアプリケーションの利用状況
TSUBAME には様々な有償アプリケーションおよびフリーアプリケーションが導入されている。TSUBAME に導入された代表的な有償・フリーアプリケーションの利用状況について、2015 年度（2015 年 4 月 1 日-2016 年 3 月 31 日）にこれらのアプリケーションを使用したユ
ニークなユーザ数、アプリケーションが使用した CPU 時間の割合、バッチキューにおいて
アプリケーションが使用したノード時間の割合とそのユーザ数を示す。ただし、バッチキ
ューにおけるノード時間とそのユーザ数の集計には、インタラクティブノードでの使用時間は含まない。

図１

アプリケーションを使用したユニークなユーザ数

29

図２

アプリケーションが使用した CPU 時間の割合

図３ アプリケーションが使用したノード時間の割合とそのユーザ数

30

TSUBAME におけるコンパイラの利用状況
TSUBAME では、ソフトウェア開発環境として GNU コンパイラコレクション（GCC）、Intel社製コンパイラおよび PGI 社製コンパイラを提供している。これらを 2015 年度に利用した
ユニークなユーザ数について示す。

図４ コンパイラを使用したユニークなユーザ数

31

TSUBAME の利用分野
TSUBAME は様々な専門分野をもつ研究者による研究活動、民間企業による研究開発、また学内の講義や講習会など教育に使用されている。以下に TSUBAME の利用分野の内訳について示す。各ユーザが TSUBAME アカウントを作成した際に登録した利用目的（研究分野、教育など）と各ユーザの使用した TSUBAME ポイントに基づいて、算出している。

図５ TSUBAME の利用分野

32

2-2 教育用電子計算機システム
2-2-1

構成

教育用支援設備は学部 1 年生を対象にする情報基礎科目教育と学部 2 年生以上を対象にする専門科目教育の内容、及び教育効率を考慮して、
1 クラスの学生数 80 人を単位に教室(演習室、実習室)は 4 つに分れている。
なお、教室にはそれぞれに Mac OS と Windows のデュアルブートで運用する iMac 約 80 台とカラーレーザプリンタを設置し、以下のシステム構成図のとおりキャンパスネットに接続されている。

【ハードウェア構成】
クライアント端末

学術国際情報センター3 階実習室

86 台

(iMac)

大岡山南 4 号館情報ネットワーク演習室

166 台

すずかけ台情報ネットワーク演習室

85 台

学術国際情報センター1 階オープン入出力室

4台

すずかけ台総合研究館動画像処理室

5台

大岡山西 9 号館 ICS

7台

大岡山附属図書館

8台

33

カラーレーザプリンタ

学術国際情報センター3 階実習室

5台

大岡山南 4 号館情報ネットワーク演習室

4台

すずかけ台情報ネットワーク演習室

2台

学術国際情報センター1 階オープン入出力室

1台

すずかけ台総合研究館動画像処理室

1台【ソフトウェア構成】
オペレーティングシステム

Mac OS X 10.10 Yosemite
Windows 8.1 Pro

アプリケーション

Adobe Creative Cloud, ChemBioOffice Ultra, Gaussian,GaussView, MATLAB, Mathematica, Microsoft Office,Spartan

プログラミング言語処理系

C, C++, Common Lisp, Eclipse, Etoys, Fortran77,
Fortran90/95, Java, Pascal, Perl, Prolog, Python,Ruby, Squeak, Xcode

2-2-2

運用

(1) 利用者登録
全学認証システムからのデータ提供を受けており、TSUBAME2.5 と同じアカウントで利用することができる。(事前に TSUBAME2.5 のアカウント取得が必要)(2) 夜間利用
平日 17:00 以降に演習室に入室する場合は IC カード(学生証)を使う。ただし、入室は次のとおり時間制限がある。
1)

センター3 階実習室：
平成 25 年度に監視カメラを再設置したが防犯上の理由から夜間利用は行っていない。

2) 大岡山情報ネットワーク演習室：
平成 25 年度に監視カメラを設置し、21 時までの夜間利用を行っている。
3) すずかけ台情報ネットワーク演習室：
平成 25 年度に監視カメラを再設置したが防犯上の理由から夜間利用は行っていない。
なお、いずれも演習室(実習室)も土曜・日曜及び祭日は防犯上の理由から入室を禁止している。
(3) 利用期限
東工大 IC カードの有効期間に準ずる。
(東工大 IC カードの有効期限が延長された場合は、自動的に延長される)34

2-2-3

実績◎ログイン回数【大岡山】
GSIC

南 4 号館

学内設置

第1

第2

第1

第2

オープン

実習室

実習室

演習室

演習室

入出力室

H27 年 4 月

1,415

564

3,247

4,800

69

860

31

5月

1,263

478

2,301

3,784

41

817

20

6月

1,997

775

3,816

5,550

51

1,177

51

7月

2,115

1,156

3,745

5,867

111

1,578

60

8月

360

73

316

520

33

506

22

9月

14

47

204

10

24

210

0

10 月

822

527

2,003

3,642

54

887

9

11 月

783

542

1,991

3,597

81

950

11

12 月

764

554

1,680

2,904

75

769

9

H28 年 1 月

781

721

1,828

3,291

119

851

7

2月

440

329

693

1,484

57

633

6

3月

171

112

155

420

14

229

0

【すずかけ台】
すずかけ台

学内設置

演習室

動画像処理室

H27 年 4 月

901

8

5月

906

4

6月

1,042

15

7月

984

18

8月

63

34

9月

28

23

10 月

555

16

11 月

481

12

12 月

669

15

H28 年 1 月

544

8

2月

300

19

3月

96

28

35

図書館

ICS

◎授業数
大岡山 学術国際情報センター(情報棟) 3F 第 1 実習室
授業数
H27 年度前期

H27 年度後期

コンピュータリテラシ

10コンピュータサイエンス

0

0

その他

8

7

大岡山 学術国際情報センター(情報棟) 3F 第 2 実習室
授業数
H27 年度前期

H27 年度後期

コンピュータリテラシ

00コンピュータサイエンス

0

0

その他

3

2

大岡山 南 4 号館 3F 情報ネットワーク演習室 第 1 演習室
授業数
H27 年度前期

H27 年度後期

コンピュータリテラシ

70コンピュータサイエンス

0

3

その他

2

7

大岡山 南 4 号館 3F 情報ネットワーク演習室 第 2 演習室
授業数
H27 年度前期

H27 年度後期

コンピュータリテラシ

70コンピュータサイエンス

0

5

その他

4

9

すずかけ台 情報ネットワーク演習室
授業数H27 年度前期

H27 年度後期

コンピュータリテラシ

20コンピュータサイエンス

0

1

その他

3

8

36

◎プリンタ利用状況

印刷枚数

印刷件数

利用者数

H27 年 4 月

21,019

4,408

1,009

5月

21,483

5,399

1,110

6月

32,532

7,731

1,443

7月

44,376

12,015

1,760

8月

6,268

1,580

461

9月

1,109

271

83

10 月

22,096

5,458

1,303

11 月

24,739

6,772

1,469

12 月

23,532

5,925

1,423

H28 年 1 月

29,026

8,183

1,603

2月

27,505

6,771

1,170

3月

14,0361,448

313

267,72165,961

3,967

合計

37

2-3 ネットワークシステム
2-3-1 有線ネットワーク（Titanet3）
Titanet3 の運用開始から本年度末で 6 年が経過した。ルータ・スイッチの平均利用年数
は 5 年から 6 年と言われており、Titanet3 はいよいよその期間を越えることとなったが、今年度も安定稼働・運用を続けることができた。具体的には、大規模安定化作業は、スイッチ群の OS 更新作業を各キャンパスの法定停電に合わせて実施したもののみとした。小規
模なメンテナンス作業は、特に PoE スイッチのファンの経年劣化故障に対応する作業を中
心に、随時、丁寧迅速に実施した。 停電時以外に実施したこれらメンテナンス作業について章末に示す。問題の PoE スイッチについては、メーカの無償保守期間が 2016 年 10 月で終了するのにともない、新機種への入替え交換を段階的に実施する予定である。
このように計画的、かつ、迅速なメンテナンス作業を続けた結果として、これらメンテナンスによる停止時間を含めても、全機器、サービス用アプライアンスなど、各ハードウェ
アの年度期間稼働率は 99%以上を実現した。章末に稼働率（表）を示す。
以下に、現在の Titanet3 幹線部分の構成を示す。

Titanet3 の構成

本年度も新規の建物へのスイッチの配備があり、若干のエッジスイッチ台数増があった。
また、最大の対外接続である SINET の更新に合わせて 100 ギガスイッチ・および、回線の調達を行い、3 月には無事 SINET5 の 100 ギガ接続への移行を行った。これにより、本学の対外接続は SINET100 ギガ、WIDE,APAN,JGN 合わせて 10 ギガとなり、最高速度帯域を持つ学術機関の一つとなっている。100 ギガ接続はそのまま TSUBAME に引き込まれるとともにキャ
ンパス LAN も一部を並用し、通常の教育・生活・研究利用と最先端科学技術計算が共存する形態を取っている。

38

セキュリティ機器は、これまでと変わらず、ファイアウォール、ファイル交換ソフトウ
ェア検知機、WAF(Web Application Firewall)を運用し、セキュリティインシデント等に合わせ、上記機器を用いてのポート制限、注意喚起を行った。ファイル交換ソフトウェアの検知状況については後述する。例年同様、攻撃に利用されるポートについては、追加で全学遮断としている。また、東工大 CERT とともに次世代ファイアウォールの調達を行い、現在デプロイメントを実施している。
ファイバ網等の工事拡充については、石川台地区へのファイバを増設し、これにより、
地区間ファイバ枯渇に対する対策は終了した。また、いくつかの空調工事と、長い間、懸念事項となっていた食堂におけるネットワーク作業環境改善工事を行い、キッチンとスイッチ等ネットワーク管理スペースの分離を実現した。食堂は学生会館のない大岡山キャン
パスにおいては、学部学生の情報交換の場であり、いこいの場でもある。今回の工事により、現在提供されている全学無線 LAN、サイネージシステムによる情報提供加え、より充実した通信環境を随時提供可能となった。
2-3-2 無線ネットワーク（TW2）2010 年 3 月に更新された無線ネットワークシステムでは、本年度も順調に配備が進み、
22 台のアクセスポイントが増設され、年度末時点で 766 台（大岡山：562 台、すずかけ台：
196 台、田町：8 台）が稼働している。安定・安全運用のため、夏と冬にコントローラ OSの更新を行ったが、夏の更新では OS にバグが出たため切り戻し対応を行い、秋に出たバー
ジョンによる再更新を行った。現在、冬の更新により、さらにマイナーバージョンアップ
された OS によって安定運用を行っている。以下に、現在の無線ネットワークが利用可能なエリアを示す。
無線ネットワーク利用可能エリア

次 期 全学 無線 LAN である TokyoTech の 試 験サー ビ スは ほぼ 1 年 になり 、 現行 のtitech-pubnet からの移行は順調に進んでいる。テストサービスが長くなっているのは、
次世代ファイアウォールによるサービスと融合後に本サービスとする予定のためである。
また、学会等の実施に欠かせないイベント用ネットワークサービス、訪問者向けの商用無

39

線 LAN 接続サービスも引き続き提供しており、多くの利用がある。本年度のイベントネッ
トワークの利用状況を以下に示す。

利用件数

合計： 89件
15
12
9
6
3
0
4月 5月 6月 7月 8月 9月

10
月

11
月

12
1月 2月 3月
月

有線と無線

0

1

0

0

1

0

0

0

1

1

1

0

無線

3

2

2

4

4

9

9

6

6

4

5

7

有線

2

0

0

1

1

1

1

0

0

0

0

1

イベント用ネットワークサービス利用件数の状況

また、本年度は、世界的学術無線 LAN ローミング基盤 eduroam の導入を認証基盤システ
ム担当とともに行い、認証基盤システム担当が東工大構成員が学内外で eduroam を利用するときの認証の実現を行い、ネットワークシステム担当が、学内外利用者が東工大において無線基盤を利用するための通信部分の提供を担当した。 これにより、東工大構成員
が学外学術機関において簡単に無線 LAN 利用ができるようになるとともに、イベントネッ
トワークが準備されていない時にも、学外学術機関からのゲストが簡便に無線 LAN の利用が可能となった。eduroam の展開が進んでいるヨーロッパの研究者の利用が多く観測されている。
2-3-3 その他のサービス(1) サーバ代行サービス DNS(コンテンツ)サーバ代行サービス、WWW サーバ代行サービス)
昨年度末からテスト運用を開始した新規 WWW サーバ代行サービスについては、6 月から本運用とし、新規サービス利用者、および、希望者による本利用を始めている。特に、ソフトウェアにセキュリティの問題が出た利用者と、組織改革に伴う利用者が現在のところ多い。また、改革後の組織は従来組織より規模が大きいところが増えたため、利用可能
ディスク容量の増加策も実施した。 本年度の DNS 並びに WWW サーバ代行サービス利用状
況を示す。

40

252
250
248
246
244
242
240
238
236
234
232
4月 5月 6月 7月 8月 9月

10
月

11
月

12
1月 2月 3月
月

10
9
8
7
6
5
4
3
2
1
0

合計 238 240 243 243 243 244 244 244 245 248 250 250
追加

1

2

3

0

0

1

0

0

1

3

2

0

削除

9

0

0

0

0

0

0

0

0

0

0

0

DNS サーバ代行サービス利用件数の状況

445
440
435
430
425
420
415
410
405
400

30
25
20
15
10
5
10
4月 5月 6月 7月 8月 9月
月

11
月

12
1月 2月 3月
月

0

合計 416 420 425 427 430 431 434 434 434 438 439 419
追加 11

4

5

2

3

1

3

0

0

4

1

1

削除 27

0

0

0

0

0

0

0

0

0

0

21

WWW サーバ代行サービス利用件数の状況(2) ファイル交換ソフトウェア検知サービス
著作権侵害行為の防止強化のため、学外との通信内容を機械的に判断、荷担するおそれのあるソフトウェアを検知、遮断、通知している。 昨年度時点での検知対象は、BitTorrent, Gnutella, Kazaa, Share, WinMX, Winny, eDonky, eDonkey2000, Direct Connect,
Gnutella Ultrapeer, Perfect Dark、および、それらと同等の通信を行うソフトウェアであり、多くの場面で注意喚起を繰り返しているが、本年度は、特に目立つ検知のあった、
オンラインゲーム類、ベトナム製ブラウザについても、新たに注意喚起に加えている。
本サービスについては現在、次世代ファイアウォールによる検知遮断との比較・検討に入っており、より効果的にキャンパスネットワークにおける安全な通信を実現を目指している。 以下に、本年度の検知状況を示す(手動で追加遮断した件数を含む)。

41

60
50
40
30
20
10
0

4月 5月 6月 7月 8月 9月 10月 11月 12月 1月 2月 3月

検知件数 55

44

44

41

21

26

49

30

43

54

33

23

ファイル交換ソフトウェア検知数の状況(3) その他
以下のサービスについてもハードウェア、ソフトウェアの更新、標準変更への対応等を適宜実施し、継続してサービス提供を行っている。
 東工大トップドメイン用名前引きサーバの運用、組織・プロジェクトドメインの登録管理
 支線毎に学外との通信ポリシーを設定できる（ファイアウォール/スクリーニング選択）サービス WWW、ftp、ストリーミング等の通信を学内外で中継するサーバ、大規模 DNS フルリゾ
ルバ、時刻情報(NTP)提供サーバなど学内共用サーバ
 SINET5,JGN-X を利用する学内プロジェクトに対する接続支援 上記サービス、ネットワークの 365x24 監視システムの運用
2-3-4 特記事項
本年度は、教育改革にともなう組織の大改編に対応するため、ほぼ 1 年かけてドメイン
名の変更ポリシーなどへの対応を行った。新組織に対応するのは、もちろんであるが、メール、サーバなどを継続して利用するためには、新旧が共存する状況をある程度以上の期間安定して維持する必要がある。このため、2 月からは、全学のネットワークリソースの新組織へのマッピングを確認するためのアンケートを、まず旧組織の管理者に対して行い、その結果を新組織に示すことにより、連絡、運用体制の確認施策を実施中である。
4 月からは、まず改革後の教育が開始されるが、部屋やネットワークは新旧混在の状況が続くと予想され、特に今回の改革の特徴であるキャンパスを越えた組織等においては、
長期に渡る移行期間が必要になると考えられる。これに応じたネットワークリソースなどの再分配ポリシー、規則などの整備を 2016 年度も継続して行う予定である。

42

日付

種別

機種

対応

原因／症状

4/8

エッジスイッチ

EX4200-48T

追加

新棟 元素戦略研究センターへの
提供

4/23

PoE スイッチ

DGS-3100

追加

新棟 元素戦略研究センターにてAP 使用の為

5/8

エッジスイッチ

EX4200-48T

追加

GSIC 用テストスイッチ導入

5/26

コアスイッチEX8216

センドバ

SIB4 故障の為

ック交換
6/16

エッジスイッチ

EX4550-32T

追加

新棟 石川台 7 号館への提供

6/16

PoE スイッチ

DGS-3100

追加

新棟 石川台 7 号館にて AP 使用の為

6/30

無線コントローCISCO 5508WLC

ラ
8/17

8/24

エッジスイッチ

PoE スイッチ

EX4200-48T

DGS-3100

センドバ

リブート後ログイン不可の為、

ック交換

故障

センドバ

夏の停電後に電源が入らない

ック交換

為、故障

センドバ

FAN 故障の為

ック交換
8/24

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
8/25

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
8/25

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
8/27

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
8/27

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
8/27

エッジスイッチ

EX3300-24T

撤去

48port を追加した為、24port は
撤去

8/31

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
9/2

PoE スイッチ

DGS-3100

センドバ
ック交換

43

FAN 故障の為

9/4

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
10/8

PoE スイッチ

DGS-3100センドバ

通信不良の為ック交換
10/9

エッジスイッチ

EX4200-24T

撤去

YVP にて不要になった為

10/26

エッジスイッチ

EX-3300-24T

追加

CERT で新規接続の為

11/27

エッジスイッチ

EX-4200-48T

交換

PORT 不足の為

12/7

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
12/10

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
12/17

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
12/17

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
12/17

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
12/28

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
1/6

サービスゲート

SRX3400(PEM1)

センドバ

パワーユニット故障による温度

ック交換

上昇の為、故障

LE5000(AMP モジ

センドバ

CORE との LINK が DOWN している

ュール)

ック交換

為、故障

DGS-3100センドバ

FAN 故障の為ウェイ（NAT）
1/13

1/15

キャンパス間 WDM

PoE スイッチ

ック交換
1/20

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
1/27

対外 100G

DCS-7280SE

追加

SINET5 に伴う増強

DGS-3100センドバ

FAN 故障の為スイッチ
2/2

PoE スイッチ

ック交換
2/3

PoE スイッチ

DGS-3100センドバ

FAN 故障の為

ック交換
2/15

次世代 FW

Smart-1 3050

追加

44

次世代 FW 新規追加

2/23

ストーム検知ス

cat3750G

撤去

不要になった為

cat3508-GXL

撤去

不要になった為

cat3508-GXL

撤去

不要になった為DGS-3100センドバ

FAN 故障の為

イッチ
2/29

プロジェクト分
岐スイッチ

2/29

プロジェクト分
岐スイッチ

3/25

PoE スイッチ

ック交換
3/30

対外 100G

DCS-7280SE

追加

スイッチ

SINET5 に伴う増強(バックアップ用)

平成２７年度 機器交換追加履歴45

ネットワーク機器、アプライアンス、サーバ群の稼働率
46

2-4

情報セキュリティ

2-4-1 東工大 CERT 活動の概要
情報セキュリティの重要性が高まる中で 2014 年度 10 月に情報セキュリティの専門チームである東工大 CERT (Computer Emergency Response Team) が設立された。東工大における研究/教育/事務活動等を促進させるため、安全な計算機環境を提供する事が CERT の役割である。セキュリティ事案発生時における緊急対応を行うほか、セキュリティ情報の発信、学内の脆弱性調査など事前対応に重きを置いた情報セキュリティに関わる活動を行っている。2015 年度は活動が本格化し、上記の基本的な業務を継続および拡大すると同時に、次世代型セキュリティ機器の検証/導入、メール訓練の実施、ファイル共有システムの開発などの新たな取り組みにも積極的に関わった。また学内との連携体制の強化にも努めた。
2-4-2 WEB サイトの運用
最新の情 報セキュ リティ に関する 注意喚起、情 報解説を 目的としたホ ームペー ジ(<http://cert.titech.ac.jp>)を運用しており、これまでに 220 件以上の記事を掲載した。
最新のセキュリティニュースの中でも大学に関係する話題を中心に選択し、平易で短い解説を付けて紹介する事で情報セキュリティに関する興味喚起を図っている。
2-4-3 全学向けの注意喚起
特に危険度が高いと判断したセキュリティ情報については、全学の利用者向けに分かり易く伝えることを目的とした注意喚起をメールを配信している。月 1 件以上送信し計 14 件の通知を行った。また部局長等会議におけるセキュリティ報告等と連動させることで学内への周知効果を高めるよう努めている。
2-4-4 学内向け脆弱性診断
Google や SHODAN といった検索エンジンを利用する事で公開情報から脆弱性を調査する方法が知られている。これは不正侵入等を試みる犯罪者も利用する方法で有り、事前に脆弱性のある機器を調査し対策を講じることで不正侵入等を防止する効果が期待出来る。学内の WEB サーバやプリンタ複合機、テレビ会議システム等に脆弱性が発見され、担当者に通知すると共に対応を行った。また脆弱性診断ツール(Nessus)を利用した学内調査も一部行っており、サーバや WEB サイトの脆弱性一覧をまとめ担当者と連携しながらアップデート
等の対応を行った。
2-4-5 標的型メール攻撃に関する訓練
メール攻撃に関するリテラシー向上を目的として、メール訓練を行った。2 月および 3 月に訓練を行い、合計 2 通のメールを全学の教職員(3500 名程度)に送信した。また開封した
職員には教育コンテンツが表示される様にし、また事後には全員に訓練の概要、結果、標的型攻撃に関する解説を送付し、教育効果の向上に努めた。多くの反響があり、一定の教育効果が認められ、また東工大 CERT の認知度も向上したために初動対応の以前よりスムー
ズに行えている。

47

2-4-6 ファイル共有システムの開発
多様なメール攻撃が日常的に行われており、添付ファイルを不用意にクリックしてマルウェアに感染する事例が多く報告されている。メールの添付ファイルを抑制するために、
ファイル共有システム(名称：T2BOX)を NAP や NOC と協力して作成した。全学サービスとして展開する予定で有り、次年度の前半に運用が開始される予定である。
2-4-7 講演活動等
学外の情報セキュリティチームとの連携を図ると共に、東工大 CERT 設立に関する講演を全国の大学関係者向けに行った。2015 年度に行った講演一覧は下記の通りである。
- 07/28 REN-ISAC Japan (東京大学 本郷キャンパス)- 01/18 サイエンティフィックシステム研究会 @ (汐留シティセンター)
2-4-8 次世代型セキュリティ機器の検証および導入攻撃手法が高度化および多様化しており既存のファイヤフォール等だけでは攻撃の検知が非常に難しくなっている。そこで最新の脅威を検知をする次世代型セキュリティ機器の利用実験と評価を NOC と共同で実施した。機器の評価、知見を得るとともに実験中に発見された脅威について通知及び対応促進を行った。またこれらの知見を活かし、NOC と共同
で次世代型セキュリティ機器に関する仕様書の作成および機器の導入を行った。次年度の中頃から本格稼働する予定である。
2-4-9 セキュリティインシデントへの対応
学内で起きたセキュリティを脅かす事象に対して該当マシンをネットワークからの切断する等初動対応を行った。場合に寄っては 該当機器のログ等の分析を通して原因究明を行い今後の対策に活用した。またインシデント報告を部局長等会議等で行い、原因や対策
方法を全学に通知した。
2-4-10 コンプライアンス・危機管理担当との連絡体制の構築
情報セキュリティ関連する事案に備えコンプライアンス・危機管理担当との連携が相互に迅速かつ確実に行えるように、情報伝達ルートの多重化、情報交換のための収集・連絡体制を明確化した。
2-4-11 専任技術職員を配置
専任の技術職員が 11 月より CERT に配属された。そのため、これまで行っていた活動に加えて仮想化基盤の整備や新規施策のための検証作業などが大いに進展した。

48

2-5 キャンパス共通認証・認可システム
2-5-1 構成
本学の研究・教育・事務処理における情報サービスに対する利用者情報を統合し、かつ利便性、安全性、安定性の向上を図るため設けられた全学キャンパス共通認証・認可
基盤システム及び全学共通メールシステムの概念図を図 2-5-1 に示す。本学構成員全員に対して情報基盤を利用するための全学共通のアカウント（以下、東工大共通アカウン
トという。
）を付与するとともに、PKI（公開鍵暗号方式を利用したセキュリティ基盤）を用いた認証サーバに基づき、「東工大 IC カード」、「全学共通メールサービス」を提供している。

TSUBAME2.5、教育用計算機
システムの利用

各種情報サービスシステムと連携
人事給与WEBシステム
物品等請求システム
TOKYO TECH OCW/OCW-i 統合システム
東工大リサーチリポジトリ(T2R2)
TDLオンラインリクエスト
教務Webシステム
東工大STARサーチ
TSUBAME2.5利用ポータル
など
データ
連携

東工大ICカードの発行
学生・教職員全員（約15,000名）
発行申請書

認証

共通ディレクトリ
データサーバ
入室管理
システムサーバ

データ
更新

認証サーバ

発行

東工大ポータル

東工大ICカード発行窓口（教務、人事）申請

学生・教職員東工大ポータルサイト
各種情報サービスへのログイン一元化（シングルサインオン）・証明書（PKI）を用いた東工大ICカード認証
・マトリクスコードを用いた認証

シングルサインオン

有線LAN端末

東工大ICカード

入室管理システム

データ
更新

全学共通
メールサーバソフトウェア
ダウンロードサーバ

無線LAN端末

学生・教職員

ソフトウェアの配布

全学共通メール

Microsoft Windows
Microsoft Office
Webメール、POP、IMAP
Symantec Endpoint Protection
スパムフィルタ
メール転送、メーリングリスト Adobe Creative Cloud

東京工業大学キャンパス共通認証・認可基盤の概要
図 2-5-1 共通認証・認可システム及び全学共通メールシステム
2-5-2 運用
（１）東工大ポータル
学内の情報基盤サービスや各種情報サービス（以下、情報サービスという。
）に対する統一的な利用の窓口として「東工大ポータル（Tokyo Tech Portal）」と呼ぶウェブ
ページを用意している。この東工大ポータルに一度ログインすることにより、情報サービスを利用すること（シングルサインオン）ができるようになっている。
（２）利用可能な情報サービス
東工大ポータルから利用可能な主な情報サービスは以下のとおりである。
・全学共通メール（Tokyo Tech Mail ウェブメール、管理者機能など）
・包括契約ライセンスソフトウェアの提供
・東工大リサーチリポジトリ(T2R2)
49

・図書館サービス：TDL オンラインリクエスト
・人事給与 Web システム・Tokyo Tech OCW/OCW-i 統合システム
・教務 Web システム・東工大 STAR サーチ（STAR Search）
・TSUBAME2.5 利用ポータル
・学外サービスとの認証連携（学認：eduroam、Kivuto など）

2-5-3

実績

（１）本年度トピックス（A）学術認証フェデレーションへの参加
国立情報学研究所と全国の大学が連携して構成している学術認証フェデレーショ
ン（以降、学認）の運用フェデレーションに参加し、2015 年 10 月 09 日に東工大ポータル経由でのテスト公開を開始した。学認との連携のため構築したサーバ群の構
成概要図を図 2-5-2 に示す。
現在、学認経由で公開済みのサービスは下記のとおりである。
・eduroam 仮名アカウント発行システム （巻頭トピックス参照）
・FaMCUs (テレビ会議多地点接続サービス)・SAML2 属性表示サービス（接続テスト用）
・On the Hub （Microsoft の個人用メディア配布＆販売サイト）
なお、テスト公開を開始してから特に大きな障害も起きていないことから、2016
年 4 月には正式サービスとして提供を開始する予定である。

仮想サーバ
Red Hat Enterprise Linux 6
GetAccessサーバ

東工大ポータルとの
認証連携

仮想サーバ
CentOS 6
GetAccess Runtime

認証済みユーザからの接続を振り分け認証に必要な情報を取得

仮想サーバ
CentOS 7
Shibboleth IdP

仮想サーバ
CentOS 6

学認が利用する属性を取得

Shibboleth側で生成する情報を格納

必要最小限のデータのみ
毎日同期
仮想サーバ
CentOS 7

図 2-5-2 学認用サーバ構成概要図

50

仮想サーバ
CentOS 7

（B）入室管理システムの改修
入室管理システムに関しては、全学 260 箇所以上で運用されており、そのうち保守期限が切れる 100 台程度の IC カードリーダ・コントローラ機器の更改を実施した。
（C）教育改革に伴う認証基盤システム改修
2016 年 4 月にスタートする本学の教育改革に基づく新しい教育体制・組織体制への移行のため、主に認証基盤業務と IC カード発行業務でのシステム改修を行った。
認証基盤業務については、新しい組織体制（学院・系・コース）を反映した個人情報ディレクトリ（LDAP）サーバの改修を実施した。また、IC カードについては、新
しい教育体制を反映したカード券面レイアウトの変更を実施した。
以下に券面変更を行った学生証のうち学士課程の学生証例を示す。

教育改革前入学生

教育改革後入学生（２）認証・認可システム／全学共通メールの運用状況を以下に示す。
2014 年 7 月~
2015 年 3 月

東工大ポータルシステムのリプレース

2015 年 3 月

東工大ポータル英語版を作成

2015 年 4 月

メールボックス容量増加（教職員：10GB、学生：4GB）2015 年 4 月

Adobe 包括ライセンスソフトウェア正式提供

2015 年 6 月

Mac OS X Yosemite(10.10)の IC カード認証対応

2015 年 10 月

Windows10 の SSL-VPN 対応

2016 年 1 月

学認（eduroam）正式運用

2016 年 2 月~
2016 年 3 月

就職活動調査アンケートとの連携

2016 年 4 月

学認（GakuNin）正式公開

2016 年 4 月

Mac OS X El Capitan(10.11)の IC カード認証対応

51

（３）全学共通メールの利用状況を以下に示す。
・全学共通メールアドレス発行件数（2016 年 3 月 31 日現在）
全学共通メールアカウント発行件数

14,057
1,790

(13%)

1,795

(13%)

382

( 3%)

学部学生

4,696

(33%)

大学院学生（修士課程）

3,641

(26%)

大学院学生（博士後期課程）

1,456

(10%)

297

( 2%)

（内訳）常勤職員
非常勤職員
アクセスカード所有者

研究生等

・全学共通メール利用状況（2015 年 4 月 1 日～2016 年 3 月 31 日）

共通メール送受信数の推移

万件
1,400

88

1,200
1,000
800
600
400
200

63

81
55

64

66

65

74

67

66

61

67

783 678 902 765 743 765 864 792 761 749 866

1,139

0

受信数

送信数

年月

（４）東工大 IT サービスデスク
学術国際情報センターで提供する情報サービス全般の問合せの対応と東工大ポータ
ルで利用可能な各種情報サービスの担当部署への誘導するサービスを提供している。
問合せ先と開設時間は次のとおりである。
研究推進部情報基盤課基盤システムグループ
東工大 IT サービスデスク
・電話：03-5734-3654

9:00～12:15、13:15～17:00（休日・祝祭日を除く）

・メール：helpdesk@gsic.titech.ac.jp
以下に、2015 年度における東工大 IT サービスデスクに寄せられた問い合わせ（40852件）の傾向を示す。なお、グラフ中の「その他」は教務 Web システムや物品等請求シ
ステムなどの東工大ポータルと連携している情報サービスに関する問い合せや PC 端
末の操作などの問い合わせが含まれる。

問い合わせ件数：408件
その他 16%共通メールシステム 21%

ソフトウェア包括
ライセンス 7%

キャンパスネット
ワーク 3%

pubnet 2%
入館システム 1%
東工大ポータル 48%

TSUBAME 1%
eduroam 1%

また、東工大 IT サービスデスクでは、毎年（例年 1 月頃）教職員（非常勤職員を含む）を対象にアンケートを実施し、サービスのさらなる向上と改善に努めている。以
下に主な集計結果（東工大 IT サービスデスク利用者数：128 名）を示す。

問い合わせ方法は何を使用しましたか？（複数回答可）
100
80

東工大ITサービスデスクの対応の迅
速さは、いかがでしたか？

89
62

15%

非常によい(39)

3%

60

30%

40

ふつう(19)52%

20

よい(66)

悪い(4)

10

0
メール

電話

直接窓口

東工大ITサービスデスクの回答で、あなたの質問は解決しましたか？
はい(115)

東工大ITサービスデスクの回答は、分かりやすかったですか？

いいえ(13)

10%
15%

1%

2%

26%
90%

56%

53

とても分かりやすかった(34)
分かりやすかった(72)ふつう(19)
分かりにくかった(2)とても分かりにくかった(1)

2-6 ソフトウェア包括契約
2-6-1 概 要
学内でも広く使われているソフトウェアの内、Microsoft Windows 及び Microsoft Office に
ついては平成 19 年 4 月から、Symantec 社製ウィルス対策ソフトウェアについては平成 21
年 4 月から、Adobe 社 Adobe Creative Cloud については平成 26 年 11 月から、MathWorks
社 MATLAB については平成 27 年 3 月から包括ライセンス契約を締結した。これは、研究室等における上記ソフトウェアの購入経費の軽減(大学全体での経費削減)、不正コピーの抑止することを目的に導入したものである。
その結果、平成 27 年度の実績で約 3 億円の経費が削減され、加えて、本学学生および教職員が Microsoft Windows 及び Microsoft Office を個人所有の PC 用に安価に購入することが可能となり、学生の学習・研究環境整備にも貢献している。
また、提供するソフトウェアに対する管理を厳密に行う手段として、全学認証システムとの連携による本人認証を行っている。
昨年度からの運用の変更点として、平成 27 年 8 月より Windows 10 Education の供用を開始した。同 9 月より Office 2016 for Mac Standard の供用を開始および、Adobe Creative Cloudの供用を Adobe Creative Cloud デスクトップアプリケーションを使用した仕組みへ変更（Adobe Creative Cloud 内の個別製品のインストールが可能になった）した。同 10 月より
Microsoft 社製品の個人向け販売を Kivuto 社の電子ダウンロードサービス (ESD) に変更お
よび、Microsoft Office Professional Plus 2016 供用を開始した。
【包括契約で提供されるソフトウェア】
Office Professional 2010
Windows 版

Office Professional 2013
Office Professional 2016

Microsoft Office

Office 2011 for MAC

Mac 版

Office 2016 for MAC

Windows 10 Education Upgrade
Microsoft Windows Upgrade

Windows 8.1 Enterprise Upgrade
Windows 7 Enterprise Upgrade

Symantec 社製ウィルス対策 Windows, Mac, Linux 版

Endpoint Protection

ソフトウェア
Adobe

Windows, Mac 版

Adobe Creative Cloud

MathWorks

Windows, Mac, Linux 版

MATLAB

54

2-6-2 運 用○ Microsoft, Symantec, Adobe 製品
1) 利用資格
アクセスカード、入館カードを除く東工大 IC カード身分証を保持する学生、教職員が利用できる。
2) インストール対象となるコンピュータ
以下の条件を満たすコンピュータにインストールすることができる。
・ 大学の経費で購入した大学所有のコンピュータ (大学の物品及びレンタル品を含む)
・ 利用資格を有する者が所有する個人所有のコンピュータ (ただし、一人当たり MS
Office／OS 共にいずれかのバージョン 1 つを 1 台分利用可能。Symantec 社製ウィル
ス対策ソフトウェアについては学内 LAN に常時接続している PC に限り 1 台分利用可
能。Adobe 製品については個人所有のコンピュータでの利用は不可。
3) 提供方法a) 大学所有コンピュータへの提供
Step1：【教室系】常勤講師以上の方が作業／【事務系】筆頭グループ長が作業
IC カードリーダを使って東工大ポータルにログイン⇒

誓約書を提出

Step2：【教室系】常勤講師以上の方が作業／【事務系】筆頭グループ長が作業
東工大ポータルにログイン (マトリックス認証可)⇒

パスコード取得

Step3：【教室系】教職員・非常勤職員・学生が作業／【事務系】常勤職員が作業
東工大ポータルにログイン (マトリックス認証可)⇒

インストーラをダウンロード*パスコード取得から 24 時間以内に作業する必要有りb) 個人所有コンピュータへの提供（Microsoft 社製品）
Step1：

東工大ポータルにログイン

Step2：[学認（GakuNin）]を選択

Step3：[On the Hub （Microsoft の個人用メディア配布＆販売サイト）]を選択

Step4：[On the Hub （Microsoft の個人用メディア配布＆販売サイト）]で購入

c) 個人所有コンピュータへの提供（Symantec 社製ウィルス対策ソフトウェア）
東工大ポータルにログイン (マトリックス認証可)⇒

インストーラをダウンロード

55

○ Mathworks 製品(MATLAB)
1) 利用資格
教職員: 東京工業大学に勤務する教職員
学 生 : 東京工業大学に在籍する学部生および大学院生
2) インストール対象となるコンピュータ
教職員: 教職員の個人の PC および大学予算で購入した研究室等の PC
学 生 : 学生個人の PC
3) 手続方法a) 教職員(1) MATLAB TAH 教職員用申請フォームに必要事項を記入して申請(2) My MathWorks にアカウントが登録されるとメールが届くので、メール中のリンクをクリックし、MathWorks License Center へログインし、登録内容の確認、仮パスワードから変更をする。（既に My MathWorks にアカウントがある場合は特に連絡はないので MathWorks License Center から確認する）
b) 学生(1) My MathWorks のサイトでアカウントを作成(2) My MathWorks にアカウントが登録されると「Verify Email Address」という件名のメールが mathworks.com から届くので、メール中のリンクから Verify your email
クリックし、メールアドレスを承認する。
詳しくは、http://tsubame.gsic.titech.ac.jp/MATLAB-TAH で確認。

2-6-3 実 績
Microsoft Windows 10 配布数
2015

2016

4月 5月 6月 7月 8月 9月

10 月

11 月

12 月 1 月

2月

3月

計

学内 PC

-

-

-

-

36

25

52

24

42

35

42

86

342

個人 PC

-

-

-

-

-

-

19

30

15

21

33

63

181

計

-

-

-

-

36

25

71

54

57

56

75

149

523

56

Microsoft Windows 8.1 配布数
2015

2016

4月

5月

6月

7月

8月

9月

10 月

11 月

12 月

1月

2月

3月

計

学内 PC

99

27

19

13

14

13

20

5

7

3

5

9

234

個人 PC

2

37

8

8

14

9

10

11

3

12

14

18

146

(9)

(10)

(3)

(10)

(13)

(18)

(63)

30

16

10

15

19

27

380

計

101

64

27

21

28

22

※括弧内はダウンロードサイトからの購入内数

Microsoft Windows 7 配布数
2015

2016

4月

5月

6月

7月

8月

9 月 10月 11月 12月 1 月

2月

3月

計

学内 PC

193

106

45

38

33

29

134

29

31

27

22

94

781

個人 PC

12

7

7

3

6

3

19

20

7

16

20

43

163

(12)

(18)

(6)

(14)

(19)

(43)

(112)

153

49

38

43

42

137

944

計

205

113

52

41

39

32

※括弧内はダウンロードサイトからの購入内数

Microsoft Windows Vista 配布数
2015

個人 PC

2016

4月

5月

6月

7月

8月

9 月 10月 11月 12月 1 月

2月

3月

計

0

0

1

0

0

1

0

0

2

10月
10
月 11月 12月 1 月

2月

3月

計

0

0

0

0

Microsoft Office 2016(Windows 版) 配布数
2015

2016

4月

5月

6月

7月

8月

9月

学内 PC

-

-

-

-

-

-

114

176

184

153

588

290

1505

個人 PC

-

-

-

-

-

-

102

128

76

100

83

162

651

計

-

-

-

-

-

-

216

304

260

253

671

452

2156

57

Microsoft Office 2013(Windows 版) 配布数
2015

2016

計

4月

5月

6月

7月

8月

9 月 10 月 11 月 12 月 1 月

2月

3月

学内 PC

882

289

175

141

159

156

220

64

85

44

62

144

2421

個人 PC

14

443

123

62

6

7

23

30

23

35

30

45

841

(23)

(30)

(21)

(31)

(28)

(45)

(178)

243

94

108

79

92

189

3262

計

896

732

298

203

165

163

※括弧内はダウンロードサイトからの購入内数
Microsoft Office 2010 (Windows 版) 配布数
2015

2016

計

4月

5月

6月

7月

8月

9 月 10 月 11 月 12 月 1 月

2月

3月

学内 PC

110

28

35

40

18

15

28

23

21

19

16

24

377

個人 PC

13

4

4

5

11

9

9

5

6

7

9

21

103

(7)

(4)

(5)

(6)

(8)

(21)

(51)

37

28

27

26

25

45

480

9 月 10 月 11 月 12 月 1 月

2月

3月

計

123

32

39

45

29

24

※括弧内はダウンロードサイトからの購入内数
Microsoft Office 2016(Mac 版) 配布数
2015

2016

計

4月

5月

6月

7月

8月

学内 PC

-

-

-

-

-

109

100

46

86

59

425

94

919

個人 PC

-

-

-

-

-

-

95

93

51

78

43

68

428

計

-

-

-

-

-

109

195

139

137

137

468

162

1347

Microsoft Office 2011 (Mac 版) 配布数
2015

2016

計

4月

5月

6月

7月

8月

9 月 10 月 11 月 12 月 1 月

2月

3月

学内 PC

238

66

48

37

37

18

31

15

30

27

12

25

584

個人 PC

56

52

28

10

5

0

12

6

1

12

10

13

205

(11)

(6)

(1)

(12)

(10)

(13)

(53)

43

21

31

39

22

38

789

計

294

118

76

47

42

18

※括弧内はダウンロードサイトからの購入内数

58

Symantec Endpoint Protection (Windows 版) 配布数
2015

2016
2月

3月

計

4月

5月

6月

7月

8 月 9 月 10 月 11 月 12 月 1 月

学内 PC

1410

698

238

202

205

281

329

267

261

238 1025 618

5772

個人 PC

263

99

94

96

50

41

81

56

41

56

53

55

985

計

1673

797

332

298

255

322

410

323

302

294 1078

673

6757

Symantec Endpoint Protection for Macintosh (Mac 版) 配布数
2015

2016

計

4月

5月

6月

7月

8月

9 月 10 月 11 月 12 月 1 月

2月

3月

学内 PC

30

8

8

6

5

16

14

2

12

5

8

5

119

個人 PC

21

0

3

8

4

1

10

5

6

3

10

0

71

計

51

8

11

14

9

17

24

7

18

8

18

5

190

Symantec Endpoint Protection for Linux (Linux 版) 配布数
2015
学内 PC

2016

4月

5月

6月

7月

8月

9 月 10 月 11 月 12 月 1 月

2月

3月

0

0

0

0

0

3

0

0

0

0

0

0

計
3

Adobe Creative Cloud(フルセット)配布数
2015

Win

2016

4月

5月

6月

7月

8月

9 月 10 月 11 月 12 月 1 月

2月

3月

734

234

149

137

101

200

計

301

256

328

235

274

338

3287

78

44

78

47

57

76

739

379

300

406

282

331

414

4026

(27)
Mac

138

57

28

30

32

74
(3)

計

872

291

177

167

133

274

※9 月から新しい仕組みを利用して配布。括弧内は従来の配布方法での内数。

59

Adobe Acrobat XI Pro 配布数
2015

2016

計

4月

5月

6月

7月

8月

9 月 10 月 11 月 12 月 1 月

2月

3月

Win

169

82

60

77

45

8

-

-

-

-

-

-

441

Mac

51

12

10

9

4

1

-

-

-

-

-

-

87

計

220

94

70

86

49

9

-

-

-

-

-

-

528

MATLAB 配布数
2015

2016

計

4月

5月

6月

7月

8月

9 月 10 月 11 月 12 月 1 月

2月

3月

教職員

234

71

52

55

43

26

65

31

35

32

31

27

702

学生

640

234

248

173

60

73

192

115

128

128

66

46

2103

計

874

305

300

228

103

99

257

146

163

160

97

73

2805

60

2-7

学際大規模情報基盤協働利用・共同研究拠点（JHPCN）の拠点活動
副センター長

青木

尊之

特任准教授

渡邊

寿雄

コンピューターシステム担当

根本

忍

ネットワーク型 JHPCN 拠点の概要「学際大規模情報基盤共同利用・共同研究拠点(JHPCN)」は，東京工業大学 学術国際情報センターが、北海道大学情報基盤センター、東北大学サイバーサイエンスセンター、東京
大学情報基盤センター（中核拠点）、名古屋大学情報基盤センター、京都大学学術情報メディアセンター、大阪大学サイバーメディアセンター、九州大学情報基盤研究開発センターとともに構成する「ネットワーク型」の共同利用・共同研究拠点である。平成 22 年に本ネットワーク型拠点として認定され、学術国際情報センターは東京工業大学の学内共同利用施設から、個々の大学の枠を越えた全国の研究者のための共同利用・共同研究拠点となった。平成 27 年度には第一期 6 年間の活動に対する期末評価が実施され、「A」評価となり次期共同利用・共同研究拠点の再認定を受けた。
本ネットワーク型拠点の目的は、超大規模計算機と超大容量のストレージおよび超大容量ネットワークなどの情報基盤を用いて、地球環境、エネルギー、物質材料、ゲノム情報、
Web データ、学術情報、センサーネットワークからの時系列データ、映像データ、プログ
ラム解析、その他情報処理一般の分野における、これまでに解決や解明が極めて困難とされてきた、
いわゆるグランドチ
ャレンジ的な問題について、学際的な共同利用・共同研究を実施することにより、我が国の学術・研究
基盤の更なる高度化と恒常的な発展に資することにある。本ネットワーク型拠点には上記の分野における多数の先導的研

図 1 本ネットワーク型拠点活動を活性化させるため、全構成拠点
内外のメンバーによる運営委員会と構成拠点メンバーのヒューマ
ンネットワークも形成されている。

61

究者が在籍しており、これらの研究者との共同研究によって、研究テーマの一層の発展が期待できる。
ネットワーク型拠点としての活動：公募型共同研究
本ネットワーク型拠点は、過半数を構成拠点以外の委員が占める運営委員会による審議・承認の下で運営されている。また年 1 回行われる共同研究課題公募とその共同利用課
題の実施は本ネットワーク型拠点で最も重要な活動であり、その申請課題の受付、審査、採択結果の通知までの手続きなどは、中核拠点である東京大学 情報基盤センターにて行われている。採択後の利用開始手続きや利用サポート、施設利用負担金の経理処理については、採択課題が利用する構成拠点にてそれぞれ行われている。
計算機を利用する共同研究は課題申請時に HPCI 課題申請支援システムを利用し、採択
課題の一部は課題実施時にも HPCI システムの一部（HPCI-JHPCN システム）を利用した。
平成 27 年度の共同研究課題の公募は平成 26 年 11 月 7 日から平成 27 年 1 月 9 日まで行われ、課題審査委員会（委員は非公開、構成拠点の委員 8 名と構成拠点以外の委員 9 名の計 17 名）による厳正なる審査の結果、応募 51 件中 35 件（うち 27 件が HPCI-JHPCN システムを利用する課題、残り 8 件が JHPCN の課題）を採択した。表 1 に採択課題数や採択率の推移を示す。
平成 27 年度 共同研究日程
平成 26 年 11 月 7 日（金）公募案内開始12 月 16 日（火）課題応募受付開始

平成 27 年 1 月 9 日（金）課題応募受付締切（Web 登録締切）

1 月 16 日（金）

紙媒体の課題申込書提出期日

3 月中旬

採択結果通知4 月 1 日（水）共同研究開始7 月 10・11 日

JHPCN 第 6 回シンポジウム

平成 28 年 3 月 31 日（木）共同研究期間終了

表 1 JHPCN 共同研究課題公募における採択課題数の推移
H22

H23

H24

H25

H26

H27

37 件

39 件

35 件

44 件

34 件

35 件

うち HPCI-JHPCN 課題数

－

－

－

31 件

22 件

27 件

うち東工大を利用する課題数

4件

6件

6件

11 件

10 件

10 件

応募課題数

41 件

41 件

39 件

55 件

53 件

51 件

採択率

90.2% 95.1%

89.7% 80.0%

64.2%

68.6%

採択課題数

62

文部科学省による期末評価と次期再認定
本ネットワーク型拠点が平成 22 年度に認定を受けてからの第一期 6 年間の活動に対する期末評価が平成 27 年度に実施された。期末評価では、平成 25 年度に実施した中間評価のフォローアップを行うとともに、第 3 期中期目標期間における各大学における拠点の位置付けの明確化や拠点機能の向上に向け、学術研究の基盤強化と新たな学術研究の展開に資するとしている。
期末評価は、国立大学法人における 77 拠点（中間評価を行った 74 拠点及び平成 25 年度から認定された 3 拠点）を対象に実施され、本ネットワーク型拠点は「拠点としての活動は概ね順調に行われており、関連コミュニティへの貢献もあり、今後も、共同利用・共同研究を通じた成果や効果が期待される」としてＡ評価となり、次期の再認定を受けた。全
77 拠点の評価の分布は、Ｓ評価 20 拠点、Ａ評価 49 拠点、Ｃ評価 8 拠点、Ｄ評価 0 拠点となった。期末評価における当拠点への評価コメントは以下の通りであった。
期末評価における評価コメント
共同利用・共同研究拠点として、大学の学術の方向や高性能計算へのニーズを見ながら、特色の異なる 8 機関を横断的に利用する計算環境を提供し、多様な共同研究を公募して、多くの研究成果をあげるとともに、今後の計算科学の方向を探る努力が認められる。また、8 機関がそれぞれの特性を生かしながら連携しつつも、互いに競争をし、最新の計算技術を提供している点が評価できる。
8 機関でネットワークを構成することの必然性と今後のビジョンを明確にして、時代とともに変わる設備の役割に対応しつつ、ニーズの多様化を想定したサービス体制のあり方を提案することが望まれる。

ネットワーク型拠点としての活動：シンポジウムの主催・共催・協賛
平成 27 年度は本ネットワーク型拠点が主催する第 7 回シンポジウムが 7 月 9・10 日に品川グランドセントラルタワーにて参加者 159 名を集めて行われた。本シンポジウムでは、
平成 26 年度に実施された共同研究課題 34 件の研究成果を口頭発表で報告するとともに、
平成 27 年度に採択された課題 35 のポスター発表があり、活発な質疑・応答が行われた。
また平成 27 度は本拠点が主催するシンポジウム以外にも、ACSI2016 (2nd Annual
Meeting on Advanced Computing System and Infrastructure)、「ポストムーアに向けた
計算機科学・計算科学の新展開」シンポジウム、サイバーHPC シンポジウム、第 23 回
Workshop on Sustained Simulation Performance などへの協賛を行った。
構成拠点としての活動：提供する計算機資源
当センターは本ネットワーク型拠点の構成拠点として、クラウド型グリーンスパコン「TSUBAME 2.5」と HPCI 先端ソフトウェア運用基盤「HPCI-AE」を提供した。平成 27 年

63

度は TSUBAME2.5 の資源 104 口に対して、東工大の自己負担 2 口を加えた 106 口の資源提供を行った。
採択課題へ対する資源提供の利用形態は共同利用（学術利用）に準じて、TSUBAME2.5のバッチサービスの一部（ノード占有キュー（S, S96, L128, L128F, L256, L512, X）、ノード共有キュー（U）、GPU 専用ノード占有キュー（G））と予約ベースサービス（H キュー）の計算資源を提供し、一般ユーザと混在して提供した。
構成拠点としての活動：ネットワーク型拠点における本センターの特色
平 成 27 年 度 の 公 募 型 共 同 研 究 課 題 の 採 択 課 題 の 全 35 件 は 、 公 式 Web ペ ー ジ(http://jhpcn-kyoten.itc.u-tokyo.ac.jp/)にて公開されているが、本センターを利用する採択課題
として表 2 にまとめた 10 件が実施された。東工大を利用する採択件数の推移は表 1 に示す。
本ネットワーク拠点が供出する計算資源のうち、GPU を搭載したスパコンは当センターの TSUBAME2.5 のみであることを反映して、当センターの TSUBAME2.5 を利用した採択
課題 10 件のうち 8 件が何らかの形で GPU を活用した課題である。これは本ネットワーク
型拠点が持つスパコンの多様性が反映されている。
また東工大が運用・管理を行っている先端ソフトウェア運用基盤・分散環境ホスティン
グサーバ「RENKEI-VPE」を用いた課題も 2 件あり、ネットワーク型拠点の特色を生かした課題も採択・実施されている。
構成拠点としての活動：採択課題への配分口数の再配分ルール
平成 24 年度から共用を開始した HPCI での経験より、年度末時点での残余口数が失効する当センターの課金制度の下では、採択課題の施設利用負担金の無償化により多くの残余
口数が生じるリスクがあることが分かった。それを避けるため、平成 25 年度に各拠点の裁量にて当初配分口数の他課題への再配分が認められ、本センターでは年度末に各課題代表者と個別に調整を行って最終配分口数を決定していた。
より早い段階からスムーズにかつ公平に計算資源の再配分を行うために、平成 27 年 2 月
24 日の平成 26 年度 第 2 回共同利用専門委員会において、平成 27 年度 JHPCN 採択課題の計算資源の再配分ルールを定めた。このルールを全課題ユーザへ通達した上で、下半期からの前倒し利用（19 口）、下半期への繰り越し（3 口）、追加配分（10 月に 6 口）と年度末調整（1 月に返却 12 口、追加配分 14 口）を行い、104 口の当初配分資源に東工大の自己負担 2 口を加えた 106 口の資源配分を行った。
平成 27 年度 計算資源の再配分ルール
1. 上半期の追加配分希望（上半期中は随時受付）
上半期に配分した計算資源より多くの計算資源を必要とする場合には、当該課題の下半期配分より前倒し利用を認める。

64

2. 上半期末の残資源の調整（10 月に実施）
各課題に希望を取り、上半期の残資源の 50%を上限に下半期への移行を認める。余剰資源については、3.における追加配分の原資とする。
3. 下半期の追加配分希望（10~12 月の毎月末に実施）
配分資源の 90%以上を使い切った課題を対象に 10 月から 12 月まで毎月末に 5 口を上限として追加配分希望を取、追加配分する。追加配分の原資より希望口数が多い場合は追加希望資源量に対するドント方式により配分する。
4. 最終配分口数の決定（1 月に実施）
1 月下旬に各課題に 1 月末までの利用口数と 2～3 月に利用予定口数の希望を取り、1 月
末に最終配分口数を決定する。追加配分は配分資源の 95%以上を使い切った課題に限定し、削減可能口数より希望口数が多い場合はドント方式により配分する。

平成 27 年度第 3 回共同利用専門委員会では平成 28 年度に向けた再配分ルールの改定を行い、4 半期制度の採用、利用実績の著しく低い課題への配分口数の制限、追加配分原資と独立な追加配分の実施などを盛り込んだ。
表 2 平成 27 年度 学際大規模情報基盤共同利用・共同研究拠点 公募型共同研究 課題一覧
承認口数
利用口数
※3

番号

所属機関
利用課題責任者

申請課題名

1

京都工芸繊維大学 高木知弘フェーズフィールド法と分子動力学法による大規模デンドライト成長シ
ミュレーション

6/17
8/15

2

東京農工大学山中晃徳

可動な分散粒子を含む金属材料における多結晶粒成長の大規模マ
ルチフェーズフィールドシミュレーション

7/3
10/3

3
※1

東京工業大学松岡聡

計算資源の連携を目指した将来のサイエンスビッグデータ共有機構
の開発

2/1
1/1

4

電気通信大学
成見哲

Fast Multipole Method を用いた多種アーキテクチャ向けスーパーコン
ピュータ用ライブラリの開発と分子・流体シミュレーションでの評価

1/3
2/8

5
※1

東京大学
實本英之

科学技術計算における効率の良い複数拠点利用とそれを実現するユーザ駆動型・拠点協調フレームワークの開発と検証

3/3
1/4

6

東京工業大学遠藤敏夫

超大規模シミュレーションのためのアーキテクチャ特性を考慮した通
信削減技術

4/7
1/2

7

東京工業大学下川辺隆史

大規模 GPU/CPU 計算に向けた高生産フレームワークの構築とこれを用いた都市気流計算コードの開発

6/9
1/6

8

東京工業大学青木尊之

動的負荷分散による GPU スパコンを用いた粒子法の大規模シミュレーション手法の開発 II − 流体・構造連成計算への適用 −

8/12
18/13

9
※2

岡山大学
竹中博士

海溝型巨大地震を対象とした大規模並列地震波・津波伝播シミュレ
ーション

3/5
3/5

10
※2

理化学研究所丸山豊

分子性液体の積分方程式理論による大規模生体分子系における高速な溶媒和自由エネルギー計算プログラムの開発

1/3
1/3

合計

合計

104
106

※1 TSUBAME2.5 と RENKEI-VPE の同時採択※2 クラス B での採択

65

※3 それぞれ上半期/下半期

2-8

HPCI(革新的ハイパフォーマンス・コンピューテイング・インフラ)の運用
副センター長
准教授
特任准教授
特任助教

青木
遠藤
渡邊
三浦

尊之
敏夫
寿雄
信一

HPCI の概要と東工大の役割
HPCI（革新的ハイパフォーマンス・コンピューテイング・インフラ）は、「京コンピュー
タ」と全国の大学や研究機関に設置されたスパコンを高速ネットワークで結び、多様なユーザニーズに応える革新的な共用計算機環境を実現する基盤システムである。
東京工業大学 学術国際情報センター（以下、本センター）は以下の役割を負っている。


システム構成機関としての役割
 スパコン「TSUBAME 2.5」の計算資源の提供
 HPCI 先端ソフトウェア運用基盤「HPCI-AE」の資源提供と取りまとめ
 HPCI 共用ストレージ東工大拠点の資源提供と運用（平成 26 年 4 月供用開始）



本センターの計算資源を利用する研究課題へのローカルアカウント発行やサポート
 プライマリセンターとしての業務
 HPCI アカウントの発行、および IdP サーバの運用

最寄りセンターとしての業務
 対面認証業務の実施

HPCIシステム共用計算資源の利用研究課題募集
HPCI システム共用計算資源の利用研究課題募集は、HPCI 運用事務局である一般財団法人
高度情報科学技術研究機構(RIST)が窓口となり年１回公募が行われ、採択された利用研究
課題は１年間の利用が認められる。平成 27 年度の募集開始から採択までのスケジュールを
表 1 に示す。
課題選定の方法、選定結果の通知と利用開始手続き申請された利用研究課題の審査は産学官の有識者から構成される利用研究課題審査委員
会により実施される。
表 1 HPCI システム共用計算資源の利用研究課題募集と採択のスケジュール
平成 28 年度スケジュール

平成 27 年度スケジュール

申請受付開始平成 27 年 10 月 5 日

平成 26 年 10 月 1 日

電子申請受付終了

平成 27 年 11 月 2 日

平成 26 年 11 月 6 日

押印済申請書の郵送期限

平成 27 年 11 月 16 日必着

平成 26 年 11 月 13 日必着利用研究課題審査委員会による課題選定
選定結果の公表

平成 28 年 2 月 10 日
66

平成 27 年 2 月 20 日

採択された利用研究課題の代表者あるいは副代表者は最寄りセンターに出向き、対面による本人認証（対面認証）を受け、自動的に HPCI アカウントや各利用計算機のローカルア
カウントが発行される。本センターでは、対面認証業務の実施、HPCI アカウントの発行、および本センターが提供する計算資源のローカルアカウントの発行を行う。今年度までに実施した最寄りセンターおよびプライマリセンター業務実績を表２に示す。HPCI アカウン
トを保持する研究者が増え、メールによる対面認証への移行していることが分かる。

表２ 東工大における最寄りセンターおよびプライマリセンター業務実績
H24 年度

H25 年度

H26 年度

H27 年度

16 (13)25 (13)21 (7)

20 (7)

83

46

52

53

最寄りセンター業務（対面認証）
対面認証申請件数（うち来学数）
対面認証のべ人数

プライマリセンター業務（各種アカウント発行）
HPCI アカウント発行数

38

26

24

19

TSUBAME ローカルアカウント発行数

173

105

64

61

HPCI-AE ローカルアカウント発行数

-

143

35

39

東工大の計算資源を利用する採択課題とその実施
本センターでは TSUBAME2.5 と HPCI-AE の計算資源を HPCI へ提供している。これまでのTSUBAME2.0/2.5 を利用する採択課題数、提供資源量、そして利用率の推移を表 3 に、平成
27 年度に本センターの提供する計算資源を利用した採択課題一覧を表 4 にまとめた。

表 3 HPCI にて TSUBAME2.0/2.5 を利用する採択課題数、提供資源量、利用率の推移
実施年度（※1）

H24 年度

H25 年度

H26 年度

H27 年度

課題採択年度（※1）

H24 年度

H25 年度

H26 年度

H27 年度

採択課題数

6 課題

5 課題

10 課題

14 課題

採択時承認口数

38 口

78 口

130 口

238 口

254 口

最終配分口数

38 口

61 口

121 口

238 口

259 口

100%

80.3%

93.1%

100%

101.9%

23 口

58 口

109 口

238 口

259 口

60.5%

95.1%

90.1%

100%

100%

配分率
利用実績口数
利用率※1 それぞれの実施期間は、平成 24 年度採択課題は平成 24 年 9 月～平成 26 年 3 月末、平成 25 年度
採択課題は平成 25 年 10 月～平成 26 年 3 月末、その後は当該年度である。

67

表４ 平成 27 年度 TSUBAME2.5 を利用した HPCI 採択研究課題一覧
所属機関 利用課題責任者
申請課題名

番号

当初配分
ストレー
利用実績※ ジ容量

1大阪大学 笠原 浩太
転写因子ディスオーダー領域の翻訳後修飾による機能制御機構の解明

16/8/24 口
11/12/23 口

2TB

2

理化学研究所 八木 清
16/8/24 口
レプリカ交換分子動力学計算と非調和振動状態計算によるポリペプチドの構
11/16/27 口
造決定

5TB

3

理化学研究所 八木 清
プロトン化水クラスターに対する非調和振動状態計算と構造決定

16/8/24 口
7/8/15 口

5TB

4京都大学 丸山 敬
実大ストームシミュレータの風路形状および強風発生機構の検討

8/8/16 口
9/11/20 口

10TB

5東京大学 山下 雅史
分子動力学シミュレーションによる抗体の分子認識機構の解明

16/8/24 口
17/7/24 口

10TB

6

理化学研究所 森 貴治
拡張アンサンブルシミュレーションによる膜輸送体の動作原理の解明

4/7/11 口
5/6/11 口

6TB

7

東京工業大学 神田 学
格子ボルツマン法による広域首都圏における大気乱流の超高解像度計算

10/6/16 口
0/14/14 口

10TB

8東京農工大学 山中 晃徳
11/8/19 口
マルチフェーズフィールド法の超大規模 GPU 計算による異常粒成長機構の解11/13/24 口
明

6TB

9

東京大学 片山 伸彦
宇宙背景放射 B モード偏光のデータ解析

1/1/2 口1/1/2 口10TB

10大阪大学 松林 伸幸
ナトリウムイオン電池の開発に資する新規電解液の輸送特性の解析- /3/3 口- /9/9 口

5TB

11

理化学研究所 宮下 尚之
膜タンパク質間結合配置予測のためのスーパーコンピュータ用基盤ソフトウェ
ア開発と実証シミュレーション

16/8/24 口
12/5/17 口

10TB

12

京都工芸繊維大学 高木 知弘
18/10/28 口
大規模フェーズフィールド格子ボルツマン計算による合金凝固組織の高精度
18/21/39 口
予測

10TB

13

防衛大学校 萩田 克美
大規模データ系のナショナルアーカイブ基盤のシステムソフトウェア研究

（辞退）

－

14

東京大学 大和田 智彦
創薬ターゲットタンパク質の内在性リガンドの合成改変のための立体構造予測

10/8/24 口
1/23/24 口

2TB

15

大阪大学 高木 達也
フラグメント分子軌道法を利用した蛋白質間ドッキングの開発

10/5/15 口
1/9/10 口

2TB

158/96/254 口
104/155/259 口

93TB

合計
※

上段（当初配分）と下段（利用実績）ともそれぞれ、上期/下期/合計 の口数を示した。

68

提供資源を有効利用するための運用上の改善
TSUBAME2.5 の資源提供は各課題へ事前に配分された口数を消費して計算を行う方法であり、固定ノードを一定期間割り当てる占有利用と比較して、利用課題が主体的に実施計画を組みやすい反面、閑散期や繁忙期における利用率や利用課題の残余計算資源の過不足を運営側からコントロールするのが難しい。平成 25 年度からは資源提供機関内で計算資源の課題間における再配分が認めら、
平成 26 年度からは 2 期制での口数の割り当てを行うなど、限られた計算資源の有効活用を進めてきた。
平成 27 年度からは共同利用専門委員会で計算資源の課題間の再配分のルールを定め、実施することになった。配分率、利用率ともに 100%に達する結果を得ることができ、平成 28
年度からは、
よりきめ細やかな資源管理が可能なように 4 半期制とすることを決めている。
HPCI 計算資源の再配分ルール
1. 上半期の追加配分希望（上半期中は随時受付）
上半期に配分した計算資源より多くの計算資源を必要とする場合には、当該課題の下半期配分より前倒し利用を認める。
2. 上半期末の残資源の調整（10 月に実施）
各課題に希望を取り、上半期の残資源の 50%を上限に下半期への移行を認める。余剰資源については、3.における追加配分の原資とする。
3. 下半期の追加配分希望（10～12 月の毎月末に実施）
配分資源の 90%以上を使い切った課題を対象に 10 月から 12 月まで毎月末に 5 口を上限として追加配分希望を取り、追加配分する。追加配分の原資より希望口数が多い場
合は追加希望資源量に対するドント方式により配分する。
4. 最終配分口数の決定（1 月に実施）
1 月下旬に各課題に 1 月末までの利用口数と 2 月と 3 月に利用予定の口数希望を出してもらい、１月末に最終配分口数を決定する。追加配分は配分資源の 95%以上を使い切った課題に限定し、削減可能口数より希望口数が多い場合はドント方式により配分する。
成果報告会の開催「第 2 回「京」を中核とする HPCI システム利用研究課題 成果報告会」が平成 27 年 10 月
26 日に日本科学未来館 (東京・お台場)にて開催された。成果報告会では、2 件の基調講演のあと、「HPCI 戦略プログラムが達成したもの」と題して平成 27 年度で終了した HPCI 戦略
プログラムについてのパネルディスカッションが行われた。午後からはポスターセッショ
ン(Session 4)の後、優秀成果賞受賞課題による成果発表(Session 5,6)として 13 件の口頭発表が行われた。

69

HPCI共用ストレージ東工大拠点の運用
HPCI では、全国の基盤センター群のスパコンを連携利用させるため、東京大学情報基盤センター、理化学研究所計算科学研究機構、および本センターの 3 拠点から成り立つ 22PBの HPCI 共用ストレージを構築・運用している。本センターは、TSUBAME2.5 上から効率的に HPCI 共用ストレージにアクセス可能とすることを主目的とし、370 TB 程度のストレージを平成 26 年 4 月より HPCI 共用ストレージに資源を供出している。
平成 27 年 4 月に平成 26 年 8～10 月の 3 か月間に東工大拠点が供出するストレージに書き込まれたファイルに破損が存在することが確認された。調査の結果、HPCI で共用ストレージを利用する 4 課題 4 ユーザに影響があることが判明し、これらのユーザには再計算等の処置が行われた。東工大拠点ではそれ以降、Read Only の運用が続いている。その後、
他の 2 拠点においてもファイル破損を伴う障害が相次いで発生し、本センターだけでなく、障害の原因がストレージシステムを構成するネットワークのシステムソフトウェアの問題
であることが判明し対処が行われた。
これらのことから、HPCI 連携サービス委員会の下部組織として HPCI 共用ストレージを構成する東京大学、理化学研究所、および東京工業大学の 3 拠点から構成される HPCI
共用ストレージ運用部会を発足させ、運用方針等について連携して意思決定を行うこととした。これに加え、HPCI 共用ストレージに関する利用規約および運用ガイドラインを制定
し、HPCI 共用ストレージの安定的な運用体制の構築を行った。
先端ソフトウェア運用基盤の運用
先端ソフトウェア運用基盤は各種ホスティングサービスを HPCI および JHPCN の枠組
みに提供し、HPC リソース利用を補完する、高度なシステムソフトウェア群の研究を支援する研究基盤である。先端ソフトウェア運用基盤は、北海道大学、東京大学、九州大学、
および本センターの 4 拠点で仮想計算機基盤を運用している。本センターは、これら 4 センターの資源提供の取りまとめと、ユーザアカウント等の発行を行っている。
今年度は JHPCN に採択された 2 課題に先端ソフトウェア運用基盤の資源を提供し、システムソフトウェアの研究に利用された。

70

2-9

TSUBAME 共同利用サービス
副センター長
共同利用推進室

青木 尊之
特任准教授

渡邊 寿雄

TSUBAME 共同利用サービス
学術国際情報センターでは、スパコンTSUBAME2.5の計算資源を学内のみでなく、学外の利用者へも広く提供するTSUBAME共同利用サービスを行っている。他にも、別稿にて説明しているJHPCN、HPCI、そして先端研究基盤共用・プラットフォーム形成事業トライ
アルユースでも可能である。これらの学外向け資源提供サービスのうち、HPCIおよびJHPCNの利用者には東工大学内ユーザも多く含まれることから、平成27年度以降は学外向け資源提供量の上限値へは含めないことを共同利用専門委員会にて決定し、平成27年度はTSUBAME共同利用の学術利用および産業利用、そして産業利用トライアルユースなどの学外向け資源提供サービスに対する提供資源量は、TSUBAMEの全提供可能計算資源の20%を上限とすることを同共同利用専門委員会で決定した。
TSUBAME共同利用サービスには、「学術利用」、「産業利用」、「社会貢献利用」の3
つの利用区分と「成果公開」と「成果非公開」のカテゴリがある。
採択課題数の推移
平成 21 年 7 月より開始した TSUBAME 共同利用サービスは平成 27 年度で 7 年目、またTSUBAME2.0/2.5 での運用も 6 年目となり、平成 27 年度は１年間を通して安定したサービスを提供することができた。図 1 の採択課題数の推移に示した通り、平成 27 年度の採択課
題数の合計 41 件（内訳は学術利用 23 件、産業利用・成果公開 8 件、産業利用・成果非公開 10 件）であった。表 1 に共同利用（学術利用）における採択課題一覧を示す。

71

表 1 平成 27 年度 共同利用 学術利用（有償利用）採択課題一覧
課題
番号
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

所属機関 利用課題責任者
申請課題名
大阪府立大学 須賀 一彦
多孔体界面乱流の直接数値計算
都城工業高等専門学校 野地 英樹
超電導電力ケーブルの交流損失解析
情報通信研究機構 山本 健詞
TSUBAME2.5 利用による大規模なホログラム計算
理化学研究所 計算科学研究機構 丸山 直也
高性能・高生産性を達成する垂直統合型アプリケーションフレームワーク
東京大学 情報理工学系研究科 須田 礼仁
ポストペタ時代の大規模並列数値計算のための技術開発
成蹊大学 緑川 博子
高性能計算向け分散メモリ・ストレージ統合システムの研究
理化学研究所 計算科学研究機構 辻田 祐一
PC クラスタにおける並列入出力の高速化に関する研究
理化学研究所 計算科学研究機構 小村 幸浩
ミニアプリケーションの開発と評価
九州大学 辻 健
多層流 LBM シミュレーションを用いた CO2 トラッピングメカニズムの解明
慶應大学 泰岡 顕治
仮想 GPU を用いた分子動力学シミュレーションコードの開発と評価
京都大学 黒橋 禎夫
知識に基づく構造的言語処理の確立と知識インフラの構築
東京医科歯科大学 難治疾患研究所 石川 俊平
タンパク複合体相互作用の計算
情報通信研究機構 チャカロタイ ジェドヴィスノプ
GPU クラスタを利用した詳細人体モデルの大規模電磁界計算
東京大学 大学院情報理工学系研 田浦 健次朗
高性能と高生産性を両立する並列分散ランタイムシステム
日本原子力研究開発機構 井戸村 泰宏
GPGPU における核融合プラズマコードの性能評価
東京大学工学系研究科機械工学専攻 塩見 淳一郎
ナノ構造界面における熱輸送特性の分子シミュレーション
東京大学地震研究所 古村 孝志
不均質地球構造における地震波・津波伝播シミュレーション
法政大学 情報科学部 善甫 康成
LRnLA アルゴリズムを用いた FDTD 法による電磁場伝搬解析
早稲田大学 理工学研究所 石川 敦之
量子化学計算による酸化物担持金属クラスター系における触媒反応の検討
防災科学技術研究所 藤原 広行
GPGPU による長周期地震動シミュレーション
理化学研究所計算科学研究機構 堀 敦史
Lustre における並列入出力の高速化に関する研究
理化学研究所計算科学研究機構 堀 敦史
スペアノードを用いた実行継続手法の通信性能評価
東京都立産業技術研究センター 大原衛
GPU 上での離散イベントシミュレーション実行に向けた基礎的検討
小計

72

購入
口数
4
1
3
2
2
1
4
2
2
8
15
20
7
3
1
20
5
1
1
6
4
10
1
123

2-10 TSUBAME の産業利用サービス
共同利用推進室佐々木 淳【事業概要】TSUBAME の計算資源を産業界に提供するサービスは、平成 19 年度の文部科学省「先端研究施設共用イノベーション創出事業」への採択によりスタートし、平成 22 年度からは先端研究施設共用促進事業、平成 25 年度からは先端研究基盤共用・プラットフォーム形成事業の補助を受けとして、本センター・共同利用推進室が主体的に実施している。
TSUBAME 産業利用のトライアルユースは、民間企業に TSUBAME の計算資源を無償で提供する制度であり、平成 27 年度の新規課題の採択件数は 13 件であり、平成 26 年度からの継続
課題 10 件と合わせ計 23 件の課題が実施した。また有償による企業での利用は 18 件（成果公開 8 件、成果非公開 10 件）であった。
なお、文部科学省の先端研究基盤共用・プラットフォーム形成事業は平成 27 年度にて終了することから、平成 28 年度以降の TSUBAME 産業利用は、本センターの自主事業として実施される。またこれまで HPCI（革新的ハイパフォーマンス コンピューティング インフラストラクチャ）には、学術利用にのみ資源提供を行ってきたが、平成 28 年度より HPCI 産
業利用にも資源提供を行う。表 1 に TSUBAME 産業利用サービスの平成 27 年度の提供サービ
スと平成 28 年度以降の提供サービスを提示する。
表１ TSUBAME 産業利用の平成 27 年度の提供サービスと平成 28 年度以降の提供サービス～ 平成 27 年度
制度

有償利用
（産業）

成果
公開
非
公開

産業利用
トライアル 公開
ユース

利用
事業形態
料金

平成 28 年度 ～
事業主体

補助事業
（先端研
究基盤共
学術国際情
用・プラッ
報センター
トフォーム
無償 形成事
業）
有償

制度

成果

利用
事業形態
料金

事業主体

有償 自主事業

学術国際情
報センター

無償 資源提供

HPCI
運営事務局

公開
有償利用（産業）

非
公開

実証利用
HPCI
公開
産業利用 トライアル
ユース【実施体制】
本センターでは共同利用推進室を組織し、主に学術利用を担当する特任准教授 1 名、主に産業利用を担当する特任准教授 1 名、技術サポートを担当する教育研究支援員 1 名、課題の受付・管理および請求処理を担当する事務員 1 名にて TSUBAME の共同利用の事業を実施している。
共同利用推進室の主な業務内容は、事業運営・実施業務、事業計画策定、事業広報、応73

募課題の発掘・渉外、課題選定評価支援業務、利用制度および環境整備、技術指導および利用料金請求と広範であり、研究推進部情報基盤課、研究資金管理課、財務部契約課等から支援を受けている。

【広報活動】TSUBAME 産業利用の認知向上のため、また利用課題を広く公募するために広報・渉外活動を行っている。平成 27 年 6 月の設計・製造ソリューション展は、平成 22 年度から 7 期
続けて出展しており、本事業の最大のプロモーションとなっている。また本学 TSUBAME の最大の特徴である GPU の活用に強く訴求するため、GPU ベンダの主催するカンファレンスに出展し認知向上に努めるとともに、商用アプリバンドル型トライアルユースで利用しているアプリケーションのベンダー・イベントにも参加し、本事業の取組みを紹介した。
また平成 28 年度より HPCI 産業利用に資源提供することにともない、9 月以降の広報活動
においては、本学の TSUBAME 産業利用だけでなく、HPCI 産業利用の紹介も広報活動の中で合わせて紹介した。
平成 27 年度の広報活動の実績を表 2 に提示する。
表 2 平成 27 年度 広報活動一覧
行事名

開催日

場所

形態

参加者

日本コンピュータ化学会春季年会

5 月 28, 29 日

東京工業大学出展

150 名STAR Japanese Conference 20156 月 2,3 日

横浜ロイヤルパークホテル

出展

2100 名MSC ユーザカンファレンス 20156月4日

コンファレンスセンター品川

出展

500 名

第 20 回計算工学講演会

6 月 8～10 日

つくば国際会議場

出展

300 名

設計・製造ソリューション展

6 月 24～26 日

東京ビックサイト

出展

81469 名GTC JAPAN 20159 月 18 日

虎の門ヒルズ

出展

2500 名日本流体力学会年会

9 月 26～28 日

東京工業大学出展

250 名

日本コンピュータ化学会秋季年会

10 月 30, 31 日

函館市地域交流センター

出展

150 名

【課題公募】
平成 27 年度の 4 月利用開始課題は平成 27 年 1 月から定期公募を開始し、10 月利用開始
課題は平成 27 年 7 月から公募を開始した。開催した公募説明会の日程と出席者数を表 3 に提示する。
なお課題の申請は 2 回の公募期間のほか、4 月～12 月までの期間、随時受付けた。

74

表 3 公募説明会の実績
開催日

公募説明会

出席者

平成 27 年 1 月 23 日

平成 27 年度上期 産業利用トライアルユース公募説明会（1 回目）

18 名

平成 27 年 1 月 28 日

平成 27 年度上期 産業利用トライアルユース公募説明会（2 回目）

17 名

平成 27 年 7 月 24 日

平成 27 年度下期 産業利用トライアルユース公募説明会

4名【産業利用トライアルユースの実施】
平成 27 年度 産業利用トライアルユースの課題採択件数は 13 件で、内訳は戦略分野利用推進課題が 4 件、新規利用拡大課題が 2 件、商用アプリバンドル型トライアルユースが 7件であった。
平成 27 年度の産業利用トライアルユース実施件数は、平成 27 年度採択課題 13 件と平成
26 年度採択の継続課題 10 件と合わせて 23 件の実施となった。提供計算資源としてトライ
アルユース課題に予定していた年間総口数 240 口の全てを配分した。平成 27 年度の産業利用トライアルユースの実施課題と企業名を表 4 に示す。
表 4 平成 27 年度 産業利用トライアルユース 実施課題一覧
番
号

課題区分

1

戦略分野
ナノシム

大規模・大領域 TCAD への HPC 応用技術の開発

株式会社
半導体理工学研究センター

2

戦略分野
ナノシム

フィラー充填ゴムの多目的設計探査

横浜ゴム株式会社

3

戦略分野
ナノシム

塗料や塗膜における大規模シミュレーションの検討

関西ペイント株式会社

4

戦略分野
ナノシム

第一原理計算による熱電変換材料の特性評価

古河電気工業株式会社
解析技術センター

課題名

企業名

過年度採択 継続課題

5

戦略分野
極稀地震時における軟弱地盤上の高層建物に想定される
社会基盤リスク 被害の検討

株式会社竹中工務店

6

戦略分野
ナノシム

量子化学計算による光学物性評価

日本ゼオン株式会社

7

戦略分野
ナノシム

アミンと CO2 の反応の第一原理分子動力学計算

関西電力株式会社
電力技術研究所

8

戦略分野
創薬

創薬研究における大規模ＦＥＰ計算

シュレーディンガー
株式会社

9

戦略分野
ナノシム

電子写真システム設計のための並列シミュレーション
技術の開発

富士ゼロックス株式会社
基盤技術研究所

10

戦略分野
アクセラレータ

大規模画像データセットの機械学習のための分散コンピューティング

株式会社
デンソーアイティラボラトリ

平成 27 年度 採択課題
11

アプリバンドル型
産業用ゴムベルトの有限要素法による構造解析
トライアルユース

75

三ツ星ベルト株式会社

番
号

課題区分

課題名

企業名

12

アプリバンドル型 複合機を例題とした大規模電磁界解析によるトライアルユース EMC 性能評価の精度検証

富士ゼロックス株式会社

13

アプリバンドル型
ＡＭラジオ帯における自動車ワイヤーハーネスの電磁界解析
トライアルユース

矢崎総業株式会社

14

アプリバンドル型
工業用マイクロ波加熱装置の大規模電磁界解析
トライアルユース

ミクロ電子株式会社15

アプリバンドル型 車両搭載ワイヤレス電力伝送システムのトライアルユース 車室内漏えい電磁界特性に関する基礎検討

パナソニックシステムネット
ワークス開発研究所

16

新規利用拡大周波数選択性電磁メタマテリアルの最適設計手法に関する検討横浜ゴム株式会社

17

新規利用拡大中古マンションの将来価格予測株式会社 東京カンテイ

18

戦略分野
創薬

大規模分散深層学習の創薬への応用

株式会社
プリファードネットワークス

19

戦略分野
ナノシム

Steered Molecular Dynamics 法によるタンパク質と高分子膜の相互作用解析

旭化成株式会社

20

戦略分野
ナノシム

高機能性カーボンナノチューブ材料の開発に向けた
大規模シミュレーション

古河電気工業株式会社

21

アプリバンドル型
車室外音場の音響伝達予測手法の高効率化
トライアルユース

三菱自動車工業株式会社

22

アプリバンドル型 車載非接触充電システムの漏洩磁界に対するトライアルユース 体内誘導電界の解析

株式会社 豊田中央研究所

23

戦略分野
創薬

Topoisomerase IV 複合体構造の FMO 計算によるリガンド相互作用エネルギー解析

ペプチドリーム株式会社【有償利用（産業）の実施】
平成 27 年度 TSUBAME 産業利用において、有償にて採択した課題件数は 18 件で、成果公開が 8 件、成果非公開が 10 件であった。TSUBAME 産業利用（有償）実施課題の一覧を表 5に提示する。
課題区分ごとの利用口数は、成果公開の合計が 220 口、成果非公開が 21 口、合計 241 口となった。
表 5 平成 27 年度 TSUBAME 産業利用（有償）実施課題一覧
番号

課題区分

課題名

1

有償利用
成果公開

鋼中析出物の水素捕捉能の高精度計算

新日鐵住金株式会社

2

有償利用
成果公開

気象イベントを考慮した建築環境解析システムの高度化

清水建設株式会社

3

有償利用
成果公開

大容量データ伝送用ミリ波アンテナのレドームに関する基礎検討

スタッフ株式会社

4

有償利用
成果公開

拡張アンサンブルシミュレーションによるタンパク質とリガンドの結合構造予測法の開発

武田薬品工業株式会社

5

有償利用
成果公開

ワイヤレス電力伝送による漏えい電波の環境解析技術の研究開発

パナソニックシステムネット
ワークス開発研究所

76

企業名

番号

課題区分

課題名

企業名

6

有償利用
成果公開

電子デバイス材料の計算機設計

太陽誘電株式会社

7

有償利用
成果公開

大規模・大領域 TCAD への HPC 応用技術の開発

株式会社
半導体理工学研究センター

8

有償利用
成果公開

長距離海中ワイヤレス電力伝送の電磁界シミュレーション
基礎検討

パナソニック株式会社
AVC ネットワークス社

9

有償利用
成果非公開

（非公開）

古河電気工業株式会社

10

有償利用
成果非公開

（非公開）

富士通アドバンスト
テクノロジ株式会社

11

有償利用
成果非公開

（非公開）

株式会社 豊田自動織機

12

有償利用
成果非公開

（非公開）

株式会社 クレハ

13

有償利用
成果非公開

（非公開）

JFE スチール株式会社

14

有償利用
成果非公開

（非公開）

信越化学工業株式会社

15

有償利用
成果非公開

（非公開）

セイコーインスツル株式会
社

16

有償利用
成果非公開

（非公開）

協和発酵キリン株式会社

17

有償利用
成果非公開

（非公開）

株式会社 リコー

18

有償利用
成果非公開

（非公開）

トヨタ自動車株式会社【提供資源量】
産業利用に提供する TSUBAME の計算資源量は、産業利用トライアルユースに 240 口、有償利用に 200 口を計画し、実績として産業利用トライアルユースに計画通り 240 口、有償
利用に 241 口を配分した。
TSUBAME の全体提供時間に対する共用率は、産業利用トライアルユースで 10.20％、有償利用を含めた産業利用全体の共用率は 20.43％となった。
平成 27 年度の TSUBAME 産業利用での TSUBAME の計算資源の使用実績を表 6 に提示する。
なお、TSUBAME の全体提供資源は 1 年間に全てのユーザが使用した TSUBAME の総資源量を示
している。

77

表 6 平成 27 年度 共用時間、全体提供時間、共用率
計算資源供給量（ノード時間）
トライアルユース
計画値

全産業利用

実績値

計画値

実績値

共用時間

(a)

720,000

567,278

1,320,000

1,136,864

全体提供時間(b)6,203,120

5,560,867

6,203,120

5,560,867(a)/(b)11.60％

10.20％

21.27％

20.43％

共用率（単位：ノード時間はマシンタイムの単位で、1 ノード時間は 1 計算ノードを 1 時間占有利用に相当。）【HPCI 産業利用】
先端研究基盤共用・プラットフォーム形成事業が平成 27 年度で終了し、無償で TSUBAMEの計算資源が提供される産業利用トライアルユースは、平成 28 年度から HPCI 産業利用として無償で提供されることになるが、事業の切り替わりによる利用課題数の低下を防止するため、既に TSUBAME 産業利用を利用したユーザに向け、9 月 30 日に本センター主催の
HPCI 産業利用の説明会を開催し平成 28 年度 HPCI 産業利用の公募に向け働きかけを行った。
このような事業の切り替わりに対する事前準備の結果、平成 28 年度の HPCI 産業利用として 10 件が採択され、222 口の計算資源を提供することとなった。

78

2-11 TSUBAME グランドチャレンジ大規模計算制度
副センター長

青木 尊之

特任准教授

渡邊 寿雄

本制度の概要と実行委員会の発足
TSUBAME2.5は世界トップレベルのスパコンであると共に、「みんなのスパコン」TSUBAMEとして東工大の内外に対して計算機資源を提供しているため、通常運用では最大でも420ノードまで（Hキュー利用時）しか占有利用できず、1研究課題で全ノードのピーク性能
5.7PFLOPSを有効活用する機会はない。TSUBAME2.5のピーク性能を生かして初めて可能となるグランドチャレンジの学術分野の研究課題を広く公募し、TSUBAMEの全ノード占有利
用機会を提供することで、世界のトップクラスのスパコンでしか達成できない著しい成果を上げることを目的とし、平成23年度よりTSUBAMEグランドチャレンジ大規模計算制度を設立し、春と秋の年2回で実施している。
これまで本制度はGSICの少数の担当教員が主体となって実施してきたが、審査の公平性、責任の明確化、採択課題の実施サポート体制などを確立し、実施をより円滑にかつ継続的に行っていくため、平成27年度よりTSUBAME グランドチャレンジ大規模計算実行委員会を発足させた。
平成27年度の実施スケジュール
TSUBAMEグランドチャレンジ大規模計算制度は、春期と秋期の年2回実施しいるが、平成
26年度からはカテゴリＢを5月と6月にも実施している。カテゴリＢで提供する資源はＨキ
ュー相当（420ノード）であるため通常運用に対して影響が少ない点、上半期は計算資源に比較的余裕がある時期である点、そして節電のために夏季縮退運転(ピークシフト)が始まる前の時期である点などを考慮している。
本制度の基本スケジュールは、カテゴリＡ/Ｂともに本実施が行われる2か月前より公募を開始し、1か月前に申請締切／審査／採択決定、その後の本実施までの間にＨキュー1日
占有利用相当の予備実施などの準備が行われる。
課題選定評価委員会による審査が行われ、審査委員3名以上による書類審査と、課題選
定評価委員会での2段階審査によって採択課題が決定される。
表1. 各カテゴリの申請状況と採択件数の推移（括弧内は申請課題数）
カテ

H28

ゴリ

春

秋

春

秋

春

秋

春

秋

春

秋

春

Ａ

1(1)

1(2)

2(2)

1(1)

2(2)

0(0)

1(1)

2(2)

2(2)

3(3)

4(6)

14(16)

Ｂ

1(1)

1(1)

3(4)

2(3)

2(2)

1(1)

1(1)

0(0)

0(0)

2(3)

-

4(5)

小計

2(2)

2(3)

5(6)

3(4)

4(4)

1(1)

2(2)

2(2)

2(2)

5(6)

4(6)

18(21)

H27

H26

H25

※ 平成 26～28 年春期には 4～6 月実施分を含む。

79

H24

H23

計

公募するカテゴリ、申請状況、採択課題一覧
本制度で公募するカテゴリとしては、TSUBAME2.5のピーク性能（計算速度）を目指して全ノードを利用するカテゴリＡと、膨大な計算量が必要な課題のためにTSUBAME2.5の全ノードの1/3程度(Hキューの全ノード、420ノード)を一週間利用するカテゴリＢの2つの区分があり、これまでの申請状況と採択件数は表1のようになっている。平成27年度春期から
平成28年度春期までの採択課題一覧を表2に掲載した。
本制度の採択課題が満たすべき条件と採択課題が果たすべき義務本制度で採択される課題は、以下の条件を満たす必要がある。本制度がTSUBAME2.5の一般ユーザの利用を排除して実施するため、それに見合うだけの成果が求められる。また、民間企業からの申請に対し、申請課題の内容が学術的研究であると判断されたために採択された。
 申請課題のカテゴリは、TSUBAME共同利用（学術利用・成果公開）に準ずること。
→ （平成28年度春期以降）申請課題の内容が、学術的研究であること。
 TSUBAMEの大規模ノード占有利用により、広くその重要性が認識されている分野での挑戦的な課題におけるチャンピオンデータが得られる十分な見込みがあること。
 課題申請の段階で1000以上のプロセスを同時実行した実績があること。
 課題申請までにTSUBAMEを利用していることは必須ではないが、大規模ノード占有利
用前に与えられる僅かな期間・計算資源にて万全の準備ができること。
表2. TSUBAMEグランドチャレンジ大規模計算制度の採択課題一覧
実施
時期

カテ
ゴリ

超大規模半正定値計画問題に対するデータドリブン
型高性能汎用ソルバの開発と評価
巨大生体系をターゲットにした分子動力学計算における GPU クラスターでの最適化
MD シミュレーションを用いた薬物過敏症新規メカニ
ズムの解析
超並列計算機 TSUBAME の利用による幾つかの有機・無機化合物のシュレーディンガー解の計算
MD シミュレーションを用いた薬物過敏症新規メカニ
ズムの解析
超大規模半正定値計画問題に対するデータドリブン
型高性能汎用ソルバの開発と評価

A

東京工業大学准教授 横田理央

Particle-In-Cell法を用いた核融合プラズマのシミュレ
ーション

B
6月

量子化学研究協会研究所
研究所長 中辻博

超並列計算機 TSUBAME を用いた FC-VB theory による分子のシュレーディンガー方程式の正確な計算

B
4月
B
5月
A

H27
秋期

H28
春期

申請課題名

九州大学
教授 藤澤克樹
理化学研究所研究員 Jaewoon Jung
大阪大学教授 高木達也
量子化学研究協会研究所
研究所長 中辻博
大阪大学教授 高木達也
九州大学
教授 藤澤克樹
株式会社デンソーアイティ
ーラボラトリ チーフエンジ
ニア 佐藤 育郎

A
H27
春期

所属機関
利用課題責任者

B
10月

大規模画像データセットの機械学習のための分散コ
ンピューティング

80

採択された課題が果たすべき義務として、主に成果の公開に関する以下の4点である。
 本制度によって得られた成果は、利用終了後1ヵ月以内に所定の様式を満たした実施報告書として提出すること。提出された実施報告書のうち、公開すると定めた部分
は東工大GSIC のWeb ページなどで公開される。
 東工大GSIC が開催するシンポジウムなどのイベントにおける発表や、 TSUBAME
e-Science Journal などへの執筆へ協力すること。TSUBAME e-Science Journalへ執筆した場合には、最終成果報告書の別紙として代替することができる。なお特許申請や学術的競争のために発表等ができない場合は、その理由と共に発表できる時期を明記した文書を提出すること。
 本制度で得られた成果を論文発表・学会発表・プレスリリースなどする際は、
TSUBAMEグランドチャレンジ大規模計算制度による成果であることを明記し、発表後2週間以内に報告すること。
 利用終了後1年以内に最終の成果報告書を提出すること。申請時に継続課題として認定された場合には、継続課題の利用終了後1年以内に複数課題の最終報告書をまとめて提出すること。
カテゴリBの課題の採択数の制限と、春期カテゴリBの複数回採択の禁止
平成28年度春期より、カテゴリBでの複数課題の採択は１課題あたりの提供可能計算資
源量が半減するため、4月と5月は原則としてそれぞれ１課題、6月実施分は審査結果を踏
まえて最大2課題とすることになった。また平成28年度春期カテゴリBからは、同一年度の春期カテゴリBへの申請は複数回可能だが、同一課題（継続課題を含む）の採択は１回のみとなった。同一課題かどうかの判断が困難な場合は審査を踏まえて判定を行う。
平成 27 年度の実施スケジュールと各採択課題への提供計算機資源量
平成 27 年度春期(4 月実施)
課題公募

1/23 ～ 2/18 17:00

採択通知

3/11

（藤澤グループ） カテゴリＡ
予備実施（H キュー420 ノード）

3/20 10:00 ～ 3/21 09:00

23 時間

本実施 1 （全ノード）

4/03 16:00 ～ 4/04 09:00

17 時間

本実施 2 （全ノード）

4/05 01:00 ～ 4/05 17:00

16 時間

グループディスク（/work1 1TB）

3～6 月

（Jung グループ） カテゴリＡ
予備実施（H キュー420 ノード）

3/19 10:00 ～ 3/20 09:00

23 時間

本実施 1 （全ノード）

4/04 09:00 ～ 4/05 01:00

26 時間

本実施 2 （全ノード）

4/05 17:00 ～ 4/06 09:00

26 時間

81

グループディスク（/work1 20TB）

3～6 月（中辻グループ） カテゴリＢ
予備実施（H キュー420 ノード）

4/14 10:00 ～ 4/15 09:00

14 時間

本実施 （H キュー473 ノード）

4/21 10:00 ～ 4/25 09:00

95 時間

グループディスク（/work1 30TB）

6～8 月（高木グループ） カテゴリＢ
予備実施（H キュー420 ノード）

4/14 10:00 ～ 4/14 19:00

9 時間

本実施 （H キュー473 ノード）

6/25 09:00 ～ 6/28 09:00

72 時間

グループディスク（/work1 10TB）

4～6 月

平成 27 年度春期(5 月実施)
課題公募

3/13

採択通知

6/03

～ 4/15 17:00（高木グループ） カテゴリＢ
予備実施（H キュー420 ノード）

6/05 10:00 ～ 6/06 10:00

24 時間

本実施 （H キュー473 ノード）

6/25 10:00 ～ 6/11 09:00

119 時間

グループディスク（/work1 10TB）

4～8 月

平成 27 年度春期(6 月実施)
課題公募

4/17

～ 5/13 17:00

応募課題 1 件、 採択課題 なし
平成 27 年度秋期(9-10 月実施)
課題公募

7/28

採択通知

9/01

～ 8/20 17:00（藤澤グループ） カテゴリＡ
予備実施（H キュー420 ノード）

9/16 10:00 ～ 9/17 09:00

23 時間

本実施 （全ノード）

9/29 21:00 ～ 10/1 9:00

36 時間

グループディスク（/work1 1TB）

9～12 月（佐藤グループ） カテゴリＢ
予備実施（H キュー420 ノード）

10/5 09:00 ～ 10/6 09:00

23 時間

本実施 （420 ノード）

10/09 10:00 ～ 10/16 9:00

168 時間

グループディスク（/work1 1TB）

10～12 月82

2-12 萌芽的研究課題支援制度副センター長
共同利用推進室

青木 尊之
特任准教授

渡邊 寿雄

【萌芽的研究課題支援制度発足の目的】
学術国際情報センター（以下、当センター）のスパコン TSUBAME は、学内のみならず、
HPCI や JHPCN の採択課題や学術利用、産業利用にも広く計算資源を提供している。本センターにはこれまでなかった萌芽的研究課題支援制度として、平成 28 年度から若手・女性
利用者支援制度、平成 27 年 1 月からより若い世代である大学生、高校生、高専生の利用を支援する制度を新設した。
平成 28 年度から開始する学際大規模情報基盤共同利用・共同研究拠点（JHPCN）の第二期計画には、萌芽研究として若手・女性利用者の支援が目標として挙げられており、構成
拠点独自の活動であるが JHPCN の取組と連携してスパコンの学術利用の裾野を広げることを目指す。
TSUBAME は「みんなのスパコン」として本学学生に対しては学生証発行と同時に
TSUBAME アカウントの発行を行っているが、利用できる計算資源としては授業や研究室での利用以外では無償枠内の利用（インタラクティブノードでの 4 並列 30 分まで、もしくは計算ノードの 2 ノード 10 分まで）に限られている。早期にスパコンの利用に慣れてもらい、さらなる発展へとつながることを期待し、全国の大学生や高校生・高専生がスパコンを利用できる機会を設けた。
【萌芽的研究課題支援制度の概要】
TSUBAME 若手・女性利用者支援制度と TSUBAME より若い世代の利用者支援制度の２つの利用支援制度を新設し、以下の応募資格、応募条件、公募スケジュールにて実施する。
 TSUBAME 若手・女性利用者支援制度
応募資格：若手利用者（40 歳未満、大学院生を含む）及び女性利用者（年齢は問わない）
応募条件：1 人又は比較的少人数のグループで行う学術的研究課題とする。本利用支援制度実施後に、HPCI、JHPCN、科研費等の採択へ進展することも目的とする。
公募スケジュール：年 1 回、2 月に公募を行い、3 月に審査結果を発表する。4 月から 1
年間利用可能。
提供資源量：各課題へ 1～3 口を提供（１口は 3,000 TSUBAME ポイントに相当）総提供
資源量の上限を 20 口とし、採択課題数は 10 課題程度とする。
 TSUBAME より若い世代の利用者支援制度
応募資格：申請書受理時に、大学学部、高等学校、高等専門学校のいずれかに在学中であり、翌月以降 3 ヶ月間在学予定の者。
83

応募条件：1 人又は比較的少人数のグループで行う研究課題とする。申請課題が達成しようとしている目的が、課題代表者の所属する教育機関の目的に沿った内容であること。申請には課題代表者が所属する教育機関の教員が課題責任者になる必要がある。
公募スケジュール：3 月, 6 月, 9 月, 12 月の 15 日を締切とする公募を行い、速やかに審査結果を通知する。採択課題は翌月当初より最大 3 ヶ月間利用可能。同一内容と認められる課題の継続申請は最大 3 回までとする。
提供資源量：各課題に 0.2 口（600 TSUBAME ポイント）を提供する。追加資源が必要な場合は、申請により追加が認められる場合がある。総提供資源量の上限を 3 口とし、年間の採択課題数は 10 件程度とする。

【萌芽的研究課題支援制度の課題審査】
課題審査は、課題審査委員 4 名以上（学外の審査員が半数以上）による書類審査と、その結果を踏まえた課題審査委員会によって採択課題が決定される。課題審査委員会は、共同利用専門委員会の下に置く。
TSUBAME 若手・女性利用者支援制度で採択された課題のうち JHPCN の萌芽型共同研
究課題の条件を満たす課題は、JHPCN の課題審査委員会に推薦する。
【利用者サポートおよび制度実施の事務局業務】
 TSUBAME 若手・女性利用者支援制度
採択課題の利用は HPCI や JHPCN に準ずる。具体的には、アカウント発行時の利用講習
会の受講は必要なく、TSUBAME の相談窓口にて利用サポートを行う。
 TSUBAME より若い世代の利用者支援制度
本学学生の場合や以前に採択実績がある場合など既に TSUBAME アカウントを所持している場合を除き、採択課題には利用講習会の受講を義務付ける。利用開始後の利用サポー
トは TSUBAME の相談窓口にて行う。
 制度実施の事務局
本利用支援制度の実施に係る事務局業務は、本センター 共同利用推進室が担当する。
【採択課題が果たすべき義務】
採択課題は各種報告書の提出義務に加え、本センターの広報活動への協力義務を負う。
 両利用支援制度に共通
本利用支援制度によって得られた成果は、利用終了後 3 ヶ月以内に、所定の様式を満たした最終の利用報告書を提出する。提出された利用報告書のうち、公開すると定めた部分は当センターの Web ページなどで公開する。



本センターが開催するシンポジウムなどのイベントにおける発表や、本センターの広報活動のための実施成果物等の提出依頼に協力する。特許申請や学術的競争

84

のために発表等ができない場合は、その理由と共に発表できる時期を明記した文書を提出する必要がある。


成果を論文発表・学会発表・プレスリリースなどする際は、本利用支援制度による成果であることを明記し、発表後 2 週間以内に当センターへ報告する。

 TSUBAME 若手・女性利用者支援制度


TSUBAME e-Science Journal への執筆や JHPCN シンポジウム等での発表に協力する必要がある。

【本利用支援制度で得られた成果について】
本利用支援制度により得られた知的財産権は、全て採択課題の実施者へ帰属される。ただし、採択課題の実施において、単なる計算機利用を超えた課題の本質的な領域における当センターの協力が必要な場合には課題申請書提出前に必ず相談し、その上で必要な場合には協議の上で東工大の教職員との共同研究として実施することとする。
【公募実施と採択課題一覧】
新設された萌芽的研究課題支援制度のうち、TSUBAME より若い世代の利用者支援制度は最初の公募が平成 27 年度 1 月期に行われ、1 件を採択・実施した。2 回目の公募として平成 28 年度
4 月期の公募が平成 28 年 2～3 月に行われ、平成 27 年度 1 月期の採択課題 1 件が継続課題として採択された。採択課題の情報は表 1 に示した。
一方、TSUBAME 若手・女性利用者支援制度の最初の公募は平成 28 年度公募として平成 28
年 2～3 月に行われ、申請のあった 10 課題すべてが採択された。そのうち 4 課題は JHPCN 萌芽型共同研究課題として同時採択されている。その採択課題一覧は表 2 に示した。
表 1 TSUBAME より若い世代の利用者支援制度 採択課題一覧
採択時期

所属機関 利用課題責任者
申請課題名

承認
口数

平成 27 年度
1 月期

東京工業大学 2 年 井上毅哉
人力飛行機における設計精度向上のための流体解析

0.2

平成 28 年度
4 月期

東京工業大学 2 年 井上毅哉 (継続課題)
人力飛行機における設計精度向上のための流体解析

0.2

表 2 平成 28 年度 TSUBAME 若手・女性利用者支援制度 採択課題一覧番号

所属機関 利用課題責任者
申請課題名

承認
口数

1
※

大阪大学 山守優
疎構造学習に基づく分子シミュレーション解析手法の開発

3

2

東京大学 渡邉（尾谷）優子
架橋プロリンを含んだアミノ酸配列からの構造モチーフの創製

3

85

3

大阪大学 飯田慎仁
独自の拡張アンサンブル分子動力学法による天然変性たんぱく質の機能解析

34

東京大学 佐山美紗
脂質リガンドと膜タンパク質受容体との相互作用の理論的解析

35

海上技術安全研究所 河村昂軌
荒天海象での船舶の挙動推定と安全性評価に向けた大規模数値計算手法の開発

2

6※

山梨大学 高柳雅俊
通信回数削減型 QR 分解の GPU クラスタシステム上での実装

1

7※

地球生命研究所 河合研志
多数のクラックおよび流体を含む岩石中の地震波動伝播特性の研究

28筑波大学 馬驍 / CO2 ハイドレートの成長過程における分子拡散挙動の解明に向けた分子動力学シミュレーション

2

9日本女子大学 村岡梓
高次螺旋分子の螺旋反転過程の理論的研究

2

10
※

産業技術総合研究所 本野千恵
教師付動力学計算によるタンパク質-低分子結合シミュレーション

3

合計

24
※ JHPCN 萌芽型共同研究課題に推薦【公募実施後の制度改定】
平成 27 年度第 3 回共同利用専門委員会にて以下の制度改定が行われた。
 TSUBAME 若手・女性利用者支援制度の応募条件の改定
現行：

応募条件：１人又は比較的少人数のグループで行う研究課題とする。

改定後： 応募条件：１人で行う研究課題とする。
 TSUBAME 若手・女性利用者支援制度の課題審査の改定
現行： 課題審査は、課題審査委員 4 名以上（学外の審査員が半数以上）による書類審査…
改定後：課題審査は、課題審査委員 2 名以上による書類審査…
 TSUBAME より若い世代の利用者支援制度の応募条件の改定
現行：

応募条件：１人又は比較的少人数のグループで行う課題とする。

改定後： 応募条件：１人又は比較的少人数のグループで行う課題とする。課題従事者は全員が応募条件に適合する必要があり、応募条件を満たさないメンバーは、1 名に限りサポート
メンバーとして追加することが可能とする。ただし、サポートメンバーは課題実施のサポート役
であり、課題実施の主体は課題代表者および課題従事者である必要がある。

86

３ 国際協働3-1 MOU に基づく国際共同研究
3-1-1

ミュンヘン工科大学 Informatics 専攻, Scientific Computing グループとの

TSUBAME を用いた国際共同研究
先端研究部門 高性能計算先端応用分野 青木 尊之
2013 年 11 月に GSIC と部局間交流協定を締結したドイツ・ミュンヘン工科大学
Informatics 専攻の Prof. Dr. Hans-Joachim Bungartz のグループと TSUBAME を用いた国際共同研究を進めている。2016 年 1 月にミュンヘン工科大学を訪問し、TSUBAME2.5 を使った
Randomized Ordinary Differential Equations の並列化に関する研究打合せを行った。並列性能に関して、良好な結果が得られている。

3-1-2 Friedrich-Alexander-University Erlangen-Nuremberg 大学 Computer Science 専
攻, System Simulation グループとの TSUBAME を用いた国際共同研究
先端研究部門高性能計算先端応用分野

青木尊之

GPU スパコンを用いた格子ボルツマン法の大規模シミュレーションの共同研究を進めている。2015 年 9 月 3 日・4 日に Friedrich-Alexander-University ErlangenNuremberg(FAU)大学に GSIC の教員・博士課程の学生 3 名で訪問し、ワークショップに参加すると共に研究の進捗を確認した。また、GSIC が 2011 年にゴードンベル賞を受賞した
フェーズフィールド法による合金の樹枝状凝固シミュレーションを FAU でもドイツのエク
サスケール研究プロジェクト SPPEXA の ExaStencil グループでも開始し、さまざまな観点からのディスカ ッションを行った。FAU のグループが SC15 において Technical Paperに採択され発表を行 った。
3-1-3 Princeton 大学 Princeton Institute for Computational Science & Engineeringとの TSUBAME を用いた国際共同研究
先端研究部門 高性能計算先端応用分野 横田 理央
2016 年 3 月に GSIC と部局間交流協定を締結した Princeton Institute for Computational
Science & Engineering の William Tang 教授のグループはこれまで世界最大級の GPU スパ
コンである米国 Oak Ridge 国立研究所の Titan とスイス ETH/CSCS の Piz Daint のフルノードを用いたプラズマ物理のシミュレーションコード GTC-P のベンチマークを行ってきた。
TSUBAME 上でも同等のベンチマークを行うことで世界最大級の GPU スパコンとしてのTSUBAME の相対的性能評価を行なうことができるため、グランドチャレンジ制度を利用した全ノードでのベンチマークを実行した。

87

3-1-4 インド工科大学マドラス校 Biotechnology 専攻とのバイオインフォマティクスに関する国際共同研究先端研究部門

大規模データ情報処理分野 関嶋 政和

2011 年 11 月に GSIC と部局間交流協定を締結したインド・インド工科大学マドラス校のBiotechnology 専攻の Prof. Dr. Michael M. Gromiha のグループとバイオインフォマティ
クスに関する国際共同研究を進めた。本 MOU 等に基づく研究活動を基盤として、2015 年にはインド工科大学マドラス校と東工大間では全学 MOU が締結されるに至った。蛋白質と RNAの相互作用は細胞内において様々な役割を果たしており、蛋白質と RNA 間の相互作用を理解することは重要である。我々は TSUBAME2.5 を使って分子動力学シミュレーションを用いて蛋白質と RNA 間の相互作用の解析を行なった。
3-1-5

発展途上国の世界遺産地域における持続可能な情報通信技術の応用に関する実践

研究
先端研究部門

情報活用国際協働分野

山口しのぶ

ラオスルアンパバーン政府世界遺産局との連携のもと，持続可能な世界遺産開発を実現するための情報通信技術を用いた包括的かつ効果的な施策について実践研究を実施。今年度は、モバイルラーニングの活用した世界遺産に関する意識向上のためのアプリケーションを開発し、現地の大学生を対象に、モバイルラーニングプログラムの効果について検証した。また、世界遺産局の保有する authorization database の改善を実施し、現在世界遺産
局に活用されている。更に、GIS を活用した湿地帯の変化に関する調査を実施し、現在調査結果を分析中である。これらの研究結果は国内外の学会にて発表された。2015 年に予定されているルアンパバーン世界遺産登録 20 周年記念シンポジウムにて発表され、ラオス国
名誉友好勲章を受章した。

3-2 海外シンポジウム・ワークショップ
3-2-1 文科省政府援助ユネスコ活動補助金合同シンポジウム
先端研究部門

情報活用国際協働分野

山口しのぶ

2016 年 2 月 22 日から 3 日間にわたり、東京工業大学において学術国際情報センターとユネ
スコバンコク事務所の共催で地域シンポジウムが開催された。本シンポジウムはアジア・太平洋地域の研究機関・研究者ネットワークである Education Research Institute Network
in Asia-Pacific （ 以 下 ERI-Net ） の 研 究 成 果 「 国 家 資 格 フ レ ー ム ワ ー ク (National
Qualifications Frameworks)」及び「『21 世紀型スキル(21st Century Skills; Transversal
Competencies)』育成のための教員の指導力向上のための取り組み」が発表された。12 カ国のアジア太平洋地域の 15 参加国・地域から 49 名の教育専門家および政策担当者による活発な議論が展開された。シンポジウムは、三島東京工業大学学長、ユネスコバンコク事務
所教育専門家 Libing Wang 氏の挨拶で始まり、三島学長は、本シンポジウムが、ユネスコ

88

バンコク事務所と東京工業大学の全学協定提携後初の活動であり、両機関のパートナーシ
ップを更に発展させる機会となると述べた。会議の成果は ERI-Net 事務局でまとめられ、ユネスコバンコク事務所のウェブサイトにて広く発信されている。

3-2-2 東京工業大学GSIC・インド工科大学マドラス校バイオテクノロジー学科共催シンポジウム
先端研究部門 大規模データ情報処理分野 関嶋 政和
11 月 5 日、6 日に、インド工科大学マドラス校において、東京工業大学学術国際情報セ
ンターとインド工科大学マドラス校バイオテクノロジー学科の主催（インド文部科学省バイオ局（DBT）と東京工業大学情報生命博士教育院後援）で、3 回目となる国際協働シンポ
ジ ウ ム “ 3rd IIT Madras – Tokyo Tech Joint Symposium on “Algorithms andApplications of Bioinformatics””を開催した。A.K. Mishra 研究担当副学長による挨拶から始まり、8 つのセッションで合計講演 17 講演、及び 45 件のポスター発表があり、国内外から 130 名（日本からは、東工大、中央大から計 7 名）が参加した。
また、11 月 5 日には A.K.Mishra 研究担当副学長との会合に続き、R. Nagarajan 国際協働担当副学長との協議で、IITM がインド政府と一体で進める Research Park についての説明や本学との交流についての意見が交換された。

89

3-2-3 GSIC-KAUST シンポジウム
先端研究部門

高性能計算先端応用分野 横田 理央

東京工業大学 GSIC と KAUST ECRC 共催の``KAUST-GSIC Symposium on Hierarchical Solvers
for Complex Flow Simulation”を開催した。GSIC からは青木教授、山口教授、横田准教授と他 3 名が参加した。KAUST からは ECRC のみならず、HPC や流体関連の教員・研究員が 30名程度参加した。混相流、MHD、フェーズフィールド法、浅水波、格子ボルツマン法、AMR、
GPU コンピューティングなどについて議論を行った。

KAUST-GSIC Symposium の参加者との集合写真

903-3 国際共同研究・協働事業
3-3-1 ミ ュ ン ヘ ン 工 科 大 学 ・ 機 械 工 学 専 攻 Institute of Aerodynamics and Fluid
Mechanics との共同研究
先端研究部門 高性能計算先端応用分野 青木 尊之
GSIC の 青 木が 2014 年 7 月 に ミ ュ ン ヘ ン工科 大 学 ・ 機 械 工 学 専 攻 Institute of
Aerodynamics and Fluid Mechanics の Prof. Dr. Nikolaus A. Adams を訪問し、GPU を用いた格子ボルツマン法と粒子法である SPH による大規模流体シミュレーションの共同研究
が 実 質 的 に 開 始 さ れ てい る 。 2015 年 5 月 から 2 年 間 の 予 定で EASED （ Euro-Asian
Sustainable Energy Development）の枠組みでミュンヘン工科大学の博士課程の学生が GSICの青木研究室に滞在している。また、Prof. Adams のグループの准教授格の Dr. Thomas
Indinger が GSIC の客員研究員として 2016 年 3 月から 2 ヶ月間滞在し、共同研究を進める予定である。
3-3-2

JICA （国際協力機構）との協定に基づいた「草の根パートナーシップ型協力事業」
先端研究部門 国際協働分野 山口しのぶ

2012 年から実施している、JICA 草の根技術協力事業草の根パートナー型プロジェクト「モンゴル における地方小学校教員の質の向上－地域性に即した ICT を活用した教材開発を通じて」の 3 年目の活動を実施した。本年度はモンゴル 4 地域とウランバートル市から選出された 4 県と 1 地区の代表教育専門家チームが ICT を活用し地域性を反映した教員研修教
材を開発した。モンゴル教育大学の教授チームとの連携のもと、現地でのワークショップに参加し、更なる教材の質の向上を目指した。合計 30 科目からなる教員研修教材は、DVD
及び VCD として全土に配布され全国教員研修で活用される。更に、ゴビ地域代表のBayankhogor 県で開発された教材をもとに Free and Open Source Software によるインター
ラクティブ教材の策定を進めている。

3-3-3

Free University, Berlin の Macromolecular Modeling Group との共同研究
先端研究部門 高性能計算先端応用分野 横田 理央

Free University、Berlin の Dr. Milan Hodoscek を訪問し分子動力学ソフトウェア CHARMMと高速多重極展開法のライブラリ exaFMM の統合を行った。分散メモリ型の並列化を行い、水分子の 100 万原子の系やタンパク質と水の 20 万原子の系で FMM と PME の計算結果が一致していることが今のところ確認されている。著名な分子シミュレーションソフトウェア
CHARMM の正式なリリースに本研究で開発した exaFMM が導入されることとなった。

91

3-3-4 台湾国立大学、応用数学科学研究所との共同研究
先端研究部門

高性能計算先端応用分野

横田 理央

台湾国立大学の Weichung Wang 教授を訪問し階層的低ランク近似の共同研究に関する打ち合わせを行った。また、特別講師として Introduction to Fast Multipole Methods という講義名で５日間にわたり１コマ 50 分の講義を 20 コマ行った。20 名以上の受講者は 5 日間とも参加しプログラミング演習を含めた講義は全て youtube に高画質でアップロードされた。

台湾国立大学、応用数学科学研究所での特別講義の受講者との集合写真

92

4.イベント及び啓蒙活動
4-1 オープンキャンパス・工大祭における TSUBAME2.5 一般公開
8 月 8 日（土）に開催されたオープンキャンパスにおいて「スパコン TSUBAME2.5」
一般公開をしました。担当教員によるスパコンについての説明を聞いた後、マシンルームを見学するコース（事前予約制）とマシンルームのみ自由に見学できるコースの 2 コースを設けました。説明付き見学コースにおいては、事前予約時で満員御礼となり、自由見学
においては、1028 名もの見学者があり大盛況となりました。

また 10 月 10 日（土）と 11 日（日）の 2 日間にわたり開催された工大祭においても、今
年 5 回目となる「スパコン TSUBAME2.5」一般公開をしました。
こちらでもオープンキャンパス時と同様のコースを設け、説明付き見学コースでは、10 日
5 回、11 日 4 回開催し、235 名の方が見学されました。また自由見学では、両日で 873 名の方がお越しになられ、2 日間で 1108 名の方が TSUBAME2.5 を見学されました。
昨年同様、多くの方々にご興味をもっていただき感謝申し上げます。

934-2 Supercomputing 2015 におけるブース出展
先端研究部門

高性能計算システム分野

准教授 遠藤敏夫

2015 年 11 月 15 日から 20 日まで、米国オースティンで開催された国際会議 ACM/IEEE
Supercomputing 2015 (SC15)に、昨年度までに引き続き学術国際情報センターとしてブース出展を行いました。
本会議はスーパーコンピューティング・ビッグデータ・ネットワーク分野における世界最大の会議です。論文発表やワークショップだけでなく、各国の研究機関・ベンダーによるブース展示も非常に注目されます。
本センターも 2008 年以降毎年、主にスーパーコンピュータのアプリケーションやシステ
ムに関する研究・開発・運用に関する展示をブースにて行っております。今年度は、ビッ
グデータ技術とスパコンの融合をメインテーマに、TSUBAME2.5 スパコンで得られた当センターの研究者および共同研究者による成果や、「クラウド型ビッグデータグリーンス
ーパーコンピュータ」を謳う TSUBAME3.0 の計画に向けた展示を行いました。その一環として、実社会のセンサー群から得られた人流データを、TSUBAME2.5 上の深層学習フレームワークを用い分類するデモ展示も行いました（九州大学マス・フォア・インダスト
リ研究所、九州大学共進化社会システム創成拠点と共同）。
当ブースでは例年、国内外の著名な研究者による招待講演を開催します。本年はやはりビッグデータとの融合をメインテーマに、計 6 件の講演を開催しました。海外からは、サ
ウジアラビア KAUST の David Keyes 先生による「Data-intensive and Simulation-intensive
Computing: Parallel or Perpendicular 」と 、 米国 イ ン ディ ア ナ 大学 /ORNL の Thomas
Sterling 先生による「Towards A Runtime Framework for Dynamic Adaptive Applications」の招待講演を開催し、熱心な議論が繰り広げられました。

KAUST David Keys 先生のインディアナ大学 Thomas

招待講演の様子

Sterling 先生の招待講演の様子

ま た 会 期 中 に は 、 ス パ コ ン 専 門 誌 「 HPC Wire 」 の 2015 年 Readers Choice 賞“Outstanding Leadership in HPC”が、当センターの松岡聡教授に授与された、との知ら

94

せも飛び込みました。会期を通してのブース来場者は前年度を上回る 309 名となりました。

ブース集合写真
SC では、各種スパコン世界ランキングが会期中に発表されることでも知られます。今回
は、当センターの省エネ技術実証用のテストベッドスパコン TSUBAME-KFC/DL が、
GPU アップグレードの結果、省エネランキング Green500 において、世界二位に返り咲きました(詳細はトピックスを参照)。
また、ビッグデータ処理ランキング Graph500 において、日本のスパコン「京」が世界一を獲得しました。この実現のために本学学生および当センター等のソフトウェア技術が根幹に用いられており、理化学研究所・本学・ユニバーシティカレッジダブリン・九州大学・富士通・JST によるプレスリリースが、会期中の 11 月 18 日に発表されました。
演算速度ランキング Top500 においては、現在の運用スパコンである TSUBAME2.5 が世界 25 位・国内 3 位となりました。もちろんこれは TSUBAME シリーズとしての過去最高位である世界 4 位・国内 1 位（TSUBAME2.0 導入直後の 2010 年 11 月）に比べれば下降していますが、次世代 TSUBAME3.0 の導入を次年度（予定）に控えた時点でもこのランクを維持しているということは、依然 TSUBAME2.5 が、学内外からの研究・教育・産業利用において大きな役割を果たしていることの傍証と言えます。
以上のように、SC15 のブース出展により本センターの研究開発・運用技術・国際協働分野などにおける成果をアピールしました。次回の SC16 では、TSUBAME3.0 スパコンの詳細が発表される見通しです。今回示したビッグデータとスパコン技術の融合というテーマをさらに発展させるなど、さらに本センターのプレゼンスを示していきます。

95

4-3

第 21 回スーパーコンピューティングコンテスト

平成 27 年 8 月 17 日～21 日に「第 21 回スーパーコンピューティングコンテスト（SuperCon15）」を開催した。予選を勝ち抜いた 20 チーム（阪大と東工大にそれぞれ 10 チ
ーム、各チーム 2〜3 名）が本選に臨んだ。
今年の本選課題は「化学振動のパターンを見つけよう」であった。この問題は、化学振動
を循環的セルオートマトン（CCA）でモデル化し、（a）CCA の最初の盤面、（b）CCA をあるステップ数だけ進めた盤面の一部でぼやけた画像、の 2 つが与えられ、（b）は（a）を何ステップ進めたどの位置に出現するかを解答するという内容であった。以下の左図はあるステップでの盤面の画像、右図は左図の黒枠の部分の解像度を落とした画像である。

本選審査では全 3 問中の正解数の多い順、正解数が同じ場合は総実行時間が少ない順により、順位を決定した。今大会で用いられた大阪大学のベクトル型スーパーコンピュータ、
SX-ACE のコンパイラの特性をよく理解し、より上手にベクトル化を行なったチームが上位を飾った。
上位 3 位のチーム名と総実行時間は以下の通りである。1 位から 3 位までのチームには大阪大学サイバーメディアセンター下條真司副センター長より賞状とメダルが授与された。また、1 位の gomaba には優れたアルゴリズム及びプログラムを作成したチームに送られる学会奨励賞（情報処理学会若手奨励賞、電子情報通信学会情報・システムソサイエティス ー
パーコンピューティング奨励賞）が授与された。

96

順位

チーム名

学校名

正解数

総実行時間

1

gomaba筑波大学附属駒場高等学校

3問

104 秒

2

WestDiv

久留米工業高等専門学校

3問

280 秒

3

ReewNen明石工業高等専門学校

3問

316 秒

なお、次の Youtube サイトで循環セルオートマトン（CCA）が変化していく様子を閲覧できる。https://youtu.be/MjLT459j9zA97

4-4 講習会【研究用計算機システム】
平成 27 年度前期講習会【大岡山地区】
1

UNIX 入門

4 月 28 日(火)2Introduction to UNIX5 月 8 日(金)3プログラムチューニング(シングル)

5 月 12 日(火)4プログラムチューニング(並列)

5 月 13 日(水)5Mathematica 入門(初級編)

5 月 15 日(金)6Discovery Studio

5 月 19 日(火)7Gaussian 入門

5 月 20 日(水)8Amber 入門

5 月 21 日(木)9

Fluent5 月 26 日(火)10Materials Studio

5 月 28 日(木)11

MD Nastran/MD Patran

6 月 2 日(火),3 日(水)12Abaqus オンサイトセミナー

6 月 9 日(火)平成 27 年度前期講習会【すずかけ台地区】
1

UNIX 入門

4 月 30 日(木)平成 27 年度後期講習会【大岡山地区】
1

UNIX 入門(大岡山)

10 月 14 日(水)2Introduction to UNIX

10 月 15 日(木)3プログラムチューニング(シングル)

10 月 20 日(火)4プログラムチューニング(並列)10 月 21 日(水)5

ANSYS Mechanical

10 月 29 日(木)6Mathematica 入門(初級編)

11 月 9 日(月)7Abaqus オンサイトセミナー

11 月 10 日(火)8Discovery Studio

11 月 11 日(水)9Materials Studio

11 月 12 日(木)10Gaussian 入門

11 月 17 日(火)11Amber 入門

11 月 18 日(水)12

Fluent11 月 19 日(木)13

AVS Express 分子編

11 月 26 日(木)14

MSC Nastran/ Patran

11 月 30 日(月),12 月 1 日(火)98

【その他の講習会】
1

MATLAB 導入セミナー

4 月 8 日(水)2

MATLAB 導入セミナー

4 月 13 日(月)3

MATLAB セミナー

7 月 15 日(水)4Marc / Marc Mentat 講習会

8 月 19 日(水)5Mathematica セミナー

10 月 7 日(水)

99

4-5

GPU コンピューティング研究会活動
研究会主査 青木 尊之
幹

■19 回

事

下川辺 隆史GPU コンピューティング講習会（MATLAB プログラムの GPU による高速化）

日時：2015 年 6 月 29 日 13:20～17:20
場所：東京工業大学 大岡山キャンパス 情報ネットワーク演習室 第２演習室
参加人数：73 名講習会概要：「MATLAB プログラムの GPU による高速化」講習会と題し、比較的容易に GPU による高速化の恩恵を受けることが可能な MathWorks 社の MATLAB を用い、TSUBAME スパコンに搭載された GPU を使ってハンズオン講習会を実施した。

13:20-13:25 講習会を企画した趣旨
青木尊之（東京工業大学・学術国際情報センター）
13:25-13:40 TSUBAME2.5 への Login下川辺隆史（東京工業大学・学術国際情報センター）
13:40-15:10 MATLAB プログラムの高速化(1)1. MATLAB 概要と MATLAB コードの高速化
2. タスク並列とデータ並列
井原 瑞希（Mathworks Japan・アプリケーションエンジニア）
15:30-17:20 MATLAB プログラムの高速化(2)1. プロセス間通信
2. GPGPU を使用した計算の高速化
井原 瑞希（Mathworks Japan・アプリケーションエンジニア）

100■ GTC Japan 2015 テクニカル・セッション
日時：2015 年 9 月 18 日
場所：虎ノ門ヒルズフォーラム
参加人数：1,802 名（GTC Japan 2015 全体）
GPU コンピューティング研究会が共催している NVIDIA Japan の GTC Japan 2015 において、テクニカル・セッションを企画し、８名の講師による招待講演セッションを実施した。
13:10 - 13:35

ベイズ的最適化(Bayesian Optimization)の入門と応用-機械学習による機械学習の実験計画
佐藤 一誠 （東京大学 情報基盤センター）

13:45 - 14:10 Fast Optimal Transport on GPGPUs
Marco Cuturi（京都大学 大学院情報学研究科）
14:20 - 14:45 GPGPU による放射線シミュレーションの高速化
岡田 勝吾(高エネルギー加速器研究機構 計算科学センター)

14:55 - 15:20 GPU を用いた生体電磁環境研究におけるマルチフィジックスシミュレーショ
ン
鈴木 敬久（首都大学東京 理工学研究科 電気電子工学専攻）
16:20 - 16:45 数十枚の GPU を手軽に使える GPU 仮想化ツール：DS-CUDA
成見 哲（電気通信大学 情報理工学部 情報・通信工学科）
16:55 - 17:20 Performance meets Portability: Unified Parallel Programming for GPU andCPU
Michel Müller（東京工業大学 大学院総合理工学研究科）
17:30 - 17:55 GPU における核融合プラズマ乱流コードの最適化
朝比 祐一（日本原子力研究開発機構 システム計算科学センター）
18:05 - 18:30 TSUBAME2.5 を用いた大規模 phase-field シミュレーションによる凝固組織の高精度予測高木 知弘（京都工芸繊維大学 機械工学系）

101

102

5.

広報活動

5-1 マスコミ報道等◆ 日本経済新聞 電子版：「スパコンの甲子園 教授より速いプログラムも」高校生 と 高等専門学校生 が スーパーコンピューターの プログラムづくり を競う（主催は東京工業大学と大阪大学）が８月に開かれた。参加した約 60「SuperCon2015」
人の生徒たちはスーパーコンピューターの初めての操作に戸惑いを見せながらも果敢に挑み、トップのチームは出題者の大学教授より速いプログラムをつくりあげた。
【2015/9/14】◆ PC Watch：NVIDIA, GTC Japan 2015 ではディープラーニングにフォーカス NVIDIAのGPU 仮想化技術「GRID2.0」を採用した東京工業大学のスーパーコンピュータ「TSUBAME」
について同大学で学術国際情報センター副センター長の青木尊之教授が説明。CUDA の重要性について語りつつ、スパコンでは「VDI」(Virtual Desktop Infrastructure)がもっとも大切であると強調。
【2015/9/18】◆ マイナビニュース：ディープラーニングの最先端情報を求めて 2500 人が参加－GTC
Japan 2015
GRID Virtual Desktop Infrastructure（仮想デスクトップ環境） この
GRID テクノロジを使う VDI について東工大の青木教授が東工大の TSUBAME システムでの利用とその利点について説明を行った。
【2015/9/24】◆ 日経テクノロジー online：Green500 は前回覇者が 1 位守る、東工大の TSUBAME-KFC
が2 位に 開催中の高性能コンピューター（HPC）についての学会と展示会「SC15」で2015
年 11 月 18 日、稼動中の PHC 上位 500 システムを、消費電力 1W 当りの演算性能が高い
順に順位を付け直す「Green 500」のリストが発表された。
【2015/11/20】◆ 秋田魁新報 on The Web ：ユネスコ関係者ら、東成瀬小を視察 教育方針など理解深める
全国学力テストトップ級の秋田県の教育現場視察のため、ユネスコバンコク事務所と共同研究を進めている東京工業大学の山口しのぶ教授と共同研究に携わっているモンゴル
等各大学教授やバンコク事務所職員ら計６人が東成瀬小を訪問。
【2016/2/25】

103

5-2 TSUBAME e-Science Journal の発行（Vol.14）

TSUBAME ESJ 編集委員長

青木 尊之

学術国際情報センターでは、スパコン TSUBAME を利用して得られた成果を広く公表するために平成 22 年から TSUBAME e-Science Journal を機関紙として刊行している。
平成 27 年度は Vol.14 を発行し、TSUBAME グランドチャレンジ大規模計算制度の採択課題の記事 2 件と格子系の大規模流体シミュレーションの記事を掲載した。
記事のタイトルと著者を以下に記載する。
No.14（2016 年 3 月）
・大規模 GPU コンピューティングによる天然岩石内の二相流シミュレーション
Two - phase Porous Flow Simulation for Natural Sandstone on GPU Supercomputer

辻 健，蒋 飛・大規模画像データセットの機械学習のための分散コンピューティング
Distributed Computing for Machine Learning on Large -Scale Image Dataset

佐藤 育郎，渡邉 隆太郎，西村 裕紀，野村 哲弘，松岡 聡
・マルチ GPU 超並列クラスタシステムを用いた大規模ナノ炭素分子の電子状態計算
Electronic structure calculation of large nano carbon molecules using multi - GPU massively
parallel cluster system

河東田 道夫，成瀬 彰，中嶋 隆人

1045－3 見学者受入状況
Ｈ27 年度学術国際情報センター見学者受入状況
月日 見 学 者 所 属

4

3 東京工業大学 数理・計算科学専攻

60

7 TSUBAME 利用講習会 参加者

4

4

8 TSUBAME 利用講習会 参加者

4

4

8 TSUBAME 利用講習会 参加者

3

3

8 オーストラリア連邦科学産業研究機構 外3

3

9 TSUBAME 利用講習会 参加者

4

4

9 カタール財団

2

2

14 TSUBAME 利用講習会 参加者

4

4

15 TSUBAME 利用講習会 参加者

5

5

16 TSUBAME 利用講習会 参加者

1

1

3

1

1

30 デラサール大学

53

43

43

30 TSUBAME 利用講習会 参加者

1

1

12 TSUBAME 利用講習会 参加者

44

12 済州 科学高校（韓国）

48

45

45

13 アイスランド大学

62

48

45

20 TSUBAME 利用講習会 参加者

3

3

12

10

9

26 イスラエル工科大学、大使館文化・科学技術担当

5

3

2

29 日本コンピュータ化学会春季年会参加者

6

6

1

29 TSUBAME 利用講習会 参加者

3

3

5 放電学会シンポジウム参加者

40

40

11 TSUBAME 利用講習会 参加者

4

4

11 TSUBAME 利用講習会 参加者

2

2

12 デンマーク工科大学、スウェーデン戦略的研究財団

2

2

16 三菱電機20

20

17 株式会社日本工営

12822 タイ政府、大学、研究機関

24

23

23

29 KAIST、清華大学

10

9

9

16

5

21

6

人数

カリフォルニア大学バークレー校
東工大 通信情報工学専攻

国立台湾科技大学 副学長他
台北駐日経済文化代表処

105

学外者

外国人

3

1

1

2

月

日

7

2 東工大電気電子工学科 2 年

90

2 バイーア大学（ブラジル）

8

見

学

者 所

属

人数

学外者

外国人

9

8

8

3 東工大 映画研究部

2

1

9 千葉県立東葛飾高等学校

36

35

16 カンボジア工科大学

5

4

21 ネットワンシステムズ株式会社

7

7

24 文科省研究振興局参事官(情報担当)付

2

230 MahidolWittayunusornSchool 高校生

27

25

10

31 NVIDIA

22

1

5 香川県立丸亀高等学校

17

16

5 TSUBAME 利用講習会 参加者

3

3

1023

1023

17 HEROZ 株式会社

2

2

18 経済産業省・星野岳穂審議官

4421 科学技術振興機構 中国総合交流センター

60

55

27 岡山理科大学附属高等学校

77

27 UC Santa Barbara

11

6

6

1 ルーマニア学生/在日本ルーマニア商工会議所

32

30

30

3 浙江大学25

25

25

25 理化学研究所 計算科学研究機構

5529 久留米工業高等専門学校

46

42

30 National Science Foundation22

30 HPCI 課題募集説明会 参加者

8

8

2 エクイニクス

55

8 読売新聞東京本社 編集局科学部（冨山 優介氏）

1

1

8 新潟県立高田高校

30

30

10,11 工大祭 一般公開

1108

1108

13 TSUBAME 利用講習会 参加者

1

1

16 西武学園文理高等学校

20

20

21 TSUBAME 利用講習会 参加者

1

1

23 東工大 5 類

4028 TSUBAME 利用講習会 参加者

1

1

28 日経 BP 社

11

8 オープンキャンパス

9

10

106

4

55

1

月

日 見

11

5

12

人数

学外者

外国人

5

2

2

5 Princeton University、KAUST

2

2

2

7 上海交通大学・華東師範大学

8

8

8

11 TSUBAME 利用講習会 参加者

1

1

18 東京都立小石川中等教育学校

13

12

20 マツダ株式会社

4

4

1 東工大タイオフィス 外65

8 日韓プログラム留学生

8

15 HPC Principal Technologist,Global Research IT,

1

1

1

2

2

2

16 大阪芸術大学 芸術学部 教養課程

1

1

13 香港大学

22

20

20 大田区立大森第六中学校

6

5

1 朝日新聞大阪本社 科学医療部

11

1 文部科学省 事務次官、研究振興局参事官

22

1 韓国生産性本部

20

20

20

2 University of Delaware

1

1

1

1

1

1

12

0

12

16 インテル株式会社

2

2

1

16 Lymerifk 大学 アイルランド

1

1

1

23 公益財団法人東亜留学生育友会

15

13

12

1 バンドゥン工科大学 インドネシア

6

5

5

9 上海東方衛星テレビ 東京支局

1

1

1

14 ノルウェー工科大学

35

34

34

23 秋田県立横手高等学校

24

24

24 文部科学省 科学技術・学術政策局

101028 インドネシア大学

6

5

29 三重県立四日市高等学校

30

26

2254

1966

16

1
2

学 者 所 属4

Sirindhorn International Institute ofTechnology, Thammasat University

National High Performance Computer Engineering
Technology Center

National Center for Supercomputing Applications
University of Illinois

9 ヤフー株式会社

3

計

DDN Japan

（人）

107

5
7

20

5

460

108

6．予算執行状況
1. 平成２７年度法人運営費決算額
研究経費

45,430 千円

教育研究支援経費（うち電子計算機賃借料）

1,032,580 千円(71,928) 千円

特別経費合19,287 千円

計

1,051,867 千円

2. 外部資金受入状況
奨学寄附金

1件

900 千円

受託研究6件

158,605 千円

受託事業

4件

20,163 千円

民間等との共同研究

15,139 千円

代表

13 件
分担

基盤研究Ｂ

2件

1件

9,390 千円

基盤研究Ｃ

3件

2,877 千円

基盤研究Ｓ

2件

55,500 千円

若手研究Ｂ
挑戦的萌芽
研究
研究活動
スタート支援
特別研究員
奨励費

2件

2,900 千円

2件

2,182 千円

1件

1,100 千円

1件

800 千円

科学研究費補助金

合※研究開発施設共用等促進費補助金

1件

48,840 千円

政府開発援助ユネスコ活動費補助金

1件

5,000 千円

43 件

323,396 千円

計※ ただし、金額は前年度からの繰越による受入額を含む

109

110

7.研究部門活動報告
7－1 情報支援部門

教授

一色 剛 （認証・ネットワーク分野）

C 記述からの論理回路自動合成技術【研究の概要と成果】
組込み機器で必要となる複雑な信号処理を効率的に実現するためには、処理アルゴリズムとハードウエアアーキテクチャの同時最適化が重要であるが、これまでの VLSI 設計技術では、アルゴリズムの記述抽象度でアーキテクチャを直接的に表現することが困難であった。
本研究室では、高い抽象度の C 言語データフロー記述方式上で回路構造を定義し、直接的に論理回路を合成する新しい VLSI 設計方式に取り組んでいる。この新たな設計技術を使って、大規模な高並列画像信号処理システム、高性能プロセッサ、高性能キャッシュメモリ、
ネットワーク・オン・チップ等の開発を進めている。特に、JPEG エンコーダ ASIP の設計事例では、わずか 0.5 人月の設計工数で対 SW で約 60 倍の処理高速化を実現し、商用 IP と互角の性能・面積を達成している。
アプリケーション特化プロセッサ設計環境
アプリケーション特化プロセッサ（ASIP：Application-Specific Instruction-set Processor）は、
汎用プロセッサの柔軟性と専用回路の処理性能・電力効率を両立する可能性を持っており、
画像信号処理分野を中心に活用され始めいている。本研究室では，ASIP 設計全般において、アルゴリズム（アプリケーション）設計、命令セット設計・拡張、専用演算回路設計、高速シミュレーションモデル生成、専用コンパイラ生成、回路検証環境生成等をすべて網羅
した ASIP 統合設計環境の構築に取り組んでいる。また、ASIP の適用アプリとして、画像
系（信号処理、画像認識、グラフィックス）のほか、通信系（無線通信制御、ベースバン
ド、符号化、パケット処理）や暗号系（AES, RSA）への展開を計画している。
プログラム解析によるマルウエア検知技術
現在のセキュリティ技術の大きな役割を占めるウイルス検知技術は、バイナリシグネチャ（パターンマッチング）による１次検知、仮想空間動作（サンドボックス）による２次検知などの組合せで構築されているが、近年の爆発的なマルウエア発生状況には十分なソリューションとはなっていない。本研究室では、プロセッサ・コンパイラ生成・シミュレー
タ生成技術の研究成果をベースに、バイナリデータから直接プログラム構造を解析し、その構造情報を活用した網羅性の高いマルウエア検知技術の構築を目指している。特に、プログラム構造からの動的振舞い予測手法・特徴検知手法のアルゴリズム開発（ソフトウエア）と、バイナリデータのプログラム構造解析処理を高速に行うための専用回路設計（ハ111

ードウエア）の両面から取り組んでいる。
【査読付き学術論文】
1） Surachai Thongkaew, Tsuyoshi Isshiki, Dongju Li and Hiroaki Kunieda, “Register-Based Process
Virtual Machine Acceleration Using Hardware Extension with Hybrid Execution”, IEICE Trans.
Fundamentals, vol.E98-A, no.12, pp.2505-2518 (2015)2） Surachai Thongkaew, Tsuyoshi Isshiki, Dongju Li and Hiroaki Kunieda, “Dalvik Bytecode
Acceleration Using Fetch/Decode Hardware Extension”, ISPJ Journal of Information Processing,vol.23, no.3, pp.118-130 (2015)
3） Arif Ullah Khan, Tsuyoshi Isshiki, Dongju Li and Hiroaki Kunieda, “Efficient Design Exploration
Framework of SW/HW Systems Based on Tightly-Coupled Thread Model”, IPSJ Trans. System LSI
Design Methodology, vol.8, pp. 38-50 (2015)【査読付き国際会議・国内学会発表】
1） Pipat Methavanitpong, Tsuyoshi Isshiki, Dongju Li and Hiroaki Kunieda, “Branch Bitstream:
Machine Instruction-level System Tracing”, International Conference on Information andCommunication Technology for Embedded Systems (Mar. 2015)
2） Kensuke Fujiya, Tsuyoshi Isshiki, Dongju Li and Hiroaki Kunieda, “C-Based RTL Design Method
for Circuit Switched Network on Chips”, International Conference on Information andCommunication Technology for Embedded Systems (Mar. 2015)3） Masao Yamazaki, Hiroaki Kunieda, Dongju Li and Tsuyoshi Isshiki, “SIFT-based Algorithm forFingerprint authentication on smartphone”, International Conference on Information andCommunication Technology for Embedded Systems (Mar. 2015)
4） Farhan Shafiq, Tsuyoshi Isshiki, Dongju Li, Hiroaki Kunieda, “A Fast and Highly Accurate Statistical
Based Model for Performance Estimation of MPSoC On-Chip Bus”, Workshop on Synthesis And
System Integration of Mixed Information technologies (SASIMI) (March 2015)5） Tsuyoshi Isshiki, Koshiro Date, Daisuke Kugimiya, Dongju Li, Hiroaki Kunieda, “C-Based RTL
Design Framework for Processor and Hardware-IP Synthesis”, Workshop on Synthesis And System
Integration of Mixed Information technologies (SASIMI) (March 2015)【招待講演】
1） Masaya Shida, Atsuhiro Suga, Tsuyoshi Isshiki,（基調講演）“Next Generation Design Framework for
Custom Image Processing System”, Third International Symposium on Computing and Networking(CANDAR’15) (Dec. 2015)2） 一色剛, “画像処理向け C ベース機能特化プロセッサ 設計及び IP 設計フレームワーク”,
Design Solution Forum 2015 (Oct. 2015)3） Tsuyoshi Isshiki, “C-Based RTL Design Framework for Hardware-IP and ASIP Synthesis”, 15th
International Forum on MPSoC for Software-defined Hardware (MPSoC ’15) (July 2015)4） Tsuyoshi Isshiki, “Application-Specific Instruction-Set Processor (ASIP) Designs for Real-TimeVideo Signal Processing”, International Conference on Signal Processing and Integrated Networks(SPIN) (Feb. 2015)

112

教授

権藤

克彦

（情報基盤活用分野）【研究の概要と成果】
ヒューリスティクスを用いた初心者向け C プログラム静的解析ツールの研究
より良いプログラミング言語教育には、コンパイラの警告メッセージを初心者に対してより理解しやすくすることが本質的に必要である。しかし、GCC などの商用コンパイラの警
告メッセージは依然として理解しにくく、また問題を解決するためのヒントを出力しない傾向が強いことを我々の先行研究では明らかにした。また，我々の観察では，商用コンパ
イラは潜在的エラーコード（警告メッセージは出ないが、プログラマの意図に反している可能性が高いコード）に対して、警告メッセージやヒントを出力しない傾向が強い。そこ
で、この問題を解決するために、ヒューリスティクスに基づく手法を導入し、問題解決のヒント、および潜在的エラーコードへの警告メッセージを出力する、新しい C プログラム
解析ツール C-Helper を提案・実装した。予備調査である 18 人の学生によるアンケートでは良い評価を得たが、我々が昨年提案したベンチマークテストの結果では、
false-positive が増えるという結果を得た．
プログラム変換ルールを用いたプログラム自動要約フレームワークに関する研究
ソフトウェア開発では実装コードから仕様書を復元するリバースエンジニアリングがしばしば行われるが、非常にコストがかかる。そこで，実装コードを（ある程度，半自動的に）要約するシステムがすでに提案されているが、どれも自然言語的なアプローチが使われている。そこで本研究では、ドメインを勘定系に限定し、抽象構文木上での書き替え規則を用いた形式的な自動要約システムの提案とプロトタイプ実装を行った。実装には宣言的論
理プログラミング言語の一種である datalog を用いた。結果として、datalog による実現可能性を示したこと、ルールの再利用性を高めるためにルール群をフレームワーク化する手法を示したこと、問題として要約木の変換ルールの記述が長くなりやすい、などの知見を得た。
【査読付き国際会議・国内学会発表】
1） K. Uchida, K. Gondow: C-Helper: C Latent-error Static/Heuristic Checker for Novice Programmers,
8th Int. Conf. on Computer Supported Education (CSEDU 2016), to appear, (2016)2） 大村悠太，権藤克彦，立石孝彰： プログラム変換ルールを用いたプログラム自動要約フレームワークの構築，第 22 回ソフトウェア工学の基礎ワークショップ(FOSE2015), pp.21-30，(2015) （IEEE Young Researcher Award 受賞）【国内ポスター発表】
1） 長田真裕，権藤克彦：Eclipse のリファクタリングツールのチュートリアル作成によるツー
ル使用者支援，第 22 回ソフトウェア工学の基礎ワークショップ(FOSE2015), ポスター発表，(2015)
2） 牧原健太郎，権藤克彦：Tuckman モデルにおける騒乱期から規範期への移行の補助，第 22回ソフトウェア工学の基礎ワークショップ(FOSE2015), ポスター発表，(2015)

113

教授

友石 正彦 （認証・ネットワーク分野（兼務））【研究の概要と成果】
システム性能向上を目的とした超高速ネットワークの自律制御手法に関する研究
超高速ネットワークを利用するシステムやアプリケーションにおいて、計算のための一時ファイル作成やバックアップ、データベースアクセスなどによる記憶装置へのアクセス処理が頻繁にある場合に、I/O 性能が先に過負荷状態に陥ることで、通信帯域に余裕がある状態でもサービスが飽和してしまうことが、実システムにおいてはよく見うけられる。
本研究では、まず、実験的に作成した Web 環境において、他の通信等の多少にかかわらず、
そのような状況が再現される場合をつきとめ、さらに、そのような状況で、ノード/アプ
リケーションの動作を制限するのではなく、通信ネットワークにおいて観測できる条件だ
けで決まるネットワーク通信の一部への制限によって、ネットワークシステム全体の通信性能、特にサービス提供側の利用通信帯域が向上できる条件についての知見を得た[1]。
これにより、現在多く見られるようになった、ノードやアプリケーションの管理者と、通信環境の管理者が同一でないような場合において、通信環境側からの観測・制御によってだけで、システム全体のサービス改善を行うことができるようになった。
位置情報を用いたモバイルデバイスの安全性向上に関する研究
ノート PC やモバイルデバイスなど、持ち運んでいる機器が、侵入を受けたり、物理的に盗まれたりすることによる、情報流出事件があとを断たない。 この被害は、持ち運ぶ情報を厳密に制限することや、シンクライアントを採用することにより軽減できるが、出発直前まで準備をする場合や、移動中にも仕事がある場合、また、ネットワークの無い環境でのプレゼンテーションに備える場合には、これらの解決策では問題がある。 本研究では、ネットワークに繋がらない状況において、システムが自動的に情報を隠したり、消去したりするための、しきい値として位置情報を採用することで、これらの問題を緩和するシステムの設計を行った。具体的には、位置情報に依存してマウント状況等を制御するファイルシステムの実現と、領域と位置を認証情報として、機器上では領域情報が漏れない
ように、利用するためのモデル、方式の提案を行った[2]。 特にデバイス盗難後に、デバ
イスがネットワークに接続されない状況での、情報削除などは、従来非常に困難であると考えられてきたが、本研究のように、位置情報を継続的自律的にデバイスが測定を続けることで、盗難されていないときの使い勝手を落とさずに、通信に依存しない形で情報流出阻止のための措置をデバイスが自動で開始することが可能となる。
【査読付き国際会議・国内学会発表】
1） Yong Jin; Tomoishi, M.; Satoshi M. "Design of A Concealed File System Adapted for Mobile
Devices Based on GPS Information," 2016 IEEE 40th Annual Computer Software and Applications
Conference (COMPSAC), 10-14 June 2016(to appear).

114

【査読付きポスター発表】
1） Yong Jin; Tomoishi, M.; "Web server performance enhancement by suppressing network traffic forhigh performance client," 2015 17th Asia-Pacific Network Operations and Management Symposium(APNOMS), pp.448-451, 19-21 Aug. 2015. (採択率：29.46%)【国内学会・ワークショップ・講演会等での発表】
1） 松浦 知史、森 健人、金 勇、友石 正彦: "拡張性を考慮した小規模仮想化基盤の構築," 情報処理学会インターネットと運用技術研究会研究報告、2016 年 3 月.
【招待講演】
1） Tomoishi, M.: ICT Security in Campus; management factors and trends on site, Workshop on
Computation: Theory and Practice (WCTP2015), September 22-23, 2015, University of thePhilippines Cebu, Invited talk (2015)

115

准教授

飯田

勝吉 (認証・ネットワーク分野)【研究の概要と成果】
SDN の制御チャネルの信頼性に関する研究
SDN はデータプレーンと制御プレーンを分離し、制御をコントローラと呼ばれるノードに集中させる手法であり、その管理性の高さなどから注目されている。SDN の弱点は、コントローラが集中制御するため、それが単一点障害になってしまうことである。そこで、制御プレーンの制御チャネルを分散制御により回復する手法を提案した。
SDN を用いたオーバレイマルチキャスト高度化に関する研究
Pub/Sub 通信などで利用されているオーバレイマルチキャスト技術は大規模化が容易なことなどから幅広く普及している。しかし、通信の転送に端末を利用するため、通信負荷が大きくなる。その負荷を低減するために SDN を利用する方式を提案し、その性能を明らかにした。
DNS による Botnet 通信の検出に関する研究
Botnet は PC 等に不正プログラムを感染させることで構成した論理的なネットワークである。Botnet の制御ノードのことを C&C サーバと呼ぶが、C&C サーバと Bot 感染 PC の通信を分析し、その防御手法について明らかにした。
【査読付き学術論文】
1) 佐野修一、飯田勝吉、「超広帯域基地局の帯域獲得と競合フローのスループット維持を両立
する輻輳制御切替手法」、電子情報通信学会・論文誌（Ｂ）、投稿中、１４ページ、２０１
６年１月．
2) T. Akiyama, Y. Teranishi, R. Banno, K. Iida, and Y. Kawai, “Scalable Pub/Sub Systemusing OpenFlow Control,” IPSJ Journal of Information Processing, Accepted with minor
revision, 9 pages, Feb. 2016.
3) Y. Ito, H. Koga, and K. Iida, “A Bandwidth Allocation Scheme to Improve Fairness in
Data Center Networks,”' to appear in IEICE Commun. Express, 6 pages, Feb. 2016. DOI:
10.1587/comex.2016XBL0005
4) H. Ichise, Y. Jin, and K. Iida, “Analysis of Via-resolver DNS TXT Queries and Detection
Possibility of Botnet Communications,” IEICE Commun. Express, vol. 5, no. 3 pp. 74-78,
Mar. 2016. DOI: 10.1587/comex.2015XBL0186
5) M. Shimamura, H. Yamanaka, A. Nagata, K. Iida, E. Kawai, and M. Tsuru, “Elastic and
Adaptive Resource Orchestration Architecture on 3-tier Network Virtualization Model,”to appear in IEICE Trans. Inf. & Syst. vol. E99-D, no.4, 13 pages, Apr. 2016. DOI:
10.1587/transinf.2014EDP7321
6) T. Omizo, T. Watanabe, T. Akiyama, and K. Iida, “ResilientFlow: Deployments ofDistributed Control Channel Maintenance Modules to Recover SDN from Unexpected
Failures,” to appear in IEICE Trans. Commun., vol. E99-B, no.5, 13 pages, May. 2016.

116

【査読付き国際会議・国内学会発表】
1) T. Akiyama, Y. Teranishi, R. Banno, K. Iida, and Y. Kawai: “SAPS: Software Defined Network Aware
Pub/Sub - Design of Hybrid Architecture Utilizing Distributed and Centralized Multicast,” Proc.
IEEE Int’l Computers, Software & Applications Conference (COMPSAC2015), pp. 361-366, July
2015.
2) R. Ishikawa, K. Iida, H. Koga, and M. Shimamura, “Handover Performance Improvements using
Cloud Control in Heterogeneous Wireless Networks,” Proc. IEEE Int’l Computers, Software &Applications Conference (COMPSAC2015) Workshops, Fast Abstract Track, pp. 640-641, July 2015.
3) H. Ichise, Y. Jin, and K. Iida, “Detection Method of DNS-based Botnet Communication using
Obtained NS Record History,” Proc. IEEE Int’l Computers, Software & Applications Conference(COMPSAC2015) Workshops, Fast Abstract Track, pp. 676-677, July 2015.
4) Y. Okada, M. Shimamura and K. Iida, “System Investigation of a Gateway Implementing Subflow
Control Policies using a Multipath TCP Proxy,” Proc. IEEE Pacific Rim Conference on
Communications, Computers and Signal Processing (PACRIM2015), pp. 292-297, Aug. 2015.
5) H. Ichise, Y. Jin, and K. Iida, “Analysis of Via-Resolver DNS TXT Queries and Detection Possibilityof Botnet Communications,” Proc. IEEE Pacific Rim Conference on Communications, Computers
and Signal Processing (PACRIM2015), pp. 216-221, Aug. 2015.
6) Y. Ito, Y. Sato, H. Koga, and K. Iida, “A Server-based Flow Allocation Scheme for Streaming
Services in Data Center Networks,” Proc. Workshop on Intelligent Techniques in Distributed Systems(ITDS2015) in conjunction with Int’l Conference on Emerging Ubiquitous Systems and Pervasive
Networks (EUSPN-2015), under the publication of Procedia Computer Science, Elsevier, vol. 63, pp.
529-532, Sept. 2015.
7) Y. Jin, H. Ichise, and K. Iida, “Design of Detecting Botnet Communication by Monitoring Direct
Outbound DNS Queries,” Proc. IEEE Int’l Confrerence on Cyber Security and Cloud Computing(CSCloud2015), pp.37-41, Nov. 2015.
8) K. Intharawijitr, H. Koga, and K. Iida, “Analysis of Fog Model Considering Computing andCommunication Latency in 5G Cellular Networks,'' Proc. IEEE Percom2016, Work-in-progress, 4pages, Mar. 2016.
9) Y. Ito, H. Koga, and K. Iida, “A Bandwidth Reallocation Scheme to Improve Fairness and Link
Utilization in Data Center Networks,” Proc. IEEE Percom2016, Work-in-progress, 4 pages, Mar.
2016.
【国内学会・ワークショップ・講演会等での発表】
1) 伊藤友輔・古閑宏幸・飯田勝吉：「データセンタネットワークにおける公平性改善のための帯域割当手法の提案」，電子情報通信学会・技術研究報告，vol. 115, no. 1, NS2015-12, pp.
65-70, 2015 年 4 月.
2) V. Torres Da Costa, T. Akiyama, and K. Iida, “Self-healing control mechanisms in split-domain
SDN,” IEICE Workshop on Network Virtualization, July 2015.
3) S. Ishihara, T. Akiyama, K. Iida, and M. Fujita, “[Poster Presentation] A tool for constructing
Mininet-based emulated networks over multiple nodes to accommodate for CPU-boundapplications,” IEICE Tech. Rep., vol. 115, no. 307, IA2015-56, pp. 97-99, Nov. 2015.
4) M. Fujita, T. Akiyama, Y. Teranishi, R. Banno, and K. Iida, “[Poster Presentation] Implementation ofcross layer Pub/Sub middleware and evaluation of join and leave performance,” IEICE Tech. Rep.,
vol. 115, no. 307, IA2015-55, pp. 95-96, Nov. 2015.
5) 川上俊雄・古閑宏幸・飯田勝吉：「局所的負荷の広範囲分散を実現する二次元連鎖的フロー
再配置モデルと性能評価」，電子情報通信学会・技術研究報告，vol. 115, no. 371, IA2015-77,
pp. 49-52, 2015 年 12 月.
6) K. Intharawijitr, K. Iida, and H. Koga, “Modeling and Evaluation of Low Latency Network
Architecture Considering Computing Latency in Fog Servers,” IEICE Tech. Rep., vol. 115, no. 404,
NS2015-164, pp. 103-108, Jan. 2016.

1177) S. Li, Y. Jin, and K. Iida, “Detection and Control of DNS-based Botnet Communications by using
SDN-Ryu Solution,”
IEICE Tech. Rep., vol. 115, no. 482, IA2015-93, pp. 73-78, March 2016.
8) 一瀬 光・金 勇・飯田勝吉：「NS レコード通信履歴の解析によるボットネット通信検知システムの提案」，電子情報通信学会・2016 総合大会，BS-6-9, 2 pages, 2016 年 3 月．
9) 金井智彦・飯田勝吉：「［奨励講演］多様な環境におけるマルチパス TCP のサブフロー制御
ポリシの性能評価」，電子情報通信学会・ネットワークシステム研究会，発表予定，2016
年 4 月．
【解説】1) 山里敬也，飯田勝吉，内山博幸，中野美由紀，井上友二，「研究専門委員会による I-Scover
キーワード解説文の執筆と検索されやすい文献キーワードの付与の仕方」，電子情報通信学
会誌，vol. 98, no. 6, pp.494-499，2015 年 6 月．

118

准教授

松浦

知史 （認証・ネットワーク分野）【研究の概要と成果】
オーバーレイネットワークおよび仮想化基盤に関する研究
Consistent Hashing をベースとした DHT(Distributed Hash Table)のアルゴリズムが多数提案されており、規模性の担保されたオーバーレイネットワークを構築することが可能となっている。このようなハッシュ値に基づく論理空間を利用した分散環境では、実環境で発生する様々な負荷の偏り(クエリーやデータ量など)が そのまま論理空間を構成するノードに対して反映されてしまうという問題がある。つまり論理空間上概ね均等な空間を管理していても、ノード毎の負荷の偏りは実環境を反映して大きく変化する。そこでノードが担当する空間の重なりを許しながら、動的に空間の範囲を調整し負荷のバランスを取る手法を提案した。加えて keep-alive などの stabilization における通信を利用しながら軽量で堅牢なオーバーレイネットワークを実現する手法を提案した。これらの手法を用いる事で既存の提案手法に比べて追加の負荷を抑えながら、より負荷のバランスがとれた堅牢なオーバーレイネットワークの構築が可能である事が、実装や評価等により確かめられた。
これらの成果は論文誌や国際会議で発表を行った。
他には拡張性に優れた小規模な仮想化基盤を構築した。本仮想化基盤は予算的なコスト面でも優れており、今後は徐々に規模を拡張しながら、上記の様なオーバーレイネットワー
ク技術も加える形で本学が備える機器のログ解析等で利用していく計画である。
【査読付き学術論文】
1） Kimihiro Mizutani, Takeru Inoue, Toru Mano, Osamu Akashi, Satoshi Matsuura, and Kazutoshi
Fujikawa, "Living Will for Resilient Structured Overlay Networks," IEICE Trans. Commun., April
2016 (to be appeared)
2） Kimihiro Mizutani, Takeru Inoue, Toru Mano, Osamu Akashi, Satoshi Matsuura, and Kazutoshi
Fujikawa, "Stable Load Balancing with Overlapping ID-space Management in Range-based
Structured Overlay Networks," Computer Software, JSSST, vol.32, no. 3, pp.101-110, August 2015.
【査読付き国際会議・国内学会発表】
1） Yong Jin, Satoshi Matsuura and Masahiko Tomoishi. "Design of A Concealed File System Adaptedfor Mobile Devices Based on GPS Information", IEEE Computer Software and Applications
Conference (COMPSAC 2016) (to be appeared).
2） Kimihiro Mizutani, Takeru Inoue, Toru Mano, Osamu Akashi, Satoshi Matsuura, and Kazutoshi
Fujikawa, "Testaments for Resilient Structured Overlay Networks," Proc. of the 21st Asia-PacificConference on Communications (APCC), pp.514-518, October 2015. (採択率:49.57%)

119

助教

實本

英之 （情報支援部門）【研究の概要と成果】
HPC を対象とした実行支援システムに関する研究
マルチスケールアプリケーションを代表とする複数のアプリケーションを連携させる連成計算アプリケーションは、今後のエクストリームスケールな科学技術計算において利用される機会が高いと予想されるが、連携する複数のアプリケーションをネットワーク・地理的距離が離れた複数の計算拠点において効率よく利用するためのフレームワークを検討・設計した。計算拠点を複数利用する場合、連成するアプリケーション間の大規模中途ファイルの転送、拠点内基盤システムの連携、実行環境に合わせたアプリケーションの制御が問題になると考える。これらを行うためには各拠点の運用ポリシの調整やサービス実装に大きな時間が必要となるため、本研究ではユーザが独自に各拠点の資源を管理できる
ようなユーザ専用の連携システムを構築することを主眼とし、SSH といった Well-known
なサービスのみを利用する。複数拠点でのジョブの同時実行に関しては同時性を求めず、
拠点間メッセージを管理するデーモンを各拠点のログインノードに置き、メッセージを保存しておくことで実行開始時間のずれに対応する。

図 1. フレームワークの概要と機能

図 2. フレームワークの詳細設計

以上についてプロトタイプ実装が完成し、2016 年度初頭からパッケージングと頒布をはじめる予定である。また、本プロトタイプ実装は現在、共同研究者により OpenFOAM への組み込み、および性能評価が始まっている。

図 3. ファイルシステムを用いた拠点間転送

120

図 4. OpenFOAM への適用(MW 部分に導入)

実ハードウェア故障に即した SDC の影響解
計算規模の拡大により、アプリケーションが一見正常に終了したように見えるが、その結果は間違っているという SDC 障害が問題となっている。他の障害が明らかに現れるのに対し SDC は検知が難しいが、大規模化・省電力化からシステムの故障は今後さらに増加すると予想され、SDC をより詳しく解析し、非常に大きなコストがかかる検知・復旧が不必
要な際には行われないようにする必要がある。SDC によるアプリケーションの振る舞いに関しては先行研究が行われているが、先行研究では実ハードウェアの故障パターンを十分に考慮していない。
このため、実ハードウェアを考慮した故障パターンを利用し、SDC のアプリケーション
に対する影響を解析する。また、このためにハードウェア故障を再現できる故障発生器の設計を行った。故障発生器には仮想マシンを用い、ホスト OS から仮想マシンプロセスのメ
モリ領域に対し変更を加えることでハードウェア故障をエミュレートしている。

図 5. VM を利用した故障発生器

図 6. DRAM 故 障 パ タ ー ン ( 上 か ら
row-hammer fault, retention fault)

成果として、故障発生器の簡易実装が終了した。また、いくつかの故障パターンのエミュレーションシナリオを作成し、NAS Parallel Benchmark(NPB) をもちいて、SDC の発生を確認できた。今後は、NPB での検証により得られた成果の詳細な分析とより高度な故障シ
ナリオが再現できるよう故障発生器の拡張を行っていく。
HPC におけるクラウド利用に関する研究
インタークラウドを活用したアプリケーション中心型オーバーレイクラウドの有効性を検証するための実証実験基盤の構築・運用を行うとともに、アプリケーションに適したイ
ンタークラウドを構築・運用するための知見を得る為に、広域分散ファイルシステム環境の整備と、インタークラウド上でのデータ保存・アクセス方式に関する研究を行い、サイ
エンスビッグデータの効率的な保存とアクセス環境の開発を開始した。これは NII をはじめ、北大、九大、遺伝研と協調して行っている。本年度は、基盤構築を進めるとともに月121

ごとの研究ミーティングにより、基盤整備と運用に関する要件を検討した。
また、クラウドを用いた HPC が行われた場合、並列プログラミング環境としてデファク
トスタンダードである MPI について、より適した実行形式やプログラミングモデルが必要になる。このため、Amazon Web Service を利用し、実クラウドにおける並列計算の特質について従来の HPC 資源との比較・検証を開始した。
【国内学会・ワークショップ・講演会等での発表】
1） 實本 英之, “科学技術計算における効率の良い複数拠点利用とそれを実現するユーザ駆動型・拠点協調フレームワークの開発と検証”, 学際大規模情報基盤共同利用・共同研究拠点
第 7 回 シンポジウム, Jul 2015
2） 實本 英之, “ユーザ駆動型・大域アプリ連成フレームワーク”, アカデミックインタークラウ
ドシンポジウム 2015, Sep 20153） 實本 英之, 小林 泰三, 松本 正晴, 滝澤 真一朗, 三浦 信一, “多拠点連成アプリケーションを実現するユーザ駆動型・拠点連携システム”, 第 151 回ハイパフォーマンスコンピューテ
ィング研究発表会 (HPC-151), Sep 2015
4） Hideyuki Jitsumoto, “A Framework for Jointing Computation Center with User-Level Management
System”, 2nd Annual Meeting on Advanced Computing System and Infrastructure (ACSI2016), Jan
2016

122

特任助教

金

勇 （認証・ネットワーク分野）【研究の概要と成果】
DNS 通信トラフィイクの解析によるボットネット通信の検知手法に関する研究
近年、DNS を利用したボットネットの攻撃が増えている。DNS はインターネットサービスを利用するために基本的な名前解決機能を提供しており、ネットワーク管理者などによって通信トラフィックを遮断しにくい特徴がる。このような特徴を利用して、ボットネット
ではボット感染 PC とボット制御サーバとの通信に DNS プロトコルを利用し、ボット攻撃を行う傾向がある。本研究では東工大の DNS トラフィクを取得し、ボット通信に使われる可能性のある DNS 通信トラフィックを解析することでボット通信の特徴や検知手法に関する研究を行っている。具体的には、まず最近ボット通信によく使われている DNS TXT レコー
ドの正当な利用方法を分類し、ボット通信に利用される可能性のある利用方法について分析した。次に、学内の DNS トラフィクだけでなく、ボット通信では主に外部への直接問合せが良く利用される特徴に注目して外部への直接 DNS クエリーを解析し、ボット通信の検知手法について提案した。また、提案に基づいて実装及び実験を行い、その結果を電子情報通信学会インターネットアーキテクチャー研究会にて発表を行った。今後、引き続き学内の PC がボット攻撃に参加する前にボット通信を自動的に検知する方法について検討し、国際会議も含めて研究成果を発表する予定である。
DNSSEC の電子署名検証をリゾルバ分散により端末で高速・安全に実現する研究
DNS(Domain Name System)はインターネットにおいて欠かせない名前解決システムになっているが、DNS を悪用したセキュリティ脅威が高まりつつあり、その対策の一環として
DNSSEC(DNS Security Extensions)が提案されている。しかし、DNS フルリゾルバの負荷とDNS トラフィックの増加問題で導入がなかなか進んでない。また、DNSSEC での対策範囲
は権威サーバとフルリゾルバ間であり、端末までは考慮してない。そこで本研究では、端末でのDNSSEC における電子署名検証と利用するフルリゾルバの分散による安全かつ効率的な前解決機構の確立を目的とする。具体的に、まず端末によるDNSSEC署名検証の負荷を調査して本研究計画の実現性を確認し、端末へのDNSSEC署名検証機能の追加を検討した。
今後、端末でDNSSEC署名検証を行う機構を設計・構築し、ローカル環境及び実環境での評
価実験を行い、さらに実運用への導入を検討する予定である。
位置情報を用いたモバイルデバイスの安全性向上に関する研究
近年、モバイルデバイス上に保存されていた個人情報や機密データが侵入や物理的に盗まれることにより流出される事件が増えている。既存手法としてデータの暗号化やシンクラ
イアントの利用が挙げられるが、暗号化のための高い管理コストや低い利便性またインターネットに繋がらない環境などの問題があり、実運用への利用が広がってない問題がある。

123

そこで本研究では、位置情報を活用して指定した領域内でしかマウントできないファイル
システムの構築することで既存の問題を解決する。具体的には、インターネットに繋がらない環境においても位置情報を認証情報として利用し、指定した領域以外の場所ではモバ
イルデバイスが自動的にファイシステムを隠す或いは削除する方式を提案した。本研究により、モバイルデバイスで処理した個人情報や機密データを随時に削除する必要がなく、さらにモバイルデバイスを物理的に盗まれた場合でも情報の流出を防止することが可能となる。
【査読付き学術論文】
1） H. Ichise, Y. Jin, and K. Iida, “Analysis of Via-resolver DNS TXT Queries and Detection Possibilityof Botnet Communications,” IEICE Commun. Express, vol. 5, no. 3 pp. 74-78, Mar. 2016. （レター論文）【査読付き国際会議】
1) Yong Jin; Fujikawa, K.; Harai, H.; Ohta, M., "Secure Glue: A Cache and Zone Transfer Considering
Automatic Renumbering," 2015 IEEE 39th Annual Computer Software and Applications Conference(COMPSAC), pp.393-398, 1-5 July 2015.
2) Otsuka, T.; Gada; Yamai, N.; Okayama, K.; Yong Jin, "Design and Implementation of Client IP
Notification Feature on DNS for Proactive Firewall System," 2015 IEEE 39th Annual Computer
Software and Applications Conference (COMPSAC), pp.127-132, 1-5 July 2015.
3) Ichise, H.; Yong Jin; Iida, K., "Detection Method of DNS-based Botnet Communication Using
Obtained NS Record History," 2015 IEEE 39th Annual Computer Software and Applications
Conference (COMPSAC), pp.676-677, 1-5 July 2015.
4) Ichise, H.; Yong Jin; Iida, K., "Analysis of via-resolver DNS TXT queries and detection possibility of
botnet communications," 2015 IEEE Pacific Rim Conference on Communications, Computers andSignal Processing (PACRIM), 216-221, 24-26 Aug. 2015.
5) Yong Jin; Ichise, H.; Iida, K., "Design of Detecting Botnet Communication by Monitoring Direct
Outbound DNS Queries," 2015 IEEE 2nd International Conference on Cyber Security and Cloud
Computing (CSCloud), pp.37-41, 3-5 Nov. 2015.
6)

Yong Jin; Tomoishi, M.; Satoshi M. “Design of A Concealed File System Adapted for Mobile
Devices Based on GPS Information,” 2016 IEEE 40th Annual Computer Software and Applications
Conference (COMPSAC), 10-14 June 2016(to be appeared).

【査読付きポスター発表】
1） Yong Jin; Tomoishi, M., "Web server performance enhancement by suppressing network traffic forhigh performance client," 2015 17th Asia-Pacific Network Operations and Management Symposium(APNOMS), pp.448-451, 19-21 Aug. 2015.
【国内学会】
1） Sebastian Li, Yong Jin and Katsuyoshi Iida:”Detection and Control of DNS-based Botnet
Communications by using SDN-Ryu Solution,” 情報処理学会インターネットと運用技術研究会
研究報告、2016 年 3 月
2） 松浦 知史、森 健人、金 勇、友石 正彦:”拡張性を考慮した小規模仮想化基盤の構築,”
情報処理学会インターネットと運用技術研究会研究報告、2016 年 3 月
3） 一瀬 光，金 勇，飯田勝吉,「NS レコード通信履歴の解析によるボットネット通信検知シ
ステムの提案」，2016 年電子情報通信学会総合大会，BS-6，2016 年 3 月

124

7-2
教授

先端研究部門青木

尊之 （高性能計算先端応用分野）【研究の概要と成果】
壁面液滴衝突シミュレーション
昨年度から開発している有限体積法に基づいた VOF (Volume of Fluid) 法による二相流
解析コードを高速（160m/sec）な微小液滴（直径 42m）が壁面に衝突する過程のシミュレーションに適用した。噴霧などで発生した液滴が床面に衝突し、どのように広がるかを床面が水平な場合、傾斜している場合について、実験との比較を行い良い一致を得た。しかし、詳細な前進および後退接触角が実験で得られていないため、定量的な比較を行うことは困難である。また、床面の roughness の影響を液滴スケールの計算に直接導入することはほぼ不可能であり、マルチスケールのモデリングが必要であることが分かった。

VOF 法に基づいた気液二相流による微小液滴の床面への衝突

油と水と空気の 3 相の流体計算を可能にするため、2 種類の VOF 値とレベルセット関数を導入した。三重点の取り扱いは不十分であるが、床面に油の層があるところに水の液滴が落下する場合などを計算することができた。 油と水の接触角をどのように扱うかなど解決しなければならない問題もあるが、油と水とでもミルククラウンのようなスプラッシュが生じることが分かる。シミュレーション・コードは複数 GPU で実行できるように実装され、十分な実行性能が得られている。

油の薄い膜の付いた床面への液滴衝突シミュレーション

125Octree 型 AMR を導入した格子ボルツマン法の C++テンプレートを用いたカーネル生成による GPU 計算の高速化
格子ボルツマン法に Octree-based Adaptive Mesh Refinement (AMR）を導入する場合、細分化の末端のリーフに割り当てる格子サイズが小さくなり、GPU

計算の実行性能が大きく低下する。特に D3Q27 型では、リーフの外殻部分にある格子（外殻格子）の計算に隣接格子点参照に対して多数の条件分岐を含む。同一の計算を行いながら外殻格子数を削減するために Octree の 1 段上のノードを利用した冗長計算を行うマザーリーフ法を提案し、1.96 倍に計算を高速化させることができた。また，外殻格子計算における条件分岐を排除するために全ての参照パターンを列挙し、異なる GPU カーネル関数に分割する方法を提案した。参照パターンが 702 通りと非常に多く手動での記述は困難であるため、C++テンプ
レート展開を用いて参照パターンに対応する GPU カーネル関数を自動生成する。プログラ
ムの生産性を維持しつつ、外殻格子の計算速度を 2.29 倍に向上させることができた。

爆風による飛散物のシミュレーション
産業で利用されている高性能爆薬（High explosive）の事故やテロなどによる爆発の人体への被害を予測することは防災の観点から重要である。衝撃波を伴う爆風が遠方まで伝播するが、衝撃波の人体へ与える影響はそれほど深刻ではなく、爆風により加速された飛散物（固体）と人体の衝突が最も危険である。圧縮性流体方程式により、爆轟直後の高圧・高密度の状態から爆風伝播までを解き、爆風と fragment の状態の固体との連成計算を行った。直交格子上での移動境界については Immersed Boundary 法を用い、固体間の衝突は個別要素モデルを用いた。20cm×20cm×3cm の固体片を 280 用いて TNT 1kg を取り囲むように配置し、初期値として TNT の爆轟生成ガスを設定した。81 個の GPU を用い、1200×1200×800格子を用いた計算を行った。約 0.2 msec で 120 m/sec まで加速され、TNT のエネルギーの5.87 %が物体の運動エネルギーに伝達されることが明らかになった。

爆風による飛散物のシミュレーション

126

非球形粒子を用いた個別要素法シミュレーション
粉体現象の解析では、球形の粒子モデルを用いて個別要素法（Discrete

Element

Method:DEM）の計算が行われている。現実には粒子は非球形であり、せん断方向の摩擦力をモデル化することで非球形の効果をある程度は取り入れることができるが、複雑な形状の物体同士が噛み合うような相互作用を表現することは非常に困難である。非球形の物体形状をそのまま用いることで、より正確な粉体の振舞や Rigid Body Dynamics を計算することができる。
球形粒子を連結して表現する非球形粒子を用いて DEM 計算を行った。一つの非球形粒子を複数の粒子で表現する必要があり、非球形粒子を用いた大規模な DEM 計算を GPU で効率的に行うための近傍探索手法と総和計算手法を導入した。大きさの異なる 5 種類の立方体を用いて撹拌シミュレーションを行った。最も大きい立方体は最も小さい立方体の 16 倍になり、計算に用いた粒子数の合計は 6,396,480 個である。粉体中に設置した板を回転させて撹拌を行
うとサイズ・セグリゲーションが起こり、大きい立方体が表面に集まる様子が確認できた。
また、棒状の細長い物体を用いた撹拌のシミュレーションを行い、撹拌されることにより回転板の周りに円を描くように棒の向きが変わっていく様子が確認できた。

大きさの異なる 5 種類の立方体や棒状の物体の撹拌シミュレーション

固相粒子を格子解像する流動層シミュレーション
固液または固気二相流の典型例は流動層であり、化学プラントなどで重要な役割をしていて解析の重要性が高い。これまでの解析は流体運動を計算格子上で解き、固体粒子は格子サ
イズより小さく、モデル化された流体からの抗力を考慮した粒子運動を解き、粒子分布からモデル化された力を格子上で求め流体運動に反映する計算手法が取られていた。しかし、高レイノルズ数の流れになった場合や粒子間衝突、非球形の粒子を扱えないなどの問題があった。そこで、流体を格子ボルツマン法で解き、格子サイズを小さくすることで粒子のサイズ
を格子より十分大きくし、格子上で粒子を移動境界として扱う流体構造連成計算を行った。
さまざまなベンチマーク問題計算で粒子の受ける抗力を検証し、十分な精度で計算できることを確認している。粒子間の相互作用は非球形にも対応できる個別要素法で計算している。128 個の GPU を使い 96×2560×5120 格子で格子ボルツマン法を解き、 62,500 個の粒子を用いた流動層の大規模シミュレーションを行った。

127

128GPU を用いた固相粒子を格子解像する流動層の大規模シミュレーション【査読付き学術論文】
1) 都築怜理、青木尊之: 動的領域分割を用いた流体構造連成によるサスペンション・フローの大規模 GPU 計算, 2015 年ハイパフォーマンスコンピューティングと計算科学シンポジウム,
P111-119, 2015 年 5 月 20 日
2) T. Takaki, R. Rojas, M. Ohno, T. Shimokawabe, T. Aoki: GPU phase-field lattice Boltzmann
simulations of growth and motion of a binary alloy dendrite, Materials Science and Engineering, Vol.
84, June, 20153) S. Sakane, T. Takaki, M. Ohno, T. Shimokawabe, T. Aoki: GPU-accelerated 3D phase-field
simulations of dendrite competitive growth during directional solidification of binary alloy, Materials
Science and Engineering, Vol. 84, June, 2015
4) Christian Feichtinger, Johannes Habich, Harald Kostler, Ulrich Rude, Takayuki Aoki: Performancemodeling and analysis of heterogeneous lattice Boltzmann simulations on CPU-GPU clusters,
Parallel Computing, Vol. 46, P.1-13, June, 20155) 渡辺勢也，青木尊之，都築怜理，下川辺隆史: 触による粒子間相互作用の GPU 計算での近傍探索手法, 情報処理学会論文誌コンピューティングシステム, Vol.8 No.4, P.50-60, 2015 年
11 月 20 日
6) 渡辺勢也，青木尊之，都築怜理: GPU による非球形粒子を用いた DEM の大規模シミュレー
ション, 粉体工学会誌 Vol.52 No.12, P.730-734, 2015 年 12 月 10 日
7) Tomohiro Takaki, Munekazu Ohno, Yasushi Shibuta, Shinji Sakane, Takashi Shimokawabe,
Takayuki Aoki: Two-dimensional phase-field study of competitive grain growth during directional
solidification of polycrystalline binary alloy, Journal of Crystal Growth, January 29, 2016
【解説】1) 中島研吾，青木尊之: スーパーコンピューティングの展望 計算機とアルゴリズム, 日本
計算工学会 20 周年記念号(2016 Vol.21 No.1), P30-33, 2016 年 1 月 31 日

128

【招待講演】
1) 青木尊之: GPU スパコンによる大規模流体・粒子シミュレーション, 2015 年度 放電学会シン
ポジウム, 東京, 2015 年 6 月 5 日
2) 都築怜理，青木尊之: GPU スパコンによる動的領域分割を用いたサスペンション・フローの大規模粒子法シミュレーション, 日本応用数理学会 2015 年度年会, 金沢, 2015 年 9 月 9 日3) Michel Müller: Performance meets Portability: Unified Parallel Programming for GPU and CPU,GTC Japan 2015, Tokyo, September 18, 20154) 青木尊之: GPU スパコンによる粒子法・格子法の大規模シミュレーション, 東北地区応用力
学フォーラム 〜計算力学コロキウム〜, 仙台, 2015 年 11 月 24 日
5) Takayuki Aoki: Large-scale physics-based simulations and scientific visualizations, The
Visualisation, Big Data, Art and Science Festival 2016, Brisbane, Queensland, February 18, 20166) 青木尊之: 災害・ものづくり系シミュレーションとスパコンからのイノベーション, 平成 27
年度地球シミュレータ利用報告会, 品川, 2016 年 3 月 11 日
7) 青木尊之: GPU スパコンを用いた格子ボルツマン法/有限体積法/粒子法による大規模流体シミュレーション, 日本機械学会 第 28 回バイオエンジニアリング講演会, 東工大, 2016 年 1
月 10 日8) Takayuki Aoki: Beyond Peta-scale on Stencil and Particle-based GPU Applications, SPPEXAAnnual Meeting 2016, Munich, Germany, 2016 年 1 月 26 日
【査読なし国際会議発表】
1) Satori Tsuzuki, Takayuki Aoki: Large-scale SPH Simulations using Dynamic Load Balance on a
GPU Supercomputer, Computational Methods in Marine Engineering (Marine 2015), Rome, Italy,2) Takayuki Aoki, Satori Tsuzuki, Seiya Watanabe: Large-Scale Suspension Flow Simulations Using a
Particle Method on a GPU Supercomputer, 13th US National Congress on Computational Mechanics,
San Diego, USA, July 28, 2015
3) Seiya Watanabe, Takayuki Aoki, Satori Tsuzuki: Large-scale DEM Simulations using Non-spherical
Elements on GPU, PARTICLES2015, Barcelona, Spain, September 28, 20154) Satori Tsuzuki, Takayuki Aoki: Large-scale Particle-based Simulations for Granular and Fluid
Dynamics using Dynamic Load Balance on a GPU supercomputer, PARTICLES2015, Barcelona,
Spain, September 29, 2015
5) Takashi Shimokawabe, Takayuki Aoki, Naoyuki Onodera: Advanced High-productivity Framework
for Stencil Applications on GPU Supercomputers, 3rd International Workshops on Advances in
Computational Mechanics, Ryogoku, Tokyo, October 14, 2015
6) Takayuki Aoki: Beyond Peta-scale on Stencil and Particle-based GPU Applications, SPPEXAAnnual Plenary Meeting, Munich, Germany, October 14, 2015
7) Takayuki Aoki: Large-scale Complex Flow Simulations on a GPU Supercomputer, KAUST-GSIC
Symposium on Hierarchical Solvers for Complex Flow Simulation, King Abdullah University of
Science and Technology, Saudi Arabia, February 28, 20168) Un-Hong Wong, Takayuki Aoki: Advanced GPU Direct-MPI Hybrid Framework for Efficient
CFD/MHD Simulations with AMR on Multi-GPU Systems, KAUST-GSIC Symposium on
Hierarchical Solvers for Complex Flow Simulation, King Abdullah University of Science andTechnology, Saudi Arabia, February 28, 20169) Kenta Sugihara: Two Phase Flow Simulation Based on the Interface-tracking Method on Multi-GPU
Cluster, KAUST-GSIC Symposium on Hierarchical Solvers for Complex Flow Simulation, King
Abdullah University of Science and Technology, Saudi Arabia, February 28, 201612910) Kenta Sugihara, Takayuki Aoki: Numerical study on the tsunami impact pressure for structures usinga VOF-based two-phase solver on a GPU supercomputer, Violent Flows 2016, Osaka, March 9, 201611) Satori Tsuzuki, Takayuki Aoki: Large-scale Particle-based Simulations for Debris Flows using
Dynamic Load Balance on a GPU Supercomputer, Violent Flows 2016, Osaka, March 10, 2016
【国内学会・ワークショップ・講演会等での発表】
1) 渡辺勢也，青木尊之，都築怜理: 非球形粒子を用いた個別要素法による大規模粉体シミュ
レーション, 粉体工学会 2015 年度春期研究発表会, 東京, 2015 年 5 月 19 日
2) 都築怜理，青木尊之: サスペンション・フローの超大規模シミュレーション, 粉体工学会
2015 年度春期研究発表会, 東京, 2015 年 5 月 20 日
3) 下川辺隆史: ステンシル計算のための高生産 GPU コンピューティング・フレームワークの高度化, 第 20 回計算工学講演会, つくば, 2015 年 6 月 8 日4) 泉田康太，青木尊之，小野寺直幸，杉原健太，中島聖，本郷均，横畑英明: 複数 GPU を用いた気液分離装置のシミュレーション, 第 20 回計算工学講演会, つくば, 2015 年 6 月 8 日
5) 渡辺勢也，青木尊之，都築怜理，下川辺隆史: GPU を用いた個別要素法計算における近傍探索手法の比較評価, 第 20 回計算工学講演会, つくば, 2015 年 6 月 8 日
6) 長谷川雄太，青木尊之，小野寺直幸: 格子ボルツマン法における適合細分化格子の GPU 実
装, 第 20 回計算工学講演会, つくば, 2015 年 6 月 8 日
7) 都築怜理，青木尊之: GPU スパコンにおける動的負荷分散を用いた大規模流体構造連成シミュレーション, 第 20 回計算工学講演会, つくば, 2015 年 6 月 8 日8) 杉山暁洋，青木尊之，本多潔:浅水波方程式の高精度スキームによる安定な遡上シミュレー
ション, 第 20 回計算工学講演会, つくば, 2015 年 6 月 8 日
9) 杉原健太，青木尊之，内山久和: 垂直軸型風車付き津波避難タワーに対する津波波圧の数
値解析, 第 20 回計算工学講演会, つくば, 2015 年 6 月 9 日10) 岡本成史，山中晃徳，下川辺隆史，青木尊之: 多結晶粒成長過程における析出物によるピンニングの大規模マルチフェーズフィールドシミュレーション, 第 20 回計算工学講演会,
つくば, 2015 年 6 月 10 日
11) 坂根慎治，高木知弘，大野宗一，澁田靖，下川辺隆史，青木尊之: Phase-field 格子ボルツマ
ン法による対流内でのデンドライト成長の大規模 3D 計算, 第 20 回計算工学講演会, つくば,2015 年 6 月 10 日
12) 渡辺勢也，青木尊之，都築怜理: 接触相互作用に基づく粒子法の GPU 計算におけるメモリ
アクセスの改善による高速化, 第 149 回ハイパフォーマンスコンピューティング研究発表会,
東京, 2015 年 6 月 26 日
13) 長谷川雄太，青木尊之: ステンシル計算の高速化のための C++テンプレートによる GPU カーネル生成, 第 149 回ハイパフォーマンスコンピューティング研究発表会, 東京, 2015 年 6月 26 日14) 下川辺隆史: マルチ GPU コンピューティング・フレームワークを用いた高精度気象計算コードの開発, 学際大規模情報基盤共同利用・共同研究拠点第 7 回 シンポジウム, 東京, 2015年7月9日
15) 青木尊之: 動的負荷分散による GPU スパコンを用いた粒子法の大規模シミュレーション手法の開発 II −流体・構造連成計算への適用−, 学際大規模情報基盤共同利用・共同研究拠点
第 7 回 シンポジウム, 東京, 2015 年 7 月 9 日16) 青木尊之: 動的負荷分散による GPU スパコンを用いた粒子法の大規模シミュレーション手130

法の開発, 学際大規模情報基盤共同利用・共同研究拠点第 7 回 シンポジウム, 東京, 2015 年
7 月 10 日
17) 下川辺隆史, 青木尊之, 小野寺直幸: 自動チューニング機構の導入によるステンシル計算のための GPU コンピューティング・フレームワークの高度化, 日本応用数理学会 2015 年度年会, 金沢, 2015 年 9 月 11 日
18) Ahmad Nurul Huda，神田学，小野寺直幸，青木尊之，八木綾子: LBM を用いた中立都市大
気境界層の相似性の検討, 日本流体力学会年会 2015, 東京, 2015 年 9 月 26 日
19) 岡元成史，山中晃徳，下川辺隆史，青木尊之: 可動分散粒子によるピンニングを考慮した多結晶粒成長の 3 次元マルチフェーズフィールドシミュレーション, 第 28 回 計算力学講演会, 横浜, 2015 年 10 月 10 日
20) 高木知弘，坂根慎治，Rojas Roberto，大野宗一，澁田靖，下川辺隆史，青木尊之: 液相流動を伴うデンドライト成長の大規模 phase-field lattice Boltzmann シミュレーション, 第 28 回 計算力学講演会, 横浜, 2015 年 10 月 10 日
21) 長谷川雄太，青木尊之: 適合細分化格子 LBM による複雑形状物体周りの流れの LES 計算,
第 28 回 計算力学講演会, 横浜, 2015 年 10 月 10 日
22) 渡辺勢也，青木尊之，都築怜理: GPU による実形状粉粒体モデルを用いた大規模 DEM シ
ミュレーション, 第 28 回 計算力学講演会, 横浜, 2015 年 10 月 11 日
23) Takayuki Aoki, Satori Tsuzuki, Yuta Hasegawa: Dynamic domain decomposition using space-filling
curves for large-scale computational mechanics applications, IWACOM-III, Tokyo, October 13,201524) 下川辺隆史: 専用機，アクセラレータに未来はあるのか？, エクサスケール時代のグランドデザイン, 神戸, 2015 年 10 月 28 日
25) 渡辺勢也，青木尊之，長谷川雄太: LBM-DEM 固液二相流の GPU 計算, 第 29 回数値流体力
学シンポジウム, 福岡, 2015 年 12 月 15 日
26) 長谷川雄太，青木尊之，小林宏充: Octree 細分化格子を導入した格子ボルツマン法による乱流の GPU 計算, 第 29 回数値流体力学シンポジウム, 福岡, 2015 年 12 月 16 日
27) Un-Hong Wong, Takayuki Aoki: Advanced GPU Direct-MPI Hybrid Framework with Block-Based
Data Structure for E cient AMR on Multi-GPU Systems, 第 29 回数値流体力学シンポジウム, 福
岡, 2015 年 12 月 17 日28) 青木尊之: GPU スパコンを用いた格子ボルツマン法/有限体積法/粒子法による大規模流体シ
ミュレーション, 日本機械学会 第 28 回バイオエンジニアリング講演会, 東京, 2016 年 1 月
10 日

131

教授

松岡

聡 （高性能計算システム分野）【研究の概要と成果】
EBD：次世代の年ヨッタバイト処理に向けたエクストリームビッグデータの基盤技術
将来 Zeta(1021)Byte/日(あるいは Yotta(1024)Byte/年)という、今の Google/Amazon の個々の
IDC に代表される 10 万ノード級のクラウドのデータ処理能力の、最大で 10 万倍に至る処理能力を達成するための EBD(Extreme Big Data)システム基礎技術の確立を達成することを目標とし、そのためにスーパーコンピューティング技術、特にメニーコア超並列処理と広帯域低遅延ネットワーク技術・不揮発性メモリ技術・及び高性能データベース技術の要素技術、および、それらの融合に関する研究開発を進めている。本年度は、EBD アプリケーションを支えるためのシステムソフトウ
ェアの研究開発を通じて、ビッグデータと HPC 技術の統合を目指した EBD 処理基盤の全体的な技術像の具現化をすすめた。具体的には、スーパーコンピュータ上でのビッグデータ処理性能を競うベンチマークである Graph500 を題材に、数千〜数万ノード規模でのスケーラビリティを達成するためのデータ構造(ビットマップを使った疎行列表現や頂点濃度に応じたデータ構造選択)やボトムアップ探索の並列性の向上などを適用した実装の高度化を TSUBAME2 や京コンピュータで進めた。特に京コンピュータにおいては、88,128 台の計算ノードのうち 82,944 台を用いることで、
Scale40 (約 1 兆頂点、16 兆枝)の大規模グラフに対する幅優先探索問題を 0.45 秒と、2014 年 6
月時点のプログラムの約半分の時間で解き、HPC 技術と Big Data 処理技術のコンバージェンスを再び実証した。この結果により、2015 年 6 月および 11 月の Graph500 のランキングにおいて京は 1 位を獲得した。また、動的に変化するグラフに向けたデータストア DegAwareRHH を開発し、現存する最大規模のオープンなグラフデータである 1280 億枝のグラフに対して 128 ノードの計算機を用いることで 20 億枝/秒の速度で枝の追加を行えることを示し、EBD アーキテクチャ上におけるリアルタイムに変化する大規模グラフの処理に先鞭をつけた。また、ソートアルゴリズムについてもアクセラレータメモリ、ホストメモリ、SSD で構成されたバーストバッファ、並列ファイルシステムという深いメモリ階層とデータ圧縮を活用することで、従来 32 ノード規模までにしかスケールしなかった
Disk-to-Disk のソートを 128 ノード規模でも弱スケールするように改良した。疎行列ベクトル積演
算については、多段階の行列分割およびブロッキングを行う格納フォーマットである Adaptive
Multi-level Blocking フォーマットを開発し、省メモリでかつ高速な演算を実現した。
今後の高性能計算のプラットフォームには、従来型のスーパーコンピュータに加えて、Amazon
EC2 に代表されるクラウドサービスの活用も必要となるが、クラウドの計算リソースは従来型スパコンに比べてストレージへの通信スループットが低く、I/O 時間が性能ボトルネックとしてより顕著になる。この状況を緩和するため、クラウドバーストバッファと呼ばれる I/O 加速機構の開発を行った。ク
ラウド上にバーストバッファノードと呼ばれる専用の計算ノードを作り、そこにアプリケーションで利用されるデータをキャッシュすることで、アプリケーションの実行を加速する。Amazon EC2 およびS3 を用いた実験では、実アプリケーションを 2.5 倍高速に実行することができることを示した。
大規模な計算機環境上における通信は一般的に MPI などのミドルウェアによって抽象化され、132

その詳細が隠蔽されるが、アプリケーションの通信性能の改善を検討する際には、アプリケーションの各ルーチンにおける通信パターンをハードウェアレベルで確認しないと性能ボトルネックを知ることができない。そのため、MPI 実装を拡張し、ハードウェアレベルでの通信パターンを取得する軽量プロファイラ ibprof を開発し、通信性能ボトルネックの可視化を可能とした。
TSUBAME に代表される GPU などのアクセラレータを用いたスパコンにおいては、アプリケー
ション毎にアクセラレータおよび CPU におけるプロセッサおよびメモリの利用率・利用パターンが異なり、リソースの有効活用が難しいという弱点がある。そこで、GPU アプリケーションのマイグレーション(実行中における別ノードへの移動)手法を確立し、ノードごとの GPU 数および GPU ごとのメ
モリ容量を仮想的に融通することを可能にした。これにより柔軟化したスケジューリングを用いて、従来のアプリケーションをより短い待ち時間で高速・省電力に実行することが可能となった。
また、道路交通シミュレーションを題材に、大規模グラフ上で動作するエージェントベ
ースのアプリケーションの負荷平準化についての研究をすすめた。大規模道路交通シミュ
レーションでは車をあらわすエージェントの地理的な配置に基づいてマシン上に配置しなければならないが、車の位置関係と地理的な密度は時刻と共に動的に変化するため、エージェントもそれに応じてノード間で移動しなければ、効率の良い実行ができない。本研究では、道路グラフの節点(交差点)を複数の計算ノードに割り振り、節点上におけるエージェント(自動車)の台数に応じてその割り当てを動的に変化させることで負荷均衡を実現し、従来の動的負荷分散を行わない場合に対して 4 倍の性能向上を得られた。
さらに、次世代計算デバイスのひとつである FPGA の評価にも着手している。Altera 社のFPGA 用 OpenCL コンパイラを用いて、Rodinia ベンチマークと呼ばれるヘテロジニアス計
算環境向けのベンチマークコードの性能評価を行った。ベンチマークコードにおける GPU
向けの OpenCL における記述を FPGA の性質にあわせて sliding windows などの最適化を施すことで、元のコードのままでは FPGA 上で性能を発揮しないコードについても、高い性能を発揮することができ、同世代 GPU と比較して 3.9 倍の電力効率で、同世代の CPU よりも高速にアプリケーションが実行可能であることを示した。
また、近年問題となっている計算機の消費電力についても研究を継続している。一般に計算機の消費電力計測の最小単位はノード単位、もしくはそれを構成する部品単位であり、近年のヘテロジニアス環境で要求される、1 つのノードを仮想分割して複数のジョブに割り当てた際にそれぞれのジョブの消費電力を評価することはできない。そこで、パフォー
マンスカウンタを用いてプロセスごとの消費電力をモデリングすることにより、各ジョブの電力負担を推定する研究を行った。1 ノード単一プロセス時の消費電力を最大 5.16%の誤差で推定するモデルを用いることで、1 ノード 2 プロセス時の合計消費電力を 80%以上のケースにおいて 4%以下の誤差で推定することができ、これらのジョブに対してはジョブごとの消費電力の寄与分が十分な精度で推定できたといえる。加えて、スーパーコンピュータ
全体の消費電力の動向についても、TSUBAME のモニタリングデータを用いた機械学習手法を用いることで推定できると考えており、そのための研究環境の整備をすすめた。

133スーパーコンピュータにおけるプログラムの生産性の観点では、スーパーコンピュータのアプリケーション記述言語の大部分を占める Fortran 77 プログラムに対して、より記述
性・保守性の高いスクリプト言語である Python とのプログラムの相互変換機構の設計を行った。これにより、レガシーな言語である Fortran 77 プログラムをより現代的な言語である
Python を用いて書き換えることが可能となり、プログラマの生産性の向上を期待できる。
また、アプリケーション個別の記述性・生産性の向上のための研究として、プログラムの本質的計算の記述のみを行い、最適化を自動化することでコードの記述性を向上させる研究を行っている。階層的多体問題については、プログラムの本質的な計算コードを記述するのみで多体問題のプログラムが作成できるフレームワーク Tapas の開発を行った。現時点の初期実装では、TSUBAME2.5 上において、手動で限界まで最適化した ExaFMM と比較
して約 30～50%の性能を達成している。ステンシル計算においてはテンポラルブロッキン
グと呼ばれる複雑な高速化を、コンパイラによる自動最適化で適用できるよう、LLVM を用いて変換する機構の設計を行った。
10 億並列・エクサスケールスーパーコンピュータの耐故障性基盤
ムーアの法則に従い，スーパーコンピュータの性能は年々向上し，近年では，ペタ(1015)
フロップス級の性能（1PFlop=１秒あたり 1000 兆回の演算性能）は珍しくない．しかし，計算ノードの増加や計算機器の複雑化に伴い，障害発生率も増加する．このため，科学技術計算など長時間の解析を行う大規模並列アプリケーションは実行を完了することができず，
ポストペタ(数十ペタフロップス)スケールの計算は障害・回復時間が実計算の何十倍ともなり実質的に不可能とされている。これを解決するために、様々な耐障害技術が提案されているが,エクサスケールシステムへの適用は難しい。そこで、我々は、TSUBAME2.0/2.5を利用し,その後継として予定されている TSUBAME3.0 に向けた、10 億並列・エクサスケ
ールコンピュータの耐障害性基盤の実現を目指している。
本年度は昨年に引き続きシステムの統合をすすめるとともに、あらたに Silent Data
Corruption(SDC)と呼ばれる従来の ECC 機構では発見できずにプログラムを停止させることなく計算結果を破壊する故障クラスについて、その影響を評価するための仮想マシンを用いたメモリ故障エミュレーション環境の開発を進めた。エミュレーションには Row
hammer に代表される実際の DRAM で発生する故障パターンを用いることを目標とし、プロトタイプ実装において NAS Parallel Benchmark(NPB)について DRAM 故障が実際に SDCにつながることが確認できた。今後はより実装を高度化することで、より現実に即した故障の再現を行い、将来の計算環境における耐故障性基盤の高度化に寄与していく予定である。
さらに、計算ノードの故障に加えて相互結合網の故障のための研究もすすめた。Nue ルーティングアルゴリズムでは、InfiniBand における既存の多数のルーティング手法を経験則的に組み合わせることによって、故障によって動的に変化するネットワークにおいても常134

に通信が適切にバランスされるよう、経路情報を高速に更新することを可能にした。3D
Torus トポロジに対して、従来手法では不可能であった 4096 故障点を持つネットワークにおける経路計算を可能とし、よりロバストな計算環境の実現に寄与した。
圧縮性流体解析プログラムの高速化に関する研究
本研究は松岡研究室と株式会社 IHI との間で平成 27 年 11 月から平成 28 年 3 月の期間で結ばれた共同研究契約によるものである。航空機のタービン開発において重要な翼列周りの流れ解析シミュレーションの効率化を目的としており、同社より提供された、実際に用いられているアプリケーション UPACS とデータセットを用いて、TSUBAME2.5 の GPU を用いての高速化、大規模化に向けての課題の検討を行った。UPACS を OpenACC により並列化することで、提供されたプログラムから 9.5 倍の性能向上を得た。本研究では単一ノードにおける評価が主であったが、次年度以降は複数ノードを用いた大規模並列時の評価を目標としている。また、OpenMP・CUDA を用いて UPACS を並列化し、OpenACC 版と比較することで、OpenACC の言語としての評価を行った。OpenACC はアクセラレータ向けの指示文ベースのプログラミングモデルであり、GPU の利用促進のために大変重要である。
本学も OpenACC の committee に参加しているが、OpenACC は未だ発展途上であり、本研究のような実際に用いられているアプリケーションを用いての評価は重要である。
機械学習の処理高速化に関する研究
本研究は松岡研究室と株式会社デンソーおよび株式会社デンソーアイティーラボラトリの間で平成 27 年 10 月から平成 28 年 9 月の期間で結ばれた共同研究契約によるものである。
本格的な共同研究に先立ち、デンソーアイティーラボラトリが保有する機械学習プログラ
ム SPRINT の GPU 向け最適化および処理の改善を行い、TSUBAME2.5 を利用して計測を行った結果を ImageNet Large Scale Visual Recognition Challenge 2015 に共同で投稿した。32 ノード、96 GPU を用いた実行はこの分野ではこれまで例のなかった大規模なものであり、機械学習プログラムは適切に最適化することで大規模並列実行が可能であることを示した。
また、SPRINT の性能改善のために、実行時間およびミニバッチサイズ(1 回のパラメー
タ更新時に利用される学習データ量)を算出する性能モデルの作成を行った。ナイーブに並列化で性能を向上させようとすると、ミニバッチサイズが並列数に比例して大きくなるが、ミニバッチ型機械学習においてはミニバッチサイズの大小が認識性能を左右することが一般に知られており、性能モデルを用いることでミニバッチサイズ制約下における最も効率の良い実行パターンを探索する必要がある。結果として TSUBAME-KFC/DL において
TSUBAME2.5 で最高の認識率を達成した条件と同じ学習が約 70%の時間で実行できることを予測し、実測により確認した。

135

【査読付き学術論文】
1)

Hideyuki Shamoto, Koichi Shirahata, Aleksandr Drozd, Hitoshi Sato, Satoshi Matsuoka"GPU-Accelerated Large-scale Distributed Sorting Coping with Device Memory Capacity", IEEE
Transactions on Big Data, 2016/1/5, DOI: 10.1109/TBDATA.2015.2511001

2)

上野 晃司, 鈴村 豊太郎, 松岡 聡 "Pregel グラフ処理系におけるメッセージ配送最適化",
情報処理学会論文誌コンピューティングシステム（ACS）, 9(1), pp. 30-40, 2016/3/8, ISSN
1882-7829【査読付き国際会議・国内学会発表】
1) Suttinee Sawadsitang, James Lin, Simon See, Francois Bodin, Satoshi Matsuoka "Understanding
Performance Portability of OpenACC for Supercomputers", Programming Models, Languages andCompilers Workshop for Manycore and Heterogeneous Architectures (PLC2015) in conjunction
with the IEEE International Conference on Parallel and Distributed Processing Symposium 2015
(IPDPS2015), Hyderabad, India, 2015/5/15, DOI: 10.1109/IPDPSW.2015.60 (採択率不明)
2)

James Lin, Akira Nukada, Satoshi Matsuoka "Modeling Gather and Scatter with Hardware
Performance Counters for Xeon Phi", The 15th IEEE/ACM International Symposium on Cluster,
Cloud and Grid Computing (CCGRID 2015) Doctoral Symposium, Shenzhen, Guangdong, China,
2015/5/15, DOI: 10.1109/CCGrid.2015.59 (採択率不明)

3)

Abdelhalim Amer, Huiwei Lu, Pavan Balaji, Satoshi Matsuoka "Characterizing MPI and Hybrid
MPI+Threads Applications at Scale: Case Study with BFS", The 2nd Workshop on Parallel
Programming Model for the Masses (PPMM 2015) in conjunction with the 15th IEEE/ACM
International Symposium on Cluster, Cloud and Grid Computing (CCGRID 2015), Shenzhen,
Guangdong, China, 2015/5/15, DOI: 10.1109/CCGrid.2015.93 (採択率不明)

4)

Naoto Sasaki, Kento Sato, Toshio Endo, Satoshi Matsuoka. "Exploration of Lossy Compression forApplication-level Checkpoint/Restart", IEEE International Conference on Parallel and Distributed
Processing Symposium 2015 (IPDPS2015), Hyderabad, India, 2015/5/15, DOI:
10.1109/IPDPS.2015.67 (採択率 21%)5)

Chaojie Zhang, Koichi Shirahata, Shuji Suzuki, Yutaka Akiyama, Satoshi Matsuoka "Performance
Analysis of MapReduce Implementations for High Performance Homology Search", 2015 年ハイパ
フォーマンスコンピューティングと計算科学シンポジウム, 東京, 2015/5/19 (採択率 71.4%)

6)

高嵜 祐樹，遠藤 敏夫，松岡 聡 "GPU クラスタにおける大規模都市気流シミュレーショ
ヱの最適化と性能モデル", 2015 年ハイパフォーマンスコンピューティングと計算科学シンポジウム, 東京, 2015/5/20 (採択率 71.4%)

7)

Taichiro Suzuki, Akira Nukada, Satoshi Matsuoka "Efficient Execution of Multiple CUDA
Applications using Transparent Suspend, Resume and Migration", Euro-Par 2015 Parallel
Processing, Vienna, Austria, 2015/8/26, DOI: 10.1007/978-3-662-48096-0_53 (採択率 26.8%)

8)

Aleksandr Drozd, Olaf Witkowski, Satoshi Matsuoka, Takashi Ikegami "Signal-Driven Swarming: A
Parallel Implementation of Evolved Autonomous Agents to Perform A Foraging Task", The FirstInternational Symposium on Swarm Behavior and Bio-Inspired Robotics, Kyoto, Japan, 2015/10/28,
DOI: 10.13140/RG.2.1.1022.1920 (採択率不明)

9)James Lin, Qiang Qin, Shuo Li, Minhua Wen and Satoshi Matsuoka "Evaluating AVX2 Vgather
Instruction with Stencils", HPC China 2015, Wuxi, China, 2015/11/9 (採択率不明)

10) Aleksandr Drozd, Anna Gladkova, Satoshi Matsuoka "Python, Performance, and Natural Language
Processing", 5th PyHPC workshop @ SC15, Austin, TX, USA, 2015/11/15, DOI:
10.1145/2835857.2835858 (採択率不明)
11) Hiroki Kanezashi and Toyotaro Suzumura "Performance Optimization for Agent-Based Traffic
Simulation by Dynamic Agent Assignment", Winter Simulation Conference 2015, Huntington Beach,CA, 2015/12/8, DOI: 10.1109/WSC.2015.7408213 (採択率不明)

13612) Aleksandr Drozd, Anna Gladkova, Satoshi Matsuoka "Discovering Aspectual Classes of Russian
Verbs in Untagged Large Corpora" , IEEE DSDIS 2015, Sydney, Australia, 2015/12/11, DOI:
10.1109/DSDIS.2015.30 (採択率不明)
13) Kevin Brown, Satoshi Matsuoka and Jens Domke "Hardware-Centric Analysis of Network
Performance for MPI Applications", 21st IEEE International Conference on Parallel and Distributed
Systems (ICPADS 2015), Melbourne, Austrailia, 2015/12/14, DOI: 10.1109/ICPADS.2015.92 (採択率 35.7%)
14) Toshio Endo, Yuki Takasaki, Satoshi Matsuoka "Realizing Extremely Large-Scale Stencil
Applications on GPU Supercomputers", 21st IEEE International Conference on Parallel andDistributed
Systems(ICPADS
2015),
Melbourne,
Austrailia,
2015/12/14,
DOI:
10.1109/ICPADS.2015.84 (採択率 35.7%)
15) Hamid Reza Zohouri, Naoya Maruyama, Aaron Smith, Motohiko Matsuda, Satoshi Matsuoka"Towards Understanding the Performance of FPGAs using OpenCL Benchmarks", 10th HiPEAC
Workshop on Reconfigurable Computing (WRC’16), Prague, Czech, 2016/1/18 (採択率 40%)16) Keita Iwabuchi, Roger Pearce, Brian Van Essen, Maya Gokhale, Satoshi Matsuoka "Design of a
NVRAM Specialized Degree Aware Dynamic Graph Data Structure", 7th Annual Non-Volatile
Memories Workshop 2016, San Diego, USA, 2016/3/6 (採択率 71.9%)
17) Yusuke Nagasaka, Akira Nukada, Satoshi Matsuoka "Adaptive Multi-level Blocking Optimizationfor Sparse Matrix Vector Multiplication on GPU", INTERNATIONAL CONFERENCE ON
COMPUTATIONAL SCIENCE(ICCS 2016), San Diego, CA, USA, 2016/6/6 (Accepted, 採択率不明)18) Keita Iwabuchi, Roger Pearce, Brian Van Essen, Maya Gokhale, Satoshi Matsuoka "Towards aDistributed Large-Scale Dynamic Graph Data Store", Graph Algorithms Building Blocks (GABB’2016), Chicago, USA, 2016/5/23 (Accepted, 採択率不明)
19) Jens Domke, Torsten Hoefler, Satoshi Matsuoka "Routing on the Dependency Graph: A New
Approach to Deadlock-Free High-Performance Routing", HPDC'16, Kyoto, Japan, 2016/6/2(Accepted, 採択率不明)
20) Satoshi Matsuoka, Hideharu Amano, Kengo Nakajima, Koji Inoue, Tomohiro Kudoh, Naoya
Maruyama, Kenjiro Taura, Takeshi Iwashita, Takahiro Katagiri, Toshihiro Hanawa, Toshio Endo
"From FLOPS to BYTES: Disruptive Change in High-Performance Computing towards the
Post-Moore Era", ACM Computing Frontiers 2016 (CF16), 2016/5/16, Como, Italy (Invited Paper,
Accepted, 採択率不明)【査読付きポスター発表】（採択率）
1) Tianqi Xu, Kento Sato, Satoshi Matsuoka "Towards Cloud-based Burst Buffers for I/O Intensive
Computing in Cloud", HPC in Asia Workshop in conjunction with the International Supercomputing
Conference (ISC’15), Frankfurt, Germany, 2015/7/15 (採択率不明)
2)

Hiroki Kanezashi, Toyotaro Suzumura, Satoshi Matsuoka "Performance Optimization of
Large-Scale Traffic Simulation on Parallel and Distributed Systems", HPC in Asia Workshop in
conjunction with the International Supercomputing Conference (ISC’15), Frankfurt, Germany,
2015/7/15 (採択率不明)

3)

Pak Markthub, Akihiro Nomura, Satoshi Matsuoka "mrCUDA: Low-Overhead Middleware forTransparently Migrating CUDA Execution from Remote to Local GPUs", International Conference
for High Performance Computing, Networking, Storage and Analysis (SC15), Austin, 2015/11/17(採択率 44%)4)

Keita Iwabuchi, Roger Pearce, Brian Van Essen, Maya Gokhale, Satoshi Matsuoka "Design of a
NVRAM Specialized Dynamic Graph Data Structure", International Conference for High
Performance Computing, Networking, Storage and Analysis (SC15), Austin, 2015/11/17 (採択率
44%)

137

5) Yusuke Nagasaka, Akira Nukada, Satoshi Matsuoka "Multi-level Blocking Optimization for FastSparse Matrix Vector Multiplication on GPUs", International Conference for High Performance
Computing, Networking, Storage and Analysis (SC15), Austin, 2015/11/17 (採択率 44%)6)

Tianqi Xu, Kento Sato, Satoshi Matsuoka "Design and Modelling of Cloud-based Burst Buffers",
International Conference for High Performance Computing, Networking, Storage and Analysis(SC15), Austin, 2015/11/17 (採択率 44%)

7)

Hitoshi Sato, Ryo Mizote, Satoshi Matsuoka "Out-of-core Sorting Acceleration using GPU andFlash NVM", International Conference for High Performance Computing, Networking, Storage andAnalysis (SC15), Austin, 2015/11/17 (採択率 44%)8)

Jens Domke "Increasing Fabric Utilization with Job-Aware Routing", International Conference forHigh Performance Computing, Networking, Storage and Analysis (SC15), Austin, 2015/11/17 (採択率 44%)【国内学会・ワークショップ・講演会等での発表】
1) 野村 哲弘，三浦 信一，遠藤 敏夫，松岡 聡 "アプリケーションの Empirical な性能モデル構築のためのプロファイル情報の収集 (オーガナイズドセッション: 計算科学と計算機科学のコデザインのためのミニアプリ)", 2015 年ハイパフォーマンスコンピューティングと計算科学シンポジウム, 東京, 2015/5/20
2)

野村 哲弘，佐々木 淳，三浦 信一，遠藤 敏夫，松岡 聡 "TSUBAME2 におけるスケジュ
ール効率化への取り組みとユーザ動向の見える化", 2015 年並列／分散／協調処理に関する『別府』サマー・ワークショップ (SWoPP2015), 別府, 2015/8/4

3)

Pak Markthub, Akihiro Nomura, Satoshi Matsuoka "mrCUDA: A middleware for migrating rCUDA
virtual GPUs to native GPUs", 2016 年並列／分散／協調処理に関する『松本』サマー・ワーク
ショップ (SWoPP2016), 別府, 2015/8/4

4)

寺西 賢人，野村 哲弘，遠藤 敏夫，松岡 聡 "ノード内同時実行ジョブにおけるパフォー
マンスカウンタによるプロセス毎消費電力のモデル化", 2015 年並列／分散／協調処理に関する『別府』サマー・ワークショップ (SWoPP2015), 別府, 2015/8/5

5)Tianqi Xu, Kento Sato, Satoshi Matsuoka "Cloud-based Burst Buffers for I/O Acceleration ", 2015
年並列／分散／協調処理に関する『別府』サマー・ワークショップ (SWoPP2015), 別府,
2015/8/5

6)

佐藤仁, 溝手竜, 松岡聡 "GPU アクセラレータと不揮発性メモリを考慮した外部ソート",2015 年並列／分散／協調処理に関する『別府』サマー・ワークショップ (SWoPP2015), 別府, 2015/8/5

7)

丸山直也, Hamid Reza Zohouri, 松田元彦, 松岡聡 "OpenCL による FPGA の予備評価", 2015
年並列／分散／協調処理に関する『別府』サマー・ワークショップ (SWoPP2015), 別府,
2015/8/6

8)

Hitoshi Sato, Ryo Mizote, Satoshi Matsuoka "Out-of-core Sorting Acceleration using GPU andFlash NVM", GTC Japan Poster Session, 東京, 2015/9/18

9)長坂侑亮, 額田彰, 松岡聡 "多段階ブロッキングによるメモリアクセス量削減を図ったGPU
向け疎行列ベクトル積計算手法の性能評価", GTC Japan Poster Session, 東京, 2015/9/18

10) Pak Markthub, Akihiro Nomura, Satoshi Matsuoka "mrCUDA: Low-Overhead Middleware for Live
Migrating Remote GPU Execution to Local GPU Execution", GTC Japan Poster Session, 東京,
2015/9/18
11) 長坂侑亮, 額田彰, 松岡聡 "疎行列ベクトル積計算を対象とした GPU 向けメモリアクセス
削減手法", 情報処理学会 第 151 回ハイパフォーマンスコンピューティング研究発表会, 沖
縄, 2015/9/30

13812) 野村 哲弘, 佐々木 淳, 三浦 信一, 遠藤 敏夫, 松岡 聡 "TSUBAME2 におけるジョブスケ
ジューリング効率化への取り組みと検証", 大学 ICT 推進協議会
企画セッション HPC テクノロジー, 名古屋, 2015/12/2

２０１５年度年次大会

13) Hamid Reza Zohouri, Naoya Maruyama, Aaron Smith, Motohiko Matsuda, Satoshi Matsuoka"Optimizing the Rodinia Benchmark for FPGAs", 情報処理学会 第 152 回ハイパフォーマンス
コンピューティング研究発表会, 札幌, 2015/12/17
14) 星野 哲也，松岡 聡 "圧縮性流体解析プログラムの OpenACC による高速化", 情報処理学会 第 153 回ハイパフォーマンスコンピューティング研究発表会, 松山, 2016/3/1
15) Keita Iwabuchi, Roger Pearce, Brian Van Essen, Maya Gokhale, Satoshi Matsuoka "Design of a
NVRAM Specialized Degree Aware Dynamic Graph Data Structure", 情報処理学会 第 153 回ハイパフォーマンスコンピューティング研究発表会, 松山, 2016/3/1
16) 上野 晃司, 鈴村 豊太郎, 丸山 直也, 松岡 聡 "Bitmap Hybrid BFS の改良と「京」における性能評価", 情報処理学会 第 153 回ハイパフォーマンスコンピューティング研究発表会, 松山, 2016/3/1
17) 福田圭祐，丸山直也，横田理央，田浦健次朗，松岡聡 "階層的多体問題向けプログラミン
グフレームワーク Tapas", 情報処理学会 第 153 回ハイパフォーマンスコンピューティング
研究発表会, 松山, 2016/3/2
18) Pak Markthub, Akihiro Nomura, Satoshi Matsuoka "Serving More GPU Jobs in Multi-GPU
Batch-Queue Systems using Remote GPU Execution and Migration", 情報処理学会 第 153 回ハイパフォーマンスコンピューティング研究発表会, 松山, 2016/3/3【書籍】
1)

松岡 聡 “ムーアの法則が終わった後のスーパーコンピューターの姿”（p22）「人工知能テクノロジー総覧」第 6 章クラウドサーバーの進化, 日経 BP 社, 2015/9/30, ISBN：
978-4-8222-7545-7, http://techon.nikkeibp.co.jp/article/STORE/20150804/430761/【招待講演】
1) Satoshi Matsuoka "Toward Inevitable Convergence of HPC and Big Data", The Third Annual NCSA
Blue Waters Symposium, The Sunriver Resort Oregon, USA, 2015/5/13
2)

Satoshi Matsuoka "Harnessing the deep memory hierarchy with communication reducing algorithms
for Exascale", CIMI Semester2015, INPT-ENSEEIHT, CAMICHEL FRANCE, 2015/7/1

3)

Satoshi Matsuoka "Current trends for high performance computing and challenges for the future",
CIMI Semester2015, INPT-ENSEEIHT, CAMICHEL FRANCE, 2015/7/2

4)

Satoshi Matsuoka "The Inevitable End of Moore's Law beyond Exascale will Result in Data and
HPC Convergence", The Information Science and Technology Seminar Series, The Information
Science & Technology Institute (ISTI) , Los Alamos National Laboratory, NM USA, 2015/8/26

5)

Satoshi Matsuoka "Moderated Panel: Strategy to Deliver Exascale Science (Panel Talk)", 2015
Smoky Mountains Computational Sciences and Engineering Conference (SMC2015), Park Vista
Hotel, Gatlinburg TN USA, 2015/9/2

6)

Satoshi Matsuoka "The Adventures of Resource Scheduling with PBS Professional in a Heavily
Accelerated, Energy Efficient TSUBAME2 Supercomputer for Everyone (Keynote Talk)", 2015
PBS Works User Meeting, Computer History Museum, CA USA, 2015/9/15

7)

Satoshi Matsuoka "The Inevitable End of Moore’s Law beyond Exascale will cause Big Data and
HPC Convergence (Keynote Talk)", SBAC-PAD 2015, Majestic Palace Hotel, Florianopolis, Brazil,
2015/10/20

8)

Satoshi Matsuoka "The Inevitable End of Moore’s Law beyond Exascale will Result in Data and
HPC Convergence", Russian Supercomputing Days, The Holiday Inn Moscow Sokolniki Hotel,
Moscow, Russia, 2015/9/28

139

9)

Satoshi Matsuoka "Directives and Tools for Accelerators: A Seismic Programming Shift (Keynote
Talk)", Directives and Tools for Accelerators Workshop, University of Houston Alumni Center, TX
USA, 2015/10/13

10) Satoshi Matsuoka "Convergence of extreme big data and extreme computing towards exascale andbeyond", International Workshop on CO-DESIGN, Crowne Plaza Hotel Wuxi Taihu, China,
2015/11/10
11) Satoshi Matsuoka "The Inevitable End of Moore’s Law beyond Exascale will Result in Data and
HPC Convergence", HPC China2015, Crowne Plaza Hotel Wuxi Taihu, China, 2015/11/11
12) Satoshi Matsuoka "Japanese Supercomputer centers", 6th Annual workshop Energy Efficient HPC
Working Group Annual Workshop (EE HPC WG), Austin Convention Center, TX USA, 2015/11/16
13) Satoshi Matsuoka "Inevitable Convergence of Big Data and HPC (Booth Talk @Tokyo Tech
Booth)", Supercomputong2015 (SC15), Austin Convention Center, TX USA, 2015/11/17
14) Satoshi Matsuoka "Panel: Programming Models for Parallel Architectures and Requirements for
Pre-Exascale (Panel Talk)", Supercomputong2015 (SC15), Austin Convention Center, TX USA,
2015/11/18
15) Satoshi Matsuoka "Towards TSUBAME3 and beyond towards Inevitable End of Moore's Law(Booth Talk @NEC Booth)", Supercomputong2015 (SC15), Austin Convention Center, TX USA,
2015/11/18
16) Satoshi Matsuoka "Panel: Procuring Supercomputers: Best Practices and Lessons Learned (Panel
Talk)", Supercomputong2015 (SC15), Austin Convention Center, TX USA, 2015/11/19
17) 松岡 聡 "ポストムーア時代に向けた BYTES 中心の高性能計算", 光通信システムシンポ
ジウムワークショップ, 東レ総合研修センター （静岡県三島市）, 2015/12/17
18) Satoshi Matsuoka "FGPA Experience at Titech", ANL Workshop on Reconfigurable Computing for
Post Moore Era, Argonne National Laboratory, IL USA, 2016/1/21
19) Satoshi Matsuoka "The Inevitable End of Moores Law beyond Exascale will Result in Disruptive
Change (Plenary Talk)", 2016 Conference on Advanced Topics and Auto Tuning in
High-Performance Scientific Computing (ATAT in HPSC 2016), Mathematics Research Center,
National Taiwan University, Taiwan, 2016/2/19
20) Satoshi Matsuoka "Collaborative Research between DoE Labs and Tokyo Tech GSIC on Extreme
Scale Computing - Success Stories", The 6th AICS International Symposium, RIKEN AICS, Kobe,
2016/2/2221) 松岡 聡 "ビッグデータ・機械学習とスーパーコンピューティングの融合、およびその未来", Creater’s Talk, デンソー東京支社（東京日本橋タワー）, 2016/3/9
22) Satoshi Matsuoka "The Inevitable End of Moore’s Law beyond Exascale will Result in Data and
HPC Convergence and More (Keynote Talk)", International Symposium on Grids and Clouds 2016,
Academia Sinica, Taipei Taiwan, 2016/3/15

140

教授 山口 しのぶ （情報技術国際協働分野）【研究の概要と成果】
MOU を活用した共同研究
モンゴル における地方小学校教員の質の向上－地域性に即したICTを活用した教材開発を通じて2012 年から実施している JICA 草の根技術協力事業草の根パートナー型プロジェクト「モンゴル における地方小学校教員の質の向上－地域性に即した ICT を活用した教材開発を通じて」の 3 年目の活動を実施した。本年度はモンゴル 4 地域とウランバートル市から選出された 4 県と 1 地区の代表教育専門家チームが ICT を活用し地域性を反映した教員研修教材を開発した。モンゴル教育大学の教授チームとの連携のもと、現地でのワ ーク
ショップに参加し、更なる教材の質の向上を目指した。合計 30 科目からなる教員研修教
材は、DVD 及び VCD として全土に配布され全国教員研修で活用される。更に、ゴビ地域代
表の Bayankhogor 県で開発された教材をもとに Free and Open Source Softwareによるイン
ターラクティブ教材の策定を進めている。
発展途上国の世界遺産地域における持続可能な情報通信技術の応用に関する実践研究
ラオスルアンパバーン政府世界遺産局との連携のもと，持続可能な世界遺産開発を実現するための情報通信技術を用いた包括的かつ効果的な施策について実践研究を実施。今年
度は、モバイルラーニングの活用した世界遺産に関する意識向上のためのアプリケーションを開発し、現地の大学生を対象に、モバイルラーニングプログラムの効果について検証した。また、世界遺産局の保有する authorization database の改善を実施し、現在世界遺産局に活用されている。更に、GIS を活用した湿地帯の変化に関する調査を実施し、現在調査結果を分析中である。これらの研究結果は国内外の学会にて発表された。2015 年に予定されているルアンパバーン世界遺産登録 20 周年記念シンポジウムにて発表され、ラオス
国名誉友好勲章を受章した。
アジア 10 カ国における教育政策における 21 世紀型スキルの比較研究と参加型データベー
スの構築
文部科学省政府援助ユネスコ活動補助金事業として、ユネスコバンコク事務所との連携し「『21世紀型スキル(21st Century Skills; Transversal Competencies)』育成のための教員の指導力向上のための取り組み」についてアジア太平洋地域10カ国において比較研究を実施した。ユネスコが開発している教育政策分析フレームワークを活用し、各国の教育現場における「21世紀型スキル」育成に関する分析を通じて国別レポートを作成した。2016年2月には、研究の総括として、東京工業大大学にて地域シンポジウムが開催され、12カ国のアジア太平洋地域の15参加国・地域から49名の教育専門家および政策担当者
による活発な議論が展開された。10か国での分析結果を、地域レポートとしてユネスコ教
育ウェブサイトにて発信する。
141

【研究業績】
1） Poong, Y.S., Yamaguchi, S., and Takada, J. “Investigating the drivers of mobile learning acceptanceamong young adults in the World Heritage town of Luang Prabang, Laos”. Information Development,(in print). (2016)
2） Poong, Y.S., Yamaguchi, S., and Takada, J., “Impact study on mobile learning application to raiseawareness of heritage preservation”, Oral Presentation, Symposium on Mobile Learning 2016,
UNESCO, Paris, France. (March, 2016)3） Enomoto, N.，Yano, S., and Yamaguchi, S. “Transversal competencies in education policies andpractices in Asia-Pacific”, Oral Presentation, 60th Annual Conference of the Comparative andInternational Education Society, Vancouver, Canada. (March, 2016)4） Yamamoto, Y., and Yamaguchi, S. “Factors related to the positive perceptions on the ICT integrated
education: A case of Mongolian primary school leaders”. Oral Presentation, 60th Annual Conferenceof the Comparative and International Education Society, Vancouver, Canada. (March, 2016)5） Yamaguchi, S. Y., Enomoto, N., Yamamoto, Y. “Integrating Non-cognitive Skills in Education Policy
and Practice Case of Japan”, Presented at 2016 Asia-Pacific Education Research Institute Network(ERI-Net) Annual Meeting, Tokyo, Japan. (February, 2016)6） Li, S., and Yamaguchi, S. “Understanding factors affecting primary school teachers’ use of ICT for
student-centered education in Mongolia”, Paper presented at the 10th Asia-Oceania Top University
League on Engineering Deans Meeting and Student Conference (AOTULE 2015), Singapore(November, 2015)
7） Inoue, T., Yamaguchi, S., and Takada, J. “Sustainable Management and Use of Participatory
Education Database for Knowledge Exchange and Sharing”, Paper presented at the 10th
Asia-Oceania Top University League on Engineering Deans Meeting and Student Conference(AOTULE 2015), Singapore. (November, 2015)8） Poong, Y.S., Yamaguchi, S., and Takada, J. “Investigating the Factors of Promoting World Heritage
Site Preservation Awareness in Least Developed Country: Case of Luang Prabang, Lao P.D.R”.
Proceedings of the 26th Annual Conference of the Japan Society for International Development,
pp.257- 260, Niigata, Japan. (November, 2015)
9） Li, S., Orgilmaa, L., Yamaguchi, S., and Takada, J., “Factors affecting Mongolian primary school
teachers’ perception on use of ICT for student-centered education”, Proceedings of the 26th Annual
Conference of the Japan Society for International Development, pp.16-19, Niigata, Japan. (November,
2015)10） Inoue, T., Yamaguchi, S. & Takada, J., “Study on People’s Motivations to Use Participatory
Education Database”, Proceedings of the 26th Annual Conference of the Japan Society forInternational Development, pp.96-99, Niigata, Japan. (November, 2015)11） Irie, N., Yamaguchi, S. and Takada, J., “Mixed-methods Study on People’s Attitude toward Ponds andWetlands Preservation in World Heritage Site: Town of Luang Prabang, Lao P.D.R”, Proceedings ofthe 26th Annual Conference of the Japan Society for International Development, p.92-95, Niigata,Japan. (November, 2015)12） Yamamoto Y., Yamaguchi, S. and Takada, J., “What are the factors related to the school leaders’perceptions on the ICT contribution in Education?: A case of Mongolian primary school leaders”
Proceedings of the 26th Annual Conference of the Japan Society for International Development,
p.12-15, Niigata, Japan. (November, 2015)13） Inoue, T., Yamaguchi, S., and Takada, J. “Motivations of Content Development in Online Research
Database: Towards Sustainable Platform for Knowledge Exchange and Sharing”, Oral Presentation,
16th Spring Conference of Japan Society for International Development, Tokyo, Japan. (June, 2015)

142

准教授

関嶋

政和 （大規模データ情報処理分野）【研究の概要と成果】
TSUBAME2.5 を用いた「顧みられない熱帯病」治療薬探索に関する研究
シャーガス病、アフリカ睡眠病、リーシュマニア症はトリパノソーマ科の寄生原虫の感染によって引き起こされる病気であり、主に発展途上国である熱帯地域が感染地域である
ため、顧みられない熱帯病として知られている。これらの病気の現存する治療薬は、病気の発症期間のうち限られた期間にしか効果がない、または重大な副作用を伴うなどの欠点を有する。そこで我々は、新たな抗トリパノソーマ科原虫の医療薬の開発を目的とし、TSUBAME2.5 を用いたドッキングシミュレーションによる医療薬候補の探索を行い、 invitro 試験及び X 線構造解析による複合体構造の詳細な解析を行った。我々はまず、標的蛋白質としてスペルミジン合成酵素(Spermidine synthase: SRM)に着目した。スペルミジ
ン合成酵素はスペルミン合成経路に関与する蛋白質の一つであり、プトレシンにポリアミンの修飾を行い、スペルミジンを合成する酵素である。SRM は三つの病気の原因である 3 種の原虫に共通して存在しており、また RNAi などの実験によって寄生原虫の生存に重要なタンパク質であることが明らかになっているため有望な標的である。我々は T. cruzi SRM の活性中心に対して、Drug Like な化合物、約 480 万個のドッキングシミュレーションを行い、更にドッキング結果の上位の化合物を in vitro 試験によって評価を行った結果、IC50 が10uM オーダーのヒット化合物が得られたほか、X 線結晶構造解析によりドッキングにより得られた化合物が蛋白質と結合している構造を明らかにした。

図．SRM へのドッキング結果

方向性を持たせたグラフ構造変換による仮想化合物生成 web システムの研究
創薬研究において，研究対象となる化合物の理論的な総数は 10 の 60 乗にも昇るとされている。一方で、製薬会社が保有するライブラリに含まれる化合物数は数百万程度であ143

り、探索範囲が不十分であることが問題となっている。このような問題の解決のために、データとして仮想的に化合物を生成する研究が有用である。本研究では、目的に応じた特性を持つ化合物を生成してライブラリを構築する web システムの開発を行った。本 web シ
ステムでは化合物のデータを入力し、入力した化合物データに対して仮想的に化学反応を行うことで新しく化合物のデータを生成し、仮想化合物ライブラリを構築する。その際に、化合物の構造をグラフ構造として扱い、部分グラフの変換によって化学反応による化合物の構造の変換を表現する。この仮想的な化学反応に方向性を持たせることで、目的に応じた特性を持つ化合物を含むライブラリを構築する。また、本システムでは入力した化合物から反応ルールを適用することで新しく生成された化合物グラフを再度入力として適用し、多段階に構造の変換を行った上で、web に結果を表示することを可能にした。
【査読付き学術論文】
1） S. Chiba, K. Ikeda, T. Ishida, M. Michael Gromiha,Y-h. Taguchi, M. Iwadate, H. Umeyama, Kun-Yi
Hsin, H. Kitano, K. Yamamoto, N. Sugaya, K. Kato, T. Okuno, G. Chikenji, M. Mochizuki, N. Yasuo,
R. Yoshino, K. Yanagisawa, T. Ban, R. Teramoto, C. Ramakrishnan, A. Mary Thangakani, D.
Velmurugan, , P. Prathipati, J. Ito, Y. Tsuchiya, K. Mizuguchi, T. Honma, T. Hirokawa, Y. Akiyama,
M. Sekijima, "Identification of potential inhibitors based on compound proposal contest:
Tyrosine-protein kinase Yes as a target", Scientific Reports, 5, doi:10.1038/srep17209 ,2015 (impact
factor: 5.578)【査読無し論文】
1） 関嶋政和「オープンイノベーションによる IT 創薬：コンテスト形式による薬剤候補化合物の探索 」情報管理、58、pp. 900-907、doi.org/10.1241/johokanri.58.900、2016 年 3 月【国内学会・ワークショップ・講演会等での発表】
1） 吉野龍ノ介, 安尾信明, 萩原陽介, 大野一樹, 生田目一寿, 折田正弥, 関嶋政和「分子動力学法を用いたアロステリックサイトの発見及び医薬品候補化合物の探索」, 第 15 回日本蛋白質科学会年会, 2015, あわぎんホール（徳島市）
2） 安尾信明，関嶋政和「相互作用エネルギーベクトルの距離を用いたタンパク質-リガンド間
ドッキングのリランキング」情報処理学会第 78 回全国大会, 2016,東京
3） 新井直樹，吉川舜亮，安尾信明，中嶋悠介，吉野龍之介，関嶋政和「化合物の物性を多段階のルール適用で薬様化合物に成長させる web サービスの構築」情報処理学会第 78 回全国大会, 2016,東京

144

准教授

遠藤

敏夫 （高性能計算システム分野）【研究の概要と成果】
ポストペタスケール時代へ向けたスケーラブルなソフトウェア技術に関する研究
2012 年度より、JST-CREST プロジェクト「ポストペタスケール時代のメモリ階層の深化に対応するソフトウェア技術」(代表：遠藤、2012-2018)を成蹊大の研究グループと共に推進し、本年度は四年目となる。本プロジェクトでは、スーパーコンピュータのポストペ
タ・エクサスケールの実現に向けた課題の一つとして重要性が高まっている、メモリウォール問題の深刻化への対処を主目標としている。この問題のために、今後のアーキテクチ
ャにおけるメモリ階層が深化していくことを前提とする。このとき、ソフトウェア側から小さく高速なメモリと、大きいが低速なメモリのそれぞれの長所を活用することにより、科学技術計算の大規模化・高性能化できることを研究目的としている。その解決に向けて、
アーキテクチャの特性を考慮するシステムソフトウェア・応用アルゴリズムの観点から研究に取り組んでいる。


TSUBAME などの GPU スパコン上において、主にステンシル計算を対象に、大規模性・高性能・低開発コストを満たすための研究を継続して行っている。基本的な方針
は、局所性向上のための時間ブロッキング手法と、GPU デバイスメモリの透過的スワッピング処理を行うライブラリである Hybrid Hierarchical RunTime (HHRT)ライブ
ラリを組み合わせるものである。対象アプリケーションとしては、前年度に小野寺・青木らによる都市気流シミュレーションについて成功していたが、さらに下川辺・青木らによるフェーズフィールド法による樹状結晶シミュレーションとも統合を行った。



上述の HHRT ライブラリを発展させ、GPU デバイスメモリとホストメモリに加え、高速 Flash メモリの階層にも対応可能とした。これにより、計算機のホストメモリ容量をも超えるサイズのシミュレーションが可能となる。ただし、SATA SSD のようなアクセス速度が 100～300MB/s 程度の階層では現実的な高性能は得られない（残念ながら現状の TSUBAME2 の SSD もこれに当たる）。計算機の試作機を作成し、Tesla
K40 GPU に加えて Read 2.5GB/s, Write 1.5GB/s の超高速 m.2 SSD を搭載して実験を行ったところ、時間ブロッキングを組み入れた 7 点ステンシルベンチマークにおいて、配列サイズがホストメモリの 2 倍となるケース(128GiB)において、もっとも高速なケース(配列サイズが GPU におさまる 8GiB)の 45%程度の性能を維持できることを示した。



前年度までに引き続き、九州大学藤澤克樹教授らのグループと協同にて、半正定値計
画問題を解くソフトウェアである SDPARA GPU 版の改良を行っている。すでにデバ
イスメモリ-ホストメモリ間の通信削減のためのデータドリブン型実行方式に基づく実装を行っていた。この方法で通信削減という目標は達成したものの、400 ノードを超145える場合に MPI 通信のボトルネックが激しくなり、性能低下してしまう現象を観測した。このさらなる改良のために、非同期・オーバラップ対応・スケーラブルなブロー
ドキャスト方式などの実装を行った。グランドチャレンジ(カテゴリーA)の機会を得ることができ、TSUBAME2.5 全体を用いた評価を行った。その結果、1360 ノード
4080GPU を用いた場合に Cholesky 分解部分の性能 1.77PFlops を達成した。これは
我 々 の持 って いた 記録を さ らに 更新 する もので あ り、 知る 限り で世界 一 高速 な
Cholesky 分解となった。
スーパーコンピュータの省電力化に関する研究
将来のエクサスケールに向けたスーパーコンピュータの実現において最大のハードルは性能と消費電力の比の圧倒的な向上である。特に近年の計算機アーキテクチャでは走行するソフトウェアの性質による電力の差が激しくなっている。このような性質を考慮しつつ、
電力効率向上とユーザの利便性向上という一見相反する目的の両立を目指す必要がある。


東日本大震災に伴う電力危機以来、毎年夏季には TSUBAME2 の部分縮退運転を行っている。これに対し、前年度までに NEC との協同により実現した、リアルタイム電力を考慮しつつ電力制約を守るような改良スケジューラを、今年度も運用を行いキャンパスの省エネルギー化に寄与した。



当センターで行ってきたスパコン・クラウドにおける省エネルギー化の研究をさらに発展させ、単体スパコンシステムに閉じたものではない、より大域的なエネルギー最適化に向け、新たな概算要求「スマートコミュニティ実現のためのスパコン・クラウ
ド情報基盤のエネルギー最適化の研究推進」をセンターとして提案し、採択された(2016 年度より)。



ノード内部の電力最適化によるさらなる省電力化に向けて下記の研究を行っている。
TSUBAME2 や TSUBAME-KFC のようなアクセラレータ搭載スパコンにおいて、走行するソ
フトウェアの性質と消費電力の関係を捉え、制御を行うソフトウェアの開発を行っている。今年度は、性能・電力最適化を、ユーザからの手間を小さく実現するための研究開発を行った。我々の電力制御デーモンは、走行中のアプリケーションの性能カウンタなどをリアルタイムで観測し、周波数変動した際の影響を透過的に推測し、プログラムの消費エネルギーを最小に近づけるようなクロック周波数設定を求める。性質の異なる 8 種類のベンチマークを用いた実験により、許された電力上限を守りつつ、最大 18%のエネルギー削減を観測した。

【査読付き国際会議・国内学会発表】
1） Yukinori Sato, Toshio Endo. Dynamic Compilation for Transparent Data Locality Analysis andMemory Subsystem Tuning. The International Workshop on Architectural and Micro-Architectural
Support for Dynamic Optimization (AMAS-DO), In conjunction with CGO 2016, Barcelona, March
13, 2016.

146

2） Shimpei Sato, Yukinori Sato, Toshio Endo. A Cache-aware Temporal Blocking Method for 3D Stencil
Computation. 3rd International Workshop on High-Performance Stencil Computations (HiStencils
2016), In conjunction with HiPEAC 2016, Prague, January 18, 2016.
3） Toshio Endo, Yuki Takasaki, Satoshi Matsuoka. Realizing Extremely Large-Scale Stencil
Applications on GPU Supercomputers. In Proceedings of The 21st IEEE International Conference on
Parallel and Distributed Systems (ICPADS 2015), pp. 625-632, Melbourne, December, 2015.（採択率38.8%）
4） Yuki Tsujita, Toshio Endo, Katsuki Fujisawa. The Scalable Petascale Data-Driven Approach for the
Cholesky Factorization with Multiple GPUs. In Proceedings of First International Workshop on
Extreme Scale Programming Models and Middleware (ESPM2 2015), in conjunction with
IEEE/ACM SC15, Austin, November 15, 2015.
5） Yukinori Sato, Shimpei Sato, Toshio Endo. Exana: An Execution-driven Application Analysis Tool
for Assisting Productive Performance Tuning. In Proceedings of The Second Workshop on Software
Engineering for Parallel Systems (SEPS), in conjunction with ACM SPLASH 2015, Pittsburgh,
October 27, 2015.
6） Shimpei Sato, Yukinori Sato, Toshio Endo. Investigating Potential Performance Benefits of Memory
Layout Optimization based on Roofline Model. In Proceedings of The Second Workshop on Software
Engineering for Parallel Systems (SEPS), in conjunction with ACM SPLASH 2015, Pittsburgh,
October 27, 2015.
7） 高嵜 祐樹，遠藤 敏夫，松岡 聡． GPU クラスタにおける大規模都市気流シミュレーションの最適化と性能モデル． 情報処理学会ハイパフォーマンスコンピューティングと計算科学
シンポジウム (HPCS2015)， 東京，2015 年 5 月 20 日．
8） Naoto Sasaki, Kento Sato, Toshio Endo, Satoshi Matsuoka. Exploration of Lossy Compression forApplication-level Checkpoint/Restart. In Proceedings of IEEE International Conference on Paralleland Distributed Processing Symposium 2015 (IPDPS2015), May 2015. (採択率 21.8%)
9） Yuki Tsujita, Toshio Endo. Data driven scheduling approach for the optimization of the multi-node
multi-GPU Cholesky decomposition. Workshop on Job Scheduling Strategies for Parallel Processing,held with IPDPS2015, May 2015. (採択率 50%)10） Kazuki Tsuzuku, Toshio Endo. Power capping of CPU-GPU heterogeneous systems using power andperformance models. International Conference on Smart Cities and Green ICT Systems(SMARTGREEN2015), May 2015.
【査読付きポスター発表】
1） Yukinori Sato and Toshio Endo. Consolidating memory locality information obtained from static anddynamic analysis of code for performance tuning in source code . 2nd Annual Meeting on Advanced
Computing System and Infrastructure (ACSI2016), ポスターセッション， 福岡，2016 年 1 月 19日．
2） Kazuki Tsuzuku, Toshio Endo. Online Power Capping of CPU-GPU Heterogeneous Systems, GPU
Technology Conference Japan (GTC Japan), poster session, Tokyo, September 18, 2015.
3） Guanghao Jin, Toshio Endo. High Productive Framework to Enable Stencil Computation on Bigger
Domains on TSUBAME2.5 , GPU Technology Conference Japan (GTC Japan), poster session, Tokyo,
September 18, 2015.
4） Guanghao Jin ， Toshio Endo ． Efficient Utilization of GPU Cluster Resource for Stencil
Computation. IPSJ HPCS 2015 symposium， Poster session, Tokyo, May 19, 2015.
5） 辻田裕紀, 遠藤敏夫． マルチノード・マルチ GPU 上のコレスキー分解に対するデータドリ
ブン型アルゴリズム手法. 情報処理学会ハイパフォーマンスコンピューティングと計算科学
シンポジウム (HPCS2015)， ポスターセッション， 東京，2015 年 5 月 19 日．
6） 遠藤敏夫． 異種プロセッサマシンのメモリ階層を活用する HHRT ライブラリの実装. 情報

147

処理学会ハイパフォーマンスコンピューティングと計算科学シンポジウム (HPCS2015)，
ポスターセッション， 東京，2015 年 5 月 19 日．
【査読なし国際会議発表】
1） Toshio Endo, Akira Nukada, Satoshi Matsuoka. Power Capping Scheduling on TSUBAME2.5 andUpgrade of TSUBAME-KFC. Building Energy Efficient HPC Working Group Workshop, held with
SC15, Austin, November 16, 2015.
2） Toshio Endo, Satoshi Matsuoka. Realizing Extremely Large-Scale Stencil Applications on GPU
Supercomputers with a Memory Hierarchy Management Runtime Library. Workshop on
Programming Abstractions for Data Locality (PADAL 2015), Berkeley, June 25, 2015.
【国内学会・ワークショップ・講演会等での発表】
1） 遠藤 敏夫． 大規模・高性能演算のための多階層メモリの活用 ． 情報処理学会研究報告,2015-HPC-153 No.14, 7pages, 2016 年 3 月 2 日．
2） Yuki Tsujita, Toshio Endo, Katsuki Fujisawa. The Scalable Petascale Data-Driven Approach for the
Cholesky Factorization with multiple GPUs . 2nd Annual Meeting on Advanced Computing System
and Infrastructure (ACSI2016), 国外既発表論文紹介， 福岡，2016 年 1 月 19 日．
3） 野村 哲弘，佐々木 淳，三浦 信一，遠藤 敏夫，松岡 聡． TSUBAME2 におけるスケジュ
ール効率化への取り組みとユーザ動向の見える化 ． 並列/分散/協調処理に関するサマーワ
ークショップ(SWoPP2015)， 情報処理学会研究報告, 2015-HPC-150 No.2, 7pages, 2015 年 8 月
4 日．
4） 寺西 賢人，野村 哲弘，遠藤 敏夫，松岡 聡． ノード内同時実行ジョブにおけるパフォー
マンスカウンタによるプロセス毎消費電力のモデル化 ． 並列/分散/協調処理に関するサマーワークショップ(SWoPP2015)， 情報処理学会研究報告, 2015-HPC-150 No.28, 6pages, 2015
年 8 月 5 日．
5） 佐藤幸紀，遠藤敏夫． 実行駆動型キャッシュシミュレーションおよびメモリ参照特性解析
におけるオーバーヘッドの評価 ． 並列/分散/協調処理に関するサマーワークショップ(SWoPP2015)， 情報処理学会研究報告, 2015-ARC-216 No.31, 7pages, 2015 年 8 月 6 日．
6） 佐藤真平，佐藤幸紀，遠藤敏夫． ルーフラインモデルによる性能幅推定とステンシル計算
コードにおけるメモリレイアウト最適化による性能最大化 ． 並列/分散/協調処理に関する
サマーワークショップ(SWoPP2015)， 情報処理学会研究報告, 2015-ARC-216 No.32, 6pages,
2015 年 8 月 6 日．
【招待講演】
1） Toshio Endo. Harnessing Multi-tier Memory Hierarchy of GPU, Host and Flash. 2016 Conference on
Advanced Topics and Auto Tuning in High-Performance Scientific Computing, Taipei, February 20,
2016.

148

准教授

横田

理央 （高性能計算先端応用分野）【研究の概要と成果】
Fast Multipole Method を用いた連立一次方程式の前処理
大規模連立一次方程式の高速解法は流体、構造、電磁場、音響などの数値解析に幅は広く用いられており、その性能向上が産業界に与えるインパクトは大きい。本研究では、高速多重極展開法 (FMM)を反復法の前処理の部分に用いることで O(N)の計算時間でありながら高い演算密度と非同期性を有する大規模連立一次方程式の高速解法の開発を目的とする。
関連する手法の中で現在主流であるマルチグリッド法とも同様の計算条件と計算機環境の下で直接比較を行い、複数のアプリケーションにおいてその優位性を定量的に評価した。
大規模連立一次方程式の解法には様々なものがあるが、右図にその大まかな進化の過程を示す。直接法から反復法に移行することで演算量とメモリ消費量が大幅に低減される。さらに、前処理を行うことで少ない反復回数で収束できるようになる。また、前処理にマ
ルチグリッド法を用いることで問題サイズに比例する O(N)の計算時間になる。 本研究では、Fast Multipole Method (FMM)を反復法の前処理に用いることで上記の全ての長所の上にさらに高い演算密度と非同期性を付加する。
FMM は FFT や共役勾配法などと並んで、２０世紀の１０大アルゴ
リズムの一つに数えられており、当初は N 体問題の高速解法として提案されたが、今では宇宙物理学、分子動力学、量子力学、流体力学、電磁気学など幅広い分野で用いられている。FMM のアルゴリズムとしての概念図を下図に示す。FMM は一言でいうと、○で示されたソース粒子と●で示されたターゲット粒子の間の相互作用を木構造を用いることで効率的に計算する方法である。ただし、アルゴリズム自体は複雑で P2M、M2M、M2L、L2L、L2P、P2P の６つの計算カーネルを有し、それらが木構造と密接に結びついている。この複雑さのため実装が困難で今まで連立一次方程式の解法としては注目されてこなかった。

149

FMM の Helmholtz 方程式、Stokes 方程式への拡張の数学的な枠組みは１０年以上前に完成しているが、高性能な実装という点では multigrid 法などと比べるとまだ初期の段階にあるといえる。本研究で開発している ExaFMM にも、Helmholtz 方程式、Stokes 方程式のシ
リアル CPU 版は既に存在するが、SIMD 化、GPU 化、Xeon Phi 化はまだ行われていない。
Multigrid 法との直接比較における優位性の定量化を正しく行うためには、これらの先進的なアーキテクチャのために高度にチューニングされた FMM コードが必要となる。ExaFMM
では Poisson 方程式に関しては既に高度にチューニングされており、下図に示すように世界の主要な FMM コードと比べて大幅に高い性能が得られている。また、この性能の違いがmultigrid 法との比較において ExaFMM が初めて優位性を示すことができた要因である。そこで、Helmholtz 方程式と Stokes 方程式のコードを Poisson 方程式と同様のチューニング
を行なうことで、高性能な実装を行なった。Helmholtz 方程式と Stokes 方程式は Poisson
方程式にデータ構造や処理の流れが酷似しているため、ベースとなる高性能な実装があれば拡張は比較的容易に行なうことができた。

前述の Helmholtz 方程式の高性能な実装を multigrid 法と同等の計算条件、計算機環境の下でその精度、速度、スケーラビリティを定量的に比較した結果を下図に示す。AMG
はAlgebraic Multigrid 法, GMG は Geometric Multigrid 法, Inc Chol は Incomplete
Cholesky法を表す。FMM の横にあるεの値は FMM の精度を表す。高周波の Helmholtz 方程式はMultigrid法にとって困難な問題であり、反復回数が多くかかっているのに対して

FMM は制度を下げても反復回数は AMG や GMG と比べて少ないことが分かる。

150

【査読付き学術論文】
1) R. Yokota, L. A. Barba, exaFMM: An Exascalable Fast Multipole Method Library, Communications
in Computational Physics, accepted2) J. Castrillon, R. Yokota, M. Genton, Multi-Level Restricted Maximum Likelihood Covariance
Estimation and Kriging for Large Non-Gridded Spatial Datasets, Spatial Statistics, accepted,
doi:10.1016/j.spasta.2015.10.006
3) H. Ibeid, R. Yokota, D. Keyes, A Performance Model for the Communication in Fast Mul- tipole
Methods on HPC Platforms, International Journal of High Performance Computing Applications,
accepted, doi:10.1177/1094342016634819【査読付き国際会議】
1) R. Yokota, Tuning parameters in FMM, Seventh symposium on Automatic Tuning Technology and its
Application, Tokyo, Japan, 25, December, 2015.
2) R. Yokota, F.-H. Rouet, X. S. Li, Comparison of FMM and HSS at Large Scale, SIAM Con- ference
on Applied Linear Algebra, Atlanta, USA, 26-30 October, 2015.
3) R. Yokota, H. Ibeid, D. E. Keyes, Preconditioning Sparse Matrices Using a Highly Scalable Fast
Multipole Method, 3rd International Workshops on Advances in Computational Mechanics, Tokyo,
Japan, 12-14, October, 2015.
4) R. Yokota, ExaFMM – a Testbed for Comparing Various Implementations of the FMM, SIAM
Conference on Computational Science and Engineering, Salt Lake City, USA, 14-18 March, 2015.
【招待講演】
1) R. Yokota, Various implementations of FMM and their performance on future architectures,Multi-resolution Interactions Workshop, Durham, USA, 28-29 August, 2015.
2) R. Yokota, Fast Multipole Method as a Matrix-free Hierarchical Low-rank Approximation,
International Workshop on Eigenvalue Problems, Tsukuba, Japan, 14-16 September, 2015.

151

特任准教授渡邊寿雄 （高性能計算先端応用分野）【研究の概要と成果】
大規模並列フラグメント分子軌道計算プログラム OpenFMO の開発
大規模な分子軌道計算が現実的な時間内で可能となり、多くの応用研究に用いられるよ
うになってきた。その中でもフラグメント分子軌道(FMO)法は、大規模分子系に対する第一原理電子状態計算を可能にする計算手法として注目されている。FMO 法の実装の一つである OpenFMO プログラムは、稲富(九州大学)らにより京をはじめとした SMP クラスタ型
並列計算機で効率的な超並列実行が可能なプログラムとして開発された。これまでに、分子軌道計算カーネルコードの複雑さの解消、GPU 向けの開発、耐障害性ミドルウェア
falanx による実装などを行ってきた。現在は、GPU クラスタでの小規模分子での FMO 計算の動作検証を行い、TSUBAME2.5 での大規模分子軌道計算への準備を進めている。
高分子の反応特性評価のための量子化学的 MD シミュレーション
現在の高度な合成技術をもってしても高分子の完全改変・修飾は極めて困難である。しかし、緩やかな束縛系を活用する内包型反応場を活用した高分子反応では完全な高分子構
造改変が達成されており、従来の高分子反応や重合反応では合成できない新高分子、有用な高機能高分子の創製が可能であることが実験により確かめられている。この高効率な反応特性を計算科学的手法により評価し、動的反応機構解明を目的として研究を行っている。
最終的には、大規模分子軌道計算を駆使した量子化学的 MD シミュレーションを実施することで、反応に伴う超分子のダイナミクスを明らかにする。その準備段階として、本反応において鍵となるトポロジー可変型触媒の配座解析を実施し、そのサイズ依存性と貫通特性を検討した。なお本研究は、JST CREST 研究課題「緩やかな束縛反応場を活用する高分子の連続改変系の構築と革新的機能化」(研究代表者 東工大 高田十志和)の一部として行っている。
【国内学会・ワークショップ・講演会等での発表】
1） 渡邊寿雄、稲富雄一、梅田宏明、本田宏明、長嶋雲兵「ガウス型基底関数の s 型関数による再展開」日本コンピュータ化学会 2015 秋季年会, ポスター発表 2P10, 2015/10/31 函館152

特任准教授額田彰 （高性能計算システム分野）【研究の概要と成果】
油浸冷却システムの運用に関する研究
TSUBAME-KFC システムの稼働を開始してから２年が経過している。本システムは高い
電力効率の実現のための実証実験設備であり、その目的から多種のセンサーを備えシステ
ムの状況をリモートから確認することができる。通常実験時に注目するデータは消費電力の値である。利用率が上がってきたため平均消費電力も増大している。その他にも温度情報も取得しており、外気温と湿度、コンテナ内の温度と湿度、また TSUBAME-KFC の油浸
冷却システムにおける冷媒である水及び油の各ポイントでの温度が計測されている。稼働を開始した 2 年前に TSUBAME-KFC で HPL ベンチマークを実行した際の電力効率は4,503GFLOPS/Watt で世界第一位となったが、今回搭載される GPU を Tesla K20X から Tesla
K80 へアップグレードすることとなり、システムの状況を確認したところ 2 年前より冷却効率が下がっていることが判明した。高い冷却能力によりプロセッサ温度を低く保つこと
は電力効率の改善に重要な要素である。
冷却能力の低下の原因を突き止めるため、まず冷却塔の清掃を行った。大気による冷却能力を最大にするため開放型の蒸散冷却塔を使用している。このため外部からの異物の混入が起こる可能性がある。冷却塔が設置されている場所は直射日光が当たらず比較的気温が低いが、周辺にある銀杏の木から落ちる葉が冷却塔に吸い込まれるという欠点がある。
冷却塔内に入った落ち葉は時間をかけて分解され非常に細かい粒子となり、一部は冷却水の循環系に流れる。本センターの多くの教職員の助力を得て今回冷却塔および周辺の大規模な清掃を行った。冷却能力の低下の原因はもう一つあった。冷却水の流量が 2 年前より少なくなっていた。循環系の中で一番細い場所である、水と油の間の熱交換を行うヒート
エクスチェンジャの内部にカルシウムなどが詰まっていることが原因であった。本システ
ムは安定運用のためヒートエクスチェンジャを３系統備えていたが、そのうちの２系統だ
け開放していた。そこで使用されていなかった３系統目を開放することで 2 年前と同様の冷却能力が回復した。使用していた２系統に関しては後日分解洗浄する予定である。
Tesla K20X から Tesla K80 にアップグレードした後に再度 HPL ベンチマークのパラメー
タ設定および GPU の設定を調整し、最適な電力効率となる条件を模索した。K20X と K80
はマイナーな差はあるが基本的に同じ Kepler 世代の GPU であるが、動作周波数制御の方法が決定的に異なる。それぞれの GPU は動作可能周波数を幾つか設定として持っているが、 K20X はその中で高めの周波数を標準としているのに対し、K80 は最低の周波数が標
準とな っている。K80 は１ボードに 2 個の GPU を搭載しているため GPU1 個あたりが使用できる電力が厳しく制限されていることもあり、最低周波数から消費電力に余裕がある場合にauto-boost 機能で周波数を上げるような利用形態になる。メモリバウンドな計算をする場合にはコアの消費電力が低いため、最高の周波数を維持したまま計算を続けるこ
とが可能で
153

ある。一方 HPL のように演算量の多い場合には消費電力がすぐ制限値に到達し、その結果周波数が下がる。並列ジョブ実行時に一部の GPU だけ周波数が下がることは大きな性能低下の原因となる。HPL 実行中の電力効率が最高になる条件はこの周波数低下がなるべく怒らないような周波数上限値を設定することによって高い性能を維持することであることが多数の試行を経て判明した。2015 年 11 月の Green500 List では幸運にも恵まれ世界 2 位にランクされた。
今回アップグレードを行う時点までの間、Tesla K20X を搭載するシステムとして約 2 年間稼働を続けてきた。その間に起きた障害についてここにまとめる。利用率がそれほど高くないこともあるが、油浸冷却により常に低い温度に保たれていたことが障害の少なさの要因と考えられる。計算ノードは 42 台あり、CPU 数が 84、GPU 数が 168、DIMM モ
ジュール数は 336 である。これらの中で 2 年間の間に障害が発生したコンポーネン
トは、 Uncorrectable ECC エラーが発生した DIMM モジュールが 1、Correctable ECC エ
ラーを繰り返す DIMM モジュールが 1、BIOS で警告を出す CPU が 1、高クロックで安定動作しないGPU が 1、VBIOS ROM がロードできなくなった GPU が 1、と多種にわたるが全体としては多くない。これらに加えてアップグレード後、最近 SSD が 1 台認識されなくなった。 TSUBAME-KFC 導入前に使用していた検証システムでも SSD が認識できなくなることが何度も発生したが、その時は SSD 本体ではなく接続に使用していた SATA の恐
らくコネクタ部分の劣化による問題で、ケーブル交換によって回復していた。冷却媒体である油がプラスチックやゴム製の部品などを劣化させる可能性がある。今回も同様の原因であるかどうかは未確認であるが、その場合は多数のノードに同一障害が発生しうることになる。SATAコネクタの耐油性が問題ということであれば油浸冷却システムでは M.2 など他のストレージ接続方法が必要となる。
CUDA 関係の研究として GPU の利用効率を向上させるための実行環境 Mobile CUDA の開発を行った。一般に GPU を利用するアプリケーションでは計算内容によって特定のリソース
がボトルネックになるなどの理由により GPU がフルに活用されにくい。これを改善する手段として複数の GPU アプリケーションを同時に同じ GPU で実行することが考えられる。
Kepler 世代以降の GPU では Hyper-Q の機能により複数のアプリケーションが GPU を共有する場合のオーバヘッドが少ない。ここで問題となるのはデバイスメモリもシェアすることによって生じるデバイスメモリ容量不足の可能性である。これを回避するための実行環境
が Mobile CUDA である。Mobile CUDA は CUDA アプリケーションと CUDA ランタイムの間に割り込んで動作するもので、アプリケーションのデバイスメモリ確保および解放を常に監視し、またアプリケーション間でのデバイスメモリ使用量の情報も共有することによってデ
バイスメモリ確保の失敗を事前に検知する。容量が不足する場合にはそのプロセスのデバ
イスメモリ上のデータをホストへ退避し、確保したデバイスメモリをすべて他のアプリケーションに解放する。他のアプリケーションが終了したりデバイスメモリを解放したりし154

て十分な空き容量が生じたときにホストへ退避していたアプリケーションが再び実行を開始する。この方法によって多数のアプリケーションの実行完了までの時間の短縮、および消費エネルギーの削減を、アプリケーションが異常終了することなく安全に実現した。
【査読付き国際会議・国内学会発表】
1） Taichiro Suzuki, Akira Nukada, Satoshi Matsuoka, “Efficient Execution of Multiple CUDA
Applications using Transparent Suspend, Resume and Migration”, In Proc. of Euro-Par 2015
Conference, Vienna, Aug. 2015. (採択率 26.8%)
2） Yusuke Nagasaka, Akira Nukada and Satoshi Matsuoka. “Adaptive Multi-level Blocking
Optimization for Sparse Matrix Vector Multiplication on GPU”, In Proc. of the 16th International
Conference on Computational Science (ICCS 2016), Procedia Computer Science series, Elsevier,June 2016, to appear.(採択率は現時点で不明)【査読付きポスター発表】（採択率）
1） Yusuke Nagasaka, Akira Nukada, Satoshi Matsuoka. “Multi-Level Blocking Optimization for FastSparse Matrix Vector Multiplication on GPUs”, In Proc. of 2015 ACM/IEEE International
Conference for High Performance Computing, Networking, Storage and Analysis, Austin, TX.,
Technical Poster, ACM Press, Nov. 2015. (採択率 44%)
【査読なし国際会議発表】
1） Akira Nukada, “Transparent Checkpoint Technology for CUDA applications”, GPU Technology
Conference 2016, April 2016.

2） Yusuke Nagasaka, Akira Nukada, Satoshi Matsuoka. “Fast Sparse Matrix Vector Multiplication
with Highly-Compressed Sparse Format”, GPU Technology Conference 2016, poster, April
2016.
【国内学会・ワークショップ・講演会等での発表】
1） 長坂侑亮, 額田彰, 松岡聡.「多段階ブロッキングによるメモリアクセス量削減を図った GPU
向け疎行列ベクトル積計算手法の性能評価」, NVIDIA GTC Japan 2015, ポスター, 2015 年 9月.
2） 長坂 侑亮, 額田 彰, 松岡 聡. 「疎行列ベクトル積計算を対象とした GPU 向けメモリアクセ
ス削減手法」, 情報処理学会研究報告, Vol. 2015-HPC-151, No. 8, 2015 年 9 月.

155

特任准教授佐々木 淳（高性能計算先端応用分野）

TSUBAME 共同利用の促進【産業利用促進】文部科学省 先端研究基盤・プラットフォーム形成事業である TSUBAME 産業利用を遂行するとともに、HPCI（革新的ハイパフォーマンスコンピューティングインフラ）、JHPCN（学際大規模情報基盤共同利用・共同研究拠点）および学外の研究者向けの有償利用を含む、
TSUBAME 共同利用の事業を主導的な立場で推進した。事業の認知向上のため、設計製造ソ
リューション展や学会、アプリケーションベンダーのユーザ会への出展等のプロモーショ
ンを行い、潜在ユーザの開拓と利用の動機づけを図った。特に TSUBAME の産業利用は、国内の学術研究機関が有するスパコンの中で、利用実績およびアクティビティが高く評価されており、平成 27 年度には 31 課題の企業が利用した。結果、平成 27 年度の TSUBAME の学
外利用の収入は 1.3 億円強、その中で産業利用の収入は 6819 万円で 50％以上を占めている。
また平成 28 年度は、TSUBAME 産業利用は自主事業として実施されることとなるが、産業利用のユーザが無償で TSUBAME を利用することができる HPCI システム産業利用（実証利用）の公募は平成 27 年度に行われ、「京」を除く HPCI システム産業利用の採択課題 14 件中 10
件が TSUBAME を利用する課題が採択された。事業を取り巻く環境の変化に即応し、既存の産業ユーザに HPCI システム産業利用での TSUBAME 利用を働きかけた結果、新たに自主事業がスタートする平成 28 年度の収入の確保がなされた。またスパコンの新しい利用分野である Deep Learning での先進的企業であるプリファードネットワークス（PFN）社とデンソー
アイティーラボラトリー社を TSUBAME 産業利用に取り込み、デンソーアイティーラボラト
リー社においては、産業利用をきっかけとして松岡研との共同研究に発展した。
【研究の概要と成果】
TSUBAME の利用状況の分析
スパコンの基盤センターとして、提供するスパコンがどのように利用されているかを把握することは、スパコンの運用や施策、増強を考える上で必要に重要である。このため平成 24 年より月次で TSUBAME の利用状況を集計しレポートしている。また年次で TSUBAME で使用した電力量と電気料金について集計し報告しており、これらの集計データは、
TSUBAME の提供価格の検討に活用されている。平成 27 年度は従来の利用状況に加え
TSUBAME で利用されるアプリケーション毎の利用状況についても集計する手順を確立し、月次でレポートしている。以下にレポートしている集計値の一部について提示する。

156

図 1 TSUBAME の利用者種別による使用時間の集計

図 2 TSUBAME の年度別使用状況

図 3 2015 年度 TSUBAME 学内利用と学外利用の比較

図 4 2016 年 1 月のアプリケーション別 CPU 時間の集計

図 5 2016 年 1 月のアプリケーション別ノード時間の集計

図 6 2016 年 1 月のアプリケーション別ユーザ数の集計

TSUBAME 電気料金の比較
平成27年12月10日
学術国際情報センター 共同利用推進室

平成23年度
4月
5月
6月
7月
8月
9月
10月
11月
12月
1月
2月
3月
合計

平成24年度

電力使用量（kWh）
平成25年度

平成26年度

平成27年度

平成23年度

電力使用量

電力使用量

対前年増分率

電力使用量

対前年増分率

電力使用量

対前年増分率

電力使用量

対前年増分率

485,307571,951
597,096615,725
550,374
653,478
702,321642,864
716,541758,222675,051
667,324
7,636,255

603,290
668,845646,655
627,052
524,778
643,869
688,506
691,738
709,957
735,418
661,769
710,385
7,912,263

24.31%
16.94%
8.30%
1.84%-4.65%-1.47%-1.97%
7.60%-0.92%-3.01%-1.97%
6.45%
3.61%

617,351
673,028
668,918
666,412595,087
624,885
627,459
587,488593,797615,677
565,428
639,949
7,475,479

2.33%
0.63%
3.44%
6.28%
13.40%-2.95%-8.87%-15.07%-16.36%-16.28%-14.56%-9.92%-5.52%

579,179
570,745571,877
583,230
533,067
572,218
590,719546,042604,263
639,385594,674
617,146
7,002,545-6.18%-15.20%-14.51%-12.48%-10.42%-8.43%-5.86%-7.05%
1.76%
3.85%
5.17%
-3.56%-6.33%

548,948587,199
586,395
614,175
561,963588,650
663,531-5.22%
2.88%
2.54%
5.31%
5.42%
2.87%
12.33%

4,150,861

電力料金

平成24年度
電力料金

対前年増分率

電気料金（税抜）
平成25年度
電力料金

対前年増分率

平成26年度
電力料金

平成27年度

対前年増分率5,297,730 9,348,735
6,351,196 10,309,875
6,834,505 10,137,121
7,773,180 10,524,716
7,129,789 9,054,753
8,708,410 10,969,120
8,873,423 10,991,603
8,245,540 10,982,207
9,160,577 11,142,380
11,003,175 11,336,047
8,642,228 10,180,082
8,518,020 10,786,796
3.74% 96,537,774 125,763,435

76.47% 9,696,269
62.33% 11,027,179
48.32% 11,362,415
35.40% 12,118,329
27.00% 10,934,381
25.96% 11,576,775
23.87% 11,033,518
33.19% 10,255,341
21.63% 10,227,811
3.03% 10,512,334
17.79% 9,817,602
26.64% 11,169,941
30.27% 129,731,894

3.72% 10,428,849
6.96% 10,880,926
12.09% 10,989,340
15.14% 11,649,693
20.76% 10,589,076
5.54% 11,344,936
0.38% 11,031,344-6.62% 10,192,551-8.21% 11,217,795-7.27% 11,920,967-3.56% 11,336,342
3.55% 11,802,568
3.16% 133,384,387

7.56%-1.33%-3.28%-3.87%-3.16%-2.00%-0.02%-0.61%
9.68%
13.40%
15.47%
5.66%
2.82%

年額（税込） 101,364,663 132,051,607

30.27% 136,218,489

3.16% 144,055,138

5.75%

表 1 TSUBAME の電力使用量と電気料金の集計

157

電力料金

対前年増分率10,458,014
11,202,250
10,690,570
11,102,691
9,765,463
9,860,477
10,395,811

0.28%
2.95%
-2.72%-4.70%-7.78%-13.08%-5.76%

73,475,275-4.47%

TSUBAME でのリモート可視化環境の構築と試用
平成 26 年度に技術検証の目的で導入した図 7 に示される VDI（Virtual Desktop
Infrastructure）環境を用い、TSUBAME での動作する CAE アプリケーションによる解析のポスト処理を VDI で行うための環境構築を行った。また構築した環境にて、スパコンを用いるような大規模解析において、結果の可視化のための解析データの移動にともなう膨大な時間やセキュリティリスクを低減することを確認し、その有用性や効用を学会や講演会にて報告した。
検証においては産業利用のユーザである三ツ星ベルト株式会社に実際の解析データを提供いただいた。図 8 で示される解析例は、要素数 1,177,600、節点数 1,185,602 の産業用ゴ

図 7 TSUBAME での VDI の構成

ムベルトの有限要素モデルを MSC ソフトウェ
アの Marc で解析した結果表示で、駆動プーリ内でのベルト Mises 応力分布を表示している。
この例は TSUBAME にて 48 ノード 48GPU 並列で解析し、計算時間は 10 分、解析データは 24GBであった。この結果を表示するためには、24GB の解析データを TSUBAME からインターネッ
トを介して企業のワークステーションにダウンロードするため、平均 8MB/sec の速度で約50 分を要する。構築した VDI 環境を用いれば、ポスト処理は TSUBAME 上の解析データを VDI
環境で直接読込み結果表示するためダウンロードにかかる時間を短縮できるとともに、データ転送にともなうセキュリティリスクを低減できことを検証した。

図 8 産業用ゴムベルトの解析例

図 9 TSUBAME 直結 VDI システムでのポスト処理【国内学会・ワークショップ・講演会等での発表】
1) 佐々木淳, “クラウド型グリーンスーパーコンピュータシステム TSUBAME による CAE”, 日本計算工学会 第 20 回計算工学講演会論文集, つくば, 2015 年 6 月 9 日

1582) 佐々木淳, “みんなのスパコン TSUBAME による産業利用の実例”, 公益財団法人 科学技術交流財団 第 5 回スパコンものづくり研究会, 名古屋, 2015 年 7 月 29 日
3) 野村哲弘, 佐々木淳, 三浦 信一, 遠藤 敏夫, 松岡 聡 “TSUBAME2 におけるスケジュール
効率化への取り組みとユーザ動向の見える化”, 情報処理学会 第 150 回ハイパフォーマン
スコンピューティング研究発表会（SWoPP2015）, 2015 年 8 月 4 日4) 佐々木淳, “みんなのスパコン TSUBAME による大規模構造解析の実例”, MSC ソフトウェア
Marc Users Meeting 2015, 2015 年 9 月 11 日
5) 佐々木淳, 三浦信一, 青木尊之, “TSUBAME における VDI(Virtual Desktop Infrastructure)の試行”, AXIES 大学 ICT 推進協議会 2015 年度年次大会, 名古屋, 2015 年 12 月 2 日

159

助教

下川辺

隆史 （高性能計算システム分野）【研究の概要と成果】
高性能ステンシル計算フレームワークへの自動チューニング機構の導入よる高速化
ステンシル計算による格子に基づいた物理シミュレーションは、スパコンで実行される重要なアプリケーションであり、様々な物理アプリケーションが GPU スパコンによって大幅に性能向上したことが多く報告されている。しかし、高性能な GPU 計算を実現するためには、NVIDIA 社製 GPU に特化した CUDA や GPU 計算に対応したディレクティブである
OpenACC などを用いる必要があり、さらにプロセッサの性能を引き出すためには個々のアーキテクチャを意識したプログラミングを行い、機種固有の最適化手法を導入する必要がある。これらを簡便に実現するため、直交格子上で実行される数値計算を高生産に GPU ス
パコンおよび CPU スパコン上に実装するための高性能フレームワークの開発を進めている。
提案フレームワークは、直交格子型の解析を対象とし、各格子点上で定義される物理変
数の時間変化を計算する。また、当該物理変数の時間ステップ更新は陽的であり、ステン
シル計算によって行われる。実装には、
ホストコードは C/C++言語、
デバイスコードは CUDAを用いる。CUDA と MPI により並列化される複数 GPU 計算および OpenMP と MPI により並列化される複数 CPU 計算に対応する。プログラマは格子点上での計算についてのみ記述
し、格子全体の処理はフレー ムワークが行う。ユーザはフレームワークを用いることで、
ユーザアプリケーションにフレームワークの提供する最適化手法を簡便に適用することが可能となる。
GPU によるステンシル計算では、その性能は計算に用いるスレッド数などの実行時パラメータに大きく依存するため、実行時に最適なパラメータを自動選択する機構を導入する。
プログラムを実行すると、自動チューニングの対象となるステンシル計算に対して、フレームワークは全てのパラメータの組み合わせで実行し、その実行時間を計測する。全ての組み合わせで計測後、チューニングされたパラメータを用いて、その後の計算を進める。
チューニング中は性能低下が見られるが、一般に格子を用いたアプリケーションでは、ス
テンシル計算は数万回を超えて実行されるため、チューニング・パラメータ決定のための速度低下はアプリケーション全体の実行時間と比較すると無視できる。自動チューニング
機構は通信を計算で隠蔽するオーバーラップ手法と併用することが可能となっており性能向上に大きく貢献する。
本研究では、自動チューニング機構を導入したフレームワークを用い、圧縮性流体シミュレーションコードを実装した。図 1 に、このシミュレーションコードで計算したレイリーテイラー不安定性の計算結果を示す。図 2 にこのコードを東京工業大学の TSUBAME2.5
スパコン上で実行した時の実行性能結果について示す。64 GPU を用い計算格子 2563 の計算
では、自動チューニング機構とオーバーラップ手法を併用することで 5.93 TFlops を達成した。これは最適化手法を導入していないコードの 2.7 倍の高速化となる。

160

図１：レイリーテイラー不安定性の計算結果

図２：TSUBAME2.5 で実行された圧縮性流体シミュレーションコードの実行性能結果【査読なし国際会議発表】
1） Takashi Shimokawabe, Takayuki Aoki, and Naoyuki Onodera, "Advanced High-productivity
Framework for Stencil Applications on GPU Supercomputers," 3rd International Workshops on
Advances in Computational Mechanics, Tokyo, Japan, October 2015.
【国内学会・ワークショップ・講演会等での発表】
1） Takashi Shimokawabe, "High-resolution Weather Prediction Code based on High-productivity
Framework for Multi-GPU computation," 2nd Annual Meeting on Advanced Computing System andInfrastructure (ACSI2016), 福岡, 2016 年 1 月.
2） 下川辺隆史, 青木尊之, 小野寺直幸, "自動チューニング機構の導入によるステンシル計算のための GPU コンピューティング・フレームワークの高度化",日本応用数理学会 2015 年 年
会, 金沢, 2015 年 9 月.

1613） 下川辺隆史, "マルチ GPU コンピューティング・フレームワークを用いた高精度気象計
算コードの開発," 学際大規模情報基盤共同利用・共同研究拠点 第 7 回シンポジウム,
東京, 2015 年 7 月.
4） 下川辺隆史, "大規模 GPU/CPU 計算に向けた高生産フレームワークの構築とこれを用いた都市気流計算コードの開発," 学際大規模情報基盤共同利用・共同研究拠点 第 7 回シンポジウム, 東京, 2015 年 7 月. （ポスター）
5） 下川辺隆史, 青木尊之, 小野寺直幸, "ステンシル計算のための高生産 GPU コンピューティン
グ・フレームワークの高度化", 日本計算工学会 第 20 回計算工学講演会, 筑波, 2015 年 6 月.

162

特任講師

佐藤

幸紀

（高性能計算システム分野）【研究の概要と成果】
実アプリケーションの性能プロファイリング機構の高度化
性能チューニングに関して関連するレイヤとのコデザインによりプロファイル時間の短
縮、及び、プロファイリングを活用したチューニング手法の高度化に関する研究に取り組んでいる。今年度は、我々が開発している実行時アプリケーション解析ツール Exana を用
いてコード最適化計画を立てる上で鍵となるメモリ階層を考慮した性能モデルの基礎パラ
メータやアプリケーションのメモリ局所性特性を実際に取得できることを確認し、アプリ
ケーション性能向上に寄与することを実証した。同時に、メモリ階層性能シミュレータを用いたメモリ性能プロファイル取得のための時間を従来の 8 分の 1 程度に短縮するとともに、キャッシュの競合性ミスの検出とパディングによる性能改善の可能性の診断機能を実装した。また、Exana のプロファイリング機構の一部はコミュニティに向けて公開するとともに、TSUBAME2.5 の実験的サービスのディレクトリにビルドすることにより TSUBAME ユーザーが自由に利用できる環境を整備した。
性能プロファイリング結果のソースコードへのフィードバックの半自動化
実アプリケーションのプロファイリング結果をソースコードのコード最適化にフィードバックする仕組みの研究開発に取り組んでいる。本年度は、実行時アプリケーション解析
ツール Exana の解析結果において検出された問題箇所をコンパイラの生成するデバッグ情報に基づきソースコードの位置に対応付けし、プロファイリング後に ExanaView という GUI
可視化ツールにて診断できる仕組みを整備した。同時にアプリケーション開発者にフィードバックできる最適化対象を更に拡大するために、テンポラルブロッキングされたステン
シルコードを題材にキャッシュ競合ミスの検出とパディングによるメモリレイアウト最適化空間、ループブロッキングを実施する際のブロックサイズや各種ループ変換におけるパラメータ空間を幅広く探索し、それらを反映する性能モデルの開発も進めた。
動的バイナリ変換に基づくコード変換機構の開発
本機構は、P-E-T-S (Profile, Estimate, Translate, Switch)という 4 つのステージから構成される。P および E ステージは Exana ツールとして実装しているプロファイラおよびメモリ階層性能モデルの実装と連動して進めている。T ステージでは、戦略に基づきバイ
ナリコードを最適化されたものに透過的に変換するステージである。本年度は、特に T ス
テージの実装を重点的に進め、実行形式のバイナリコードから LLVM コンパイラの中間表現である LLVM IR が復元できることを確認し、LLVM IR レベルで各種ループ変換を行う機構の proof-of-concept 実装を行った。

163

スーパーコンピューティング技術およびビッグデータ技術に関する研究
科研費萌芽の支援を受けてビッグデータ処理を加速するデータ駆動型カスタムパイプラ
イン処理方式の研究開発を行っている。本研究は、FPGA アクセラレータを持つ環境における階層化されたメモリ間のデータ局所性を最適化し、個々のメモリ階層を構成するハードウェアの持つ性能を最大限活用するデータ駆動型アクセラレーションの方式を確立することを目標としている。本年度は、テンポラルブロッキングを FPGA アクセラレータに適応することを検討すると同時に、実行時アプリケーション解析ツール Exana や可視化ツール
ExanaView と連携して対象アプリケーションプログラムのデータフローからメモリ操作を抽象化しその抽象解釈を行う Memory object-relative profiling 手法の実装を進めた。
【査読付き国際会議・国内学会発表】
1） Yukinori Sato and Toshio Endo. Dynamic Compilation for Transparent Data Locality Analysis andMemory Subsystem Tuning. Workshop on Architectural and MicroArchitectural Support for Binary
Translation and Dynamic Optimization (AMAS-DO 2016), held in conjunction with CGO2016,
March 2016. (Abstract 査読) （採択率不明）
2） Shimpei Sato, Yukinori Sato, and Toshio Endo. A Cache-aware Temporal Blocking Method for 3D
Stencil Computation. The 3rd International Workshop on High-Performance Stencil Computations(HiStencils 2016), held in conjunction with HiPEAC2016, January 2016. （採択率不明）
3） Yukinori Sato, Shimpei Sato, and Toshio Endo. Exana: An Execution-driven Application Analysis
Tool for Assisting Productive Performance Tuning. The 2nd Workshop on Software Engineering for
Parallel Systems (SEPS 2015), held in conjunction with SPLASH2015, October 2015. DOI:
10.1145/2837476.2837477（採択率不明）
4） Shimpei Sato, Yukinori Sato, and Toshio Endo. Investigating Potential Performance Benefits ofMemory Layout Optimization based on Roofline Model. The 2nd Workshop on Software
Engineering for Parallel Systems (SEPS 2015), held in conjunction with SPLASH2015, October
2015. DOI: 10.1145/2837476.2837483（採択率不明）【査読付きポスター発表】
1） Yukinori Sato and Toshio Endo. Consolidating memory locality information obtained from staticand dynamic analysis of code for performance tuning in source code. 2nd Annual Meeting on
Advanced Computing System and Infrastructure (ACSI2016). (採択率不明)
2） Tan Yiyu, Yasushi Inoguchi, Yukinori Sato, Yukio Iwaya, Makoto Otani, TakaoTsuchiya. A Scalable
Processor for Real-time Sound Rendering. In IEEE Symposium on Low-Power and High-Speed
Chips (COOL Chips XVIII). April, 2015. (採択率不明)
3） 佐藤幸紀，佐藤真平. メモリ階層性能シミュレータを用いた CPU 単体性能チューニング.
2015 年 ハイパフォーマンスコンピューティングと計算科学シンポジウム（HPCS 2015），
May 2015．(採択率不明)【国内学会・ワークショップ・講演会等での発表】
1） Yukinori Sato. An Application Profiling and Dynamic Compilation System for Accelerating
Systems with Deeper Memory Hierarchy. Computer Science Seminar, Rice University. January
13, 2016.
2） 佐藤幸紀，佐藤真平，遠藤敏夫. CPU 性能チューニングを支援するアプリケーション解析
ツール Exana のデモ. 萌芽的コンピュータシステム研究展示会（CEATEC 併設）,信学技報,
vol. 115, no. 243, CPSY2015-48, pp. 11-13, 2015 年 10 月.

1643） 佐藤幸紀，遠藤敏夫． 実行駆動型キャッシュシミュレーションおよびメモリ参照特性解析
におけるオーバーヘッドの評価 ． 並列/分散/協調処理に関するサマーワークショップ(SWoPP2015)， 情報処理学会研究報告, 2015-ARC-216 No.31, 7 pages, August 2015．
4） 佐藤真平，佐藤幸紀，遠藤敏夫. テンポラルブロッキングを適用したステンシル計算コー
ド の SIMD 化 と ル ー フ ラ イ ン モ デ ル を 用 い た 性 能 解 析 . 情 報 処 理 学 会 研 究 報 告2015-HPC-151，No.17，pp.1-7，September 2015．
5） 佐藤真平，佐藤幸紀，遠藤敏夫. ルーフラインモデルによる性能幅推定とステンシル計算
コ ード におけ るメモ リレイ アウ ト最適 化によ る性能 最大 化 . 情 報処理 学会 研究報告2015-ARC-216，No.32，pp.1-6，August 2015．

165

特任助教

佐藤

仁 （高性能計算システム分野）【研究の概要と成果】
メモリ階層の深化に対応するビッグデータ処理向け基本カーネルの高速化
Sort, PrefixSum, Unique, SetIntersection などのアルゴリズムはビッグデータ処理において必要となる基本的なカーネル処理である。通常、これらの処理の高速処理は大容量のDRAM を必要とするが、容量あたりの導入コストの高さや消費電力の高さ、また、将来の計算機アーキテクチャに向けてはプロセッサのコア数の増大や DRAM を構成する半導体の集積度の限界などにより利用可能なコアあたりの DRAM のバンド幅・容量が少なくなることが問題となる。
一方、昨今、DRAM と比較して低バンド幅と高レイテンシだが大容量で低コストという特性を持ったフラッシュなどに代表される不揮発性メモリデバイスが登場し、明示的なデー
タ移動が必要であるもののバンド幅を必要としない処理に伴うデータセットを積極的に不揮発性メモリへオフロードすることで、アプリケーションが必要とするバンド幅と容量を稼ぐなどの活用が期待されている。同様の状況は、マルチコア CPU とメニーコア GPU の関係にも当てはまり、GPU のデバイスメモリを超えるような大容量のメモリを必要とするアプ
リケーションでは、GPU の持つ高い演算性能とメモリバンド幅を活用するために、演算性能やメモリバンド幅を必要としない処理を伴うデータセットを積極的にホストメモリへオフロードする必要がある。上述の基本カーネルは、GPU での処理に向いており、不揮発性メモ
リを組み合わせることにより，GPU のデバイスメモリや CPU のホストメモリの容量を超えるような巨大なデータセットに対する高速化が実現できると考えられる。しかし、多階層のメモリを対象とした実装の煩雑さや、不揮発性メモリへの I/O や CPU-GPU 間のメモリ転送の隠蔽手法、また、最新のデバイスを対象とした最適化手法・性能特性は明らかではない。
そこで、我々は、GPU アクセラレータと不揮発性メモリを考慮した外部ソート xtr2sort(extreme external sort)を提案する。GPU の高い演算性能とメモリバンド幅を活かし、不揮発性メモリ、ホストメモリ、デバイスメモリ間のデータ移動に伴う遅延を隠蔽するために、不揮発性メモリ上のソートの対象となるレコードをデバイスメモリの収まるサイズへ
チャンクに分割し、チャンク毎にパイプラインで不揮発性メモリへの I/O 操作、CPU-GPU 間のメモリ転送、GPU 上でのソート処理を非同期に行うことで、デバイスメモリやホストメモ
リの容量を超えたサイズのレコードに対しても高速なソートを行う。
提案手法を 2-way の Intel Xeon E5-2699 v3 2.30GHz (18 コア)、NVIDIA Tesla K40 を搭載した 1 台のサーバで評価した結果、Linux Asynchronous I/O(libaio)を用いたノンブロ
ッキング I/O による提案手法の実装において、CPU 上で実行可能なレコード数の 4 倍、GPU上で実行可能なレコード数の 64 倍となる 25.6×109 の int64_t 型の整数値からなるレコー
ドに対し、78,121,548 records/sec で動作し、2 ソケット 72 スレッドで動作させた CPU
版のノンブロッキング I/O による out-of-core ソートと比較して 2.16 倍の性能を示すこと

166

を確認した。これらから、GPU アクセラレータを用いた Out-of-core な処理に向けて、不揮
発性メモリを組み合わせ I/O のチャンク化と遅延隠蔽を行うことが良好な手法であることを確認し、現在、Sort 以外の PrefixSum, Unique, SetIntersection などのアルゴリズムへの適用を進めるともに、大規模グラフ処理など応用アプリケーションへ展開し、多階層のメモリを考慮した Out-of-core な手法の有効性の確認を行っている。
【査読付き学術論文】
1) Hideyuki Shamoto, Koichi Shirahata, Aleksandr Drozd, Hitoshi Sato, Satoshi Matsuoka,"GPU-Accelerated Large-scale Distributed Sorting Coping with Device Memory Capacity”, IEEE
Transactions on Big Data, Volume PP, Issue 99, pp.1-13, 2016.
2) Katsuki Fujisawa , Toyotaro Suzumura, Hitoshi Sato, Koji Ueno, Yuichiro Yasui, Keita Iwabuchi,
Toshio Endo, "Advanced Computing and Optimization Infrastructure for Extremely Large-Scale
Graphs on Post Peta-Scale Supercomputers”, Optimization in the Real World, Toward Solving
Real-World Optimization Problems, pp.1-13, 2016.
【査読付きポスター発表】（採択率）
1) Hitoshi Sato, Ryo Mizote, Satoshi Matsuoka, “Out-of-core Sorting Acceleration using GPU and FlashNVM”, The International Conference for High Performance Computing, Networking, Storage, andAnalysis (SC15), November, 2015 (採択率 44%).
2) Hitoshi Sato, Ryo Mizote, Satoshi Matsuoka, “Out-of-core Sorting Acceleration using GPU and FlashNVM”, GTC Japan, September, 2015.(採択率不明).
【査読なし国際会議発表】
1) Hitoshi Sato, Shuichi Ihara and Satoshi Matsuoka, “Reliability of NVM devices for I/O acceleration
on supercomputing systems”, Lustre User Group 2015, April, 2015.
【国内学会・ワークショップ・講演会等での発表】
1) 社本秀之，佐藤仁，松岡 聡,”GPU アクセラレータと不揮発性メモリを考慮した大規模分散ソート”, 情報処理学会 第 154 回ハイパフォーマンスコンピューティング研究発表会, 4 月
2016 年. (to appear)2) 佐藤仁, "クラウドバーストバッファによるクラウド・スパコン間連携”, アカデミックイン
タークラウドシンポジウム 2015 Cloud Week 2015＠Hokkaido University, 9 月 2015 年.
3) 佐藤仁, 溝手竜, 松岡聡, “GPU アクセラレータと不揮発性メモリを考慮した外部ソート”, 情報処理学会 第 150 回ハイパフォーマンスコンピューティング研究発表会, 8 月, 2015 年.
4) Guanglong Chi，Ken Wakita，Hitoshi Sato , "A distributed implementation of Louvain-stylecommunity detection heuristics for large-scale social networks”, 第 150 回ハイパフォーマンスコ
ンピューティング研究発表会, 8 月, 2015 年.

167

特任助教

三浦 信一 （高性能計算システム分野）【研究の概要と成果】
データサイエンス推進のためのクラウド連携とデータ共有基盤に関する研究
遺伝データや天文学データ等のサイエンスビッグデータは、シーケンサや天体カメラ等の技術進歩により取得できるデータ量は飛躍的に増大している。例えば遺伝学研究所が管理している国際塩基配列データベースは、現状で 1.5 PB 程度ではあるが、数年のうちに 5
PB に達する見込みであり、このような巨大なサイエンスビッグデータをより効率的に保存・アクセスする技術が必要である。また、これらのデータの大規模化に伴い、これを解析するための計算量も増大しており、スーパコンピュータや広域に分散されたクラウドリ
ソースなどを活用したサイエンスビッグデータ処理が必要である。
本研究では、国立情報学研究所を中心として整備が進められている、次世代の学術情報
ネットワーク（SINET5）と複数のクラウド基盤を連携して活用するインタークラウド技術
を用い、アプリケーション中心型オーバーレイクラウド技術の有効性を検証するための実証実験基盤の構築・運用する。また、アプリケーションに適したインタークラウドを構築・運用するための知見を所得する。これに加えて、インタークラウド資源から、大容量のサイエンスビッグデータを効率的に共有する基盤の開発を行う。
本年度は、SINET5 の運用開始などを見据え、国立情報学研究所、国立遺伝学研究所、
北海道大学、九州大学及び東京工業大学の 5 機関に跨る、インタークラウドのテストベッドの構築を進めた。また、遠隔のリモートストレージを高速にアクセスするために開発されているクラウドバーストバッファ技術をインタークラウド環境下への適用を進めた。加
えて、本センターが整備中である TSUBAME3.0 とインタークラウド資源を相互に接続し、より柔軟なクラウド計算環境を整備することを考慮し、その接続方法についても検討を行った。
【国内学会・ワークショップ・講演会等での発表】
1) 野村哲弘，三浦信一，遠藤敏夫，松岡聡, “アプリケーションの Empirical な性能モデル構築のためのプロファイル情報の収集”, 2015 年ハイパフォーマンスコンピューティングと計算科学
シンポジウム(オーガナイズドセッション: 計算科学と計算機科学のコデザインのためのミニアプリ), 東京, 2015 年 5 月.
2) 野村哲弘，佐々木淳，三浦信一，遠藤敏夫，松岡聡, “TSUBAME2 におけるスケジュール効率化への取り組みとユーザ動向の見える化”, 情報処理学会研究報告 2015-HPC-150, 別府, 2015
年 8 月.
3) 野村哲弘，佐々木淳，三浦信一，遠藤敏夫，松岡聡, “TSUBAME2 におけるジョブスケジュ
ー リ ン グ 効 率 化 へ の 取 り 組 み と 検 証 ”, 大 学 ICT 推 進 協 議 会 2015 年 度 年 次 大 会(AXIES2015) , 名古屋, 2015 年 12 月.
4) 中誠一郎, 原田浩, 三浦信一, 建部修見, 塙敏博, 田川善教 “HPCI 共用ストレージの ITIL 視点
での運用分析”, 大学 ICT 推進協議会 2015 年度年次大会 (AXIES2015) , 名古屋, 2015 年 12月.

1685） 原田浩, 建部修見, 中誠一郎, 三浦信一, 蛯原純, 金山秀智, 近藤晃, 曽田哲之, “大規模分散
ファイルシステム HPCI 共用ストレージにおけるデータ完全性を含むファイルシステム一貫性チェック”, 大学 ICT 推進協議会 2015 年度年次大会 (AXIES2015) , 名古屋, 2015 年 12 月.
6） 佐々木淳, 三浦信一, 青木尊之, “TSUBAME における VDI (Virtual Desktop Infrastructure)の試行” . 大学 ICT 推進協議会 2015 年度年次大会 (AXIES2015), 名古屋, 2015 年 12 月.

169産学官連携研究員

野村

哲弘 （高性能計算システム分野）【研究の概要と成果】
スパコン上のアプリケーションの効率的実行に関する研究
スーパーコンピュータ上で動作するアプリケーションの性能は、アプリケーションの特性とスーパーコンピュータの特性および実行方法によって大きく変わり、所要時間を予測して効率的に実行することは難しい。そのため、アプリケーションの実行時間や電力消費をモデル化し、ターンアラウンドタイム（ジョブを投入してから実行が終了するまでの時
間）や、スパコン全体の電力消費を最適化する実行計画を作成する必要がある。
本年度は、複数のジョブが単一のノードに併存する場合における、各ジョブの電力消費の寄与分をモデリングする研究を行った。ジョブ毎の電力消費の寄与分を予測することができれば、それをもとに限られた電力制約下でのスケジューリングや、電力量を最適化す
るスケジューリングにつながる。
また、昨年度に引き続きリモートの GPU を rCUDA で仮想化して利用することによるより高密度なジョブ充填の研究を行った。リモートの GPU を仮想化によってローカル GPU として見せると、CPU-GPU 間通信が実際にはノード間通信となるために、ノード間のレイテン
シによって GPU アクセスインテンシブなアプリケーションの実行速度が著しく低下する。
そのため、リモート実行時の実行時間低下をモデリングし、資源の空き状況に応じてリモート実行中の仮想化した GPU をローカルにマイグレートして、以後の実行における実行時間を削減するミドルウェア mrCUDA を作成し、その性能評価を行った。これによって単純なリモート実行だけを行う場合に比べて平均ターンアラウンドタイムを 30%削減できること
がシミュレーションにより示されている。
さらに、実アプリケーションの性能モデリングでは、単純な実行時間のモデリングだけではなく、並列化時の計算順序の変更などによって起きる「解の質」の変化を定量化する試みを行っている。アプリケーション内の一定の指標を解の質と見做した際に、実行時間
及び解の質をそれぞれ 8%以下の誤差で予測することに成功している。
これらの性能モデリングに必要なソフトウェアの整備を過年度より継続して行っており、それらは実験的サービスとして TSUBAME2.5 のユーザにも提供している。
TSUBAME2.5 におけるジョブ・アプリケーション実行形態の可視化に関する研究
GSIC が提供しているスーパーコンピュータ TSUBAME2.5 では、各種センサーおよびプロセ
ッサ利用率などの指標を常時モニタリングしており、Ganglia などのインタフェースでユーザに対して公開している。その一方で、蓄積されている莫大なデータに対しての解析は殆どなされておらず、TSUBAME2.5 の運用方針の検討時にもユーザ動向の把握はモニタリン
グ画面やキューの状況の変化を教職員が感覚的にとらえる程度にとどまっており、定量的な考察や検証はなされていなかった。また、ジョブの実行履歴のデータについてもテキス

170

トログの形で蓄積するのみで、それを統計的に解釈して、運用の効率化に利活用することは従来行われていなかった。そこで、スケジューラのログを再構成してデータベースを作成し、そこに Ganglia による GPU 利用率などの情報を付加することで、ジョブ単位での GPU
利用率の傾向などを調べることを可能にした。さらに、プロセスアカウンティングログの情報よりジョブをアプリケーションと紐づけることが可能であり、アプリケーションの種
類ごとのリソースの使われ方について検証が可能になると考えている。これらデータベースを用いて、2014 年度に行った TSUBAME2.5 の課金計算式の変更前後のユーザ動向の変化の検証を行い、ユーザがより高い精度で実行時間の予測を行うことでスケジューリングの効率化に寄与したことを示した。
【査読付きポスター発表】（採択率）
1) Pak Markthub, Akihiro Nomura, Satoshi Matsuoka “mrCUDA: Low-Overhead Middleware forTransparently Migrating CUDA Execution from Remote to Local GPUs”, International Conference
for High Performance Computing, Networking, Storage and Analysis (SC15), Austin, 2015/11/17 (採択率 44%)【査読なし国際会議発表】
1) Akihiro Nomura “Performance Measurement and monitoring in TSUBAME2.5 towards next
generation supercomputers”, Application Extreme-scaling Experience of Leading Supercomputing
Centres in conjunction with the International Supercomputing Conference (ISC’15), Frankfurt,
Germany, 2015/7/16【国内学会・ワークショップ・講演会等での発表】“アプリケーションの Empirical な性能
1) 野村 哲弘，三浦 信一，遠藤 敏夫，松岡 聡
モデル構築のためのプロファイル情報の収集”, 2015 年ハイパフォーマンスコンピューティ
ングと計算科学シンポジウム オーガナイズドセッション: 計算科学と計算機科学のコデザインのためのミニアプリ, 東京, 2015/5/20
2) 野村 哲弘，佐々木 淳，三浦 信一，遠藤 敏夫，松岡 聡 “TSUBAME2 におけるスケ
ジュ ール効率化への取り組みとユーザ動向の見える化”, 2016 年並列／分散／協調処理に関する『別府』サマー・ワークショップ (SWoPP2015), 別府, 2015/8/4
3) Pak Markthub, Akihiro Nomura, Satoshi Matsuoka, “mrCUDA: A middleware for migrating
rCUDA virtual GPUs to native GPUs”, 2015 年並列／分散／協調処理に関する『別府』サマー・ワーク
ショップ (SWoPP2015), 別府, 2015/8/4
4) 寺西 賢人，野村 哲弘，遠藤 敏夫，松岡 聡, “ノード内同時実行ジョブにおけるパフォー
マンスカウンタによるプロセス毎消費電力のモデル化”, 2015 年並列／分散／協調処理に関する『別府』サマー・ワークショップ (SWoPP2015), 別府, 2015/8/5
5) Pak Markthub, Akihiro Nomura, Satoshi Matsuoka “mrCUDA: Low-Overhead Middleware forLive Migrating Remote GPU Execution to Local GPU Execution”, GTC Japan Poster
Session, 東京, 2015/9/18
6) 野村 哲弘, 佐々木 淳, 三浦 信一, 遠藤 敏夫, 松岡 聡, “TSUBAME2 におけるジョ
ブスケジューリング効率化への取り組みと検証”, 大学 ICT 推進協議会
２０１５年度年次
大会 企画セッション HPC テクノロジー, 名古屋, 2015/12/2
7) Pak Markthub, Akihiro Nomura, Satoshi Matsuoka “Serving More GPU Jobs in Multi-GPU BatchQueue Systems using Remote GPU Execution and Migration”, 情報処理学会 第 153 回ハイパ
フォーマンスコンピューティング研究発表会, 松山, 2016/3/3

171

客員教授

小林

宏充

【研究の概要と成果】
GPU による格子細分化法を用いた乱流の直接計算および Large-eddy Simulation
青木尊之教授と共同で複数 GPU を用いた乱流計算への適用について、継続して研究を行っている。
乱流現象は、流体の速くなり、粘性の効果よりも慣性の効果が卓越すると顕著になる。
その乱流エネルギーは物体壁面での大きなせん断により供給され、壁面から離れた領域へ輸送されていく。乱流は大規模・大自由度のカオス系であり、その現象を再現するには、大規模かつ高解像度の計算が必要となる。特に壁面で誘起された渦のようなコヒーレントな構造を解像することが、計算領域全体の物理現象にまで影響を及ぼすので、この点に着目することが重要となる。
自身が開発した乱流の LES (Large-Eddy Simulation) のモデルである「コヒーレント構造モデル」を用いて、乱流計算を検討した。流体の数値計算では、有限差分法を用いて、壁近くに滑らかに密に寄せる格子を利用することで、高解像度の計算が容易に実現される。
簡単な形状の場合は良いが、複雑物体周りや物体が移動するような場合は、質のよい格子作成に多大な時間がかかることになり、自動車の設計の現場では、格子生成の時間が一番の問題となっている。
格子ボルツマン法では計算精度を保つために、滑らかにサイズの異なる格子を用いる有限差分法とは異なり、正方格子のみを利用するので、壁近くの解像度で決まる小さな格子
サイズを壁から離れた領域まで利用することになり、非効率な計算となってしまう。そこで、格子サイズを 2 倍ずつ大きくした格子をつなぐことで、計算格子点を減らす手法を検討した。具体的には木データ構造を用いたメッシュ・アダプテーション（格子細分化法）を導入し、平行平板間乱流の計算および球ならびに自転車競技選手周りの乱流計算を GPU
を用いて行った。
平行平板間乱流の計算では、格子サイズを変えた部分で、乱流強度分布に若干の振動が見られたものの、滑らかに物理量が接続され、細密格子を利用した結果とほぼ同じ平均速度および乱流強度分布が得られることが確認できた。また球周りの計算では、CSM と格子
細分化を用いた乱流計算により、同一格子を用いる場合に比べて約 80%の格子削減を実現
し、Re=8×104 のレイノルズ数まで実験と一致する抗力分布が得られ、高性能計算が確認された。自転車競技選手周りの乱流計算では、同手法により約 10 倍の高速化を実現した。
乱流中に見られる楕円渦周りでの LES におけるエネルギー輸送のアプリオリテスト
乱流中には様々な渦が存在するが、その渦は楕円形のバーガーズ渦で模擬されることが知られている。格子サイズ以下の小さな渦をモデル化する LES（Large-eddy Simulation）においては、それらの渦にフィルタを掛けて粗視化し、格子で解像できるグリッドスケール

172

（grid-scale: GS）の渦は直接計算をし、解像できない格子以下のスケール（subgrid-scale: SGS）
へのエネルギー輸送の空間分布およびその量を理解することが重要となる。乱流中に見られる楕円形断面をもつ渦に対して、微分フィルタを用いることで、その楕円渦のどの領域
で GS から SGS へエネルギーが輸送されるのかを調べた。
その結果，渦中心の速度歪みテンソルの固有値の最小値（圧縮方向）の方向にダブルピークを持つ大きなスケールから小さなスケールへのエネルギー輸送である forward scatter の領域が現われ、カウンターパートとして最大の固有値（伸張方向）に小さなスケールから大きなスケールへのエネルギー輸送で backward scatter が起こることが解析的に示された。
それらの構造は渦中心の周りに四重極子のような構造となり、円周方向に積分するとそれらの構造はキャンセルし、渦中心にネットの forward scatter が現われることを明らかにした。
【査読付き学術論文】
1） Norihiko Sugimoto, Keiichi Ishioka, Hiromichi Kobayashi and Yutaka Shimomura,“Cyclone-anticyclone asymmetry in gravity wave radiation from a co-rotating vortex pair in rotating
shallow water”, Journal of Fluid Mechanics., vol. 772, pp. 80-106 (2015)
2） Liancheng Hu, Hiromichi Kobayashi, Yoshihiro Okuno, “Analyses on Response of A Liquid Metal
MHD Power Generation System to Various External Inputs”, IEEJ Transactions on Electrical andElectronic Engineering B, Vol. 10, No. 3 pp. 268-273 (2015)【査読なし国際会議発表】
1） Hiromichi Kobayashi, “Energy transfer around Burgers vortex for LES”, ASME-JSME-KSME Joint
Fluids Engineering Conference 2015, Soul, Korea (2015)
2） Hiromichi Kobayashi, Liancheng Hu, Yoshihiro Okuno, “Numerical Study on Liquid Metal
Magnetohydrodynamic Turbulent Flows under Various Electrical Circuit Conditions”, International
Conference on Computational & Experimental Engineering and Sciences (ICCES'15), Reno, USA(2015)
3） Hiromichi Kobayashi, “Analytical and numerical analyses of energy transfer around elliptical
Burgers vortices for LES”, The 9th Symposium on Turbulence and Shear Flow Phenomena (TSFP-9),
Melbourne, Australia (2015)【国内学会・ワークショップ・講演会等での発表】
1） 長谷川雄太，青木 尊之，小林宏充，「Octree 細分化格子を導入した格子ボルツマン法による乱流の GPU 計算」，第 29 回数値流体力学シンポジウム，博多 (2015)2） 小林宏充，「LES における楕円形バーガーズ渦周りの SGS エネルギー輸送」，第 29 回数値
流体力学シンポジウム，博多 (2015)3） 小林宏充，「楕円形バーガーズ渦周りの SGS エネルギー輸送に関する解析」，日本物理学会 2015 年秋季大会，大阪 (2015)173

客員准教授丸山直也【研究の概要と成果】
アクセラレータに関する研究
松岡教授および松岡研究室と共同でアクセラレータのプログラミング、性能に関する研究を進めた。Fast Multipole Method 等の粒子法は種々のシミュレーションの基盤的アルゴリ
ズムとして用いられており、特に計算密度の高さから GPU 等へのアクセラレータを用いた高性能実装がこれまでも発表されてきている。しかしながら、高性能実装の開発には対象
アーキテクチャ毎の最適化や、大規模システムに向けたスケーラビリティの実現など、高度な実装技術が必要とされる。我々は横田准教授らとも共同で FMM 等の階層型アルゴリ
ズムを対象としたフレームワークである TAPAS を設計、開発している。これはアルゴリズ
ムを直感的に記述可能なプログラミングモデルを定義し、マルチコア CPU、GPU、ノード間並列等を対象とした自動並列化を実現することを狙ったものである。特にノード間並列については Inspector-executor 方式を応用することで、通常の人手による並列化による
Locally Essential Tree の構築と同等の並列化を自動的に実現している。現在本フレームワー
クのチューニング等の改善を進めており、今後 TSUBAME2.5/3.0 上でその性能を評価し有用性を実証していく予定である。
また、今年度は FPGA に対する評価も開始した。FPGA はこれまで浮動小数点演算性能の低さや利用の困難さから HPC での利用は限定的なものであったが、ハードウェア FPU の搭載や OpenCL 等のプログラミングサポートなどが進んでおり、昨今注目を再び集めつつある。我々は実際に FPGA の HPC アプリケーションに対する有効性を評価するために、
OpenCL ベンチマークを用いた性能評価を進めてきた。ベンチマークとしては種々の並列計算パターンを網羅した Rodinia ベンチマークセットを用い、同ベンチマークセットのうち4 本について Altera Stratix V を用いた評価および最適化を実施した。これまでのところ GPU等と比較して絶対性能では劣るものの電力性能では良好な結果が得られることが確認できている。今後は評価ベンチマークの拡充や最新世代の FPGA を用いた評価等を実施していき、FPGA の有効性の評価を進める予定である。
【国内学会・ワークショップ・講演会等での発表】
1） Hamid Reza Zohouri, Naoya Maruyama, Aaron Smith, Motohiko Matsuda, and Satoshi Matsuoka,“Towards Understanding the Performance of FPGAs using OpenCL Benchmarks,”10 th HiPEAC
Workshop on Reconfigurable Computing, January, 2016.
2） 福田圭祐, 松田元彦, 丸山直也, 横田理央, 田浦健次朗, 松岡聡, 「階層的多体問題向けプロ
グラミングフレームワーク Tapas」, 情報処理学会研究報告ハイパフォーマンスコンピューテ
ィング（HPC）, 2016 年 3 月.
3） Hamid Reza Zohouri, Naoya Maruyama, Aaron Smith, Motohiko Matsuda, and Satoshi Matsuoka,“Optimizing the Rodinia Benchmark for FPGAs (Unrefereed Workshop Manuscript),” 情報処理学
会研究報告ハイパフォーマンスコンピューティング（HPC）, 2015 年 12 月.

1744） 丸山直也, Hamid Reza Zohouri, 松田元彦, 松岡 聡, OpenCL による FPGA の予備評価, 情報処
理学会研究報告ハイパフォーマンスコンピューティング（HPC）, 2015 年 7 月.

175

客員准教授稲富雄一【研究の概要と成果】
電力制約下における HPC アプリ性能最適化に関する研究
将来の HPC システムでは、期待される性能に対して利用できる電力が制約されていると予測されている。例えば米国エネルギー省（Department of Energy, DOE）は、次の 10
年間に 20MW 以下の消費電力でエクサフロップスを達成することを目標に設定している。
このようにスパコンの消費電力問題が注目されている中で、将来のスパコンにおいて限られた電力で高い性能を発揮できるようにするためには、電力効率のよいハードウェア開発
だけではなく、決められた電力バジェットのもとでアプリケーションプログラム（アプリ）の性能を最適化（電力性能最適化）することも重要になると考えられている。
ところで、同一カタログスペックのプロセッサであっても製造ばらつきによって消費電力に差が生じることが明らかとなっており（製造ばらつき）、この傾向は今後より顕著になると考えられる。この製造ばらつきによって、現在の HPC システムを構成する各モジュー
ル（CPU とそれに直接繋がっている DRAM）も消費電力の観点からは既に「不均質」であり、同じ計算を行わせた場合でもプロセッサ間で 10%の消費電力差が見られることが 64 プ
ロセッサを用いた結果として報告されている。ハードウェアに対して電力キャッピング（電力制約）を適用する電力制約型計算機システムでは、このような消費電力のばらつきが CPU
動作周波数、すなわち、アプリ実行性能に影響して性能の不均質性を引き起こす。電力制
約がない場合には負荷が完全に均等化されていても、この性能の不均質性により電力制約
時には負荷が不均等になり、それが性能低下を引き起こす可能性がある。
そこで本研究では、電力の不均質性やそれが HPC アプリ性能に及ぼす影響を調べた。
またその影響を軽減し電力制約時の HPC アプリ性能を改善するためのアルゴリズムを提案して、その効果を検証した。
まず、Intel Sandy Bridge, Ivy Bridge プロセッサ，IBM BG/Q プロセッサ、および、AMD
piledriver プロセッサを搭載した HPC システムを利用して、製造ばらつきによるモジュール
消費電力のばらつきの検証を行った。その結果、全く同じプログラムを実行した場合でもモジュール間で消費電力に 10%〜30%程度のばらつきがあり、電力制約を適用していない場
合では消費電力と実行性能との間に相関が見られないことが分かった。
次に、各 CPU に一律の電力制約を適用した場合のモジュール間実行性能差を Ivy Bridge
プロセッサを用いたシステムで検証した。その結果、電力制約を適用していない場合には消費電力がばらつくものの実行性能はほぼ等しいが、CPU に一律の電力制約を適用した場
合には消費電力ばらつきが小さくなる代わりにモジュール間での実行性能ばらつきが生じ、制約値が小さくなるほど実行性能ばらつきの程度が大きくなることが明らかとなった。例
えば、*DGEMM 実行時に CPU に 70W の電力制約を適用した場合では、モジュール間で 64%もの実行時間ばらつきが生じた。このようにモジュール間で処理性能に差が生じると、特176

に静的負荷分散により負荷均等化を図っている HPC アプリでは，その実行性能が低下する
ことが予想される。
このような電力制約時におけるモジュール間実行性能ばらつきの HPC アプリに対する影響を軽減するために、全モジュールの実行性能が均等になるように、与えられた電力バジ
ェットを各モジュールに配分する手法を提案した。提案した手法では、実行性能が CPU 動
作周波数に比例すると考え、(1)各モジュールのアプリ実行時の動作周波数と消費電力のモデルを作成して、(2)各モジュールの CPU 動作周波数が等しくなるように電力バジェットを各モジュールに配分する、という手順で電力制約を適用する。また、動作周波数と消費電力のモデルを作成するためにはアプリ実行時の各モジュールの消費電力情報が必要となるが、必要な消費電力データを簡便に推定する手法も提案した。HPC アプリを電力制約下で実行した場合に提案手法でどの程度性能が改善されるかを調べるために、Ivy Bridge プロセッサシステムで、*DGEMM, *STREAM(triad), NPB(SP, BT)，および stencil アプリの一種である MHD を用いて電力制約下での性能評価を行った。その結果、アプリ特性やモジュール
消費電力ばらつきを全く考慮していない Naïve な電力配分手法に比べて，提案手法を適用することで、今回利用したアプリ平均で 1.8 倍、最大 5.4 倍の性能向上を達成することが確認された。
今回は汎用 CPU のみを考慮して電力配分手法を提案したが、HPC システム一般に適用するためには、GPGPU などのアクセラレータを含んだアーキテクチャも考慮する必要がある。
現在 GPGPU 間での消費電力ばらつきを測定や周波数による消費電力制御を行っており、今後、GPGPU を含めた電力制約下での HPC アプリ性能最適化に取り組む予定である。
【査読付き国際会議・国内学会発表】
1. Y. Inadomi, T. Patki, K. Inoue, M. Aoyagi, B. Rountree, M. Schulz, D. Lowenthal, Y. Wada, K.
Fukazawa, M. Ueda, M. Kondo, and I. Miyoshi, “Analyzing and Mitigating the Impact ofManufacturing Variability in Power-Constrained Supercomputing,” International Conference for High
Performance Computing, Networking, Storage and Analysis, Nov. 2015 (SC’15), Austin (USA) (採択率 22%)【国内学会・ワークショップ・講演会等での発表】
1） 稲富雄一，井上弘士，和田康孝，深沢圭一郎，上田将嗣，近藤正章，三吉郁夫， Barry
Rountree，Martin Schulz， Tapasya Patki，David Lowenthal，青柳睦, 「電力制約スーパーコン
ピューティングにおける製造ばらつき問題とその対策～大規模計算機システムを対象とした電力バジェット配分法の提案～」, 2015 年並列/分散/協調処理に関する『別府』サマー・ワ
ークショップ（SWoPP 別府 2015），口頭発表 HPC-27，2015.8.4-6 ビーコンプラザ（別府）2） 稲富雄一，井上弘士，「ミニアプリ Modylas-mini, NTChem-mini に対する電力制約下での性
能最適化」，第 9 回分子科学討論会（2015），ポスター発表 2P11，2015/9/16-19, 東京工業大学 大岡山キャンパス（東京）3） 今村憲亮，本田宏明，稲富雄一，南里豪志，「SIMD 演算向け原始基底 RHF 計算」，第 9回分子科学討論会（2015），ポスター発表 4P87，2015/9/16-19, 東京工業大学 大岡山キャンパス（東京）
4） 稲富雄一，井上弘士，「並列分子科学計算プログラムの電力制約下における性能最適化」，

177

日本コンピュータ化学会 2015 秋季年会（2015），ポスター発表 2P08，2015/10/30-31，函館
市地域交流まちづくりセンター（函館）5） 今村憲亮，本田宏明，稲富雄一，南里豪志，「二電子 Fock 行列の原始基底計算アルゴリズ
ムの実装ならびに性能評価」，日本コンピュータ化学会 2015 秋季年会（2015），ポスター
発表 2P09，2015/10/30-31，函館市地域交流まちづくりセンター（函館）6） 渡邊寿雄，稲富雄一，梅田宏明，本田宏明，長嶋雲兵，「ガウス型基底関数の s 型関数による再展開」，日本コンピュータ化学会 2015 秋季年会（2015），ポスター発表 2P10，
2015/10/30-31，函館市地域交流まちづくりセンター（函館）7） 本田宏明，稲富雄一，森江善之，南里豪志，高見利也，「ACP 通信ライブラリを用いたOpenFMO プログラムの実装」，日本コンピュータ化学会 2015 秋季年会（2015），ポスター
発表 2P12，2015/10/30-31，函館市地域交流まちづくりセンター（函館）178

7-3 受賞学術賞等
渡辺勢也: 粉体工学会ベストプレゼンテーション賞
粉体工学会 2015 年度春期研究発表会
非球形粒子を用いた個別要素法による大規模粉体シミュレーション(2015 年 5 月 19 日)
都築怜理，青木尊之: 最優秀論文賞
2015 年ハイパフォーマンスコンピューティングと計算科学シンポジウム
動的領域分割を用いた流体構造連成によるサスペンション・フローの大規模
GPU 計算 (2015 年 5 月 19 日)
都築怜理: IEEE Computer Society Japan Chapter 優秀若手研究賞
2015 年ハイパフォーマンスコンピューティングと計算科学シンポジウム
動的領域分割を用いた流体構造連成によるサスペンション・フローの大規模
GPU 計算 (2015 年 5 月 19 日)
都築怜理，青木尊之: ビジュアルコンピューティング賞
第 20 回計算工学講演会
GPU スパコンにおける動的負荷分散を用いた大規模流体構造連成
シミュレーション (2015 年 6 月 8 日)
泉田康太，青木尊之，小野寺直幸，杉原健太，中島聖，本郷均，横畑英明:
グラフィクスアワード優秀賞
第 20 回計算工学講演会
複数 GPU を用いた気液分離装置のシミュレーション (2015 年 6 月 8 日)
松岡 聡: HPCWire 2015 Readers Choice Awards Outstanding Leadership in HPC(co-award with Prof. Jack Dongarra) (2015 年 11 月 17 日）
権藤克彦: 日本ソフトウェア科学会第 22 回ソフトウェア工学の基礎ワークショップ(FOSE2015)
IEEE Young Researcher Award 受賞（2015 年 11 月 26 日）
大村悠太，権藤克彦，立石孝彰：
プログラム変換ルールを用いたプログラム自動要約フレームワークの構築
第 22 回ソフトウェア工学の基礎ワークショップ(FOSE2015), pp.21-30，(2015)http://fose.jssst.or.jp/fose2015/index.html
渡辺勢也，青木尊之，長谷川雄太: ベスト CFD グラフィックスアワード 動画部門 第２位
第 29 回数値流体力学シンポジウム
LBM-DEM 固液二相流の GPU 計算 (2015 年 12 月 16 日)
都築怜理: Best Student Paper Award
Violent Flows 2016179

Large-scale Particle-based Simulations for Debris Flows using Dynamic
Load Balance on a GPU Supercomputer (2016 年 3 月 11 日)

180

8 業務貢献
8-1 専門委員会所属・開催状況
氏 名

認証基盤

ﾈｯﾄﾜｰｸコンピュータシステム
（研究系）

山田 功

○

西畑伸也

○

ｸﾞﾛｰﾊﾞﾙ広報○○（教育系） 資源

○
○

○

◎

○

青木尊之
一色 剛

◎

○

権藤克彦

○

○

○

○

◎

○

○
◎

友石正彦

◎

○

○

松岡 聡

○

◎

○

○
○

○

◎

山口しのぶ

飯田勝吉

共同利用

○

○

横田理央

○

○

○

関嶋政和

○

○

○

遠藤敏夫

○

松浦知史

○

○

○
○

下川辺隆史
渡邊寿雄

○

額田 彰

○

○

○

○

佐々木淳

専門委員会開催数（メール審議含む）

○
○

實本英之

金 勇

○

○

認証基盤専門委員会

３回

ネットワークシステム専門委員会

３回

コンピュータシステム専門委員会
研究システムＷＧ

９回
０回

教育システムＷＧ
ＴＳＵＢＡＭＥ課金検討ＷＧ

０回
０回

グローバル情報資源活用協働専門委員会

６回

共同利用専門委員会

１３回

広報専門委員会
ＳＣブース展示ＷＧ

１回
２回

181

定期ミーティング開催数

8-2

認証基盤システム

４１回

ネットワークシステム

５０回コンピュータシステム

３９回

ＴＳＵＢＡＭＥ

４８回

教育システム

２４回

共同利用・共用促進事業

４３回

講習会・セミナー・シンポジウム等企画・実施状況

件名

企画・実施者氏名

平成 27 年 TSUBAME 春の講習会（4/28～6/10/2015）

情報基盤課基盤システム GP

平成 27 年 TSUBAME 秋の講習会（10/14～11/2/2015）

情報基盤課基盤システム GP

ホームカミングデー TSUBAME2.5 一般公開（05/23/2015） 情報基盤課基盤システム GP
GPU コンピューティング講習会（6/29/2015）

青木、下川辺オープンキャンパス TSUBAME2.5 一般公開（08/08/2015） 情報基盤課基盤システム GP
第 21 回スーパーコンピューティングコンテスト（08/17～ 実行委員長 権藤
08/21/2015）
GTC Japan2015（09/18/2015）

青木、佐々木工大祭 TSUBAME2.5 一般公開（10/10,11/2015）

山田、横田、額田、佐藤（幸）、野村、實本、渡邊、下川辺

東京工業大学 GSIC・インド工科大学マドラス校バイオテク

関嶋

ノロジー学科共催シンポジウム（11/5.6/2015）
SuperComputing 2015 ブース出展（11/16～11/19/2015）

松岡、青木、遠藤、額田、
渡邊、下川辺「ポストムーアに向けた計算機科学・計算科学の新展開」

松岡シンポジウム（12/22/2015）
文科省政府援助ユネスコ活動補助金合同シンポジウム

山口（2/22～2/24/2016）
東京工業大学 GSIC・アブドゥラ国王科学技術大学(KAUST)ECRC 共催シンポジウム（2/28/2016）

182

横田

8-3

仕様策定・技術審査対応状況

件名対応教職員（★委員長）

入室管理システムの危機の更改 一式（仕様策定）★山口、山田、井上（技術審査）伊藤、一瀬

100 ギガ接続用超高速スイッチシステム（仕様策定）★友石、松浦、岸本、谷口一式（技術審査）飯田、金、隅水

高度な通信制御および侵入防御機能を備え（仕様策定）★松浦、友石、岸本、小寺

たセキュリティシステム 一式（技術審査）飯田、金、神野、森谷PDF 作成および編集、動画像編集、DTP ソフ（仕様策定）★一色、小野、伊藤、藤田

トウェア包括ライセンス（技術審査）根本、新里、一瀬

東京工業大学キャンパス包括ソフトウエア（仕様策定）★一色、小野、伊藤、藤田

ライセンス（技術審査）根本、新里、一瀬IC カード 一式（仕様策定）★一色、井上（技術審査）伊藤、一瀬

数値解析ソフトウェア包括ライセンス（仕様策定）★一色、水本、小野、鶴見（技術審査）根本、梁井、藤田ホスティング用ストレージ一式（仕様策定）★小野、藤田、鶴見、安良岡（技術審査）根本、梁井

8-4

国際共同研究コーディネート・マッチング状況

件名

対応者氏名

ミュンヘン工科大学

青木

エルランゲ-ニュルンベルグ大学工学部

青木インド工科大学

関嶋

プリンストン大学計算理工学研究所

横田

ラオスルアンパバーン政府世界遺産局

山口

183

東京工業大学学術国際情報センター年報
2015 年度
第 14 号

編集
発行
電話

東京工業大学学術国際情報センター広報専門委員会
東京工業大学学術国際情報センター〒152-8550 東京都目黒区大岡山 2-12-1
03-5734-2087