マルチコアクラスタ性能 WG 成果報告書「実践、アプリ高速化に向けて」(WG 活動期間:2010 年 12 月‑2013 年 5 月)

2013 年 5 月 10 日
サイエンティフィック・システム研究会
マルチコアクラスタ性能ＷＧ

■商標について記載されている製品名などの固有名詞は、各社/各機関の商標または登録商標です。

■著作権について著作権は各原稿の著者または所属機関に帰属します。無断転載を禁じます。

■測定マシンについて
WG では以下の環境を利用させていただきました。
・スーパーコンピュータ「京」試験利用枠
・スーパーコンピュータ「京」一般公募枠
・宇宙航空研究開発機構 JSS・日本原子力研究開発機構 BX900、FX1
・国際核融合エネルギー研究センター Helios
・名古屋大学 FX1
・東京大学 FX10・九州大学 CX400、FX10・理化学研究所 RIKEN Integrated Cluster of Clusters (RICC)
・富士通社内機[謝辞] 記載内容の一部は、理化学研究所のスーパーコンピュータ「京」を利用して得られたものです。

マルチコアクラスタ性能 WG 成果報告書 目次
1. はじめに
1.1
1.2

当報告書について
WG 活動概要(1) 活動期間(2) WG メンバー
(3) 活動実績

2. アプリケーションの測定評価
2.1 3 次元 FEM 構造解析コード ADVENTURE 測定結果・・・・・・・・・ 荻野正雄（名大）2.2 3 次元非圧縮性熱流体計算プログラム COSMOS の測定評価・・・・・ 堀之内成明（豊田中研）
2.3 3 次元電磁界コード FDTD3 の測定評価・・・・・・・・・・・・・・ 梅田隆行（名大 STE 研）
2.4 核融合プラズマ 5 次元格子コード GT5D の測定評価 ・・・・・・・・ 井戸村泰宏（JAEA）
2.5 圧縮性流体解析プログラム UPACS の京での性能評価・・・・・・・・ 高木亮治（JAXA）
2.6 流体解析プログラムのデータ＆ループ構造に関して・・・・・・・・ 高木亮治（JAXA）
2.7 宇宙プラズマ 5 次元ブラソフコード Vlasov5 の測定評価・・・・・・ 梅田隆行（名大 STE 研）
2.8 Euler 法を用いた流体構造連成解析アプリ ZZ‑EFSI の測定評価・・・・ 野田茂穂（理研）
2.9 超音波集束シミュレータ ZZ‑HIFU の測定評価・・・・・・・・・・・ 野田茂穂（理研）
2.10 非構造格子 CFD ソルバにおけるタイリング・・・・・・・・・・・・ 坂下雅秀（JAXA）

3. 性能評価ツール
3.1
3.2

インターコネクトシミュレータ NSIM・・・・・・・・・・・・・・ 柴村英智（ISIT）
実行駆動型アプリケーション解析ツール Exana・・・・・・・・・・ 佐藤幸紀（JAIST）

4. 共通情報
4.1
4.2
4.3

ハードウェアプリフェッチとソフトウェアプリフェッチの仕様について・・・ 内藤俊也（富士通）
キャッシュミス数／ミス率のデータの見方や使い方について・・・・・ 内藤俊也（富士通）
コンパイラにおける FMA 命令化の検証報告・・・・・・・・・・・・ 千葉修一（富士通）

5. まとめ別冊

PRIMEHPC FX10 チューニングチュートリアル （富士通）
第1章
第2章
第3章
第4章
第5章
第6章
第7章

プログラミング言語処理系概略
PA イベント編
Fortran 編
C/C++編
チューニングツール編
ノード内チューニング編
MPI およびノード間チューニング編※当チュートリアルは SS 研会員クローズのため、Web サイトでの PDF 閲覧時に Web‑ID が必要です。
Web‑ID は SS 研会員機関にご所属の方に発行します。TOP ページ右上「■登録/変更」で申請できます。

1 はじめに
1.1 当報告書について
次世代スーパーコンピュータ「京」は、ノード内マルチコアおよび大規模ノード数を特徴とした並列計算機であり、2012 年に本格稼働を開始した。本 WG 発足当時は、既存のスーパーコンピュータユーザがすみやかに「京」に移行し、「京」の潜在能力を有効活用するためのノウハウなどが不足しており、その状況を打破するため当 WG は次世代スーパーコンピュータ「京」利用促進に向けた、アプリケーションプログラムの性能分析と高速化手法の検討を行うことを目的に発足した。
本 WG では会員が開発した各分野のアプリケーションプログラムを対象に、まずはノードアーキテクチャが「京」に似た FX1 や「京」本体、更に WG 活動の後半で利用可能となった FX10を用いて性能分析・評価およびチューニングを実施することで、マルチコアクラスタマシンに向けた並列プログラミングスタイルの検討/ノウハウ共有を行った。また、PA ツールや、会員から提供されたツールなど性能分析ツールの利用方法や分析手法のノウハウの共有/分析も実施した。
本 WG の活動を通じて得られた成果である各アプリケーションプログラムの性能測定結果及びその評価、並列化プログラミングおよび高速化チューニングの各種ノウハウなどは実践的事例として本報告書にまとめられた。また別冊として PRIMEHPCFX10 チューニングチュートリアルも作成した。これらの成果が、今後のマルチコアクラスタ方式のスーパーコンピュータを利用する上で広く一般ユーザーの一助となれば幸いである。

1.2 活動概要(1)活動期間2010年12月〜2013年5月(2)WG メンバー
氏名担当幹事石井 克哉(まとめ役) 高木 亮治
井戸村泰宏
梅田 隆行
荻野 正雄
坂下 雅秀
会員
推進委員
佐藤 幸紀
柴村 英智
野田 茂穂
姫野 龍太郎
堀之内 成明南一生(まとめ役) 福島 正雄
青木 正樹
山中 栄次
三吉 郁夫
推進委員
三輪 英樹
賛助会員
内藤 俊也
(富士通)
錦龍生
瀧 康太郎
千葉 修一
森重 博司
オブザーバ
市川 真一

機関(2013 年 5 月 10 日現在)
名古屋大学
宇宙航空研究開発機構
日本原子力研究開発機構
名古屋大学
名古屋大学
宇宙航空研究開発機構
北陸先端科学技術大学院大学
九州先端科学技術研究所
理化学研究所
理化学研究所(株)豊田中央研究所
理化学研究所富士通(株)
富士通(株)
富士通(株)
富士通(株)
富士通(株)
富士通(株)
富士通(株)
富士通(株) ※第6回会合まで
富士通(株) ※第9回会合から
富士通(株)
富士通(株)

(3)活動実績■第 1 回会合 : 2011 年 2 月 3 日(木) 富士通(株)本社
出席者:会員=9 名/富士通=7 名・WG の進め方の検討 ・成果物の検討
・次世代スパコンの紹介 [南委員] ・PA ツールの紹介 [内藤委員]
・チューニングチュートリアル(暫定版)の紹介 [青木委員]■第 2 回会合 : 2011 年 4 月 21 日(木) 富士通(株)本社
出席者:会員=7 名/富士通=8 名・UPACS 測定評価報告 [高木委員] ・JTAS 測定評価報告 [坂下委員] ・NSIM の紹介 [柴村委員]
・MPI 系ツールの紹介 [三輪委員] ・チューニングチュートリアル(暫定版)の紹介 [青木委員]
・姫野ベンチマーク [青木委員]■第 3 回会合 : 2011 年 7 月 20 日(水) 富士通ﾄﾗｯﾄﾞ･ｸﾗｳﾄﾞ･ｸｽｴｱ
出席者:会員=9 名/富士通=10 名・研究紹介 ‑実行駆動型アプリケーションツール [佐藤委員]
・アプリの測定報告 ‑ JTAS [坂下委員] ‑ GT5D [井戸村委員] ‑ FDTD3D [梅田委員]・情報提供 ‑ PA イベントチュートリアル [内藤委員] ‑ CPU チューニングチュートリアル [内藤委員]■第 4 回会合 : 2011 年 10 月 11 日(火) 富士通(株)本社
出席者:会員=9 名/富士通=9 名
・関連報告 ‑演算と通信のオーバーラップ [三吉委員]
・アプリの測定報告 ‑ GT5D [井戸村委員] ‑ FDTD3D,Vlasov5D [梅田委員]‑ FDTD3D の単コア性能調査 [内藤委員] ‑ 豊田中研熱流体計算コード [堀之内委員]‑ ZZ‑HIFU [野田委員]■第 5 回会合 : 2012 年 1 月 19 日(木) 富士通(株)本社
出席者:会員=9 名/富士通=7 名
・新規アプリの紹介 ‑ ADVENTURE [荻野委員]
・情報提供‑「京」コンピュータにおける疎行列とベクトル積の性能チューニングと性能評価 [南委員]‑FX10 での測定について [青木委員] ‑「京」と FX10 の間の移行ガイドについて [青木委員]
・アプリの測定報告・関連報告 ‑ OpenMP を用いた通信と演算のオーバーラップの記述例 [山中委員]‑ GT5D の調査結果 [青木委員] ‑ FDTD3D の調査結果 [青木委員]
・ツール報告 ‑ 実行駆動型アプリケーション解析ツール詳細報告 [佐藤委員]■第 6 回会合 : 2012 年 4 月 25 日(水) 富士通ﾄﾗｯﾄﾞ･ｸﾗｳﾄﾞ･ｸｽｴｱ
出席者:会員=10 名/富士通=6 名
・アプリの測定報告 ‑ UPACS [高木委員] ‑ZZ‑EFSI [野田委員]‑ FX10 測定報告：JTAS、ADVENTURE、GT5D、ZZ‑EFSI、FDTD3D、Vlasov5D [内藤委員]
・情報提供 ‑「京」と FX10 それぞれに適したコードを作成するための留意事項 [内藤委員]
・ツール報告 ‑ 実行駆動型アプリケーション解析ツール詳細報告 [佐藤委員]
・今後の WG の進め方、活動期間の検討■第 7 回会合 : 2012 年 7 月 27 日(金) 富士通(株)本社
出席者:会員=10 名/富士通=6 名
・共通情報 ‑ハードウェアプリフェッチとソフトウェアプリフェッチの仕様[内藤委員]
・アプリの測定＆関連報告 ‑ JTAS [内藤委員] ‑ GT5D [井戸村委員][内藤委員]‑ COSMS [堀之内委員] ‑ Vlasov5D [梅田委員] ‑ ZZ‑EFSI [内藤委員]
・成果報告書の基本方針、作成スケジュールの検討■第 8 回会合 : 2012 年 11 月 1 日(木) 富士通(株)本社
出席者:会員=9 名/富士通=6 名
・共通情報 ‑ハードウェアプリフェッチとソフトウェアプリフェッチの仕様[内藤委員]
・アプリの測定＆関連報告 ‑ UPACS [高木委員] ‑ JTAS [坂下委員] ‑ COSMS [内藤委員]‑ ZZ‑EFSI [野田委員][内藤委員] ‑ ADVENTURE [荻野委員]
・ツール報告 ‑ 実行駆動型アプリケーション解析ツール [佐藤委員]
・チューニングガイドチュートリアル目次案の検討 [青木委員]
・成果報告書のまとめ方の検討■第 9 回会合 : 2013 年 1 月 29 日(火) 富士通(株)本社
出席者:会員=10 名/富士通=7 名
・共通情報 ‑ハードウェアプリフェッチとソフトウェアプリフェッチの仕様[内藤委員]
・アプリの測定＆関連報告 ‑ GT5D コードにおける FMA 化検証報告 [千葉委員]‑ COSMS [内藤委員] ‑ ADVENTURE [荻野委員]
・ツール報告 ‑ 集団通信アルゴリズムのシミュレーション評価 [柴村委員]
・成果報告書の作成について（発行方法と取扱いの検討、作成スケジュールの検討、暫定版レビュー）■第 10 回会合 : 2013 年 4 月 9 日(火) 富士通(株)本社
出席者:会員=12 名/富士通=7 名
・成果報告書レビュー ・後継 WG の検討 ・活動の振り返り