パネル討論
実用アプリの加速のために何が必要か
PCクラスタコンソーシアムに何ができるか
第十一回PCクラスタシンポジウム
2011年１２月０９日
秋葉原コンベンションホール

株式会社ソフトウェアクレイドル
技術部
黒石浩之

クレイドル

第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

目次• 並列性能を向上するための取り組みの状況• 並列性能向上の上での問題点

第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

現状Intel®Xeon®X5680

SCRYU/Tetra V9(3.33GHz,12MBキャッシュ、6core) x2

約1億要素

Windows HPC Sever 2008 R2, Infiniband/QDR

SC/Tetra V9 HPC / 100 mil, elements
288
264
beatle_AKN(Single Precision)

240

Ideal

216

Speed-up

192
168
144
120
96
7248240024487296120

144

168

192 216

240

264

288

Number of Cores

第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

現状Intel®Xeon®X5680

STREAM V9(3.33GHz,12MBキャッシュ、6core) x2

約7000万要素

Windows HPC Sever 2008 R2, Infiniband/QDRSTREAM V9/70mil, elements
288
264
coli70
Ｉｄｅａｌ

240
216
192
Speed-up

168
144
12096
72
48
2400244872

96

120 144 168
Number Of Cores

192

216

第十一回PCクラスタシンポジ ウム

240

264

288

©Software Cradle Co., Ltd. All rights reserved.

現状SCRYU/Tetra V9FOCUSスパコン
FOCUS ： 財団法人計算科学振興財団
SC/Te tra V9 HPC3

１９２並列を１とした場合の並列効率

beatle_AKN(Single Precision)
Ideal
Speed-up

210192288384Degree of Parallelism

第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

目次• 並列性能を向上するための取り組みの状況• 並列性能向上の上での問題点

第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

取り組み・解析ニーズ・実験に代替可能な高精度な結果がほしい。
現象・原因の解明
・モデル形状を詳細（設計形状）に表現したい。
・高度な物理現象を解析したい。
・モデルの大規模化・計算速度の向上：並列性能の向上
・ではなくて、如何に答えを速く出すか、すなわちデータの入力から結果の確認までを以下に速くするか。
その一部として、「並列性能の向上」がある。
第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

取り組み
前処理（メッシュ生成）
SCTpre : 体積メッシュ生成（MPI並列）
表面メッシュ生成（スレッド並列）
STpre: フラクション計算（要素分割）（スレッド並列）

ソルバー
ＳＣTsolver : MPI並列
STsolver: MPI並列

後処理（可視化）
SCT/STpost : MPI並列＋スレッド並列

第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

取り組み
いままで分散処理されない
ため、メモリー、時間負荷が大きい
領域分割

Ｖ９Solver(領域分割）

・・・・

同時出力の為、I/O負荷が大きい
Solver(MPI並列計算）

Solver(並列計算）
全てのフェーズ
Solver(結果統合）
でメモリー、負ＭＰＩプロセス間でダイレクト荷分散に行う。

・・・・

分散処理されない
結果統合ため、メモリー負荷が大きい：ファイルへのI/O処理
第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

取り組み（ParMETIS)

領域分割のメモリー分散化のため、ＰａｒＭＥＴＩＳプロジェクトの推進を図った。
ＰａｒＭＥＴＩＳ/METIS : http://glaros.dtc.umn.edu/gkhome/
Minnesota大学 Professor George Karypisによるグラフ理論に基づく分割プログラム。
・2007年（ParMETIS),2008年(METIS)以来、開発が止まっていた。
・LINUX/Windows環境でのフル64bit対応をベースとして、有償対応をお願いし、2011年5月に正式リリースされた。
・上記ＷＥＢサイトでＤＬ可能。但し、商用利用するにはMinnesota大学との契約及び使用料が必要です。
第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

取り組み（出力）全てのプロセスが同時に結果出力すると多大な負荷となる。
この負荷を軽減するために、３つの出力モードを用意。
大規模並列ファイルシステム向け
１．ＭＰＩ並列I/O関数により、全てのプロセスが１つのファイルイメージへ出力。
中・小並列ファイルシステム及びベクター型ＲＡＩＤシステム向け
２．ＭＰＩ通信にて収集し、ＭＰＩ並列I/O関数により、１つのプロセスがファイルイへ出力。
ベクター型ＲＡＩＤシステム及び標準環境向け
３．ＭＰＩ通信にて収集し、 標準関数により、１つのプロセスがファイルへ出力。
ハードウェアにあわせたモードを選択することで、効率良いI/O処理を行うことが可能になっている。
第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

目次• 並列性能を向上するための取り組みの状況• 並列性能向上の上での問題点

第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

並列性能向上の上での問題点

・現状（現行手法）
・機能による並列効率のばらつき

粒子追跡や移動境界など計算負荷バランスの不均一性
・集合通信のコストが高い
・メモリーのレイテンシー
第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

レイテンシーIntel®Xeon®X5680(3.33GHz,12MBキャッシュ、6core) x2
にて、ノード当り6コア使用した場合との比較
STREAM V9
筐体内使用コア数比較
120

Ideal
12cores/node
6cores/node

100

Speed-up

80
60402000204060
Number of Cores

第十一回PCクラスタシンポジ ウム

80100120©Software Cradle Co., Ltd. All rights reserved.

並列性能向上の上での問題点
今後の方向?
MPI+MPI? MPI+OpenMP? MPI+GPGPU? …
現在の資産（スケーラビリティ）と機能開発

ハードウェアの進歩

開発時間
プログラマーの質

適応性
アプリケーション・機能の特性とのマッチング

メモリー速度・容量
Ｄｉｓｋ速度・容量

ターゲット

ネットワーク速度

10億要素？1万コア？

CPU/GPUの方向性
第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.

ご清聴ありがとうございました。

第十一回PCクラスタシンポジ ウム©Software Cradle Co., Ltd. All rights reserved.