部会長
片桐 孝洋
会員募集中！
第十四回PCクラスタシンポジウム
秋葉原コンベンションホール
２０１４年１２月１１日（木）１４：２０～１４：４０

PCクラスタを取り巻く環境 PCクラスタは普及はしたが・・・
 従来スパコンを所有していた機関にPCクラスタは普及
 研究機関、大学、製造業（自動車、重工、化学など）

 これまでスパコンを持てなかった部門にも普及 研究室単位、中規模民間企業

PCクラスタを取り巻く環境 超並列計算は普及していない
 民間では平行計算が主流
 商用アプリケーションは並列化が進んでいない 大規模クラスタがあっても大規模計算をするソフトがない
 並列化ができる人材がいない
 並列のライセンス料が高い
 「京」のような大規模スパコンでの産業利用拡大に期待するが・・・
 数値シミュレーション分野は拡大していない
 PCクラスタの普及により安価に計算機を手に入れることができるが、数値シミュレーション自体の裾野（ユーザ）は増えていない。
 PCクラスタ→安い→儲からない→サービスができない
 これでは今後の市場および利用分野、ユーザの拡大は望めない

部会設立目的 アプリケーション高速化支援
 まだまだアプリケーションの高速化、チューニングが必要 アクセラレータ対応もさらに進める必要がある
 アプリケーションの高速化を部会で促進
 数値シミュレーション導入支援
 PCクラスタはおろか数値シミュレーション自体が普及していない
 中小企業では何から始めて良いのかわからない 無償で導入コンサルを実施

活動概念図改良版提供
利用者（民間企業等）

実行性能評価アプリ開発者（ソフトベンダ）

開発環境へのフィードバック・ライブラリ提供

研究機関

高速化に関するツール提供・助言

ハードベンダ活動概念図改良版提供
利用者（民間企業等）

実行性能評価アプリ開発者（ソフトベンダ）

フリーソフト開発環境へのフィードバック・ライブラリ提供

研究機関

高速化に関するツール提供・助言

ハードベンダ活動内容
 アプリケーション高速化支援活動
 利用者、ベンダ、研究者とつなぐ協調体制を築き、実アプリケーションの高速化を行う。
 数値シミュレーション技術普及活動
 講習会、ワークショップの開催


数値シミュレーションに関する講習会、ワークショップを開催する。

 計算機環境の提供（ポータルサイトの提供）

いつでも利用できる小規模の計算機環境を提供する。
 オープンソースソフトウェアをプリインストールフリーソフトウェア提供予定
 OpenFOAM
 流体解析ソフト
ＭＰＩ化されている
 １ノード（共有メモリ）から、超並列環境（ＭＰＩ）まで
 企業における導入例が多い

 東京大学情報基盤センター開発ソフトウェア
 Xabclib

疎行列の連立一次方程式および固有値問題のソルバライブラリ ppOpen-HPC
 FEM、FDM、FVM、BEM、DEMに基づく
数値シミュレーション基盤（数値ミドルウェア）

フリーソフト募集！

講習会実施予定
 東京大学情報基盤センター「お試しアカウント付き並列プログラミング講習会」と共催
 東京大学FX１０の１週間無料アカウント付き
 企業の方も参加可能
 平成２６年度は、以下の２講習会
1.

２０１５年２月１８日


2.

ppOpen-HPC講習会

２０１５年３月２６日～２７日
ライブラリ利用講習会
 BLAS、LAPACK、ScaLAPACK、Xabclib、ppOpen-HPC 平成２７年度は、数回の地方開催を計画したい東京大学情報基盤センターと日立製作所との共同研究

OpenFOAMにXabclibを適用
 OpenFOAMおよびXabclibともに、オープンソース

ソフトウェア OpenFOAMはスレッド並列化がされていないため、１ノード実行でもMPI実行する
 OpenFOAMの疎行列演算の演算効率が悪い（上三角、下三角、対角要素の分離型COO形式）
 Xabclibはスレッド化され、演算効率の高い疎行列データ構造（ＣＲＳ等）と演算、自動チューニング機能を実装
 OpenFORMへのＸａｂｃｌｉｂの適用ソースコード（コードパッチ）をフリーソフトウェアとして提供予定

OpenFOAMへの疎行列計算ライブラリXabclibの適用と評価

櫻井隆雄 （日立製作所）
片桐孝洋 （東京大学）
大島聡史 （東京大学）
猪貝光祥 （日立超LSIシステムズ）
黒田久泰 （愛媛大学）© Hitachi, Ltd. 2014. All rights reserved.

2-1．Xabclib• Xabclib– 数値計算ライブラリ• 連立一次方程式の疎行列反復解法• 対称行列向け• 解法：PCG法• 前処理法：対角スケーリング、jacobi反復型前処理、DIC• 非対称行列向け• 解法：BiCGStab法、GMRES(m)法• 前処理法：対角スケーリング、SSOR、DILU、ILU、ILUT(p,τ)
 悪条件の問題に効果的• 標準固有値問題の疎行列反復解法– OpenMPによりSMP並列化– 対応行列格納形式はCRS（Compressed Row Storage）– OpenATLibを利用した自動チューニング(AT)機能を実装• OpenATLib– 疎行列反復解法で必要となる機能を集約• 疎行列‐ベクトル積（SpMV）の実装方式を問題に合わせて選択• 直交化アルゴリズム• 解法に必要なパラメタの自動調整機能、など– ATポリシー機能の提供• 実行速度、演算精度、メモリ量• 反復解法や前処理法の自動選択© Hitachi, Ltd. 2014. All rights reserved.

13

3-1．OpenFOAMへのXabclibの適用
 初期実装としてオリジナルのソルバをXabclibに入れ替え
 OpenFOAM本体からPCG、PBiCGが呼ばれる際に、Xabclibを呼び出し
 呼び出される際に行列格納形式を変形COOからCRSに変換
OpenFOAM
pre process
main process

call (more than 1000 times)×smoothPCG

Convert

PBiCG
Xabclib

post process© Hitachi, Ltd. 2014. All rights reserved.

144-1．初期評価
 XabclibとOpenFOAMのオリジナルのソルバの性能を比較
 OpenFOAMの2つのチュートリアルで評価
 非対称問題のみを差し替え
 MPIは不使用

計算条件#OpenFOAM

Xabclib

version

2.2.2

1.02

Iterative solver

PBiCG

BiCGStab,GMRES(m)Preconditioner

DILU

Jacobi, SSOR, DILU,
ILU0Sparse matrix formatCOOCRS

Num of threads

11, 2, 4, 8, 16

Convergence criterion

1.0E-08© Hitachi, Ltd. 2014. All rights reserved.

15

4-2．計算機環境
 東大FX10を1ノード使用
FX10
CPU

SPARC64TM IXfx 1.848GHz , 1socket, 16 core/node

Main Memory

32GByteOSXTCOSCompiler

Fujitsu Technical Computing Suite V1.0

Compile Option-Kfast,openmp, -Fixed© Hitachi, Ltd. 2014. All rights reserved.

16

4-4．Target tutorials ② motorBike– SIMPLE法を用いた乱流解析ソルバ– 右図のような形状での乱流解析– 1反復で以下の求解を実施• p：対称行列• U（ｘ,y,z方向）：非対称行列• k：非対称行列• ω：非対称行列– 行列の次元数は343,673、非零要素数は2,400,805– チュートリアルのDefalut設定では500反復• 2,500回の非対称行列の反復解法を実行• ソルバは初期設定ではGauss-Seidel法• Xabclibに差し替えて評価を実施© Hitachi, Ltd. 2014. All rights reserved.

174-7．motorBikeの計算時間
 2,500回の呼び出しの合計値
 Xabclibにより、 1スレッド時は1.6倍に高速化 (SSOR＋BiCGStab)
16スレッド時は11.1倍に高速化(Jacobi＋GMRES)(no smp)

Xabclib© Hitachi, Ltd. 2014. All rights reserved.

18

おわりに
 実用ソフトウェア部会では、以下の活動を強化していきます 講習会の実施
 フリーソフトウェアの普及
 無償コンサルティング

 本部会の活動に賛同する企業の入会を募集します 平成２６年度入会
 日本マイクロソフト株式会社

 本部会で提供するフリーソフトウェアを募集します