A01高橋班
大規模並列環境における数値計算アルゴリズム研究代表者：高橋大介
筑波大学大学院システム情報工学研究科

2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング

研究組織• 研究代表者– 高橋大介（筑波大学）：研究統括および高速アルゴ
リズム• 研究分担者– 今村俊幸（電気通信大学）：性能チューニング
– 多田野寛人（筑波大学）：大規模線形計算• 連携研究者– 佐藤三久（筑波大学）：並列システムの性能評価– 朴泰祐（筑波大学）：演算および通信性能の最適化– 櫻井鉄也（筑波大学）：数値アルゴリズム
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング

研究目的• ペタフロップスを超える性能を持つ次世代のスーパーコンピュータに向けた数値計算アルゴリズムや性能チューニング手法の研究を行う．
• これまでの研究成果を十分に活用し，研究期間内に以下の点について明らかにすることを目指している．
– ペタスケール計算環境に向けた並列数値計算アルゴリズムを実現する．
– 現在利用可能なマルチコア超並列クラスタにおいて性能評価を行い，提案する並列数値計算アルゴリズムの高速性を実証する．
– これらの結果より，ペタスケールおよびエクサスケール計算環境に適したアルゴリズムおよび最適化手法についての知見を得る．
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティングこれまでの実績（1/3）• 研究代表者の高橋と連携研究者の朴は，A02押山班のメンバーとこれまでに共同研究を行った実績がある．
– 実空間差分法による密度汎関数法（RSDFT）のプログラムの超並列PCクラスタ上での高度化– J. Iwata, D. Takahashi, A. Oshiyama, T. Boku, K. Shiraishi,
S. Okada and K. Yabana: A massively-parallel electronicstructure calculations based on real-space density
functional theory, Journal of Computational Physics, Vol.
229, No. 6, pp. 2339--2363 (2010).

• 研究代表者の高橋は筑波大学計算化学研究センターのT2K筑波システムにおいて最大10,240コアの利用経験がある．
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティングRSDFTプログラムの超並列PCクラスタ上での高度化• RSDFTのプログラムでは古典Gram-Schmidt直交化が実行時間の多くの割合を占めていた．
• 古典Gram-Schmidt直交化に関しては，内積計算とベクトル変換の間に依存関係があり，3重のループ構造において，内側の2重ループにしかブロック化が適用できないので，行列-ベクトル積（レベル2 BLAS）となり，ブロック化の効果は限られる．
• しかし，これらの演算の一部には依存関係がないことに着目することで，– 複数のベクトルに対する内積– 複数のベクトルに対するベクトル変換の処理が行列-行列積（レベル3 BLAS）に帰着できる．
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティングPerformance on 32 node 3GHz
Xeon PC Cluster140

Recursive CGS

120ColumnBlocking CGSNaïve

GFLOPS

1008060402000
2010/9/18

10000

20000
30000
Matrix Size

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング

40000これまでの実績（2/3）• 研究分担者の今村は固有値計算ライブラリにおいて多くの研究成果をあげており，Gordon Bell AwardのFinalistに2005年，2006年と2年連続で選出されている．
– Susumu Yamada, Toshiyuki Imamura and Masahiko
Machida: 16.447 Tflops and 159-Billion-dimensional Exactdiagonalization for Trapped Fermion-Hubbard Model on
the Earth Simulator, ACM&IEEE SC|05, CD-ROM
proceedings (2005).
– Susumu Yamada, Toshiyuki Imamura, Takuma Kano andMasahiko Machida: High-Performance Computing for
Exact Numerical Approaches to Quantum Many-Body
Problems on the Earth Simulator, ACM&IEEE SC|06, CDROM proceedings (2006).

• 研究分担者の今村は東京大学情報基盤センターの「HPCプロジェクト」での採択実績があり，HA8000クラスタシステムにおいて最大8,192コアの利用経験がある．
新学術領域研究「コンピューティクスによる2010/9/18

物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティングこれまでの実績（3/3）• さらに，研究分担者の多田野と連携研究者の櫻井は，疎行列連立一次方程式の反復解法や固有値計算において多くの研究成果を挙げると共に，A02押山班の研究分担者（岩田）と共同研究を行っている．
– Junko Asakura, Tetsuya Sakurai, Hiroto Tadano,Tsutomu Ikegami and Kinji Kimura: A Numerical Method
for Nonlinear Eigenvalue Problems Using Contour
Integral, JSIAM Letters, Vol. 1, pp. 52-55 (2009).
– Hiroto Tadano, Tetsuya Sakurai and Yoshinobu
Kuramashi: Block BiCGGR: A New Block Krylov
Subspace Method for Computing High Accuracy
Solutions, JSIAM Letters, Vol. 1, pp. 44-47 (2009).
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティングこれから目指すものについて• 次世代スーパーコンピュータ（K computer）は2012年に完成予定．
• まずは，ペタフロップス級の次世代スーパーコンピュータに向けた数値ライブラリおよび数理アルゴリズムの研究を行う．
• 本研究は平成22～26年度の5年間行われることから，次々世代スーパーコンピュータも視野に入れて研究する必要がある．
• エクサフロップスを達成するためには，汎用CPUだけでは困難である可能性が高い．
• アクセラレータ向けの数値計算アルゴリズムについても並行して研究を行うことが重要．
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング

研究計画
1. ペタフロップス級の次世代スーパーコンピュータに向けた数値ライブラリおよび数理アルゴリズム（H22～24年度）
2. アクセラレータ（GPGPU）向けの性能チューニング手法（H22～26年度）
3. ペタフロップス級の次世代スーパーコンピュータにおける数値ライブラリの性能評価（H24～25年度）
4. エクサフロップス級の次々世代スーパーコンピュータに向けた数値ライブラリおよび数理アルゴリズム（H25～26年度）
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング

1. ペタフロップス級の次世代スーパーコンピュータに向けた数値ライブラリおよび数理アルゴリズム• ペタフロップス級の次世代スーパーコンピュータが実運用に入るまでのH22～24年度に完了させる予定．
• 対象とする数値ライブラリおよび数理アルゴリズム– 高速フーリエ変換（FFT）– 固有値計算• 本計画班内だけではなく，領域内の計算物質科学の研究者と連携し，物性計算手法の高度化を目指す．

2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング2. アクセラレータ（GPGPU）向けの性能チューニング手法• エクサフロップス級の次々世代スーパーコンピュータに向けた萌芽的な研究であり，H22～26年度を通じて継続的に行う．
• H22年度： GPGPUボード搭載PCクラスタの単体ノード内の最適化手法について検討を行う．
• H23年度： GPGPUボード搭載PCクラスタにおいて，複数ノードを接続した場合の数値アルゴリズムについての検討を行う．
• H24年度～： H22～23年度に行ったGPGPUボード搭載PCクラスタにおける数値アルゴリズムの性能評価を行う．
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング3. ペタフロップス級の次世代スーパーコンピュータにおける数値ライブラリの性能評価• H22～23年度に開発した数値ライブラリの性能評価を次世代スーパーコンピュータが実運用に入った後（H24～25年度）に行う．
• 対象とする数値ライブラリ– 高速フーリエ変換（FFT）– 固有値計算• 性能評価から得られた知見を，次々世代スーパーコンピュータにおける数値ライブラリの開発に反映させる．
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング

4. エクサフロップス級の次々世代スーパーコンピュータに向けた数値ライブラリおよび数理アルゴリズム• エクサフロップス級の次々世代スーパーコン
ピュータの開発状況にも依存するが，萌芽的な研究としてH25～26年度に行う．
• H22年度から研究を開始する，アクセラレータ（GPGPU）向けの性能チューニング手法を活用できる．
• 倍精度演算だけでなく4倍精度演算の必要性についても検討を行う．
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング高速アルゴリズム（1/2）
研究代表者：高橋大介（筑波大学）• 高速フーリエ変換（FFT）の超並列化– これまでにFFTライブラリとしてFFTE（http://www.ffte.jp）を開発してきている．
– 次世代および次々世代スーパーコンピュータにおいて高い実行効率を得るためには，根本的にアルゴリズムを見直す必要があると考えられる．
– 演算量を増やしてでも，通信量および通信回数を削減できるアルゴリズムの開発を目指す．
– 計算物質科学アプリケーションに特化したチューニングも視野に入れる．
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング高速アルゴリズム（2/2）
研究代表者：高橋大介（筑波大学）• 4倍精度演算の高速化– エクサスケール計算環境では，演算精度が不足する可能性がある．
– 4倍精度演算はハードウェアで直接行うことができず，ソフトウェアエミュレーションが必要であることから，倍精度演算に比べて数十倍の実行時間を要していた．
– メモリアクセス量の観点からは，4倍精度演算は倍精度演算の高々2倍であるため，GPGPUなどのアクセラレータの演算性能を活用できる可能性がある．
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング

Multi-{core,socket,GPU}向け数値計算ソフトウェアの最適実装・チューニング技術の研究
研究分担者：今村俊幸（電気通信大学）• 高性能数値計算ソフトウェア– 次世代スパコンでの実利用を想定した技術の研究• 例）メニイコア化(10000コア以上を想定)• 例）非対称ハードウェアへの対応(例:GPUや アクセラレータ)• 例）固有値ソルバマルチコア版のマルチコアマルチGPU複合版

AMD Opteron six-core
AMD Opteron six-core

2010/9/18

新学術領域研究「コンピューティクスによるNVIDIA GTX285
物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング

NVIDIA GTX285

Multi-{core,socket,GPU}向け数値計算ソフトウェアの最適実装・チューニング技術の研究
研究分担者：今村俊幸（電気通信大学）• 高性能数値計算ソフトウェア– 他班のシミュレーションコードへの応用を視野に• ＨＰＣの観点からは– 非対称メモリ階層を意識したコードの最適化技術– データ多重化＊転送最小化技術• 高精度計算の観点から– 多倍長計算技術の導入など• アプリケーションサイドからの要求にこたえる観点から– 特定用途に限定してチューニングする。
» 例えば100次元の行列の対角化を徹底的に最適化するなど– 上記を達成するための汎用技術の開発など
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング

大規模スパース固有値問題の並列解法
研究分担者：多田野寛人（筑波大学）
大規模スパース固有値問題

・ 複素平面上の一部の領域内に存在する固有値・固有ベクトルを求める・ 様々な分野での応用が考えられる

 反復修正型（Lanczos法など）• 方法の反復過程において，大規模な連立一次方程式を解く必要がある• 並列化を行う場合，1本の方程式を全プロセスで解くことになる→ スケーラビリティの低下を招く

直接構成型（周回積分フィルター対角化法（SS法））• 互いに独立な複数本の連立一次方程式を解く必要がある• 方程式間で通信が発生しないため，スケーラビリティが高い

本研究の目的

周回積分フィルター対角化法（SS法）の研究，及び高性能化
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング実施する研究課題
研究分担者：多田野寛人（筑波大学）• アルゴリズムに関する課題– 積分経路の選択法の研究→ 解の精度，問題の解きやすさに影響を及ぼす– 固有値分布の確率的推定法の研究→ 計算する領域の設定が容易に• 高性能化に関する課題– 超大規模問題にも対応可能なソフトウェア設計– GPGPUクラスタにおけるSS法の高性能化の研究
応用分野の研究者との協力により，アルゴリズム・高性能化の両方について，実用性の高い方法の開発を行っていく．
2010/9/18

新学術領域研究「コンピューティクスによる物質デザイン：複合相関と非平衡ダイナミクス」
キックオフ・ミーティング