HPCチャレンジベンチマーク

HPCチャレンジベンチマーク（、HPCC）は、HPCシステムのより現実的な性能を測定するための、複数の特性を評価するベンチマークのセットであるHPCC。

DARPAのHPCS計画や、アメリカ合衆国エネルギー省、アメリカ国立科学財団の共同出資によるCray X1 Supercomputer Has Highest Reported Scores on Government-Sponsored HPC Challenge Benchmark Tests。

2005年から2016年（ただし、2015年は除く）のSupercomputing Conference(SC)において、HPCチャレンジベンチマークの一部を評価基準としたHPCチャレンジ賞が発表されている2005 HPCC Awards。

 概要 
HPCチャレンジベンチマークは、HPL、DGEMM、STREAM、PTRANS、RandomAccess、FFT、Latency/Bandwidthの7つのベンチマークより構成される。
 HPLは連立一次方程式の求解、線形代数における逆行列を求めるLINPACK TPPベンチマークで、システムの浮動小数点演算性能の負荷テストである。
 DGEMMは倍精度実数の行列の積を求め、浮動小数点演算性能を測定するものである。
 STREAMはプロセッサのキャッシュの効果を反映させないように、非常に大きな配列間のロード/ストアの性能を測定するもので、持続可能なメモリーの帯域幅を測定する試験である。
 PTRANSはCPU間での1対1同時通信により転置行列を計算し、ネットワークの総データ通信容量を測定するものである。
 RandomAccessはメモリーのランダム更新速度を測定する。
 FFTは高速フーリエ変換 (Fast Fourier Transform) の処理能力を測定する試験である。
 Latency/Bandwidthは多数のノード間など複雑性の高い通信パターンでの通信の遅延と帯域を測定する
HPCC FAQ

 HPCチャレンジ賞 
HPCチャレンジ賞競技会（）は、毎年のスーパーコンピューティング・カンファレンスで実施され、結果が発表される。

HPCチャレンジ賞には以下の2クラスがあるHPC Challenge Award Competition。
 クラス1: HPCチャレンジのウェブサイトに提出された中から、稼動時の最高性能を評価する。
 クラス2: HPL、STREAM、RandomAccess、FFTの中から3〜4個を選択し、さらにHPCチャレンジベンチマーク以外の任意のベンチマークを0〜2個選択し、合計4〜5個のベンチマークを実装するHPL、STREAM、RandomAccess、FFTの中から3つのみを選択した場合、任意のベンチマークを最低1つは追加する必要がある。HPL、STREAM、RandomAccess、FFTのすべてを選択した場合は、任意のベンチマークは必要ではないが、1つのみ追加してもよい。それらのプログラム実装の洗練さと性能の総合評価を行う。

上記のクラス1では、HPCシステムの総合性能を評価するために、多くの科学技術計算で用いられる以下の4つのベンチマーク指標を使用して、それぞれの順位が発表される「地球シミュレータ」がHPCチャレンジアワードの2指標で第3位を受賞 　－Global FFT及びEP STREAM(Triad) per systemで各第3位－
。
 Global HPL (G-HPL) - 巨大な連立1次方程式の算出における演算速度。LINPACK TPP。
 Global RandomAccess (G-RandomAccess) - 並列プロセス間におけるメモリーのランダム更新速度。
 Global FFT (G-FFT) - 高速なフーリエ変換における浮動小数点演算速度。
 EP STREAM Triad (per system) - システム単位の多重負荷時におけるメモリ更新速度。

クラス1のHPCチャレンジ賞の歴代受賞システム（全4部門における各1位のみ）は以下の通り。
+ クラス1のHPCチャレンジ賞 受賞システム（全4部門、各1位のみ） 年  G-HPL  G-RandomAccess  G-FFT  EP STREAM Triad (per system)  出典 2016  理研 京  理研 京  理研 京  理研 京 「京」でHPCチャレンジ賞 4部門で第1位 – SC16（米・ソルトレイクシティ） | 理化学研究所 計算科学研究機構(AICS) 2014  理研 京  IBM Power 775  ANL Mira  理研 京 スーパーコンピュータ「京」でHPCチャレンジ賞クラス１、２を受賞 | 理化学研究所2014 HPCC Awards 2013  理研 京  IBM Power 775  理研 京  理研 京 スーパーコンピュータ「京」でHPCチャレンジ賞クラス1、2（初）を受賞 | 理化学研究所2013 HPCC Awards 2012  理研 京  IBM Power 775  理研 京  理研 京 スーパーコンピュータ「京」でHPCチャレンジ賞 3部門の第1位を獲得 - SC12（米・ソルトレイクシティ） | 理化学研究所 2012 HPCC Awards 2011  理研 京  理研 京  理研 京  理研 京 2011 HPCC Awards京速コンピュータ「京」がHPCチャレンジ賞 4部門すべてで第1位を獲得 - 理科学研究所Fujitsu : "K computer" No. 1 in Four Benchmarks at HPC Challenge Awards - 4-Traders 2010  ORNL Cray XT5  LLNL BlueGene/P JAMSTEC SX-9 ORNL Cray XT5 2010 HPCC AwardsJaguar and Kraken Shine in Supercomputing Challenge - HPC wire 2009  ORNL Cray XT5  LLNL BlueGene/P ORNL Cray XT5 ORNL Cray XT5 2009 HPCC AwardsTennessee Supercomputing Titans Triumph at HPC Challenge - HPC wire 2008  ORNL Cray XT5  ANL BlueGene/P  ANL BlueGene/P  ORNL Cray XT5 2008 HPCC AwardsOak Ridge Supercomputer Wins Big at HPC Challenge - HPC wire 2007  LLNL BlueGene/L  LLNL BlueGene/L  SNL Cray XT3  LLNL BlueGene/L 2007 HPCC Awards 2006  LLNL BlueGene/L  LLNL BlueGene/L  LLNL BlueGene/L  LLNL BlueGene/L 2006 HPCC AwardsHPC Challenge Benchmark at SC06 - HPC wire 2005  LLNL BlueGene/L  LLNL BlueGene/L  LLNL BlueGene/L  LLNL BlueGene/L 2005 HPCC AwardsIBM Wins Big in HPC Challenge Competition - HPC wire

クラス2のHPCチャレンジ賞の歴代受賞言語は以下の通り。賞の名前は年ごとに異なる。
+ クラス2のHPCチャレンジ賞 受賞言語 年  賞  言語  所属  出典 2014  Best Performance  XcalableMP & XcalableACC  理化学研究所計算科学研究機構、筑波大学計算科学研究センター  Most Elegant Language  PCJ  ワルシャワ大学 2013  Winner  XcalableMP  筑波大学計算科学研究センター、理化学研究所計算科学研究機構  2012  Best Performance  X10  IBM  Most Elegant Language  Chapel  Cray 2011  Best Performance  Charm++  イリノイ大学  Most Elegant Language  Chapel  Cray 2010  Most Productive System  Unified Parallel C & X10  IBM  Most Productive Language   Coarray Fortran 2.0  ライス大学 2009  Best Performance  Unified Parallel C & X10  IBM  Most Elegant Implementation  Chapel  Cray 2008  Best Performance  Unified Parallel C & X10  IBM Most Elegant Implementation  Chapel  Cray Unified Parallel C & X10  IBM Parallel MATLAB  MathWorks 2007  Most Productive Research Implementation  X10  IBM  Most Productive Commercial Implementation  Python/Star-P  Interactive Supercomputing 2006  Best Overall Productivity  Cilk  MIT CSAIL  Best Productivity in Performance  Unified Parallel C  IBM Best Productivity and Elegance  Parallel MATLAB  MathWorks 2005 Class 2 Award was shared by 2  Unified Parallel C  IBM  Cray MTA/C  Cray

 脚注 

 注釈 

 関連項目 
 参照の局所性
 TOP500
 Green500
 ゴードン・ベル賞

 外部リンク 
 HPC Challenge Benchmark Official Website
 HPC Challenge Award Competition Official Website
 HPCチャレンジの測定 - 吉田高志

Category:スーパーコンピュータ
Category:ベンチマーク