HPCチャレンジベンチマーク(英語: HPC Challenge Benchmark、HPCC)は、HPCシステムのより現実的な性能を測定するための、複数の特性を評価するベンチマークのセットである。

DARPAのHPCS計画や、アメリカ合衆国エネルギー省、アメリカ国立科学財団の共同出資による。

2005年から2016年(ただし、2015年は除く)のSupercomputing Conference(SC)において、HPCチャレンジベンチマークの一部を評価基準としたHPCチャレンジ賞が発表されている。

## 概要

HPCチャレンジベンチマークは、HPL、DGEMM、STREAM、PTRANS、RandomAccess、FFT、Latency/Bandwidthの7つのベンチマークより構成される。

- HPLは連立一次方程式の求解、線形代数における逆行列を求めるLINPACK TPPベンチマークで、システムの浮動小数点演算性能の負荷テストである。
- DGEMMは倍精度実数の行列の積を求め、浮動小数点演算性能を測定するものである。
- STREAMはプロセッサのキャッシュの効果を反映させないように、非常に大きな配列間のロード/ストアの性能を測定するもので、持続可能なメモリーの帯域幅を測定する試験である。
- PTRANSはCPU間での1対1同時通信により転置行列を計算し、ネットワークの総データ通信容量を測定するものである。
- RandomAccessはメモリーのランダム更新速度を測定する。
- FFTは高速フーリエ変換 (Fast Fourier Transform) の処理能力を測定する試験である。
- Latency/Bandwidthは多数のノード間など複雑性の高い通信パターンでの通信の遅延と帯域を測定する

## HPCチャレンジ賞

HPCチャレンジ賞競技会(英語: HPC Challenge Award Competition)は、毎年のスーパーコンピューティング・カンファレンスで実施され、結果が発表される。

HPCチャレンジ賞には以下の2クラスがある。

- クラス1: HPCチャレンジのウェブサイトに提出された中から、稼動時の最高性能を評価する。
- クラス2: HPL、STREAM、RandomAccess、FFTの中から3〜4個を選択し、さらにHPCチャレンジベンチマーク以外の任意のベンチマークを0〜2個選択し、合計4〜5個のベンチマークを実装する。それらのプログラム実装の洗練さと性能の総合評価を行う。

上記のクラス1では、HPCシステムの総合性能を評価するために、多くの科学技術計算で用いられる以下の4つのベンチマーク指標を使用して、それぞれの順位が発表される
。

- Global HPL (G-HPL) - 巨大な連立1次方程式の算出における演算速度。LINPACK TPP。
- Global RandomAccess (G-RandomAccess) - 並列プロセス間におけるメモリーのランダム更新速度。
- Global FFT (G-FFT) - 高速なフーリエ変換における浮動小数点演算速度。
- EP STREAM Triad (per system) - システム単位の多重負荷時におけるメモリ更新速度。

クラス1のHPCチャレンジ賞の歴代受賞システム(全4部門における各1位のみ)は以下の通り。

クラス1のHPCチャレンジ賞 受賞システム(全4部門、各1位のみ)

| 年 | G-HPL | G-RandomAccess | G-FFT | EP STREAM Triad (per system) | 出典 |
| --- | --- | --- | --- | --- | --- |
| 2016 | 理研 京 | 理研 京 | 理研 京 | 理研 京 |  |
| 2014 | 理研 京 | IBM Power 775 | ANL Mira | 理研 京 |  |
| 2013 | 理研 京 | IBM Power 775 | 理研 京 | 理研 京 |  |
| 2012 | 理研 京 | IBM Power 775 | 理研 京 | 理研 京 |  |
| 2011 | 理研 京 | 理研 京 | 理研 京 | 理研 京 |  |
| 2010 | ORNL Cray XT5 | LLNL BlueGene/P | JAMSTEC SX-9 | ORNL Cray XT5 |  |
| 2009 | ORNL Cray XT5 | LLNL BlueGene/P | ORNL Cray XT5 | ORNL Cray XT5 |  |
| 2008 | ORNL Cray XT5 | ANL BlueGene/P | ANL BlueGene/P | ORNL Cray XT5 |  |
| 2007 | LLNL BlueGene/L | LLNL BlueGene/L | SNL Cray XT3 | LLNL BlueGene/L |  |
| 2006 | LLNL BlueGene/L | LLNL BlueGene/L | LLNL BlueGene/L | LLNL BlueGene/L |  |
| 2005 | LLNL BlueGene/L | LLNL BlueGene/L | LLNL BlueGene/L | LLNL BlueGene/L |  |

クラス2のHPCチャレンジ賞の歴代受賞言語は以下の通り。賞の名前は年ごとに異なる。

クラス2のHPCチャレンジ賞 受賞言語

| 年 | 賞 | 言語 | 所属 | 出典 |
| --- | --- | --- | --- | --- |
| 2014 | Best Performance | XcalableMP & XcalableACC | 理化学研究所計算科学研究機構、筑波大学計算科学研究センター |  |
| Most Elegant Language | PCJ | ワルシャワ大学 |
| 2013 | Winner | XcalableMP | 筑波大学計算科学研究センター、理化学研究所計算科学研究機構 |  |
| 2012 | Best Performance | X10 | IBM |  |
| Most Elegant Language | Chapel | Cray |
| 2011 | Best Performance | Charm++ | イリノイ大学 |  |
| Most Elegant Language | Chapel | Cray |
| 2010 | Most Productive System | Unified Parallel C & X10 | IBM |  |
| Most Productive Language | Coarray Fortran 2.0 | ライス大学 |
| 2009 | Best Performance | Unified Parallel C & X10 | IBM |  |
| Most Elegant Implementation | Chapel | Cray |
| 2008 | Best Performance | Unified Parallel C & X10 | IBM |  |
| Most Elegant Implementation | Chapel | Cray |
| Unified Parallel C & X10 | IBM |
| Parallel MATLAB | MathWorks |
| 2007 | Most Productive Research Implementation | X10 | IBM |  |
| Most Productive Commercial Implementation | Python/Star-P | Interactive Supercomputing |
| 2006 | Best Overall Productivity | Cilk | MIT CSAIL |  |
| Best Productivity in Performance | Unified Parallel C | IBM |
| Best Productivity and Elegance | Parallel MATLAB | MathWorks |
| 2005 | Class 2 Award was shared by 2 | Unified Parallel C | IBM |  |
| Cray MTA/C | Cray |