Standard Performance Evaluation Corporation

Standard Performance Evaluation Corporation（SPEC、標準性能評価法人）は、コンピュータの公平で意味のあるベンチマークを作成することを目指して設立された非営利団体である。SPECは1988年に設立され、全ての主要なコンピュータ企業やソフトウェア製造業者などのメンバー企業が資金提供している。SPECのベンチマークはコンピュータシステムの性能評価に今日広く使われていて、その測定結果はSPECのウェブサイト上で公表されている。

そのベンチマークは「現実の」状況をテストすることを目指している。例えば SPECweb2005 はWebサーバの性能評価のために様々なタイプのHTTPリクエストを並行していくつも行う。SPEC CPU はCPU性能を評価するために、GCCコンパイラやチェスプログラム crafty などのいくつかのプログラムの実行時間を測定する。様々なタスクにはそれぞれ現実での重要性を考慮した重み付けがされており、その重み付けを使用して最終的にひとつのベンチマーク結果を得るようになっている。

SPECベンチマークはプラットフォームに依存しないプログラミング言語（通常、C言語またはFORTRAN）で書かれていて、利用者は自分のプラットフォームで動作する任意のコンパイラでコンパイルすることができる。ただし、ソースコードを変更することはできない。製造業者はSPECベンチマークの結果を改善するためのコンパイラの最適化手法を適用していると言われている。

ベンチマークを使うためには、ライセンスをSPECから購入する必要がある。その費用はテストの種類によって数百ドルから数千ドルまである。ベンチマークにはGPLによりライセンスされるソフトウェアが含まれるため、この支払いモデルはGPL違反であるとして批判されてきた。

ベンチマーク一覧

現在のベンチマーク 

 SPEC CPU2006：CPU、メモリ、コンパイラの総合的な性能評価
 CINT2006 ("SPECint")：整数演算を評価する。コンパイラ、インタープリタ、ワードプロセッサ、チェスプログラムなどを実行。
 CFP2006 ("SPECfp")：浮動小数点数演算を評価する。物理現象のシミュレーション、三次元グラフィックス、画像処理、化学計算などを実行。
 SPECweb2005：PHPおよび（または）JSPの性能評価
 SPECviewperf：OpenGL三次元グラフィックスシステムの性能評価。実アプリケーションの各種レンダリングタスクを実行。
 SPECapc：いくつかの一般的な三次元指向のアプリケーションの性能評価
 SPEC HPC2002：高性能並列コンピューティングシステムの性能を気象予測や化学計算のプログラムで評価
 SPEC OMP V3.1：OpenMPベースのアプリケーションの性能評価
 SPECjvm98：Java仮想マシンの動作するJavaクライアントシステムの性能評価
 SPECjAppServer2004：Java 2 Enterprise Edition (J2EE)ベースのアプリケーションサーバを中心とした多層システムの性能を評価するベンチマーク
 SPECjbb2005：三層クライアント・サーバシステムをエミュレートしサーバサイドJavaの性能を評価（主に中間層の評価）
 SPEC MAIL2001：メールサーバの性能評価。SMTPとPOPプロトコルを実行。
 SPEC SFS97_R1：NFSファイルサーバのスループットと応答時間の測定

今後登場予定のベンチマーク 

 SPECappPlatform：Web向けエンタープライズプラットフォームの性能評価（Jakarta EEと.NETなど）
 SPECimap2003：エンタープライズレベルのメールサーバの性能評価（SMTPとIMAP4プロトコル）
 SPEC MPI：MPI (Message Passing Interface) ベースのアプリケーションの性能評価

過去のベンチマーク 

 SPECjAppServer2001 
 SPECjAppServer2002
 SPECjbb2000
 SPECweb96
 SPECweb99
 SPECweb99_SSL
 SPEC CPU92
 SPEC CPU95 
 SPEC CPU2000
 SPEC HPC96 
 SPEC SFS97

日本国内会員 
2007年3月現在。アルファベット順。

正式会員 
富士通
日立製作所
日本電気

協賛（準）会員 
JAIST
九州大学
会津大学
筑波大学

外部リンク 

 Official SPEC website（英語）

ベンチマーク
コンピューターの評価