Fujitsu Server PRIMERGY & PRIMEQUEST
ベンチマークの概要 SPECjbb2015[サブタイトル]
本書では Standard Performance Evaluation Corporation（SPEC）により開発、公表されているベンチ
マーク SPECjbb2015（Java サーバベンチマーク）について説明します。
SPECjbb2015 は、スーパーマーケット企業の IT インフラストラクチャーでの業務活動をモデルとしたJava 業務アプリケーションベンチマークです。SPECjbb2015 では、Java の新機能など最新のトレンドが取り入れられました。また、サービスレベル契約を考慮し、応答時間の制約を伴う最大スループットが評価指標として追加されました。
バージョン
1.1
2023-10-03

Fujitsu Public

1 of 13© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

目次
SPECjbb2015 の概要 ............................................................................................................................................................ 3
ベンチマークモデル ................................................................................................................................................................ 4
ベンチマークのコンポーネント.................................................................................................................................................. 5
ベンチマークコンポーネントと JVM の構成 ................................................................................................................................. 6
SPECjbb2015 テストシーケンス .............................................................................................................................................. 7
パフォーマンスの評価指標 ....................................................................................................................................................... 8
測定結果とその解釈 ................................................................................................................................................................ 9
結論 .................................................................................................................................................................................. 11
関連資料............................................................................................................................................................................. 12

Fujitsu Public

2 of 13© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

SPECjbb2015 の概要
Standard Performance Evaluation Corporation（SPEC）は、コンピュータシステムのパフォーマンスを評価する標準化されたベンチマークの開発と公表に特化した組織です。SPEC のメンバーは、富士通などのコンピュータ業界のリーディングカンパニーです。
SPECjbb2015 は、SPEC により開発された、SPECjbb2000、SPECjbb2005、SPECjbb2013 から続く一連の Java ベンチマークの最新版です。 “jbb” は、Java Business Benchmark（Java 業務 アプリケーション ベンチマーク）を表します。

SPECjbb2015 は、Java ビジネスアプリケーション環境の性能およびスケーラビリティの評価を目的として開発されました。また、様々な構成のシステムにおいてシステム性能の評価が可能な柔軟なフレームワークを提供します。これらの要件を満たすために、以下の目標が設定されました。
⚫

現実的なアプリケーションモデルをシミュレートする⚫

Java ランタイムのコンポーネントと OS、およびハードウェア環境を稼働させる⚫

サービスレベル契約の主要な要素である、応答時間を指標に含める⚫

すべての利用可能なプロセッサとメモリのリソースを使用するようスケールさせる

SPECjbb2015 には、以下を含む複数の改善が取り入れられています。
⚫

Fork-join フレームワークなどの最新の Java 7 の機能だけでなく、圧縮を使用しての XML データフォーマット、圧縮を使用した通信、セキュリティ付きメッセージングも使用するよう対応⚫

持続可能なシステム容量全体でのスループットの指標（max-jOPS）、および応答時間制約がある状況下でのスループットの指標（critical-jOPS）を提供⚫

複数階層のシステムスタックにおいてボトルネックの分析および克服ができるよう、複数の実行時構成をサポート（Composite、MultiJVM、Distributed）⚫

プライベートクラウド、パブリッククラウド環境を含む、仮想化された環境のサポート⚫

より現実的なサブリニアスケーリングとなるよう、トランザクションが JVM プロセス間で対話するように変更

SPECjbb2015 は、Java 7 以降の JRE（Java 実行環境）を対象とします。
SPECjbb2015 の測定結果には、JRE だけなくオペレーティングシステム、およびその下にあるハードウェアの性能が反映されます。JRE 部分については、Java 仮想マシン（JVM）、JIT（ジャストインタイム）コンパイル、ガーベージ コレクション、ユーザースレッドのパフォーマンスが性能値に影響します。また、ハードウェアについては、プロセッサ、メモリ、ネットワークのパフォーマンスが性能値に影響します。SPECjbb2015 では、ディスク入出力のパフォーマンスは測定しません。

Fujitsu Public

3 of 13© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

ベンチマークモデル
SPECjbb2015 は、世界規模のスーパーマーケット企業における IT インフラストラクチャー上の業務活動をモデル化したベンチマークです。企業には複数のスーパーマーケット店舗と、これらを統括するヘッドクォーターおよびスーパーマーケットに在庫を補充するサプライヤーが存在し、顧客や企業内部からの要求に基づいて以下の処理が行われます。
⚫

スーパーマーケットでの POS（販売時点情報管理）処理、オンラインでの購入処理⚫

クーポンや割引の発行と管理、および顧客の支払い情報管理⚫

領収書、請求書、顧客データベースの管理⚫

在庫補充のためのサプライヤーとの対話⚫

販売パターンの特定や四半期の業務報告書作成のためのデータマイニング

スーパーマーケットは顧客に製品を販売し、サプライヤーはスーパーマーケットからの要求に基づき、必要な在庫を補充します。ヘッドクォーターは顧客情報や領収書、請求書を管理し、売れ筋製品の分析などのためにデータマイニングを行います。
処理内容では購入処理が多くを占めますが、バランスの取れた設計を実現するため、他の Java API も実行されるように処理内容が決定されています。

Fujitsu Public

4 of 13© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

ベンチマークのコンポーネント
SPECjbb2015 ベンチマークは「バックエンド」、「トランザクション インジェクター」、「コントローラー」の 3 つの論理的なコンポーネントから構成されます。
⚫

バックエンド：ベンチマークの Java 業務アプリケーションが動作するコンポーネントです。ベンチマークモデルで説明した
業務処理を行うための業務ロジックと業務データを持ちます。次で説明するトランザクション インジェクターから発行される処理要求を受け取って業務処理を行い、処理結果をトランザクション インジェクターに返します。
ベンチマークでは 2 つのスーパーマーケット店舗、2 つのサプライヤー、1 つのヘッドクォーターを単位として、バックエンドを構成します。テスト実施者はシステム性能を最大化するために、必要に応じて複数のバックエンドを測定対象システム上に配置できます。

⚫

トランザクション インジェクター：バックエンドに対してベンチマークで規定された処理要求を発行するコンポーネントです。各要求に対する応答時間を計測して蓄積し、その情報を次で説明するコントローラーに送ります。
1 つのバックエンドに対し、1 つまたはそれ以上のトランザクション インジェクターが配置されます。この組をグループと呼びます。複数のバックエンドが配置される場合、複数のグループが構成されます。

⚫

コントローラー：ベンチマーク全体を制御するコンポーネントです。ベンチマークの設定情報をトランザクション インジェクターとバックエンドに渡し必要な構成をセットアップします。その後トランザクション インジェクターに対して負荷の設定、ベンチマークの開始と終了を指示します。最後に、測定ログの出力や測定結果レポートの作成を行います。
コントローラーは測定環境に 1 つだけ存在します。

トランザクション インジェクターとバックエンド内のエンティティ間は、インターコネクトを介して通信を行います。複数のグループがある場合は、インターコネクトを介してグループ間のリモート通信が発生します。これによりさらに現実的なサブリニアスケーリングを実現します。

グループ

トランザクション
トランザクション
インジェクタ―インジェクター

バックエンドスーパー

スーパー

マーケット 1マーケット 2

インターコネクト
サプライヤー1

ヘッドクォーター

サプライヤー
2

コントローラー
図 1：各コンポーネント間の関係

Fujitsu Public

5 of 13© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

ベンチマークコンポーネントと JVM の構成
SPECjbb2015 ベンチマークは、コンポーネントの JVM への配置方法により以下の 3 つのカテゴリに分かれています。
⚫

SPECjbb2015 Composite⚫

SPECjbb2015 MultiJVM⚫

SPECjbb2015 Distributed

SPECjbb2015 Composite は最も基本的な構成で、コントローラー（Ctr）、トランザクション インジェクター（TxI）、バックエンド（BE）の 3 つのコンポーネントが、1 つのホスト上にある 1 つの Java 仮想マシン（JVM）上で動作します。

Host

Host

JVM
Ctr

TxI

JVM

BETxI
TxI

BETxI
TxI

BECtr

図 2 : SPECjbb2015 Composite の構成例
SPECjbb2015 MultiJVM では、コントローラー、トランザクション インジェクター、バックエンドはそれぞれ別の JVM 上で動作します。これにより、JVM のボトルネックを超えて性能をスケールさせることが可能になります。ただし、Composite と同様にこれらの JVM はすべてが同じ 1 つのホスト上で動作します。

Host
JVM
Ctr

JVM

JVM

TxI

BE

JVM

JVM
JVM

TxI

BE

図 3 : SPECjbb2015 MultiJVM の構成例
SPECjbb2015 Distributed では、バックエンドを他のコンポーネントとは別のホストで動作させます。コントローラー、トランザクション インジェクター、バックエンドをそれぞれ別のホスト上で動作させることもできます。ホスト間はネットワークで接続され、その性能が性能値に影響します。バックエンドを複数のホスト上に配置することもできます。この場合、高いスケーラビリティが得られます。なお、バックエンドの各ホストは同一の構成になっている必要があります。

Host

Host

JVM
Ctr

JVM

JVM

TxI

BE

JVM

JVM

TxI

BE

Host

Host

JVM

JVM

TxI

BE

Host

Host

JVM

JVM

TxI

BE

Host
JVM
Ctr

図 4 : SPECjbb2015 Distributed の構成例

Fujitsu Public

6 of 13© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

SPECjbb2015 テストシーケンス
SPECjbb2015 ベンチマークの実行は、以下の 5 つのフェーズに分けられます。
⚫

HBIR（High Bound Injection Rate）探索⚫

RT（応答時間―スループット）カーブ作成⚫

検証⚫

プロファイリング⚫

レポート作成図 5：SPECjbb2015 のテストシーケンス

HBIR 探索フェーズでは、ベンチマークの制約なしに達成できる最大のスループットの概算値を探します。この最大値を元に、トランザクション要求の投入速度の上限（HBIR）を決定します。
RT カーブ作成フェーズでは、繰り返しトランザクション要求の投入速度（IR）を増やしながら、処理できたトランザクション数（スループット）とその時の応答時間のデータを測定し、RT カーブを作成します。IR は HBIR の 1% 単位で増やしていきます。
予定した IR に対し、実際の IR と要求の処理速度がベンチマークの制約範囲内に収まる場合はその IR での測定は成功と見なし、さらに IR を増やして測定を継続します。このようにして、ベンチマークの制約を満たしながらシステムが達成可能な最大スループットを求めます。
検証フェーズでは、測定後のシステムの状態が正常で、業務ロジックを正しく実行できることを検証します。
プロファイリングフェーズでは、詳細レポートに記載するベンチマーク実行中の統計情報を収集します。
レポート作成フェーズでは、ベンチマークの結果レポートを作成します。

ベンチマークの平均的な実行時間は、約 2 時間です。

Fujitsu Public

7 of 13© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

パフォーマンスの評価指標
SPECjbb2015 のパフォーマンス評価指標には、以下の 2 種類があります。
⚫

max-jOPS :評価対象システムがベンチマークの制約を満たしながら達成可能な最大のトランザクション速度です。すなわ
ち、システムの最大処理スループットを見る指標です。

⚫

critical-jOPS : 10、25、50、75、100 ミリ秒の応答時間を満たしながら達成可能なトランザクション速度の幾何平均です。
すなわち、応答時間の制約がある場合においてシステムの最大処理スループットを見る指標となります。
応答時間を満たすかどうかは、99 パーセンタイル応答時間で判断されます。これは、トランザクション要求の 99％を満たすことのできる応答時間です。

SPECjbb2015 には Composite、MultiJVM、Distributed の 3 つのカテゴリがあるため、指標は「112,233 SPECjbb2015MultiJVM max-jOPS」のようにカテゴリ名をつけて表記されます。
SPECjbb2015 ベンチマーク結果を比較するとき、2 つの評価指標に言及する必要があります。
SPECjbb2015 の結果は、過去の SPECjbb ベンチマークとの比較はできません。また、カテゴリが異なる SPECjbb2015 の結果間でも比較はできません。

Fujitsu Public

8 of 13© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

測定結果とその解釈
SPECjbb2015 の測定結果レポートでは、大きく分けて以下の 3 つが記載されています。ここでは、性能値に直接関係する最初の2 つについて説明します。
⚫

測定結果の詳細情報⚫

評価対象システムの構成、設定情報⚫

測定結果の検証情報（トランザクション要求種類の比率、致命的ではない失敗の比率など、測定が正しく行われたことを示す情報）

測定結果の詳細情報として、スループットに対する応答時間の変化を示す RT カーブが「Benchmark Results Summary」に記載されています。これには 99 パーセンタイル応答時間だけでなく、応答時間の最大値、最小値、中央値、および 90 パーセンタイル応答時間も記載されています。そのため、これらの情報はサービスレベル契約の下での応答時間制約に対して参考にできます。

図 6：Overall Throughput RT curve の例

詳細な測定値は、「max-jOPS and critical-jOPS Details」の表に示されています。

図 7：max-jOPS and critical-jOPS Details の例

SPECjbb2015 の情報は特定のワークロードに基づくものであるため、SPECjbb2015 の結果から実際の業務アプリケーションがどの程度の性能を達成できるかを知ることはできません。一方で、SPECjbb2015 の結果を用いて JVM 製品を含む Java 業務アプリケーション環境を公平な立場で比較できます。

評価対象システムの構成、設定情報には、使用したハードウェアとその構成情報、ソフトウェア製品名、および JVM、オペレーティングシステム、BIOS の設定情報が「SUT Description」、「SUT xxx Configuration」の表として記載されています。

Fujitsu Public

9 of 13© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

図 8：SUT Description、SUT xxx Configuration の例

SPECjbb2015 の情報は特定のワークロードに基づくものであるため、実際の業務で使用されている Java サーバ設定にそのまま適用することはできません。一方で、レポートに記載されている JVM などのチューニング設定は、実際の業務環境での性能改善に当たりスタートラインとして活用できます。

Fujitsu Public

10 of 13

© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

結論SPECjbb2015 は、JDK7 新機能の採用など現実的な Java 業務アプリケーション向けベンチマークとして開発されました。これはサーバ環境の JVM 製品を公平な立場で比較できるツールです。プロセッサ、メモリサブシステム、オペレーティングシステム、ネットワークといった JVM が動作するプラットフォームの構成要素も性能値に反映されるため、各社のサーバ製品の性能比較にも使用できます。
システムの最大スループットを評価する従来の指標に加え、応答時間の制約を伴った最大スループットが評価指標として追加されました。これはサービスレベル契約の下での応答時間制約に対して、参考になる情報を提供します。
レポートに記載されている JVM などのチューニング設定は、実際の業務環境での性能改善に当たりスタートラインとして活用できます。

Fujitsu Public

11 of 13

© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

関連資料
PRIMERGY サーバ
https://www.fujitsu.com/jp/products/computing/servers/primergy/
PRIMEQUEST サーバ
https://www.fujitsu.com/jp/products/computing/servers/primequest/
PRIMERGY のパフォーマンス
https://jp.fujitsu.com/platform/server/primergy/performance/
PRIMEQUEST のパフォーマンス
PRIMEQUEST 3000 シリーズ
https://www.fujitsu.com/jp/products/computing/servers/primequest/products/3000/benchmark/
SPECjbb2015
https://www.spec.org/jbb2015/
このホワイトペーパー
https://docs.ts.fujitsu.com/dl.aspx?id=00aa8521-1cda-4bfd-a19b-b1242f5ee6a4
https://docs.ts.fujitsu.com/dl.aspx?id=551abd3a-400c-4d62-8bee-307129c7451f

Fujitsu Public

12 of 13

© 2023 Fujitsu Limited

ベンチマークの概要 SPECjbb2015

バージョン: 1.1 / 2023-10-03

文書変更履歴版数

日付

1.1

2023-10-03

説明
新 Visual Identity フォーマットに変更
マイナーな修正1.0

2018-11-30

初版

お問い合わせ先
富士通株式会社
Web サイト: https://global.fujitsu/ja-jp/
PRIMERGY のパフォーマンスとベンチマーク
mailto:fj-benchmark@dl.jp.fujitsu.com
Fujitsu Public

13 of 13

© 2023 Fujitsu Limited