Fujitsu Server PRIMERGY & PRIMEQUEST
ベンチマークの概要 TPC-E

このドキュメントでは、トランザクション処理性能評議会(TPC：Transaction Processing PerformanceCouncil)によって公開された、データベースの性能を測定するベンチマーク TPC-E について説明します。TPC-E は、従来の TPC-C ベンチマークより後に開発された、新しいベンチマークです。TPC-E は、実際に行われるトランザクションをモデルにしており、OLTP(Online Transaction Processing：オンライントランザクション処理)システムの構成全体を測定します。
2009 年、TPC はエネルギー指標の仕様である「TPC-Energy」を開発し、既存の TPC ベンチマークを強化しました。ただし、エネルギー指標の測定と測定レポートの公開は任意です。
TPC でベンチマークのコンセプトが実現されることによって、メーカーを一律に比較できます。TPC が独立した機関として結果を監査することにより、客観性と再現性の両方が保証されます。

バージョン
2.3
2023-10-03

Fujitsu Public

1 of 13© 2023 Fujitsu Limited

ベンチマークの概要 TPC-E

バージョン: 2.3 / 2023-10-03

目次TPC-E の概要 ........................................................................................................................................................................ 3
ベンチマークモデル ................................................................................................................................................................ 4
TPC-E データベースとトランザクション ..................................................................................................................................... 5
パフォーマンスの評価指標 ....................................................................................................................................................... 7
TPC-Energy ........................................................................................................................................................................ 8
ベンチマークの環境 ................................................................................................................................................................ 9
TPC-C との違い ................................................................................................................................................................... 10
結論 .................................................................................................................................................................................. 11
関連資料 ............................................................................................................................................................................. 12

Fujitsu Public

2 of 13© 2023 Fujitsu Limited

ベンチマークの概要 TPC-E

バージョン: 2.3 / 2023-10-03

TPC-E の概要
データベースの性能を測定するベンチマーク TPC-E は、トランザクション処理性能評議会(TPC：Transaction Processing
Performance Council)によって 2007 年に開発されて公開されました。TPC-E ベンチマークでは、オンライントランザクション処理(OLTP)システムのパフォーマンスを測定します。このベンチマークは、複雑なデータベースと、そのデータベース上で実行されるさまざまな種類のトランザクションを基にしています。TPC-E は、ハードウェアに依存しないだけでなく、ソフトウェアにも依存しないベンチマークなので、すべてのテスト用プラットフォームで(メーカー独自のものでもオープンなものでも)実行できます。測定結果に加えて、測定されたシステムと測定方法の詳細もすべて、測定レポート(Full Disclosure Report(FDR)、完全公開レポート)で説明する必要があります。これによって、行われた測定が、ベンチマークの要件をすべて満たしたもので、再現可能であることが保証されます。TPC-E は、個別のサーバーを測定するだけでなく、大規模なシステム構成も測定します。この場合のパフォーマンスの鍵となるのは、データベースサーバー、ディスク I/O およびネットワーク通信です。
また、TPC は 2009 年に、TPC ベンチマークによるエネルギー指標の測定とレポート作成のためのルールと方法を規定した「TPC-Energy」仕様を開発しました。詳細は「TPC-Energy」を参照してください。

Fujitsu Public

3 of 13© 2023 Fujitsu Limited

ベンチマークの概要 TPC-E

バージョン: 2.3 / 2023-10-03

ベンチマークモデル
TPC-E のモデルになっているのは、顧客の口座を管理し、顧客の取引注文を実行し、顧客と金融市場とのやりとりに対して責任を負う必要がある証券会社の業務です。顧客は、取引、口座の照会、および市場調査に関連したトランザクションを生成します。一方証券会社は、顧客の代わりに注文を実行するために金融市場とのやりとりを行って、関係する口座の情報を更新します。証券会社に対して定義される顧客数は、さまざまな規模の業務の作業負荷を示すために、多様な設定が可能です。
このベンチマークは、市場データ、顧客データ、および証券会社データを表す 3 組のデータベーステーブルに対して実行される一連のトランザクションから構成されています。もう 1 組のテーブルには、住所や郵便番号のような一般的なディメンションデータが含まれています。右側の図は、環境の主要な構成要素を示しています。
ベンチマークは、このアプリケーション環境の構造に合わせて単純化されています。OLTPシステムのパフォーマンスを測定するために、単純なドライバーによりトランザクションと入力データを生成して SUT(SystemUnder Test：テスト対象システム)へ発行し、トランザクションのスループットを測定します。ベンチマークを単純化し、主要なトランザクションのパフォーマンスに重点を置くために、ユーザーインターフェイスと表示機能に関連したすべてのアプリケーションの機能がベンチマークから除外されています。SUT は、サーバー側の要素を測定することに重点が置かれています。

Fujitsu Public

4 of 13© 2023 Fujitsu Limited

ベンチマークの概要 TPC-E

バージョン: 2.3 / 2023-10-03

TPC-E データベースとトランザクション
データベースは、4 グループのテーブル(顧客、証券会社、市場、ディメンション)に分かれています。データベースには、33 個のさまざまな構造のテーブルが含まれ、そしてさまざまな種類のデータレコードを含んでいます。データレコードの大きさと数は、テーブルによって異なります。さまざまな種類と複雑さを持った 11 個の同時トランザクションの組み合わせが、データベースで実行されます。限られたシステムリソースに対してそれらが競合することにより、多数のシステム要素に負荷がかかり、さまざまな方法でデータの変更が実行されます。
TPC-E データベースの構造
テーブル

内容

9 種の顧客のテーブル

顧客と証券会社についての情報ACCOUNT_PERMISSIONCUSTOMERCUSTOMER_ACCOUNTCUSTOMER_TAXRATEHOLDINGHOLDING_HISTORYHOLDING_SUMMARY
WATCH_ITEM
WATCH_LIST

9 種の証券会社のテーブル

証券会社についての情報と関連データ
BROKER
CASH_TRANSACTION
CHARGECOMMISSION_RATE
SETTLEMENTTRADE
TRADE_HISTORY
TRADE_REQUESTTRADE_TYPE

11 種の市場のテーブル

企業、為替および業種についての情報
COMPANYCOMPANY_COMPETITORDAILY_MARKET
EXCHANGE
FINANCIALINDUSTRY
LAST_TRADE
NEWS_ITEM
NEWS_XREF
SECTOR
SECURITY

4 種のディメンションテーブル

住所や郵便番号などの共通の情報
ADDRESSSTATUS_TYPE
TAXRATE
ZIP_CODE

Fujitsu Public

5 of 13© 2023 Fujitsu Limited

ベンチマークの概要 TPC-Eバージョン: 2.3 / 2023-10-03

TPC-E ベンチマークは、11 種類のトランザクションと 1 つのクリーンアップ機能で構成されています。実際の運用環境に似ていて適度にバランスがとれている作業負荷を生成するために、トランザクションは幅広くさまざまなシステム機能を対象としている必要があります。10 個のトランザクションを、再現可能な特定の組み合わせで実行し、目的とする作業負荷を生成します。11番目のトランザクションはこの組み合わせに入っていませんが、一定の間隔で実行されます。「Data Maintenance」と呼ばれる
このトランザクションは、組み合わせに入っている 10 個のトランザクションによっては更新されないテーブルに対する管理上の更新をシミュレートします。「Trade Cleanup」と呼ばれるクリーンアップ用トランザクションは、前回の実行から残っている可能性のある、保留中の取引や送信済みの取引を除去するためのものです。
データベースシステムの主要なパフォーマンス特性の 1 つは、作業負荷によって生成される読み取りと書き込みの比率です。そういった比率をエミュレートするために、TPC-E では、読み取り専用のプロファイルを持つトランザクションと、読み取り/書き込みのプロファイルを持つトランザクションが定義されています。また、トランザクションはさまざまな負荷をプロセッサーに与えます。
TPC-E トランザクションと必要な配分
トランザクション名

トランザクションの配分

アクセス

Broker Volume

4.9%

読み取り

Customer Position

13.0%

読み取り

Market-Watch

18.0%

読み取り

Security-Detail

14.0%

読み取り

Trade-Status

19.0%

読み取り

Trade-Lookup

8.0%

読み取り

Market Feed

1.0%

読み取り/書き込み

Trade Order

10.1%

読み取り/書き込み

Trade Result

10.0%

読み取り/書き込み

Trade Update

2.0%

読み取り/書き込み

Data Maintenance

60 秒ごとに 1 回読み取り/書き込み

Trade Cleanup

テストの実行ごとに 1 回

Fujitsu Public

6 of 13© 2023 Fujitsu Limited

ベンチマークの概要 TPC-E

バージョン: 2.3 / 2023-10-03パフォーマンスの評価指標
パフォーマンスの評価指標は tpsE です。tps は、1 秒あたりのトランザクション数を意味します。tpsE は、1 秒以内に実行された Trade Result(取引結果)のトランザクションの平均数です。TPC-E の基準に準拠するために、tpsE の結果についての言及では、tpsE、tpsE あたりの関連コスト、価格設定されている構成機器の入手可能日を明らかにする必要があります。
TPC-E の評価指標
スループット

所有コスト

入手可能日

tpsE

$/tpsE

日付

Fujitsu Public

7 of 13© 2023 Fujitsu Limited

ベンチマークの概要 TPC-E

バージョン: 2.3 / 2023-10-03

TPC-Energy
エネルギー効率は、コンピューターのハードウェアの評価において、パフォーマンスと価格に加えて、もう 1 つの重要な要素になっています。そこで、TPC は 2009 年に、TPC ベンチマークによるエネルギー指標の測定とレポート作成のためのルールと方法を規定した「TPC-Energy」仕様を開発しました。TPC-Energy 仕様は、公開されているすべての TPC ベンチマーク(現時点では TPC-C、TPC-E、TPC-H)に適用されます。TPC-Energy 自体はベンチマークではなく、他の TPC ベンチマークと組み合わせて使うことで測定できるようになります。TPC ベンチマークにおける TPC-Energy 指標の測定と公開は任意で、TPC 結果の公開は要求されていません。TPC-Energy 指標を公開する場合は、その他の TPC ベンチマークと同様に、測定と結果について監査を受ける必要があります。

エネルギー指標
TPC-Energy でレポートされる 1 次評価指標は「パフォーマンスあたりのワット数」として表され、パフォーマンスの単位は、測定時に使用する TPC ベンチマークによって異なります。TPC-E の場合、1 次評価指標は「W/tpsE」で表されます。
詳しく説明すると、この指標は、完了した作業量の合計(通常、トランザクション数で測定)と、ベンチマークシステムの全コンポーネントにより消費されるエネルギー量(通常、ワット秒で測定)との比率を算出したものです。ベンチマークシステム(テスト対象システム)には、サーバーやストレージシステムのほか、スイッチなどのネットワークコンポーネントも含まれます。
1 次評価指標のほかに、いつでも作業を開始できるアイドル状態時の消費電力(単位：ワット)を測定して記載する必要もあります。これは、アイドル状態でも作業要求があればすぐ対応しなければならないシステムを持つ顧客にとって役に立ちます。
また、エネルギー測定中は周囲温度も記録する必要があります。温度のかなり低い環境では、空冷式のコンポーネントの消費電力が低くなるためです。有効な結果を得るには、温度が 20℃を下回らないようにする必要があります。
結果をより詳細に比較して分析するため、単一のサブシステムに関するオプションの情報をレポートに記載することもできます。このような部分的な測定結果を、TPC-Energy では 2 次評価指標と呼びます。ベンチマークシステムは、データベースサーバー、アプリケーションサーバー、ストレージ、その他の装置(モニター、スイッチなど)の、4 つのサブシステムから構成されます。2 次評価指標は、サブシステムあたりのエネルギー消費量を、完了した全作業量で割って算出し、「W/tpsE」で表します。すべての 2 次評価指標の値を合計すると、1 次評価指標の値と同一になります。さらに、各サブシステムのアイドル状態時の消費電力もレポートに記載されます。

実装
TPC-Energy 測定を実装しやすくするために、TPC では EMS(Energy Measurement System：エネルギー計測システム)ソフトウェアパッケージを提供しています。このパッケージには、Standard Performance Evaluation Corporation(SPEC)からライセンス提供された Power Temperature Daemon(PTDaemon)が含まれています。EMS の主な機能は、電力アナライザーなどの電力測定装置や温度センサーとのインターフェイスの提供、電力と温度の測定値の記録、およびレポートの生成です。TPC-Energy 測定では、EMS パッケージの使用は必須です。
通常、エネルギー消費量は電力装置を測定して収集します。測定で使用する電力計は、仕様に定義された精度要件を満たしている必要があります。また、電力計はすべて、過去 1 年以内に認定専門家によって較正されている必要があります。
測定中は、パフォーマンスとエネルギー消費量が収集されます。TPC-E では、システムが定常状態になってから測定を開始し、120 分間以上継続する必要があります。アイドル状態時の電力測定は、ベンチマーク実行の完了後 30 分以内に開始して、10 分間以上継続する必要があります。

Fujitsu Public

8 of 13© 2023 Fujitsu Limited

ベンチマークの概要 TPC-E

バージョン: 2.3 / 2023-10-03

ベンチマークの環境
次の図は、想定される物理的な構成要素を示しています。
ドライバーとは、ベンチマークの実行とレポート、およびアップストリームコネクターの機能の構成要素を実装するために必要なすべてのハードウェアおよびソフトウェアのことです。
ダウンストリームコネクター、トランザクションの実装、およびデータベースのインターフェイスの機能の構成要素を実装するために必要なすべてのハードウェアとソフトウェアを、A 層としています。A 層は、1 台または複数台の独立したサーバーで構成できます。
データベースサーバーの機能の構成要素を実装するために必要なすべてのハードウェアとソフトウェアを、B 層としています。この層には、データベースへの初期データ投入およびデータ増加に関する要件を満たすのに十分な、データ記憶媒体が含まれます。
TPC-E ベンチマークでは、A 層と B 層を併せて SUT(System Under Test：テスト対象システム)を構成し、システム全体を測定します。

SUT(System Under Test：テスト対象システム)
クライアントA 層

B 層
ストレージサブシステム

アプリケーション

データベース

サーバー

サーバー

ドライバー

コレクター(データ収集システム)

TPC-Energy コンポーネントはオプションです。TPC-E ベンチマークで TPC-Energy を使って SUT の消費電力を測定する場合
は、上記測定環境を拡張して、測定データ収集用のコレクターシステムを 1 台設置し、電力測定装置 1 台以上と温度センサー1台以上を接続します。

Fujitsu Public

9 of 13© 2023 Fujitsu Limited

ベンチマークの概要 TPC-E

バージョン: 2.3 / 2023-10-03

TPC-C との違い
オンライントランザクション処理(OLTP)の性能評価を行うベンチマークには、TPC-E ベンチマークのほかに TPC-C ベンチマークがあり、1992 年以来、長年にわたって広く利用されてきました。しかしその間に、システムのパフォーマンスが劇的に向上した
ため、TPC-C のテスト環境を構築するには多大な労力が必要になっています。また、トランザクションモデルが最新のものではありません。TPC-E は、現状を考慮して新しく開発されたもので、より複雑な構造を使用している一方で、ハードウェア面の負担は軽減されています。
TPC-C では、5 種類のトランザクションと 9 個のテーブルが使用されていました。TPC-E では、11 種類のトランザクションと33 個のテーブルが使用されます。トランザクションはより CPU に集中したもので、ディスク環境をサーバーのパフォーマンスに応じて 10%～30%に削減します。ユーザーインターフェイスと表示機能に関連したアプリケーションの機能はベンチマークから除外されていて、TPC が提供するドライバーコードがその代わりになっています。
TPC-E は、TPC-C の新しいバージョンではなく、TPC-C に取って代わるものではありません。TPC-C の測定を実行して結果を公開することも可能です。TPC-C の値は現在も有効です。

Fujitsu Public

10 of 13

© 2023 Fujitsu Limited

ベンチマークの概要 TPC-Eバージョン: 2.3 / 2023-10-03

結論
ベンチマークの情報と結果の利用者に対しては、報道関係者、市場調査員、商用ユーザーのいずれであっても、ベンチマークの結果の有効性を信頼できるようにする必要があります。この要求に応えるために、TPC-E は、バックアップ機能やリカバリー機能など必要な運用指向の機能をすべて含めたシステム構成を測定し、FDR(完全公開レポート)に詳細に文書化するという形で設計されました。これらのレポートは、独立した機関としての TPC 自体によって確認され、公開されます。こういったすべての要件によって、有効で客観的なパフォーマンスの測定が保証されます。
データベースとトランザクションの組み合わせの多様な複雑さを考慮に入れると、得られる測定値が実際の業務プロセスでのスループットの値に近づきます。これに対して、TPC-E の測定結果は、現実に即しており、全体として典型的な業務を反映したものです。ただし、TPC-E は多くの OLTP 環境に適用されますが、すべての OLTP 環境に適用されるわけではない点に注意してください。顧客が TPC-E の標準的なスループットの値にどの程度まで近づけるかは、主に顧客の実際のデータベースとアプリケーションが TPC-E のものとどの程度似ているかによって決まります。TPC-E の結果は、顧客の環境で得られるスループットの値の目安にはなりますが、単純な推測はお勧めしません。システムパフォーマンスだけでなくベンチマークの結果も、システムの負荷、アプリケーション固有の要件、システム設計および実装に応じて大きく異なります。そのため TPC-E は、個別の顧客アプリケーションのパフォーマンス分析の代わりにはなりません。

Fujitsu Public

11 of 13

© 2023 Fujitsu Limited

ベンチマークの概要 TPC-E

バージョン: 2.3 / 2023-10-03

関連資料
PRIMERGY & PRIMEQUEST サーバー
https://www.fujitsu.com/jp/products/computing/servers/
PRIMERGY のパフォーマンス
https://jp.fujitsu.com/platform/server/primergy/performance/
PRIMEQUEST のパフォーマンス
PRIMEQUEST 2000 シリーズ
https://www.fujitsu.com/jp/products/computing/servers/primequest/products/2000/benchmark/
PRIMEQUEST 3000 シリーズ
https://www.fujitsu.com/jp/products/computing/servers/primequest/products/3000/benchmark/
このホワイトペーパー
https://docs.ts.fujitsu.com/dl.aspx?id=da0ce7b7-3d80-48cd-9b3a-d12e0b40ed6d
https://docs.ts.fujitsu.com/dl.aspx?id=4d3c087a-6978-4923-849f-e4288af8615a
TPC-E
https://www.tpc.org/tpce
TPC-Energy
TPC-Energy Specification (英語)https://www.tpc.org/tpc_energy
Energy Benchmarks: A Detailed Analysis (英語)https://www.tpc.org/tpc_energy/Presentations/EnergyBenchmarks.pdf
TPC-Energy Benchmark Development (英語)https://www.tpc.org/tpc_energy/Presentations/TPC-Energy-2.pdf
TPC-C
https://www.tpc.org/tpcc
ベンチマークの概要 TPC-C (英語)https://docs.ts.fujitsu.com/dl.aspx?id=8d633e1e-8b44-4c5a-800f-7a1319649081
Standard Performance Evaluation Corporation (SPEC)https://www.spec.org/

Fujitsu Public

12 of 13

© 2023 Fujitsu Limited

ベンチマークの概要 TPC-E

バージョン: 2.3 / 2023-10-03

文書変更履歴版数

日付

2.3

2023-10-03

説明更新
・

2.2

2021-07-28

新 Visual Identity フォーマットに変更

更新
・

2.1

2015-01-29

お問い合わせ先情報、URL の更新

更新
・

2.0

1.1

2011-03-31

2009-04-01

新レイアウト更新
・TPC-Energy についての解説を追加し、文書の構成を調整

・

軽微な変更

更新
・

1.0

2007-08-08

軽微な変更

新規

お問い合わせ先
富士通株式会社
Web サイト: http://www.fujitsu.com/jp/
PRIMERGY のパフォーマンスとベンチマーク
mailto:fj-benchmark@dl.jp.fujitsu.com
Fujitsu Public

13 of 13

© 2023 Fujitsu Limited