Fujitsu Server PRIMERGY & PRIMEQUEST
ベンチマークの概要 VMmark V3

従来のシングルワークロードのベンチマークは、仮想化環境で実行されるオペレーティングシステムやアプリケーションの評価に適していません。そのため、仮想化環境に特化したベンチマークが開発されました。VMware 社製の仮想化ベンチマーク「VMmark V3」では、VMware のハイパーバイザーソリューシ
ョンによって高度に最適化した構成を複数のメーカー間で比較できます。
このドキュメントでは、仮想化環境のベンチマークに関する問題、「VMmark V3」ベンチマークの基礎、および富士通での使用例について説明します。

バージョン
1.2
2023-10-03

Fujitsu Public

1 of 12© 2023 Fujitsu Limited

ベンチマークの概要 VMmark V3

バージョン: 1.2 / 2023-10-03

目次
はじめに ............................................................................................................................................................................... 3
VMmark V3 ........................................................................................................................................................................ 4
VMmark V3 ベンチマーク ...................................................................................................................................................... 5
ベンチマーク環境 ................................................................................................................................................................... 7
VMmark V3 スコア ............................................................................................................................................................... 8
Vmmark V3 負荷プロファイルと実行ルール ............................................................................................................................... 9関連資料 ............................................................................................................................................................................. 11

Fujitsu Public

2 of 12© 2023 Fujitsu Limited

ベンチマークの概要 VMmark V3

バージョン: 1.2 / 2023-10-03

はじめに
IT インフラストラクチャーにおいてサーバー仮想化の流れが進行しています。仮想化により、ハードウェアの使用効率を高めると同時にハードウェアへの依存度を減らすことができます。1 つのオペレーティングシステム上でアプリケーションを使用する従来のサーバーとは対照的に、仮想化環境では、複数のオペレーティングシステムとアプリケーションが並列に実行され、1 つのサーバー上に異種混合環境が構築されます。また、仮想マシンの管理はハイパーバイザーとも呼ばれる仮想化モニターによって行われます。
従来のシングルワークロードのベンチマークは、仮想化環境の性能測定や評価には適していません。仮想化環境の性能を適切に評価するには、複数の仮想マシンにさまざまな作業負荷をかけて同時に動作させ、1 台のサーバーのハードウェアリソースを共有させる必要があります。仮想化ベンチマークの対象は 2 つあり、1 つはサーバー統合です。サーバー統合では、適切なレプリケーションを行うことにより、単一の仮想化ホスト上の複数の仮想マシン全体のスループットを最大化します。
SPECvirt_sc2013(SPEC)は、このタイプのベンチマークです。また、富士通は、自社開発した内部ベンチマーク「vServCon」を使用して仮想環境の性能測定を行っています。仮想化ベンチマークのもう 1 つの対象は、データセンターの運用です。この場合は、複数の仮想化ホストのサーバー統合シナリオを想定しています。このタイプのベンチマークでは、仮想マシンのスループットに加えて、仮想マシンの再配置などの、一般的なデータセンター運用の効率性を測定します。VMmark V3(VMware)はこのタイプのベンチマークです。
仮想化ベンチマークの目的を達成するには、サーバー統合の観点から実際のデータセンターを見直す必要があります。言い方を換えると、現在サーバー上で稼動しているアプリケーションシナリオを考慮する必要があるということです。これらのサーバーは稼働率が低いので、できる限り多くのサーバーを仮想マシン(VM)として集約することが目的になります。そのため、ベンチマークでは、さまざまなアプリケーション VM の全体的なスループットと、効率よく運用できる仮想マシンの個数を評価することが必要です。
これらの 2 つの目的のために次のようなソリューションコンセプトが確立されています。ベンチマークではアプリケーションシナリオの代表的な VM のグループが選択されます。これらは、測定を行うときに仮想ホスト上で同時に実行されます。各 VM には、適切な負荷ツールを使用して低い負荷がかけられるようになっています。一般的に仮想化ベンチマークでは、オペレーティ
ングシステム、アプリケーション、および「アイドル」VM または「スタンバイ」VM(仮想化環境の稼動していないフェーズを表し、ハイパーバイザーによって管理される VM の数を増加させます)をグループ化したものを「タイル」と呼びこの単位で実行します。
検討対象のシステムがパフォーマンスの限界に到達するまで、この仮想マシンのグループ(タイル)によって生成される負荷を段階的に増やす必要があります。次の図は、複数のタイルを稼動させることによるテスト対象システム上の VM 負荷の増加を示しています。
テスト対象システム
App1
VM

App2
VM

App3
VM

App4
VM

...

VM

…
App1
App2
App3
App4VM
VM
VM
VM
App1App2App3App4VM
VM
VM
VM
App1App2App3App4
VM
VM
VM
VM

スタンバイ

タイル n…

...
... VM... VM

スタンバイ

VM

スタンバイ

VM

スタンバイ

VM

タイル 3
タイル 2
タイル 1

アプリケーションは各仮想マシン上で実行され、確立されたベンチマークによって負荷がかけられます。これらのアプリケーシ
ョンに加えて、インフラストラクチャーコンポーネントが実行される場合もあります。個々の測定結果は、全体結果を示す 1 つのスコアに集約されます。このスコアが仮想化環境の処理能力を示すことになります。

Fujitsu Public

3 of 12© 2023 Fujitsu Limited

ベンチマークの概要 VMmark V3

バージョン: 1.2 / 2023-10-03

VMmark V3
VMmark V3 は、ハイパーバイザーを使用した仮想化ソリューションにおけるサーバー統合の適合性比較を行うために VMware
が開発したベンチマークです。ベンチマークは、負荷生成用のソフトウェアに加えて、定義済み負荷プロファイルおよび規定されたルールで構成されます。VMmark V3 によって得られたベンチマーク結果は、VMware に提出しレビューを経た後に VMwareのサイト上で公開されます。実績あるベンチマークである「VMmark V2」の使用は 2017 年 9 月に中止され、代わって後継の「VMmark V3」が使用されるようになりました。VMmark V2 では、2 台以上のサーバーのクラスタが必要であり、仮想マシン(VM)のクローン作成とデプロイ、負荷分散、vMotion や Storage vMotion による VM の移動といった、データセンター機能も評価できました。VMmark3 では、VMmark V2 に加えて XvMotion による VM の移動が追加されました。また、アプリケーションアーキテクチャーがよりスケーラブルなワークロードに変更されました。

Fujitsu Public

4 of 12© 2023 Fujitsu Limited

ベンチマークの概要 VMmark V3

バージョン: 1.2 / 2023-10-03

VMmark V3 ベンチマーク
VMmark V3 は、実際には新しいベンチマークではありまアプリケーションシナリオせん。VMmark V3 は、既存のベンチマークをワークロー負荷ツール

VM 数ドとして統合するフレームワークで、これにより仮想化さスケーラブル web システム Weathervane

14れた統合サーバー環境の負荷をシミュレートします。2 つe コマースシステム

4の実績あるベンチマーク(それぞれ、スケーラブル web シ

DVD Store 3 クライアント

1

スタンバイシステム

ステム、e コマースシステムのアプリケーションシナリオに対応)が、VMmark V3 に統合されています。

これらの 2 つのアプリケーションシナリオは、合計 18 個の仮想マシンに 1 つずつ割り当てられます。さらに、スタンバイサーバ
ーという 19 番目の VM がこれらに追加されます。これらの 19 個の VM が「タイル」を形成します。測定対象となるサーバーの処理能力によっては、全体として最大のパフォーマンスを達成するために複数のタイルを並列して開始する必要があります。

アプリケーションワークロードのタイル
スケーラブル web システム
AuctionLB VM
ロードバランサー
AuctionWebA VM
ウェブサーバーAuctionWebB VM
ウェブサーバーElasticLB VM
ロードバランサー
AuctionMSQ VM
メッセージサーバー

AuctionAppA VM
アプリケーション

AuctionAppB VM
アプリケーション

AuctionNoSQL VM
データストアAuctionDB VM
データベースDS3WebB VM
フロントエンド

ElasticWebB VM
ウェブサーバーElasticAppA VM
アプリケーション

ElasticAppB VM
アプリケーション

ElasticDB VM
データベース

スタンバイシステムe コマースシステム
DS3WebA VM
フロントエンド

ElasticWebA VM
ウェブサーバーDS3WebC VM
フロントエンド
スタンバイ VM

DS3DB VM
バックエンドFujitsu Public

5 of 12© 2023 Fujitsu Limited

ベンチマークの概要 VMmark V3

バージョン: 1.2 / 2023-10-03

VMmark V3 には、ホスト 2 台ごとに 1 つ存在するインフラストラクチャーコンポーネントがあります。これにより、VM のクローン作成やデプロイ、vMotion、Storage vMotion、XvMotion によるデータセンター運用の効率性が評価されます。このとき、DRS(Distributed Resource Scheduler)によるデータセンターの負荷分散機能も使用されます。
ホスト 1

ホスト 2

タイル 1-n

タイル 1-nAuctionMSQ
VM

スタンバイ

vMotionStorage vMotion

スタンバイ

XvMotion

DS3WebA

AuctionMSQ
VM

DS3WebA

デプロイ
テンプレート

クローン

クローン

VM

VM

VM

クローン作成カスタマイズ更新

タイル 1-n

タイル 1-n

VM
VM
VM
VM

Distributed Resource Scheduler (DRS)
VM
VM

リソースプール

リソースプール

CPU、RAM、ディスク、CPU、RAM、ディスク、ネットワークなど

ネットワークなど

VMmark V3 では、外部の負荷ジェネレーターとして、厳密に 1 タイルにつき 1 つの仮想クライアントシステムが必要です。負荷ジェネレーターと「テスト対象システム」の各ホストは、適切な数のネットワークで接続します。このネットワークには、データセンター用仮想化コンポーネント(VMware vCenter)も組み入れる必要があります。
個々の負荷ツールの実行は、プライムクライアントと呼ばれる 1 つの負荷ジェネレーターによって制御されます。プライムクライアントにより、測定が監視され、VM およびインフラストラクチャーアクティビティの個々のパフォーマンスデータが収集されます。

Fujitsu Public

6 of 12© 2023 Fujitsu Limited

ベンチマークの概要 VMmark V3

バージョン: 1.2 / 2023-10-03

ベンチマーク環境
一般的な測定環境を次に示します。

SUT（System Under Test：テスト対象システム）

クライアントと管理サーバー

サーバー

ストレージシステム

複数の1Gb または 10Gb
ネットワークvMotionプライムクライアントを含む負荷ジェネレーターとデおよび XvMotion
ネットワークータセンター管理サーバー

電力計クライアント

電力測定デバイスは、電力スコア用に結果を生成する場合にだけ必要です。これは、「電力計クライアント」システムが専用システムの場合にも当てはまります。原則として、いくつかの測定デバイスまたは「電力計クライアント」システムを使用することが可能です。テストタイプ「Performance with Server and Storage Power」の結果に関して、ストレージシステムをサーバーに接続するためにスイッチが存在する場合があるので、その電力消費を測定することも必要です。

Fujitsu Public

7 of 12© 2023 Fujitsu Limited

ベンチマークの概要 VMmark V3

バージョン: 1.2 / 2023-10-03

VMmark V3 スコア
VMmark V3 のテストタイプ「Performance Only」での結果は「スコア」と呼ばれる数値であり、テスト対象システムの仮想化パフォーマンスを表します。スコアは、サーバー集約によるメリットの最大合計値で、さまざまなハードウェアプラットフォームの比較基準として使用されます。
このスコアは、VM の個々の結果とインフラストラクチャーコンポーネントの結果から導かれます。5 つの VMmark V3 アプリケーション VM またはフロントエンド VM のそれぞれが、各 VM でのアプリケーション固有のトランザクションレートという形でベンチマーク結果を示します。スコアを正規化するために、各タイルのベンチマーク結果とリファレンスシステムでの結果との比率を求め、得られた値の幾何平均を算出します。さらに、すべての VM について、同じ手順で求めた値を加算します。この値は、総合スコアの 80%を決定します。また、ホスト 2 台ごとに 1 つ存在するインフラストラクチャーコンポーネントによるワークロードが、結果の 20%を決定します。インフラストラクチャーコンポーネントのスコアは、1 時間あたりのトランザクション数と、秒単位の平均持続時間で示されます。
実際にはスコアに加えて、タイル数がスコアと共に示されます。例えば「8.11@8 タイル」のように「スコア@タイル数」と表します。
2 つのテストタイプ「Performance with Server Power」と「Performance with Server and Storage Power」の場合は、いわゆる「Server PPKW Score」と「Server and Storage PPKW Score」が決定されます。これは、パフォーマンススコアを平均消費電力(キロワット単位)で割ったものです(PPKW は Performance Per KiloWatt の略です)。この 2 つの新しいテストタイプは、テストタイプ「Performance Only」が元になっているため、完全負荷状態の場合にだけ電力スコアが判定されます。
測定結果はインターネットにある VMware の 3 つの表に記載されています。
VMmarkV3 のスコアは相互比較のみが有効です。特に、VMmarkV3 に含まれる各ワークロードのスコアを個別に検討または解釈したり、元のベンチマークのスコアと比較したりすることには意味がありません。3 つのテストタイプ「Performance Only」、「Performance with Server Power」、「Performance with Server and Storage Power」の結果は、相互に比較するべきではありません。1 回のベンチマーク実行によって、必ずいくつかの(あるいはすべての)テストタイプの結果が生成され、それぞれが 1 つの結果として提出されることに留意してください。したがって、VMmark V3 の結果を評価する際は、パフォーマンスや最大エネルギー効率に関して、設定をより最適化すべきだったかどうかを考慮してください。構成に関する詳細は、VMmark レポートフ
ァイル(Disclosure Report)を参照してください。
VMmark V3「Performance Only」のすべての結果は、VMmark V1 や VMmark V2 の結果と比較することはできません。仮想化環境のパフォーマンスが同じでも、VMmark V3 ではスコアが大幅に低くなり、タイル数も少なくなります。

Fujitsu Public

8 of 12© 2023 Fujitsu Limited

ベンチマークの概要 VMmark V3

バージョン: 1.2 / 2023-10-03

Vmmark V3 負荷プロファイルと実行ルール
VMmark V3 ルールは、標準化されたベンチマーク環境とリソースを定義し、オペレーティングシステムおよびアプリケーションのソフトウェアバージョンも明確に指定します。VMmark V3 が提供するゲストオペレーティングシステム、アプリケーション、およびそれらが指定するリソース要件の集まりは、複雑な仮想化環境の代表的な選択肢とみなすことができます。ベンチマークに含まれるソフトウェアに、新しくよりパフォーマンスの高いバージョンが存在する場合でも、比較可能性を確保するために、負荷プロファイルの継続性をできる限り長く維持する必要があります。
VMmark V3 では次のプロファイルが使用されます。
リソース

VM の数 vCPU の数

メモリOSAuction Web
ウェブサーバー

228GBCentOS
7.2 64bit

Nginx 1.12.0

Weathervane 16GB
AuctionAuction App
アプリケーション

2414GBCentOS
7.2 64bit

Tomcat 8.5.13

Weathervane 16GB
AuctionAuction LB
ロードバランサー

124GBCentOS
7.2 64bit

HAproxy 1.5.18

Weathervane 16GB
AuctionAuction MSQ
メッセージサーバー

124GBCentOS
7.2 64bit

RabbitMQ 3.5.3

Weathervane 16GB
AuctionAuction DB
データベース

128GBCentOS
7.2 64bit

PostgreSQL 9.3

Weathervane ブート 16GB
Auction負荷 20GB

Auction NoSQL
データストア

1216GB

CentOS
7.2 64bit

MongoDB 3.0.14 Weathervane ブート 16GB
Auction負荷 100GB

Elastic Web
ウェブサーバー

224GBCentOS
7.2 64bit

Nginx 1.12.0

Weathervane 16GB
Elastic

Elastic App
アプリケーション

228GBCentOS
7.2 64bit

Tomcat 8.5.13

Weathervane 16GB
Elastic

Elastic LB
ロードバランサー

114GBCentOS
7.2 64bit

HAproxy 1.5.18 Weathervane ブート 16GB
RabbitMQ 3.5.3 Elastic
負荷 25GB
MongoDB 3.0.14

Elastic DB
データベース

128GB

CentOS
7.2 64bit

PostgreSQL 9.3

Weathervane 16GB
Elastic

e コマース

1832GB

CentOS
7.2 64bit

MySQL 5.6.34

DVD Store 3
DB

ブート 16GB

Apache 2.4.6

DVD Store 3Web

16GB

バックエンドe コマース

314GBCentOS
7.2 64bit

112GBCentOS
7.2 64bit

フロントエンド
スタンバイ

アプリケーション ベンチマーク

ディスクサブシステム

負荷 250GB, 100GB

16GB

上記に加え、VMmark V3 では、VMware の定義したインフラストラクチャーコンポーネントによる以下の処理が行われます。
VM のクローン作成およびデプロイについては、VMware vCenter によりテンプレート VM がコピーされ、カスタマイズ要件(IP構成、システム名)に従って構成され、起動後に新しい VM が提供されます。この新しい VM は特定処理後に削除され、40 秒後に再度このプロセスが繰り返されます。vMotion の場合、すべてのタイルの AuctionMSQ VM が、VMware vCenter により、ラウンドロビン方式で既存のホスト間で移動されます。移動した VM は移動先のホストで 2 分間待機した後、元のホストに戻され、さらに 2 分後に再度このプロセスが繰り返されます。Storage vMotion の場合、すべてのタイルのスタンバイ VM が 2 分ごとにラウンドロビン方式で移動されます。また XvMotion の場合は、すべてのタイルの DS3WebA VM が 2 分半ごとにラウンドロビン方式で移動されます。VMware vCenter では、自動負荷分散機能が確実に動作するように、「Distributed ResourceScheduler(DRS)」も使用されます。

Fujitsu Public

9 of 12© 2023 Fujitsu Limited

ベンチマークの概要 VMmark V3

バージョン: 1.2 / 2023-10-03

複雑な VMmark V3 ルールは、最適化と比較のための調整に限定されています。スコアを提出するときにはすべての変更を文書化する必要があります。
ディスクサブシステムについては、サイズおよび RAID レベルの論理的な設計だけでなく物理的な実装も含め、ルールに従って個別に構成および最適化することができます。ローカルディスクサブシステムは、仮想化および統合向けに適したソリューション
ではなく、VMmark V3 のディスクサブシステムは vMotion および Storage vMotion もサポートする必要があるため、SAN ベースのディスクサブシステムが使用されます。ディスクサブシステムのパフォーマンスは VMmark V3 スコアに直接影響し、ボトルネックが存在する場合は最適なスコアを達成できません。
また、各ホストシステムのメインメモリが VMmark V3 測定のボトルネックになるのを避けるため、使用するタイル数でホストレベルのスワップが発生しないように、適切な容量のメモリを搭載する必要があります。さらに、CPU およびネットワークリソースも稼動する VM の数およびそれらの負荷に合わせて調整する必要があります。
一般的に、VMmark V3 の対象となるような、複数のホスト、多数の仮想マシン、負荷の高いアプリケーションを使用し、異なるゲストオペレーティングシステムが混在する仮想化環境は、非常に複雑なシステムであり、すべてのコンポーネントの相互作用に依存します。ボトルネックに加え、過剰なリソースもまた、全体のスコアに悪影響を与える可能性があります。したがって、各ハードウェアプラットフォームに合わせて構成を変更および最適化する必要がありますが、具体的な情報は、PRIMERGY とPRIMEQUEST システムのパフォーマンスレポートや VMmark V3 ベンチマークのスコアレポートに記載されています。

Fujitsu Public

10 of 12© 2023 Fujitsu Limitedベンチマークの概要 VMmark V3

バージョン: 1.2 / 2023-10-03

関連資料
PRIMERGY & PRIMEQUEST サーバー
https://www.fujitsu.com/jp/products/computing/servers/
PRIMERGY のパフォーマンス
https://jp.fujitsu.com/platform/server/primergy/performance/
PRIMEQUEST のパフォーマンス
PRIMEQUEST 2000 シリーズ
https://www.fujitsu.com/jp/products/computing/servers/primequest/products/2000/benchmark/
PRIMEQUEST 3000 シリーズ
https://www.fujitsu.com/jp/products/computing/servers/primequest/products/3000/benchmark/
このホワイトペーパー
https://docs.ts.fujitsu.com/dl.aspx?id=e6f9973c-90d6-47c6-b317-e388a978bfb7
https://docs.ts.fujitsu.com/dl.aspx?id=3af72ee8-4663-4b3f-9658-295c308e164c
VMmark V3
https://www.vmware.com/products/vmmark.html
VMmark V2
ベンチマークの概要 VMmark V2
https://docs.ts.fujitsu.com/dl.aspx?id=a083d947-8a41-45d1-a112-8cd295595a95
vSERVCon
ベンチマークの概要 vServCon
https://docs.ts.fujitsu.com/dl.aspx?id=c3d5ce5d-5610-43c6-86b4-051549940a71
SPECvirt_sc2013
https://www.spec.org/virt_sc2013/

Fujitsu Public

11 of 12© 2023 Fujitsu Limitedベンチマークの概要 VMmark V3

バージョン: 1.2 / 2023-10-03

文書変更履歴版数

日付

1.2

2023-10-03

説明更新
・

1.1

2021-07-28

新 Visual Identity フォーマットに変更

更新
・

1.0

2018-03-20

お問い合わせ先情報、URL の更新

新規

お問い合わせ先
富士通株式会社
Web サイト: http://www.fujitsu.com/jp/
PRIMERGY のパフォーマンスとベンチマーク
mailto:fj-benchmark@dl.jp.fujitsu.com

Fujitsu Public

12 of 12© 2023 Fujitsu Limited