【徹底攻略塾】VMware Wednesday eXtra

VMware vSAN
Performance Deep Dive
ソフトウェアの進化でパフォーマンスも大幅進化！？

川満 雄樹
ヴイエムウェア株式会社
クラウドプラットフォーム技術統括部
2022年 3月 30日│ ©2022 VMware, Inc.

Agendaソフトウェアの進化でパフォーマンスも大幅進化！？
VMware vSAN Performance Deep DivevSAN HCI これまでの進化
vSAN IO の仕組みと性能影響
vSAN Performance
HCIBench を利用した vSAN IO 性能ベンチマーク
vSAN 6.7u3 vs vSAN 7.0.x Performance Update│ ©2022 VMware, Inc.

2

自己紹介
サーバー・ストレージ・データ保護系メインの物理・仮想化のインフラエンジニア

川満 雄樹（かわみつ ゆうき）
ヴイエムウェア 株式会社
クラウドプラットフォーム技術統括部
シニア HCI スペシャリスト

Dell Community@yuki_kawamitsu
vExpert 2015 - 2022

https://vexpert.vmware.com/directory/477

VMTN

業務外でのオンラインコミュニティの回答者活動（最近 VMTN 日本語フォーラムのモデレータを兼任）• VMware Technology Network (日本語フォーラム)https://via.vmw.com/EUZm• Dell Community (ストレージコミュニティ)https://via.vmw.com/EUZl│ ©2022 VMware, Inc.

3

【徹底攻略塾】VMware Wednesday eXtra : vSAN Deep Dive Series
https://japancatalog.dell.com/c/isg_seminar_vmware_webinar/
2022年 3月 30日（水） 16:00 - 17:00

本日のセッション

ソフトウェアの進化でパフォーマンスも大幅進化！？
VMware vSAN Performance Deep Dive
2022年５月 25日（水） 16:00 - 17:00 （予定）
「支える」アーキテクチャを理解してデザインを考える！
VMware vSAN Architecture Deep Dive
2022年７月 27日（水） 16:00 - 17:00 （予定）vSAN なら運用もこんなにシンプルに！GUI & CLI vSAN 運用詳細解説
VMware vSAN Management Best Practice & What's Next ?
│ ©2022 VMware, Inc.

4

vSAN 関連お奨め VMWorld 2021 ブレイクアウトセッション
vSAN の最新情報、最新機能のご紹介はこちら
VMware HCI の構成要素 ストレージデバイス

余剰を見ておく（監視する）べき CPU・メモリリソース

コスト、性能、容量の特性を理解して選ぶ
キャッシュとして利用するキャッシュデバイス

ストレージデバイス

データの保管のために利用するキャパシティデバイス

CPU サイジング（Max 80 % の考慮）
デバイス
Queue Depth• ドライブに組み込みコントローラを使用
N VMe

PCIe

20 % 程度の空きを考慮しておく(ReadyNode規定)• 性能観点のコスパが良い

ピーク時用のバッファNVMe

20 48 - 40 96• 認定デバイスの種類が多い
SAS SSD

SATA SSD• キャッシュ/ キャパシティの両方に使用可能
SAS (SSD/ HDD)

vSpherevSAN・NSX
等の Kernel 利用

SAS SSD

254•SATA(SSD/
認定デバイスの種類が多い
HDD)
32• 容量が大きい= GB単価が安い

kernel

VM

VM 用

システム負荷のピーク時に VM の
負荷と Kernel の負荷の合計が 80 %前後におさまるのがベスト

kernelkernelkernelkernel

VM

VM

VM

VM

SATA SSD

容量© 20 21 VMware, Inc.

18

安定性と性能向上の鍵はアップグレード！ あ
なたの知らない VMware vSAN の進化を徹底解説MC11108 (小佐野 舞 担当)
https://vmworld.jp/content/MC11108/│ ©2022 VMware, Inc.

メモリサイジング （N+X の考慮）

3D XPoint

256 or 512以上• IOCPUオーバーヘッドが少ない
コントローラ

NVMe​© 20 21 VMware, Inc.

ホスト障害時に HA で起動する VM やメンテナンス時の移行分の VM メモリリソースの余裕を確保する事が推奨（N+1や N+2 など可用性を考慮したサイジング）

46

VMware Cloud Foundation, VMware vSAN HCI イ
ンフラ設計 Deep DiveMC11110 (川満 雄樹 担当)
https://vmworld.jp/content/MC11110/
5

vSphere / vSAN オンラインセミナー #42

アセスメント&サイジングツールを活用した vSphere / vSAN 基盤サイジング手法

https://juku-jp.vmware.com/video/vsphere-vsan-os-042/│ ©2022 VMware, Inc.

6

vSAN HCI これまでの進化
vSAN の歴史ダイジェスト│ ©2022 VMware, Inc.

7

VMware vSAN これまでの進化2014 年 以来 VMware HCI のスタンダードとして日々進化するテクノロジー

vSAN
5.5

2014 / 03 ～

vSAN
6.0

2015 / 03 ～ストレージ基本機能•••

Hybrid vSANAll Flash vSAN
ポリシーベース管理

•

RAID1

│ ©2022 VMware, Inc.

vSAN
6.1

vSAN
6.2

vSAN
6.5

vSAN
6.6.x

vSAN
6.7.x

2015 / 09 ～2016 / 03 ～2016 / 11 ～2017 / 07 ～2018 / 4 ～ストレージオプション機能
•
•
•
•
•
•

重複排除 / 圧縮
RAID5 / 6vSAN 健全性モニタ
QoS
2 Node vSAN
Stretched Cluster

性能・安定性向上・運用機能
•
•
•
•
•
•
•
•

HTML5 Client / vROps 連携
Update Manager 連携
Container / Cloud Native AppsvSAN Support InsightvSAN 暗号化
Adaptive / Parallel Resync
デステージ 処理最適化
TRIM / UNMAP

8

VMware vSAN これまでの進化2014 年 以来 VMware HCI のスタンダードとして日々進化するテクノロジー

vSAN
6.7.x

vSAN
7.0

vSAN
7.0 u1vSAN
7.0 u2vSAN
7.0 u32018 / 4 ～2020 / 4 ～2020 / 10 ～2021 / 3 ～2021 / 10 ～

性能・安定性向上・運用機能
•
•
•
•
•
•
•
•

HTML5 Client / vROps 連携
Update Manager 連携
Container / Cloud Native AppsvSAN Support InsightvSAN 暗号化
Adaptive / Parallel Resync
デステージ 処理最適化
TRIM / UNMAP│ ©2022 VMware, Inc.

Cloud Native / Container Native
•
•
•
•
•
•

vSphere with Kubernetes
vSAN File Service
vSphere Lifecyle Manager
vSphere Replication 連携強化
Stretched Cluster 機能強化 (DRS・Resync )NVMe Hot Plug

7.x での機能をさらに強化
•

•
•
•
•
•
•
•
•

HCI Mesh 強化(Computing Only Cluster)vSAN File Service の拡張
vSphere Native キー管理による暗号化サポート
Encryption Key Persistence (TPM 2.0)
vSphere Lifecyle Manager 強化
パフォーマンス強化 (AMD CPU への最適化)
健全性履歴閲覧IO Trip Analyzer / Network Analyzer
vSAN Cluster Sequential Shutdown
9

vSAN IO の仕組みと性能影響
vSAN の性能を左右する考慮点とボトルネック解消のためのポイント│ ©2022 VMware, Inc.

10

vSAN IO の仕組みと性能影響

vSAN の性能を左右する考慮点とボトルネック解消のためのポイント
1. vSAN クラスタデザイン・ディスクグループ構成による性能への影響• 本日のセッションと次回のセッションで詳細解説
2. ネットワークはシンプルに構成、 MTU9000・広帯域・低遅延ネットワークの利用• 次回のセッションでクラスタデザインと併せて詳細解説

3. ドライブタイプ別の性能の違い• 本日のセッションで解説、次回のセッションでさらに詳細検証結果と共に解説
4. ストレージポリシーと性能の関係• 本日のセッションで性能検証結果含めて解説
5. より最新の vSAN バージョンほど性能を高く発揮• 本日のセッションで過去バージョンとの性能比較を解説│ ©2022 VMware, Inc.

11

必要なのはスケールアップ ？ スケールアウト ？
vSAN の性能特性を考える

基本の使われ方はクラスタ全体でのリソース負荷のバランシングです

DRS で VM の負荷分散

vSphere / vSAN Cluster

D

D

D

D

D

D

D

D

D

D

D
D

vSAN 自動リバランス(容量使用率基準)│ ©2022 VMware, Inc.

D

D

様々なサイズの VM が均等にクラスタ内に分散し、CPU・メモリ・ディスクのリソースを共有しあいながら消費する形が vSAN HCI にとって最も効率の良い使われ方となります• DRS 機能を有効にして VM の負荷に応じた配置自動制御を推奨• vSAN 自動リバランス（閾値ベース）は有効化した運用を推奨

12必要なのはスケールアップ ？ スケールアウト ？
モンスター VM をどうカバーするか？

特定の VM がストレージ IO 含めてリソース増大したらどうなるでしょう？
想定を超える高い IOPS や CPU・メ
モリを要求する VM や、1 ESXi に収
まりきらない大容量 VM の運用が必要な場合、解決方法として何が最適でしょうか？

vSphere / vSAN Cluster

D
D

D

D

D

D

D

D
D

D

D

D

D

D

標準の vSAN 構成（非重複排除）の場合は実
データはランダムに SSD に冗長配置されるので負荷インパクトはそこに集中してしまう│ ©2022 VMware, Inc.

13

必要なのはスケールアップ ？ スケールアウト ？
モンスター VM をどうカバーするか？

ESXi ホストを追加しスケールアウ
トでリソースを増強した場合、単純なスケールアウトではる対象
VM の IO が分散されるわけではな
いため、一か所集中した性能問題の解決は難しいDRS で VM の負荷分散

vSphere / vSAN Cluster

IO 特性の理解が重要• 基本的には物理 SSD の最大 IO 性能
D

D

D

D

D

D

D

D

D

D

D

D

D

D

以上を発揮させるのは難しい（ストライプなどの手法は利用可能）• ストレージポリシーで IO 制限を掛

特定の VM（VMDK ファイル）に集中した IO は vSAN のリバラン
スで負荷分散されるわけではないので注意│ ©2022 VMware, Inc.

vSAN 自動リバランス(容量使用率基準)

ける事も可能ですが、必要な IO を抑えつける事は根本的な解決とは
ならない

14

vSAN を構成するキャッシュ層とキャパシティ層の役割
キャッシュ/バッファ層とキャパシティ層からなる 2 層のシステム
All Flash vSAN
vSphereHybrid vSAN

vSAN

vSpherevSAN

AF vSAN と HY vSAN の違い• ハイブリッドでは、キャッシュ層の70% が読み取りキャッシュに割り当てられる• オールフラッシュでは、キャッシュバッファ =
100 %キャパシティ
ディスク
グループ

ディスク
グループ

│ ©2022 VMware, Inc.

バッファ =
30 %キャッシュ =
70 %

層全体が書き込みバッファに割り当てられる (デステージ前の書き込
みバッファデータも読み取り取得可能)

キャパシティ

書き込みは、バッファに到達した
ときに仮想マシンに確認応答が返され、その後に順次キャパシティにデステージされる

ディスク
グループ

ディスク
グループ

15

ドライブ選定と vSAN 性能の考慮点
ワークロード要件に合わせたモデル選定① VM の IO 性能に大きく響くのがキャッシュドライブの Max IO
性能と耐久性vSphere① キャッシュド
ライブの性能② キャパシティドライブの考慮で

RAID1

RAID1

vSAN

RAID0

RAID0

重要なのが沢山の VM の同時 IO（並列 IO）を受ける処理能力があるか否か、Queue Depth の値に要注意③ 単一ドライブ以上の性能を求め② キャパシティ
ドライブの性能D│ ©2022 VMware, Inc.

D1

D

D2

D1

D2

る際にはストライプのポリシー
で IO の分散が効果的※ RAID ポリシーの違いによる性能の違いは後述の検証結果参照③ ストレージポリ
シーによる制御・特性

16

vSAN ドライブ・ディスクグループ構成

着目すべきはドライブの "耐久性" とインターフェースタイプ
NVMe SSD :高性能・高耐久
DWPD : 10 ~ 30

キャッシュ層ドライブ

NVMe

SAS SSD :容量・コスト重視
DWPD : 1 ~ 3

NVMe

SAS SSD :性能・耐久性DWPD : 3 ~ 10

SAS SSD

SATA SSD :容量・コスト重視
DWPD : 1 ~ 3
SAS SSD

SATA SSD

キャッシュ層ドライブの推奨値• キャッシュ層ドライブは耐久性（TDW・DWPD）で容量を計算※ 毎日の書き込み容量に対する耐久性でサイジング

HDD– 10 DWPD 以上の耐久性の Write

キャパシティ層ドライブ

Intensive (WI) クラス SSD を推奨– 3 ~ 5 DWPD の Mix Use (MU) クラス

ALL NVMevSAN

NVMe + SAS
AF vSANSAS + SASAF vSAN• 高 IOPS• 高 IOPS• 高 IOPS

• 低遅延

• 低遅延

• コスト 高(性能重視)• コスト 中↑(容量重視)• コスト 中(バランス)

性能重視

SAS or NVMe
+ SATAAF vSAN• 中 IOPS• コスト 中↓(容量重視)の SSD の場合は容量を多めにサイジ
ングSAS + HDD
HY vSAN• 低 IOPS• コスト 低(容量重視)• HY vSAN ではキャパシティ容量の10% の容量でサイジング※ DWPD (Drive Writes Per Day) : 5 年間
SSD の全容量を 1 日何回上書する事が可能か耐久性を示す指標

容量・コスト重視•│ ©2022 VMware, Inc.

例 : 10 DWPD = 1 日 10 回全データを書き換えても5年間書き込める耐久性
17

参考

vSAN HCL から確認するデバイス性能
https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan① カテゴリ : vSAN

② 初期画面は vSAN Ready
Node HCL④ ドライブや IO コントローラ型番毎のHCL 認証状況を確認可能③ デバイス毎の HCL 詳細確認は「認証コンポーネントを基盤とした構築」をクリック│ ©2022 VMware, Inc.

18

参考

vSAN HCL から確認するデバイス性能

vSAN HCL 認証済みデバイスの IO 性能指標は必ずチェック

耐久性クラス D 以上なので高い負荷の
All Flash vSAN のキャッシュで利用可能

400GB の SSD で 7,300TBW の耐久性なので変換すると 10 DWPD
※ 7,300 TBW / (0.4 TB x 365 x 5) = 10
DWPD

※ TBW は 以下の公式で DWPD に変換可能（5年製品保証の場合）
TBW (Terabytes Written) = Drive Size x DWPD x 365 x 5
DWPD (Drive Write Per Day) = TBW / (Drive Size x 365 x 5)
│ ©2022 VMware, Inc.

SAS インターフェースであることが分かる ※ インターフェースタイプは Queue
Depth の把握に必須

パフォーマンスクラス E なので、SSD 1
本あたり 30,000 IO 以上の性能が最大で発揮可能

各 ESXi バージョン毎にサポートされるファーム
ウェアバージョン、ドライババージョンが確認可能 (IO コントローラの場合)
19

参考

vSAN ハードウェア クイック リファレンス ガイド
https://www.vmware.com/resources/compatibility/vsan_profile.html
SSD パフォーマンス クラス

1 秒あたりの書き込み数

SSD 耐久性 クラス

SSD 層

書込耐久性 (TBW)

B

5,000 - 9,999

A

VSAN All Flash - Capacity

365C

10,000 - 19,999

B

VSAN Hybrid - Caching

1825

D

20,000 - 29,999

C

3650

E

30,000 - 99,999

VSAN All Flash - Caching for
Medium workloads

F

100,000 - 349,999

D7300 +

G+

350000 +VSAN All Flash - Caching forHigh workloads※ vSAN ハードウェア クイック リファレンス ガイド では
vSAN Ready Node の定義、構成の考慮点の詳細が解説されています。
各 SSD ドライブに定義された性能・耐久性指標もここで確認が可能です。

│ ©2022 VMware, Inc.

DWPD レベル

SSD タイプ

用途

1

Read Intensive(読込特化)

キャパシティ

3~5

Mix Useキャパシティ
キャッシュ (HY vSAN)

10 ~Write Intensive(書込特化)

キャッシュ (AF vSAN / HY vSAN)

30 ~Write Intensive(超書込特化)

キャッシュ (AF vSAN / All NVMe)
20

vSAN ドライブ選定時の注意点 : インターフェースのキュー深度

キュー深度 (Queue Depth : QD) : IOPS・スループット 以外にも IO 性能を左右する重要な指標

Queue Depth

NVMe

PCIe

HBA ( RAID カード /PathThrough カード )SAS SSD

SATA SSD

SAS HDDSATA HDD│ ©2022 VMware, Inc.

NVMe デバイスは規格上は最大 Queue Depth : 65,535 (64k) 、さらに Queue そのものも 64k 個で並列処理に強い従来 SCSI コマンドと比べシンプルな IO 処理で、HBA を経由せず PCIe ダイレクトに IO を処理するので低遅延・高 IOPS を実現可能。近年は 3DxPoint SSD など超高耐久、高性能デバイスが登場※ 実際の ESXi での Max Queue は製品・ドライバにより異なるが 2048 ~ 4096 などで設定される事が多く、esxcli コマンドで確認可能
vSAN Ready Node の規定は 512 以上の QD を持つ
2021 年時点の各社 HBA の性能は 1,024 / 2,048 / 4,096 / 9,000 以上 など、かなり高い性能を持つものが多い

主流の SAS は デバイス IF 辺りの Queue は 1 つ、 Queue Depth は 254
4000 以上の QD を持つ HBA であれば、16個 以上のドライブを搭載しても十分に性能を発揮する事が可能

SATA は デバイス IF 辺りの Queue は 1 つ、 Queue Depth は 32
多数の仮想マシンが集約され、多くの並列 IO が発行される環境では最終的な SATA キャパシティドラ
イブの QD の浅さがボトルネックになるリスクがあり、サイジングには注意が必要

PoC 貸出機の SATA 構成や価格勝負になって突っ込んだ SATA 構成での性能問題多発 ！
21

どこが IO のボトルネックになるかを考慮する

仮想マシン ⇔ キャッシュ層ドライブ ⇔ キャパシティ層ドライブ間の IO 密度のイメージ

HBA / IO
Controller

SAS SSDSAS SSDSAS SSD

SATA SSD

SAS + SAS vSAN

SAS + SATA vSAN

キャッシュ層ドライブ

SAS SSD

ALL NVMe vSAN

NVMe + SAS vSAN

キャパシティ層ドライブ※ この図は説明のためのイメージであり、実際の IO は各ドライブから HBA・PCIe 介して双方向通信なのでさらに複雑です│ ©2022 VMware, Inc.

22

キャパシティの分散・複数ディスクグループ構成の推奨
多数の並列した仮想環境の IO 性能を考慮した分散デザインの推奨安定した IO
高 IO 低遅延 重視

コスト重視

SAS SSDSAS SSDSAS SSDSAS SSDSAS SSD

800GB

800GB

800GB

400GB

400GB

SATA SSD

SATA SSD

SAS SSDSAS SSDSAS SSD

1.92TB x 4本

1.92TB x 4本

1.92TB x 2本

1.92TB x 2本

Disk Group 1

Disk Group 1

Disk Group 1

Disk Group 2

キャッシュ層ドライブ

キャパシティ層ドライブ

7.68TB x 1本

Disk Group 1

vSAN の IO 劣化（キャッシュ枯渇）はドライブの IO 性能（Queue Depth）が低い場合に発生する傾向が高く、QD：32の SATA ドライブではなく QD：254の SAS ドライブを並列にした構成でバッファ溢れによる性能低下を起こりにくくすることが可能│ ©2022 VMware, Inc.

23

① 性能強化にスケールアップが適切な例
モンスター VM を適切な設計で制御、再配置する事がポイント
ドライブ・ディスクグループ増設

高性能・大容量デバイスの利用

特定用途向けストレージの併用

vSphere / vSAN Cluster

vSphere / vSAN Cluster

vSphere / vSAN Cluster

D1

D2

D1

D

D2

D

D

•
•

ディスクグループ増設は IO の分散に有効に働き、ストライプ設定をする事で高 IO に対応も可能
ノード増設不要なのでライセンスの追加コストは発生しません│ ©2022 VMware, Inc.

••

超高 IO VM での利用がメインとなる
場合は 3DxP NVMe ドライブの利用などで高パフォーマンスvSAN 基盤を組むことが可能
ワークロードに合わせたクラスタ設
計が重要•

特定の超高 IO VM 向けに専用の外部ストレージを利用する、逆にほとん
ど IO を必要としない大容量アーカ
イブ用途で外部のアーカイブスト
レージを利用する等、vSAN クラス
タは外部ストレージの併用で適材適所の利用が可能24

② 性能強化にスケールアウトが適切な例

一般的な仮想化基盤では徐々に稼働するシステム（VM）が増加する

vSphere / vSAN Cluster

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

│ ©2022 VMware, Inc.

多くのシステムでは導入後に徐々に稼働 VM が増加し、システム全体のリソース利用率
も CPU・メモリ・ストレージそれぞれで増加する

25

② 性能強化にスケールアウトが適切な例

リソース追加に伴い、CPU・メモ
リ・ディスクのそれぞれのリソー
スが逼迫した場合は性能低下につながるリスクがある

vSphere / vSAN Cluster

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

│ ©2022 VMware, Inc.

稼働 VM が当初想定より大幅に増えすぎた場合は ESXi ホストのリソースが逼迫し、稼働 VM の性能低下やそれ以上の VM の起動が不可になる場合もこれは健全な状態とは言えないので ESXi ホストの増設が必要と
なります

26

② 性能強化にスケールアウトが適切な例
リソース需要に合わせてESXi ホストを追加、クラスタをスケールア
ウトする事で、vSAN データストア
も自動で拡張、分散される

vSphere / vSAN Cluster

vDS の設定、vSAN ディスクグ
ループの組み込みなどの一連の作業をウィザード形式の GUI でシンプルに操作可能

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

│ ©2022 VMware, Inc.

vCenter vSphere Client の「クラスタクイックスタート」機能を利用して ESXi ホストの一括増設

27

② 性能強化にスケールアウトが適切な例
DRS で VM の負荷分散
ESXi ホスト増設後は vSphere DRS（CPU・メモリ利用率基準） による稼働 VM の自動負荷分散と、
vSAN 自動リバランス（容量利用率閾値基準）による負荷分散・
データ再配置を実施

vSphere / vSAN Cluster

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

D

vSAN 自動リバランス(容量使用率基準)│ ©2022 VMware, Inc.

手作業を極力排除し、自動化で
インフラ運用を最適化

コンピュートリソースもストレージリソースも利用状況に応じて均等に分散する事で性能・可用性
も向上する

28

vSAN HCI に向く用途、向かない用途

vSAN の性能特性を考えてワークロードを適材適所で配置する事が重要

HCI に向く用途

HCI に向かない用途

インフラ全体で比較的均等なリソース要求

極端なアンバランスワークロード• vSAN クラスタ全体に VM とデータを分散し均等にIO を捌く事で vSAN の性能は最大限発揮• ストレージ容量、IO と CPU、メモリの要求をクラスタ全体でバランスさせて運用

低遅延・高 IO を全体的に要求する環境• IO は In-Kernel 処理のためオーバーヘッドが最小で処理• 特定 VM のみが大容量・超高 IO を要求する環境• 1 VM の容量が 1 ESXi に搭載されるディスクグループ

容量を大幅に超える大容量• 殆ど IO を必要としないデータアーカイブ用途

定期的なインフラのバージョンアップが NGな環境• 健全なライフライクル運用、既知の不具合リスク回避のために定期的なバージョンアップを強く推奨• 多数の vSAN 認証取得済みのドライブから性能要件に適した構成で導入可能│ ©2022 VMware, Inc.

– VM Service を停止せず ESXi ホストのローリングアップデー

トを vLCM で実施するのでバージョンアップ時の VM 停止
は通常は不要29

vSAN Performance│ ©2022 VMware, Inc.

30

HCIBench を利用した
vSAN IO 性能ベンチマーク
標準的な AF vSAN 4ノード構成での性能評価
vSAN HCI の最新性能情報の一例を紹介します※ vSAN 6.7u3 → 7.0u2 & 7.0U3 での遅延と IOPS 傾向│ ©2022 VMware, Inc.

31

どんなストレージ性能検証ツールを使っていますか？
IOMeter ? FIO ? VDbench ? CrystalDiskMark ?

VDbenchCrystalDiskMark
https://crystalmark.info/software/C
rystalDiskMark/indexe.html#Summary

主に単体 Windows
でお気軽に IO 性能測定可能なツール

IOMeterfio

http://www.iometer.org/

https://github.com/axboe/fio/

http://www.oracle.com/technetwo
rk/server-storage/vdbenchdownloads-1901681.html

1998年リリースの老舗の IO 負荷計測
ツール

ベンチマークの他ス
トレステストやハー
ドウェアチェックにも使われるツール

高機能な IO ベンチ
マークツールで詳細
オプションで様々な負荷をシミュレート

HCIBenchhttps://flings.vmware.com/hcibenchvSphere 基盤のストレージ向けに特化したツール
fio・VDbench をワーカーとして自動レポート化│ ©2022 VMware, Inc.

32

HCIBench とは？

VMware Flings で公開されている無償のストレージ負荷テストツール
https://flings.vmware.com/hcibench

HCIBench は VMware Flings で無償公開されている vSphere 環境
で VDbench や FIO を用いたストレージ負荷テストのジョブ作
成・実施・レポート化するツールです。
vSAN など HCI に限らず、従来の外部ストレージを利用したデータストアでも同条件で検証可能なのでぜひお試しください。
※ 使い方については次頁参照│ ©2022 VMware, Inc.

33

HCIBench を利用した詳細検証の実施方法

IO のトップスピードよりそこに至るまでの IO 遅延から傾向を把握する事が重要2019年に検証方法を整理して公開していますので、「ストレージ検証を実施したいがどうするのがベス
トか分からない」といったときの参考にしていただ
けると幸いです• HCIBench を利用したベンチマークテストのポイ
ントと効率化（1）https://kwmtlog.blogspot.com/2019/05/hcibenchperformance-test-tips1.html• HCIBench を利用したベンチマークテストのポイ
ントと効率化（2）https://kwmtlog.blogspot.com/2019/06/hcibenchperformance-test-tips2.html│ ©2022 VMware, Inc.

34

ストレージ性能検証のポイント
高 IO 負荷を掛ければ良しというものではなく、正しい想定負荷を安定して処理するかを検証
最大瞬間性能の計測はあまり意味がない。性能検証で何のためのデータを取りたいのかを明確に！

IOPS・Throughput

Latency

System Usage

Assumption

ストレージの性能の重要な指標だが他の指標・条件との照らし合
わせ比較が必須

低遅延で処理が捌けるほど優秀。負荷パターン※1 にもよるが、1ms~ 2ms 以内の応答時間が理想

性能が良くてもコント
ローラの限界ギリギリの負荷では常用に耐えられないので、必ず負荷の余裕を確認する

検証結果から想定する利用率、ワークロードのパターンを定義し、サイジング設計に活用│ ©2022 VMware, Inc.

※1 : IO Block サイズが大きい場合やバックアップ処理など Sequential IO の傾向が多い場合は遅延より Throughput を重視

35

ストレージ性能検証のポイント
高 IO 負荷を掛ければ良しというものではなく、正しい想定負荷を安定して処理するかを検証
最大瞬間性能の計測はあまり意味がない。性能検証で何のためのデータを取りたいのかを明確に！

IOPS・Throughput
ストレージの性能の重要な指標だが他の指標・条件との照らし合
わせ比較が必須│ ©2022 VMware, Inc.

多くの製品紹介や性能アピール資料、構成サイジ
ングツールでは IOPS や Throughput がアピールされ、本質的なストレージ性能の誤解が生じ易い
Latency

System Usage

Assumption

低遅延で処理が捌けるほど優秀。負荷パターン※1 にもよるが、1ms~ 2ms 以内の応答時間が理想

性能が良くてもコント
ローラの限界ギリギリの負荷では常用に耐えられないので、必ず負荷の余裕を確認する

検証結果から想定する利用率、ワークロードのパターンを定義し、サイジング設計に活用※1 : IO Block サイズが大きい場合やバックアップ処理など Sequential IO の傾向が多い場合は遅延より Throughput を重視

36

ストレージ性能検証のポイント
高 IO 負荷を掛ければ良しというものではなく、正しい想定負荷を安定して処理するかを検証
最大瞬間性能の計測はあまり意味がない。性能検証で何のためのデータを取りたいのかを明確に！

特定の負荷を余裕をもって提供できる事が重要IO 負荷が健全な
IOPS・Throughput
状況で捌けていストレージの性能の重るか？
要な指標だが他の指標・条件との照らし合
わせ比較が必須│ ©2022 VMware, Inc.

Latency

System Usage

Assumption

低遅延で処理が捌けるほど優秀。負荷パターン※1 にもよるが、1ms~ 2ms 以内の応答時間が理想

性能が良くてもコント
ローラの限界ギリギリの負荷では常用に耐えられないので、必ず負荷の余裕を確認する

検証結果から想定する利用率、ワークロードのパターンを定義し、サイジング設計に活用※1 : IO Block サイズが大きい場合やバックアップ処理など Sequential IO の傾向が多い場合は遅延より Throughput を重視

37

ストレージ性能検証のポイント
高 IO 負荷を掛ければ良しというものではなく、正しい想定負荷を安定して処理するかを検証
最大瞬間性能の計測はあまり意味がない。性能検証で何のためのデータを取りたいのかを明確に！

ストレージの性能特性と顧客環境の
IOPS・Throughput
Latency
System Usage
IO 特性の双方を把握して適切なサイジングを行う事が重要
ストレージの性能の重低遅延で処理が捌ける
性能が良くてもコント要な指標だが他の指ほど優秀。負荷パター ！！
ローラの限界ギリギリ
特にアセスメントは必須※1
標・条件との照らし合
わせ比較が必須│ ©2022 VMware, Inc.

ン にもよるが、1ms~ 2ms 以内の応答時間が理想の負荷では常用に耐えられないので、必ず負荷の余裕を確認する

Assumption
検証結果から想定する利用率、ワークロードのパターンを定義し、サイジング設計に活用※1 : IO Block サイズが大きい場合やバックアップ処理など Sequential IO の傾向が多い場合は遅延より Throughput を重視

38

vSAN 6.7 vs vSAN 7.0
Performance Update
最新版でさらに高性能となった
vSAN 性能検証の結果報告│ ©2022 VMware, Inc.

39

ベンチマーク試験環境 概要
今回はかなりスモールスタート構成(1CPU・1DG・4Node)で実施
vCenter : 7.0 U2, 17958471【利用ハードウェア】 ： DELL PowerEdge R640 * 4 Node•CPU Xeon 6138 : 2.0 GHz 20 core * 1 socket•
Mem 96GB （16GB * 6）•
2port 10G BASE-T•
Boot領域 M.2 PCIe接続 SSD （DellBOSS）•
キャッシュSSD : PX05SMB040Y(10 DWPD) 400GB * 1本
キャパシティSSD : MZILS1T9HEJH0D3 (1 DWPD)1.92TB * 2本

HCIBench : 2.5.3
VDBench : 5.04.07
vSphere Cluster

vmdk
vmdk
vmdk

60GB
* 8 vDisk

vmdk
vmdk
vmdk

vmdk
vmdk
vmdk

vmdk
vmdk
vmdk

vmdk
vmdk
vmdk

vmdk
vmdk
vmdk

vmdk
vmdk
vmdk

vmdk
vmdk
vmdk

vSphere Cluster

vSAN DataStore【重要】負荷試験時は実際の利用量を想定した領域に均等に負荷を掛ける事（実効容量の 60% ~ 80% が一般的）│ ©2022 VMware, Inc.

40

ストレージ負荷試験のシナリオ・グラフの解説
ストレージ負荷を徐々に増加させた際の IO 遅延の推移を計測、安定（低遅延）域を確認
IO パターン（ RAID タイプ・ IO
サイズ・R:W 比）
比較

右軸 : IO 遅延 (ms)
※ 折れ線グラフ
重複排除無効何 IOPS 計測した時にどの程度の IO遅延だったかを確認します

次頁以降で紹介する vSAN データス
トアベンチマークテスト結果の読み方棒グラフ（IOPS）• 左から徐々に IO 負荷を増加させな

がらパターン試験を実施
その際に計測される IO 遅延を計測

折れ線グラフ (IO 遅延)• 指定の IOPS をベンチマークツール

で負荷掛けした際の IO 遅延
遅延が増加する (過負荷になる)
IOPS を見極める

縦軸 : IOPS（計測値）※棒グラフ
横軸 : IOPS (負荷設定値)│ ©2022 VMware, Inc.

バージョンや構成を変えて同じ負荷
パラメータの結果を重ねて比較※ VMware の性能情報公開ポリシーの関係で詳細 IOPS 値はマスクしての公開と
なります。
41

vSAN 7.0 ではアルゴリズム改善による大幅な性能向上を実現

同一ハードウェア利用時における vSAN 6.7u3 と vSAN 7.0u2 性能比較（重複排除無効時）
比較

延を
最大

│ ©2022 VMware, Inc.

では
する
も

重複排除無効比で以下の低遅値がより高いレベルまで向上
以上の増加

42

vSAN 7.0 では特に重複排除有効時の性能向上効果が顕著

同一ハードウェア利用時における vSAN 6.7u3 と vSAN 7.0u2 性能比較（重複排除有効時）
比較

重複排除有効以下の低い遅延で動作する限界がでは大幅に改善され、重複排除無効時と同等レベルに向上│ ©2022 VMware, Inc.

43

vSAN 保護レベルとデータ配置の違いによる性能差

ホスト障害・デバイス障害からの回避のため複数の ESXi ホストにデータを冗長配置
MirrorErasure Coding

FTT1
D

D

W

D

D

D

W

W

D

D

D

D

W

D1

D2

D3

P1

D1

D2

D3

D4

FTT2
P1

P2

FTT3

│ ©2022 VMware, Inc.

W

W

D

データ コンポーネント

W

ウィットネス コンポーネントP

パリティデータ※ 固定パリティではなく分散されたデー
タコンポーネントに含まれます

44

vSAN 保護レベルとデータ配置の違いによる性能差
RAID5 / RAID6 構成時の Write Penalty について
RAID5 の場合

RAID6 の場合
1 回の書き込み処理における実際の IO 数は？

D

D1

D2

D3

RAID5 時はWrite Penalty 4

D1

D2

D3

D1

P

D

P

P

D

D2

RAID6 時はWrite Penalty 6

D1

D3

D4

D

D2

D3

D4

P1

P2

P

P

P1

P2

※通常のストレージと同様に Erasure Coding 利用時はパリティ計算分の IO が増加※ IO 性能要件、容量要件に合わせて VM 毎にストレージポリシーを選択して適材適所のデータ配置で運用することが vSAN のベストプラクティス│ ©2022 VMware, Inc.

45

RAID1 (ミラー) vs RAID (イレージャーコーディング) の性能比較

容量効率と性能はトレードオフだが、限界性能を求めない環境では RAID5/6 は有効な選択肢、などのイレージャーコーディング利用
時はの分、書込遅延が増加するため、の上限も抑えられてる、
利用時は利用時より性能限界が低い事に注意が必要│ ©2022 VMware, Inc.

47

性能劣化のトレードオフ無しで利用可能な容量削減機能
お勧めは vSAN 7.0u1 から実装された「圧縮のみ」機能の利用
比較 重複排除無効

圧縮のみ

重複排除有効環境では重複排除、圧縮のみの有効時・無効時でそれぞれの性能差がほ ない事が確認できる│ ©2022 VMware, Inc.

※ 重複排除有効時、圧縮のみ有効時はデータ削除時の排出処理があるため、頻繁にデータ削除が繰り返される環境では導入
後は SSD IO 性能の監視を行い、排出処理の IO 影響がない事を確認してください。

48

vSAN7.0u2 での vSphere NKP を利用した暗号化と性能の関係
外部 KMS を利用しない vSphere NKP で十分な性能を確認
比較 暗号化有効無効

重複排除無効

暗号化を有効にした場合は 遅延の上 が無効時より低いで起きる事が確認できます
限界性能は十分高いのでを利用した暗号化は非常に 力的な機能です│ ©2022 VMware, Inc.

49

暗号化有効時は「重複排除」や「圧縮のみ」を利用したほうが高性能
暗号化処理を実行するデータが削減される事が影響していると考えられる
比較 暗号化有効時 重複排除無効

圧縮のみ

重複排除有効環境で暗号化を有効にした
場合、重複排除や圧縮のみを有効にした方が高いを出せる事が確認できます
遅延が上 する遅延はほ 同じため、サイジング時はこの値を考慮する事が重要│ ©2022 VMware, Inc.

50

実機性能検証から見えてきたポイント1.

新しい vSAN バージョンでは機能だけでなく性能も大幅に UP

2.

重複排除、暗号化などの機能も利用しやすく、大幅に安定化

3.

vSAN は物理ドライブの性能をかなり限界まで引き出せるので、汎用的なドライブの組み合わせで外部ストレージ構成よりはるかに低遅延な IO を提供可能

4.

2CPU 構成、複数ディスクグループ構成で Max 性能を引き出す場合は 25GbE + JumboFrame 利
用 が推奨※ 特に高 IO 高スループット環境では高い帯域のネットワークを強く推奨→ ネットワークの推奨デザインは次回詳細解説します5.

次回セッションではさらに高性能、All NVMe vSAN を利用したらどのくらいの IO 性能が得られるのか実機検証を元に詳細解説します│ ©2022 VMware, Inc.

51

【徹底攻略塾】VMware Wednesday eXtra : vSAN Deep Dive Series
https://japancatalog.dell.com/c/isg_seminar_vmware_webinar/
2022年 3月 30日（水） 16:00 - 17:00
ソフトウェアの進化でパフォーマンスも大幅進化！？
VMware vSAN Performance Deep Dive
2022年５月 25日（水） 16:00 - 17:00 （予定）

次回ご期待ください「支える」アーキテクチャを理解してデザインを考える！
VMware vSAN Architecture Deep Dive
2022年７月 27日（水） 16:00 - 17:00 （予定）vSAN なら運用もこんなにシンプルに！GUI & CLI vSAN 運用詳細解説
VMware vSAN Management Best Practice & What's Next ?
│ ©2022 VMware, Inc.

52

Thank You│ ©2022 VMware, Inc.