【徹底攻略塾】VMware Wednesday eXtra

VMware vSAN
Architecture Deep Dive
「支える」アーキテクチャを理解してデザインを考える！

川満 雄樹
ヴイエムウェア株式会社
クラウドプラットフォーム技術統括部
2022年 5月 25日│ ©2022 VMware, Inc.

Agenda「支える」アーキテクチャを理解してデザインを考える！
VMware vSAN Architecture Deep DivevSAN の基本構成の復習
ストレージ IO (入出力) 性能とは？

vSAN 内部 の仕組み
vSAN モジュール構造・プロセス
vSAN の IO フローvSAN 内部メトリクスの可視化
Appendix
2021年後半 ~ 2022年前半 HCI 関連 VMware Webinar 紹介│ ©2022 VMware, Inc.

2

自己紹介
サーバー・ストレージ・データ保護系メインの物理・仮想化のインフラエンジニア

川満 雄樹（かわみつ ゆうき）
ヴイエムウェア 株式会社
クラウドプラットフォーム技術統括部
シニア HCI スペシャリスト

Dell Community@yuki_kawamitsu
ykawamitsu@vmware.com
vExpert 2015 - 2022

https://vexpert.vmware.com/directory/477

VMTN

業務外でのオンラインコミュニティの回答者活動（最近 VMTN 日本語フォーラムのモデレータを兼任）• VMware Technology Network (日本語フォーラム)https://via.vmw.com/EUZm• Dell Community (ストレージコミュニティ)https://via.vmw.com/EUZl│ ©2022 VMware, Inc.

3

【徹底攻略塾】VMware Wednesday eXtra : vSAN Deep Dive Series
https://japancatalog.dell.com/c/isg_seminar_vmware_webinar/
2022年 3月 30日（水） ※ 開催済み
ソフトウェアの進化でパフォーマンスも大幅進化！？
VMware vSAN Performance Deep Dive
2022年５月 25日（水） 16:00 - 17:00

本日のセッション「支える」アーキテクチャを理解してデザインを考える！
VMware vSAN Architecture Deep Dive
2022年７月 27日（水） 16:00 - 17:00 （予定）vSAN なら運用もこんなにシンプルに！GUI & CLI vSAN 運用詳細解説
VMware vSAN Management Best Practice & What's Next ?
│ ©2022 VMware, Inc.

4

vSAN の基本構成の復習│ ©2022 VMware, Inc.

5

VMware HCI の構成要素 : ソフトウェア

vCentervSphere環境の統合管理(複数のESXi を一元的に管理)

ESXi / vSAN

サーバ仮想化ソフトウェア/ ストレージ仮想化ソリューション

OptionvRealize Operations

vSphere環境の統合監視を実現するソフトウェア

vRealize Log Insight
Optionサードパーティソフトウェア(ハードウェアプラグイン等)│ ©2022 VMware, Inc.

ハードウェア管理を vCenter と連携するために使用

6

VMware HCI の構成要素 : ハードウェア
汎用 IA サーバベースのストレージ仮想化によりコストとリードタイムを最小化

CPU
メモリ

一般的な x86 サーバ
vSphere ESXi をインストールし、仮想環境を提供

NIC

ストレージコントローラ

ストレージデバイス

サーバに内蔵されるSAS HBA、RAIDコントローラを使用
RAID 0 またはパススルーで利用するキャッシュとして利用するキャッシュデバイス
データの保管のために利用するキャパシティデバイス

ハードウェア互換性リスト(HCL)に記載されている必要あり│ ©2022 VMware, Inc.

7

汎用 ドライブ（SSD・HDD）を利用した分散ストレージテクノロジ
通常の vSphere と同様、vCenter に統合された シンプル運用を実現

vCenter と ESXivSAN は ESXi kernel 組み込みの機能として実装
vCenter で一元管理

vCSA

vCenter

クラスタ

ESXi

ESXi

ESXi

クラスタ と データストア
1 クラスタあたり
1 vSANデータストアで構成

ESXi

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

ディスクグループvSAN データストア│ ©2022 VMware, Inc.

他社 HCI と異なり 1本毎に vSAN FS で構成。vSphere と相性のよい Software
Defined Storage は カーネル組み込み型

ディスクグループ
1 ディスクグループあたり、1本のキャッシュと、7本までのキャパシティドライブを実装
最大で5ディスクグループまで構成可能（合計40本）

9

汎用 ドライブ（SSD・HDD）を利用した分散ストレージテクノロジ
通常の vSphere と同様、vCenter に統合された シンプル運用を実現

vSAN はポリシーベースで仮想マ
シン・仮想ドライブの冗長性・性
能値・容量予約などのストレージ設定を適用し、データを分散配置

vCSA

Mirror FTT 1(RAID 1)vCenter

Erasure Coding FTT 1(RAID 5)ミラーリング

クラスタ

ESXi

ESXi

ESXi

ESXi

• 仮想ドライブ（VMDKファイル）を異なるホストに冗長配置するポ
リシー。RAID 1 相当の動作

イレージャーコーディング• 仮想ドライブをパリティデータを含めて複数配置するポリシー。
RAID 5/6 相当の動作

ディスクグループvSAN データストア│ ©2022 VMware, Inc.

10

汎用 ドライブ（SSD・HDD）を利用した分散ストレージテクノロジ
通常の vSphere と同様、vCenter に統合された シンプル運用を実現

vSAN では「仮想マシン・仮想ドライブ」毎にポリシーベースで
データ配置を制御し、クラスタ全体にデータを分散配置

vCSA

vCenter

VMデータの分散配置の利点

クラスタ

ESXi

ESXi

ESXi

• カーネル組み込みの vSAN と高

ESXi

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

ディスクグループ速・低遅延のバックエンドネット
ワークとの組合せは、
vMotion・DRS・リソースプール
運用など vSphere が持つリソース
最適化機能との高い親和性を提供

vSAN データストア│ ©2022 VMware, Inc.

11

ストレージ IO (入出力) 性能とは？

│ ©2022 VMware, Inc.

12

ストレージの IO (入出力) 性能に関連する様々な重要指標

IOPS ?

SAS ? SATA ?
NVMe ?
Write
Penalty ?

Queue ?

│ ©2022 VMware, Inc.

IO 遅延 ?

Read / Write
比率 ?

スループット ?
IO サイズ ?
Random ?
Sequential ?

NVMe ?
SSD ? HDD ?

一般的にストレージの性能指標というと IOPS やスループットなどが着目さるが、「どんな IO 条件下
での IOPS・スループットか？」という前提条件が無い事が多く、IOPS・スループットに関わる重要な指標である IO サイズや、入出力の Read / Write 比率などが不明な場合、「必要とする性能を満たしていな
い」性能値かもしれません
まずはそれぞれの指標の関連性をお伝えします13

IO サイズとは？
OS やアプリケーション、ストレージが一回の入出力でやり取りするデータ IO サイズの単位
頻繁なトランザクションが小さな IO サイズで行われるシステム、
データバックアップやストリーミング系配信システムの様に一つの大きなファイルに大きな IO サイズで入出力されるシステムなど
アプリケーションの用途によって IO サイズは異なる

4KB

8KB

16KB

32KB

64KB

128KB

ポイント : 性能試験を行う際には実際の IO サイズを想定した負荷シナリオが重要│ ©2022 VMware, Inc.

14

IO サイズとは？
OS やアプリケーション、ストレージが一回の入出力でやり取りするデータ IO サイズの単位
データ IO のサイズはデータをやり取りするレイヤでそれぞれ異なるサイズに調整されます
例えば、アプリが 16KB で送るデータを OS がファイルシステムに書き込む際には 8KB 単位で書き込み、さらにストレージ側ではドライブに格納する際に 4KB 単位に分割する、等
逆に細かい IO サイズのデータを複数まとめて大きな IO サイズにして処理する場合もあります【データ IO サイズ遷移の例】
Storage

4KB

4KB

4KB

Operating System

4KB

8KB

8KB

16KB

Application※ アプリケーションやサービスの要件でストレージの要件を定義する際は、アプリケーションの IO
要件を明確にすることが重要
特に性能検証が実施できる場合はこの IO 条件を変化させてベンチマークテストする事を推奨

FileSystem│ ©2022 VMware, Inc.

15

IOPS と Throughput (スループット) とは？
1秒間のデータ入出力の回数と、1秒当たりのデータ転送量
IOPS とは Input Output Per Second の略で、1秒間辺りのデータ入出力の数を示す指標です
また、Throughput (スループット) は 1秒間辺りのデータ転送量で示す事が多く、IO サイズ * IOPS = スループットと計算で算出可能です。ネットワークやデバイスの帯域などはスループットで示されます【スループット計算例】

8KB * 120IOPS
8KB

8KB

8KB

8KB

8KB

8KB

8KB

8KB

8KB

8KB

8KB

8KB

│ ©2022 VMware, Inc.

960KB/sec

7,680Kbps(7.5 Mbps)※ Byte → Bit 換算 で * 8※ Kb → Mb 換算で /1024※ 回線速度は単位繰上りに2進換算 (/1024)せずに /1000 とする場合もあります。

16

IO 遅延とは？
1つ1つのデータ入出力が完了するまでの時間
IO 遅延 とは、OS やアプリケーションが何らかの IO データの入出力を発行してからストレージの読み書
きを経て IO データの書き込み、読み込みが完了 (OS・アプリが認識) するまでの時間を意味します
重要なのは「読み込み」「書き込み」が完了するまでの「時間」なので、IO サイズが大きいと必然的に
IO 遅延も大きくなります → 必ずしも「遅延が大きい」 = 「性能が悪い」わけではないので注意【アプリがストレージ(ファイルシステム)にデータを書き込むまでの遅延のイメージ】
IO サイズが小さければ 1 IO 毎の完了までの時間(遅延)は小さくなる
4KB

4KB

4KB
ACK

4KB

4KB

4KB

4KB
ACK

4KB

4KB

4KB

4KB

32KB
32KB

FileSystem( IO はファイルシステムやストレージのブロックサイズで区切られる)│ ©2022 VMware, Inc.

IO サイズが大きければ、転送時間含めてIO 完了までの時間(遅延)が大きくなる※ 実際のストレージではキャッシュに書き込まれた時点で書き込み完了を返すものが多く、上記はあくまでイメージです17

IO サイズ以外の遅延要因
物理的な遅延要因と論理的な遅延要因
サーバー・ストレージ間のネットワーク遅延※ ネットワーク遅延はケーブル品質・機器処理性能の他、"距離" が遅延の大きな要因となる
OS (ゲストOS)・
Hypervisor での処理遅延

Hypervisor

ネットワーク機器

ストレージドライブでの処理遅延ストレージコントローラ
での処理遅延│ ©2022 VMware, Inc.

NIC・HBA での処理遅延

サーバーハードウェア・
ドライバでの処理遅延※ 機器・ネットワークの品質が良くても通信が過剰で輻輳が起きている状況や、ハードウェアの処理
が CPU リソース不足で送れると IO 性能にも大きく影響が出ます※ 特にネットワーク品質が悪く、エラーが多発すると再送処理などで性能が劇的に悪化するので注意

18

記憶域デバイスの種類と IO 遅延の関係
CPU により近い DIMM、PCIe にダイレクトに接続される NVMe が非常に低遅延・高速

PerformanceCPU

NVDIMM-N
Persistent Memory(Performance Optimized PM)
20ns
NVMe SSD(3D XPoint Memory)
40ns ~RDIMM/LRDIMM

100ns ~ 1μs

SCM : NVDIMM-P
Persistent Memory(High Capacity PM)※ SCM = Storage Class Memory

NVMe SSD(NAND)
10μs~

SAS SSD(NAND)

SAS/SATA
HDD

20μs~
50μs~ 100μs

Nano Seconds (ns)SATA SSD(NAND)

100μs ~

Micro Seconds (μs)

5 ~ 10ms

Milli Seconds (ms)
Latency│ ©2022 VMware, Inc.

※ 参考 SNIA : Memory and Storage-Side Processing
https://www.snia.org/sites/default/files/PM-Summit/2017/presentations/Stephen-PawlowskiThe_Revolution_Memory_Storage_Side_Processing.pdf

19

記憶域デバイスの種類 + ネットワークの IO 遅延の関係
データセンター向けの高品質・低遅延ネットワーク機器の利用であれば影響は極軽微

PerformanceCPU

NVDIMM-N
Persistent Memory(Performance Optimized PM)
20ns
NVMe SSD(3D XPoint Memory)
40ns ~RDIMM/LRDIMM

100ns ~ 1μs

SCM : NVDIMM-P
Persistent Memory(High Capacity PM)※ SCM = Storage Class Memory

ToR Switch
ネットワーク遅延(5~50μs 10GbE)

NVMe SSD(NAND)

10μs~

SAS SSD(NAND)SATA SSD(NAND)

SAS/SATA
HDD

20μs~
50μs~ 100μs

Nano Seconds (ns)Stretched Cluster
ネットワーク遅延( ~ 5ms : RTT)

100μs ~

Micro Seconds (μs)

5 ~ 10ms

Milli Seconds (ms)
Latency│ ©2022 VMware, Inc.

※ 参考 SNIA : Memory and Storage-Side Processing
https://www.snia.org/sites/default/files/PM-Summit/2017/presentations/Stephen-PawlowskiThe_Revolution_Memory_Storage_Side_Processing.pdf

20

前回資料

ドライブ種別毎のインターフェースのキュー深度
キュー深度 (Queue Depth : QD) : IOPS・スループット 以外にも IO 性能を左右する重要な指標

Queue Depth

NVMe

PCIe

HBA ( RAID カード /PathThrough カード )SAS SSDSATA
SSD

SAS HDDSATA
HDD│ ©2022 VMware, Inc.

NVMe デバイスは規格上は最大 Queue Depth : 65,535 (64k) 、さらに Queue そのものも 64k 個で並列処理に強い
従来 SCSI コマンドと比べシンプルな IO 処理で、HBA を経由せず PCIe ダイレクトに IO を処理するため低遅延・高 IOPS を実現可能
近年は 3DxPoint SSD など超高耐久、高性能デバイスが登場※ 実際の ESXi での Max Queue は製品・ドライバにより異なるが 2048 ~ 4096 などで設定される事が多く、esxcli コマンドで確認可能

vSAN Ready Node の規定は 512 以上の QD を持つ
2021 年時点の各社 HBA の性能は 1,024 / 2,048 / 4,096 / 9,000 以上 など、かなり高い性能を持つものが多い
主流の SAS は デバイス IF 辺りの Queue は 1 つ、 Queue Depth は 254
4000 以上の QD を持つ HBA であれば、16個 以上のドライブを搭載しても十分に性能を発揮する事が可能
SAS は SCSI コマンドセットを全二重通信で送信と受信を同時に実行できる
SATA は デバイス IF 辺りの Queue は 1 つ、 Queue Depth は 32
多数の仮想マシンが集約され、多くの並列 IO が発行される環境では最終的な SATA キャパシティド
ライブの QD の浅さがボトルネックになるリスクがあり、サイジングには注意が必要
SATA は ATA コマンドセットを半二重通信で送信と受信を短時間に切り替えながらおこなう
21

前回資料

どこが IO のボトルネックになるかを考慮する
仮想マシン ⇔ キャッシュ層ドライブ ⇔ キャパシティ層ドライブ間の IO 密度のイメージ

HBA / IO
Controller

SAS SSDSAS SSDSAS SSD

SATA SSD

SAS + SAS vSAN

SAS + SATA vSAN

キャッシュ層ドライブ

SAS SSD

ALL NVMe vSAN

NVMe + SAS vSAN

キャパシティ層ドライブ※ この図は説明のためのイメージであり、実際の IO は各ドライブから HBA・PCIe 介して双方向通信なのでさらに複雑です│ ©2022 VMware, Inc.

22

前回資料

様々な要件に合わせて構成可能な vSAN ハードウェア
vSAN ドライブ・ディスクグループ構成
NVMe SSD :高性能・高耐久
DWPD : 10 ~ 30

キャッシュ層ドライブ

NVMe

SAS SSD :容量・コスト重視
DWPD : 1 ~ 3
NVMe

SAS SSD :性能・耐久性DWPD : 3 ~ 10

SAS SSD

SATA SSD :容量・コスト重視
DWPD : 1 ~ 3
SAS SSD

SATA SSD

キャッシュ層ドライブの選定• キャッシュ層ドライブは 耐久性（TDW・DWPD）を考慮した容量と IO 処理性能で選定• HY vSAN ではキャパシティ容量

HDDの 10% の容量でサイジング

キャパシティ層
ドライブ

キャパシティ層ドライブの選定

ALL NVMevSAN

NVMe + SAS
AF vSANSAS + SASAF vSAN• 高 IOPS• 高 IOPS• 高 IOPS

• 低遅延

• 低遅延

• コスト 高(性能重視)• コスト 中↑(容量重視)• コスト 中(バランス)

性能重視│ ©2022 VMware, Inc.

SAS or NVMe
+ SATAAF vSAN• 中 IOPS• コスト 中↓(容量重視)SAS + HDD
HY vSAN• 低 IOPS• コスト 低(容量重視)

容量・コスト重視• 必要容量と IO の性能、IO 分散を考慮して本数を選定 (推奨 SAS 以上)• ※ DWPD (Drive Writes PerDay) : 5 年間 SSD の全容量を 1 日
何回上書する事が可能か耐久性を示す指標
例 : 10 DWPD = 1 日 10 回全デー
タを書き換えても5年間書き込める耐久性
23

vSAN IO 性能とハードウェア選定
ストレージデバイスタイプとコストパフォーマンスのピラミッド

3D XPoint cache / NVMe capacity
ハイパフォーマンス

All NVMe
NVMe cache / SAS capacity
パフォーマンス

オールフラッシュ構成はハイブ
リッド構成よりも性能予測が可能
で応答性が高い(低遅延)

大容量・コストパフォーマンス

SATA プロトコルは半二重通信のため Read/Write それぞれでバスをロックし低性能となる可能性があるため高 IO 環境には不向き

All SAS
NVMe cache / SATA capacity
SAS cache / SATA capacity
All SATACapacity│ ©2022 VMware, Inc.

NVMe は最速でシンプル（ HBAなど IO Controller 不要）でCPU
オーバーヘッドが低く、低遅延ハ
イパフォーマンス環境に最適

IO Controller がボトルネックにならない様に vSAN HCL 記載の性能定義は必ず確認する事

24

Optane DC SSD (3D XPoint Memory) ってどれくらい凄いの？
際立つ低遅延と IOPS の伸び (1VM : 200GB * 2 VMDK : vSAN RAID1 : 重複排除無し構成)

様々な IO サイズ、R/W
比、並列度の IO 負荷を徐々に増加させながら測定

どのパターンの負荷においても安定して 1ms 以下の
低遅延での IO 処理を確認

3DxPoint SSD なら
10万 IOPS を超える IO
負荷下でも低遅延を実現│ ©2022 VMware, Inc.

25

【参考】HDD の仕組み
HDD の物理構造◼ ハードディスクドライブ(HDD)は、内蔵したディスク(円盤)をモーターで回転させ、磁気ヘッドを移動して位置を決め、データを磁気的に記録します。ソリッドステートドライブ(SSD)はNAND型フラッシュメモリを使用し、電子的にデータを記録します。
HDD内の磁気ディスクの一枚を「プラッタ」と呼び、プラッタには年輪状に大量の磁気列（トラック）が刻まれている

ディスク（プラッタ）

ディスク（プラッタ）

ディスク（プラッタ）
トラック

シリンダ

アーム
│ ©2022 VMware, Inc.

アーム

ヘッド

HDD内には複数枚のプラッタが円筒状に設置されており、一括してシリンダと呼ばれる。
プラッタ一枚一枚の隙間に、磁気読
み書き用のヘッドが設置されている。

ヘッド26

【参考】HDD の仕組み
HDD のデータ入出力の仕組み
ディスクの回転方向

HDDの抑えるべき特徴◼ メカニカル• 壊れやすい• 物理的動作が関わると遅い• うるさい◼ シリンダの内外でトラックの長さが違う• 容量が違う• データ転送速度が違う• 平均シーク時間が違う①読み出すデータのあるトラックにヘッドを移動（シーク時間）②読み出すデータ位置
がヘッド下に来るまでの時間（回転待ち時
間）

ヘッド位置

③読み出すデータのト
ラック位置がヘッドの下を全て通過するまでの時間（データ転送時間）

読み出したいデータ位置

シーク時間＋回転待ち時間＋データ転送時間
IO時間│ ©2022 VMware, Inc.

①②

平均シーク時間

平均回転待ち時間③
データ転送時間27【参考】HDD の仕組み
HDD のデータ転送性能の計算
例： データを80KBずつ連続して読み出すアプリケーションがあり、その１回の平均的な読み出し時間が下図のようである場合のIOPSとスループットの計算

8.89 ms
4.9 ms2.99 ms

平均シーク時間

平均回転待ち時間

1 ms
データ転送時間1s≒ 112 IOPS
8.89 ms
1s
スループット：× 80 KB ≒ 9 MB/s
8.89 ms
IOPS ：•

位置決めのオーバーヘッド(シーク時間＋回転待ち時間)が固定であるとすると、– 1回に読み出す(書き込む)データ量を小さくすると、IOPSが改善– 1回に読み出す(書き込む)データ量を大きくすると、スループットが改善•│ ©2022 VMware, Inc.

データ入出力を一定量まとめて取り扱うデータバッファが性能向上に大きく貢献している
28

Random IO と Sequential IO
細かいデータに満遍なくアクセスするか、大きなデータのかたまりにアクセスするか

4KB
4KB

4KB

4KB

4KB

4KB

4KB

4KB 4KB 4KB 4KB

4KB

4KB 4KB 4KB 4KB

4KB
4KB

4KB

4KB

4KB

4KB

4KB
4KB

32KB
4KB

4KB

4KB

32KB

32KB
4KB

4KB

4KB

32KB

4KB

4KB

│ ©2022 VMware, Inc.

※ ストレージ機構により動作は異なりますが、細かいデータはある程度まとめて（バッファして）入出力を行う機構を持つもの、Random IO をまとめて Sequential IO として処理する事でハードディスクに最適化した入出力を実現するものなど、実装により様々な入出力処理に対して最適化されています※ SSD は半導体素子の書き換え寿命の延命と平滑化のため Wear Leveling (ウェアレベリング :摩耗平滑化) と呼ばれる記憶領域全体を満遍なく利用する仕組みが取り入れられ、内部的には Random IO 処理となります。
29

前回資料

Erasure Coding と Write Penalty
RAID5 / RAID6 構成では書き込み時のパリティ計算のための読み込み・書き込みが増加
RAID5 (3D+1P) の場合

RAID6 (4D+2P) の場合
1 回の書き込み処理における実際の IO 数は？

D

D1

D2

D3

D1

D2

D

P

D3

P

│ ©2022 VMware, Inc.

D1

P

アプリ
: 1 Write
ストレージ : 2 Read + 2 Write

D

D2

D3

D4

P1

P2

アプリ
: 1 Write
ストレージ : 3 Read + 3 Write
RAID5 時はWrite Penalty 4

RAID6 時はWrite Penalty 6

D1

D

D2

D3

D4

P

P

P1

P2

※ vSAN は仮想マシン・仮想ディスク毎にストレージポリシーを指定して RAID1 (Mirror) とRAID5/6 (Erasure Coding) を使い分ける事が可能※ IO 性能要件、容量要件に合わせてにストレージポリシーを選、適材適所のデータ配置で運用することが vSAN のベストプラクティス

30

vSAN 内部の仕組み│ ©2022 VMware, Inc.

31

vSAN モジュール構造・プロセス│ ©2022 VMware, Inc.

32

vSAN In-Kernel アーキテクチャによる IO フローの最適化
ハイパーバイザーに統合された vSAN カーネルが IO 処理とリソースの効率性・低負荷を実現

vSAN は vSphere Kernel に一機能として 組み込まれている ためシンプルで非常に効率的な IO パス
を実現

vSphereホスト CPU 使用率と IO オーバーヘッドが最小限に抑える為、ホストあたりの VM 数が多く
一貫性のあるパフォーマンスを提供

vSphereシンプルな書き込みデータのフローComputeUtilization

ハイパーバイザーのアクティビ
ティを認識した自動制御、
vSphere クラスタ機能（HA・DRS等）をフル活用可能

ハードウェアの高い性能をフル活用するためのアーキテクチャ│ ©2022 VMware, Inc.

33

vSAN モジュール構造
クラスタ内の全てのノードに実装されている = In-Kernel HCI の実装

ESXi に組み込まれたモジュールと
連携

DOM
CLOM

オブジェクト
へのデータパス• DOM は vSAN のモジュールを接オブジェクトの
配置と移行

LSOM
ローカル
コンポーネント

CMMDS

RDT
クラスタ内
データ転送

クラスタメンバ
シップの監視、
ディレクトリサービス

続し、オブジェクトへのデータパスを提供する• CMMDS はクラスタのメンバシッ

プを維持し、他のモジュールへ
データを提供する• CLOM はオブジェクトの配置と移行をハンドリングする• LSOM はコンポーネントの

ローカル
ドライブ

│ ©2022 VMware, Inc.

管理を実施

ネットワーク• RDT は信頼出来るデータ転送を提供する (ペイロードは TCP)34

【参考】 vSAN プロセスと役割
プロセス名

役割

CMMDS

Cluster Monitoring Membership and Directory Service の略
名称の通り、vSAN クラスタ内のメンバーやコンポーネント、オブジェクトの管理・監視をディレクトリサービスに基づいて実施する。
プロセスは各ホストに配置され、Master、Backup、Agentのいずれかの役割を保持

CLOM

Cluster Level Object Manager の略
オブジェクトがポリシーに準じているかを管理する
作成時の配置や障害時の再同期など配置情報と実行命令をDOMに対して行う

DOM

Distributed Object Manager の略
CLOM が決定したオブジェクト構成と配置の決定を実際に実行する役割
DOM は分散操作毎に LSN (ログシーケンス番号)を割り当て、障害などからの回復時にそのログエントリを照合することで整合性を担保する
DOMにはローカルノードに配置されているオブジェクトへのアクセスを提供するClient、IOのシリアル化、オブジェクトの構成状態の公開や実装、アクセス調整をするOwner、オブジェクトの状態を変更する分散トランザク
ションに参加するComponetの 3つの役割を持つ

LSOM

Local log-Structured Object Manager の略
DOM と連携して Write Buffer や Read Cache の管理、キャパシティディスクへのデステージ処理など実際の IOに関する部分のみを実行する

RDT

Reliable Data Transport の略
vSAN VMkernel ポートを介したホスト間の通信に使用されます。トランスポート レイヤーで TCP を使用し、必要に応じて TCP 接続（ソケット）の作成と破棄を行います。
│ ©2022 VMware, Inc.

vSAN ネットワークの用語および定義
https://docs.vmware.com/jp/VMware-vSphere/7.0/vsan-network-design-guide/GUID-725668B0-B1B9-48A0-AB4F-A6386C7D649E.html

35

vSAN クラスタ内・クラスタ間の効率・互換性・性能

HCI MeshvSAN management

vSAN managementvSCSI

Dom Client

Dom Client

CMMDS
Dom Owner
Dom Comp.

CLOM

vSAN Data PathvSCSI

Client Cluster

Dom Owner

CMMDS

Dom Comp.

CLOM

LSOM

LSOM

PSA

PSA

vSAN Cluster│ ©2022 VMware, Inc.

CMMDS client

HCI Mesh Server Cluster

通常の vSAN クラスタと、vSAN
7.0u1 以降で利用可能な HCI Mesh
は共通アーキテクチャで分散ストレージを実現vSAN Control Path

通常の vSANvSAN Control PathvSAN Data Path

クラスタ間で使用されるネイティブ vSAN スタック : vSAN Data Path と vSAN Control Path

• vSAN Data Path

データの入出力、整合性を制御• vSAN Control Path

データの配置、vSAN クラスタの制御と監視• Mesh の場合 "クライアントクラ

スタ" の VM は ネイティブのvSAN スタックを利用して "サーバークラスタ" の vSAN リソースにアクセス(※ iSCSI や NFS ではない)
リソース利用の効率性、互換性、拡張性が維持される
36

vSAN Cluster-Level Object Manager (CLOM)
オブジェクトの配置を決定

vSAN のデータ配置を制御

400GB
VMDK

• リーフノードの数を計算• ツリートポロジーの候補を生成• コンプライアンスとコストの観点で各トポロジーを評価

R1– よりシンプルなツリーはコストが低いと評価され優先される(Mirror)• 監視コンポーネントと投票を決定• コンポーネントが配置されるディスクをアサイン

以下の処理も実施 :R0

R0(Stripe)(Stripe)• 再構成• スワップオブジェクトの生成• ロードバランス (データリバランス)│ ©2022 VMware, Inc.

C1

C2

C3

C4

C5
Witness※ デフォルトでは1つのコンポーネントは 255GB を上限に、それ以上のサイズの場合は複数に分割されドライブ上に格納されます

37

vSAN Cluster Monitoring, Membership, and Directory Services
通称 CMMDSCMMDS はクラスタへのリンクとクラスタメタデー
タの優先分散ファブリックを監視

Agent• 各エージェントはローカルの情報を更新し、

1

マスタにアップデート情報を送付する• DOM は CMMDS を利用して、どのホストにオブジェ

クトのコンポーネントが配置されているかを確認する• CMMDS は DOM のオブジェクトオーナー選出を

Agent

4

Master
2

Agent
3

手助けする

• CMMDS はクラスタとネットワークの健全性維持も担

BackupAgent

当する– ノード障害、ドライブ障害時の検出のために Master -Backup 間では 1000ms * 5 回、Master - Agent 間では1000ms * 10回のハートビートで健全性監視│ ©2022 VMware, Inc.

38

CMMDSによるコンポーネント管理
クラスタ全体でディクレトリ情報を管理
ローカルノードのステータス変化をマスター に通知

マスターはシーケンス番号をつけて全ノードに更新を公開

ローカルノードのステータス変化をマスター に通知

DS

DS

DS

CMMDS
(Backup)ハートビートによるノード監視(1000ms x 5)

CMMDS
(Master)

オブジェクトのステータスを
各プロセスから
CMMDSへ通知

CLOM
C1
C2
C3
Object

DOM

LSOM

C1
C2
C3

ObjectObject• ディスク情報(存在,状態,使用量)• オブジェクト(健全性,状態)

CMMDS(Agent)• DOM Owner ... etc

オブジェクトのステータスを
各プロセスから
CMMDSへ通知

CLOM

C1
C2
C3

ハートビートによるノード監視(1000ms x 10)

DOM
C1
C2
C3
Object

LSOM

CLOM
C1
C2
C3
Objectディレクトリサービス(DS)には以下の情報を格納

DOM
C1
C2
C3
Object

LSOM

障害が発生した場合、クラスタ全
体で DS が更新され、各プロセス
がその情報を元に IO メンバーから自動的に排除したり、修復を実施
する• ネットワーク隔離や誤ったドライブ挿抜など短時間で復旧する場合を考慮したノード監視時間を設定• デバイスの明確な故障時 (SMART│ ©2022 VMware, Inc.

が Fail を検知する場合など) は即
時 IO が切り替わる39

vCenter Server 障害時の vSAN 動作への影響
vSAN Data Path と vSAN Control Path は vCenter から独立して稼働

vCenter

ESXi

vCenter の独立性
hostd

VMDK

vpxa

vpxd
sps

CLOM

CMMDS

DOM

• vCenter は vSAN の導入、設定、監視に必須だが、IO そのものには介在しないため vCenter の停止はvSAN を構成する各モジュールに影響は与えない• vCenter のバージョンナップ等、

メンテナンス時の影響は軽微

LSOM

RDT

vSAN

│ ©2022 VMware, Inc.

CLOM

: ポリシーに基づきオブジェクトの配置を決定

DOM: オブジェクトの配置やVMからのIO 要求の受け口

LSOM: IO処理とローカルドライブ制御

CMMDS : vSAN クラスタの監視やメタデータの管理
RDT: ホスト間コミュニケーションの制御

sps: ストレージポリシーの管理 (in PSC)
40

vSAN Distributed Object Manager (DOM)
オブジェクトへの分散アクセスを実装し提供

DOM は CLOM が決定したオブ
ジェクトの配置構成を実行する

VMDK
vSCSI

同一ホスト

DOM Client

データの整合性 : Checksum

同一もしくは別ホスト

DOM Owner

スペース効率 : Mirror / Erasure Coding

DOM の役割:• Owner• Client

ホスト間

DOM Comp Mgr

DOM Comp Mgr

LSOM

LSOM

PSA

PSA

• Component
スペース効率 :重複排除・圧縮

DOM Owner はオブジェクトへのアクセスを仲介する
RDT はピア DOM 間の設立された接続を利用する

CLOM がオブジェクトの配置を管理│ ©2022 VMware, Inc.

41

vSAN Local Log-structured Object Manager (LSOM)
ローカル物理ドライブ上のストレージコンポーネントを提供

DOM

DOM の要求に応じてコンポーネン
トを作成・変更・削除する

ディスクボリュームと全てのコンポーネントを CMMDS へ公開する

LSOM Logical Log (LLOG)
キャッシュ層ドライブ

LSOM Physical Log (PLOG)

hostd や CMMDS に報告される容量や使用量な情報を CLOM は配置決定に利用する

Elevator
キャパシティ層ドライブ│ ©2022 VMware, Inc.

42

vSAN Local Log-structured Object Manager (LSOM) : LLOG
ローカル物理ドライブ上のストレージコンポーネントを提供

DOM

Logical Log (LLOG)
準備とコミット(2フェーズコミット)オペレーションを DOM の指示
で実施

LSOM Logical Log (LLOG)
キャッシュ層ドライブ

クラッシュ時のリカバリに備えて準備はロギングされるLSOM Physical Log (PLOG)

Elevator
キャパシティ層ドライブ│ ©2022 VMware, Inc.

43

vSAN Local Log-structured Object Manager (LSOM) : PLOG
ローカル物理ドライブ上のストレージコンポーネントを提供

DOM

Physical Log (PLOG)
デステージのために全データとメタデータが準備される

LSOM Logical Log (LLOG)
キャッシュ層ドライブ

LSOM Physical Log (PLOG)vSAN デバイスとデバイスイベントを報告する
キャッシュからキャパシティへ
データを排出するエレベータ
アルゴリズムを実装する

Elevator
キャパシティ層ドライブ│ ©2022 VMware, Inc.

44

vSAN の IO フロー│ ©2022 VMware, Inc.

45

vSAN を構成するキャッシュ層とキャパシティ層の役割
キャッシュ/バッファ層とキャパシティ層からなる 2 層のシステム
All Flash vSAN
vSphereHybrid vSAN

vSAN

vSpherevSAN

AF vSAN と HY vSAN の違い• ハイブリッドでは、キャッシュ層の70% が読み取りキャッシュに割り当てられる• オールフラッシュでは、キャッシュ

層全体が書き込みバッファに割り当てられる (デステージ前の書き込
みバッファデータも読み取り取得可能)バッファ =
30 %キャッシュ =
70 %バッファ =
100 %キャパシティ

キャパシティ
ディスク
グループ

ディスク
グループ

│ ©2022 VMware, Inc.

ディスク
グループ

ディスク
グループ

書き込みは、バッファに到達した
ときに仮想マシンに確認応答が返され、その後に順次キャパシティにデステージされる※ 書き込みバッファで利用される容量はディスクグループあたり 600GB ですが、それ以上のSSD 容量はウェアレベリングのために使用されます

46

vSAN が 2 層アーキテクチャを使用する理由
高い性能・耐久性のキャッシュ層 SSD と安価な大容量 SSD を組み合わせ費用対効果の向上
仮想マシン側の性能

Writes : 書き込み
Write IO は常にバッファにステー
ジング

Upper layers of vSAN

• 書き込みに対する迅速な ACK• データ操作の簡素化

Log Structured Object Manager (LSOM)
Writes

Write
ACK

デステージ

Read Cache

変更
合成

コスト効率性│ ©2022 VMware, Inc.

てキャパシティ層にデステージ

Reads

Reads : 読み込み

Write Buffer

ハイパフォーマンス

キャッシュヒット時の処理
優先制御
頻度
近接

Capacity Tier

• エレベータアルゴリズムに基づい• 読み取りフェッチの負荷減• 容量辺りの性能向上

キャッシュとキャパシティの役割を分ける事で結果的に読み取り性能が向上
47

キャッシュ層 SSD の書き込みバッファリングとデステージ
カスタムエレベータアルゴリズムが最も効果的な方法でデータのデステージを提供

複数のデステージトリガ• バッファフル

Upper layers of vSAN

• LSOM のメモリ負荷

Log Structured Object Manager (LSOM)
Write

ACK

キャッシュ / バッファ
LLOG
PLOG
Elevatorコミット
ログ

キャパシティ層│ ©2022 VMware, Inc.

LLOG エントリ
オーナー
シップ転送
(メタデータアップデート)

データと
メタデータ
移動

LSOM
Inmemory
LBA Table
LSN, LBA,
etc.

• SSDLog エントリ

必要に応じてバッチ処理でデス
テージ

順序と近接性を理解
頻繁に上書きされるデータはバッファに保持されるバッファに保持されたデータは読み取りキャッシュとしても利用(AllFlash の場合も同様)

48

読み取りの構造（オールフラッシュ）
分散されたデータから最適パスで読み取り

FTT=1
RAID-1

1
6

ゲスト OS が仮想ディスクへ読み取りを発行
2. DOM Owner は読み取り元のデータレプリカを選択
1.

5

vSpherevSAN• レプリカ間の負荷分散

2
Mem

Mem

• 必ずしもローカルレプリカへのア

クセスではない3

Cache• ブロックは常に同じレプリカから

読み取り

4

Capacity
C1

ESX01│ ©2022 VMware, Inc.

C2

ESX02
Mem

ESX03

3. ブロックを読み取るホスト上のデバイスを確認
4. 該当データを読み取りフェッチ
5. DOM Owner にデータを返す
6. ゲスト OS にデータを返す※ vSAN は読み取りI / Oを高速化する目的で、ESXi ホストごとに0.4％（最大1GB）のDRAMを使用する小さなDRAMベースの先読みキャッシュを保持します49

ミラーリング時の書き込みの構造（RAID-1）
ストレージポリシーに応じて 1 つ以上のホストへの同期書き込み

FTT=1
RAID-1

1

1.

RAID-1

2.

vSphere

vSAN

5

2

3.

4

4

3

4.

3

Cache

5.
6

Capacity

6

Data

Data

6.
ESX01

│ ©2022 VMware, Inc.

ESX02

ESX03

ゲスト OS から仮想ディスクへの書き込み処理
DOM Owner は FTT ポリシーに一致するクローン操作を実行
ESX01, ESX03 でキャッシュ層に同期書き込み(Log)
ESX01, ESX03 が Owner に
ACK を返す
Owner は双方の ESXi から準備完了と IO の完了の ACK を受け取る (書き込み ACK をゲ
スト OS に送信)
非同期のデステージプロセスでキャパシティ層に最終書き込み50

イレージャーコーディング時の書き込みの構造（RAID-5）
ホスト間での単一オブジェクトに対するパリティ付きデータストライプ

1

6

FTT=1
RAID-5

ゲスト : 1 Write
ホスト : 2 Read + 2 Write

1.

RAID-522.

43.
ストライプのフラグメント(1MB のDataChunk)

A1

B1

B2

3

C2

C1
5

3

P2

P1
5

4.

A2

C3

P3

A3

B3

P4

A4

B4

C4

Comp

Comp

Comp

Comp

5.
Object

6.
7.
ESX01

ESX02

│ ©2022 VMware, Inc.

ESX03

ESX04

ESX05

ESX06

ゲスト OS から仮想ディスクへの書き込み処理
DOM Owner への送信
Owner は変更するデータとパリティの関連部分を読み取る(2Read)
Owner は新しいデータと古い値を組み合わせてパリティを計算
Owner は新しいデータとパリ
ティフラグメントをキャッシュ
層に書き込む(2 Write)
書き込みACKをゲストOSに送信する
デステージ プロセスでキャパシティ層に最終書き込み51

イレージャーコーディング時の書き込みの構造（RAID-6）
ホスト間での単一オブジェクトに対するダブルパリティ付きデータストライプ

1

6

FTT=2
RAID-6

ゲスト : 1 Write
ホスト : 3 Read + 3 Write

1.

RAID-622.

4

3.
ストライプのフラグメント(1MB のDataChunk)

A1

B1

B2

3

C2

C1
5

D2

D1
3

P2

P1
5

3

Q2

Q1
5

A2

C3

D3

P3

Q3

A3

B3

D4

P4

Q4

A4

B4

C4

Comp

Comp

Comp

Comp

Comp

Comp

4.

5.
Object

6.
7.
ESX01

ESX02

│ ©2022 VMware, Inc.

ESX03

ESX04

ESX05

ESX06

ゲスト OS から仮想ディスクへの書き込み処理
DOM Owner への送信
Owner は変更するデータとパリティの関連部分を読み取る(3 Read)Owner は新しいデータと古い値を組み合わせてパリティを計算
Owner は新しいデータとパリ
ティフラグメントをキャッシュ
層に書き込む (3 Write)
書き込みACKをゲストOSに送信する
デステージ プロセスでキャパシティ層に最終書き込み
52

前回資料

ドライブ選定と vSAN 性能の考慮点
ワークロード要件に合わせたモデル選定① VM の IO 性能に大きく響くのがキャッシュドライブの Max
IO 性能と耐久性

vSphere① キャッシュド
ライブの性能② キャパシティドライブの考慮で

RAID1

RAID1

vSAN

RAID0

RAID0

重要なのが沢山の VM の同時
IO（並列 IO）を受ける処理能力があるか否か、Queue
Depth の値に要注意③ 単一ドライブ以上の性能を求め② キャパシティ
ドライブの性能る際にはストライプのポリシー
で IO の分散が効果的
D

D1│ ©2022 VMware, Inc.

D

D2

D1

D2

③ ストレージポリシー
による制御・特性53

ストレージポリシーで QoS をかけた際の IO サイズ留意点
IOPS 制限を掛ける際はゲスト OS からの IO は 32KB で正規化されて制御

700GB
FTT=1
RAID-1IOPS = 200

VM または VMDK ごとの IOPS 制
限ノイジーネイバー、モンスター
VM の影響を減らす事が目的
様々な IO サイズをより適切に制御するために 32KB で正規化
• <32KB IO = 1 IO

C1
C2
C3

W

Replica

C1
C2
C3
Replica• <64KB IO = 2 IOs• <128KB IO = 4 IOs

割り当てられた制限に準拠するた
めに VM (または VMDK) に IO 遅延を付加して制御※ 利用する際は必要性を確認の上、注意して設定する事を推奨│ ©2022 VMware, Inc.

54

vSAN 分散 IO フロー制御
vSAN 分散フロー制御メカニズムと "輻輳" メトリック
VM IO Namespace Resync IO Metadata
Queue
Queue
Queue
Queue

Network
Upper layers

Upper layers

Backpressure輻輳
Fairness sched.
B/W Regulator
B/WReg

Bandwidth
輻輳信号

LSOM (disk group)

Backpressure輻輳
Fairness sched.
B/W Regulator

LSOM (disk group)

Caching/Buffer
LLOG

Log congestion– Log スペー
スの逼迫 (Checksum / EC 4KB)

Caching/Buffer
LLOG

PLOG

SSD congestion – バッファの逼迫 (Tier2 ボトルネックの可能性)

PLOG

Capacity Tier

Capacity Tier

│ ©2022 VMware, Inc.

• vSAN スタック内の複数のレイ

ヤーでの「輻輳」を測定

B/W
Reg

Component congestion –処理の遅れ分散型輻輳制御方式を採用(Distributed Congestion Control
Scheme)Bandwidth輻輳信号• 0-255 で重み付け• 測定された遅延を vSAN スタックの上位レイヤにシフト• リソースの解放

デステージの制御は "エレベータ"
によって管理※ ストレージ処理のキューイング制
御やネットワークスロットリング
は使用しない※ その他、Memory congestion (メモリヒープサイズの限界)、IOPS congestion (ドライブ IOPSの限界・逼迫) など様々なフェーズでの輻輳を制御して IO の適正化を図ります55

Adaptive Resync / Parallel Resync 同期トラフィックの動的制御
vSAN 6.7 Adaptive Resync と 6.7u3 Parallel Resync で強化された IO 安定化

VM IO
Queue

Namespace
Queue

Resync IO
Queue

Metadata
Queue

Adaptive Resync : 負荷に応じた輻
輳制御• IO 負荷の高い競合状態では、再同

Fairness Scheduler
B/W Regulator

輻輳信号

Disk Group期 IO は帯域幅の少なくとも 20％を保証• 再同期 IO が無い場合、仮想マシン IO は帯域幅の 100％ を消費可能IO トラフィックタイプ別の専用のQueue を制御
• 入出力それぞれを調整• Parallel Resync と併せて仮想マシ

ン IO と 再同期 IO の最適な速度、バランスを確保│ ©2022 VMware, Inc.

56

vSAN 内部メトリクスの可視化│ ©2022 VMware, Inc.

57

vCenter に統合されたストレージパフォーマンスメトリクス
複数のレベルでパフォーマンスデータを収集してレンダリング

VM/AppHost level

Disk / disk group

Cluster│ ©2022 VMware, Inc.

58

vSAN クラスタ / ESXi ホストの詳細 vSAN パフォーマンスメトリック
vSAN 固有のメトリックをクラスタ毎、ESXi ホスト毎に提供
例）
ESXi ホスト毎の vSAN パフォーマンス

閲覧対象毎の詳細パフォーマンスvSCSI• Cluster

DOM Client• Host

DOM Owner• VM

DOM Comp. Mgr

ESXi

LSOM
Writesvmk

対象毎の共通メトリック・専用メ
トリック• 各レイヤに固有のメトリック

Reads

Write Buffer

Read Cache• キャッシュヒット率

vSAN

• 輻輳
• Etc.

Capacity│ ©2022 VMware, Inc.

59

いざという時の調査時間を短縮する組み込みサポート診断機能vSAN 専用の VMware サポート診断・詳細パフォーマンスチャート機能例）
クラスタ毎の vSAN 詳細パフォーマンス (サポートのパフォーマンス)

LSOM
メモリ

ネットワーク

CMMDS

CLOM

│ ©2022 VMware, Inc.

CPU

60

いざという時の調査時間を短縮する組み込みサポート診断機能vSAN 専用の VMware サポート診断・詳細パフォーマンスチャート機能

GSS がお客様の SR をより迅速に解決する事を支援

従来の "vSAN observer" に代わる専用の詳細ダッシュボードがvSphere Client に組み込み済み
大容量のサポートバンドル取得の必要性を削減トラブルシューティングのためのオンデマンドネットワーク診断
モード、詳細診断モード• GSS のガイドに沿って有効化• 1 秒間のサンプリングレートで情VMware GSS

報収集• ※ 通常時は負荷が増加するため

GSS の指示があった時のみ有効化│ ©2022 VMware, Inc.

61

Appendix
2021年後半 ~ 2022年前半
HCI 関連 VMware Webinar 紹介│ ©2022 VMware, Inc.

62

オンデマンド セミナーコンテンツのご紹介
IT 価値創造塾 と VMworld Japan サイトにて無償コンテンツを公開中
VMware 情報発信サイト : IT 価値創造塾

年次イベント : VMworld Japan コンテンツ

https://juku-jp.vmware.com/video/

https://vmworld.jp/content/│ ©2022 VMware, Inc.

63

vSAN 関連お奨め VMWorld 2021 ブレイクアウトセッション
vSAN の最新情報、最新機能のご紹介はこちら

VMware HCI の構成要素 ストレージデバイス

余剰を見ておく（監視する）べき CPU・メモリリソース

コスト、性能、容量の特性を理解して選ぶ
キャッシュとして利用するキャッシュデバイス

ストレージデバイス

データの保管のために利用するキャパシティデバイス

CPU サイジング（Max 80% の考慮）
デバイス
Queue Depth• ドライブに組み込みコントローラを使用
NVMe

PCIe

20% 程度の空きを考慮しておく(ReadyNode規定)• 性能観点のコスパが良い

ピーク時用の
バッファ

NVMe

2048 - 4096

• 認定デバイスの種類が多い
SAS SSD

SATA SSD• キャッシュ/キャパシティの両方に使用可能
SAS (SSD/HDD)

vSpherevSAN・NSX
等の Kernel 利用

SAS SSD

254•SATA(SSD/HDD)
認定デバイスの種類が多い 32• 容量が大きい=GB単価が安い

kernel

VM

VM 用

システム負荷のピーク時に VM の
負荷と Kernel の負荷の合計が 80%前後におさまるのがベスト

kernelkernelkernelkernel

VM

VM

VM

VM

SATA SSD

容量©2021 VMware, Inc.

18

安定性と性能向上の鍵はアップグレード！ あ
なたの知らない VMware vSAN の進化を徹底
解説
MC11108 (小佐野 舞 担当)
https://vmworld.jp/content/MC11108/│ ©2022 VMware, Inc.

メモリサイジング （N+X の考慮）

3D XPoint

256 or 512以上• IOCPUオーバーヘッドが少ない
コントローラ

NVMe​©2021 VMware, Inc.

ホスト障害時に HA で起動する VM やメンテナンス時の移行分の VM メモリリソースの余裕を確保する事が推奨（N+1 や N+2 など可用性を考慮したサイジング）

46

VMware Cloud Foundation, VMware vSANHCI インフラ設計 Deep DiveMC11110 (川満 雄樹 担当)
https://vmworld.jp/content/MC11110/
64

vSphere / vSAN オンラインセミナー #42
アセスメント&サイジングツールを活用した vSphere / vSAN 基盤サイジング手法

https://juku-jp.vmware.com/video/vsphere-vsan-os-042/│ ©2022 VMware, Inc.

65

Thank You│ ©2022 VMware, Inc.