【徹底攻略塾】VMware Wednesday eXtra

VMware vSAN
Management Best PracticevSAN なら運用もこんなにシンプルに！
GUI & CLI vSAN 運用詳細解説

川満 雄樹
ヴイエムウェア株式会社
クラウドプラットフォーム技術統括部
シニアクラウドプラットフォームアーキテクト
2022年 7月 27日│ ©2022 VMware, Inc.

AgendavSAN なら運用もこんなにシンプルに！GUI & CLI vSAN 運用詳細解説
vSphere Client でここまで出来る vSAN / VxRail 運用
Day0 ～ Day2 の基本運用 : 構築からライフサイクル運用

vSAN データの最適化、性能・容量モニタリングのポイント

vSAN CLI ツールの紹介
esxcli / vsantop / vsantop / PowerCLI / RESTvSAN トラブルシューティングで見るべきポイント
困った時のオペレーション、ログの見方
VxRail ならここまで出来る！？ HW/SW の一元サポートのメリット
トラシュー、検証のためのおすすめコンテンツのご紹介│ ©2022 VMware, Inc.

2

川満 雄樹（かわみつ ゆうき）
ヴイエムウェア 株式会社
クラウドプラットフォーム技術統括部
シニアクラウドプラットフォームアーキテクト

Dell Community

https://via.vmw.com/ykawamitsu
vExpert 2015 - 2022

VMTN

趣味でオンラインコミュニティの回答者活動（最近 VMTN 日本語フォーラムのモデレータを兼任）• VMware Technology Network (日本語フォーラム)https://via.vmw.com/EUZm• Dell Community (ストレージコミュニティ)https://via.vmw.com/EUZl│ ©2022 VMware, Inc.

3

【徹底攻略塾】VMware Wednesday eXtra : vSAN Deep Dive Series
https://japancatalog.dell.com/c/isg_seminar_vmware_webinar/
2022年 3月 30日（水） ※ 開催済み

ソフトウェアの進化でパフォーマンスも大幅進化！？
VMware vSAN Performance Deep Dive
2022年５月 25日（水）※ 開催済み
「支える」アーキテクチャを理解してデザインを考える！
VMware vSAN Architecture Deep Dive
2022年７月 27日（水） 16:00 - 17:00

本日のセッションvSAN なら運用もこんなにシンプルに！GUI & CLI vSAN 運用詳細解説
VMware vSAN Management Best Practice & What's Next ?
│ ©2022 VMware, Inc.

ごめんなさい！ What's Nest は VMware Explore
8/29 ～ で発表予定のためしばしお待ちください

4

vSphere Client でここまで出来るvSAN / VxRail 運用│ ©2022 VMware, Inc.

5

VMware vSAN これまでの進化2014 年 以来 VMware HCI のスタンダードとして日々進化するテクノロジー

vSAN
5.5

2014 / 03 ～

vSAN
6.0

2015 / 03 ～

vSAN
6.1

vSAN
6.2

vSAN
6.5

vSAN
6.6.x

vSAN
6.7.x

2015 / 09 ～2016 / 03 ～2016 / 11 ～2017 / 07 ～2018 / 4 ～ストレージ基本機能

ストレージオプション機能•••

Hybrid vSANAll Flash vSAN
ポリシーベース管理

•

RAID1

•
•
•
•
•
•

│ ©2022 VMware, Inc.

重複排除 / 圧縮
RAID5 / 6vSAN 健全性モニタ
QoS
2 Node vSAN
Stretched Cluster

性能・安定性向上・運用機能
•
•
•
•
•
•
•
•

HTML5 Client / vROps 連携
Update Manager 連携
Container / Cloud Native AppsvSAN Support InsightvSAN 暗号化
Adaptive / Parallel Resync
デステージ 処理最適化
TRIM / UNMAP

6

VMware vSAN これまでの進化2014 年 以来 VMware HCI のスタンダードとして日々進化するテクノロジー

vSAN
6.7.x

vSAN
7.0

vSAN
7.0 u1vSAN
7.0 u2vSAN
7.0 u32018 / 4 ～2020 / 4 ～2020 / 10 ～2021 / 3 ～2021 / 10 ～

性能・安定性向上・運用機能
•
•
•
•
•
•
•
•

HTML5 Client / vROps 連携
Update Manager 連携
Container / Cloud Native AppsvSAN Support InsightvSAN 暗号化
Adaptive / Parallel Resync
デステージ 処理最適化
TRIM / UNMAP│ ©2022 VMware, Inc.

Cloud Native / Container Native

7.x での機能をさらに強化

•
•
•
•
•

•

•

vSphere with Kubernetes
vSAN File Service
vSphere Lifecyle Manager
vSphere Replication 連携強化
Stretched Cluster 機能強化 (DRS・Resync )NVMe Hot Plug

•
•
•
•
•
•
•
•

HCI Mesh 強化(Computing Only Cluster)vSAN File Service の拡張
vSphere Native キー管理による暗号化サポート
Encryption Key Persistence (TPM 2.0)
vSphere Lifecyle Manager 強化
パフォーマンス強化 (AMD CPU への最適化)
健全性履歴閲覧IO Trip Analyzer / Network Analyzer
vSAN Cluster Sequential Shutdown
7

Day0 ～ Day2 の基本操作:構築からライフサイクル運用を支える
vSphere Client の基本操作│ ©2022 VMware, Inc.

8

vSAN HCI の構成要素 : ソフトウェア

vCentervSphere環境の統合管理(複数のESXi を一元的に管理)

ESXi / vSAN

サーバ仮想化ソフトウェア/ ストレージ仮想化ソリューション

OptionvRealize Operations

vSphere環境の統合監視を実現するソフトウェア

vRealize Log Insight
Optionサードパーティソフトウェア(ハードウェアプラグイン等)│ ©2022 VMware, Inc.

ハードウェア管理を vCenter と連携するために使用※ vLCM "Image" の利用や Proactive HA で利用

9

仮想化インフラ運用管理の各フェーズで必要となる考慮点は？

設計

デプロイ

アップデート監視

メンテナンス

クラスタ設計ネットワーク設計
ストレージ設計

ホスト初期セットアップ
管理 VM 導入
クラスタ設定管理 VM
ハイパーバイザー
ファームウェア(UEFI/NIC/HBA)
ドライバ

HW 健全性
クラスタ健全性
パフォーマンス監視
データ健全性(容量監視・同期・リバランス)

プロアクティブなアラート
トラブルシューティング
リソース管理・分析

ホスト追加拡張
ドライブ追加拡張│ ©2022 VMware, Inc.

10

vSphere にネイティブで取り込まれたストレージ管理・運用機能
仮想化基盤の運用に融合された vSAN の新しい管理インターフェース

Health

健全性管理

vSphere Lifecycle Manager
vSphere Update Manager
パッチ運用│ ©2022 VMware, Inc.

リソース・性能管理

Support Insight

Cluster Quick Start
導入・設定

Performance Monitor

vCenter vSphere Client

遠隔 モニタリング
11

デプロイからアップデート、オペレーションまで
vCenter を中心とした様々な機能を用いてVMware HCI を管理
Day 0, Day 1

Day 2

初期セットアップライフサイクル
アップデートメンテナンス
運用管理

健全性監視

QuickstartvLCM

vSphere ClientvSAN 管理機能

Skyline Health +vRealize• vSAN クラスタをウィ
ザード形式で簡単にインストール• クラスタアップグ
レードを簡単に行うことが可能• vSphere クラスタの設定、やネットワーク設
定も包括• OEM のハードウェ
アのファームウェア
も一括管理可能• Skyline vSAN 健全性• vSAN クラスタの構成管
理• ストレージデバイスの管理• Easy cluster shutdown& startup• パフォーマンス分析│ ©2022 VMware, Inc.

• トラブルシューティ
ング• vROps + vRLI
• ハードウェアベンダ
と連携した監視ツー
ル

12

デプロイ 初期構築に必要な作業
クイックスタートを利用する事で "HCI" としての自動セットアップを vCenter で提供
手動でセットアップしていたクラスタ構成をクイックスタートにより自動化、設定品質の標準化が可能に

手作業構築

QuickStart (vSAN 6.7 U1 から)

1. ESXi ホストの初期インストール

1. ESXi ホストの初期インストール

2. vCenterサーバのデプロイ

2. Easy Install でvSAN 上にvCenter サーバをデプ

3. vCenter へESXi ホストの追加
4. vSphere のクラスタとネットワークの設定
5. vSAN の有効化 または 外部ストレージの追加
6. vSAN クラスタとvSAN ネットワークの設定
7. 健全性チェック

ロイ(VCSA のインストーラから可能)

3. QuickStart でvSAN クラスタをセットアップi.

ESXi ホストのクラスタへの追加

ii.

vDS などネットワークの設定

iii.

vSAN を構成 (vSAN ディスクの自動構成)

iv.

vSphere 機能を構成 (HA/DRS/vLCM)

4. 健全性のチェック│ ©2022 VMware, Inc.

13

クイックスタートの詳細はこちら！

IT価値創造塾にて過去セミナーのアーカイブを公開中
https://vmware-juku.jp/video/video-vsphere-vsan-seminar/│ ©2022 VMware, Inc.

クイックスタート
https://vmware-juku.jp/video/vsphere-vsan-os-015/

14

vLCM と vSAN Health による vSAN 管理の最適化
Update Manager / Lifecycle Manager と vSAN Health で最新の vSAN 環境を常に提供
vSphere Lifecycle Manager

vSAN の管理運用画面は
vSphere Client UI に統合
vSAN Skyline Health &Lifecycle Manager

各種設定、ヘルスチェック、
パフォーマンスモニタ機能など、従来外部ストレージの運用で必須だった機能がvCenter に集約

vSphere Client vSAN Health│ ©2022 VMware, Inc.

運用上重要なバージョンアップ運用も VMware vSphere®
Lifecycle Manager でvSphere クラスタと vSAN の
メンテナンスをシンプルに実施します15

vSphere 標準機能を活用し煩雑なホストのパッチ管理からの脱却
ESXCLI による ESXi パッチ管理から vLCM / vUM を活用したライフサイクルの自動化へ

vSAN Ready NodevSphere Lifecycle Manager (vLCM)※ 旧 vSphere Update Manager (vUM)

vCentervCentervLCM ImagevLCM Baseline

Desired State Image
Firmware
BIOS

ESXi

Software

Drivers

ESXi

Software

ESXi

Drivers

ESXi

VMware vCenter Server (vCSA)に標準装備された vLCM ツールを利用
• vSphere Lifecycle Manager(vLCM) Image• vLCM Baseline※旧 vSphere Update Manager(vUM)

vLCM Image ではクラスタレベルでホストのバージョン管理を提供• Hypervisor 管理• デバイスドライバ管理

VMware Cloud Foundation
SDDC Manager※1 : vSphere Lifecycle Manager (vLCM) は vSphere 7.0 からの新機能│ ©2022 VMware, Inc.

• Firmwear / BIOS 管理※ vLCM Image または Baseline の利用はクラスタ単位で選択可能
16

標準 vSphere ESXi パッケージ か カスタムイメージか？
どちらも vLCM を利用してパッチとして適用可能だがカスタムイメージ利用の方が確実

標準 vSphere ESXi パッケージ(Default ISO / Patch Depot)

https://customerconnect.vmware.com/patch#search│ ©2022 VMware, Inc.

サーバーメーカーカスタムイメージ(Custom ISO)vSAN Ready Node を利用中の場合は vLCM に
Custom ISO をインポートしてアップデートに利用する事が無難※ メーカーによってパッチリリースからカスタムイ
メージの提供までの時間に差があるので注意17

vSphere & vSAN のシンプルアップグレード
通常の vSphere と同様の vCenter に統合された シンプルアップグレードを実現
1. vSphere の通常のメンテナンス手順と同様、まずは vCenter をワンクリックアップグレード
vCSA
7.0.x
7.0.z
vCSA

ESXi 7.0.x

ESXi 7.0.x

ESXi 7.0.x

ESXi 7.0.x
vCenter Appliance Management

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

│ ©2022 VMware, Inc.

vCenter のアップグレードはWebUIからインターネット経由、またはオ
フラインパッケージでアップグレー
ドします18

vSphere & vSAN のアップグレード
通常の vSphere と同様の vCenter に統合された シンプルアップグレードを実現
3. メジャーバージョンアップ時など vSAN FS に更新が入る場合も vCenter から更新を実行
vCSA
7.0.z
vCSA

ESXi 7.0.z

ESXi 7.0.z

ESXi 7.0.z

ESXi 7.0.z
vSAN Skyline Health (健全性)

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

FS

│ ©2022 VMware, Inc.

vSAN FS（オンドライブフォーマット）の更新が必要な場合にも、
vCenter からワンクリックでアップ
グレード
20集約されたHCI の利用による柔軟性と拡張性の向上
HCI Mesh : コンピュートのみクラスタからvSAN のストレージリソースを活用

HCI Mesh Compute Cluster
vCenter

Create VM Storage Policy
Availability

拡張性の向上Storage rules• リモートvSAN データストア

Encryption
Data-at-Rest
None
No preference

へ最大128ホストが接続可能

vSAN データストアとストレー
ジポリシーの統合

Space efficiency
DD&C
Compression only
No space efficiency
No preference
Storage tierAll flashHybridNo preference• 重複排除/圧縮 or 圧縮のみ
vSAN cluster

vSAN cluster• 保村データの暗号化• ハイブリッド or オールフラッ

Data Services

vSAN Clusters│ ©2022 VMware, Inc.

vSAN ベースではないvSphere
クラスタからリモートvSAN データストアをマウント可能

Data Services

シュ

HCI Mesh のコンピュートのみのクラスタにはvSAN ライセン
スは不要

21

クラスタの起動/シャットダウンワークフローの改善
vSAN クラスタのシャットダウンとスタートアップを簡素化

vCenter

Shutdown Cluster

Shutdown pre-check1. Shutdown pre-checkvSAN daemon liveness
Hosts with connectivity issues
vSAN cluster partition...
CANCELFINISH

2. Confirm shutdown

Power off system VMs
Turn off HA
Pause object state changes...
Power Off

Shutdown
ClustervSpherevSAN

vSAN cluster│ ©2022 VMware, Inc.

Pre-check

vSAN クラスタのシンプルな起動停止のためのガイド付きのワ
ークフローを組み込み
事前チェックの検証と問題が見つかった場合のガイダンスを提供orchestrate

正常にシャットダウンできるよ
うに正しい順序でプロセスを実施
クラスタ内でVCSA を実行している場合にも対応

従来推奨されていた Reboot Helper スクリプトの実行は vSAN 7.0u3 のウィザード
では不要になりました
クラスタ全シャットダウン 利用不可のデータが発生するリスク (60424)
https://kb.vmware.com/s/article/60424

22

vSAN セキュリティ向上 : vSphere Native Key Provider
vSAN 環境でvSphere ネイティブキープロバイダ の利用
OptionOptionUsing Native Key
Provider Functionality

Using External Key
Management ServervCenter Server

External KMS
Cluster

Native Key Provider(NKP) Service

vCenter Server と クラスタ化されたESXi ホストにキープロ
バイダを統合KEK

ESXi Key Persistence と連携
し依存性を排除

ESXi/vSAN
DEK

vSAN
Mgmt

vSphere Native Key Provider
は out of the boxな保存データの暗号化を提供

KEK
KMXA

暗号化を用いた高度なセキュリ
ティの実現に柔軟性と使いやすいオプションを提供

vSAN Host│ ©2022 VMware, Inc.

23

vSAN セキュリティ向上 : Key PersistencevSAN Encryption を利用したインフラ基盤の可用性強化

vCenter Server

Key Managers

Native Key
ProviderExternal KMS
Cluster

ESXi ホストへの暗号化鍵の配布

ESXi | vSAN
KEK

VMkernel
key cache(in memory)

Host KeyTPM 2.0 Module(Key Persistence)

KMXA

DEKs
Disk group

Disk groupvSAN Host│ ©2022 VMware, Inc.

vSphere 7.0u2 以降で vSAN 暗号
化、VM 暗号化、vTPM の利用に
vSphere Native Key Provider(NKP)が利用可能
さらに ESXi ホストに搭載された物
理 TPM 2.0 に格納された暗号化キーを用いて各種セキュリティを強化する機能（ Configuration
Encryption や キー永続性 : ESXi
Key Persistence )が 実装・強化され、vSphere NKP 含む鍵管理サー
バにアクセスできない状況下でも安全に ESXi のデータ保護し、起動、データの復号化が可能に
セキュリティの強化、安定性向上のためにも物理 TPM の搭載が強く推奨されます24

vLCM・vSAN 運用管理の詳細、デモセッションのご紹介
2022/6/22 開催 vSphere / vSAN オンラインセミナー#48

vSphere / vSAN オンラインセミナー#48
より使いやすく！よりわかりやすく！VMware HCI の運用管理
https://juku-jp.vmware.com/video/vsphere-vsan-os-048/│ ©2022 VMware, Inc.

25

容量・性能監視と分析 :vSphere Client を利用した vSAN データの最適化、性能・容量モニタリングのポイント│ ©2022 VMware, Inc.

26

vCenter・vSphere Clinet 組み込みの各種 vSAN メニュー ①
vSAN クラスター > 構成 > vSAN メニュー

構成 > vSAN メニュー
主に vSAN の設定に関わるメニューが集まっています• ディスク管理• フォルトドメイン監視• HCI Mesh (リモートデータストア)• パフォーマンスサービス（性能モニタリング）• データサービス（重複排除・圧縮・暗号化）• 容量予約やアラートなど

vSAN の基本運用メニューを設定• その他│ ©2022 VMware, Inc.

27

vCenter・vSphere Clinet 組み込みの各種 vSAN メニュー ②vSAN クラスター > 監視 > vSAN メニュー

監視 > vSAN メニュー
主に vSAN の健全性チェック、リ
ソース情報、性能情報に関わるメニューが集まっています• Skyline 健全性• 仮想オブジェクト (データ配置)• オブジェクトの再同期• 容量• パフォーマンス• サポート• その他│ ©2022 VMware, Inc.

28

日常運用で重要な vSAN 容量監視と予約・アラート設定

vSAN 7.0u1 以降で新しいスラック
スペースのサイジングが有効化され、vSAN の容量予約メニューで事前設定が可能に※ 従来一律で 20％ ~ 30% を推奨
していましたが、ノード数に応じてホスト再構築の予約(HBR) が可変的にサイジングされます
推奨は N+1 のホスト数で HBR を設定
予めホスト障害時のリビルド用リソースの確保、操作の予約（スラックスペース）を設定する事で突発的なデータ増加でシステ
ムが不安定にならない様に予約が可能│ ©2022 VMware, Inc.

• VMware vSAN Design Guide :Example of New Sizing
https://core.vmware.com/resou
rce/vmware-vsan-designguide#sec6810-sub429

vCenter に統合されたストレージパフォーマンスメトリクス
複数のレベルでパフォーマンスデータを収集してレンダリング

vSAN を構成する全てのレイヤのパフォーマンスを可視化

VM/AppHost level

パフォーマンスサービスを有効化する事で vSAN クラスタ全体のパ
フォーマンスを vSphere Client やPowerCLI で取得、閲覧可能に

Disk / HBA / Disk Group

Network

Cluster│ ©2022 VMware, Inc.

30

vSAN クラスタ / ESXi ホストの詳細 vSAN パフォーマンスメトリック
vSAN 固有のメトリックをクラスタ毎、ESXi ホスト毎に提供
例）
ESXi ホスト毎の vSAN パフォーマンス

閲覧対象毎の詳細パフォーマンスvSCSI• Cluster

DOM Client• Host

DOM Owner• VM

DOM Comp. Mgr

ESXi

LSOM
Writesvmk

対象毎の共通メトリック・専用メ
トリック• 各レイヤに固有のメトリック

Reads

Write Buffer
Read Cache• キャッシュヒット率

vSAN

• 輻輳
• Etc.

Capacity│ ©2022 VMware, Inc.

31

ネットワーク関連の問題の可視化の向上
ネットワーク監視のエンハンス“High CRC error rate detected...”vSAN パフォーマンス監視とア
ラートに高度なネットワークメ
トリックを統合vSAN layers

vSAN layers

vSAN layers

ESXi

ESXi

ESXi

vmknicvmnic

vmknicvmnic

vmknicvmnic

カスタマイズ可能なアラートに
新しいネットワーク統計
TCP/IP layer
Network layer• TCP/IP レイヤ• 物理ネットワークレイヤ

NICs

既存のネットワークのメトリッ
クを強化

Switchgear

vSAN Support Insight に統合│ ©2022 VMware, Inc.

32

どうしてこうなった？がわかる！健全性履歴の実装
健全性チェックの履歴と相関関係

vCenter
Summary

MonitorvSAN
Skyline HealthConfigure

Permissions

Skyline Health

Hosts

VMs

ばらばらなエラー状態を時系列で表示

Datastores

Timeline

View Health History

追跡が難しい一時的な状況を把握することが可能

Virtual Objects
Physical Disks

Cluster
Physical disk
Congestion

Disks with issues

Disk Capacity

Host

Disk

Congestion

Info

ESX02

521db...

224

KB21...

Data
Performance Service

必要に応じて履歴の有効化/無効化が可能

Network
Capacity utilization

vSphere│ ©2022 VMware, Inc.

vSAN

Disk Group33

よりディープなリソース利用率調査方法
vSAN パフォーマンス ‘top contributors’

vCenter
Summary

MonitorConfigure
VM

Utilization
Storage Overview
Security
vSAN

Permissions
BACKEND

Hosts

IOINSIGHT

VMs

Datastores

Networks

VSAN DIRECTTOP CONTRIBUTORS• 仮想マシンCluster level: Throughput

Time Range: LAST

8Hour(s)Skyline HealthThroughput

Virtual Objects
Resyncing Objects

0

Proactive Tests
CapacityReads• ディスクグループ

潜在的なノイジーネイバーやリ
ソースへの影響を素早く見つけることが可能900

Physical Disks

パフォーマンス問題発生時に可能性のある対象(topcontributor)の特定が可能

Writes

Top: VM

Performance
Name

Read Throughput

Write Throughput

VM01

197 KB/s

358 KB/s

VM02

171 KB/s

204 KB/s

VM03

170 KB/s

190 KB/s│ ©2022 VMware, Inc.

遅延、スループット、IOPSに関して期間を指定して確認する
ことが可能

34

健全性の警告が複数ある場合でも関連性を容易に把握
Skyline 健全性 の相関関係を表示

vCenter

Skyline Health52

View Health History
Overview

302Primary issue

Network
Hosts disconnected from VC+11 healthy checks

Hosts disconnected from VC
Likely impacts

DatavSAN object health+4 healthy checks│ ©2022 VMware, Inc.

最初にどのアラートを対処する
か判断可能
動的なリンクより複数アラートの関連性をナビゲート

Stats DB object

Performance Service
Stats DB object

vSAN

Root cause

vSAN object health+1 healthy checks

vSphere複数の健全性チェックアラート
を簡単に根本原因に結びつける
ことが可能

Overview

トラブルシューティングを簡素化し、問題を迅速に解決

vSpherevSAN

vSpherevSAN

APIを介してvROpsに機能を拡張35

クラスタネットワーク監視でのトラブルシューティングの向上
ネットワーク監視のエンハンスメント“Hosts with duplicate IP addresses”“Hosts with LACP issues”“Hosts with pNIC TSO issues”

新しいネットワーク健全性チェックによりクラスタのよりハイレベルな整合性を確保• 重複するIPアドレスの検出

vSAN layers

ESXi

vmknicvmnic

vSAN layers

ESXi

vmknicvmnic

vSAN layers

ESXi

vmknicvmnic• LACPの同期に関する問題の検出• TSOの設定の確認

新規/既存クラスタ問わず重要vSAN Support Insightに統合

NICs

Switchgear│ ©2022 VMware, Inc.

36

潜在的なvSAN のボトルネックを vCenter で検知
vCenter サーバに統合された VM I/O trip analyzer

Troubleshootperformance

既存のワークロードの詳細なパフォーマンス分析をUIで表示

I/O Trip
Analyzer

vCenter
Virtual Disks

State

Avg Lat. Read

Std Dev. Read

Avg Lat. Write

Std Dev. Write

Virtual Disk 1

Available

3.2ms

2.4ms

4.6ms

2.1ms

Virtual Disk 2

Available

3.1ms

2.3ms

6.8ms

4.0ms

Virtual Disk 2

192.168.68.11
RAID-1CACHE DISK

管理者は仮想マシンまたは
VMDKと期間を選択肢確認可
能ストレージスタックのどこで遅延が発生しているかを図解

遅延のばらつきをサマライズ(
標準偏差)

CAPACITY DISK

192.168.68.12
NIC│ ©2022 VMware, Inc.

CACHE DISKCAPACITY DISK37

vSAN CLI ツールの紹介│ ©2022 VMware, Inc.

38

様々用途に応じて用意された
ツール類
ESXCLI / VSANTOP / RVC
PowerCLI / REST│ ©2022 VMware, Inc.

39

トラブルシューティング時に役立つ ESXCLI と VSANTOP
トラブルシューティング時に個々の ESXi ノードの健全性チェックに必須[root@esxi01:~] esxcli vsancluster

Commands for vSAN host cluster configuration

cmmds

Commands for vSAN CMMDS (Cluster monitoring, membership,and directory service).

datastore

Commands for vSAN datastore configuration

debug

Commands for vSAN debugging

encryption

Commands for vSAN Encryption.

healthCommands for vSAN Healthiscsi

Commands for vSAN iSCSI target configuration

networkCommands for vSAN host network configuration

perf

Commands for vSAN performance service configuration.

resyncCommands for vSAN resync configuration

storage

Commands for vSAN physical storage configuration

faultdomain

Commands for vSAN fault domain configuration

maintenancemodeCommands for vSAN maintenance mode operation

policyCommands for vSAN storage policy configuration

trace

Commands for vSAN trace configuration│ ©2022 VMware, Inc.

← トラブルシューティング時に重要

通常の vSAN 導入・運用において
esxcli vsan コマンドを利用する機会はほぼ無くなりましたが、トラブルシューティング時や
vCenter が利用できない際に役立つのでコマンド体系は把握しておく事が推奨
特にトラブルシューティング時に詳細を確認する際に利用する
esxcli vsan debug コマンドのオプションは有用vSAN での Esxcli コマンドの使用
https://docs.vmware.com/jp/VMware-vSphere/7.0/com.vmware.vsphere.vsanmonitoring.doc/GUID-7799D2D7-2513-4372-92EA-4A1FB510E012.html

40

トラブルシューティング時に役立つ ESXCLI と VSANTOP
トラブルシューティング時に個々の ESXi ノードの健全性チェックに必須[root@esxi01:~] esxcli vsan debug
disk

Debug commands for vSAN physical disks

objectDebug commands for vSAN objects

resyncDebug commands for vSAN resyncing objects

advcfgDebug commands for vSAN advanced configuration options.

controller

Debug commands for vSAN disk controllers

evacuation
Debug commands for simulating host, disk or disk group evacuation invarious modes and their impact
on objects in vSAN cluster
limit

Debug commands for vSAN limits

memoryDebug commands for vSAN memory consumption.

mob

Debug commands for vSAN Managed Object Browser Service.

vmdk

Debug commands for vSAN VMDKs│ ©2022 VMware, Inc.

通常の vSAN 導入・運用において
esxcli vsan コマンドを利用する機会はほぼ無くなりましたが、トラブルシューティング時や
vCenter が利用できない際に役立つのでコマンド体系は把握しておく事が推奨
特にトラブルシューティング時に詳細を確認する際に利用する
esxcli vsan debug コマンドのオプションは有用vSAN での Esxcli コマンドの使用
https://docs.vmware.com/jp/VMware-vSphere/7.0/com.vmware.vsphere.vsanmonitoring.doc/GUID-7799D2D7-2513-4372-92EA-4A1FB510E012.html

41

トラブルシューティング時に役立つ ESXCLI と VSANTOP
詳細なパフォーマンス解析が必要な場合に役立つ VSANTOP[root@esxi01:~] vsantop
1:38:57am | entity type: virtual-machine
nodeIdiopsRead throughput latencyRea

readCount

iopsWrite throughput latencyWri writeCount

5025255e-9

0

0

0

0

2

33249

1425

12

503621ef-5

1

8920

205

6

9

103801950585025eb85-d

0

0

0

0

0

3243

924

2

Current Entity type:1: cache-disk
4: clom-host-stats
7: cluster-domcompmgr
10: cmmds-workloadstats
13: dom-per-proxy-owner
16: host
19: host-domcompmgr
22: host-memory-slab
25: nfs-client-vol
28: system-mem
31: vmdk-vsansparse34: vsan-host-net
37: vsan-iscsi-target
40: vscsi

2: capacity-disk
5: cluster
8: cmmds
11: ddh-disk-stats
14: dom-proxy-owner
17: host-cpu
20: host-domowner
23: host-vsansparse
26: object* 29: virtual-disk
32: vsan-cluster-capacity
35: vsan-iscsi-host
38: vsan-pnic-net│ ©2022 VMware, Inc.

3: clom-disk-stats
6: cluster-domclient
9: cmmds-net
12: disk-group
15: dom-world-cpu
18: host-domclient
21: host-memory-heap
24: lsom-world-cpu
27: statsdb
30: virtual-machine
33: vsan-distribution
36: vsan-iscsi-lun
39: vsan-vnic-net

VSANTOP コマンドは ESXTOP
コマンドと同じく ESXi ホスト内の
vSAN の詳細パフォーマンス情報を取得できるツールです※ 常時利用ではなく性能問題の分析時などのスポット利用が前提です
Entity は "E" で切り替えます

vsantop コマンドライン ツールの使用
https://docs.vmware.com/jp/VMware-vSphere/7.0/com.vmware.vsphere.vsanmonitoring.doc/GUID-431F701C-444B-401E-896A-F287A0F0EAEB.html

42

vSAN 初期は必須ツールだった RVC・vSAN Observer
Ruby vSphere Console (RVC) とそれを利用した vSAN Observer は以前は必須のツールでしたが現在は開発が終了

Ruby vSphere Console (RVC) は
vCenter Server Appliance 7.0.x
で利用する事は可能ですが vSAN
Observer は廃止されました• vSAN Observer を利用する場合

root@vcsa01 [ ~ ]$ rvc administrator@vsphere.local@localhost> vsan.

は、個別に RVC をインストール
した管理サーバーを用意する必要がありますが、HCIbench には RVC / vSAN
Observer が標準で含まれているので HCIbench VM の利用がおす
すめです• Flings : HCIBench

vsan.apply_license_to_cluster

vsan.iscsi_target.

vsan.bmc_info_get

vsan.lldpnetmap

vsan.bmc_info_set

vsan.login_iso_depot

vsan.check_limits

vsan.obj_status_report│ ©2022 VMware, Inc.

https://flings.vmware.com/hcib
ench

vSAN Observer を使用して収集したパフォーマンス統計の使用方法と解釈方法 (2064240)
https://kb.vmware.com/s/article/2064240?lang=ja

43

おすすめは進化を続ける PowerCLI
PowerShell Core にも対応して Windows・Linux 様々な OS で利用可能なツール

PowerCLI は現在 PowerShell
Gallery で公開され、インターネッ
トに接続可能なシステムでPowerShell を起動しPS > Install-Module -Name
VMware.PowerCLI
で最新版がインストール可能※ 詳細な Tips は後述の PowerCLI
CookBook を参照願います
VMware {code} : VMware PowerCLI
https://developer.vmware.com/web/tool/vmware-powercli
PowerShell Gallery
https://www.powershellgallery.com/packages/VMware.PowerCLI/│ ©2022 VMware, Inc.

[TAM Blog] PowerCLIによる運用効率化 – 導入編(インストール～超基本まで)
https://blogs.vmware.com/vmware-japan/2021/02/tam-blog-powercli-01.html

44

■ PowerCLI vSAN 関連 commandlet

Get-VsanResyncingComponent

Remove-VsanFileShare※ PowerCLI 12.7.0 build 20091289 時点

Get-VsanResyncingOverview

Remove-VsanFileShareSnapshot

PS /root> Get-Command -Name *vsan*

Get-VsanRuntimeInfo

Remove-VsanIscsiInitiatorGroup

Name

Get-VsanSpaceUsage

Remove-VsanIscsiInitiatorGroupTargetAssociation----

Get-VsanStat

Remove-VsanIscsiLun

Repair-VsanObject

Get-VsanView

Remove-VsanIscsiTarget

Add-VsanFileServiceOvf

Get-VsanWipeDiskStatus

Set-VsanClusterConfiguration

Add-VsanObjectToRepairQueue

New-VsanDisk

Set-VsanFaultDomain

Get-VsanClusterConfiguration

New-VsanDiskGroup

Set-VsanFileServiceDomain

Get-VsanComponent

New-VsanFaultDomain

Set-VsanFileShare

Get-VsanDisk

New-VsanFileServerIpConfig

Set-VsanIscsiInitiatorGroup

Get-VsanDiskGroup

New-VsanFileServiceDomain

Set-VsanIscsiLun

Get-VsanEnterMaintenanceModeReport

New-VsanFileShare

Set-VsanIscsiTarget

Get-VsanEvacuationPlan

New-VsanFileShareNetworkPermission

Start-VsanClusterDiskUpdate

Get-VsanFaultDomain

New-VsanFileShareSnapshot

Start-VsanClusterRebalance

Get-VsanFileServiceDomain

New-VsanHealthCheckThreshold

Start-VsanEncryptionConfiguration

Get-VsanFileServiceOvfInfo

New-VsanIscsiInitiatorGroup

Start-VsanWipeDisk

Get-VsanFileShare

New-VsanIscsiInitiatorGroupTargetAssociation

Stop-VsanClusterRebalance

Get-VsanFileShareSnapshot

New-VsanIscsiLun

Stop-VsanWipeDisk

Get-VsanIscsiInitiatorGroup

New-VsanIscsiTarget

Test-VsanClusterHealth

Get-VsanIscsiInitiatorGroupTargetAssociation

Remove-VsanDisk

Test-VsanNetworkPerformance

Get-VsanIscsiLun

Remove-VsanDiskGroup

Test-VsanStoragePerformance

Get-VsanIscsiTarget

Remove-VsanFaultDomain

Test-VsanVMCreation

Get-VsanObject

Remove-VsanFileServiceDomain

Update-VsanHclDatabase│ ©2022 VMware, Inc.

45

おすすめガイド : PowerCLI CookBook for VMware vSAN
https://core.vmware.com/resource/powercli-cookbook-vsan

著者の Jase McCarty が 2020年始
めに退職 (現在は PureStorage のエンジニア) されたため 2019年末の更新はありませんが今でも有用なコンテンツ彼の Github にも多数のサンプルが公開されていますhttps://github.com/jasemccarty│ ©2022 VMware, Inc.

46

現代版 vMA : Photon OS 4.0 + PowerShell Core + PowerCLI
https://github.com/vmware/photon/■ Photon OS 導入後 パッケージの更新
root@photon [ ~ ]# tdnf update

Photon OS とは？
• vCenter Server Appliance など■ PowerShell Core のインストール
root@photon-machine [ ~ ]# tdnf install -y powershell■ PowerShell Core を起動して PowerCLI のインストール
root@photon-machine [ ~ ]# pwsh

PS /root> Install-Module -Name VMware.PowerCLI
Untrusted repository
You are installing the modules from an untrusted repository. If you trust thisrepository, change its InstallationPolicy value by running the Set-PSRepository
cmdlet. Are you sure you want to install the modules from 'PSGallery'?

VMware が提供する仮想アプライ
アンスのベース OS となっている
セキュアな軽量 Linux• Version 4.0 から PowerShell

Core も導入可能になり、PowerCLI や PowerVCF などのPowerShell モジュールが導入可能• 軽量なスクリプト実行用管理 VMとして従来の vMA (vSphere
Management Assistant) の代替として利用可能です[Y] Yes [A] Yes to All [N] No [L] No to All [S] Suspend [?] Help
(default is "N"):Y│ ©2022 VMware, Inc.

47

vCenter 組み込みの Developer Center と VMware {code} の活用

PowerCLI でカバーされていない
詳細操作も API ならサポートされている事が多いため、
vCenter 6.7u2 以降で実装された
Developer Center 等を活用した
vSAN API 運用も可能です
様々な運用ツールとの連携で試してみてくださいVMware Developer Documentation
https://developer.vmware.com/apis
VMware {code} : vSAN Management API
https://developer.vmware.com/apis/1188/vsan│ ©2022 VMware, Inc.

[TAM Blog] vSphere で REST API を使ってみよう！
https://blogs.vmware.com/vmware-japan/2021/05/tam-blog-vsphere-rest-api-1.html

48PowerCLI を利用した vSAN 再同期調整と vCLS の有効・無効化設定
個人ブログネタですがアクセス頻度が高いのでご紹介

https://kwmtlog.blogspot.com/2021/07/powercli-vsanresync-throttling.html│ ©2022 VMware, Inc.

https://kwmtlog.blogspot.com/2021/01/vcls-control-viapowercli.html
49

おうちクラウド（自宅らぼ）のすすめ
おうちクラウド 第3回 "仮想化基盤を作ってみよう" サンプルコード・参考情報集

Software Design 誌の補足コンテンツのつもりがこちらの方が中身が詰まっているので自宅らぼに興味がある方は参考にしてくださいhttps://github.com/tanzu-japan/ouchi-cloud/blob/main/vol3/README.md│ ©2022 VMware, Inc.

50

vSAN トラブルシューティング
で見るべきポイント│ ©2022 VMware, Inc.

51

困った時のオペレーション
健全性状況の確認│ ©2022 VMware, Inc.

52

まずは公式ドキュメントを参照
vSAN の障害の処理およびトラブルシューティング

2022年現在、日本語訳された公式ドキュメントで vSAN トラブル
シューティングガイドが公開されています
日常運用でのメンテナンスのポイ
ントやエラーが発生した際の対応
方法等、まずは公式ドキュメント
を参照願います│ ©2022 VMware, Inc.

vSAN の障害の処理およびトラブルシューティング
https://docs.vmware.com/jp/VMware-vSphere/7.0/com.vmware.vsphere.vsanmonitoring.doc/GUID-0F3C4D3F-9B86-4879-9C60-D6A977523112.html

53

vSAN 運用の正常性チェックの起点は "Skyline 健全性"
日常チェックからトラブルシューティングまで、vSAN 健全性はここに集約

Skyline 健全性 (vSAN Health) はvSAN クラスタ単位で vSAN に関する全ての正常性管理を行うツー
ルですvCenter 7.0u2 以降では "健全性の履歴" も辿る事が可能になり、"いつ問題が発生したのか？""いつ問題が解消したのか？"など、トラブルシューティング時に時系列で問題を追う事が可能です※ vCenter のアラートと連動するので日常的なチェックは Skyline
健全性を見る事で十分です│ ©2022 VMware, Inc.

54

vSAN 構成情報 ( vSAN Support Information) の一括取得
トラブルシューティング時に必須の構成情報一括取得# vCenter Server Appliance の場合、root ログイン後に以下のPython スクリプトを実行
し画面出力を記録

root@vcsa01 [ ~ ]# python /usr/lib/vmware-vpx/vsan-health/vsan-vc-healthstatus.py

vSAN 構成情報 の取得( vSAN Support Information)• vSphere Client で閲覧できる

vSAN Health に関連する情報、構成情報、vSAN Object の情報をテ
キストで一気に取得可能です# vCenter が停止している場合は ESXi 単体でも取得可能、各 ESXi に root ログインして以下スクリプトを実行[root@esxi01:~] python /usr/lib/vmware/vsan/bin/vsan-health-status.pyc• RVC にログインして出力する他、

vCSA や ESXi に root ログインして以下のスクリプトを実行するだけで出力可能• 何らかの不具合を確認した際はSupport Log Bundle の取得と並行して vSAN 構成情報の取得をお奨めします

vSAN 健全性サービス - クラスタの健全性 - vSAN 健全性サービスの最新状態 (2107705)
https://kb.vmware.com/s/article/2107705│ ©2022 VMware, Inc.

55

いざという時の調査時間を短縮する組み込みサポート診断機能vSAN 専用の VMware サポート診断・詳細パフォーマンスチャート機能

GSS がお客様の SR をより迅速に解決する事を支援
従来の "vSAN observer" に代わる専用の詳細ダッシュボードがvSphere Client に組み込み済み
大容量のサポートバンドル取得の必要性を削減トラブルシューティングのためのオンデマンドネットワーク診断
モード、詳細診断モード• サポートのガイドに沿って有効化• 1 秒間のサンプリングレートで情VMware GSS

報収集• ※ 通常時は負荷が増加するため│ ©2022 VMware, Inc.

サポートの指示があった時のみ有効化

56

いざという時の調査時間を短縮する組み込みサポート診断機能vSAN 専用の VMware サポート診断・詳細パフォーマンスチャート機能例）
クラスタ毎の vSAN 詳細パフォーマンス (サポートのパフォーマンス)

LSOM
メモリ

ネットワークCMMDS

CLOM│ ©2022 VMware, Inc.

CPU

57

VxRail ならここまで出来る！？
HW/SW の一元サポートのメリット│ ©2022 VMware, Inc.

58

VxRail に搭載される Software の特長
HW 関連 Software も含めた事前検証済み Software パッケージ
VxRail Software

VxRail Software とは？
・VMware Software, HW 関連 Software をパッケージとして提供

VMware Software

・Hardware 種別ごとに適切な Software パッケージを提供

・ESXi (vSphere / vSAN)

・VxRail (HW + SW) として事前検証済みの構成を提供

・vCenter・Log Insight
HCI 管理・VxRail Manager
HW 関連の Software

・BIOS, FW, Driver, iDRAC, SRS…

│ ©2022 VMware, Inc.

VxRail Software のバージョン と ESXi の関係
・VxRail 4.5.x=>

vSphere 6.5 ベース

・VxRail 4.7.x=>

vSphere 6.7 ベース => VCF 3.x に対応

・VxRail 7.0.x=>

vSphere 7.0 ベース => VCF 4.x に対応[参考] VMware vSphere ESXi の Lifecycle (2022年7月時点)
・Lifecycle Policy: EIP (Enterprise Infrastructure Policy)
GeneralAvailability

End ofGeneral Support

End ofTechnical Guidance

ESXi 6.5

2016/11/15

2022/10/15

2023/11/15

ESXi 6.7

2018/04/17

2022/10/15

2023/11/15

ESXi 7.0

2020/04/02

2025/04/02

2027/04/02
59

参考 : VxRailの設定自動化の裏で何が動いているか？
複雑な導入・拡張・バージョンアップ時の設定・操作を VxRail Manager が自動化
■ ESXiホストの導入・設定
1. BIOS設定（工場出荷時に設定）
2. ESXiインストール（工場出荷時にインストール済み）
3. 各種パラメータ設定
4. FQDN、DNS設定
5. NTP設定
6. Syslog設定
7. Password設定■ vCenter Serverの導入・設定
1. Platform Service Controller インストール
2. vCenterのインストール
3. 各種パラメータ設定
4. FQDN、DNS設定
5. NTP設定
6. Syslog設定
7. Password設定
8. 仮想データセンター作成
9. クラスタ作成・設定
10.分散スイッチ作成・設定
11.分散ポートグループ作成・設定│ ©2022 VMware, Inc.

■ vSAN Clusterの導入・設定
1. vCeneterへESXiホストの登録
2. 分散スイッチへESXiホストの登録
3. ESXiホスト上でVMkernelネットワークの構成(管理・vSAN・
vMotion)
4. ESXi標準スイッチから分散スイッチへのネットワーク移行
5. 不要な標準スイッチの削除
6. 分散ポートグループのチーミングポリシー設定
7. ネットワークIOコントロール(NIOC)のパラメータ設定
8. クラスタリング設定(HA・DRS・EVC)
9. vSAN設定(各ホストのドライブの追加、ディスクグループ設定)
10.仮想マシンストレージポリシーの作成
11.ライセンスの投入
12.管理仮想マシンの自動起動設定(vCenter、PSC、VxRail Manager、
LogInsight)※構築時に必要となるのはネットワーク情報などお客様固有の基本パ
ラメータのみ※通常のvSphereの新規導入で必要とされるこれだけの設定作業が自動化され、40分程度で完了※ 本例は組み込み vCenter (Internal-vCenter) 構成を選択した際のプロセスです60

VxRail ならメジャーバージョンアップも数クリックで OK
vSphere ESXi / vCenter / サーバー UEFI / Firmware / Driver 全てを一括バージョンアップ

VxRail なら個々のコンポーネントの相互互換性は検証済みのパッケージで提供インターネット接続環境なら直接
Update Bundle をダウンロードして vSphere Client の VxRail メ
ニューからバージョンアップを実行• バージョンアップ事前のパスワー

ド・証明書・健全性チェックで安全なバージョンアップを担保• vSphere Standard 環境でも

Temporary DRS 機能で仮想マシンを自動で vMotion しながらロー
リングアップデート│ ©2022 VMware, Inc.

61

Dell EMC VxRail のアーキテクチャ
Dell PowerEdge をベースとした完成度の高い運用管理性を提供
VxRail の運用管理性 = アプライアンスとしての完成度
お客様➢ vCenter から HW を含めた一元的な管理➢ 保守サポートは Dell Technologies での一元保守➢ HW, VMware 関連の ログ を vCenter から取得
バージョンアップ作業が保守範囲でリモート実施してもらえるのは
VxRail 最大の強み
vSphereVxRail MgrvCenter

PowerEdge
vSAN

iDRAC

SRS
Dell Technologies
からのリモート監視・メンテナンス※ メジャーバージョンアップを含む更新作業も保守 (ProSupport Plus) の一環で作業実施│ ©2022 VMware, Inc.

62

トラシュー、検証のためのおすすめコンテンツのご紹介│ ©2022 VMware, Inc.

63

VMware EVOLVE ONLINE

過去開催のセッション動画のアーカイブ

VMWorld Japan• 2020年, 2021年開催の VMware

Japan 年次イベントのセッション
動画は引き続き EVOLVEONLINE で閲覧可能

Technical Support Summit• VMware Global Support Team

が定期開催する TechnicalSupport Summit コンテンツ はト
ラブルシューティング関連の有用情報

EVOLVE オンラインオンデマンドで過去のセッション録画・資料が閲覧可能
https://vm-event.jp/evolve/ondemand/│ ©2022 VMware, Inc.

64

意外と知られていない Customer Connect Learning
ほぼ英語だが Deep すぎる優良コンテンツが公開されてるのでおすすめ

https://learning.customerconnect.vmware.com/
海外イベントや Webinar でも利用されたコンテンツが視聴可能 ※ 要 Customer Connect アカウント│ ©2022 VMware, Inc.

"Trouble shooting" や "Deep Dive" で検索するとGlobal Technical Support が開設するコンテンツが利用可能★ 川満個人的に超おすすめコンテンツ ★
65

Hands-on Labs (HOL) コンテンツ
ワークショップでもそのまま利用可能な優良コンテンツが多いのでぜひ活用を

https://hol.vmware.com/
多人数向けのトレーニングやイベントでの利用も可
能な無償コンテンツ│ ©2022 VMware, Inc.

https://docs.hol.vmware.com/
HOL の手順書はサポートされる言語で HTML 表示、PDF ダウンロードが可能※ 2022年7月現在、VMware Explore 準備のためか
コンテンツの入れ替えが進んでおり希望のものがア
クセスできない可能性あり

66

vSAN Design / vSphere Best Practice なら Core Tech Zone へvSAN の構成考慮点、ベストプラクティスは Tech Zone ドキュメントを参照

vSphere / Cloud Foundation /vSAN のデザインガイドはhttps://core.vmware.com/ へ• VMware vSAN Design Guide• vSAN 2-Node Cluster Guide• vSAN Stretched Cluster Guide• vSAN Operations Guide• Troubleshooting vSAN

Performance※ 全編英語コンテンツですが、ブラウザの翻訳機能でほぼ問題なく日本語訳で読むことが可能です│ ©2022 VMware, Inc.

67

Webinar のご紹介

│ ©2022 VMware, Inc.

68

お申込締切：8月2日

詳細解説 vSAN Architecture / Performance Deep Dive～vSAN を導入・運用における性能設計、可用性設計のための Tips をまとめてご紹介
2014年に vSAN が登場してから8年、現在の vSAN 7.0 がリリースされてから2年が経過し日々の進化が止まらない vSAN、今年後半には次期メジャーバージョンの登場が控えています。
本セッションでは vSAN の進化を振り返りながら vSAN 設計・導入・運用におけるポイントを整理し、次期バージョンにおいても活用できる VMware HCI のベストプラクティスをご紹介します。

8/3（水）オンライン開催
13:30~15:00

以下のようなお客様を対象としています。
・IT プロフェッショナル
・IT 部門の意思決定者様・ビジネス上の意思決定者様・IT 部門全般
・ユーザー企業様・組織所属の方

お申込はこちら！
via.vmware.com/Ejth

オンライン会場 （Zoom Webinar）

13:30 - 15:00

1. vSAN HCI これまでの進化
2. vSAN の基本構成とストレージ IO の考え方
3. vSAN IO の仕組みと可用性・性能設計
4. vSAN バージョンアップと IO 性能の進化
5. vSphere Client でここまで出来る vSAN 運用・監視
6. vSAN トラブルシューティング│ ©2022 VMware, Inc.

69│ ©2022 VMware, Inc.

70