【Dell Technologies 徹底攻略塾】

VMware Wednesday eXtra
2023年9月号

本日のおしながき！
1. VMware Exploreホットトピックまとめ

10分でサマるVMware Explore 2023 in ラスベガス

2. 久しぶりに“やってみた系”ネタ

vSAN Express Storage Architechtureってスゴイの？

2Copyright © Dell Inc. All Rights Reserved.

VMware Exploreホットトピックまとめ
10分でサマるVMware Explore 2023 in ラスベガス
3

Copyright © Dell Inc. All Rights Reserved.

イベント概要◆ 2023年8月21日～24日
ラスベガス, ヴェネチアン コンベンションセンターで開催◆ ７つのジェネラルセッション＆キーノート
326のブレークアウトセッション◆ Dell Technologies も Platinum パートナーとして参画

4Copyright © Dell Inc. All Rights Reserved.

大きな柱は２つ Generative AI Multi-Cloud• Accelerate App Delivery• Modernize Cloud Infrastructure• Deliver Autonomous Wrkspaces• Enable the Software-Defined Edge

5Copyright © Dell Inc. All Rights Reserved.

結局製品としての注目アップデートは？
 vSAN Max
 NSX+

 Tanzu Application Platform update
 VMware Private AI Foundation with NVIDIA

6Copyright © Dell Inc. All Rights Reserved.

vSAN Maxhttps://blogs.vmware.com/virtualblocks/2023/08/22/vsan-8-update-2/• vSAN8 update 2 の新機能
• vSAN Express Storage Architectureで構築される分散ストレー
ジボリュームを外部ストレージとして提供• vSAN HCI MeshのESA版• vSANクラスターあたり最大7.2PBまで構成可能

7Copyright © Dell Inc. All Rights Reserved.

NSX+
https://blogs.vmware.com/networkvirtualization/2023/08/announcing-nsx-plus.html/• NSXの「＋」版– 昨年Project Northstarとして発表• 複数のサービスで構成– NSX+ Policy Management– NSX+ Intelligence– NSX+ Network Detection and Response (NDR)– NSX+ Advanced Load Balancer (ALB) Cloud Service

8Copyright © Dell Inc. All Rights Reserved.

Tanzu Application Platform update
https://tanzu.vmware.com/content/blog/introducing-vmware-tanzu-application-engine• Tanzu Application Engine（ベータ版）– 高可用性、安全な接続、スケーラビリティを提供するプラットフォーム– 異なるKubernetesクラスタやクラウドに跨っても自動的かつ継続的な管理が可能• Tanzu Intelligence Services– ことなるシステムを一元管理し、データ共有を可能にするソリューション
– 統合された ML/AI 機能により、クラウド全体でアプリケーションのコスト、パフォーマンス、セキュリティをプロアクティブに最適化– 複数のサービスを提供（Ariaソリューションの一部がリブランドされています）▪ VMware Tanzu with Intelligent Assist▪ VMware Tanzu CloudHealth▪ VMware Tanzu Insights▪ VMware Tanzu Guardrails▪ VMware Tanzu Transformer

9

Copyright © Dell Inc. All Rights Reserved.

VMware Private AI Foundation with NVIDIA
https://blogs.vmware.com/vsphere/2023/08/introducing-vmware-private-ai-foundation.html• VMware Cloud Foundation + NVIDIA AI Enterprise• 統合管理と統合運用によるコストの集中化と最適化• Dell TechnologiesもモチロンReady

https://www.dell.com/en-us/blog/dell-vmware-and-nvidia-bring-ai-to-your-data/– PowerEdge と VxRail でプラットフォームを提供– 構成自由度、シンプル運用などのニーズにより選択が可能– ハードウェアからハイパーバイザー (NVIDIA GPU を含む) まで、スタック全体の自動化されたライフサイクル管理を提供– VxRailならハードウェア（GPU）からNVIDIA AI Enterpriseの認定を受けた最初のHCI

10

Copyright © Dell Inc. All Rights Reserved.

久しぶりに“やってみた系”ネタ
vSAN Express Storage Architechtureってスゴイの？
11

Copyright © Dell Inc. All Rights Reserved.

１．vSAN Express Storage Architectureてナニ？
２．構成の方法は簡単？
３．実際スゴイの？
12

Copyright © Dell Inc. All Rights Reserved.

１．vSAN Express Storage Architectureてナニ？
２．構成の方法は簡単？
３．実際スゴイの？

13

Copyright © Dell Inc. All Rights Reserved.

vSANをNVMe１階層で実装する＝ESA

14

Copyright © Dell Inc. All Rights Reserved.

ESAにおけるRAID5/6の書き込みパフォーマンスの裏側

1.書き込みは一旦ミラーで書き込まれる
2.その時点でレスポンスを返す（ACK）
3.その後、指定された可用性（RAID5,6）で再配置される

C
ACK

C C

C

NVMe SSD
Storage Pool

NVMe SSD
Storage Pool

4.ゲストOSとしては最初の応答がvSANのパフォーマンスとして見える15

Copyright © Dell Inc. All Rights Reserved.

NVMe SSD
Storage Pool

NVMe SSD
Storage PoolvSAN ESA ReadyNode Hardware Guidance
https://www.vmware.com/resources/compatibility/vsanesa_profile.php

vSAN-ESA-AF-0

vSAN-ESA-AF-2vSAN-ESA-AF-4

vSAN-ESA-AF-6vSAN-ESA-AF-8vSAN-ESA-AF
High Density

ノード容量 (TB)
(最小)

3.2

15204060

100

ノードあたりの CPU コア数(最小)163240485648

メモリ (GB)
(最小)

128

512

512

768

1024

768

ストレージデバイスの数(最小)2444443 DWPD

1 DWPD 以上

10050

デバイスの耐久性
ネットワーク (GbE)(最小)

1 DWPD 以上
10252516Copyright © Dell Inc. All Rights Reserved.

50vSAN ESA ReadyNode Hardware Guidance
https://www.vmware.com/resources/compatibility/vsanesa_profile.php• Device Guidance:– Type: NVMe TLC– Performance Class: Class F or higher(100000 - 349999)– Endurance Class:1 DWPD or higher– Capacity:1.6TB or higher

vSAN ESA ReadyNode TMプロファイルに使用されるサイジング上の前提条件
ESXi ブート通信網

ブート ガイダンスについては、https://kb.vmware.com/s/article/85685 を参照してください。
冗長性を確保するには (デュアルポート NIC) を推奨します。

デバイス容量

容量ポイントはあくまで目安です。ノード容量とパフォーマンス/耐久性クラスが満たされている限り、さまざまな容量ポイントを選択できます。

ストレージ層デバイスの数

ストレージ層デバイスの数は、vSAN ESA のパフォーマンスに影響します。最小数量はノードあたり 4 デバイスです。パフォーマンスを向上させるために、さらに構成することをお勧めします。

17

Copyright © Dell Inc. All Rights Reserved.

vSAN ESA ReadyNode Hardware Guidance
https://www.vmware.com/resources/compatibility/vsanesa_profile.php

vSAN ESA ReadyNode TMプロファイルに使用される設計上の考慮事項
SSDのクラス

デバイスプロトコル

選択した SSD のクラスは、システム全体のパフォーマンスに直接影響します。

ReadyNode は、特定のデバイス タイプ (NVMe) で認定されています。デバイスの種類を変更することはできません。

SSDのパフォーマンスクラス
SSDパフォーマンスクラス

1秒あたりの書き込み数

F

100000 ～ 349999

G350000+

18

Copyright © Dell Inc. All Rights Reserved.

コンポーネントのコンパチ確認も忘れずに
https://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsanesa• vSAN ESA用のコンパチが別で公開されています• 弊社のDSCでは構成オプションでESA構成をフィルタしてくれています（すべてを確認したわけではありませんが）19

Copyright © Dell Inc. All Rights Reserved.

DSCならある程度のフィルタはしてくれる
15GベースのvSAN Ready Nodesの場合

16GベースのvSAN Ready Nodesの場合

20

Copyright © Dell Inc. All Rights Reserved.

Ready NodesのBOM変更は許されない？
https://kb.vmware.com/s/article/90343?lang=en_US

前述のガイダンスの理解は必要ですが、基本的にはコンパチが確認できる上位デバイス、数量への変更はOK！
21

Copyright © Dell Inc. All Rights Reserved.

vSAN Ready Nodes Sizer
https://vsansizer.esp.vmware.com/home22

Copyright © Dell Inc. All Rights Reserved.

Calculate vSAN Quick Sizer
https://vsansizer.esp.vmware.com/reversesizer

23

Copyright © Dell Inc. All Rights Reserved.

vSAN8 u1でESAで利用できないvSANの機能
https://core.vmware.com/resource/vsan-frequently-asked-questions-faq#section1• OSA から ESA へのインプレース アップグレード• vSAN ファイル サービス• 重複排除

• Deep Rekey を実行するか既に暗号化されているクラスターで暗号化をオフ• RAID-1 の持続性コンポーネントと、計画外の障害に対する持続性コンポーネント

ESAリリース当初の制限にあった
HCIメッシュとRAID5/6での持続性コンポーネントはUpdate1でサポートされました！

24

Copyright © Dell Inc. All Rights Reserved.

１．vSAN Express Storage Architectureてナニ？

２．構成の方法は簡単？
３．実際スゴイの？

25

Copyright © Dell Inc. All Rights Reserved.

今回の構成：サポート外構成です。悪しからず。。。
今回の目的は構成作業の確認と、パフォーマンスは凄いのか？を体験することにあります。 提案のための検証ではありません。

利用したのは弊社カスタマーソリューションセンター（略してCSC）のVxRail
VxRail P570 x 4
CPU: Intel Xeon Gold 6240 2.6GHz 18C/36T x 2
メモリ: 384GB
Boot: BOSS-S1 240GB
Network:
Drive:
onBoard: Intel X710 10Gb x 4
NVMe Flash PM1725b 1.6TB x 4
PCIe 1: Broadcom Adv 25Gb x 2
SATA SSD 1.92TB x 8
PCIe 2: Broadcom Adv 25Gb x 2
サポート構成として満たすコンポーネントはCPUとネットワークのみ！
メモリは少なく、NVMeもvSAN RNとしては構成リストには無い状態・・・
だが、我々は突き進む！
26

Copyright © Dell Inc. All Rights Reserved.

構築の流れ1. vSphereを素の状態でインストール（VxRailとしてのセットアップはしない）
2. vCenterをデプロイ✓クラスタ構築（１台のESXiだけの構成）✓vSAN ESA構築

3. クラスタに他のノード追加
4. クラスタの構成✓仮想スイッチ✓vSAN✓健全性回復（vCenterオブジェクトの適正化）
27

Copyright © Dell Inc. All Rights Reserved.

vSphereインストール（to BOSSデバイス）

28

Copyright © Dell Inc. All Rights Reserved.

vCenterデプロイ

29

Copyright © Dell Inc. All Rights Reserved.

vCenterデプロイ

30

Copyright © Dell Inc. All Rights Reserved.

vCenterデプロイ

31

Copyright © Dell Inc. All Rights Reserved.

クラスタの構成

32

Copyright © Dell Inc. All Rights Reserved.

クラスタの健全性回復

33

Copyright © Dell Inc. All Rights Reserved.

クラスタの健全性回復

34

Copyright © Dell Inc. All Rights Reserved.

作業についての結論• 普通にvSAN組むのと流れは何も変わらない• 異なるポイントは「ESAをON」することと、「ESA構成要件を満たすこと」の２点
導入作業の詳細な手順は情報ガイドステーションのブログでも紹介しています。
https://japancatalog.dell.com/c/isg_20230911_vsan-esa_1/
35

Copyright © Dell Inc. All Rights Reserved.

１．vSAN Express Storage Architectureてナニ？
２．構成の方法は簡単？

３．実際スゴイの？

36

Copyright © Dell Inc. All Rights Reserved.

お待ちかねのパフォーマンス検証
物理結線
25Gb/10Gネットワーク

25Gb NIC

25Gb NIC

10Gb NIC
25Gb NIC

25Gb NIC

パフォーマンス実行サーバ
vSAN ESAクラスタ
37

Copyright © Dell Inc. All Rights Reserved.

お待ちかねのパフォーマンス検証
ベンチマークには皆大好きHCIBenchを利用しました！
HCIBenchの詳しい使い方は川満さんのブログを参照！
➡ https://kwmtlog.blogspot.com/2019/05/hcibench-performance-test-tips1.html
https://kwmtlog.blogspot.com/2019/06/hcibench-performance-test-tips2.html

vSAN Policy
RAID5(2+1)
no Encryption
Compression only

Worker VM設定
2, 3, 4 VMs / ESXi
4 vCPUs / VM
32GB / VM
4 vmdks / VM
20GB / vmdk

ベンチマーク設定

25Gb/10Gネットワーク

Block size: 4KB
Test Time: 300
Warmup time: 300
Read:Write = 70%:30%
Outstanding: 16• Management• vMotion• vSAN• Guest

HCIBench
v2.8.2
workVM

38

Copyright © Dell Inc. All Rights Reserved.

4ノードで100万IOPSも達成可能！
10k IOPSLatency
ms120

2.5

100
280
1.5

60

140

0.5
2000
8VMs-128threds

12VMs-192threds

16VMs-256threds
IOPS

39

Latency

Copyright © Dell Inc. All Rights Reserved.

16VMs-1024threds

16VMs-2048thredsこれが限界とも思えないパフォーマンスを実感• 特にチューニング無しで別検証のついでにサクッと実施してこの結果！
• そもそもNVMeの数もメモリ容量すらもサポート構成よりも小さい！
• ネットワークもただの25Gb！（RDMAじゃない！）40

Copyright © Dell Inc. All Rights Reserved.

但し、気になることも・・・• CPUもメモリもかなり消費する？
• CPUのグレードもメモリ容量もNVMeも結構値が張る感じ・・・• しかもライセンスがvSAN Advanced以上か・・・

パフォーマンス設計やボトルネックから解放されたい方向け！
外付けストレージの管理が面倒だと思う方向け！！
41

Copyright © Dell Inc. All Rights Reserved.

IOPSとCPUの相関関係（あくまで今回の検証の場合）
約67万IOPSでCPU usage 78%

約100万IOPSで
CPU usage 100%42

Copyright © Dell Inc. All Rights Reserved.