VMware Cloud Foundation (VCF) 5.0 の環境構築手順について

<font color="blue">**VMware Cloud Foundation 5.0**</font> の <font color="green">**環境構築手順**</font> についてネストESXi環境にて確認しましたので、<font color="red">**全体の作業の流れを把握されたい方向けの情報**</font> として、以下にまとめます。

# VMware Cloud Foudantion (VCF) の環境構築の手順
[VCF展開の概要（VCF Docs）](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-getting-started/GUID-C000FB7D-5A4C-4AA7-AEAB-D67F335BCB21.html) にて、VCFの初期導入時の全体的な手順を確認します。
1. <font color="purple">**管理ドメインの展開</font>**
    1. プランニング及び準備ワークブック & 展開パラメータワークブック への必要情報の記入
    1. Cloud Builder アプライアンスの展開
    1. VCF用のホストの準備（管理ドメイン用 4台）
    1. Cloud Builder による管理ドメインの展開
2. <font color="purple">**vRealize Suite Lifecycle Manager及びvRealize Suiteの展開</font>**
    1. NSX Edge の展開
    1. アプリケーション仮想ネットワーク の展開
    1. vRealize Suite Lifecycle Manager の展開
    1. vRealize Suite (例：Aria Operations for Logs）の展開
3. <font color="purple">**ワークロードドメインの展開</font>**
    1. VCF用のホストの展開（ワークロードドメイン用 3台）
    1. ネットワークプールの作成、ホストのコミッショニング、ライセンスの追加
    1. ワークロードドメインの展開
    1. NSX Edgeの展開、vRealize Suiteのワークロードドメインへの接続

以下、主な手順について記載します。
# 管理ドメインの展開
## 1-1 プランニング及び準備 & 展開パラメータワークブック
[VMware Cloud Foundation プランニングおよび準備ワークブック](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-planning-and-preparation-workbook.zip) を入手の上、物理ホストの要件の確認、サイジング、ネットワーク及びストレージ構成について記入します。
* プランニング＆準備ブックワークブック
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/8dc34d61-6984-3c25-108a-1c9c13ed4882.png)

次にVMware Customer Connectより展開パラメータワークブックをダウンロードの上、[こちらの手順](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-deploy/GUID-08E5E911-7B4B-4E1C-AE9B-68C90124D1B9.html)に沿って、上記のプランニング及び準備ワークブックにおける「管理ドメイン」に関する情報を抜粋する形で入力します。本ワークブックは、Cloud Builderに読み込ませる事で管理ドメインを自動デプロイする為の入力ソースとなります。
* 展開パラメータワークブック
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/d5e2d38c-2b02-d380-9e1b-85bb3eb9aeef.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/f096326e-cba7-4e18-6116-ade1bd8251da.png)

# 1-2 Cloud Builder アプライアンスの展開
VMware Customer ConnectよりCloud Builder OVAをダウンロードの上、[こちらの手順](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-deploy/GUID-78EEF782-CF21-4228-97E0-37B8D2165B81.html)にてインストールします。

# 1-3 VCF用のホストの準備（管理ドメイン用 4台）
[VCFのコンポーネント情報 (BOM)](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/rn/vmware-cloud-foundation-50-release-notes/index.html) にて、VCF 5.0 に含まれる製品とバージョンを確認し、[こちらの手順](https://www.aaronrombaut.com/nested-vcf-lab-virtual-machines/)にて該当バージョンのESXi (8.0 Update 1a)を4台、ネスト構成で準備します。
* ネストESXiの構成例）12CPU、128Gメモリ、HDD 1.1TB(HDD1:128G、HDD2:10G vSANキャッシュ、HDD3-X:1TB vSANキャパシティ)
<font color="green">※ストレージは12TB以上必要になる為、十分な領域を確保の上検証してください。</font>

ホストのインストール後、[ネットワークの設定](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-deploy/GUID-E22AA0E2-98F3-479F-A983-02D83D2FBF17.html)と、標準スイッチの[「VM Network」ポートグループの管理VLANへの変更](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-deploy/GUID-1FCA9839-02D7-437C-8666-04DD6F022083.html)と、[NTPの設定](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-deploy/GUID-9AFB9772-8B23-4015-A751-ED04B7CC305D.html)を実施します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/b626021c-73c2-cf0c-5a9f-f67570d6fa93.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/c674184e-5311-a496-f6ca-bde112af8957.png)

全てのホストで[自己署名証明書の再作成](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-deploy/GUID-20A4FD73-EB40-403A-99FF-DAD9E8F9E456.html)を実施します。
<font color="grey">※ホスト名を設定後の自己署名証明書が通信に必要となります。</font>

# 1-4 Cloud Builder による管理ドメインの展開
Cloud Bulider仮想アプライアンスを起動し、adminとインストール時に指定したパスワードでログインをし、「VMware Cloud Foundation」を選択の上、「Next」を選びます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/a1824bfb-0d75-0b64-81f4-c587c1d3d632.png)

1-1で準備した「プランニング＆準備ワークブック」を、Cloud Builderにアップロードします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/ee9f1bfa-a635-21ea-4880-5a66c302aff3.png)
「Validate Configuration」が成功する事を確認します。（15分程度）失敗する場合は、メッセージを確認の上「Retry」します。この段階でのエラーは、1-3に関連するケースが多い形です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/77888e89-0912-c4d9-e772-8a6372b95b68.png)
「Deploy Cloud Foudation」を実施し（VCF Bring-up作業）、成功する事を確認します。（3時間半程度）
エラーで停止した場合は、UI上には詳細な情報が表示されない為、Cloud Builder仮想アプライアンスにadminユーザでコンソールアクセスの上、<font color="red">**/var/log/vmware/vcf/bringup/vcf-bringup.log</font>** 又は <font color="red">**vcf-bringup-debug.log</font>** のエラー発生時刻付近のログの内容を確認し、環境を修正の上「Retry」します。
主な確認項目としては、基盤側でのVLANとサブネットの構成、GWアドレス、MTU、DNSの登録、vSANの構成、（ネスト構成の場合は）プロミスキャスモードの指定と、ホストのvmnicの指定（vSwitch0からvmnic0が、Distributed Switchにvmnic1とともに移行されます）が挙げられます。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/738ae3e8-b178-3a09-5e60-8c0c609d7d1b.png)

「Finish」ボタンまたは、https://SDDC-Manager-IP-addressで、administrator@vsphere.local 等のvCenter Server SSOユーザにて、SDDC Managerにログインします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/804cd092-4da8-0536-9da3-ccba12d2b085.png)

# vRealize Suite Lifecycle Manager及びvRealize Suiteの展開
## 2-1  NSX Edge の展開
[こちらの手順](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-admin/GUID-D17D0274-7764-43BD-8252-D9333CA7415A.html)にてSDDC Managerより、管理クラスタのNorth-Southルーティング及びvRealize Suiteの展開用のネットワークを作成用に、NSX Edgeを展開します。（1時間半程度）※EdgeのTEPアドレスは、ホストと別セグメント/VLANとする事が推奨です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/925d2e17-452c-f0ec-bf0e-8ac4c21f3ff5.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/22381622-3147-8748-fb31-d6b49fe4de9a.png)


## 2-2 アプリケーション仮想ネットワーク の展開
vRealize Suite展開用に、アプリケーション仮想ネットワーク（AVN）を[こちらの手順](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-admin/GUID-59E5BEE3-B157-426D-A40C-F21171586863.html)にて作成します。AVNはオーバーレイのNSXセグメントまたはVLANのNSXセグメントを使用して作成可能です。作成にあたり、上記で作成したNSX Edgeクラスタを指定します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/e77961e1-aa14-ba35-2404-a25c10a51ef2.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/88d5f5c7-da45-b651-08ab-09815c519ae0.png)

## 2-3 vRealize Suite Lifecycle Manager の展開
vRealize Suite Lifecycle Managerのバンドルをダウンロードの上(1時間程度)、[こちらの手順](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-admin/GUID-57523CF3-84C0-4CE3-A991-74F9498A0CCD.html)にてインストールします。（30分程度）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/40f75e03-94be-8996-158a-08db84064bae.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/25fe138a-2ddc-e67a-f03d-f30917310095.png)

## 2-4 vRealize Suite (例：Aria Operations for Logs）の展開
vRealize Suite Lifecycle Managerに、vcfadmin@localユーザーとインストール時に指定したパスワードにてログインし、[vCenter Serverを設定の上](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-admin/GUID-0EC73FFB-75AE-40E8-AB6A-FABED0F6C3DB.html)、[こちらの手順]（https://core.vmware.com/intelligent-logging-and-analytics-vmware-cloud-foundation）にてAria Operations for Logsを展開します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/aecf5638-0f7f-fc94-9ab1-d066eaf5f81c.png)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/ecf82349-de96-3ec1-be65-2ae85e6430df.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/3e2d879e-58fa-3fd0-5e9e-35abd74d3a3b.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/ea1c818d-6b67-fe51-7d28-79ebfaffe973.png)

## ワークロードドメインの展開
# 3-1 VCF用のホストの展開（ワークロードドメイン用 3台）
ワークロードドメイン用のホストについて、[1-3のホストの準備と同じ手順](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-admin/GUID-AE6C428A-8EEC-46F2-875B-FE57E1F03094.html)で作業を実施します。また、[「VCF プランニングおよび準備ワークブック」](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-planning-and-preparation-workbook.zip)に、ワークロードドメインの展開に必要な情報を記載します。<font color="grey">※こちらは1－4とは異なり、Cloud Builder等にアップロードするファイルではなく、設定にあたっての参考資料としてのパラメーターシートとなります。</font>

# 3-2 ネットワークプールの作成、ホストのコミッショニング、ライセンスの追加
vMotion及びvSAN用のネットワーク情報となる[ネットワークプールを作成](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-admin/GUID-EDBD856F-B4AE-45BD-87F7-D99820F88592.html) または[既存のプールを拡張](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-admin/GUID-E4610444-F3E7-4B33-A6F1-82EAB235403D.html) します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/a045af4f-9c72-74cd-5584-16d97238c46b.png)
続いてSDDC Managerに[ワークロードドメイン用のホストを追加（コミッショニング）](![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/c88ccd8e-0fa7-a67e-34a7-b7f532a0b0da.png)
)を実施します。(2分程度)

また、登録済みのライセンスキーのキャパシティが不足する場合は、[ライセンスキーを追加](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-admin/GUID-FD3B1D45-AC70-45CC-A507-944D1A476EB9.html)します。

# 3-3 ワークロードドメインの展開
[こちらの手順](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-admin/GUID-E64CEFDD-DCA2-4D19-B5C5-D8ABE66407B8.html#GUID-E64CEFDD-DCA2-4D19-B5C5-D8ABE66407B8)にて、ワークロードドメインを展開します。(5時間程度)エラーで停止した場合は、/var/log/vmware/vcf/domainmanager/domainmanager.logにて、6文字の参照トークンで表示される個所を参照し、環境を修正の上失敗したタスクを再開します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/79a9abcf-f0b9-9c68-9ef6-af17a00ffe49.png)
ワークロードドメイン（VI）が追加された事を確認します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/215676f0-22ae-4a80-b4d3-1569af722318.png)
管理ドメインに各種管理コンポーネント（vCenter Server、SDDC Manager、NSX Manager、NSX Edge、vRealize Suite Lifecycle Manager、Aria Operations for Logs）が配置され、またワークロードドメイン用のvCenter及びNSX Managerが配置される事が確認出来ます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/251519/e8a341ed-3605-3588-03ce-e39430c50dc4.png)



# 3-4 NSX Edgeの展開、vRealize Suiteのワークロードドメインへの接続
[Edgeクラスタの展開手順](https://docs.vmware.com/jp/VMware-Cloud-Foundation/5.0/vcf-admin/GUID-D17D0274-7764-43BD-8252-D9333CA7415A.html) 及び [vRealize Suiteのワークロードドメインへの接続手順](https://docs.vmware.com/en/VMware-Cloud-Foundation/services/vcf-intelligent-logging-and-analytics-v1/GUID-33FF0C5C-F7BC-471A-969E-9D1DB9620FB4.html)
 を実施します。




##  参考URL
* [Building a Nested ESXi Lab for VMware Cloud Foundation (VCF) (updated 2023-Dec)](https://www.aaronrombaut.com/building-a-nested-esxi-lab-for-vmware-cloud-foundation-vcf/)
* [Step-by-step VMware Cloud Foundation 4.3 design and install MGMT domain](https://www.vmwarensxcloud.com/2021/10/step-by-step-vmware-cloud-foundation-43.html)
* [[VMware] VMware Cloud Foundationについて(1)](https://virtualhive2.wordpress.com/2019/06/17/vmware-vmware-cloud-foundation%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A61/)
* [Where Are My VMware Cloud Foundation Logs?](https://lifeofbrianoc.com/2020/09/09/where-are-my-vmware-cloud-foundation-logs/)