vCenter 6.xからvCenter7.xへのアップグレード


本記事は[古いIBM CloudのVCS環境(vSphere 6.5ベース)を順次最新化してます](https://qiita.com/testnin2/items/1f8d157f9cf6bc4c5641)における作業の一環である。本記事では、[vCenter Server 6.5 Update 3t: 6.5.0.40000 build-19757181](https://docs.vmware.com/en/VMware-vSphere/6.5/rn/vsphere-vcenter-server-65u3t-release-notes.html)から、[vCenter Server 7.0 Update 3f: 7.0.3.00700 Build 20051473](https://docs.vmware.com/en/VMware-vSphere/7.0/rn/vsphere-vcenter-server-70u3f-release-notes.html)へのアップグレードを行う。


# 1. vCenter Server 7.0のISOイメージをCaseを起票して入手する。

Case起票手順は省略

# 2. vCSAのrootパスワードが必要なため、Caseで起票して入手する。

文面例は以下の通り。

```
Hello, can you share the the root password of VCSA to upgrade from 6.x to 7.x ?
The attached docs says we can get the password if we contact IBM support.

VCS name: vcs65
VCS ID: 702e2231-5325-4d03-88b4-1bae68644479

https://cloud.ibm.com/docs/vmwaresolutions?topic=vmwaresolutions-vs_vsphere_70_upgrade&locale=en
> Verify that the PSC and vCenter Server root user ID with its credentials are visible on the console. If your vCenter Server instance was initially ordered in V2.5 or later, only the account with customerroot access is visible on the console. In this case, contact IBM Support for the root user ID password for PSC and vCenter Server.
```


# 3. vCenter Server 7.0のライセンスを購入する。

- Classic Infrastructure -> Manage -> VMware Licenseから購入。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/62127/55e4f992-4645-5ce6-cba1-0c6a86f57090.png)
- vCenter Server 7.xを購入。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/ce21a960-160a-dc28-dad9-f6c47d783c2d.png)


# 4. DRSを止めておく
移行中に、vCenterなどが移動したりされては困るため。
[VMware DRS （Distributed Resource Scheduler）を停止/再開する方法](https://qiita.com/testnin2/items/bdbc942683079acc643a)

# 5. vCenter Update Managerの更新チェックを止めておく
移行中にジョブが走ると嫌なので。
[VMware Update Managerの定期的に実行される更新チェックを停止する方法](https://qiita.com/testnin2/items/fef813e180b04ef033d1)

# 6. Backup用途にvCSAのSnapshotを取得しておく

（手順省略）

# 7. 分散スイッチのバックアップを取得しておく
以下より実施。`SDDC-Dswitch-Private`と`SDDC-Dswitch-Public`の両方をバックアップしておく。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/bff4a610-4e45-c847-ddb6-8d6e0bdb3c03.png)

# 8. 標準スイッチを作成
vCSAのアップグレードには標準スイッチが必要になる（実際、アップグレード画面で新しいvCSAを配置するために、IBM CloudのVCSで作成されていた分散スイッチは選択できなかった）。今回はvCSAが1台目のESXi上に存在するため、このESXiだけ標準スイッチを作成し、2つあるprivate portのうち1つを分散スイッチに残したまま、もう一方を標準スイッチに移動する。これにより、一時的に冗長性は無くなるが、代わりにこのESXiでは標準スイッチと分散スイッチの両方が使えるようになる。

1. `SDDC-Dswitch-Private`において、`MANAGE PHYSICAL ADAPTERS...`を選択。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/a6c0f924-d1f5-7233-df61-8a8a8693896f.png)
2. `X`を押して`uplink2/vmic0`を削除して`OK`を押下。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/adb4dce6-a6f9-96be-c425-33766a9aab9d.png)
3. `uplink2`が存在しない状態になったので、`OK`を選択。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/3b940921-853f-3f11-5afc-cb3a9a19ab0e.png)
4. `Add Networking`を押下。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/5730189a-9444-142c-837b-4b6e36bea187.png)
5. `Virtual Machine Port Group for a Standard Switch`を選択。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/0c720819-cff2-96ef-0ff5-9d26f3fd0b90.png)
6. `MTU=9000`で新規に標準スイッチを作成。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/0c4a2b67-760f-20ce-e4ae-89cf90575235.png)
7. 先程分散スイッチから取り除いた`vnmic0`を`Active Adapters`に追加。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/c81588e8-ee93-837e-dd58-c23a797c2670.png)
8. デフォルトのまま進む。後に、この`VM Network`をアップグレード時に選択するので名前を覚えておく。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/9f54f956-0f45-246a-b39a-a5cba4cdf219.png)
9. FINISH![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/e4099475-bcbf-ac67-72f6-4d12a2ed43da.png)

# 9. VCSAのupgrade(Stage 1)

以下の作業は、VCSのAD/DNSを参照して、vCenterの名前解決ができる場所から実施した。

1. vCenter 7.0のISOイメージをマウント。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/0324c4a2-593a-3ea1-f44c-21d55937cbd8.png)
2. インストーラーの実行。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/23d73cf0-8e50-3645-cb77-0a538de17d08.png)
3. Upgrade ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/de01864b-fc76-cb86-5f75-ddcd5b796eb0.png)
4. Next ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/038d75ea-d129-38ba-656e-c5023c3baab4.png)
5. Next ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/e1c0e804-9892-864f-504b-eb555c931147.png)
6. vCSAのFQDNを入力し、`CONNECT TO SOURCE`を押下。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/6689ac98-f30c-95cd-3493-15846378ed88.png)
7. vCSAのcredential情報を入力。vCSAは1台目のESXi上で稼働しているため、1台目のESXiのIPアドレスやCredentail情報を入力 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/c0497555-6ea3-6b68-fa89-fca76fd9fe61.png)
8. YES ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/4f71f814-711e-2e18-f8cd-209c61494c92.png)
9. 標準スイッチが存在する1台目のESXiサーバーをデプロイ先として選択するため、そのIPアドレスとCredentail情報を入力。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/ef278046-8a89-2086-5f31-516054062a83.png)
10. YES ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/01987895-d05e-909f-3004-6970727697b5.png)
11. 新しいvCSAのrootパスワードは旧vCSAのパスワードと同じものをそのまま流用 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/b747345a-693e-4032-5313-e8f8a2177feb.png)
12. 今回はSmallを選択。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/90d38ecd-932e-fc0d-316e-140215e38f95.png)
13. 問題ないとは思うが、万が一NWが切れてしまった時のことを考えて、一旦はLocal Disk上に配置。<br> ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/a697420c-a4d7-ab33-b8ca-50e2ea0b8f02.png)
14. デプロイ先のNWとして、先ほど作成した標準スイッチ上のネットワークを選択。暫定IPアドレスとして、`10.193.73.60`を使用。このIPアドレスは暫定で利用されるものであり、最終的にはIPアドレス含めた設定情報などがStage 2で既存vCSAからコピーされるため、既存のvCSAと同一subnetでバッティングしない任意のIPアドレスを選択。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/a6abbbf4-3bfe-f1e5-3494-992b5faef527.png) ちなみに、現行のmanagement networkのsubnetは以下のようになっていたため、`10.193.73.60`は確かに使われていない。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/2bf77fe6-5991-4a43-8ecd-3a8b7c7960b4.png)
15. FINISH ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/2f3d894e-4fa2-6880-0194-d190c46c44b8.png)
16. 途中経過 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/f4ffea2f-f6bf-7d67-cb49-82ccc2e58176.png)
17. Stage 1の完了 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/5127b3b5-f471-5cd8-2b9c-7d928b8b8d28.png)

# 10. VCSAのupgrade(Stage 2)

- NEXT ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/b7024cfc-e75b-4cb0-2bb0-41d76202a7f1.png)
- しばらく待つ。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/1db21f8e-fa4e-f88b-6da0-543b556f77ce.png)
- エラーになってしまった。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/34670bc2-83c1-4a53-8d46-f17bab7f8f2f.png)


これは、[KB2051311](https://kb.vmware.com/s/article/2051311?lang=ja)によると、既存環境の分散スイッチでLACPがBasic Support（基本サポート: LACPv1)を利用していることが原因のようだ。vCenter Server 6.7からは既にLACPv1をサポートしていないので、この問題はvCSA 6.5からアップグレードする際に発生する問題だと考えられる。

- 以下で、分散スイッチのLACP情報を見てみると、確かに`Basic Support`と表示されている。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/575e02b4-0c41-e238-ca8d-4a157ac028c4.png)
- VCSではLACPを利用しておらず、分散スイッチのバックアップはすでに前述のステップにて取得しているので、Enhanced LACP(LACPv2)にUpgradeを行う。まず、`SDDC-Dswitch-Public`から。。。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/fe9fc55b-d1be-c713-94fd-a76b32d90c0e.png)
- NEXT ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/de3fa40f-b285-ad30-16f7-336178488be7.png)
- NEXT ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/024e956b-f30f-4a88-95e2-6ce6c6e54dd9.png)
- FINISH ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/dab14cd6-b769-85b8-ae52-f9b07b4c3566.png)
- LACPが`Enhanced Support`と表示されるようになった。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/cfdad1b5-4f65-8734-f9f0-182d14ac1d24.png)
- 同様に、`SDDC-Dswitch-Private`に対しても実施（手順省略）


以上にてLACPのアップグレードが終わったので、再度Stage2を進める。

- 再度、先ほどのWizardでvCSAのrootパスワードを入力してログイン ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/788993b7-bbb1-e892-ebea-e17568038cd6.png)
- 今度はエラーなく、次の警告画面が現れる。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/41e0e9e9-d990-9ae1-2bb1-577a04909b30.png)

内容的には問題がないが、記録のために今回の警告内容を以下に列挙しておく。

```
- Warning: Integrated Windows Authentication will be deprecated in vSphere 7.0. Support for IWA continues to be available in vSphere 7.0 and will be phased out in a future release. [Learn more](https://kb.vmware.com/s/article/78506)

- Warning: This ESXi host [//10.193.72.206:443] is managed by vCenter Server [10.193.73.2].
- Resolution: Make sure the cluster where this ESXi host resides is not set to Fully Automated DRS for the duration of the upgrade process.

- Warning: 
This vCenter Server has extensions registered that cannot be upgraded to or may not work with the new vCenter Server. Extensions: NSX Manager (by VMware) on https://vcenter-vcs65.vcs65.ibm.local/sdk/vimService, NSX user interface plugin (by VMware) on https://vcenter-vcs65.vcs65.ibm.local/sdk/vimService, Zerto Replication Plugin (by Zerto, Inc.) on https://10.193.73.9:9669/ZvmService/GuiPageServer/pubsplugin.xml,
- Resolution: 
Please ensure extensions are compatible with the new vCenter Server and re-register extensions with the new vCenter Server after upgrade. Please refer to the vSphere documentation on extensions, and the upgrade and interoperability guides.

- Warning: Files that cannot be used with Lifecycle Manager 7.0.3 will not be copied from the source. These files include VM guest OS patch baselines, host upgrade baselines and files, and ESXi 6.0 and lower version host patches baselines.
- Resolution: Please review VMware Lifecycle Manager 7.0.3 Documentation for details

- Warning: The vSphere Update Manager specific proxy settings is deprecated from vSphere 7.0 GA. The Lifecycle Manager service will now use the proxy settings configured at VMware vCenter Server Appliance (VCSA) Interface.
- Resolution: Please log in to the vCenter Server Appliance Management Interface to view and configure proxy settings. Refer to VMware Lifecycle Manager 7.0.3 release notes for details.

- Warning: The source vCenter Server instance is configured with more CPU cores than the target appliance.
- Resolution: 
If you need to increase the number of CPU cores on the target vCenter Server Appliance, you can do that manually, after the upgrade or migration finishes
```

- 全てをコピーする。![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/6fc42b70-d242-af25-dcab-602936ab903b.png)
- NEXT ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/ec091078-26c8-8423-77bd-0c3e0f44d5e5.png)
- FINISH ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/6d687405-d1cd-06d8-93f9-5894db3f1897.png)
- OK ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/ef2c2aee-cb77-aa9d-c785-cde4071d98a0.png)
- コピー作業中 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/20301ea8-e071-6433-8c68-1e267fa85ffb.png)
- CLOSE ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/61ec7e9e-fa6e-f5ac-e4cf-85db7b7c6020.png)
- CLOSE。Stage 2の完了。 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/609bedb8-e027-e404-1d93-b5df81a7026f.png)

# 11. ログイン確認。バージョン確認

WebからもCLIからもログインできることを確認。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/06cf0210-0382-acda-286b-75b09d6b61bd.png)

```
Command> system.version.get
Version:
   Version: 7.0.3.00700
   Product: VMware vCenter Server
   Build: 20051473
   Type: vCenter Server with an embedded Platform Services Controller
   Summary: Patch for VMware vCenter Server 7.0
   Releasedate: July 12, 2022
   Installtime: 2022-08-03T03:47:44.994Z
```

# 12. ライセンスの登録

Evaluationライセンスしか存在しないため、事前に取得したvCenter7のライセンスを適用する。

- ADDを押下 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/24a43ec4-ffc7-453e-97d7-c1eeaf443e9a.png)
- ライセンスきーを登録してNEXT ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/0f72386a-0eca-2535-4b7a-bc4be19f2edd.png)
- ライセンス名を適切なものに変更してNEXT ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/ccd89eef-d4df-abf4-b2fd-ec68b8d00a95.png)
- FINISH ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/5fe44e1d-9ec3-4ca6-7d7e-a30731bce677.png)
- 次に、この追加したライセンスを割り当てる。`Assets`タブにて、`Assign License`を押下。<br>![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/9eb9dc89-8a46-e98f-d1de-1feadce53a58.png)
- 先ほど追加したライセンスを割り当てる。 ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/b292bb18-4926-4aac-09f0-a0f0099f2a40.png)

# 13. NSX for vSphere環境の確認

vCenter7環境からでもNSX-Vにアクセスできることを確認。

- NSX Managers ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/ea26aeee-cac7-4462-aaba-d781e72eef8b.png)
- NSX Controller ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/5726fcf4-9ddc-2117-246b-a25168f93d61.png)
- Host Preparation ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/c58ee5e7-00ea-c6c0-12d8-24a2b79e57bd.png)
- NSX Edges ![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/e121b395-af3a-7ce0-e457-67566e26942d.png)

# 14. vCenterがローカルストレージ(`datastore1`)で動いているため、共有ディスクの`management-share`にStorage vMotionする。

（手順省略）

# 15. vmnicを標準スイッチから分散スイッチに戻す

vCenterのNetwork Adapterが標準スイッチの`VM Network` Port Groupで稼働しているため、分散スイッチの`SDDC-DPortGroup-Mgmt`に移動する。これにより、標準スイッチは不要になる。

1. ESXiにて標準スイッチを削除。これによりvmnic0が解放される。
2. ESXiにてvmnic0をuplink2に割り当て（途中手順省略。下記は割り当て画面のみ抜粋）
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2746922/2e9d41b6-dfcf-1b12-0a96-754aa2884e7b.png)
3. （オプション）`Network uplink redundancy lost`というAlertが出ていたので、`Reset to Green`を押してalterを消去。