Proxmoxを6.2から6.3に移行する

お世話になります。
今回はProxmox6.2を6.3にアップグレードします。

＜現在環境：1号機＞
Ryzen 3500 32GB 256GB SSDサーバー
VM: Windows Server 2019 Essentials, Win10 Pro,簡易ファイルサーバ
IP: 192.168.70.201

＜移行先環境：2号機＞
Athlon 3000G 16GBメモリ、512GB SSD サーバー
IP: 192.168.70.50

「CPUとメモリがスペックダウンしている？」と思われたかもしれません。
移行先は一時的にこのCPUを使い、うまく移行が成功したらCPUとマザーボードとメモリをRyzenに差し替える予定です。（今回その検証を含めます）

6.2→6.3のインプレースアップグレードでもよいのですが、マイグレーション（クローン）の検証もしたかったのでノード間移行といたしました。

USBメモリからProxmox6.3を新規インストールした画面が以下です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/0d997175-f912-837c-3e71-2e87ecac55af.png)

こちらが古い6.2のノード情報です。VMが3つあります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/cb17d60c-5651-21d0-2824-a73758957ee1.png)

W10Templateというのはリンククローン用のいわゆるゴールドイメージで、ここから派生して複数のVMを展開することができます。部署ごとに違うアプリが入ったOSを作成するなどのシーンが想定されます。Sysprepした状態で保存するのが良いでしょう。

------------------------

ここからクラスタを作成します。クラスタといってもCephで本当にクラスタとして動かすためではなく、VM移行のため2ノード間で疎通させる目的です。こちらのURLを参考にさせて頂きました。
https://fefcc.net/archives/1017

1号機で「クラスタを作成」ボタンから作成します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/19645652-30eb-9d09-31a0-d8ff33d91f31.png)

「Join情報」を押し、キーをコピーします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/da247930-20e8-d78f-8d88-1abdf0ed3c16.png)

2号機のGUIから「クラスタに参加」を押し、先ほどのキーをペーストします。パスワードは1号機のrootパスワードです。Peerアドレスに自動的に1号機のアドレスが表示されているのが便利です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/bf41bd09-a582-088b-2d6e-f29a78607ff4.png)

画面をリフレッシュすると、2ノードのクラスタ画面となっています。今後は1号機2号機両方から同じ管理画面となります。CPUやメモリも合算表示となっています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/7b86126a-c1d7-2e2e-a29d-e07a30bcd68a.png)

------------------------

ここからVMを移行します。基本はマイグレーション（移動）で、Win10は万一のためクローンといたします。Windowsをクローンした場合はライセンスがおそらく再認証となるためご注意下さい。今回は試用版OSなので不問とします。

まずはオフラインでのマイグレーションです。Windows Serverを移行します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/1f19e60b-c03a-099f-0e11-5af74b18cc6e.png)

ターゲットノードに2号機（syanai）を選びます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/c52bfb08-52be-31c1-3c8f-7d4a0f89809c.png)

エラーになってしまいました。CPUコアが6に設定してあったため、4コアしかないAthlonの2号機では動かないということのようです。同様に仮想CD-ROMドライブなどがアタッチされていると移行できませんので注意します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/caae196c-aa60-0369-00e5-69cf445ce1ca.png)

Windows Server VMの「ハードウェア」オプションから4コアに編集します。VMのシャットダウンが必要です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/53be1618-7456-2c78-9aa3-12c20bf87ed5.png)

オフライン状態でマイグレーションが開始しました。32GBの仮想ディスクのため、1GbEネットワークだと以下の時間の目安となります。
https://note.cman.jp/network/speed.cgi
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/b1116505-fbb4-d838-3bff-dbef99bb19fa.png)

5分ほどで終了しました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/4eec99cd-1159-9c34-38d3-a207cbf0f9f0.png)

無事に2号機にマイグレーションされています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/175817d5-3bac-325b-4ee7-119f02f07701.png)

------------------------

つづいてオンラインマイグレーションを行います。簡易サーバとしてWindows8.1を使っている想定とします。ノード間移行中、オンラインで使用し続けることができるかの検証となります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/b888f1c5-7b3e-7b87-d991-0e83d8be95b7.png)

やり方は先ほどと同じですが、オンライン状態かつコンソール画面を開いている状態にしてあります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/b598d042-76f3-4229-3f56-dce16fd38848.png)

開始されました。この状態でコンソールを操作してみます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/7cbb479d-c896-cbee-501c-495fd19ac67f.png)

メモ帳は問題なく操作ができます。下のログに「マイグレート中」と表示されています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/aadb1f1f-bb23-6a39-02ff-d76334f67367.png)

無事に完了しました。極度に重い操作などしなければ、ユーザーが意識することなくノード間移行ができると考えて良いでしょう。ネットワーク負荷が高くなるため、クラスタ用にセカンダリNICでVLANを切ることが望ましいです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/b240779a-5072-3805-abff-556a36f92df5.png)

------------------------

つづいてオンラインクローンを行います。念のためバックアップも取っています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/12b2ee4d-1199-ee3d-a5c5-0e79403a26bb.png)

と、ここでエラーになってしまいました。公式サイトによるとノード間のlocal-localクローンは未サポートとのことです。共有ディスクであれば可能とのことで、別の機会に検証いたします。
https://forum.proxmox.com/threads/clone-vms-in-proxmox-cluster-from-templates.72475/
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/2d9e9f3a-ac47-ef54-779c-5a77ab2b370d.png)

普通にオンラインマイグレーションを行います。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/3f762fa8-b2b3-9600-1092-594579f16fcc.png)

無事に終わりました。この記事もマイグレーション中のVMから作成していますが、動作に遅延や瞬断は起きていません。実際は39ミリ秒の停止があったようです。実運用中のクライアントVMだったためか、オフラインマイグレーションよりも速度は1/4に低下しています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/790864/8b79bf5c-6b0c-6223-c214-11eca335d40e.png)


今回はここまでにし、次回以降は以下の検証を行います。

・新しいCPUとマザーボードに交換し起動確認
・共有ストレージを作成し、テンプレートからのクローン（フル、リンク両方）
・ZFSミラーによる2ノード間レプリケーション