ROSA (Red Hat OpenShift Service on AWS) で仮想マシンを起動してみた

# はじめに
- ROSA (Red Hat OpenShift Service on AWS) はAWSとRed Hatが共同提供するフルマネージドなOpenShiftです。
- OpenShift 4.14からはROSAにおいてもOpenShift Virtualization (OV) の機能がGAとなりました。
    - OVは、UpstreamのKubevirtを取り込んだ、「KVMを応用する事でKubernetesの上で仮想マシンのライフサイクル管理が可能になる機能」です
    - OVを用いてスケジューリングされるVMはBare Metal Nodeの上のみになります
    - よって、ROSAにBare Metal Nodeをアタッチすることで、OVが動きます。
    - 4.14時点では、従来のROSA (Classic) でしかGAとなっておりません。Hosted Control Plane (HCP) でのGAはもう少し待ちましょう。（ただ、私が実機でやってみた感じ、問題なく動くっちゃ動きます）

# ROSAにBare Metal Nodeを追加する
本検証環境の仕様は以下の通りです。
- ROSA 4.14.0
- Tokyo Region, Multi-AZのCluster

まずはデフォルトで作成されているNode一覧を見てみます。
```
~ % oc get nodes
NAME                                             STATUS   ROLES                  AGE   VERSION
ip-10-0-0-207.ap-northeast-1.compute.internal    Ready    worker                 10h   v1.27.6+f67aeb3
ip-10-0-13-247.ap-northeast-1.compute.internal   Ready    infra,worker           9h    v1.27.6+f67aeb3
ip-10-0-31-160.ap-northeast-1.compute.internal   Ready    control-plane,master   10h   v1.27.6+f67aeb3
ip-10-0-33-6.ap-northeast-1.compute.internal     Ready    infra,worker           9h    v1.27.6+f67aeb3
ip-10-0-38-109.ap-northeast-1.compute.internal   Ready    worker                 10h   v1.27.6+f67aeb3
ip-10-0-59-203.ap-northeast-1.compute.internal   Ready    control-plane,master   10h   v1.27.6+f67aeb3
ip-10-0-64-220.ap-northeast-1.compute.internal   Ready    control-plane,master   10h   v1.27.6+f67aeb3
ip-10-0-83-142.ap-northeast-1.compute.internal   Ready    infra,worker           9h    v1.27.6+f67aeb3
ip-10-0-91-29.ap-northeast-1.compute.internal    Ready    worker                 10h   v1.27.6+f67aeb3
```
Control Plane (旧称 Master Node）、Infra Node、Compute Node（旧称 Worker Node）の三種類が作成されています。
※Infra Nodeというのは、Worker Nodeの一種で、OpenShiftを構成する管理コンポーネントを司るPodをスケジューリングするためのNodeです。

OVを利用する為にはBare MetalのWorker Nodeが必要ですので、「Red Hat Hybrid Cloud Console」からNodeを追加します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/e7f6a7b6-d3be-0d0f-3953-cca1f4b9edaa.png)
ROSAでは、Worker Nodeたちを種類別に`Machine Pool`として作成・管理できます。`Add machine pool`していきます。
Bare Metal Nodeを適当に選んでおきます。とりあえず`m5.metal`を選択しました。AutoScale等はご自由にしてください。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/0b119b52-0f84-5c08-90c4-3e5e49db0982.png)
このまま追加してしまっても良いのですが、Annotation (key:value)にNodeRoleの情報`node-role.kubernetes.io/metal: ''`付与しておきます。
※あとで見やすいようにするためなので任意。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/bad55e73-9c75-39ec-89e6-bbeacc5a67df.png)
追加できました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/e9aa9350-2654-20aa-1160-e3202983e4a5.png)
ただしProvisioningされるまで相応の時間がかかりますので、しばし待ちます。
EC2がProvisioningされ、更にOpenShiftのNodeとしてアタッチされるまで30分くらいはかかりました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/d8609952-8dac-9254-401b-9ab9e459c544.png)
追加されました。NodeのROLE欄に`metal`が入っているやつが見えます。
```
~ % oc get nodes
NAME                                             STATUS   ROLES                  AGE     VERSION
ip-10-0-0-207.ap-northeast-1.compute.internal    Ready    worker                 10h     v1.27.6+f67aeb3
ip-10-0-13-247.ap-northeast-1.compute.internal   Ready    infra,worker           10h     v1.27.6+f67aeb3
ip-10-0-31-160.ap-northeast-1.compute.internal   Ready    control-plane,master   10h     v1.27.6+f67aeb3
ip-10-0-33-6.ap-northeast-1.compute.internal     Ready    infra,worker           10h     v1.27.6+f67aeb3
ip-10-0-38-109.ap-northeast-1.compute.internal   Ready    worker                 10h     v1.27.6+f67aeb3
ip-10-0-50-57.ap-northeast-1.compute.internal    Ready    metal,worker           4m7s    v1.27.6+f67aeb3
ip-10-0-59-203.ap-northeast-1.compute.internal   Ready    control-plane,master   10h     v1.27.6+f67aeb3
ip-10-0-6-250.ap-northeast-1.compute.internal    Ready    metal,worker           4m17s   v1.27.6+f67aeb3
ip-10-0-64-220.ap-northeast-1.compute.internal   Ready    control-plane,master   10h     v1.27.6+f67aeb3
ip-10-0-67-158.ap-northeast-1.compute.internal   Ready    metal,worker           4m27s   v1.27.6+f67aeb3
ip-10-0-83-142.ap-northeast-1.compute.internal   Ready    infra,worker           10h     v1.27.6+f67aeb3
ip-10-0-91-29.ap-northeast-1.compute.internal    Ready    worker                 10h     v1.27.6+f67aeb3
```
OpenShiftのコンソール画面でも確認してみます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/25bc9c02-8009-6bf3-4118-bdd5dd68defb.png)
m5.metalが3台アタッチされました。

次はOpenShift Virtualization Operatorをインストールしていきます。

# OpenShift Virtualization Operatorをインストール
簡単なのでコンソール画面からやっていきます。
管理者向け表示 → Operator → OperatorHub と進み、`OpenShift Virtualization Operator`を選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/bf37e866-8fb4-99a1-0e94-1361b90b6924.png)
デフォルト設定のままインストールします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/b0ffdaf1-46b3-c9cf-4911-bf729cfd0c82.png)
インストール完了までしばし待ちます。2,3分お待ち下さい。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/fe2df787-4d56-9465-ab0c-4a1ac95651be.png)
Operatorはインストールできました。続いてKubevirtを含むOVのコンポーネントをDeployしましょう。
「HyperConvergedの作成」をクリックします。
こちらもデフォルト設定で大丈夫です。Project（Namespace)が`openshift-cnv`になっていると思います。
そのまま「作成」をクリックしてください。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/ae018254-fdd3-5853-032a-9c5055557a2a.png)
コンポーネントが立ち上がるまでしばし待ちます。こちらも2,3分。
※開発者向け表示でトポロジーを確認すると、作成過程を見られます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/0d757324-c713-9d7c-8470-9fc5e077b736.png)
`HyperConverged`がDeployされると、画面コンソールの更新を促されますので、更新してください。
管理者向け表示にすると、コンソールの左側に`Virtualization`とかいうメニューができます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/200c7406-299c-a2fe-a8ea-4b2bb86c42e6.png)
おめでとうございます。ROSAでOpenShift Virtualization機能が使えるようになりました。
では、なんか適当にVMを立ててみましょう。

# VMを建てる
Projectを作成しておきます。今回は`virtual-machine`という名前にしておきました。
管理者向け表示にて、Virtualization → VirtualMachine と進み、`Create VirtualMachine`をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/5eafd127-9f3e-5c2d-b314-44f1e700f06e.png)
`From template`を選んでください。
今回はサクッとVMを建てたいので、Fedoraを選びます。
※Fedoraは、RHELの最も上流にいるUpstreamのProjectです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/226d2c36-529a-500d-e4c6-64e65b212f65.png)
今回はそもまま「Quick create VirtualMachine」をクリック。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/eaec9362-a8dd-64a8-0f69-3c9eee7bddcd.png)
直ぐにProvisioningが始まります。しばし待ちます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/152395bf-7ce8-6191-dcc1-7f2ca607506a.png)
Fedora VMがROSAの上で立ち上がりました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/719dd137-757c-8d76-9b7a-34cc1c8b0a56.png)
「Console」タブからVMのコンソール画面（CLI ot GUI）にアクセスできます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/a706123e-00a5-c630-df5d-3e7be5d3f88d.png)
開発者向け表示のトポロジー画面からもVMの詳細を見られます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/d6882153-ddc1-3914-faae-410b9e98dde1.png)
本来はPodが浮いているところに「VM」っていうやつがおります。初めて見ると、とても違和感がありますね。


# 環境観察
さて、Fedora VMの横っちょに`Not migratable`と青字で表示されています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/19646055-e3f6-1cb6-3ba4-8aaf931f12bb.png)
OpenShiftの上で管理するVMは、Bare Metal NodeをまたいでLive Migrationする事ができるのですが、そのためにはVMにアタッチされているVolumeがReadWriteMany (RWX) である必要があります。
なお、VMにアタッチされる論理ディスクの実態はPersistentVolume (PV) です。
※VMもコンテナの中で動いており、コンテナはPodの中で動いています。KubernetesからはVMもPod/Containerとして見ているわけですね。
管理者向け表示にて、ストレージ欄からPersistentVolumeClaim (PVC) を見てみます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/ba75c5e3-f1bd-3d83-81e1-e7f16fbed733.png)
バインドされているPVを見てみます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/4403b47b-3cbc-853f-fefc-c14b9e58d91b.png)
アクセスモードがReadWriteOnce (RWO) になってます。これではVMのLive Migrationはできません。
実は、AWS EBSの仕様で、EBSをStorageClassとして作成する論理ディスク＝PVはRWOしかProvisioningできません。

ほんとか！？ ちょっと確認しておきましょう。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/2edf9aee-8719-63ba-a017-78059ae10d4d.png)
From formを選んでPVCを作成してみます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/9b1defde-9fcb-7135-b4a1-929aef009aa1.png)
RWO以外が選択できません。

ちなみに、AWS EFSはRWXのPVCを作成可能です。
EFSをStorageClassとして選択できるようにする為には「AWS Elastic File Service CSI Driver Operator」をインストールする必要があります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/efc77626-56dc-41ac-4df7-baca3f7b3846.png)
「AWS Elastic File Service CSI Driver Operator」をインストール後、[こちら](https://docs.openshift.com/container-platform/4.14/storage/container_storage_interface/persistent-storage-csi-aws-efs.html#persistent-storage-csi-efs-driver-install_persistent-storage-csi-aws-efs)の説明に従ってCRDを編集しますと、StorageClassのプロビジョナーとしてEFSを選択できるようになります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/d36f9d11-34b3-3a9f-752d-10cf485509c1.png)
EFSをStorageClassに選ぶと、確かにRWO以外の選択肢を選択できます。やった〜！
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/221441a7-0391-974a-17bb-990cececf26a.png)
ただし、VMのVolumeにはブロックストレージを選択する必要がありますので、RWXであったとしてもEFSからProvisioningされたPV（ファイルシステム）は使えません。残念。

もしVMのLive Migrationを求める場合は、CSI対応の種々のSDSを用いて、RWXでProvisioningできるStorageClassを導入する必要がありますので、そのようにしてください。

なお、ストレージシステムと論理ディスク、あるいはStorageClassとPersistentVolumeなどの関係は、以下のイラストを参考に理解頂けます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/eb10f975-bcec-16a3-ab29-3c39b5d4e91a.png)

# OpenShift Data Foundationを使ってRWX対応のブロックストレージをProvisioningできるようにする
諦めきれないので、OpenShift Data Foundation (ODF) をROSAにDeployして、cephベースのストレージを使えるにしてみました。

【注意】現時点においては、ROSAにおけるODFの利用はRed Hatの公式サポート対象ではありません。やるにしても自己責任でお願いします。

参考情報：
- https://access.redhat.com/solutions/5945751
- https://access.redhat.com/documentation/ja-jp/red_hat_openshift_data_foundation/4.14
- https://access.redhat.com/labs/odfsi/#T0RGIGFzIFNlbGYtTWFuYWdlZCBTZXJ2aWNlLDQuMTQuNCwxLDAsMCwwLDA=


「OpenShift Data Foundation Operator」をインストールします。OperatorHubからインストールしてください。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/6c01d34c-86c4-8221-501d-d963e12f5ad7.png)
設定はそのままでインストール〜！
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/7002f291-bd80-d435-d4f1-301c2ac2b33d.png)
インストールが終わるとStorageSystemの作成と画面コンソールの更新を促されますのでそのようにしてください。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/08a3bfd1-eebf-41bf-c7fb-6ebc89985d62.png)
バッキングストレージはEBSを使います。ので、おそらくデフォルトで選ばれている`gp3`をそのまま選びます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/f036439c-2d74-0459-f7bf-4b75c13cfd02.png)
「次へ」をクリックすると、cephクラスタを構成する為のWorker Node選択画面に行きます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/b5da6040-e725-8002-4bc1-1c133970fa17.png)
このNodeの条件が「3 つ以上のノードを (可能であれば) 3 つの異なるゾーンで選択します。ノードごとに最低でも 14 の CPU および 34 GiB のメモリー」ということでして、cephクラスタ用にNodeを更に追加します！

# 再度「Red Hat Hybrid Cloud Console」からadd machine poolする
条件に適合するMachineを選んでください。とりあえず`m5.4xlarge`を選んでおきました。
Auto Scallingなどは同じくご自由に！
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/ec27f91a-e00a-c25e-7f87-b2d117a213e9.png)
これも任意なのですが、あとで見つけやすいように、「Node labels」に`node-role.kubernetes.io/storage: ''`を追記しておきました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/c322b6a4-15cd-a018-8b5c-d7b2e958983d.png)
「Add machine pool」を選択し、NodeとしてのProvisioning完了までしばし待ちます。また30分くらい待つ。
```
~ % oc get nodes
NAME                                             STATUS   ROLES                  AGE    VERSION
ip-10-0-0-207.ap-northeast-1.compute.internal    Ready    worker                 12h    v1.27.6+f67aeb3
ip-10-0-11-81.ap-northeast-1.compute.internal    Ready    storage,worker         30m    v1.27.6+f67aeb3
ip-10-0-13-247.ap-northeast-1.compute.internal   Ready    infra,worker           12h    v1.27.6+f67aeb3
ip-10-0-31-160.ap-northeast-1.compute.internal   Ready    control-plane,master   12h    v1.27.6+f67aeb3
ip-10-0-33-6.ap-northeast-1.compute.internal     Ready    infra,worker           12h    v1.27.6+f67aeb3
ip-10-0-38-109.ap-northeast-1.compute.internal   Ready    worker                 12h    v1.27.6+f67aeb3
ip-10-0-50-57.ap-northeast-1.compute.internal    Ready    metal,worker           104m   v1.27.6+f67aeb3
ip-10-0-56-20.ap-northeast-1.compute.internal    Ready    storage,worker         30m    v1.27.6+f67aeb3
ip-10-0-59-203.ap-northeast-1.compute.internal   Ready    control-plane,master   12h    v1.27.6+f67aeb3
ip-10-0-6-250.ap-northeast-1.compute.internal    Ready    metal,worker           104m   v1.27.6+f67aeb3
ip-10-0-64-220.ap-northeast-1.compute.internal   Ready    control-plane,master   12h    v1.27.6+f67aeb3
ip-10-0-67-158.ap-northeast-1.compute.internal   Ready    metal,worker           105m   v1.27.6+f67aeb3
ip-10-0-83-142.ap-northeast-1.compute.internal   Ready    infra,worker           12h    v1.27.6+f67aeb3
ip-10-0-91-29.ap-northeast-1.compute.internal    Ready    worker                 12h    v1.27.6+f67aeb3
ip-10-0-92-153.ap-northeast-1.compute.internal   Ready    storage,worker         30m    v1.27.6+f67aeb3
```
Provisioningが完了しました。再びODFの画面に戻ってきて、cephクラスタ用のNode（Storage)を選択します。
当該Node達はストレージクラスタとしてのみ使う予定なので、「テイントノード」にチェックを入れてください。
※テイント（Taint)を付けられたNodeには、明示的にNode指定をしたワークロード以外はスケジューリングされなくなります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/2e344b5c-d57f-e9ea-68a3-6f80444dd770.png)
「次へ」をクリック、その後の設定はデフォルトでOKです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/2d8be25b-58e2-bb6e-5093-684dfd538287.png)
ストレージクラスタの作成過程は、ストレージ → Data Foundation → Topologyで見ることができます。
途中、色んなアラートが出てびっくりするのですが、放っておけばストレージクラスタが完成しますので、しばし待ちます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/00b9eb4a-61f6-f97c-5fe7-b538c6629192.png)
ストレージクラスタが完成しました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/addb99d9-b12c-a3f7-d1c0-41185c7fbe5f.png)
こんな感じです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/feced00f-fe5a-85a5-2176-ece347b8e61e.png)
StorageClass一覧を見てみてください。ODFから払い出されたcephベースのリソースが見えますね。
※接頭辞に`ocs`と付いてるやつ。上からファイルストレージ、ブロックストレージ(デバイス)、オブジェクトストレージに該当する`StorageClass`が追加されます。便利！
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/aa6db6b6-a941-339d-558c-d190438fa076.png)
さて、VMのVolumeとしてアタッチするべきPVのStorageClassは、`ocs-storagecluster-ceph-rbd`です。
# 再度VMを作成する
「Create」をクリックし、「From template」からFedoraを選択します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/e530f1af-b750-5c7e-1040-2069a11a934f.png)
今回は「Customize VirtualMachine」をクリックします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/59bbc297-02be-088e-c16e-dd61237316ed.png)
ここはそのまま先に進みます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/e703b6e6-1bb3-359c-39e4-da6a1bc02658.png)
「Disk」タブをクリックします。ここでrootdiskをRWXなVolumeにしたいのです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/da0f6655-5158-215d-fd8e-6624a915667f.png)
rootdisk行の右端の三点リーダみたいなボタンをクリックします。
StorageClassの選択画面に「ocs-storagecluster-ceph-rbd」が見えますね。
また、VM用にディファインされたと思しき「ocs-storagecluster-ceph-rbd-virtualization」も見えております。
ここではとりあえず通常の「ocs-storagecluster-ceph-rbd」を選択しておきます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/603cb744-41e5-0c6f-0d7a-f52a840ce251.png)
↓
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/37a7ff34-7aee-e80a-7b6e-87e3c16ef19f.png)
StorageClassを明示的に設定できました。「Create VirtualMachine」をクリック。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/9c7aee36-cc20-275d-84f3-13e63842621d.png)
Provisioning開始されました。しばし待ちます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/355e5ec0-a7eb-83af-4d15-7962aa942345.png)
Provisioningが完了しました！しかも`Not migratable`も消えております！
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/336a168a-05cc-1188-315c-b204e4cd03f0.png)

# Live Migrationをしてみる
前後の変化がシンプルに見やすいので、VM一覧画面から操作してみます。
対象のFedora VMが動いているNodeは`ip-10-0-50-57.ap-northeast-1.compute.internal`ということです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/05b17a9c-6f73-ba96-fa87-25948712a40c.png)
※`ip-10-0-50-57.ap-northeast-1.compute.internal`をクリックしてみれば、それは当然ながらBare Metal Nodeです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/23e45d07-d99d-7151-ed31-15e3af9d83b5.png)
三点リーダから「Migrate」をクリックしてみます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/a83aafab-0aad-4bb4-d923-7dec32f8f091.png)
一瞬だけ「Status」が`Migrating`となり、直ぐに`Running`になります。
Nodeが`ip-10-0-67-158.ap-northeast-1.compute.internal`に変わりました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3627586/01e18908-b05c-f1af-00fc-4f86e00d1dc5.png)

# おわりに
ROSAでGAとなった「OpenShift Virtualization」を使い、Live Migration可能なVMを起動してみました。
「OpenShift Virtualization」によって、ContainerとVMを統一されたプラットフォームの上で取り扱う事ができるようになりました。
これから企業の仮想基盤上のシステム・アプリケーションは、徐々にContainerベースのCloud Nativeなワークロードにモダナイゼーションされていくと思いますが、それでもパッケージソフトの制約等から、VMが完全に無くなることはないでしょう。
そうした場合において、「OpenShift Virtualization」が大いに役立つと思います。