NetApp BlueXPを使って、AWS上のNetApp Cloud Volumes ONTAPをcross-regionでAmazon FSx for NetApp ONTAPにレプリケーションしてみた

# はじめに
前回はこちらの記事[「BlueXPのGUIから、AWS上のNetApp Cloud Volumes ONTAPをAmazon FSx for NetApp ONTAPにレプリケーションしてみた」](https://qiita.com/heyanxia/private/47772e6de946d9c87705)で同じリージョン(CVOとFSxN)、と[「NetApp BlueXPを使って、AWS上のNetApp Cloud Volumes ONTAPをcross-regionでレプリケーションしてみた」](https://qiita.com/heyanxia/private/4f66b9b0ebbcaec276f5)の記事で`cross-region`(CVOとCVO)のONTAPのレプリケーションをご紹介しました。今回は`cross-region`でのCVOとFSxNのレプリケーションを検証したいと思います。FSxNは現在`Tokyoリージョン`しか作成できないので、`Osakaリージョン`のCVOをご利用されている方は、AWS full-managed FSxNを体験したい場合、簡単にレプリケーションで実現できます。

そもそもBlueXP、ONTAP、CVOやFSxNなどとは?疑問をお持ちの方は是非こちらの[Keyword](https://qiita.com/heyanxia/private/47772e6de946d9c87705#keyword)、また上記の記事をご確認ください。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/61b9b814-167d-ef5d-6ccb-189f28426e78.png)

# いきなりまとめ
結果から言うと、AWS VPC peeringした上でNetApp BlueXPの簡単な操作により、CVOをcross-regionでFSxNにレプリケーションすることができます。

# 手順
1.AWS consoleからTokyoとOsakaのVPC Peeringを準備
2.TokyoリージョンにFSxN、OsakaリージョンにCVOを作成
3.BlueXpのGUIにより、CVOをFSxNにcross-regionでレプリケーション
FSxNをAWS Consoleから作成、BlueXPの`discover`機能より追加するの構成イメージ：
FSxNをBlueXPのGUIにより作成する場合はFSxNのconnectorが必要となるので構成が異なります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/704912aa-efa3-96a8-6083-37b4cd20e698.png)

# 1.AWS consoleからTokyoとOsakaのVPC Peeringを準備
参照記事[「AWS consoleからTokyoとOsakaのVPC Peeringを準備」](https://qiita.com/heyanxia/private/4f66b9b0ebbcaec276f5#1aws-console%E3%81%8B%E3%82%89tokyo%E3%81%A8osaka%E3%81%AEvpc-peering%E3%82%92%E6%BA%96%E5%82%99)の手順に従い、IPv4 CIDRが`Overlapping`しないように、Tokyoの方を`10.0.0.0/16`、Osakaの方を`10.1.0.0/16`にしてそれぞれのVPCを作成し、最後はこのような`Route tables`を設定します。
* Tokyo Route tables
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/8ff1fbf0-7cc4-ecf7-1855-2cf4ab41c135.png)
* Osaka Route tables
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/cce15fec-cc12-689d-1986-e7157103c9d8.png)

# 2.TokyoリージョンにFSxN、OsakaリージョンにCVOを作成
* Tokyo FSxN
FSxNの作成方法はBlueXPのGUIやAWS ConsoleとAWS CLIなど幾つかがあります。今回は[「FSxNとCVOをAmazon Cloud上に作成」](https://qiita.com/heyanxia/private/47772e6de946d9c87705#1fsxn%E3%81%A8cvo%E3%82%92amazon-cloud%E4%B8%8A%E3%81%AB%E4%BD%9C%E6%88%90)を参照して、AWS Consoleから上記のTokyo VPCにFSxNを作成して、BlueXPのGUIから`discover`で既存のFSxNを追加します。この場合はFSxNのconnecorがなくても大丈夫です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/f025610d-6cb8-9edc-30d9-f8fa11a50336.png)
AWSに事前作成したFSxNのcredentialを選んで追加します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/e7f79932-9390-284c-eadb-74ed06236d52.png)
FSxNをAWS consoleの代わりにBlueXPのGUIから作成したい場合は、上記のFSxNのCredentialと共にAWS上にFSxNのConnectorを作成する必要があります。こちらの[ガイド](https://docs.netapp.com/us-en/cloud-manager-fsx-ontap/use/task-creating-fsx-working-environment.html)を参考にできます。

* Osaka CVO
[「BlueXPのConnecorとCVOをAmazon Cloudに作成」](https://qiita.com/heyanxia/private/d1a72eec868ed8f57386#1bluexp%E3%81%AEconnecor%E3%81%A8cvo%E3%82%92amazon-cloud%E3%81%AB%E4%BD%9C%E6%88%90)と[「CVO: Quick start for Cloud Volumes ONTAP in AWS」](https://docs.netapp.com/us-en/cloud-manager-cloud-volumes-ontap/task-getting-started-aws.html)を参照して、BlueXPのConnectorをTokyoリージョンに作成します。先程作成したOsaka VPC、KeyPair、Security Groupなどの条件を確認した上で`OsakaリージョンにCVO`を作成します。今回はレプリケーションを検証する為、`Cloud Tiering、Cloud Backup、Data Sense`を`off`、`No Storage Efficiency`と`Freemium(up to 500GiB)`にします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/d250d3f5-0774-0697-74d2-aa521accf91b.png)

# 3.BlueXPのGUIにより、CVOをcross-regionでFSxNにレプリケーション
* OsakaCVOをTokyoのFSxNにレプリケーション
BlueXPのGUIにより、上記の作成した`OsakaCVO`を`FSxN`にドラッグして`Replication`を選びます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/b253dcc8-89a2-799f-0a85-082b46d7f602.png)
Wizardに従い、レプリケーションしたいOsakaCVOのボリューム`nfs`を選び、`Destination`を`FSxN`にして新しいボリューム`nfs_copyfromOsakaCVO`を作成する形で、`Tiering Disabled`と`Mirror`にしてレプリケーションします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/d094318b-9027-bb30-34b0-e5ba16ebe27f.png)
設定を確認して`Replicate`します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/0bcad8f0-6866-393a-e9e7-d856c66d9f00.png)
BlueXPのGUIからOsakaCVOとFSxNの間に矢印付の線が紐付いて、`Replication`ができました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/b5f3745c-bd66-f1f3-2a35-14a8d527f722.png)
BlueXPのGUI`Protection->Replication`から、また`FSxN->Volumes`からもレプリケーションの詳細が見られます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/ef62d94f-9bc3-3d44-bb3b-7bb01dae7538.png)
しばらく待つと、AWS Console FSxNの方にも反映されます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/e16ae7dc-6414-aa78-1e39-a82cf86c288e.png)
CVOに`ssh -i YourKeyPair admin@YourCVOPublicIP`でログインして、`vserver peer show -vserver svm_OsakaCVO`、`vserver peer show -vserver svm_OsakaCVO -instance`でpeeredになってることが確認できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/982f0e3f-a9b3-1af1-71ee-7c4a85e34c92.png)

* TokyoのFSxNからOsakaCVOにレプリケーション
既に一方からのレプリケーションが構築されても、逆の方向でもできます。同じような手順で、今度`FSxN`にあるボリューム`vol1`を`OsakaCVO`に新しいボリューム`vol1_copyfromFSxN`を作成する形でレプリケーションします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/ed0a0904-5ef7-d169-4a17-145b79818b7d.png)
FSxNの`vol1`を選び、`Tiering Disabled`にします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/0dc7f5c8-d011-8532-210c-47dc1baaf519.png)
新しいボリューム`vol1_copyfromFSxN`を入力し、`Default Policies`の`Mirror`で行きます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/18caf7fa-6fe4-58e0-9839-9927c322d7e1.png)
それぞれの情報を確認して`Replicate`します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/c714ef66-0ef6-712b-0ebb-480fc642a7ad.png)
レプリケーションができると、両方矢印がつけられます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/2234c458-526d-c459-cdd7-96b54771693a.png)
BlueXPのGUIから詳細を確認できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2991583/fe5ed098-c102-8b91-a5a9-d6788dae5055.png)

# 注意事項
* VPC Peeringの為、それぞれのIP CIDRが`Overlapping`しない
* VPCを作成した後に、自動作成された`Non Default subnet`の`Auto-assign public IPv4 address`を`No`から`Yes`に変更
 
# 最後に
今回はAWS VPC Peeringした上で`cross-region`で大阪にあるCVOと東京にあるFSxNの間でレプリケーションができることを検証しました。

# 参考リンク
1.[BlueXP: Learn about the Replication service](https://docs.netapp.com/us-en/cloud-manager-replication/concept-replication.html)
2.[Cluster and SVM administrators](https://thinksystem.lenovofiles.com/storage/help/index.jsp?topic=%2Fsystem_administration_guide%2F898FA106-B271-46E9-A6C8-17603C1AA733_.html)
3.[What SVMs are](https://library.netapp.com/ecmdocs/ECMP1354558/html/GUID-E643017F-041B-4ECC-BEA1-E4D80E26A47E.html)
4.[Compatible ONTAP versions for SnapMirror relationships](https://docs.netapp.com/us-en/ontap/data-protection/compatible-ontap-versions-snapmirror-concept.html#unified-replication-relationships)
5.[CVOを作成、上記のADにジョインしたCIFSボリュームを追加](https://qiita.com/heyanxia/items/bbad38b3d41c195d3df2#3cvo%E3%82%92%E4%BD%9C%E6%88%90%E4%B8%8A%E8%A8%98%E3%81%AEad%E3%81%AB%E3%82%B8%E3%83%A7%E3%82%A4%E3%83%B3%E3%81%97%E3%81%9Fcifs%E3%83%9C%E3%83%AA%E3%83%A5%E3%83%BC%E3%83%A0%E3%82%92%E8%BF%BD%E5%8A%A0)
6.[CVO: Quick start for Cloud Volumes ONTAP in AWS](https://docs.netapp.com/us-en/cloud-manager-cloud-volumes-ontap/task-getting-started-aws.html)
7.[BlueXPのConnectorとCVOをAmazon Cloudに作成](https://qiita.com/heyanxia/private/d1a72eec868ed8f57386#1bluexp%E3%81%AEconnecor%E3%81%A8cvo%E3%82%92amazon-cloud%E3%81%AB%E4%BD%9C%E6%88%90)
8.[Learn about replication policies](https://docs.netapp.com/us-en/cloud-manager-replication/concept-replication-policies.html)
9.[SnapMirrorソフトウェア：ユニファイド レプリケーションで迅速なリカバリを実現](https://www.netapp.com/ja/cyber-resilience/data-protection/data-backup-recovery/snapmirror-data-replication/)
10.[Prerequisites for cluster peering](https://docs.netapp.com/us-en/ontap-sm-classic/peering/reference_prerequisites_for_cluster_peering.html)
11.[vserver peer show](https://docs.netapp.com/us-en/ontap-cli-9121//vserver-peer-show.html)
12.[BlueXPのGUIから、AWS上のNetApp Cloud Volumes ONTAPをAmazon FSx for NetApp ONTAPにレプリケーション](https://qiita.com/heyanxia/private/47772e6de946d9c87705)
13.[Cluster and SVM peering workflow](https://docs.netapp.com/us-en/ontap-sm-classic/peering/concept_cluster_peering_workflow.html)