BlueXPを使ってcross-cloudでAzure Blob StorageとAmazon S3の間でデータを同期してみた

# はじめに
前回、こちらの記事[「BlueXPを使ってcross-cloudでAzure Blob StorageとGoogle Cloud Storageの間でデータを同期してみた」](https://qiita.com/heyanxia/private/2c3605d248f8f220fc1f)で、BlueXPのGUIから、NetApp Cloud Syncより、Azure Blob StorageとGoogle Cloud Storageの間でデータ同期する方法を紹介しました。

今回は、Azure Blob StorageとAmazon S3の間でデータを同期してみたいと思います。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/9d42009a-dad3-1b02-4887-a017001c4ec7.png)

そもそも、NetApp Cloud Syncとはなんでしょうか？前回の記事でBingが教えてくれた内容を是非参考にしてください。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/1be606aa-08a8-3cdd-7db3-3bccfbe16d78.png)

# 手順
1.Azure portalでの準備
2.Amazon CloudにData brokerとS3バケットを作成
3.BlueXPのGUIから、データを同期・確認

# 1.Azure portalでの準備
`Subscriptions、Resource groups、Storage accounts、VNet`などをAzure portalから作成します。詳細な手順は[「こちら」](https://qiita.com/heyanxia/private/f9d0fc9c896d55e39ba7#1azure-portal%E3%81%A7%E3%81%AE%E6%BA%96%E5%82%99)を参照します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/98d8fe4b-60ba-8801-312f-f86023af3267.png)
上記の`Subscription`と`Resource group`を選び、`Storage account name`を記入し、Resionを`Japan East`にします。`Advanced、Networking`などの設定はデモのため、defaultのままで行きます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/22d5d63b-5977-4e42-f76f-80d9f0139bfe.png)
`Storage account name`と`Connection string`をメモして後程使います。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/d2a16757-cefb-e794-6ec8-4fb3304211ce.png)
作成した`Storage account`に`container`を作って、デモ用のデータをアップロードします。今回デモのため、Containerを`Public access level`にします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/80bb8e90-1d21-530e-da24-a411611ea23f.png)

# 2.Amzon CloudにData brokerとS3バケットを作成
* Data broker
詳細な手順は[「Amazon Cloud上にNetApp Cloud SyncのData Brokerを作成する二つの方法」](https://qiita.com/heyanxia/items/c19d476bf4df60802e8f)を参照します。Data brokerが`Active`になっていることを確認します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/a88f3d04-b326-7487-b2fa-b91b362dd9f8.png)

* S3バケット
S3バケットを作成し、`Block all pubic access`を`off`にします。詳細な設定については[「Cloud SyncとS3バケットをAmazon Cloudに作成」](https://qiita.com/heyanxia/items/2d8f9ca86a9ac48c9e89#2cloud-sync%E3%81%A8s3%E3%83%90%E3%82%B1%E3%83%83%E3%83%88%E3%82%92amazon-cloud%E3%81%AB%E4%BD%9C%E6%88%90)を参照します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/f9928628-c011-811c-fdfb-3cb29fc20294.png)
こちらの[ドキュメント](https://docs.netapp.com/us-en/cloud-manager-sync/reference-requirements.html#permissions-required-for-s3-buckets-in-other-aws-accounts)を参考にし、[「The permissions included in this JSON file」](https://docs.netapp.com/us-en/cloud-manager-sync/media/aws_iam_policy_s3_bucket.json)を確認した上でBucket policyを編集します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/ec7766bf-a2fb-8b2a-b362-db11ee888268.png)

# 3.BlueXPのGUIから、データを同期・確認
* データを同期
BlueXPのGUIから、「Mobility -> Copy & Sync -> Manage Data Brokers」にアクセスして、「Dashboard ->Create New Sync」をクリックします。`Azure Blob`と`Google Storage`をドラッグして、`Continue`を押します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/846bca9f-9fff-9bab-a8a9-098d27202689.png)
先程メモした`Azure Storage name`と`Connection string`を入れます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/0361ad0b-8056-190a-7029-238b07806ac0.png)
作成したAmazon Cloud上のData brokerを選択し、Azure上のstorage container`cloudsync`を選びます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/751ab8db-e0fc-6bba-9f94-4e54e94f530b.png)
Amazon cloud上に事前作成したS3バケットを選択して`Continue`します。`S3 Private Links`はそのままにします。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/01647300-31ac-f721-d9b2-b12b11403b16.png)
スケジュールと`File and Directories`の詳細設定もできます。今回はdefaultで行きます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/a57acc61-09b6-1fe0-be90-3202ca4e505e.png)
確認して`Create Relationship`を押します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/6b641242-8594-ce37-fc91-8f2a25dfa20d.png)
* 確認 
しばらく待つと、`Dashborad`からAzure blob storageにあるデータをAmazon CloudのS3 Storageに転送したことを確認できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/bd5f3285-3d80-5953-e1b5-a6749df62a98.png)
S3 バケットにアクセスして、デモようのデータが転送されたことが確認できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/0f6916a8-ff5c-f2f0-d978-6f059323fea4.png)
Amazon S3 StorageからAzure blob storageにデータを転送することもできました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/0c703f95-b0ef-a66c-35d1-8ac20ff9edd7.png)
S3に新しく追加したデータがAzure Blob Storageに転送されたことが確認できました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/f002c8fc-1e9e-4348-58d3-66f7c8ae9eb3.png)

# 注意事項
* 1.Azure BlobでサポートされているData brokerの場所
同期関係にAzure Blob Storageが含まれる場合、Data brokerは任意の場所に存在することができます。今回Data brokerはAmazonCloud 上に作成しました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/d0cc1efb-9bd1-f784-f557-ed026e9f1da0.png)
* 2.BlueXPのConnector
BlueXPのConnectorは必須ではありません。今回、BlueXPのConnectorを使用せずにCloud Syncを使用してデータを同期しましたが、Cloud Volumes ONTAPやon-premisesのONTAPクラスターなどの場合は、BlueXPのConnectorを作成する必要があります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2807172/ba96971b-2d52-80fe-3a68-4b3802088f10.png)

# 最後に
BlueXPのGUI操作で、Amazon Cloud 上にあるNetApp Cloud SyncのData brokerを使用して、Azure Blob StorageとAmazon S3の間でデータを同期できることを確認しました。

# 参考リンク
1.[Microsoft Bingを試して、Google Cloud Platform上にNetApp Cloud SyncのData brokerを作ってみた](https://qiita.com/heyanxia/private/2c3605d248f8f220fc1f)
2.[Amazon Cloud上でWindowsファイルサーバーのデータをAmazon FSx for NetApp ONTAPに同期](https://qiita.com/heyanxia/items/9c62781fdc045a93b3b5)
3.[Amazon Cloud上にNetApp Cloud SyncのData Brokerを作成する二つの方法](https://qiita.com/heyanxia/items/c19d476bf4df60802e8f)
4.[Azure Blob storage requirements](https://docs.netapp.com/us-en/cloud-manager-sync/reference-requirements.html#azure-blob-storage-requirements)
5.[https://docs.netapp.com/us-en/cloud-manager-sync/task-quick-start.html](https://docs.netapp.com/us-en/cloud-manager-sync/task-quick-start.html)
6.[BlueXPを使ってcross-cloudでAzure Blob StorageとGoogle Cloud Storageの間でデータを同期してみた](https://qiita.com/heyanxia/private/f9d0fc9c896d55e39ba7)