Azure OCI Interconnect (相互接続)でつないでみた

# セットアップ
[オラクルエンジニア通信のブログ記事](https://blogs.oracle.com/oracle4engineer/oci-azure-interconnect-stepbystep)がおすすめです。日本語です。
補足する点は3つ。

- Azureではこの場合のルートテーブルを作成する必要はありません。冗長性の観点から静的ルーティングは設定しないでください。
- Azure上で作成するVMもOracle Linuxを入れておくと便利。iperf3も楽に入ります。
- Windows 10なら、オプション機能でSSHが使えるので別途クライアント不要。
![windows-option.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/464265fe-06b1-3088-09b3-40c98a53e25b.png)

# 環境
- 1 Gbps
- Oracle Linux 7.8
 - Azure: Standard D2s v3 (2 vcpu 数、8 GiB メモリ)
 - OCI: VM.Standard.E3.Flex (OCPU数: 1、ネットワーク帯域幅(Gbps): 1、メモリー(GB): 16)

# 実測
2020年9月20日 (日曜日) 13時-15時台 JST
> **注意**: あくまでも参考値ですので、システムデザイン時には必ずご自身で確認されることをお勧めします。

## japaneast (東日本) <-> Japan East (Tokyo)
### ping

- Azure -> OCI
 - ExpressRoute Standard w/o FastPath
![japaneast-ping-azure-oci.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/4ab0a5ae-1cad-a781-626a-3f9bac49fa7e.png)

 - ExpressRoute Ultra Performance w/o FastPath
![japaneast-ping-azure-oci-ultra.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/7fd21d87-2910-32d4-eb96-210ff6f6dd44.png)

 - ExpressRoute Ultra Performance w/FastPath
![japaneast-ping-azure-oci-fastpath.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/50de7935-b8f3-9a6f-f728-42e644e2f438.png)

- OCI -> Azure
 - ExpressRoute Standard w/o FastPath
![japaneast-ping-oci-azure.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/c665a679-b973-80c1-5c04-61caf6cb6fb3.png)

 - ExpressRoute Ultra Performance w/o FastPath
![japaneast-ping-oci-azure-ultra.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/fe642263-cf3f-2675-3c0a-8204f015aba6.png)

 - ExpressRoute Ultra Performance w/FastPath
![japaneast-ping-oci-azure-fastpath.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/727095a2-114d-edac-ece0-05436b6c1d34.png)


### iperf3

- Azure -> OCI
 - ExpressRoute Standard w/o FastPath
![japaneast-iperf3-azure-oci.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/7ad158a2-c4d5-8f69-8e31-5193153a39f0.png)

 - ExpressRoute Ultra Performance w/o FastPath
![japaneast-iperf3-azure-oci-ultra.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/cda7feb1-43cf-99c0-211b-9f35171fc423.png)

 - ExpressRoute Ultra Performance w/FastPath
![japaneast-iperf3-azure-oci-fastpath.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/52fd8c44-42d7-0373-d856-40d32d2cf713.png)

- OCI -> Azure
 - ExpressRoute Standard w/o FastPath
![japaneast-iperf3-oci-azure.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/b32de8be-ea20-0a29-7e0b-8076e25dac5a.png)

 - ExpressRoute Ultra Performance w/o FastPath
![japaneast-iperf3-oci-azure-ultra.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/b0dfe005-d8c3-7ea2-6ec6-d3141dc52c52.png)

 - ExpressRoute Ultra Performance w/FastPath
![japaneast-iperf3-oci-azure-fastpath.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/908aecdc-dd5b-e6b3-7f97-3a1fcb9d05af.png)


## EastUS (米国東部) <-> US East (Ashburn)
参考のため、他のリージョンでも検証しました。
下記はすべて、ExpressRoute Standard SKU (FastPathがない) 環境です。
東日本リージョンと同じ特性を示しているようです。

### ping

- Azure -> OCI
![us-ping-azure-oci.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/5ec3b6ad-0954-118f-2982-5aa90a257db8.png)

- OCI -> Azure
![us-ping-oci-azure.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/6dfcd708-40d4-a942-aa64-72aa05e6a354.png)

### iperf3

- Azure -> OCI
![us-iperf3-azure-oci.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/aa8ae7e8-29a1-24d7-4099-fd6cfbcd3082.png)

- OCI -> Azure
![us-iperf3-oci-azure.PNG](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/684720/2e1bfca0-113d-f664-079f-abaf84686bd4.png)

# 考察
- **レイテンシ**: ExpressRouteの**FastPath**設定のみに影響を**受ける**
- **帯域幅**: ExpressRouteの**FastPath**設定にほぼ影響を**受けない**

2020年9月20日現在の考察ですので、今後変わる可能性があります。

# 削除するときは
[こちらの手順](https://docs.microsoft.com/ja-jp/azure/virtual-machines/workloads/oracle/configure-azure-oci-networking#delete-the-interconnect-link)に従って回線の削除を行う必要があります。

1. AzureのExpressRouteの「接続」を削除
2. OCIのFastConnectを削除
3. AzureのExpressRouteでプライベートピアリングの削除と"Not Provisioned"のステータスを確認
4. AzureのExpressRouteを削除

もし回線の削除でトラブルが発生したら、オラクルの[FastConnectのトラブルシューティング](https://docs.cloud.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/fastconnecttroubleshoot.htm)が参考になるかもしれません。この手順の場合、OCIのポータルでは削除できなくなり、OCI側はCLIで削除 (oci network virtual-circuit delete --virtual-circuit-id \<FastConnect\>)しなければならないことがあります。Azure側はポータルでの作業で問題ありません。

# 参考
- [要件、手順など (公式)](https://docs.cloud.oracle.com/ja-jp/iaas/Content/Network/Concepts/azure.htm)
- [アーキテクチャ (公式)](https://docs.oracle.com/ja/solutions/oci-azure/index.html)

(2020年9月24日現在、前者は東日本が日本語ページには出ていないですが英語ページにはあります。後者は機械翻訳です。)