NEC印西データセンターで AWSとOracle Cloud マルチクラウド L3高速低レイテンシ接続してみてみた


![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/02646dbb-bdcc-0d0d-5b0f-55baf466b13e.png)
**[NEC印西データセンター](https://jpn.nec.com/press/202307/20230705_02.html)** は、3つの主要なパブリッククラウド AWS, Azure, Oracle の接続拠点を備える国内唯一のデータセンターとなり、より高度なクラウド活用を支援します。
![NEC-DXネットワークサービス画像2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/731cbe29-b3ba-7d9b-b99e-5fc0dfeeae6e.jpeg)
[NEC DXネットワークサービス](https://jpn.nec.com/cloud/dx-network.html)は、NEC印西データセンターからさまざまなネットワーク接続をワンストップで提供するサービスです。
インターネット接続、メガクラウドサービス Azure ExpressRoute、 AWS Direct Connect、Oracle Cloud Infrastructure FastConnect など、NEC神奈川データセンターおよびNEC神戸データセンターとのデータセンター間接続が可能となります。
    ・ [NEC印西データセンターにOracle Cloud 接続拠点を開設(2023年7月5日)](https://jpn.nec.com/press/202307/20230705_02.html)
    ・ [NEC印西データセンターにAWS Direct Connect接続拠点を開設(2023年5月31日)](https://jpn.nec.com/press/202305/20230531_01.html)
    ・ [NEC印西データセンターにMicrosoft Azure ExpressRoute接続拠点を開設(2022年6月6日)](https://jpn.nec.com/press/202206/20220606_01.html)
![DXNW概要図.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/785bb563-914d-6290-bac6-699d1d160e21.png)

AWS上のアプリケーションからOCI上のOracle Databaseを使うマルチクラウド構成でのレイテンシやコストについての資料は[こちら](https://jpn.nec.com/soft/oracle/oci/download.html)からダンロードできます。

https://jpn.nec.com/soft/oracle/oci/download.html



ということで、NEC印西データセンターから、NEC DXネットワークサービス L3接続を使用して、Amazon Web Services(AWS)、Oracle Cloud Infrastructure (OCI) のマルチクラウド・ハイブリッドクラウド閉域接続をしてみてみます。


# ■ 構成
![構成図L3.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/63dead24-0f1d-84da-180b-4ba1287564f0.jpeg)
・ オンプレミスCPE と NECの接続は、CPE側冗長リンクを LAG(LACP)で NECの VRF接続VIP へ接続します。
・ AWS、OCI と NECの接続は、BGP と等コスト・マルチパス・ルーティング: [Equal-Cost Multi-Path Routing (ECMP)](https://en.wikipedia.org/wiki/Equal-cost_multi-path_routing)を使用して冗長された2つの回線を Active-Activeルーティング構成にします。
・ CPE環境は、今回用意した Cisco 892FSP-K9ルーターにはSFPポートが１つのため、SFPポート２つ装備した L2スイッチのCisco Catalyst 2960-Lを使用して光ファイバーケーブルをLACP冗長構成にしてみてみます。
・ 3つある  AWS の AZ(1a,1c,1d)の内、最も高速レインテンシの AZ を確認します。

# ■ Amazon Web Services (AWS)側設定



## ● AWS Direct Connect ホスト接続を NECへオーダー
AWS Direct Connect パートナープログラムの AWS Direct Connect パートナーにお問い合わせ頂く必要があります。
今回、[NEC DXネットワークサービス](https://jpn.nec.com/cloud/dx-network.html)を利用します。
WSコンソールのアカウント画面にある AWS Account ID(12桁) を伝えて AWS Direct Connect ホスト接続を冗長用途で Primary と Secondary 2つ オーダーします。
![01_AWS-Account01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/e0ed86cc-eecc-2685-0d0a-4eb1c2a762b7.png)
接続がプロビジョニングされたら、AWS Direct Connect コンソールの [Connections] ペインに接続が表示されます。

### ▼ オーダー情報取得
NEC DXネットワークサービスから開通連絡と接続必要情報を受領後、次の手順へ進みます。
今回取得した次の接続情報で Direct Connectを設定していきます。
```
・ 接続先クラウド名：PoC用 L3接続AWS
・ クラウド事業者：AWS(印西POP)
・ クラウド側ASN：64512
・ 仮想ルータASN：64515
・ BGP認証キー：Zq5e8lPWaw3ztf
・ クラウド接続セグメント#1：169.254.11.0/30
    - 接続名(Primary)：iz-aws-hc-T1094010-CLC50001-pri
    - ルーターのピアIP：169.254.11.1
    - AmazonルーターのピアIP：169.254.11.2
・ クラウド接続セグメント#2：169.254.12.0/30
    - 接続名(Secondary)：iz-aws-hc-T1094010-CLC50001-sec
    - ルーターのピアIP：169.254.12.1
    - AmazonルーターのピアIP：169.254.12.2
```


### ▼ 1つ目の接続オーダー承認
ホスト接続を使用する前に接続を受け入れる必要があります。ホスト接続を承認します。

**1) AWSコンソール画面**
[AWS Direct Connect コンソール](https://console.aws.amazon.com/directconnect/v2/home) を開き、ナビゲーションペインで [Direct Connect] をクリック
![11_DirectConnect01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/d0b3fce7-ba15-48cd-1da5-d3f1238a42f1.jpeg)


**2) Direct Connect画面**
[Connections (接続)] を選択
パートナーがプロビジョニングを完了すると次の画面のように接続が作成されます。
作成された接続をクリック
![12_NEC-L3-Ordar確認01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/4d9a3a7e-29e8-b096-3648-19f6a9b3dce2.jpeg)

**3) 接続画面**
利用する接続であることを確認し、[承認する] をクリック
![13_NEC-L3-Ordar01認証01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/3e2d24b4-e0b9-a3ec-08ae-3cb8bf3a3ce1.jpeg)

**4) ホスト接続を承認する画面**
[確認する] をクリックしてプロビジョニングを完了します。
![13_NEC-L3-Ordar01認証02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/f2d01578-132e-8199-2263-b6c22599f7ae.jpeg)

**5) ホスト接続を承認完了**
![13_NEC-L3-Ordar01認証03.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/39f5728d-413e-4252-ef5a-9dafc10b4756.jpeg)


### ▼ 2つ目の接続オーダー承認
同様の手順で2つ目の接続オーダー承認すると次の画面のように 状態が ordering から available へ変わります。
![15_NEC-L3-Ordar完了01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/122c60d2-471f-0453-9836-867056f7b141.jpeg)




## ● 仮想プライベートゲートウェイの作成
### ▼ 仮想プライベートゲートウェイ画面
**1) AWS コンソール画面**
[Direct Connect コンソール](https://console.aws.amazon.com/directconnect/v2/home)から、[仮想プライベートゲートウェイ] を選択してから、[仮想プライベートゲートウェイの作成] をクリック
![21_VPGW作成01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/1c3c4760-cf4d-cb81-c1d9-730785063b2f.jpeg)

**2) 仮想プライベートゲートウェイを作成画面**
次の項目を入力し、[仮想プライベートゲートウェイを作成する]をクリック
``` 
・ 名前タグ: 仮想プライベートゲートウェイの名前を入力します。これにより、Name というキーと指定した値を含むタグが作成されます。
・ 自律システム番号(ASN): [カスタム ASN] を選択して値を入力します。16 ビット ASN では、値は 64512 から 65534 の範囲内である必要があります。32 ビット ASN では、値は 4200000000 から 4294967294 の範囲内である必要があります。ここでは[64512]を設定
```
![21_VPGW作成02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/077cc054-627e-6604-b640-5e73cf1b500a.jpeg)

**3) 仮想プライベートゲートウェイ作成完了**
![21_VPGW作成03.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/a8e4db9c-3f85-76ae-7232-3dd457e97c2d.jpeg)


### ▼ 仮想プライベートゲートウェイをVPCにアタッチ画面
**1) 仮想プライベートゲートウェイ画面**
作成した仮想プライベートゲートウェイを選択した後、[アクション] > [VPCへアタッチ] をクリック
![22_VPGWアタッチ01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/a38436cb-e80f-50e4-485b-524236a8e505.jpeg)

**2) VPCへアタッチ画面**
使用可能なVPCからアタッチするVPCを選択し、[VPCへアタッチ]をクリック
![22_VPGWアタッチ03.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/38ffae1d-431f-99df-d692-801ea9515eb2.jpeg)

**3) VPCへアタッチ完了**
![22_VPGWアタッチ04.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/cdf0186f-3765-c05a-8ae2-12d775fba416.jpeg)


## ● 仮装インターフェース(Primary)作成
**1) AWS コンソール画面**
[Direct Connect コンソール](https://console.aws.amazon.com/directconnect/v2/home)から、[仮装インターフェース] を選択し、[仮装インターフェースを作成] をクリック
![31仮装インターフェース01作成01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/b7fd790f-e567-a7e9-1d89-03590f466785.jpeg)

**2) 仮装インターフェースを作成する画面**
次の項目を選択し、[仮想プライベートゲートウェイを作成]をクリック
```
[仮想インターフェイスのタイプ] で以下を実行します。
・ 仮想インターフェイスタイプ: [プライベート] を選択

[プライベート仮想インターフェイス設定] で以下を実行します。
    ・ 仮想インターフェイス名: 仮想インターフェイスの名前を入力
    ・ 接続: このインターフェイスに使用する Direct Connect 接続を選択。
    ・ 仮想インターフェイスの所有者: 自分のAWSアカウントを選択
    ・ ゲートウェイタイプ: ここでは、[仮想プライベートゲートウェイ]を選択
    ・ VLAN: パートナーから指定されたVLAN番号を入力
    ・ BGP ASN: ここではパートナー指定のパートナー・ピアルーターの、ASN番号を入力
    
[追加設定] で、以下を実行します。
    ・ アドレスファミリー: [IPv4]を選択
    ・ ルーターのピア IP: パートナーから指定された値を入力
    ・ Amazon ルーターのピアIP: パートナーから指定された値を入力
    ・ BGP認証キー: パートナーへ指定した値を入力
    ・ ジャンボ MTU （MTUサイズ 9001）-オプション: ここでは使用しない
        9001 (ジャンボフレーム) に変更するには、パートナーと調整して選択します。
    ・ SiteLink の有効化-オプション: ここでは使用しない
```
![31仮装インターフェース01作成02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/01aef1f1-c72e-9749-8ba1-c64726cbda4a.jpeg)



**3) 仮装インターフェース作成完了**
状態は avalable になり、BGPステータスはパートナー・ルーターと通信できると UPします。
![31仮装インターフェース01作成04.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/bb30822a-fbf7-2d43-96cb-2398125bcc71.jpeg)


**4) 仮装インターフェース BGPステータスUP 完了**
AWS側の設定ができると数分でBGPステータスはUPします。
![31仮装インターフェース01作成05.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/68401832-8adc-4774-4821-63fe84a1830a.jpeg)

## ● 仮装インターフェース(Secondary)作成
**1) 仮装インターフェース(Secondary)作成**
同様に作成し2本目を作成し、BGPステータスUP させます。
![32仮装インターフェース02作成05.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/70572e8c-313d-8e85-fd86-6c659765297d.jpeg)

**2) 仮装インターフェース(Secondary)作成完了**
![33仮装インターフェース開通01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/463d44f6-faac-5836-ea89-0256e18b71fa.jpeg)




## ● ECMP設定
AWS Direct Connect ゲートウェイ - ネットワークプレフィックス、プレフィックス長、AS_PATH がまったく同じである場合、AWS Direct Connect ゲートウェイアタッチメントは複数の Direct Connect ゲートウェイのアタッチメント間で ECMP を自動的にサポートします。
・参考: [等コストマルチパスルーティング](https://docs.aws.amazon.com/ja_jp/vpc/latest/tgw/how-transit-gateways-work.html#tgw-ecmp)



## ● VPC ルートテーブルへ BGP ルート受信設定
外部から AWSへ送信される BGPルートをVPC ルートテーブルへ伝搬する自動ルート受信設定をします。
サブネットルートテーブルのルート伝達を有効にしていることを確認します。このステップは、VPN 接続と Direct Connect 仮想インターフェイスから学習したルートを VPC ルートテーブル伝達します。ルートへの変更は動的に更新され、手動でルートを入力または更新する必要はありません。

**1) ルートテーブル画面**
VPCの画面から対象のルートテーブルを選択
![41_ルートテーブル-伝搬01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/4aa1c8ca-d7a8-0dc5-4a66-c45a17c84a58.jpeg)

**2) ルート伝搬画面**
対象のルートテーブルの[ルート伝搬]タブを選択し、[ルート伝搬の編集]をクリック
![41_ルートテーブル-伝搬02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/cb15345b-1af1-668a-a4ab-b34f3cdd23f0.jpeg)

**3) ルート伝搬の編集画面**
[有効化]をクリック
![41_ルートテーブル-伝搬03.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/2d607fe9-694e-e921-5b1d-c39b5eef8f34.jpeg)

**4) ルート伝搬確認**
OCI, オンプレミスのルートが受信されていることを確認
![41_ルートテーブル-伝搬05.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/c0920f1f-d2fe-249a-075a-b598b6dc6346.jpeg)



















# ■ Oracle Cloud Infrastructure側設定

## ● タスク1: Oracleパートナへの接続の設定
Oracleパートナに接続をオーダーし、それを設定してパートナでテストするプロセスを開始します。パートナによっては、時間がかかる場合があります。 
今回、[NEC DXネットワークサービス](https://jpn.nec.com/cloud/dx-network.html)を利用します。



## ● タスク2: DRGの設定
Oracle Cloud Infrastructure Console を使用して DRG を設定し、それを VCN にアタッチして、DRG にトラフィックを送信するためのルート・ルールを含めるようにVCNのルーティングを更新します。ルート表の更新は忘れがちです。ルート・ルールがない場合、トラフィックは流れません。 

### ▼ DRG作成
Dynamic Routing Gateway (DRG)を作成します。
DRGは、オンプレミス・ネットワークと仮想クラウド・ネットワーク(VCNs)間のトラフィックのパスを提供する仮想ルーターとして機能し、VCNs間のトラフィックのルーティングにも使用できます。様々なタイプのアタッチメントを使用して、様々なリージョンおよびテナンシのコンポーネントを使用してカスタム・ネットワーク・トポロジを構築できます。各DRGアタッチメントには、DRGに入るパケットをネクスト・ホップにルーティングするために使用されるルート表が関連付けられています。静的ルートに加えて、アタッチされたネットワークからのルートは、オプションのインポート・ルート・ディストリビューションを使用してDRGルート表に動的にインポートされます。

**1) OCI コンソール**
ナビゲーション・メニューを開き、「ネットワーク」を選択し、「顧客接続」で、「動的ルーティング・ゲートウェイ」をクリック
![01_DRG作成00.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/d4107633-3f6e-96a6-e6e0-b0df012faf1d.jpeg)

**2) 動的ルーティング・ゲートウェイ画面**
「リスト範囲」で、作業する権限があるコンパートメントを選択します。
ページが更新されて、そのコンパートメントのリソースのみが表示されます。使用するコンパートメントが不明な場合は、管理者に問い合せてください。詳細は、アクセス制御を参照してください。
「動的ルーティング・ゲートウェイの作成」をクリック
![01_DRG作成01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/ce44c354-bc12-c678-66d3-a25929c1a955.jpeg)


**3) 動的ルーティング・ゲートウェイの作成画面**
次の値を入力します。
```
・ 名前: DRGのわかりやすい名前。一意にする必要はありません。後で変更できます。
・ コンパートメントに作成: DRGを作成するコンパートメントを選択 
```
![01_DRG作成02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/3e62f321-29f2-4bb6-6545-53038a5e38c4.jpeg)


**4) 動的ルーティング・ゲートウェイ作成完了**
![01_DRG作成04.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/cc7e1ef3-ea8e-a3c4-8fb2-feb8be84caf8.jpeg)


### ▼ DRGへのVCNアタッチ
Dynamic Routing Gateway (DRG)にVirtual Cloud Network (VCN)をアタッチします。

**1) DRG画面**
DRG画面にある「リソース」から「Dynamic Routing Gatewaysアタッチメント」をクリック
「仮想クラウド・ネットワーク・アタッチメントの作成」をクリックし、次の情報を入力し、「DRGアタッチメントの作成」をクリック
```
    ・ アタッチメント名: DRGアタッチメントにフレンドリ名を指定。名前を指定しない場合、自動的に作成されます。
    ・ VCN: アタッチするVCNを選択
    ・ VCNルート表: DRG の VCNルート表を選択。デフォルト名は「Autogenerated Drg Route Table for VCN attachments」
    ・ VCNルート・タイプ: このアタッチメントからインポートできるルートのタイプ [サブネットCIDRブロック], [VCN CIDRブロック]から選択
```
![02_VCNアタッチメントの作成01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/9008038d-bc44-4a20-8386-0b2376fa76cb.jpeg)


**2) 仮想クラウド・ネットワーク・アタッチメント作成完了**
![02_VCNアタッチメントの作成02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/6fc5da15-16ff-7204-6e07-703de51a6bd5.jpeg)





### ▼ VCNルート表のルールの更新
次の手順を使用してVCNルート表のルールを更新してオンプレミスとVCN内インスタンスが通じるようにします。

https://docs.oracle.com/ja-jp/iaas/Content/Network/Tasks/update-rules-routetable.htm#update-rules-routetable




## ● タスク3: 仮想回線の設定
**1) OCI コンソール画面**
ナビゲーション・メニューを開き、「ネットワーキング」をクリックし、「顧客接続性」項目にある [FastConnect]をクリック
![11_NEC-L2-FastConnect01作成00.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/cb1b5e6d-25cb-e6f1-3c21-a66f24bff538.jpeg)



**2) FastConnect接続画面**
「FastConnectの作成」をクリック
![11_NEC-L3-FastConnect01作成01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/3fa4ed80-ced3-5592-356d-c8a5a8ce5312.jpeg)



**3) 接続の作成: 接続タイプ画面**
「FastConnectパートナ」を選択し、「冗長仮想回線」を選択して、同じFastConnectの場所で異なる物理デバイスを使用する仮想回線を構成します。冗長性の詳細は、[FastConnect冗長性のベスト・プラクティス](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectresiliency.htm#FastConnect_Redundancy_Best_Practices)を参照してください。
![11_NEC-L3-FastConnect01作成02.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/b3b2955f-3e8f-c3c2-9c2e-449a76b2c04f.png)




**4) 接続の作成: 構成画面**
「仮想回線１」と「仮想回線２」にパートナー[NEC DXNW Service L3]を選択して次を入力し、[作成]をクリック

:::note info
「冗長仮想回線」を選択し、選択したパートナがOCIへのレイヤー3接続を作成する場合、冗長仮想回線の作成はオプションです。ただし、選択したパートナがレイヤー2接続を作成する場合は、冗長仮想回線が必要です。レイヤー2およびレイヤー3接続の詳細は、[FastConnect冗長性のベスト・プラクティス](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectresiliency.htm#FastConnect_Redundancy_Best_Practices)を参照してください。
:::

```
・ 名前: 仮想回線の追跡に役立つわかりやすい名前。値は仮想回線間で一意である必要はなく、後で変更できます。機密情報の入力は避けてください。
・ コンパートメントに作成: そのままにします(現在作業中のコンパートメント)。 
・ 仮想回線タイプ: [プライベート仮想回線]を選択
・ トラフィック: ここでは、[すべてのトラフィック]を選択
・ 動的ルーティング・ゲートウェイ: 事前に作成したDRGを選択
・ プロビジョニングされた帯域幅: 値を選択します。帯域幅を後で増加させる必要がある場合は、別の値を使用するように仮想回線を更新できます
・ BGP IPアドレス
  - 顧客BGP IPv4アドレス: ユーザー・エッジ(CPE)用のBGPピアリングIPアドレスを入力
  - Oracle BGP IPv4アドレス: Oracle エッジ(DRG)に使用するBGPピアリングIPアドレスを入力
・ 顧客BGP ASN: ユーザー・エッジ(CPE)の BGP ASN を入力
  - BGP MD5認証キーを使用します: MD5認証が必要な場合は、このチェック・ボックスを選択し、キーを指定します。Oracleは128ビットのMD5認証までをサポートしています。
  - 双方向転送検出の有効化: 双方向転送検出(BFD)は、2つのデバイス間のリンクの障害および停止検出に使用されます。BFDを使用するOCIデバイスは、300ミリ秒ごとにメッセージを送信し、3倍の乗数を使用します。BFDの詳細は、RFC 5880で参照できます
  - MTU: 1つのパケットで伝送できるバイト数を表す最大転送単位(MTU)を 1500 もしくは 9000 を選択[参考](https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/connectionhang.htm#Overview)
```
![11_NEC-L3-FastConnect01作成03のコピー.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/b6287079-7ded-c020-ecf5-5b1aaca0418c.jpeg)



**5) リソースの作成画面**
リソースのプロビジョニングが開始され数分で完了します。
![11_NEC-L3-FastConnect01作成04.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/185d0c89-83e3-c3a4-0f68-71710904ca6e.jpeg)


**6) FastConnect作成完了**
作成された仮想回線１と仮想回線２をクリックし、OCIDを確認します。
![12_NEC-L3-FastConnect01パートナー保留中00.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/f09d84dd-8edb-b53a-ea8b-fa488d8ce057.jpeg)


**7) FastConnect接続画面**
OCIDをコピーして別の場所に貼り付けます。次のタスクでそれをパートナ(ここではNEC)に渡します。
**・ 仮想回線１**
![12_NEC-L3-FastConnect01パートナー保留中01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/17152d47-8a74-c954-21f5-916e556f661a.jpeg)

**・ 仮想回線2**
![13_NEC-L3-FastConnect02パートナー保留中01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/bf4a1b1b-5c2d-a5a3-6e6f-3f4e879bf64d.jpeg)

:::note info
次のタスクを完了してパートナがプロビジョニング作業を行うまで、仮想回線のライフサイクル状態は「プロバイダ保留中」で、BGP状態は「停止中」です。パートナが作業を行った後、ライフサイクル状態は「プロビジョニング済」に切り替わります。BGPセッションが確立されて機能すると、BGP状態は「稼働中」に変わります。
:::



## ● タスク4: 仮想回線のパートナ側の完了
パートナに連絡し、作成した各仮想回線のOCIDを、パートナがリクエストしたその他の情報とともに提供します。パートナによっては、パートナのオンライン・ポータル、または電話でこれを行う場合があります。パートナは、接続を完了するために、各仮想回線を終端で構成します。 

Oracle Edge とパートナーEdge がつながり開通すると OCI側 Fastconnect画面では、Connection Status がグリーン色の "プロビショニング済み" になり、[メトリック](https://docs.oracle.com/ja-jp/iaas/Content/Network/Reference/fastconnectmetrics.htm)画面では、Connecttion State が "0 (停止中)" から "1 (稼働中)" にステータスが変わります。 また、BGP状態はCPE側で設定がされていないため"停止"状態です。

**・ 仮想回線１**
![14_NEC-L3-FastConnect01開通01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/6cff33d3-7c91-8b8e-b66c-d276637c3784.jpeg)

**・ 仮想回線２**
![15_NEC-L3-FastConnect02開通01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/b5ae4091-cd7d-f082-6108-a7ea5f8c560f.jpeg)


## ● ECMP有効化とBGPルート受信確認
ECMP有効化します。Equal-Cost Multi-Path Routing (ECMP)は、BGPを使用して、複数の FastConnect仮想回線または複数の IPSec Tunnelを介した ネットワークトラフィック の Flow-Based Load Balancingを可能にする機能です。

**1) DRG ルート表画面**
DRG ルート表画面で FastConect のルート表をクリック
![31_DRG-ECMP設定01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/b959370f-8223-08b7-27fd-ab5060d9a65f.jpeg)

**2) DRG ルート表画面**
[編集]をクリック
![31_DRG-ECMP設定02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/f81f0d7c-0876-f7e6-2795-a14fe5a742f7.jpeg)

**3) DRG ルート表の編集画面**
[ECMPの有効化]をチェック
![31_DRG-ECMP設定03.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/96b168bf-074c-f0bb-f813-067753896cac.jpeg)


**4) ECMP有効化完了**
ECMPの項目が有効化されていることを確認
![31_DRG-ECMP設定04.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/21605514-5423-e1f6-aadc-1204f9967e05.jpeg)


**5) BGPルート受信確認**
DRGルート表の詳細画面から[すべてのルート・ルールの取得]をクリックし
AWS, オンプレミスのルートが受信されていることを確認
重複するルートがすべてアクティブになっていることでECMPが有効化されていることを確認できます。
![20_L3構成DRGルート表01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/c041cb92-7ff7-f6ab-5e73-c31e7c307165.jpeg)





# ■ エッジの構成 
BGPピアリング情報を使用するようにエッジ(CPE)を構成します[(一般的な要件を参照)](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectrequirements.htm#General)
BGPセッションを正常に構成すると、仮想回線のBGPセッション状態が「稼働中」に変わります。
今回、 Cisco機器をNEC データセンターへ配置して設定してみてみます。


## ● Cisco機器へのコンソール接続
ファイバー・ケーブルをCiscoルーターへ接続します。
今回用意したルーターは SFPスロットが１つのため、メディアコンバーターを使用して RJ45(銅線)を光ファイバー・ケーブル(LC/シングルモードSM)へ変換して接続します。
ルーターへコンソール・ケーブルを接続し、MacBook でコンソール接続します。

https://qiita.com/shirok/items/5be8f4ef4679f6373e02




## ● Cisco Catalyst 2960-L 設定
### ▼ hostname設定
```
hostname C2960L-8PS
```

### ▼ WAN側 EtherChannel LACP設定
レイヤ 2 EtherChannel の設定でGigabitEthernet0/9と0/10をLACPします。

**1) 設定**
```
! L2 EtherChannel 
interface Port-channel1
 switchport mode trunk
! 
! EtherChannel LACP
interface GigabitEthernet0/9
 description LAG1
 switchport mode trunk
 channel-group 1 mode active
!
interface GigabitEthernet0/10
 description LAG1
 switchport mode trunk
 channel-group 1 mode active
```

**2) 設定確認**
**・ gigabitEthernet 0/9**
```
C2960L-8PS#show interfaces gigabitEthernet 0/9
GigabitEthernet0/9 is up, line protocol is up (connected)
  Hardware is Gigabit Ethernet, address is 2c31.24e0.8a89 (bia 2c31.24e0.8a89)
  Description: LAG1
  ・・・
```

**・ gigabitEthernet 0/10**
```
C2960L-8PS#show interfaces gigabitEthernet 0/10
GigabitEthernet0/10 is up, line protocol is up (connected)
  Hardware is Gigabit Ethernet, address is 2c31.24e0.8a8a (bia 2c31.24e0.8a8a)
  Description: LAG1
  ・・・
```

  

**3) LAN側 アクセスポート Vlan 設定**
FastConnectパートナー(ここではNEC)から指定された VLAN ID 200 を使用して仮想回線インターフェースを構成します。
VLAN ID はピアリングごとに一意です。

```
interface Vlan200
 ip address 192.168.200.5 255.255.255.248
 no ip route-cache
!
 interface GigabitEthernet0/1
 switchport access vlan 200
 switchport mode access
!
interface GigabitEthernet0/2
 switchport access vlan 200
 switchport mode access
 ```

## ● Cisco 892FSP-K9 設定

### ▼ hostname設定
今回複数台のルーターを使用する検証をするので、hostnameを設定しておきます。
```
hostname L3-C892FSP-01
```

### ▼ LAN インターフェース (Vlan1)設定
LAN側インターフェースを設定するために ネットワークスイッチ用[デフォルトVLAN (VLAN1)](https://www.cisco.com/c/ja_jp/td/docs/sw/dcswt/nex3000swt/cg/059/b_Cisco_Nexus_3000_Layer_2_Switching_Config_7x/b_Cisco_Nexus_3000_Layer_2_Switching_Config_7x_chapter_010.pdf) を設定します。
```
interface Vlan1
 description LAN
 ip address 172.16.0.254 255.255.0.0
 ip virtual-reassembly in
```

### ▼ WAN インターフェース (GigabitEthernet8)設定

```
! VLAN 200
vlan 200
!
interface GigabitEthernet8
 description WAN
 no ip address
 duplex auto
 speed auto
 media-type rj45
!
interface GigabitEthernet8.200
 encapsulation dot1Q 200
 ip address 192.168.200.6 255.255.255.248
```


**2) 設定確認**
```

```

### ▼ 静的ルート設定
NEC DXネットワークサービス L3構成のルート制御は、次のようになります。
　NEC仮想ルーターとAWS、OCI間は BGP動的ルート
　NEC仮想ルーターとオンプレミスCPE間は静的ルート
そのため オンプレミスCPEへAWS, OCIの静的ルートを設定します。

**1) 静的ルート設定**
NEC 仮想ルーター(192.168.200.1)を Gatewayとして AWS、OCIのルートを追加
ここでは、 AWS、OCIのルートをまとめて 10.0.0.0 255.0.0.0 としています。
```
ip route 10.0.0.0 255.0.0.0 GigabitEthernet8 192.168.200.1
```


## ● 設定確認

### ▼ Cisco Catalyst 2960-L 確認
**1) show interfaces summary 確認**
```
C2960L-8PS#show interfaces summary

 *: interface is up
 IHQ: pkts in input hold queue     IQD: pkts dropped from input queue
 OHQ: pkts in output hold queue    OQD: pkts dropped from output queue
 RXBS: rx rate (bits/sec)          RXPS: rx rate (pkts/sec)
 TXBS: tx rate (bits/sec)          TXPS: tx rate (pkts/sec)
 TRTL: throttle count

  Interface                   IHQ       IQD       OHQ       OQD      RXBS      RXPS      TXBS      TXPS      TRTL
-----------------------------------------------------------------------------------------------------------------
* Vlan1                         0         0         0         0         0         0         0         0         0
* Vlan200                       0         0         0         0         0         0         0         0         0
  GigabitEthernet0/1            0         0         0         0         0         0         0         0         0
  GigabitEthernet0/2            0         0         0         0         0         0         0         0         0
  GigabitEthernet0/3            0         0         0         0         0         0         0         0         0
  GigabitEthernet0/4            0         0         0         0         0         0         0         0         0

  Interface                   IHQ       IQD       OHQ       OQD      RXBS      RXPS      TXBS      TXPS      TRTL
-----------------------------------------------------------------------------------------------------------------
  GigabitEthernet0/5            0         0         0         0         0         0         0         0         0
* GigabitEthernet0/6            0         0         0         0         0         1      1000         2         0
* GigabitEthernet0/7            0         0         0         0         0         0         0         0         0
* GigabitEthernet0/8            0         0         0         0      1000         1      1000         2         0
* GigabitEthernet0/9            0         0         0         0      1000         1         0         0         0
* GigabitEthernet0/10           0         0         0         0      1000         1         0         0         0
* Port-channel1                 0         0         0         0      2000         2         0         0         0
```


**2) show ip interface brief 確認**
```
C2960L-8PS#show ip interface brief
Interface              IP-Address      OK? Method Status                Protocol
Vlan1                  unassigned      YES NVRAM  up                    up
Vlan200                192.168.200.5   YES NVRAM  up                    up
GigabitEthernet0/1     unassigned      YES unset  up                    up
GigabitEthernet0/2     unassigned      YES unset  down                  down
GigabitEthernet0/3     unassigned      YES unset  down                  down
GigabitEthernet0/4     unassigned      YES unset  down                  down
GigabitEthernet0/5     unassigned      YES unset  down                  down
GigabitEthernet0/6     unassigned      YES unset  down                  down
GigabitEthernet0/7     unassigned      YES unset  down                  down
GigabitEthernet0/8     unassigned      YES unset  down                  down
GigabitEthernet0/9     unassigned      YES unset  up                    up
GigabitEthernet0/10    unassigned      YES unset  up                    up
Port-channel1          unassigned      YES unset  up                    up
```


**3) etherchannel 1 summary 確認**
```
C2960L-8PS#show etherchannel 1 summary
Flags:  D - down        P - bundled in port-channel
        I - stand-alone s - suspended
        H - Hot-standby (LACP only)
        R - Layer3      S - Layer2
        U - in use      N - not in use, no aggregation
        f - failed to allocate aggregator

        M - not in use, minimum links not met
        m - not in use, port not aggregated due to minimum links not met
        u - unsuitable for bundling
        w - waiting to be aggregated
        d - default port

        A - formed by Auto LAG


Number of channel-groups in use: 1
Number of aggregators:           1

Group  Port-channel  Protocol    Ports
------+-------------+-----------+-----------------------------------------------
1      Po1(SU)         LACP      Gi0/9(P)    Gi0/10(P)
```

**4) Config確認**
設定した内容を確認
```
C2960L-8PS#show running-config
Building configuration...
・・・
```



### ▼ Cisco 892FSP-K9確認
**1) show ip route 確認**
```
L3-C892FSP-01>show ip route
Codes: L - local, C - connected, S - static, R - RIP, M - mobile, B - BGP
       D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area
       N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2
       E1 - OSPF external type 1, E2 - OSPF external type 2
       i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2
       ia - IS-IS inter area, * - candidate default, U - per-user static route
       o - ODR, P - periodic downloaded static route, H - NHRP, l - LISP
       + - replicated route, % - next hop override

Gateway of last resort is not set

      10.0.0.0/16 is subnetted, 2 subnets
S        10.2.0.0 [1/0] via 192.168.200.1, GigabitEthernet8.200
S        10.9.0.0 [1/0] via 192.168.200.1, GigabitEthernet8.200
      192.168.200.0/24 is variably subnetted, 2 subnets, 2 masks
C        192.168.200.0/29 is directly connected, GigabitEthernet8.200
L        192.168.200.6/32 is directly connected, GigabitEthernet8.200
```




**2) Config確認**
設定した内容を確認
```
C892FSP-01#show running-config
Building configuration...
・・・
```

### ▼ 設定保存
**・ startup-config 保存**
```
C892FSP-01#copy running-config startup-config
Destination filename [startup-config]?
Building configuration...
[OK]
```
































### ▼ OCI インスタンス 疎通確認
この時点でOCIインスタンスへ接続できるので確認しときます。

```
C892FSP-01#ping 10.9.0.2 source 192.168.200.6
    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 10.9.0.2, timeout is 2 seconds:
    Packet sent with a source address of 192.168.200.6
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
```




## ● OCI側 確認
### ▼ BGP ステータス確認
IPv4 BGP状態が稼働中であることを確認
![20_FastConnec開通確認01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/40d72541-d529-2b39-5405-4199cc0da36a.jpeg)


### ▼ FastConnect ステータス確認
OCI Consoleで Fastconnect画面にある BGP Status がグリーンであることを確認
メトリックは Sent/Recievedが動作していることを確認
**1) FastConnec01確認**
![21_FastConnec01BGP開通確認03.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/d5a28ae6-4191-b588-60a8-50268f89206b.jpeg)

**2) FastConnec02確認**
![22_FastConnec02-BGP開通確認03.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/b9c8df7a-9d25-97d1-bd21-463436a1210b.jpeg)





### ▼ DRG 送受信ルート・ルール確認
DRG ルート表画面から[Get all route rules]をクリックし送受信するルート・ルールを確認
![25_DRGルート開通確認03-ECMP-ON.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/209c427c-dff2-94ec-3566-55a5041cd46b.jpeg)





## ■ 接続確認
今回AWSのAZ 1a, 1c, 1d の３つを試してみて、最も高速だったAZは1aであったのでそれ以外のテストは省略します。

## ● オンプレミスから接続確認
### ▼ オンプレミス --> OCI インスタンス
**・ ping 確認**
```
C892FSP-01#ping 10.0.0.2 source 192.168.200.6
    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 10.0.0.11, timeout is 2 seconds:
    Packet sent with a source address of 192.168.200.6
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
```

**・ SSH 確認**
```
shirok@macbook ~ % ssh -i id_rsa opc@10.0.0.2 hostname
    oci-inst01
```




### ▼ オンプレミス --> AWS インスタンス(AZ:1a)

**・ ping 確認**
```
C892FSP-01#ping 10.1.1.20 source 192.168.200.6
    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 10.1.1.20, timeout is 2 seconds:
    Packet sent with a source address of 192.168.200.6
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
```

**・ SSH 確認**
```
shirok@macbook ~ % ssh -i EC2.pem opc@10.1.1.20 hostname
    ip-10-1-1-20.ec2.internal
```


## ● OCI から接続確認

### ▼ OCIインスタンス --> オンプレミス
**・ Ping (ICMP)**
```
[root@oci-inst ~]# ping 192.168.200.1 -i 0.001 -c 10
PING 192.168.200.1 (192.168.200.1) 56(84) bytes of data.
64 bytes from 192.168.200.1: icmp_seq=1 ttl=62 time=0.474 ms
64 bytes from 192.168.200.1: icmp_seq=2 ttl=62 time=0.394 ms
64 bytes from 192.168.200.1: icmp_seq=3 ttl=62 time=0.379 ms
64 bytes from 192.168.200.1: icmp_seq=4 ttl=62 time=0.389 ms
64 bytes from 192.168.200.1: icmp_seq=5 ttl=62 time=0.382 ms
64 bytes from 192.168.200.1: icmp_seq=6 ttl=62 time=0.387 ms
64 bytes from 192.168.200.1: icmp_seq=7 ttl=62 time=0.398 ms
64 bytes from 192.168.200.1: icmp_seq=8 ttl=62 time=0.402 ms
64 bytes from 192.168.200.1: icmp_seq=9 ttl=62 time=0.392 ms
64 bytes from 192.168.200.1: icmp_seq=10 ttl=62 time=0.399 ms

--- 192.168.200.1 ping statistics ---
10 packets transmitted, 10 received, 0% packet loss, time 9ms
rtt min/avg/max/mdev = 0.379/0.399/0.474/0.033 ms
```

### ▼ OCIインスタンス -> AWSインスタンス（AZ:1a)
**・ Ping (ICMP)**
```
[opc@oci-inst ~]$ sudo ping 10.1.1.20 -i 0.001 -c 10
PING 10.1.1.20 (10.1.1.20) 56(84) bytes of data.
64 bytes from 10.1.1.20: icmp_seq=1 ttl=122 time=0.767 ms
64 bytes from 10.1.1.20: icmp_seq=2 ttl=122 time=0.646 ms
64 bytes from 10.1.1.20: icmp_seq=3 ttl=122 time=0.638 ms
64 bytes from 10.1.1.20: icmp_seq=4 ttl=122 time=0.643 ms
64 bytes from 10.1.1.20: icmp_seq=5 ttl=122 time=0.643 ms
64 bytes from 10.1.1.20: icmp_seq=6 ttl=122 time=0.691 ms
64 bytes from 10.1.1.20: icmp_seq=7 ttl=122 time=0.684 ms
64 bytes from 10.1.1.20: icmp_seq=8 ttl=122 time=0.643 ms
64 bytes from 10.1.1.20: icmp_seq=9 ttl=122 time=0.680 ms
64 bytes from 10.1.1.20: icmp_seq=10 ttl=122 time=0.646 ms

--- 10.1.1.20 ping statistics ---
10 packets transmitted, 10 received, 0% packet loss, time 9ms
rtt min/avg/max/mdev = 0.638/0.668/0.767/0.039 ms
```

**・ NetPerf(TCP)**
```
[root@oci-inst ~]# netperf -H 10.1.1.20 -t TCP_RR -- -k MIN_LATENCY,MEAN_LATENCY,MAX_LATENCY
MIGRATED TCP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.1.1.20 () port 0 AF_INET : histogram : interval : dirty data : demo : first burst 0
MIN_LATENCY=645
MEAN_LATENCY=703.91
MAX_LATENCY=1483
```

**・ NetPerf(UDP)**
```
[root@oci-inst ~]# netperf -H 10.1.1.20 -t UDP_RR -- -k MIN_LATENCY,MEAN_LATENCY,MAX_LATENCY
MIGRATED UDP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.1.1.20 () port 0 AF_INET : histogram : interval : dirty data : demo : first burst 0
MIN_LATENCY=606
MEAN_LATENCY=678.01
MAX_LATENCY=3458
```

## ● AWS から接続確認
### ▼ AWSインスタンス(AZ:1a) --> オンプレミス
**・ Ping (ICMP)**
```
[root@ip-10-1-1-20 ~]#  ping 192.168.200.1 -i 0.001 -c 10
PING 192.168.200.1 (192.168.200.1) 56(84) bytes of data.
64 bytes from 192.168.200.1: icmp_seq=1 ttl=63 time=0.412 ms
64 bytes from 192.168.200.1: icmp_seq=2 ttl=63 time=0.350 ms
64 bytes from 192.168.200.1: icmp_seq=3 ttl=63 time=0.349 ms
64 bytes from 192.168.200.1: icmp_seq=4 ttl=63 time=0.348 ms
64 bytes from 192.168.200.1: icmp_seq=5 ttl=63 time=0.370 ms
64 bytes from 192.168.200.1: icmp_seq=6 ttl=63 time=0.393 ms
64 bytes from 192.168.200.1: icmp_seq=7 ttl=63 time=0.352 ms
64 bytes from 192.168.200.1: icmp_seq=8 ttl=63 time=0.349 ms
64 bytes from 192.168.200.1: icmp_seq=9 ttl=63 time=0.349 ms
64 bytes from 192.168.200.1: icmp_seq=10 ttl=63 time=0.386 ms

--- 192.168.200.1 ping statistics ---
10 packets transmitted, 10 received, 0% packet loss, time 9ms
rtt min/avg/max/mdev = 0.348/0.365/0.412/0.022 ms
```



### ▼ AWSインスタンス(AZ:1a) --> OCIインスタンス
**・ Ping (ICMP)**
```
[ec2-user@ip-10-1-1-20 ~]$ sudo ping 10.9.0.2 -i 0.001 -c 10
PING 10.9.0.2 (10.9.0.2) 56(84) bytes of data.
64 bytes from 10.9.0.2: icmp_seq=1 ttl=60 time=0.770 ms
64 bytes from 10.9.0.2: icmp_seq=2 ttl=60 time=0.685 ms
64 bytes from 10.9.0.2: icmp_seq=3 ttl=60 time=0.686 ms
64 bytes from 10.9.0.2: icmp_seq=4 ttl=60 time=0.686 ms
64 bytes from 10.9.0.2: icmp_seq=5 ttl=60 time=0.688 ms
64 bytes from 10.9.0.2: icmp_seq=6 ttl=60 time=0.684 ms
64 bytes from 10.9.0.2: icmp_seq=7 ttl=60 time=0.691 ms
64 bytes from 10.9.0.2: icmp_seq=8 ttl=60 time=0.649 ms
64 bytes from 10.9.0.2: icmp_seq=9 ttl=60 time=0.644 ms
64 bytes from 10.9.0.2: icmp_seq=10 ttl=60 time=0.644 ms

--- 10.9.0.2 ping statistics ---
10 packets transmitted, 10 received, 0% packet loss, time 9ms
rtt min/avg/max/mdev = 0.644/0.682/0.770/0.034 ms
```

**・ NetPerf(TCP)**
```
[root@ip-10-1-1-20 ~]# netperf -H 10.9.0.2 -t TCP_RR -- -k MIN_LATENCY,MEAN_LATENCY,MAX_LATENCY
MIGRATED TCP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.9.0.2 () port 0 AF_INET : histogram : interval : dirty data : demo : first burst 0
MIN_LATENCY=624
MEAN_LATENCY=689.24
MAX_LATENCY=1453
```

**・ NetPerf(UDP)**
```
[root@ip-10-1-1-20 ~]# netperf -H 10.9.0.2 -t UDP_RR -- -k MIN_LATENCY,MEAN_LATENCY,MAX_LATENCY
MIGRATED UDP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 10.9.0.2 () port 0 AF_INET : histogram : interval : dirty data : demo : first burst 0
MIN_LATENCY=635
MEAN_LATENCY=720.36
MAX_LATENCY=1123
```



## ■ トラブルシューティング
[FastConnectのトラブルシューティング](https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/fastconnecttroubleshoot2.htm#FastConnect_Troubleshooting), [VCNおよび接続のトラブルシューティング](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/troubleshooting.htm)を参照して、Layer1 から Layer2, Layer3 と Layer4 各項目を順番に設定コマンド出力、パケット・キャプチャしてエビデンス(証拠)をとって肉眼で確認しトラブルシュート(切り分け)していきます。
よくあるのは、OCI側、オンプレミス側の コンフィグミス, ファイアウォール, Path MTU Discovery(PMTUD: ICMPタイプ3,コード4の許可)など

## ・ [AWS Direct Connect トラブルシューティング](https://repost.aws/ja/knowledge-center/direct-connect-connectivity-issues)

https://repost.aws/ja/knowledge-center/direct-connect-connectivity-issues

## ・ [Oracle FastConnect トラブルシューティング](https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/fastconnecttroubleshoot2.htm#FastConnect_Troubleshooting)

https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/fastconnecttroubleshoot2.htm#FastConnect_Troubleshooting


## ・ [Cisco EtherChannel トラブルシューティング](https://www.cisco.com/c/ja_jp/support/docs/switches/catalyst-9300-series-switches/220367-troubleshoot-etherchannels-on-catalyst-9.html)


https://www.cisco.com/c/ja_jp/support/docs/switches/catalyst-9300-series-switches/220367-troubleshoot-etherchannels-on-catalyst-9.html


# ■ 参考

**・NEC**
　- [NECが「NEC印西データセンター」を公開、最新のデータセンター事業戦略を説明](https://cloud.watch.impress.co.jp/docs/special/1517452.html)
　- [NEC印西データセンター](https://jpn.nec.com/outsourcing/dc/inzai.html)
　- [NECのクラウドHubデータセンター](https://jpn.nec.com/soft/oracle/oci/cloud_hub_DC.html)
　- [NEC DXネットワークサービス: クラウド：NEC Cloud Solutions](https://jpn.nec.com/cloud/dx-network.html)
　- [NEC Cloud Service based on Oracle ](https://jpn.nec.com/soft/oracle/oci/index.html)
　- [Oracle Cloud Infrastructureに関する各種資料](https://jpn.nec.com/soft/oracle/oci/download.html)

**・AWS**
　- [AWS Direct Connect](https://docs.aws.amazon.com/ja_jp/directconnect/latest/UserGuide/Welcome.html)
　- [等コストマルチパスルーティング](https://docs.aws.amazon.com/ja_jp/vpc/latest/tgw/how-transit-gateways-work.html#tgw-ecmp)
　- [プライベート仮想インターフェイスおよびトランジット仮想インターフェイスのルーティングポリシー](https://docs.aws.amazon.com/ja_jp/directconnect/latest/UserGuide/routing-and-bgp.html#private-routing-policies)
　- [Direct Connect プライベート仮想インターフェイスのルーティングを設定するにはどうしたらよいですか?](https://repost.aws/ja/knowledge-center/routing-dx-private-virtual-interface)
　- [AWS Direct Connect のトラブルシューティング](https://docs.aws.amazon.com/ja_jp/directconnect/latest/UserGuide/Troubleshooting.html)
　- [Direct Connect から AWS リソースへの接続に関する問題をトラブルシューティングする方法を教えてください。](https://repost.aws/ja/knowledge-center/direct-connect-connectivity-issues)




**・ Oracle**
　- [NECとオラクル、NEC印西データセンターに、Oracle Cloud Infrastructureへの接続拠点を開設](https://www.oracle.com/jp/news/announcement/nec-and-oracle-build-point-of-presence-for-oci-at-nec-inzai-data-center-2023-07-05/)
　- [FastConnect](https://www.oracle.com/jp/cloud/networking/fastconnect/)
　- [FastConnect: Oracleパートナの使用](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectprovider.htm)
　- [FastConnectの要件](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectrequirements.htm)
　- [FastConnectのメトリック](https://docs.oracle.com/ja-jp/iaas/Content/Network/Reference/fastconnectmetrics.htm)
　- [DRGの作成](https://docs.oracle.com/ja-jp/iaas/Content/Network/Tasks/drg-create.htm#drg-create)
　- [DRGへのVCNのアタッチ](https://docs.oracle.com/ja-jp/iaas/Content/Network/Tasks/attach-vcn-drg.htm#attach-vcn-drg)
　- [オブジェクト・ストレージのIPアドレス](https://docs.oracle.com/ja-jp/iaas/Content/Object/Concepts/objectstorageoverview.htm#IPaddresses)
　- [MTUの概要](https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/connectionhang.htm#Overview)
　- [FastConnectのトラブルシューティング](https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/fastconnecttroubleshoot.htm)

**・Cisco**
　- [Cisco Catalyst 2960-L シリーズ スイッチ](https://www.cisco.com/c/ja_jp/products/switches/catalyst-2960-l-series-switches/index.html)
　- [Cisco C892FSP サービス統合型ルータ](https://www.cisco.com/c/ja_jp/support/routers/c892fsp-integrated-services-router-isr/model.html)
　- [BGP コマンド リファレンス](https://www.cisco.com/c/ja_jp/td/docs/sw/campuslanswt-access/cat3850swt/cr/018/iproute_bgp-xe-3se-3850-cr-book/iproute_bgp-xe-3se-3850-cr-book_chapter_0100.html)
　- [VLAN の設定](https://www.cisco.com/c/ja_jp/td/docs/sw/dcswt/nex3000swt/cg/059/b_Cisco_Nexus_3000_Layer_2_Switching_Config_7x/b_Cisco_Nexus_3000_Layer_2_Switching_Config_7x_chapter_010.pdf)
　- [Cisco C892FSP サービス統合型ルータ](https://www.cisco.com/c/ja_jp/support/routers/c892fsp-integrated-services-router-isr/model.html)
　- [Border Gateway Protocol(BGP)の基本的な問題のトラブルシューティング](https://www.cisco.com/c/ja_jp/support/docs/ip/border-gateway-protocol-bgp/218027-troubleshoot-border-gateway-protocol-bas.html)
　- [EtherChannelのトラブルシューティング](https://www.cisco.com/c/ja_jp/support/docs/switches/catalyst-9300-series-switches/220367-troubleshoot-etherchannels-on-catalyst-9.html)
 
**・一般**
　- [Equal-cost multi-path routing (ECMP)](https://en.wikipedia.org/wiki/Equal-cost_multi-path_routing)
　- [LAG: L2 EtherChannel Configuration](https://www.infraexpert.com/study/etherchannelz3.html)
　- [VLAN - Access Port Configuration](https://www.infraexpert.com/study/vlanz3.html)
　- [VLAN - Trunk Port Configuration](https://www.infraexpert.com/study/vlanz10.html)
　- [VLAN - Access Port / Trunk Port ](https://www.infraexpert.com/study/vlanz2.html)
　- [光ファイバケーブルの選び方](https://www.sanwa.co.jp/seihin_joho/hikaricable_select/index.html)
　- [光ファイバーのシングルモードとマルチモードの違いを詳しく解説](https://www.panduit.co.jp/column/naruhodo/4387/)
　- [SFPが何か理解できておりません｜その他｜よくある質問 FAQ](https://www.it-ex.com/distribution/securitynetworksolution/ciscobiz/faq/2017/07/sfp-2.html)