NEC印西データセンターで Oracle FastConnect L2 接続してみてみた

## [NECとオラクル、NEC印西データセンターに、Oracle Cloud 接続拠点を開設](https://jpn.nec.com/press/202307/20230705_02.html)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/38f99658-6963-574f-1f2f-24986f773e86.png)
NEC印西データセンターに Oracle Cloud Infrastructure (OCI) への専用プライベートネットワークファイバー接続を実現する Fast Connect 接続拠点(POP)を設置したことが発表されました。
![NEC-DXネットワークサービス画像2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/7b874dcc-ee0c-9629-42ec-1a351c23cf7e.jpeg)
印西データセンターは、ハイブリッドクラウド、マルチクラウド環境に適したデータセンターです。本接続拠点により NEC印西データセンターは3つの主要なパブリッククラウドの接続拠点を備える国内唯一(注)のデータセンターとなり、お客様のより高度なクラウド活用を支援します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/6a217322-d4c1-b865-3f13-aba1eeb26813.png)
印西データセンター内でクラウド接続拠点との直接接続により、セキュアかつ低遅延な環境を構築できます。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/1d9aed21-afde-a59f-968a-eccd97500af9.png)
NEC印西データセンターは、お客様のデジタルトランスフォーメーション(DX)の加速と事業成長を支援するクラウドの"Hub"となるデータセンターです。そして、長年にわたるオラクル社との協業実績に基づき、NECはOracle Cloud Infrastructureをご安心してお使いいただくために、NEC独自の各種サービス「[NEC Cloud Service based on Oracle](https://jpn.nec.com/soft/oracle/oci/index.html)」もあります。



ということで、Oracle Cloud FastConect Locationとなる NEC印西データセンターに機材を持ち込んで Oracle FastConnect L2接続してNEC印西データセンターから Oracle Database Service へ接続してみてみます。




# ■ 構成
![構成図L2-Exa.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/96850829-2ce6-74f1-375a-ed282f484b0c.jpeg)
   今回、NEC印西データセンターへ配置したルーターと OCI DRG を BGP + ECMP + BFD で通信する構成にします。
・ Equal-cost multi-path routing (ECMP)を使用すると、BGPを使用して、FastConnect仮想回線を介したネットワーク・トラフィックのアクティブ/アクティブ・ロード・バランシングおよびフェイルオーバーが可能になります。
・ Bidirectional Forwarding Detection(BFD)は、2台の隣接するルータ間の転送パスの生存状況を調べて高速に障害を検知してルーティングプロトコルに通知する機能です。BGPタイマーよりも高速なフェイルオーバーを提供します。

# ■ FastConnectの開始
Oracle Cloud Infrastructureドキュメントの手順を参考に NEC DXネットワークサービス と Fastconnect接続してみてみます。

https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectprovider.htm



# ■ 学習と計画
開始する前に、[開始する前に: 学習および計画](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectrequirements.htm#Before)で計画について確認します。[FastConnect冗長性のベスト・プラクティス](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectresiliency.htm#next)および[ハードウェアおよびルーティングの要件](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectrequirements.htm#requirements)も参照してください。

# ■ タスク1: Oracleパートナへの接続の設定
Oracleパートナに接続をオーダーし、それを設定してパートナでテストするプロセスを開始します。パートナによっては、時間がかかる場合があります。 
今回、**[NEC DXネットワークサービス](https://jpn.nec.com/cloud/dx-network.html)** の L2接続を利用します。
![DXNW概要図.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/ffdd9805-2477-8427-d4e9-2770b91bdde8.png)


# ■ タスク2: DRGの設定
Oracle Cloud Infrastructure Console を使用して DRG を設定し、それを VCN にアタッチして、DRG にトラフィックを送信するためのルート・ルールを含めるようにVCNのルーティングを更新します。ルート表の更新は忘れがちです。ルート・ルールがない場合、トラフィックは流れません。 



### ▼ DRG 作成
Dynamic Routing Gateway (DRG)を作成します。
DRGは、オンプレミス・ネットワークと仮想クラウド・ネットワーク(VCNs)間のトラフィックのパスを提供する仮想ルーターとして機能し、VCNs間のトラフィックのルーティングにも使用できます。様々なタイプのアタッチメントを使用して、様々なリージョンおよびテナンシのコンポーネントを使用してカスタム・ネットワーク・トポロジを構築できます。各DRGアタッチメントには、DRGに入るパケットをネクスト・ホップにルーティングするために使用されるルート表が関連付けられています。静的ルートに加えて、アタッチされたネットワークからのルートは、オプションのインポート・ルート・ディストリビューションを使用してDRGルート表に動的にインポートされます。

**1) OCI コンソール**
ナビゲーション・メニューを開き、「ネットワーク」を選択し、「顧客接続」で、「動的ルーティング・ゲートウェイ」をクリック
![01_DRG作成00.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/d4107633-3f6e-96a6-e6e0-b0df012faf1d.jpeg)

**2) 動的ルーティング・ゲートウェイ画面**
「リスト範囲」で、作業する権限があるコンパートメントを選択します。
ページが更新されて、そのコンパートメントのリソースのみが表示されます。使用するコンパートメントが不明な場合は、管理者に問い合せてください。詳細は、アクセス制御を参照してください。
「動的ルーティング・ゲートウェイの作成」をクリック
![01_DRG作成01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/ce44c354-bc12-c678-66d3-a25929c1a955.jpeg)


**3) 動的ルーティング・ゲートウェイの作成画面**
次の値を入力します。
```
・ 名前: DRGのわかりやすい名前。一意にする必要はありません。後で変更できます。
・ コンパートメントに作成: DRGを作成するコンパートメントを選択 
```
![01_DRG作成02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/3e62f321-29f2-4bb6-6545-53038a5e38c4.jpeg)


**4) 動的ルーティング・ゲートウェイ作成完了**
![01_DRG作成04.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/cc7e1ef3-ea8e-a3c4-8fb2-feb8be84caf8.jpeg)


### ▼ DRGへの VCN アタッチ
Dynamic Routing Gateway (DRG)にVirtual Cloud Network (VCN)をアタッチします。

**1) DRG画面**
DRG画面にある「リソース」から「Dynamic Routing Gatewaysアタッチメント」をクリック
「仮想クラウド・ネットワーク・アタッチメントの作成」をクリックし、次の情報を入力し、「DRGアタッチメントの作成」をクリック
```
    ・ アタッチメント名: DRGアタッチメントにフレンドリ名を指定。名前を指定しない場合、自動的に作成されます。
    ・ VCN: アタッチするVCNを選択
    ・ VCNルート表: DRG の VCNルート表を選択。デフォルト名は「Autogenerated Drg Route Table for VCN attachments」
    ・ VCNルート・タイプ: このアタッチメントからインポートできるルートのタイプ [サブネットCIDRブロック], [VCN CIDRブロック]から選択
```
![02_VCNアタッチメントの作成01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/9008038d-bc44-4a20-8386-0b2376fa76cb.jpeg)


**2) 仮想クラウド・ネットワーク・アタッチメント作成完了**
![02_VCNアタッチメントの作成02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/6fc5da15-16ff-7204-6e07-703de51a6bd5.jpeg)



### ▼ ECMP有効化
ECMP有効化します。Equal-Cost Multi-Path Routing (ECMP)は、BGPを使用して、複数の FastConnect仮想回線または複数の IPSec Tunnelを介した ネットワークトラフィック の Flow-Based Load Balancingを可能にする機能です。


**1) DRG ルート表画面**
DRG ルート表画面で FastConect のルート表をクリック
![31_DRG-ECMP設定01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/b959370f-8223-08b7-27fd-ab5060d9a65f.jpeg)

**2) DRG ルート表画面**
[編集]をクリック
![31_DRG-ECMP設定02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/f81f0d7c-0876-f7e6-2795-a14fe5a742f7.jpeg)

**3) DRG ルート表の編集画面**
[ECMPの有効化]をチェック
![31_DRG-ECMP設定03.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/96b168bf-074c-f0bb-f813-067753896cac.jpeg)


**4) ECMP有効化完了**
ECMPの項目が有効化されていることを確認
![31_DRG-ECMP設定04.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/21605514-5423-e1f6-aadc-1204f9967e05.jpeg)


## ● DRGへのVCNアタッチ
次の手順を使用して作成したDRGをVCNへアタッチ

https://docs.oracle.com/ja-jp/iaas/Content/Network/Tasks/attach-vcn-drg.htm#attach-vcn-drg

## ● VCNルート表のルールの更新
次の手順を使用してVCNルート表のルールを更新してオンプレミスとVCN内インスタンスが通じるようにします。

https://docs.oracle.com/ja-jp/iaas/Content/Network/Tasks/update-rules-routetable.htm#update-rules-routetable




# ■ タスク3: 仮想回線の設定
**1) OCI コンソール画面**
ナビゲーション・メニューを開き、「ネットワーキング」をクリックし、「顧客接続性」項目にある [FastConnect]をクリック
![11_NEC-L2-FastConnect01作成00.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/cb1b5e6d-25cb-e6f1-3c21-a66f24bff538.jpeg)



**2) FastConnect接続画面**
「FastConnectの作成」をクリック
![01_FastConnect#1作成02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/5e565f76-bcd6-319b-9778-30c5cafac3e6.jpeg)

**3) 接続の作成: 接続タイプ画面**
「FastConnectパートナ」を選択し、「冗長仮想回線」を選択して、同じFastConnectの場所で異なる物理デバイスを使用する仮想回線を構成します。冗長性の詳細は、[FastConnect冗長性のベスト・プラクティス](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectresiliency.htm#FastConnect_Redundancy_Best_Practices)を参照してください。
![11_NEC-L2-FastConnect01作成02.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/6359e5ec-f00e-fa9c-658d-167ac7b41882.jpeg)



**4) 接続の作成: 構成画面**
「仮想回線１」と「仮想回線２」にパートナー[NEC DXNW Service L2]を選択して次を入力し、[作成]をクリック

:::note info
「冗長仮想回線」を選択し、選択したパートナがOCIへのレイヤー3接続を作成する場合、冗長仮想回線の作成はオプションです。ただし、選択したパートナがレイヤー2接続を作成する場合は、冗長仮想回線が必要です。レイヤー2およびレイヤー3接続の詳細は、[FastConnect冗長性のベスト・プラクティス](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectresiliency.htm#FastConnect_Redundancy_Best_Practices)を参照してください。
:::

```
・ 名前: 仮想回線の追跡に役立つわかりやすい名前。値は仮想回線間で一意である必要はなく、後で変更できます。機密情報の入力は避けてください。
・ コンパートメントに作成: そのままにします(現在作業中のコンパートメント)。 
・ 仮想回線タイプ: [プライベート仮想回線]を選択
・ トラフィック: ここでは、[すべてのトラフィック]を選択
・ 動的ルーティング・ゲートウェイ: 事前に作成したDRGを選択
・ プロビジョニングされた帯域幅: 値を選択します。帯域幅を後で増加させる必要がある場合は、別の値を使用するように仮想回線を更新できます
・ BGP IPアドレス
  - 顧客BGP IPv4アドレス: ユーザー・エッジ(CPE)用のBGPピアリングIPアドレスを入力
  - Oracle BGP IPv4アドレス: Oracle エッジ(DRG)に使用するBGPピアリングIPアドレスを入力
・ 顧客BGP ASN: ユーザー・エッジ(CPE)の BGP ASN を入力
  - BGP MD5認証キーを使用します: MD5認証が必要な場合は、このチェック・ボックスを選択し、キーを指定します。Oracleは128ビットのMD5認証までをサポートしています。
  - 双方向転送検出の有効化: 双方向転送検出(BFD)は、2つのデバイス間のリンクの障害および停止検出に使用されます。BFDを使用するOCIデバイスは、300ミリ秒ごとにメッセージを送信し、3倍の乗数を使用します。BFDの詳細は、RFC 5880で参照できます
  - MTU: 1つのパケットで伝送できるバイト数を表す最大転送単位(MTU)を 1500 もしくは 9000 を選択[参考](https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/connectionhang.htm#Overview)
```
![11_NEC-L2-FastConnect01作成03.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/657f343e-da53-7b7f-05bb-6b783fa795bd.jpeg)
![11_NEC-L2-FastConnect01作成04.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/90761680-867c-8ba3-e9ed-aafea6fda84d.jpeg)


**5) リソースの作成画面**
リソースのプロビジョニングが開始され数分で完了します。
![11_NEC-L2-FastConnect01作成05.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/d9be35e6-4d2d-4bac-a652-e6a20d651004.jpeg)

**6) FastConnect作成完了**
作成された仮想回線１と仮想回線２をクリックし、OCIDを確認します。
![11_NEC-L2-FastConnect01作成06.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/07c077c8-1b36-207b-608a-da9146fb5f57.jpeg)

**7) FastConnect接続画面**
OCIDをコピーして別の場所に貼り付けます。次のタスクでそれをパートナ(ここではNEC)に渡します。
**・ 仮想回線１**
![12_NEC-L2-FastConnect01作成パートナー保留中01-2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/3e29048a-09c7-b6ce-1cd6-0f75e27a3536.jpeg)

**・ 仮想回線2**
![13_NEC-L2-FastConnect02作成パートナー保留中01-2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/ebc72c9a-bd63-8b84-0c52-ceeb05c1ce01.jpeg)

:::note info
次のタスクを完了してパートナがプロビジョニング作業を行うまで、仮想回線のライフサイクル状態は「プロバイダ保留中」で、BGP状態は「停止中」です。パートナが作業を行った後、ライフサイクル状態は「プロビジョニング済」に切り替わります。BGPセッションが確立されて機能すると、BGP状態は「稼働中」に変わります。
:::



# ■ タスク4: 仮想回線のパートナ側の完了
パートナに連絡し、作成した各仮想回線のOCIDを、パートナがリクエストしたその他の情報とともに提供します。パートナによっては、パートナのオンライン・ポータル、または電話でこれを行う場合があります。パートナは、接続を完了するために、各仮想回線を終端で構成します。 
今回、NECから「サービス開通ご報告書」受領後、次の手順へ進みます。また、この報告書の項目にある「お客様VLAN-ID」を使用して CPE へ VLAN を設定して NEC DXネットワークサービスと接続します。




Oracle Edge とパートナーEdge がつながり開通すると OCI側 Fastconnect画面では、Connection Status がグリーン色の "プロビショニング済み" になり、[メトリック](https://docs.oracle.com/ja-jp/iaas/Content/Network/Reference/fastconnectmetrics.htm)画面では、Connecttion State が "0 (停止中)" から "1 (稼働中)" にステータスが変わります。 また、BGP状態はCPE側で設定がされていないため"停止"状態です。
**・ 仮想回線１**
![15_NEC-L2-FastConnect01プロビジョニング済み01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/d3739ef6-7090-2afd-f09c-1ac82036ff15.jpeg)
**・ 仮想回線２**
![15_NEC-L2-FastConnect02プロビジョニング済み01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/851581de-99df-866d-cdfa-501669cc0686.jpeg)




# ■ タスク5: エッジの構成 
BGPピアリング情報を使用するようにエッジ(CPE)を構成します[(一般的な要件を参照)](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectrequirements.htm#General)
BGPセッションを正常に構成すると、仮想回線のBGPセッション状態が「稼働中」に変わります。
今回、 Cisco機器をNEC データセンターへ配置して設定してみてみます。


## ● ルーターへのコンソール接続
ファイバー・ケーブルをCiscoルーターへ接続します。
今回用意したルーターは SFPスロットが１つのため、メディアコンバーターを使用して RJ45(銅線)を光ファイバー・ケーブル(LC/シングルモードSM)へ変換して接続します。
ルーターへコンソール・ケーブルを接続し、MacBook でコンソール接続します。

https://qiita.com/shirok/items/5be8f4ef4679f6373e02






## ● Cisco ルーター初期設定
初期状態の Cisco ルーターでは、セットアップ モードが起動するので必要に応じて設定します。

https://qiita.com/shirok/items/4e570819a5d410d76347



## ● hostname設定
今回複数台のルーターを使用する検証をするので、hostnameを設定しておきます。
```
hostname C892FSP-01
```

## ● LAN インターフェース (Vlan1)設定
LAN側インターフェースを設定するために ネットワークスイッチ用[デフォルトVLAN (VLAN1)](https://www.cisco.com/c/ja_jp/td/docs/sw/dcswt/nex3000swt/cg/059/b_Cisco_Nexus_3000_Layer_2_Switching_Config_7x/b_Cisco_Nexus_3000_Layer_2_Switching_Config_7x_chapter_010.pdf) を設定します。
```
interface Vlan1
 description LAN
 ip address 172.16.0.254 255.255.0.0
 ip virtual-reassembly in
```

## ● WAN インターフェース (GigabitEthernet8)設定
FastConnectパートナー(ここではNEC)から指定された VLAN IDを使用して仮想回線インターフェースを構成します。この Sub interface は、単一 VLAN ID を持つDot1Q (単一タグ)の設定をします。
VLAN ID はピアリングごとに一意です。
今回、FastConnectパートナーへ指定したVLAN ID: 101 を設定します。
**1) ケーブル１設: SFPポート GigabitEthernet8 設定**
```
! VLAN 101:OCI-FastConnect01
vlan 101
!
interface GigabitEthernet8
 description WAN
 no ip address
 media-type sfp
!
interface GigabitEthernet8.101
 encapsulation dot1Q 101
 ip address 192.168.250.101 255.255.255.252
 bfd interval 300 min_rx 300 multiplier 3
!
```

**2) ケーブル2: RJ45ポート GigabitEthernet9 設定**
```
! VLAN 102:OCI-FastConnect02
vlan 102
!
interface GigabitEthernet9
 description WAN2
 no ip address
!
interface GigabitEthernet9.102
 encapsulation dot1Q 102
 ip address 192.168.250.105 255.255.255.252
 bfd interval 300 min_rx 300 multiplier 3
```


**2) 設定確認**
```
C892FSP-01#show ip interface brief
    Interface                  IP-Address      OK? Method Status                Protocol
    GigabitEthernet0           unassigned      YES unset  down                  down
    GigabitEthernet1           unassigned      YES unset  down                  down
    GigabitEthernet2           unassigned      YES unset  down                  down
    GigabitEthernet3           unassigned      YES unset  down                  down
    GigabitEthernet4           unassigned      YES unset  down                  down
    GigabitEthernet5           unassigned      YES unset  down                  down
    GigabitEthernet6           unassigned      YES unset  down                  down
    GigabitEthernet7           unassigned      YES unset  up                    up
    GigabitEthernet8           unassigned      YES unset  up                    up
    GigabitEthernet8.101       192.168.250.101 YES manual up                    up
    GigabitEthernet9           unassigned      YES unset  up                    up
    GigabitEthernet9.102       192.168.250.105 YES manual up                    up
    Vlan1                      172.16.0.254    YES manual up                    up
```

## ● BGP設定
**1) BGP設定**
```
router bgp 65000
 bgp log-neighbor-changes
 neighbor 192.168.250.102 remote-as 31898
 neighbor 192.168.250.102 fall-over bfd
 neighbor 192.168.250.106 remote-as 31898
 neighbor 192.168.250.106 fall-over bfd
 !
 address-family ipv4
  network 172.16.0.0
  network 192.168.100.0
  network 192.168.250.0
  neighbor 192.168.250.102 activate
  neighbor 192.168.250.102 soft-reconfiguration inbound
  neighbor 192.168.250.106 activate
  neighbor 192.168.250.106 soft-reconfiguration inbound
  maximum-paths 8
 exit-address-family
```

**2) BGP設定反映**
BGPの設定を更新した場合、clear ip bgp コマンドで反映します。
```
C892FSP-01#clear ip bgp *
    *Jan  1 05:31:17.035: %BGP-5-ADJCHANGE: neighbor 192.168.250.102 Down User reset
    *Jan  1 05:31:17.035: %BGP_SESSION-5-ADJCHANGE: neighbor 192.168.250.102 IPv4 Unicast topology base removed from session  User reset
    *Jan  1 05:31:17.035: %BGP-5-ADJCHANGE: neighbor 192.168.250.106 Down User reset
    *Jan  1 05:31:17.035: %BGP_SESSION-5-ADJCHANGE: neighbor 192.168.250.106 IPv4 Unicast topology base removed from session  User reset
    *Jan  1 05:31:18.263: %BGP-5-ADJCHANGE: neighbor 192.168.250.106 Up
    *Jan  1 05:31:18.263: %BGP-5-ADJCHANGE: neighbor 192.168.250.102 Up
```

## ● Config確認
設定した内容を確認
```
C892FSP-01#show running-config
Building configuration...
・・・
```

## ● 設定保存
**・ startup-config 保存**
```
C892FSP-01#copy running-config startup-config
Destination filename [startup-config]?
Building configuration...
[OK]
```


**・ flash 保存**
```
C892FSP-01#copy startup-config flash:20240606conf
Destination filename [20240606conf]?
2925 bytes copied in 0.640 secs (4570 bytes/sec)

C892FSP-01#show flash:
-#- --length-- -----date/time------ path
1     83017724 Sep 23 2016 17:48:04 +00:00 c800-universalk9-mz.SPA.154-3.M5.bin
2            0 Sep 23 2016 18:03:58 +00:00 managed
3            0 Sep 23 2016 18:03:58 +00:00 managed/odm
・・・
15        2925 Jun 7 2024 04:28:34 +00:00 20240606conf

173301760 bytes available (83206144 bytes used)
```


# ■ タスク6: 光源レベルの確認
光源レベルがパートナへの各物理ネットワーク接続に適していることを確認します。

https://www.cisco.com/c/ja_jp/support/docs/optical/synchronous-optical-network-sonet/16150-measure.html



今回、光ファイバー・ケーブル(LC/シングルモードSM)が用意されており、 ルーターと接続します。
![IMG_2447.jpeg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/67465abe-181c-ff33-8eff-5ee1b39adfdf.jpeg)

Cisco 892FSP-K9 は SFP１つなので、光ファイバケーブルをLANケーブルへ変換する[メディアコンバーター](https://www.dyden.co.jp/helpful/260/)の[10Gtek Gigabit Optical Media Converter Single Mode Dual LC Fiber](https://store.10gtek.com/1-25g-media-converter-sfp-slot-withou-sfp-module-ul-5v-1a/p-6819)を使用してFC冗長します。






# ■ タスク7: インタフェースが稼働していることの確認
パートナへの接続用のインタフェースの側が稼働していることを確認します。そうなるまで先に進まないでください。


**・CPE側インターフェース稼働確認**
次のようなコマンドでインターフェースが UP していることを確認
```
C892FSP-01#show interfaces GigabitEthernet8.101
  GigabitEthernet8.301 is up, line protocol is up
  ・・・
```

```
C892FSP-01#show interfaces GigabitEthernet9.102
  GigabitEthernet9.301 is up, line protocol is up
  ・・・
```


# ■ タスク9a: Oracle BGP IPアドレスのPing
仮想回線ごとに、仮想回線に割り当てられているOracle BGP IPアドレスをpingします。エラー・カウンタを確認し、削除されたパケットを探します。エラーなしでこのIPアドレスを正常にpingできるようになるまで、先に進まないでください。



## ● ルーターBGP IP 疎通確認
**・ ケーブル１確認**
```
C892FSP-01#ping 192.168.250.101
    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 192.168.250.101, timeout is 2 seconds:
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
```

**・ ケーブル２確認**
```
C892FSP-01#ping 192.168.250.105
    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 192.168.250.105, timeout is 2 seconds:
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
```


## ● OCI BGP IP 疎通確認
**・ ケーブル１確認**
```
C892FSP-01#ping 192.168.250.102
    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 192.168.250.102, timeout is 2 seconds:
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
```


**・ ケーブル２確認**
```
C892FSP-01#ping 192.168.250.106
    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 192.168.250.106, timeout is 2 seconds:
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
```

## ● OCI インスタンス 疎通確認
この時点でOCIインスタンスへ接続できるので確認しときます。
**・ ケーブル１確認**
```
C892FSP-01#ping 10.0.0.2 source 192.168.250.101
    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 10.0.0.2, timeout is 2 seconds:
    Packet sent with a source address of 192.168.250.101
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
```

**・ ケーブル２確認**
```
C892FSP-01#ping 10.0.0.2 source 192.168.250.102
    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 10.0.0.2, timeout is 2 seconds:
    Packet sent with a source address of 192.168.250.102
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
```

# ■ タスク9b: BGPセッションが確立されていることの確認
仮想回線ごとに、BGPセッションが確立された状態であることを確認します。その状態である場合、接続はテストする準備ができています(タスク11: 接続のテストを参照)。

## ● CPE側ルーター確認
次のようなコマンドでBGPセッション確立を確認
```
show ip bgp summary : 接続ステータスを表示
show ip bgp neighbors <Oracle BGP IP> : ネイバーへの BGP および TCP 接続に関する情報を表示
show ip bgp neighbors <Oracle BGP IP> advertised-routes : ネイバーにアドバタイズされたすべてのルートを表示
show ip bgp neighbors <Oracle BGP IP> received-routes : 指定したネイバーから受信されたすべてのルート（許可と拒否の両方）を表示
```

**・ BGP 接続ステータス確認**
BGP ネイバー(OCI)に接続されていることを確認
```
C892FSP-01#show ip bgp summary
    BGP router identifier 192.168.100.1, local AS number 65001
    BGP table version is 51, main routing table version 51
    4 network entries using 576 bytes of memory
    4 path entries using 320 bytes of memory
    2/2 BGP path/bestpath attribute entries using 320 bytes of memory
    1 BGP AS-PATH entries using 24 bytes of memory
    0 BGP route-map cache entries using 0 bytes of memory
    0 BGP filter-list cache entries using 0 bytes of memory
    BGP using 1240 total bytes of memory
    BGP activity 27/23 prefixes, 27/23 paths, scan interval 60 secs

    Neighbor        V           AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
    192.168.250.102 4        31898      21      22        4    0    0 00:16:42        0
    192.168.250.106 4        31898      74      72        4    0    0 00:10:47        1

```

**・ アドバタイズ(送信)されたルートを確認**
BGP ネイバー(OCI)にアドバタイズされたすべてのルートを確認
```
C892FSP-01#show ip bgp neighbors 192.168.250.102 advertised-routes
BGP table version is 8, local router ID is 192.168.250.105
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
              r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
              x best-external, a additional-path, c RIB-compressed,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

     Network          Next Hop            Metric LocPrf Weight Path
 *>  172.16.0.0       0.0.0.0                  0         32768 i

Total number of prefixes 1
```

**・ 受信されたルートを確認**
BGP ネイバー(OCI)から受信されたすべてのルート（許可と拒否の両方）を表示
ここでは、OCI VCN(10.0.0.0/24) と OCI Object Storage(134.70.80.0/23, 134.70.82.0/23)の Rute情報を受信していることを確認
```
C892FSP-01#show ip bgp neighbors 192.168.250.102 advertised-routes
BGP table version is 9, local router ID is 192.168.250.105
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
              r RIB-failure, S Stale, m multipath, b backup-path, f RT-Filter,
              x best-external, a additional-path, c RIB-compressed,
Origin codes: i - IGP, e - EGP, ? - incomplete
RPKI validation codes: V valid, I invalid, N Not found

     Network          Next Hop            Metric LocPrf Weight Path
 *>  10.0.0.0/24      192.168.250.106                        0 31898 i
 *>  172.16.0.0       0.0.0.0                  0         32768 i
```

**・ ルーターのRoute情報を確認**
```
C892FSP-01#show ip route
Codes: L - local, C - connected, S - static, R - RIP, M - mobile, B - BGP
       D - EIGRP, EX - EIGRP external, O - OSPF, IA - OSPF inter area
       N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2
       E1 - OSPF external type 1, E2 - OSPF external type 2
       i - IS-IS, su - IS-IS summary, L1 - IS-IS level-1, L2 - IS-IS level-2
       ia - IS-IS inter area, * - candidate default, U - per-user static route
       o - ODR, P - periodic downloaded static route, H - NHRP, l - LISP
       + - replicated route, % - next hop override

Gateway of last resort is not set

      10.0.0.0/24 is subnetted, 1 subnets
B        10.0.0.0 [20/0] via 192.168.250.106, 00:06:00
                  [20/0] via 192.168.250.102, 00:06:00
      172.16.0.0/16 is variably subnetted, 2 subnets, 2 masks
C        172.16.0.0/16 is directly connected, Vlan1
L        172.16.0.254/32 is directly connected, Vlan1
      192.168.250.0/24 is variably subnetted, 4 subnets, 2 masks
C        192.168.250.100/30 is directly connected, GigabitEthernet8.101
L        192.168.250.101/32 is directly connected, GigabitEthernet8.101
C        192.168.250.104/30 is directly connected, GigabitEthernet9.102
L        192.168.250.105/32 is directly connected, GigabitEthernet9.102
```

## ● BFD 有効化確認
```
C892FSP-01#show bfd neighbors

IPv4 Sessions
NeighAddr                              LD/RD         RH/RS     State     Int
192.168.250.102                         7/64         Up        Up        Gi8.101
192.168.250.106                         6/58         Up        Up        Gi9.102
```

# ■ OCI側 確認
![20_FastConnec開通確認01.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/40d72541-d529-2b39-5405-4199cc0da36a.jpeg)


## ● FastConnect ステータス確認
OCI Consoleで Fastconnect画面にある BGP Status がグリーンであることを確認
メトリックは Sent/Recievedが動作していることを確認
**1) FastConnec01確認**
![21_FastConnec01BGP開通確認03.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/d5a28ae6-4191-b588-60a8-50268f89206b.jpeg)

**2) FastConnec02確認**
![22_FastConnec02-BGP開通確認03.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/b9c8df7a-9d25-97d1-bd21-463436a1210b.jpeg)





## ● DRG 送受信ルート・ルール確認
DRGルート表の詳細画面から[すべてのルート・ルールの取得]をクリックしオンプレミスのルートが受信されていることを確認
重複するルートがすべてアクティブになっていることで ECMP が有効化されていることを確認できます。
![25_DRGルート開通確認03-ECMP-ON.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/109087/209c427c-dff2-94ec-3566-55a5041cd46b.jpeg)





# ■ 接続確認
## ● ルーター --> OCI インスタンス
**・ ping 確認**
```
C892FSP-01#ping 10.0.0.2 source 172.16.0.1
    Type escape sequence to abort.
    Sending 5, 100-byte ICMP Echos to 10.0.0.11, timeout is 2 seconds:
    Packet sent with a source address of 172.16.0.1
    !!!!!
    Success rate is 100 percent (5/5), round-trip min/avg/max = 1/1/1 ms
```


**・ SSH 確認**
```
shirok@macbook ~ % ssh -i id_rsa opc@10.1.0.2 hostname
    exa-x9m-cwazu1
```
**・SQL*PLUS 接続確認**
```
shirok@macbook ~ % sql / as sysdba


    SQLcl: Release 24.1 Production on Thu Nov 07 13:29:47 2024

    Copyright (c) 1982, 2024, Oracle.  All rights reserved.

    Connected to:
    Oracle Database 23ai EE Extreme Perf Release 23.0.0.0.0 - Production
    Version 23.6.0.24.10

SQL> show con_name
    CON_NAME
    ------------------------------
    CDB$ROOT
```

## ■ トラブルシューティング
[FastConnectのトラブルシューティング](https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/fastconnecttroubleshoot2.htm#FastConnect_Troubleshooting), [VCNおよび接続のトラブルシューティング](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/troubleshooting.htm)を参照して、Layer1 から Layer2, Layer3 と Layer4 各項目を順番に設定コマンド出力、パケット・キャプチャしてエビデンス(証拠)をとって肉眼で確認しトラブルシュート(切り分け)していきます。
よくあるのは、OCI側、オンプレミス側の コンフィグミス, ファイアウォール, Path MTU Discovery(PMTUD: ICMPタイプ3,コード4の許可)など

**・ AWS**

https://repost.aws/ja/knowledge-center/direct-connect-connectivity-issues

**・ Oracle**

https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/fastconnecttroubleshoot2.htm#FastConnect_Troubleshooting


**・ Cisco**

https://www.cisco.com/c/ja_jp/support/docs/ip/border-gateway-protocol-bgp/218027-troubleshoot-border-gateway-protocol-bas.html






# ■ 参考

**・NEC**
　- [NECが「NEC印西データセンター」を公開、最新のデータセンター事業戦略を説明](https://cloud.watch.impress.co.jp/docs/special/1517452.html)
　- [NEC印西データセンター](https://jpn.nec.com/outsourcing/dc/inzai.html)
　- [NECのクラウドHubデータセンター](https://jpn.nec.com/soft/oracle/oci/cloud_hub_DC.html)
　- [NEC DXネットワークサービス: クラウド：NEC Cloud Solutions](https://jpn.nec.com/cloud/dx-network.html)
　- [NEC Cloud Service based on Oracle ](https://jpn.nec.com/soft/oracle/oci/index.html)
　- [NEC Cloud Service based on Oracle 基本サービスの概要](https://jpn.nec.com/soft/oracle/oci/index.html)
　- [NEC Cloud Service based on Oracle 技術サービスの概要](https://jpn.nec.com/soft/oracle/oci/optional_service.html?)
　- [「GPRIME行政経営クラウドサービス」をOracle Cloud Infrastructure上で提供](https://www.oracle.com/jp/news/announcement/nec-to-provide-gprime-administrative-management-cloud-service-on-oci-2024-10-08/)
　- [NEC boosts agility with Oracle Cloud Infrastructure](https://www.oracle.com/jp/customers/nec-oci/)




**・ Oracle**
　- [NECとオラクル、NEC印西データセンターに、Oracle Cloud Infrastructureへの接続拠点を開設](https://www.oracle.com/jp/news/announcement/nec-and-oracle-build-point-of-presence-for-oci-at-nec-inzai-data-center-2023-07-05/)
　- [FastConnect](https://www.oracle.com/jp/cloud/networking/fastconnect/)
　- [FastConnect: Oracleパートナの使用](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectprovider.htm)
　- [FastConnectの要件](https://docs.oracle.com/ja-jp/iaas/Content/Network/Concepts/fastconnectrequirements.htm)
　- [FastConnectのメトリック](https://docs.oracle.com/ja-jp/iaas/Content/Network/Reference/fastconnectmetrics.htm)
　- [DRGの作成](https://docs.oracle.com/ja-jp/iaas/Content/Network/Tasks/drg-create.htm#drg-create)
　- [DRGへのVCNのアタッチ](https://docs.oracle.com/ja-jp/iaas/Content/Network/Tasks/attach-vcn-drg.htm#attach-vcn-drg)
　- [オブジェクト・ストレージのIPアドレス](https://docs.oracle.com/ja-jp/iaas/Content/Object/Concepts/objectstorageoverview.htm#IPaddresses)
　- [MTUの概要](https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/connectionhang.htm#Overview)
　- [FastConnectのトラブルシューティング](https://docs.oracle.com/ja-jp/iaas/Content/Network/Troubleshoot/fastconnecttroubleshoot.htm)

**・Cisco**
　- [Cisco Catalyst 2960-L シリーズ スイッチ](https://www.cisco.com/c/ja_jp/products/switches/catalyst-2960-l-series-switches/index.html)
　- [Cisco C892FSP サービス統合型ルータ](https://www.cisco.com/c/ja_jp/support/routers/c892fsp-integrated-services-router-isr/model.html)
　- [BGP コマンド リファレンス](https://www.cisco.com/c/ja_jp/td/docs/sw/campuslanswt-access/cat3850swt/cr/018/iproute_bgp-xe-3se-3850-cr-book/iproute_bgp-xe-3se-3850-cr-book_chapter_0100.html)
　- [VLAN の設定](https://www.cisco.com/c/ja_jp/td/docs/sw/dcswt/nex3000swt/cg/059/b_Cisco_Nexus_3000_Layer_2_Switching_Config_7x/b_Cisco_Nexus_3000_Layer_2_Switching_Config_7x_chapter_010.pdf)
　- [Cisco C892FSP サービス統合型ルータ](https://www.cisco.com/c/ja_jp/support/routers/c892fsp-integrated-services-router-isr/model.html)
　- [Border Gateway Protocol(BGP)の基本的な問題のトラブルシューティング](https://www.cisco.com/c/ja_jp/support/docs/ip/border-gateway-protocol-bgp/218027-troubleshoot-border-gateway-protocol-bas.html)

**・その他**
　- [Equal-cost multi-path routing (ECMP)](https://en.wikipedia.org/wiki/Equal-cost_multi-path_routing)
　- [VLAN - Access Port Configuration](https://www.infraexpert.com/study/vlanz3.html)
　- [L2 EtherChannel Configuration](https://www.infraexpert.com/study/etherchannelz3.html)
　- [VLAN - Trunk Port Configuration](https://www.infraexpert.com/study/vlanz10.html)
　- [VLAN - Access Port / Trunk Port ](https://www.infraexpert.com/study/vlanz2.html)
　- [光ファイバケーブルの選び方](https://www.sanwa.co.jp/seihin_joho/hikaricable_select/index.html)
　- [光ファイバーのシングルモードとマルチモードの違いを詳しく解説](https://www.panduit.co.jp/column/naruhodo/4387/)
　- [SFPが何か理解できておりません｜その他｜よくある質問 FAQ](https://www.it-ex.com/distribution/securitynetworksolution/ciscobiz/faq/2017/07/sfp-2.html)
　- [BFD ( Bidirectional Forwarding Detection ) ](https://www.infraexpert.com/study/routing11.html)
　- [メディアコンバーター](https://www.dyden.co.jp/helpful/260/)
　- [10Gtek Gigabit Optical Media Converter Single Mode Dual LC Fiber](https://store.10gtek.com/1-25g-media-converter-sfp-slot-withou-sfp-module-ul-5v-1a/p-6819)