MPLS Japan 2017

日本でも本番環境導入が急加速!

SD-WAN導入の現場でみえてきたアレコレ
小松 康二 (kkomatsu@cisco.com)
Technical Marketing Engineer, Product Management - Viptela
2017年11月1日

SD-WAN この1年を振り返って© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

CiscoによるViptela買収© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

各SD-WANソリューションの立ち位置の明確化

・複雑な要件に対応・高いスケーラビリティ© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

・直観的・シンプル日本での本番環境での導入の加速

http://itpro.nikkeibp.co.jp/atcl/column/17/060200225/060200004/

ほかにも、本番展開済みのお客様が急増中
日本では、製造業・金融機関のお客様が比較的多い印象© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

今日の発表は• 日本の企業の本番環境での、Cisco SD-WAN (Viptela) のデプロイをご一緒させていただいた経験からご紹介• 実際に遭遇したトラブル• たびたび議論になったこと

IPsecがつながらない
2. インターネットブレークアウトがうまくうごかない
3. 移行設計
4. オンプレ構築
1.

© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

IPsecがつながらない..
(SD-WANに限った話ではありませんが)© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

SD-WANルータをNAT/NAPTの裏側におくのはOK• コントローラーを使ってNAT Traversalを実現するなど
Internet
SD-WAN ルータ

Source NAT

Source NAT

SD-WAN ルータ

PUBLICPRIVATEADDRESSPSEUDOPUBLICPRIVATE PUBLIC IPV6PRIVATE IPV6BFD
FAMILY TLOC IPCOLORENCAP FROM PEERSTATUS
KEY
PUBLIC IPPORTPRIVATE IP
PORT
IPV6
PORT
IPV6
PORT
STATUS---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ipv4
1.1.1.22
mpls
ipsec 1.1.1.25
C,I,R
1221.245.168.210 1024
10.210.31.1
12386
::
0::
0up
1.1.1.125
C,R
1221.245.168.210 1024
10.210.31.1
12386
::
0::
0up
1.1.1.22biz-internet
ipsec 1.1.1.25
C,I,R
1153.137.89.183 12406 10.156.31.11
12406
::
0::
0up
1.1.1.125
C,R
1153.137.89.183 12406 10.156.31.11
12406
::
0::
0up
1.1.1.33
mpls
ipsec 1.1.1.25
C,I,R
1187.232.252.133 12346 192.168.1.66
12346
::
0::
0up
1.1.1.125
C,R
1187.232.252.133 12346 192.168.1.66
12346
::
0::
0up
1.1.1.44
mpls
ipsec 1.1.1.25
C,I,R
1221.245.168.211 12346 192.168.11.5
12346
::
0::
0up
1.1.1.125
C,R
1221.245.168.211 12346 192.168.11.5
12346::0::0up© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidentialただし、例外もある• Source NAT/NAPTでも、実際の挙動は細かく分かれる• Mapping Behavior• Filtering Behavior• Hairpin etc..

• Endpoint-dependent Mappingを行うNAT機器にはNAT Traversalが有効に機能しない (古い用語ではSymmetric NAT)

内部リソース
192.168.100.1:12346

Source NAT(Endpoint-dependent Mapping)© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

同一の内部リソースが、外部の複数のリソースと通信する場合に、異なるアドレスもしくはポート番号に変換されるケース

Endpoint-dependent Mappingにあたると• 両端がEndpoint-dependent Mappingの場合には、そのままではIPsec

トンネルがあがらない※ 実際には、Filtering behaviorとの組み合わせでより細かい条件があるものの、ここでは省略させていただきます• 全拠点にEndpoint-dependent Mapping機器があると大変…
• ハブ＆スポークならハブサイトだけ、フルメッシュなら全サイトで対策• 対策• Endpoint-dependent MappingはハイエンドFirewallに比較的特有の実装• 各社のデフォルト設定や、設定変更の可否が異なる•

Fortinetさん、Juniperさん、SonicWallさん、Palo Altoさん、Cisco ASA (?)• 1:1 SNATは広く使える対策 （ただしIPが必要）• IPがなければ、Port指定でStatic NAPTを構成（機器冗長時には異なるポートを使うよう設定）© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

根本対策は…
• SD-WANルータの前にFirewallを置く設計をとらない• 直接回線につないでも安心なSD-WANルータを選択する• FirewallはSD-WANルータの内側に設置し、データが復号化されたあとのトラフィックを検査する
Default Deny: All
Allow: 明示的に許可されたIPとポートのみ (vBondから学習)

SD-WANルータ

コントローラーCPU

対向
SD-WANルータ

IPSec



その他の通信© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

コントロールプレーンのポリシング
 300pps per flow
 5,000pps

Default Deny: All
Allow: 明示的に許可されたvEdge(vSmartから学習)




パケット
フォワーディング

Default Deny: All
Default Allow: ICMP, DNS, DHCP
Manual Allow: SSH, NTP

グローバルのWAN環境のNATは多彩• いまだに適切にNAPTがなされないケースも• 異なるIPを使う複数の内部リソースの変換を行えるが、ポート番号は変換しない• 異なるIPのリソースが同じポート番号を使うと区別できない• 対策・・・機器冗長を組む場合、異なるSrc Portを使うように設定
内部リソースA
192.168.100.1:12346

異なる内部リソースにもかかわらず、同一のIPとポート番号に変換されてしまい、同時にNAPT
内部リソースB
192.168.100.2:12346© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

Outer IPヘッダのIDフィールド書き換え問題• IPヘッダのIDフィールド• IPフラグメンテーションに利用される• フラグメント化されると、本来は最終的にリアセンブルされるまで同じIDを使用• AHによってOuter IPヘッダも認証• 一部NAT機器がIDフィールドを書き換えると、不正とみなされパケットドロップ• 解決策• IDフィールドを認証対象からはずす© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

ご参考：IDフィールドの書き換えについての考察 (by Cisco進藤)
http://blog.shin.do/2017/06/natは意外と難しい/

インターネットブレークアウトがうまく動かない© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

大規模なSaaSの実装はシンプルではない• SaaS Providerは複数のサービスに共通インフラを使用するケースがある (認証機能など)• 同じNATポイントからインターネットに出す必要がある• ポリシーをカスタマイズする際には要注意Internet
セントラルエグジット
インターネットブレークアウト（ローカルエグジット）

nat

nat
WAN
© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

ユーザ

拠点
SD-WAN ルータ

データセンター
SD-WAN ルータDC

Office 365とオンプレOffice機能の併用• SaaSによっては、関連するリソースが社内データセンターと併用されているケースがある• インターネットブレークアウトとオーバーレイルーティングを慎重に設計InternetWAN
ユーザ© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

拠点SD-WAN ルータ

データセンター
SD-WAN ルータ

DCWAN最適化装置がアプリケーション識別に影響• DPI機能 (アプリケーション識別) はSD-WANのキモの1つ• WAN最適化装置の最適化によって、SD-WANルータのDPIが影響をうけると、意図通りに動かないことも• 対策例 – DSCPによる連携、WCCPでの連携
WAN最適化装置

SD-WANルータ

LAN側

WAN / Internet
DPI

WAN最適化© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

トラフィックがただしく判別できないよくある議論 – 移行設計

© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

WANとLANのルーティングの独立• （少なくともViptelaの）SD-WANルータは完全に独立したルーティングドメイン(VPN)を複数もつ• インターフェースやルーティングの設定は、個々のルーティングドメインの中で行う• WANとLANのルーティングは最初から明確にわかれていて混在しない• LAN側に複数のドメイン(VPN)をつくると、WANを論理的な面にわけることができる(VRFの代替)• LAN側の経路は全てコントローラー経由で他の拠点のルータに広告される• トンネルのなかにルーティングプロトコルを流すことはない

IFLAN(VPN 1)

IF

MPLS

IF

Internet

WAN(VPN 0)IFLAN(VPN 2)© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

SD-WANルータ

非SD-WAN拠点との通信 (NGケース)• そのままつなぐと、既存ルータの拠点のLAN側は、SD-WANルータのLAN側とつながらないIF

WAN

SD-WAN
ルータ

LAN

SD-WAN
ルータ

既存ルータ

IFIF

LAN

WAN

IF

© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

MPLS

IFIF

非SD-WAN拠点との通信 (ハブパターン)• 中央のサイトをSD-WANと非SD-WANのハブとしてつなぐ• ハブサイトは、LAN側のルーティングドメインにも直接WANをつなぎこむ• ハブを介して相互に経路を広告• メッシュ化も可能

IF

WAN

LAN

IF

IF

SD-WAN
ルータ

SD-WAN
ルータ

IF

LAN

WAN

IF

© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

MPLS

既存ルータ

IFIF

非SD-WAN拠点との通信 (回線切り替えと並行)• SD-WANサイト間の通信は新回線で、非SD-WANサイトとの通信は旧回線で通信

旧回線で経路集約すると、SD-WANサイト間の通信はLongest Matchでオーバーレイを自動優先• SD-WAN移行が完了すれば、旧回線を解約•IFWANLANIFIF

SD-WAN
ルータ

SD-WAN
ルータIF

WAN

IFLANIF© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

新MPLS

既存ルータ
旧MPLS

IFIF

Multi VRFからの移行 (移行期間中)• SD-WANのもつセグメンテーションへの移行• 移行期間中はSD-WANセグメント(LAN側)とVRFを直接接続しておく
非SD_WAN

Router-A
非SD_WAN
VRF 1
LAN
ハブ

LAN VPN 1
LAN VPN 2LAN VPN 3

MPLS

WAN

SD-WANルータ

Router-B

VRF 2

VRF 1
VRF 2
VRF 3

Router
VPN 0VPN 1

SD-WAN VPN 1

VPN 2

SD-WANルータ© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

SD-WAN VPN 2

Multi VRFからの移行 (移行完了後)• 移行完了後はWAN側にマルチVRF不要
VPN 1
VPN 0

Branch-A VPN 1

SD-WANルータ

ipsec

VPN 0

VPN 2

Branch-B VPN 2

SD-WANルータ

Data Center (Hub)VPN 0SD-WANルータ

MPLS

ipsec

VPN 1 etc.

Router
VPN 0

VPN 1

Branch-C VPN 1

VPN 2

SD-WANルータ© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

Branch-C VPN 2

よくある議論 – オンプレでの構築© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

コントローラーをオンプレ環境に構築する
SD-WAN
コントローラーREST API

SD-WAN ルータ

GUI

セキュアなフルメッシュ
データプレーン

コントローラーとマネージメント

Viptela クラウド、マネージドクラウド
もしくは、オンプレ環境

セキュアなコントロールプレーン© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

イン
ター
ネット

MPLS

4G/LTE

インターネットなしでゼロタッチを実現する
ゼロタッチ立ち上げ用
サーバ

1

SD-WAN コントローラ

2
3© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

SD-WAN ルータ

4

閉域網に直接接続してのゼロタッチを実現する

WANPE

DHCPなしSD-WANルータ© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential•

IPアドレスは？

•経路は？

•名前解決は？

•コントローラーの場所は？

まとめ© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

SD-WAN のユースケース
日本でも確実に導入が増えています！

企業WANの最適化
パブリッククラウドへの対応

可視化・オペレーションの簡素化© 2017 Cisco and/or its affiliates. All rights reserved. Cisco Confidential