EVPNユースケース
データセンターでの活用
ジュニパーネットワークス株式会社
長滝 信彦

EVPNの適用領域
本日の話題

Data Center

All Active load balancing.
Seamless L2/L3InterconnectBusinessEdge

Multi-homed, feature rich
E-LINE, E-LAN E-TREE

MetroMulti-homing and L3
Integration

EVPN
Peers
MACs	  via	  BGP	  
EVPN
Router

EVPN
Router
ESI - 1

2Peering

Policy driven peering
relationships

OTT

L2/L3 Services over simple
IP connectivity

Ethernet	  Segment	  Iden7ﬁer	  Copyright © 2015 Juniper Networks, Inc.

EVPNの利点
Custom Services

Link Efficiency

Convergence

L3 and L2

DC Optimized

IPVPN like policysupport for service
customization

All Active
forwarding with L2
Loop Prevention

Built in HA - fast
convergence, fast
reroute capabilities

L2 & L3 Layers TieIn Built-in theprotocol

Ingress and Egress
VM Mobility
Optimizations

MPLS
IP Fabric
DC Fabric

DC Gateway

DC Gateway

DC Fabric

Virtual Machine Mobility

3Copyright © 2015 Juniper Networks, Inc.

データセンター内の仮想化技術
WAN	  	  (MPLS,	  IP)	  L3:	  L3VPN,	  NG-­‐MVPN	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  VXLAN Based POD
4GW

L2:	  EVPN,	  VPLS	  GWVXLAN in the Data Center• ループフリーでフラットなIPファブリック	  • 汎用チップが実装	  GWVLAN PODVXLAN based POD

Legacy, VLAN based
POD
Copyright © 2015 Juniper Networks, Inc.

VXLAN: Virtual Overlay and Physical Underlay
WAN	  Gateway

DC Edge

VTEP
VNID :100

P2P VXLAN Tunnels

IP

物理アンダーレイ
Spine Layer

論理的な Overlay Network
Logical LAN

TORS

5VTEP

VTEP

VTEP

VM1
VNID : 100

VM2
VNID : 100

VM3
VNID : 100

Compute Servers

VTEP

VTEP

VTEP

VM1
VNID : 100

VM2
VNID : 100

VM3VNID : 100

Overlay, Underlay, Gateway• VTEP間でVXLANトンネルを接続• 同一VLANはフルメッシュ• コントロールプレーンは、、、
Copyright © 2015 Juniper Networks, Inc.

VXLAN : Building blocks
VM1	  VM2	  Bridge Domain 1
VNI : 100

VM3	  
Bridge Domain 2
VNI : 200vSwitch (Virtual Switch)

OUTER	  MAC

Virtual Tunnel End Point (VTEP, lo0)
Kernel IP StackvServer

48

DEST	  M AC

48

SRC	  M AC

3216

IP Network
6

VLAN(OPTIONAL)

ETH	  T YPE	  0X0800

OUTER	  IP

728163232

IP	  H DR	  DATAPROTO:	  UDPCKSUMSRC	  I P:
MY	  VTEPDST	  IP:	  DEST	  VTEPOUTER	  UDP

16161616

SOURCE	  PORTVXLAN	  PORTUDP	  LENGTHCHKSUM
0X0000VXLAN	  Header

Original	  	   L2	  FrameFLAGS
RRRR1RRR

8RESERVED

24VNI

24RESERVED

8FCS

24 bits = 16 M VNIs

Copyright © 2015 Juniper Networks, Inc.

VXLAN実装のオプション – IPマルチキャスト vs EVPNWAN	  IPマルチキャスト	  EVPN	  仮想ネットワークをマルチキャスト(PIM)グループを作る	  仮想ネットワークをEVPNで作る	  • Known	  UnicastはFull	  mesh	  Tunnelを使う	  • EVPNでVNI,	  MACをDistribu7on	  • L2	  BUMはPIM	  Mul7cast	  Tunnelを使う	  • データプレーンはVXLAN	  Tunnel	  DC Edge

Gateway:	  One	  end	  of	  VXLAN	  tunnel	  DC Spine

Hypervisor	  :	  Other	  end	  of	  VXLAN	  tunnel	  TORSVXLAN	  tunnel	  Hypervisor
EVPN/VXLANの利点
V-­‐Router	  - UnderlayはIPルーティングに対応していれば良い
VM	   VM	   VM	   VM	   VM	   VM	  VM	   VM	   VM	   VM	   VM	   VM	  - VM mobilityやARP Proxyに対応している

7

Copyright © 2015 Juniper Networks, Inc.

EVPN	  VM	  MOBILITY:	  INGRESS	  TRAFFICの最適化	  DC	  1’s	  Edge	  Router	  Table	  極端な例ですが、、	  DC2	  –	  DC3がL2で接続されて同一セグメントの場合、	  DC1のServer	  1は、DC3のServer	  3にパケットを直接投げたい	  Route	  Mask	  Cost	  Next	  Hop	  10.10.10.0	  24	  5	  Datacenter	  2	  10.10.10.0	  24	  10	  Datacenter	  3	  10.10.10.100	  32	  5	  Datacenter	  2	  10.10.10.200	  32	  5	  Datacenter	  3	  20.20.20.100/24	  Server	  1	  VLAN	  20	  DC	  1	  10.10.10.100/32	  Cost	  5	  10.10.10.0/24	  Cost	  5	  VLAN	  10	  DC	  2	  8

10.10.10.100/24	   Server	  2	  10.10.10.200/32	  Cost	  5	  L3接続	  10.10.10.0/24	  Cost	  10	  L2接続	  VLAN	  10	  DC	  3	  	  10.10.10.200/24	   Server	  3	  Copyright © 2015 Juniper Networks, Inc.

EVPN	  VM	  MOBILITY:	  EGRESS	  TRAFFICの最適化	  Ac7ve-­‐Ac7veで冗長化されたGWにパケットを送信	  20.20.20.100/24

Server 1
VLAN 20

DC 1

L3接続

Active RVI
DG: 10.10.10.1

Active RVI
DG: 10.10.10.1

L2接続	  VLAN 10
DC 2
910.10.10.100/24

Active RVI
DG: 10.10.10.1

Server 2

Active RVI
DG: 10.10.10.1

VLAN 10DC 3

10.10.10.200/24

Server 3
Copyright © 2015 Juniper Networks, Inc.

VM and BMS INTEGRATION with TOR AND L3 GATEWAYPHYSICAL	  LOGICAL	  L3	  GW	  Conﬁg	  using	  XMPP	  /	  Netconf	  vRouter	  Agent	  VXLAN	  Tunnels	  Contrail	  allows	  inter-­‐VN	  traﬃc	  in	  the	  overlay	  without	  having	  to	  go	  through	  the	  L3	  GW	  Control	  using	  BGP	  (L3VPN	  /	  EVPN)	  VM1	  Control	  using	  EVPN	  (BGP)	  for	  QFX	  Conﬁg	  using	  OVS-­‐DB/XMPP	  /	  Netconf	  VM2	  Intra-­‐VN	  traﬃc	  from	  VM	  to	  BMS	  goes	  through	  the	  TOR.	  

Green	  Top	  of	  Rack	  Switch	  For	  traﬃc	  from	  VM	  in	  overlay	  to	  non-­‐overlay	  VMs	  or	  BMS,	  traﬃc	  needs	  to	  go	  through	  the	  L3	  GW	  Virtual
NetworkVirtual
NetworkVLAN	  Green	  VM1	  VM2	  WAN /Internet

VM3	  L3	  GW	  VM4	  VM3	  Virtual	  Machines	  on	  any	  Hypervisor	  
VM5	  Bare	  Metal	  Server	  10…	  VM4	  VLAN	  Blue	  Blue	  VM5	  Copyright © 2015 Juniper Networks, Inc.

VTEP for VM vs VTEP for Bare Metal Server
VTEP for VM
VM1	  VM2	  Bridge Domain
1
VNI : 100

VM3	  VTEP for BMS
TAP

Bridge Domain
2
VNI : 200

11BMS2	  Bridge Domain
1
VNI : 100vSwtich (Virtual Switch)
Virtual Tunnel End Point (VTEP, lo0)

BMS1	  BMS3	  VLAN

Bridge Domain
2
VNI : 200

default switch of TOR
経路交換したい
Virtual Tunnel End Point (VTEP, lo0)

Kernel IP Stack

Kernel IP Stack

IP Networkof DC

IP Networkof DC
Copyright © 2015 Juniper Networks, Inc.

VTEP for BMS - EVPN/VXLANのサンプルコンフィグ	
# vlan configuration
v100 {
vlan-id 100;vxlan {vni 100;
ingress-node-replication;}}v101 {
vlan-id 101;
vxlan {
vni 101;
ingress-node-replication;}}# interface configuration
xe-0/0/0
unit 0 {family ethernet-switching {interface-mode trunk;vlan {
members [ v100 v101 ];
}
}
}
12

# top level switch-options configuration
vtep-source-interface lo0.0;
route-distinguisher 1.2.3.11:1;
vrf-import imp;
vrf-target {target:1111:11;
auto;}# top level protocol evpn configuration
encapsulation vxlan;
extended-vni-list [ 100 101 ]; ßor all#policy	  conﬁguraSon	  	  policy-­‐opSons	  policy-­‐statement	  imp	  term	  1{	  	  	  	  	  from	  community	  [comglobal	  ];	  	  	  	  	  then	  accept;	  }	  term	  100	  {	  	  	  	  	  then	  reject;	  }	  	  	  community	  comglobal	  members	  target:1111:11;	  Copyright © 2015 Juniper Networks, Inc.

VTEP for BMS - EVPN/VXLANデータプレーン CLI出力例
root@node11# run show vlans
Routing instancedefault-switch

VLAN namedefault

Tag1

default-switch

v100

100

Interfaces

ae0.0*
esi.1746*
vtep.32769*
vtep.32770*
xe-0/0/0.0*
default-switch

v101

101
ae0.0*
esi.1746*
vtep.32769*
vtep.32770*

default-switch

v102102ae0.0*
esi.1746*
vtep.32769*
vtep.32770*

13Copyright © 2015 Juniper Networks, Inc.

VTEP for BMS - EVPN/VXLANコントロールプレーン CLI出力例
root@node11# run show route table default-switch.evpn.0
1:1.2.3.11:1::010101010101010101::0/304*[EVPN/170] 04:12:55
Indirect
1:1.2.3.12:0::010101010101010101::FFFF:FFFF/304*[BGP/170] 04:12:41, localpref 100, from 1.2.3.12
AS path: I, validation-state: unverified> to 112.1.1.1 via xe-0/0/1.0
2:1.2.3.12:1::100::00:00:0a:0b:0c:0d/304*[BGP/170] 00:00:06, localpref 100, from 1.2.3.12
AS path: I, validation-state: unverified> to 112.1.1.1 via xe-0/0/1.0
3:1.2.3.11:1::100::1.2.3.11/304*[EVPN/170] 05:27:51
Indirect
3:1.2.3.12:1::100::1.2.3.12/304*[BGP/170] 04:13:31, localpref 100, from 1.2.3.12
AS path: I, validation-state: unverified> to 112.1.1.1 via xe-0/0/1.0
14

Copyright © 2015 Juniper Networks, Inc.

VTEP for VM – vRouterのRouting Table L3VPNとEVPNの活用	  EVPN経路

L3経路

15

Copyright © 2015 Juniper Networks, Inc.

EVPNを使ったSDNインテグレーション
マルチベンダーTOR

VM/BMS	  Controller	  • Contrail SDN controller– EVPNでMAC情報を交換– TORコンフィグ設定• TOR – OVSDBContrail	  SDN	  Controller	  – OVS、QFXと接続実績– VMとBMSのProvisioning

NSX	  Controller	  • North boundはREST API
TORV-­‐Router	  VM	   VM	   VM	   VM	  VM	   VM	   VM	   VM	  16VM	   VM	  VM	   VM	  L2, L3 reachability
programming of
the VTEP
functionality via
EVPN, L3VPN
Copyright © 2015 Juniper Networks, Inc.

REST API Example – Logical Interface for BMS{	  	  u'logical-­‐interface':	  {	  	  	  	  	  u'fq_name':	  [	  	  	  	  	  	  	  u'default-­‐global-­‐system-­‐conﬁg’,	  	  	  	  	  	  	  u'test-­‐router’,	  	  	  	  	  	  	  u'ge-­‐0/0/1’,	  	  	  	  	  	  	  u'ge-­‐0/0/1.0’	  	  	  	  	  ],	  	  	  	  	  u'parent_uuid':	  u'6608b8ef-­‐9704-­‐489d-­‐8cbc-­‐fed4l5677ca’,	  	  	  	  	  u'logical_interface_vlan_tag':	  0,	  	  	  	  	  u'parent_type':	  u'physical-­‐interface’,	  	  	  	  	  u'virtual_machine_interface_refs':	  [	  	  	  	  	  	  {	  u'to':	  [	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  u'default-­‐domain’,	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  u'demo’,	  Reference	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  u'4a2edbb8-­‐b69e-­‐48ce-­‐96e3-­‐7226c57e5241'	  hmp://www.juniper.net/techpubs/en_US/contrail2.1/	  topics/concept/rest-­‐apis-­‐routers-­‐contrail.html	  ]	  17Copyright © 2015 Juniper Networks, Inc.

MULTIVENDOR TOR solution – MAC LEARNING	
Netconf
ConfigControl

Analytics

Control
XMPP

Control = MBGP (EVPN, L3VPN)

5TOR Service NodeTOR Control Agent

4vRouterTOR Agent1

TOR Agent2

TOR Agent NOVSDBClientOVSDBClientOVSDBClientvRouter

3TOR16VM12OVSDBTOR2OVSDB

TOR N

OVSDB

1BMS1

1) RED BMS1 起動
2) OVSDBがBMS1用の新しいLocal MACをTOR1にアップデート
3) TOR1がTOR Service NodeのTOR Agent1に、BMS1 MACのNotification送信
4) TOR Agent1がControl NodeにMACを広告
5) Control Nodeが BMS1 MACを学習
6) 同様にVM1のMACがControl Node経由でTOR Agent1に広告され、TOR1にプログラムされる
18

Copyright © 2015 Juniper Networks, Inc.

まとめ
EVPNのデータセンタでの活用

データセンタ技術との親和性
元々、VM mobilityやARP Proxyなどが考慮されている
VXLAN VNI distributionをサポートしたので、DC向けスイッチに使いやすくなった

SDN技術との親和性
SDNコントローラーのコントロールプレーンとして標準化された技術が使える
VXLANトンネルの接続先やMAC Learning
データセンターで必要なVMやBMSのプロビジョニングと連携するユースケースで使いやすい19

Copyright © 2015 Juniper Networks, Inc.