vRAN (仮想化RAN)のネットワーキングデザインと今後のvRANへの期待
MPLS Japan 2020
文字 勇Business Solutions Architect, Cisco Systems
2020年11月9日

自己紹介• 文字勇 (もんじいさむ)• 某 通信事業者にて数年 Network Engineer職• 2001年〜 Cisco Systems にて Systems Engineer, SE Manager, Solution Architect

主に通信事業者様を担当するSales部門にて• Broadband Access、Telecom Infrastructure、Mobile Core、Small Cell、Stadium Entertainment、他•• 現在アーキテクト職として : 通信事業者様の新しいインフラ構築に携わる•

4G/5G Mobile Core, (v)RAN, Transport, DC, NFV, Automation, ….

© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public

2Agenda• RANの近況 – Virtualized RANとOpen RAN• vRANアーキテクチャ – 従来のRANとの比較• vRAN実装例とネットワークデザイン、考慮点• まとめ : 5G vRANの拡大へ向けて© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public

3

RANの近況 – Virtualized RANとOpen RAN• Virtualized RAN

本日のフォーカス• RAN (Radio Access Network) の各コンポーネントを仮想化• 汎用Processor,FPGA,GPU等を用いる-> - 従来は専用Hardware / Applianceで 無線区間のデジタル信号処理やパケット化- “仮想化技術で実装可能なもの” を専用Hardwareから分離• Open RAN• RANの各コンポーネントを機能分離、コンポーネント間Interfaceを標準化、オープン化• ベンダー、Hardware, Softwareを適宜組み合わせてRANを実現する-> - 従来は同一ベンダー製品、Solutionで(のみ) 実現されていたもの- 仮想化も含め、新しい技術やベンダーを適用する柔軟性が増す- Private 5G / Local 5Gへの適用、IIoTなど 5Gの拡大へ© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public

4

vRANアーキテクチャ – 従来のRANとの比較
DRAN [RAN設備を基地局サイトへ配置]

CRAN [BBUを集約]
Internet

DRAN
/CRAN

CPRI

Coax

ANT

IP/Ethernet

RRH

ANT

RRH/RU

Mobile Core

BackhaulVirtualized

本日のフォーカスvRAN

SR-MPLS/SRv6

BBU
Fronthaul

Coax

Metro AcesseCPRI / RoE
Ethernet

Internet
Metro Acess

vDU

vCU

IP/Ethernet

MidhaulFronthaul

SR-MPLS/SRv6

Mobile Core

BackhaulVirtualized

Coax

ANT

RU

eCPRI / RoE
Ethernet© 2020 Cisco and/or its affiliates. All rights reserved.

Internet
Metro AcessvDU

Cisco Public

vCU-cpvCU-up

IP/Ethernet

SR-MPLS/SRv6

Mobile Core5

Announced Open vRAN Deployments & Trials, Sept 2020

© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public

Source: TIP News Article Oct-6, 2020

https://telecominfraproject.com/tip-openran-project-group-is-streamlined-to-accelerate-development-and-deployments/

6

Agenda• RANの近況 – Virtualized RANとOpen RAN• vRANアーキテクチャ – 従来のRANとの比較• vRAN実装例とネットワークデザイン、考慮点• まとめ : 5G vRANの拡大へ向けて© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public

7vRAN実装例
VirtualizedCoax

vRAN

ANTRRH/RU

eCPRI / RoE
Ethernet

Internet
Metro AcessvDUFronthaul

vCU

IP/Ethernet

Midhaul

SR-MPLS/SRv6

Mobile Core

Backhaul

UDP/IP Stackはオプション- 4G LTE での実装例 : RRH/RU, vDU (VM), vCU (VM)

IP

- OpenStack環境、KVM、x86 サーバ (2 sockets)- vDUのHardware AcceleratonはFPGA- Fronthaul は eCPRIを採用 (RUからeCPRI Frame生成),
L2 Ethernet (UDP/IPはオプション)- VNF (vDU, vCU)のData Plane転送I/FはSR-IOV© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public

eCPRI プロトコルスタック
http://www.cpri.info/downloads/eCPRI_v_2.0_2019_05_10c.pdf

8VirtualizedCoax

vRAN

vRAN実装例 – コンポーネント vCU

eCPRI / RoE
Ethernet

vDU

IP/Ethernet

vCUMidhaulBa

Switch B

100G
25G

VF

VF

MidhaulBackhaulbond0bond0

vCU 1-1

VF

VF

VF

Backhaul

MidhaulvCU 1-2

Management

Management

virtiovirtioNUMA #0© 2020 Cisco and/or its affiliates. All rights reserved.

Open vSwitch

VF

Cisco Public

NIC for SR-IOV
VFVFMidhaulvCU
1-3
vCU1-nVF

VF

Backhaul

VFVFMidhaul

VFVF

BackhaulvCU 2-2vCU 2-1x86 Server

Port2VF 3VF 3
VF 2
VF 1

VF

Port1NIC
for Openstack

NIC for SR-IOVVFPort2VF 4VF 3VF 2
VF 1

Port2VF 4VF 3VF 2VF 1

Port1Port1VF 4
VF 3VF 2VF 1Backhaul

RRH/RU

Fronthaul

Switch A
MidhaulANTManagement

Management

virtiovirtio

vCU
1-3
vCU
1-n

NUMA #1

9

Virtualized

Coax

vRAN

vRAN実装例 – コンポーネント vDU

MidhaulOtherbondbondVF

MidhaulMidhaulbondVF

Mgmt

VF

FronthaulVFvirtioVF

NUMA #0

NIC FPGA SR-IOV
Port2FH Switch A© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public

IP/Ethernet

MidhaulBa

Open vSwitch

VF

OtherMgmt

VFVFVFVFVF

FronthaulVF

x86 ServerVFVFMidhaul

OtherVF

VF

OthervDU 2-2vDU 2-1virtio

10G

NIC for SR-IOVMidhaulvDU
1-3vDU
1-n25G

Port2

Mgmt

FronthaulvirtioVFVFNUMA #1

Mgmt

vDU
1-3vDU
1-nvirtio

NIC FPGA SR-IOV
Port1

VF 2
VF 1

Port1

Port1

VF 2
VF 1

VF 2
VF 1

VF 2
VF 1

Fronthaul

VFvDU 1-2vDU 1-1vMAC
Fronthaul

VFvCUVF 3
VF 3
VF 2
VF 1

VF 4VF 3VF 2VF 1VFVFvDU

100GVF 4VF 3VF 2VF 1VF 4VF 3VF 2VF 1VF

Port2NIC
for Openstack

NIC for SR-IOVVF

eCPRI / RoE
Ethernet

MH Switch B
Port1

Port2

RRH/RU

Fronthaul

MH Switch A
Port1ANTPort2

FH Switch B
to RU

10

Virtualized

Coax

vRAN

vRAN実装例 - ネットワークデザイン [物理]ANT

RRH/RUeCPRI / RoE
Ethernet
Fronthaul

vDUvCU

IP/Ethernet

MidhaulBa

100G25G
10GvCUMH Switch B

MidhaulvCU

MH Switch A

Cisco PublicvDU© 2020 Cisco and/or its affiliates. All rights reserved.

vDU

FronthaulFPGA- FronthaulはeCPRI / fiberでvDUへ- 冗長化を考慮すると L2 switch? スプリッタ?
-> スプリッタを用いた場合 (片系Portはshut)FPGA

eCPRI / RoE
Ethernet

FH Switch B

RRH/RUFH Switch A

Coaxsplitter

ANTto Area NW

Backhaul

11Virtualized

Coax

vRAN

vRAN実装例 - ネットワークデザイン [論理]ANT

RRH/RUeCPRI / RoE
Ethernet
Fronthaul

vDUvCU

IP/Ethernet

Midhaul

Ba

100G
25G
10GvCUMH Switch B

MidhaulvCU

MH Switch A

Cisco PublicvDU© 2020 Cisco and/or its affiliates. All rights reserved.

FPGA

Fronthaul

FPGA- RU, vDU, vCUはRAN EMSにて紐付け- Management (IP) と C/U (eCPRI) は分離- eCPRI L2 Ethernet※遅延、ジッタに敏感なためEthernetで実装- RUが投げるvDUのMAC (vMAC)はEMSから定義

vDU
vMAC
bond

eCPRI / RoE
Ethernet

FH Switch B

RRH/RU

splitterCoax

FH Switch A

RU MAC

ANTto Area NW

Backhaul

12

vRAN実装例 - ネットワークデザイン 要件• RUの展開のためにシンプルな設計とする•

Vlan IDは共通化、IP Addressは自動付与• vDUは複数のRUと共通のL2 segmentで通信する•

RU, sector毎にL2 segmentは分離しない• RUとvDUとの通信が他のRUに影響を与えない事、最小化すること- RU, vDU, vCUはRAN EMSにて紐付け- Management (IP) と C/U (eCPRI) は分離- eCPRI L2 Ethernet ※IP/UDPはオプション-> 遅延、ジッタに敏感なためEthernetで実装- FH Switch : RUのMAC Learningはいつ?
- vDUもRUも、送信するMACはEMSから定義される-> MAC learningするまではRUがつながってきたときに他のサイトのRUにもBroadcast投げてしまう??

- RUが投げるvDUのMAC (vMAC)はEMSから定義© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public13

Virtualized

Coax

vRAN

ANTvRAN実装例 - ネットワークデザイン [論理]Server 1
Router 1

MAC 1

SVI

RRH/RUeCPRI / RoE
Ethernet
FronthaulvMACvDU MAC 2MidhaulBa

Router 2vDU

SVI

FH Switch BX

RU 1© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public

RU 2

RU 3

eCPRI

Mgmt

eCPRI

Mgmt

eCPRI

Mgmt

Mgmt

SplittereCPRI- RU 1が既にUpしている中でRU 2をつなぐ- RU 2がManagement Plane経由でEMSとvDUから設定完了
X
X
X Frameを投げ始める- RUX2がvDU vMACへ向けてeCPRI(1 sector approx. 1.2Gbps, x N sectors)
VLAN分ければいい話ですが・・・・

eCPRI

Mgmt

eCPRI

Mgmt

eCPRI

X
Mgmt

eCPRI

IP/Ethernet

vCU

Server 2

FH Switch A

Mgmt

vDU

RU 4
14vRAN実装例 - ネットワークデザイン 要件 さらに• RUの展開のためにシンプルな設計とする•

Vlan IDは共通化、IP Addressは自動付与• vDUは複数のRUと共通のL2 segmentで通信する•

RU, sector毎にL2 segmentは分離しない• RUとvDUとの通信が他のRUに影響を与えない事、最小化すること• 自動化 : vDU VNFの展開時にDay1 ConfigのSimple化•

L2 segmentを各RU毎に分離すると : vDUが複数RUを処理する、RUのDay1 Configと整合性が必要• 冗長化 : vDU VNFがダウンしたら 冗長系のvDUへ切り替え•

このvDU VNFは どのRU (複数)を収容するか? そのvlan ID は・・・? -> vlan ID分けたく無い© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public

15

Virtualized

CoaxvRAN

ANTvRAN実装例 - ネットワークデザイン [論理]Server 1
Router 1

MAC 1

SVI

RRH/RUeCPRI / RoE
Ethernet
Fronthaul

vMAC

vDU MAC 2MidhaulBa

Router 2vDU

SVI

FH Switch B

eCPRI

Mgmt

eCPRI

Mgmt

eCPRI

Mgmt

Mgmt

eCPRI

- vLAN 細かくわけられない、共通のvlan IDで統一

eCPRI

Mgmt

eCPRI

Mgmt

X
eCPRI

Mgmt

X
eCPRI

IP/Ethernet

vCU

Server 2

FH Switch A

Mgmt

vDU

X
XX
X VLAN, Multiple-> そういう機能も検討が必要(Private
VLAN, 等)
・セッション中にご質問を頂きました
・今どきに言えば E-tree? Yes
Root and Leafの関係© 2020 Cisco and/or its affiliates. All rights reserved.

Splitter

RU 1
Cisco Public

RU 2

RU 3

RU 416vRAN実装例 : 補足 - 遅延・ジッタ

vCUMidhaul

vCUMH Switch BvDU

Fiber内の光の伝送速度を2.0x108 m/sとすると
約 5us / km程度 -> 計算上は 20km以内程度
Fronthaul

MH Switch A

FPGA

RU : 50 us(example)

Network Transport : approx. 100usec(Fiber + Switching)

FPGA

RRH : 70 us(example)

eCPRI / RoE
Ethernet

FH Switch B

RRH/RU

splitter

CoaxvDUvMACbond

RU MACANTFH Switch A

Fronthaul Latency : 250us (delay + jitter) One-way※vDU VNFからRRHでの処理遅延までを含む

to Area NWBackhaul

・セッション中にご質問を頂きました※Splitterを選択する理由の一つです© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public

参照 : 3GPP TR 38.801
Study on New Radio Access Technology; Radio Access Architecture and Interfaces
Table A-1 Requirements on the underlying transport network due to a certain functional split,
as a consequence to support a certain feature/use case17

Agenda• RANの近況 – Virtualized RANとOpen RAN• vRANアーキテクチャ – 従来のRANとの比較• vRAN実装例とネットワークデザイン、考慮点• まとめ : 5G vRANの拡大へ向けて© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public18

まとめ : 5G vRANの拡大へ向けて• 標準化、オープン化の議論は進んでいくと予想 (O-RAN Alliance、TIPなど)• オープン化と合わせて仮想化は、アーキテクチャ・実装・性能面も検証は続く• 商用化には各コンポーネントの実装とあわせて、ネットワークデザインは重要• 基本的なL2/L3デザイン、収容数・スケール、冗長化、あわせて自動化• VMで苦労したネットワークデザイン、Container化すると ? SR-IOV、CNI、SourceRouting,• 標準化で定義される部分と、設計で解決すべき課題• eMBBに加え, P5G/Local 5GやIIoT含めた多様なRU, DU モデルの展開• Sub6, mmW, MIMO layers, DUへの処理性能要求、他-> RU+DUモデルも検討 : サイトからはMidhaul (帯域、伝送遅延要求も緩和)• スケール、自動化、要件にあわせたネットワークデザイン© 2020 Cisco and/or its affiliates. All rights reserved.

Cisco Public

19