TV中継サービスへのMPLS/SDN適用事例
2013/10/29

NTTコミュニケーションズ株式会社
先端IPアーキテクチャセンタ
田中 陽介（発表者）, 上手 祐治

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 2013

AgendaTV中継サービスとは. . . . . . . . . . . . . . . . [ 3分]TV中継サービスへのMPLS/SDN適用. . . . . . . [15分]
今後の動向紹介 - stateful PCE . . . . . . . . . . . . [ 2分]

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 20132

TV中継サービスとはCopyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 20133

TV中継サービスとは 地上波デジタル放送の基幹回線
 サービス名：テレビジョン中継サービス
 日本全国の番組や素材映像をリアルタイムに集配信する映像伝送専用回線

映像コンテンツの流れ
系列局
支局等⇒ ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ ⇒ ⇒非圧縮HD
1.5Gbps

キー局

非圧縮HD
1.5Gbps

圧縮HD
17Mbps

系列局

電波

テレビ局

TV中継サービスの対象

TV
地上波デジタル
放送

系列局

系列局
系列局
Comビル

番組配信(Distribution)

キー局

Copyright © NTT Communications Corporation. All right reserved.

素材集信(Contribution)

MPLS JAPAN 2013

4

TV中継サービスとは（cont’d）
 ダイナミックなマルチキャストパス制御
 時間ごとに接続対地が切り替わる
 ブッキングシステムによるネットワーク制御
放送局様が時間単位で回線使用（接続対地）の予約を実施  40万件/年 の切替
Receiver9:00 (UTC)

10:00

11:00

12:00

仙台

From 仙台局

東京

名古屋
大阪

From東京局

From大阪局

広島

From 広島局

博多

9:00(UTC)

10:00

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 2013

11:00
512:00

TV中継サービスの要件概要
1) ダイナミックなマルチキャストパス制御
 放送局様の映像集配信業務への対応

・マルチキャストパス回線のEnd-to-Endコネクション管理
・リーフの追加・削除動作（Grafting, Pruning）
・時間指定された秒単位での精密制御

2) HD 非圧縮
 映像伝送の悲願である劣化無し伝送の実現
・伝送装置の大容量化・安定したNW品質での伝送

3) 高いサービス稼働率(100%に限りなく近く) ミッションクリティカルのサービスを提供
・迅速な自動復旧・正確なNW監視と障害検知

これら要件を満たすサービスに MPLS/SDN を採用
Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 2013

6

TV中継サービスへのMPLS/SDN適用

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 201371) ダイナミックなマルチキャストパス制御
 映像配信において必須の回線管理 マルチキャストパス回線のコネクション管理
 映像配信中における任意の接続対地間の回線接続
 リーフの追加・削除動作（Grafting, Pruning）

 P2MP RSVP-TE (RFC4875) シグナリング
 秒単位に計画された番組配信や生中継の素材集信の実現
 指定の時間・接続対地通りに回線接続するブッキングシステム

 回線予約投入とリアルタイム回線制御
 Edge装置における絶対時刻同期

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 20138

P2MP RSVP-TE(RFC 4875)

 映像ストリーム と P2MP-LSP Tunnel
LSR: Label Switched Router• 1映像ストリーム = 1 P2MP-LSP Tunnel• 接続対地 = S2L Sub-LSP• 明示的経路制御 = strict ERO• Ingress Edgeが End-to-Endコネクションを生成、管理する
Video

P2MP-LSP Tunnel
Edge

LSR

LSR

Edge

LSR

VideoS2L-Sub-LSP
P2MP LSP Tunnel+-- S2L Sub-LSP 1| + Up/Dn, ERO, BW+-- S2L Sub-LSP 2| + Up/Dn, ERO, BW+-- S2L Sub-LSP 3+ Up/Dn, ERO, BW

LSR

LSR

LSR

S2L-Sub-LSP

コネクション管理
Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 2013

9Edge

Edge

S2L-Sub-LSP
Video

Video

リーフの追加・削除
 映像ストリームの接続対地もダイナミックに変更する• 接続対地の追加 = (S2L Sub-LSPの) Grafting•〃 の削除 = Pruning

Video

P2MP-LSP Tunnel
Edge

LSR

LSR

LSR

Edge

Video

S2L-Sub-LSP
LSR

LSR

LSR

S2L-Sub-LSP
S2L-Sub-LSP
Grafting
Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 2013

Edge

Pruning

Edge

Video10Edge
VideoVideoブッキングシステムによる制御
 コントローラ（ブッキングシステム）• 映像ストリームの開始時刻、終了時刻、接続対地（１秒粒度）• カスタマーコントロール端末からの予約受付
 しかし、CLIによる手法の場合、要件を満たせない。
• 予約開始時：config書き換えてLSP setup  数秒必要
• 予約終了時：config書き換えてLSP tear down  数秒必要
CLIによる手法
Booking info+-- S2L Sub-LSP+ Start Oct-29 9:00
+ End Oct-29 10:00+ ERO, BW

Customer

Booking order

NW management

AppController (Booking System)

LSP setup（CLI）
VideoOperator

カスタマー
コントロール端末

App

接続確認（CLI）
P2MP-LSP Tunnel

Edge

Copyright © NTT Communications Corporation. All right reserved.

LSR

MPLS JAPAN 2013

LSR

11EdgeVideo回線予約の投入
 TV中継サービスでの解決方式•••

ブッキングシステムで受付判断
1. 未来時間にわたっての回線リソースを一元管理
2. 予約情報をEdge装置に展開
時刻トリガーでP2MP-LSP Tunnel(S2L Sub-LSP)生成・削除
全Edge装置はGPS絶対時刻に同期（PTPでの時刻配信）

TV中継サービス

Operator

CustomerGPS

NW management

Booking orderTime ServerApp
Controller (Booking System)

1.リソース計算 App
2.予約DLVideo

Edge

Booking info+-- S2L Sub-LSP 1+ Start Oct-29 9:00
+ End Oct-29 10:00+ ERO, BW
Copyright © NTT Communications Corporation. All right reserved.

2.予約DL
LSR

LSR

LSP生成・削除（P2MP RSVP-TE）
MPLS JAPAN 2013

12Edge絶対時刻同期(PTP)
Video配信開始時刻の RSVP-TE シグナリング
例：9:00 から映像配信開始
Controller (Booking System)

予約情報

予約情報
Info

InfoLSR

Edge

Edge

LSR

LSR

HD-SDI

HD-SDI

9:00:00
Start timePath

LSP createdResv
VideoInput

Path

Path
Resv

Resv

Path
Resv

Elapsed timeby starting
output(Path/Resv refresh continues)
MPLS data
forwarding

MPLS
D-PlaneVideo
Outputtime

Copyright © NTT Communications Corporation. All right reserved.

time

MPLS JAPAN 2013

RSVP
C-Plane13

配信終了時刻の RSVP-TE シグナリング
例：10:00 に映像配信終了
Controller (Booking System)

予約情報

予約情報
Info

InfoEdge

LSR

Edge

LSR

LSR

HD-SDI

HD-SDIForwarding

VideoInput

10:00:00
End time

Stop
Forwarding

PathTear

RSVP
C-PlaneMPLS
D-PlaneResvTear
ResvTear
Stop
Forwarding

PathTear

LSP deleted
timetime

Copyright © NTT Communications Corporation. All right reserved.

VideoOutput

MPLS JAPAN 201314

No Output

2) HD非圧縮 映像伝送の悲願である劣化無し伝送の実現
 伝送装置の大容量化※ HD非圧縮（1.5Gbps）
 安定したNW品質での伝送 キャリアグレードルータの高速転送容量
 キャリアの利点、物理レイヤを含めたNW設計
 同期伝送の要、受信バッファ量のチューニング

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 201315

HD非圧縮伝送の特徴

メリット

課題

・劣化無しの映像コンテンツ

・膨大なNW転送容量・低遅延伝送 (msecﾚﾍﾞﾙ)・安定した伝送品質
ｼﾞｯﾀｰ(PDV), ｴﾗｰ等・障害切り分けの容易さ

これらの課題を克服しなければ商用サービスと言えない
PDV: Packet Delay Variation
Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 201316

HD非圧縮伝送の課題
 膨大なNW転送量
テラビット級スイッチング容量、10G/40G高速インタフェース
 キャリアグレードのルータを導入

 安定した伝送品質
映像ストリームは、転送では無く”伝送”を要求される“入力信号をタイミングも全て忠実に再現し出力する”
市販ルータでの実現は困難を極めた。

伝送品質劣化＝放送事故

伝送品質要素非圧縮映像ストリームへの影響

エラー

映像・音声へ変換されず破棄（ノイズ発生）

オーダー（到着順番）

映像・音声へ変換されず破棄（ノイズ発生）

ジッター
（PDV)

出力タイミング同期がとれず、短期的・中長期的に映像・音声が破綻

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 201317

安定した伝送品質実現のための取組み
映像伝送VideoEdge

バッファ量チューニングNW設計
MPLSHD-SDI

1.5Gbps

LSR

MPLS

LSR

MPLS

P2MP-LSP Tunnel (S2L-SubLSP)

 高い伝送品質を実現するためのNW設計

VideoEdge
バッファ

HD-SDI

タイミング再生

物理パス設計ファイバ経路からのL1遅延設計

LSP経路設計
経路(strict ERO)のレギュレーション毎の絶対遅延測定
テストLSPによるジッター(PDV)測定

障害時迂回経路の設計
ローカル迂回発動、グローバル迂回発動時の遅延差、オーダー変動の測定

 Edge装置（Com開発）のバッファ量チューニング
設計情報・測定情報から算出 、msec単位の調整
Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 2013183) 高サービス稼働率

サービス断を起こさないレベルとは
稼働率 99.999% = 約25秒/月
稼働率 99.9999% = 約2秒/月ミッションクリティカルのサービスを提供するために
 迅速な迂回動作（IP/MPLS 技術の適用）
自動復旧
 FRRによるローカル迂回の仕組み
 Reroutingによるグローバル迂回 正確なNW監視と障害検知（コントローラ開発）
手動復旧
 設備、回線（C、D-Plane）の常時監視の仕組み
Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 201319

迅速な迂回動作 FRR (Fast ReRoute) でのローカル迂回• P2MP RSVP-TE におけるFRR<RFC4875 Section 15>• 50msec程度での迂回発動• FRR Grafting を実装<draft-shen-mpls-rsvp-setup-protection>Video

P2MP-LSP Tunnel
Edge

LSR

LSR

Edge

LSR

Video

S2L-Sub-LSP
LSR

LSR

LSR

FRR Backup-LSP
S2L-Sub-LSP

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 2013

20Edge

Edge

Video

FRR GraftingVideo迅速な迂回動作 (cont’d) Rerouting によるグローバル迂回S2L Sub-LSP単位の迂回を実装
Make-Before-Break(M-B-B) によるP2MP TunnelのLSP切替（迂回するS2L Sub-LSP以外への影響を無くす）••

旧 P2MP-LSP Tunnel
VideoEdge

LSR

LSREdge

LSR

Video

S2L-Sub-LSP

グローバル迂回後のLSR
P2MP-LSP Tunnel

LSR

LSR

S2L-Sub-LSP Edge
S2L-Sub-LSP

M-B-Bにより切替ショック無し

Copyright © NTT Communications Corporation. All right reserved.

Edge

MPLS JAPAN 2013

Video21Edge
S2L-Sub-LSP

VideoVideo正確なNW監視と障害検知 保守・運用性に関わるコントローラの自社開発• 設備の保守
障害箇所の特定 ファイバ障害の検知 障害装置・パッケージの特定• 回線の保守(LSPの保守)
 お客様の予約情報とシグナリングの接続監視 C-Plane の監視（誤接続の監視） P2MP-LSP Tunnel，S2L-Sub-LSPの経路監視と描画（加えて，オペレータの手動によるグローバル迂回発動）
D-Plane の監視 Edge装置における映像監視

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 201322

まとめ1) ダイナミックなマルチキャストパス制御
 P2MP RSVP-TE シグナリングと伝送回線のコネクション管理
 予約情報の投入とシステム全体の時刻同期によるブッキングシステム

2) HD 非圧縮
 HD非圧縮伝送をMPLSルータと自社開発したEdge装置で実現
 高速な転送容量・安定した伝送品質を両立するNW設計

3) 高サービス稼働率(100%に限りなく近く) 障害発生時の迅速な迂回動作
 自社開発したコントローラによる正確な保守・運用性の実現

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 201323

SDN への期待- Stateful-PCE の取組み 余った時間で．．．

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 201324

stateful-PCE

 Stateful-PCE <draft-ietf-pce-stateful-pce> とは•••IETFで標準化中のMPLSネットワーク操作のためのSouthbound-IF
LSPインスタンスの生成・変更が瞬時に可能
PCEサーバとルータ間でLSPステート情報を同期

 映像伝送回線(LSP)をDBとしてコントローラーから管理・制御可能に！
※従来はCLI/SNMPで１台毎にポーリングしていた

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 2013

Stateful-PCEの概念図
25

従来のオペレーション

時間のかかるオペレーティング・人の手で一つずつ確認していく長い手順が必要。
お客様の状況をお客様の状況をすぐにすぐに改善してあげたい
改善してあげたいけど…
品質劣化（遅延/PDV増加）

現状

お客様申告

お客様

ｵﾍﾟﾚｰﾀｵﾍﾟﾚｰﾀｵﾍﾟﾚｰﾀｵﾍﾟﾚｰﾀLSP Up確認

ping 確認

L1伝送装置確認

LSPの迂回

ｱﾌﾟﾘの快適利用1台ずつ CLIで 専用NMSで 1本ずつCLIで良くなったけど遅いな...
おかしいぞ...
長かった...

Copyright © NTT Communications Corporation. All right reserved.

26

映像伝送サービスにおけるユースケース
 映像伝送回線毎に品質監視して最適経路に切替る
1. LSP単位でNW品質測定（遅延・エラー率・ジッター）
2. LSPの通信目的毎にNW品質を満たす経路を選ぶ
3. 障害時、NW品質に応じて最適経路に切替

MPLS Network Controller

PCE

LSP state
Database

Operation App

PCUpd (Videoを最短遅延経路に変更)

LSP for IP
latency 30ms
LER-1

LSR

LSR

LSP for Videolatency 10ms
Copyright © NTT Communications Corporation. All right reserved.

LSP for Voicelatency 20ms
LER-2

LSR

LSR

MPLS JAPAN 201327

ユースケース実現のために
 PCE-Initiated LSPに特定のトラフィックを流したい（ロードバランスしたい）
 draft-tanaka-pce-stateful-pce-data-ctrl
 トラフィックに影響を与えず、最適なパスにM-B-Bしたい draft-tanaka-pce-stateful-pce-mbb

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 201328

ご清聴ありがとうございました

Copyright © NTT Communications Corporation. All right reserved.

MPLS JAPAN 201329