ハードウェア搭載トラフィック監視システムを用いた映像配信サービスの品質監視の検討

2021年10月15日〇右近 祐太・環 大介・橘 智一・片山 勝・瀬社家 光・
高野 悠生・栗原 龍之典・古川 英史

Copyright© 2021 NTT Advanced Technology Corporation

背景• 映像に関するクラウドサービスが普及し，サービス品質の把握やトラブルの早期発見・解決が課題になっている• ネットワーク運用者にもサービスレベルのクレーム対応が求められる• 映像が映らない，乱れる，遅延する等• オンライン会議• テレビ電話• VOD• ライブ配信

データセンタパブリッククラウド
サービス事業者NW
ネットワーク運用者はサービスごとのトラブル解決が求められる

映像配信等

キャリアNW

5G
オンプレNW

屋外

オフィス・キャンパス等 拠点

仮想化技術(スライスなど)の導入により，監視が困難になっている

自宅
Copyright© 2021 NTT Advanced Technology Corporation

1

映像トラフィックの監視

一般的なNW監視
映像コンテンツ
サービス事業者NW

提案
映像が乱れる

送信時は正常映像コンテンツ

他事業者

異常！

映像が乱れるサービス事業者NW
異常！

トラフィック監視システム

従来監視(SNMP/xFlow)では異常を発見できない• ネットワーク機器のポート単位の監視では，サービスレベルの異常検出は困難• 映像トラフィック（フロー）単位，かつパケット全数を監視することで異常なサービスを特定• パケットサンプリングによる監視は，サービスの状態を正確に反映しない• 問題箇所を迅速に発見することで，サービス品質を向上や ユーザ申告時の解析TATの削減に期待

Copyright© 2021 NTT Advanced Technology Corporation2

ハードウェア搭載トラフィック監視システム用いた映像配信サービスの品質監視
カラーバー発生研究目的
映像配信サービスの品質低下をネットワークレベルで検出し，ネットワーク運用者によるトラブルの発見・切り分けを可能にする
トラフィック監視システムに求める要件• 大容量NWに適用可能• 仮想ネットワークに対応• リアルタイム監視• パケット全数解析• フロー単位の統計データ集計• 通信量，ジッタ量，マイクロバースト検知などの複数の統計解析機能

映像停止

映像異常を検出！

JGN/SINET

ハードウェア搭載
トラフィック監視システム（@FlowInspector™）
リアルタイム映像品質測定

・通信量・ジッタ量・マイクロバースト検知

10Gbpsフルワイヤーレートハードウェア(FPGA)を用いてフルワイヤレートのパケット処理を行うトラフィック監視システム「FlowInspector™」による品質監視を検討

フロー単位
統計データ

パケット処理ハードウェア

収集・分析

映像トラフィック
Copyright© 2021 NTT Advanced Technology Corporation3

映像異常検出方法①－トラフィック統計情報－• ネットワークを通過する過程でトラフィック量が時間変化したり，パケットが欠落したりする⇒映像バッファが溢れたり，枯渇することで映像を表示できない• 時間あたりの通信量/ジッタの異常を検出することで，映像への影響を推定可能想定する映像異常の原因① 映像が正常なレートで送信されない② ネットワーク機器の異常により，パケットがドロップ③ 複数のネットワーク機器を通過する過程でパケット間隔が変化
サービス事業者/キャリア/オンプレ
ネットワーク②①

映像バッファに十分な映像データが溜まらず，表示できない映像バッファ
③
映像データ

映像配信

パケットコピー

映像パケットルータ/スイッチ

統計量
測定

映像異常を検出！

@FlowInspector™
Copyright© 2021 NTT Advanced Technology Corporation4

映像異常検出方法②－映像品質評価モデル－• 標準化団体において映像品質の客観評価モデルが検討されている• パケットレイヤモデルは映像情報（L7）を使わずに映像品質の評価が可能
トラフィック監視システムで評価可能

映像品質の客観評価法
https://www.rd.ntt/nt/qos/technology/visual/02_4_2.html

Copyright© 2021 NTT Advanced Technology Corporation

5

Media Delivery Index（MDI）• 2種類のコンポーネント（DF，MLR）で構成されるパケットレイヤモデルの指標※• ネットワーク統計情報（パケット数，パケットバイト数）を用いて計算できる• 映像品質の低下に関する指標であり，システムの余裕度を示す

MDI = (𝐷𝐹, 𝑀𝐿𝑅)

※J. Welch et.al，RFC4445

遅延係数：映像バッファのドレインにかかる時間

記号凡例

max Δ − min(Δ)
𝐷𝐹 =，Δ = ෍ 𝑆𝑖 − 𝑀𝑅 × 𝑇
MR𝑖

バッファ入力量
メディア損失率：映像データ損失の指標

バッファ出力量𝑆

パケットバイト数

𝑀𝑅

メディアレート𝑇

時間間隔P

想定パケット数

𝑃recv

受信パケット数

P − 𝑃recv
𝑀𝐿𝑅 =T
Copyright© 2021 NTT Advanced Technology Corporation

6

実験構成
• 大阪と沖縄の中継地点に@FlowInspectorを設置し，2種類の映像トラフィックを監視• 光配線切替ロボット「ROME mini」を利用して監視ポイントを切り替え，適切なポイントでトラフィックを監視した
中継@沖縄

中継@大阪

@FlowInspector™

@FlowInspector™

展示会場＠沖縄

監視点を選択

撮影

JGN/
SINET

映像配信＠沖縄
live

映像配信＠札幌/北陸

ROME mini

ルータ

JGN/
SINET

スイッチ

ルータ

8K
live

8K
映像ソース

A社＠大阪

スイッチ

無線(Wi-Fi)
映像トラフィック１

映像トラフィック２

10Gbps
実験回線

100Gbps
実験回線

ミラーポートCopyright© 2021 NTT Advanced Technology Corporation

7

実験準備
情報収集に関する手順

手順⓪ネットワーク
調査• 監視点の決定

概要
ROMEminiを実験 用いて監視点を準備 切り替え

①パケット
解析

②トラフィック
登録

プレゼンテーションに関する手順
チューニング③パラメータ
設定

④プレ測定

⑤監視開始

• パケット構造を • 監視ルール登録 • 異常検出の閾値，• トラフィックの • フロー単位でハードウェア
ジッタの分解能
平均通信量/ジッ トラフィックを(FPGA)に設定
を設定
タを評価
監視
Wiresharkを用い 映像トラフィック プレ測定の結果をマイクロバーストてパケットを解析 を登録
検出の閾値とジッタの分解能に反映し，構造をFPGAに設定

トラフィック統計情報を解析し，映像異常を検出

MMT over UDPに対応
Copyright© 2021 NTT Advanced Technology Corporation

8

実験① -トラフィック統計情報を用いた映像乱れの検出• 映像切替が行われる映像トラフィックを沖縄中継地点で監視，配信された映像を展示会場で撮影し，トラフィック統計情報と映像を比較した• 監視対象の通信量，ジッタ，マイクロバースト発生回数の異常から映像乱れを検出できることを確かめた

中継@大阪

4秒 通信量，ジッタ，周期 バースト発生回数

中継@沖縄@FlowInspector™

映像切替
映像配信＠札幌/北陸
8K
live

8K

JGN/
SINET

ルータ

JGN/
SINET

ルータ

異常検出

展示会場＠沖縄
撮影

映像ソース

100Gbps
実験回線

10Gbps
実験回線

配信された
映像を撮影
Copyright© 2021 NTT Advanced Technology Corporation

9実験の様子
展示会場
沖縄中継地点にて映像トラフィックを監視

配信された
映像を撮影
素材の撮影
監視
JGN/
SINET

Copyright© 2021 NTT Advanced Technology Corporation10実験①の結果• 短い周期で通信量を取得したことで，映像切り替えにより通信量が減少することが確認された．
しかし，この情報だけでは映像異常と判断できない• 映像が切り替わってもジッタは安定しており，通信量とジッタの両方が異常だった場合に，映像異常が検出された
カラーバー発生4秒周期で取得

正常な映像切り替え
120400

通信量（Mbps）

300
80

250

60
40200

映像停止

150
100

20
0
15:00:00

平均ジッタ（μs）

350100通信量
ジッタ

50
015:14:24

15:28:48

15:43:12

15:57:36

16:12:00

16:26:24

16:40:48

16:55:12
Copyright© 2021 NTT Advanced Technology Corporation11マイクロバースト測定結果• パケットは偏って送信されており，常にマイクロバーストが発生．100μ秒の間に想定の約2.2倍のトラフィックが流れることを確認した• マイクロバーストの発生頻度の低下が確認された．ただし，この挙動から映像異常は判断できない
常にマイクロバーストが発生

マイクロバーストの発生頻度が低下

平均通信量の約2.2倍

平均通信量の約3.5倍

Copyright© 2021 NTT Advanced Technology Corporation

12実験② -映像品質評価指標を用いた映像乱れの検出• 一部区間に無線通信を使用して配信された映像トラフィックを大阪中継地点で監視• 監視対象の通信量（パケット数，パケットバイト数）からMDIを算出し，サービス品質を評価できることを確かめた

中継@沖縄

中継@大阪

4秒
周期MDI
計算

パケット数，バイト数@FlowInspector™
ROME mini
映像配信＠沖縄
live

スイッチ

無線(Wi-Fi)
映像切替なし

異常検出

A社＠大阪
ルータ

JGN/
SINET

ルータ

スイッチ

10Gbps実験回線

Copyright© 2021 NTT Advanced Technology Corporation

13

MDIパラメータ• ＠FlowInspector™を用いて監視対象のパケット数とパケットバイト数を取得した• 映像トラフィックの想定メディアレート，想定パケット数は測定データの平均値を用いた

𝑃recv
𝑆
max Δ
min(Δ)
𝑀𝑅

受信パケット数
パケットバイト数

P
T

想定パケット数
時間間隔@FlowInspector™を用いて取得

直近60秒のΔの最大値―
直近60秒のΔの最小値
メディアレート
1.34MB/s※
1.02kpps※
4秒

統計値
計算定数

※測定データ平均値

Copyright© 2021 NTT Advanced Technology Corporation

14実験②の結果• @FlowInspector™を用いてMDIを算出し，サービス品質の評価が可能なことを確認• 指標が通常と異なる時間帯があり，映像が乱れた可能性が示唆された遅延係数（映像バッファ残量に関する）

映像が乱れた可能性あり
映像バッファの残量が減少

メディア損失率（パケットロスに関する）

一部の映像パケットが時間内に到着していない

Copyright© 2021 NTT Advanced Technology Corporation

15

まとめと今後の課題• 雪まつり実験においてハードウェア搭載トラフィック監視システム（@FlowInspector™）を用いた映像トラフィック監視を実施• トラフィック統計情報から映像異常を発見することに成功• 映像品質評価指標MDIによる品質評価が行えることを確認• ネットワーク上のトラフィック監視で映像品質の低下を検出できることを示した
今後の課題• 100Gbps回線における映像トラフィックの監視• 評価指標の有効性を確かめるためのフィールドトライアルが必要

Copyright© 2021 NTT Advanced Technology Corporation

16

Copyright© 2021 NTT Advanced Technology Corporation