ハードウェア搭載トラフィック監視システムを利用した映像トラフィックの品質劣化検出

2022年 10月 14日

右近祐太，高野悠生，栗原龍之典，秋山和代，松島弘典，
橘智一，宮崎昭彦，片山勝© 2022 NTT Advanced Technology Corporation

「トラフィック監視」はなぜ必要？
クラウドサービスの普及に伴い，ネットワークトラブルが増えている．ネットワーク運用者はサービス単位のクレームに対応し，問題を解消することが求められている• オンライン会議• テレビ電話• VOD• ライブ配信

データセンタパブリッククラウド
サービス事業者NW
映像配信等

管理NWで問題発生？

音声が途切れるキャリアNW

5G

オンプレNW

屋外© 2022 NTT Advanced Technology Corporation

オフィス・キャンパス等 拠点

映像が乱れる
DLが進まない自宅
1

トラフィック監視の課題①
トラフィックの爆発的な増加

1. 高速広帯域ネットワークに対する監視装置の処理能力不足
2. 膨大なデータからサービス単位の異常を探すため解析稼働が増加
3. 全データを保管すると多大な保管コストが発生

出典：総務省(R3.2)「我が国のインターネットトラヒックの集計・試算」© 2022 NTT Advanced Technology Corporation2

トラフィック監視の課題②
ネットワークの複雑化
4. 事業者間のネットワーク連携でサービスがブラックボックス化
運用者はサービスレベルの異常検知が困難
5. 一般的な監視装置は多様化する通信プロトコル全てをカバーできない
多様なプロトコル・カプセリング
VXLAN

VXLAN

VLAN

MPLS

IPv6IPv4© 2022 NTT Advanced Technology Corporation

IPv4

3

ハードウェア搭載トラフィック監視システムの提案
FPGAを用いたハードウェア処理によりリアルタイムパケット処理を実現．10G/100G級ネットワークに対応➢ トラフィック単位で統計処理やバーストトラフィック検出を行い，トラフィック監視に必要なデータ量を削減➢ 未分類のパケットだけキャプチャして保管コストを下げつつ詳細なトラフィック分析も可能
ホストマシン

FPGA操作ミドルウェア

データ保管

FPGAカード
FPGAプログラム

統計処理

100G/10GbE

パケット解析

© 2022 NTT Advanced Technology Corporation

バースト
トラフィック検出

パケット
キャプチャ

トラフィック分類4特徴１：新しいパケット解析手法（LWPI）
DPI [Deep Packet Inspection]
パケットの先頭から順番に解析し，知りたいパケット情報を探索（低速）VS.
LWPI [Lightweight Packet Inspection]
指定した位置にあるパケット情報をピンポイントで抽出することで高速処理を実現
トラフィック特定に用いるフィールド
VLAN
ID

送信元
アドレス

宛先アドレス

port
番号

サービス固有の情報
シーケンス番号

映像フレームの区切り
パケット構造イメージ

特長

1. 早い

高速広帯域に対応 [10G/100G]

2.何でもあらゆるプロトコルに対応

3.見たいところを解決を意識したレイヤ横断的監視© 2022 NTT Advanced Technology Corporation5特徴2：柔軟かつ多角的なトラフィック監視ハードウェア搭載トラフィック監視システム

トラフィックをリアルタイム分析し，監視に向けた複数の基礎データ（統計情報）を取得

プローブ

FPGAカード• パケットカウント• ジッタ/レイテンシ計測• バーストトラフィック検出• 通信量異常検出• フロー数/コネクション数/パケットロス数カウント• 選択的パケットキャプチャ

10G/100GbE

リアルタイムトラフィック分析

Linux OSFPGA操作ミドルウェア

データ加工機能を追加することでユーザの目的に応じた情報を取得可能10G/100GbE

パケット保存外部プラグイン例）機械学習，外れ値検出，映像品質評価

ログ収集
コントローラ

データ格納DB

オープンソースソフトウェアを利用しており，運用に応じた可視化および操作に対応© 2022 NTT Advanced Technology Corporation

可視化GUI

運用操作GUI

6

雪まつり実証実験テーマ：映像トラフィック監視

一般的なネットワーク監視
映像コンテンツ
サービス事業者NW

映像が乱れる提案
映像コンテンツ

他事業者

映像が乱れるサービス事業者NW
異常！

従来監視(SNMP/xFlow)では異常を発見できない

ハードウェア搭載
トラフィック監視システム• ネットワーク機器のポート単位の監視では，サービスレベルの異常検出は困難• 映像トラフィック（フロー）単位，かつパケット全数を監視することで異常なサービスを特定• パケットサンプリングによる監視は，サービスの状態を正確に反映しない• 問題箇所を迅速に発見することで，サービス品質を向上やユーザ申告時の解析TATの削減に期待© 2022 NTT Advanced Technology Corporation7

2021年雪まつり実証実験
ハードウェア搭載トラフィック監視システムを用いた映像配信サービスの異常検出実験を実施➢ 映像トラフィックの統計情報（通信量，ジッタ）から映像異常を発見することに成功➢ 映像品質評価指標による品質評価が行えることを確認
映像異常を検出！
カラーバー発生

映像停止

JGN/SINET

映像配信

映像パケット

パケットコピー
統計情報，
映像品質評価指標

映像トラフィック監視

品質評価

ハードウェア搭載
トラフィック監視システム© 2022 NTT Advanced Technology Corporation

8

今回の実験概要
複数地点で映像トラフィックを監視し，ネットワークが原因の品質劣化を検出する実験を実施➢ 映像トラフィックの統計情報を比較して品質劣化を可視化

JGN/SINET
映像配信
超高精細映像
遠隔配信実験

プローブ

異常発生
区間を特定!

IPリモートプロダクション実験
セキュリティ
ペネトレーション

プローブ

コントローラ区間内の異常を検出

統計情報1

統計情報2

比較

ハードウェア搭載
トラフィック監視システム© 2022 NTT Advanced Technology Corporation

9外部プラグイン開発：映像品質評価
ネットワーク事業者が映像品質をチェックするための外部プラグインを開発➢ 前回：標準化された客観評価モデルによる映像品質評価に成功➢ 今回：映像受信バッファの残量を推定し，安定度を評価

映像配信

JGN/SINET
超高精細映像
遠隔配信実験客観評価モデル※による評価※IETF RFC4445 MDI

max Δ − min(Δ)
𝐷𝐹 =MR
Δ = ෍ 𝑆𝑖 − 𝑀𝑅 × 𝑇𝑖

P − 𝑃recv
𝑀𝐿𝑅 =T© 2022 NTT Advanced Technology Corporation

映像受信バッファ

IPリモートプロダクション実験
セキュリティ
ペネトレーション

プローブ
リアルタイムトラフィック分析（FPGA）
映像品質評価（外部プラグイン）

ハードウェア搭載
トラフィック監視システム

映像データ

映像受信バッファ残量推定による安定度の評価
0

バッファ残量 = න ∆𝑑𝑡
増減
映像データ−𝑇∆= 受信量 − 消費量
10

実験構成

沖縄会場

大阪拠点

撮影
ノートPC
（配信元）
パケットコピー

JGN/SINET（100G）

光TAP

ノートPC
（配信先）

パケットコピー

プローブ

プローブ

コントローラ場所

プローブ

コントローラトラフィック監視1

沖縄

10G

-

トラフィック監視2

大阪

100G

-

監視制御

大阪

-○

© 2022 NTT Advanced Technology Corporation

配信元 → 配信先

配信装置

沖縄 → 大阪

配信ソフト(LiveCapture3)

11

実験準備
情報収集に関する手順

プレゼンテーションに関する手順
チューニング⓪ネットワーク
調査①プロトコル
解析

監視ポイントの決定

パケット解析パターン
を登録

実験
準備

トラフィックを効果的に監視できるポイントを選定• 少数のパケットを解析し，トラフィック分類や統計処理に用いるフィールドを選択• トラフィック監視ルールを登録

対象
装置

－プローブ

手順

概要

© 2022 NTT Advanced Technology Corporation

②ルール
登録

監視ルールを登録③パラメータ
設定

④プレ測定

⑤監視開始

統計処理/外部プラグイ プレ測定結果の評価
ンのパラメータを設定

トラフィック単位で監視取得した統計情報をもとにパラメータを調整

コントローラを用いて可視化/異常検出

プローブ/コントローラ

12パラメータ調整
本実験では映像トラフィックのパケット数，パケットバイト数，ジッタ量を基礎データとし，関連する統計処理/外部プラグインのパラメータを調整した➢ ジッタ計測：計測範囲と分解能を調整➢ 映像バッファ残量推定：映像表示によるデータ消費量を設定

パラメータ名
統計情報取得間隔

ジッタ計測
映像バッファ残量推定

設定値

備考

4秒
範囲
ビン幅
消費バイト数
消費パケット数© 2022 NTT Advanced Technology Corporation

0～40ms NWが空いている時間帯に測定したジッタ量に5ms 合わせて設定
1.22Mbps 配信元PCの送信パケット数/パケットバイト数の108pps 平均値に設定（暫定）13実験結果：映像トラフィック品質劣化検出
ネットワーク通過による映像トラフィックの品質変化を可視化できることを確認した➢ 実験網が安定していたため，大きな変化は観測されず映像乱れもなかった

品質可視化画面
パケット数の変化(=パケットロス数)

ジッタ量の変化

配信停止

通信量の変化

配信停止

パケット数の減少とプローブ間の時刻差が原因と考えられる© 2022 NTT Advanced Technology Corporation

14

実験結果：映像受信バッファ残量推定
ネットワーク上で映像受信バッファの状態を推定し，残量を可視化できることを確認した➢ 推定値は一定の範囲内を推移しており，映像配信は安定していた

バッファ残量可視化画面
最大値/60sec
最小値/60sec

配信停止© 2022 NTT Advanced Technology Corporation

配信停止

配信停止

15

Interop２０22 Shownetにおける取り組み
自動ルール更新機能と組み合わせて「非頻出パケットだけを保管するシステム」を実現⇒ 低稼働で100G級の高速広帯域NWを効率的に監視
リアルタイムアップデート①ハードウェアサンプリング(network概形把握・netflow形式で保存)①xFLOWベース
NW概形

TopNフローを自動監視

自動ルール作成(外部プラグイン)

プローブ（FPGAカード）②ハードウェアテレメトリー(高頻出パケットの統計化・品質指標など独自形式で保存)

Netflow①パケット
サンプリング
監視対象
判別

Telemetry②トラフィック
分析

Flow_rule 1・・・

②telemetryベース
アクティブフロー統計

Flow_rule N③captureベース
非頻出トラフィック分析© 2022 NTT Advanced Technology Corporation

Capture③非頻出パケットキャプチャ

16

まとめと今後の課題• 10G/100G級ネットワークでリアルタイムパケット処理が可能なハードウェア搭載トラフィック監視システムを開発• 特徴１：新しいパケット解析手法（LWPI）• 特徴2：柔軟かつ多角的なトラフィック監視• 2022年雪まつり実証実験では，ハードウェア搭載トラフィック監視システムを用いた映像トラフィックの品質劣化検出実験を行った• 複数のプローブでパケット数，通信量，ジッタを計測し，コントローラを用いたデータ比較により映像トラフィックの品質変化を可視化できること確認• 映像受信バッファの残量を推定する外部プラグインを開発．トラフィック統計情報をもとにバッファ残量を可視化した【今後の課題】• ユースケース拡大に向けてPoCやフィールドトライアルのパートナーを募集中© 2022 NTT Advanced Technology Corporation17

© 2022 NTT Advanced Technology Corporation