エッジとクラウドの連携による8K超高精細映像処理システムの取り組みとB5G時代に向けた今後の展望
2021.10.15
丸山 充, 瀬林克啓（神奈川工科大学）
君山 博之（大同大学）青木 弘太（ミハル通信）
小島 一成（近畿大学）
漆谷 重雄，栗本 崇（NII）
河合 栄治，大槻 英樹（NICT）小林 和真（NICT/IPA）

発表内容
1. 背景、これまでの経緯
2. 8K映像処理プラットフォームの概要• DPDKプラットフォームの映像処理への応用• SRv6を用いたサービスチェイニング(Update)

3. NICT広域映像配信実証実験• Withコロナ時代のリモートオペレーション• 実験模様4. 今後の展開
ADVNET2021

2

8K超高精細映像処理システムの取り組み
モチベーション
• 8K超高精細映像を使った番組制作環境をクラウドインフラで実現• 編集設備のアクセラレーションはできないか• 医療用8K映像を用いた遠隔診断を自在に行う環境をクラウドインフラで実現• 内視鏡映像や顕微鏡映像のデータベース化や医学教材としての利活用ハイビジョンの16倍，4Kの4倍の空間解像度（7680 x 4320）を持つ映像

3
ADVNET2021

8K超高精細映像処理システムの実現に向けて映像処理プラットフォーム技術• エッジ・クラウド上でのリアルタイム処理

協調

フィードバック
市場性、技術の方向性

ネットワーク・クラウド制御技術• 高精度モニタ技術、仮想ネットワーク制御• 高精度CPUリソース監視
ADVNET2021

実証
実験
JGN
SINET5
学生への刺激の場

4

8K非圧縮フォーマットの種類
方式

商品化

８Ｋデュアルグリーン(8K-DG)〇

フル解像度８Ｋ(フル8K)〇

フルスペック８Ｋ

サンプ
リング

フレーム
周波数

ビット階調 伝送レート

60Hz

10bit

24Gbps

4:2:2

60Hz

10bit

48Gbps

4:4:4

60Hz

10/12bit

72Gbps

4:4:4

120Hz

12bit

144Gbps

RGBをYPbPr/YUVという輝度－色差変換して処理する事が一般的、Y:輝度信号、
Pb:青と輝度の差、Pr:赤色と輝度の差
4:2:2は、輝度情報Ｙはそのままにし、PbとPrについて水平方向にＹの半分の周波数でサンプリングしたもの。水平方向が半分に間引きされている。
ADVNET2021

5

伝送技術：IP映像伝送技術• 2014.2 非圧縮8K伝送に世界初で成功• 産学官の連携• 2016.2 リアルタイム暗号化伝送（IPsec)• 2017.2 109Gbps伝送を実現• 2020.2 フル解像度8K-3D 伝送を実現

SDI-IP
変換装置

IP-SDI
変換装置

SDI-IP
変換装置
SDI-IP
変換装置

ネットワークスイッチ（受信）IP-SDI
変換装置

IP-SDI
変換装置
IP-SDI
変換装置

ADVNET2021

映像表示装置（ディスプレィ）

レーン単位での並列伝送

SDI-IP
変換装置
ネットワークス
イッチ（送信）カメラ（CCU）

基本コンセプト:6

分散8Kサーバ構築技術• 2015.2 StarBED上に仮想8K-DGサーバを実装• 2015.6 Interop Tokyo 2015にて、StarBED上にマルチレート（8K-DG/4K60P/4K30P) の完全同期映像サーバを実装• 2017.6 Interop Tokyo 2017にて、フル解像度8K（48Gbps)の映像サーバを実装• NII NFVで仮想PCを用いた8K分散サーバを構築
レーン単位で並列同期伝送

7

ネットワークリソースの可視化技術
8K映像トラヒックメータ• 解像度、パケット量・転送レートの上限、グラフ表示の変更がキーボードから可能

レスポンス時間重視
８K映像が乱れた場合に、その瞬間の状況を表示
ADVNET2021

8ネットワークリソースの可視化技術
ストリームモニタ
コンフィグにより様々なストリーム解析結果の表示が可能、以下はレーン間の遅延差の可視化例

ADVNET2021

9

8K映像処理プラットフォームを目指して• ワークフローに応じて映像処理機能を自在に結合• 仮想的な映像処理システムを自動構成可能
広告挿入

遅延差調整

8K映像素材

8K映像処理プラットフォーム
8Kカメラ

8K映像送信源

映像切り替え

メディア
合成・分離

トランス
コーディング

色補正

クラウド・エッジ上の映像処理機能• 広帯域映像処理機能をソフトウェアで実現する
ADVNET2021

8K受信拠点10

ソフトウェアによる広帯域映像処理の実現• Interop Tokyo 2017：エッジ部の映像処理のコンセプト提案• 様々な8K非圧縮フォーマットをエッジ部で統一的に変換• Interop Tokyo 2018：遠隔地の分散サーバの遅延差を吸収する
ために遅延差調整映像処理機能を実現• DPDKが24Gbpsの映像処理をハンドリング可能• NICT雪まつり実験2019：8K-DG 2系統の映像切り替え機能を実現• DPDKで24Gbps×2の映像処理• Interop Tokyo 2019： 8K-DG 4系統の映像切り替え機能を実現• DPDKで24Gbps×4の映像処理• NICT雪まつり実験2020：フル8Kの映像切り替え機能を実現• DPDK 48Gbps×2の映像処理

11
ADVNET2021

DPDK(Data Plane Development Kit)

ネットワーク処理を高速化するメカニズムを用いて、我々は、これを映像処理に応用した。
ADVNET2021

12ソフトウェア映像パケットスイッチ• DPDKを用いた汎用サーバ上で高速動作するスイッチ• 映像処理に応用するために、処理を追加実装することが可能な設計• Configによる柔軟なカスタマイズやREST APIでの操作
パケット入力NIC

REST API

Function
CPU Core

Function

NIC

CPU Core

Function

NIC

Function
CPU Core

CPU Core

Function

パケット出力Function
CPU Core

Function

NIC

CPU Core

CPU Core

Configuration file

ADVNET2021

13映像処理機能: 遅延差調整• 映像ストリームのパケットの遅延をリアルタイム測定し，映像ストリーム間の遅延差を補正する• 分割した8K映像を，異なる地点のサーバから並列に伝送する場合，レーン間での映像ずれが発生する
IP映像伝送装置

映像遅延調整8Kディスプレイ

受信装置の前段に挟む
ADVNET202114映像処理機能: 映像切り替え機能• 複数系統の非圧縮8K映像を1フレーム以内に選択切り替え・出力する機能• 映像パケットのうちペイロードのみを差し替える

15
ADVNET2021

SRv6を使ったover10Gbps
サービスチェイニングの実現• サービスチェイニングを導入することで，映像処理機能を自在に連携させて提供できるプラットフォームへ

16ADVNET2021

SRv6の適用• Segment Routing (SR): 複雑かつ高速な経路制御をパケット単位で実現する仕組み• ネットワークを”セグメント”という単位で分割• 経由するセグメントを”セグメントリスト”としてパケットに持たせる• 使用する映像処理機能の順番をリストに割り当てる
IPv6
SRv6

Segment List

IPv4

セグメント(2)payloadセグメント(1)︙• 2020年度、古河電工SRv6ルータを使った実験室内での評価実験を実施

17
ADVNET2021

SRv6を使った映像処理機能連携• ２種類の映像処理機能を対象に、SRv6サービスチェイニングを構成• 映像処理機能の中にセグメントルーティング（SRv6）対応の拡張を進めた

ADVNET2021

18

2021.2 NICT広域映像配信実証実験• 東阪のJGNテストベッドにエッジ部配置： NTT堂島, NTT大手町, KDDI大手町• 3素材の8K映像：札幌カメラ映像, StarBED の録画映像, 遅延差を付与した映像• 8Kサービスチェイニングにより仮想的な映像処理システムを構成• コロナ禍のため、リモートオペレーションで実施

ADVNET2021

19

NICT広域映像配信実証実験の構成
8K映像切り替え機能

8KマルチキャストへのJOIN
8Kカメラ
映像

IPv6カプセル化
SRv6 H.Insert
1号機

8Kサーバ
映像

IPv6カプセル化
SRv6 H.Insert
2号機

遅延パス
8K映像

IPv6カプセル化
SRv6 H.Insert
3号機

8K映像送信源①SRヘッダの挿入

3入力 1出力

SRv6 End

Wide-Area
SRv6
Network

End.AM

FX201③SRヘッダ取り外し
マルチキャスト再送信

IPv6Router

JGN 堂島DC②SR網内処理

IPv6Router

IPv6Router

IPv4
Multicast
RouterEnd.AM

FX201

遅延調整機能JGN KDDI大手町
ADVNET2021

SRv6 End(PSP)IPv6カプセル化解除

JGN NTT大手町

20

NICT広域映像配信実証実験のネットワーク構成

SINET
・400Gの利用・遅延回線の提供
ADVNET2021

21

Withコロナ対策:リモートオペレーション• 遠隔地への学生派遣ができない• 教職員だけ遠隔地に出張• 堂島拠点構築は、徳永さんチームに感謝• 設置を容易にするための仕組みを考える• 例年、4年生は卒研発表時期のため、準備は3年後期に配属された学部生が中心（実践の場として感謝）• 例年の大学内でのホットステージ、構成図、部品表作成• 加えて、第3者でもわかる組立マニュアルを作成• 設置後は大学から完全リモート制御• 遠隔電源操作、Webカメラ複数設置• 各拠点とのリモート会議• モバイルSINETを利用し、アウトオブバンド接続も用意
ADVNET2021

22

札幌HTB拠点

Ｗebカム
監視

モバイルSINET

マニュアル作成・提供
ADVNET2021

Switchbot

23

秋葉原IPA拠点
本拠点は皆さんいらっしゃるので安心

ADVNET2021

24

グランフロント大阪
うめきたアクティブラボ

遠隔電源制御ターミナルサーバマニュアル作成
リモートオペレーションのための機材
ADVNET2021

25

SRv6 エッジ搭載機器

NTT大手町ラック内

KDDI大手町ラック内

End（PSP）

Lanner

映像切替処理CPUIntel Xeon GoldRAM 128GB
NIC

10GbE x20, 40GbE x 4

OSUbuntu

遅延調整処理CPUIntel Xeon 12core x 2

RAM64GBNIC

10GbE x 8, 100GbE x 2 Port

OSUbuntu

ADVNET2021

26

神奈川工科大内でのホットステージ

疑似HTB構築テスト中

ADVNET2021

27

神奈川工科大のリモートオペレーション• 4Kを5画面使って、オペレーション• リモート先の様子をカメラで確認• リモート側からの要望に応じて切り替え制御

ADVNET2021

28

実験の成果• 複数の映像処理機能をSRv6により連携させた大容量8Kサービスチェイニ
ングは正常に動作• HTB拠点, IPA拠点，うめきた拠点においてデモンストレーションを実施• 2ヶ月後に開催されたInterop Tokyo 2021においても、NTTコミュニケー
ションズのKamueeと組み合わせたシステムで実験• 技術詳細：NS研研究会を参照• 青木弘太, 丸山 充, 瀬林克啓, 石岡朋紘, 伊藤悠真, 君山博之, “広域SRv6網を用いた超高精細映像処理のサービスチェイニングの実現,” 信学技報, vol. 121, no. 171, NS202167, pp. 55-60, 2021年10月.

• 今後の課題も見つかった• トレーサビリティ:• 映像ストリームがどの機能を通過したのかの可視化が必要• コントロールプレーン:• アドレス設計と設定箇所が多いため、使いやすいコントロールプレーンを取り入れる必要

29

リモートオペレーションはどうだったのか• 準備の工数が余計に必要だが、実験は可能• 様々な実験が中止になり残念• メリット• 感染のリスクを最小に抑えられた• 出張時の怪我などの心配はない• 学生が遠隔コラボレーションにおけるネットワークの重要性を理解• 交通費の削減？

• デメリット• 参加した学生がリアルを体験できない（不満はありそう）• 8Kの高精細性(色合い違い）はリモートカメラでは気が付かない• 他業種の方々との技術交換がしにくい（シナジー効果が出ない）• 設営・撤去時に特定の方への負荷が高い• 輸送物品を忘れると大変（リカバリーしにくい）
ADVNET2021

30

Interop Tokyo 2021 KAITブースでの実験模様
遅延補正

8Kサーバ

8K映像切り替えEnd

V6encap
H.Insert

End(PSP)v6decap

FX201 End.AM

v4マルチキャスト
再送信

JGN堂島

SINET5JGN

V6encap
H.Insert

JGN NOTE

VPN

V6encap
H.Insert

JGN KOTE

ファンクションの制御

Kamuee

遅延差発生
コントローラKAIT 8Kカメラ

OCN, ShowNet区間
をVPN接続 MTU1460

8Kサーバ

IP
Reassembly
Function

8Kディスプレイ
ADVNET2021

映像受信装置Interop会場 KAITブース

31

会場ブースの様子

MIDIコントローラを用いた
簡易型ライブスイッチャー
ADVNET2021

32

遅延差調整機能のデモンストレーション
遅延差調整機能を通らない経路

遅延差調整機能を通る経路↑コントローラで操作遅延差によって色のズレた映像

ADVNET2021

正常な映像

33

映像切り替え機能のデモンストレーション映像切り替え機能を通らない経路

映像切り替え機能を通る経路

映像②

映像切り替え機能を通る経路

映像③

映像①

ADVNET2021

34

今後の研究の方向性について• アプリケーションの実装• トランスコーダ• AIシステムとの連携• NFV環境でKamuee／Eenowとの連携• DPDKフレームワークを発展させたプラットフォーム化の提供• 高速処理対応、400GbEを使ってサブTbitクラスの処理を目指す• B5Gを支える高速エッジ処理等への応用• P4を使ったネットワークインタフェース• 複数のクロック制御を入れてパイプラインの最適化、低遅延化• コントロールプレーンの充実、デバッグ手段の提供• フルスペック8K，SMPTE2110との整合性
35• 映像以外の大容量ストリームデータを扱う分野への適用

謝辞• 本研究の実施にあたり、古河ネットワークソリューション株式会社の皆様にはSRv6の検討と実証実験にご協力頂きました。
• NICT広域映像配信実証実験2021においては、北海道テレビ放送株式会社様，池上通信機株式会社様，シャープ株式会社様, アストロデザ
イン株式会社様，アリスタネットワークスジャパン合同会社様，ピュアロジック株式会社様をはじめ関連組織の皆様のご協力を頂きました。
• Interop Tokyo 2021におきましては、ShowNet様，エヌ・ティ・ティ・コミュニケーションズ株式会社様, シャープ株式会社様, アス
トロデザイン株式会社様，ジュニパーネットワークス株式会社様, ア
リスタネットワークスジャパン合同会社様，ピュアロジック株式会社
様をはじめ関連組織の皆様の御協力をいただきました。
• 本研究の一部はJSPS科研費19H04102の助成を受けて進めました。
ADVNET2021

36