広帯域・低遅延リアルタイム配信処理
プラットフォームの実現に向けた取り組み
瀬林 克啓，丸山 充，岩田 一（神奈川工科大学），
君山 博之（大同大学），仲地 孝之（琉球大学），加藤 康久，青木 弘太（ミハル通信），漆谷 重雄，栗本 崇（NII），河合 栄治，大槻英樹（NICT），小林和真（NICT/IPA）
ADVNET2022 (2022.10.14)

1

目次
1. 8K超高精細映像伝送トライアル
これまでの取り組み

2. 広帯域・低遅延リアルタイム配信処理プラットフォーム
3. 2022年の取り組み
1. NICTさっぽろ雪まつりトライアル2022
2. Interop Tokyo 2022

4. まとめADVNET2022 (2022.10.14)

2

1. 8K超高精細映像伝送トライアル
これまでの取り組み
ADVNET2022 (2022.10.14)

3

8K超高精細映像処理システムの取り組み
モチベーション
• 8K超高精細映像を使った番組制作環境をクラウドインフラで実現– 編集設備のアクセラレーションはできないか• 医療用8K映像を用いた遠隔診断・遠隔医療を自在に行う環境をクラウドインフラで実現– 内視鏡映像や顕微鏡映像のデータベース化や医学教材としての利活用
ハイビジョンの16倍，4Kの4倍の空間解像度（7680 x 4320）を持つ映像

映像処理プラットフォーム技術
エッジ・クラウド上でのリアルタイム8K映像処理
映像レート：24Gbps-48Gbps
伝送レート：25.6Gbps-51.2Gbps
ADVNET2022 (2022.10.14)

4

8K超高精細映像処理システムの実現に向けて映像処理プラットフォーム技術• エッジ・クラウド上でのリアルタイム処理
協調

フィードバック
市場性、技術の方向性

ネットワーク・クラウド制御技術• 高精度モニタ技術、仮想ネットワーク制御• 高精度CPUリソース監視
ADVNET2022 (2022.10.14)

実証実験

JGN
SINET6
学生への刺激の場

5

8K超高精細映像伝送トライアル(1/2)
8K映像伝送： レーン単位での並列伝送

2014 ８K非圧縮高精細映像伝送技術
2015 蓄積サーバ技術・・・
2017.2 NICT雪まつり実験，– over 100Gbps配信,フル解像度8K
48Gbps対応の仮想サーバ実験

2017.6

Interop Tokyo 2017

分散8K映像サーバ： レーン単位で並列同期伝送– エッジ部の映像処理のコンセプト提案– 様々な8K非圧縮フォーマットをエッジ部で統一的に変換

2018.2

NICT雪まつり実験

環太平洋NWを使ったマルチキャスト・マル
チパス伝送、クラウド上での仮想８Kサーバ

ADVNET2022 (2022.10.14)

StarBED：
物理サーバ8台構成ｘ2
SINET5 NFV：
VM 8台（物理サーバ4台）＋ストレージ

6

8K超高精細映像伝送トライアル(2/3)
ローカル環境からエッジとクラウドの連携による8K非圧縮映像制作へ
2018.6 Interop Tokyo 2018–

遠隔地の分散サーバの遅延差を吸収するための遅延差調整映像処理機能を実現（DPDKで24Gbpsの映像処理）

2019.2–

NICT雪まつり実験2019

8K-DG 2系統の映像切り替え機能を実現（DPDKで24Gbps×2の映像処理）

VVF(Virtualized Video-handling Function)

2019.６ Interop Tokyo 2019–

8K-DG 4系統の映像切り替え機能を実現（DPDKで24Gbps×4の映像処理）

2020.2 NICT雪まつり実験2020–

フル8Kの映像切り替え機能を実現（DPDK 48Gbps×2の映像処理）
ADVNET2022 (2022.10.14)

7

8K超高精細映像伝送トライアル(3/3)
2021からBeyond 5G時代に向けて，over 100Gbpsのエッジ
処理アーキテクチャや多様な回線に対応した配信アーキテクチャへ
2021.2

広域SRv6を用いた映像処理
サービスチェイニング

NICT雪まつり実験2021：– 広域SRv6網でのover100Gbpsの映像処
理サービスチェイニングによる映像切替を実現

2021.4

Interop Tokyo 2021

– Kamueeと組み合わせたシステムで実験– 低遅延８K圧縮伝送（掛け合い＆遅延比較）

ADVNET2022 (2022.10.14)

8

ネットワークリソースのリアルタイム可視化技術
8K映像トラヒックメータ• 解像度、パケット量・転送レートの上限、グラフ表示の変更がキーボードから可能

ストリームモニタ• コンフィグにより様々なストリーム解
析結果の表示が可能• 以下はレーン間の遅延差の可視化例

レスポンス時間重視
８K映像が乱れた瞬間の状況を表示

ストリーム毎の統計情報表示
８K映像の乱れの原因のあるスリームを特定

ADVNET2022 (2022.10.14)

92. 広帯域・低遅延リアルタイム配信処理
プラットフォーム
ADVNET2022 (2022.10.14)

10

モティベーション• 超高精細映像の利用シーンがますます拡大– 人間の視野の限界である８K超高精細映像がもたらす没入感・臨場感のある映像通信– AIと連携した安心安全に向けた映像共有
8KCCTV– XRなどの映像処理技術を活用した映像配信• リモートライブ配信の需要の増大– スポーツイベントなどの様々なライブイベント– e-sports– 遠隔授業8K• 上記需要を満たすための低遅延伝送ニーズの高まり– その場にいるようなライブ感，臨場感がもっと欲しい– 遠隔地間でコラボ・セッションしたい
ADVNET2022 (2022.10.14)

11広帯域・低遅延リアルタイム配信処理プラットフォーム• 高周波数帯Beyond 5G端末の広帯域・低遅延データ転送機能と，網上のエッジコンピューティングやクラウドなど様々なコンピューティングリソースを協調連携させた高臨場感通信環境の研究開発．
• 誰もが8K高精細映像をはじめとする10Gbpsを超える高精細映像を使った高臨場感通信ができる環境を実現する．

ADVNET2022 (2022.10.14)

12

本提案技術への取り組み
編集系
配信系

サブTbpsの高精細映像処理が可能な低遅延大容量通信処理
プラットフォーム技術の実現
多地点間での高臨場感通信を実現する低遅延配信技術の実現
高臨場感通信のアプリケーション実験による実証研究

エッジ

cloud

エッジ

B5G
ネットワークA
帯域
100Gbit/s

素材
edge

編集系

帯域
10Gbit/s

B5G
ネットワークC

AI

CG合成
edge

edge

edge

ADVNET2022 (2022.10.14)

配信系
13

2022年の取り組みの目標• VVFを用いたサービスチェイニング
– パケットレベルから映像データ自体の映像処理• 8K映像ストリームサーバ– 代替サーバへの切り替えとKamuee/Eenowとの連携• 編集系と配信系の連携– プレ実験
• ネットワークリアルタイム可視化技術– ShowNetへのコントリビューション

JGNのリニューアルとSINET6への移行
ADVNET2022 (2022.10.14)

14

３．2022年の取り組み
1. NICT雪まつり実験2022（2月）
ADVNET2022 (2022.10.14)

15

NICT雪まつり実験2022① VVFを用いたサービスチェイニングの基本機能の評価– トランスコーディング＋映像スイッチングの映像処理（疑似エッジ装置利用）② Eenow + NFVからのマルチキャスト配信– 8K映像サーバ(VM)＋仮想マルチキャストルータの配信実験③ 8K低遅延マルチキャスト伝送の基本性能の確認① ミハル通信ELL8K（300Mbps 低遅延H.265）+IPsecマルチキャスト② ヴィレッジアイランド様③ アストロデザイン様

VICO-8L-XS（JPEG-XS）

IG-5114(非圧縮）④ Riedel 様 Fusion N 3B, VirtU32④ 名護市役所へのトランスコード配信ADVNET2022 (2022.10.14)

16

NICT雪まつり実験2022の構成

伝送装置

ADVNET2022 (2022.10.14)

17

Eenow+NFVマルチキャスト配信の構成
10VM中の8VMを選択 (※ 1VM＝3.2Gbps)
NFV札幌
共有映像
ストレージ

物理サーバ

物理サーバ

物理サーバ

物理サーバ

VM VM

VM VM

VM VM

VM VM

Juniper QFX

NFV東京
共有映像
ストレージ

物理サーバ

VM VM

Juniper QFX

物理サーバ

Eenow
(vIPMR)

Eenow(vIPMR)

物理サーバ

NFV大阪
共有映像
ストレージ

Juniper QFX
Eenow(vIPMR)

物理サーバ

SINET
IPMR
映像
受信機

JGN IPv4マルチキャスト網

KAIT
IPMR

SINET
ADVNET2022 (2022.10.14)

IPMR: IPマルチキャストルータ
vIPMR: 仮想IPマルチキャストルータ

18

Eenow+NFVマルチキャスト配信の結果• 札幌6VM，東京2VM，大阪２VMの計10VMから状況に応じて8VMを選択して切り替える代替VM切り替え方式の動作を確認．
– 物理構成上，札幌はVM4台中2台のみEnowに収容– 札幌6VM，東京2VM，大阪２VMから、VMの仕様：CPU4コア(CPU pinning)，メモリ16GB, 10G-NIC(SR-IOV), CentOS

ADVNET2022 (2022.10.14)

19

３．2022年の取り組み
2. Interop Tokyo 2022（6月）
ADVNET2022 (2022.10.14)

20Interop Tokyo 2022
【編集系】低遅延大容量通信処理プラットフォーム– 相模原DCに４００Gbps帯域のエッジ装置を設置– VVFのトランスコーディング機能にカラコレ機能を追加– GUIと操作パネルでスイッチング＆色変換– ソース 会場カメラ，宜野座８Kカメラ，StarBED（２系統），
神奈川工科大学（8Kカメラ）【配信系】低遅延配信技術– ELL８K (ミハル通信）を用いて低遅延配信のコンセプトを具現化

ADVNET2022 (2022.10.14)

21Interop Tokyo 2022 ８K映像配信実験
相模原DCのエッジ装置を用いた８K非圧縮映像編集システムと低遅延圧縮伝送（ELL8K）を使った配信ネットワーク実験環境をコンセプト実験展示

フレッツ

400G

ADVNET2022 (2022.10.14)

22

SINET6の相模原DCにエッジ装置を構築• 共同調達ラックに400Gの回線を引き込み、VVFを搭載した3台のサーバを接続

ADVNET2022 (2022.10.14)

23

デモンストレーション• 構築したエッジ装置からの映像を会場で受信し、トランスコード処理前の映像と処理後の映像の比較や、映像切り替え、色調整のデモンストレーションを行った• MIDIコントローラによる制御– 簡易的なライブスイッチャー

ADVNET2022 (2022.10.14)

24

25

実証実験ビデオ• ３つのVVFをチェイニング
• ボタン操作後に瞬時に映像切り替え，トランスコーディング後の映像もリアルタイム表示• 色彩映像調整用ノブを操作後に瞬時に色調整

ADVNET2022 (2022.10.14)

ADVNET2022 (2022.10.14)

26

Color Correctionの必要性
色彩補正• 輝度調整• 色温度・色被り調整

前後のカットの色味合わせ（Color Matching)×〇

ADVNET2022 (2022.10.14)

27Interop Tokyo 2022実験の結果• リアルタイム＆低遅延性を実証【編集系】低遅延大容量通信処理プラットフォーム【配信系】低遅延配信技術• 学生の教育の場になった。
– 大学でのホットステージからロジスティクスまで– 本番環境の構築，説明員

ADVNET2022 (2022.10.14)

28

まとめ
• NICT雪まつり実験2022(2月)：疑似エッジ装置による性能検証• Interop Tokyo 2022(6月）：相模原DCのエッジ装置を用いた８K非圧縮映像編集システムと低遅延圧縮伝送（ELL8K）を使った配信ネットワーク実験環境をコンセプト実験展示

ADVNET2022 (2022.10.14)29

SC22 NRE: Uncompressed 8K video processing on edge-computing
低遅延大容量通信処理プラットフォームデモシナリオ• 映像ソース: NICTブース8Kカメラ，StarBED（２系統），神奈川工科大学8Kカメラ• 会場からの操作でスイッチング＆色変換したFull-8K
映像を75インチ8Kモニタに, 8K-DGを4Kモニタに表示ご協力をよろしくお願いします神奈川工科大学 共同実験関係者

30

謝辞• NICT雪まつり実験2022の実証実験の実施にあたり，NIIのSINET6，NICTJGNの皆様には環境構築にご尽力いただきました．独立行政法人 情報処理推進機構 産業サイバーセキュリティーセンター様，サイバー関西プロジェク
ト様，宜野座村ITオペレーションパーク様，北海道テレビ放送株式会社様，池上通信機株式会社様，アストロデザイン株式会社様，シャープ株式会社様，ア
リスタネットワークスジャパン合同会社様，セイコーソリューションズ株式会
社様，ピュアロジック株式会社様をはじめ関連組織の皆様のご協力頂きました．
• Interop Tokyo 2022の実証実験の実施にあたり，NIIのSINET6，NICTJGN，ShowNetの皆様には環境構築にご尽力いただきました．また，アリス
タネットワークジャパン合同会社様，株式会社オービス様，ピュアロジック株
式会社様をはじめ関連組織の皆様のご協力を頂きました．
• 本研究の一部は，NICT委託研究（採択番号 03101）の基で進めた成果である．

ADVNET2022 (2022.10.14)31