（革新）様式 1-4-2 (2022-1)

令和４年度研究開発成果概要書
採択番号
研究開発課題名03101
高臨場感通信環境実現のための広帯域・低遅延リアルタイム配信処理プラットフォームの研究開発（１）研究開発の目的
ネットワークを介した映像配信需要の高まりを受けて、今後実現予定の高周波数帯 Beyond 5
G 端末の広帯域・低遅延データ転送機能と、網上のエッジコンピューティングやクラウドなど様々なコンピューティングリソースを協調連携させた高臨場感通信環境を研究開発し、誰もが 8K 高精細映像をはじめとする 10Gbps を超える高精細映像を使った高臨場感通信ができる環境を実現する。具体的には、サブ Tbps の高精細映像処理が可能な低遅延大容量通信処理プラットフォーム技術、高臨場感通信のための多地点間低遅延配信技術を開発する。
（２）研究開発期間
令和３年度から令和５年度（３年間）（３）受託者
学校法人幾徳学園 神奈川工科大学＜代表研究者＞
学校法人大同学園 大同大学
国立大学法人琉球大学
ミハル通信株式会社（４）研究開発予算（契約額）
令和３年度から令和 4 年度までの総額 115 百万円（令和４年度 74 百万円）※百万円未満切り上（５）研究開発項目と担当
研究開発項目１ サブ Tbps の高精細映像処理が可能な低遅延大容量通信処理プラットフォーム技術の実現
研究開発項目 1-a）エッジ部とクラウド部が連携した低遅延大容量処理アーキテクチャの検討（学校法人幾徳学園 神奈川工科大学）
研究開発項目 1-b）エッジ部における低遅延大容量処理プラットフォームの実装技術の検討とアプリケーション評価（ミハル通信株式会社）
研究開発項目２ 多地点間での高臨場感通信を実現する低遅延配信技術の実現
研究開発項目２-a）多地点間低遅延映像配信処理システムの検討（学校法人大同学園 大同大学）
研究開発項目２-b）軽量 AI と秘匿技術を組み合わせたセキュアなシームレス映像符号化・伝送技術の検討（国立大学法人琉球大学）（６）特許出願、外部発表等

特許出願

外部発表等

累計（件）
100180772

国内出願
外国出願
研究論文
その他研究発表
標準化提案・採択
プレスリリース・報道
展示会
受賞・表彰
1当該年度（件）100130462

（７）具体的な実施内容と成果
研究開発項目１ サブ Tbps の高精細映像処理が可能な低遅延大容量通信処理プラットフォーム
技術の実現
DPDK プラットフォームを用いた映像処理機能（Virtual Video processing Function:VVF)の開発を進め、SINET6 の相模原 DC（データセンター）内の 400Gbps ネットワークに接続されたエッジ装置に搭載。VVF 連携システムにおいて IP 入出力トータルで 358Gbps を 100ms以内に処理できる事を実証した。

研究開発項目１－a）エッジ部とクラウド部が連携した低遅延大容量処理アーキテクチャの検討
A) サブ Tbps の処理能力を持つ映像処理機能
・VVF アーキテクチャにより、400Gbps の処理能力の実現は可能である事を確認し、８K 非圧縮映像を対象にバッファ操作のみで実現した 4 入力映像スイッチング機能、遅延補正機能の 2 種類を確認、コンテンツ加工を伴うものとして、SIMD 命令を用いて８K 非圧縮映像変換を行うトランスコード機能とカラーコレクティング機能の 2 種類のリアルタイム処理を実現した。ＶＶＦ基本アーキテクチャの構成について、特許出願を行った。
・VVF として、非圧縮 8K 映像の色変換をリアルタイムで行うカラーコレクティング機能を実装し、相模原拠点のエッジ装置を用いて、Interop Tokyo 2022(2022.6)の神奈川工科大ブースにてデモ展示を実施し、本成果を IA 研究会で公表した。
“エッジコンピューティングを用いた 8K 超高精細映像のトランスコード機能の実
現,”ADVNET2022/IA 研究会,2022 年 10 月

・2022.11 SC22 の NRE(Network Research Exhibition)に採択され、Innovating
the Network for Data-Intensive Science (INDIS) Workshop の一環として、実証実験の実施および論文発表した。
“Uncompressed 8K video processing using edge-computing,” INDIS2022,
Dec. 20222

・セグメントルーティング(SRv6)を使用した VVF 間での映像処理連携動作について評価を受け、エヌ・ティ・ティ・コミュニケーションズ株式会社（NTT-C）を新たに連携研究者とし、キャリアにおける映像配信サービスに向けた検討を加速させる。
・2023.2 NICT 雪まつり実験にて、総合実験を実施すると共に、NTT-C とのセグメントルーティングを使った広域映像配信実験を実施し、成果を NS 研究会で公表した。
“SRv6 を用いたインラインサービスチェイニングの提案と広帯域映像処理による実証,”
信学会 NS 研究会,202３年３月

3B) 映像処理機能実行時のリソースモニタリング
・入出力 200Gbps の回線のモニタリング機能を目指し、今回導入する Tap aggregation
switch の装置を外部から API 制御を行う機能の確認を行うと共に、上流のスイッチ・ルータの REST インタフェースでの制御を確認した。
・モニタリング装置は前記の NICT 主催の広域映像配信実証実験において、新規構築したJGN やユーザ提供前の SINET6 におけるトラブルシューティングに活躍した。

研究開発項目１-b）エッジ部における低遅延大容量処理プラットフォームの実装技術の検討
・VVF のブラッシュアップを行い、8K-DG からフル解像度 8K へのトランスコード機能を実装し、50ms で処理可能な事を確認。8K-DG（24Gbps）×4 の映像スイッチング機能、8K-DG からフル解像度 8K（48Gbps）へのトランスコードおよびカラーコレクティング機能、フル解像度８K×2 の映像スイッチング機能を実装し、それぞれ 2 フレーム以内で動作する事を確認し、VVF を連携動作させる事で、IP 入出力トータル 358Gbpsを 100ms 以内で処理できる事を Interop Tokyo 2022（2022.6）で実証した。

・映像処理機能のサービスチェイニングの実装検討として、セグメントルーティングを用いた映像処理機能間のサービスチェイニング機能の実装と評価を実施した。
・映像処理プラットフォーム評価実験装置における低遅延特性の評価の中で、8K 映像入力（カメラ）から 8K 映像出力（TV）までのトータル遅延改善への取り組みを進め、市中映像変換装置を使用した場合と比較して 1 フレーム（１６．７ｍｓ）の低遅延化が図れる事を示した。
・本研究全体の低遅延配信システムの検討の一環として、低遅延圧縮伝送（ELL8K）を組み合わせて広域評価実験を実施した。 Interop Tokyo 2022(2022.6)の神奈川工科大ブー4

スにおいては沖縄との伝送においてパケット欠損対応のために SRT プロトコルの実用性について性能評価を実施した。
・セグメントルーティング(SRv6)を用いた NTT-C との連携実験の実施を行った。
・2022.11 InterBEE における放送業界向けの技術展示を実施した。
・2023.2 NICT 雪まつり実験にて、新たに提案した方式により、3 地点同時掛合いを行うことに成功した。Decoder にて他 2 地点の 2 ストリームをそれぞれ（画面上の左右に）分割、1 ストリームに合成しフレーム表示させることにより、各地点 Encoder/Decoder1組ずつの構成で行うことが出来た。
研究開発項目２ 多地点間での高臨場感通信を実現する低遅延配信技術の実現
多地点の端末が、ネットワークの可用帯域と端末種別に応じて、映像品質を変換するとともに、クライアント側のネットワーク環境に変化に個別に応じて、映像再生の途切れを引き起こすことなく、動的に映像品質を変えて配信できるエッジシステムの実現方法について検討・提案した。
セキュアなシームレス映像符号化・伝送技術として、8K 映像をスクランブル化したまま、低遅延伝送とロスレス保存のシームレスなハンドリングが可能な新しい統合映像符号化方式を提案した。
研究開発項目 2−a）多地点間低遅延映像配信処理システムの検討
・クラウドとエッジを使った複数クライアント向けの多地点間低遅延映像配信を実現するために、そのシステムアーキテクチャについて提案した。
・複数のクライアントの異なる再生環境や通信環境にそれぞれ応じて映像品質を変換するとともに、クライアント側のネットワーク環境に変化に個別に応じて、映像再生の途切れを引き起こすことなく、計算機リソースの利用効率が高く、動的に映像品質を変えて配信できるエッジシステムの実現方法について検討・提案した。具体的には、①複数の PC サーバ、L2 スイッチを用いたエッジシステムの構成法、②分散処理によるソフトウェア実装方式、③映像品質の選択方式について検討を行い、その方式についてまとめた。
・上記の低遅延映像配信システムの構成法とエッジシステムアーキテクチャ、ソフトウェア実装法について、2022 年 7 月に開催された査読付き国際会議において発表した。
“Proposal of ultra-high-resolution video delivery system in edge-cloudenvironment,” IEEE ICCE-TW 2022, July 2022
・PC サーバを使った実証実験用のエッジシステム、クライアントシステム、実験用映像制作システムの構築を行った。
・映像解像度を変換するプログラムを実装し、システム設計に必要となる基本的な処理性能評価を実施した。
・国際会議にて提案したアーキテクチャを持つエッジジステムのプロトタイプシステムの設計を行い、そのソフトウェア実装を行った。
・クラウド、エッジ、H.264 映像クライアントを使った実証実験を実施し、性能評価を行った。
・実証実験の結果、映像はクライアントに表示され、提案アーキテクチャが問題なく動作することは確認できたものの、ソフトウェア実装の問題によりリアルタイム性に課題があることが確認された。

5

研究開発項目 2−b）軽量 AI と秘匿技術を組み合わせたセキュアなシームレス映像符号化・伝送技術の検討
大きく以下に示す２つの成果を達成した。
１)8K 映像のセキュアなシームレス映像符号化・伝送技術のコンセプトの提案
セキュアなシームレス映像符号化・伝送技術は、 8K 映像をスクランブル化したまま、低遅延伝送とロスレス保存のシームレスなハンドリングが可能な新しい統合映像符号化方式である。
先進的なコンセプトが評価され、以下に示す国際会議において Keynote Speech を行った。
・ [Keynote Speech] “Low Latency and Lightweight Video Computing in Edge
Cloud Networks,”ITC-CSCC2022, July 7, 2022
２)セキュアなシームレス映像符号化・伝送技術の基本アルゴリズムの提案と初期評価コンセプトを具現化し、基本アルゴリズムの提案と初期評価を行った。基本アルゴリズムは「スクランブル画像の JPEG XS 符号化」と「低遅延伝送とロスレス保存のためのシームレス映像符号化」の 2 つの要素から構成される。 「スクランブル画像の JPEG XS 符号化」については、基本アルゴリズムの提案に加えシミュレーションによる初期評価も行い、スクランブルしたまま 8K 映像の圧縮が可能なことを検証した。その成果を以下に示す IEEE の国際会議に投稿し発表した。
・ “Light Weight Scrambled JPEG XS Coding for Privacy Protection,” IEEE
ISPACS2022, Dec. 2022
引き続き「スクランブル画像の JPEG XS 符号化」のアルゴリズムの評価を進め、アルゴリズムのアップデートを行う。その成果を、以下の国内会議にて発表した。
・“JPEG XS を用いた 8K 超高精細画像の知覚スクランブル手法,”信学会 SIS 研究会,2022 年 10 月
さらにセキュアなシームレス映像符号化・伝送技術のもう一つの構成要素である「低遅延伝送とロスレス保存のシームレス映像符号化」について基本アルゴリズムの評価を進め、国内会議にて発表した。
・ “スクランブル画像領域での JPEG XS を用いたロスレス階層符号化,” 第 45 回情報理論とその応用シンポジウム（SITA2022) , 2022 年 1２月

6

（8）今後の研究開発計画
８00Gbps に増強した実網回線を用いたエッジ装置を用いて、高精細映像処理が可能な低遅延大容量通信処理プラットフォームの映像処理能力を確認すると共に、市場展開への検討を進める。
また、多地点間での低遅延配信技術および軽量大容量のセキュアな映像伝送技術を組み合わせて実現させた低遅延で安全な多地点高精細映像低遅延伝送システムと前記プラットフォームを連携させ、疑似 B5G 環境における高臨場感通信のアプリケーション総合実験を想定ユーザ様と共に実施し、有効性を明らかにする。
研究開発項目１ サブ Tbps の高精細映像処理が可能な低遅延大容量通信処理プラットフォーム技術の実現（令和５年 4 月～令和６年 3 月）
サブ Tbps の映像処理能力の実現に向けて、低遅延大容量通信処理プラットフォーム技術の２並列処理により 800Gbps の映像処理能力を確認すると共に連携研究者（NTT コミュニケーションズ）と共に分散した映像処理機能間を動的に接続するために、セグメントルーティングを用いたネットワーク制御との連携方式について検討する。また疑似 B5G アクセス網の環境を構築し、想定ユーザとの総合アプリケーション実験を通して性能および有効性を実証すると共に市場展開への検討を進める。テレプレゼンス、授業、e-sports での実運用実験を行い、有効性を明らかにする。
・研究開発項目１－a）エッジ部とクラウド部が連携した低遅延大容量処理アーキテクチャの検討（令和５年４月～令和６年３月）
A)サブ Tbps の処理能力を持つ映像処理機能
複数ノードの連携により処理能力 400Gbps を達成するシステムを２並列化して800Gbps の処理能力を検証すると共に、分散した映像処理機能間を動的に接続するために、ネットワークおよび VM のダイナミックなリソースアサインについて検討し、論文公表する。
B)映像処理機能実行時のリソースモニタリング
800Gbps の実回線に接続したエッジ装置を対象に回線モニタ、DPDK により割り当てられたコア毎の CPU 使用率やメモリ使用率を GUI 同時表示可能とするシステムを作成し、評価結果を論文公表する。
・研究開発項目１-b）エッジ部における低遅延大容量処理プラットフォームの実装技術の検討（令和５年４月～令和６年３月）
令和４年度に開発した映像処理プラットフォームのブラッシュアップを行うと共に、研究開
発項目 2 で新規提案した統合映像符号化方式のリアルタイム処理の実装検討を進め、映像処理プラットフォームへの追加組み込みを進める。また疑似 B5G アクセス網の環境下で映像処理プラットフォームを用いて、具体的な映像処理ワークフローを実現し、映像関係者と連携した実験の中で有効性を確認すると共に市場展開への道筋をつける。
研究開発項目２ 多地点間での高臨場感通信を実現する低遅延配信技術の実現（令和５年 4 月～令和６年 3 月）
本研究開発項目では、B5G 網を使った通信において高臨場感を得られるよう低遅延で安全な映像配信を可能にすることを目的に、研究開発項目 2−a）として、多地点の端末が、ネットワークの可用帯域と端末種別に応じて、最も低遅延な映像伝送方式をシステムが自動選択し、複数のクライアントに同時に配信できるエッジシステムの実現を目標とし、研究開発項目 2−b）として、エッジシステムに搭載可能な、シームレスでセキュアな映像符号化の実現を目標とする。本開発
項目では、これらを統合することによって多くのユーザに臨場感の高い映像を安全に届けられるシステムの実現を目指す。
・研究開発項目 2−a）多地点間低遅延映像配信処理システムの検討（令和５年４月～令和６年３月）
令和５年度では、令和４年度の実証実験結果を精査するとともに、別途行ってきた現用モバ
イルネットワークのベンチマーク試験の結果に基づいた、伝送遅延ジッターに対する適応制御方法を提案する。さらに、より多くのユーザに対して映像を配信できるよう、エッジでの映像7変換処理を軽量化し、B5G 網を介して、より効率よく高臨場感を得られるような映像を配信できる制御方式を提案する。これらの提案方式を、エッジシステムソフトウェアに実装し、実証実験によりフィージビリティ確認を実施する。
・研究開発項目 2−b）軽量 AI と秘匿技術を組み合わせたセキュアなシームレス映像符号化・伝送技術の検討（令和５年４月～令和６年３月）
本研究開発項目では新規提案の軽量 AI と秘匿技術を組み合わせたセキュアなシームレス映像符号化・伝送技術の確立と評価検証を進める。エッジサーバーにセキュアなシームレス映像符号化を搭載し、セキュリティーを保持しつつ低遅延映像伝送とロスレス保存を実現することを最終目標とする。
令和５年度は A)セキュアなシームレス映像符号化方式のアルゴリズム確立と、B) アプリケーション実験による実環境を想定した性能検証を進める。符号化方式のアルゴリズム確立では、映像データの秘匿化について、レート歪みの性能評価ならびに８K ディスプレイを用いた視覚評価を通して、最適なスクランブル手法を確立する。またスクランブル領域での効率的なロスレス保存手法について検討する。アプリケーション実験による実環境を想定した性能検証では、
エッジサーバーに JPEG-XS エンコーダを搭載し、セキュアなシームレス映像符号化のフィージビリティを確認する。

8