（革新）様式1-4-3 (2021-2)

令和３年度研究開発成果概要図（目標・成果と今後の研究計画）

採択番号：03801

１．研究課題・受託者・研究開発期間・研究開発予算◆研究開発課題名 低遅延でインタラクティブなゼロレイテンシー映像・Somatic統合ネットワーク◆受託者
学校法人早稲田大学、アストロデザイン株式会社、国立大学法人京都大学◆研究開発期間
令和3年度～令和5年度（3年間）◆研究開発予算（契約額） 令和3年度から令和4年度までの総額152百万円（令和3年度52百万円）
２．研究開発の目標(1) 映像情報とSomatic情報の未来予測と統合技術、(2) B5Gネットワーク上の低遅延伝送を支える通信技術、(3) 統合実証試験を研究開発項目とし、最終目標として、映像・Somatic統合情報の数ミリ秒の超低遅延伝送を支え、さらに未来予測の導入によるゼロレイテンシー伝送の実現を目指す。
３．研究開発の成果

項目1：映像・Somatic統合
ロボットアーム（今年度購入）項目3：統合実証実験

研究開発項目1：映像・Somatic統合！

予測Somatic信号1-a) Somatic情報伝送3-a-1) 遠隔リハビリ

筋電ロガー

映像・Somatic
統合

地球基地局
光・マイクロ波通信

予測映像
映像

月面1-b) 映像予測

3-a-2) 遠隔作業

項目2：超低遅延ネットワーク
アプリケーション開発者
触覚予測

復号化

符号化

映像予測

：通信プロトコル機能

サービス
テンプレート
データベース
サービス
プロバイダー
ドメイン

アプリ
デザイナー

触覚予測
符号化

項目3：統合実証実験2-b) 圧縮伝送方式
3-b) 圧縮伝送・
表示装置

コントローラ
復号化

映像予測

オーケスト
レーター

サービス特化型スライス
ネットワークオペレーター
ドメイン

エンド端末

低遅延ネットワークスライス

アクセス網

コア網

研究開発成果研究開発目標

アクセス網

オーケスト
レータ―

エンド端末

2-a) 低遅延ネットワーク管理2-c) 次世代技術

ローカル5G基地局（今年度購入）3-c) 統合実証実験

深層学習を活用し、Somatic情報の計測・呈示と未来予測技術、映像情報の未来予測技術、および、映像情報とSomatic情報の統合技術を確立する。
●1-a) Somatic情報伝送では、筋電位と映像を併せた低遅延での伝送を可能にした 。
●1-b) 映像予測では、過去の映像予測技術の調査と整理を行い、実画像を用いた未来予測画像の生成も行い、有効性を検証した。

研究開発項目2：超低遅延ネットワーク
低遅延スライスの自動管理技術、低遅延伝送に貢献する通信プロトコル、圧縮効率と低遅延性を両立する映像圧縮伝送方式を確立し、さら に次世代技術として、情報指向ネットワークと超高フレームレート映像に関する研究開発を進める。
●2-a) 低遅延ネットワーク管理では、複数の有線網、無線網における通信実験を行い、低遅延伝送に貢献する無線通信条件とプロトコル選定を明らかにした。また、並行して、低遅延指向の通信サービスの開発と評価を進め た。
●2-b) 圧縮伝送方式では、圧縮伝送装置の調査を実施し、使用予定の装置の実機動作を確認した。
●2-c-1) 情報指向ネットワークでは、自律的でダイナミックな分散処理ネットワーク の基本設計を完了した。
●2-c-2) 超高フレームレート映像では、240fps映像データセットのオープンデータ公開を行うと共に、映像予測・画像圧縮・画像処理の評価実験と対外発表を進め た。

研究開発項目3：統合実証実験
ユースケースとしての遠隔サービスのプロトタイプ試作、Somatic情報を組み込んだ圧縮伝送・表示装置、および、統合実証実験に関する研究開発を進める 。
●3-a-1) 遠隔リハビリでは、運動生理学に基づいて，比較的安定した動作予測が可能であることを確認した。
●3-a-2) 遠隔作業では、ロボットアームと筋電ロガーを用いた実験環境を整備した。
●3-b) 圧縮伝送・表示装置では、ロボットアームの信号形式を確認し、8K映像に多重・分離する装置の仕様設計を進めた。
●3-c) 統合実証試験では、小規模なテストベッド環境を構築し、通信実験を開始した。

1

４ ．特許出願、論文発表等、及びトピックス
国内出願

外国出願

研究論文

その他研究発表

標準化提案・採択

プレスリリース
報道

展示会

受賞・表彰

0(0)

0(0 )

0(0 )

11(11)

0(0)

0(0)

1(1)

1(1)

※ 成果数は累計件数、（ ） 内は当該年度の件数です。

（１）国内学会発表
電子情報通信学会総合大会（2022年3月）にて、本研究開発の全体説明に関する発表を2件行った。また、同電子情報通信学会総合大会で1件、電子情報通信学会画像工学研究会（2022年1月）で1件、電子情報通信学会・MEとバイオサイバネティックス研究会（2022年3月）で2件、情報処理学会全国大会（2022年3月）で2件、本研究開発に関係する映像処理、筋電位計測、5Gネットワークに関する成果発表を行った。
（２）国際学会発表
IEEE Communication Society と電子情報通信学会通信ソサイエティが後援している国際学会 ICAIIC（International Conference on Artificial
Intelligence in Information and Communication、韓国・済州島およびオンライン、2022年2月）、および、IEEE Life Science Technical Community
が後援している IEEE LifeTech 2022（日本・大阪およびオンライン、2022年3月）にて、本研究開発に関係する映像処理、筋電位計測に関する成果発表を3件行った。また、内1件は、ICAIIC における Best Paper Award を受賞した。
（３）展示会2022年3月8日～15日に開催された展示会（本年度はオンライン開催）、早稲田オープン・イノベーション・フォーラム2022にて、 本研究開発の全体説明に関する発表を行った。
（４）他のシーズ型採択課題との情報交換
2022年3月11日に、他の Beyond 5G シーズ創出型プログラム採択課題（高臨場感通信環境実現のための広帯域・低遅延リアルタイム配信処理プラットフォームの研究開発）のチームと情報交換を行った。

５．今後の研究開発計画
研究開発項目1：映像・Somatic統合• 映像情報とSomatic情報の未来予測アルゴリズムを確定すると共に、Somaticデバイスの改善、映像情報とSomatic情報の統合、映像処理の高速化等に関する検討を進める。
研究開発項目2：超低遅延ネットワーク• 低遅延ネットワーク管理では、ネットワーク管理技術を確立すると共に、実ネットワークサービスのローカル5G網上の伝送評価実験を実施する。圧縮伝送方式では、映像、非圧縮音声の伝送機能の完成を目指し、動作の安定化を図る。次世代技術では、情報指向ネットワークにおける分散処理を行うためのプロトコル設計、超高フレームレート映像に関する480fps/960fpsの映像データセットの作成と公開、この映像データセットを活用した映像処理アルゴリズムの開発を進める。
研究開発項目3：統合実証実験• 遠隔サービスでは、Somaticデバイスの有効性検証を行うと共に、ロボットアームによる遠隔操作環境を構築し、デバイスの遅延を付加した場合、筋電情報と映像予測を統合した場合の通信品質（MOS）評価を行う。圧縮伝送・表示装置では、映像情報とSomatic情報を多重化した装置のローカル環境の動作検証を進める。統合実証実験では、学内テストベッド、ローカル5Gテストベッドの拡充を図ると共に、NICT総合テストベッド（高信頼・高可塑Beyond 5G/IoTテストベッド等）の調査を進め、最終年度の統合実証実験の準備を完了する。

2