（革新）様式 1-4-2 (2022-1)

令和 4 年度研究開発成果概要書
採択番号
研究開発課題名03801
低遅延でインタラクティブなゼロレイテンシー映像・Somatic 統合ネットワーク（１）研究開発の目的
近年、テレワーク、オンライン授業、監視システム、遠隔医療、オンラインゲーム、遠隔ロボット操作、遠隔機械操作（遠隔操作補助型自動運転を含む）など、無線回線を介したオンラインシステムが重要となってきている。これらは現在のコロナ禍において、感染症が蔓延した場合でも、人と人の接触を避ける上での必須のユースケースである。しかし、従来の無線回線を使用する場合には、伝送路の遅延やネットワーク内のサーバ処理などにより、相互の映像をリアルタイムで観測できないなどの課題があった。例えば、実際に Web 会議システム（Zoom 等）を用いる場
合には、音声の計測において 150 ミリ秒以上、映像の場合は 250 ミリ秒以上の遅延が発生することが知られている。また、触覚デバイスを併用したインタラクティブな通信システムにおいては、数十ミリ～数百ミリ秒の遅延は、利用者に不自然な違和感を覚えさせることが知られている。以上を背景に、本研究開発は、映像情報と Somatic 情報の未来予測技術と統合技術、B5Gネットワーク上の低遅延伝送を支える通信技術、並びに統合実証試験から構成される。最終目標
として、映像・Somatic 統合情報の、アプリケーション処理時間を含めて数ミリ秒の超低遅延伝送を支えると共に、未来予測の導入によるゼロレイテンシー伝送の実現を目指す。
（２）研究開発期間
令和 3 年度から令和 5 年度（3 年間）（３）受託者
学校法人早稲田大学＜代表研究者＞
アストロデザイン株式会社
国立大学法人京都大学（４）研究開発予算（契約額）
令和 3 年度から令和 4 年度までの総額 152 百万円（令和 4 年度 101 百万円）
※百万円未満切り上げ（５）研究開発項目と担当
研究開発項目１ 映像・Somatic 統合1-a） Somatic 情報伝送
（国立大学法人京都大学）
1-b） 映像予測（学校法人早稲田大学）
研究開発項目２ 超低遅延ネットワーク2-a） 低遅延ネットワーク管理（学校法人早稲田大学）
2-b） 圧縮伝送方式（アストロデザイン株式会社）
2-c） 次世代技術①情報指向ネットワーク（学校法人早稲田大学）②超高フレームレート映像伝送 （学校法人早稲田大学）
研究開発項目 3 統合実証実験
3-a） 遠隔サービス①遠隔リハビリ（国立大学法人京都大学）②遠隔作業（学校法人早稲田大学）
3-b） 圧縮伝送・表示装置（アストロデザイン株式会社）
3-c） 統合実証実験（学校法人早稲田大学）

1

（６）特許出願、外部発表等

特許出願

外部発表等

累計（件）
40137
4011

国内出願
外国出願
研究論文
その他研究発表
標準化提案・採択
プレスリリース・報道
展示会
受賞・表彰

当該年度（件）
40126
4000（７）具体的な実施内容と成果
研究開発項目１：映像・Somatic 統合1-a） Somatic 情報伝送
姿勢・筋活動を計測しながら発揮筋力などの Somatic 情報を予測する手法を提案し、映像と同期して相手側に伝えるための基礎を構築した。提案した複数の予測手法の性能評価を行って、その性能と適用条件などを確認した。
1-b） 映像予測
遠隔作業のユースケースを想定して操作側と遠隔側の 2 種類のデータセットを作成し、PredNet を用いた評価において、未来予測時間 0.33 秒の設定で画質評価指標 PSNR25dB に到達することを確認した。また、PredNet に対し、(1)複数の畳み込みカーネルの導入、(2)擬似的な未来フレーム特徴量の考慮、(3)GAN の併用による改良方式、をそれぞれ提案し、オリジナルの PredNet よりも性能よく未来フレームを予測できることを確認した。また、RAFT、SRVP、SLAMP を用いた未来予測方式についても検討を進め、オリジナル方式よりも良好な予測性能を得た。
研究開発項目２：超低遅延ネットワーク2-a） 低遅延ネットワーク管理
サービス特化型スライス構築技術の開発を進めると共に、商用 5G ネットワーク上の UHD伝送とアップリンク特性に関する成果を国際学会で発表した。また、派生技術として、リモート環境の心拍推定を困難にする技術の特許 1 件を出願した。
2-b） 圧縮伝送方式
低遅延な 8K 圧縮方法を検討し装置の選定をした。入手した圧縮伝送装置の動作確認と映像及び音声の伝送遅延を測定した。圧縮伝送装置、8K カメラ、Somatic 信号の多重分離装置、8K 映像表示装置のシステム構築を行い、構築したシステムにて 8K 映像信号の遅延の測定を行った。
2-c） 次世代技術 ①情報指向ネットワーク
CCN/NDN を基盤としたダイナミックなネットワーク内分散処理システムについて、ノード内処理実行補助層の基本構造設計を行い、それに基くプロトコル検証を行って正常な動作を確認した。成果の ITU-T SG13 への反映活動を開始し、3 件の寄書を提出した。
2-c） 次世代技術 ②超高フレームレート映像伝送
2021 年度に作成した 240fps 映像データセットと映像処理に関する研究成果を国際学会で発表すると共に、960fps 映像データセットを作成した。派生技術として、960fps 映像の映像超解像に関する特許 1 件を出願した。
研究開発項目 3：統合実証実験23-a） 遠隔サービス ①遠隔リハビリ立ち上がり・座り込みの動作の機序を分析し、本研究の筋電位計測を用いて筋シナジーの推定が可能なこと、および、計算の遅れ時間を小さくする手法を提案した。さらに、DNN による筋活動の予測方法を提案し、リハビリの対象となる動作の計測および伝送の遅延に対する補償方法を検討した。
3-a） 遠隔サービス ②遠隔作業
ロボットアームの操作映像、CG 映像、Somatic 情報、操作情報が表示される実験環境の構築と、操作情報の未来予測方式の開発を完了した。伝送遅延をシミュレートした環境で、ロボットアームの操作情報と Somatic 情報から 0.5 秒の未来の操作情報を予測する定量評価を行い、伝送遅延を解消する効果を確認した。来年度の遠隔実験のために、２台の力覚装置を接続する遠隔操作環境を構築し、遠隔操作を確認した。
3-b） 圧縮伝送・表示装置
8K 映像と Somatic 信号を 12G-SDI 信号に多重・分離する装置を設計し製作を完成した。
Somatic 信号は音声信号領域を用いて映像信号と同期して伝送する方式とした。製作した多重・分離装置を用いた Somatic 信号の伝送実験を行い、動作確認とローカル環境での伝送遅延の計測を行った。
3-c） 統合実証実験
学内のローカル 5G ネットワークと、商用の 5G SA/NSA ネットワークを使用した通信実験を行った。また、最終年度の統合実験に向けて、NICT 総合テストベッド（B5G 高信頼仮想化環境、B5G モバイル環境等）の調査を完了した。
（8）今後の研究開発計画
研究開発項目１：映像・Somatic 統合1-a） Somatic 情報伝送
姿勢・筋活動を予測しながら相手側に伝えるための計測、伝送方式の開発とそれによる性能向上の評価を行う。
1-b） 映像予測
映像と操作情報および Somatic 情報の統合を完成し、統合システムの実証実験を行うと共に、予測精度の改善と高速化を完了する。
研究開発項目２：超低遅延ネットワーク2-a） 低遅延ネットワーク管理
テストベッド上のサービス特化型低遅延スライスの自動管理と、低遅延アプリケーションの評価実験を実施する。
2-b） 圧縮伝送方式
映像と音声信号の伝送について総合的に評価を行い、同期した伝送を確認する。また、一般・商用回線やテストベッドを用いた伝送実験を通して、汎用的に使用できることを実証する。
2-c） 次世代技術 ①情報指向ネットワーク
より柔軟性を上げるため、各要素の機能拡張を行うと共に、ITU-T SG13 への成果の盛り込みに注力する。
2-c） 次世代技術 ②超高フレームレート映像伝送
超高フレームレート映像の圧縮伝送方式を確立し、テストベッド上の 1000fps 映像配信実験を完了する。また、超高フレームレート映像を活用した映像サービスの提案と検証を完了する。
3研究開発項目 3：統合実証実験
3-a） 遠隔サービス ①遠隔リハビリ
遠隔リハビリに必要となる基本的な機能を対象として、動作・姿勢予測がレイテンシーを補償し、タイミングや動作の精度を高めることを実証する。
3-a） 遠隔サービス ②遠隔作業
映像と Somatic 情報の統合システムの実証実験を行い、開発技術の妥当性の確認と、電波有効利用の観点からシステム導入による操作性向上を実現する。
3-b） 圧縮伝送・表示装置
Somatic 信号多重装置と圧縮伝送を組み合わせ、同期伝送の実証実験を行い、視覚・触覚がゼロレイテンシー（低遅延）に伝送されることを検証する。
3-c） 統合実証実験
パブリックインターネット、およびテストベッド上で三機関合同の統合実証実験を実施し、本研究開発の有効性を実証する。

4