（革新）様式 1-4-2 (2021-2)

令和 3 年度研究開発成果概要書
採択 番 号
研究開発課題名03801
低遅延でインタラクティブなゼロレイテンシー映像・Somatic 統合ネットワーク（１）研究開発の目的
近年、テレワーク、オンライン授業、監視システム、遠隔医療、オンラインゲーム、遠隔ロボッ
ト操作、遠隔機械操作（遠隔操作補助型自動運転を含む）など、無線回線を介したオンラインシステムが重要となってきている。これらは現在のコロナ禍において、感染症が蔓延した場合でも、人と人の接触を避ける上での必須のユースケースである。しかし、従来の無線回線を使用する場合には、伝送路の遅延やネットワーク内のサーバ処理などにより、相互の映像をリアルタイムで観測できないなどの課題があった。例えば、実際に Web 会議システム（Zoom 等）を用いる場合には、音声の計測において 150 ミリ秒以上、映像の場合は 250 ミリ秒以上の遅延が発生することが知られている。また、触覚デバイスを併用したインタラクティブな通信システムにおいては、数十ミリ～数百ミリ秒の遅延は、利用者に不自然な違和感を覚えさせることが知られている。以上を背景に、本研究開発は、映像情報と Somatic 情報の未来予測技術と統合技術、B5G ネットワーク上の低遅延伝送を支える通信技術、並びに統合実証試験から構成される。最終目標として、映像・Somatic 統合情報の、アプリケーション処理時間を含めて数ミリ秒の超低遅延伝送を支えると共に、未来予測の導入によるゼロレイテンシー伝送の実現を目指す。
（２）研究開発期間
令和 3 年度から令和 5 年度（3 年間）（３）受託者
学校法人早稲田大学＜代表研究者＞
アストロデザイン株式会社
国立大学法人京都大学（４）研究開発予算（契約額）
令和 3 年度から令和 4 年度までの総額 152 百万円（令和 3 年度 52 百万円）
（５）研究開発項目と担当
研究開発項目 1 映像・Somatic 統合1-a） Somatic 情報伝送
（国立大学法人京都大学）
1-b） 映像予測（学校法人早稲田大学）
研究開発項目 2 超低遅延ネットワーク2-a） 低遅延ネットワーク管理（学校法人早稲田大学）
2-b） 圧縮伝送方式（アストロデザイン株式会社）
2-c） 次世代技術①情報指向ネットワーク（学校法人早稲田大学）②超高フレームレート映像伝送（学校法人早稲田大学）
研究開発項目 3 統合実証実験
3-a） 遠隔サービス①遠隔リハビリ（国立大学法人京都大学）②遠隔作業（学校法人早稲田大学）
3-b） 圧縮伝送・表示装置（アストロデザイン株式会社）
3-c） 統合実証実験（学校法人早稲田大学）

1

（６）特許出願、外部発表等

特許出願

外部発表等

累計（件）
000110011

国内出願
外国出願
研究論文
その他研究発表
標準化提案・採択
プレスリリース・報道
展示会
受賞・表彰

当該年度（件）
0001100
11（７）具体的な実施内容と成果
研究開発項目 1：映像・Somatic 統合1-a） Somatic 情報伝送
筋電位計測デバイス及びその低遅延化を行い、5msec 以内の遅延で筋活性度を送信できることを確認し、映像との同期が可能であることを検証した。力覚デバイスの動作を検証し、筋電に応じた力覚呈示の制御が可能であること、単純な力覚呈示とは異なる刺激となることを確認した。
1-b） 映像予測
映像予測として、この数年間に提案されたフレーム外挿技術（未来予測技術）の調査と整理を進め、本研究開発に使用できそうな技術の選定を行った。一部の技術に関しては、実際に未来予測画像を作成し、有効性を検証した。
研究開発項目 2：超低遅延ネットワーク2-a） 低遅延ネットワーク管理
有線 LAN、無線 LAN、ローカル 5G 網における通信実験を実施し、無線受信電力と通信品質・伝送遅延の関係、トランスポートプロトコルと伝送遅延の関係、等の検証を行い、低遅延伝送に望ましい無線通信条件とプロトコル選定を明らかにした。また、低遅延指向の複数のネットワークサービスの開発と評価を行い、通信特性がサービス品質に与える影響を明らかにした。
2-b） 圧縮伝送方式
圧縮伝送装置について調査を実施し、使用予定の装置の実機動作を確認する機会を得た。
その結果、伝送装置間を遠隔で制御するためにはあらかじめ回線状況の確認・把握が十分でないと、異常の切り分けが行いにくい等の知見を得ることができた。
2-c） 次世代技術 ①情報指向ネットワーク
CCN/NDN を基盤とした自律的でダイナミックなネットワーク内分散処理システムの基本設計を行い、名前ベースのルーティングの基礎となる処理要求パケット（Interest）につき、基本構造設計を完了した。
2-c） 次世代技術 ②超高フレームレート映像伝送
独自の 240fps 映像データセットを作成し、オンラインストレージを使い、オープンデータとしての公開を行った。
また、高フレームレート映像を用いた映像予測、画像圧縮、画像処理の実験を行い、研究成果の一部を国際学会発表、ならびに国際学会投稿を行った。

2

研究開発項目 3：統合実証実験
3-a） 遠隔サービス ①遠隔リハビリ
筋電位計測を用いて運動生理学に基づいた筋シナジー解析を行い、立ち上がり、座り込
みなどの動作における、筋協調およびその安定性の解析を行った結果、比較的安定した筋活動が複数日の複数試行に渡って観測されることが確認でき、LSTM などで動作の予測が可能であることを検証した。
3-a） 遠隔サービス ②遠隔作業
京都大学提供の筋電ロガーを使用し、筋電データの取得と可視化、ネットワークを介した筋電データの伝送、等を確認した。また、ハプティックデバイスを購入し、環境整備を進めた。
3-b） 圧縮伝送・表示装置
ハプティクスデバイスからの信号形式を確認し、8K 映像に対して多重化・分離する方法を検討。実現する装置の仕様設計を進めた。
3-c） 統合実証実験
ローカル 5G 基地局を購入し、早稲田大学西早稲田キャンパス内に小規模な学内テストベッドとローカル 5G テストベッドの環境を構築し、通信実験を実施した。
（８）今後の研究開発計画
研究開発項目 1：映像・Somatic 統合1-a） Somatic 情報伝送
着ることのできる、筋電と姿勢の同時計測デバイスを設計・実装し、その動作を検証する。それを用いて，筋シナジーと深層学習を用いた動作予測手法を設計・実装し、その精度を定量的に評価する。得られた情報に基づいて力覚呈示デバイスを制御し、その効果を検証する。
1-b） 映像予測
従来の PredNet、CrevNet に加え、最近のフレーム外挿技術である SRVP、SLAMP、SVG、LVT 等の評価実験を進めると共に、Somatic デバイスとの統合、処理の簡略化・高速化に関する検討を進める。
研究開発項目 2：超低遅延ネットワーク2-a） 低遅延ネットワーク管理
ネットワーク管理技術を確立すると共に、低遅延指向のネットワークサービスのローカ
ル 5G 網上の伝送評価実験を行い、通信特性と通信品質の検証を進める。
2-b） 圧縮伝送方式
圧縮伝送装置を調達し、48Gbps の 8K 信号を約 300Mbps に圧縮し、符号・復号による総装置遅延約 50ms を実現できるか検証する。
2-c） 次世代技術 ①情報指向ネットワーク
様々な処理形態の分散処理を行うためのプロトコル設計、CCN/NDN の上位層となる処理実行補助層の設計を進める。
2-c） 次世代技術 ②超高フレームレート映像伝送
480fps/960fps の映像データセットの作成を行い、オープンデータとしての公開を試みる。また、これらの映像データセットを活用した画像圧縮、映像予測、画像処理のアルゴリズム開発を進める。
3

研究開発項目 3：統合実証実験
3-a） 遠隔サービス ①遠隔リハビリ
リハビリに必要な動作情報を姿勢や筋電位によって遠隔から伝送し，遠隔地において、動作タイミングや補助の必要性を判断する情報が得られること、またその判断の精度などを、視覚情報のみの場合と比較することにより評価する。
3-a） 遠隔サービス ②遠隔作業
ハプティプスデバイスによるＣＧロボットアームの遠隔操作環境を構築し、遅延を付加した場合の MOS 値の評価を行い、さらに映像予測を導入した場合との比較を行う。また、筋電情報と映像情報のマルチモーダル予測技術を構築し、MOS 値評価を行う。
3-b） 圧縮伝送・表示装置
8K 映像に対して Somatic 信号を多重・分離する装置を完成させ、ローカル環境での動作検証を進める。
3-c） 統合実証実験
学内テストベッド、ローカル 5G テストベッドの拡充を図ると共に、第 3 年度の統合実証試験に向けたネットワーク環境の整備と NICT 総合テストベッド（高信頼・高可塑Beyond 5G/IoT テストベッド等）の調査を進める。

4