（革新）様式1-4-3 (2022-1)

令和4年度研究開発成果概要図（目標・成果と今後の研究計画）

採択番号：06801

１．研究課題・受託者・研究開発期間・研究開発予算◆研究開発課題名 Beyond 5G網におけるホログラフィ通信のための高効率圧縮伝送技術の研究開発◆受託者
株式会社ＫＤＤＩ総合研究所、国立大学法人北海道大学、国立大学法人東海国立大学機構、学校法人関西大学
公立大学法人公立諏訪東京理科大学、株式会社クレッセント◆研究開発期間
令和4年度から令和7年度（4年間）◆研究開発予算（契約額） 令和4年度403百万円
２．研究開発の目標
電波の有効利用と、Beyond 5Gを特徴づける視聴体験創出に寄与するため、ホログラフィを含む高度マルチモーダル（五感のうち視覚・聴覚・触覚）の情報を高効率に通信するための圧縮伝送技術を確立する。アウトプット目標は次の通り。① ホログラフィ圧縮において、既存技術比で2023年度に2倍、2025年度に8倍の圧縮性能を達成し、Beyond 5G網を想定した1.5Gbps以下のビットレートで十分な品質を達成。② ホログラフィ伝送、マルチモーダル情報伝送、広域3Dデータ取得の技術をそれぞれ確立し、2025年度にホログラフィを含むマルチモーダル情報のEnd-to-End伝送を実現（世界初）
３-１．研究開発の成果①ホログラフィ圧縮技術

ユーザの視覚特性やホログラフィの信号特性の解析による新たなホログラ
フィデータ圧縮基盤の確立
3Dモデルデータやホログラフィデータ

ホログラフィ再生

圧縮効率向上・計算機基盤構築
・ホログラフィ高速生成技術
・圧縮アルゴリズム開発（★）★：代表的な研究成果としてp.2に詳細説明を記載

一対多通信を想定した、再生像品質やマルチモーダル連携を考慮した品
質制御および同期伝送技術の確立
Beyond 5G網を想定したネットワーク

ホログラフィ
データ

立体音響データ

力触覚データホログラフィデータのリアルタイム伝送に向けて大規模メモリ搭載の計算機環境が不可欠。従来デバイスでは膨大なデータを高速に生成・処理することが困難●1.6TBの高速メモリを搭載するGPUクラスタにより数千万点の3Dデータおよびホログラフィデータを効率的に処理できる基盤を確立
リアリスティックなホログラフィ生成は膨大な処理量を伴い、リアルタイム処理が困難●ホログラム面分割によるリアリスティックレンダリングの並列化生成プログラムを開発●複数台のGPU計算機によるクラスタ計算実験を実施②高度マルチモーダル情報伝送技術

高度マルチモーダル情報研究開発成果：計算機環境構築

研究開発成果：ホログラフィ高速生成技術

視覚特性や信号特性に基づく
圧縮
データサイズ

研究開発成果研究開発目標・3Dモデルデータ取得技術（★）
・マルチモーダル情報提示技術
・ホログラフィ伝送技術※★：代表的な研究成果としてp.2に詳細説明を記載※：紙面の都合上、ホログラフィ伝送に関する研究開発成果（2-a, 2-b）をまとめて記載

研究開発成果：圧縮アルゴリズム開発（★）
Beyond 5G網においても現状の圧縮技術ではホログラフィデータの安定的な伝送は困難●3Dモデル圧縮技術の性能を最新標準技術比で1.2倍に向上（世界最高）●従来手法とCNNを併用した位相回復アルゴリズムを考案（世界初）、ホログラフィ画像の符号量低減効果を確認

研究開発成果：3Dモデルデータ取得技術（★）
ホログラフィの幅広いユースケース対応のため、3Dモデル化技術の対象空間の広域化が課題●広域化の初期検討として、直径3.7m高さ2.4ｍの大空間を対象とした3Dデータ取得システム（ボリュメトリックスタジオ）を構築（世界最高）、評価実験を完了

研究開発成果：マルチモーダル情報提示技術
ホログラフィと併用することでより豊かな体験を実現する聴覚・触覚提示技術についての検討がなされていない●放射特性を導入したHMD型両耳提示システムを試作開発（世界初）●トルクによる力触覚提示プロトタイプシステムの開発を完了

研究開発成果：ホログラフィ伝送技術
ホログラフィの無線伝送や一対多通信を想定した検討が存在しない●システム設計を完了、多様な規格（1000BASE-T等）での伝送シミュレーションを実施●光波データ再生における波長整合に関する知見を獲得、学術発表を実施

1

３-２．研究開発の成果詳細（p.1★印）
本研究開発項目において世界初・世界最高に匹敵する開発事例や性能向上を数多く創出。
以下に研究開発項目ごとの代表例の説明を記載する。
① 研究開発項目１：ホログラフィ圧縮技術： 3Dモデル圧縮技術の性能を最新標準技術比で1.2倍に向上
3Dモデルの圧縮技術について、入力信号に対しグラフ構造に基づく周波数帯域制限を導入。これにより、最新ビデオベース標準技術であるV-PCC（Videobased Point Cloud Compression）に対し、1.2倍の符号化性能を確認し、世界最高レベルに到達した

ビデオベース
最新標準符号化技術
V-PCCでの圧縮
3Dモデル

グラフ構造の解析と周波数帯域制限

無圧縮
データ
サイズ

V-PCC 当初目標
性能1.1倍 性能1.2倍
達成

3Dモデル圧縮技術の概要図② 研究開発項目２：高度マルチモーダル情報伝送技術：直径3.7m高さ2.4ｍの空間を対象とした3Dデータ取得システムを構築
3Dデータ取得の広域化にあたり、カメラ画像ベースで、被写体の細部まで高品質に復元できる、世界最高クラスのボリュメトリックキャプチャシステムを構築した（2023年3月末見込み）。本成果をもとに、今後すべての研究開発項目において性能評価・実証実験に活用する

高解像度RGBカメラを使ったボリュメトリックキャプチャシステム

指先などの細部まで高品質に復元された3Dデータを取得

3Dデータは、ホログラフィの圧縮・伝送などの各研究・実証で活用

2

４．特許出願、論文発表等、及びトピックス
国内出願

外国出願

研究論文

その他研究発表

標準化提案・採択

プレスリリース
報道

展示会

受賞・表彰

6(6)

0(0)

0(0)

1(1)

0(0)

0(0)

0(0)

0(0)

※成果数は累計件数、（ ）内は当該年度の件数です。

（１）国内出願で目標を大きく上回る成果達成
当初、3件の国内出願を予定していたところ、3件の追加出願を達成し合計6件となり、成果の大幅な上積み達成となった。具体的には、当初計画に加えて、ホログラフィ品質向上で2件、触覚提示技術で1件の追加出願を達成している。これらの技術は高度マルチモーダル通信のユーザ体験を高めるものであり、2023年度以降の実証や報道発表等の機会を通じて、本研究の先進性の訴求、およびプレゼンスの向上に直結するものである。
（２）光波データ再生における波長整合可能性の確認と一般口頭発表の実施
年度目標の「光波データの再生における波長の整合に関する理論的な知見の獲得」を極めて短期間で完了し、特定条件における補正（パラメータ整合）可能性を確認した。当該早期の成果創出により、年度目標に追加する形で、関連成果についての一般口頭発表を実施した（年度目標0件に対して1件の追加） 。
これらの研究成果は、将来的に電波有効利用に繋がる一対多のホログラフィ通信の実現性を裏付けるものである。
（３）国際標準化戦略を策定
2023年度以降の国際標準化戦略を次の通りに策定した。
標準化戦略• ITU-T Study Group 16やJVET(※)に対して、ホログラフィ圧縮に関する要素技術や新規格の必要性に関わる寄書提案を行い標準規格化を推進する• 同様にITU-T Study Group 9にホログラフィ通信に適したネットワーク構成などに関する寄書提案を行う。配信ネットワークの側面においても国際標準化をリードし、2025年度には標準規格化を完了する狙いである

ITU-TMPEG
SG16（マルチメディア関連研究委員会）
JVET（映像符号化の国際標準規格団体）

ネットワーク構成などの寄書提案および標準規格化を推進
SG9（メタバース周辺技術研究委員会）

圧縮に関する要素技術の寄書提案や新しい規格提案を推進

JVET: Joint Video
Experts Team

本研究開発の標準化戦略の概要図

５．今後の研究開発計画
2023年度には、今年度得られた知見をもとにホログラフィ向け圧縮技術のさらなる性能向上に取り組み、「既存方式比1.5倍の3Dモデル圧縮性能の達成」、「既存方式比2倍のホログラフィ圧縮性能の達成」を目指す。また、ホログラフィ伝送に関する研究開発として、実環境下における既存の動画像圧縮技術を用いた伝送実験を行い、ホログラフィ再生像品質とネットワーク特性の関係性を明らかにする。マルチモーダル情報提示の研究開発として、物体の手触りや質感の触覚提示ならびに反力や摩擦力を実現する力触覚提示を行うシステムを開発することで、最終年度の伝送実験の基盤を構築する。
最終目標①の圧縮性能8倍に向けては、2023年度の結果をもとに視覚特性や既存のライトフィールドとの関係性を考慮し、さらなる性能向上を図る。最終目標②の高度マルチモーダル情報伝送に向けては、2023年度以降の高速ホログラフィデータ計算技術やホログラフィ品質評価技術を活用した伝送基盤の構築を進める。
2025年度には提案するホログラフィ圧縮技術によるリアルタイム伝送を実現し、さらには高度マルチモーダル情報の伝送を実現する（ともに世界初の事例）。
3