（革新）様式 1-4-2 (2022-1)

令和 4 年度研究開発成果概要書
採択番号
研究開発課題名06801
Beyond 5G 網におけるホログラフィ通信のための高効率圧縮伝送技術の研究開発（１）研究開発の目的
本研究開発では、有限希少な電波の有効利用の実現と、Beyond 5G を特徴づける革新的なコミュニケーション手段の提供を目的として、ホログラフィを含むマルチモーダル（五感の中核を占める視覚・聴覚・触覚の 3 モーダル）情報を高効率で伝送するための圧縮伝送技術を確立する。
これにより、End-to-End のユーザ体感品質が各段に向上し、サイバー空間や地方への生活圏・行動範囲の拡大という形で国民生活をより豊かなものとする。
（２）研究開発期間
令和 4 年度から令和 7 年度（4 年間）（３）受託者
株式会社ＫＤＤＩ総合研究所 ＜代表研究者＞
国立大学法人北海道大学
国立大学法人東海国立大学機構
学校法人関西大学
公立大学法人公立諏訪東京理科大学
株式会社クレッセント（４）研究開発予算（契約額）
令和 4 年度 403 百万円※百万円未満切り上げ（５）研究開発項目と担当
研究開発項目 1 ホログラフィの高効率圧縮技術の研究開発
研究開発項目 1-a）ホログラフィデータの高速生成・再生技術の研究開発（北海道大学）
研究開発項目 1-b）ホログラフィ向け圧縮基盤技術の研究開発（東海国立大学機構）
研究開発項目 1-c）ホログラフィに適したビデオベース圧縮技術の研究開発（KDDI 総合研究所）
研究開発項目２ 高度マルチモーダル情報の伝送技術の研究開発
研究開発項目 2-a）ホログラフィ映像品質の評価技術およびそれに基づく伝送パラメータ整合技術の研究開発（関西大学）
研究開発項目 2-b）ホログラフィ伝送技術の研究開発（公立諏訪東京理科大学）
研究開発項目 2-c）マルチモーダル情報伝送の実証に関する研究開発（KDDI 総合研究所）
研究開発項目 2-d）広域 3D データ取得技術の研究開発（クレッセント）1

（６）特許出願、外部発表等

特許出願

外部発表等

累計（件）
60010000

国内出願
外国出願
研究論文
その他研究発表
標準化提案・採択
プレスリリース・報道
展示会
受賞・表彰

当該年度（件）60010000（７）具体的な実施内容と成果
研究開発項目１：ホログラフィの高効率圧縮技術の研究開発【目標達成】「GPU ベース計算機環境の構築完了」という全体目標に対し、 1.6TB の超大容量高速メモリを搭載する GPU ベース計算機の仕様策定、調達および環境構築を実施することで目標を達成した。
以下、サブ項目別の目標、実施内容、成果について述べる。
1-a）ホログラフィデータの高速生成・再生技術の研究開発【目標達成】
・ 「リアルタイムホログラフィデータ計算システムの開発」という目標に対して、リアリスティックレンダリングアルゴリズムの選定、当該アルゴリズムのリアルタイム計算用クラウド型コンピューティングシステムの検討および計算環境整備を完了した。さらに当該環境おけるホログラムデータ計算の並列化プログラムを開発完了、当該並列化による高速化の効果を確認し、目標を達成した。
・ 「ホログラフィ再生装置の開発」という目標に対して、原理実証用デスクトップ型電子ホログラフィの基本設計・仕様策定を完了した。各モジュールの性能確認、およびホログラフィの表示画質評価に関わる基礎実験を行い、目標を達成した。
1-b）ホログラフィ向け圧縮基盤技術の研究開発【目標達成+目標外の進捗】
・ 「3 次元シーンを元に物体光を計算するフローの確立」という目標に対して、高速フーリエ変換による回折計算や位相回復アルゴリズムを用いたホログラム生成ソフトウェア開発を行った。これにより、面光源など方向性を有した物体光の計算法フローを確立し、目標を達成した。
・ 「ホログラム圧縮アルゴリズム開発用計算機環境の開発」という目標に対して、ホログラム圧縮アルゴリズム開発用計算機の導入を行い、位相型ホログラムパターンのソフトウェア開発および高速生成実験を完了し、目標を達成した。
・ 目標外の進捗として、ホログラフィの再生実験のための光学系環境を整備した。具体的には、位相型空間光変調器を導入し、計算機合成した位相パターンによるホログラフィ再生像の表示に成功した。また、物体光計算のアルゴリズムの演算回数の増加や計算法の工夫を通じ、再構成品質の向上を確認した。
1-c）ホログラフィに適したビデオベース圧縮技術の研究開発【目標達成+目標外の進捗】
・ 「3D モデルデータに V-PCC 参照ソフトウェアを適用した場合に比べて、1.1 倍の圧縮性能の実現」という目標に対して、3D モデルのグラフ周波数の帯域制限を行うことで、目標を上回る約 1.2 倍の符号化性能を達成・ 「GPU ベース計算機環境の構築の完了」という目標に対して、NVIDIA DGX A100 2 台を用いた GPU クラスタの仕様策定を行った。その上で 1.6TB の超大容量高速メモリを搭載する GPU ベース計算機の環境構築を完了し、目標を達成した（研究開発項目１：全体目標に相当）
・ 目標外の進捗として、大規模メモリ（512GB RAM）を搭載した計算機の仕様策定、調達を行った。その上で、ホログラフィ計算ソフトウェアの導入を行い、ホログラフィ生成環境2の構築を完了した。さらに当該環境を用いて、ホログラフィデータにビデオベース符号化を適用するために、量子化および色空間変換に関するシミュレーション像の評価を実施した。
以上の成果に基づいて、2023 年度 4 月に開催される標準化会合 JVET（Joint VideoExperts Team）への寄書提案文書の作成を完了した。
研究開発項目２：高度マルチモーダル情報の伝送技術の研究開発【目標達成】「カメラ 48 台にて直径 3.7m×高さ 2.4m の空間で被写体 1 人の 3D モデリングを実現」という全体目標に対し、当該仕様に従う 3D モデルの収録環境の構築を行い、目標を達成した。以下、サブ項目別の目標、実施内容、成果について述べる。
2-a）ホログラフィ映像品質の評価技術およびそれに基づく伝送パラメータ整合技術の研究開発【目標達成】
・ 「カラーホログラフィ再生時の波長の整合問題に対する波動光学に基づく理論的解法の初期検討、および像品質評価によるその効果の測定実施」という目標に対して、一定の奥行距離における波長補正に関する理論的な検討を行い、その効果を数値実験で確認し、目標を達成した。関連成果を 2 月 22 日の HODIC 学生シンポジウムで発表した。
2-b）ホログラフィ伝送技術の研究開発【目標達成】
・ 「実証事前評価の完了」という目標に対して、多様なネットワーク規格（1000BASE-T規格、10GBASE-SR 規格、100GBASE-SR 規格）での伝送シミュレーションを行い、ホログラムのフレームレートの観点からネットワーク特性（帯域やパケットロス等）と品質の評価を実施した。これにより、目標を達成した。
・ 「実証システム設計の完了」という目標に対して、実証事前評価、実証のためのシステム設計、およびソフトウェア開発を完了した。加えて、2023 年度のシステム再設計に向けた基礎データ（各処理時間等）の計測実験を完了することで目標を達成した。
2-c）マルチモーダル情報伝送の実証に関する研究開発【目標達成+目標外の進捗】
・ 「人を模擬した 2D での放射特性を導入した聴覚情報の提示方法の設計開発完了」という目標に対して、人の頭部と胴体を模擬したヘッドアンドトルソシミュレータを用いた放射特性の取得、ならびに両耳提示方法への放射特性の導入手法の初期検討を行った。その上で、両耳提示方法の設計、およびプロトタイプシステムの開発を完了し、目標を達成した。
・ 「人の手首へのトルクの提示による力触覚方法および提示装置の試作完了」という目標に対して、力触覚提示方法の初期検討、ならびに手首への力触覚提示方法の設計を行った。その上で、トルクによる力覚提示装置の設計、およびプロトタイプシステムの開発を完了し、目標を達成した。
・ 目標外の進捗として、2024 年度に計画している音場合成技術の先行開発として、視覚情報提示を組み合わせた HMD 型両耳提示プロトタイプシステムの開発を完了した。
2-d）広域 3D データ取得技術の研究開発【目標達成】
・ 「48 台 1200 万画素カメラと対応収録機器を実装し、オフラインによる狭域での 3D データ取得・評価環境を構築」という目標に対して、システムの仕様策定と 1200 万画素のカメラを含む機材一式の調達を完了した。当該機材により、直径 3.7m、高さ 2.4m の空間を対象に、1 人の被写体の 3D データの取得を可能とする収録環境の構築を完了した。
その上で、3D データの取得に関する評価実験を実施し、目標を達成した（研究開発項目２：全体目標に相当）。

3

（8）今後の研究開発計画
最終目標①：従来技術に対して約 8 倍の圧縮性能を持つホログラフィ圧縮技術の確立
最終目標②；高度マルチモーダル情報の End-to-End リアルタイム伝送の実現（世界初）
上記最終目標の達成に向けて次の通り計画している。
まず 2023 年度には、本年度得られた知見をもとにホログラフィ向け圧縮技術のさらなる性能向上に取り組み、「既存方式比 1.5 倍の 3D モデル圧縮性能の達成」、「既存方式比 2 倍のホログラフィ圧縮性能の達成」を目指す。また、ホログラフィ伝送に関する研究開発として、実際のネットワーク環境における、既存の動画像圧縮技術を用いた伝送実験を行い、ホログラフィ再生像品質とネットワーク特性の関係性を明らかにする。マルチモーダル情報提示の研究開発として、物体の手触りや質感の触覚提示、ならびに反力や摩擦力を実現する力触覚提示を行うシステムを開発する。これにより、最終年度の伝送実験の基盤を構築する。
その上で、最終目標①の圧縮性能の実現に向けて、2023 年度の結果をもとに、視覚特性や既存のライトフィールドとの関係性を考慮し、さらなる性能向上を図る。特に、研究開発項目 2-aにて確立するホログラフィ品質評価技術を活用することで、圧縮方式の更なる洗練化を実現する。
最終目標②の高度マルチモーダル情報伝送に向けては、ホログラフィデータ計算技術やホログラフィ品質評価技術を活用しつつ、伝送基盤の構築を進める。2025 年度には提案するホログラフ
ィ圧縮技術によるリアルタイム伝送を実現し、さらには研究開発項目 2-c にて高度マルチモーダル情報の伝送を実現する。ここでは、3D データや音響データの取得からユーザへの提示までのEnd-to-End の伝送を行うことを計画している。なお、2-c の実証は、NICT の Beyond 5G 共用研究開発テストベッド（モバイルアプリケーション実証環境）を活用し、Beyond 5G ネットワークを想定した無線伝送により行う。
加えて、国際標準化への戦略として、2023 年度から ITU-T の Study Group 16 や JVETに対して、ホログラフィ圧縮に関する要素技術や新規格の必要性に関わる寄書提案を行い、標準規格化を推進する。さらに、ITU-T の Study Group 9 に対して、ホログラフィ通信に適したネットワーク構成などに関する寄書提案を行い、配信ネットワークの側面においても国際標準化をリードし、我が国の国際的な技術プレゼンスの向上を促す。

4