JT-H430.4
超高臨場ライブ体験(ILE: Immersive Live Experience)：
ILEシステムにおけるMMTのサービス構成、メディア伝送プロトコル、およびシグナリング情報
Immersive Live Experience:
Service configuration, media transport protocols, signallinginformation of MPEG media transport for immersive liveexperience systems
2021.03.5

ILE-SWG
マルチメディア応用専門委員会

本標準の概要OVERVIEW OF THE STANDARD＜概要＞
・本標準は、超高臨場ライブ体験（ILE: Immersive Live Experience）のためのMpeg media transport (MMT)のサービス構成、メディア伝送プロトコル、およびシグナリング情報について規定している。
・ITU-T H.430.4に準拠している。
＜特徴＞
・超高臨場ライブ体験（ILE: Immersive Live Experience）の実現のためMPEG
media transport (MMT) [ISO/IEC 23008-1]をILEで活用するための規定を定義している。
・MMTベースILEシステムの構成および構造を規定している。
・MMTベースILEシステムのメディア伝送プロトコルを規定している。
・MMTベースILEシステムのシグナリング情報を規定している。

JT-H430.4作業経過
WORKING HISTORY OF JT-H430.4
・2020年10月
・2021年3月
・2021年4月

ダウンストリーム活動開始
JT-H430.4発行
JT-H430.4制定予定

ILEサービスで求められるMMTの要件
Requirements to MMT for ILE services

空間情報と表示されるオブジェクトとの時刻同期も必要となる。
ILEサービスの１つの特徴は、背景と前景の映像、音声、オブジェクトの空間データ、その他のステージ効果情報などの複数メディアを時刻同期させることで実現できるライブ体験を提供することである。
MMTは [ISO/IEC 23008-1] (MPEG media transport)でストリーミン
グ情報に対して定義されており、主要な同期メディア伝送技術の１つである。MMTは複数メディアを同期伝送するために設計されており、空間情報やステージ効果情報等のILEシステムで必要な情報を伝送することは想定されていないため、ILEサービスでMMTを使用するために[ISO/IEC 23008-1]に対してILEシステムのための規定を定義する必要がある。

ILEサービスの構成と構造
Service configuration and system structure of ILE
・ILEのサービス構成。
・ILEのシステム構造はITU-R勧告BT.2074-0に基づき、以下のように規定。

ILEサービスの空間情報
Spatial information
・イベント会場を視聴会場で再現するために、イベント会場の空間情報を伝送することが必要となる。
・以下の参照空間を用いて空間情報を正規化する。
・この情報はMMT [ISO/IEC 23008-1]を使用して伝送することができる。

ILEサービスの照明情報
Lighting information
・多くの照明機器はDMX（Digital multiplex: ANSI標準 USITT DMX512-A）によって制御することが可能であり、Art-Net（UDP/IPによってDMX信号を伝送するための仕様）によって制御可能な照明機器も存在する。
・DMX対応機器を使用すると、DMX信号はArt-Net信号と双方向に変換され、機器同士が接続される。
• イベント会場にて➢ 変換器によってDMX信号をArt-Netパケットに変換する➢ MMTサーバーがArt-Netパケットを受信する➢ Art-NetパケットからMPUを生成し（またはArt-NetパケットをMPUに格納し）、MMTパケットを生成する➢ MPUタイムスタンプ記述子に再生時刻を設定する➢ MMTパケットをMPUモードで伝送する• 視聴会場にて➢ MMTパケットからArt-Netパケットを再構成する➢ MPUタイムスタンプに従い、Art-Netパケットを指定された時刻に再生する➢ Art-Net非対応の機器を変換器によって変換されたDMX信号によって制御するILEシステムにおけるメディア伝送プロトコル
Media transport protocols for ILE system
・MMTベースILEシステムの相互運用性を向上させるため、MMTプロトコル（MMTP）
パケットでのマルチメディアデータ伝送に以下の規定が適用される。
➢ マルチメディアデータのカプセル化は[ISO/IEC 23008-1]の形式➢ 映像音声ストリームのMFU形式➢ HEVC（High Efficiency Video Coding）ストリームをMMTPで伝送する場合、NAL（Network abstraction layer）ユニットがMMTPのMFUにカプセル化される。
➢ AAC（MPEG-4 advanced audio coding）ストリームまたはALS（MPEG-4 audiolossless coding）ストリームがMMTプロトコルで伝送される場合は、AACスト
リームでは[ISO/IEC 14496-3]で規定されるAudioMuxElement ()がMMTPのMFUにカプセル化される。ALSシステムでは生（raw）データがMMTPのMFUにカプセル化される。

ILEシステムにおけるシグナリング情報
Signalling information for ILE system
・MMTベースILEシステムの相互運用性を確保してILEサービスを実現するために空間情報を含むアセットを取り扱うため、メディア記述子のシグナリング情報を規定する。
１）環境記述子
ILEサービスの視聴会場でオブジェクトを表示するためには、空間環境情報を伝送するためにMPI（media presentation information）テーブルのPI（presentationinformation）コンテンツが必要である。
⇒ 環境記述子の構文、XMLサンプルを標準文書内に記載
２）オブジェクト認識・位置記述子
・オブジェクト認識・位置記述子の構文には視聴会場で表示されたオブジェクトの画像と一致するように音声の方向を再構成するための、オブジェクトの空間情報が含まれる。
・オブジェクトはイベントサイトのアリーナ内を動き回るため、その動くオブジェクトの実際の軌跡を再構築することが必要となる。この目的のため、ILEシステムはMMTを通じて追跡情報を伝送する必要がある。
・MMTで伝送される動くオブジェクトのデータスキーマを次頁に示す。
⇒ 位置データの構文、XMLサンプルを標準文書内に記載⇒ 周期データの構文を標準文書内に記載

移動するオブジェクトのデータスキーマ
Data schema of moving objects

今後の課題ITEMS FOR FURTHER STUDY TOWARD NEXT REVISION• JT-H430.4は、超高臨場ライブ体験（ILE）の実現時に必要となる情報の同期伝送として、MPEGで規定されたMMTを用いて必要な空間情報や照明情報をイベント会場から視聴会場に伝送する仕様に関する標準である。国内
でスポーツイベント、音楽コンサート、伝統芸能、演劇等の超高臨場な空間の再現のために、今後優先度を考慮して必要なITU-T勧告を適宜ダウンストリームする必要がある。

本標準の構成CONTENTS OF THE STANDARD
1 規定範囲2 参考文献
3 定義
4 略称
5 慣例
6 ILEサービスで求められるMMTの要件
7 ILEサービスの構成と構造
8 ILEシステムにおけるメディア伝送プロトコル
9 ILEシステムにおけるシグナリング情報
文献一覧