(57)【要約】  本開示は、パケット化メディアストリームのサイドロード処理のための方法、機器、およびシステムに関する。一実施形態では、機器は、ビットストリームを受信する受信機と、ビットストリーム内のパケットタイプを識別しおよびビットストリーム内のパケットタイプの値の識別に基づきメインストリームと補助ストリームとに分離するスプリッタと、を含む。
2021515448.tif 000002
【特許請求の範囲】
【請求項１】
メインストリームに関連付けられたパケットと補助ストリームに関連付けられたパケットとを含む統合パケット化メディアビットストリームを受信するよう構成される受信機と、
前記統合パケット化メディアビットストリームの中のパケットのヘッダにカプセル化されたパケットタイプを識別するよう構成され、前記パケットタイプの識別に基づき、前記統合パケット化メディアビットストリームを前記メインストリームと前記補助ストリームとに分離するよう構成される、スプリッタと、
を含む機器。
【請求項２】
前記メインストリームは、MHASフォーマットのパケットとしてカプセル化されたMPEG−H  3Dオーディオデータを含む、請求項1に記載の機器。
【請求項３】
前記機器は、前記MPEG−H  3Dオーディオフォーマットに従い前記メインストリームを復号するよう構成される一次デコーダを更に含む、請求項2に記載の機器。
【請求項４】
前記補助ストリームは、前記MHASフォーマットのパケットとしてカプセル化された追加オーディオデータを含む、請求項1に記載の機器。
【請求項５】
前記補助ストリームに関連付けられた前記パケットの前記パケットタイプは、前記パケットヘッダにカプセル化された新しいMHASパケットタイプである、請求項4に記載の機器。
【請求項６】
前記補助ストリームに関連付けられた前記パケットは、パケットペイロードのフォーマットを識別するサブヘッダを含む、請求項5に記載の機器。
【請求項７】
前記補助ストリームに関連付けられた前記パケットの前記パケットペイロードの前記フォーマットは、前記MPEG−H  3Dオーディオフォーマットと異なる、請求項6に記載の機器。
【請求項８】
前記機器は、前記スプリッタから前記補助ストリームを受信しおよび前記MPEG−H  3Dオーディオフォーマットと異なる前記フォーマットに従い前記補助ストリームを復号するよう構成される二次デコーダを更に含む、請求項7に記載の機器。
【請求項９】
前記メインストリームおよび補助ストリームから取得される出力信号は、視聴者に同時に出力される、請求項1に記載の機器。
【請求項１０】
メインストリームに関連付けられたパケットと補助ストリームに関連付けられたパケットとを含む統合パケット化メディアビットストリームを受信するステップと、
前記統合パケット化メディアビットストリームの中のパケットのヘッダにカプセル化されたパケットタイプを識別するステップと、
前記パケットタイプの識別に基づき、前記統合パケット化メディアビットストリームを前記メインストリームと前記補助ストリームとに分離するステップと、
を含む方法。
【請求項１１】
前記メインストリームは、MHASフォーマットのパケットとしてカプセル化されたMPEG−H  3Dオーディオデータを含む、請求項10に記載の方法。
【請求項１２】
前記方法は、一次デコーダにより、前記統合パケット化メディアビットストリームから分離された前記メインストリームを、前記MPEG−H  3Dオーディオフォーマットに従い復号するステップ、を更に含む請求項11に記載の方法。
【請求項１３】
前記補助ストリームは、前記MHASフォーマットのパケットとしてカプセル化された追加オーディオデータを含む、請求項10に記載の方法。
【請求項１４】
前記補助ストリームに関連付けられた前記パケットの前記パケットタイプは、前記パケットヘッダにカプセル化された新しいMHASパケットタイプである、請求項13に記載の方法。
【請求項１５】
前記補助ストリームに関連付けられた前記パケットは、パケットペイロードのフォーマットを識別するサブヘッダを含む、請求項14に記載の方法。
【請求項１６】
前記補助ストリームに関連付けられた前記パケットの前記パケットペイロードの前記フォーマットは、前記MPEG−H  3Dオーディオフォーマットと異なる、請求項15に記載の方法。
【請求項１７】
前記方法は、二次デコーダにより、前記統合パケット化ビットストリームから分離された前記補助ストリームを、前記MPEG−H  3Dオーディオフォーマットと異なる前記フォーマットに従い復号するステップを更に含む、請求項16に記載の方法。
【請求項１８】
前記方法は、前記メインストリームおよび補助ストリームから取得される信号を、視聴者に同時に出力するステップ、を更に含む請求項10に記載の方法。
【請求項１９】
MHASフォーマットのパケットとしてカプセル化されたメインMPEG−H  3Dオーディオデータを有する統合パケット化メディアビットストリームのメインストリームに関連付けられたパケットに基づき、オーディオデータを生成するよう構成されるMPEG−H  3D  Audio  Coreデコーダと、
変更デコーダと、
を含み、前記変更デコーダは、
前記統合パケット化メディアビットストリームの補助ストリームに関連付けられたパケットとしてカプセル化された追加オーディオデータに対して、パケットタイプの識別に基づき、フォーマット変換を実行するよう構成されるフォーマット変換ユニットであって、前記パケットは前記パケットのヘッダにカプセル化された新しいMHASパケットタイプのものである、フォーマット変換ユニットと、
前記パケットにカプセル化された前記追加オーディオデータのサンプルレートを変換するよう構成されるサンプルレート変換器と、
任意的に、前記MPEG−H  3D  AudioCoreデコーダにより生成されたオーディオデータと前記変更デコーダにより生成された前記オーディオデータとをミキシングするよう構成されるミキサと、
を含む、機器。
【請求項２０】
前記新しいパケットタイプは内部生フォーマットを示す、請求項19に記載の機器。
【請求項２１】
前記フォーマットはPCMである、請求項20に記載の機器。
【請求項２２】
MHASフォーマットのパケットとしてカプセル化されたメインMPEG−H  3Dオーディオデータを有する統合パケット化メディアビットストリームのメインストリームに関連付けられたパケットに基づき、オーディオデータを生成するよう構成されるMPEG−H  3D  Audio  Coreデコーダと、
変更デコーダと、
を含み、前記変更デコーダは、
前記統合パケット化メディアビットストリームの補助ストリームに関連付けられたパケットとしてカプセル化された追加オーディオデータを、パケットのヘッダにカプセル化されたパケットタイプの識別に基づき、変換および／または復号する手段であって、前記パケットタイプは標準化されたMPEG−H  3D  Audio  Coreデコーダにより復号できない新しいMHASタイプである、手段と、
前記パケットにカプセル化された追加オーディオデータに対してフォーマット変換を実行するよう構成されるフォーマット変換ユニットと、
前記パケットにカプセル化された前記追加オーディオデータのサンプルレートを変換するよう構成されるサンプルレート変換器と、
任意的に、前記MPEG−H  3D  Audio  Coreデコーダにより生成されたオーディオデータと前記変更デコーダにより生成された前記オーディオデータとをミキシングするよう構成されるミキサと、
を含む、機器。
【請求項２３】
前記変更デコーダは、前記メインストリームへの前記補助ストリームの時間オフセットの指示を受信するよう更に構成される、請求項22に記載の機器。
【請求項２４】
前記新しいパケットタイプは時間オフセットシグナリングを運ぶために定義される、請求項23に記載の機器。
【請求項２５】
前記変更デコーダは、前記メインストリームの前記補助ストリームとのミキシングに関する情報を受信するよう更に構成される、請求項22に記載の機器。
【請求項２６】
前記ミキシング情報は、静的利得または動的利得のうちの少なくとも一方に関連する、請求項25に記載の機器。
【請求項２７】
MPEG−H  3D  Audioデコーダにおいて統合パケット化メディアビットストリームを受信するステップであって、前記統合パケット化メディアビットストリームは、メインストリームに関連付けられたMHASフォーマットのパケットと、補助ストリームに関連付けられた前記MHASフォーマットのパケットとを含む、ステップと、
MPEG−H  3D  Audio  Coreデコーダにより、前記メインストリームに関連付けられたパケットに基づき、オーディオデータを生成するステップと、
変更デコーダにより、前記補助ストリームに関連付けられたパケットにカプセル化された追加オーディオデータに対して、パケットタイプの識別に基づき、フォーマット変換を実行するステップであって、前記パケットは、前記パケットのヘッダにカプセル化された新しいMHASパケットタイプのものである、ステップと、
前記変更デコーダにより、前記パケットにカプセル化された前記追加オーディオデータのサンプルレートを変換するステップと、
任意的に、前記変更デコーダにより生成された前記オーディオデータを、標準化されたMPEG−H  3D  Audio  Coreデコーダにより生成されたオーディオデータとミキシングするステップと、
を含む方法。
【請求項２８】
前記方法は、前記メインストリームへの前記二次ストリームの時間オフセットの指示を受信するステップを更に含む、請求項27に記載の方法。
【請求項２９】
前記新しいパケットタイプは時間オフセットシグナリングを運ぶために定義される、請求項28に記載の方法。
【請求項３０】
前記方法は、前記二次オーディオストリームの前記メインストリームとのミキシングに関する情報を受信するステップ、を更に含む請求項27に記載の方法。
【請求項３１】
前記ミキシング情報は、静的利得または動的利得のうちの少なくとも一方に関連する、請求項30に記載の方法。
【請求項３２】
MPEG−H  3DAデコーダにおいて、メインストリームに関連付けられたMHASフォーマットのパケットと、補助ストリームに関連付けられた前記MHASフォーマットのパケットと、を含む統合パケット化メディアビットストリームを受信するステップと、
MPEG−H  3D  Audio  Coreデコーダにより、前記メインストリームに関連付けられたパケットに基づき、オーディオデータを生成するステップと、
変更デコーダにより、パケットのヘッダにカプセル化されたパケットタイプを識別するステップであって、前記パケットタイプは新しいMHASパケットタイプである、ステップと、
これらのパケットに含まれる追加オーディオデータを変換および／または復号するステップであって、復号処理はMPEG−H  3D  Audioにおいて標準化されていない、ステップと、
前記変更デコーダにより、前記追加オーディオデータに対して変換を実行するステップと、
前記変更デコーダにより、前記追加オーディオデータのサンプルレートを変換するステップと、
任意的に、前記変更デコーダにより生成された前記追加オーディオデータのサンプルレートを、前記標準化されたMPEG−H  3D  Audio  Coreデコーダにより生成された前記オーディオデータにより変換するステップと、
を含む方法。
【請求項３３】
前記方法は、前記メインストリームへの前記二次ストリームの時間オフセットの指示を受信するステップを更に含む、請求項32に記載の方法。
【請求項３４】
前記新しいパケットタイプは時間オフセットシグナリングを運ぶために定義される、請求項33に記載の方法。
【請求項３５】
前記方法は、前記二次オーディオストリームの前記メインストリームとのミキシングに関する情報を受信するステップ、を更に含む請求項32に記載の方法。
【請求項３６】
前記ミキシング情報は、静的利得または動的利得のうちの少なくとも一方に関連する、請求項35に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願］
本願は、以下の先願：US仮出願番号第62/634,136号（参照番号：D18027USP1）、2018年2月22日出願、US仮出願番号第62/641,098（参照番号：D18027USP2）、2018年3月9日出願、EP出願第18166319.6号（参照番号：D18027EP）、2018年4月9日出願、およびUS仮出願番号第62/697,536号（参照番号：D18027USP3）、2018年7月13日出願、の優先権を主張する。これらの出願は、参照によりここに組み込まれる。
【０００２】
［技術分野］
本開示は、パケット化メディア処理のための機器、システム、および方法を提供することに関する。
【図面の簡単な説明】
【０００３】
【図１】例示的な装置＃1および例示的な装置＃2を示す。
【図２】本発明による例示的なMPEG−H  3Dオーディオパケットストリームを示す。
【図３】例示的な装置＃1および例示的な装置＃3を示す。
【図４Ａ】本発明に従う一次デコーダ／レンダラの別の例を概略的に示す。
【図４Ｂ】本発明に従う一次デコーダ／レンダラの別の例を概略的に示す。
【図５Ａ】本発明に従う一次デコーダ／レンダラの更に別の例を概略的に示す。
【図５Ｂ】本発明に従う一次デコーダ／レンダラの更に別の例を概略的に示す。
【図６】MHASに基づき本発明の手段を達成するための例示的なパケットタイプを示す。
【発明を実施するための形態】
【０００４】
家庭向け消費者電子機器（Consumer  Electronics(CE)）のインストールでは、機能が幾つかの装置（例えば、セットトップボックス、TVセット、AVR受信機）に渡り広がり得る。ここで、このような装置は標準化されたインタフェース（例えば、HDMI（登録商標））により接続される。
【０００５】
第1装置は、ブロードキャストおよび／または広帯域接続からメディアストリームを受信できる。この第1装置は、高度な知能を更に有し得る（例えば、「スマートスピーカ」機能）。第2装置は、メディア復号、レンダリング、及びユーザへの提示に専用であり得る。
【０００６】
標準的に、メディアプログラムは、装置＃1により受信され、再生のために装置＃2へ送信される。このメディアプログラムは、「メインプログラム」として知られ得る。時折、または追加で、異なる送信チャネルから受信された異なるメディアプログラム（広告のような）または装置＃1内の「スマートデバイス」能力により生成されたメディアは、両方とも、通常、異なるメディアフォーマットで提示され、メインメディアプログラムに挿入されまたはオーバレイされるべきである。
【０００７】
これは、メインプログラムおよび補助プログラムの両方を、一般化された標準的に非圧縮の表現に復号し、ストリームを切り替え、または両者を結合された表現にミキシング／レンダリングし、生成したメディアストリームを符号化送信フォーマットに再符号化することにより達成できる。この方法は、装置＃1において全て実行されるような、任意の装置において実行できる。しかしながら、高い計算パワーが必要となることがあり、レンダリング段階および中間表現は、装置＃2における実際の再生システムの最適な適合を提供しないことがある。
【０００８】
図1は、例示的な装置＃1および例示的な装置＃2を示す。装置＃1は、一次受信機101、二次受信機／ローカルエンジン103、およびパケット化ストリーム統合部102を含んでよい。パケット化ストリーム統合部102は、一次受信機101から受信したデータストリーム（例えば、メインストリーム）と、二次受信機／ローカルエンジン103から受信したデータストリーム（例えば、補助データストリーム）とを統合してよい。装置＃2は、ストリームスプリッタ201、一次デコーダ／レンダラ202、および二次デコーダ／レンダラ203を含んでよい。ストリームスプリッタ201は、メインストリーム（これは次に一次デコーダ／レンダラ202に提供されてよい）および補助ストリーム（これは次に二次デコーダ／レンダラ203に提供されてよい）のようなストリームを分離してよい。両方のデコーダ出力信号は、視聴者に同時に提示されてよい。
【０００９】
上述の制限を克服するために、装置＃1は、入力するメインメディアストリームを装置＃2に直接送信できる。装置＃1のこのモードは、「通過（passーthrough）」モードと呼ばれる。しかしながら、このアプローチの下流では、ビデオおよびオーディオのために1つの単一データストリームを伝達するために、標準化インタフェースが指定されるだけである。したがって、第2メディアストリームは、本来、インタフェースを介して再生のために装置＃2へ送信できない。
【００１０】
本発明は、パケット化メディアデータを受信する一次受信機と、追加メディアストリームを受信する二次受信機と、パケット化メディアデータを送信する送信機インタフェースと、のための方法および機器を提供する。
【００１１】
本発明は、以下の手段により、第2補助メディアストリームを、パケット化メインメディアストリームに統合することを提案する。
【００１２】
パケット化ストリームとして表現されるメディアストリームは、標準的に、全体のメディアストリームと共に、複数のサブストリームを差別化するためにパケットタイプ識別子を使用する。メインメディアストリームと関連しない追加（メディア）データを伝達するために、第1装置＃1は、メインメディアストリームに従いフォーマットされパケットヘッダ内の専用タグによりラベル付けされたパケットに、追加データをカプセル化できる。この専用タグは、追加メディアストリームを運ぶパケットを取り除くよう、受信側装置＃2をトリガする。任意で、装置＃2は、次に、追加メディアストリームを二次デコーダ／レンダラ203インスタンスに提供してよい。同時に、メインストリームは、一次デコーダ／レンダラ202により受信される。
【００１３】
一例では、追加カプセル化メディアストリームのための、パケットヘッダ内のこの新しいタグを認識しないレガシー受信側装置は、既にこれらのパケットを無視することが期待される。
【００１４】
タグは、任意の符号化オーディオデータストリーム環境、例えばMPEG−H、AC−4、Dolby  Digital+、等で提供されてよい。
【００１５】
追加で挿入されたデータストリームが、元のメディアストリームと比べて実質的なデータレートを超える場合、受信側装置は、入力パケット化ストリームをフィルタリングし、任意で、追加データパケットを取り除いて、下流の接続された（レガシー）メディアデコーダの受信機バッファモデルを維持しなければならない。
【００１６】
さらに、図3は、装置＃1は、一次受信機101、二次受信機／ローカルエンジン103、およびパケット化ストリーム統合部102を含んでよい。パケット化ストリーム統合部102は、一次受信機101から受信したデータストリーム（例えば、メインストリーム）と、二次受信機／ローカルエンジン103から受信したデータストリーム（例えば、補助データストリーム）とを統合してよい。装置＃3は、一次デコーダ／レンダラ301のみを含み、ストリームスプリッタを含まなくてよい。一例では、補助ストリームを二次デコーダ／レンダラに提供することが可能でなくてよい。本例では、変更された一次デコーダは、内部でメインストリームと共に補助ストリームを復号／変換／ミキシングしてよい。
【００１７】
＜MPEG−Hエコシステム＞
ISO/IEC23008−3に従うMPEG−H  3d  Audioは、MHASフォーマットにカプセル化される。このフォーマットは、パケット化されたフォーマットを利用する。ここで、各パケットは、パケットヘッダおよびパケットペイロードで構成される。ペイロードは任意のバイナリデータであり、ヘッダはペイロードのタイプおよび長さを指定する。（追加で利用可能なラベルは、複数のインスタンスを区別するために使用できるが、ここでは利用されない）。
【００１８】
二次メディアストリーム（例示的にPACTYP_MEDIAと呼ばれる）の新しいMHASパケットタイプを割り当てることにより、任意的には更にRIFF/WAVフォーマットを用いて指定される非圧縮PCMデータ、または、ISO/IEC14496−3に従うMPEG−4オーディオのような圧縮オーディオデータとして表現される追加オーディオデータ、または（例えば、ATSCA/52若しくはETSI  TS  103  190に従う）任意の他の符号化表現は、MHASパケットにカプセル化でき、したがって、メインMPEG−H  3D  Audioストリームに統合できる。カプセル化されるべき異なるフォーマットは、異なるパケットタイプ（例えば、PACTYP_PCM,  PACTYP_MPEG4AUDIO,  ．．．）により、または以下の例に示すように、MHASパケットのサブヘッダを形成する追加指示子により、区別できる。
【００１９】
（メディア）データは構成データを要求し得るが、自己充足ストリームとして表現されないので、このデータは、コンテナMHASパケットのヘッダにカプセル化されてよく、または追加MHASパケット（例えば、PACTYP_MEDIA_CONFIG、またはPACTYP_PCMCONFIGのような構成を示す別のタイプのMHASパケット名）が割り当てられてよく、ここで更に、追加データのタイプで情報を運んでもよい。MHASパケットタイプは、構成情報をデコーダに供給するために、PCMペイロードデータの構成情報を運んでよい。例えば、構成情報のためのMHASパケットタイプ（例えば、PACTYP_MEDIA_CONFIGまたはPACTYP_PCMCONFIG）が、ビットストリーム内に（例えばPACTYP_MEDIA_CONFIGの後に）存在する場合、データ構造の形式のPCTデータ構成情報（例えば、pcmDataConfig()）は、デコーダに供給されてよい。
【００２０】
通常、MHASパケットタイプ（例えば、PACTYP_PCMDATA）は、構成構造に定義されたPCM信号に対応するPCMペイロードを埋め込むために、およびPCMデータペイロード構造の形式のPCMデータをデコーダに供給するために、使用されてよい。MHASパケットタイプ（例えばPACTYP_PCMDATA）がビットストリーム内に存在する場合、PCMデータペイロード構造（例えばpcmDataPayload()）は、復号中に使用されてよい。
【００２１】
図2は、本発明による例示的なMPEG−H  3Dオーディオパケットストリームを示す。
【００２２】
一例では、本発明は、以下のシンタックス変更に基づく識別情報に基づいてよい：
1)表220−MHASPacketPayload()のシンタックスを以下により変更する。
【表１】
2021515448.tif 000003
2)表223のPACTYP_MEDIAに適切なMHASPacketTypeを割り当てる。代替として、MHASPacketTypeの値は、変化してよく、またはプリセット値、例えば最終的な標準化文書において標準化組織により公開された値に依存してよい。
【００２３】
3)以下のメディアタイプは、mhasMediaDataType一覧を用いて指定されるべきである。
【表２】
2021515448.tif 000004
図2は、3Dオーディオデータと共にMPEG−H  3Dオーディオに従う例示的なパケットを含むパケット化メインストリームを例示的に示す（例示的に、構成データ、例えばPACTYP_MPEGH3DACFGをメタデータとして、および符号化オーディオデータ、例えばPACTYP_MPEGH3DAFRAMEを含む）。
【００２４】
さらに、図2は、例示的に圧縮フォーマット、例えばMPEG4Audioの追加オーディオデータ（補助オーディオデータ／二次オーディオデータ）を含む上述の例示的な追加パケットタイプPACTYP_MEDIAを参照するヘッダ情報により示されている、本発明に従う例示的なパケットを含むパケット化二次ストリーム（補助ストリーム）を例示的に示す。
【００２５】
代替または追加で、追加オーディオデータは、ここでは例示的にMPEG−H  3Dオーディオである、上述のようなカプセル化された異なるフォーマットを示すサブヘッダを含むパケット化メインストリームのフォーマットに従い、ヘッダを有するパケットにパケット化できる。
【００２６】
本発明の例示的な態様によると、メインストリームおよび補助（二次）ストリームは、ストリーム統合部により、例えばパケット化ストリーム統合部102により、統合できる。
【００２７】
出力ストリーム（統合ストリーム）は、メインストリームの符号化オーディオデータに関連するパケットと、補助ストリームのオーディオデータに関連するパケットと、を同じフォーマット（例えば、図2の例示的なMPEG−H  3Dオーディオ）の単一のパケット化ビットストリーム内に含む。
【００２８】
非変更（レガシー）MPEG−H  3Dオーディオデコーダは、新たに追加されたパケットタイプ（例えばPACTYP_MEDIA）を理解しなくてよく、このような非変更（レガシー）MPEG−H  3Dオーディオデコーダは、ヘッダ内に示された新たに追加されたパケットタイプ（例えばPACTYP_MEDIA）を有するパケットを無視またはダンプしてよいことに留意する。このような非変更（レガシー）MPEG−H  3Dオーディオデコーダは、メインストリームに関連するオーディオデータを依然として復号できるが追加の補助／二次オーディオデータを処理しないだろう。
【００２９】
メインストリームおよび補助ストリームを有する統合ストリームを復号および処理するために、デコーダ装置は、補助オーディオデータに関連するパケットをフィルタリングし、復号／処理することの可能な変更デコーダを含むよう変更され得る。
【００３０】
図4は、本発明に従う一次デコーダ／レンダラの別の例を概略的に示す。
【００３１】
図4は、これがMPEG−H  3D  Audioデコーダにおいてどのように達成されるかを示す。ここで、メディアフォーマットはPCMデータである。例示的に、一次デコーダ／レンダラ301は、MPEG−H  3D  Audio  Core  Decoder  M1、およびオブジェクトレンダラM2、例えばMPEG−H  3Dオーディオ（ISO/IEC23008−3）標準に従い定められるような関連するレンダリングユニットを含むよう実現される。
【００３２】
変更デコーダ301は、追加で、新たな追加パケットタイプ（例えばPACTYP_MEDIA）を示すヘッダを有するMHASパケットをフィルタリングし取り除き、補助オーディオデータを有するパケットをフォーマット変換ユニット301cに、次にサンプルレート変換器に入力してよい（例示的に、サンプルレート変換器M3は、MPEG−H  3Dオーディオ（ISO/IEC23008−3）標準に従い定められるように、MPEG−H  3D  Audio  Core  Decoder  M1の下流のデコーダアーキテクチャの中に存在する）。
【００３３】
したがって、変更デコーダ301は、メディアサンプリングレートとチャネルレイアウトを出力サンプルレートとデコーダのチャネル構成に適合させるために、（例えば、サンプルレート変換器M3により）サンプルレート変換を、および（例えば、フォーマット変換ユニット301c1により）フォーマット変換を、入力メディアデータ（MHASPacketType==PACTYP_MEDIA）に対して実行してよい。さらに、変更デコーダは、ミキサにおいて、入力メディアデータまたはサンプリングレート変換された入力メディアデータを、MPEG−H  3D  Audio  Core  Decoder  M1により生成されたオーディオメディアデータとミキシングしてよい（例えば、例示的に、ミキサユニットM4は、MPEG−H  3Dオーディオ（ISO/IEC23008−3）標準に従い定義されたようなMPEG−H  3D  Audio  Core  Decoder  M1の下流にあるデコーダアーキテクチャの中に存在する）。
【００３４】
図4の上述の例は、例示的に、PCMデータ等のような非圧縮メディアデータを含む補助メディアデータに関連する。留意すべきことに、PCMデータ等のような非圧縮メディアデータが、例えば3Dオーディオ機器の位置情報を更に含む、または対応する位置メタデータに関連する場合、補助データは、MPEG−H  3Dオーディオ（ISO/IEC23008−3）標準に従い定められたMPEG−H  3D  Audio  CoreDecoder  M1の下流にあるデコーダアーキテクチャの中に存在するオブジェクトレンダラM2のような位置データ処理オブジェクトレンダラにより更に処理できる。
【００３５】
図5は、本発明に従う一次デコーダ／レンダラの更に別の例を概略的に示す。例示的に、一次デコーダ／レンダラ301は、MPEG−H  3D  Audio  Core  Decoder  M1、およびオブジェクトレンダラM2、例えばMPEG−H  3Dオーディオ（ISO/IEC23008−3）標準に従い定められるような関連するレンダリングユニットを含むよう実現される。
【００３６】
図5は、上述のものがMPEG−H  3D  Audioデコーダにおいてどのように達成されるかを示す。ここで、メディアフォーマットは符号化データ（例えば、MPEG−4Audio）である。変更デコーダ301は、入力メディアデータ（MHASPacketType==PACTYP_MEDIA）を、必ずしもISO/IEC23008−3の中で指定されていない追加デコーダ301c2（補助メディアデータを変換および／または復号するよう構成される変換器および／またはデコーダ）を用いて復号してよい。さらに、変更されたデコーダは、これらの復号メディアデータを、MPEG−H  3D  audio(ISO/IEC23008−3)標準に従い定められるようなMPEG−H  3D  Audio  Core  Decoder  M1により生成されたオーディオメディアデータとミキシングしてよい。
【００３７】
＜異なるソースから生じる複数のMHASサブストリームの時間整合（time-alignment）＞
本発明による例示的な態様では、追加時間整合ユニットは、補助ストリームのパケットの時間整合のために、例えば異なるソースから生じる複数のMHASサブストリームの時間整合を提供するために、設けられてよい。
【００３８】
ISO/IEC23008−3のsection  14.6によると、「サブストリームは、同じエンコーダにより生成され、（およびしたがって）種々の入力ストリームが［．．．］完全に揃えられ、位相オフセットを有しないと仮定する」。この場合、フレームの整合は、MHASPacketLabel番号を用いて達成されてよい。本発明の提案された方法によると、上述の制約は、もはや当然のものではない。異なるコーデックの異なるフレーム期間またはサンプリングレートにより、MHASメインストリームと統合された二次ストリームの連続するMHASパケットの時間オフセットは、時間とともに変化する。各々の特定のタイムスロットで、二次ストリームのメインストリームに対する時間オフセットは、シグナリングされる必要がある。例えば、図6に示すような補助ストリームのパケットのペイロードに含まれるメディアデータに関連付けられたメタデータに関連するパケットタイプを示す補助ストリームの関連付けられたパケットの中で。
【００３９】
図6は、MHASに基づき本発明の手段を達成するための例示的なパケットタイプを示す。例えば、ここで、別のMHASパケットタイプが、適切な時間オフセットシグナリングを運ぶために定められる。このシグナリングを対応するストリームにリンクするために、時間オフセットパケットは、それが参照するタイプPACTYP_MEDIAのMHASPacketとして割り当てられた同じMHASPacketLabel番号を有する必要がある。図6から、各ストリームの1つの特定のタイムスロットに対応するストリームデータの直接的な1対1関係が保証されないが、1つのストリームからの2つ以上のタイムスロットが適時的方法で他のストリームからの1つのタイムスロットに対応してよいことが明らかである。
【００４０】
時間オフセットをシグナリングする別のオプションは、この時間オフセットをタイプPACTYP_MEDIAのMHASパケット自体に追加することである。
【００４１】
以上に鑑み、本発明に従う幾つかの例示的な態様では、図4および／または5の例の変更一次デコーダ／レンダラ301の変換および／または復号ユニットは、補助ストリームデータのメインストリームデータとの時間整合のための時間整合ユニットを、例えば、図4および5の例のミキサユニットM4のようなミキサの上流、または図4および5の例のサンプラ（例えば、サンプルレート変換器M3）の上流、または図1の例の二次デコーダ／レンダラ203の一部としても、含んでよい。
【００４２】
＜メインオーディオストリームおよび二次オーディオストリームのミキシング制御＞
二次（補助）オーディオストリームのメインオーディオストリームとのミキシングを制御する追加データが必要である。特に、このデータは、二次オーディオストリームが再生されるときメインストリームを処理するために、例示的にISO/IEC23003−4DynamicRangeControlデータとして形成される静的利得または動的利得シーケンスを含んでよい。これらのデータは、標準的に装置＃1により生成され、別個のMHASパケット（例えば、識別子PACTYP_MPEGH_MEDIA_CFGを有する）によりストリームに組み込まれて、二次ストリームヘッダに、または任意の他の種類のストリームカプセル化により更に追加されてよい。
【００４３】
以上に鑑み、本発明に従う幾つかの例示的な態様では、図4および／または5の例の変更デコーダ301の変換および／または復号ユニットは、（例えば音量調整のための）静的および／または動的利得を適用する利得調整ユニットを、例えば、図4および5の例のミキサユニットM4のようなミキサの上流、または図4および5の例のサンプラ（例えば、サンプルレート変換器M3）の上流、または図1の例の二次デコーダ／レンダラ203の一部としても、含んでよい。
【００４４】
＜Dolbyエコシステム＞
さらに、Dolby  AC−4（ETSI  TS103  190）およびDolby  DigitalおよびDolby  Digital  Plus（ETSI  TS102  366）は、MEDFペイロードの中で任意のバイナリデータを運ぶ可能性を提供する。これは、以上に定められたもの（MPEG−H  Ecosystem）と同じまたは同様のデータを運ぶために使用できる。
【００４５】
このような目的のために、ETSI  TS103  190で定められたシンタックス要素emdf_info()、またはETSI  TS102  366,Annex  Hで定められたシンタックス要素emdf_container()、およびそれらの基礎にある要素が使用されてよい。これを行うために、1つ以上のemdf_payload_id定義を単に定めることができる。これは、PACTYP_MEDIAおよび／またはPACTYP_MPEGH_MEDIA_CFGの下で上述したものと同じまたは同様のフォーマットを有するバイナリデータを識別するために使用できる。
【００４６】
非圧縮／非符号化データを含むメディアストリームのシステムサウンドミキシングは、図4および図5に示すようなDolby  AC−4またはDolby  Digital/Dolby  Digital  Plusと同様に達成されてよい。ここで、相違点は、どの信号パスを使用すべきかの区別が、MHASPacketTypeではなく、emdf_payload_id値に基づき考慮されることである。
【００４７】
本発明により解決されるメディアストリーム、メインストリームおよびサイドデータストリームの両者は、以下のタイプであってよい：
・オーディオストリーム、圧縮および非圧縮の両方、
・ビデオストリーム、
・サブタイトル。
【００４８】
本発明は、オーバレイピクチャ、ビデオ、またはテキストが標準化インタフェース接続を介してメイン（標準的に圧縮ビデオストリーム）に尽かして送信されるべきビデオ提示装置（モニタ）にも適用されてよい。
【００４９】
参考文献
・US20170223429A1,EP3149955A1
・ISO/IEC23008−3:(MPEG−H  3d  Audio,  2nd  Edition)
本開示の列挙される例示的実施形態（Enumerated  exemplary  embodiments：EEE）は以下に関連する。
【００５０】
EEE1.  オーディオ信号処理の方法であって、
メインオーディオ情報を示すメインストリームに関連付けられたパケットと、補助オーディオ情報を示すサイドデータストリームに関連付けられたパケットと、を含む統合パケット化メディアビットストリームを受信するステップと、
前記統合パケット化メディアビットストリームのパケットのヘッダ情報内のパケットタイプの値を識別するステップと、
前記統合パケット化メディアビットストリームを、前記統合パケット化メディアビットストリームのパケットのヘッダ情報内のパケットタイプの値の識別に基づき、メインオーディオ情報を示すメインストリームと補助オーディオ情報を示すサイドデータストリームとに分離するステップと、を含む方法。
【００５１】
EEE2.  前記メインストリームの前記メインオーディオ情報から取得した出力信号と前記サイドデータストリームの前記補助オーディオ情報から取得した出力信号とに基づき、オーディオ出力信号をミキシングするステップ、を更に含むEEE1に記載の方法。
【００５２】
EEE3.前記メインおよび補助オーディオ情報からの出力信号は、視聴者に同時に出力される、EEE2に記載の方法。
【００５３】
EEE4.  一次デコーダによりメインストリームを復号するステップを更に含むEEE1に記載の方法。
【００５４】
EEE5.  前記サイドデータストリームが圧縮補助オーディオ情報に関連するとき、二次デコーダにより前記サイドデータストリームを復号するステップ、を更に含むEEE1に記載の方法。
【００５５】
EEE6.  前記サイドデータストリームが圧縮補助オーディオ情報に関連するとき、変換器により前記サイドデータストリームのパケットに含まれるメディアデータを変換するステップ、を更に含むEEE1に記載の方法。
【００５６】
EEE7.  前記圧縮補助オーディオ情報は、MPEG−4オーディオデータを含む、EEE5またはEEE6に記載の方法。
【００５７】
EEE8.  前記サイドデータストリームは、非圧縮補助オーディオ情報に関連する、EEE1に記載の方法。
【００５８】
EEE9.  前記非圧縮補助オーディオ情報は、PCMデータを含む、EEE8に記載の方法。
【００５９】
EEE10.  前記パケットタイプは、内部生フォーマット、特にデコーダ内部生フォーマットを示す、EEE1に記載の方法。
【００６０】
EEE11.  前記サイドデータストリームに対して信号処理を実行するステップ、を更に含むEEE1に記載の方法。
【００６１】
EEE12.前記サイドデータストリームに対して信号処理を実行するステップは、前記メインストリームの前記メインオーディオ情報から取得した出力信号と前記サイドデータストリームの前記補助オーディオ情報から取得した出力信号とに基づき、オーディオ出力信号をミキシングするステップの前に実行される、EEE11に記載の方法。
【００６２】
EEE13.  前記サイドデータストリームに対して信号処理を実行するステップは、利得調整を実行するステップを含む、EEE11に記載の方法。
【００６３】
EEE14.  利得調整は、性的利得または動的利得に基づき実行される、EEE13に記載の方法。
【００６４】
EEE15.  前記静的利得または動的利得のうちの少なくとも一方に関連するミキシング情報を受信するステップ、を更に含むEEE13に記載の方法。
【００６５】
EEE16.  利得調整は、音量調整のために実行される、EEE13に記載の方法。
【００６６】
EEE17.  前記サイドデータストリームに対して信号処理を実行するステップは、時間整合を実行するステップを含む、EEE11に記載の方法。
【００６７】
EEE18.  時間整合を実行するステップは、前記サイドデータビットストリームの前記補助オーディオ情報を前記メインビットストリームの前記メインオーディオ情報と時間整合するために実行される、EEE17に記載の方法。
【００６８】
EEE19.  前記サイドデータビットストリームの前記補助オーディオ情報の前記メインビットストリームの前記メインオーディオ情報との時間整合に関する時間整合情報を受信するステップ、を更に含むEEE17またはEEE18に記載の方法。
【００６９】
EEE20.  前記パケットタイプは、特に時間整合のために、時間オフセットシグナリングを運ぶために定められる、EEE1に記載の方法。
【００７０】
EEE21.  前記メインストリームに対する前記サイドデータストリームの時間オフセットの指示を受信するステップ、を更に含むEEE1に記載の方法。
【００７１】
EEE22.  前記サイドデータストリームに対して信号処理を実行するステップは、前記補助オーディオ情報が位置情報に関連するとき、オブジェクトレンダリングを含む、EEE1に記載の方法。
【００７２】
EEE23.  オブジェクトレンダリングは、前記メインおよびサイドデータストリームのオブジェクトレンダリングを実行するオブジェクトレンダラにより実行される、EEE22に記載の方法。
【００７３】
EEE24.  前記サイドデータストリームに対して信号処理を実行するステップは、フォーマット変換を含む、EEE11に記載の方法。
【００７４】
EEE25.  標準化MPEG−H  3Dオーディオデコーダにより、前記メインストリームを復号するステップを更に含むEEE1に記載の方法。
【００７５】
EEE26.  前記サイドデータストリームのパケットに含まれるメディアデータを、前記標準化MPEG−H  3Dオーディオデコーダにより生成されたメディアデータとミキシングするステップ、を更に含むEEE25に記載の方法。
【００７６】
EEE27.  前記サイドデータストリームのパケットに含まれる前記メディアデータは、非圧縮データ、特にPCMデータ、または圧縮データ、特にMPEG4オーディオデータである、EEE26に記載の方法。
【００７７】
EEE28.  前記サイドデータストリームのパケットに含まれるメディアデータは、MPEG−H  3Dオーディオで標準化されていないデコーダにより復号される、EEE26に記載の方法。
【００７８】
EEE29.  前記統合パケット化メディアビットストリームは、HMASパケットを含む、EEE1に記載の方法。
【００７９】
EEE30.  オーディオ信号処理の方法であって、
メインオーディオ情報を示すメインストリームを受信するステップと、
補助オーディオ情報を示すサイドデータストリームを受信するステップまたは補助オーディオ情報に基づきサイドデータストリームを生成するステップと、
前記メインストリームと前記サイドデータストリームとを統合して、メインオーディオ情報を示すメインストリームに関連するパケットと補助オーディオ情報を示すサイドデータストリームに関連するパケットとを含む統合パケット化メディアビットストリームを生成するステップと、を含む方法。
【００８０】
EEE31.  前記補助オーディオ情報を示すメディアデータを、前記統合パケット化メディアビットストリームのフォーマットのパケットにパケット化するステップを更に含むEEE30に記載の方法。
【００８１】
EEE32.  前記サイドデータストリームは、圧縮補助オーディオ情報に関連する、EEE30に記載の方法。
【００８２】
EEE33.  前記圧縮補助オーディオ情報は、MPEG−4オーディオデータを含む、EEE32に記載の方法。
【００８３】
EEE34.  前記サイドデータストリームは、非圧縮補助オーディオ情報に関連する、EEE30に記載の方法。
【００８４】
EEE35.  前記非圧縮補助オーディオ情報は、PCMデータを含む、EEE34に記載の方法。
【００８５】
EEE36.  前記統合パケット化メディアビットストリームのパケットのヘッダ情報は、パケットタイプを示す、EEE30に記載の方法。
【００８６】
EEE37.  補助オーディオ情報を示す前記サイドデータストリームに関連するパケットのパケットタイプの値は、前記補助オーディオ情報に関連するメディアデータを示す、EEE36に記載の方法。
【００８７】
EEE38.  前記統合パケット化メディアビットストリームは、HMASパケットを含む、EEE30に記載の方法。
【００８８】
EEE39.  オーディオ信号処理の機器であって、
メインオーディオ情報を示すメインストリームに関連付けられたパケットと、補助オーディオ情報を示すサイドデータストリームに関連付けられたパケットと、を含む統合パケット化メディアビットストリームを受信するよう構成される受信機と、
前記統合パケット化メディアビットストリームを、前記統合パケット化メディアビットストリームのパケットのヘッダ情報内のパケットタイプの値の識別に基づき、メインオーディオ情報を示すメインストリームと補助オーディオ情報を示すサイドデータストリームとに分離するよう構成されるスプリッタと、を含む機器。
【００８９】
EEE40.  前記メインストリームの前記メインオーディオ情報から取得した出力信号と前記サイドデータストリームの前記補助オーディオ情報から取得した出力信号とに基づき、オーディオ出力信号をミキシングするよう構成されるミキサ、を更に含むEEE39に記載の機器。
【００９０】
EEE41.  前記メインストリームを復号するよう構成される一次デコーダを更に含むEEE39に記載の機器。
【００９１】
EEE42.  前記サイドデータストリームが圧縮補助オーディオ情報に関連するとき、前記サイドデータストリームを復号するよう構成される二次デコーダ、を更に含むEEE39に記載の機器。
【００９２】
EEE43.  前記サイドデータストリームが圧縮補助オーディオ情報に関連するとき、前記サイドデータストリームのパケットに含まれるメディアデータを変換するよう構成される変換器、を更に含むEEE39に記載の機器。
【００９３】
EEE44.  前記圧縮補助オーディオ情報は、MPEG−4オーディオデータを含む、EEE42またはEEE43に記載の機器。
【００９４】
EEE45.  前記サイドデータストリームは、非圧縮補助オーディオ情報に関連する、EEE39に記載の機器。
【００９５】
EEE46.  前記非圧縮補助オーディオ情報は、PCMデータを含む、EEE45に記載の機器。
【００９６】
EEE47.  前記パケットタイプは、内部生フォーマット、特にデコーダ内部生フォーマットを示す、EEE39に記載の機器。
【００９７】
EEE48.  前記サイドデータストリームに適用される利得調整を実行するよう構成される利得調整ユニット、を更に含むEEE39に記載の機器。
【００９８】
EEE49.  前記サイドデータストリームに適用される時間整合を実行するよう構成される時間整合ユニット、を更に含むEEE39に記載の機器。
【００９９】
EEE50.  前記サイドデータストリームに適用されるオブジェクトレンダリングを実行するよう構成されるオブジェクトレンダラ、を更に含むEEE39に記載の機器。
【０１００】
EEE51.  前記オブジェクトレンダラは、一次デコーダに含まれる、EEE50に記載の機器。
【０１０１】
EEE52.  前記サイドデータストリームに適用されるフォーマット変換を実行するよう構成されるフォーマット変換ユニット、を更に含むEEE39に記載の機器。
【０１０２】
EEE53.  前記メインストリームを復号する標準化MPEG−H  3Dオーディオデコーダ、を更に含むEEE39に記載の機器。
【０１０３】
EEE54.  前記統合パケット化メディアビットストリームは、HMASパケットを含む、EEE39に記載の機器。
【０１０４】
EEE55.  オーディオ信号処理の機器であって、
メインオーディオ情報を示すメインストリームを受信するよう構成される受信機と、
補助オーディオ情報に基づき、前記補助オーディオ情報を示すサイドデータストリームを生成するよう構成されるローカルエンジン、および／または、前記サイドデータストリームを受信するよう構成される受信機と、
前記メインストリームと前記サイドデータストリームとを統合して、メインオーディオ情報を示すメインストリームに関連するパケットと補助オーディオ情報を示すサイドデータストリームに関連するパケットとを含む統合パケット化メディアビットストリームを生成するよう構成される統合部と、を含む機器。
【０１０５】
EEE56.  前記補助オーディオ情報を示すメディアデータを、前記統合パケット化メディアビットストリームのフォーマットのパケットにパケット化するよう構成されるパケット化部、を更に含むEEE55に記載の機器。
【０１０６】
EEE57.  EEE55に記載の機器と、EEE39に記載の機器と、を含むシステム。
【図１】
2021515448.tif 000005
【図２】
2021515448.tif 000006
【図３】
2021515448.tif 000007
【図４Ａ】
2021515448.tif 000008
【図４Ｂ】
2021515448.tif 000009
【図５Ａ】
2021515448.tif 000010
【図５Ｂ】
2021515448.tif 000011
【図６】
2021515448.tif 000012
【手続補正書】
【提出日】令和2年2月28日(2020.2.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メインストリームに関連付けられたパケットと補助ストリームに関連付けられたパケットとを含む統合パケット化メディアビットストリームを受信するよう構成される受信機であって、前記メインストリームは、ISO/IEC23008−3に従うMHASフォーマットのパケットとしてカプセル化されたMPEG−H  3Dオーディオデータを含み、前記補助ストリームは前記MHASフォーマットのパケットとしてカプセル化された追加オーディオデータを含み、前記補助ストリームに関連付けられたパケットのパケットペイロードのフォーマットは、前記MPEG−H  3Dオーディオフォーマットと異なり、前記MHASフォーマットの時間オフセットパケットは、前記メインストリームに対する前記補助ストリームの時間オフセットの指示をシグナリングし、前記時間オフセットパケットの参照する前記追加オーディオデータを運ぶMHASパケットと同じパケットラベル番号を割り当てられている、受信機と、
前記統合パケット化メディアビットストリームの中のパケットのヘッダにカプセル化されたパケットタイプを識別するよう構成され、前記パケットタイプの識別に基づき、前記統合パケット化メディアビットストリームを前記メインストリームと前記補助ストリームとに分離するよう構成されるスプリッタであって、前記補助ストリームに関連付けられたパケットのパケットタイプは、パケットヘッダにカプセル化された新しいMHASパケットタイプであり、前記新しいMHASパケットタイプは、ISO/IEC23008−3に従うパケットタイプと異なる、スプリッタと、
前記シグナリングされた時間オフセットに基づき、前記追加オーディオデータを前記メインオーディオデータと時間整合させる時間整合ユニットと、
を含む機器。
【請求項２】
前記機器は、前記MPEG−H  3Dオーディオフォーマットに従い前記メインストリームを復号するよう構成される一次デコーダを更に含む、請求項1に記載の機器。
【請求項３】
前記補助ストリームに関連付けられた前記パケットは、パケットペイロードのフォーマットを識別するサブヘッダを含む、請求項1に記載の機器。
【請求項４】
前記機器は、前記スプリッタから前記補助ストリームを受信しおよび前記MPEG−H  3Dオーディオフォーマットと異なる前記フォーマットに従い前記補助ストリームを復号するよう構成される二次デコーダを更に含む、請求項1に記載の機器。
【請求項５】
前記メインストリームおよび補助ストリームから取得される出力信号は、視聴者に同時に出力される、請求項1に記載の機器。
【請求項６】
メインストリームに関連付けられたパケットと補助ストリームに関連付けられたパケットとを含む統合パケット化メディアビットストリームを受信するステップであって、前記メインストリームは、ISO/IEC23008−3に従うMHASフォーマットのパケットとしてカプセル化されたMPEG−H  3Dオーディオデータを含み、前記補助ストリームは前記MHASフォーマットのパケットとしてカプセル化された追加オーディオデータを含み、前記補助ストリームに関連付けられたパケットのパケットペイロードのフォーマットは、前記MPEG−H  3Dオーディオフォーマットと異なり、前記MHASフォーマットの時間オフセットパケットは、前記メインストリームに対する前記補助ストリームの時間オフセットの指示をシグナリングし、前記時間オフセットパケットの参照する前記追加オーディオデータを運ぶMHASパケットと同じパケットラベル番号を割り当てられている、ステップと、
前記統合パケット化メディアビットストリームの中のパケットのヘッダにカプセル化されたパケットタイプを識別するステップと、
前記パケットタイプの識別に基づき、前記統合パケット化メディアビットストリームを前記メインストリームと前記補助ストリームとに分離するステップであって、前記補助ストリームに関連付けられたパケットのパケットタイプは、パケットヘッダにカプセル化された新しいMHASパケットタイプであり、前記新しいMHASパケットタイプは、ISO/IEC23008−3に従うパケットタイプと異なる、ステップと、
前記シグナリングされた時間オフセットに基づき、前記追加オーディオデータを前記メインオーディオデータと時間整合させるステップと、
を含む方法。
【請求項７】
前記方法は、一次デコーダにより、前記統合パケット化メディアビットストリームから分離された前記メインストリームを、前記MPEG−H  3Dオーディオフォーマットに従い復号するステップ、を更に含む請求項6に記載の方法。
【請求項８】
前記補助ストリームに関連付けられた前記パケットは、パケットペイロードのフォーマットを識別するサブヘッダを含む、請求項6に記載の方法。
【請求項９】
前記方法は、二次デコーダにより、前記統合パケット化メディアビットストリームから分離された前記補助ストリームを、前記MPEG−H  3Dオーディオフォーマットと異なる前記フォーマットに従い復号するステップを更に含む、請求項6に記載の方法。
【請求項１０】
前記方法は、前記メインストリームおよび補助ストリームから取得される信号を、視聴者に同時に出力するステップ、を更に含む請求項6に記載の方法。
【請求項１１】
ISO/IEC23008−3に従うMHASフォーマットのパケットとしてカプセル化されたメインMPEG−H  3Dオーディオデータを有する統合パケット化メディアビットストリームのメインストリームに関連付けられたパケットに基づき、オーディオデータを生成するよう構成されるMPEG−H  3D  Audio  Coreデコーダと、
前記統合パケット化メディアビットストリームの補助ストリームに関連付けられたパケットとしてカプセル化された追加オーディオデータに対して、パケットタイプの識別に基づき、フォーマット変換を実行するよう構成されるフォーマット変換ユニットであって、前記パケットは前記パケットのヘッダにカプセル化された新しいMHASパケットタイプのものである、フォーマット変換ユニットであって、前記新しいMHASパケットタイプはISO/IEC23008−3に従うパケットタイプと異なる、フォーマット変換ユニットと、
前記パケットにカプセル化された前記追加オーディオデータのサンプルレートを変換するよう構成されるサンプルレート変換器と、
任意的に、前記MPEG−H  3D  Audio Coreデコーダにより生成されたオーディオデータと前記サンプルレート変換器により出力された前記オーディオデータとをミキシングするよう構成されるミキサと、
を含む、機器。
【請求項１２】
前記新しいパケットタイプは内部生フォーマットを示す、請求項11に記載の機器。
【請求項１３】
前記フォーマットはPCMである、請求項12に記載の機器。
【請求項１４】
ISO/IEC23008−3に従うMHASフォーマットのパケットとしてカプセル化されたメインMPEG−H  3Dオーディオデータを有する統合パケット化メディアビットストリームのメインストリームに関連付けられたパケットに基づき、オーディオデータを生成するよう構成されるMPEG−H  3D  Audio  Coreデコーダと、
追加デコーダであって、前記統合パケット化メディアビットストリームの補助ストリームに関連付けられたパケットとしてカプセル化された追加オーディオデータを、パケットのヘッダにカプセル化されたパケットタイプの識別に基づき復号する手段であって、前記パケットタイプは、ISO/IEC23008−3にパケットタイプと異なる新しいMHASタイプであり、標準化されたMPEG−H  3D  Audio  Coreデコーダにより復号できず、パケットペイロードのフォーマットを示す、手段を含む、追加デコーダと、
前記パケットにカプセル化された追加オーディオデータに対してフォーマット変換を実行するよう構成されるフォーマット変換ユニットと、
前記パケットにカプセル化された前記追加オーディオデータのサンプルレートを変換するよう構成されるサンプルレート変換器と、
任意的に、前記MPEG−H  3D  Audio  Coreデコーダにより生成されたオーディオデータと前記サンプルレート変換器により出力された前記オーディオデータとをミキシングするよう構成されるミキサと、
を含む、機器。
【請求項１５】
前記追加デコーダは、前記メインストリームへの前記補助ストリームの時間オフセットの指示を受信するよう更に構成される、請求項14に記載の機器。
【請求項１６】
ISO/IEC23008−3に従うパケットタイプと異なる別の新しいMHASパケットタイプは時間オフセットシグナリングを運ぶために定義され、前記時間オフセットを運ぶ前記MHASパケットは、該パケットの参照する前記追加オーディオデータを運ぶMHASパケットと同じパケットラベル番号を割り当てられている、請求項15に記載の機器。
【請求項１７】
前記追加デコーダは、前記メインストリームと前記補助ストリームとのミキシングに関する情報を受信するよう更に構成される、請求項14に記載の機器。
【請求項１８】
前記ミキシングに関する情報は、前記追加オーディオデータの利得調整を実行するための静的利得または動的利得のうちの少なくとも一方に関連する、請求項17に記載の機器。
【請求項１９】
MPEG−H  3D  Audioデコーダにおいて統合パケット化メディアビットストリームを受信するステップであって、前記統合パケット化メディアビットストリームは、メインストリームに関連付けられたISO/IEC23008−3に従うMHASフォーマットのパケットと、補助ストリームに関連付けられたISO/IEC23008−3に従うパケットタイプと異なる前記MHASフォーマットのパケットとを含む、ステップと、
MPEG−H  3D  Audio  Coreデコーダにより、前記メインストリームに関連付けられたパケットに基づき、オーディオデータを生成するステップと、
フォーマット変換ユニットにより、前記補助ストリームに関連付けられたパケットにカプセル化された追加オーディオデータに対して、パケットタイプの識別に基づき、フォーマット変換を実行するステップであって、前記パケットは、前記パケットのヘッダにカプセル化された新しいMHASパケットタイプのものである、ステップと、
サンプルレート変換器により、前記パケットにカプセル化された前記追加オーディオデータのサンプルレートを変換するステップと、
任意的に、前記サンプルレート変換器により出力された前記オーディオデータを、標準化されたMPEG−H  3D  Audio  Coreデコーダにより生成されたオーディオデータとミキシングするステップと、
を含む方法。
【請求項２０】
前記方法は、前記メインストリームへの前記補助ストリームの時間オフセットの指示を受信するステップを更に含む、請求項19に記載の方法。
【請求項２１】
ISO/IEC23008−3に従うパケットタイプと異なる別の新しいパケットタイプは時間オフセットシグナリングを運ぶために定義され、前記時間オフセットを運ぶMHASパケットは、該パケットの参照する前記追加オーディオデータを運ぶMHASパケットと同じパケトラベル番号を割り当てられている、請求項20に記載の方法。
【請求項２２】
前記方法は、前記補助ストリームの前記メインストリームとのミキシングに関する情報を受信するステップ、を更に含む請求項19に記載の方法。
【請求項２３】
前記ミキシングに関する情報は、前記追加オーディオデータの利得調整を実行するための静的利得または動的利得のうちの少なくとも一方に関連する、請求項22に記載の方法。
【請求項２４】
MPEG−H  3DAデコーダにおいて、メインストリームに関連付けられたISO/IEC23008−3に従うMHASフォーマットのパケットと、補助ストリームに関連付けられたISO/IEC23008−3に従うパケットタイプと異なる前記MHASフォーマットのパケットと、を含む統合パケット化メディアビットストリームを受信するステップと、
MPEG−H  3D  Audio  Coreデコーダにより、前記メインストリームに関連付けられたパケットに基づき、オーディオデータを生成するステップと、
追加デコーダにより、パケットのヘッダにカプセル化されたパケットタイプを識別するステップであって、前記パケットタイプは、パケットペイロードのフォーマットを示す新しいMHASパケットタイプである、ステップと、
これらのパケットに含まれる追加オーディオデータを復号するステップであって、復号処理はMPEG−H  3D  Audioにおいて標準化されていない、ステップと、
フォーマット変換ユニットにより、前記追加オーディオデータに対してフォーマット変換を実行するステップと、
サンプルレート変換器により、前記追加オーディオデータのサンプルレートを変換するステップと、
任意的に、前記サンプルレート変換器により出力された前記オーディオデータと、前記標準化されたMPEG−H  3D  Audio  Coreデコーダにより生成された前記オーディオデータとをミキシングするステップと、
を含む方法。
【請求項２５】
前記方法は、前記メインストリームへの前記補助ストリームの時間オフセットの指示を受信するステップを更に含む、請求項24に記載の方法。
【請求項２６】
ISO/IEC23008−3に従うパケットタイプと異なる別の新しいパケットタイプは時間オフセットシグナリングを運ぶために定義され、前記時間オフセットシグナリングを運ぶMHASパケットは、該パケットの参照する追加オーディオデータを運ぶMHASパケットｔｐ同じパケトラベル番号を割り当てられている、請求項25に記載の方法。
【請求項２７】
前記方法は、前記補助ストリームの前記メインストリームとのミキシングに関する情報を受信するステップ、を更に含む請求項24に記載の方法。
【請求項２８】
前記ミキシングに関する情報は、前記追加オーディオデータの利得調整を実行するための静的利得または動的利得のうちの少なくとも一方に関連する、請求項27に記載の方法。
【国際調査報告】
2021515448.tif 000013
2021515448.tif 000014
2021515448.tif 000015