(57)【特許請求の範囲】
【請求項１】
符号化オーディオ・データ（３）及び前記符号化オーディオ・データ（３）に関連するメタデータ（４）を受信するレシーバ・インターフェイス（２）と、
オーディオ・データのマニピュレーション可能性を決定するために前記メタデータ（４）を解析するメタデータ・パーサ（５）と、
インタラクション入力（７）を受信し、且つ前記オーディオ・データのマニピュレーション可能性に関連するインタラクション制御データ（８）を、前記インタラクション入力（７）から、生成するインタラクション・インターフェイス（６）と、
前記インタラクション制御データ（８）並びに前記符号化オーディオ・データ（３）及び前記メタデータ（４）を取得し、且つ出力データ・ストリーム（１０）を生成するデータ・ストリーム・ジェネレータ（９）であって、前記出力データ・ストリーム（１０）は、前記符号化オーディオ・データ（３）、前記メタデータ（４）、及び前記インタラクション制御データ（８）を含む、データ・ストリーム・ジェネレータ（９）と、
を備える、オーディオ・データ処理装置（１）であって、
前記データ・ストリーム・ジェネレータ（９）は、前記出力データストリーム（１０）を生成するために前記符号化オーディオ・データ（３）を復号せずに前記レシーバ・インターフェイス（２）によって受信される前記符号化オーディオ・データ（３）及び前記メタデータ（４）を備える入力データ・ストリーム（１５）を処理する、又は、前記出力データ・ストリーム（１０）において変更なしに前記符号化オーディオ・データ（３）及び前記メタデータ（４）の少なくとも一部をコピーするように構成され、且つ
前記出力データ・ストリーム（１０）において追加データ部としてインタラクション制御データ（８）を埋め込むように構成される、オーディオ・データ処理装置。
【請求項２】
前記符号化オーディオ・データ（３）は、別個の符号化オーディオ・オブジェクト（１１，１２）を備え、前記メタデータ（４）の少なくとも一部（１３，１４）は、対応するオーディオ・オブジェクト（１１，１２）に関連し、
前記メタデータ・パーサ（５）は、少なくとも１つのオーディオ・オブジェクト（１１）に対して、前記オブジェクトのマニピュレーション可能性を決定するために、前記符号化オーディオ・オブジェクト（１１，１２）に対応する前記一部（１３，１４）を解析するように構成され、
前記インタラクション・インターフェイス（６）は、前記少なくとも１つの符号化オーディオ・オブジェクト（１１）に対して、前記少なくとも１つの符号化オーディオ・オブジェクト（１１）に関連する前記インタラクション入力（７）から前記インタラクション制御データ（８）を生成するように構成される、請求項１に記載のオーディオ・データ処理装置。
【請求項３】
前記インタラクション・インターフェイス（６）は、前記メタデータ・パーサ（５）によって前記メタデータ（４）から導出される前記オーディオ・データのマニピュレーション可能性をユーザーのために提案するように、且つ前記データのマニピュレーション可能性の具体的なデータのマニピュレーションに関するユーザー入力（７）を、前記ユーザーから受信するように構成される、請求項１又は請求項２に記載のオーディオ・データ処理装置。
【請求項４】
前記インタラクション・インターフェイス（６）は、前記インタラクション制御データ（８）が変更されたメタデータ値によって又は前記メタデータ（４）に関連するマニピュレーションの量によって表現されるように、前記インタラクション制御データ（８）を生成するように構成される、請求項１ないし請求項３のいずれかに記載のオーディオ・データ処理装置。
【請求項５】
前記データ・ストリーム・ジェネレータ（９）は、前記出力データ・ストリーム（１０）において、前記メタデータ（４）と同じフォーマットで、前記インタラクション制御データ（８）を生成するように構成される、請求項１ないし請求項４のいずれかに記載のオーディオ・データ処理装置。
【請求項６】
前記データ・ストリーム・ジェネレータ（９）は、前記出力データ・ストリーム（１０）における識別子を、前記インタラクション制御データ（８）に、関連付けるように構成され、前記識別子は、前記メタデータ（４）に関連付けられる識別子と異なる、請求項１ないし請求項５のいずれかに記載のオーディオ・データ処理装置。
【請求項７】
前記データ・ストリーム・ジェネレータ（９）は、前記インタラクション制御データ（８）に、署名データを追加するように構成され、前記署名データは、オーディオ・データのマニピュレーションを実行する、又は前記インタラクション入力を提供する、アプリケーション、装置又はユーザーに関する情報を示す、請求項１ないし請求項６のいずれかに記載の１つのオーディオ・データ処理装置。
【請求項８】
前記メタデータ・パーサ（５）は、前記符号化オーディオ・データ（３）によって表現される１つ以上のオーディオ・オブジェクト（１１，１２）についての無効化可能性を識別するように構成され、
前記インタラクション・インターフェイス（６）は、前記１つ以上のオーディオ・オブジェクト（１１，１２）に対して無効化情報を受信するために構成され、且つ
前記データ・ストリーム・ジェネレータ（９）は、前記１つ以上のオーディオ・オブジェクト（１１，１２）を前記インタラクション制御データ（８）において無効化されたものとしてマークするために構成される、請求項１ないし請求項７のいずれかに記載のオーディオ・データ処理装置。
【請求項９】
前記データ・ストリーム・ジェネレータ（９）は、前記出力データ・ストリーム（１０）を動的に生成するように構成され、新しいインタラクション入力（７）に応答して、前記インタラクション制御データ（８）が前記新しいインタラクション入力（７）に合致するように更新され、且つ前記データ・ストリーム・ジェネレータ（９）は、前記出力データ・ストリーム（１０）において更新された前記インタラクション制御データ（８）を含むように構成される、請求項１ないし請求項８のいずれかに記載のオーディオ・データ処理装置。
【請求項１０】
前記レシーバ・インターフェイス（２）は、前記符号化オーディオ・データ（３）及び前記符号化オーディオ・データ（３）に関連するメタデータ（４）を含むメイン・オーディオ・データ・ストリーム（１５）を受信し、且つ任意のオーディオ・オブジェクト（１７）を含む任意のオーディオ・データ（１６）をさらに受信するように構成され、前記任意のオーディオ・オブジェクト（１７）に関連する前記メタデータ（４）は、前記メイン・オーディオ・データ・ストリーム（１５）に含まれる、請求項１ないし請求項９のいずれかに記載のオーディオ・データ処理装置。
【請求項１１】
前記メタデータ・パーサ（５）は、前記符号化オーディオ・データ（３）において含まれない任意のオーディオ・オブジェクト（１７）のために前記オーディオのマニピュレーション可能性を決定するように構成され、
前記インタラクション・インターフェイス（６）は、前記任意のオーディオ・オブジェクト（１７）のためのインタラクション入力（７）を受信するように構成され、且つ
前記レシーバ・インターフェイス（２）は、オーディオ・データ・プロバイダ（３５）から前記任意のオーディオ・オブジェクト（１７）のためのオーディオ・データ（１６）を要求する、又はブロードキャスト・ストリーム（３６）又はインターネット・プロトコル接続（３７）において含まれる異なるサブストリームから前記任意のオーディオ・オブジェクト（１７）のための前記オーディオ・データ（１６）を受信するように構成される、請求項１ないし請求項１０のいずれかに記載のオーディオ・データ処理装置。
【請求項１２】
前記データ・ストリーム・ジェネレータ（９）は、前記出力データ・ストリーム（１０）において、前記インタラクション制御データ（８）に更なるパケット・タイプを割り当てるように構成され、前記更なるパケット・タイプは、前記符号化オーディオ・データ（３）及び前記メタデータ（４）のためのパケット・タイプと異なる、又は
前記データ・ストリーム・ジェネレータ（９）は、前記出力データ・ストリーム（１０）へと、フィル・データ・パケット・タイプにおいてフィル・データ（１８）を追加するように構成され、フィル・データ（１８）の量は、前記オーディオ・データ処理装置の出力インターフェイスによって決定されるデータ・レート要求に基づいて決定される、請求項１ないし請求項１１のいずれかに記載のオーディオ・データ処理装置。
【請求項１３】
処理されているが、それでもまだ符号化された、前記オーディオ・データを第１の装置から受信してオーディオ・データを復号するように構成される第２の装置（２８）とは別個の第１の別個の装置（１９）として実装され、前記レシーバ・インターフェイス（２）は、有線（２１）又は無線（２２）接続を介して前記第１の別個の装置（１９）への入力（２０）を形成し、前記オーディオ・データ処理装置（１）は、前記データ・ストリーム・ジェネレータ（９）に接続された出力インターフェイス（２３）をさらに備え、前記出力インターフェイス（２３）は、前記出力データ・ストリーム（１０）を出力するために構成され、前記出力インターフェイス（２３）は、前記第１の別個の装置（１９）の出力を実行し、且つ無線インターフェイス（２４）又は有線コネクタ（２５）を備える、請求項１ないし請求項１２のいずれかに記載のオーディオ・データ処理装置。
【請求項１４】
オーディオ・データを処理する方法であって、前記方法は、
符号化オーディオ・データ（３）及び前記符号化オーディオ・データ（３）に関連するメタデータ（４）を受信するステップと、
オーディオ・データのマニピュレーション可能性を決定するために前記メタデータ（４）を解析するステップと、
インタラクション入力（７）を受信し、且つ前記インタラクション入力（７）から、前記オーディオ・データのマニピュレーション可能性に関連するインタラクション制御データ（８）を生成するステップと、
前記インタラクション制御データ（８）並びに前記符号化オーディオ・データ（３）及び前記メタデータ（４）を取得し、且つ前記符号化オーディオ・データ（３）、前記メタデータ（４）の少なくとも一部、及び前記インタラクション制御データ（８）を備える出力データ・ストリーム（１０）を生成するステップと、
前記出力データストリーム（１０）を生成するために前記符号化オーディオ・データ（３）を復号せずに前記符号化オーディオ・データ（３）及び前記メタデータ（４）を備える入力データ・ストリーム（１５）を処理するステップ、又は前記出力データ・ストリーム（１０）において変更なしに前記符号化オーディオ・データ（３）及び前記メタデータ（４）の少なくとも一部をコピーするステップと、
前記出力データ・ストリーム（１０）において追加データ部としてインタラクション制御データ（８）を埋め込むステップと、を備える、オーディオ・データを処理する方法。
【請求項１５】
コンピューター又は処理装置で動作する場合、請求項１４のオーディオ・データを処理する方法を実行する、コンピューター・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、請求項１に係るオーディオ・データ処理装置、請求項１４に係るオーディオ・データを処理する方法、及びオーディオ・データを処理するステップの前記方法を実行する請求項１５に係るコンピューター・プログラムに関する。
【背景技術】
【０００２】
家庭での家庭用電化製品（ＣＥ）の設備において、機能性は、標準化されたインターフェイスを介して接続される幾つかの装置に広がる。さらに、（高品質な）機器は、１つの単独の装置だけでなく、高性能な複数の単独の装置も（セット−トップ・ボックス、ＴＶ−セット、ＡＶＲ−レシーバを考慮して）利用可能であるように、しばしば構築される。これらの装置は、標準化されたインターフェイス（例えばＨＤＭＩ（登録商標）など）を介して通信する。
【０００３】
第１の装置が望ましいストリームを抽出し、且つユーザーのための全てのインターフェイスを提供する一方で、第２の装置は、ユーザーのための如何なるインターフェイスもなしに「スレーブ・モード」で復号するステップをしばしば実行する。ユーザー・インタラクション及びデコーダの制御ということになると、このシナリオにおいて装置＃１から装置＃２までこのユーザー情報を運ぶことが不可欠である。
【０００４】
例えば、図９において示されるように、テレビジョン・プログラムは、セット−トップ・ボックスのような第１の装置によってしばしば受信され、それは、適切な伝送チャンネルを選択し、且つ望ましいコード化されたエッセンスを含む関連性のある基本ストリームを抽出する。これらの抽出されたストリームは、再生のためのオーディオ−ビデオ−レシーバのような第２の装置へと入力され得る。これらの２つの装置の間での伝送は、復号された／復元された表現（ＰＣＭオーディオ）を伝送するステップ、又は符号化された表現、とりわけ、帯域幅の制限が用いられる相互接続線に適用される場合のどちらかによって達成され得る。
【０００５】
さらに、望ましいストリーム及び／又は任意にユーザー・インタラクションを選択するステップが、装置＃１（例えば、セット−トップ・ボックス）において達成されるように、殆どの場合において、この装置のみがユーザーのために制御インターフェイスを提供する。第２の装置（例えば、Ａ／Ｖレシーバ）は、システムをセット・アップするとき、ユーザーによって１回のみ通常はアクセスされ、且つ通常運転時に「スレーブ・モード」で振る舞うコンフィギュレーション・インターフェイスを提供するのみである。
【０００６】
現代的なオーディオ・コーデック体系は、オーディオ信号の符号化をサポートするだけでなく、オーディオ・プレイ−アウトを適用するためのユーザーの双方向性（ｉｎｔｅｒａｃｔｉｖｉｔｙ）、及びリスナーの好みのためのレンダリングのための手段を提供もする。オーディオ・データ・ストリームは、多くの符号化オーディオ信号、例えば、チャンネル信号又はオーディオ・オブジェクトから成り、且つこれらのオーディオ信号が拡声器のためにレンダーされるオーディオ・シーンを形成する方法を記述するメタ−データ情報を伴う。
【０００７】
オーディオ・オブジェクトの例は次の通りである。
・異なる言語での対話
・オーディオ描写のような追加の対話、又は
・音楽及びバックグラウンド効果
【０００８】
メタ−データ情報の例は次の通りである。
・オブジェクト信号それぞれのデフォルトのボリューム・レベル（即ち、音の大きさ、それは拡声器の表現のための混合信号へと混合されるべきである）
・デフォルトの空間的なポジション（即ち、レンダリングされるべき場所）
・ユーザー・インタラクションが空間的なオブジェクトのために可能にされる場合の情報、又は
・ユーザーがインタラクトすることを許す方法の情報、例えば、ユーザーがオブジェクトをリ−パン（ｒｅ−ｐａｎ）し得るポジションでの最大／最小のボリューム・レベル又は制限
・オーディオ・オブジェクトの分類及び／又は描写
【０００９】
ユーザーの双方向性を達成するために、オーディオ・デコーダ／レンダラー（例えば、装置＃２）は、望ましいユーザー・インタラクションのための制御情報のための追加の（入力又はインタラクション）インターフェイスを提供する必要がある。
【００１０】
復号及びレンダリングが装置＃１においてでなく装置＃２において実装される場合、装置＃１においてオーディオ・オブジェクト選択のためのユーザー制御及びマニピュレーションを実装し、且つ装置＃２へとこのデータを入力することもまた代わりに望ましいことであり得る。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、そのようなデータの伝送は、既存の標準化された接続がユーザー制御データ及び／又はレンダラー情報の伝送をサポートしないという事実に起因して制限される。
【００１２】
代わりに、装置＃１のために上記で記述されたようなストリームの選択及びユーザー・インタラクション、並びに装置＃２のために上記で記述されたような復号は、同じ装置の中に、且つ両方のコンポーネントの間でのデータ伝送についての同じ制限で含まれる２つの別個の機能的なコンポーネントによって処理され得る。即ち、コード化されたデータ及びユーザー・インタラクション・データのための１つのみのインターフェイスが利用可能であり、好ましくは、装置＃１のインタラクション・インターフェイス、一方で、ユーザー・インタラクション・データのための第２のインターフェイス、即ち、装置＃２によって通常は提供されるインターフェイスが除外され得る。たとえ、装置＃１及び装置＃２の両方が同じ（ハードウェア）装置の中に含まれ又は実装されるとしても、これは、別個の装置＃１及び＃２の場合のために記述されたのと同じ状況に導く。
【００１３】
記述されたユース・ケースを達成するために、且つ上述した制限を克服するために、ユーザー制御情報データ、又は概してインタラクション・データを、符号化オーディオ・データ・ストリームへと、埋め込むことが提案される。
【００１４】
したがって、既存のオーディオ・データ処理装置を改良することが本発明の目的である。
【課題を解決するための手段】
【００１５】
概して、請求項１において定義されるように、第１の装置は、オーディオ・データ処理装置として構成され得、符号化オーディオ・データ及び符号化オーディオ・データに関連するメタデータを受信するレシーバ・インターフェイスと、オーディオ・データのマニピュレーション可能性を決定するためにメタデータを解析するメタデータ・パーサと、インタラクション入力を受信し、且つインタラクション入力から、オーディオ・データのマニピュレーション可能性に関連するインタラクション制御データを生成するインタラクション・インターフェイスと、インタラクション制御データ並びに符号化オーディオ・データ及びメタデータを取得し、且つ出力データ・ストリームを生成するデータ・ストリーム・ジェネレータと、を備え、出力データ・ストリームは、符号化オーディオ・データ、メタデータの少なくとも一部、及びインタラクション制御データを備える。他の好ましい実施形態は、包含される従属及び更なる独立請求項において定義される。
【００１６】
符号化オーディオ・データは、別個の符号化オーディオ・オブジェクトを備え得る。メタデータの少なくとも一部は、対応するオーディオ・オブジェクトに関連する。メタデータ・パーサは、少なくとも１つのオーディオ・オブジェクトに対して、オブジェクトのマニピュレーション可能性を決定するために、符号化オーディオ・オブジェクトに対応する部分を解析するように構成される。インタラクション・インターフェイスは、少なくとも１つの符号化オーディオ・オブジェクトに対して、少なくとも１つの符号化オーディオ・オブジェクトに関連するインタラクション入力からインタラクション制御データを生成するように構成される。それ故に、オーディオ・オブジェクトは、インタラクション制御データそれぞれを用いることによって、メタデータの中に保存されるこれらに対応するオブジェクトのマニピュレーション可能性の中で簡単に且つ直接的にマニピュレートされ得る。
【００１７】
インタラクション・インターフェイスは、メタデータ・パーサによってメタデータから導出されるオーディオ・データのマニピュレーション可能性をユーザーのために提案するように、且つデータのマニピュレーション可能性の具体的なマニピュレーションのデータに関するユーザー入力を、ユーザーから受信するように構成され得る。これは、ユーザーのためのユーザー・インターフェイスを、例えば、好ましくは外部的にデコーダからオーディオ・オブジェクトをマニピュレートする、本発明の装置とインタラクトするステップに提供する実用的な方法を実現化し得る。
【００１８】
データ・ストリーム・ジェネレータは、符号化オーディオ・データを復号せずにレシーバ・インターフェイスによって受信される符号化オーディオ・データ及びメタデータを備えるデータ・ストリームを処理するように、又は出力データ・ストリームにおいて変更なしに符号化オーディオ・データ及びメタデータの少なくとも一部をコピーするように構成され得る。データ・ストリーム・ジェネレータは、インタラクション制御データを含む追加のデータ部を出力データ・ストリームにおいて符号化オーディオ・データ及び／又はメタデータに追加するように構成される。これは、オーディオ・データ処理装置がオーディオ信号を復号する必要がないため、軽減された複雑さの利点を提供する。それは、メタ−データを解析し、且つそれを符号化オーディオ・データ・ストリームのメタ−データ部に書き戻すことのみが必要である。
【００１９】
データ・ストリーム・ジェネレータは、出力データ・ストリームにおいて、メタデータと同じフォーマットで、インタラクション制御データを生成するように構成され得る。それ故に、如何なるインタラクション制御データも出力データ・ストリームへと有利に統合され得る。
【００２０】
データ・ストリーム・ジェネレータは、出力データ・ストリームにおける識別子を、インタラクション制御データに、関連付けるように構成され得、識別子は、メタデータに関連付けられる識別子と異なる。マニピュレートされたメタ−データのための異なる識別子を用いることの利点は、リモート・デコーダが、元のデータを受信するときにも受信されマニピュレートされたデータ・ストリームからインタラクションを識別することが可能であり得ることである。
【００２１】
データ・ストリーム・ジェネレータは、インタラクション制御データに、署名データを追加するように構成され得、署名データは、オーディオ・データのマニピュレーションなどのインタラクションを実行し又はユーザー入力を提供する、アプリケーション、装置又はユーザーに関する情報を示す。元の及びマニピュレートされたデータをトランスポートすることによって、メタ−データの初期化が可能である。メタデータにおける署名は、マニピュレーションの起源を追跡することを許す。
【００２２】
メタデータ・パーサは、符号化オーディオ・データによって表現される１つ以上のオーディオ・オブジェクトのために無効化可能性を識別するように構成され得、インタラクション・インターフェイスは、１つ以上のオーディオ・オブジェクトに対して無効化情報を受信するために構成され、且つデータ・ストリーム・ジェネレータは、インタラクション制御データにおいて無効化されたような１つ以上のオーディオ・オブジェクトを形成するために、又は符号化オーディオ・データから無効化された１つ以上のオーディオ・オブジェクトを取り除くために構成され、これは、出力データ・ストリームが無効化された１つ以上のオーディオ・オブジェクトのために符号化オーディオ・データを含まないためである。それ故に、データ・ストリームは、カレント・ビット・ストリームの総データ量が減じられ得るような、実際に又は現在、利用可能なそれらのオーディオ・オブジェクトに適用され得る。
【００２３】
データ・ストリーム・ジェネレータは、出力データ・ストリームを動的に生成するように構成され得る。新しいインタラクション入力に応答して、インタラクション制御データが新しいインタラクション入力に合致するように更新され、且つデータ・ストリーム・ジェネレータは、出力データ・ストリームにおいて更新されたインタラクション制御データを含むように構成される。それ故に、データ・ストリームは、リアル−タイム情報と共に送信され得る。言い換えると、如何なるオーディオ・オブジェクトの具体的な値に関するインタラクション入力も、迅速な手段で、好ましくはリアル−タイムで、更新され且つ処理され得る。
【００２４】
レシーバ・インターフェイスは、符号化オーディオ・データ及び符号化オーディオ・データに関連するメタデータを備えるメイン・オーディオ・データ・ストリームを受信するように、且つ任意のオーディオ・オブジェクトを備える任意のオーディオ・データをさらに受信するように構成され得る。上記した任意のオーディオ・オブジェクトに関連するメタデータは、上記したメイン・オーディオ・データ・ストリームに含まれる。このコンフィギュレーションを用いて、オーディオ・データ処理装置は、データ・ストリーム・ジェネレータによって生成された完全な出力オーディオ・データ・ストリームという結果になるメイン・オーディオ・データ・ストリームへと選択された任意のオーディオ・オブジェクトの符号化オーディオ・データをマージし得る。それ故に、任意のオーディオ・オブジェクトは、その後で又は要求に応じてユーザーにさらに提供され得る。
【００２５】
メタデータ・パーサは、符号化オーディオ・データにおいて含まれない欠落したオーディオ・オブジェクトのためにオーディオのマニピュレーション可能性を決定するように構成され得る。インタラクション・インターフェイスは、欠落したオーディオ・オブジェクトのためにインタラクション入力を受信するように構成される。且つ、レシーバ・インターフェイスは、オーディオ・データ・プロバイダから欠落したオーディオ・オブジェクトのためにオーディオ・データを要求するように、又はブロードキャスト・ストリーム又はインターネット・プロトコル接続において含まれる異なるサブストリームから欠落したオーディオ・オブジェクトのためにオーディオ・データを受信するように構成される。それ故に、装置又はユーザーは、予め、即ち実際に欠落するときに、任意に利用可能な追加のオーディオ・オブジェクトを、マニピュレートし得る。追加のオーディオ・オブジェクトは、そのとき、インターネット又は他のブロードキャスト・ストリームを介して後で要求され得る。
【００２６】
データ・ストリーム・ジェネレータは、出力データ・ストリームにおいて、インタラクション制御データに更なるパケット・タイプを割り当てるように構成され得、更なるパケット・タイプは、符号化オーディオ・データ及びメタデータのためのパケット・タイプと異なる。又は、データ・ストリーム・ジェネレータは、出力データ・ストリームへと、フィル・データ・パケット・タイプにおいてフィル・データを追加するように構成される。フィル・データの量は、オーディオ・データ処理装置の出力インターフェイスによって決定されるデータ・レート要求に基づいて決定される。それ故に、１つのみの更なるパケット・タイプは、マニピュレートされたメタ−データ又はインタラクション制御データのそれぞれのトランスポートを達成するために割り当てられる必要がある。加えて、オーディオ・データ処理装置は、そのリンクのために、与えられ、通常はより高いデータ・レート要求を満たす後のデータ伝送ストリームへと追加のフィル・データを追加することを望み得る。このフィル・データは、情報を含み得ず、且つデコーダによって無視されることが予期される。
【００２７】
オーディオ・データ処理装置は、別個の装置として実装され得る。レシーバ・インターフェイスは、有線又は無線接続を介して別個の装置への入力を形成し得る。オーディオ・データ処理装置は、データ・ストリーム・ジェネレータへと接続される出力インターフェイスをさらに備え得、出力インターフェイスは、出力データ・ストリームを出力するために構成される。出力インターフェイスは、装置の出力を実行し、且つ無線インターフェイス又は有線コネクタを備える。それ故に、単独の接続性は、例えば、ネットワークの中で、提供され得る。
【００２８】
本発明は、オーディオ・データを処理する方法によって、さらに実現化され得る。その方法は、符号化オーディオ・データ及び符号化オーディオ・データに関連するメタデータを受信するステップと、オーディオ・データのマニピュレーション可能性を決定するためにメタデータを解析するステップと、インタラクション入力を受信し、且つインタラクション入力から、オーディオ・データのマニピュレーション可能性に関連するインタラクション制御データを生成するステップと、インタラクション制御データ並びに符号化オーディオ・データ及びメタデータを取得し、且つ出力データ・ストリームを生成するステップと、を備え、出力データ・ストリームは、符号化オーディオ・データ、メタデータの少なくとも一部、及びインタラクション制御データを備える。
【００２９】
本発明は、コンピューター又は処理装置で動作する場合、オーディオ・データを処理するステップの前述の方法を実行するコンピューター・プログラムによってさらに実現化され得る。
【００３０】
本発明は、以下の実施形態によってさらに実現化され得る。
【００３１】
オーディオ・データのマニピュレーション可能性は、オブジェクト選択、幾つかの言語からの選択、任意の追加のオーディオ・オブジェクトの選択、オブジェクトのマニピュレーション、１つ以上のボリュームのボリュームの変更、中心のスピーカーから右側のスピーカー又は任意のポジションの中間で追加のコンメンタールを展開するようなオブジェクトのポジションの変更、別個にそれぞれのオブジェクトの選択及びマニピュレートの代わりに、プリセットの選択のうちの少なくとも１つを備えるグループから選択され得る。メタデータからプリセットが選択され、そこでプリセットは、具体的なアプリケーション又は具体的な使用シナリオのためにコンテンツ・クリエイターによって推奨されるオブジェクトの事前選択であり、そこでプリセットは、例えば、異なるボリューム・レベル、ポジション、及びデフォルトの表現と比較してラウドネスな／動的な範囲の圧縮データを伴うオブジェクトの組み合わせを含む。
【００３２】
データ・ストリーム・ジェネレータは、独立情報として又は依存情報としてインタラクション制御データを生成するように構成され得る。依存情報は、メタデータに依存し、且つ復号オーディオ・データに適用される場合、インタラクション入力によって定義されるデータのマニピュレーションにおいてメタデータと共に結果として生じる。
【００３３】
符号化オーディオ・データは任意のオーディオ・オブジェクトを備え得、且つメタデータは任意のオーディオ・オブジェクトのためのメタデータを備え得る。レシーバ・インターフェイスは、メイン・オーディオ・データを有するメイン・オーディオ・データ・ストリームをさらに受信するように構成され得る。データ・ストリーム・ジェネレータは、出力データ・ストリームを生成するように構成され得る。これは、出力データ・ストリームがメイン・オーディオ・データをさらに備えるためである。
【００３４】
データ・ストリーム・ジェネレータは、エラー保護データを出力データ・ストリームに追加するように、且つ更なるパケット・タイプをエラー保護データに割り当てるように構成され得る。データ・ストリーム・ジェネレータは、符号化オーディオ・データ、メタデータ又はインタラクション制御データからエラー保護データを導出するように構成される。
【００３５】
データ・ストリーム・ジェネレータは、ストリーミングのためのデータ・ストリームとして、又はＩＳＯ  ＭＰＥＧ−４ファイル・フォーマットのようなファイル・フォーマットにおけるコンテナに基づくファイルとして、出力データ・ストリームを生成するように構成され得る。
【００３６】
オーディオ・データ処理装置は、符号化オーディオ・データを復号する機能性を有さないことがさらに提案される。
【００３７】
オーディオ・データ処理装置は、セット・トップ・ボックス、テレビジョン・セット、又はオーディオ／ビデオ・レコーダ−レシーバにおいて実装され得る。
【００３８】
オーディオ・データ処理装置は、ＨＤＭＩ（登録商標）接続を介して更なる装置へと出力データ・ストリームを伝送する出力インターフェイスをさらに備え得る。
【００３９】
オーディオ・データ処理装置が提供もまたされ得、即ち、同じ（ハードウェア）装置の中でデコーダと共に、統合され又は実装され得る。例えば、オーディオ・データ処理装置及びデコーダは、ＴＶ、セット−トップ・ボックス、Ａ／Ｖレシーバ等の中で共に提供され得る。オーディオ・データ処理装置及びデコーダは、内部データ・バス構造を介して通信し得る。このようなコンフィギュレーションは、システム−オン−チップ（ＳｏＣ）解決策を備えるＴＶ装置において特に望まれ得る。
【００４０】
それに応じて又は代わりに、オーディオ・データ処理装置は、例えば内部データ・バスを用いて、出力インターフェイスが装置に対する接続内部でオーディオ・データ処理装置の出力を実行する相違のみで、別個の装置の場合のために上述した場合と同様の同じ装置において独立した及び別個の機能的なコンポーネントとして実装され得る。
【００４１】
上述した特徴に関して、本発明に係るオーディオ・データ処理装置は、好ましくは、既存の設備を用いて、単独の装置のセットアップを同時に提供するとき、簡単なインタラクションに装置又はユーザーを提供することができる。
【００４２】
さらにその上、本発明に係るオーディオ・データ処理装置は、オーディオ・ビットストリームの中で追加のインタラクション・データとして、装置のインタラクション又はユーザーのインタラクションを埋め込むことによって、上述した問題の解決策を提供する。上述した特徴を実装することによって、デコーダの実装は、符号化された表現データ及びインタラクション制御データの両方を取り込む１つのインターフェイスのみを必要とし得る。既に既存の相互接続が制御情報のために新しいチャンネルを実装する必要がないかもしれないが、実装の試みがコーデックそれ自体へと展開される。複雑なセットアップにおいて、インタラクション制御情報が、符号化エッセンスと密接に結び付けられ、且つ、したがって、幾つかの処理ステージを通して入力される場合に欠落し得ないことがさらに保証される。
【００４３】
本発明に係る実施形態の例は、図において示され、且つ以下において説明されるだろう。
【図面の簡単な説明】
【００４４】
【図１】図１は、本発明に係るオーディオ・データ処理装置を示す。
【図２】図２は、本発明に係るオーディオ・データを処理する方法を示す。
【図３】図３は、符号化オーディオ・データ及び関連するメタデータの一例を示す。
【図４】図４は、入力及び出力ストリームを処理するステップの一例を示す。
【図５】図５は、入力及び出力ストリームを処理するステップの更なる一例を示す。
【図６】図６は、任意のオーディオ・データを処理するオーディオ・データ処理装置を示す。
【図７】図７は、別個の装置において実装されるオーディオ・データ処理装置を示す。
【図８】図８は、第１の装置及び第２の装置を有する場合の模範的な使用を示す。
【図９】図９は、セット−トップ・ボックス及びオーディオ−ビデオ・レシーバを伴う模範的なシナリオを示す。
【発明を実施するための形態】
【００４５】
このドキュメント全体において、且つ特に以下の記述において、用語「インタラクション」は、一般のインタラクション、即ち、常識におけるインタラクションだけでなく、ユーザーによるインタラクション又は装置によるインタラクションの意味において用いられる。言い換えると、「インタラクション」は、「ユーザー・インタラクション」若しくは「装置インタラクション」又は一般のインタラクションを意味し得る。記述の特定の部分において、用語「ユーザー」及び「インタラクション」は、同義的に用いられる。例えば、ユーザー・インターフェイスは、インタラクション・インターフェイスの意味で同義的に用いられ得、且つ逆も然りである。
【００４６】
さらにその上、「ユーザー」は、人間のユーザー、又は（ハードウェア）装置若しくはソフトウェアで実装された装置のような機械ユーザーのどちらかであり得る。
【００４７】
さらに、ユーザー・インターフェイスは、装置として、データのマニピュレーションを制御し得る具体的なプリセット・コンフィグレーション（排他的又は追加的なユーザー入力）を提案され得る。
【００４８】
図１は、本発明に係るオーディオ・データ処理装置１を示す。オーディオ・データ処理装置１は、符号化オーディオ・データ３及びメタデータ４を備える符号化入力ストリーム１５を受信するレシーバ・インターフェイス２を備える。メタデータ４は、符号化オーディオ・データ３に関連し、その関連が矢印１１０によって示される。例えば、符号化オーディオ・データ３は、オーディオ・オブジェクトを含み得、一方で、メタデータ４は、上記したオーディオ・オブジェクトのマニピュレーション可能性についての固有の更なる情報を含み得る。
【００４９】
オーディオ・データ処理装置１は、オーディオ・データのマニピュレーション可能性を決定するためにメタデータ４を解析するメタデータ・パーサ５をさらに備える。例えば、調節可能なボリューム・レベル、調節可能な空間的なポジション又は選択可能な言語が、オーディオ・オブジェクトのオーディオ・データのマニピュレーション可能性を表現し得る。
【００５０】
さらにその上、オーディオ・データ処理装置１は、インタラクション入力７を受信するインタラクション・インターフェイス６を備える。インタラクション・インターフェイス６は、インタラクション入力７に基づくインタラクション制御データ８を生成するようにさらに構成される。上記したインタラクション制御データ８は、前述のオーディオ・データのマニピュレーション可能性に関連する。例えば、ユーザーは、オーディオ・オブジェクトのボリューム・レベル又は空間的なポジションを調節することによって、又はインタラクション・インターフェイス６を介して言語を選択することによって、装置とインタラクトし得る。この場合において、インタラクション・インターフェイス６は、ユーザーの選択に関連する対応するユーザー制御データ８を生成し得るユーザー・インターフェイス６である。
【００５１】
追加的に又は代替的に、インタラクション・インターフェイス６は、装置（具体的な）インタラクション・インターフェイス６であり得る。この場合において、装置のインタラクション・インターフェイス６は、装置のインタラクション入力７に基づく装置のインタラクション制御データ８を生成するように構成される。例えば、ヘッドホン等のような装置は、インタラクション・インターフェイス６に接続され得る。ヘッドホンとインタラクション・インターフェイス６との間の接続は、オーディオ処理装置によって検出され得、且つそれ故にインタラクション入力７としてみなされ得る。それ故に、ヘッドホンの接続で、インタラクション・インターフェイス６は、オーディオ・オブジェクトのマニピュレーション、例えば、ボリュームにおける自動的な軽減、予め選択された言語、又はハードウェア・コンフィギュレーションにおける調節等の、ヘッドホン固有のインタラクション制御データ８を提供する。
【００５２】
言い換えると、マニュアルのユーザー・インタラクションの代わりに、インタラクション・インターフェイス６は、自動的にオブジェクトを選択し、又は固有の装置の検出に基づき調節する。インタラクション・インターフェイス６は、装置固有のインタラクション制御データ８を生成する。
【００５３】
オーディオ・データ処理装置１は、データ・ストリーム・ジェネレータ９をさらに備える。データ・ストリーム・ジェネレータ９は、インタラクション制御データ８、符号化オーディオ・データ３及びメタデータ４を取得する。データ・ストリーム・ジェネレータ９は、前述したインタラクション制御データ８、符号化オーディオ・データ３及びメタデータ４を備える出力データ・ストリーム１０を生成するように構成される。
【００５４】
図２は、本発明に係るオーディオ・データを処理する対応する方法を示す。
【００５５】
ステップ２０１において、符号化オーディオ・データ３及び関連するメタデータ４が受信される。
【００５６】
ステップ２０２において、メタデータ４がオーディオ・データのマニピュレーション可能性を決定するために解析される。
【００５７】
ステップ２０３において、インタラクション入力が受信され、オーディオ・データのマニピュレーション可能性に関連するインタラクション制御データがステップ２０４において上記したインタラクション入力から生成される。
【００５８】
ステップ２０５において、インタラクション制御データ並びに符号化オーディオ・データ及びメタデータが取得され、且つ出力データ・ストリームが生成される。上記した出力データ・ストリームは、符号化オーディオ・データ、メタデータの少なくとも一部、及びインタラクション制御データを備える。
【００５９】
図３に関して、符号化オーディオ・データ３は、別個の符号化オーディオ・オブジェクト１１，１２を備える。さらにその上、メタデータ４の少なくとも一部１３，１４は、対応するオーディオ・オブジェクト１１，１２に関連する（矢印１１０，１２０によって示される）。例えば、メタデータ４の一部‘ＭＤ１’１３は、対応する符号化オーディオ・オブジェクト‘ＡＯ１’１１に関連し、一方で、メタデータ４の一部‘ＭＤ２’１４は、対応する符号化オーディオ・オブジェクト‘ＡＯ２’１２に関連する。
【００６０】
メタデータ・パーサ５は、上記したオーディオ・オブジェクト１１，１２の少なくとも１つのオブジェクトのマニピュレーション可能性を決定するために、符号化オーディオ・オブジェクト１１，１２に対して対応する部分１３，１４を解析するように構成される。言い換えると、メタデータ・パーサ５は、オーディオ・オブジェクト１１，１２それぞれに対してオーディオ・オブジェクトのマニピュレーション可能性を決定するために、オーディオ・オブジェクト１１，１２それぞれに対してメタデータ１３，１４を解析する。例えば、メタデータ・パーサ５は、オーディオ・オブジェクト‘ＡＯ１’１１が調節可能なボリューム・レベルを備え得ることを決定する。メタデータ・パーサ５は、ユーザー・インターフェイス６を介してユーザーのためにこの潜在的なボリューム・レベル調節機能（オーディオ・オブジェクトのマニピュレーション可能性）を提案し得る。
【００６１】
ユーザー・インターフェイス６は、少なくとも１つのオーディオ・オブジェクト１１，１２のために、少なくとも１つの符号化オーディオ・オブジェクト１１，１２に関連するユーザー入力７からユーザー制御データ８を生成するように構成される。例えば、ユーザーは、オーディオ・オブジェクト‘ＡＯ１’１１のボリューム・レベルを調節することが望まれ得、且つそれ故に、ユーザー・インターフェイス６を介して入力７それぞれを提供する。ユーザー・インターフェイス６は、どの程度まで、ユーザーがオーディオ・オブジェクト‘ＡＯ１’１１のボリューム・レベルを調節することが望むかという情報を含むユーザー制御データ８それぞれを生成する。
【００６２】
それに応じて、ユーザー・インターフェイス６は、メタデータ・パーサ５によってメタデータ４から導出されるオーディオ・オブジェクト１１，１２のオーディオ・オブジェクトのマニピュレーション可能性をユーザーに提案するように構成される。ユーザー・インターフェイス６は、データのマニピュレーション可能性（例えば、ボリューム・レベルの調節範囲又は利用可能な言語のセット）の具体的なデータのマニピュレーション（例えば、具体的なボリューム・レベル又は具体的な言語）に関して、ユーザーからユーザー入力７を受信するようにさらに構成される。
【００６３】
図１及び図９に関して、データ・ストリーム・ジェネレータ９は、符号化オーディオ・データ３を復号しないでレシーバ・インターフェイス２によって受信された符号化オーディオ・データ３及びメタデータ４を備えるデータ・ストリーム１５を処理するように構成される。例えば、本発明に係るオーディオ・データ処理装置１がセット−トップ・ボックス１９，２６において実装されるとすると、それは、デコーダを備える外部的なオーディオ−ビデオ・レシーバ２８，３３のために出力データ・ストリーム１０，３２を転送し得る。この場合において、出力データ・ストリーム１０，３２は、復号するステップがセット−トップ・ボックス１９，２６によってではなく、オーディオ−ビデオ・レシーバ２８，３３によって実施されるであろうとき、それでも符号化され得る。
【００６４】
代わりに、データ・ストリーム・ジェネレータ９は、出力データ・ストリーム１０において変更なしに符号化オーディオ・データ３及びメタデータ４をコピーするように構成される。
【００６５】
何れにせよ、データ・ストリーム・ジェネレータ９は、図４において見て取ることができるように、出力データ・ストリーム１０において符号化オーディオ・データ３及び／又はメタデータ４にインタラクション制御データ８を含む追加のデータ部を追加するように構成される。
【００６６】
図５に関して、データ・ストリーム・ジェネレータ９は、共通の出力ストリーム１０へと２つの入力ストリーム１５ａ，１５ｂをマージするようにさらに構成される。インタラクション制御データ８を含む追加のデータ部は、出力データ・ストリーム１０において符号化オーディオ・データ３及び／又はメタデータ４に追加される。
【００６７】
好ましくは、データ・ストリーム・ジェネレータ９は、出力データ・ストリーム１０において、メタデータ４と同じフォーマットでインタラクション制御データ８を生成するように構成される。それ故に、インタラクション制御データ８は、利用可能なメタデータ４と簡単に組み合わされ得る。
【００６８】
上述したように、データ・ストリーム・ジェネレータ９がメタデータ４をコピーした場合、元のメタ−データ４は、オーディオ・オブジェクト１１，１２それぞれのために追加のインタラクション制御データ８を含む如何なるマニピュレートされたメタ−データに加えて、出力データ・ストリーム１０において存続する。元の及びマニピュレートされたメタ−データの両方が、（ユーザー）インタラクションの結果としての相違を識別し、且つコンテンツ・クリエイターによって示されるようなデフォルト値に関する全ての情報を得ること、又は元のメタ−データ４及びマニピュレートされたメタ−データ４´（又はインタラクション制御データ８）から（ユーザー）インタラクションの結果を計算すること、のどちらかをデコーダ２８，３３に許すために、デコーダ２８，３３に送信され得る。
【００６９】
さらに、図１に関して、データ・ストリーム・ジェネレータ９は、出力データ・ストリーム１０を動的に生成するように構成される。ユーザー又は装置がインタラクション・インターフェイス６に新しいインタラクション入力７を提供するたびに、インタラクション制御データ８がそれに応じて上記した新しいインタラクション入力７を適合させるために更新される。データ・ストリーム・ジェネレータ９は、出力データ・ストリーム１０においてこの更新されたインタラクション制御データ８を含む。
【００７０】
図６は、本発明に係るオーディオ・データ処理装置１を示し、そこでは任意のオーディオ情報が処理される。見て取ることができるように、入力データ・ストリーム１５は、符号化オーディオ・データ３及び関連するメタデータ４を備えるメイン・オーディオ・データ・ストリームである。さらにその上、レシーバ・インターフェイス２は、任意のオーディオ・オブジェクト１７を備える任意のオーディオ・データ１６をさらに受信する。
【００７１】
しかしながら、上記した追加の任意のオーディオ・オブジェクト‘ＡＯｘ’１７に関連するメタデータ、即ち、上記した任意のオーディオ・オブジェクト‘ＡＯｘ’１７のマニピュレーション可能性に関しての情報は、メイン・オーディオ・データ・ストリーム１５において含まれる。それ故に、オーディオ・オブジェクト１７は、既知であり、提案せず、且つしたがって、任意である。
【００７２】
例えば、ユーザーは、ドラム、ストリングス及びピアノを含むオーケストラを聴く。管楽器が任意で含まれ得る。リスナーが管楽器を追加したいと直ちに願う場合、彼は、例えば、任意のオーディオ・オブジェクト１７としてトランペットなどの任意の管楽器を追加することによって、そのようにし得る。上記したトランペットのためのマニピュレーション可能性がメイン・オーディオ・データ・ストリーム１５のメタデータ４の中に既に含まれるように、ユーザーは、彼の願望にしたがって今や追加されたトランペットをマニピュレートする可能性を有する。
【００７３】
さらに、図６に関して、上記した追加のオーディオ・オブジェクト‘ＡＯｘ’１７は、符号化オーディオ・データ３及び／又はメタデータ４において含まれない欠落したオーディオ・オブジェクトであり得る。それ故に、オーディオ・オブジェクト１７は、既知ではなく、且つしたがって、欠落する。
【００７４】
この場合において、レシーバ・インターフェイス２は、オーディオ・データ・プロバイダ３５から上記した欠落したオーディオ・オブジェクト１７に属するオーディオ・データ１６を要求するように構成される。レシーバ・インターフェイス２は、ブロードキャスト・ストリーム３６において含まれる異なるサブストリームから上記したオーディオ・データ１６を受信するようにもまた構成される。レシーバ・インターフェイス２は、インターネット・プロトコル接続を介してインターネット３７から上記したオーディオ・データ１６を検索するようにさらに構成される。
【００７５】
例えば、映画を見るユーザーは、例えば、英語、ドイツ語及びフランス語を含む、言語の利用可能なセットから特定の言語を選択し得る。４番目の言語は、既知であり、提案しないが、且つしたがって欠落する。しかしながら、４番目の言語は、例えば、インターネットを介してその後に提供され得る。
【００７６】
図４及び図５について再び参照すると、入力データ・ストリーム１５及び出力データ・ストリーム１０は、パッケージ化された構造において概して利用可能であり得る。例えば、シリアル・インターフェイスに亘ってＭＰＥＧ−Ｈオーディオのトランスポートは、ＭＨＡＳトランスポート・シンタックス（Ｎ１４４５９（ＩＳＯ／ＩＥＣ  ２３００８−３  委員会草案テキスト）［１］のセクション１３を参照）によって定義される。このシンタックスは、パケット化された方法で定義される。
【００７７】
したがって、マニピュレートされたメタ−データ４又はインタラクション制御データ８のトランスポートを達成するために、１つのみの更なるパケット・タイプが新しい制御情報のために割り当てられる必要がある。
【００７８】
加えて、オーディオ・データ処理装置１を備える第１の装置‘装置＃１’１９は、そのリンクのために与えられ、通常はよりより一層高いデータ・レート要求を満たす後の伝送ストリーム１０へと追加のフィル・データ１８を追加することを望み得る。このフィル・データ１８は、情報を含み得ず、且つマニピュレートされた出力ストリーム１０を受信する第２の装置によって無視されると思われる。これを達成するために、更なるデータ・パケット・タイプが割り当てられ得る。
【００７９】
さらに、‘装置＃１’１９への着信ストリームのトランスポート層は自らのエラー保護を有し得るが、発信リンクがそのようなセキュリティ層を提供しないとき、装置＃１は、パリティ・チェック・データを含むデータ・パケットを追加し得る。これらは、追加のパケット・タイプとしてＭＨＡＳストリームに追加され得る。
【００８０】
さらに、トランスポート層がサイド情報として追加のデータを運び得るように、これらのデータ・パケットは、他のパケット・タイプのようにＭＨＡＳオーディオ・ストリームへともまたパケット化され得る。このデータのための例は、ＭＰＥＧ−２のトランスポート及びプログラム・ストリームにおける記述子である。
【００８１】
符号化オーディオ・データのストレージの他の例は、ＩＳＯ  ｍｐ４ファイル・フォーマットである。ストリーム・フォーマットと同様に、ファイル・フォーマットの場合、メタ−データをファイルに読み込み、マニピュレートし、且つ書き戻し、又は符号化オーディオ信号データを変更しないで元のメタ−データに加えてユーザー制御データを保存することもまた可能である。
【００８２】
参考文献
［１］ISO N14459 (ISO/IEC 23008-3 Committee Draft Text)
［２］IEC 60958-3: "Digital audio interface - Part 3: Consumer applications"
［３］IEC 61937-11, "Digital audio - Interface for non-linear PCM encoded audio bitstreams applying IEC 60958 - Part 11: MPEG-4 AAC and its extensions in LATM/LOAS"
【００８３】
図７を直ちに参照して、オーディオ・データ処理装置１は、別個の装置‘装置＃１’１９として実装される。上記した別個の装置１９において、レシーバ・インターフェイス２は、有線接続２１又は無線接続２２を介して別個の装置１９のために入力２０を形成する。
【００８４】
オーディオ・データ処理装置１は、データ・ストリーム・ジェネレータ９に接続され、且つ装置１９のために出力を提供する出力インターフェイス２３をさらに備える。さらに、出力インターフェイス２３は、無線インターフェイス２４又は有線接続２５を介して出力データ・ストリーム１０を出力するように構成される。
【００８５】
本発明を実行する更なる方法は、２つの別個の装置が利用可能であるシナリオにおける例の方法によって記述され得る。第１の装置‘装置＃１’は、本発明に係るオーディオ・データ処理装置を備える。第２の装置‘装置＃２’は、処理されるが、それでもまだ符号化された、上記したオーディオ・データを復号する‘装置＃１’からオーディオ・データを受信する。
【００８６】
図８及び９において見て取ることができるように、第１の装置１９，２６は、符号化オーディオ・データ３及び関連するメタデータ４を備える入力ストリーム１５を受信する。第１の装置１９，２６は、着信オーディオ・データ・ストリーム１５からメタ−データ情報４を読み込み、又はストリームをトランスポートし、且つ符号化オーディオ信号データ３をそのままにしておく。第１の装置１９，２６は、メタ−データ４を解析し、且つオブジェクトについての情報を、例えば、インタラクション・インターフェイス６において、メタ−データ４の一部であるオブジェクトのマニピュレーションについての制限を含む、アプリケーションへと提案する。アプリケーション又はインタラクション・インターフェイス６から、ユーザーは、オーディオ表現を彼の個人的な好みに適合するためにオブジェクトを選択し、且つマニピュレートし得る。
【００８７】
・オブジェクト選択：例えば、幾つかの言語から１つを選択し、任意の追加のオーディオ・オブジェクトを選択する等、
・オブジェクトのマニピュレーション：例えば、オブジェクトのボリュームの変更、中心のスピーカーから右側のスピーカー又は任意のポジションまでの間において追加のコンメンタールを展開させるようなオブジェクトのポジションの変更、
・プリセットの選択：別個にそれぞれのオブジェクトを選択すること及びマニピュレートすることの代わりに、ユーザーがメタ−データからプリセットを選択もまたし得る。
・プリセットは、具体的なアプリケーション又は使用シナリオのためにコンテンツ・クリエイターによって推奨されるオブジェクトの事前選択である。プリセットは、例えば、異なるボリューム・レベル、ポジション、及びデフォルトの表現と比較してラウドネスな／動的な範囲の圧縮データを伴うオブジェクトの組み合わせを含み得る。
【００８８】
次のステップにおいて、第１の装置１９，２６は、符号化オーディオ・データ・ストリーム１０，３２へとユーザーの双方向性（インタラクション制御データ８）についての情報を保存する。第１の装置１９，２６は、変更された値又はマニピュレーションの量、例えば、オフセット値及びマニピュレーション・ファクターのどちらかを、メタ−データ４又は符号化オーディオ・データ・ストリームの復号された一部に書き戻し得る。これは、第１の装置１９，２６の出力が再び有効な符号化オーディオ・ストリーム１０，３２であるためである。
【００８９】
第１の装置１９，２６は、マニピュレートされたメタ−データ又はユーザー制御データ８それぞれをカプセル化するために、異なる識別子、タグ又はパケット・タイプを用い得る。元のメタ−データ４は、マニピュレートされたメタ−データに加えて、出力ストリーム１０，３２において、そのままであり得る。異なる識別子、タグ又はパケット・タイプは、第２の装置２８，３３にメタ−データ４が以前にマニピュレートされたかどうかを識別することを可能にさせるために、マニピュレートされたメタ−データ又はインタラクション制御データ８のそれぞれために用いられる。元のメタ−データ４は、ユーザー又は装置のインタラクションの結果としてのの相違を識別し、且つコンテンツ・クリエイターによって示されるようなデフォルト値に関する全ての情報を得ること、又は元のメタ−データ４及びマニピュレートされたメタ−データ（又はユーザー制御データ８）からユーザー又は装置のインタラクションの結果を計算すること、のどちらかを第２の装置２８，３３に許すために、ストリーム１０，３２において、そのままである。
【００９０】
マニピュレートされたメタデータの一部として、署名データがメタ−データ４において埋め込まれ得る。署名は、メタデータ４をマニピュレートした、アプリケーション、装置又はユーザーについての情報を含み得る。
【００９１】
ユーザーによって選択されないオーディオ・オブジェクトは、メタ−データ４若しくはインタラクション制御データ８において無効化されるようにマークされ得るか、又は代替的にこれらのオブジェクトの符号化オーディオ部がオーディオ・ストリーム１０から取り除かれ得るかのどちらかである。
【００９２】
ユーザー又は装置の双方向性の処理は動的であり得、即ち、ユーザー又は装置が選択及びマニピュレーションのための設定を変更するたびに、第１の装置１９，２６は、これらの変更値を符号化オーディオ・データ・ストリーム１０のメタ−データ部４へと書き戻す。
【００９３】
第２の装置２８，３３が、（例えば、オーディオ・シーンをリスニング状況に適用する）自動化された処理、又は追加のインタラクション・インターフェイスのどちらかのために、メタ−データ４を追加的にマニピュレートすることもまた可能である。この場合において、第２の装置２８，３３は、マニピュレートされた値を符号化オーディオ・データ・ストリーム１０に書き戻し得、例えば、第１の装置１９，２６によって書かれる値を重ね書きする。
【００９４】
図６に戻って参照して、本発明を実行する更なる方法は、いわゆるハイブリッド・ユース・ケースにおける例の方法によって記述される。
【００９５】
選択された任意のオーディオ・オブジェクト１７の符号化オーディオ・データ３は、メイン・オーディオ・データ・ストリーム１５の一部だけであり得るだけでなく、他のトランスポート・チャンネルを用いて伝えられ得る。例えば、メイン・オーディオ・データ・ストリーム１５は、ブロードキャスト・チャンネルで伝えられ、一方で、任意のオーディオ・オブジェクト１７の符号化オーディオ・データ３は、ＩＰ接続３７に亘って要求に応じて伝えられる。
【００９６】
全てのオブジェクトのための完全なメタ−データ４は、メイン・オーディオ・データ・ストリーム１５において含まれる。これは、インタラクション及びオブジェクト選択のための全ての情報が第１の装置１９において利用可能であるためである。したがって、ストリーム１０のために、インタラクションの処理及びインタラクション制御データ８のストレージは、上述した場合と同一である。
【００９７】
ユーザーがオブジェクト１７を選択し、且つ符号化オーディオ・データ３がメイン・オーディオ・データ・ストリーム１５の一部でない場合、第１の装置１９は、メイン・オーディオ・データ・ストリーム１５、例えば、ブロードキャスト・ストリームの中の異なるサブ−ストリーム３６又はＩＰ接続３７よりも、異なるデータ接続で、このオブジェクト１７の符号化オーディオ・データ３を受信し得る。
【００９８】
次のステップにおいて、第１の装置１９は、第２の装置３３へとさらに伝えるために完全なオーディオ・データ・ストリーム１０という結果になるメイン・オーディオ・ストリーム１５へと選択されたオブジェクト１７の符号化オーディオ・データ３をマージする。
【００９９】
さらにその上、可能性は、ＭＰＥＧ−Ｈ整合ビットストリーム１０において埋め込まれたトランスポート・インタラクション・データ８に提案される。
【０１００】
図９において見て取ることができるように、先進的なマルチメディア・システムは、しばしば、１つの単独の装置において全ての望まれる機能を統合するだけでなく、例えば、セット−トップ・ボックス２６、ＴＶ−セット２７又はＡＶＲレシーバ２８のような特別な装置において異なる機能的なコンポーネントをむしろ実装する。これらの装置は、ＨＤＭＩ（登録商標）のような標準化されたインターフェイスを介して通信する。
【０１０１】
しかしながら、少なくともオーディオ・データ処理装置及びデコーダは、１つの単独の装置において統合されることもまた可能である。オーディオ・データ処理装置は、同じ（ハードウェア）装置の中でデコーダと共に提供され、即ち、統合され又は実装され得る。例えば、オーディオ・データ処理装置及びデコーダは、ＴＶ、セット−トップ・ボックス、Ａ／Ｖレシーバ等の中で共に提供され得る。オーディオ・データ処理装置及びデコーダは、内部データ・バス構造を介して通信し得る。そのようなコンフィギュレーションは、システム−オン−チップ（ＳｏＣ）解決策を備えるＴＶ装置において特に望まれ得る。
【０１０２】
追加的に又は代替的に、オーディオ・データ処理装置は、出力インターフェイスが、例えば、内部データ・バスを用いて、装置の内部への接続で、オーディオ・データ処理装置の出力を実行することのみ相違する、２つの別個の装置の場合のための上述した場合と同様の同じ装置において独立した及び別個の機能的なコンポーネントとして実装され得る。
【０１０３】
複数の関係する装置を伴うＭＰＥＧ−Ｈコンテンツ再生のための１つのユース−ケースは、テレビジョン・プログラムが、セット−トップ・ボックス（ＳＴＢ）２６のような第１の装置１９によって受信され、それは、適切な伝送チャンネルを選択し、且つ望ましいコード化されたエッセンスを含む関連性のある基本ストリームを抽出する。インタラクション、即ち、オーディオ・エレメント選択及びインタラクション／マニピュレーションのためのユーザー制御は、通常ここでも実装される。
【０１０４】
ＭＰＥＧ−Ｈデコーダ３１は、ＳＴＢ２６においてだけでなく、代わりにオーディオ−ビデオ−レシーバ（ＡＶＲ）２８において位置付けられ得る。このユース−ケースは、図９において描写される。
【０１０５】
この場合において、抽出されたストリームは、再生のためにＡＶＲ２８に入力される必要があり、これらの２つの装置２６，２８の間での伝送は、復号された／復元された表現（オーディオを伴うＰＣＭ）を伝送するステップ、又は、とりわけ、符号化された表現において、帯域幅の制限が用いられる相互接続線に適用される場合のどちらかによって達成され得る。
【０１０６】
ＡＶＲ２８は、システムをセットアップするとき、ユーザーによって１回のみ通常はアクセスされ、且つ通常運転時で「スレーブ・モード」で振る舞うコンフィグレーション・インターフェイスをそのとき提供するのみである。
【０１０７】
インタラクションがＳＴＢ（装置＃１）２６において生じ、且つ復号及びレンダーがＡＶＲ（装置＃２）２８において実装されるように、ＳＴＢ２６からＡＶＲ２８までのユーザーの双方向性の情報を送信することができることは不可避である。
【０１０８】
記述されたユース・ケースを達成するために、且つ上述した制限を克服するために、図８において見て取ることができるように、インタラクション情報データ８を、符号化オーディオ・データ・ストリーム１０へと、埋め込むことが提案される。
【０１０９】
第１の装置１９は、着信オーディオ・データ・ストリーム１５のmpegh3daConfig()から、又はＭＰＥＧ−２  ＴＳ記述子のような帯域外の信号を通して、メタ−データ情報４を読み込む。それは、そのとき、オーディオのエレメントのメタデータ４を解析し、且つメタデータ４の一部であるオブジェクト・マニピュレーションについての制限を含む、インタラクション・インターフェイス６におけるオブジェクトに関する情報を提案する。インタラクション・インターフェイス６から、ユーザーは、オーディオ表現を彼の個人的な好みに適合するために、オーディオのエレメントを選択し、且つマニピュレートし得る。「ユーザー・インタラクション・データ」は、オブジェクト選択及びマニピュレーションを記述する。
【０１１０】
次のステップにおいて、第１の装置１９は、新しいMHASPacketTypeを用いて、このデータをＭＨＡＳオーディオ・データ・ストリーム３２に書き込む。第１の装置１９の出力は、再び、有効な符号化オーディオ・ストリーム１０，３２である。mpegh3daConfig()における元のメタデータ４及び符号化オーディオ信号データ３は、修正されない。
【０１１１】
このMHASPacketTypeのパケットの存在は、第２の装置２８，３３に（ユーザー）インタラクションが生じたことを識別することを可能にする。元のメタデータ４は、第２の装置１０，３３に、コンテンツ・クリエイターによって示されるようなデフォルト値に関する全ての情報を得ることを許すために、ストリーム１０，３２においてそのままである。
【０１１２】
ユーザーによって選択されないオーディオのエレメントは、メタ−データ４において無効化されるようにマークされ得るか、又は代替的に、オブジェクトの符号化オーディオ部３がオーディオ・ストリーム１０から取り除かれ得るかのどちらかである。
【０１１３】
インタラクションの、即ち、装置又はユーザーのどちらかの双方向性の処理は、動的であり得、即ち、ユーザー又は装置が選択及びマニピュレーションのために設定を変更するたびに、第１の装置１９，２６は、それらの変更された値を符号化オーディオ・データ・ストリーム１０の特別な部分に書き戻す。
【０１１４】
ＭＨＡＳ拡張
【０１１５】
シリアル・インターフェイスに亘るＭＰＥＧ−Ｈオーディオのトランスポートは、ＭＨＡＳトランスポート・シンタックス（Ｎ１４４５９（ＩＳＯ／ＩＥＣ  ２３００８−３  委員会草案テキスト）［１］のセクション１３を参照）によって定義される。このシンタックスは、パケット化された方法で定義される。したがって、ユーザー・インタラクション・データのトランスポートを達成するために、１つだけの更なるパケット化されたタイプが新しい制御情報のために割り当てられる必要がある。
【０１１６】
【表１】
0006371416.tif 000002
【０１１７】
【表２】
0006371416.tif 000003
【０１１８】
PACTYP＿USERINTERACTION
MHASPacketTypeのPACTYP＿USERINTERACTIONは、エレメントのインタラクション・データをデコーダに入力するために用いられ得る。
【０１１９】
このパケット・タイプのために、MHASPacketLabelは、（ユーザー）インタラクション・データ８が言及する、MHASPacketTypeのPACTYP＿MPEGH3DACFGのパケットと同じ値を有する。
【０１２０】
シンタックス
ユーザー・インタラクションのためのインターフェイスからのシンタックスのエレメントmpegh3daElementInteraction()（［２］を参照）は、ビットストリーム１０において埋め込まれる（ユーザー）インタラクション・データ８を運ぶために再び用いられる。
【０１２１】
参考文献
［１］ISO/IEC JTC1/SC29/WG11 N14459, "Text of ISO/IEC 23008-3/CD, 3D audio"
［２］FhG, "Normative Interface for User Interaction", Input to the Meeting of AHG on 3D Audio, DRC and Audio Maintenance, June 2-3, 2014, Paris, France
【０１２２】
さらにその上、考えられるシンタックスは、ユーザーの双方向性のために標準のインターフェイスに提供される。
【０１２３】
レンダリング制御のためにインターフェイスから、インタラクション制御のためのインターフェイスを抽出するために提供される。mpegh3daAudioRendering()シンタックスのエレメントは、そのとき、レンダリング・パラメータを定義し、且つ新たに定義されたmpegh3daElementInteraction()シンタックスのエレメントが（ユーザー）インタラクションのために必要とされる情報を含む。
【０１２４】
mepegh3daElementInteraction()シンタックスのエレメントの定義
【０１２５】
mpegh3daElementInteraction()シンタックスのエレメントは、如何なる考えられる（ユーザー）インタラクションのためにもインターフェイスを提供する。２つのインタラクション・モードが定義される。
【０１２６】
最初の１つは、先進的なインタラクション・モードであり、そこではインタラクションがオーディオ・シーンにおいて提案されるエレメントのグループそれぞれのために信号を送られ得る。このモードは、ユーザーが、（与えられる範囲及び制限の中で）これらの全てと共にプレイバックし、且つインタラクトするために、そのグループを（スイッチ・グループの定義の制限の中で）自由に選択することを可能にする。
【０１２７】
第２のモードは、基本的なインタラクション・モードである。そこでは、ユーザーは、プリセットとして、（mae＿AudioSceneInfo()シンタックス・エレメントから、［１］の１４．２を参照）定義されるGroupPresetsの１つを選択し得る。選択されるGroupPresetsのコンディションにおいて言及されるグループのオン−オフ状態は、そのとき定義され、且つユーザーによって変更され得ない。ユーザーは、他のグループ及びポジションのオン−オフ状態、並びに定義される許容及び範囲に従う全てのグループのゲインを変更のみし得る。
【０１２８】
４つの異なるエレメント修正が区別される。
【０１２９】
−  Ｏｎ／Ｏｆｆ双方向性：エレメントのグループは、オン又はオフに切り替えられる。（編集後記：「オブジェクト変更」と以前呼ばれた［４］）
−  ポジション双方向性：エレメントのグループのポジションが変更される。（方位角、仰角及び距離、編集後記：「ポジション変更」と以前呼ばれた［４］）
−  ゲイン双方向性：エレメントのグループのレベル／ゲインが変更される。（編集後記：「ゲイン変更」と以前呼ばれた［４］）
−  ＷＩＲＥ双方向性：ＷＩＲＥ出力は、接続された拡声器に加えて、任意の出力である。グループのエレメントのオーディオ・コンテンツは、ＷＩＲＥ出力、例えば、聴覚障害者のためのコンテンツ又は追加の言語トラックへと送付される。
【０１３０】
全ての修正は、エレメント・レベルのグループで定義される。なぜなら、グループは、一緒にマニピュレートされるのみであるべき関連したエレメントを集めるからである。
【０１３１】
署名は、例えば、双方向性が発生した装置における信号に導入される。
【０１３２】
【表３ａ】
0006371416.tif 000004
【０１３３】
ei＿InteractionSignatureDataLength  このフィールドは、バイトにおいて次のインタラクション署名の長さを定義する。
ei＿InteractionSignatureDataType    このフィールドは、署名のタイプを定義する。次の値が可能である。
【０１３４】
mpegh3daElementInteraction()の更なる実施形態は、表３ｂにおいて示される。
【０１３５】
【表３ｂ】
0006371416.tif 000005
【０１３６】
【表４ａ】
0006371416.tif 000006
【０１３７】
ei＿InteractionSignatureData  このフィールドは、インタラクション・データの発信元を定義する署名を含む。
【０１３８】
ei＿InteractionSignatureDataTypeの更なる実施形態は、表４ｂにおいて示される。
【０１３９】
【表４ｂ】
0006371416.tif 000007
【０１４０】
ei＿InteractionSignatureData  このフィールドは、インタラクション・データの発信元を定義する署名を含む。
hasLocalZoomAreaSize          ローカル・ズーム・エリア・サイズについての情報が利用可能であるか否かを定義するフラグ。このフラグが有効にされる場合、ズーミングのためのオブジェクト再マッピングが適用される。
【０１４１】
【表５】
0006371416.tif 000008
【０１４２】
ei＿interactionMode  先進的なインタラクション・タイプ又は基本的なインタラクション・モードが選択されるか否かを定義するフラグ
ei＿numGroups        このフィールドは、オーディオ・シーンにおけるグループの数を含む。
ei＿groupPresetID    このフィールドは、オーディオ・シーンにおいて定義されるgroupPresetIDを含む。このＩＤは、ユーザーのプリセット選択を反映する。
【０１４３】
【表６ａ】
0006371416.tif 000009
【０１４４】
ei＿groupID         インタラクションが記述されるためのカレント・グループのためのGroupID
ei＿routeToWIRE     このフィールドは、グループのオーディオ・コンテンツがＷＩＲＥ出力へと送付されるべきであるか否かを定義する。
ei＿routeToWireID  グループが送付されるべきＷＩＲＥ出力のＩＤ
ei＿onOff           カレント・グループのｏｎ−ｏｆｆ状態を定義する。この場合において、基本的な双方向性モード（GroupPresetsに関するインタラクション）が選択され、このグループがei＿groupPrersetIDを伴う選択されたGroupPresetのコンディションの一部である場合、この値は、ei＿groupIDを有するグループの定義されたｏｎ−ｏｆｆ状態と同一であるべきである。基本的なインタラクション・モードのために、それは、ここでは異なるｏｎ−ｏｆｆ状態に信号を送ることを許さない。選択されたGroupPresetのコンディションの一部ではない全てのグループのｏｎ−ｏｆｆ状態、そのｏｎ−ｏｆｆ状態は、任意に信号を送られ得る。
ei＿changePosition  このフラグは、グループ・エレメントのポジションが変更されたか否かを定義する。
ei＿azOffset        方位角の変更がオフセットとして与えられる。このフィールドは、AzOffset＝−１８０°とAzOffset＝１８０°の間の値をとり得る。
AzOffset = 1.5・(ei＿azOffset - 128) 
AzOffset = min (max (AzOffset, -180), 180);
ei＿elOffset        方位角の変更がオフセットとして与えられる。このフィールドは、ElOffset＝−９０°とElOffset＝９０°の間で値をとり得る。
ElOffset = 3・(ei＿elOffset - 32)
ElOffset = min (max (ElOffset, -90), 90);
ei＿distFact        距離双方向性が増倍係数として与えられる。そのフィールドは、０．０００２５と８の間でDistFactorという結果をもたらす０〜１５の間で値をとり得る。
DistFactor=2((ei＿distFactorr-8)-4)
DistFactor = min( max (DistFactor, 0.00025),  8);
ei＿changeGain      このフラグは、グループ・エレメントのゲイン／レベルが変更されたか否かを定義する。
ei＿gain            このフィールドは、カレント・グループのメンバーの追加のゲインを定義する。そのフィールドは、１ｄＢステップにおいて、Gain＝−６３ｄＢとGain＝３１ｄＢの間でゲイン値を表現する０と１２７の間の値をと得、次を伴う。
Gain [dB] = ei＿gain - 64
Gain [dB] = min( max (Gain, -63),  31);
ei＿gainが０にセットされる場合、Gainは、マイナス無限大ｄＢにセットされるべきである。
【０１４５】
ei＿GroupInteractivityStatus()の更なる実施形態は、表６ｂにおいて示される。
【０１４６】
【表６ｂ】
0006371416.tif 000010
【０１４７】
インタラクション・データは、メタデータ・オーディオ・エレメント・フィールド（［１］の１４．２を参照）に従って定義される。メタデータ・オーディオ・エレメント定義において、ゲイン双方向性のための双方向性範囲はｄＢで与えられ、方位角及び仰角のための双方向性範囲は、最小及び最大のオフセット値（ここでと同じ決定を伴う：方位角が１．５°、且つ仰角が３°）として与えられ、且つ距離のための範囲は、増倍係数として与えられる。したがって、インターフェイスが同じ方法で定義される。
【０１４８】
ユーザー・インタラクションのために、全てのエレメント・グループのための全ての考えられる変更（ｏｎ／ｏｆｆ、ゲイン、ポジション、ＷＩＲＥ）は、インタラクション・タイプそれぞれ及びグループ又はエレメントそれぞれのためにシンタックス・エレメントの１つの繰り返しを用いる代わりに１つのElementInteraction()シンタックス・エレメントの中で信号を送られる。
【０１４９】
ＷＩＲＥ出力は、ｏｆｆに切り替えられるループのためにもまた定義される。なぜならば、そのときのみ、代替の言語トラックをＷＩＲＥ出力に送付することが可能であるためである。考えられる違反するスイッチ・グループ・ロジックは、デコーダにおいて取り扱われるべきである。
【０１５０】
［４］において以前提案されたコンテンツ・タイプ（チャンネル、オブジェクト、ＨＯＡ）がここでは取り除かれる。それは、groupIDによって既に暗に知られる。なぜならば、エレメントのグループそれぞれは、信号コンテンツ・タイプを定義し、且つシンタックス・エレメントSignals3d()において信号を送られるsignalGroupType（チャンネル、オブジェクト、ＳＡＯＣ、ＨＯＡ）を有するためである。
【０１５１】
GroupPresetsを介する基本的なインタラクション
基本的なインタラクション・モードがセットされた場合、ユーザーは、（ｗ１４４６４［７］において候補技術として提案される、mae＿AudioSceneInfo() groupCollectionシンタックス・エレメントから）定義されるGroupPresetsの１つを選択し得る。
【０１５２】
選択されたプリセットからの状態は、参照されたグループのｏｎ−ｏｆｆ状態を定義する。ユーザーは、これらのグループのためにｏｎ−ｏｆｆ状態を修正することが不可能であるべきである。
【０１５３】
シンタックス・エレメントei＿GroupInteractivityStatus［２］において対応するフィールドei＿onOffは、選択されるgroupPresetのコンディションにおいて参照される全てのグループのために選択されるgroupPresetにおけるコンディションを反映するべきである。
【０１５４】
全ての他のグループのｏｎ−ｏｆｆ状態は、ユーザーによって選択され得る。
【０１５５】
結論
この寄与は、ユーザー・インタラクションのためにインターフェイスのための定義を提案する。インターフェイス定義は、２つの異なるインタラクション・モード（基本的な及び先進的な）を許すことを提供される。それは、提案されるインターフェイスをＣＤに採用するために提案される。
【０１５６】
参考文献
［１］ISO/IEC JTC1/SC29/WG11 N14459, "Text of ISO/IEC 23008-3/CD, 3D audio"
［２］FhG, "Rendering Interfaces to MPEG-H and Unification of Loudspeaker Signaling", Input to the Meeting of AHG on 3D Audio, DRC and Audio Maintenance, June 2-3, 2014, Paris, France
［３］ISO/IEC JTC1/SC29/WG11 N14463, "Normative Interface for Binaural Data", April 2014, Valencia, Spain
［４］ISO/IEC JTC1/SC29/WG11 M33134, "3D Audio Decoder Interfaces", April 2014, Valencia, Spain (Input from Philips)
［５］ISO/IEC JTC1/SC29/WG11 M31427, "Thoughts on binaural parameterization of MPEG codecs", October 2013, Geneva, Switzerland (Input from Orange)
［６］ISO/IEC JTC1/SC29/WG11 M30249, "BRIR interface format: update and implementation", July 2013, Vienna, Austria (Input from Philips)
［７］ISO/IEC JTC1/SC29/WG11 N14464 "Candidate Technologies for 3D Audio"
【０１５７】
さらにその上、ＩＳＯ／ＩＥＣ  ２３００８−３  ＣＤ  テキスト［１］のセクション１３は、（リアル−タイム）ストリームにおいてＭＰＥＧ−Ｈ  ３Ｄのオーディオ・ペイロードをカプセル化するために用いられるＭＨＡＳシンタックスを定義する。このドキュメントに伴い、ＭＰＥＧ−２トランスポート・ストリームに加えて、他のトランスポート・システムにおけるＭＨＡＳの信頼性のある使用を可能にする追加の機能が提案される。
【０１５８】
フィルデータ
特定の伝送チャンネルは、一定の瞬間的なビットレートで作動され得るのみである。これを達成するために、フィル・データ・パケット・タイプは、特定の与えられるビットレートのためにＭＨＡＳストリームを満たすことが可能であるために提案される。
【０１５９】
ＣＲＣ
ＭＰＥＧ−２トランスポート・ストリーム層［２］は、カプセル化されたＭＨＡＳの基本ストリームを保護することに対処する。それ故に、伝送におけるデータ損失またはデータ破損が識別され得る。
【０１６０】
他方で、普通のシリアル・インターフェイス（例えば、ＡＥＳ／ＥＢＵ、Ｓ／ＰＤＩＦ、［３］，［４］，［５］）は、十分なエラー保護を提供しない。任意のＣＲＣパケット・タイプは、ＭＨＡＳがそのようなインターフェイスで用いられた場合、エラー検出を可能とすることを提案する。
【０１６１】
記述子カプセル化
ＭＨＡＳストリームは、ＭＰＥＧ−２トランスポート・ストリーム・エンコーダ／デコーダへと又はから符号化オーディオを運ぶために用いられる。それは、追加のＭＨＡＳパケット・タイプにおいて関連する記述子情報を運ぶために提案される。
【０１６２】
【表７】
0006371416.tif 000011
【０１６３】
【表８ａ】
0006371416.tif 000012
【０１６４】
MHASPacketTypeの更なる実施形態は、表８ｂにおいて示される。
【０１６５】
【表８ｂ】
0006371416.tif 000013
【０１６６】
mhasParity16Data  次の多項式及び０ｘＦＦＦＦのシフト・レジスタの初期状態を伴うデコーダにおいて１６のレジスタの０出力を生じるＣＲＣ値を含む１６ビット・フィールド
ｘ16＋ｘ15＋ｘ5＋１
mhasParity32Data  次の多項式及び０ｘＦＦＦＦＦＦＦＦのシフト・レジスタの初期状態を伴うデコーダにおいて３２のレジスタの０出力を生じるＣＲＣ値を含む３２ビット・フィールド
ｘ32＋ｘ26＋ｘ23＋ｘ22＋ｘ16＋ｘ12＋ｘ11＋ｘ10＋ｘ8＋ｘ7＋ｘ5＋ｘ4＋ｘ2＋ｘ＋１
mhas＿fill＿data＿byte  制限が適用されない、８ビットのデータ・エレメント
【０１６７】
ランダム・アクセス／即時のプレイアウト・メーカー
パケット・ペイロードの第１のmarker＿byteが「０ｘ０２」である場合、同一のMHASPacketLabelを伴うタイプPACTYP＿MPEG3DAFRAMEの次のパケットは、セクション５．５．５「オーディオ・プレ−ロール」において与えられる次の規則に符号化される。
【０１６８】
プログラム境界メーカー
パケット・ペイロードの第１のmarker＿byteが「０ｘ０３」である場合、プログラム境界は、時間内でこのポイントで生じ、且つ全ての次のパケットは、新しいプログラムに属する。
【０１６９】
PSCTYP＿CRC16及びPACTYP＿CRC32
MHASPacketTypeのPACTYP＿CRC16及びPACTYP＿CRC32は、同じ値にセットされるMHASPacketLabelを伴う先行するＭＨＡＳパケットにおいてエラーの検出のために用いられ得る。それは、そのＣＲＣ値が参照するＭＨＡＳパケットに直接に続くべきである。これは、ＭＨＡＳストリームが誤りがちなチャンネルに亘って運ばれる場合、有益であり得る。
【０１７０】
エラー検出方法は、mhasParity16Data又はmhasParity32Dataのそれぞれのために定義されるような多項式及び関連付けられるシフト・レジスタ状態のジェネレータの１つを用いる。
【０１７１】
ＣＲＣ−チェックに含められるビットは、後にmhasParity16Data又はmhasParity32Dataのワードのそれぞれが続く、関連するＭＨＡＳパケットのための完全なMHASPacketPayload()である。
【０１７２】
エラーがない場合において、シフト・レジスタの出力のそれぞれは、０であるべきである。ＣＲＣエンコーダで、mhasParity16Data／mhasParity32Dataフィールドは、これが保証されるように値を伴って符号化される。
【０１７３】
PACTYP＿FILLDATA
MHASPacketTypeのPACTYP＿FILLDATAは、瞬間的なビット−レートを調節するためにフィル・データを加える可能性を提供する。これは、一定のレートの伝送チャンネルを用いる特定のリアル−タイムのアプリケーションにおいて望ましくあり得る。
【０１７４】
このタイプのパケットが特定のペイロード・データに関連しないように、MHASPacketLabelが０にセットされる。
【０１７５】
デコーダがタイプPACTYP＿FILLDATAのパケットにおいて伝送されるデータを無視すると思われる。さらに、ＭＨＡＳストリームに先行する中間ツールは、ストリームからそのようなパケットを取り除くことを許す。
【０１７６】
それは、MHASPacketLengthを０にセットすることを許す。これは、２バイトの最小のパケット・サイズにおいて生じる。
【０１７７】
PACTYP＿DESCRIPTOR
PACTYP＿DESCRIPTORは、ＭＨＡＳストリームにおいてＭＰＥＧ−２  ＴＳ／ＰＳ記述子を埋め込むために用いられ得る。mhas＿descriptor＿data＿byteとして運ばれるデータは、ＩＳＯ／ＩＥＣ  １３８１８−１においてdescriptor()のために定義されるのと同じシンタックス及びセマンティックを有する。
【０１７８】
このパケット・タイプのために、且つTS＿program＿map＿section()（ＩＳＯ／ＩＥＣ  １３８１８−１を参照）における第１の記述子ループにおいて伝送される記述子のために、MHASPacketLabelが０にセットされる。このパケット・タイプのために、且つ１つの基本ストリーム（即ち、TS＿program＿map＿section()における第２の記述子ループ）に割り当てられる記述子のために、MHASPacketLabelは、関連付けられる基本ストリームからPACTYPE＿CONFIGと同じ値にセットされる。
【０１７９】
参考文献
［１］ISO/IEC JTC1/SC29/WG11 N14459, "Text of ISO/IEC 23008-3/CD, 3D audio"
［２］ISO/IEC 13818 1:2013, Information technology - Generic Coding of moving pictures and associated audio information: Systems
［３］IEC 60958-3: "Digital audio interface - Part 3: Consumer applications"
［４］IEC 61937-11, "Digital audio - Interface for non-linear PCM encoded audio bitstreams applying IEC 60958 - Part 11: MPEG-4 AAC and its extensions in LATM/LOAS"
［５］SMPTE 2041: Format for Non-PCM Audio and Data in AES-3 - MPEG-4 AAC and HE AAC Compressed Digital Audio in ADTS and LATM/LOAS Wrappers
【０１８０】
本発明は、ブロックが実在の又はロジカルなハードウェア・コンポーネントを表現するブロック図のコンテキストにおいて記述されたが、本発明は、コンピューター実装の方法によってもまた実装され得る。後者の場合において、ブロックは、これらのステップが対応するロジカルな又は物理的なハードウェア・ブロックによって実行される機能性のために有効である（ｓｔａｎｄ）対応する方法ステップを表現する。
【０１８１】
幾つかの態様が装置のコンテキストにおいて記述されたが、これらの態様は、ブロック又は装置が方法ステップ又は方法ステップの特徴に対応する、対応する方法の記述もまた表現することは明らかである。同様に、方法ステップのコンテキストにおいて記述される態様は、対応するブロックの記述子、又は対応する装置のアイテム若しくは特徴もまた表現する。方法ステップの幾つか又は全ては、例えば、マイクロプロセッサ、プログラマブル・コンピューター又は電子回路のようなハードウェア装置によって（又は用いて）実施され得る。幾つかの実施形態において、重要な方法ステップの１つ以上の幾つかがそのような装置によって実施され得る。
【０１８２】
本発明の伝送される又は符号化される信号は、デジタル記憶媒体で保存され得、又は無線伝送媒体若しくはインターネットのような有線伝送媒体のような伝送媒体で伝送され得る。
【０１８３】
特定の実装要求に依存して、本発明の実施形態は、ハードウェアにおいて又はソフトウェアにおいて実装され得る。その実装は、例えば、そこに保存された電子的に読み取り可能な制御信号を有し、方法それぞれが実行されるようなプログラマブル・コンピューター・システムと協働する（又は協働することが可能な）、フロッピーディスク、ＤＶＤ、Ｂｌｕ−Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ及びＥＰＲＯＭ、ＥＥＰＲＯＭ又はＦＬＡＳＨメモリなどのデジタル記憶媒体を用いて実行され得る。したがって、デジタル記憶媒体は、コンピューター読み取り可能であり得る。
【０１８４】
本発明に係る幾つかの実施形態は、電子的に読み取り可能な制御信号を有するデータ・キャリアを備え、それは、ここで記述された方法の１つを実行するような、プログラマブル・コンピューター・システムと協働することができる。
【０１８５】
一般に、本発明の実施形態は、プログラム・コードを伴うコンピューター・プログラム製品として実装され得、プログラム・コードは、コンピューター・プログラム製品がコンピューターで動作する場合、方法の１つを実行するために作動する。プログラム・コードは、例えば、機械読み取り可能なキャリアで保存され得る。
【０１８６】
他の実施形態は、機械読み取り可能なキャリアで保存され、ここで記述される方法の１つを実行するためのコンピューター・プログラムを備える。
【０１８７】
言い換えると、本発明の方法の一実施形態は、したがって、コンピューター・プログラムがコンピューターで動作する場合、ここで記述された方法の１つを実行するためのプログラム・コードを有するコンピューター・プログラムである。
【０１８８】
本発明の方法の更なる実施形態は、したがって、そこに記録された、ここで記述された方法の１つを実行するためのコンピューター・プログラムを備えるデータ・キャリア（又はデジタル記憶媒体のような非一時的な記憶媒体、又はコンピューター読み取り可能な媒体）である。データ・キャリア、デジタル記憶媒体又は記録された媒体は、典型的に有形及び／又は非一時的である。
【０１８９】
本発明の方法の更なる実施形態は、したがって、ここで記述された方法の１つを実行するためにコンピューター・プログラムを表現する信号のデータ・ストリーム又はシーケンスである。信号のデータ・ストリーム又はシーケンスは、例えば、データ通信接続を介して、例えば、インターネットを介して、伝達されるように構成され得る。
【０１９０】
更なる実施形態は、ここで記述される方法の１つを実行するように構成される又は適用される、例えば、コンピューター又はプログラマブル論理装置などの処理手段を備える。
【０１９１】
更なる実施形態は、ここで記述された方法の１つを実行するためにそこにインストールされたコンピューター・プログラムを有するコンピューターを備える。
【０１９２】
本発明に係る更なる実施形態は、レシーバのためにここで記述された方法の１つを実行するためのコンピューター・プログラムを（例えば、電子的に又は光学的に）転送するように構成される装置又はシステムを備える。レシーバは、例えば、コンピューター、モバイル装置、メモリ装置などであり得る。装置又はシステムは、例えば、コンピューター・プログラムをレシーバに転送するためのファイル・サーバーを備え得る。
【０１９３】
幾つかの実施形態において、プログラマブル論理装置（例えば、フィールド・プログラマブル・ゲート・アレイ）は、ここで記述された方法の機能性の幾つか又は全てを実行するために用いられ得る。幾つかの実施形態において、フィールド・プログラマブル・ゲート・アレイは、ここで記述された方法の１つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、如何なるハードウェア装置によっても好ましく実行される。
【０１９４】
上述した実施形態は、本発明の原理のための単なる実例である。ここで記述された配置及び詳細の修正及びバリエーションが他の当業者にとって明らかであろうことが理解される。それは、したがって、差し迫った特許請求の範囲によってのみ制限され、且つここでの実施形態の記述及び説明の方法によって提案された具体的な詳細によっては制限されないことを意図する。
【図１】
0006371416.tif 000014
【図２】
0006371416.tif 000015
【図３】
0006371416.tif 000016
【図４】
0006371416.tif 000017
【図５】
0006371416.tif 000018
【図６】
0006371416.tif 000019
【図７】
0006371416.tif 000020
【図８】
0006371416.tif 000021
【図９】
0006371416.tif 000022