(57)【特許請求の範囲】
【請求項１】
複数の個々のオーディオビジュアルデータストリームを有するオーディオビジュアルコンテンツアイテムデータストリームを生成する方法であって、
前記複数の個々のオーディオビジュアルデータストリームは、オーディオビジュアルコンテンツアイテムのためのオーディオビジュアル成分を有し、
各オーディオビジュアルデータストリームは、少なくとも１つのオーディオビジュアル成分を表すエンコードされたデータ及び同期化データを有し、
当該方法は、
前記オーディオビジュアルコンテンツアイテムのためのオーディオ表現のための第１のオーディオデータを有する第１のオーディオビジュアルデータストリームを生成するステップであって、前記第１のオーディオデータは、前記オーディオ表現のための必須オーディオデータと前記オーディオ表現のための交換可能なオーディオデータとを有し、前記交換可能なオーディオデータは、代替オーディオデータにより交換可能なデータである、ステップと、
前記オーディオビジュアルコンテンツアイテムデータストリームに前記第１のオーディオビジュアルデータストリームを含めるステップとを有する、方法。
【請求項２】
前記第１のオーディオビジュアルデータストリームに前記代替オーディオデータを含めるステップを更に有する、請求項１に記載の方法。
【請求項３】
前記第１のオーディオビジュアルデータストリームに前記代替オーディオデータを含めるステップは、前記第１のオーディオビジュアルデータストリームとは異なる、前記複数の個々のオーディオビジュアルデータストリームの異なるオーディオビジュアルデータストリームに前記代替オーディオデータを含めることを有する、請求項２に記載の方法。
【請求項４】
前記交換可能なオーディオデータは、第１の言語におけるスピーチオーディオ成分を表し、前記代替オーディオデータは、第２の言語におけるスピーチオーディオ成分を表す、請求項１に記載の方法。
【請求項５】
前記必須のオーディオデータは、バックグラウンドオーディオ成分を表し、前記交換可能なオーディオデータは、スピーチオーディオ成分を表す、請求項１に記載の方法。
【請求項６】
前記交換可能なオーディオデータ及び前記代替オーディオデータは、異なるエンコーディング特性を用いてエンコードされた同じオーディオコンテンツを表す、請求項１に記載の方法。
【請求項７】
前記オーディオビジュアルコンテンツアイテムデータストリームにレンダリング制御データを含めるステップを更に有し、
前記レンダリング制御データは、前記代替オーディオデータを用いたレンダリングとは異なる、前記交換可能なオーディオデータを用いたレンダリングのための異なるレンダリングパラメータを与える、請求項１に記載の方法。
【請求項８】
交換可能なオーディオデータを有する前記第１のオーディオビジュアルデータストリームの前記オーディオビジュアルコンテンツアイテムデータストリームに指標を含めるステップを更に有する、請求項１に記載の方法。
【請求項９】
前記オーディオビジュアルコンテンツアイテムデータストリームに前記交換可能なオーディオデータのための抽出データを含めるステップを更に有する、請求項１に記載の方法。
【請求項１０】
コンテンツアイテムマップテーブルを生成するステップであって、コンテンツアイテムのための前記コンテンツアイテムマップテーブルは、前記コンテンツアイテムに関連するオーディオビジュアルデータストリームのためのデータパケットのためのオーディオビジュアルデータストリームパケット識別子のリストを有する、ステップと、
前記オーディオビジュアルコンテンツアイテムデータストリームに前記コンテンツアイテムマップテーブルを含めるステップとを有し、
前記コンテンツアイテムマップテーブルを生成するステップは、前記複数の個々のオーディオビジュアルデータストリームのうちの少なくとも２つのセットのためのコンテンツアイテムのための共通のデータストリームパケット識別子を含むよう前記コンテンツアイテムマップテーブルを生成するステップを有する、請求項１に記載の方法。
【請求項１１】
前記コンテンツアイテムマップテーブルを生成するステップは、前記コンテンツアイテムマップテーブルにおけるコンテンツアイテムのための１つのオーディオビジュアルデータストリームパケット識別子だけを含めるステップを有する、請求項１０に記載の方法。
【請求項１２】
前記コンテンツアイテムマップテーブルを生成するステップは、前記共通のデータストリームパケット識別子のために、複数の二次パケット識別子を含めるステップを有し、
各二次パケット識別子は、前記複数の個々のオーディオビジュアルデータストリームのうちの少なくとも２つのセットの個々のオーディオビジュアルデータストリームを識別する、請求項１０に記載の方法。
【請求項１３】
前記オーディオビジュアルデータストリームのうち少なくとも１つの第２のオーディオデータのためのオーディオデータ処理記述子を生成するステップであって、前記オーディオデータ処理記述子は、前記第２のオーディオデータが指定された代替オーディオデータであるか又は追加のオーディオデータであるかを示す、ステップを更に有する、請求項１０に記載の方法。
【請求項１４】
コンテンツアイテムマップテーブルを生成するステップを更に有し、
コンテンツアイテムのための前記コンテンツアイテムマップテーブルは、前記コンテンツアイテムに関連するオーディオビジュアルデータストリームのためのデータパケットのためのオーディオビジュアルデータストリームパケット識別子のリストを有し、
前記コンテンツアイテムマップテーブルを生成するステップは、前記オーディオデータ処理記述子を含めるよう前記コンテンツアイテムマップテーブルを生成するステップを有する、請求項１３に記載の方法。
【請求項１５】
オーディオビジュアルコンテンツアイテムのためのオーディオ信号を生成する方法であって、
複数の個々のオーディオビジュアルデータストリームを有するオーディオビジュアルコンテンツアイテムデータストリームを受信するステップを有し、
前記複数の個々のオーディオビジュアルデータストリームは、オーディオビジュアルコンテンツアイテムのためのオーディオビジュアル成分を有し、
各オーディオビジュアルデータストリームは、少なくとも１つのオーディオビジュアル成分及び同期化データを表すエンコードされたデータを有し、
前記オーディオビジュアルコンテンツアイテムデータストリームは、前記オーディオビジュアルコンテンツアイテムのためのオーディオ表現のための第１のオーディオデータを有する第１のオーディオビジュアルデータストリームを有し、
前記第１のオーディオデータは、前記オーディオ表現のための必須のオーディオデータと前記表現のための交換可能なオーディオデータとを有し、
当該方法は、
前記第１のオーディオデータから前記必須のオーディオデータを抽出するステップと、
代替オーディオデータを取り出すステップと、
前記交換可能なオーディオデータを前記代替オーディオデータにより置換するステップと、
前記必須のオーディオデータ及び前記代替オーディオデータからオーディオ信号を生成するステップとを更に有する、方法。
【請求項１６】
複数のオーディオビジュアルデータストリームを有する第２のオーディオビジュアルコンテンツアイテムデータストリームを受信するステップを更に有し、
前記複数のオーディオビジュアルデータストリームは、オーディオビジュアル成分を有し、
前記の取り出しは、前記第２のオーディオビジュアルコンテンツアイテムデータストリームのオーディオビジュアルデータストリームから前記代替オーディオデータを取り出すステップを有する、請求項１５に記載の方法。
【請求項１７】
前記オーディオ信号を生成するステップは、
第１のデコードされたオーディオ信号を生成するために第１のオーディオデコーダにおいて前記必須のオーディオデータをデコードするステップと、
第２のデコードされたオーディオ信号を生成するために第２のオーディオデコーダにおいて前記代替オーディオデータをデコードするステップと、
少なくとも前記第１のデコードされたオーディオ信号と前記第２のデコードされたオーディオ信号とを組み合わせることに基づいて前記オーディオ信号を生成するステップとを有する、請求項１５に記載の方法。
【請求項１８】
前記オーディオビジュアルコンテンツアイテムデータストリームは、コンテンツアイテムマップテーブルを有し、
コンテンツアイテムのための前記コンテンツアイテムマップテーブルは、前記コンテンツアイテムに関連するオーディオビジュアルデータストリームのためのデータパケットのためのオーディオビジュアルデータストリームパケット識別子のリストを有し、
前記コンテンツアイテムマップテーブルは、前記複数の個々のオーディオビジュアルデータストリームのうち少なくとも２つのセットのための前記コンテンツアイテムのための共通のデータストリームパケット識別子を有し、
当該方法は、前記共通のデータストリームパケット識別子に基づいて前記コンテンツアイテムのためのオーディオデータを抽出するステップを更に有する、請求項１５に記載の方法。
【請求項１９】
前記コンテンツアイテムマップテーブルは、前記共通のデータストリームパケット識別子のための複数の二次パケット識別子を有し、
各二次パケット識別子は、前記複数の個々のオーディオビジュアルデータストリームのうちの少なくとも２つのセットの個々のオーディオビジュアルデータストリームを識別し、
前記のコンテンツアイテムのためのオーディオデータを抽出するステップは、前記二次パケット識別子に基づいて異なるオーディオ成分のためのオーディオデータを抽出するステップを有する、請求項１８に記載の方法。
【請求項２０】
複数の個々のオーディオビジュアルデータストリームを有するオーディオビジュアルコンテンツアイテムデータストリームを生成するための装置であって、
前記複数の個々のオーディオビジュアルデータストリームは、オーディオビジュアルコンテンツアイテムのためのオーディオビジュアル成分を有し、
各オーディオビジュアルデータストリームは、少なくとも１つのオーディオビジュアル成分及び同期化データを表すエンコードされたデータを有し、
当該装置は、
前記オーディオビジュアルコンテンツアイテムのためのオーディオ表現のための第１のオーディオデータを有する第１のオーディオビジュアルデータストリームを生成するための生成部であって、前記第１のオーディオデータは、前記オーディオ表現のための必須のオーディオデータと前記オーディオ表現のための交換可能なオーディオデータとを有し、前記交換可能なオーディオデータは、代替オーディオデータにより交換可能なデータである、生成部と、
前記オーディオビジュアルコンテンツアイテムデータストリームに前記第１のオーディオビジュアルデータストリームを含めるための組み合わせ部とを有する、装置。
【請求項２１】
オーディオビジュアルコンテンツアイテムのためのオーディオ信号を生成するための装置であって、
複数の個々のオーディオビジュアルデータストリームを有するオーディオビジュアルコンテンツアイテムデータストリームを受信するための受信部を有し、
前記複数の個々のオーディオビジュアルデータストリームは、オーディオビジュアルコンテンツアイテムのためのオーディオビジュアル成分を有し、
各オーディオビジュアルデータストリームは、少なくとも１つのオーディオビジュアル成分及び同期化データを表すエンコードされたデータを有し、
前記オーディオビジュアルコンテンツアイテムデータストリームは、前記オーディオビジュアルコンテンツアイテムのためのオーディオ表現のための第１のオーディオデータを有する第１のオーディオビジュアルデータストリームを有し、
前記第１のオーディオデータは、前記オーディオ表現のための必須のオーディオデータと前記オーディオ表現のための交換可能なオーディオデータとを有し、
当該装置は、
前記第１のオーディオデータから前記必須のオーディオデータを抽出するための抽出部と、
代替オーディオデータを取り出す取り出し部と、
前記交換可能なオーディオデータを前記代替オーディオデータにより置換するための置換部と、
前記必須のオーディオデータ及び前記代替オーディオデータから前記オーディオ信号を生成するための出力部とを有する、装置。
【請求項２２】
前記複数の個々のオーディオビジュアルデータストリームのオーディオデータから前記オーディオ信号を生成するためのオーディオデコーダを有し、
前記オーディオデコーダは、前記抽出部、前記取り出し部、前記置換部及び前記出力部を有し、
前記受信部は、前記オーディオビジュアルデータストリームのうち少なくとも１つの第２のオーディオデータのためのオーディオデータ処理記述子を生成し、第２のオーディオビジュアルデータストリームに前記オーディオデータ処理記述子を挿入し、前記第２のオーディオビジュアルデータストリームを前記オーディオデコーダに供給するように構成され、
前記オーディオデコーダは、前記第２のオーディオビジュアルデータストリームから前記オーディオデータ処理記述子を抽出するためのオーディオデータ処理記述子抽出部を更に有し、
前記オーディオデコーダは、前記オーディオデータ処理記述子に基づいて前記オーディオ信号を生成するように構成される、請求項２１に記載の装置。
【請求項２３】
前記オーディオデータ処理記述子は、前記第２のオーディオデータが前記交換可能なデータを置換するかどうかを示す、請求項２２に記載の装置。
【請求項２４】
前記オーディオデータ処理記述子は、前記第２のオーディオデータが指定された代替オーディオデータであるか又は追加のオーディオデータであるかを示し、
前記オーディオデコーダは、前記第２のオーディオデータが代替オーディオデータとして指定されることを前記オーディオデータ処理記述子が示す場合に前記第２のオーディオデータを代替オーディオデータとして取り出し、前記第２のオーディオデータが追加のオーディオデータとして指定されることを前記オーディオデータ処理記述子が示す場合に前記第２のオーディオデータを追加のオーディオデータとして取り出し、前記第２のオーディオデータが代替オーディオデータとして指定される場合に前記交換可能なオーディオデータを前記第２のオーディオデータにより置換するように構成され、
前記出力部は、前記第２のオーディオデータが追加のオーディオデータとして指定されることを前記オーディオデータ処理記述子が示す場合に、前記必須のオーディオデータ、前記第２のオーディオデータ及び前記交換可能なオーディオデータを組み合わせることにより前記オーディオ信号を生成するように構成される、請求項２２に記載の装置。
【請求項２５】
前記受信部は、前記オーディオビジュアルコンテンツアイテムデータストリームにおいて受信した第２のオーディオデータ処理記述子から前記オーディオデータ処理記述子を生成するように構成される、請求項２２に記載の装置。
【請求項２６】
前記受信部は、前記第２のオーディオデータ処理記述子を第２のオーディオビジュアルデータストリームにコピーするように構成される、請求項２５に記載の装置。
【請求項２７】
前記第２のオーディオデータ処理記述子は、コンテンツアイテムマップテーブルに含まれ、コンテンツアイテムのための前記コンテンツアイテムマップテーブルは、前記コンテンツアイテムに関連するオーディオビジュアルデータストリームのためのデータパケットのオーディオビジュアルデータストリームパケット識別子のリストを有する、請求項２５に記載の装置。
【請求項２８】
前記オーディオビジュアルコンテンツアイテムデータストリームは、前記第２のオーディオデータのための複数のオーディオデータ処理記述子を有し、
前記受信部は、前記複数のオーディオデータ処理記述子から前記第１のオーディオデータ処理記述子を選択するように構成される、請求項２２に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオビジュアルコンテンツアイテムデータストリームに関し、とりわけ、排他的ではないが、ＭＰＥＧ−２トランスポートストリームのようなオーディオビジュアルコンテンツアイテムデータストリームに関する。
【背景技術】
【０００２】
種々のソース信号のデジタルエンコーディングは、デジタル信号表現として最後の数十年に渡りますます重要になってきており、通信は、アナログ表現及び通信をますます置換してきた。例えば、モバイル通信のためのグローバルシステムのようなモバイル電話システムは、デジタルスピーチエンコーディングに基づいている。また、ビデオ及び音楽のようなメディアコンテンツの分配は、デジタルコンテンツエンコーディングにますます基づいている。
【０００３】
典型的に、オーディオビジュアルコンテンツアイテムは、多数の異なるオーディオビジュアル成分及びデータのタイプを有する。例えば、映画又はテレビ番組に対応するコンテンツアイテムは、少なくとも１つのビデオ信号成分、典型的には、複数の異なるオーディオ成分、制御データ、同期化データ、コンテンツを特徴付けるメタデータ等を含み得る。例えば、映画は、主なビデオ成分、第２のビデオ成分、（例えば異なる言語の）複数のオーディオトラック、字幕データ、例えば映画タイトル、主な俳優等を識別するメタデータを含み得る。故に、多くの場合、比較的大きな数の異なるデータ形式が、オーディオビジュアルコンテンツアイテムのための単一の組み合わせられたデータストリームに含まれることを必要とする。
【０００４】
異なるタイプのデータの範囲を含むオーディオビジュアルコンテンツアイテムの表現を収容するために、オーディオビジュアルコンテンツアイテムデータストリームが多くの場合生成され、これは、オーディオビジュアルコンテンツアイテムのためのオーディオビジュアル成分を供給する複数の（サブ）オーディオビジュアルデータストリームを有する。加えて、制御データ、メタデータ等を有するデータストリームが含まれ得る。
【０００５】
オーディオビジュアルコンテンツアイテムデータストリームは、コンテンツアイテムのレンダリングに関連する全てのデータを有し得る。オーディオビジュアルコンテンツアイテムデータストリームは、典型的には、トランスポートストリームと呼ばれ、又は、場合により、システムストリーム、プログラムストリーム若しくはコンテナストリームと呼ばれる。個々のオーディオビジュアルデータストリームは、典型的には、エレメンタリデータストリームと呼ばれる。
【０００６】
オーディオビジュアルコンテンツアイテムの効率的な表現を提供するために、効果的なデータ構造がオーディオビジュアルコンテンツアイテムデータストリームのために規定されることが重要である。各々がオーディオビジュアル成分を表す多数の分離したオーディオビジュアルデータストリームを有するデータ構造の使用は、フレキシブルであるが効率的なアプローチを提供する。このアプローチは、例えば、所与のビデオ成分のための異なるオーディオトラックのフレキシブルな包含を可能にし、例えば、異なる言語に対応するオーディオ信号は、異なるオーディオビジュアルデータストリームにおいて提供されてもよい。
【０００７】
オーディオビジュアルコンテンツアイテムデータストリームのための多数の異なる構造が規格化されている。オーディオビジュアルコンテンツアイテムデータストリームのために最も広範囲にわたる、及び、頻繁に用いられた構造のうちの１つは、例えばデジタルテレビジョン放送又はブルーレイのために用いられるＭＰＥＧ−２トランスポートストリームである。
【０００８】
ＭＰＥＧ−２トランスポートストリームは、データストリームが複数のシーケンシャル時間多重化データパケットで構成されるデータ構造の一例である。各データパケットは、オーディオビジュアルコンテンツアイテムの特定の成分のためのデータを提供し得る。
【０００９】
しかしながら、オーディオビジュアルコンテンツアイテムデータストリームのための従来のアプローチに関する問題は、データ構造が幾つかの目的に対して最適状態に及ばないということであり、とりわけ、最適なフレキシビリティを提供しない傾向にあることである。
【００１０】
例えば、ＭＰＥＧ−２トランスポートストリームのようなオーディオビジュアルコンテンツアイテムデータストリームは、異なるエレメンタリストリームにおいて供給されるべき異なるオーディオ表現を可能にすることにより、所与のシーンのための代替オーディオ表現をサポートする。そして、レシーバは、所望のオーディオトラックを提供するために、これらの代替エレメンタリストリームの間で選択し得る。例えば、ＭＰＥＧ−２トランスポートストリームは、各々がビデオ成分と同時にレンダリングされ得るオーディオ表現を供給する２つのエレメンタリストリームとともにビデオ成分を有するエレメンタリストリームを有し得る。例えば、一方のエレメンタリオーディオストリームは、元の言語におけるビデオ成分のオーディオを有し得る一方で、他方のエレメンタリオーディオストリームは、ビデオ成分のためのものであるが異なる言語において吹き替えられたスピーチをもつオーディオを有し得る。そして、デコーダ又はレンダリング装置は、適切なエレメンタリストリームを選択することにより、ビデオのための代替オーディオトラックを選択し得る。
【００１１】
しかしながら、斯様なアプローチは、オーディオのための最適なフレキシビリティを提供するものではなく、代替エレメンタリストリームにより供給されるパラレルオーディオ表現に起因して比較的高いデータレートをもたらす。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
従って、オーディオビジュアルコンテンツアイテムデータストリームのための改良されたアプローチを提供することが望ましいだろう。とりわけ、低減されたデータレート及び／又は追加のフレキシビリティを提供するアプローチが望ましいだろう。
【００１３】
しかしながら、重要なチャレンジは、既存のアプローチとの高度な共通性を維持しながら、斯様な強化がどのように可能であるかである。例えば、ＭＰＥＧ−２トランスポートストリームを更に強化することができることが望ましいが、斯様な強化は、好ましくは、可能な限り後方互換性を維持すべきである。オーディオビジュアルコンテンツアイテムデータストリームのためのアプローチを強化するために必要とされる考察は、どの追加のデータが提供されるべきか、どのようなあるいはどのフォーマットが提供されるべきかに限定されるものではない。むしろ、追加のチャレンジは、効率的なオーディオビジュアルコンテンツアイテムデータストリームを実現するだけでなく、効率的な動作及び好ましくは最適化された後方互換性をも可能にするために、斯様なデータがどのようにオーディオビジュアルコンテンツアイテムデータストリームに含まれるべきかを決定することにおいて存在する。
【００１４】
それ故、オーディオビジュアルコンテンツアイテムデータストリームのための改良されたアプローチが有利であるだろう。
【００１５】
従って、本発明は、好ましくは、前述した欠点のうち１又はそれ以上を単独で又は任意の組み合わせにおいて緩和、軽減又は除去しようとする。
【課題を解決するための手段】
【００１６】
本発明の一態様によれば、複数の個々のオーディオビジュアルデータストリームを有するオーディオビジュアルコンテンツアイテムデータストリームを生成する方法が提供され、前記複数の個々のオーディオビジュアルデータストリームは、オーディオビジュアルコンテンツアイテムのためのオーディオビジュアル成分を有し、各オーディオビジュアルデータストリームは、少なくとも１つのオーディオビジュアル成分を表すエンコードされたデータ及び同期化データを有し、当該方法は、前記オーディオビジュアルコンテンツアイテムのためのオーディオ表現のための第１のオーディオデータを有する第１のオーディオビジュアルデータストリームを生成するステップであって、前記第１のオーディオデータは、前記オーディオ表現のための必須オーディオデータと前記オーディオ表現のための交換可能なオーディオデータとを有し、前記交換可能なオーディオデータは、代替オーディオデータにより交換可能なデータである、ステップと、前記オーディオビジュアルコンテンツアイテムデータストリームに前記第１のオーディオビジュアルデータストリームを含めるステップとを有する。
【００１７】
本発明は、改良されたオーディオビジュアルコンテンツアイテムデータストリームを提供し得る。とりわけ、増大されたフレキシビリティ及び／又は低減されたデータレートを有するトランスポートストリームが多くのシナリオにおいて実現され得る。
【００１８】
代替オーディオのより効率的な供給は、多くのシナリオにおいて実現され得る。本アプローチは、典型的には、既存のトランスポートストリームに対する強化、又は、既存のトランスポートストリームの更なる発展として実装され得る一方で、比較的低いレベルの変更を要する。増大された後方互換性が、多くの場合、実現され得る。
【００１９】
特定の例として、本アプローチは、ＭＰＥＧ−２トランスポートストリームのようなトランスポートストリームの効率的な及び実用的な強化を可能にし得る。トランスポートストリームは、本アプローチ、及び、従来のＭＰＥＧ−２トランスポートストリームの全体的な設計理念を維持し得る一方で、これが代替オーディオ表現のよりフレキシブル及び効率的な表現を提供するために強化されるのを可能にする。
【００２０】
交換可能なオーディオデータは、代替オーディオデータに置換／交換／変更され得る。故に、トランスポートストリームは、コンテンツアイテムのための代替オーディオ表現を提供し、１つの代替は、例えば、必須のオーディオデータ及び交換可能なオーディオデータにより表されるデフォルト表現であり、他方は、必須のオーディオデータ及び代替オーディオデータにより表される代替表現である。
【００２１】
多くのシナリオにおいて、本方法は、多くの場合、第１のオーディオビジュアルデータストリームにおいて、又は、複数のオーディオビジュアルデータストリームの他のオーディオビジュアルコンテンツアイテムデータストリームにおいて、トランスポートストリームに代替オーディオデータを含めることを更に有してもよい。故に、代替オーディオデータは、複数の個々のオーディオビジュアルデータストリームのオーディオビジュアルデータストリームに含まれ得る。
【００２２】
必須のオーディオデータは、オーディオ表現のための必須のオーディオ成分を規定してもよい。交換可能なオーディオデータは、オーディオ表現のための交換可能なオーディオ成分を規定してもよい。代替オーディオデータは、オーディオ表現のための代替オーディオ成分を規定してもよい。
【００２３】
故に、第１のオーディオデータは、表現の必須のオーディオ成分のための必須のオーディオデータ及び表現のための交換可能なオーディオ成分のための交換可能なオーディオデータを有してもよく、交換可能なオーディオ成分は、代替オーディオ成分のための代替オーディオデータにより交換可能なオーディオ成分に置換され得るデータである。
【００２４】
交換可能なオーディオデータは、コンテンツアイテムのためのデフォルトオーディオトラックに対応してもよい。
【００２５】
トランスポートストリームは、コンテンツアイテムのための１又はそれ以上のオーディオ表現の指定を含んでもよい。オーディオ表現は、コンテンツアイテムのためのオーディオ出力を与えるのに充分であるオーディオ成分のセットに対応してもよい。従って、トランスポートストリームは、コンテンツアイテムのための少なくとも１つのオーディオサウンドトラック／表現を指定してもよい。多くの実施形態において、トランスポートストリームにおいて指定される（又は規定される）少なくとも１つのオーディオ表現は、複数のオーディオ成分を有し、少なくとも１つのオーディオ成分は必須のオーディオ成分であり、少なくとも１つのオーディオ成分は交換可能なオーディオ成分である。必須のオーディオ成分は、必須のオーディオデータにより表され、交換可能なオーディオ成分は、交換可能なオーディオデータにより表される。必須のオーディオ成分は、表現が選択されるコンテンツアイテムのためのオーディオ出力に含まれなければならない。しかしながら、レシーバがこの表現を選択するとき、交換可能なオーディオ成分は、含まれてもよく、又は、代替オーディオ成分に置換されてもよい。代替オーディオ成分は、多くの場合（常にではなく／必ずしもではなく）トランスポートストリーム自体に含まれる、代替オーディオデータにより表される。
【００２６】
従って、本アプローチにおいて、トランスポートストリームにおいて規定／特定／記述／指定されるオーディオ表現のためにオーディオデータは、少なくとも１つの必須のオーディオ成分のための必須のオーディオデータ、及び、少なくとも１つの交換可能なオーディオ成分のための交換可能なオーディオデータを有してもよい。トランスポートストリームで指定されたオーディオ表現が例えばレンダリングのために選択されるとき、必須のオーディオ成分は含まれなければならないのに対し、交換可能なオーディオ成分は、含まれなければならないか、又は、代替オーディオ成分により置換されなければならない。
【００２７】
コンテンツアイテムのためのオーディオ表現は、コンテンツアイテムのためのオーディオ提示／トラックを与えるのに充分なオーディオ成分のセットに対応してもよい。詳細には、コンテンツアイテムのためのオーディオ表現は、コンテンツアイテムのためのサウンドトラックを与えるのに十分なトランスポートストリームにおいて示されるオーディオ成分のセットに対応してもよい。コンテンツアイテムのためのオーディオ表現を与えるのに十分なトランスポートストリームにおいて規定されないオーディオ成分のセットは、少なくとも１つの他のオーディオ成分と組み合わせられない限り、オーディオ表現を形成しない。
【００２８】
故に、トランスポートストリームは、コンテンツアイテムのための１又はそれ以上のオーディオ表現を規定するデータを含んでもよい。必須のオーディオデータは、規定されたオーディオ表現の第１のオーディオ表現のために必須であってもよい。交換可能なオーディオデータは、代替オーディオデータにより置換されない限り、第１のオーディオ表現のために必要とされるオーディオデータを与える。トランスポートストリームは、場合により、コンテンツアイテムのための１つを超えるオーディオ表現を指定してもよい。この場合、必須のオーディオデータは、第２のオーディオ表現のために必須である必要はない。
【００２９】
データストリームは、例えば、別々のファイル又はファイルのセグメントに対応してもよい。
【００３０】
本発明のオプショナルな特徴によれば、本方法は、第１のオーディオビジュアルデータストリームに代替オーディオデータを含めるステップを更に有する。
【００３１】
これは、効率的及びフレキシブルなアプローチ及びオーディオビジュアルコンテンツアイテムデータストリームを提供し得る。とりわけ、多くのシナリオにおいて、これは、代替オーディオのための極めて効率的なデータ構造を与え得る。本アプローチは、例えば、幾つかの実施形態において動作を促進し得る、代替オーディオの改良されたグループ化を提供してもよい。
【００３２】
本発明のオプショナルな特徴によれば、第１のオーディオビジュアルデータストリームに代替オーディオデータを含めるステップは、第１のオーディオビジュアルデータストリームとは異なる、複数の個々のオーディオビジュアルデータストリームの異なるオーディオビジュアルデータストリームに代替オーディオデータを含めることを有する。
【００３３】
これは、効率的及びフレキシブルなアプローチ、並びに、効率的及びフレキシブルなオーディオビジュアルコンテンツアイテムデータストリームを提供し得る。とりわけ、多くのシナリオにおいて、これは、代替オーディオのための極めて効率的なデータ構造を提供し得る。本アプローチは、例えば、トランスポートストリームの生成を促進してもよく、及び／又は、そこからの所望のデータの抽出を促進してもよい。
【００３４】
幾つかの実施形態において、異なるオーディオビジュアルデータストリームは、オーディオシーンの代替オーディオ表現を提供してもよい。例えば、異なるオーディオビジュアルデータストリームは、コンテンツアイテムのためのオーディオ表現を与えるエレメンタリストリームとして、トランスポートストリームにおいて指定されてもよい。詳細には、これは、他のストリームのための任意のオーディオ成分を含めることなくコンテンツアイテムのためのオーディオ出力を生成するのに充分なオーディオ成分のセットのためのデータを有してもよい。
【００３５】
オーディオビジュアルコンテンツアイテムデータストリームは、トランスポートストリームであってもよく、第１のオーディオビジュアルデータストリームは、エレメンタリストリームであってもよい。
【００３６】
本アプローチは、多数の個々のエレメンタリストリームに基づく改良されたトランスポートストリームを提供してもよい。本アプローチは、コンテンツアイテムを表すためのフレキシブルであるが効率的な構造を与えてもよい。更に、これは、従来のシステムとの改良された後方互換性を可能にし得る。
【００３７】
本発明のオプショナルな特徴によれば、交換可能なオーディオデータは、第１の言語におけるスピーチオーディオ成分を表し、代替オーディオデータは、第２の言語におけるスピーチオーディオ成分を表す。
【００３８】
本アプローチは、所与のコンテンツアイテムのための複数の異なる／代替言語を提供するとりわけ効率的なアプローチを提供し得る。
【００３９】
本発明のオプショナルな特徴によれば、必須のオーディオデータは、バックグラウンドオーディオ成分を表し、交換可能なオーディオデータは、スピーチオーディオ成分を表す。
【００４０】
本アプローチは、バックグラウンドオーディオ及びスピーチオーディオのための区別されたサウンドを与えるとりわけ効率的なアプローチを提供してもよく、とりわけ、データレートを容認できないほど増大させることなく代替スピーチ成分のサポートを促進してもよい。
【００４１】
本発明のオプショナルな特徴によれば、交換可能なオーディオデータ及び代替オーディオデータは、異なるエンコーディング特性を用いてエンコードされた同じオーディオコンテンツを表す。
【００４２】
異なるエンコーディング特性は、例えば、異なるデータレート、異なるエンコーディングアルゴリズム等であってもよい。詳細には、幾つかの実施形態において、交換可能なオーディオデータ及び代替オーディオデータは、異なるビットレートのような、異なるエンコーディング特性によりエンコードされる同じオーディオコンテンツ又は成分を表してもよい。
【００４３】
本アプローチは、増大されたフレキシビリティを可能にしてもよく、詳細には、トランスポートストリームの特性のフレキシブルな適応を可能にしてもよい。更に、本アプローチは、トランスポートストリームが例えば中間システム又は実体により比較的容易に修正されるのを可能にしてもよい。
【００４４】
代替オーディオデータは、例えば、更なるサブオブジェクトを含み得るオーディオオブジェクトを表してもよい。
【００４５】
本発明のオプショナルな特徴によれば、本方法は、オーディオビジュアルコンテンツアイテムデータストリームにレンダリング制御データを含めるステップを更に有し、レンダリング制御データは、代替オーディオデータを用いたレンダリングとは異なる、交換可能なオーディオデータを用いたレンダリングのための異なるレンダリングパラメータを与える。
【００４６】
これは、コンテンツアイテムのためのオーディオの改良されたレンダリング及び／又は有利な機能を提供し得る。
【００４７】
本方法は、詳細には、オーディオビジュアルコンテンツアイテムデータストリームにレンダリング制御データを含めるステップを有してもよく、レンダリング制御データは、代替オーディオデータのレンダリングのためのものとは異なる、交換可能なオーディオデータのレンダリングのための異なるレンダリング設定を示す。
【００４８】
本発明のオプショナルな特徴によれば、本方法は、交換可能なオーディオデータを有する第１のオーディオビジュアルデータストリームのオーディオビジュアルコンテンツアイテムデータストリームに指標を含めるステップを更に有する。
【００４９】
これは、オーディオビジュアルコンテンツアイテムデータストリームを処理するレシーバの機能の効率的な適応を可能にし得る。
【００５０】
本発明のオプショナルな特徴によれば、本方法は、オーディオビジュアルコンテンツアイテムデータストリームに交換可能なオーディオデータのための抽出データを含めるステップを更に有する。
【００５１】
これは、オーディオビジュアルコンテンツアイテムデータストリームを処理するレシーバの機能の効率的な適応を可能にし得る。
【００５２】
本発明のオプショナルな特徴によれば、本方法は、コンテンツアイテムマップテーブルを生成するステップであって、コンテンツアイテムのための前記コンテンツアイテムマップテーブルは、前記コンテンツアイテムに関連するオーディオビジュアルデータストリームのためのデータパケットのためのオーディオビジュアルデータストリームパケット識別子のリストを有する、ステップと、前記オーディオビジュアルコンテンツアイテムデータストリームに前記コンテンツアイテムマップテーブルを含めるステップとを有し、前記コンテンツアイテムマップテーブルを生成するステップは、複数の個々のオーディオビジュアルデータストリームのうちの少なくとも２つのセットのためのコンテンツアイテムのための共通のデータストリームパケット識別子を含むよう前記コンテンツアイテムマップテーブルを生成するステップを有する。
【００５３】
これは、多くの実施形態において改良された及び／又は促進された動作を提供し得る。詳細には、これは、マルチプレクサ、データ抽出器等のような異なる機器により低減された複雑性で処理され得るようオーディオビジュアルコンテンツアイテムデータストリームが生成されるのを可能にし得る。
【００５４】
本発明のオプショナルな特徴によれば、コンテンツアイテムマップテーブルを生成するステップは、コンテンツアイテムマップテーブルにおけるコンテンツアイテムのための１つのオーディオビジュアルデータストリームパケット識別子だけを含めるステップを有する。
【００５５】
これは、多くの実施形態において、改良された及び／又は促進された動作を提供し得る。とりわけ、これは、単一のオーディオビジュアルデータストリームのみを含む場合のように、種々の機能が、オーディオビジュアルコンテンツアイテムデータストリームを処理するのを可能にし得る。
【００５６】
幾つかの実施形態において、コンテンツアイテムマップテーブルを生成するステップは、コンテンツアイテムマップテーブルにコンテンツアイテムのためのたった１つだけのオーディオオーディオビジュアルデータストリームパケット識別子を含めるステップを有する。
【００５７】
これは、多くの実施形態において改良された及び／又は促進された動作を提供してもよい。とりわけ、これは、単一のオーディオオーディオビジュアルデータストリームのみを含む場合のように、種々の機能が、オーディオビジュアルコンテンツアイテムデータストリームを処理するのを可能にし得る。
【００５８】
本発明のオプショナルな特徴によれば、コンテンツアイテムマップテーブルを生成するステップは、共通のデータストリームパケット識別子のために、複数の二次パケット識別子を含めるステップを有する。各二次パケット識別子は、複数の個々のオーディオビジュアルデータストリームのうちの少なくとも２つのセットの個々のオーディオビジュアルデータストリームを識別する。
【００５９】
これは、改良されたフレキシビリティ及び機能を提供し得る。例えば、これは、オーディオビジュアルデータストリームに対する効率的な選択及びアクセスを可能にし得る。一次及び二次パケット識別子は、幾つかの実施形態において、構造化された又は入れ子になったデータ構造に含まれてもよく、又は、他の実施形態において、例えば平坦な構造において提供されてもよく、例えば、一次及び二次パケット識別子は、単一のリストにおけるシーケンシャル入力として与えられる。
【００６０】
本発明のオプショナルな特徴によれば、本方法は、オーディオビジュアルデータストリームのうち少なくとも１つの第２のオーディオデータのためのオーディオデータ処理記述子を生成するステップであって、前記オーディオデータ処理記述子は、第２のオーディオデータが指定された代替オーディオデータであるか又は追加のオーディオデータであるかを示す、ステップと、前記オーディオビジュアルコンテンツアイテムデータストリームに前記コンテンツアイテムマップテーブルを含めるステップとを更に有する。
【００６１】
これは、改良された機能を提供し得る。とりわけ、オーディオデータがデコーダによりどれくらい異なって処理され得るかを示す効率的な手段を可能にし得る。
【００６２】
本発明のオプショナルな特徴によれば、本方法は、コンテンツアイテムマップテーブルを生成するステップを更に有し、コンテンツアイテムのための前記コンテンツアイテムマップテーブルは、前記コンテンツアイテムに関連するオーディオビジュアルデータストリームのためのデータパケットのためのオーディオビジュアルデータストリームパケット識別子のリストを有し、前記コンテンツアイテムマップテーブルを生成するステップは、前記オーディオデータ処理記述子を含めるよう前記コンテンツアイテムマップテーブルを生成するステップを有する。
【００６３】
これは、多くの実施形態において情報の特に有利な表現を提供し得る。
【００６４】
本発明の他の態様によれば、オーディオビジュアルコンテンツアイテムのためのオーディオ信号を生成する方法が提供される。当該方法は、複数の個々のオーディオビジュアルデータストリームを有するオーディオビジュアルコンテンツアイテムデータストリームを受信するステップを有し、前記複数の個々のオーディオビジュアルデータストリームは、オーディオビジュアルコンテンツアイテムのためのオーディオビジュアル成分を有し、各オーディオビジュアルデータストリームは、少なくとも１つのオーディオビジュアル成分及び同期化データを表すエンコードされたデータを有し、前記オーディオビジュアルコンテンツアイテムデータストリームは、前記オーディオビジュアルコンテンツアイテムのためのオーディオ表現のための第１のオーディオデータを有する第１のオーディオビジュアルデータストリームを有し、前記第１のオーディオデータは、前記オーディオ表現のための必須のオーディオデータと前記表現のための交換可能なオーディオデータとを有し、当該方法は、前記第１のオーディオデータから前記必須のオーディオデータを抽出するステップと、代替オーディオデータを取り出すステップと、前記交換可能なオーディオデータを前記代替オーディオデータにより置換するステップと、前記必須のオーディオデータ及び前記代替オーディオデータからオーディオ信号を生成するステップとを更に有する。
【００６５】
本発明は、コンテンツアイテムのためのオーディオの改良された生成を可能にし得る。典型的には、より効率的及び／又はフレキシブルな処理、通信又は機能が実現され得る。
【００６６】
より効率的な選択及び生成オーディオは、多くのシナリオにおいて実現され得る。
【００６７】
本アプローチは、多くの場合、改良された後方互換性を提供し得る。オーディオビジュアルコンテンツアイテムデータストリームの生成に関して前に与えられたコメントは、必要な変更を加えて、オーディオビジュアルコンテンツアイテムデータストリームの処理に同程度に適用することが理解されるだろう。
【００６８】
交換可能なオーディオデータの代替オーディオデータによる置換は、処理のための代替オーディオデータの選択及び交換可能なオーディオデータの選択解除（又は非選択）によるものであってもよい。幾つかの実施形態において、選択／選択解除は、交換可能なオーディオデータ及び代替オーディオデータに対応するオーディオ成分の選択／選択解除であってもよい。即ち、交換可能なオーディオデータ及び代替オーディオデータをそれぞれデコードすることにより生成される交換可能なオーディオ成分及び代替オーディオ成分の選択／選択解除によるものであってもよい。他の実施形態として、前記の置換は、例えば、データストリーム／ビットストリームにおいて、又は、メモリにおいて、交換可能なオーディオデータを代替オーディオデータにより上書きすることによるものであってもよい。
【００６９】
幾つかの実施形態において、本方法は、交換可能なオーディオデータ及び代替オーディオデータのうち１つだけを取り出すステップと、オーディオ信号を生成するために前記の取り出されたオーディオデータのみを用いるステップとを有してもよい。
【００７０】
幾つかの実施形態において、前記の取り出しは、第１のオーディオビジュアルデータストリームから代替オーディオデータを取り出すステップを有する。幾つかの実施形態において、前記の取り出しは、第１のオーディオビジュアルデータストリームとは異なる、複数の個々のオーディオビジュアルデータストリームの異なるオーディオビジュアルデータストリームから代替オーディオデータを取り出すステップを有する。
【００７１】
幾つかの実施形態において、前記の取り出しは、オーディオビジュアルコンテンツアイテムデータストリームとは異なるデータストリームから代替オーディオデータを取り出すステップを有する。
【００７２】
データストリームは、例えば、別々のファイル又はファイルのセグメントに対応してもよい。
【００７３】
本発明のオプショナルな特徴によれば、本方法は、複数のオーディオビジュアルデータストリームを有する第２のオーディオビジュアルコンテンツアイテムデータストリームを受信するステップを更に有し、前記複数のオーディオビジュアルデータストリームは、オーディオビジュアル成分を有し、前記の取り出しは、前記第２のオーディオビジュアルコンテンツアイテムデータストリームのオーディオビジュアルデータストリームから前記代替オーディオデータを取り出すステップを有する。
【００７４】
これは、多くの実施形態において有利な機能及び／又は動作を提供し得る。
【００７５】
本発明のオプショナルな特徴によれば、オーディオ信号を生成するステップは、第１のデコードされたオーディオ信号を生成するために第１のオーディオデコーダにおいて前記必須のオーディオデータをデコードするステップと、第２のデコードされたオーディオ信号を生成するために第２のオーディオデコーダにおいて前記代替オーディオデータをデコードするステップと、少なくとも前記第１のデコードされたオーディオ信号と前記第２のデコードされたオーディオ信号とを組み合わせることに基づいて前記オーディオ信号を生成するステップとを有する。
【００７６】
これは、多くの実施形態において改良された及び／又は促進された動作を提供してもよい。
【００７７】
本発明のオプショナルな特徴によれば、前記オーディオビジュアルコンテンツアイテムデータストリームは、コンテンツアイテムマップテーブルを有し、コンテンツアイテムのための前記コンテンツアイテムマップテーブルは、前記コンテンツアイテムに関連するオーディオビジュアルデータストリームのためのデータパケットのためのオーディオビジュアルデータストリームパケット識別子のリストを有し、前記コンテンツアイテムマップテーブルは、前記複数の個々のオーディオビジュアルデータストリームのうち少なくとも２つのセットのための前記コンテンツアイテムのための共通のデータストリームパケット識別子を有し、当該方法は、前記共通のデータストリームパケット識別子に基づいて前記コンテンツアイテムのためのオーディオデータを抽出するステップを更に有する。
【００７８】
これは、多くの実施形態において改良された及び／又は促進された動作を提供し得る。詳細には、これは、オーディオビジュアルコンテンツアイテムデータストリームが、マルチプレクサ、データ抽出器等のような異なる機器により低減された複雑性で処理され得るよう生成されるのを可能にし得る。
【００７９】
本発明のオプショナルな特徴によれば、コンテンツアイテムマップテーブルは、共通のデータストリームパケット識別子のための複数の二次パケット識別子を有し、各二次パケット識別子は、前記複数の個々のオーディオビジュアルデータストリームのうちの少なくとも２つのセットの個々のオーディオビジュアルデータストリームを識別し、コンテンツアイテムのためのオーディオデータを抽出するステップは、前記二次パケット識別子に基づいて異なるオーディオ成分のためのオーディオデータを抽出するステップを有する。
【００８０】
これは、改良されたフレキシビリティ及び機能を提供し得る。例えば、これは、個々のオーディオビジュアルデータストリームに対する効率的な選択及びアクセスを可能にし得る。一次及び二次パケット識別子は、幾つかの実施形態において、構造化された又は入れ子になったデータ構造に含まれてもよく、又は、他の実施形態において、例えば、一次及び二次パケット識別子が単一のリストにおけるシーケンシャル入力として提供される平坦な構造において提供されてもよい。
【００８１】
本発明の一態様によれば、複数の個々のオーディオビジュアルデータストリームを有するオーディオビジュアルコンテンツアイテムデータストリームを生成するための装置が提供され、前記複数の個々のオーディオビジュアルデータストリームは、オーディオビジュアルコンテンツアイテムのためのオーディオビジュアル成分を有し、各オーディオビジュアルデータストリームは、少なくとも１つのオーディオビジュアル成分及び同期化データを表すエンコードされたデータを有し、当該装置は、前記オーディオビジュアルコンテンツアイテムのためのオーディオ表現のための第１のオーディオデータを有する第１のオーディオビジュアルデータストリームを生成するための生成部であって、前記第１のオーディオデータは、前記オーディオ表現のための必須のオーディオデータと前記オーディオ表現のための交換可能なオーディオデータとを有し、前記交換可能なオーディオデータは、代替オーディオデータにより交換可能なデータである、生成部と、前記オーディオビジュアルコンテンツアイテムデータストリームに前記第１のオーディオビジュアルデータストリームを含めるための組み合わせ部とを有する。
【００８２】
本発明の一態様によれば、オーディオビジュアルコンテンツアイテムのためのオーディオ信号を生成するための装置が提供され、当該装置は、複数の個々のオーディオビジュアルデータストリームを有するオーディオビジュアルコンテンツアイテムデータストリームを受信するための受信部を有し、前記複数の個々のオーディオビジュアルデータストリームは、オーディオビジュアルコンテンツアイテムのためのオーディオビジュアル成分を有し、各オーディオビジュアルデータストリームは、少なくとも１つのオーディオビジュアル成分及び同期化データを表すエンコードされたデータを有し、前記オーディオビジュアルコンテンツアイテムデータストリームは、前記オーディオビジュアルコンテンツアイテムのためのオーディオ表現のための第１のオーディオデータを有する第１のオーディオビジュアルデータストリームを有し、前記第１のオーディオデータは、前記オーディオ表現のための必須のオーディオデータと前記オーディオ表現のための交換可能なオーディオデータとを有し、当該装置は、前記第１のオーディオデータから前記必須のオーディオデータを抽出するための抽出部と、代替オーディオデータを取り出す取り出し部と、前記交換可能なオーディオデータを前記代替オーディオデータにより置換するための置換部と、前記必須のオーディオデータ及び前記代替オーディオデータから前記オーディオ信号を生成するための出力部とを有する。
【００８３】
本発明のオプショナルな特徴によれば、オーディオデータ処理記述子は、第２のオーディオデータが交換可能なデータを置換するかどうかを示す。
【００８４】
これは、多くの実施形態において特に有利な及び効率的な実装を提供し得る一方で、オーディオビジュアルコンテンツアイテムデータストリームのオーディオデータの処理における高度なフレキシビリティ及び制御を可能にする。
【００８５】
本アプローチは、とりわけ、受信部とオーディオデコーダとの間の効率的なインタフェースを提供し得る。多くの実施形態及びシナリオにおいて、これは、一般的なオーディオデコーダが用いられるのを可能にし得る一方で、オーディオレンダリングにおいてフレキシビリティを提供し、複雑な及び／又は所有者の制御機能を要することなく受信部とオーディオデコーダとの間に実装されるのを可能にし得る。
【００８６】
本発明のオプショナルな特徴によれば、オーディオデータ処理記述子は、第２のオーディオデータが交換可能なデータを置換するかどうかを示す。
【００８７】
これは、多くの実施形態において特に有利な及び効率的な実装を提供し得る一方で、オーディオビジュアルコンテンツアイテムデータストリームのオーディオデータの処理における高度なフレキシビリティ及び制御を可能にする。
【００８８】
本発明のオプショナルな特徴によれば、オーディオデータ処理記述子は、第２のオーディオデータが指定された代替オーディオデータ又は追加のオーディオデータを示し、オーディオデコーダ（１４０３）は、前記第２のオーディオデータが代替オーディオデータとして指定されることを前記第１のオーディオデータ処理記述子が示す場合に前記第２のオーディオデータを代替オーディオデータとして取り出し、前記第２のオーディオデータが追加のオーディオデータとして指定されることを前記第１のオーディオデータ処理記述子が示す場合に前記第２のオーディオデータを追加のオーディオデータとして取り出し、前記第２のオーディオデータが交換可能なオーディオデータとして指定される場合に前記交換可能なオーディオデータを前記第２のオーディオデータにより置換するように構成され、前記出力部は、前記第２のオーディオデータが追加のオーディオデータとして指定されることを前記第１のオーディオデータ処理記述子が示す場合に、前記必須のオーディオデータ、前記第２のオーディオデータ及び前記交換可能なオーディオデータを組み合わせることにより前記オーディオ信号を生成するように構成される。
【００８９】
これは、オーディオレンダリングの適応を制御するための特に有利な及び効率的なアプローチを提供し得る。
【００９０】
本発明のオプショナルな特徴によれば、受信部（１４０１）は、オーディオビジュアルコンテンツアイテムデータストリームにおいて受信した第２のオーディオデータ処理記述子から第１のオーディオデータ処理記述子を生成するように構成される。
【００９１】
これは、オーディオビジュアルコンテンツアイテムデータストリームの供給者及び局所的レンダリング装置又はユーザの双方が生成されたオーディオを制御するのを可能にし得る。第２のオーディオデータ処理記述子は、例えばユーザが適切なレンダリングを決定することにより用いられ得る適切なオーディオ出力を記述してもよい。
【００９２】
本アプローチは、実装を促進してもよい。例えば、受信部は、特定のオーディオ処理がどのように実行されるかについての任意の詳細な認識又は考察を有する必要はなく、むしろ、第２のオーディオデータ処理記述子に基づいて第１のオーディオデータ処理記述子を単純に判断してもよい。
【００９３】
本発明のオプショナルな特徴によれば、受信部（１４０１）は、第２のオーディオデータ処理記述子を第２のオーディオビジュアルデータストリームにコピーするように構成される。
【００９４】
本アプローチは、実装を促進してもよい。例えば、受信部は、特定のオーディオ処理がどのように実行されるかについての任意の詳細な認識又は考察を有する必要はなく、むしろ、第２のオーディオデータ処理記述子を単純に複製し得る。
【００９５】
本発明のオプショナルな特徴によれば、第２のオーディオデータ処理記述子は、コンテンツアイテムマップテーブルに含まれ、コンテンツアイテムのためのコンテンツアイテムマップテーブルは、コンテンツアイテムに関連するオーディオビジュアルデータストリームのためのデータパケットのオーディオビジュアルデータストリームパケット識別子のリストを有する。
【００９６】
これは、特に有利な表現を提供し得る。
【００９７】
本発明のオプショナルな特徴によれば、オーディオビジュアルコンテンツアイテムデータストリームは、第２のオーディオデータのための複数の考えられるオーディオデータ処理記述子を有し、受信部は、複数の考えられるオーディオデータ処理記述子から第１のオーディオデータ処理記述子を選択するように構成される。
【００９８】
これは、オーディオビジュアルコンテンツアイテムデータストリームの提供者及び局所的レンダリング装置又はユーザの双方が生成されたオーディオを制御するのを可能にし得る。第２のオーディオデータ処理記述子は、例えば、提供されたオーディオ成分の許容可能な又は推薦された組み合わせを記述してもよく、これにより、コンテンツアイテムのための代替オーディオ提示を提供する。ユーザは、１つの提案された代替オーディオ提示を単純に選択してもよく、受信部は、応答して、対応する第２のオーディオデータ処理記述子を複製し、これをオーディオデコーダに供給されるデータストリームに含めることにより、選択されたオーディオ提示が単純に提供されるのをもたらしてもよい。
【００９９】
本発明の一態様によれば、複数の個々のオーディオビジュアルデータストリームを有するオーディオビジュアルコンテンツアイテムデータストリームが提供され、前記複数の個々のオーディオビジュアルデータストリームは、オーディオビジュアルコンテンツアイテムのためのオーディオビジュアル成分を有し、各オーディオビジュアルデータストリームは、少なくとも１つのオーディオビジュアル成分及び同期化データを表すエンコードされたデータを有し、前記オーディオビジュアルコンテンツアイテムデータストリームは、前記オーディオビジュアルコンテンツアイテムのためのオーディオ表現のための第１のオーディオデータを有する第１のオーディオビジュアルデータストリームを有し、前記第１のオーディオデータは、前記オーディオ表現のための必須のオーディオデータと前記オーディオ表現のための交換可能なオーディオデータとを有する。
【０１００】
本発明のこれらの及び他の態様、特徴及び利点は、以下で述べられる実施形態から明らかになり、これらを参照して説明されるだろう。
【０１０１】
本発明の実施形態は、単なる例により、図面を参照して述べられるだろう。
【図面の簡単な説明】
【０１０２】
【図１】従来技術によるトランスポートストリームの図である。
【図２】本発明の幾つかの実施形態によるトランスポートストリームの図である。
【図３】本発明の幾つかの実施形態によるトランスポートストリームを生成するための装置の図である。
【図４】本発明の幾つかの実施形態によるトランスポートストリームを生成するための装置の図である。
【図５】本発明の幾つかの実施形態によるトランスポートストリームの図である。
【図６】本発明の幾つかの実施形態によるトランスポートストリームの図である。
【図７】ＭＰＥＧ−２トランスポートストリームの追加のオーディオ記述の構文を示す。
【図８】ＭＰＥＧ−２トランスポートストリームのデータアイテムｍｉｘ＿ｔｙｐｅ及びｅｄｉｔｏｒｉａｌ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎの構文を示す。
【図９】本発明の幾つかの実施形態によるｍｉｘ＿ｔｙｐｅデータアイテムの変更された構文を示す。
【図１０】本発明の幾つかの実施形態によるｅｄｉｔｏｒｉａｌ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎデータアイテムの変更された構文を示す。
【図１１】本発明の幾つかの実施形態によるＡＡＣ記述子成分データアイテムの構文を示す。
【図１２】オーディオペイロードヘッダにおけるオブジェクトの識別を示す。
【図１３】オブジェクトがそのコンテンツをＳＡＯＣに任せるのを可能にするためのオブジェクト記述の構文の一例を示す。
【図１４】オーディオデコーダに結合された受信部を有する受信装置の一例を示し、受信部は、オーディオビジュアルコンテンツアイテムデータストリームを受信する。
【図１５】（変更された）ＭＰＥＧトランスポートストリームのためのオーディオデータ処理を用いた動作の一例を示す。
【図１６（ａ）】（変更された）ＭＰＥＧトランスポートストリームのためのオーディオ処理を用いた動作の他の例を示す。
【図１６（ｂ）】（変更された）ＭＰＥＧトランスポートストリームのためのオーディオ処理を用いた動作の他の例を示す。
【発明を実施するための形態】
【０１０３】
以下の説明は、例えばＭＰＥＧ−２トランスポートストリームのような、オーディオビジュアルコンテンツのためのトランスポートストリームの強化に適用可能な本発明の実施形態にフォーカスする。しかしながら、本発明は、この出願に限定されるものではなく、多くの他のオーディオビジュアルコンテンツアイテムデータストリームに適用され得ることが理解されるだろう。
【０１０４】
特定の参照として、ＥＮ３００４６８におけるような規格のＤＶＢコンテンツによって拡張されるＩＳＯ／ＩＥＣ１３８１８−１において規定される、ＭＰＥＧ  ＤＶＢ（Digital Video Broadcast）トランスポートストリーム（ＴＳ）の一例が図１に示される。本説明は、斯様なオーディオビジュアルコンテンツアイテムデータストリームを例えば強化し得る実施形態上にフォーカスするが、本アプローチは、例えばＩＳＯ／ＩＥＣ２３００９−１  ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）の文書におけるＴＣＰ／ＩＰに基づくトランスポートストリームを含む多くの他のトランスポート技術に適用されてもよいことが理解されるだろう。
【０１０５】
本例において、トランスポートストリームは、複数のデータパケットで構成される。トランスポートストリームのデータは、オーディオビジュアル成分、制御又は情報データ（メタデータ）に対応する複数のエレメンタリストリームに分割される。エレメンタリストリームの各々は、所与の識別に関連付けられ、各パケットは、パケットがデータを有するエレメンタリストリームを識別するＰＩＤ（Packet IDentifier）を含むヘッダを有する。
【０１０６】
特定の例において、トランスポートストリームは、各パケットが１８８バイトを含む、パケットの時間多重化ストリームである。各パケットは、ＰＩＤによりラベル付けされる。パケットは、メタデータ又は圧縮されたオーディオビジュアルデータを含んでもよい。所与のＰＩＤを有するパケットは、単一のオーディオビジュアル成分を生成するために接続されなければならないシーケンシャルデータを表す。例えば、トランスポートストリームにおいてオーディオビジュアル成分をトランスポートするために、オーディオビジュアル成分のためのデータは、データパケットのグループのペイロードに渡って分割される。そして、そのグループの、及び、そのグループのみのデータパケットは、同じ固有のＰＩＤを用いるだろう。
【０１０７】
トランスポートストリームは、特定のトランスポートストリームに含まれるプログラムの情報を提供するプログラム関連付けテーブル（ＰＡＴ；Program Association Table）を更に有する。各プログラムは、個々のプログラムに関する情報を有するプログラムマッピングテーブル（ＰＭＴ；Program Map Table）により特徴づけられる。詳細には、ＰＭＴは、個々のプログラムのためのトランスポートストリームに含まれるエレメンタリストリームを識別する。とりわけ、個々のプログラムのための異なるエレメンタリストリームに属しているデータパケットのためのＰＩＤをリストアップする。
【０１０８】
図１は、プログラムのためのオーディオエレメンタリストリームがトランスポートストリームにおいてどのように提供され得るかの一例を示している。本例において、３つのオーディオ成分は、前記プログラムのために供給される。オーディオ成分は、（図１において示されない）トランスポートストリームのビデオ成分と一緒にレンダリングされ得る。オーディオ成分の各々は、コンテンツアイテムのオーディオサウンドステージの完全な表現に対応する。即ち、各エレメンタリストリームは、レンダリングのために必要な全体のオーディオサウンドステージデータを供給する（オーディオサウンドステージという用語は、全体のレンダリングされたコンテンツアイテムのオーディオに言及するものであり、例えば特定のオーディオシーンに限定されるものではない）。
【０１０９】
エレメンタリストリームの各々は、その全体においてレンダリングされなければならない単一の一体型されたオーディオ成分を供給する。故に、エレメンタリストリームがレンダリングのために選択される場合、レンダリング装置は、エレメンタリストリームの単一のオーディオ成分を生成するためにエレメンタリストリームの全てのオーディオデータをデコードするだろう。そして、このオーディオ成分が（場合により、幾つかのケースにおいて、他のストリームからのオーディオと混合された後に）レンダリングされる。
【０１１０】
オーディオ成分の各々は、別々のＰＩＤにより識別される別々のエレメンタリストリームにおいて供給される。各オーディオ表現のためのオーディオデータは、多数のデータパケットにおいて供給される（ＰＲ１ｐ１，ＰＲ１ｐ２...ＰＲ２ｐ１，ＰＲ２ｐ２...ＰＲ３ｐ１，ＰＲ３ｐ２...等として参照される。各パケットは、それ自身の識別子ｐ１，ｐ２...を有する。パケットの各グループには、それが属しているオーディオ提示の識別（"ＰＲ"ｘ）が与えられる）。故に、オーディオ成分の各々は、完全なオーディオ表現に対応するオーディオ成分のためのエンコードされたオーディオデータを有するデータパケットにより表されるトランスポートストリームにおけるものである。各オーディオ表現は、個々のエレメンタリストリームにおける単一のオーディオ成分として供給され、従って、各オーディオ表現は、別々のＰＩＤと関連付けられる。図１の例において、オーディオ表現は、それぞれＰＩＤ１，ＰＩＤ２及びＰＩＤ３と関連付けられる。
【０１１１】
図１に示されるように、データパケットは、トランスポートストリームに時間多重化される。受信部は、データパケットを受信することができ、特定のＰＩＤに関連付けられた各データパケットからオーディオデータを抽出することができ、オーディオデータをデコードすることができ、それ故、そのエレメンタリストリームに対応する個々のオーディオ成分／表現を再生成することができる。
【０１１２】
受信部が異なるデータパケットからのオーディオデータを同期させ、生ずるオーディオ成分を例えば関連付けられたビデオストリームに同期させるのを可能にするために、各データパケットは、データパケットのオーディオデータにより表されるオーディオセグメントのタイミングを示す同期又はタイミングデータを有する。
【０１１３】
複数のオーディオエレメンタリストリームを供給する利点は、よりフレキシブルなオーディオ供給が与えられ得ることである。例えば、図１は、３つのオーディオエレメンタリストリームが供給される例を示している。エレメンタリストリームの各々は、例えばバックグラウンドデータ、ミュージック、会話等を含むオーディオシーンの完全な表現を供給する。完全な表現は、単一のオーディオ成分により与えられる。しかしながら、３つのエレメンタリストリームは、異なる表現を与える。例えば、３つのエレメンタリストリームは、同じビデオシーケンスに対応し得るが、これらは３つの異なる言語のオーディオを有する。例えば、ＰＩＤ１は、オリジナル言語（例えば英語）における会話を有するオリジナルのオーディオシーンを表し得るのに対し、ＰＩＤ２及びＰＩＤ３は、オーディオシーンを表し得るが、例えばフランス語及びドイツ語に吹き替えられた会話を有する。ＰＭＴは、それぞれ個々のエレメンタリストリームに関連付けられた言語を示すデータを供給することができる。従って、ユーザは、好ましい言語を選択してもよく、受信部は、対応するエレメンタリストリームを適宜選択してもよい。故に、受信部は、対応するＰＩＤを有する全てのパケットからオーディオデータを抽出し、そして、このオーディオデータからオーディオ出力信号を生成する。例えば、ユーザはフランス語における会話に対して優先度を示してもよく、従って、レンダリング装置は、ＰＩＤ２を有するエレメンタリストリームパケットからオーディオデータを抽出してもよく、そして、このオーディオデータからオーディオ出力を生成してもよい。
【０１１４】
従って、複数の代替ストリームが供給され得る。各エレメンタリストリームは、コンテンツアイテムのためのオーディオの完全な（即ちそのプログラムのためのオーディオを伴う）表現を供給する単一のオーディオ成分を与える。そして、受信部は、個々のストリームの間で選択することができる。故に、オーディオ放送のための従来のトランスポートストリームにおいて、各代替言語は、単一のエレメンタリストリームにおける単一のオーディオ成分により与えられる完全な及び独立したオーディオ表現として供給される。受信部は、異なる利用可能なストリームの間でのみ選択することができ、ストリームが選択されると、そのストリームからの全てのオーディオがレンダリングされる。
【０１１５】
しかしながら、このアプローチは、低い程度のフレキシビリティをもたらす。オーディオサウンドステージ全体に対応する単一のオーディオ成分のみが、受信部でレンダリングされるために利用可能であるためである。更に、これは、データストリームの高データレートをもたらす。完全なオーディオ表現が供給されるためである。
【０１１６】
ＭＰＥＧ−２トランスポートストリームは、追加のＡｕｄｉｏ  Ｄｅｓｃｒｉｐｔｉｏｎオーディオ（視力障害をもったユーザのための図形描写コメントを供給する追加のオーディオ）を供給するために規定される追加のオーディオ成分を可能にする。斯様な追加のオーディオ成分は、それ自身によりレンダリングされ得ないが、他のエレメンタリストリームからの完全な表現オーディオ成分に追加されてもよい。
【０１１７】
故に、従来のＭＰＥＧ−２トランスポートストリームのオーディオエレメンタリストリームは、２つのタイプのうちの一方であってもよい。第１のタイプは、コンテンツ時間のためのオーディオの完全な表現を供給する単一のオーディオ成分を有する最も典型的なタイプである。このオーディオは、直接レンダリングされることができ、"放送混合された（ｂｒｏａｄｃａｓｔ  ｍｉｘｅｄ）"オーディオと呼ばれる。第２のタイプは、第１のタイプのオーディオ成分に追加（と混合）されなければならない追加のオーディオを有する単一の成分のみを与える。故に、エレメンタリデータの第２のタイプは、完全なオーディオ表現に追加され得る追加のデータを与える。これは、"レシーバ混合された（ｒｅｃｅｉｖｅｒ  ｍｉｘｅｄ）"オーディオと呼ばれる。
【０１１８】
受信したトランスポートストリームをデコードし得るために、トランスポートストリームは、トランスポートストリームに含まれるデータを規定する情報を含む。更に詳細には、ストリームに含まれるプログラムに関する情報は、ＰＡＴにおいて示される。各プログラムに関して、オーディオ成分／トラックの数及びタイプは、ＰＭＴにおけるシグナリングを介して受信部（例えばＤＶＢトランスポートストリームデコーダ）に知らされる。ＰＭＴ情報は、ＰＩＤに基づくものであり、詳細には、ＰＩＤ毎に全ての必要とされるシグナリングを含むデータ構造ループを有する。各ＰＩＤに関して、詳細には、言語記述子及びコーデック固有記述子があってもよい。言語記述子は、ＩＳＯ６３９言語記述子又は追加オーディオ記述子であってもよい。追加のオーディオ記述は、受信部と放送混合されたオーディオ信号との間の明瞭な区別を与える。コーデック固有のオーディオ記述は、所与のＰＩＤのパケット化されたエレメンタリストリームのコンテンツに関する情報を供給する。この情報は、主として、成分がマルチチャネルであるか又はステレオ成分であるかに関するものである。
【０１１９】
故に、現在のアプローチにおいて、各エレメンタリストリームは、受信部により混合されるために示されるエレメンタリストリームを除いて、コンテンツアイテムのための別々のオーディオ表現を与える。これらは、オーディオ提示を与えるものではないが、代わりに、放送混合されたオーディオ信号に追加されなければならないオーディオ信号を供給する。
【０１２０】
以下において、アプローチが述べられるだろう。これは、よりフレキシブルな及び効率的なトランスポートストリームを与える。この説明は、複数の言語がトランスポートストリーム内に供給される例にフォーカスするだろう。しかしながら、本アプローチがオーディオの他のタイプによっても用いられ得ることが理解されるだろう。
【０１２１】
図２は、変更されたトランスポートストリームの一例を示している。図１のアプローチと同様、図２のトランスポートストリームは、複数のオーディオエレメンタリストリームを有する。しかしながら、従来技術とは対照的に、エレメンタリストリームは、完全なオーディオ表現又は追加のオーディオデータに限定されるものではなく、単一のオーディオ成分に限定されるものではない。むしろ、エレメンタリストリームは、オーディオデータの異なるタイプを有してもよく、詳細には、オーディオ表現のために必須であるデータと交換可能なオーディオデータとの双方を有してもよい。
【０１２２】
詳細には、トランスポートストリームは、１又はそれ以上のオーディオ表現を規定／指定／記述するデータを含んでもよい。第１のエレメンタリストリームは、トランスポートストリームにより表されるオーディオビジュアルコンテンツアイテムのためのオーディオ表現に関連付けられてもよい。この第１のエレメンタリストリームは、オーディオ表現のための必須のオーディオデータとオーディオ表現のための交換可能なオーディオデータとを有する。必須のオーディオデータは、エレメンタリストリームのオーディオ表現がレンダリングされたときにレンダリングされなければならない必須のオーディオ成分に対応する。これに対し、交換可能なデータは、オーディオビジュアルコンテンツアイテムのための代替オーディオにより置換され得る。それ故、第１のエレメンタリストリームは、オーディオ表現のための必須のオーディオ成分及び交換可能なオーディオ成分を有する。交換可能なオーディオ成分は、他のオーディオ成分により置換され得る。
【０１２３】
従って、第１のエレメンタリストリーム／オーディオビジュアルデータストリームは、複数のオーディオ成分又はオブジェクトを有し得る。１つのオーディオ成分／オブジェクトは、必須のオーディオデータにより表される。このオーディオ成分は、必須であり、（第１のオーディオビジュアルデータストリームに関連付けられる）特定のオーディオ表現が選択されたときに、それ故に、第１のエレメンタリストリームがレンダリングのために選択されたときに、常に与えられなければならない。
【０１２４】
他のオーディオ成分は、交換可能なオーディオデータにより表される。従って、この交換可能なオーディオ成分は、表現のために必須ではないが、代替オーディオ成分により置換され得る。しかしながら、交換可能なオーディオ成分は、オーディオ提示を供給している間、単に削除又は放棄され得るだけではなく、むしろ、代替オーディオ成分により置換され得る。交換可能なオーディオ成分は、オーディオ表現のための必要なオーディオソースに対応し得るが、オーディオソースの異なるバージョンがトランスポートストリームに含まれる。
【０１２５】
多くの実施形態において、トランスポートストリームは、オーディオビジュアルコンテンツアイテムのデフォルト表現を与えてもよい。必須のオーディオデータにより表される必須のオーディオ成分及び交換可能なオーディオデータにより表される交換可能なオーディオ成分は、コンテンツアイテムのためのデフォルトオーディオ表現を一緒に（場合により他のデータ又はオーディオ成分と一緒に）与える。故に、交換可能なオーディオデータは、典型的には、デフォルトオーディオ成分に対応する。従って、オーディオ表現をレンダリングするとき、受信部は、デフォルトとして、必須のオーディオデータ及び交換可能なオーディオデータを選択するだろう。従って、これは、必須のオーディオ成分及び交換可能なオーディオ成分をデコードすることができ、これらの成分を一緒に混合することができ、生ずるオーディオをレンダリングすることができる。これは、受信部がコンテンツアイテムのオーディオ表現のデフォルトバージョンをレンダリングすることをもたらすだろう。
【０１２６】
しかしながら、トランスポートストリームは、同時に、代替オーディオのためのデータを有してもよい。しかしながら、この代替オーディオは、完全なオーディオ表現を供給する別々のエレメンタリストリームにおける完全な代替オーディオ表現として供給される必要はない。むしろ、第１のエレメンタリストリームの交換可能なオーディオ成分を置換し得る代替オーディオ成分を単純に規定し得る代替オーディオデータが供給される。故に、トランスポートストリームは、第１のエレメンタリストリームの交換可能なオーディオデータ部分を置換し得る代替オーディオデータを有し得る。
【０１２７】
それ故、第１のエレメンタリストリームは、２つのタイプのデータ、即ち、（少なくとも）１つの必須のオーディオ成分のための必須のオーディオデータ及び（少なくとも１つの）交換可能なオーディオ成分のための交換可能なオーディオデータを有する。
【０１２８】
詳細には、第１のエレメンタリストリームは、必須のオーディオデータを有するデータパケットと交換可能なオーディオデータを有するデータパケットとを有し得る。各データパケットは、詳細には、必須のオーディオデータ又は交換可能なオーディオデータのうちの１つを有し得る。即ち、多くの実施形態において、データパケットは、１つのオーディオ成分のためのオーディオデータのみを有するだろう。
【０１２９】
それ故、必須のオーディオ成分及び交換可能なオーディオ成分は、時間パラレル（即ち、所与のレンダリング／コンテンツアイテム時間セグメントのための）成分である。第１のエレメンタリストリームは、必須のオーディオ成分のための必須のオーディオデータ及び交換可能なオーディオ成分のための交換可能なオーディオデータの双方を有し得る。しかしながら、典型的には、同じ時間セグメントのための必須のオーディオデータ及び交換可能なオーディオデータは、第１のエレメンタリストリームにおける、及び、トランスポートストリームにおける時間シーケンシャルである異なるデータパケットにおいて与えられる。
【０１３０】
同様に、代替オーディオデータは、トランスポートストリームにおいて時間シーケンシャルであるデータパケットにおいて、第１のエレメンタリストリームの必須のオーディオデータ及び交換可能なオーディオデータのデータパケットに供給されてもよいが、同じ（レンダリング）時間セグメントのためのオーディオデータを供給してもよい。
【０１３１】
故に、トランスポートストリームにおけるデータ及びデータパケットのタイミングは、オーディオ成分における対応するオーディオのタイミングに対して独立し得る（及び、明らかに同一ではない）。詳細には、少なくとも１つの時間セグメントに関して、エレメンタリストリームは、必須のオーディオ成分及び交換可能なオーディオ成分のための別々のオーディオデータを有する。即ち、これは、時間セグメントのための必須のオーディオデータ及び交換可能なオーディオデータの双方を有する。
【０１３２】
図２は、第１のエレメンタリストリームが割り当てられたＰＩＤ１である例を示している。第１のエレメンタリストリームは、単一のオーディオ成分を有するだけでなく、代わりに、必須のオーディオ成分及び交換可能なオーディオ成分の双方のためのオーディオデータを有する。
【０１３３】
詳細には、必須のオーディオ成分は、コンテンツアイテムのための（例えばミュージックを含む）一般的なバックグラウンドオーディオに対応してもよい。必須のオーディオデータを有するデータパケットは、図２においてＢＧ１ｐ１，ＢＧ１ｐ２，ＢＧ１ｐ３，ＢＧ１ｐ４により参照される。
【０１３４】
交換可能なオーディオ成分は、デフォルト言語（例えば英語）の会話に対応し得る。交換可能なオーディオデータを有するデータパケットは、図２におけるＡＯ  Ａにより示される。
【０１３５】
示されるように、必須のオーディオデータ及び交換可能なオーディオデータは、トランスポートストリームに時間多重化される個々のデータパケットにおいて与えられる。本例において、必須のオーディオデータ及び交換可能なオーディオデータは、別個のデータパケットにおいて供給される。即ち、第１のエレメンタリストリームのデータパケットは、必須のオーディオデータ又は交換可能なオーディオデータを有する。しかしながら、幾つかの実施形態において、データパケットは、必須のオーディオデータ及び交換可能なオーディオデータの双方を有してもよいことが理解されるだろう。
【０１３６】
従って、デフォルト言語を有するデフォルトオーディオ表現をレンダリングする受信部は、第１のエレメンタリストリームにアクセスすることのみを必要とする。即ち、ＰＩＤ１を有するデータパケットをデコード及び処理することのみを必要とする。そして、必須のオーディオ成分を生成するために必須のオーディオデータを、交換可能なオーディオ成分を生成するために交換可能なオーディオデータを、個別にデコードすることができる。そして、コンテンツアイテムのためのオーディオ信号は、必須のオーディオ成分及び交換可能なオーディオ成分を混合することにより生成され得る。
【０１３７】
しかしながら、第１のエレメンタリストリームに加えて、トランスポートストリームは、交換可能なオーディオデータのための代替オーディオデータを有する更なるエレメンタリストリームを有する。即ち、交換可能なオーディオ成分を置換し得る少なくとも１つの代替オーディオ成分を規定するデータを有する。
【０１３８】
図２の例において、トランスポートストリームは、ＰＩＤ２により識別される第２のオーディオエレメンタリストリーム及びＰＩＤ３により識別される第３のオーディオエレメンタリストリームを有する。従って、第２及び第３のエレメンタリストリームに対応するデータパケットは、第１のエレメンタリストリームのためのデータパケットを有するデータストリームにおいて時間多重化される。第２のエレメンタリストリームは、第１の代替オーディオデータを有する（ＡＯ  Ｂで示される）データパケットを有し、第３のエレメンタリストリームは、第２の代替オーディオデータを有する（ＡＯ  Ｃで示される）データパケットを有する。第１の代替オーディオデータは、第１の代替オーディオ成分を生成するためにデコードされ得る。第２の代替オーディオデータは、第２の代替オーディオ成分を生成するためにデコードされ得る。
【０１３９】
交換可能なオーディオ成分を用いてコンテンツアイテムのためのオーディオ信号を生成する代わりに、レンダリング装置は、代替オーディオ成分のうち１つを用い得る。即ち、コンテンツアイテムのためのオーディオの生成は、交換可能なオーディオデータに基づく代わりに、代替オーディオデータのセットのうちの１つに基づいてもよい。
【０１４０】
例えば、交換可能なオーディオデータは、英語の会話を供給してもよく、第１の代替オーディオデータは、ドイツ語の会話を供給してもよく、第２の代替オーディオデータは、フランス語の会話を供給してもよい。そして、受信部は、デフォルトで第１のエレメンタリストリームをデコードし、バックグラウンドオーディオ成分及び英語のオーディオ成分を生成し、これらを一緒に、コンテンツアイテムのためのオーディオを生成するために混合するだろう。しかしながら、例えばユーザ入力に基づいて、受信部は、交換可能なオーディオデータを第１の代替オーディオデータにより置換してもよい。即ち、必須のオーディオ成分を生成するために必須のオーディオデータを、第１の代替オーディオ成分を生成するために第１の代替オーディオデータをデコードするよう進行してもよい。そして、出力オーディオは、必須のオーディオ成分及び第１の代替オーディオ成分を組み合わせることにより生成され得る。故に、英語の会話を有するコンテンツアイテムの代わりに、ドイツ語の会話が供給される。
【０１４１】
本アプローチは、トランスポートストリームにおけるオーディオの極めて効率的な通信及びエンコーディングを可能にする。低減されたデータレートが実現され得る、及び／又は、増大されたフレキシビリティが提供される。更に、トランスポートストリームを生成及び処理する点でより容易な処理が実現される。
【０１４２】
重要なことに、特定のアプローチは、ＭＰＥＧ−２トランスポートストリームのような、既存のトランスポートストリームとの高度な互換性を提供してもよい。詳細には、既存のデータ構造及び組織化が維持され得るアプローチを提供し、詳細には、エレメンタリストリームの同じアプローチが増大されたフレキシビリティを供給するために用いられ得る。実際に、本アプローチは、新規なアプローチを採用するために必要とされる規格化の取り組みの量を最小化する（又は少なくとも低減する）だろう。更に、後方互換性を増大してもよく、追加の機能をサポートするために必要とされる変更を低減又は最小化してもよい。
【０１４３】
詳細には、本アプローチは、１又はそれ以上のコンテンツアイテムを規定する、詳細には各コンテンツアイテムのためのＰＭＴのためのＰＩＤを与えるＰＡＴを有するトランスポートストリームの同じアプローチを用いてもよい。各コンテンツアイテムのためのＰＭＴは、コンテンツアイテムに関連付けられる各エレメンタリストリームのためのＰＩＤを規定してもよい（それ故、コンテンツアイテムは、ＰＩＤがＰＭＴに含まれるエレメンタリストリームで構成されてもよい）。そして、受信部は、ＰＭＴにおいて示されるＰＩＤによりデータパケットを選択することによりコンテンツアイテムのためのオーディオビジュアルデータを取り出し得る。しかしながら、コンテンツアイテムが代替オーディオトラックを有し得るので、受信部は、このＰＩＤが必要とされるオーディオデータを有するかどうかに依存して所与のＰＩＤからのデータを無視又は抽出するために例えば選択してもよい。例えば（及び、図２を参照して）、ドイツ語の会話トラックがＰＩＤ２を有するデータパケットにおける代替データとして供給される場合、受信部は、ＰＩＤ１の英語の会話が要求される場合にこれらのデータパケットを無視することができる。故に、標準のオーディオシーンが要求される場合、受信部は、この例において、所望のオーディオを供給するためにＰＩＤ１データパケットしか考慮する必要はない。しかしながら、同時に、代替のドイツ語の会話のオーディオトラックが好まれる場合、受信部は、ＰＩＤ２のデータパケットからのこのオーディオデータを単純に抽出することができ、このオーディオデータによりＰＩＤ１データパケットからの交換可能なオーディオデータを置換することができる。
【０１４４】
本アプローチは、高い度合の使用可能な効率を可能にする。実際には、システムは、名目的動作のための単一のエレメンタリストリームを単純にレンダリングすることができる。それ故、本アプローチは、異なるオプションを提供するだけでなく、好ましいオプションとして１つのオプションを処理することもできる。例えば、オリジナルの会話は、バックグラウンドオーディオと同じエレメンタリストリームに含まれる。それ故、これは、例えばユーザが代替を詳細に要求しない限り、常に供給されるだろう。
【０１４５】
図３は、オーディオビジュアルコンテンツアイテムデータストリーム、詳細には、図２のＭＰＥＧに基づくトランスポートストリームのようなトランスポートストリームを生成するための装置の一例を示している。オーディオビジュアルコンテンツアイテムデータストリームは、これ以後、トランスポートストリームと呼ばれるだろう。コンテンツアイテムは、１又はそれ以上のオーディオ成分及び典型的には１又はそれ以上のビデオ成分のような多数のオーディオビジュアル成分で構成される。また、コンテンツアイテムは、双方向性をサポートする成分を含んでもよい。各オーディオ成分は、オーディオ信号でもよく、多くの場合、オーディオオブジェクトであってもよい。各ビデオ成分は、単一の移動画像に対応するビデオ信号であってもよく、又は、例えば複数視野移動画像の視野であってもよい。また、コンテンツアイテムは、双方向性をサポートする成分を含んでもよい。例えば、双方向性成分は、オーディオオブジェクト及び／又はビデオ成分の彼の選択についてユーザを支援するために利用可能であってもよい。
【０１４６】
本装置は、複数の個々のオーディオビジュアルデータストリームを有するトランスポートストリームを生成する。従って、コンテンツアイテムのオーディオビジュアル成分は、複数の個々のオーディオビジュアルデータストリームに渡って分配される。従って、個々のオーディオビジュアルデータストリームの各々は、前述したようにエレメンタリストリームに対応する、エレメンタリストリームと呼ばれるだろう。各エレメンタリストリームは、（トランスポートストリームの範囲内で）固有のパケット識別子（詳細にはＰＩＤ）に関連付けられてもよい。
【０１４７】
従って、複数のエレメンタリストリーム（オーディオビジュアルデータストリーム）は、コンテンツアイテムのオーディオビジュアル成分を有する。図１のアプローチにおいて、各オーディオビジュアル成分は、単一のエレメンタリストリームに含まれる。しかしながら、対照的に、図２の装置は、少なくとも第１のエレメンタリストリームが複数のオーディオビジュアル成分を有するようにトランスポートストリームを生成するように構成される。
【０１４８】
オーディオビジュアル成分は、オーディオビジュアル成分のためのエンコードされたデータを有するエレメンタリストリームによりエレメンタリストリームに含まれる。故に、各エレメンタリストリームは、少なくとも１つのオーディオビジュアル成分を表すエンコードされたデータを有する。幾つかの実施形態において、制御データ、双方向性データ等のようなメタデータを有する幾つかのエレメンタリストリームが追加的に供給されてもよい。
【０１４９】
前に述べられるように、エレメンタリストリームは、複数の時間多重化されたデータパケットで構成され、従って、オーディオビジュアル成分のためのエンコードされたデータは、トランスポートストリームのデータパケットに含まれる。故に、トランスポートストリームにおける個々のデータパケットのタイミングは、これがレンダリングされるときのデータパケットにおけるオーディオビジュアル成分のセグメントのタイミングに直接対応しない。レンダリングの正しいタイミングを保証するために、各エレメンタリストリームは、他のエレメンタリストリームにおけるオーディオビジュアル成分に同期されるのを可能にする同期化情報を有する。詳細には、各データパケットは、データパケットにより表されるコンテンツセグメントのタイミングを規定する同期化データを含み得る。
【０１５０】
図３の説明及び図示は、オーディオ成分に関するトランスポートストリームの部分にフォーカスするだろう。加えて、トランスポートストリームは、メタデータ、制御データ、ビデオコンテンツアイテム（及び、場合により、他のオーディオアイテム）等を含むように生成されてもよいことが理解されるだろう。例えば、従来のＭＰＥＧ−２トランスポートストリームの種々の実装から良く知られるアプローチが斯様なデータのために用いられてもよい。
【０１５１】
図３の装置は、複数のオーディオ成分のためのエンコードされたオーディオデータを供給するオーディオソース３０１を有する。幾つかの実施形態において、オーディオソース３０１は、複数のオーディオ成分を受信してもよく、これらを個別にエンコードするよう進行してもよい。エンコーディングは、同じエンコーディングアルゴリズムを用いてもよく、又は、多くの実施形態において、異なるオーディオ成分に対して異なるエンコーディングアルゴリズムを用いてもよい。また、例えば生ずるデータレートのようなエンコーディングパラメータは、同じであってもよく、又は、異なるオーディオ成分の間で異なっていてもよい。
【０１５２】
他の実施形態において、オーディオソース３０１は、エンコードされたオーディオデータを直接供給してもよい。例えば、オーディオソース３０１は、多数のエンコードされたオーディオ成分が格納されるローカルストレージであってもよい。
【０１５３】
詳細には、オーディオソース３０１は、コンテンツアイテムを表すオーディオ成分のためのエンコードされたオーディオデータを供給する。これは、典型的には、トランスポートストリームに含まれるビデオ成分を再生するときに、再生されるべき全てのオーディオを供給する。例えば、映画に関して、１又はそれ以上のエレメンタリストリームは、映画のためのビデオを供給してもよい。例えば、異なるエレメンタリストリームは、ビデオの異なる解像度を供給してもよい。オーディオソース３０１は、多数のオーディオ成分に分割される関連付けられたオーディオを供給してもよい。
【０１５４】
図３のアプローチにおいて、コンテンツアイテムをレンダリングすることに関連してレンダリングされるべきオーディオサウンドステージの完全な表現を有する単一のエレメンタリストリームが生成される。例えば、映画又はテレビ番組のオーディオをレンダリングするために必要とされる全てのオーディオを有する１つのエレメンタリストリームが生成される。
【０１５５】
詳細には、トランスポートストリームは、１又はそれ以上のオーディオ表現を規定するデータを明示的に有するように生成されてもよい。オーディオ表現の定義は、例えば、オーディオ表現のための必須のオーディオデータ及び交換可能なオーディオデータに対応するオーディオデータの直接的又は間接的な識別により与えられてもよい。典型的には、オーディオ表現の定義は、交換可能なオーディオデータを置換し得る代替オーディオデータの識別を含んでもよい。
【０１５６】
本アプローチにおいて、第１のエレメンタリストリームは、単一のオーディオ成分を有するものではないが、代わりに、必須のオーディオ成分及び交換可能なオーディオ成分の双方を有する。故に、エレメンタリストリームは、前述したように必須のオーディオ成分のための必須のオーディオデータ及び交換可能なオーディオ成分のための交換可能なオーディオデータの双方を含むように生成される。詳細には、必須のオーディオ成分は、バックグラウンドオーディオに対応してもよく、交換可能なオーディオ成分は、オリジナル言語（例えば英語）における主な会話に対応してもよい。
【０１５７】
図３の例において、オーディオソース３０１は、必須のオーディオ成分のための必須のオーディオデータを第１のパケタイザ３０３に供給する。第１のパケタイザ３０３は、必須のオーディオデータをパケット化するよう進行する。このパケット化は、必須のオーディオデータを適切なサイズのブロックに分割することを含む。また、これは、同期化データをデータパケットに追加することを含む。加えて、第１のパケタイザ３０３は、データパケットの正しいデコーディングを可能にする関連情報を有するヘッダを追加する。ヘッダは、詳細には、ＰＩＤを含むように生成され、従って、第１のエレメンタリストリームに割り当てられたＰＩＤは、データパケットに含まれる。
【０１５８】
同様に、オーディオソース３０１は、交換可能なオーディオ成分のための交換可能なオーディオデータを第２のパケタイザ３０５に供給する。第２のパケタイザ３０５は、交換可能なオーディオデータをパケット化するよう進行する。このパケット化は、同様に、交換可能なオーディオデータを適切なサイズのブロックに分割すること、並びに、同期化データ及びパケットヘッダを追加することを含む。第１のパケタイザ３０３のように、第２のパケタイザ３０５は、第１のエレメンタリストリームに割り当てられたＰＩＤに対応するＰＩＤを含むようにヘッダを生成する。故に、必須のオーディオ成分及び交換可能なオーディオ成分の双方のためのデータパケットは、同じＰＩＤを有し、従って、同じエレメンタリストリームの部分である。
【０１５９】
オーディオソース３０１は、更に、代替オーディオデータを第３のパケタイザ３０７に供給する。第３のパケタイザ３０７は、交換可能なオーディオデータをパケット化するよう進行する。このパケット化は、同様に、交換可能なオーディオデータを適切なサイズのブロックに分割すること、並びに、同期化データ及びパケットヘッダを追加することを含む。第１のパケタイザ３０３のように、第３のパケタイザ３０７は、ＰＩＤを含むようにヘッダを生成する。代替オーディオデータは、前述したように、交換可能なオーディオデータに対する代替である。故に、代替オーディオデータは、交換可能なオーディオ成分の代わりに用いられ得る代替オーディオ成分をエンコードするデータである。例えば、代替オーディオ成分は、吹き替えられた言語（例えばドイツ語）に対応してもよく、これは、トランスポートストリームに含まれるコンテンツアイテムをレンダリングするとき、オリジナル言語（例えば英語）を置換してもよい。
【０１６０】
特定の例において、代替オーディオデータは、第１のエレメンタリストリームとは異なるエレメンタリストリームに含まれ、従って、代替オーディオデータは、必須のオーディオデータ及び交換可能なオーディオデータのためのデータパケットとは異なるＰＩＤを有するように生成される。しかしながら、後述するように、代替オーディオデータは、幾つかの実施形態において、第１のエレメンタリストリーム自体に含まれてもよく、それ故、幾つかの実施形態において、データパケットは、必須のオーディオデータ及び代替オーディオデータに対して同じＰＩＤを有するように生成されてもよい。
【０１６１】
第１、第２及び第３のパケタイザ３０３，３０５，３０７は、パケタイザ３０３，３０５，３０７からのデータパケットを時間多重化することによりトランスポートストリームを生成するよう進行するストリーム生成部３０９に結合される。典型的には、多数の他のオーディオ成分がエンコードされてもよいことが理解されるだろう。（場合により他のオーディオ表現のための双方の必須のオーディオ成分、又は、更なる代替オーディオ成分を含む）これらのオーディオ成分は、同様の手段においてパケット化されてもよい。ストリーム生成部３０９は、時間多重化によりトランスポートストリームに斯様なデータパケットを更に含めるように構成されてもよい。同様に、データパケットは、ビデオ成分、場合により混合されたオーディオビジュアル成分、メタデータ又は制御データに対して生成されてもよく、生ずるデータパケットは、時間多重化によりトランスポートストリームに含まれてもよい。
【０１６２】
本装置は、更に、トランスポートストリームのための制御データを生成するように構成される制御データ生成部３１１を有する。制御データ生成部３１１は、詳細には、どのデータがトランスポートストリームに含まれるかについて記述する制御データを生成する。詳細には、制御データ生成部３１１は、ＰＡＴ及びＰＭＴを生成し得る。生ずるデータパケットは、トランスポートストリームにデータを含めるよう進行するストリーム生成部３０９に供給される。制御データ生成部３１１は、詳細には、コンテンツアイテムのための特定のオーディオ表現に関連付けられたデータを規定又は記述するデータを含め得る。
【０１６３】
故に、図３の装置は、図２を参照して述べられるような、トランスポートストリームを生成してもよい。即ち、少なくとも第１のエレメンタリストリームが複数のオーディオ成分のためのデータを有するトランスポートストリームが生成され得る。少なくとも１つのオーディオ成分は、コンテンツアイテムのオーディオ表現のために必須であるのに対し、他のオーディオ成分は、他のオーディオ成分により置換され得る。故に、前に述べられた利点は、図３の装置により実現され得る。
【０１６４】
図４は、オーディオビジュアルコンテンツアイテムのためのオーディオ信号を生成するための装置の一例を示している。詳細には、本装置は、図３の装置からトランスポートストリームを受信し（詳細には、トランスポートストリームは図２に示される）、コンテンツアイテムのためのオーディオ出力信号を生成する。出力信号は、典型的には、オーディオのレンダリングのために用いられてもよく、従って、図４の装置は、レンダリング装置と呼ばれるだろう。
【０１６５】
レンダリング装置は、トランスポートストリームを受信するトランスポートストリーム受信部４０１を有する。
【０１６６】
レンダリング装置は、受信したトランスポートストリームから必須のオーディオデータを抽出するように構成される第１のデータ抽出部４０３を更に有する。詳細には、第１のデータ抽出部４０３は、第１のエレメンタリストリームに対応するＰＩＤを有するデータパケットを検出するように構成される。そして、これらのデータパケットから、データが必須のオーディオ成分に対応するデータパケットのサブセットからデータを抽出する。
【０１６７】
レンダリング装置は、受信したトランスポートストリームから交換可能なオーディオデータを抽出するように構成される第２のデータ抽出部４０５を有する。詳細には、第２のデータ抽出部４０５は、第１のエレメンタリストリームに対応するＰＩＤを有するデータパケットを検出するように構成される。そして、これらのデータパケットから、データが交換可能なオーディオ成分に対応するデータパケットのサブセットからデータを抽出する。
【０１６８】
個々のデータパケットが交換可能なオーディオデータを有するか又は必須のオーディオデータを有するかの情報は、幾つかの実施形態において、第１のエレメンタリストリームに含まれていないトランスポートストリームの制御又はメタデータにより供給されてもよい。例えば、ＰＭＴが供給されてもよく、これは、第１のエレメンタリストリームに関してエレメンタリストリームにおけるデータパケットの順序を規定する。例えば、必須のオーディオデータを有する２つのデータパケットの反復するシーケンスを規定してもよく、その後に、交換可能なオーディオデータの１つのデータパケットが続く。他の実施形態において、この情報は、代わりに又は追加的に、個々のデータパケットにおいて供給されてもよい。例えば、各データパケットのヘッダにおけるフラグは、データパケットが必須のオーディオデータを有するか又は交換可能なオーディオデータを有するかを示してもよい。単純な実施形態において、単純な１ビットのフラグが供給されてもよい。他の実施形態において、エレメンタリストリームの個々のオーディオ成分の識別が供給されてもよい。
【０１６９】
また、レンダリング装置は、受信したトランスポートストリームから代替オーディオデータを抽出するように構成される第３のデータ抽出部４０７を有する。詳細には、代替オーディオデータが異なるエレメンタリストリームにおいて供給される例において、第３のデータ抽出部４０７は、この異なるエレメンタリストリームに対応するＰＩＤを有するデータパケットを検出するように構成されてもよい。そして、これらのデータパケットから、代替オーディオデータを抽出する。
【０１７０】
第１のデータ抽出部４０３は、必須のオーディオデータが供給される第１のデコーディングユニット４０９に結合される。そして、第１のデコーディングユニット４０９は、必須のオーディオ成分を生成するために必須のオーディオデータをデコードするよう進行する。
【０１７１】
同様に、第２のデータ抽出部４０５は、交換可能なオーディオデータが供給される第２のデコーディングユニット４１１に結合される。そして、第２のデコーディングユニット４１１は、交換可能なオーディオ成分を生成するために交換可能なオーディオデータをデコードするよう進行する。
【０１７２】
それに応じて、第３のデータ抽出部４０７は、代替オーディオデータが供給される第３のデコーディングユニット４１３に結合される。そして、第３のデコーディングユニット４１３は、代替オーディオ成分を生成するために代替オーディオデータをデコードするよう進行する。
【０１７３】
幾つかの実施形態において、第１、第２及び第３のデコーディングユニット４０９，４１１，４１３は、同じデコーディングアルゴリズムを使用してもよい。即ち、同じエンコーディングアルゴリズム又は規格が、エンコードされたオーディオデータを生成するために用いられてもよい。しかしながら、斯様な実施形態であっても、異なるデコーディングユニット（及び、それ故にソース側のエンコーダ）は、異なるエンコーディング／デコーディングパラメータを有してもよい。詳細には、オーディオデータのデータレートは、必須のオーディオデータ、交換可能なオーディオデータ及び／又は代替オーディオデータの間で異なっていてもよく、従って、デコーディングユニットは、異なるデータレートを有するオーディオデータをデコードしてもよい。
【０１７４】
幾つかの実施形態において、第１、第２及び第３のデコーディングユニット４０９，４１１，４１３のうちの少なくとも２つは、異なるデコーディングアルゴリズムを利用してもよい。即ち、異なるエンコーディングアルゴリズム又は規格が、エンコードされたオーディオデータを生成するために用いられてもよい。
【０１７５】
故に、本アプローチは、それぞれ個々のオーディオ成分の特性及び優先度に対する個々の最適化又は適合を可能にしてもよい。エンコーディング設定／アルゴリズムの決定は、例えばオーディオ成分の特性に基づいて動的に実行されてもよい。
【０１７６】
第１、第２及び第３のデコーディングユニット４０９，４１１，４１３は、必須のオーディオ成分を交換可能なオーディオ成分及び代替オーディオ成分のうちの１つと組み合わせることにより出力信号を生成するように構成される組み合わせ部４１５に結合される。組み合わせは、多くのシナリオにおいて、単純な（場合により重み付けされた及び／又は周波数選択的な）加算又は混合である。
【０１７７】
詳細には、デフォルトモードにおいて動作させるとき、出力信号は、必須のオーディオ成分及び交換可能なオーディオ成分を組み合わせることにより生成される。この手法において、出力信号は、コンテンツアイテムのためのデフォルトのオーディオ表現に対応するように生成される。特定の例において、英語の会話を有するオーディオトラックがビデオ成分のために生成される。
【０１７８】
しかしながら、例えば明示的なユーザ入力に基づいて、図４の装置は、代わりに、必須のオーディオ成分及び代替オーディオ成分を組み合わせることにより、出力信号を生成してもよい。故に、このシナリオにおいて、本装置は、交換可能なオーディオ成分を代替オーディオ成分により置換するよう進行する。これは、例えば、ビデオ成分のために生成されている吹き替えられたドイツ語の会話を有するオーディオトラックをもたらしてもよい。
【０１７９】
そして、出力されたオーディオ信号は、例えば、出力されたオーディオ信号に基づいてラウドスピーカを駆動させることにより、レンダリング又は再生されてもよい。斯様な駆動は、従来技術において良く知られているように、例えばパワーアンプ、フィルタ等を含む適切な駆動部回路を介してもよい。本アプローチは、例えば、マルチチャネル領域において全てのデータ、成分及び直接的な処理により、マルチチャネル信号に対して用いられてもよいことが理解されるだろう（例えば、オーディオデータは、マルチチャネル組み合わせ部により後に選択され得る及び組み合わせられ得るマルチチャネルオーディオ成分を生成するためにデコードされるエンコードされたマルチチャネル信号を表してもよい）。他の例として、述べられたアプローチは、マルチチャネル信号のそれぞれ個々のチャネルに対して個別に実行されてもよい。
【０１８０】
更に他の例として、単一のチャネル及びマルチチャネルオーディオ成分が混合されてもよく、例えば、必須のオーディオ成分は、マルチチャネル信号であってもよく、交換可能な及び代替オーディオ成分が単一のチャネル信号であってもよい。
【０１８１】
前の例において、交換可能なオーディオデータは、代替オーディオ成分及び必須のオーディオ成分を組み合わせるために選択する組み合わせ部４１５により代替オーディオデータに置換される。幾つかの斯様な実施形態において、図４の装置は、用いられていないデータを抽出又はデコードしなくてもよいことが理解されるだろう。詳細には、デフォルトの動作が選択される場合、本装置は、代替オーディオデータを抽出しないだろう、及び、代替オーディオ成分をデコードしないだろう。同様に、代替オーディオデータが出力信号を生成するために用いられる場合、本装置は、交換可能なオーディオデータを抽出しなくてもよく、又は、交換可能なオーディオ成分をデコードしなくてもよい。
【０１８２】
本例において、代替オーディオデータによる交換可能なオーディオデータの置換（又は非置換）は、必須のオーディオ成分と組み合わせられるオーディオ成分を選択することにより実行される。しかしながら、選択及び置換がエンコードされたオーディオデータ領域において直接実行されてもよいことが理解されるだろう。例えば、同じデコーダは、デコードされる全てのオーディオ成分に対して用いられてもよく、装置は、デコーディングユニットに供給されるデータストリームにおける代替オーディオデータにより交換可能なオーディオデータを直接置換するように構成されてもよい。
【０１８３】
幾つかの実施形態において、必須のオーディオ及び交換可能な（デフォルト）オーディオ又は代替オーディオの組み合わせは、圧縮された及び／又はエンコードされた領域において実行されてもよい。斯様な実施形態において、組み合わせ部４１５は、データ抽出器４０３，４０５，４０７からの関連した圧縮された／エンコードされたオーディオデータを与えてもよく、所望のオーディオデータを選択及び組み合わせを行うよう進行してもよい。そして、組み合わせられたオーディオデータは、組み合わせられたオーディオデータをデコードする単一のデコーディングユニットに供給されてもよい。
【０１８４】
代替オーディオデータは、異なる実施形態におけるトランスポートストリームの異なる部分において与えられてもよく、又は、実際には、幾つかの場合において、トランスポートストリームから外部的に与えられさえしてもよい。
【０１８５】
故に、幾つかの実施形態において、本装置は、同じソースから又は異なるソースから第２のトランスポートストリームを受信するように構成されてもよい。本装置は、この第２のトランスポートストリームを処理するように構成されてもよく、これから、同じトランスポートストリームに含まれる代替オーディオ成分のための前述したような第１のトランスポートストリームから交換可能なオーディオ成分を置換し得る代替オーディオ成分を抽出してもよい。第２のトランスポートストリームは、例えば、インターネット接続を介して他のソースから受信されてもよい。
【０１８６】
斯様なアプローチは、例えば、交換可能なオーディオ成分が異なる提供者から例えばインターネット接続を介して取り出されるのを可能にしてもよい。例えば、第三者が例えば映画のために言語の吹き替えを提供するのを可能にしてもよい。
【０１８７】
それ故、第２のトランスポートストリームの特定の例は、第１のトランスポートストリームとは異なる、異なるデータソースから又は異なるファイルから受信された又は取り出されたトランスポートストリームであってもよい。例えば、第１のトランスポートストリームは、放送伝送によりプライマリデータソースから受信されてもよい。例えば、第１のトランスポートストリームは、第１のトランスポートストリームを放送するテレビ局から多数の受信部及びユーザに対するものであってもよい。故に、この通信は、例えばマルチポイント無線放送に対するポイントであってもよい。しかしながら、代替オーディオデータを有する第２のトランスポートストリームは、異なる通信媒体（例えばインターネット）を介して個々のユーザに直接送信されてもよい。第２のトランスポートストリームは、個々の受信部／ユーザに対する２地点間伝送として直接送信されてもよい。第２のトランスポートストリームは、実際には、詳細には、ユーザにより要求されてもよく、インタラクティブな媒体（例えばインターネット）を介して供給されてもよい。斯様なアプローチは、効率的な分配及び通信を可能にしてもよく、同時に、極めて高程度な潜在的ユーザカスタム化を可能にしてもよい。
【０１８８】
従って、第２のトランスポートストリームは、場合により、第１のトランスポートストリームとは異なり、異なるソースからの又はこれを介して取り出し可能であってもよい。ファイルの場合、トランスポートストリームは、異なるファイルからのものであってもよい。第２のトランスポートストリームのための異なるソースは、例えば異なる媒体であってもよい（例えば、第１のトランスポートストリームはブルーレイディスクから取り出されてもよく、第２のトランスポートストリームは無線伝送からのものであってもよい）。第１のトランスポートストリームを供給するメインソースは、放送又はマルチキャスト信号であってもよく、その一方で、第２のトランスポートストリームを供給する第２のソースは、特定のものを対象としてもよい。
【０１８９】
しかしながら、多くの実施形態において、代替オーディオデータは、同じトランスポートストリームの部分であるだろう。
【０１９０】
詳細には、幾つかの実施形態におけるトランスポートストリームを生成する装置は、トランスポートストリームにおける異なるエレメンタリストリームにおける代替オーディオデータを含む。これは、特に効率的なアプローチを提供してもよく、多くのシナリオにおいて動作及びシグナリング促進してもよく、より効率的なトランスポートストリームを提供してもよい。斯様な実施形態において、受信部は、代替オーディオデータが含まれるエレメンタリストリームに対応するＰＩＤを有するデータパケットを識別することにより代替オーディオデータを抽出してもよい。
【０１９１】
斯様なシナリオの一例が図５に示されている。本例において、１のＰＩＤを有するエレメンタリストリームは、２つのオーディオ成分（即ち、バックグラウンドサウンドに対応する必須のオーディオ成分及びデフォルト言語に対応する交換可能なオーディオ成分）を有する。必須のオーディオ成分は、ＢＧ１ｐ１，ＢＧ１ｐ２等として参照されるデータパケットにおけるオーディオデータにより表され、交換可能なオーディオ成分は、ＯＡ  Ｃとして参照されるデータパケットにおけるオーディオデータにより与えられる。加えて、２のＰＩＤを有する第２のエレメンタリストリームは、ＯＡ  Ａとして参照されるデータパケットにおけるオーディオデータにより表される代替オーディオ成分を有する。また、３のＰＩＤを有する第３のエレメンタリストリームは、ＯＡ  Ｂとして参照されるデータパケットにおけるオーディオデータにより表される代替オーディオ成分を与える。図５において、ＯＡ  Ａ及びＯＡ  Ｂのためのデータパケットは、ＯＡ  Ｃのためのデータパケットと同時に存在するように示されていることに留意されたい。これは、これらのデータパケットが実際に（例えばデータパケットに渡るチャネルインターリービングによって）同時に含まれ得るシナリオを反映し得る。しかしながら、多くの実施形態においてデータパケットが時間多重化されてもよいことが理解されるだろう。２つの代替オーディオ成分は、交換可能なオーディオ成分の言語を置換し得る異なる言語に対応してもよい。詳細には、図５に示されるように、エレメンタリストリームＰＩＤ  ２の代替オーディオデータは、エレメンタリストリームＯＡ  Ｃの交換可能なオーディオデータを置換してもよい。
【０１９２】
故に、レンダリング装置は、エレメンタリストリームＰＩＤ  １からバックグラウンドオーディオデータ（必須のオーディオデータ）を抽出してもよく、これを、バックグラウンドオーディオに対応する必須のオーディオ成分を生成するようデコードしてもよい。加えて、エレメンタリストリームＰＩＤ  ２から代替オーディオデータを抽出してもよく、これを、吹き替えられた言語のうちの１つに対応する代替オーディオ成分を生成するようデコードしてもよい。そして、２つの成分は、レンダリング／再生される出力信号を生成するために組み合わせられる。
【０１９３】
図５に示すように、交換可能なオーディオデータ及び代替オーディオデータのためのデータパケットは、必ずしも互いに対応するというわけではない。例えば、これらは、異なってエンコードされてもよく（例えば異なるエンコーディングパラメータ、データレート又はエンコーディングアルゴリズム）、詳細には、異なる時間間隔又はセグメントに対応してもよい。しかしながら、例えば後にオーディオ成分の組み合わせが続く別々のデコーディングが用いられる場合、斯様な差分は、異なるデコーディング経路及びデコードされた信号の組み合わせを適合することにより対処され得る。
【０１９４】
幾つかの実施形態において、第２のエレメンタリストリームは、代替オーディオ成分を有するだけでなく、例えば複数の代替オーディオ成分を有してもよい。
【０１９５】
実際に、幾つかの実施形態において、第２のエレメンタリストリームは、コンテンツアイテムのための異なる表現のための必須のオーディオデータを更に有してもよい。故に、幾つかの実施形態において、第２のエレメンタリストリームは、それ自身がコンテンツアイテムのための異なるオーディオ表現を与えるエレメンタリストリームであってもよい。従って、受信部は、第２のエレメンタリストリームのオーディオデータのみを用いてコンテンツアイテムのためのサウンドトラックを生成可能であってもよい。例えば、第２のエレメンタリストリームは、コンテンツアイテムのための代替オーディオ表現のための必須のオーディオデータ及び交換可能なオーディオデータを有してもよい。斯様な例において、第１のエレメンタリストリーム（それ故に第１の表現）のための代替オーディオデータは、例えば、（即ち第２の表現のための）第２のエレメンタリストリームの交換可能なオーディオデータであってもよい。
【０１９６】
幾つかの実施形態において、代替オーディオデータは、第１のエレメンタリストリーム自体において与えられてもよい。即ち、必須のオーディオデータ及び交換可能なオーディオデータを含む同じエレメンタリストリームの部分であってもよい。故に、図３の装置は、代替オーディオデータを含むデータパケットをトランスポートストリームに時間多重化することにより第１のエレメンタリストリームに代替オーディオデータを含めるように構成されてもよい。ここで、これらのデータパケットのＰＩＤは、必須のオーディオデータ及び交換可能なオーディオデータを有するデータパケットのためのものと同じである。図４の装置は、デフォルトとして、必須のオーディオデータ及び交換可能なオーディオデータを有するデータパケットからオーディオデータを抽出してもよく、このデータから出力オーディオ信号を生成するよう進行してもよい。しかしながら、例えばユーザ入力に基づいて、本装置は、代わりに、適切なデータパケットから代替オーディオデータを抽出してもよく、交換可能なオーディオデータの代わりにこのデータを用いてオーディオ出力信号を生成してもよい。
【０１９７】
斯様なアプローチの一例が図６に示されている。ここで、第１のエレメンタリストリームは、必須のオーディオデータ（ＢＧ１ｐ１  ｃ）、交換可能なオーディオデータ（ＯＡ  Ａ）及び代替オーディオデータ（ＯＡ  Ｂ，ＯＡ  Ｃ）を有するデータパケットを有する。本例において、必須のオーディオデータは、必須のオーディオ成分を生成するために抽出され、データパケットＯＡ  Ｂからのデータは、デフォルトの交換可能なオーディオデータの代わりに代替オーディオ成分を生成するために抽出及びデコードされる。出力信号は、デコードされた必須のオーディオ成分及びデコードされた代替オーディオ成分を組み合わせることにより生成される。
【０１９８】
前の説明は、代替オーディオデータが異なる言語のような異なるオーディオ成分に対応する例にフォーカスしている。しかしながら、述べられたアプローチが斯様な例に限定されるものではないことが理解されるだろう。
【０１９９】
実際には、幾つかの実施形態において、交換可能なオーディオデータ及び代替オーディオデータは、異なるエンコーディング特性を用いてエンコードされた同じオーディオコンテンツを表してもよい。詳細には、交換可能なオーディオデータ及び代替オーディオデータは、同じオーディオコンテンツであるが異なるビットレートでエンコードされたもの、詳細には同じオーディオ成分であるが異なるビットレートでエンコードされたものに対応してもよい。
【０２００】
これは、増大されたフレキシビリティを提供し得る。例えば、受信部が、トランスポートストリームを受信し、効率的に及び低い複雑性で、同じであるが異なるデータレートを伴うオーディオコンテンツに対応するトランスポートストリームを生成するのを可能にしてもよい。故に、交換可能なオーディオデータと代替オーディオデータとの間の選択は、特定のデータレート及び所望のデータレートのようなデータ自体の特性に依存してもよい。本アプローチは、増大されたフレキシビリティを可能にし得る。詳細には、トランスポートストリームの特性のフレキシブルな適応を可能にし得る。
【０２０１】
幾つかの実施形態において、代替オーディオデータは、例えば、複数のサブオブジェクトを表す、ＳＡＯＣオーディオオブジェクトのようなオーディオオブジェクトであってもよい。
【０２０２】
幾つかの実施形態において、図３の装置は、トランスポートストリームにレンダリング制御データを含めるように構成あされてもよい。レンダリング制御データは、トランスポートストリームのオーディオのレンダリングのための必要とされる、所望の又は提案されたレンダリングパラメータを特定してもよい。例えば、レンダリング制御データは、オーディオ成分の絶対的又は相対的レベルの指標を与えてもよい。
【０２０３】
レンダリング制御データは、詳細には、交換可能なオーディオデータが用いられるときに、代替オーディオデータが用いられるときとは異なるレンダリングパラメータを与えてもよい。
【０２０４】
レンダリング制御データは、例えば、デフォルトのオーディオがレンダリングされるときの、即ち出力信号が必須のオーディオデータ及び交換可能なオーディオデータに基づいて生成されるときの、出力信号のための相対的なゲイン又は信号レベルを記述してもよい。代替オーディオがレンダリングされるときの、即ち出力信号が必須のオーディオデータ及び代替オーディオデータに基づいて生成されるときの、出力信号のための異なる相対的なゲイン又は信号レベルを更に記述してもよい。
【０２０５】
斯様なアプローチは、例えば、レンダリングの間の差分を与えるために用いられてもよく、例えば、オーディオは、代替オーディオ信号がレンダリングされるときよりも、デフォルトのオーディオ信号がレンダリングされるときに、より大きくレンダリングされてもよい。しかしながら、本アプローチは、また、出力信号を均等化するために用いられてもよい。例えば、交換可能なオーディオ成分のレベルが代替オーディオ成分のレベルよりも高いという状況において、レンダリング制御データは、レベル差が低減されることをもたらす代替オーディオ成分を用いたときに、出力信号の全体的なゲインを増大してもよい。
【０２０６】
幾つかの実施形態において、レンダリング制御データは、交換可能なオーディオ成分及び代替オーディオ成分のための異なるレンダリングを記述してもよい。例えば、交換可能なオーディオ成分のためのゲインは、代替オーディオ成分とは異なるものであってもよい。これは、例えばカスタム化を可能にし得る。特定の例として、ドイツ語ＴＶ放送は、英語ＴＶ放送よりも、スポーツイベントのための観衆のノイズに対して解説者のサウンドの高い相対的レベルを有する傾向があってもよい。従って、異なるゲインは、代替言語を有する単一のトランスポートストリームから同じ効果が提供され得るように、２つの異なる言語成分に対して設定されてもよい。
【０２０７】
幾つかの実施形態において、レンダリング制御データは、出力信号が交換可能なオーディオデータ／交換可能なオーディオ成分に基づいて生成されるか又は代替オーディオデータ／代替手段オーディオ成分に基づいて生成されるかに依存して、必須のオーディオデータ／必須のオーディオ成分（場合によりのみ）のための異なるレンダリングパラメータを与えてもよい。
【０２０８】
受信部が供給されたトランスポートストリームを完全に利用するのを可能にするために、送信部は、トランスポートストリームに含まれた異なるデータに関する情報の信号伝送し得る追加のデータを含んでもよい。
【０２０９】
詳細には、幾つかの実施形態において、図３の装置は、第１のエレメンタリストリームが交換可能なオーディオデータを有するという指標を含むように構成されてもよい。この指標は、例えば、トランスポートストリームのための別々の設定データの部分として供給されてもよい。例えば、トランスポートストリームの異なるエレメンタリストリームを特定する設定パケットを有するデータパケットが供給されてもよい。詳細には、ＰＭＴを含む設定データが供給されてもよい。この場合には、個々のエレメンタリストリームを規定するＰＭＴの部分は、どのオーディオ成分がエレメンタリストリームにおいて表されるか、詳細には個々のエレメンタリストリームが１つを超えるオーディオ成分を有するかどうか、を規定する情報を含むように強化されてもよい。例えば、フラグが、所与のエレメンタリストリームが交換可能なオーディオデータを有することを示すためにセットされてもよい。
【０２１０】
幾つかの実施形態において、トランスポートストリームは、エレメンタリストリームにおける交換可能なオーディオデータのための抽出データを含むために生成されてもよい。斯様な抽出データは、例えば、交換可能なオーディオデータがどのように識別され得るかを特定してもよい。例えば、どのデータパケットが交換可能なオーディオデータを含むか、及び、どのデータパケットが必須のオーディオデータを含むかの指標を有してもよい。この記述は、例えば、エレメンタリストリームに含まれるオーディオ成分を記述し、各々を識別子と関連付けることにより与えられてもよい。そして、各データパケットは、データパケットがどのオーディオ成分のためのオーディオデータを有するかを示すためにヘッダにオーディオ成分識別子を含め得る。抽出データは、各オーディオ成分のためのオーディオ成分識別子を供給してもよく、これにより、受信部が関連情報を抽出するのを可能にする。
【０２１１】
詳細には、ＭＰＥＧ−２トランスポートストリームに関して、追加のオーディオ記述子は、オブジェクトの定義によって拡張されてもよい。追加のオーディオ記述子の構文の一例が図７に与えられる。図８は、データアイテムｍｉｘ＿ｔｙｐｅ及びｅｄｉｔｏｒｉａｌ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎそれぞれの従来型の使用を示している。
【０２１２】
この例では、ｍｉｘ＿ｔｙｐｅデータ構造は、図８のものから図９のものに変えられてもよい。ｅｄｉｔｏｒｉａｌ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎは、図１０のものに変えられてもよい。更に、図１１のもののようなＡＡＣ記述子成分が用いられてもよい。
【０２１３】
この例は、オーディオが操作され得るオブジェクトを含むかどうか示すために、予約されたビットがｅｄｉｔｏｒｉａｌ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎデータ構造下で用いられ得ることを示す。ｍｉｘｅｄ＿ｔｙｐｅが１に等しい場合には、オブジェクトビット値１は、オーディオトラックがバックグラウンドオブジェクトであり、オブジェクトと混合されなければならないことを示す。オブジェクトビットが０である場合、これは現在の場合であり、これは、オーディオトラックが完全なものであり、オブジェクト又は他のｍｉｘ＿ｔｙｐｅ  ０ストリームによって補完され得ることを示す。
【０２１４】
ｅｄｉｔｏｒｉａｌ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎデータ構造によれば、交換可能なオブジェクトの使用事例は、信号伝送され得る。その交換可能なオブジェクトの識別は、ＡＡＣ記述子に配置され得る。このレベルで与えられる必要がある唯一の信号は、交換可能なオブジェクトがあるという識別子である。
【０２１５】
ＡＡＣ記述の拡張は、詳細には、その属性を記述するオブジェクト毎の記述子を有するオブジェクトのループを含んでもよい。詳細には、
−  オブジェクトの言語。
−  Ｒｅｐｌａｃａｂｉｌｉｔｙ：これは、オブジェクトがストリームにおけるデフォルトのオブジェクトであること、及び、他のオブジェクト（及び、オプションとして、その代替オブジェクトに対する関連性が含まれてもよい）により置換され得ることを信号伝送し得る。
−  これが、ユーザが全体に追加するために選択し得るオブジェクトであるか、又は、それを除外するために選ぶか。例えば、障害をもったもののための特別なサウンドトラックであってもよく、又は、特別な解説を含んでもよい。これは、極めて制限された帯域幅コストで解説トラックを提供する可能性をオペレータに与える。
−  インタラクティブなオブジェクトであることをユーザに対して明らかにするためにオブジェクトによって表示され得るテキストの指標。例えば、ユーザがこのオブジェクトを選択するのを可能にしてもよく、他の位置に置くのを可能にしてもよく、又は、より大きく又はより小さくするのを可能にしてもよい。
−  オーディオオブジェクトに結合されるビデオオブジェクトへのリンクを供給する。インタラクティブなオブジェクトは、そのビデオの対応部分一緒に移動される性能を有してもよい。例えば、オブジェクトに"ズームする"ことが可能であってもよい。ズームは、ビデオオブジェクトにより視覚化され得るとともに、オーディオオブジェクトによる音量である。そして、ユーザは、オブジェクトが実際に近く来るという錯覚を有する。そのオブジェクト単独のオーディオだけがより大きくなるためである。
【０２１６】
更に、オーディオペイロードヘッダ（ＵｓａｃＣｏｎｆｉｇ）におけるオブジェクトは、メタデータ記述子を介して固有の識別子によって拡張され得る。この識別子は、オブジェクトの識別を可能にするために、ＰＭＴにおける記述子に含まれてもよい。この識別子は、オーディオコンテンツを記述するファイルにおけるＸＭＬ記述でもあってよい。
【０２１７】
図１２は、オブジェクトがＵｓａｃＣｏｎｆｉｇにおいてどのように識別され得るかを示している。
【０２１８】
図１３は、オブジェクトがそのコンテンツをＳＡＯＣオブジェクトに任せるのを可能にするための、オブジェクト記述子の構文の一例を示している。
【０２１９】
多くの実施形態において、オーディオビジュアルコンテンツアイテムデータストリームは、階層的配列において構造化された、オーディオビジュアルデータ、制御データ、メタデータ等を含むデータを適宜有してもよい。
【０２２０】
詳細には、オーディオビジュアルコンテンツアイテムデータストリーム（詳細にはトランスポートストリーム）は、オーディオビジュアルコンテンツアイテムデータストリームに含まれるコンテンツアイテムを規定するデータストリームコンテンツアイテム記述子を有してもよい。データストリームコンテンツアイテム記述子は、詳細には、詳細には規格化され得る、予め決められたパケット識別子に割り当てられてもよく、それ故、送受信側の双方で知られるだろう。故に、受信部は、予め決められたパケット識別子を有するデータパケットを検出することができ、これらのデータパケットから、どのコンテンツアイテムがオーディオビジュアルコンテンツアイテムデータストリームに含まれるかを決定するためのデータを抽出することができる。例えば、ＭＰＥＧトランスポートストリームに関して、トランスポートストリームは、０の予め決められたＰＩＤを有するデータパケットに含まれるＰＡＴを含む。
【０２２１】
データストリームコンテンツアイテム記述子は、詳細には、各コンテンツアイテムに関して、コンテンツアイテムのためのコンテンツアイテムマップテーブルに対するポインタを与えてもよい。コンテンツアイテムのためのコンテンツアイテムマップテーブルは、コンテンツアイテムに関連付けられるオーディオビジュアルデータストリームのためのデータパケットのためのオーディオビジュアルデータストリームパケット識別子のリストを有してもよい。故に、コンテンツアイテムマップテーブルは、例えばビデオデータ、必須のオーディオデータ、交換可能なオーディオデータ、代替オーディオデータ及び追加のオーディオデータを含む、コンテンツアイテムのためのオーディオビジュアルデータを供給する各オーディオビジュアルデータストリームのためのパケット識別子を有する。加えて、コンテンツアイテムマップテーブルは、コンテンツアイテムのための、例えばメタデータ、制御データ等を供給するデータストリームのためのポインタ及び詳細にはパケット識別子を有してもよい。コンテンツアイテムマップテーブルは、プログラムマップテーブルであってもよい。
【０２２２】
詳細には、ＭＰＥＧタイプのデータストリームに関して、ＰＡＴは、各コンテンツアイテムに対して、ＰＭＴのためにパケット識別子を含む。そして、プログラム／コンテンツアイテムのためのＰＭＴは、プログラムのためのオーディオビジュアルデータを供給する各エレメンタリデータストリームのためのＰＩＤを含んでもよい。
【０２２３】
従って、オーディオビジュアルデータストリームは、コンテンツアイテムマップテーブルに示されるものに対応するパケット識別子を有するデータパケットにおいて与えられる。例えば、前述したように、必須の及び交換可能なオーディオデータは、１つのパケット識別子を有するパケットにおいてオーディオデータを供給することにより、１つのオーディオビジュアルデータストリームにおいて供給されてもよく、第１の代替データは、他のパケット識別子を有するパケットにおいてオーディオデータを供給することにより、他のオーディオビジュアルデータストリームにおいて供給されてもよく、第２の代替データは、第３のパケット識別子を有するパケットにおいてオーディオデータを供給することにより、他のオーディオビジュアルデータストリームにおいて供給されてもよい。コンテンツアイテムマップテーブルは、それぞれのオーディオビジュアルデータストリームのパケット識別子を含むように生成される。
【０２２４】
本アプローチは、高度なフレキシビリティを提供し、ソースが特定のシナリオに適したオーディオビジュアルコンテンツアイテムデータストリームを生成するのを可能にし、これは、望ましい手段において所望のコンテンツアイテムを与える。これは、受信部によるデータの抽出を更に大幅に促進し得る。詳細には、受信部は、基本的には、必要とされるデータを選択するためにパケット識別子をモニタすることのみを必要とし、必要とされるデータを含まない全てのデータパケットを単純に無視し得る。
【０２２５】
例えば、受信部は、データストリームコンテンツアイテム記述子のパケット識別子のための受信されたパケットを最初にモニタしてもよい。即ち、詳細には、ＰＡＴの予め決められたＰＩＤ（ＭＰＥＧの場合においてＰＩＤ  ０）をモニタしてもよい。
【０２２６】
これが検出されるとき、受信部は、データを抽出し、所望のコンテンツアイテムを選択する。そして、コンテンツアイテムマップテーブルのためのパケット識別子、詳細にはＭＰＥＧのためのＰＭＴのためのＰＩＤは、このコンテンツアイテムのために抽出される。
【０２２７】
そして、受信部は、このパケット識別子を有するデータパケットのためにスキャンする。これらのデータパケットのためのデータは抽出され、これにより、コンテンツアイテムのためのデータを有するオーディオビジュアルデータストリームのためのパケット識別子を与える。そして、受信部は、これらの識別子を含むデータパケットのためにスキャンするよう進行し得る一方で、全ての他のデータパケットを無視する。本アプローチは、とりわけ、オーディオビジュアルデータの実用的な及び低い複雑性の多重化（multiplexing）及び分離化（de-multiplexing）を可能にする。
【０２２８】
故に、本アプローチは、オーディオビジュアルコンテンツアイテムデータストリームから関連したデータを抽出するための低い複雑性及び低いリソースのアプローチを提供する。
【０２２９】
しかしながら、幾つかの実施形態において、オーディオビジュアルコンテンツアイテムデータストリームは、多数のオーディオビジュアルデータストリームが単一のオーディオビジュアルデータストリームとして処理されるのを可能にするために生成されてもよい。詳細には、標準のパケット識別子を用いるよりはむしろ、本アプローチは、組み合わせられた又は連結された識別アプローチを用いてもよい。詳細には、オーディオビジュアルデータストリームは、一次識別子及び二次識別子の双方と関連付けられてもよい。ここで、第１の識別子は、オーディオビジュアルデータストリームのうちの少なくとも２つのための共通の識別子であってもよい。
【０２３０】
一次識別子は、詳細には、共通のデータストリームパケット識別子であってもよい。即ち、（組み合わせられた）データストリームを識別するパケット識別子であってもよい。一次識別子が複数のオーディオビジュアルデータストリームに対して共通であるので、一次識別子は、一次識別子を共有する全てのオーディオビジュアルデータストリームの組み合わせである、共通の又は組み合わせられたオーディオビジュアルデータストリームを規定するものとみなされ得る。
【０２３１】
一次識別子は、多くの実施形態において、コンテンツアイテムマップテーブルに含まれる。故に、コンテンツアイテムマップテーブルは、一次識別子を含めるように生成され、それ故、コンテンツアイテムマップテーブルは、これにより、複数の個々のオーディオビジュアルデータストリームの組み合わせられたデータストリームである単一のデータストリームに対するポインタを与える。
【０２３２】
実際には、多くの実施形態において、図３の装置は、オーディオを有する全てのオーディオビジュアルデータストリームのための、又は、実際には、コンテンツアイテムマップテーブルにより表されたコンテンツアイテムのための、全てのオーディオビジュアルデータストリームのための、単一の一次識別子のみを含めるようにコンテンツアイテムマップテーブルを生成するように構成されてもよい。
【０２３３】
実際には、幾つかの実施形態において、コンテンツアイテムマップテーブルは、コンテンツアイテムのためのたった１つのオーディオビジュアルデータストリームパケット識別子をコンテンツアイテムマップテーブルに含めるために、又は、コンテンツアイテムのためのオーディオデータのためのたった１つのオーディオビジュアルデータストリームパケット識別子をコンテンツアイテムマップテーブルに含めるために、生成されてもよい。故に、所与のコンテンツアイテムのために、共通のパケット識別子は、コンテンツアイテムのための全てのオーディオ又はオーディオビジュアルコンテンツを表す。実際には、コンテンツアイテムは、単一のオーディオビジュアルデータストリーム（又はオーディオのための単一のオーディオビジュアルデータストリーム）のみを有したかどうかのような一次識別子に基づいて処理されてもよい。
【０２３４】
特定の例として、ＭＰＥＧタイプのトランスポートストリームに関して、コンテンツアイテムのためのＰＭＴは、コンテンツアイテムのための、全てのオーディオエレメンタリストリームのための、又は、実際には全てのオーディオ又はビデオエレメンタリストリームのための、１つのＰＩＤのみを含めるように生成されてもよい。故に、コンテンツアイテムは、全てのオーディオのための、又は、全てのオーディオ及びビデオのための、単一のＰＩＤのみに関連付けられるだろう。
【０２３５】
従って、幾つかの実施形態において、オーディオビジュアルデータストリームは、受信部、マルチプレクサ、デマルチプレクサ等のような処理デバイスにとって、実際の場合よりも少ないオーディオビジュアルデータストリームを有するように見えてもよい。詳細には、オーディオビジュアルデータストリームは、コンテンツアイテムのための単一のオーディオ又は単一のオーディオビジュアルエレメンタリストリームを有するように見えてもよい。例えば、ＭＰＥＧタイプの例に関して、トランスポートストリームは、処理回路にとって、コンテンツアイテムのための全てのオーディオ（又はオーディオビジュアル）成分のための単一のエレメンタリストリームのみを含むように見えてもよい。
【０２３６】
しかしながら、オーディオビジュアルコンテンツアイテムデータストリームは、共通のオーディオビジュアルデータストリームに組み合わせられたそれぞれ個々のオーディオビジュアルデータストリームのための二次識別子を更に有してもよい。二次識別子は、共通のオーディオビジュアルデータストリーム内において固有である。即ち、共通のオーディオビジュアルデータストリームの２つのオーディオビジュアルデータストリームは二次識別子を有しないだろう。それ故、二次識別子は、個々のオーディオビジュアルデータストリームが識別されるのを可能にする。
【０２３７】
二次識別子は、多くの実施形態において、パケット識別子であってもよい。故に、多くの実施形態において、個々のパケットは、共通の一次パケット識別子により、及び、二次パケット識別子により表されてもよい。各パケットは、共通の一次パケット識別子が含まれるフィールド及び個々の二次識別子が含まれる第２のフィールドを含んでもよい。
【０２３８】
この手法において、パケットは、パケットが単一のオーディオビジュアルデータストリームを表した場合のように、デマルチプレクサ、ルータ等のような回路により処理され得る。詳細には、ＰＭＴにおける共通のＰＩＤ及びＭＰＥＧタイプのトランスポートストリームのためのデータパケットのＰＩＤフィールドを含むことにより、トランスポートストリームは、単一のオーディオ又はオーディオビジュアルエレメンタリストリームのみを有する場合のように、処理され得る。この機能は、例えばコンテンツアイテムのための全てのオーディオデータパケットを、同様の態様で、及び単一のエレメンタリストリームのみが存在した場合のように、単純に処理し得る。しかしながら、同時に、適切に備えられた機能は、個々のオーディオビジュアルデータストリームにアクセスし、これらを別々のオーディオビジュアルデータストリームとして処理することができる。詳細には、斯様な機能は、二次識別子を有するフィールドを更に評価することができる、従って、データパケットを処理する方法を選択することができる。詳細には、どのオーディオビジュアルデータストリームがコンテンツアイテムの所望のレンダリングを提供するために必要とされるかに依存してデータパケットを無視すべきか又は処理すべきかを決めることができる。
【０２３９】
故に、オーディオビジュアルコンテンツアイテムデータストリームを処理するとき、受信部は、一次／共通のパケット識別子に基づいて所与のコンテンツアイテムのための正しいデータパケットを検出してもよい。とりわけ、受信したコンテンツアイテムマップテーブル内の情報に基づいて、共通のオーディオビジュアルデータストリームに属している、それ故、共通のオーディオビジュアルデータストリームを形成する個々のオーディオビジュアルデータストリームに属している、全てのデータパケットを識別してもよい。故に、オーディオデータの抽出は、一次識別子に基づいている。
【０２４０】
斯様な二部（two-part ）パケット識別子アプローチを用いた実施形態において、トランスポートストリームは、対応する二次識別子の情報を含む、個々のオーディオビジュアルデータストリームの情報、典型的には、個々のオーディオビジュアルデータストリームと関連付けられた個々のオーディオビジュアルデータストリームのオーディオの特性の情報を与える追加のデータを有してもよい。
【０２４１】
例えば、所与の一次識別子に関して、同じ一次識別子を共有するオーディオビジュアルデータストリームの全ての二次識別子をリストアップするデータが与えられてもよい。前記データは、例えば必須のオーディオデータ、交換可能なオーディオデータ、追加のオーディオデータ、代替オーディオデータ等を有するかどうかのような、個々のオーディオビジュアルデータストリームの特性を更に示してもよい。
【０２４２】
幾つかの実施形態において、斯様な情報は、共通のオーディオビジュアルデータストリームのデータパケットの範囲内で与えられてもよい。例えば、定期的に、二次識別子に関する全ての情報を含むデータパケットが与えられてもよい。受信部は、最初に、一次識別子を有する全てのデータパケットからデータを検出及び抽出してもよい。二次識別子の使用に関する情報を有するデータパケットが受信されたときには、この情報は、個々のオーディオビジュアルデータストリームを識別するために受信部により抽出及び使用され得る。そして、一次パケット識別子を有するデータパケットの二次識別子を考慮するために、詳細には、所望の二次識別子を有するデータパケットのみからデータを抽出するために、切り替わってもよい。
【０２４３】
他の実施形態として、データは、共通のオーディオビジュアルデータストリーム外で与えられてもよく、実際には、多くの実施形態において、情報は、コンテンツアイテムマップテーブルにおいて与えられ得る。
【０２４４】
詳細には、共通の又は一次識別子のそれぞれに関して、コンテンツアイテムマップテーブルは、複数の二次パケット識別子を含めるように生成されてもよい。各二次パケット識別子は、共通のオーディオビジュアルデータストリームのオーディオビジュアルデータストリームの個々のオーディオビジュアルデータストリームを識別する。
【０２４５】
例えば、一次識別子のリストの後、多数のオプショナルなフィールドがコンテンツアイテムマップテーブルに含まれてもよい。ここで、各オプショナルなフィールドは、共通の一次識別子を有する個々のオーディオビジュアルデータストリームのための二次識別子を与える。一次識別子がオーディオビジュアルデータストリームの組み合わせではない単一のオーディオビジュアルデータストリームを表す場合、オプショナルなフィールドは含まれなくてもよい。各オプショナルなフィールドは、個々のオーディオビジュアルデータストリームのための二次パケット識別子に加えて、オーディオビジュアルデータストリームのためのメタデータ（詳細には、例えば、代替オーディオデータ、必須のオーディオデータ、交換可能なオーディオデータ又は追加のオーディオデータを含むかどうかのような、オーディオビジュアルデータストリームのオーディオビジュアルデータの特性を規定するデータ）を有してもよい。
【０２４６】
詳細には、コンテンツアイテムマップテーブルは、各一次識別子に対して、組み合わせられたオーディオビジュアルデータストリームの１つの個々のオーディオビジュアルデータストリームを表す各フィールドを有するフィールドのセットを含めるように、変更又は生成されてもよい。
各フィールドは、例えば、以下のものを表すデータを有してもよい。
−  個々のオーディオビジュアルデータストリームのための二次識別子
−  その個々のオーディオビジュアルデータストリームのための記述
【０２４７】
例えば、ＭＰＥＧタイプのアプローチに関して、ＰＭＴは、コンテンツアイテムのための全てのオーディオのための単一のＰＩＤを有してもよい。ＰＭＴにおけるＰＩＤの後、それぞれ個々のオーディオビジュアルデータストリームに対して、二次識別子、及び、その個々のオーディオビジュアルデータストリームのコンテンツを特徴付けるメタデータを与えるフィールドのセットが存在してもよい。
【０２４８】
幾つかの実施形態において、一次／共通の識別子及び二次パケット識別子は、階層的な配列において与えられてもよい。例えば、一次パケット識別子は、エレメンタリストリームを探している受信部によりスキャンされる第１のレベルにおいて、コンテンツアイテムマップテーブルにおいて与えられてもよい。二次パケット識別子は、例えば各一次パケット識別子に対して二次パケット識別子のリストを含める等のように、一次パケット識別子に関連付けられるオプショナルなフィールドにおいて与えられてもよい。斯様な実施形態において、受信部は、一次パケット識別子の標準のリストを適宜最初にスキャンするだろう。所望の組み合わせられたエレメンタリストリームが識別されたとき、受信部は、識別された一次パケット識別子のために格納される二次パケット識別子のリストを経由するよう進行してもよい。故に、二次パケット識別子は、対応する一次パケット識別子に依存して識別される。
【０２４９】
故に、幾つかの実施形態において、一次及び二次パケット識別子の入れ子になった構造が用いられてもよい。例えば、ＰＭＴは、専用のフィールドのセットにＰＩＤのリストを含めてもよく、前記リストは、例えば、組み合わせられたエレメンタリストリームのための単一の一次ＰＩＤのみを含んでもよい。しかしながら、ＰＭＴは、加えて、組み合わせられたエレメンタリストリームの個々のエレメンタリストリームのための二次ＰＩＤの第２のリストを含んでもよい。これらの二次ＰＩＤは、二次ＰＩＤのための専用のデータフィールドにおいて与えられ、一次ＰＩＤに関連付けられる。故に、受信部は、一次ＰＩＤに基づいてのみ二次ＰＩＤにアクセスし、実際には、受信部は、一次ＰＩＤと二次ＰＩＤとの間を区別するだろう。
【０２５０】
しかしながら、他の実施形態において、一次及び二次パケット識別子の平坦な構造が用いられてもよい。実際には、コンテンツアイテムマップテーブルは、一次及び二次識別子の双方を含み得る識別子のリストを有してもよい。実際には、コンテンツアイテムマップテーブルは、組み合わせられたオーディオビジュアルデータストリーム及び個々のオーディオビジュアルデータストリームを含む全ての考えられるオーディオビジュアルデータストリームの単純なリストを含んでもよい。更に、所与の個々のオーディオビジュアルデータストリームは、個々のオーディオビジュアルデータストリームのための二次パケット識別子により表されてもよく、一次パケット識別子により表されてもよい（即ち、これらのパケット識別子のいずれかの選択は、オーディオビジュアルデータストリームの選択をもたらすだろう）。実際には、それぞれ個々のオーディオビジュアルデータストリームに関して、コンテンツアイテムマップテーブルは、個々のオーディオビジュアルデータストリームが属している任意の組み合わせられたオーディオビジュアルデータストリームの一次パケット識別子、及び個々のストリームのための二次パケット識別子、のための入力を含んでもよい。故に、この例において、リストは、例えば、組み合わせられた及び個々のオーディオビジュアルデータストリームの双方を含む、全てのオーディオビジュアルデータストリームのためのパケット識別子を有する入力を有してもよい。
【０２５１】
従って、幾つかの実施形態において、二次パケット識別子は、一次パケット識別子に関連付けられたデータにおいてカプセル化されてもよいのに対し、他の実施形態において、二次パケット識別子は、一次パケット識別子と並行して供給されてもよい。従って、一次パケット識別子は、複数のオーディオビジュアルデータストリームを有する組み合わせられたオーディオビジュアルデータストリームのためのパケット識別子を与える任意の識別子であり得る。二次パケット識別子は、個々のオーディオビジュアルデータストリームのための任意のパケット識別子であってもよく、カプセル化される必要がなく、埋め込まれる必要がなく、又は、一次パケット識別子に依存する必要がない。
【０２５２】
例えば、単一の一次パケット識別子のためのデータにおける二次パケット識別子の埋め込まれた情報よりはむしろ、コンテンツアイテムマップテーブルは、ループ／シーケンスにおける全ての考えられるパケット識別子を含めるように生成されてもよい。斯様な実施形態において、受信部は、必要とされる特定のデータに対応するパケット識別子を単純に選択することができ、リストから適切なパケット識別子を単純に選択することにより、例えば単一の組み合わせられたオーディオビジュアルデータストリーム又は個々のオーディオビジュアルデータストリームを選択するために選びことができる。
【０２５３】
斯様な実施形態において、受信部１４０１は、詳細には、単一の組み合わせられたストリームにおける全てのオーディオ情報を単に送信するよりはむしろ、必要とされるパケット識別子を選択することにより所望のオーディオを選択するように構成されてもよい。
【０２５４】
本アプローチは、単一のオーディオビジュアルデータストリームを有する特性をトランスポートストリームにおける複数のオーディオビジュアルデータストリームを有するものと組み合わせてもよい。
【０２５５】
これは、大きな利点を提供し得る。この分野における多くの機器は、複数のオーディオビジュアルデータストリームを確実に処理することができないためである。
【０２５６】
図１４は、オーディオデコーダ１４０３に結合される受信部１４０１を有する受信装置の一例を示している。本例において、受信部１４０１は、オーディオビジュアルコンテンツアイテムデータストリームを受信し、例えば種々のオーディオビジュアルデータストリームを抽出するためにこれを処理することができる。故に、受信部１４０１は、トランスポートストリームを受信してもよく、これを、例えば個々のオーディオ及びビデオエレメンタリデータストリームを生成するために処理するように構成されてもよい。受信部１４０１は、詳細には、図４の受信部４０１に直接対応し得る。
【０２５７】
オーディオデコーダ１４０３は、オーディオデータを有する１又はそれ以上のデータストリームを受信し、このオーディオデータから出力オーディオ信号を生成するように構成される。オーディオデコーダ１４０３は、詳細には、オーディオビジュアルコンテンツアイテムデータストリームのオーディオビジュアルデータストリームからオーディオデータを受信するための機能を有してもよい。従って、オーディオデコーダ１４０３は、詳細には、同じ又は他のエレメンタリストリームから代替オーディオデータを取り出すために、受信した交換可能なオーディオデータを代替データと置換するために、及び、生ずるオーディオデータからオーディオ信号を生成するために、エレメンタリストリームから必須のオーディオデータを抽出する機能を含んでもよい。
【０２５８】
詳細には、オーディオデコーダ１４０３は、図４の残りの機能ブロックを有してもよく、詳細には、データ抽出部４０３，４０５，４０７、デコーディングユニット４０９，４１１，４１３及び置換部／組み合わせ部４１５を有してもよい。
【０２５９】
図１４の例において、オーディオデコーダ１４０３には、異なるオーディオビジュアルデータストリーム／エレメンタリデータストリームが供給され得る。ここで、各ストリームは、異なるオーディオデータを有するオーディオストリームである。しかしながら、多くの実施形態において、受信部１４０１は、全てのオーディオデータを含む単一のデータストリームを生成し、このデータストリームをオーディオデコーダ１４０３に供給するように構成されてもよい。受信部１４０１は、例えば、異なるエレメンタリストリームを有する単一の組み合わせられたオーディオストリームにオーディオエレメンタリストリームを組み合わせてもよい。幾つかのシナリオにおいて、単一の組み合わせられたオーディオストリームは、個々のオーディオビジュアルデータストリームを依然として有してもよく、例えば、個々のオーディオビジュアルデータストリームは、単一のデータストリームにカプセル化されてもよい。他のシナリオにおいて、受信部１４０１は、例えば、関連したオーディオデータを抽出してもよく、これを、入力オーディオビジュアルデータストリームの全ての態様を含めることなくオーディオデータストリームに組み合わせてもよい。例えば、受信部１４０１は、データストリームのための異なる制御、構文及び／又は構造データを有する新たなデータストリームを生成してもよい。幾つかの場合において、オーディオデータは、新たなオーディオビジュアルデータストリーム、即ち新たなエレメンタリストリームに組み合わせられてもよい。この組み合わせられたオーディオビジュアルデータストリーム／エレメンタリストリームは、受信したトランスポートストリームのオリジナルエレメンタリストリームを有してもよく、又は、独立したエレメンタリストリームにおいてオーディオデータの一部若しくは全部を含んでもよい。簡潔さのために、以下の説明は、オーディオビジュアルコンテンツアイテムデータストリーム及びオーディオビジュアルデータストリームよりもむしろ、主としてトランスポートストリーム及びエレメンタリストリームに言及するだろう。更に、受信部１４０１がオーディオデコーダ１４０３のための単一のエレメンタリストリームを生成するというシナリオに言及するだろう。
【０２６０】
故に、オーディオデコーダ１４０３は、１つのオーディオエレメンタリストリームを受信し、出力オーディオストリームを生成するだろう。
【０２６１】
多くの実用的な実装において、受信部及びデコーダは、密接に一体化された機能よりもむしろ、比較的独立した及び別々の機能ブロックである。実際には、多くのシナリオにおいて、２つの実体は、独立して及び別々に設計及び開発されてもよい。例えば、多くのコンテンツレンダリングデバイスに関して、オーディオデコーダは、多くの異なるデバイスのために再生利用される一般的なデコーダである。コンテンツレンダリングデバイスの多数の製造者は、これらを自己で開発するよりむしろ、一般的なオーディオデコーダ機能を購入するかもしれない。
【０２６２】
従って、受信部１４０１とオーディオデコーダ１４０３との間のインタフェースは、多くのシナリオにおいて極めて重要であり、例えば専用の及び所有者のインタフェース及び制御に依存するよりはむしろ、単純な、及び、規格化された、又は、少なくとも共通のアプローチを利用することが望ましい。
【０２６３】
伝統的に、オーディオデコーダは、オーディオデコーダにより実装されるデコーディング規格に従って、及び、外部回路により任意の更なる変更又はインタラクションを伴うことなく、デコードされるビットストリームが供給される比較的単純なデバイスのフレームワークにおいて考慮されてきた。斯様なアプローチは、例えば、図４の実施形態において用いられ得る。ここで、デコーディングユニット４０９−４１３の各々には、単純なエレメンタリストリームが供給され、特定のレンダリングのための特定のオーディオ優先度に応じて、組み合わせ部４１５によりその後組み合わせられ得るオーディオ信号を生成する。詳細には、出力信号は、例えば特定のユーザにより必要とされる交換可能なオーディオデータ又は代替データに基づいて生成されてもよい。
【０２６４】
幾つかの実施形態において、本装置は、より複雑なオーディオデコーダ１４０３を用いてもよく、これは、詳細には、１又はそれ以上のオーディオエレメンタリストリームを受信してもよく、これから、例えばオーディオ信号のデコーディング前にデータを操作することにより出力オーディオを生成してもよい。例えば、斯様な実施形態において、オーディオデコーダ１４０３は、実際のデコーディングが実行される前に用いられるべき適切なデータを選択してもよい。故に、用いられないオーディオデータは、デコードされなくてもよく、実際には、オーディオデコーダ１４０３に供給されるデータストリームから抽出されさえしなくてもよい。例えば、代替データにより置換される交換可能なオーディオデータは、デコードされなくてもよく、又は、抽出されさえしなくてもよい。同様に、用いられない代替オーディオデータ、又は、交換可能なオーディオデータを置換するために用いられない代替オーディオデータは、デコード又は抽出されなくてもよい。
【０２６５】
故に、幾つかの実施形態において、代替オーディオデータによる交換可能なオーディオデータの置換は、デコードされたオーディオ信号の組み合わせを適合することにより実行されはしなくてもよいが、代わりに、交換可能なオーディオデータを選択するよりはむしろ、デコーディングのために代替オーディオデータを選択することにより実行されてもよい。出力信号は、この場合、例えば、必須のオーディオデータ及び代替オーディオデータのみをデコードし、生ずるオーディオ信号を一緒に追加することにより生成されてもよい。
【０２６６】
斯様なアプローチは、多くのシナリオにおいて、より効率的な動作を提供する。しかしながら、デコーダは、個々のシナリオの特定の要件及び優先度に適応することができることを要する。更に、デコーダは、複数の異なるオーディオ成分を処理し、フレキシブルな態様でこれらに適応することができることを要する。詳細には、オーディオデコーダが全ての受信したオーディオデータを単にレンダリングするよりはむしろ、異なるオーディオオブジェクトを柔軟に組み合わせることができること、詳細には、幾つかのオーディオオブジェクトを他のオブジェクトにより置換することができることを要する。
【０２６７】
しかしながら、これを実現するために、受信部は、供給されたオーディオデータをどのように処理するかをオーディオデコーダ１４０３に指示することを必要とする。１つの可能性は、受信部１４０１が必要とされる動作を実行するためにオーディオデコーダ１４０３を制御する種々の制御信号を生成するように構成される、所有者のインタフェースを実装することである。しかしながら、斯様なアプローチは、複雑な実施形態をもたらす傾向があり、専用の及び所有者のデコーダが用いられることを必要とする傾向がある。
【０２６８】
図１４のシステムにおいて、オーディオデコーダ１４０３は、オーディオデータを含むオーディオビジュアルデータストリームを生成する受信部１４０１により制御されるように構成される。異なるオーディオデータがオーディオデコーダ１４０３によりどのように処理されるかを示すオーディオデータ処理記述子を更に含む。本例において、受信部１４０１は、詳細には、単一のオーディオビジュアルデータストリームを生成し、これは、オーディオデコーダ１４０３により潜在的に用いられ得る全てのオーディオデータ、場合により、所与のコンテンツアイテムのための入力トランスポートストリームに含まれる全てのオーディオデータを有する。加えて、同じオーディオビジュアルデータストリームは、デコーディング／処理制御データを有し、これは、オーディオデコーダ１４０３が、デコーディング／処理、詳細には、このレンダリングのための特定の優先度へのオーディオオブジェクトの組み合わせを適応させるのを可能にする。故に、図１４のシステムにおいて、受信部１４０１は、オーディオビジュアルデータストリームに供給されるオーディオエレメンタリストリームに、オーディオデータ処理記述子の形式の制御記述子を追加し、オーディオデコーダ１４０３は、このオーディオデータ処理記述子を、そのデコーディングタスクを制御するために解釈する。
【０２６９】
より詳細には、図１４の例において、受信部１４０１は、所与のコンテンツアイテムのための多数のオーディオエレメンタリストリームを含む複数のエレメンタリストリームを有するトランスポートストリームを受信する。受信部１４０１は、１又はそれ以上のオーディオエレメンタリストリームを抽出し、これから１又はそれ以上の出力エレメンタリストリームを生成する。詳細には、第１のコンテンツアイテムのための必須のオーディオデータ及び交換可能なオーディオデータを有する第１のエレメンタリストリームであり得る第１のオーディオビジュアルデータストリームに基づいて、受信部１４０１は、第２のオーディオビジュアルデータストリームを生成してもよい。詳細には第１のオーディオビジュアルデータストリームからの必須のオーディオデータ及び交換可能なオーディオデータを有する第２のエレメンタリストリームであってもよい。加えて、第２のオーディオビジュアルデータストリーム／エレメンタリストリームは、例えば代替オーディオデータを有するエレメンタリストリームからのような、他の入力エレメンタリストリームからのオーディオデータを有してもよい。
【０２７０】
加えて、受信部１４０１は、オーディオデコーダ１４０３が第２のエレメンタリストリームのオーディオデータからの出力オーディオ信号をどのように生成するべきかを示すオーディオデータ処理記述子を生成する。オーディオデータ処理記述子は、第２のエレメンタリストリームに含まれる。例えば、第２のエレメンタリストリームは、個々のオーディオ成分がどのように処理されるべきか、詳細には、これらがどのようにデコードされるべきか（デコードされるかどうか）、及び、どのように他のオーディオ成分と組み合わせられるべきか（組み合わせられるべきかどうか）を記述するデータを有する１又はそれ以上のフィールドを有するよう生成されてもよい。
【０２７１】
そして、受信部１４０１は、第２のエレメンタリストリームをオーディオデコーダ１４０３に供給する。オーディオデコーダ１４０３は、第２のオーディオビジュアルデータストリームからオーディオデータ処理記述子を抽出し、オーディオデータ処理記述子に基づいてオーディオ信号を生成するよう進行する。
【０２７２】
オーディオデータ処理記述子は、どのオーディオ成分が出力信号を生成するために一緒に組み合わせられるべきかを規定してもよく、従って、オーディオデコーダ１４０３は、詳細には、示されたオーディオ成分（のみ）を取り出してもよく、これらをデコードしてもよく、最終的にこれらを一緒に追加してもよい。
【０２７３】
幾つかの実施形態において、受信部１４０１は、第２のエレメンタリストリームのオーディオ成分のサブセットのための処理指標を供給するオーディオデータ処理記述子の各々を有する複数のオーディオデータ処理記述子を含んでもよい。幾つかの実施形態において、１つのオーディオデータ処理記述子には、各オーディオ成分に対して、対応するオーディオ成分が必須のオーディオデータ、交換可能なオーディオデータ又は代替オーディオデータであるかを詳細に記述するオーディオデータ処理記述子が与えられてもよい。オーディオデータ処理記述子は、実際に代替オーディオ成分が所与の交換可能なオーディオ成分を置換するべきか否かを更に記述してもよい。
【０２７４】
特定の例として、オーディオデータ処理記述子は、これが代替オーディオデータとして処理されるべきか又は追加のデータとして処理されるべきかを示すために所与のオーディオ成分に対して供給されてもよい。代替オーディオデータは、交換可能なオーディオデータを置換するデータであるのに対し、追加のデータは、交換可能なオーディオデータに追加されるデータである。
【０２７５】
例えば、受信部１４０１に対する入力ストリームは、所与の第１のオーディオ成分のための第１のオーディオデータを有するエレメンタリストリームを有してもよい。幾つかのレンダリング状況において、第１のオーディオ成分が入力トランスポートストリームの第２のオーディオ成分を置換することが要求されてもよい。故に、この場合、第１のオーディオデータは、交換可能なオーディオ成分である第２のオーディオ成分の代わりにレンダリングされる代替オーディオ成分のための代替オーディオデータを表す。しかしながら、他のシナリオにおいて、第１のオーディオ成分が第２のオーディオ成分と一緒にレンダリングされること、即ち双方のオーディオ成分が一緒にレンダリングされることが要求されてもよい。
【０２７６】
第１の場合において、オーディオデータ処理記述子は、第１のオーディオデータが実際には第２のオーディオデータを置換するべきである代替オーディオデータであることを示すために、受信部１４０１により第２のエレメンタリストリームに含まれ得る。しかしながら、後者の場合、オーディオデータ処理記述子は、第１のオーディオデータが代わりに第２のオーディオデータに追加されるべきである追加のオーディオデータであること、即ち双方のオーディオ成分は抽出及びレンダリングされるべきであることを示すために、受信部１４０１により含まれ得る。故に、この場合、オーディオデータ処理記述子は、これが指定された代替オーディオデータであるか又は追加のオーディオデータであるかを示す第１のオーディオデータのために挿入される。
【０２７７】
オーディオデコーダ１４０３は、受信したオーディオデータ処理記述子に従ってデータを処理するだろう。特定の例において、オーディオデータ処理記述子が代替オーディオデータとして指定される第１のオーディオデータを示す場合、オーディオデコーダ１４０３は、第１のオーディオデータを抽出し、これを代替オーディオデータとして処理するよう進行する。更に、交換可能なオーディオデータを、第２のオーディオデータの形式で、この抽出された第１のオーディオデータに置換する。前記置換は、詳細には、第１のオーディオデータのみをデコードすることにより実現されてもよく、これに対し、第２のオーディオデータは、抽出されない、及び、デコードされない。従って、第１のオーディオ成分は、出力オーディオ信号において生成され、これに含まれる。
【０２７８】
しかしながら、オーディオデータ処理記述子が追加のオーディオデータとして指定される第１のオーディオデータを示す場合、オーディオデコーダ１４０３は、第１のオーディオデータ及び第２のオーディオデータの双方を抽出するよう進行する。更に、第１のオーディオデータ及び第２のオーディオデータの双方は、第１のオーディオ成分及び第２のオーディオ成分を生成するためにデコードされる。そして、これらの双方は、出力信号において組み合わせられる。
【０２７９】
斯様な実施形態において、受信部１４０１は、オーディオデコーダ１４０３の動作を適宜制御してもよく、詳細には、どのオーディオデータが出力信号に寄与するか、及び、どれが無視されるかを制御してもよい。本アプローチは、低い複雑性の制御を可能にし、オーディオデコーダ１４０３が、所望のオーディオ出力を生成するために入力データストリームのみを要求することを可能にしてもよい。
【０２８０】
本アプローチは、更に、例えば、（所与のコンテンツアイテムのための）トランスポートストリームの全てのオーディオデータが、オーディオデコーダ１４０３に供給される第２のオーディオビジュアルデータストリームに含まれるのを可能にしてもよく、同時に、このデータが柔軟に用いられるのを可能にする、詳細には、オーディオ成分のサブセットのみを含む出力信号が生成されるのを依然として可能にする。オーディオ成分は、第２のオーディオビジュアルデータストリーム自体に含まれるデータを介して受信部１４０１により柔軟に選択されてもよい。
【０２８１】
受信部１４０１は、例えば、所与のオーディオデータが必須のオーディオデータ、交換可能なオーディオデータ、代替オーディオデータ及び追加のオーディオデータのグループからのオーディオデータであるかどうかを示すオーディオデータ処理記述子を生成してもよい。
【０２８２】
幾つかの実施形態において、このグループのサブセット又はスーパーセットが用いられてもよい。
【０２８３】
所与のコンテンツアイテムのためのオーディオデータ処理記述子は、例えば、特定のデバイスのためのレンダリング優先度に基づいて又は例えばユーザ入力に基づいて生成されてもよい。
【０２８４】
一例として、受信したトランスポートストリームは、必須のバックグラウンドオーディオ成分、英語オーディオ成分、ドイツ語のバックグラウンドオーディオ成分及び二次バックグラウンド成分を有してもよい。ユーザは、どのオーディオ成分が要求されるかを選択してもよく、オーディオデータ処理記述子は、これらがオーディオデコーダ１４０３により抽出及びデコードされるように、選択されたオーディオ成分を反映するために生成されてもよい。
【０２８５】
幾つかの実施形態において、オーディオデータ処理記述子は、任意の予め決められたオーディオデータ処理記述子に依存することなく、詳細には、受信したトランスポートストリームからの任意のオーディオデータ処理記述子に依存することなく、受信部１４０１により生成されてもよい。
【０２８６】
しかしながら、他の実施形態において、第２のエレメンタリストリームのオーディオデータ処理記述子は、受信したオーディオビジュアルコンテンツアイテムデータストリームの部分であるオーディオデータ処理記述子から、即ち受信したトランスポートストリームの部分として生成される。
【０２８７】
詳細には、受信部１４０１は、トランスポートストリームにおいて受信した第２のオーディオデータ処理記述子から第１のオーディオデータ処理記述子を生成するように構成されてもよい。故に、入力トランスポートストリームの所与のオーディオエレメンタリストリームに関して、トランスポートストリームは、このオーディオエレメンタリストリームのオーディオデータがどのようにオーディオデコーダ１４０３によりデコードされるべきかを示す１又はそれ以上のオーディオデータ処理記述子を含んでもよい。
【０２８８】
例えば、所与のオーディオエレメンタリストリームは、交換可能なオーディオデータを置換するために意図される代替オーディオデータを有してもよい。例えば、エレメンタリストリームは、例えば英語の会話のオーディオ成分のようなデフォルトの会話のオーディオ成分を置換すべきであるドイツ語の会話を有してもよい。従って、入力トランスポートストリームは、このオーディオデータが交換可能なオーディオデータとして処理されるべきであること、及び、これが他の会話のオーディオデータを置換すべきであることを規定するオーディオデータ処理記述子を含んでもよい。トランスポートストリームは、他の会話のオーディオエレメンタリストリームを含んでもよく、これらの各々のために、トランスポートストリームは、オーディオデータ処理記述子を含んでもよい。
【０２８９】
故に、この例において、例えば図３の装置のような、トランスポートストリームを生成する装置は、対応するオーディオデータがどのように処理されるべきか又はどのように処理され得るかを示すオーディオデータ処理記述子を生成するように更に構成されてもよい。例えば、オーディオデータ処理記述子は、このトラックが選択され得ること、及び、もしそうならば、全ての他の会話のオーディオ成分を置換すべきことを示す各会話のオーディオ成分のために含まれてもよい。
【０２９０】
オーディオデータ処理記述子は、トランスポートストリームにおいて、例えばコンテンツアイテムのためのプログラムマップにおいて、又は、場合により個々のエレメンタリストリームのための個々のデータパケットにおいて含まれる。
【０２９１】
とりわけ、多くの実施形態において、オーディオデータ処理記述子は、トランスポートストリームを生成する側で、コンテンツアイテムのためのプログラムマップテーブルに含まれてもよい。特定の例として、各オーディオエレメンタリストリームに対して、プログラムマップテーブルは、エレメンタリストリームのためのパケット識別子だけでなく、オーディオデータがどのようにデコードされるべきかを示す１又はそれ以上のオーディオデータ処理記述子も含んでもよい。これは、コンテンツがどのようにデコード及びレンダリングされ得るか、並びに又は、どのようにデコード及びレンダリングされるべきかをソースが制御及び記述するのを可能にし得る。
【０２９２】
受信部１４０１は、斯様なトランスポートストリームを受信したとき、第２のエレメンタリストリームを生成し、これをオーディオデコーダ１４０３に供給してもよい。第２のエレメンタリストリームは、入力トランスポートストリームから生成されるオーディオデータ処理記述子を有し、これは、特定のオーディオデータが特定の状況においてどのようにデコード及びレンダリングされるべきかを記述する。
【０２９３】
第２のエレメンタリストリームのオーディオデータ処理記述子は、受信したオーディオデータ処理記述子から生成される。この処理は、幾つかの実施形態において、複雑な処理であるかもしれない。これは、受信したオーディオデータ処理記述子を評価し、ここから、特定の処理を反映する新たなオーディオデータ処理記述子を生成する。
【０２９４】
しかしながら、多くの実施形態において、受信部１４０１は、トランスポートストリームから第２のエレメンタリストリームに適切なオーディオデータ処理記述子を単純にコピーするように構成されてもよい。
【０２９５】
詳細には、処理を記述する、又は、詳細にはどのオーディオデータが現在のレンダリングのために要求されるかを記述する、入力ストリームのオーディオデータ処理記述子は、入力トランスポートストリームから第２のエレメンタリストリームにコピーされてもよい。
【０２９６】
例えば、所与のオーディオ成分又はオーディオエレメンタリストリームのためのオーディオデータがレンダリングされることが望ましい場合、受信部１４０１は、このオーディオ成分又はオーディオエレメンタリストリームのためのオーディオデータ処理記述子を第２のエレメンタリストリームに単純にコピーしてもよい。例えば、ドイツ語の会話のオーディオトラックがレンダリングされることが要求される場合、受信部１４０１は、ドイツ語の会話のエレメンタリストリームのためのオーディオデータ処理記述子を（オーディオデータと一緒に）第２のエレメンタリストリームにコピーしてもよい。従って、第２のエレメンタリストリームは、オーディオデコーダ１４０３が英語の会話の交換可能なオーディオデータをドイツ語の会話のものと置換することをもたらすオーディオデータ処理記述子を含むだろう。
【０２９７】
オーディオデータがレンダリングされることが必要とされない場合、例えばユーザが英語の会話を好む場合、受信部１４０１は、ドイツ語の会話のエレメンタリストリームのためのオーディオデータ処理記述子を第２のエレメンタリストリームにコピーしなくてもよい。斯様な実施形態において、オーディオデコーダ１４０３は、例えば、オーディオデータ処理記述子がオーディオデコーダ１４０３に入力されるエレメンタリストリームに含まれないオーディオデータを無視又は放棄するように構成されてもよい。
【０２９８】
幾つかの実施形態において、ソースは、所与のオーディオエレメンタリストリームのための複数の考えられるオーディオデータ処理記述子を有するトランスポートストリームを生成するように構成されてもよい。複数の考えられるオーディオデータ処理記述子は、例えば、エレメンタリストリームのオーディオデータが用いられ得る異なる考えられる手段を記述してもよい。例えば、オーディオ成分が、他のオーディオ成分とともにあるいはその代わりにレンダリングされ得る場合、トランスポートストリームは、データが代替オーディオデータであることを示すオーディオデータ処理記述子とデータが追加のオーディオデータであることを示す１つのオーディオデータ処理記述子とを有してもよい。故に、考えられるオーディオデータ処理記述子の各々は、対応するオーディオデータの許容可能な処理を記述してもよい。
【０２９９】
斯様な実施形態において、受信部１４０１は、例えば、オーディオデータのための複数の考えられるオーディオデータ処理記述子を抽出してもよい。（例えばユーザの言語選択に基づく）所望のレンダリングに基づいて、受信部１４０１は、所望のレンダリングに対応するオーディオデータ処理記述子のうちの１つを選択するよう進行してもよい。そして、このオーディオデータ処理記述子は、第２のエレメンタリストリームにコピーされてもよく、これに対し、他のオーディオデータ処理記述子は無視されてもよい。
【０３００】
述べられた例において、オーディオデータ処理記述子は、オーディオデコーダ１４０３のためのデータストリームに導入される、及び、これのためのコマンドとして用いられる、入力トランスポートストリームにおいて見つけられた、トークンの使用に対応するものとみなされてもよい。オーディオデータ処理記述子は、オーディオデコーダ１４０３によりオーディオデータの必要とされる処理の指標を有してもよい。
【０３０１】
このアプローチは、インタフェースをオーディオデコーダ１４０３に実装するためのより一般的な且つオープンな手段をもたらし得る。これは、低い複雑性の処理を可能にしてもよい。特定の顕著な利点として、受信部１４０１は、どのレンダリングが要求されるかを単純に選択し、その後、対応するオーディオデータ処理記述子を入力トランスポートストリームから第２のエレメンタリストリームにコピーすることを必要とする。これは、オーディオデコーダ１４０３による実際の処理がどのように実行されるかについての如何なる認識も考慮する必要はないか、又は、実際にはこれを有する必要はない。むしろ、オーディオデコーダ１４０３は、オーディオデータ処理記述子により規定される処理を解釈及び実行する。
【０３０２】
これは、極めて有利である。所有者のインタフェースを生成することのオーディオデコーダ１４０３への代替は、受信部１４０１が選択だけでなく"置換"の概念、即ちこのストリームにおけるオブジェクトがメインストリームにおけるオブジェクトを置換しなければならないことも理解することを要するためである。オーディオデータ処理記述子のコピーのみを転送する受信部１４０１は、選択が行われることしか理解する必要はない。これは、オーディオデータ処理記述子により記述される動作が、複雑に且つ常に、時間的に変化及び改良し得ることを意味する。全ての受信部１４０１は、関連するオーディオデータ処理記述子をコピーしなければならないためである。受信部１４０１は、どの所有者のコマンドが全体のストリームにおける所与のストリームの包含と結合される複雑なアクションを実現する必要があるかを理解する必要はない。
【０３０３】
オーディオデータ処理記述子を用いた動作の特定の例は、（変更された）ＭＰＥＧトランスポートストリームのための図１５及び１６において与えられる。本例において、オーディオデータ処理記述子は、"３Ｄ  ＡＤ"及び"３Ｄ  Ａｕｄｉｏ  Ｄｅｓｃｒｉｐｔｏｒ"と呼ばれる。本例において、第２のオーディオビジュアルデータストリーム／エレメンタリストリームは、ＭＰＥＧ−Ｈ  Ａｕｄｉｏ  Ｓｔｒｅａｍ（ＭＨＡＳ）として生成される。
【０３０４】
前の説明は、オーディオビジュアルコンテンツアイテムデータストリームにおいてオーディオの効率的な分配に、詳細には、斯様なデータストリームにおけるオーディオコンテンツの分配に関係するアプローチの多数の例を提供する。
【０３０５】
オーディオビジュアルコンテンツの分配のためのアプローチを決めるとき、設計者は、多くの異なる及び多くの場合相反する技術的チャレンジに直面する。詳細には、データレートができるだけ低くなることが要求される一方で、できるだけ高い品質を維持することが要求される。他のトレードオフは、受信部による処理及びレンダリングを非常に単純にするデータ表現を供給する欲求と、受信部がデータのレンダリングをカスタマイズするために高度なフレキシビリティを依然として提供する欲求との間のものである。斯様なフレキシビリティをサポートするために、ますます複雑なデータストリーム構造及び組織化が必要とされ得るが、これは、受信部側でより複雑な処理を必要とする傾向にある。
【０３０６】
故に、オーディオビジュアルデータストリームにおけるデータをどのように分割、構造化及び組織化するかという問題は、多数の技術的なトレードオフを要する重要で困難な技術的問題である。
【０３０７】
前に記述されたアプローチは、この問題に対処しており、種々のアプリケーションのための異なる特性、要件及び優先度の間の改良されたトレードオフを提供しようとする。
【０３０８】
本アプローチは、従来のＭＰＥＧデータストリームよりもフレキシブルなアプローチを利用する。オーディオ表現のための全てのオーディオは、典型的には、単一のエレメンタリストリームにおいて供給される。実際には、従来のＭＰＥＧデータストリームは、各エレメンタリデータストリームがビデオ又はオーディオ成分を有する複数のエレメンタリストリームを有するトランスポートストリームとして構成される。ＭＰＥＧトランスポートストリームにおけるデータは、それ故、エレメンタリストリームにおいて構造化され、２つの考えられるオーディオエレメンタリストリームが規定される。１つは、コンテンツアイテムのための完全なオーディオ表現を供給するエレメンタリデータストリームである。即ち、全体のサウンドステージに対応するオーディオ成分は、単一のエレメンタリストリームにおいて供給される。他のオプションは、オーディオエレメンタリストリームが、完全な（完全な表現）オーディオ成分と組み合わせられ得る／に追加され得る追加のサウンド成分のためのオーディオデータを含むことである。
【０３０９】
ＭＰＥＧのアプローチは、低い複雑性を有する、及び、コンテンツが低い複雑性の処理に基づいてレンダリングされ得るという顕著な利点を有する。実際に、所与のコンテンツアイテムのための必要とされるオーディオデータを識別及び抽出することは、典型的には、１つのエレメンタリデータストリームが、トランスポートストリームにおいて識別され、トランスポートストリームから抽出されることを必要とする。典型的には、１つのオーディオ成分だけがデコードされることを必要とする。
【０３１０】
ＭＰＥＧは、オーディオが追加のオーディオ成分により補完されるのを可能にすることにより、幾つかのフレキシビリティを提供する。これらの追加のオーディオ成分は、無視され得る、又は、完全なオーディオ成分と組み合わせられ得る／これに追加され得る追加のオーディオ成分である。しかしながら、他のいかなるオプションも考えられない。即ち、オーディオ成分は、完全な表現のためのオーディオデータを置換することができない追加の成分である。
【０３１１】
故に、従来のＭＰＥＧトランスポートストリームに関して、オーディオデータは、単一のエレメンタリデータストリームにおいて個別に及び別々に供給される完全なオーディオデータとして指定されるか、又は、別々のエレメンタリストリームにおいてそれ自体により与えられる追加のオーディオデータとして指定される。従って、各エレメンタリストリームは、直接レンダリングされることもでき、又は、完全なオーディオ成分に追加されることもできるオーディオデータの１つのタイプを与える。
【０３１２】
ＭＰＥＧのアプローチは、コンパクトなデータ表現と低いデータオーバーヘッドとを有するデータストリームを提供し、これは、受信部による低い複雑性の処理を可能にする。実際には、受信部は、必要とされるオーディオデータのみを見つけて抽出するために、データパケットのＰＩＤ（Packet IDentifier）のみを考慮する必要がある。即ち、オーディオデータのタイプとエレメンタリストリームの識別との間に直接的相関関係がある。しかしながら、本アプローチの不利な面は、オーディオレンダリングのフレキシビリティが低いこと、及び、基本的には、追加のオーディオをそうでなければ完全なオーディオ表現にオプションとして追加する可能性に限定されることである。
【０３１３】
近年、オーディオオブジェクトを取り込むことが提案されている。全体のサウンドステージ／シーンに対応するオーディオ成分を供給する代わりに、本アプローチは、オーディオシーンにおける１つのサウンドソースに各々対応する多数の個々のオーディオオブジェクトを代わりに供給することに基づいている。従って、最終的なレンダリング装置は、各オーディオオブジェクトを個別にデコードし、サウンドシーン内にオブジェクトを配置し、適切な空間オーディオ信号を生成し、オーディオオブジェクトを組み合わせ、最終的に組み合わせた信号をレンダリングすることにより、所与のサウンドシーンを生成してもよい。
【０３１４】
斯様なアプローチは、レンダリングされたオーディオのための高度なフレキシビリティを提供し、受信部に高度な自由度を提供する。しかしながら、これは、受信部において極めて複雑な処理を必要とする。実際に、オーディオデータをレンダリングするために必要とされる処理は複雑であり、加えて、必要とされる及び所望のオーディオデータを識別及び抽出するために要求される複雑性及び処理、並びに、オーディオデータがレンダリングにおいてどのように用いられ得るかを決定することは、極めて複雑である。また、本アプローチは、データストリームにおけるデータの分配を識別するために要求される必要な情報を与えるために大きなデータオーバーヘッドをもたらす。
【０３１５】
前に述べられたアプローチは、従来のＭＰＥＧトランスポートストリーム又はオーディオオブジェクトトランスポートストリームにより供給されるものとは異なり、コンテンツアイテムを割り当てるときに、異なる、及び、多くのシナリオに関して、複雑性、データオーバーヘッド、フレキシビリティの間の改良されたトレードオフを提供する。
【０３１６】
本アプローチは、従来のトランスポートストリーム、及び、データストリームにおけるこのデータの異なる構造化とは異なり、異なるタイプのオーディオデータを有する新規なデータストリームに基づいている。
【０３１７】
従来のＭＰＥＧのアプローチと同様に、本アプローチは、オーディオビジュアルコンテンツアイテムデータストリーム（トランスポートストリーム）に基づいている。これは、オーディオビジュアルコンテンツアイテムのための（エレメンタリストリームと呼ばれる）オーディオビジュアル成分を有する複数の個々のオーディオビジュアルデータストリームを有する。
【０３１８】
しかしながら、本アプローチは、コンテンツのためのオーディオ表現に対して充分なオーディオデータを各々供給し得るが、オーディオデータの異なるタイプを有するエレメンタリデータストリームに基づいている。故に、トランスポートストリームは、オーディオデータの異なるタイプを有するエレメンタリストリームを含めるように構成される。実際に、このエレメンタリストリームのオーディオデータの一部は、オーディオ表現のための必須のオーディオデータになるように指定される。必須のオーディオデータは、オーディオ表現が示されたときにレンダリングされなければならない。エレメンタリデータストリームの他のデータは、交換可能なオーディオデータとして指定される。この交換可能なオーディオデータは、オーディオ表現のためのオーディオデータであるが、受信部が他の（代替）データにより置換するのを可能にされるオーディオデータである。
【０３１９】
故に、本アプローチにおいて、単一のエレメンタリストリームには、所与のオーディオ表現のためのデータの異なるタイプ、即ち、オーディオ表現が示されるときにレンダリングされなければならない必須のオーディオデータとして指定される一部のデータ、及び、他のデータにより置換され得る交換可能なオーディオデータとして指定される他のデータが与えられる。
【０３２０】
従って、本アプローチにおいて、トランスポートストリームは、オーディオ表現のためのオーディオデータの異なるタイプが単一のエレメンタリデータストリームの範囲内で与えられるオーディオ表現を与える。更に、データは、詳細には、（対応するオーディオ表現が提示／レンダリングされるときに）提示／レンダリングされなければならないデータ、又は、他のデータにより置換され得るデータとして指定される。交換可能なオーディオデータは、他のデータにより交換可能であるように指定されるが、置換されることなく削除され得ないデータである。
【０３２１】
この特定のアプローチは、実質的により効率的であり、及び、多くのシナリオ及びアプリケーションにおいてデータレート、複雑性及びフレキシビリティの間のより良好なトレードオフを提供するデータストリーム構造を提供する。これは、これらの利点をさらに提供することができる一方で、ＭＰＥＧトランスポートストリームのような従来のアプローチに対して増大された後方互換性を提供する。
【０３２２】
詳細には、本アプローチは、多くのオーバーヘッドを必要としないビットストリームを供給し得るが、フレキシブルなアプローチを提供する。低い複雑性の受信部は、データがどのようにエレメンタリストリームに構造化されるかに基づいてデータを識別及び抽出し得る。しかしながら、異なるオーディオ表現に対して異なる特性を有するものとして指定される１つのエレメンタリストリームのオーディオデータによりフレキシビリティを更に増大させ得る。
【０３２３】
本アプローチは、例えば、エレメンタリストリームの識別に単純に基づいて新規なデータストリームのオーディオ表現を依然としてレンダリングすることができる低い複雑性のレガシー受信部を可能にしてもよい。例えば、多くの実施形態において、レガシーＭＰＥＧデコーダは、第１のエレメンタリストリームを単純に抽出し、これを規格のＭＰＥＧエレメンタリストリームとして処理することができる。これは、生成される名目的オーディオ提示をもたら得る。しかしながら、斯様な後方互換性に加えて、非レガシー受信部は、受信したデータストリームを処理し、交換可能なオーディオデータを代替データに置換してもよく、これにより、代替オーディオ提示を生成する。これは、依然として、低い複雑性によって実現され、例えばオーディオオブジェクトに関連付けられる複雑な処理及びオーバーヘッドを要しない。
【０３２４】
本アプローチは、オーディオビジュアルコンテンツアイテムのためのオーディオコンテンツをどのように最良に割り当てるかについての技術的問題に対して有利な解決策を提供する。詳細には、データレート、複雑性及びフレキシビリティの間の改良されたトレードオフを提供するとともに、改良された後方互換性をも提供し得る（トランスポート）データストリーム構造及びデータコンテンツを供給する。
【０３２５】
必須のオーディオデータは、オーディオ表現／オーディオシーンのレンダリングに含まれなければならないデータになるように指定される（多くの実施形態において示される）データである。故に、オーディオ提示のための必須のオーディオデータは、エレメンタリデータストリームに含まれ、エレメンタリデータストリームのオーディオ表現／オーディオシーンが選択される場合にレンダリングされなければならないデータである。故に、必須のオーディオデータは、エレメンタリデータストリームと関連付けられたオーディオ表現／オーディオシーンのレンダリングのための、強制的になる、必要とされる、義務的になる等のように指定されるデータである。多くの実施形態において、必須のオーディオデータ及び交換可能なオーディオデータは、１つのオーディオ表現／オーディオシーンのみに関連付けられたエレメンタリデータストリームに含まれてもよい。
【０３２６】
必須のオーディオデータは、例えばエレメンタリストリームにおける位置を介して、及び／又は、データが必須であることを記述する制御データにより、必須のオーディオデータになるように指定されてもよい／示されてもよい。故に、幾つかの実施形態において、トランスポートデータストリーム及び場合により詳細にはエレメンタリデータストリームは、エレメンタリデータストリームのどのオーディオデータが必須のオーディオデータであるかを示すデータを含んでもよい。
【０３２７】
交換可能なものは、オーディオ表現／オーディオシーンのレンダリングに含まれ得るか、又は、オーディオ表現／オーディオシーンのレンダリングにおける他のオーディオデータにより置換され得るデータになるように指定される（多くの実施形態において、示される）データである。故に、オーディオ提示のための交換可能なオーディオデータは、エレメンタリデータストリームに含まれ、他のオーディオデータにより置換されない限りエレメンタリデータストリームのオーディオ表現／オーディオシーンが選択される場合にレンダリングされなければならないデータである。交換可能なオーディオデータは、エレメンタリデータストリームに関連付けられたオーディオ表現／オーディオシーンをレンダリングする／示すときに、レンダリングされ得るか、又は、代替データにより置換／交換され得るデータである。
【０３２８】
述べられたアプローチにおいて、コンテンツの分配は、複数のサブ（エレメンタリ）データストリームを含む（トランスポート）ストリームに適宜基づいており、オーディオ表現は、必須のオーディオデータとして指定されるデータ及び交換可能なオーディオデータとして指定されるデータの双方を有する単一のエレメンタリデータストリームにより記述され得る。即ち、単一のエレメンタリデータストリームは、オーディオ表現を提示するときに受信部が提示しなければならないオーディオデータ、及び、受信部が他のデータにより置換し得るオーディオデータの双方を含む。
【０３２９】
故に、受信部は、レンダリングされなければならないということを知るオーディオデータ、及び、他のデータにより置換することができることを知るデータを受信する。更に、単一のエレメンタリストリームにおいてこのデータを受信し、これにより、１つのエレメンタリデータストリームからのオーディオデータを単純に抽出してこれをレンダリングすることにより、オーディオ表現の提示を可能にする（それ故、後方互換性を提供する）。
【０３３０】
故に、トランスポートストリームは、これらが受信部／レンダリング装置によりどのように用いられなければならないかについての特定の制限に関連付けられるデータを有する。異なって用いられるように指定され、これらの使用のための異なる制限に関連付けられるデータの異なるタイプのこの特定の構造は、改良されたトレードオフによって生成される効率的なトランスポートストリームを供給してもよい。詳細には、これは、増大されたフレキシビリティと同時に低い複雑性の処理及び後方互換性を依然として可能にする。
【０３３１】
実際に、必須の又は交換可能なオーディオデータとしての１つのエレメンタリデータストリームの範囲内における１つのオーディオ表現のためのオーディオデータの指定は、かなりの利点を提供する。オーディオビジュアルコンテンツアイテムデータストリームの述べられた構造、コンテンツ及び組織化は、低い複雑性によって処理され得る、後方互換性であり得るが、増大されたフレキシビリティを提供し得る、トランスポートストリームを与える。
【０３３２】
従って、本アプローチは、任意の特定の混合又はオーディオポリシーの導出、決定又は選択にはフォーカスされないが、代わりに、斯様なポリシーが適合され得るようにオーディオデータの効果的な分配をサポートし得る技術的解決策に関する。本アプローチは、フレキシブルな（しかし、完全に自由ではない）ポリシーが分配されるのを可能にする一方で、低いデータオーバーヘッドを維持するとともに複雑性を低減させるデータストリームの使用を可能にする。本アプローチは、混合ストラテジをどのように選択するかにはフォーカスしないが、オーディオデータの分配を技術的にどのようにサポートするかに関するかにフォーカスする。本アプローチは、レンダリングポリシーの幾つかの態様がソース（例えば必須のオーディオデータ）により決定されるのを可能にするのに対し、他の態様は、受信／レンダリング側で適合され得る（例えば、受信部は、異なる代替オーディオ成分の間で選択することができる）。
【０３３３】
データを規定することは受信部における実際の処理ではないことにも留意されたい。むしろ、データストリームにおけるデータは、オーディオ表現のための必須の又は交換可能なオーディオデータとして指定される。従って、データは、使用目的により規定される。即ち、必須のオーディオデータは、オーディオ表現が選択される場合に提示されるべきであるデータであるのに対し、交換可能なオーディオデータは、他の代替データにより置換され得る（しかし、単に削除されるだけではなくてもよい）。
【０３３４】
上記の説明は、明瞭さのために、異なる機能的な回路、ユニット及びプロセッサを参照して本発明の実施形態について述べていることが理解されるだろう。しかしながら、異なる機能的な回路、ユニット又はプロセッサの間の機能の任意の適切な分配が本発明から逸脱することなく用いられてもよいことが明らかであるだろう。例えば、別々のプロセッサ又はコントローラにより実行されるように示された機能は、同じプロセッサ又はコントローラにより実行されてもよい。それ故、特定の機能ユニット又は回路への参照は、厳しい論理的又は物理的な構造又は組織を示すよりはむしろ、述べられた機能を与えるための適切な手段への参照としてのみ理解されるべきである。
【０３３５】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形式において実装され得る。本発明は、オプションとして、１又はそれ以上のデータ処理装置及び／又はデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして少なくとも部分的に実装されてもよい。本発明の一実施形態の要素及び成分は、任意の適切な手段において、物理的に、機能的に及び論理的に実装されてもよい。実際に、機能は、単一のユニットにおいて、複数のユニットにおいて、又は、他の機能ユニットの部分として、実装されてもよい。それ自体、本発明は、単一のユニットにおいて実装されてもよく、又は、異なるユニット、回路及びプロセッサの間で物理的及び機能的に分配されてもよい。
【０３３６】
本発明が幾つかの実施形態に関して述べられたが、ここで記載される特定の形式に限定されることを意図するものではない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。加えて、特徴が特定の実施形態に関して述べられるように見え得るが、当業者は、述べられた実施形態の種々の特徴が本発明に従って組み合わせられ得ることを認めるだろう。請求項において、有するという用語は、他の要素又はステップの存在を除外するものではない。
【０３３７】
更に、個別に記載されているが、複数の手段、要素、回路又は方法ステップは、例えば単一の回路、ユニット又はプロセッサにより実装されてもよい。加えて、個々の特徴が異なる請求項に含まれ得るが、これらは、場合により、有利に組み合わせられてもよく、異なる請求項における包含は、特徴の組み合わせが有利及び／又は実行可能なものではないことを意味するものではない。また、請求項の１つのカテゴリにおける特徴の包含は、このカテゴリに対する限定を意味するものではなく、むしろ、特徴が適切に他の請求項カテゴリに同程度に適用可能であることを示す。更に、請求項中のフィーチャの順序は、フィーチャが動作されなければならない任意の特定の順序を意味するものではなく、とりわけ、方法クレームにおける個々のステップの順序は、ステップがこの順序で実行されなければならないことを意味するものではない。むしろ、ステップは、任意の適切な順序で実行されてもよい。加えて、単数表記の参照は、複数を除外するものではない。それ故、単数表記、"第１"、"第２"等への参照は複数を排除するものではない。請求項中の参照符号は、単に明らかにする一例だけのものとして供給されるものであり、任意の手段において請求項の範囲を限定するものとして解釈されるべきではない。
【図１】
0006549605.tif 000002
【図２】
0006549605.tif 000003
【図３】
0006549605.tif 000004
【図４】
0006549605.tif 000005
【図５】
0006549605.tif 000006
【図６】
0006549605.tif 000007
【図７】
0006549605.tif 000008
【図８】
0006549605.tif 000009
【図９】
0006549605.tif 000010
【図１０】
0006549605.tif 000011
【図１１】
0006549605.tif 000012
【図１２】
0006549605.tif 000013
【図１３】
0006549605.tif 000014
【図１４】
0006549605.tif 000015
【図１５】
0006549605.tif 000016
【図１６（ａ）】
0006549605.tif 000017
【図１６（ｂ）】
0006549605.tif 000018