(57)【特許請求の範囲】
【請求項１】
オーディオエレメントであるSCEとCPEの組み合わせごとに定まる、前記組み合わせの前記オーディオエレメントのデコードに必要なバッファサイズに基づいて、チャネル音源グループの前記オーディオエレメント、またはオブジェクト音源グループの前記オーディオエレメントを選択することで、前記オーディオエレメントの１つの前記組み合わせを選択する選択部と、
選択された前記組み合わせの前記オーディオエレメントをデコードしてオーディオ信号を生成する生成部と
を備える復号装置。
【請求項２】
前記選択部は、同じコンテンツについて予め用意された複数の前記組み合わせのなかから１つの前記組み合わせを選択する
請求項１に記載の復号装置。
【請求項３】
前記複数の前記組み合わせごとに用意された、前記組み合わせの前記オーディオエレメントから構成されるビットストリームのうちの、前記選択部により選択された前記組み合わせのビットストリームを受信する通信部をさらに備える
請求項２に記載の復号装置。
【請求項４】
前記選択部は、ビットストリームを構成する複数の前記オーディオエレメントのうちのいくつかの前記オーディオエレメントを、１つの前記組み合わせとして選択する
請求項１または請求項２に記載の復号装置。
【請求項５】
前記選択部は、前記ビットストリームのメタデータに基づいて１つの前記組み合わせを選択する
請求項４に記載の復号装置。
【請求項６】
前記選択部は、前記メタデータとして、予め定められた複数の前記組み合わせを示す情報、および前記オーディオエレメントの優先度情報のうちの少なくとも何れか一方に基づいて、１つの前記組み合わせを選択する
請求項５に記載の復号装置。
【請求項７】
前記ビットストリームから、前記選択部により選択された前記組み合わせの前記オーディオエレメントを抽出する抽出部をさらに備える
請求項４乃至請求項６の何れか一項に記載の復号装置。
【請求項８】
前記選択部により選択された前記組み合わせの前記オーディオエレメントを受信する通信部をさらに備える
請求項４乃至請求項６の何れか一項に記載の復号装置。
【請求項９】
デコード対象として選択されなかった前記オーディオエレメントのサイズに基づいて、前記生成部によりデコードされる前記オーディオエレメントのバッファへの格納を制御するバッファ制御部をさらに備える
請求項５に記載の復号装置。
【請求項１０】
前記選択部は、選択した前記組み合わせを構成する前記オーディオエレメントのなかから、デコード対象としない前記オーディオエレメントをさらに選択し、
前記バッファ制御部は、前記選択部により選択された前記デコード対象としない前記オーディオエレメントのサイズに基づいて、前記選択部により選択された前記組み合わせを構成する、前記デコード対象としない前記オーディオエレメント以外の前記オーディオエレメントの前記バッファへの格納を制御する
請求項９に記載の復号装置。
【請求項１１】
前記選択部は、前記オーディオエレメントの優先度情報に基づいて、前記デコード対象としない前記オーディオエレメントを選択する
請求項１０に記載の復号装置。
【請求項１２】
オーディオエレメントであるSCEとCPEの組み合わせごとに定まる、前記組み合わせの前記オーディオエレメントのデコードに必要なバッファサイズに基づいて、チャネル音源グループの前記オーディオエレメント、またはオブジェクト音源グループの前記オーディオエレメントを選択することで、前記オーディオエレメントの１つの前記組み合わせを選択し、
選択された前記組み合わせの前記オーディオエレメントをデコードしてオーディオ信号を生成する
ステップを含む復号方法。
【請求項１３】
オーディオエレメントであるSCEとCPEの組み合わせごとに定まる、前記組み合わせの前記オーディオエレメントのデコードに必要なバッファサイズに基づいて、チャネル音源グループの前記オーディオエレメント、またはオブジェクト音源グループの前記オーディオエレメントを選択することで、前記オーディオエレメントの１つの前記組み合わせを選択し、
選択された前記組み合わせの前記オーディオエレメントをデコードしてオーディオ信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は復号装置および方法、並びにプログラムに関し、特に、ハード規模の異なる機器でビットストリームをデコードできるようにした復号装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来の5.1チャネルサラウンド再生を超える、より高臨場感な再生や複数の音素材（オブジェクト）を伝送するための符号化技術として3D Audio規格が知られている（例えば、非特許文献１乃至３参照）。
【０００３】
3D Audio規格では、デコーダで持つべき入力ビットストリームを格納しておくためのバッファのサイズの最小値がMinimum decoder input bufferサイズとして規定されている。例えば非特許文献３の4.5.3.1節では、Minimum decoder input buffer サイズ=6144×NCC(bits)と規定されている。
【０００４】
ここで、NCCはNumber of Considered Channelの略であり、入力ビットストリームに含まれる全オーディオエレメントのうち、SCE(Single Channel Element)の数と、CPE(Channel Pair Element)の数の2倍との和を表している。
【０００５】
また、SCEは1つのチャネルのオーディオ信号が格納されるオーディオエレメントであり、CPEはペアとなる2つのチャネルのオーディオ信号が格納されるオーディオエレメントである。したがって、例えば入力ビットストリームに含まれるSCEの数が5個でありCPEの数が3個の場合、NCC=5+2×3=11となる。
【０００６】
このように3D Audio規格では、デコーダが入力ビットストリームをデコードしようとするときには、規定されたサイズのバッファを最低限確保する必要がある。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】ISO/IEC JTC1/SC29/WG11 N14459, April 2014, Valencia, Spain, “Text of ISO/IEC 23008-3/CD, 3D audio”
【非特許文献２】INTERNATIONAL STANDARD ISO/IEC 23003-3 First edition 2012-04-01 Information technology-coding of audio-visual objects-part3:Unified speech and audio coding
【非特許文献３】INTERNATIONAL STANDARD ISO/IEC 14496-3 Fourth edition 2009-09-01 Information technology-coding of audio-visual objects-part3:Audio
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが非特許文献１の3D Audio規格では、SCEの数およびCPEの数をほとんど任意に設定できるため、3D Audio規格で定めることのできるビットストリームの全てをデコードするためには、デコーダで持つべきMinimum decoder input bufferサイズが、非特許文献３の規格などに比べて非常に大きくなってしまう。
【０００９】
具体的には、非特許文献１の3D Audio規格では、SCEの数とCPEの数を合計で最大65805個持つことができる。よって、Minimum decoder input bufferのサイズの最大値は、Minimum decoder input buffer サイズの最大値= 6144×(0+65805×2)=808611840 (bits)となり、約100MByteとなる。
【００１０】
このように最低限必要とされるバッファのサイズであるMinimum decoder input bufferサイズが大きくなると、メモリサイズの小さいプラットフォームなどでは、この規定を満たすサイズのバッファを確保することができない場合もある。すなわち、機器のハード規模によっては、デコーダを実装できない場合がある。
【００１１】
本技術は、このような状況に鑑みてなされたものであり、ハード規模の異なる機器でビットストリームをデコードできるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の復号装置は、オーディオエレメントであるSCEとCPEの組み合わせごとに定まる、前記組み合わせの前記オーディオエレメントのデコードに必要なバッファサイズに基づいて、チャネル音源グループの前記オーディオエレメント、またはオブジェクト音源グループの前記オーディオエレメントを選択することで、前記オーディオエレメントの１つの前記組み合わせを選択する選択部と、選択された前記組み合わせの前記オーディオエレメントをデコードしてオーディオ信号を生成する生成部とを備える。
【００１３】
前記選択部には、同じコンテンツについて予め用意された複数の前記組み合わせのなかから１つの前記組み合わせを選択させることができる。
【００１４】
復号装置には、前記複数の前記組み合わせごとに用意された、前記組み合わせの前記オーディオエレメントから構成されるビットストリームのうちの、前記選択部により選択された前記組み合わせのビットストリームを受信する通信部をさらに設けることができる。
【００１５】
前記選択部には、ビットストリームを構成する複数の前記オーディオエレメントのうちのいくつかの前記オーディオエレメントを、１つの前記組み合わせとして選択させることができる。
【００１６】
前記選択部には、前記ビットストリームのメタデータに基づいて１つの前記組み合わせを選択させることができる。
【００１７】
前記選択部には、前記メタデータとして、予め定められた複数の前記組み合わせを示す情報、および前記オーディオエレメントの優先度情報のうちの少なくとも何れか一方に基づいて、１つの前記組み合わせを選択させることができる。
【００１８】
復号装置には、前記ビットストリームから、前記選択部により選択された前記組み合わせの前記オーディオエレメントを抽出する抽出部をさらに設けることができる。
【００１９】
復号装置には、前記選択部により選択された前記組み合わせの前記オーディオエレメントを受信する通信部をさらに設けることができる。
【００２０】
復号装置には、デコード対象として選択されなかった前記オーディオエレメントのサイズに基づいて、前記生成部によりデコードされる前記オーディオエレメントのバッファへの格納を制御するバッファ制御部をさらに設けることができる。
【００２１】
前記選択部には、選択した前記組み合わせを構成する前記オーディオエレメントのなかから、デコード対象としない前記オーディオエレメントをさらに選択させ、前記バッファ制御部には、前記選択部により選択された前記デコード対象としない前記オーディオエレメントのサイズに基づいて、前記選択部により選択された前記組み合わせを構成する、前記デコード対象としない前記オーディオエレメント以外の前記オーディオエレメントの前記バッファへの格納を制御させることができる。
【００２２】
前記選択部には、前記オーディオエレメントの優先度情報に基づいて、前記デコード対象としない前記オーディオエレメントを選択させることができる。
【００２３】
本技術の一側面の復号方法またはプログラムは、オーディオエレメントであるSCEとCPEの組み合わせごとに定まる、前記組み合わせの前記オーディオエレメントのデコードに必要なバッファサイズに基づいて、チャネル音源グループの前記オーディオエレメント、またはオブジェクト音源グループの前記オーディオエレメントを選択することで、前記オーディオエレメントの１つの前記組み合わせを選択し、選択された前記組み合わせの前記オーディオエレメントをデコードしてオーディオ信号を生成するステップを含む。
【００２４】
本技術の一側面においては、オーディオエレメントであるSCEとCPEの組み合わせごとに定まる、前記組み合わせの前記オーディオエレメントのデコードに必要なバッファサイズに基づいて、チャネル音源グループの前記オーディオエレメント、またはオブジェクト音源グループの前記オーディオエレメントを選択することで、前記オーディオエレメントの１つの前記組み合わせが選択され、選択された前記組み合わせの前記オーディオエレメントがデコードされてオーディオ信号が生成される。
【発明の効果】
【００２５】
本技術の一側面によれば、ハード規模の異なる機器でビットストリームをデコードすることができる。
【００２６】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００２７】
【図１】入力ビットストリームの構成について説明する図である。
【図２】入力ビットストリームの配置例について説明する図である。
【図３】優先度情報について説明する図である。
【図４】転送ビットレートの調整について説明する図である。
【図５】転送ビットレートの調整について説明する図である。
【図６】転送ビットレートの調整について説明する図である。
【図７】サイズ情報について説明する図である。
【図８】コンテンツ配信システムの構成例を示す図である。
【図９】デコーダの構成例を示す図である。
【図１０】復号処理を説明するフローチャートである。
【図１１】デコーダの構成例を示す図である。
【図１２】復号処理を説明するフローチャートである。
【図１３】デコーダの構成例を示す図である。
【図１４】復号処理を説明するフローチャートである。
【図１５】デコーダの構成例を示す図である。
【図１６】復号処理を説明するフローチャートである。
【図１７】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２９】
〈第１の実施の形態〉
本技術は、様々な許容メモリサイズのデコーダ、つまりハード規模の異なる様々な機器において、エンコード（符号化）されたマルチチャネルオーディオ信号が格納されている入力ビットストリームをデコード（復号）することができるようにするものである。
【００３０】
本技術では、入力ビットストリーム内のオーディオエレメントの組み合わせを、入力ビットストリーム内で複数個定義し、オーディオエレメントの組み合わせごとに、デコーダで持つべき入力ビットストリームを格納しておくためのバッファのサイズの最小値を可変させることで、異なるハード規模でデコードができるようにされる。
【００３１】
まず、本技術の概要について説明する。
【００３２】
〈オーディオエレメントの組み合わせの定義の追加〉
本技術では3D Audio規格において、オーディオエレメントの組み合わせを複数個定義できるようにされている。ここでは、様々な許容メモリサイズのデコーダで入力ビットストリームをデコードできるように、複数個の組み合わせの定義が行われる。
【００３３】
例えば1つのコンテンツを再生するための入力ビットストリームが、図１に示すオーディオエレメントで構成されるとする。なお、図中、1つの長方形は入力ビットストリームを構成する1つのオーディオエレメントを表している。また、SCE(i)（但しiは整数）と記されているオーディオエレメントは、i番目のSCEを表しており、CPE(i)（但しiは整数）と記されているオーディオエレメントは、i番目のCPEを表している。
【００３４】
上述したようにSCEは、1チャネル分のオーディオ信号をデコードするために必要なデータ、つまり1チャネル分のオーディオ信号をエンコードして得られた符号化データが格納されているオーディオエレメントである。また、CPEはペアとなる2チャネル分のオーディオ信号をデコードするために必要なデータである。
【００３５】
図１では、CPE(1)は2チャネル再生のための環境音が格納されたオーディオエレメントとなっている。以下では、CPE(1)からなるエレメントのグループをチャネル音源グループ1とも称することとする。
【００３６】
また、SCE(1)、CPE(2)、およびCPE(3)は5チャネル再生のための環境音が格納されたオーディオエレメントとなっており、以下では、SCE(1)、CPE(2)、およびCPE(3)からなるエレメントのグループをチャネル音源グループ2とも称する。
【００３７】
SCE(2)乃至SCE(23)は22チャネル再生のための環境音が格納されたオーディオエレメントとなっており、以下では、SCE(2)乃至SCE(23)からなるエレメントのグループをチャネル音源グループ3とも称する。
【００３８】
SCE(24)はオブジェクト（音素材）として所定言語、例えば日本語の対話音が格納されたオーディオエレメントとなっており、以下では、SCE(24)からなるエレメントのグループをオブジェクト音源グループ1とも称する。同様にSCE(25)はオブジェクトとして韓国語の対話音が格納されたオーディオエレメントとなっており、以下では、SCE(25)からなるエレメントのグループをオブジェクト音源グループ2とも称する。
【００３９】
さらに、SCE(26)乃至SCE(30)は、オブジェクトとして車などの音が格納されたオーディオエレメントとなっており、以下では、SCE(26)乃至SCE(30)からなるエレメントのグループをオブジェクト音源グループ3とも称する。
【００４０】
入力ビットストリームをデコードしてコンテンツを再生する際には、デコーダではこれらのチャネル音源グループ1乃至チャネル音源グループ3やオブジェクト音源グループ1乃至オブジェクト音源グループ3を任意に組み合わせて再生することができる。
【００４１】
そのような場合、図１の例では、チャネル音源グループやオブジェクト音源グループのオーディオエレメントの組み合わせは、以下の6つの組み合わせCM(1)乃至CM(6)となる。
【００４２】
組み合わせCM(1)
チャネル音源グループ1、オブジェクト音源グループ1、オブジェクト音源グループ3
組み合わせCM(2)
チャネル音源グループ1、オブジェクト音源グループ2、オブジェクト音源グループ3
組み合わせCM(3)
チャネル音源グループ2、オブジェクト音源グループ1、オブジェクト音源グループ3
組み合わせCM(4)
チャネル音源グループ2、オブジェクト音源グループ2、オブジェクト音源グループ3
組み合わせCM(5)
チャネル音源グループ3、オブジェクト音源グループ1、オブジェクト音源グループ3
組み合わせCM(6)
チャネル音源グループ3、オブジェクト音源グループ2、オブジェクト音源グループ3
【００４３】
これらの各組み合わせCM(1)乃至組み合わせCM(6)は、それぞれ2チャネル日本語、2チャネル韓国語、5チャネル日本語、5チャネル韓国語、22チャネル日本語、および22チャネル韓国語でコンテンツを再生するためのオーディオエレメントの組み合わせとなる。
【００４４】
また、この場合、それぞれの組み合わせで必要となるデコーダのメモリサイズの大小関係は、以下のようになる。
【００４５】
組み合わせCM(1)，CM(2) < 組み合わせCM(3)，CM(4) < 組み合わせCM(5)，CM(6)
【００４６】
このようなオーディオエレメントの組み合わせは、ビットストリームシンタックスとして定義することで実現することができる。
【００４７】
〈Minimum decoder input bufferの定義の修正〉
ところで3D Audio規格において、上述の組み合わせごとに、Minimum decoder input bufferのサイズが変えられるように、以下に示す現状の規定を修正することで、様々な許容メモリサイズのデコーダで入力ビットストリームをデコードできるようになる。
【００４８】
（現状の規定）
Minimum decoder input bufferサイズ=6144×NCC(bits)
【００４９】
上述したようにNCCは入力ビットストリームに含まれる全オーディオエレメントのうちのSCEの数と、CPEの数の2倍との和を表している。したがって、現状では、自身の許容メモリサイズ、つまり最大限確保可能なバッファサイズが、Minimum decoder input bufferサイズ（以下、必要バッファサイズとも称する）未満である機器では、所定の組み合わせに限っては十分なバッファサイズを確保できる場合であっても、入力ビットストリームをデコードすることができない。
【００５０】
そこで、本技術では、以下のような修正AM1または修正AM2を行うことで、各機器が自身のハード規模、つまり許容メモリサイズに応じて、自身に適したオーディオエレメントの組み合わせでコンテンツ（入力ビットストリーム）のデコードおよび再生を行うことができるようにした。
【００５１】
（修正AM1）
3D Audio規格で定められている規定において、NCCを入力ビットストリームに含まれる全オーディオエレメントのうちのSCEの数と、CPEの数の2倍との和としているのに代えて、NCCを入力ビットストリームに含まれるデコード対象となるオーディオエレメントの組み合わせに含まれる全オーディオエレメントのうちのSCEの数と、CPEの数の2倍との和とする
【００５２】
（修正AM2）
オーディオエレメントの組み合わせごとのMinimum decoder input bufferのサイズ（必要バッファサイズ）をビットストリームシンタックスとして定義する
【００５３】
このような修正AM1または修正AM2を行うことで、デコーダ側において、より許容メモリサイズが小さい機器においても入力ビットストリームのデコードを行うことができるようになるが、そのためにはデコーダ側とエンコーダ側において以下の修正が必要である。
【００５４】
（デコーダの信号処理の修正）
デコーダは、自身の許容メモリサイズと、入力ビットストリームのオーディオエレメントの組み合わせごとのサイズ（必要バッファサイズ）とを比較し、「自身の許容メモリサイズ ≧ 組み合わせごとのサイズ」という条件を満たすオーディオエレメントの組み合わせを特定し、その条件を満たす何れかの組み合わせのオーディオエレメントをデコードする
【００５５】
ここで、オーディオエレメントの組み合わせごとの必要バッファサイズを特定する方法は、修正AM1または修正AM2の何れかを適用すればよい。
【００５６】
すなわち、修正AM1を適用する場合には、例えばデコーダは、取得した入力ビットストリームに格納されている情報からオーディオエレメントの組み合わせを特定し、オーディオエレメントの各組み合わせについて必要バッファサイズを算出すればよい。また、修正AM2を適用する場合には、デコーダは入力ビットストリームからオーディオエレメントの組み合わせごとの必要バッファサイズを読み出せばよい。
【００５７】
なお、デコード対象とするオーディオエレメントの組み合わせは、必要バッファサイズが許容メモリサイズ以下となる組み合わせのうちの、ユーザ等により指定されたものとされてもよい。また、デコード対象とするオーディオエレメントの組み合わせは、必要バッファサイズが許容メモリサイズ以下となる組み合わせのうちの、定めた設定等により選択されたものとされてもよい。
【００５８】
さらに、以下では、オーディオエレメントの組み合わせについての必要バッファサイズが許容メモリサイズ以下となるという条件を、バッファサイズ条件とも称することとする。
【００５９】
デコード対象とするオーディオエレメントの組み合わせは、入力ビットストリームの取得前に選択されるようにしてもよいし、入力ビットストリームを取得してから選択されるようにしてもよい。つまり、本技術は、例えばテレビジョン放送などのプッシュ型のコンテンツ配信システムに適用することもできるし、MPEG(Moving Picture Experts Group)-DASH(Dynamic Adaptive Streaming over HTTP)に代表されるプル型のコンテンツ配信システムにも適用することができる。
【００６０】
（エンコーダの運用規定の修正）
エンコーダは、オーディオエレメントの全ての組み合わせについて、修正規定したMinimum decoder input bufferサイズでデコードできるように、時間フレームごとのオーディオエレメント（符号化データ）のビット量の調整を行いエンコードする。
【００６１】
すなわち、エンコーダは、デコーダがどのようなオーディオエレメントの組み合わせを選択したとしても、デコーダ側のバッファサイズが必要バッファサイズであるときにオーディオエレメントをデコードできるように、時間フレームごとに各チャネルの符号化データへの割り当てビット量を調整しながらエンコードを行う。ここで、オーディオエレメントをデコードできるとは、デコード対象とする組み合わせのオーディオエレメントを蓄積しておくバッファにおいて、オーバーフローもアンダーフローも生じさせることなくデコードを行うことができることをいう。
【００６２】
以上のように、デコーダ側で、オーディオエレメントの組み合わせごとの必要バッファサイズに応じて、オーディオエレメントの組み合わせを適切に選択することにより、様々な許容メモリサイズのデコーダで、入力ビットストリームのデコードを行うことができる。すなわち、ハード規模の異なる様々な機器で入力ビットストリームをデコードすることができるようになる。
【００６３】
〈オブジェクトの優先度情報を用いた転送ビットレートの削減〉
さらに、本技術をプル型のコンテンツ配信システムに適用する場合、メタデータ等に基づいて、必要なオーディオエレメントのみを選択して取得するようにすることで、入力ビットストリームの転送ビットレートを削減することができる。換言すれば、デコーダが不要なオーディオエレメントを取得しないようにすることで、入力ビットストリームの転送ビットレートを削減することができる。
【００６４】
ここではMPEG-DASHに代表されるプル型のコンテンツ配信サービスについて考えることとする。そのような場合、3D Audioの入力ビットストリームが、サーバ上に例えば以下の配置パターン(1)または配置パターン(2)の2通りのうちの何れかで配置される。
【００６５】
（配置パターン(1)）
3D Audioの入力ビットストリーム全部を1本のストリームとして配置
【００６６】
（配置パターン(2)）
3D Audioの入力ビットストリームを、オーディオエレメントの組み合わせごとに分割して配置
【００６７】
具体的には配置パターン(1)では、例えば図１に示したように全組み合わせのオーディオエレメント、つまり全てのチャネル音源グループおよびオブジェクト音源グループを構成するオーディオエレメントを含む1つの入力ビットストリームがサーバに配置される。
【００６８】
この場合、デコーダは、例えば予めサーバ等から取得した情報や入力ビットストリームのヘッダ等に格納されている情報（メタデータ）などから、デコード対象とするオーディオエレメントの組み合わせを選択し、選択した組み合わせのオーディオエレメントのみをサーバから取得してデコードすることができる。また、デコーダが一旦、入力ビットストリームを取得しておき、その入力ビットストリームから必要なオーディオエレメントを選択してデコードすることもできる。
【００６９】
なお、配置パターン(1)の例において、入力ビットストリームの転送時の速度、つまり転送ビットレートごとに入力ビットストリームが用意され、サーバに配置されるようにしてもよい。
【００７０】
また、配置パターン(2)では図１に示した入力ビットストリームが、オーディオエレメントの組み合わせごとに分割され、例えば図２に示すように分割により得られた各組み合わせのビットストリームがサーバに配置される。
【００７１】
なお、図２では、図１における場合と同様に、1つの長方形は1つのオーディオエレメント、すなわちSCEまたはCPEを表している。
【００７２】
この例では、サーバ上には、矢印A11に示す組み合わせCM(1)の構成要素からなるビットストリーム、矢印A12に示す組み合わせCM(2)の構成要素からなるビットストリーム、および矢印A13に示す組み合わせCM(3)の構成要素からなるビットストリームが配置されている。
【００７３】
さらに、サーバ上には矢印A14に示す組み合わせCM(4)の構成要素からなるビットストリーム、矢印A15に示す組み合わせCM(5)の構成要素からなるビットストリーム、および矢印A16に示す組み合わせCM(6)の構成要素からなるビットストリームが配置されている。
【００７４】
この場合、デコーダはサーバ等から取得した情報などから、デコード対象とするオーディオエレメントの組み合わせを選択し、選択した組み合わせのオーディオエレメントをサーバから取得してデコードする。なお、配置パターン(2)の例においても分割された入力ビットストリームが転送ビットレートごとに用意され、サーバに配置されてもよい。
【００７５】
また、配置パターン(1)に示した1つの入力ビットストリームが、サーバからデコーダ側に送信されるときに分割されて、要求された組み合わせのオーディオエレメントのみからなるビットストリームが送信されるようにしてもよい。
【００７６】
このようにデコード対象となるオーディオエレメントの組み合わせのみを取得するようにすれば、転送ビットレートを削減することができる。
【００７７】
例えばデコード対象となるオーディオエレメントの組み合わせのみデコーダ側により取得される場合には、入力ビットストリームに格納されているメタデータ等に基づいて、オーディオエレメントの組み合わせが選択されるようにすることができる。ここで、オーディオエレメントの組み合わせの選択は、例えば入力ビットストリームにメタデータとして格納されている、入力ビットストリームについて取得可能なオーディオエレメントの各組み合わせを示す情報などに基づいて行われる。
【００７８】
これに加え、デコーダが、デコード対象となる組み合わせのオーディオエレメントのなかの不要なオーディオエレメントを取得しないようにすれば、さらに転送ビットレートを削減することができる。例えば、そのような不要なオーディオエレメントは、ユーザにより指定されるようにしてもよいし、入力ビットストリームに格納されているメタデータ等に基づいて選択されてもよい。
【００７９】
特に、メタデータにより不要なオーディオエレメントを選択する場合には、各オブジェクトの優先度（重要度）、つまりオーディオエレメントの優先度を示す優先度情報に基づいて選択が行われるようにしてもよい。ここで、優先度情報は、その優先度情報の値が大きいほど、オーディオエレメントの優先度が高く、重要なエレメントであることを示している。
【００８０】
例えば3D Audio規格では、オブジェクト音源ごと、時間フレームごとに、オブジェクトの優先度情報（object_priority）が入力ビットストリーム内、より詳細にはEXTエレメントの内部で定義されている。特に3D Audio規格では、EXTエレメントはSCEやCPEと同じシンタックスレイヤに定義されている。
【００８１】
そこで、コンテンツを再生するクライアント側、つまりデコーダ側は、このオブジェクトの優先度情報を読み取り、その値が、クライアント側で予め定められた閾値以下であるオブジェクトのオーディオエレメントについては、転送しないようにサーバに対して命令を出す。これにより、サーバから転送される入力ビットストリーム（データ）に、命令により指定したオブジェクト音源のオーディオエレメント（SCE）が含まれないようにすることができ、転送データのビットレートを削減することが可能となる。
【００８２】
このような優先度情報を利用した転送ビットレートの削減を実現するには、オブジェクトの優先度情報の先読みと、修正規定したMinimum decoder input bufferサイズでデコードを可能とするための転送ビットレート調整処理との2つの処理が必要となる。
【００８３】
（優先度情報の先読み）
クライアント（デコーダ）がサーバに特定のオブジェクトのオーディオエレメントの非転送を要求するためには、クライアントは、オブジェクト音源のオーディオエレメントが転送される前に、オブジェクトの優先度情報を読み取らなければならない。
【００８４】
上述したように3D Audio規格では、各オブジェクトの優先度情報はEXTエレメントに含まれている。したがって、オブジェクトの優先度情報を先読みするために、例えばEXTエレメントを以下の配置位置A(1)や配置位置A(2)のような配置とすればよい。なお、これらの例に限らず、優先度情報の先読みが可能であれば、EXTエレメント、すなわち優先度情報の配置位置はどのような位置とされてもよいし、どのようにして取得されるようにしてもよい。
【００８５】
（配置位置A(1)）
EXTエレメントを1つのファイルとしてもち、クライアントはデコードの開始時に全フレームもしくは先読み数フレーム分のオブジェクトの優先度情報を読み取っていく
【００８６】
（配置位置A(2)）
EXTエレメントをビットストリーム内の各フレームの先頭に配置し、クライアントは時間フレームごとにオブジェクトの優先度情報を読み取っていく
【００８７】
例えば配置位置A(1)では、例えば図３の矢印A21に示すようにコンテンツを構成する全オブジェクト、つまり全オブジェクトのオーディオエレメントの時間フレームごとの優先度情報が格納された1つのファイル（EXTエレメント）がサーバに記録されている。
【００８８】
図３では、文字「EXT(1)」が記された1つの長方形が、1つのEXTエレメントを表している。この例では、クライアント（デコーダ）は、デコード開始前の任意のタイミングでサーバからEXTエレメントを取得し、非転送とするオーディオエレメントを選択する。
【００８９】
また、例えば配置位置A(2)では、矢印A22に示すように、入力ビットストリームの各フレームの先頭にEXTエレメントが配置されてサーバに記録されている。ここで、EXTエレメント以下、つまり図中、下側に配置されている各長方形は、図１における場合と同様に1つのオーディオエレメント（SCEまたはCPE）を表している。
【００９０】
この例では、サーバに記録されている入力ビットストリームは、図１に示した構成の先頭にさらにEXTエレメントが配置されたものとなっている。
【００９１】
したがって、この場合には、クライアント（デコーダ）は、まず対象となる時間フレームについて、入力ビットストリームのEXTエレメントを受信して優先度情報を読み出す。そして、クライアントは、優先度情報に基づいて、非転送とするオーディオエレメントを選択し、そのオーディオエレメントを非転送とする旨の要求（命令）をサーバに行うことになる。
【００９２】
（転送ビットレートの調整処理）
続いて、修正規定したMinimum decoder input bufferサイズでデコードを可能とするための転送ビットレート調整処理について説明する。
【００９３】
例えばエンコーダでは、上述したようにサーバ上に配置される入力ビットストリームの各オーディオエレメントについて、修正規定したMinimum decoder input bufferサイズでデコードできるように、オーディオエレメント（符号化データ）のビット量の調整が行われる。
【００９４】
したがって、デコーダ側において、どの組み合わせのオーディオエレメントが選択されたときでも、例えば図４に示すように、必要バッファサイズのバッファに入力ビットストリームを順次、格納しながらデコードを行ってもアンダーフローおよびオーバーフローは発生しない。
【００９５】
なお、図４において縦軸はデコーダ側のバッファ内に格納されている各時刻における入力ビットストリームのデータ量を示しており、横軸は時間を示している。また、図中、折れ線の傾きは、入力ビットストリームの転送ビットレートを示しており、転送ビットレートは、例えば入力ビットストリームの伝送路の平均ビットレートなどとされる。
【００９６】
この例ではdata[1]乃至data[4]は、各時間フレーム分のオーディオエレメントがサーバから受信されてバッファに格納される期間を表しており、a1、b1、b2、c1、c2、d1、およびd2は、それぞれ所定期間内にバッファに格納されたデータ量を示している。また、縦軸におけるBFZは、Minimum decoder input bufferサイズを示している。
【００９７】
図４では、デコーダのバッファに、受信したオーディオエレメントがBFZ分だけ格納されると、最初の時間フレームのオーディオエレメントのデコードが開始され、その後、各時間フレームのオーディオエレメントのデコードが一定時間間隔で行われる。
【００９８】
例えば時刻t1では、a1分のデータ量である先頭時間フレームのデータ、つまり先頭時間フレームの各オーディオエレメントがバッファから読み出されてデコードされている。同様に、時刻t2乃至時刻t4のそれぞれにおいて、2番目乃至4番目の時間フレームの各オーディオエレメントがバッファから読み出されてデコードが行われている。
【００９９】
このとき、バッファ内に格納されているオーディオエレメントのデータ量は、どの時刻においても0以上、かつBFZ以下となっており、アンダーフローもオーバーフローも生じていない。したがって、コンテンツが時間的に連続して途切れることなく再生されることになる。
【０１００】
しかし、符号化データのビット量を調整しながらのエンコードは、どのオーディオエレメントの組み合わせが選択された場合でも、選択された組み合わせを構成する全オーディオエレメントがデコードされるという前提で行われたものとなっている。つまり、優先度情報等に基づいて選択された、組み合わせを構成する全オーディオエレメントのうちのいくつかをデコードしない場合については、考慮されていない。
【０１０１】
そのため、デコード対象とする組み合わせのオーディオエレメントのうちの、いくつかのオブジェクトのオーディオエレメントがデコードされない場合には、エンコーダ側での時間フレームごとのビット量の調整と、デコーダ側での各時間フレームでのデコードによるビットの消費量との整合が取れなくなってしまう。そうすると、場合によってはデコーダ側においてオーバーフローやアンダーフローが生じ、上述の修正規定したMinimum decoder input bufferサイズでのデコードができなくなってしまう。
【０１０２】
そこで、本技術では、エンコーダ側でのビット量の調整と、デコーダ側でのビット消費量との整合をとり、上述の修正規定したMinimum decoder input bufferサイズでのデコードを行うことができるようにするために、以下の転送ビットレート調整処理RMT(1)または転送ビットレート調整処理RMT(2)が行われる。
【０１０３】
（転送ビットレート調整処理RMT(1)）
時間フレームごとに転送データに含めないオブジェクトのオーディオエレメントのサイズを読み取り、そのサイズから転送を停止する時間を算出し、その時間だけ転送を停止
【０１０４】
（転送ビットレート調整処理RMT(2)）
時間フレームごとに転送データに含めないオブジェクトのオーディオエレメントのサイズを読み取り、そのサイズから、転送対象となる時間フレームの転送レートを調整
【０１０５】
転送ビットレート調整処理RMT(1)では、例えば図５に示すように所定の時間だけ入力ビットストリームの転送を停止させることにより、実質的に転送ビットレートを変更する。
【０１０６】
なお、図５において縦軸はデコーダ側のバッファ内に格納されている各時刻における入力ビットストリームのデータ量を示しており、横軸は時間を示している。また、図５において図４における場合と対応する部分には、同じ文字等が記されており、その説明は適宜省略する。
【０１０７】
この例では、図４においてa1、b1、b2、c1、d1、およびd2で表されていたデータ量が、それぞれa1’、b1’、b2’、c1’、d1’、およびd2’となっている。
【０１０８】
例えば図４では先頭の時間フレームのデコード対象のオーディオエレメントの合計データ量がa1であったものが、図５では、所定のオブジェクトのオーディオエレメントのデコードが行われないためにa1’となっている。
【０１０９】
そのため、先頭フレームでデコードしないとされた、つまり優先度情報等により選択されたオブジェクトのオーディオエレメントのサイズ（データ量）と、入力ビットストリームの転送ビットレート、つまり図中の折れ線の傾きとから定まる時間の期間T11だけ、入力ビットストリームの転送が停止されている。
【０１１０】
同様に、先頭時間フレーム以降の各時間フレームについても、それぞれ期間T12乃至期間T14で入力ビットストリームの転送が一時的に停止されている。
【０１１１】
このような転送ビットレート制御は、サーバ側で実現してもよいし、デコーダ側でバッファ制御を行うことで実現するようにしてもよい。
【０１１２】
サーバ側でビットレート制御を行うときには、例えばデコーダがサーバ側に、入力ビットストリームの一時的な転送停止を指示するようにしてもよいし、サーバが転送停止時間を算出し、入力ビットストリームの転送を一時的に停止するようにしてもよい。
【０１１３】
また、デコーダ側でのバッファ制御により転送ビットレート制御を行う場合、例えばデコーダは、受信した入力ビットストリームを蓄積しておくシステムバッファから、デコードのためのオーディオバッファへのオーディオエレメント転送時にオーディオエレメントの転送（格納）の一時的な停止を行う。
【０１１４】
ここで、システムバッファは、例えばコンテンツを構成する音声の入力ビットストリームだけでなく、コンテンツを構成する映像の入力ビットストリームなども蓄積されるバッファなどとされる。また、オーディオバッファは、Minimum decoder input bufferサイズ以上のバッファサイズの確保が必要となるデコード用のバッファである。
【０１１５】
一方、転送ビットレート調整処理RMT(2)では、例えば図６に示すように入力ビットストリームの転送ビットレートを可変させる。
【０１１６】
なお、図６において縦軸はデコーダ側のオーディオバッファ内に格納されている各時刻における入力ビットストリームのデータ量を示しており、横軸は時間を示している。また、図６において図４または図５における場合と対応する部分には、同じ文字等が記されており、その説明は適宜省略する。
【０１１７】
例えば図４では先頭の時間フレームのデコード対象のオーディオエレメントの合計データ量がa1であったものが、図６では、所定のオブジェクトのオーディオエレメントのデコードが行われないためにa1’となっている。
【０１１８】
そのため、先頭フレーム分のオーディオエレメントの取得後、時刻t1までの期間において、先頭フレームでデコードしないとされた、つまり優先度情報等により選択されたオブジェクトのオーディオエレメントのサイズと、入力ビットストリームの転送ビットレートとから定まる新たな転送ビットレートで、オーディオエレメントの転送が行われている。
【０１１９】
同様に、それ以降の期間でも入力ビットストリームの転送が、新たに算出された転送ビットレートで行われている。例えば時刻t2から時刻t3までの期間では、時刻t3においてオーディオバッファ内に格納されているオーディオエレメントの合計データ量が、図５の例の時刻t3における場合と同じとなるように、新たな転送ビットレートを定めればよい。
【０１２０】
このような転送ビットレート制御は、サーバ側で実現してもよいし、デコーダ側でバッファ制御を行うことで実現するようにしてもよい。
【０１２１】
サーバ側でビットレート制御を行うときには、例えばデコーダがサーバ側に、入力ビットストリームの新たな転送ビットレートを指示するようにしてもよいし、サーバが新たな転送ビットレートを算出するようにしてもよい。
【０１２２】
また、デコーダ側でのバッファ制御により転送ビットレート制御を行う場合、例えばデコーダは、新たな転送ビットレートを算出し、その新たな転送ビットレートで、システムバッファからオーディオバッファへとオーディオエレメントを転送する。
【０１２３】
ここで、転送ビットレート調整処理RMT(1)や転送ビットレート調整処理RMT(2)を行う場合、デコード対象としないオブジェクトのオーディオエレメントのサイズを先読みする必要がある。そこで本技術では、各オーディオエレメントのサイズを示すサイズ情報が、例えば以下のサイズ情報配置SIL(1)乃至サイズ情報配置SIL(3)に示す何れかの配置とされる。なお、サイズ情報の配置は、先読み可能な配置であれば、どのような配置とされてもよい。
【０１２４】
（サイズ情報配置SIL(1)）
サイズ情報を1つのファイルとしてもち、クライアントはデコードの開始時に全フレームもしくは先読み数フレーム分の各オーディオエレメントのサイズを読み取っていく
【０１２５】
（サイズ情報配置SIL(2)）
サイズ情報を入力ビットストリーム内の各フレームの先頭に配置し、クライアントは時間フレームごとにサイズ情報を読み取っていく
【０１２６】
（サイズ情報配置SIL(3)）
各オーディオエレメントの先頭にサイズ情報を定義し、クライアントはオーディオエレメントごとにサイズ情報を読み取っていく
【０１２７】
サイズ情報配置SIL(1)では、例えば図７の矢印A31に示すようにコンテンツを構成する全オーディオエレメントの時間フレームごとのサイズ情報が格納された1つのファイルがサーバに記録されている。なお、図７において、文字「Size」が記された楕円がサイズ情報を表している。
【０１２８】
この例では、例えばクライアント（デコーダ）は、デコード開始前の任意のタイミングでサーバからサイズ情報を取得し、転送ビットレート調整処理RMT(1)や転送ビットレート調整処理RMT(2)を行う。
【０１２９】
また、例えばサイズ情報配置SIL(2)では、矢印A32に示すように、入力ビットストリームの各フレームの先頭にサイズ情報が配置されてサーバに記録されている。ここで、サイズ情報以下に配置されている各長方形は、図３における場合と同様に1つのオーディオエレメント（SCEまたはCPE）またはEXTエレメントを表している。
【０１３０】
この例では、サーバに記録されている入力ビットストリームは、図３の矢印A22に示した構成の先頭にさらにサイズ情報が配置されたものとなっている。
【０１３１】
したがって、この場合には、例えばクライアント（デコーダ）は、まず入力ビットストリームのサイズ情報やEXTエレメントを受信して、非転送とするオーディオエレメントを選択したり、その選択に応じて転送ビットレート調整処理RMT(1)や転送ビットレート調整処理RMT(2)を行ったりする。
【０１３２】
さらに、例えばサイズ情報配置SIL(3)では、矢印A33に示すように、各オーディオエレメント内の先頭部分にサイズ情報が配置されている。したがって、この場合には、例えばクライアント（デコーダ）は、各オーディオエレメントからサイズ情報を読み出して、転送ビットレート調整処理RMT(1)や転送ビットレート調整処理RMT(2)を行う。
【０１３３】
なお、以上においては、オブジェクトのオーディオエレメントを非転送とする例について説明したが、オブジェクトに限らず、各組み合わせを構成するどのオーディオエレメントを非転送とする場合でも、上述したオブジェクトの例と同様に、Minimum decoder input bufferサイズでのデコードが可能となる。
【０１３４】
以上のように、入力ビットストリームのなかのデコード対象としない不要なオーディオエレメントをメタデータ等に基づいて選択し、転送されないようにすることで、転送ビットレートを削減することができる。
【０１３５】
また、入力ビットストリームを構成する任意のオーディオエレメントをデコード対象としないようにする場合に、適切に転送ビットレートを調整することでMinimum decoder input bufferサイズでのデコードが可能となる。
【０１３６】
〈コンテンツ配信システムの構成例〉
次に、以上において説明した本技術を適用した具体的な実施の形態について説明する。
【０１３７】
以下では、本技術をMPEG-DASHに準ずるコンテンツ配信システムに適用した場合を例として説明する。そのような場合、本技術を適用したコンテンツ配信システムは、例えば図８に示すように構成される。
【０１３８】
図８に示すコンテンツ配信システムは、サーバ１１およびクライアント１２から構成され、これらのサーバ１１とクライアント１２は、インターネットなどの有線や無線の通信網を介して相互に接続されている。
【０１３９】
サーバ１１には、例えば複数の転送ビットレートごとに、図１に示した入力ビットストリームや、図２に示した、入力ビットストリームをオーディオエレメントの組み合わせごとに分割して得られたビットストリームが記録されている。
【０１４０】
また、サーバ１１には、単独の1つのファイルとして、または各入力ビットストリームや分割された入力ビットストリームのフレームの先頭部分に配置されて、図３を参照して説明したEXTエレメントが記録されている。さらに、サーバ１１には、単独の1つのファイルとして、各入力ビットストリームや分割された入力ビットストリームのフレームの先頭部分に配置されて、または各オーディオエレメント内の先頭部分に配置されて、図７を参照して説明したサイズ情報が記録されている。
【０１４１】
サーバ１１は、クライアント１２からの要求に応じて、入力ビットストリームやEXTエレメント、サイズ情報などをクライアント１２に送信する。
【０１４２】
また、クライアント１２は、サーバ１１から入力ビットストリームを受信して、入力ビットストリームをデコードおよび再生することで、コンテンツをストリーミング再生する。
【０１４３】
なお、入力ビットストリームの受信にあたっては、その入力ビットストリーム全部を受信するようにしてもよいし、入力ビットストリームの分割された一部分のみを受信するようにしてもよい。以下では、入力ビットストリームの全部と一部分とを特に区別する必要がない場合には、単に入力ビットストリームとも称することとする。
【０１４４】
クライアント１２は、ストリーミング制御部２１、アクセス処理部２２、およびデコーダ２３を有している。
【０１４５】
ストリーミング制御部２１は、クライアント１２全体の動作を制御する。例えばストリーミング制御部２１は、サーバ１１からEXTエレメント、サイズ情報、その他の制御情報を受信して、必要に応じてアクセス処理部２２やデコーダ２３に供給したり、受信した情報に基づいてストリーミング再生の制御を行ったりする。
【０１４６】
アクセス処理部２２は、デコーダ２３等の要求に応じて、サーバ１１に対して所定の転送ビットレートでの所定の組み合わせのオーディオエレメントの入力ビットストリームの送信を要求したり、サーバ１１から送信されてきた入力ビットストリームを受信してデコーダ２３に供給したりする。デコーダ２３は、必要に応じてストリーミング制御部２１やアクセス処理部２２と情報の授受を行いながら、アクセス処理部２２から供給された入力ビットストリームをデコードし、図示せぬスピーカ等に出力する。
【０１４７】
〈デコーダの構成例〉
続いて、図８に示したデコーダ２３のより詳細な構成について説明する。例えばデコーダ２３は、より詳細には図９に示すように構成される。
【０１４８】
図９に示すデコーダ２３は、取得部７１、バッファサイズ算出部７２、選択部７３、抽出部７４、オーディオバッファ７５、復号部７６、および出力部７７を有している。
【０１４９】
この例では、アクセス処理部２２から取得部７１には、例えば図１に示した構成の、所定の転送ビットレートの入力ビットストリームが供給される。なお、アクセス処理部２２がサーバ１１から、どの転送ビットレートの入力ビットストリームを受信するかは、例えばアクセス処理部２２等が通信網の状況等から、時間フレームごとに選択することができる。つまり、時間フレームごとに転送ビットレートを変更することができる。
【０１５０】
取得部７１は、アクセス処理部２２から入力ビットストリームを取得してバッファサイズ算出部７２および抽出部７４に供給する。バッファサイズ算出部７２は、取得部７１から供給された入力ビットストリームに基づいて、各オーディオエレメントの組み合わせごとに必要バッファサイズを算出し、選択部７３に供給する。
【０１５１】
選択部７３は、バッファサイズ算出部７２から供給された各オーディオエレメントの組み合わせの必要バッファサイズと、デコーダ２３、すなわちオーディオバッファ７５の許容メモリサイズとを比較して、デコード対象とするオーディオエレメントの組み合わせを選択し、その選択結果を抽出部７４に供給する。
【０１５２】
抽出部７４は、選択部７３から供給された選択結果に基づいて、取得部７１から供給された入力ビットストリームから、選択された組み合わせのオーディオエレメントを抽出し、オーディオバッファ７５に供給する。
【０１５３】
オーディオバッファ７５は、予め定められた所定の許容メモリサイズのバッファであり、抽出部７４から供給されたデコード対象となるオーディオエレメントを一時的に保持し、復号部７６に供給する。復号部７６は、オーディオバッファ７５から時間フレーム単位でオーディオエレメントを読み出してデコード（復号）するとともに、デコードにより得られたオーディオ信号に基づいて、所定チャネル構成のオーディオ信号を生成し、出力部７７に供給する。出力部７７は、復号部７６から供給されたオーディオ信号を後段のスピーカ等に出力する。
【０１５４】
〈復号処理の説明〉
続いて、図９に示したデコーダ２３により行われる復号処理について説明する。例えば復号処理は、時間フレームごとに行われる。
【０１５５】
ステップＳ１１において、取得部７１は、アクセス処理部２２から入力ビットストリームを取得してバッファサイズ算出部７２および抽出部７４に供給する。
【０１５６】
ステップＳ１２において、バッファサイズ算出部７２は、取得部７１から供給された入力ビットストリームに基づいて、オーディオエレメントの組み合わせごとに、必要バッファサイズを算出し、選択部７３に供給する。
【０１５７】
具体的にはバッファサイズ算出部７２は、算出対象のオーディオエレメントの組み合わせについて、その組み合わせを構成するSCEの数と、CPEの数の2倍との和をNCCとし、NCCと6144との積を必要バッファサイズ（Minimum decoder input bufferサイズ）として算出する。
【０１５８】
なお、入力ビットストリームに格納されているオーディオエレメントの選択可能な組み合わせは、メタデータ等を参照することで特定することができる。また、入力ビットストリームに各組み合わせについての必要バッファサイズを示す情報が格納されている場合には、バッファサイズ算出部７２は、入力ビットストリームから、必要バッファサイズを示す情報を読み出して選択部７３に供給する。
【０１５９】
ステップＳ１３において、選択部７３は、バッファサイズ算出部７２から供給された必要バッファサイズに基づいて、オーディオエレメントの組み合わせを選択し、その選択結果を抽出部７４に供給する。
【０１６０】
すなわち、選択部７３は、各オーディオエレメントの組み合わせの必要バッファサイズと、デコーダ２３、すなわちオーディオバッファ７５の許容メモリサイズとを比較して、バッファサイズ条件を満たす組み合わせの1つをデコード対象として選択する。そして、選択部７３は、その選択結果を抽出部７４に供給する。
【０１６１】
ステップＳ１４において、抽出部７４は、取得部７１から供給された入力ビットストリームから、選択部７３から供給された選択結果により示される組み合わせのオーディオエレメントを抽出し、オーディオバッファ７５に供給する。
【０１６２】
ステップＳ１５において、復号部７６は、オーディオバッファ７５から1時間フレーム分のオーディオエレメントを読み出して、そのオーディオエレメント、すなわちオーディオエレメントに格納されている符号化データをデコードする。
【０１６３】
また、復号部７６は、デコードにより得られたオーディオ信号に基づいて、所定チャネル構成のオーディオ信号を生成し、出力部７７に供給する。例えば復号部７６は、オブジェクトのオーディオ信号をスピーカに対応する各チャネルに割り当てるなどして、目的とするチャネル構成の各チャネルのオーディオ信号を生成する。
【０１６４】
ステップＳ１６において、出力部７７は、復号部７６から供給されたオーディオ信号を後段のスピーカ等に出力し、復号処理は終了する。
【０１６５】
以上のようにしてデコーダ２３は、自身の許容メモリサイズと必要バッファサイズに応じて、オーディオエレメントの組み合わせを選択し、デコードを行う。これにより、ハード規模の異なる様々な機器で入力ビットストリームをデコードすることができる。
【０１６６】
〈第２の実施の形態〉
〈デコーダの構成例〉
また、図９に示したデコーダ２３では、オーディオエレメントの組み合わせを選択する例について説明したが、さらにデコーダ２３において、優先度情報等のメタデータに基づいて、デコード対象としない不要なオーディオエレメントを選択するようにしてもよい。そのような場合、デコーダ２３は、例えば図１１に示すように構成される。なお、図１１において図９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１６７】
図１１に示すデコーダ２３は、取得部７１、バッファサイズ算出部７２、選択部７３、抽出部７４、システムバッファ１１１、オーディオバッファ７５、復号部７６、および出力部７７を有している。図１１に示すデコーダ２３の構成は、新たにシステムバッファ１１１が設けられている点で図９のデコーダ２３と異なり、その他の点では図９のデコーダ２３と同じ構成とされる。
【０１６８】
図１１に示すデコーダ２３には、例えば図１に示した構成の、所定の転送ビットレートの入力ビットストリームが供給される。
【０１６９】
また、取得部７１は、サーバ１１からEXTエレメントおよびサイズ情報を取得し、EXTエレメントをバッファサイズ算出部７２を介して選択部７３に供給するとともに、サイズ情報を抽出部７４を介してシステムバッファ１１１に供給する。
【０１７０】
例えば図３の矢印A21に示したようにEXTエレメントが単独でサーバ１１に記録されている場合、取得部７１は、デコード開始前の任意のタイミングでストリーミング制御部２１を介して、サーバ１１からEXTエレメントを取得する。
【０１７１】
また、例えば図３の矢印A22に示したようにEXTエレメントが入力ビットストリームのフレーム先頭に配置されている場合には、取得部７１は、その入力ビットストリームをバッファサイズ算出部７２に供給する。そして、バッファサイズ算出部７２は、入力ビットストリームからEXTエレメントを読み出して選択部７３に供給する。
【０１７２】
なお、以下では、図３の矢印A21に示したようにEXTエレメントが単独でサーバ１１に記録されており、予めEXTエレメントが選択部７３に供給されているものとして説明を続ける。
【０１７３】
さらに、例えば図７の矢印A31に示したようにサイズ情報が単独でサーバ１１に記録されている場合、取得部７１は、デコード開始前の任意のタイミングでストリーミング制御部２１を介して、サーバ１１からサイズ情報を取得する。
【０１７４】
また、例えば図７の矢印A32や矢印A33に示したように、サイズ情報が入力ビットストリームの各フレームの先頭や、各オーディオエレメント内の先頭に配置されている場合、取得部７１は、その入力ビットストリームを抽出部７４に供給する。そして、抽出部７４は、入力ビットストリームからサイズ情報を読み出してシステムバッファ１１１に供給する。
【０１７５】
なお、以下では、図７の矢印A31に示したようにサイズ情報が単独でサーバ１１に記録されており、予めサイズ情報がシステムバッファ１１１に供給されているものとして説明を続ける。
【０１７６】
選択部７３は、バッファサイズ算出部７２から供給された必要バッファサイズに基づいて、オーディオエレメントの組み合わせを選択する。さらに選択部７３は、バッファサイズ算出部７２から供給されたEXTエレメントに含まれる優先度情報に基づいて、選択した組み合わせを構成する各オーディオエレメントのなかから、デコード対象としない不要なオーディオエレメント、つまり非転送とするオーディオエレメントを選択する。
【０１７７】
なお、不要なオーディオエレメントは、オブジェクトのオーディオエレメントであってもよいし、それ以外のオーディオエレメントであってもよい。
【０１７８】
選択部７３は、組み合わせの選択結果と、不要なオーディオエレメントの選択結果とを抽出部７４に供給する。
【０１７９】
抽出部７４は、選択部７３から供給された選択結果に基づいて、取得部７１から供給された入力ビットストリームから、選択された組み合わせを構成し、かつ不要であるとされなかったオーディオエレメントを抽出し、システムバッファ１１１に供給する。
【０１８０】
システムバッファ１１１は、予め抽出部７４から供給されたサイズ情報に基づいて、上述した転送ビットレート調整処理RMT(1)または転送ビットレート調整処理RMT(2)によりバッファ制御を行って、抽出部７４から供給されたオーディオエレメントをオーディオバッファ７５に供給する。なお、以下では、転送ビットレート調整処理RMT(1)が行われるものとして説明を続ける。
【０１８１】
〈復号処理の説明〉
次に図１２のフローチャートを参照して、図１１に示したデコーダ２３により行われる復号処理について説明する。なお、ステップＳ４１およびステップＳ４２の処理は、図１０のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。
【０１８２】
ステップＳ４３において、選択部７３は、バッファサイズ算出部７２から供給された必要バッファサイズおよびEXTエレメントに含まれる優先度情報に基づいて、オーディオエレメントの組み合わせと、不要なオーディオエレメントとを選択する。
【０１８３】
例えば選択部７３は、図１０のステップＳ１３と同様の処理を行って、オーディオエレメントの組み合わせを選択する。さらに、選択部７３は、選択した組み合わせのオーディオエレメントのうち、優先度情報の値が所定の閾値以下であるオーディオエレメントをデコード対象としない不要なオーディオエレメントとして選択する。
【０１８４】
選択部７３は、組み合わせの選択結果と、不要なオーディオエレメントの選択結果とを抽出部７４に供給する。
【０１８５】
ステップＳ４４において、抽出部７４は、選択部７３から供給された選択結果に基づいて、取得部７１から供給された入力ビットストリームから、選択された組み合わせを構成し、かつ不要であるとされなかったオーディオエレメントを抽出し、システムバッファ１１１に供給する。また、抽出部７４は、選択部７３により選択された、デコード対象としない不要なオーディオエレメントを示す情報をシステムバッファ１１１に供給する。
【０１８６】
ステップＳ４５において、システムバッファ１１１は、予め抽出部７４から供給されたサイズ情報、および抽出部７４から供給された不要なオーディオエレメントを示す情報に基づいて、バッファ制御を行う。
【０１８７】
具体的には、システムバッファ１１１は、抽出部７４から供給された情報により示されるオーディオエレメントのサイズ情報に基づいて、転送を停止させるべき時間を算出する。そして、システムバッファ１１１は、適切なタイミングで、算出した時間だけオーディオエレメントのオーディオバッファ７５への転送（格納）を停止させながら、抽出部７４から供給されたオーディオエレメントをオーディオバッファ７５に転送する。
【０１８８】
バッファ制御が行われると、その後、ステップＳ４６およびステップＳ４７の処理が行われて復号処理は終了するが、これらの処理は図１０のステップＳ１５およびステップＳ１６の処理と同様であるので、その説明は省略する。
【０１８９】
以上のようにしてデコーダ２３は、オーディオエレメントの組み合わせを選択するとともに、優先度情報に基づいてデコード対象としないオーディオエレメントを選択する。これにより、ハード規模の異なる様々な機器で入力ビットストリームをデコードすることができる。また、バッファ制御により実質的な転送ビットレート制御を行うことで、Minimum decoder input bufferサイズでのデコードが可能となる。
【０１９０】
〈第３の実施の形態〉
〈デコーダの構成例〉
また、以上においては取得した入力ビットストリームからデコード対象とする組み合わせのオーディオエレメントを抽出する例について説明したが、選択した組み合わせのオーディオエレメントをサーバ１１から取得するようにしてもよい。そのような場合、デコーダ２３は、例えば図１３に示す構成とされる。なお、図１３において、図９における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０１９１】
図１３に示すデコーダ２３は、通信部１４１、バッファサイズ算出部７２、選択部７３、要求部１４２、オーディオバッファ７５、復号部７６、および出力部７７を有している。
【０１９２】
図１３に示すデコーダ２３の構成は、取得部７１および抽出部７４が設けられておらず、新たに通信部１４１および要求部１４２が設けられている点で図９のデコーダ２３の構成と異なる。
【０１９３】
通信部１４１は、アクセス処理部２２やストリーミング制御部２１を介してサーバ１１との通信を行う。例えば通信部１４１は、サーバ１１から取得可能なオーディオエレメントの組み合わせを示す情報を受信してバッファサイズ算出部７２に供給したり、要求部１４２から供給された、分割された入力ビットストリームの一部分の送信要求をサーバ１１に送信したりする。また、通信部１４１は、送信要求に応じてサーバ１１から送信されてきた、分割された入力ビットストリームの一部分を受信してオーディオバッファ７５に供給する。
【０１９４】
ここで、サーバ１１から取得可能なオーディオエレメントの組み合わせを示す情報は、例えば入力ビットストリームのメタデータとして、入力ビットストリーム内に格納された状態で、または単独のファイルとしてサーバ１１に記録されている。なお、ここではサーバ１１から取得可能なオーディオエレメントの組み合わせを示す情報は、単独のファイルとしてサーバ１１に記録されているものとする。
【０１９５】
要求部１４２は、選択部７３から供給された、デコード対象とするオーディオエレメントの組み合わせの選択結果に基づいて、選択された組み合わせのオーディオエレメントからなるビットストリーム、つまり分割された入力ビットストリームの一部分の送信要求を通信部１４１に供給する。
【０１９６】
〈復号処理の説明〉
次に、図１４のフローチャートを参照して、図１３に示すデコーダ２３により行われる復号処理について説明する。
【０１９７】
ステップＳ７１において、通信部１４１は、サーバ１１から取得可能なオーディオエレメントの組み合わせを示す情報を受信してバッファサイズ算出部７２に供給する。
【０１９８】
すなわち、通信部１４１は、取得可能なオーディオエレメントの組み合わせを示す情報の送信要求を、ストリーミング制御部２１を介してサーバ１１に送信する。また、通信部１４１は、その送信要求に応じてサーバ１１から送信されてきたオーディオエレメントの組み合わせを示す情報を、ストリーミング制御部２１を介して受信して、バッファサイズ算出部７２に供給する。
【０１９９】
ステップＳ７２において、バッファサイズ算出部７２は、通信部１４１から供給された、サーバ１１から取得可能なオーディオエレメントの組み合わせを示す情報に基づいて、その情報により示されるオーディオエレメントの組み合わせごとに、必要バッファサイズを算出し、選択部７３に供給する。ステップＳ７２では、図１０のステップＳ１２と同様の処理が行われる。
【０２００】
ステップＳ７３において、選択部７３は、バッファサイズ算出部７２から供給された必要バッファサイズに基づいて、オーディオエレメントの組み合わせを選択し、その選択結果を要求部１４２に供給する。ステップＳ７３では、図１０のステップＳ１３と同様の処理が行われる。また、このとき選択部７３において、転送ビットレートも選択されるようにしてもよい。
【０２０１】
さらに、オーディオエレメントの組み合わせが選択されると、要求部１４２は、選択部７３から供給された選択結果により示される組み合わせのオーディオエレメントからなるビットストリームの送信要求を通信部１４１に供給する。この送信要求は、例えば図２の矢印A11乃至矢印A16のうちの何れかにより示されるビットストリームの送信を要求するものである。
【０２０２】
ステップＳ７４において、通信部１４１は、要求部１４２から供給された、ビットストリームの送信要求を、アクセス処理部２２を介してサーバ１１に送信する。
【０２０３】
すると、サーバ１１からは、送信要求に応じて、要求された組み合わせのオーディオエレメントからなるビットストリームが送信されてくる。
【０２０４】
ステップＳ７５において、通信部１４１は、アクセス処理部２２を介して、サーバ１１からビットストリームを受信してオーディオバッファ７５に供給する。
【０２０５】
ビットストリームが受信されると、その後、ステップＳ７６およびステップＳ７７の処理が行われて復号処理は終了するが、これらの処理は図１０のステップＳ１５およびステップＳ１６の処理と同様であるので、その説明は省略する。
【０２０６】
以上のようにしてデコーダ２３は、オーディオエレメントの組み合わせを選択し、選択した組み合わせのビットストリームをサーバ１１から受信してデコードを行う。これにより、ハード規模の異なる様々な機器で入力ビットストリームをデコードすることができるとともに、入力ビットストリームの転送ビットレートを削減することができる。
【０２０７】
〈第４の実施の形態〉
〈デコーダの構成例〉
さらに、選択した組み合わせのオーディオエレメントをサーバ１１から取得する場合に、その組み合わせのなかの不要なオーディオエレメントを非転送とするようにしてもよい。
【０２０８】
そのような場合、デコーダ２３は、例えば図１５に示すように構成される。なお、図１５において、図１１または図１３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２０９】
図１５に示すデコーダ２３は、通信部１４１、バッファサイズ算出部７２、選択部７３、要求部１４２、システムバッファ１１１、オーディオバッファ７５、復号部７６、および出力部７７を有している。図１５に示すデコーダ２３の構成は、図１３に示したデコーダ２３の構成に、さらにシステムバッファ１１１を設けた構成とされている。
【０２１０】
図１５に示すデコーダ２３では、選択部７３はオーディオエレメントの組み合わせと、その組み合わせを構成するオーディオエレメントのなかの非転送とする不要なオーディオエレメントとを選択し、それらの選択結果を要求部１４２に供給する。
【０２１１】
ここで、不要なオーディオエレメントの選択は、例えばEXTエレメントに含まれる優先度情報に基づいて行われるが、EXTエレメントはどのようにして取得されるようにしてもよい。
【０２１２】
すなわち、例えば図３の矢印A21に示したようにEXTエレメントが単独でサーバ１１に記録されている場合、通信部１４１は、デコード開始前の任意のタイミングでストリーミング制御部２１を介して、サーバ１１からEXTエレメントを取得する。そして、通信部１４１は、バッファサイズ算出部７２を介して選択部７３にEXTエレメントを供給する。
【０２１３】
また、例えば図３の矢印A22に示したようにEXTエレメントが入力ビットストリームのフレーム先頭に配置されている場合には、通信部１４１は、まずは入力ビットストリームの先頭部分にあるEXTエレメントをサーバ１１から受信してバッファサイズ算出部７２に供給する。そして、バッファサイズ算出部７２は、通信部１４１からのEXTエレメントを選択部７３に供給する。
【０２１４】
なお、以下では、図３の矢印A21に示したようにEXTエレメントが単独でサーバ１１に記録されているものとして説明を続ける。
【０２１５】
要求部１４２は、選択部７３から供給された選択結果に基づいて、選択された組み合わせを構成する、非転送としなかったオーディオエレメントからなるビットストリームの送信要求を通信部１４１に供給する。
【０２１６】
システムバッファ１１１は、通信部１４１からサイズ情報の供給を受ける。
【０２１７】
例えば図７の矢印A31に示したようにサイズ情報が単独でサーバ１１に記録されている場合、通信部１４１は、デコード開始前の任意のタイミングでストリーミング制御部２１を介して、サーバ１１からサイズ情報を取得し、システムバッファ１１１に供給する。
【０２１８】
また、例えば図７の矢印A32や矢印A33に示したように、サイズ情報が入力ビットストリームの各フレームの先頭や、各オーディオエレメント内の先頭に配置されている場合、通信部１４１は、サーバ１１から受信した入力ビットストリーム、より詳細には入力ビットストリームの分割された一部分をシステムバッファ１１１に供給する。
【０２１９】
なお、図７の矢印A33に示したようにサイズ情報が各オーディオエレメント内の先頭に配置されている場合には、選択部７３により選択された組み合わせの非転送とされたオーディオエレメントについては、サイズ情報だけがビットストリームに含まれるようにされる。
【０２２０】
システムバッファ１１１は、サイズ情報に基づいて、上述した転送ビットレート調整処理RMT(1)または転送ビットレート調整処理RMT(2)によりバッファ制御を行って、通信部１４１から供給されたオーディオエレメントをオーディオバッファ７５に供給する。なお、以下では、転送ビットレート調整処理RMT(1)が行われるものとして説明を続ける。
【０２２１】
〈復号処理の説明〉
次に図１６のフローチャートを参照して、図１５に示したデコーダ２３により行われる復号処理について説明する。
【０２２２】
ステップＳ１０１において、通信部１４１は、サーバ１１から取得可能なオーディオエレメントの組み合わせを示す情報、およびEXTエレメントを受信してバッファサイズ算出部７２に供給する。
【０２２３】
すなわち、通信部１４１は、取得可能なオーディオエレメントの組み合わせを示す情報、およびEXTエレメントの送信要求を、ストリーミング制御部２１を介してサーバ１１に送信する。また、通信部１４１は、その送信要求に応じてサーバ１１から送信されてきたオーディオエレメントの組み合わせを示す情報、およびEXTエレメントを、ストリーミング制御部２１を介して受信して、バッファサイズ算出部７２に供給する。さらに、バッファサイズ算出部７２は、通信部１４１からのEXTエレメントを選択部７３に供給する。
【０２２４】
オーディオエレメントの組み合わせを示す情報が取得されると、ステップＳ１０２およびステップＳ１０３の処理が行われて転送を要求するオーディオエレメントが選択されるが、これらの処理は図１２のステップＳ４２およびステップＳ４３の処理と同様であるので、その説明は省略する。
【０２２５】
但し、ステップＳ１０２では、オーディオエレメントの組み合わせを示す情報に基づいて必要バッファサイズが算出され、ステップＳ１０３では、選択部７３による選択結果は要求部１４２に供給される。
【０２２６】
また、要求部１４２は、選択部７３から供給された選択結果に基づいて、選択された組み合わせを構成する、非転送としなかったオーディオエレメントからなるビットストリームの送信要求を通信部１４１に供給する。換言すれば、選択された組み合わせのオーディオエレメントの送信が要求されるとともに、その組み合わせのなかのデコード対象とされないものとして選択された不要なオーディオエレメントの非転送が要求される。
【０２２７】
ステップＳ１０４において、通信部１４１は、要求部１４２から供給された、選択された組み合わせを構成する、非転送としなかったオーディオエレメントからなるビットストリームの送信要求を、アクセス処理部２２を介してサーバ１１に送信する。
【０２２８】
すると、サーバ１１からは、ビットストリームの送信要求に応じて、要求された組み合わせを構成する、非転送とされなかったオーディオエレメントからなるビットストリームが送信されてくる。
【０２２９】
ステップＳ１０５において、通信部１４１は、アクセス処理部２２を介して、サーバ１１からビットストリームを受信してシステムバッファ１１１に供給する。
【０２３０】
ビットストリームが受信されると、その後、ステップＳ１０６乃至ステップＳ１０８の処理が行われて復号処理は終了するが、これらの処理は図１２のステップＳ４５乃至ステップＳ４７の処理と同様であるので、その説明は省略する。
【０２３１】
以上のようにしてデコーダ２３は、オーディオエレメントの組み合わせを選択するとともに、優先度情報に基づいてデコード対象としない不要なオーディオエレメントを選択する。これにより、ハード規模の異なる様々な機器で入力ビットストリームをデコードすることができるとともに入力ビットストリームの転送ビットレートを削減することができる。また、バッファ制御を行うことで、Minimum decoder input bufferサイズでのデコードが可能となる。
【０２３２】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２３３】
図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３４】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２３５】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０２３６】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０２３７】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３８】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２３９】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２４０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２４１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２４２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２４３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２４４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２４５】
さらに、本技術は、以下の構成とすることも可能である。
【０２４６】
［１］
オーディオエレメントの組み合わせごとに定まる、前記組み合わせの前記オーディオエレメントのデコードに必要なバッファサイズに基づいて、前記オーディオエレメントの１つの前記組み合わせを選択する選択部と、
選択された前記組み合わせの前記オーディオエレメントをデコードしてオーディオ信号を生成する生成部と
を備える復号装置。
［２］
前記選択部は、同じコンテンツについて予め用意された複数の前記組み合わせのなかから１つの前記組み合わせを選択する
［１］に記載の復号装置。
［３］
前記複数の前記組み合わせごとに用意された、前記組み合わせの前記オーディオエレメントから構成されるビットストリームのうちの、前記選択部により選択された前記組み合わせのビットストリームを受信する通信部をさらに備える
［２］に記載の復号装置。
［４］
前記選択部は、ビットストリームを構成する複数の前記オーディオエレメントのうちのいくつかの前記オーディオエレメントを、１つの前記組み合わせとして選択する
［１］または［２］に記載の復号装置。
［５］
前記選択部は、前記ビットストリームのメタデータに基づいて１つの前記組み合わせを選択する
［４］に記載の復号装置。
［６］
前記選択部は、前記メタデータとして、予め定められた複数の前記組み合わせを示す情報、および前記オーディオエレメントの優先度情報のうちの少なくとも何れか一方に基づいて、１つの前記組み合わせを選択する
［５］に記載の復号装置。
［７］
前記ビットストリームから、前記選択部により選択された前記組み合わせの前記オーディオエレメントを抽出する抽出部をさらに備える
［４］乃至［６］の何れか一項に記載の復号装置。
［８］
前記選択部により選択された前記組み合わせの前記オーディオエレメントを受信する通信部をさらに備える
［４］乃至［６］の何れか一項に記載の復号装置。
［９］
デコード対象として選択されなかった前記オーディオエレメントのサイズに基づいて、前記生成部によりデコードされる前記オーディオエレメントのバッファへの格納を制御するバッファ制御部をさらに備える
［５］に記載の復号装置。
［１０］
前記選択部は、選択した前記組み合わせを構成する前記オーディオエレメントのなかから、デコード対象としない前記オーディオエレメントをさらに選択し、
前記バッファ制御部は、前記選択部により選択された前記デコード対象としない前記オーディオエレメントのサイズに基づいて、前記選択部により選択された前記組み合わせを構成する、前記デコード対象としない前記オーディオエレメント以外の前記オーディオエレメントの前記バッファへの格納を制御する
［９］に記載の復号装置。
［１１］
前記選択部は、前記オーディオエレメントの優先度情報に基づいて、前記デコード対象としない前記オーディオエレメントを選択する
［１０］に記載の復号装置。
［１２］
オーディオエレメントの組み合わせごとに定まる、前記組み合わせの前記オーディオエレメントのデコードに必要なバッファサイズに基づいて、前記オーディオエレメントの１つの前記組み合わせを選択し、
選択された前記組み合わせの前記オーディオエレメントをデコードしてオーディオ信号を生成する
ステップを含む復号方法。
［１３］
オーディオエレメントの組み合わせごとに定まる、前記組み合わせの前記オーディオエレメントのデコードに必要なバッファサイズに基づいて、前記オーディオエレメントの１つの前記組み合わせを選択し、
選択された前記組み合わせの前記オーディオエレメントをデコードしてオーディオ信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２４７】
２３  デコーダ，  ７１  取得部，  ７２  バッファサイズ算出部，  ７３  選択部，  ７４  抽出部，  ７５  オーディオバッファ，  ７６  復号部，  １１１  システムバッファ，  １４１  通信部，  １４２  要求部
【図１】
0006432180.tif 000002
【図２】
0006432180.tif 000003
【図３】
0006432180.tif 000004
【図４】
0006432180.tif 000005
【図５】
0006432180.tif 000006
【図６】
0006432180.tif 000007
【図７】
0006432180.tif 000008
【図８】
0006432180.tif 000009
【図９】
0006432180.tif 000010
【図１０】
0006432180.tif 000011
【図１１】
0006432180.tif 000012
【図１２】
0006432180.tif 000013
【図１３】
0006432180.tif 000014
【図１４】
0006432180.tif 000015
【図１５】
0006432180.tif 000016
【図１６】
0006432180.tif 000017
【図１７】
0006432180.tif 000018