(57)【特許請求の範囲】
【請求項１】
オーディオ信号を符号化するか否かを示す識別情報が格納された第１のビットストリームエレメントと、符号化する旨の前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは符号化する旨の前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームを取得する取得部と、
前記ビットストリームから前記識別情報および前記オーディオ信号を抽出する抽出部と、
前記ビットストリームから抽出された前記オーディオ信号を復号するとともに、値が０であるＭＤＣＴ係数に基づいてＩＭＤＣＴ処理を行うことで、前記識別情報が符号化しない旨の情報である前記オーディオ信号として無音信号を生成する復号部と
を備える復号装置。
【請求項２】
オーディオ信号を符号化するか否かを示す識別情報が格納された第１のビットストリームエレメントと、符号化する旨の前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは符号化する旨の前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームを取得し、
前記ビットストリームから前記識別情報および前記オーディオ信号を抽出し、
前記ビットストリームから抽出された前記オーディオ信号を復号するとともに、値が０であるＭＤＣＴ係数に基づいてＩＭＤＣＴ処理を行うことで、前記識別情報が符号化しない旨の情報である前記オーディオ信号として無音信号を生成する
ステップを含む復号方法。
【請求項３】
オーディオ信号を符号化するか否かを示す識別情報が格納された第１のビットストリームエレメントと、符号化する旨の前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは符号化する旨の前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームを取得し、
前記ビットストリームから前記識別情報および前記オーディオ信号を抽出し、
前記ビットストリームから抽出された前記オーディオ信号を復号するとともに、値が０であるＭＤＣＴ係数に基づいてＩＭＤＣＴ処理を行うことで、前記識別情報が符号化しない旨の情報である前記オーディオ信号として無音信号を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は復号装置および方法、並びにプログラムに関し、特に、オーディオ信号の伝送効率を向上させることができるようにした復号装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、オーディオ信号を符号化する方法として、国際標準化規格であるMPEG(Moving Picture Experts Group)-2 AAC(Advanced Audio Coding)やMPEG-4 AAC規格のマルチチャンネル符号化が知られている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】INTERNATIONAL STANDARD ISO/IEC 14496-3 Fourth edition 2009-09-01 Information technology-coding of audio-visual objects-part3:Audio
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の５．１チャンネルサラウンド再生を超える、より高臨場感な再生や、複数の音素材（オブジェクト）を伝送するためには、より多くのオーディオチャンネルを用いた符号化技術が必要になる。【０００５】
例えば、256kbpsで３１チャンネルの符号化を行う場合には、MPEG AAC規格の符号化においては１チャンネルかつ、１オーディオフレームあたり平均使用可能ビット量は176ビット程度となる。しかし、この程度のビット数では一般的なスカラー符号化を用いて、16kHz以上の高帯域の符号化を行うときには、大きな音質劣化を伴う可能性が高い。【０００６】
一方、既存のオーディオ符号化においては、無音やそれと同等と見なせるような信号に対しても符号化処理を行うことから、少なからず符号化するためのビット量を必要とする。【０００７】
多チャンネルの低ビットレート符号化においては、少しでも多く符号化チャンネルで使用できるビット量を確保することが重要となるが、MPEG AAC規格の符号化においては、無音フレームを符号化するためのビット量は、各フレームにおいて１エレメント当たり30ビットから40ビットとなる。そのため、同一フレーム内で無音のチャンネル数が多いほど、無音の符号化に必要なビット量が無視できないものになってくる。【０００８】
以上のように、上述した技術では、オーディオ信号として無音や無音とみなせる信号など、必ずしも符号化する必要のない信号がある場合であっても、効率よくオーディオ信号を伝送することができなかった。【０００９】
本技術は、このような状況に鑑みてなされたものであり、オーディオ信号の伝送効率を向上させることができるようにするものである。
【課題を解決するための手段】
【００１７】
本技術の一側面の復号装置は、オーディオ信号を符号化するか否かを示す識別情報が格納された第１のビットストリームエレメントと、符号化する旨の前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは符号化する旨の前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームを取得する取得部と、前記ビットストリームから前記識別情報および前記オーディオ信号を抽出する抽出部と、前記ビットストリームから抽出された前記オーディオ信号を復号するとともに、値が０であるＭＤＣＴ係数に基づいてＩＭＤＣＴ処理を行うことで、前記識別情報が符号化しない旨の情報である前記オーディオ信号として無音信号を生成する復号部とを備える。
【００１９】
本技術の一側面の復号方法またはプログラムは、オーディオ信号を符号化するか否かを示す識別情報が格納された第１のビットストリームエレメントと、符号化する旨の前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは符号化する旨の前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームを取得し、前記ビットストリームから前記識別情報および前記オーディオ信号を抽出し、前記ビットストリームから抽出された前記オーディオ信号を復号するとともに、値が０であるＭＤＣＴ係数に基づいてＩＭＤＣＴ処理を行うことで、前記識別情報が符号化しない旨の情報である前記オーディオ信号として無音信号を生成するステップを含む。
【００２０】
本技術の一側面においては、オーディオ信号を符号化するか否かを示す識別情報が格納された第１のビットストリームエレメントと、符号化する旨の前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは符号化する旨の前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームが取得され、前記ビットストリームから前記識別情報および前記オーディオ信号が抽出され、前記ビットストリームから抽出された前記オーディオ信号が復号されるとともに、値が０であるＭＤＣＴ係数に基づいてＩＭＤＣＴ処理を行うことで、前記識別情報が符号化しない旨の情報である前記オーディオ信号として無音信号が生成される。
【発明の効果】
【００２１】
本技術の一側面によれば、オーディオ信号の伝送効率を向上させることができる。
【図面の簡単な説明】
【００２２】
【図１】ビットストリームについて説明する図である。
【図２】符号化の要否について説明する図である。
【図３】各フレームのチャンネルごとの符号化状況について説明する図である。
【図４】ビットストリーム構成について説明する図である。
【図５】識別情報について説明する図である。
【図６】DSEについて説明する図である。
【図７】DSEについて説明する図である。
【図８】エンコーダの構成例を示す図である。
【図９】識別情報生成処理を説明するフローチャートである。
【図１０】符号化処理を説明するフローチャートである。
【図１１】デコーダの構成例を示す図である。
【図１２】復号処理を説明するフローチャートである。
【図１３】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２４】
〈第１の実施の形態〉
〈本技術の概要について〉
本技術は、マルチチャンネルのオーディオ信号において無音またはそれと同等と見なせる条件に合致し、伝送が不要なチャンネルのフレーム単位の符号化データを伝送しないようにすることで、オーディオ信号の伝送効率を向上させるものである。このとき、復号側には、フレームごとに、各チャンネルのオーディオ信号を符号化するか否かを示す識別情報を送信することで、復号側において伝送されてきた符号化データを正しいチャンネルに割り当てることができるようになる。
【００２５】
なお、以下では、マルチチャンネルのオーディオ信号がAAC規格に従って符号化される場合について説明するが、他の方式で符号化される場合にも同様の処理が行なわれる。
【００２６】
例えば、マルチチャンネルのオーディオ信号がAAC規格に従って符号化され、伝送される場合、各チャンネルのオーディオ信号がフレームごとに符号化されて伝送される。
【００２７】
具体的には図１に示すように、符号化されたオーディオ信号や、オーディオ信号の復号等に必要な情報が複数のエレメント（ビットストリームエレメント）に格納され、それらのエレメントからなるビットストリームが伝送されることになる。
【００２８】
この例では、１フレーム分のビットストリームには、先頭から順番にｎ個のエレメントＥＬ１乃至エレメントＥＬｎが配置され、最後に当該フレームの情報に関する終端位置であることを示す識別子ＴＥＲＭが配置されている。
【００２９】
例えば、先頭に配置されたエレメントＥＬ１は、DSE（Data Stream Element）と呼ばれるアンシラリデータ領域であり、DSEにはオーディオ信号のダウンミックスに関する情報や識別情報など、複数の各チャンネルに関する情報が記述される。
【００３０】
エレメントＥＬ１の後に続くエレメントＥＬ２乃至エレメントＥＬｎには、符号化されたオーディオ信号が格納される。特に、シングルチャンネルのオーディオ信号が格納されているエレメントはSCEと呼ばれており、ペアとなる２つのチャンネルのオーディオ信号が格納されているエレメントはCPEと呼ばれている。
【００３１】
本技術では、無音または無音とみなすことができるチャンネルのオーディオ信号については符号化が行なわれず、そのような符号化が行なわれないチャンネルのオーディオ信号は、ビットストリームには格納されない。
【００３２】
しかし、１または複数のチャンネルのオーディオ信号がビットストリームに格納されない場合には、ビットストリームに含まれているオーディオ信号がどのチャンネルの信号であるのかを特定することが困難となる。そこで、本技術では、各チャンネルのオーディオ信号を符号化するか否かを示す識別情報が生成されて、DSEに格納される。
【００３３】
例えば、図２に示すように連続するフレームＦ１１乃至フレームＦ１３のオーディオ信号が符号化されるとする。
【００３４】
そのような場合、エンコーダは、それらのフレームごとに、オーディオ信号を符号化するか否かを特定する。例えば、エンコーダはオーディオ信号の振幅に基づいて、オーディオ信号が無音の信号であるか否かを特定する。そしてオーディオ信号が無音の信号であるか、または無音とみなせる信号である場合には、そのフレームのオーディオ信号は符号化されないものとされる。
【００３５】
図２の例では、例えばフレームＦ１１とフレームＦ１３のオーディオ信号は無音ではないため、符号化されるものとされ、フレームＦ１２のオーディオ信号は、無音の信号であるため、符号化されないとされる。
【００３６】
このようにして、エンコーダは、フレームごとに各チャンネルについてオーディオ信号の符号化を行なうか否かを判定し、オーディオ信号の符号化を行なう。
【００３７】
なお、より詳細には、ＲチャンネルとＬチャンネルなど、２つのチャンネルがペアとなっている場合には、１つのペアについて符号化を行なうか否かが定められる。例えばＲチャンネルとＬチャンネルとがペアとされており、それらのチャンネルのオーディオ信号が符号化されて１つのCPE（エレメント）に格納されるとする。
【００３８】
そのような場合、ＲチャンネルとＬチャンネルの両方のオーディオ信号が、ともに無音または無音とみなすことができる信号であるとされたときに、それらのオーディオ信号の符号化が行なわれないようになされる。つまり、２つのチャンネルのオーディオ信号のうちの１つでも無音ではないオーディオ信号があるときには、それらの２つのオーディオ信号の符号化が行なわれる。
【００３９】
このように、チャンネルごと、より詳細にはエレメントごとに符号化するか否かの判定を行ないながら各チャンネルのオーディオ信号の符号化を行なうと、図３に示すように、無音ではない有音のオーディオ信号のみが符号化されることになる。
【００４０】
図３では、図中、縦方向はチャンネルを示しており、横方向は時間、つまりフレームを示している。この例では、例えば１フレーム目では、チャンネルＣＨ１乃至チャンネルＣＨ８の８つのチャンネルのオーディオ信号が全て符号化されている。
【００４１】
また、２フレーム目では、チャンネルＣＨ１、チャンネルＣＨ２、チャンネルＣＨ５、チャンネルＣＨ７、およびチャンネルＣＨ８の５つのチャンネルのオーディオ信号が符号化されており、他のチャンネルのオーディオ信号の符号化は行なわれていない。
【００４２】
さらに、６フレーム目ではチャンネルＣＨ１のオーディオ信号のみが符号化されており、他のチャンネルのオーディオ信号の符号化は行なわれていない。
【００４３】
図３に示すようなオーディオ信号の符号化が行なわれた場合、図４に示すように符号化されたオーディオ信号のみが順番に並べられてパッキングされ、デコーダへと伝送される。この例では、特に６フレーム目においては、チャンネルＣＨ１のオーディオ信号のみが伝送されるので、大幅にビットストリームのデータ量を削減することができ、その結果、伝送効率を向上させることができる。
【００４４】
また、エンコーダは、図５に示すようにフレームごとに各チャンネル、より詳細には各エレメントの符号化を行なったか否かを示す識別情報を生成して、符号化されたオーディオ信号とともにデコーダに送信する。
【００４５】
図５では、各四角形内に記された数値「０」は、符号化を行なった旨の識別情報を示しており、各四角形内に記された数値「１」は、符号化を行なっていない旨の識別情報を示している。エンコーダで生成される１フレームにおける１チャンネル（エレメント）分の識別情報は１ビットで記述することができる。このような各チャンネル（エレメント）の識別情報がフレームごとにDSEに記述される。
【００４６】
このように、オーディオ信号の符号化を行なうか否かをエレメントごとに判定し、必要に応じて符号化されたオーディオ信号と、各エレメントの符号化を行なったか否かを示す識別情報とをビットストリームに記述して伝送することで、オーディオ信号の伝送効率を向上させることができる。また、伝送されなかったオーディオ信号の分のビット量、つまり削減した分のデータ量は、伝送する他のフレームや現フレームの他のオーディオ信号の符号量として割り当てることもできる。そのようにすることで、符号化を行なうオーディオ信号の音声の音質を向上させることができる。
【００４７】
なお、ここではAACで符号化が行なわれる例について説明しているため、ビットストリームエレメントごとに識別情報が生成されるが、他の方式では必要に応じてチャンネルごとに識別情報を生成すればよい。
【００４８】
以上において説明した識別情報等がDSEに記述される場合、例えばDSEには図６および図７に示す情報が記述される。
【００４９】
図６はDSEに含まれている「3da_fragmented_header」のシンタックスを示している。この情報には、ビットストリームに含まれているオーディオエレメントの数、つまりSCEやCPEなどの符号化されたオーディオ信号が含まれるエレメントの数を示す情報として、「num_of_audio_element」が記述されている。
【００５０】
また、「num_of_audio_element」の後には、各エレメントがシングルチャンネルのエレメントであるか、またはチャンネルペアのエレメントであるか、すなわちSCEであるかまたはCPEであるかを示す情報として「element_is_cpe[i]」が記述されている。
【００５１】
さらに、図７はDSEに含まれている「3da_fragmented_data」のシンタックスを示している。
【００５２】
この情報には、DSEに図６に示した「3da_fragmented_header」が含まれているか否かを示すフラグである「3da_fragmented_header_flag」が記述されている。
【００５３】
また、「3da_fragmented_header_flag」の値が「１」である場合、すなわちDSEに図６に示した「3da_fragmented_header」が記述されている旨の値である場合には、「3da_fragmented_header_flag」の後ろに「3da_fragmented_header」が配置される。
【００５４】
また、「3da_fragmented_data」には、オーディオ信号が格納されるエレメントの数だけ識別情報である「fragment_element_flag[i]」が記述されている。
【００５５】
〈エンコーダの構成例〉
次に、本技術を適用したエンコーダの具体的な実施の形態について説明する。
【００５６】
図８は、本技術を適用したエンコーダの構成例を示す図である。
【００５７】
エンコーダ１１は、識別情報生成部２１、符号化部２２、パッキング部２３、および出力部２４から構成される。
【００５８】
識別情報生成部２１は、外部から供給されたオーディオ信号に基づいて、エレメントごとに、各エレメントのオーディオ信号を符号化するか否かを判定し、その判定結果を示す識別情報を生成する。識別情報生成部２１は、生成した識別情報を符号化部２２およびパッキング部２３に供給する。
【００５９】
符号化部２２は、識別情報生成部２１から供給された識別情報を参照して、必要に応じて外部から供給されたオーディオ信号を符号化し、符号化されたオーディオ信号（以下、符号化データとも称する）をパッキング部２３に供給する。また、符号化部２２は、オーディオ信号を時間周波数変換する時間周波数変換部３１を備えている。
【００６０】
パッキング部２３は、識別情報生成部２１から供給された識別情報と、符号化部２２から供給された符号化データとをパッキングしてビットストリームを生成し、出力部２４に供給する。出力部２４は、パッキング部２３から供給されたビットストリームをデコーダに出力する。
【００６１】
〈識別情報生成処理の説明〉
続いて、エンコーダ１１の動作について説明する。
【００６２】
まず、図９のフローチャートを参照して、エンコーダ１１が識別情報を生成する処理である識別情報生成処理について説明する。
【００６３】
ステップＳ１１において、識別情報生成部２１は、入力データがあるか否かを判定する。例えば、外部から新たに１フレーム分の各エレメントのオーディオ信号が供給された場合には、入力データがあると判定される。
【００６４】
ステップＳ１１において、入力データがあると判定された場合、ステップＳ１２において、識別情報生成部２１はカウンタｉ＜エレメント数であるか否かを判定する。
【００６５】
例えば識別情報生成部２１は、何番目のエレメントが処理対象となっているかを示すカウンタｉを保持しており、新たなフレームについてオーディオ信号の符号化が開始された時点では、カウンタｉの値は０とされている。
【００６６】
ステップＳ１２において、カウンタｉ＜エレメント数であるとされた場合、つまり処理対象となっているフレームについて、まだ全てのエレメントを処理していない場合、処理はステップＳ１３に進む。
【００６７】
ステップＳ１３において、識別情報生成部２１は、処理対象となっているｉ番目のエレメントは、符号化が不要なエレメントであるか否かを判定する。
【００６８】
例えば、識別情報生成部２１は処理対象のエレメントのオーディオ信号の各時刻における振幅が所定の閾値以下である場合、そのエレメントのオーディオ信号は無音または無音とみなせるとして、符号化が不要なエレメントであるとする。
【００６９】
この場合、エレメントを構成するオーディオ信号が２チャンネル分のオーディオ信号である場合には、２つのオーディオ信号が何れも無音または無音とみなせるときに、エレメントの符号化が不要であるとされる。
【００７０】
また、例えば所定の時刻においてのみ、オーディオ信号の振幅が閾値より大きく、その時刻の振幅部分がノイズである場合には、オーディオ信号が無音とみなされるようにしてもよい。
【００７１】
さらに、例えばオーディオ信号の振幅（音量）が同フレームの他のチャンネルのオーディオ信号の振幅と比べて非常に小さく、かつオーディオ信号の音源位置と、他のチャンネルのオーディオ信号の音源位置とが近い場合に、オーディオ信号が無音であるとみなされて、符号化されないようにされてもよい。つまり、音量が小さいオーディオ信号の音源近傍に、音量が大きい音声を出力する他の音源がある場合には、その音源のオーディオ信号は無音の信号であるとみなされるようにしてもよい。
【００７２】
そのような場合、オーディオ信号の音源位置と、他のオーディオ信号の音源位置の距離、およびオーディオ信号と他のオーディオ信号のレベル（振幅）に基づいて、オーディオ信号が無音とみなすことができる信号であるか否かが特定される。
【００７３】
ステップＳ１３において、処理対象のエレメントが符号化不要なエレメントであると判定された場合、ステップＳ１４において、識別情報生成部２１は、そのエレメントの識別情報ZeroChan[i]の値を「１」として、符号化部２２およびパッキング部２３に供給する。すなわち、値が「１」である識別情報が生成される。
【００７４】
処理対象となっているエレメントについて識別情報が生成されると、カウンタｉが１だけインクリメントされ、その後、処理はステップＳ１２に戻り、上述した処理が繰り返される。
【００７５】
また、ステップＳ１３において、処理対象のエレメントが符号化不要なエレメントでないと判定された場合、ステップＳ１５において、識別情報生成部２１は、そのエレメントの識別情報ZeroChan[i]の値を「０」として、符号化部２２およびパッキング部２３に供給する。すなわち、値が「０」である識別情報が生成される。
【００７６】
処理対象となっているエレメントについて識別情報が生成されると、カウンタｉが１だけインクリメントされ、その後、処理はステップＳ１２に戻り、上述した処理が繰り返される。
【００７７】
また、ステップＳ１２において、カウンタｉ＜エレメント数でないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返し行なわれる。
【００７８】
さらに、ステップＳ１１において、入力データがないと判定された場合、すなわち全てのフレームについて、各エレメントの識別情報が生成された場合、識別情報生成処理は終了する。
【００７９】
以上のように、エンコーダ１１は、オーディオ信号に基づいて各エレメントのオーディオ信号の符号化が必要であるか否かを判定し、各エレメントの識別情報を生成する。このように、エレメントごとに識別情報を生成することで、伝送するビットストリームのデータ量を削減することができ、伝送効率を向上させることができる。
【００８０】
〈符号化処理の説明〉
さらに、図１０のフローチャートを参照して、エンコーダ１１がオーディオ信号を符号化する符号化処理について説明する。この符号化処理は図９を参照して説明した識別情報生成処理と同時に実行される。
【００８１】
ステップＳ４１において、パッキング部２３は、識別情報生成部２１から供給された識別情報を符号化する。
【００８２】
具体的には、パッキング部２３は１フレーム分の各エレメントの識別情報に基づいて、必要に応じて図６に示した「3da_fragmented_header」や図７に示した「3da_fragmented_data」が含まれるDSEを生成することで、識別情報の符号化を行なう。
【００８３】
ステップＳ４２において、符号化部２２は、入力データがあるか否かを判定する。例えば、まだ処理されていないフレームの各エレメントのオーディオ信号がある場合には、入力データがあると判定される。
【００８４】
ステップＳ４２において、入力データがあると判定された場合、ステップＳ４３において、符号化部２２はカウンタｉ＜エレメント数であるか否かを判定する。
【００８５】
例えば符号化部２２は、何番目のエレメントが処理対象となっているかを示すカウンタｉを保持しており、新たなフレームについてオーディオ信号の符号化が開始された時点では、カウンタｉの値は０とされている。
【００８６】
ステップＳ４３において、カウンタｉ＜エレメント数であると判定された場合、ステップＳ４４において、符号化部２２は、識別情報生成部２１から供給されたｉ番目のエレメントの識別情報ZeroChan[i]の値が「０」であるか否かを判定する。
【００８７】
ステップＳ４４において、識別情報ZeroChan[i]の値が「０」であると判定された場合、すなわち、ｉ番目のエレメントの符号化が必要である場合、処理はステップＳ４５に進む。
【００８８】
ステップＳ４５において、符号化部２２は、外部から供給されたｉ番目のエレメントのオーディオ信号を符号化する。
【００８９】
具体的には、時間周波数変換部３１は、オーディオ信号に対してMDCT（Modified Discrete Cosine Transform）（修正離散コサイン変換）を行なうことで、オーディオ信号を時間信号から周波数信号に変換する。
【００９０】
また、符号化部２２は、オーディオ信号に対するMDCTにより得られたMDCT係数を符号化し、スケールファクタ、サイド情報、および量子化スペクトルを得る。そして、符号化部２２は、得られたスケールファクタ、サイド情報、および量子化スペクトルを、オーディオ信号を符号化して得られた符号化データとしてパッキング部２３に供給する。
【００９１】
オーディオ信号の符号化が行なわれると、その後、処理はステップＳ４６に進む。
【００９２】
一方、ステップＳ４４において、識別情報ZeroChan[i]の値が「１」であると判定された場合、すなわちｉ番目のエレメントの符号化が不要である場合、ステップＳ４５の処理はスキップされて、処理はステップＳ４６へと進む。この場合、符号化部２２はオーディオ信号の符号化を行なわない。
【００９３】
ステップＳ４５においてオーディオ信号が符号化されたか、またはステップＳ４４において識別情報ZeroChan[i]の値が「１」であると判定されると、ステップＳ４６において、符号化部２２は、カウンタｉの値を１だけインクリメントする。
【００９４】
カウンタｉが更新されると、その後、処理はステップＳ４３に戻り、上述した処理が繰り返し行なわれる。
【００９５】
また、ステップＳ４３において、カウンタｉ＜エレメント数でないと判定された場合、すなわち、処理対象となっているフレームの全エレメントについて符号化が行なわれた場合、処理はステップＳ４７に進む。
【００９６】
ステップＳ４７において、パッキング部２３は、識別情報の符号化により得られたDSEと、符号化部２２から供給された符号化データとのパッキングを行い、ビットストリームを生成する。
【００９７】
すなわち、パッキング部２３は、処理対象となっているフレームについて、符号化データが格納されたSCEとCPE、およびDSE等が含まれるビットストリームを生成し、出力部２４に供給する。また、出力部２４は、パッキング部２３から供給されたビットストリームをデコーダに出力する。
【００９８】
１フレーム分のビットストリームが出力されると、その後、処理はステップＳ４２に戻り、上述した処理が繰り返される。
【００９９】
また、ステップＳ４２において、入力データがないと判定された場合、すなわち全てのフレームについて、ビットストリームが生成されて出力された場合、符号化処理は終了する。
【０１００】
以上のように、エンコーダ１１は、識別情報に従ってオーディオ信号の符号化を行い、識別情報と符号化データとが含まれるビットストリームを生成する。このように、各エレメントの識別情報と、複数のエレメントのうちの符号化されたエレメントの符号化データとが含まれるビットストリームを生成することで、伝送するビットストリームのデータ量を削減することができる。これにより、伝送効率を向上させることができる。なお、ここでは１フレーム分のビットストリームにおいて、複数チャンネル分の識別情報、つまり複数の識別情報がDSEに格納される例について説明した。しかし、例えばオーディオ信号がマルチチャンネルではない場合など、１フレーム分のビットストリームにおいて、１チャンネル分の識別情報、つまり１つの識別情報がDSEに格納されるようにしてもよい。
【０１０１】
〈デコーダの構成例〉
次に、エンコーダ１１から出力されたビットストリームを受信してオーディオ信号の復号を行なうデコーダについて説明する。
【０１０２】
図１１は、本技術を適用したデコーダの構成例を示す図である。
【０１０３】
図１１のデコーダ５１は、取得部６１、抽出部６２、復号部６３、および出力部６４から構成される。
【０１０４】
取得部６１は、エンコーダ１１からビットストリームを取得して抽出部６２に供給する。抽出部６２は、取得部６１から供給されたビットストリームから識別情報を抽出し、必要に応じてMDCT係数を設定して復号部６３に供給するとともに、ビットストリームから符号化データを抽出して復号部６３に供給する。
【０１０５】
復号部６３は、抽出部６２から供給された符号化データを復号する。また、復号部６３は周波数時間変換部７１を備えている。周波数時間変換部７１は、復号部６３が符号化データを復号して得られたMDCT係数、または抽出部６２から供給されたMDCT係数に基づいて、IMDCT（Inverse Modified Discrete Cosine Transform）（逆修正離散コサイン変換）を行なう。復号部６３は、IMDCTにより得られたオーディオ信号を出力部６４に供給する。
【０１０６】
出力部６４は、復号部６３から供給された各フレームの各チャンネルのオーディオ信号を後段の再生装置等に出力する。
【０１０７】
〈復号処理の説明〉
続いて、デコーダ５１の動作について説明する。
【０１０８】
デコーダ５１は、エンコーダ１１からビットストリームが送信されてくると、そのビットストリームを受信して復号する復号処理を開始する。
【０１０９】
以下、図１２のフローチャートを参照して、デコーダ５１により行なわれる復号処理について説明する。
【０１１０】
ステップＳ７１において、取得部６１はエンコーダ１１から送信されてきたビットストリームを受信して抽出部６２に供給する。すなわち、ビットストリームが取得される。
【０１１１】
ステップＳ７２において、抽出部６２は、取得部６１から供給されたビットストリームのDSEから識別情報を取得する。すなわち、識別情報の復号が行なわれる。
【０１１２】
ステップＳ７３において、抽出部６２は、入力データがあるか否かを判定する。例えば、まだ処理されていないフレームがある場合、入力データがあると判定される。
【０１１３】
ステップＳ７３において、入力データがあると判定された場合、ステップＳ７４において、抽出部６２はカウンタｉ＜エレメント数であるか否かを判定する。
【０１１４】
例えば抽出部６２は、何番目のエレメントが処理対象となっているかを示すカウンタｉを保持しており、新たなフレームについてオーディオ信号の復号が開始された時点では、カウンタｉの値は０とされている。
【０１１５】
ステップＳ７４において、カウンタｉ＜エレメント数であると判定された場合、ステップＳ７５において、抽出部６２は、処理対象となっているｉ番目のエレメントの識別情報ZeroChan[i]の値が「０」であるか否かを判定する。
【０１１６】
ステップＳ７５において、識別情報ZeroChan[i]の値が「０」であると判定された場合、すなわちオーディオ信号の符号化が行なわれた場合、処理はステップＳ７６に進む。
【０１１７】
ステップＳ７６において、抽出部６２は、処理対象となっているｉ番目のエレメントのオーディオ信号、つまり符号化データをアンパックする。
【０１１８】
具体的には、抽出部６２は、ビットストリームの処理対象となっているエレメントとしてのSCEまたはCPEから、そのエレメントの符号化データを読み出して、復号部６３に供給する。
【０１１９】
ステップＳ７７において、復号部６３は、抽出部６２から供給された符号化データを復号してMDCT係数を求め、周波数時間変換部７１に供給する。具体的には、復号部６３は符号化データとして供給されたスケールファクタ、サイド情報、および量子化スペクトルに基づいてMDCT係数を算出する。
【０１２０】
MDCT係数が算出されると、その後、処理はステップＳ７９へと進む。
【０１２１】
また、ステップＳ７５において、識別情報ZeroChan[i]の値が「１」であると判定された場合、すなわちオーディオ信号の符号化が行なわれなかった場合、処理はステップＳ７８に進む。
【０１２２】
ステップＳ７８において、抽出部６２は、処理対象となっているエレメントのMDCT係数配列に「０」を代入し、復号部６３の周波数時間変換部７１に供給する。すなわち、処理対象となっているエレメントの各MDCT係数が「０」とされる。この場合、オーディオ信号が無音信号であるものとされて、オーディオ信号の復号が行なわれることになる。
【０１２３】
MDCT係数が周波数時間変換部７１に供給されると、その後、処理はステップＳ７９に進む。
【０１２４】
ステップＳ７７またはステップＳ７８において、MDCT係数が周波数時間変換部７１に供給されると、ステップＳ７９において、周波数時間変換部７１は、抽出部６２または復号部６３から供給されたMDCT係数に基づいて、IMDCT処理を行なう。すなわち、オーディオ信号の周波数時間変換が行なわれて、時間信号であるオーディオ信号が得られる。
【０１２５】
周波数時間変換部７１は、IMDCT処理により得られたオーディオ信号を出力部６４に供給する。また、出力部６４は、周波数時間変換部７１から供給されたオーディオ信号を後段に出力する。
【０１２６】
復号により得られたオーディオ信号が出力されると、抽出部６２は保持しているカウンタｉを１だけインクリメントし、処理はステップＳ７４に戻る。
【０１２７】
また、ステップＳ７４において、カウンタｉ＜エレメント数でないと判定された場合、処理はステップＳ７３に戻り、上述した処理が繰り返し行なわれる。
【０１２８】
さらに、ステップＳ７３において、入力データがないと判定された場合、すなわち全てのフレームについて、オーディオ信号が復号された場合、復号処理は終了する。
【０１２９】
以上のようにして、デコーダ５１はビットストリームから識別情報を抽出し、識別情報に応じてオーディオ信号の復号を行なう。このように、識別情報を用いて復号を行なうことで、不要なデータをビットストリームに格納しなくてもよくなり、伝送するビットストリームのデータ量を削減することができる。これにより、伝送効率を向上させることができる。
【０１３０】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
【０１３１】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１３２】
コンピュータにおいて、ＣＰＵ５０１，ＲＯＭ５０２，ＲＡＭ５０３は、バス５０４により相互に接続されている。
【０１３３】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１３４】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０１３５】
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３６】
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１３７】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１３８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１４１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１４２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１４３】
さらに、本技術は、以下の構成とすることも可能である。
【０１４４】
［１］
オーディオ信号を符号化するか否かを示す識別情報が符号化する旨の情報である場合、前記オーディオ信号を符号化し、前記識別情報が符号化しない旨の情報である場合、前記オーディオ信号を符号化しない符号化部と、
前記識別情報が格納された第１のビットストリームエレメントと、前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームを生成するパッキング部と
を備える符号化装置。
［２］
前記オーディオ信号に基づいて前記識別情報を生成する識別情報生成部をさらに備える
［１］に記載の符号化装置。
［３］
前記識別情報生成部は、前記オーディオ信号が無音の信号である場合、符号化しない旨の前記識別情報を生成する
［２］に記載の符号化装置。
［４］
前記識別情報生成部は、前記オーディオ信号が無音とみなすことができる信号である場合、符号化しない旨の前記識別情報を生成する
［２］に記載の符号化装置。
［５］
前記識別情報生成部は、前記オーディオ信号の音源位置と、他のオーディオ信号の音源位置との距離、および前記オーディオ信号のレベルと前記他のオーディオ信号のレベルに基づいて、前記オーディオ信号が無音とみなすことができる信号であるか否かを特定する
［４］に記載の符号化装置。
［６］
オーディオ信号を符号化するか否かを示す識別情報が符号化する旨の情報である場合、前記オーディオ信号を符号化し、前記識別情報が符号化しない旨の情報である場合、前記オーディオ信号を符号化せず、
前記識別情報が格納された第１のビットストリームエレメントと、前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームを生成する
ステップを含む符号化方法。
［７］
オーディオ信号を符号化するか否かを示す識別情報が符号化する旨の情報である場合、前記オーディオ信号を符号化し、前記識別情報が符号化しない旨の情報である場合、前記オーディオ信号を符号化せず、
前記識別情報が格納された第１のビットストリームエレメントと、前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
［８］
オーディオ信号を符号化するか否かを示す識別情報が格納された第１のビットストリームエレメントと、符号化する旨の前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは符号化する旨の前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームを取得する取得部と、
前記ビットストリームから前記識別情報および前記オーディオ信号を抽出する抽出部と、
前記ビットストリームから抽出された前記オーディオ信号を復号するとともに、前記識別情報が符号化しない旨の情報である前記オーディオ信号を無音信号として復号する復号部と
を備える復号装置。
［９］
前記復号部は、前記オーディオ信号を無音信号として復号する場合、ＭＤＣＴ係数を０としてＩＭＤＣＴ処理を行うことで前記オーディオ信号を生成する
［８］に記載の復号装置。
［１０］
オーディオ信号を符号化するか否かを示す識別情報が格納された第１のビットストリームエレメントと、符号化する旨の前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは符号化する旨の前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームを取得し、
前記ビットストリームから前記識別情報および前記オーディオ信号を抽出し、
前記ビットストリームから抽出された前記オーディオ信号を復号するとともに、前記識別情報が符号化しない旨の情報である前記オーディオ信号を無音信号として復号する
ステップを含む復号方法。
［１１］
オーディオ信号を符号化するか否かを示す識別情報が格納された第１のビットストリームエレメントと、符号化する旨の前記識別情報に従って符号化された１チャンネル分の前記オーディオ信号が格納された複数の第２のビットストリームエレメントまたは符号化する旨の前記識別情報に従って符号化された２チャンネル分の前記オーディオ信号が格納された少なくとも１つの第３のビットストリームエレメントを含むビットストリームを取得し、
前記ビットストリームから前記識別情報および前記オーディオ信号を抽出し、
前記ビットストリームから抽出された前記オーディオ信号を復号するとともに、前記識別情報が符号化しない旨の情報である前記オーディオ信号を無音信号として復号する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１４５】
１１  エンコーダ，  ２１  識別情報生成部，  ２２  符号化部，  ２３  パッキング部，  ２４  出力部，  ３１  時間周波数変換部，  ５１  デコーダ，  ６１  取得部，  ６２  抽出部，  ６３  復号部，  ６４  出力部，  ７１  周波数時間変換部
【図１】
0006465020.tif 000002
【図２】
0006465020.tif 000003
【図３】
0006465020.tif 000004
【図４】
0006465020.tif 000005
【図５】
0006465020.tif 000006
【図６】
0006465020.tif 000007
【図７】
0006465020.tif 000008
【図８】
0006465020.tif 000009
【図９】
0006465020.tif 000010
【図１０】
0006465020.tif 000011
【図１１】
0006465020.tif 000012
【図１２】
0006465020.tif 000013
【図１３】
0006465020.tif 000014