(57)【要約】  本技術は、復号の計算量を低減させることができるようにする符号化装置および方法、復号装置および方法、並びにプログラムに関する。分離部は、供給されたビットストリームを、ダイアログ音源を含むチャネル音源の符号化データ、追加データ音源の符号化データ、およびダイアログ情報の符号化データに分離させる。ダイアログ情報復号部はダイアログ情報の符号化データを復号する。復号により得られたダイアログ情報が視聴者に提示されると、視聴者はダイアログ音源と、いくつかの追加ダイアログ音源のなかから1つの音源を選択する。追加ダイアログ音源復号部は、視聴者により選択された追加ダイアログ音源の符号化データのみを復号する。追加ダイアログ選択部は、視聴者の選択指示に応じて、ダイアログ音源または追加ダイアログ音源のオーディオ信号のうちの視聴者により選択されたものを出力する。本技術は符号化装置および復号装置に適用することができる。
2016039150.tif 000002
【特許請求の範囲】
【請求項１】
ダイアログ音源を含む複数のチャネル音源のオーディオ信号を符号化し、符号化データを生成するチャネル音源符号化部と、
前記ダイアログ音源とは異なる追加ダイアログ音源のオーディオ信号を符号化し、符号化データを生成する追加ダイアログ音源符号化部と、
前記追加ダイアログ音源に関する情報を含むダイアログ情報、前記複数のチャネル音源の符号化データ、および前記追加ダイアログ音源の符号化データを多重化する多重化部と
を備える符号化装置。
【請求項２】
前記追加ダイアログ音源の符号化データおよび前記ダイアログ情報は、前記多重化により得られるビットストリームのユーザデータ領域に格納される
請求項１に記載の符号化装置。
【請求項３】
前記ユーザデータ領域は、MPEG AACまたはMPEG-D USACで規定されたDSEである
請求項２に記載の符号化装置。
【請求項４】
前記ダイアログ情報には、前記ダイアログ音源に関する情報が含まれている
請求項１に記載の符号化装置。
【請求項５】
前記ダイアログ情報には、前記追加ダイアログ音源の種別を示す情報、および前記ダイアログ音源の種別を示す情報が含まれている
請求項４に記載の符号化装置。
【請求項６】
前記ダイアログ情報には、マルチチャネル構成である前記複数のチャネル音源のオーディオ信号のチャネルのうちの前記ダイアログ音源のチャネルを示す情報が含まれている
請求項４に記載の符号化装置。
【請求項７】
前記ダイアログ情報には、前記追加ダイアログ音源のオーディオ信号をゲイン補正するためのゲイン情報が含まれている
請求項１に記載の符号化装置。
【請求項８】
前記ダイアログ情報には、複数の前記追加ダイアログ音源ごとに、それらの複数の前記追加ダイアログ音源のオーディオ信号をゲイン補正するための補正ゲイン情報が含まれている
請求項１に記載の符号化装置。
【請求項９】
ダイアログ音源を含む複数のチャネル音源のオーディオ信号を符号化して符号化データを生成し、
前記ダイアログ音源とは異なる追加ダイアログ音源のオーディオ信号を符号化して符号化データを生成し、
前記追加ダイアログ音源に関する情報を含むダイアログ情報、前記複数のチャネル音源の符号化データ、および前記追加ダイアログ音源の符号化データを多重化する
ステップを含む符号化方法。
【請求項１０】
ダイアログ音源を含む複数のチャネル音源のオーディオ信号を符号化して符号化データを生成し、
前記ダイアログ音源とは異なる追加ダイアログ音源のオーディオ信号を符号化して符号化データを生成し、
前記追加ダイアログ音源に関する情報を含むダイアログ情報、前記複数のチャネル音源の符号化データ、および前記追加ダイアログ音源の符号化データを多重化する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１１】
符号化ビットストリームを、ダイアログ音源を含む複数のチャネル音源の符号化データ、前記ダイアログ音源とは異なる１または複数の追加ダイアログ音源の符号化データ、および前記追加ダイアログ音源に関する情報を含むダイアログ情報に分離させる分離部と、
前記１または複数の前記追加ダイアログ音源の符号化データのうちの選択された前記追加ダイアログ音源の符号化データを復号する追加ダイアログ音源復号部と
を備える復号装置。
【請求項１２】
前記複数のチャネル音源の符号化データを復号するチャネル音源復号部をさらに備える
請求項１１に記載の復号装置。
【請求項１３】
前記ダイアログ音源の符号化データを復号して得られたオーディオ信号を、前記選択された前記追加ダイアログ音源の符号化データを復号して得られたオーディオ信号に置き換えて出力するダイアログ選択部をさらに備える
請求項１１に記載の復号装置。
【請求項１４】
前記追加ダイアログ音源復号部は、前記ダイアログ情報の提示に応じて選択された前記追加ダイアログ音源の符号化データを復号する
請求項１１に記載の復号装置。
【請求項１５】
符号化ビットストリームを、ダイアログ音源を含む複数のチャネル音源の符号化データ、前記ダイアログ音源とは異なる１または複数の追加ダイアログ音源の符号化データ、および前記追加ダイアログ音源に関する情報を含むダイアログ情報に分離させ、
前記１または複数の前記追加ダイアログ音源の符号化データのうちの選択された前記追加ダイアログ音源の符号化データを復号する
ステップを含む復号方法。
【請求項１６】
符号化ビットストリームを、ダイアログ音源を含む複数のチャネル音源の符号化データ、前記ダイアログ音源とは異なる１または複数の追加ダイアログ音源の符号化データ、および前記追加ダイアログ音源に関する情報を含むダイアログ情報に分離させ、
前記１または複数の前記追加ダイアログ音源の符号化データのうちの選択された前記追加ダイアログ音源の符号化データを復号する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は符号化装置および方法、復号装置および方法、並びにプログラムに関し、特に、オーディオ信号の復号の計算量を低減させることができるようにした符号化装置および方法、復号装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えばオーディオ信号を符号化する方法として、国際標準規格であるMPEG(Moving Picture Experts Group)-2 AAC(Advanced Audio Coding)規格、MPEG-4 AAC規格やMPEG-D USAC規格のマルチチャネル符号化が知られている（例えば、非特許文献１および非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】INTERNATIONAL STANDARD ISO/IEC 14496-3 Fourth edition 2009-09-01 Information technology-coding of audio-visual objects-part3:Audio
【非特許文献２】INTERNATIONAL STANDARD ISO/IEC 23003-3 Frist edition 2012-04-01 Information technology-coding of audio-visual objects-part3:Unified speech and audio coding
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の5.1チャネルサラウンド再生を超える、より高臨場感な再生や、複数の音声（ダイアログ）を伝送するためには、より多くのオーディオチャネルを用いた符号化技術が必要になる。【０００５】
例えば、22チャネルのオーディオ信号と、英語、フランス語、ドイツ語などの複数のダイアログ音源のオーディオ信号とを符号化して伝送し、復号を行う場合を考える。【０００６】
このような場合、符号化で得られる符号化データは、22チャネルの音源の符号化データのビット列と、複数のダイアログ音源の符号化データのビット列とから成り、それらのビット列が結合されて1つの符号化データのビット列として伝送される。【０００７】
また、復号側では1つの符号化データのビット列から22チャネルの音源の符号化データの復号と、複数のダイアログ音源の符号化データの復号が行われる。これにより、22チャネルの音源の復号データと、複数のダイアログ音源の復号データとが得られる。【０００８】
そして、復号側では、複数のダイアログ音源の復号データから所望のダイアログ音源の復号データのみが選択され、22チャネルの音源におけるダイアログチャネルの音源の復号データが、選択された所望のダイアログ音源の復号データに置き換えられる。【０００９】
一方、符号化データは1つのビット列として伝送されるため、復号側では、所望のダイアログ音源のみが最終的には必要であるにもかかわらず、複数あるダイアログ音源の符号化データの全てを復号することが必要となり、最終的に再生されないダイアログ音源の復号のための処理が無駄になってしまう。【００１０】
現状のAACやUSACなどのオーディオコーデックでは、全チャネルおよび全ダイアログを復号する必要があるため、復号の計算量を低減させることが困難であった。【００１１】
本技術は、このような状況に鑑みてなされたものであり、復号の計算量を低減させることができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の第１の側面の符号化装置は、ダイアログ音源を含む複数のチャネル音源のオーディオ信号を符号化し、符号化データを生成するチャネル音源符号化部と、前記ダイアログ音源とは異なる追加ダイアログ音源のオーディオ信号を符号化し、符号化データを生成する追加ダイアログ音源符号化部と、前記追加ダイアログ音源に関する情報を含むダイアログ情報、前記複数のチャネル音源の符号化データ、および前記追加ダイアログ音源の符号化データを多重化する多重化部とを備える。【００１３】
前記追加ダイアログ音源の符号化データおよび前記ダイアログ情報を、前記多重化により得られるビットストリームのユーザデータ領域に格納することができる。【００１４】
前記ユーザデータ領域を、MPEG AACまたはMPEG-D USACで規定されたDSEとすることができる。【００１５】
前記ダイアログ情報には、前記ダイアログ音源に関する情報が含まれているようにすることができる。【００１６】
前記ダイアログ情報には、前記追加ダイアログ音源の種別を示す情報、および前記ダイアログ音源の種別を示す情報が含まれているようにすることができる。【００１７】
前記ダイアログ情報には、マルチチャネル構成である前記複数のチャネル音源のオーディオ信号のチャネルのうちの前記ダイアログ音源のチャネルを示す情報が含まれているようにすることができる。【００１８】
前記ダイアログ情報には、前記追加ダイアログ音源のオーディオ信号をゲイン補正するためのゲイン情報が含まれているようにすることができる。【００１９】
前記ダイアログ情報には、複数の前記追加ダイアログ音源ごとに、それらの複数の前記追加ダイアログ音源のオーディオ信号をゲイン補正するための補正ゲイン情報が含まれているようにすることができる。【００２０】
本技術の第１の側面の符号化方法またはプログラムは、ダイアログ音源を含む複数のチャネル音源のオーディオ信号を符号化して符号化データを生成し、前記ダイアログ音源とは異なる追加ダイアログ音源のオーディオ信号を符号化して符号化データを生成し、前記追加ダイアログ音源に関する情報を含むダイアログ情報、前記複数のチャネル音源の符号化データ、および前記追加ダイアログ音源の符号化データを多重化するステップを含む。【００２１】
本技術の第１の側面においては、ダイアログ音源を含む複数のチャネル音源のオーディオ信号が符号化されて符号化データが生成され、前記ダイアログ音源とは異なる追加ダイアログ音源のオーディオ信号が符号化されて符号化データが生成され、前記追加ダイアログ音源に関する情報を含むダイアログ情報、前記複数のチャネル音源の符号化データ、および前記追加ダイアログ音源の符号化データが多重化される。【００２２】
本技術の第２の側面の復号装置は、符号化ビットストリームを、ダイアログ音源を含む複数のチャネル音源の符号化データ、前記ダイアログ音源とは異なる１または複数の追加ダイアログ音源の符号化データ、および前記追加ダイアログ音源に関する情報を含むダイアログ情報に分離させる分離部と、前記１または複数の前記追加ダイアログ音源の符号化データのうちの選択された前記追加ダイアログ音源の符号化データを復号する追加ダイアログ音源復号部とを備える。【００２３】
復号装置には、前記複数のチャネル音源の符号化データを復号するチャネル音源復号部をさらに設けることができる。【００２４】
復号装置には、前記ダイアログ音源の符号化データを復号して得られたオーディオ信号を、前記選択された前記追加ダイアログ音源の符号化データを復号して得られたオーディオ信号に置き換えて出力するダイアログ選択部をさらに設けることができる。【００２５】
前記追加ダイアログ音源復号部には、前記ダイアログ情報の提示に応じて選択された前記追加ダイアログ音源の符号化データを復号させることができる。【００２６】
本技術の第２の側面の復号方法またはプログラムは、符号化ビットストリームを、ダイアログ音源を含む複数のチャネル音源の符号化データ、前記ダイアログ音源とは異なる１または複数の追加ダイアログ音源の符号化データ、および前記追加ダイアログ音源に関する情報を含むダイアログ情報に分離させ、前記１または複数の前記追加ダイアログ音源の符号化データのうちの選択された前記追加ダイアログ音源の符号化データを復号するステップを含む。【００２７】
本技術の第２の側面においては、符号化ビットストリームが、ダイアログ音源を含む複数のチャネル音源の符号化データ、前記ダイアログ音源とは異なる１または複数の追加ダイアログ音源の符号化データ、および前記追加ダイアログ音源に関する情報を含むダイアログ情報に分離され、前記１または複数の前記追加ダイアログ音源の符号化データのうちの選択された前記追加ダイアログ音源の符号化データが復号される。
【発明の効果】
【００２８】
本技術の第１の側面および第２の側面によれば、復号の計算量を低減させることができる。【００２９】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００３０】
【図１】22チャネル音源対応再生システムについて説明する図である。
【図２】符号化装置の構成例を示す図である。
【図３】ダイアログ情報のビットストリームシンタックスの例を示す図である。
【図４】追加ダイアログ音源の符号化データのビットストリームシンタックスの例を示す図である。
【図５】符号化処理を説明するフローチャートである。
【図６】復号装置の構成例を示すである。
【図７】復号処理を説明するフローチャートである。
【図８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００３２】
〈第１の実施の形態〉
〈本技術の概要について〉
本技術は、複数チャネルの音源の符号化データのビット列と、複数のダイアログ音源の符号化データのビット列とを結合して1つの符号化データのビット列として伝送する場合に、ビット列にダイアログの情報も加えて伝送するものである。
【００３３】
これにより、ダイアログチャネルとして再生されるダイアログ音源のみの復号を行うことができるようになり、復号の計算量を低減させることができる。
【００３４】
このとき、復号側では、視聴者に追加ダイアログ音源の数、追加ダイアログ音源の情報を提示し、ダイアログチャネルの音源を視聴者が選択したダイアログ音源に置き換えるか否かの指示を視聴者から受けるようにすれば、ダイアログチャネルとして再生されるダイアログ音源のみの復号を行うことができるようになる。
【００３５】
具体的には、このような本技術では符号化側において追加ダイアログ音源の数、追加ダイアログ音源の情報、ダイアログチャネルの位置、および追加ダイアログ音源の利得（ゲイン）がダイアログ情報として符号化される。そして、ダイアログ情報の符号化データが、追加ダイアログ音源の符号化データおよび22チャネル音源の符号化データと多重化されて、得られたビットストリームが出力される。
【００３６】
また、復号側ではダイアログ情報の符号化データ、追加ダイアログ音源の符号化データ、および22チャネル音源の符号化データが分離される。さらに、視聴者に対して追加ダイアログ音源の数や、追加ダイアログ音源の情報が提示され、視聴者から、ダイアログチャネルの音源を視聴者が選択したダイアログ音源に置き換えるか否かの指示がなされる。
【００３７】
このような視聴者からの指示がなされると、復号側では視聴者の指示に応じて、ダイアログチャネルとして再生されるダイアログ音源のみの復号が行われてダイアログ音源の置き換えが行われ、22チャネル音源の再生が行われる。
【００３８】
〈22チャネル音源対応再生システムについて〉
次に、本技術を適用したより具体的な実施の形態について説明する。なお、ここでは再生対象のオーディオ信号がマルチチャネル構成である22チャネルの信号である場合を例として説明を行うが、再生対象のオーディオ信号は何チャネルの信号であってもよい。
【００３９】
図１は、復号により得られたマルチチャネル構成である22チャネルのオーディオ信号を再生可能な、22チャネル音源対応再生システムを示す図である。この例ではコンテンツの映像と、その映像に付随する22チャネルのオーディオ信号とが再生される。
【００４０】
図１では、視聴者US11の正面に映像が表示されるスクリーンSC11が設けられており、正面には９つのスピーカSP1乃至スピーカSP9が配置されている。
【００４１】
すなわち、視聴者US11から見て正面中層には、中央にスピーカSP1が配置されており、そのスピーカSP1の左右にスピーカSP2およびスピーカSP3が配置されている。また、中層の図中、上側に位置する上層には、中央にスピーカSP4が配置されており、そのスピーカSP4の左右にスピーカSP5およびスピーカSP6が配置されている。
【００４２】
同様に中層の図中、下側に位置する下層には、中央にスピーカSP7が配置されており、そのスピーカSP7の左右にスピーカSP8およびスピーカSP9が配置されている。また、視聴者US11の図中、上側、つまり天井にはスピーカSP10が配置されている。
【００４３】
さらに視聴者US11から見て図中、左側に位置する左側面には6つのスピーカSP11乃至スピーカSP16が配置されている。すなわち、左側面中層にはスピーカSP11およびスピーカSP12が配置されており、左側面上層にはスピーカSP13およびスピーカSP14が配置されており、左側面下層にはスピーカSP15およびスピーカSP16が配置されている。
【００４４】
同様に視聴者US11から見て図中、右側に位置する右側面には6つのスピーカSP17乃至スピーカSP22が配置されている。すなわち、右側面中層にはスピーカSP17およびスピーカSP18が配置されており、右側面上層にはスピーカSP19およびスピーカSP20が配置されており、右側面下層にはスピーカSP21およびスピーカSP22が配置されている。
【００４５】
このような22個のスピーカSP1乃至スピーカSP22と、図示せぬ復号装置とを有する22チャネル音源対応再生システムでは、チャネル音源の符号化データ、追加ダイアログ音源の符号化データ、およびダイアログ情報の符号化データが入力される。
【００４６】
ここで、チャネル音源の符号化データ、追加ダイアログ音源の符号化データ、およびダイアログ情報の符号化データについて説明する。
【００４７】
チャネル音源の符号化データは、22個のスピーカSP1乃至スピーカSP22のそれぞれに対応する、マルチチャネルを構成する各チャネルのオーディオ信号を符号化して得られたデータである。以下では、各チャネルのオーディオ信号により再生される音声をチャネル音源とも称することとする。
【００４８】
また、各チャネルに対応するチャネル音源のなかには、ダイアログ音声であるダイアログ音源も含まれている。ここでは、チャネル音源に含まれているダイアログ音源は1つである例について説明するが、ダイアログ音源の数はいくつであってもよい。さらに、以下では、ダイアログ音源を再生するためのオーディオ信号のチャネルを、ダイアログチャネルとも称することとする。
【００４９】
追加ダイアログ音源の符号化データは、ダイアログ音源の置き換え候補となる追加されたダイアログ音声である追加ダイアログ音源のオーディオ信号を符号化して得られたデータである。22チャネル音源対応再生システムでは、チャネル音源の再生時に、チャネル音源に含まれているダイアログ音源を、追加ダイアログ音源に置き換えて再生することが可能となっている。
【００５０】
ダイアログ情報の符号化データは、ダイアログ音源や追加ダイアログ音源に関する情報が含まれているダイアログ情報を符号化して得られたデータである。
【００５１】
22チャネル音源対応再生システムでは、上述したチャネル音源の符号化データ、追加ダイアログ音源の符号化データ、およびダイアログ情報の符号化データが含まれているビットストリームが供給されると、それらの符号化データが適宜復号され、チャネル音源が再生される。
【００５２】
例えば、まず、復号により得られたダイアログ情報が視聴者US11に対して提示される。すると、視聴者US11は、適宜、ダイアログ音源の置き換えを指示する。すなわち、ダイアログ音源と、1または複数の追加ダイアログ音源とのなかから、再生すべきダイアログの音源が選択される。
【００５３】
ここで、例えば視聴者US11によりダイアログ音源が選択された場合には、ダイアログ音源を含むチャネル音源の符号化データのみが復号される。そして、復号により得られた各チャネル音源のオーディオ信号、つまり各チャネルのオーディオ信号が、それらのチャネルに対応するスピーカに供給され、チャネル音源が再生される。
【００５４】
このとき、スピーカSP1乃至スピーカSP22のうちの1つのスピーカがダイアログ音源を再生するためのスピーカとして用いられる。この例では、視聴者US11の正面中層の中央（センター）位置にあるスピーカSP1において、ダイアログ音源が再生される。
【００５５】
なお、符号化側では、ダイアログ音源を再生するスピーカとして任意のスピーカを指定することが可能であるが、ここではダイアログ音源を再生するスピーカがスピーカSP1である例について説明することとする。
【００５６】
一方、再生するダイアログの音源として追加ダイアログ音源が選択された場合、チャネル音源の符号化データが復号されるとともに、選択された追加ダイアログ音源の符号化データも復号される。そして、復号により得られたチャネル音源のオーディオ信号のうち、ダイアログ音源のオーディオ信号が、復号により得られた、選択された追加ダイアログ音源のオーディオ信号に置き換えられてチャネル音源が再生される。
【００５７】
したがって、この場合、スピーカSP1では選択された追加ダイアログ音源が再生され、残りのスピーカSP2乃至スピーカSP22では、それらのスピーカに対応するチャネル音源が再生されることになる。また、この場合、選択されなかった他の追加ダイアログ音源の符号化データは復号されない。
【００５８】
なお、ここではチャネル音源のうちの置き換えられる音源がダイアログ音源、すなわちダイアログ音声である場合を例として説明するが、その他、オブジェクト音源など、どのような音源が置き換えられるようにしてもよい。
【００５９】
〈符号化装置の構成例〉
続いて、以上において説明した22チャネル音源対応再生システムに入力されるビットストリームを生成する符号化装置と、22チャネル音源対応再生システムを構成し、符号化装置から出力されたビットストリームを復号する復号装置について説明する。
【００６０】
まず、符号化装置について説明する。図２は、本技術を適用した符号化装置の一実施の形態の構成例を示す図である。
【００６１】
図２の符号化装置１１は、チャネル音源符号化部２１、追加ダイアログ音源符号化部２２、ダイアログ情報符号化部２３、および多重化部２４を有している。
【００６２】
チャネル音源符号化部２１は、供給された22チャネル構成の各チャネル音源のオーディオ信号を符号化し、その結果得られた符号化データを多重化部２４に供給する。追加ダイアログ音源符号化部２２は、供給された追加ダイアログ音源のオーディオ信号を符号化し、その結果得られた符号化データを多重化部２４に供給する。
【００６３】
ダイアログ情報符号化部２３は、供給されたダイアログ情報を符号化し、その結果得られた符号化データを多重化部２４に供給する。多重化部２４は、チャネル音源符号化部２１、追加ダイアログ音源符号化部２２、およびダイアログ情報符号化部２３のそれぞれから供給された符号化データを多重化してビットストリームを生成し、出力する。
【００６４】
符号化装置１１においては、例えばAAC（MPEG AAC）規格やUSAC（MPEG-D USAC）規格に従ってチャネル音源、追加ダイアログ音源、およびダイアログ情報が符号化される。
【００６５】
〈ダイアログ情報および追加ダイアログ音源について〉
ところで、多重化部２４から出力されるビットストリームは、例えばAAC規格やUSAC規格に準拠した符号化ビット列となっている。このビットストリームでは、例えばチャネル音源の符号化データに続いてダイアログ情報の符号化データが配置され、さらにその後ろに各追加ダイアログ音源の符号化データが配置されている。
【００６６】
また、ダイアログ情報の符号化データは、例えばAAC規格やUSAC規格で規定された、ビットストリームのDSE（Data Stream Element）と呼ばれるユーザが自由に定義可能なユーザデータ領域に格納されている。同様に各追加ダイアログ音源の符号化データも、ダイアログ情報の符号化データが格納されたDSE（以下、適宜、DSE()とも記す）に続く、追加ダイアログ音源の個数分のDSEに格納される。すなわち、1つのDSEに1つの追加ダイアログ音源の符号化データが格納される。
【００６７】
ここで、ダイアログ情報の符号化データと追加ダイアログ音源の符号化データのビットストリームシンタックスの具体例について説明する。
【００６８】
図３は、ダイアログ情報の符号化データのビットストリームシンタックスを示す図である。
【００６９】
この例では、ダイアログ情報の符号化データとして、DSEの先頭に、符号化されたダイアログ情報の存在を示す同期用コードであるdialogue_info_syncが配置されている。
【００７０】
また、同期用コードdialogue_info_syncに続いて、チャネル音源に含まれているダイアログ音源に関する情報（以下、メインダイアログ情報と称する）であるmain_dialogue_infoが配置されている。例えばメインダイアログ情報main_dialogue_infoは日本語の主音声や、ナレーション音声等、ダイアログ音源がどのような種別（種類）の音源であるかを示す情報などとされる。
【００７１】
dialogue_src_indexは、チャネル音源に含まれているダイアログ音源のオーディオ信号のチャネル、つまりダイアログ音源が再生されるスピーカ位置を示すダイアログ位置情報である。したがって、上述したスピーカSP1乃至スピーカSP22のうちのダイアログ位置情報dialogue_src_indexにより特定されるスピーカで、ダイアログ音源または追加ダイアログ音源が再生されることになる。
【００７２】
dialogue_gainは、ダイアログ置き換え時における追加ダイアログ音源のゲイン値、すなわち追加ダイアログ音源の再生時のゲイン補正を行うためのゲイン情報を示している。num_additional_dialogueは追加ダイアログ音源の数を示す追加ダイアログ個数情報である。
【００７３】
また、追加ダイアログ個数情報num_additional_dialogueの後には、追加ダイアログ個数情報num_additional_dialogueにより示される数だけadditional_dialogue_info[i]およびadditional_dialogue_gain[i]が配置されている。
【００７４】
additional_dialogue_info[i]は、i番目に配置されている追加ダイアログ音源に関する情報（以下、追加ダイアログ情報と称する）である。
【００７５】
この追加ダイアログ情報additional_dialogue_info[i]は、メインダイアログ情報と同様に、フランス語の副音声や、コンテンツの解説の音声、低速度で朗読されたナレーション音声等、追加ダイアログ音源がどのような種別（種類）の音源であるかを示す情報などとされる。
【００７６】
additional_dialogue_gain[i]は、i番目に配置されている追加ダイアログ音源のための補正ゲイン値を示している。この補正ゲイン値additional_dialogue_gain[i]は、各追加ダイアログ音源間の音量のばらつきを補正するためのゲイン情報である。
【００７７】
以上のようにダイアログ情報には、少なくともメインダイアログ情報、ダイアログ位置情報、追加ダイアログ音源のゲイン値、追加ダイアログ個数情報、追加ダイアログ情報、および追加ダイアログ音源の補正ゲイン値が含まれている。
【００７８】
また、各追加ダイアログ音源の符号化データのビットストリームシンタックスは、例えば図４に示すようになる。
【００７９】
この例では、追加ダイアログ音源の符号化データとして、DSEの先頭に、符号化された追加ダイアログ音源のオーディオ信号の存在を示す同期用コードであるadditional_dialogue_data_syncが配置されている。
【００８０】
また、同期用コードadditional_dialogue_data_syncに続いて配置されているadditional_dialogue_indexは、このDSE内に格納されている追加ダイアログ音源のオーディオ信号（符号化データ）を識別するインデックスを示している。さらに、そのインデックスに続いて配置されているsingle_channel_element()は、AACやUSACで規定されるシングルチャネルの符号化データ、すなわちここでは追加ダイアログ音源の符号化されたオーディオ信号を示している。
【００８１】
〈符号化処理の説明〉
次に、符号化装置１１の動作について説明する。
【００８２】
符号化装置１１は、符号化対象とするマルチチャネル構成の各フレームのオーディオ信号が供給されると、符号化処理を開始し、符号化により得られたビットストリームを出力する。以下、図５のフローチャートを参照して、符号化装置１１による符号化処理について説明する。
【００８３】
ステップＳ１１において、符号化装置１１はまだ符号化を行っていない1フレーム分のデータがあるか否かを判定する。
【００８４】
ステップＳ１１において1フレーム分の符号化データがあると判定された場合、ステップＳ１２において、チャネル音源符号化部２１は処理対象とする処理対象フレームについて、ダイアログチャネルを含むチャネル音源のオーディオ信号の符号化を行う。すなわち、チャネル音源符号化部２１は、供給された22チャネル構成の各チャネル音源のオーディオ信号を符号化し、その結果得られた符号化データを多重化部２４に供給する。
【００８５】
ステップＳ１３において、ダイアログ情報符号化部２３は、ダイアログ情報があるか否かを判定する。例えば外部から処理対象フレームのダイアログ情報が供給された場合、ダイアログ情報があると判定される。
【００８６】
ステップＳ１３においてダイアログ情報がないと判定された場合、ステップＳ１４乃至ステップＳ２６の処理は行われず、処理はステップＳ２７へと進む。この場合、追加ダイアログ音源がないので、チャネル音源の符号化データのみがビットストリームに格納される。
【００８７】
これに対してステップＳ１３において、ダイアログ情報があると判定された場合、処理はステップＳ１４に進む。
【００８８】
ステップＳ１４において、ダイアログ情報符号化部２３は、供給されたダイアログ情報に基づいて、ダイアログ情報の同期用コードdialogue_info_syncおよびメインダイアログ情報main_dialogue_infoを生成する。
【００８９】
ステップＳ１５において、ダイアログ情報符号化部２３は、ダイアログ情報に基づいて、ダイアログ位置情報dialogue_src_indexを生成する。
【００９０】
ステップＳ１６において、ダイアログ情報符号化部２３は、ダイアログ情報に基づいて、ダイアログ置き換え時における追加ダイアログ音源のゲイン値dialogue_gainを生成する。
【００９１】
ステップＳ１７において、ダイアログ情報符号化部２３は、ダイアログ情報に基づいて、追加ダイアログ音源の数を示す追加ダイアログ個数情報num_additional_dialogueを生成する。
【００９２】
ステップＳ１８において、ダイアログ情報符号化部２３は、ダイアログ情報に基づいて、追加ダイアログ音源のための追加ダイアログ情報additional_dialogue_info[i]および補正ゲイン値additional_dialogue_gain[i]を、追加ダイアログ個数情報num_additional_dialogueにより示される個数分だけ生成する。すなわちi＝0乃至num_additional_dialogue-1について、追加ダイアログ情報additional_dialogue_info[i]および補正ゲイン値additional_dialogue_gain[i]が生成される。これにより、各追加ダイアログ音源の符号化された追加ダイアログ情報と補正ゲイン値が得られる。なお、追加ダイアログ音源の数は1つであってもよいし、複数であってもよい。
【００９３】
ステップＳ１９において、ダイアログ情報符号化部２３は、ステップＳ１４乃至ステップＳ１８で生成されたデータを１つのDSE()の領域に格納する。
【００９４】
すなわち同期用コードdialogue_info_sync、メインダイアログ情報main_dialogue_info、ダイアログ位置情報dialogue_src_index、ゲイン値dialogue_gain、追加ダイアログ個数情報num_additional_dialogue、追加ダイアログ情報additional_dialogue_info[i]、および補正ゲイン値additional_dialogue_gain[i]がDSEに格納される。これにより、例えば図３に示したビットストリームシンタックスに従ってダイアログ情報の符号化データが生成されたことになる。
【００９５】
ダイアログ情報符号化部２３は、このようにして得られたダイアログ情報の符号化データを多重化部２４に供給する。
【００９６】
ステップＳ２０において、追加ダイアログ音源符号化部２２は、処理対象の追加ダイアログ音源を示すインデックスiの値をi=0とする。ここで、インデックスiにより特定される追加ダイアログ音源は、処理対象のi番目の追加ダイアログ音源であることを示している。ここでは、追加ダイアログ音源の数はnum_additional_dialogueだけあるので、インデックスi＝0乃至num_additional_dialogue-1について追加ダイアログ音源が処理されればよい。
【００９７】
ステップＳ２１において、追加ダイアログ音源符号化部２２は、インデックスiの値がi<num_additional_dialogueであるか否かを判定する。
【００９８】
すなわち、i<num_additional_dialogueである場合、まだ全ての追加ダイアログ音源が処理されていないことになる。ステップＳ２１においてi<num_additional_dialogueであると判定された場合、処理はステップＳ２２に進む。
【００９９】
ステップＳ２２において、追加ダイアログ音源符号化部２２は、追加ダイアログ音源の同期用コードadditional_dialogue_data_syncを生成する。
【０１００】
ステップＳ２３において、追加ダイアログ音源符号化部２２は、処理対象の追加ダイアログ音源の識別のためのインデックスadditional_dialogue_indexの値をインデックスiとして生成する。すなわち、インデックスiの値が、そのままインデックスadditional_dialogue_indexの値とされる。
【０１０１】
ステップＳ２４において、追加ダイアログ音源符号化部２２は、i番目の追加ダイアログ音源の符号化データを、AACやUSACで規定されるsingle_channel_element()のビットストリームシンタックスに従い生成する。すなわち、追加ダイアログ音源符号化部２２は、外部から供給されたi番目の追加ダイアログ音源のオーディオ信号を符号化する。
【０１０２】
ステップＳ２５において、追加ダイアログ音源符号化部２２は、ステップＳ２２乃至ステップＳ２４の処理で生成されたデータを1つのDSE()の領域に格納する。
【０１０３】
すなわち同期用コードadditional_dialogue_data_sync、インデックスadditional_dialogue_index、および符号化された追加ダイアログ音源のオーディオ信号がDSEに格納される。これにより、例えば図４に示したビットストリームシンタックスに従って追加ダイアログ音源の符号化データが生成されたことになる。
【０１０４】
ステップＳ２６において、追加ダイアログ音源符号化部２２は、インデックスiの値を1だけインクリメントして処理はステップＳ２１に戻り、上述した処理が繰り返し行われる。
【０１０５】
また、ステップＳ２１において、i<num_additional_dialogueでないと判定された場合、全ての追加ダイアログ音源の符号化が行われたので、追加ダイアログ音源符号化部２２は、符号化により得られた各追加ダイアログ音源の符号化データを多重化部２４に供給し、処理はステップＳ２７に進む。
【０１０６】
ステップＳ２１においてi<num_additional_dialogueでないと判定されたか、またはステップＳ１３においてダイアログ情報がないと判定されると、ステップＳ２７において、多重化部２４は1フレーム分の完了処理を行う。
【０１０７】
すなわち、多重化部２４は、チャネル音源符号化部２１、追加ダイアログ音源符号化部２２、およびダイアログ情報符号化部２３のそれぞれから供給された符号化データを多重化して1フレーム分のビットストリームを生成し、出力する。
【０１０８】
ステップＳ２７において1フレーム分のビットストリームが出力されると、処理はステップＳ１１に戻り、上述した処理が繰り返し行われる。そして、ステップＳ１１において、次に処理対象として符号化すべき1フレーム分のデータがないと判定されると、符号化処理は終了する。
【０１０９】
以上のようにして、符号化装置１１は、チャネル音源および追加ダイアログ音源のオーディオ信号だけでなく、チャネル音源のうちのダイアログ音源と、追加ダイアログ音源とについての情報を含むダイアログ情報も符号化し、それらの符号化データを多重化して出力する。
【０１１０】
このようにダイアログ情報を符号化してビットストリームに含めて伝送させることで、復号側において、必要な追加ダイアログ音源の符号化データのみを復号することができるようになり、復号時の計算量を低減させることができる。
【０１１１】
〈復号装置の構成例〉
次に、符号化装置１１から出力されたビットストリームを入力とし、ビットストリームに含まれる符号化データを復号する復号装置について説明する。そのような復号装置は、例えば図６に示すように構成される。なお、図６において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１２】
図６に示す復号装置７１は、分離部８１、チャネル音源復号部８２、追加ダイアログ音源復号部８３、ダイアログ情報復号部８４、提示部８５、入力部８６、ゲイン補正部８７、ダイアログ選択部８８、ゲイン補正部８９、および追加ダイアログ選択部９０を有している。
【０１１３】
分離部８１は、入力されたビットストリームをチャネル音源の符号化データ、追加ダイアログ音源の符号化データ、およびダイアログ情報の符号化データに分離させる。分離部８１は、チャネル音源の符号化データをチャネル音源復号部８２に供給し、追加ダイアログ音源の符号化データを追加ダイアログ音源復号部８３に供給し、ダイアログ情報の符号化データをダイアログ情報復号部８４に供給する。
【０１１４】
チャネル音源復号部８２は、分離部８１から供給された各チャネル音源の符号化データを復号し、得られたダイアログチャネルのオーディオ信号を追加ダイアログ選択部９０に供給するとともに、他のチャネル音源のオーディオ信号を、それらのチャネル音源に対応するスピーカSP2乃至スピーカSP22に供給する。
【０１１５】
追加ダイアログ音源復号部８３は、分離部８１から供給された追加ダイアログ音源の符号化データのうち、入力部８６から供給された選択指示により示される追加ダイアログ音源の符号化データのみを復号し、ゲイン補正部８７に供給する。
【０１１６】
ダイアログ情報復号部８４は、分離部８１から供給されたダイアログ情報の符号化データを復号し、その結果得られたダイアログ情報を提示部８５に供給する。また、ダイアログ情報復号部８４は、復号により得られたダイアログ情報のゲイン値dialogue_gainをゲイン補正部８９に供給するとともに、ダイアログ情報の補正ゲイン値additional_dialogue_gain[i]をゲイン補正部８７に供給する。
【０１１７】
提示部８４は、ダイアログ情報復号部８４から供給されたダイアログ情報を視聴者US11に提示する。入力部８６は、視聴者US11の入力操作に応じた信号、すなわち視聴者US11により選択されたダイアログ音源または追加ダイアログ音源を示す選択指示を、追加ダイアログ音源復号部８３、ダイアログ選択部８８、および追加ダイアログ選択部９０に供給する。
【０１１８】
ゲイン補正部８７は、ダイアログ情報復号部８４から供給された補正ゲイン値additional_dialogue_gain[i]に基づいて、追加ダイアログ音源復号部８３から供給された追加ダイアログ音源のオーディオ信号に対するゲイン補正を行い、ダイアログ選択部８８に供給する。より詳細には、ゲイン補正部８７は、各追加ダイアログ音源に対応する増幅器を有しており、各増幅器は追加ダイアログ音源復号部８３から供給された追加ダイアログ音源のオーディオ信号に、それらの追加ダイアログ音源に対応する補正ゲイン値を乗じて出力する。
【０１１９】
ダイアログ選択部８８は、入力部８６から供給された選択指示に基づいて、ゲイン補正部８７から供給された各追加ダイアログ音源のオーディオ信号のうちの1つを選択し、ゲイン補正部８９に供給する。より詳細には、ダイアログ選択部８８は例えばスイッチからなり、入力部８６からの選択指示に従って、スイッチの出力端をゲイン補正部８７の各追加ダイアログ音源に対応する増幅器の出力端のうちの1つに接続する。これにより、選択指示により示される追加ダイアログ音源のオーディオ信号のみがスイッチの出力端からゲイン補正部８９へと出力される。
【０１２０】
ゲイン補正部８９は、ダイアログ情報復号部８４から供給されたゲイン値dialogue_gainに基づいて、ダイアログ選択部８８から供給された追加ダイアログ音源のオーディオ信号に対するゲイン補正を行い、追加ダイアログ選択部９０に供給する。追加ダイアログ選択部９０は例えばスイッチからなり、入力部８６から供給された選択指示に基づいて、チャネル音源復号部８２から供給されたダイアログ音源のオーディオ信号、またはゲイン補正部８９から供給された追加ダイアログ音源のオーディオ信号の何れか一方を選択し、スピーカSP1に供給する。
【０１２１】
なお、ここでは復号装置７１が分離部８１乃至追加ダイアログ選択部９０を有する例について説明するが、復号装置７１に分離部８１乃至ダイアログ情報復号部８４のみが設けられ、他の提示部８５乃至追加ダイアログ選択部９０は復号装置７１外に設けられてもよい。
【０１２２】
〈復号処理の説明〉
続いて、復号装置７１の動作について説明する。
【０１２３】
復号装置７１は、符号化装置１１から伝送されてきたビットストリームが供給されると、復号処理を開始し、復号により得られたチャネル音源を再生させる。以下、図７のフローチャートを参照して、復号装置７１による復号処理について説明する。
【０１２４】
ステップＳ６１において、分離部８１は、供給されたビットストリームに、まだ処理されていない1フレーム分のデータがあるか否かを判定する。
【０１２５】
ステップＳ６１において1フレーム分のデータがあると判定された場合、ステップＳ６２において、分離部８１は1フレーム分のビットストリームにダイアログ情報が含まれているか否かを判定する。
【０１２６】
例えばビットストリームを構成するDSE()のなかに、同期用コードdialogue_info_syncが格納されているDSE()があった場合、ダイアログ情報が含まれていると判定される。
【０１２７】
ステップＳ６２においてダイアログ情報が含まれていないと判定された場合、ダイアログ情報はないので、ステップＳ６３およびステップＳ６４の処理は行われず、処理はステップＳ６５へと進む。このとき、分離部８１は、ビットストリームからチャネル音源の符号化データを分離させ、チャネル音源復号部８２へと供給する。
【０１２８】
これに対して、ステップＳ６２においてダイアログ情報が含まれていると判定された場合、処理はステップＳ６３へと進む。このとき、分離部８１はビットストリームからチャネル音源の符号化データを分離させてチャネル音源復号部８２に供給するとともに、ビットストリームからダイアログ情報の符号化データを分離させてダイアログ情報復号部８４に供給する。
【０１２９】
ステップＳ６３において、ダイアログ情報復号部８４は、分離部８１から供給された符号化データからメインダイアログ情報main_dialogue_info、ダイアログ位置情報dialogue_src_index、ゲイン値dialogue_gain、および追加ダイアログ個数情報num_additional_dialogueを取得する。また、ダイアログ情報復号部８４は、取得したゲイン値dialogue_gainをゲイン補正部８９に供給する。
【０１３０】
ステップＳ６４において、ダイアログ情報復号部８４は、分離部８１から供給された符号化データから追加ダイアログ個数情報num_additional_dialogueにより示される数の分だけ、追加ダイアログ情報additional_dialogue_info[i]および補正ゲイン値additional_dialogue_gain[i]を取得する。すなわち、インデックスi＝0乃至num_additional_dialogue-1について、追加ダイアログ情報additional_dialogue_info[i]および補正ゲイン値additional_dialogue_gain[i]が取得される。
【０１３１】
ダイアログ情報復号部８４は、取得した各補正ゲイン値additional_dialogue_gain[i]をゲイン補正部８７に供給し、処理はステップＳ６５に進む。
【０１３２】
以上のステップＳ６３およびステップＳ６４の処理により、例えば図３に示したビットストリームシンタックスに従ってダイアログ情報が復号されたことになる。
【０１３３】
ステップＳ６２においてダイアログ情報が含まれていないと判定されたか、またはステップＳ６４において追加ダイアログ情報および補正ゲイン値が取得されると、ステップＳ６５の処理が行われる。
【０１３４】
ステップＳ６５において、チャネル音源復号部８２は、ダイアログチャネルを含むチャネル音源の各チャネルの復号を行う。すなわち、チャネル音源復号部８２は、分離部８１から供給されたチャネル音源の符号化データを復号し、その結果得られた各チャネル音源のオーディオ信号を出力する。このとき、ダイアログチャネル、つまりダイアログ音源のオーディオ信号は追加ダイアログ選択部９０に供給され、他のチャネル、つまりダイアログ音源ではないチャネル音源のオーディオ信号は、それらのチャネル音源に対応するスピーカに供給される。
【０１３５】
ステップＳ６６において、ダイアログ情報復号部８４は、ダイアログ情報があるか否かを判定する。例えばビットストリームのなかに同期用コードdialogue_info_syncが格納されているDSE()があった場合、すなわちステップＳ６３およびステップＳ６４でダイアログ情報の復号が行われた場合、ダイアログ情報があると判定される。
【０１３６】
ステップＳ６６においてダイアログ情報がないと判定された場合、ステップＳ６７乃至ステップＳ６９の処理は行われず、処理はステップＳ７０に進む。
【０１３７】
これに対して、ステップＳ６６においてダイアログ情報があると判定された場合、ダイアログ情報復号部８４は、復号により得られたダイアログ情報を提示部８５に供給し、処理はステップＳ６７に進む。
【０１３８】
ステップＳ６７において、提示部８５は、ダイアログ情報復号部８４から供給されたダイアログ情報を視聴者US11に対して提示する。
【０１３９】
例えばダイアログ情報のうち、少なくともメインダイアログ情報、追加ダイアログ個数情報、および追加ダイアログ情報が提示される。視聴者US11は、提示されたダイアログ情報を確認し、ダイアログ音源といくつかの追加ダイアログ音源のなかから再生対象とする1つのダイアログを選択する。そして、視聴者US11は自身の選択に応じて入力部８６を操作し、ダイアログの選択指示を行う。
【０１４０】
ステップＳ６８において、入力部８６は視聴者US11のダイアログの選択指示を取得する。そして入力部８６は、視聴者US11の操作に応じた選択指示を追加ダイアログ音源復号部８３、ダイアログ選択部８８、および追加ダイアログ選択部９０に供給する。
【０１４１】
ステップＳ６９において、追加ダイアログ音源復号部８３、ダイアログ選択部８８、および追加ダイアログ選択部９０は、入力部８６から供給された選択指示に基づいて、視聴者US11の選択したダイアログはチャネル音源に含まれるダイアログチャネルのダイアログ音源であるか否かを判定する。
【０１４２】
ステップＳ６９において、チャネル音源に含まれるダイアログチャネルのダイアログ音源であると判定された場合、つまり追加ダイアログ音源への切り替えが指示されなかった場合、処理はステップＳ７０へと進む。このとき、追加ダイアログ音源復号部８３では、追加ダイアログ音源の復号は行われない。
【０１４３】
ステップＳ６９においてチャネル音源に含まれるダイアログチャネルのダイアログ音源であると判定されたか、またはステップＳ６６においてダイアログ情報がないと判定された場合、ステップＳ７０の処理が行われる。
【０１４４】
ステップＳ７０において、復号装置７１は、ダイアログチャネルのダイアログ音源を含む各チャネル音源を出力する。
【０１４５】
すなわち、追加ダイアログ選択部９０は、入力部８６から供給された選択指示に基づいて、チャネル音源復号部８２から供給されたダイアログチャネルのオーディオ信号をスピーカSP1に供給し、ダイアログ音源を再生させる。また、スピーカSP2乃至スピーカSP22は、チャネル音源復号部８２から供給されたオーディオ信号に基づいて、各チャネル音源を再生する。
【０１４６】
このようにして1フレーム分のチャネル音源が再生されると、処理はステップＳ６１に戻り、上述した処理が繰り返し行われる。
【０１４７】
これに対して、ステップＳ６９においてチャネル音源に含まれるダイアログチャネルのダイアログ音源でないと判定された場合、つまり追加ダイアログ音源であると判定された場合、処理はステップＳ７１に進む。
【０１４８】
ステップＳ７１において、追加ダイアログ音源復号部８３は、入力部８６から供給された選択指示に基づいて、選択された追加ダイアログ音源の符号化データが格納されているDSE()を分離部８１から取得し、例えば図４に示した追加ダイアログ音源の符号化データのビットストリームシンタックスに従って追加ダイアログ音源を復号する。
【０１４９】
この処理により、選択指示により示される追加ダイアログ音源の符号化データのみが復号される。追加ダイアログ音源復号部８３は、復号により得られた追加ダイアログ音源のオーディオ信号をゲイン補正部８７に供給する。
【０１５０】
ステップＳ７２において、ゲイン補正部８７は、ダイアログ情報復号部８４から供給された、選択指示により示される追加ダイアログ音源の補正ゲイン値additional_dialogue_gain[i]を、追加ダイアログ音源復号部８３から供給された追加ダイアログ音源のオーディオ信号に乗算し、ゲイン補正を行う。
【０１５１】
ゲイン補正部８７はゲイン補正された追加ダイアログ音源のオーディオ信号をダイアログ選択部８８に供給する。また、ダイアログ選択部８８は、入力部８６から供給された選択指示に基づいてスイッチの接続先を切り替える。これにより、ゲイン補正部８７から供給された、選択指示により示される追加ダイアログ音源のオーディオ信号が、ゲイン補正部８９へと供給される。
【０１５２】
ステップＳ７３において、ゲイン補正部８９は、ダイアログ情報復号部８４から供給されたゲイン値dialogue_gainを、ダイアログ選択部８８から供給された追加ダイアログ音源のオーディオ信号に乗じることでゲイン補正を行い、追加ダイアログ選択部９０に供給する。
【０１５３】
ステップＳ７４において、追加ダイアログ選択部９０は、入力部８６から供給された選択指示に基づいて、チャネル音源復号部８２から供給されたダイアログチャネル、つまりダイアログ音源のオーディオ信号を、ゲイン補正部８９から供給された追加ダイアログ音源のオーディオ信号に置き換えて出力する。
【０１５４】
この場合、選択指示は選択された追加ダイアログ音源を示しているので、追加ダイアログ選択部９０はゲイン補正部８９から供給された追加ダイアログ音源のオーディオ信号をスピーカSP1に供給し、追加ダイアログ音源を再生させる。また、スピーカSP2乃至スピーカSP22は、チャネル音源復号部８２から供給されたオーディオ信号に基づいて、各チャネル音源を再生する。
【０１５５】
これにより、スピーカSP2乃至スピーカSP22でチャネル音源が再生され、スピーカSP1ではチャネル音源としてのダイアログ音源に代えて、追加ダイアログ音源が再生されることになる。
【０１５６】
このようにして1フレーム分のチャネル音源が再生されると、処理はステップＳ６１に戻り、上述した処理が繰り返し行われる。
【０１５７】
また、ステップＳ７０またはステップＳ７４においてチャネル音源が再生された後、ステップＳ６１において1フレーム分のデータがないと判定されると、復号処理は終了する。
【０１５８】
以上のようにして復号装置７１は、ビットストリームからダイアログ情報の符号化データを取得して復号し、ダイアログ情報を提示するとともに、視聴者US11の選択指示に応じて、チャネル音源と、必要な追加ダイアログ音源とを復号する。
【０１５９】
このようにダイアログ情報を復号することで、ダイアログ情報を提示することができ、またダイアログ情報の提示に応じてなされた選択指示に応じて、必要な追加ダイアログ音源のみを復号することで、復号の計算量を低減させることができる。
【０１６０】
なお、ここでは置き換え対象とされるチャネル、すなわちダイアログチャネルのオーディオ信号によりダイアログ音源が再生されるスピーカ位置がスピーカSP1である例について説明した。しかし、ダイアログ情報には、ダイアログ位置情報dialogue_src_indexが含まれているため、ダイアログ音源を再生するスピーカの位置として任意のスピーカ位置をフレームごとに指定することが可能である。
【０１６１】
そのような場合、ダイアログ位置情報dialogue_src_indexに基づいて、置き換え対象となるスピーカ位置、つまり置き換え対象となるチャネル音源が特定される。そして、特定されたチャネル音源について、視聴者US11の選択指示に応じて、チャネル音源のオーディオ信号がそのまま出力されるか、またはそのチャネル音源のオーディオ信号が、選択された追加音源のオーディオ信号に置き換えられるかが選択される。
【０１６２】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１６３】
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１６４】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１６５】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１６６】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０１６７】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６８】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１６９】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１７０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１７１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１７２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１７３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１７５】
さらに、本技術は、以下の構成とすることも可能である。
【０１７６】
［１］
ダイアログ音源を含む複数のチャネル音源のオーディオ信号を符号化し、符号化データを生成するチャネル音源符号化部と、
前記ダイアログ音源とは異なる追加ダイアログ音源のオーディオ信号を符号化し、符号化データを生成する追加ダイアログ音源符号化部と、
前記追加ダイアログ音源に関する情報を含むダイアログ情報、前記複数のチャネル音源の符号化データ、および前記追加ダイアログ音源の符号化データを多重化する多重化部と
を備える符号化装置。
［２］
前記追加ダイアログ音源の符号化データおよび前記ダイアログ情報は、前記多重化により得られるビットストリームのユーザデータ領域に格納される
［１］に記載の符号化装置。
［３］
前記ユーザデータ領域は、MPEG AACまたはMPEG-D USACで規定されたDSEである
［２］に記載の符号化装置。
［４］
前記ダイアログ情報には、前記ダイアログ音源に関する情報が含まれている
［１］乃至［３］の何れか一項に記載の符号化装置。
［５］
前記ダイアログ情報には、前記追加ダイアログ音源の種別を示す情報、および前記ダイアログ音源の種別を示す情報が含まれている
［４］に記載の符号化装置。
［６］
前記ダイアログ情報には、マルチチャネル構成である前記複数のチャネル音源のオーディオ信号のチャネルのうちの前記ダイアログ音源のチャネルを示す情報が含まれている
［４］または［５］に記載の符号化装置。
［７］
前記ダイアログ情報には、前記追加ダイアログ音源のオーディオ信号をゲイン補正するためのゲイン情報が含まれている
［１］乃至［６］の何れか一項に記載の符号化装置。
［８］
前記ダイアログ情報には、複数の前記追加ダイアログ音源ごとに、それらの複数の前記追加ダイアログ音源のオーディオ信号をゲイン補正するための補正ゲイン情報が含まれている
［１］乃至［７］の何れか一項に記載の符号化装置。
［９］
ダイアログ音源を含む複数のチャネル音源のオーディオ信号を符号化して符号化データを生成し、
前記ダイアログ音源とは異なる追加ダイアログ音源のオーディオ信号を符号化して符号化データを生成し、
前記追加ダイアログ音源に関する情報を含むダイアログ情報、前記複数のチャネル音源の符号化データ、および前記追加ダイアログ音源の符号化データを多重化する
ステップを含む符号化方法。
［１０］
ダイアログ音源を含む複数のチャネル音源のオーディオ信号を符号化して符号化データを生成し、
前記ダイアログ音源とは異なる追加ダイアログ音源のオーディオ信号を符号化して符号化データを生成し、
前記追加ダイアログ音源に関する情報を含むダイアログ情報、前記複数のチャネル音源の符号化データ、および前記追加ダイアログ音源の符号化データを多重化する
ステップを含む処理をコンピュータに実行させるプログラム。
［１１］
符号化ビットストリームを、ダイアログ音源を含む複数のチャネル音源の符号化データ、前記ダイアログ音源とは異なる１または複数の追加ダイアログ音源の符号化データ、および前記追加ダイアログ音源に関する情報を含むダイアログ情報に分離させる分離部と、
前記１または複数の前記追加ダイアログ音源の符号化データのうちの選択された前記追加ダイアログ音源の符号化データを復号する追加ダイアログ音源復号部と
を備える復号装置。
［１２］
前記複数のチャネル音源の符号化データを復号するチャネル音源復号部をさらに備える
［１１］に記載の復号装置。
［１３］
前記ダイアログ音源の符号化データを復号して得られたオーディオ信号を、前記選択された前記追加ダイアログ音源の符号化データを復号して得られたオーディオ信号に置き換えて出力するダイアログ選択部をさらに備える
［１１］または［１２］に記載の復号装置。
［１４］
前記追加ダイアログ音源復号部は、前記ダイアログ情報の提示に応じて選択された前記追加ダイアログ音源の符号化データを復号する
［１１］乃至［１３］の何れか一項に記載の復号装置。
［１５］
符号化ビットストリームを、ダイアログ音源を含む複数のチャネル音源の符号化データ、前記ダイアログ音源とは異なる１または複数の追加ダイアログ音源の符号化データ、および前記追加ダイアログ音源に関する情報を含むダイアログ情報に分離させ、
前記１または複数の前記追加ダイアログ音源の符号化データのうちの選択された前記追加ダイアログ音源の符号化データを復号する
ステップを含む復号方法。
［１６］
符号化ビットストリームを、ダイアログ音源を含む複数のチャネル音源の符号化データ、前記ダイアログ音源とは異なる１または複数の追加ダイアログ音源の符号化データ、および前記追加ダイアログ音源に関する情報を含むダイアログ情報に分離させ、
前記１または複数の前記追加ダイアログ音源の符号化データのうちの選択された前記追加ダイアログ音源の符号化データを復号する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０１７７】
１１  符号化装置，  ２１  チャネル音源符号化部，  ２２  追加ダイアログ音源符号化部，  ２３  ダイアログ情報符号化部，  ２４  多重化部，  ７１  復号装置，  ８１  分離部，  ８２  チャネル音源復号部，  ８３  追加ダイアログ音源復号部，  ８４  ダイアログ情報復号部，  ８５  提示部，  ８６  入力部，  ８７  ゲイン補正部，  ８８  ダイアログ選択部，  ８９  ゲイン補正部，  ９０  追加ダイアログ選択部
【図１】
2016039150.tif 000003
【図２】
2016039150.tif 000004
【図３】
2016039150.tif 000005
【図４】
2016039150.tif 000006
【図５】
2016039150.tif 000007
【図６】
2016039150.tif 000008
【図７】
2016039150.tif 000009
【図８】
2016039150.tif 000010
【国際調査報告】
2016039150.tif 000011
2016039150.tif 000012
2016039150.tif 000013
2016039150.tif 000014