(57)【要約】  オーディオ信号符号化装置（２００）は、入力オーディオ信号（２５０）に含まれる、境界周波数より低い周波数帯域の低域信号（２５１）を符号化することで低域符号化信号（２５３）を生成し、前記境界周波数より高い周波数帯域の高域信号（２５２）を符号化することで高域符号化信号（２５４）を生成する階層符号化部（２０１）と、階層符号化部（２０１）による前記符号化で用いられる符号化ビットレートが第１ビットレートである場合、前記境界周波数を第１周波数に決定し、前記符号化ビットレートが前記第１ビットレートより低い第２ビットレートである場合、前記境界周波数を、前記第１周波数より低い第２周波数に決定する階層境界決定部（２０４）とを備える。
2014068817.tif 000002
【特許請求の範囲】
【請求項１】
入力オーディオ信号に含まれる、境界周波数より低い第１周波数帯域の低域信号を符号化することで低域符号化信号を生成し、前記入力オーディオ信号に含まれる、前記境界周波数より高い第２周波数帯域の高域信号を符号化することで高域符号化信号を生成する階層符号化部と、
前記階層符号化部による前記符号化で用いられる符号化ビットレートを判定し、当該符号化ビットレートが第１ビットレートである場合、前記境界周波数を第１周波数に決定し、前記符号化ビットレートが前記第１ビットレートより低い第２ビットレートである場合、前記境界周波数を、前記第１周波数より低い第２周波数に決定する階層境界決定部と、
前記低域符号化信号及び前記高域符号化信号と、前記境界周波数を示す境界情報とを多重化することで符号化オーディオ信号を生成する多重化部とを備える
オーディオ信号符号化装置。
【請求項２】
前記多重化部は、前記低域符号化信号と前記高域符号化信号とを分離可能な前記符号化オーディオ信号の領域に多重化する
請求項１記載のオーディオ信号符号化装置。
【請求項３】
前記多重化部は、さらに、前記符号化オーディオ信号を、伝送経路を介してオーディオ信号復号装置へ送信し、
前記オーディオ信号符号化装置は、さらに、
前記伝送経路の伝送容量を推定する伝送容量推定部を備え、
前記階層境界決定部は、さらに、前記伝送容量が第１伝送容量の場合、前記符号化ビットレートを前記第１ビットレートに決定し、前記伝送容量が、前記第１伝送容量より小さい第２伝送容量である場合、前記符号化ビットレートを前記第２ビットレートに決定し、当該決定された前記符号化ビットレートを用いて、前記境界周波数を決定する
請求項２記載のオーディオ信号符号化装置。
【請求項４】
前記伝送経路は、第１階層と、前記第１階層より優先順位の低い第２階層とを有し、当該伝送経路の伝送量が予め定められた値を超えた場合、前記第２階層の信号を破棄し、
前記多重化部は、前記低域符号化信号を前記第１階層に割り当て、前記高域符号化信号を前記第２階層に割り当てて、前記符号化オーディオ信号を前記伝送経路に送出する
請求項３記載のオーディオ信号符号化装置。
【請求項５】
前記オーディオ信号符号化装置は、さらに、
Ｎ（Ｎは２以上の整数）チャネルのオーディオ信号のチャネル間の位相差及びレベル比を検出し、当該位相差及びレベル比を示すチャネル間相関情報を生成するチャネル間相関検出部と、
前記Ｎチャネルのオーディオ信号をＮより小さいＭ（Ｍは１以上の整数）チャネルの信号にダウンミックスすることで前記入力オーディオ信号を生成するダウンミックス部とを備え、
前記多重化部は、前記低域符号化信号及び前記高域符号化信号と、前記境界情報と、前記チャネル間相関情報とを多重化することで前記符号化オーディオ信号を生成し、前記チャネル間相関情報を前記第２階層に割り当てる
請求項４記載のオーディオ信号符号化装置。
【請求項６】
前記階層境界決定部は、さらに、
前記符号化ビットレートが前記第１ビットレートである場合、前記第１周波数帯域を第１帯域に決定し、前記第２周波数帯域を第２帯域に決定し、
前記符号化ビットレートが前記第２ビットレートである場合、前記第１周波数帯域を前記第１帯域より狭い第３帯域に決定し、前記第２周波数帯域を前記第２帯域より狭い第４帯域に決定する
請求項１〜５のいずれか１項に記載のオーディオ信号符号化装置。
【請求項７】
入力オーディオ信号が階層符号化されることで得られた符号化オーディオ信号を復号するオーディオ信号復号装置であって、
前記符号化オーディオ信号から、前記入力オーディオ信号に含まれる、境界周波数より低い第１周波数帯域の低域信号が符号化されることで得られた低域符号化信号と、前記入力オーディオ信号に含まれる、前記境界周波数より高い第２周波数帯域の高域信号が符号化されることで得られた高域符号化信号と、前記境界周波数を示す境界情報とを取得する分離部と、
前記低域符号化信号を復号することで低域復号信号を生成する低域信号復号部と、
前記境界情報を用いて、前記高域符号化信号を復号することで高域復号信号を生成する高域信号復号部と、
前記低域復号信号と前記高域復号信号とを合成することで、復号オーディオ信号を生成する合成部とを備え、
前記合成部は、前記高域符号化信号を取得できなかった場合、前記低域復号信号を用いて復号オーディオ信号を生成する
オーディオ信号復号装置。
【請求項８】
前記入力オーディオ信号は、Ｎ（Ｎは２以上の整数）チャネルのオーディオ信号をＮより小さいＭ（Ｍは１以上の整数）チャネルの信号にダウンミックスすることで得られた信号であり、
前記分離部は、さらに、前記符号化オーディオ信号から、前記Ｎチャネルのオーディオ信号間の位相差及びレベル比を示すチャネル間相関情報を取得し、
前記オーディオ信号復号装置は、さらに、
前記チャネル間相関情報を用いて、Ｍチャネルの前記復号オーディオ信号をＮチャネルの復号オーディオ信号にアップミックスするアップミックス部を備える
請求項７記載のオーディオ信号復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、入力オーディオ信号を符号化することで符号化オーディオ信号を生成するオーディオ信号符号化装置、及び、当該符号化オーディオ信号を復号するオーディオ信号復号装置に関する。
【背景技術】
【０００２】
近年、オーディオ・ビデオ信号を、デジタルネットワークを用いて配信するシステムが広く用いられている。例えば、ＹｏｕＴｕｂｅ（登録商標）などでは、遠隔地に設置されたサーバーからオーディオ・ビデオ信号を配信するサービスを実施している。また、近年では、高品質のオーディオ・ビデオ信号を通信するテレビ会議システムも普及しつつある。【０００３】
これらのデジタル信号を伝送する伝送経路の伝送容量は年々拡大しているが、上記のようなオーディオ・ビデオ信号の伝送量の増加がそれを上回っている。これにより、オーディオ・ビデオ信号に対する圧縮符号化技術の必要性がますます高まっている。【０００４】
このような圧縮符号化技術として、例えば、特許文献１及び特許文献２に記載の技術が知られている。【０００５】
また、上記のようなデジタル信号を伝送する伝送経路の伝送容量は時々刻々変動している。よって、伝送経路が混雑しているときは、伝送されるオーディオ・ビデオ信号がリアルタイムで送信できないことで、再生信号にギャップが生じる場合が多々ある。例えば、音とびが発生したり画面が暫しの時間フリーズしたりする場合がある。これに対して、伝送容量の変動に応じてビットレートを変更する方法がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第７３４２８８０号明細書
【特許文献２】特表２００９−５０３５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような技術では、ビットレートが低下した場合の音質の低下を抑制することが望まれている。【０００８】
そこで、本開示は、ビットレートが低下した場合の音質の低下を抑制できるオーディオ信号符号化装置及びオーディオ信号復号装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本開示の一態様に係るオーディオ信号符号化装置は、入力オーディオ信号に含まれる、境界周波数より低い第１周波数帯域の低域信号を符号化することで低域符号化信号を生成し、前記入力オーディオ信号に含まれる、前記境界周波数より高い第２周波数帯域の高域信号を符号化することで高域符号化信号を生成する階層符号化部と、前記階層符号化部による前記符号化で用いられる符号化ビットレートを判定し、当該符号化ビットレートが第１ビットレートである場合、前記境界周波数を第１周波数に決定し、前記符号化ビットレートが前記第１ビットレートより低い第２ビットレートである場合、前記境界周波数を、前記第１周波数より低い第２周波数に決定する階層境界決定部と、前記低域符号化信号及び前記高域符号化信号と、前記境界周波数を示す境界情報とを多重化することで符号化オーディオ信号を生成する多重化部とを備える。【００１０】
この構成によれば、当該オーディオ信号符号化装置は、符号化ビットレートが低くなった場合でも、再生帯域を広くすることができる。このように、当該オーディオ信号符号化装置は、ビットレートを低下させた場合の音質の低下を抑制できる。【００１１】
例えば、前記多重化部は、前記低域符号化信号と前記高域符号化信号とを分離可能な前記符号化オーディオ信号の領域に多重化してもよい。【００１２】
この構成によれば、当該オーディオ信号符号化装置は、高域符号化信号を破棄することでビットレートを削減できる。【００１３】
例えば、前記多重化部は、さらに、前記符号化オーディオ信号を、伝送経路を介してオーディオ信号復号装置へ送信し、前記オーディオ信号符号化装置は、さらに、前記伝送経路の伝送容量を推定する伝送容量推定部を備え、前記階層境界決定部は、さらに、前記伝送容量が第１伝送容量の場合、前記符号化ビットレートを前記第１ビットレートに決定し、前記伝送容量が、前記第１伝送容量より小さい第２伝送容量である場合、前記符号化ビットレートを前記第２ビットレートに決定し、当該決定された前記符号化ビットレートを用いて、前記境界周波数を決定してもよい。【００１４】
この構成によれば、当該オーディオ信号符号化装置は、伝送経路の伝送容量が時々刻々変動する環境において、伝送容量に応じて符号化ビットレートを切り替えることができる。【００１５】
例えば、前記伝送経路は、第１階層と、前記第１階層より優先順位の低い第２階層とを有し、当該伝送経路の伝送量が予め定められた値を超えた場合、前記第２階層の信号を破棄し、前記多重化部は、前記低域符号化信号を前記第１階層に割り当て、前記高域符号化信号を前記第２階層に割り当てて、前記符号化オーディオ信号を前記伝送経路に送出してもよい。【００１６】
この構成によれば、当該オーディオ信号符号化装置は、伝送経路の伝送容量が逼迫した場合に、高域符号化信号を破棄することでビットレートを削減できる。【００１７】
例えば、前記オーディオ信号符号化装置は、さらに、Ｎ（Ｎは２以上の整数）チャネルのオーディオ信号のチャネル間の位相差及びレベル比を検出し、当該位相差及びレベル比を示すチャネル間相関情報を生成するチャネル間相関検出部と、前記Ｎチャネルのオーディオ信号をＮより小さいＭ（Ｍは１以上の整数）チャネルの信号にダウンミックスすることで前記入力オーディオ信号を生成するダウンミックス部とを備え、前記多重化部は、前記低域符号化信号及び前記高域符号化信号と、前記境界情報と、前記チャネル間相関情報とを多重化することで前記符号化オーディオ信号を生成し、前記チャネル間相関情報を前記第２階層に割り当ててもよい。【００１８】
この構成によれば、当該オーディオ信号符号化装置は、伝送経路の伝送容量が逼迫した場合に、チャネル間相関情報を破棄することでビットレートを削減できる。【００１９】
例えば、前記階層境界決定部は、さらに、前記符号化ビットレートが前記第１ビットレートである場合、前記第１周波数帯域を第１帯域に決定し、前記第２周波数帯域を第２帯域に決定し、前記符号化ビットレートが前記第２ビットレートである場合、前記第１周波数帯域を前記第１帯域より狭い第３帯域に決定し、前記第２周波数帯域を前記第２帯域より狭い第４帯域に決定してもよい。【００２０】
この構成によれば、当該オーディオ信号符号化装置は、伝送経路の伝送容量が逼迫した場合に、ビットレートを削減できる。【００２１】
また、本開示の一態様に係るオーディオ信号復号装置は、入力オーディオ信号が階層符号化されることで得られた符号化オーディオ信号を復号するオーディオ信号復号装置であって、前記符号化オーディオ信号から、前記入力オーディオ信号に含まれる、境界周波数より低い第１周波数帯域の低域信号が符号化されることで得られた低域符号化信号と、前記入力オーディオ信号に含まれる、前記境界周波数より高い第２周波数帯域の高域信号が符号化されることで得られた高域符号化信号と、前記境界周波数を示す境界情報とを取得する分離部と、前記低域符号化信号を復号することで低域復号信号を生成する低域信号復号部と、前記境界情報を用いて、前記高域符号化信号を復号することで高域復号信号を生成する高域信号復号部と、前記低域復号信号と前記高域復号信号とを合成することで、復号オーディオ信号を生成する合成部とを備え、前記合成部は、前記高域符号化信号を取得できなかった場合、前記低域復号信号を用いて復号オーディオ信号を生成してもよい。【００２２】
この構成によれば、当該オーディオ信号復号装置は、伝送経路の伝送容量が逼迫した場合でも、音途切れなくオーディオ信号を再生することができる。【００２３】
例えば、前記入力オーディオ信号は、Ｎ（Ｎは２以上の整数）チャネルのオーディオ信号をＮより小さいＭ（Ｍは１以上の整数）チャネルの信号にダウンミックスすることで得られた信号であり、前記分離部は、さらに、前記符号化オーディオ信号から、前記Ｎチャネルのオーディオ信号間の位相差及びレベル比を示すチャネル間相関情報を取得し、前記オーディオ信号復号装置は、さらに、前記チャネル間相関情報を用いて、Ｍチャネルの前記復号オーディオ信号をＮチャネルの復号オーディオ信号にアップミックスするアップミックス部を備えてもよい。【００２４】
この構成によれば、当該オーディオ信号復号装置は、伝送経路の伝送容量が逼迫した場合でも、音途切れなくオーディオ信号を再生することができる。【００２５】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００２６】
本開示は、ビットレートが低下した場合の音質の低下を抑制できるオーディオ信号符号化装置及びオーディオ信号復号装置を提供できる。
【図面の簡単な説明】
【００２７】
【図１】図１は、本開示の比較例１に係るオーディオ信号符号化装置の構成を示すブロック図である。
【図２】図２は、本開示の比較例１に係るオーディオ信号符号化装置における符号化方式の切り替え方法を示す図である。
【図３】図３は、本開示の比較例２に係るオーディオ信号伝送システムの構成を示すブロック図である。
【図４】図４は、本開示の比較例２に係る符号化オーディオ信号の符号量及び周波数帯域の遷移を示す図である。
【図５】図５は、本開示の実施の形態１に係るオーディオ信号伝送システムの構成を示すブロック図である。
【図６】図６は、本開示の実施の形態１に係るオーディオ信号符号化装置の構成を示すブロック図である。
【図７】図７は、本開示の実施の形態１に係るオーディオ信号復号装置の構成を示すブロック図である。
【図８】図８は、本開示の実施の形態１に係る伝送容量に応じた境界周波数を示す図である。
【図９】図９は、本開示の実施の形態１に係る符号化オーディオ信号の符号量及び周波数帯域の遷移を示す図である。
【図１０】図１０は、本開示の実施の形態１に係るオーディオ信号符号化装置による符号化処理のフローチャートである。
【図１１】図１１は、本開示の実施の形態１に係るオーディオ信号復号装置による復号処理のフローチャートである。
【図１２】図１２は、本開示の実施の形態２に係るオーディオ信号符号化装置の構成を示すブロック図である。
【図１３】図１３は、本開示の実施の形態２に係るオーディオ信号復号装置の構成を示すブロック図である。
【図１４】図１４は、本開示の実施の形態２に係るオーディオ信号符号化装置による符号化処理のフローチャートである。
【図１５】図１５は、本開示の実施の形態２に係るオーディオ信号復号装置による復号処理のフローチャートである。
【発明を実施するための形態】
【００２８】
まず、本実施の形態に係るオーディオ信号符号化装置について説明する前に、本開示の比較例１及び比較例２に係るオーディオ信号符号化装置について説明する。
【００２９】
上述したように、デジタル信号を伝送する伝送経路の伝送容量は時々刻々変動している。よって、伝送経路が混雑しているときは、伝送されるオーディオ・ビデオ信号がリアルタイムで送信できないことで、再生信号にギャップが生じる場合が多々ある。例えば、音とびが発生したり画面が暫しの時間フリーズしたりする場合がある。
【００３０】
それを回避するために、伝送経路の伝送容量の変動を推定する技術を用いることができる。この技術では、伝送容量が大きいときはオーディオ・ビデオ信号を高いビットレートで伝送することで高画質及び高音質を確保し、伝送容量が小さいときはオーディオ・ビデオ信号を低いビットレートで伝送することで再生信号の音とび及び画像のフリーズを回避する。
【００３１】
図１は、本開示の比較例１に係るオーディオ信号符号化装置の一例を示す図である。図１に示すオーディオ信号符号化装置５００は、マルチレート符号化部５０１と、伝送容量推定部５０２と、符号化方式選択部５０３とを備える。
【００３２】
マルチレート符号化部５０１は、入力オーディオ信号５１０を複数のビットレートのいずれかを選択的に用いて符号化することで符号化オーディオ信号５１１を生成する。例えば、マルチレート符号化部５０１は、２４ｋｂｐｓ〜１９２ｋｂｐｓのビットレートで入力オーディオ信号５１０を符号化する。また、入力オーディオ信号５１０は、例えばステレオ信号である。
【００３３】
図２は、この符号化方式の選択方法を示す図である。図２に示すように、マルチレート符号化部５０１は、ビットレートが低い時は入力オーディオ信号をモノラル信号に変換したうえで符号化する。また、マルチレート符号化部５０１は、ビットレートが高い時は入力オーディオ信号５１０をステレオ信号のまま符号化する。また、マルチレート符号化部５０１は、ビットレートが低い時は入力オーディオ信号５１０をＧ．７２２方式で圧縮符号化し、ビットレートが高い時は入力オーディオ信号５１０をＡＡＣ（Ａｄｖａｎｃｅ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）方式で圧縮符号化する。そして、当該圧縮符号化により生成された符号化オーディオ信号５１１は、伝送経路５０４を介して伝送される。
【００３４】
伝送経路５０４の伝送容量は時々刻々変動する。伝送容量推定部５０２は、その時々刻々変動する伝送容量を推定する。なお、伝送容量の推定処理の具体的な方法には、公知のさまざまな方法を用いることができる。
【００３５】
符号化方式選択部５０３は、伝送容量推定部５０２で推定された伝送容量に応じてオーディオ符号化のビットレートを決定し、決定したビットレートに対応する符号化方式を選択する。具体的には、符号化方式選択部５０３は、ビットレートに応じて符号化する信号のチャネル数（ステレオ又はモノラル）と、圧縮方式（ＡＡＣ又はＧ．７２２）とを選択する。そして、マルチレート符号化部５０１は、この選択された符号化方式を用いて、入力オーディオ信号５１０を圧縮符号化する。
【００３６】
以上の構成により、時々刻々変動する伝送容量に応じた最適な符号化方式が選ばれる。これにより、オーディオ信号符号化装置５００は、伝送容量に余裕があるときは入力オーディオ信号５１０を高音質で符号化できる。またオーディオ信号符号化装置５００は、伝送容量が逼迫した場合は、音質は劣るものの音切れのないオーディオ信号を伝送できる。
【００３７】
しかしながら、上記のような方法では、ビットレートの変動に伴って、符号化する信号のチャネル数及び圧縮方式そのものもが変化するので、再生信号がシームレスに連続しない瞬間が生じることがある。例えば、１９２ｋｂｐｓで符号化する場合は、ステレオのＡＡＣによる符号化が行われ、６４ｋｂｐｓでは、モノラルのＡＡＣによる符号化が行われる。これにより、ステレオからモノラルに切り替わるところで再生音に不連続点が生じる。さらに３２ｋｂｐｓでは、モノラルのＧ．７２２方式による符号化が行われる。よって、圧縮方式が切り替わるところで再生音に不連続点が生じる。
【００３８】
この課題を解決する方法として以下の技術を用いることができる。
【００３９】
図３は、本開示の比較例２に係るオーディオ信号伝送システムの構成を示すブロック図である。
【００４０】
図３に示すオーディオ信号伝送システム６００は、オーディオ信号符号化装置７００と、オーディオ信号復号装置８００と、伝送経路９００とを含む。
【００４１】
オーディオ信号符号化装置７００は、入力オーディオ信号７５０を符号化することで符号化オーディオ信号７６０を生成する。このオーディオ信号符号化装置７００は、分割部７１１と、低域信号符号化部７１２と、高域信号符号化部７１３と、多重化部７０２とを備える。
【００４２】
分割部７１１は、入力オーディオ信号７５０を２つの周波数帯域に分割することで、低域信号７５１と、高域信号７５２とを生成する。低域信号符号化部７１２は、低域信号７５１を符号化することで低域符号化信号７５３を生成する。高域信号符号化部７１３は、高域信号７５２を符号化することで高域符号化信号７５４を生成する。多重化部７０２は、低域符号化信号７５３及び高域符号化信号７５４を多重化することで符号化オーディオ信号７６０を生成する。この符号化オーディオ信号７６０は、伝送経路９００を介して伝送される。このとき、低域符号化信号７５３は優先度の高いレイヤーに配置されて伝送され、高域符号化信号７５４は優先度の低いレイヤーに配置されて伝送される。
【００４３】
オーディオ信号復号装置８００は、伝送経路９００を介して伝送された符号化オーディオ信号７６０を受信する。そして、オーディオ信号復号装置８００は、受信した符号化オーディオ信号７６０を復号することで、復号オーディオ信号８５０を生成する。このオーディオ信号復号装置８００は、分離部８０１と、低域信号復号部８１１と、高域信号復号部８１２と、合成部８１３とを備える。
【００４４】
分離部８０１は、受信した符号化オーディオ信号７６０を、低域符号化信号８５１と、高域符号化信号８５２とに分離する。低域信号復号部８１１は、低域符号化信号８５１を復号することで低域復号信号８５４を生成する。高域信号復号部８１２は、高域符号化信号８５２を復号することで高域復号信号８５５を生成する。合成部８１３は、低域復号信号８５４と高域復号信号とを合成することで、ＰＣＭ（ｐｕｌｓｅ  ｃｏｄｅ  ｍｏｄｕｌａｔｉｏｎ）信号である復号オーディオ信号８５０を生成する。
【００４５】
ここで、上述したように、低域符号化信号７５３は優先度の高いレイヤーに配置されて伝送され、高域符号化信号７５４は優先度の低いレイヤーに配置されて伝送される。これは、もし、伝送経路９００の伝送容量が逼迫した場合に、優先度の低いレイヤーに配置された高域符号化信号７５４を伝送しないようにするためである。例えば、図４の（ａ）に示すように、伝送容量に余裕がある場合（伝送容量大）、低域符号化信号７５３と高域符号化信号７５４とを両方が伝送される。一方、伝送容量に余裕がない場合（伝送容量小）、低域符号化信号７５３だけが伝送される。
【００４６】
また、高域符号化信号７５４（８５２）が伝送されない場合、高域信号復号部８１２はゼロ信号、又は高域信号を模擬した信号を高域復号信号８５５として出力する。
【００４７】
このようにすることによって符号化信号は階層化され、かつ優先順位をつけて伝送されるので、伝送容量が変動した場合でも、比較例１で示したようなチャネル数の変化、又は符号化方式の変化にともなう音声の不連続点の発生を防止できる。
【００４８】
このように、比較例２に係るオーディオ信号伝送システム６００では、伝送経路９００が混雑することで伝送容量が逼迫した場合、高域符号化信号７５４を欠落させる。しかしながら、高域符号化信号７５４のサイズ（符号量）が低域符号化信号７５３のサイズより小さいので、高域符号化信号７５４を欠落させても伝送する情報量の削減の効果が少ない。これにより、この処理が、伝送経路９００における混雑の緩和に十分寄与しないという課題があることを本発明者は見出した。
【００４９】
また、高域符号化信号７５４が欠落した場合、高域成分（再生帯域の１／２より上の周波数帯域）が全て欠落してしまうので、音質の劣化が非常に大きいという課題があることを本発明者は見出した。ここで、図４の（ａ）は、伝送容量が変化した場合の符号量の遷移を示す。また、図４の（ｂ）は、伝送容量が変化した場合の再生帯域（再生される周波数帯域）を示す。図４に示すように、伝送経路９００の伝送容量に余裕がある場合は、広い帯域の信号が再生されるが、伝送経路９００の伝送容量が逼迫した場合は、一気に狭い帯域の信号しか再生されない。
【００５０】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００５１】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００５２】
（実施の形態１）
以下、本開示の実施の形態１に係るオーディオ信号符号化装置及びオーディオ信号復号装置について図面を参照しながら説明する。
【００５３】
本実施の形態に係るオーディオ信号符号化装置は、伝送経路の伝送容量に応じて、分割に用いる境界周波数を変更する。これにより、当該オーディオ信号符号化装置は、伝送経路の伝送容量の変動に適切に対応できる。
【００５４】
まず、本実施の形態に係るオーディオ信号伝送システム１００の構成を説明する。
【００５５】
図５は、本実施の形態に係るオーディオ信号伝送システム１００の構成を示すブロック図である。図１に示すオーディオ信号伝送システム１００は、オーディオ信号符号化装置２００（送信装置）と、オーディオ信号復号装置３００（受信装置）と、伝送経路４００とを含む。
【００５６】
オーディオ信号符号化装置２００は、入力オーディオ信号２５０を符号化することで符号化オーディオ信号２６０を生成する。そして、オーディオ信号符号化装置２００は、生成された符号化オーディオ信号２６０を、伝送経路４００を介して、オーディオ信号復号装置３００へ送信する。
【００５７】
オーディオ信号復号装置３００は、符号化オーディオ信号２６０を受信し、受信された符号化オーディオ信号２６０を復号することで復号オーディオ信号３５０を生成する。
【００５８】
以下、オーディオ信号符号化装置２００の構成を説明する。
【００５９】
図６は本実施の形態に係るオーディオ信号符号化装置２００の構成を示すブロック図である。図６に示すオーディオ信号符号化装置２００は、階層符号化部２０１と、多重化部２０２と、伝送容量推定部２０３と、階層境界決定部２０４とを備える。
【００６０】
階層符号化部２０１は、入力オーディオ信号２５０を２つの周波数帯域に分離して階層的に符号化する。具体的には、階層符号化部２０１は、入力オーディオ信号２５０に含まれる、境界周波数より低い第１周波数帯域の低域信号２５１を符号化することで低域符号化信号２５３を生成する。また、階層符号化部２０１は、入力オーディオ信号２５０に含まれる、境界周波数より高い第２周波数帯域の高域信号２５２を符号化することで高域符号化信号２５４を生成する。この階層符号化部２０１は、分割部２１１と、低域信号符号化部２１２と、高域信号符号化部２１３とを備える。
【００６１】
分割部２１１は、入力オーディオ信号２５０を少なくとも２つの周波数帯域の信号に分割する。例えば、分割部２１１は、入力オーディオ信号２５０を、低域信号２５１と高域信号２５２とに分割する。低域信号符号化部２１２は、低域信号２５１を符号化することで低域符号化信号２５３を生成する。高域信号符号化部２１３は、高域信号２５２を符号化することで高域符号化信号２５４を生成する。
【００６２】
多重化部２０２は、低域符号化信号２５３と、高域符号化信号２５４と、後述する境界情報２５５とを多重化することで、符号化オーディオ信号２６０を生成する。また、多重化部２０２は、低域符号化信号２５３と高域符号化信号２５４とを分離可能な符号化オーディオ信号２６０の領域に多重化する。
【００６３】
また、生成された符号化オーディオ信号２６０は、伝送経路４００を介して伝送される。このとき、多重化部２０２は、低域符号化信号２５３を、優先度の高いレイヤー（第１階層）に割り当て、高域符号化信号２５４を優先度の低いレイヤー（第２階層）に割り当てて、符号化オーディオ信号２６０を伝送経路４００に送出する。
【００６４】
ここで、伝送経路４００は、第１階層と、第１階層より優先順位の低い第２階層とを有し、伝送経路４００の伝送量が予め定められた値を超えた場合、第２階層の信号を破棄する。
【００６５】
伝送容量推定部２０３は、伝送経路４００の伝送容量を推定する。
【００６６】
階層境界決定部２０４は、伝送容量推定部２０３で推定された伝送容量に応じて、どの周波数帯域の信号を低域信号２５１として扱うか、どの周波数帯域の信号を高域信号２５２として扱うかを決定する。
【００６７】
具体的には、伝送容量推定部２０３は、上記境界周波数を決定する。より具体的には、階層境界決定部２０４は、階層符号化部２０１による符号化で用いられる符号化ビットレートを判定し、当該符号化ビットレートが第１ビットレートである場合、境界周波数を第１周波数に決定し、符号化ビットレートが第１ビットレートより低い第２ビットレートである場合、境界周波数を、第１周波数より低い第２周波数に決定する。言い換えると、階層境界決定部２０４は、符号化ビットレートが小さいほど、境界周波数を小さくする。
【００６８】
また、階層境界決定部２０４は、伝送経路４００の伝送容量に応じて上記符号化ビットレートを決定してもよい。具体的には、階層境界決定部２０４は、伝送容量が第１伝送容量の場合、符号化ビットレートを第１ビットレートに決定し、伝送容量が、第１伝送容量より小さい第２伝送容量である場合、符号化ビットレートを第１ビットレートより低い第２ビットレートに決定する。言い換えると、階層境界決定部２０４は、伝送容量が小さいほど、符号化ビットレートを小さくする。また、階層境界決定部２０４は、決定された符号化ビットレートを用いて、境界周波数を決定する。
【００６９】
言い換えると、階層境界決定部２０４は、伝送経路４００の伝送容量に応じて、境界周波数を決定する。つまり、階層境界決定部２０４は、伝送容量が第１伝送容量の場合、境界周波数を第１周波数に決定し、伝送容量が、第１伝送容量より小さい第２伝送容量である場合、境界周波数を第１周波数より低い第２周波数に決定する。
【００７０】
また、階層境界決定部２０４は、境界周波数を示す境界情報２５５を生成し、生成した境界情報２５５を多重化部２０２へ出力する。
【００７１】
また、階層境界決定部２０４は、符号化ビットレート又は伝送容量に応じて、符号化対象の周波数帯域を変更してもよい。具体的は、階層境界決定部２０４は、符号化ビットレートが第１ビットレートである場合、低域信号２５１の第１周波数帯域を第１帯域に決定し、高域信号２５２の第２周波数帯域を第２帯域に決定する。また、階層境界決定部２０４は、符号化ビットレートが第１ビットレートより小さい第２ビットレートである場合、低域信号２５１の第１周波数帯域を第１帯域より狭い第３帯域に決定し、高域信号２５２の第２周波数帯域を第２帯域より狭い第４帯域に決定する。つまり、階層境界決定部２０４は、符号化ビットレートが小さいほど（伝送容量が小さいほど）、符号化対象の低域信号２５１及び高域信号２５２の周波数帯域を狭くする。なお、階層境界決定部２０４は、符号化ビットレート又は伝送容量に応じて、符号化対象の低域信号２５１及び高域信号２５２の一方の周波数帯域を狭くしてもよい。
【００７２】
次に、オーディオ信号復号装置３００の構成を説明する。
【００７３】
図７は本実施の形態に係るオーディオ信号復号装置３００の構成を示すブロック図である。図７に示すオーディオ信号復号装置３００は、分離部３０１と、階層復号部３０２とを備える。
【００７４】
分離部３０１は、伝送経路４００を介して受信された符号化オーディオ信号２６０から、低域符号化信号３５１と、高域符号化信号３５２と、境界情報３５３とを取得する。ここで、低域符号化信号３５１、高域符号化信号３５２、及び境界情報３５３は、オーディオ信号符号化装置２００における、低域符号化信号２５３、高域符号化信号２５４、及び境界情報２５５に対応する。つまり、低域符号化信号３５１は、入力オーディオ信号２５０に含まれる、境界周波数より低い第１周波数帯域の低域信号２５１が符号化されることで得られた信号である。高域符号化信号３５２は、入力オーディオ信号２５０に含まれる、境界周波数より高い第２周波数帯域の高域信号２５２が符号化されることで得られた信号である。また、境界情報３５３は、境界周波数を示す情報である。
【００７５】
階層復号部３０２は、境界情報３５３を用いて、低域符号化信号３５１及び高域符号化信号３５２を復号することで、復号オーディオ信号３５０を生成する。この階層復号部３０２は、低域信号復号部３１１と、高域信号復号部３１２と、合成部３１３とを備える。
【００７６】
低域信号復号部３１１は、境界情報３５３を用いて、低域符号化信号３５１を復号することで低域復号信号３５４を生成する。高域信号復号部３１２は、境界情報３５３を用いて、高域符号化信号３５２を復号することで高域復号信号３５５を生成する。なお、境界情報３５３は、低域信号復号部３１１及び高域信号復号部３１２のうち一方のみで用いられてもよい。
【００７７】
合成部３１３は、低域復号信号３５４と高域復号信号３５５とを合成することで、ＰＣＭ信号である復号オーディオ信号３５０を生成する。また、合成部３１３は、高域符号化信号３５２を取得できなかった場合、低域復号信号３５４を用いて復号オーディオ信号３５０を生成する。
【００７８】
以上のように構成されたオーディオ信号符号化装置２００及びオーディオ信号復号装置３００の動作について以下説明する。
【００７９】
まず、オーディオ信号符号化装置２００の動作を説明する。
【００８０】
分割部２１１は、入力オーディオ信号２５０を複数の周波数帯域の信号に分割する。例えば、分割部２１１は、入力オーディオ信号２５０を６４個の周波数帯域の分割信号に分割する。
【００８１】
次に、低域信号符号化部２１２は、分割部２１１によって生成された複数の分割信号のうち、低域側の複数の分割信号を符号化することで低域符号化信号２５３を生成する。すなわち、低域信号符号化部２１２は、６４個の分割信号のうち、周波数帯域が低い複数の分割信号（上記低域信号２５１に対応する）を符号化する。なお、低域信号符号化部２１２が、どの周波数帯域の信号を符号化するかは、階層境界決定部２０４で決定される。
【００８２】
一方、高域信号符号化部２１３は、分割部２１１によって生成された複数の分割信号のうち、高域側の複数の分割信号を符号化することで高域符号化信号２５４を生成する。すなわち、高域信号符号化部２１３は、６４個の分割信号のうち、周波数帯域が高い複数の分割信号（上記高域信号２５２に対応する）を符号化する。なお、高域信号符号化部２１３が、どの周波数帯域の信号を符号化するかは、階層境界決定部２０４で決定される。詳しい動作は後述する。
【００８３】
多重化部２０２は、低域符号化信号２５３と、高域符号化信号２５４と、境界情報２５５とを多重化することで、符号化オーディオ信号２６０を生成する。この符号化オーディオ信号２６０は、伝送経路４００を介して伝送される。ここで、上述したように、低域符号化信号２５３は優先度の高いレイヤーに配置され伝送され、高域符号化信号２５４は優先度の低いレイヤーに配置されて伝送される。これは、もし、伝送経路４００の伝送容量が逼迫した場合は、優先度の低いレイヤーに配置された高域符号化信号２５４を伝送しないようにするためである。
【００８４】
さてここで、伝送経路４００の伝送容量は変動するものであるので、伝送容量に余裕のある期間では、符号化オーディオ信号２６０のビットレートが高くても信号が高速に伝送されるので音途切れなどが生じない。よって、ビットレートが高くても問題がない。一方、伝送容量が逼迫している期間では、符号化オーディオ信号２６０のビットレートを低くしなくてはならない。そこで伝送容量推定部２０３は、そのように時々刻々変動する伝送経路４００の伝送容量を推定する。伝送容量を推定する方法は従来から知られているどのような方法でもよい。
【００８５】
階層境界決定部２０４は、伝送容量推定部２０３で推定された伝送容量に応じて、低域信号符号化部２１２で符号化する低域信号２５１の周波数帯域と、高域信号符号化部２１３で符号化する高域信号２５２の周波数帯域との境界である境界周波数を決定する。
【００８６】
図８は、この境界周波数の決定処理の概略を示す図である。
【００８７】
例えば、伝送容量が大きい場合は、図８の（ａ）に示すように、階層境界決定部２０４は、入力オーディオ信号２５０の再生帯域の１／２の周波数を境界周波数に決定する。また、伝送容量が小さい場合は、図８の（ｂ）に示すように、階層境界決定部２０４は、例えば、入力オーディオ信号２５０の再生帯域の１／３の周波数を境界周波数に決定する。伝送容量がさらに小さい場合は、図８の（ｃ）に示すように、階層境界決定部２０４は、例えば、入力オーディオ信号２５０の再生帯域の１／４の周波数を境界周波数に決定する。なお、ここで述べた１／２、１／３、１／４、の値は一例に過ぎず、伝送容量の大小の応じて適切に決定すればよい。
【００８８】
以下、低域信号符号化部２１２及び高域信号符号化部２１３の動作を詳しく説明する。まず、低域信号符号化部２１２の動作の具体例を説明する。
【００８９】
低域信号符号化部２１２は、境界周波数が、再生帯域の１／２の周波数である場合は、分割部２１１によって生成された６４個の分割信号のうち、低い方の３２個の分割信号を符号化する。符号化する方法はどのような方法でもよいが、例えば、低域信号符号化部２１２は、３２個の分割信号を帯域合成することで時間軸信号を生成し、生成された時間軸信号をＭＰＥＧ規格ＡＡＣ方式で符号化する。
【００９０】
また、境界周波数が、再生帯域の１／３の周波数である場合は、低域信号符号化部２１２は、６４個の分割信号のうち、低い方の２１個分に当たる帯域の信号を符号化する。その方法はどのような方法でもよいが、例えば、低域信号符号化部２１２は、境界周波数が、再生帯域の１／２の周波数である場合と同様に、低域の３２個の分割信号を帯域合成することで時間軸信号を生成する。そして、低域信号符号化部２１２は、生成された時間軸信号をＭＰＥＧ規格ＡＡＣ方式で符号化する。ここで、３２個の分割信号が帯域合成されたので、生成された時間軸信号の周波数帯域は元の入力オーディオ信号２５０の周波数帯域の１／２である。よって、低域信号符号化部２１２は、時間軸信号の帯域のうち２／３の帯域の信号をＡＡＣ方式で符号化する。ＡＡＣ方式では、入力された信号の任意の周波数帯域を符号化できるのでその機能を用いる。
【００９１】
さらに、境界周波数が、再生帯域の１／４の周波数である場合は、低域信号符号化部２１２は、６４個の分割信号のうち、低い方の１６個分に当たる帯域の信号を符号化する。その方法はどのような方法でもよいが、例えば、低域信号符号化部２１２は、境界周波数が、再生帯域の１／２の周波数である場合と同様に、低域の３２個の分割信号を帯域合成することで時間軸信号を生成する。そして、低域信号符号化部２１２は、生成された時間軸信号をＭＰＥＧ規格ＡＡＣ方式で符号化する。ここで、３２個の分割信号が帯域合成されたので、生成された時間軸信号の周波数帯域は元の入力オーディオ信号２５０の周波数帯域の１／２である。よって、低域信号符号化部２１２は、時間軸信号の帯域の１／２の帯域の信号をＡＡＣ方式で符号化する。上述したように、ＡＡＣ方式では、入力された信号の任意の周波数帯域を符号化できるのでその機能を用いる。
【００９２】
次に、高域信号符号化部２１３の動作の具体例を説明する。
【００９３】
高域信号符号化部２１３は、境界周波数が、再生帯域の１／２の周波数である場合は、６４個の分割信号のうち、高い方の３２個の分割信号を符号化する。符号化する方法はどのような方法でもよいが、例えば、高域信号符号化部２１３は、ＳＢＲ（Ｓｐｅｃｔｒａｌ  Ｂａｎｄ  Ｒｅｐｌｉｃａｔｉｏｎ）技術を用いる。ＳＢＲ技術は、低域の周波数信号を高域にコピーし整形することで、少ないビットレートで広帯域の信号を符号化する技術であり、ＨＥＡＡＣ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ  Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）方式として規格化されている。本実施の形態においては、高域信号符号化部２１３は、前述の、ＡＡＣ方式で符号化された低域信号２５１を低域信号として用いて、その周波数信号をコピーし整形する方法で高域信号２５２を符号化する。すなわち、高域信号符号化部２１３は、低域信号２５１のどの帯域の信号をコピーするか、及びどのように整形するかを示す情報を符号化することで、高域信号２５２を少ない符号量で符号化できる。
【００９４】
また、高域信号符号化部２１３は、境界周波数が、再生帯域の１／３の周波数である場合は、６４個の分割信号のうち、低い方から２１個分に当たる帯域より高い帯域の信号を符号化する。つまり、高域信号符号化部２１３は、６４個の分割信号のうち、高い方から４３個分に当たる帯域の信号を符号化する。この符号化の方法はどのような方法でもよいが、ここでもＳＢＲ技術を用いてもよい。本実施の形態においては、高域信号符号化部２１３は、前述の、ＡＡＣ方式で符号化された低域信号２５１（２１個分に当たる帯域の信号）を低域信号として用い、当該低域信号をコピーし整形することで高域信号２５２を符号化する。この場合、必ずしも高域側の４３個分に当たる分割信号が符号化される必要はなく、もともとの入力オーディオ信号２５０の周波数帯域の２／３程度をカバーする信号が符号化されてもよい。
【００９５】
また、高域信号符号化部２１３は、境界周波数が、再生帯域の１／４の周波数である場合は、６４個の分割信号のうち、低い方から１６個分に当たる帯域より高い帯域の信号を符号化する。つまり、高域信号符号化部２１３は、６４個の分割信号のうち、高い方から４８個分に当たる帯域の信号を符号化する。この符号化の方法はどのような方法でもよいが、ここでもＳＢＲ技術を用いてもよい。本実施の形態においては、高域信号符号化部２１３は、前述の、ＡＡＣ方式で符号化された低域信号２５１（１６個分に当たる帯域の信号）を低域信号として用い、当該低域信号をコピーし整形することで高域信号を符号化する。この場合、必ずしも高域側の４８個分に当たる分割信号が符号化される必要はなく、もともとの入力オーディオ信号２５０の周波数帯域の１／２程度をカバーする信号が符号化されてもよい。
【００９６】
本実施の形態では、階層境界決定部２０４で生成される境界情報２５５は、どの帯域をＡＡＣで符号化し、どの帯域をＳＢＲ技術で符号化するかを示す情報である。この境界情報２５５は、復号側で必要となるので、多重化部２０２は、この境界情報２５５を多重化することで符号化オーディオ信号２６０を生成する。
【００９７】
そして、この符号化オーディオ信号２６０は、伝送経路４００を介して伝送される。
【００９８】
次に、オーディオ信号復号装置３００の動作を説明する。
【００９９】
分離部３０１は、伝送経路４００を介して伝送された符号化オーディオ信号２６０を、低域信号が符号化されることにより得られた低域符号化信号３５１と、高域信号が符号化されることにより得られた高域符号化信号３５２と、境界情報３５３とに分離する。
【０１００】
低域信号復号部３１１は、低域符号化信号３５１を復号することで低域復号信号３５４を生成する。高域信号復号部３１２は、高域符号化信号３５２を復号することで高域復号信号３５５を生成する。このとき低域信号復号部３１１及び高域信号復号部３１２は、階層境界を示す境界情報３５３から、低域と高域と境界がどこにあるかの情報を得る。
【０１０１】
合成部３１３は、低域復号信号３５４と高域復号信号３５５とを合成することで、ＰＣＭ信号である復号オーディオ信号３５０を生成する。
【０１０２】
図９は、上記のような一連の処理によって生成される符号化オーディオ信号２６０の符号量の遷移（図９の（ａ））と、復号側で再生される復号オーディオ信号３５０の周波数帯域の遷移（図９の（ｂ））との一例を示す図である。
【０１０３】
時間帯１では、伝送経路４００の伝送容量に余裕があり（伝送容量大）、低域符号化信号２５３にも高域符号化信号２５４にも十分に符号量が割り当てられている。前述したように、低域符号化信号２５３はＡＡＣで符号化され、高域符号化信号２５４はＳＢＲ技術で符号化されているので、低域符号化信号２５３の符号量は多いが、高域符号化信号２５４の符号量は少ない。また、図９の（ｂ）に示すように、オーディオ信号復号装置３００は、全帯域の信号を再生できる。
【０１０４】
時間帯２では、伝送経路４００の伝送容量が逼迫してきている状態である（伝送容量中）。この場合、オーディオ信号符号化装置２００は、階層境界（境界周波数）を少しさげることで、低域符号化信号２５３の符号量を削減する。低域符号化信号２５３の符号量はもともと大きいので、階層境界を少しさげるだけで、多くの符号量が削減される。一方、高域符号化信号２５４の符号量はもともと少ないので時間帯２においても十分に符号量が割り当てられている。この結果、図９の（ｂ）に示すように、オーディオ信号復号装置３００で再生される信号の再生帯域が大きく損なわれることはない。例えば、図４に示す例と比較する。図４の伝送容量小の期間では、再生帯域は通常時（伝送容量大）の半分程度である。一方、図９に示す時間帯２では、符号量の合計が図４と同様であるにもかかわらず、再生帯域は通常時の半分以上である。つまり、ビットレートが下がった場合の再生帯域の減少が低減されている。
【０１０５】
時間帯３では、伝送経路４００の伝送容量がさらに逼迫してきている状態である（伝送容量小）。この場合、オーディオ信号符号化装置２００は、階層境界をさらに少しさげることで、低域符号化信号２５３の符号量を削減する。低域符号化信号２５３の符号量はもともと大きいので、階層境界をさらにさげることで、多くの符号量が削減される。一方、高域符号化信号２５４の符号量はもともと少ないが、時間帯３では、この高域符号化信号２５４の符号量もやや削減する。これは、ＳＢＲ技術が参照する低域信号の帯域が狭くなっているので、高域符号化信号２５４に多くの符号量を割り当ててもあまり意味がないからである。この結果、図９の（ｂ）に示すように、オーディオ信号復号装置３００で再生される信号の再生帯域が大きく損なわれることはない。例えば、図４に示す例と比較すると、図９に示す時間帯３では、再生帯域は図４と同様であるにもかかわらず、符号量の合計が図４よりも小さくなっている。つまり、ビットレートが下がった場合の再生帯域の減少が低減されている。
【０１０６】
時間帯４では、伝送経路４００の伝送容量がさらに逼迫し、その結果として、実際の伝送容量が、伝送容量推定部２０３で推定された伝送容量より小さくなっている。
【０１０７】
ここで、上述したように、伝送経路４００は、伝送量が所定の値を上回った場合、優先順位の低い階層の信号を破棄する機能を有している。従って、この場合は、優先度の低いレイヤー配置されて伝送されている高域符号化信号２５４が破棄される。この場合、オーディオ信号復号装置３００に含まれる高域信号復号部３１２は、高域復号信号３５５としてゼロ信号を生成するか、高域信号を模擬したような信号を生成する。この結果、図９の（ｂ）に示すように、オーディオ信号復号装置３００で再生される信号の再生帯域が損なわれるが、伝送容量の逼迫による音途切れなどは発生しない。
【０１０８】
以下、オーディオ信号符号化装置２００及びオーディオ信号復号装置３００による処理の流れを説明する。
【０１０９】
図１０は、オーディオ信号符号化装置２００によるオーディオ信号符号化処理のフローチャートである。
【０１１０】
まず、伝送容量推定部２０３は、伝送経路４００の伝送容量を推定する（Ｓ１０１）。
【０１１１】
次に、階層境界決定部２０４は、推定された伝送容量に応じて、階層符号化部２０１が符号化に用いる符号化ビットレートを決定する（Ｓ１０２）。また、階層境界決定部２０４は、決定した符号化ビットレートを用いて階層境界（境界周波数）を決定する（Ｓ１０３）。また、階層境界決定部２０４は、決定した階層境界を示す境界情報２５５を生成する。
【０１１２】
次に、分割部２１１は、入力オーディオ信号２５０を、ステップＳ１０３で決定された階層境界で分割することで、低域信号２５１及び高域信号２５２を生成する（Ｓ１０４）。
【０１１３】
次に、低域信号符号化部２１２は、低域信号２５１を符号化することで低域符号化信号２５３を生成する。また、高域信号符号化部２１３は、高域信号２５２を符号化することで高域符号化信号２５４を生成する（Ｓ１０５）。
【０１１４】
次に、多重化部２０２は、低域符号化信号２５３、高域符号化信号２５４及び境界情報２５５を多重化することで符号化オーディオ信号２６０を生成する（Ｓ１０６）。最後に、多重化部２０２は、生成された符号化オーディオ信号２６０を、伝送経路４００を介して、伝送する（Ｓ１０７）。
【０１１５】
図１１は、オーディオ信号復号装置３００によるオーディオ信号復号処理のフローチャートである。
【０１１６】
まず、分離部３０１は、伝送経路４００を介して伝送された符号化オーディオ信号２６０を受信する（Ｓ２０１）。
【０１１７】
次に、分離部３０１は、符号化オーディオ信号２６０に高域符号化信号３５２が含まれているか否かを判定する（Ｓ２０２）。
【０１１８】
符号化オーディオ信号２６０に高域符号化信号３５２が含まれている場合（Ｓ２０２でＹｅｓ）、分離部３０１は、符号化オーディオ信号２６０に含まれている低域符号化信号３５１、高域符号化信号３５２及び境界情報３５３を取得する（Ｓ２０３）。
【０１１９】
次に、階層復号部３０２は、境界情報３５３で示される階層境界（境界周波数）を用いて、低域符号化信号３５１及び高域符号化信号３５２を復号することで低域復号信号３５４及び高域復号信号３５５を生成する（Ｓ２０４）。
【０１２０】
次に、合成部３１３は、低域復号信号３５４と高域復号信号３５５を合成することで復号オーディオ信号３５０を生成する（Ｓ２０５）。
【０１２１】
一方、符号化オーディオ信号２６０に高域符号化信号３５２が含まれていない場合（Ｓ２０２でＮｏ）、分離部３０１は、符号化オーディオ信号２６０に含まれている低域符号化信号３５１を取得する（Ｓ２０６）。
【０１２２】
次に、階層復号部３０２は、低域符号化信号３５１を復号することで低域復号信号３５４を生成する（Ｓ２０７）。
【０１２３】
次に、合成部３１３は、低域復号信号３５４を用いて復号オーディオ信号３５０を生成する（Ｓ２０８）。
【０１２４】
以上のように、本実施の形態に係るオーディオ信号符号化装置２００は、伝送経路４００の伝送容量に応じて、分割に用いる境界周波数を変更する。具体的には、当該オーディオ信号符号化装置２００は、伝送容量が大きい場合には、境界周波数を高く設定し、伝送容量が小さい場合には、境界周波数を低く設定する。これにより、オーディオ信号符号化装置２００は、伝送経路４００の伝送容量の変動に適切に対応できる。
【０１２５】
このように、周波数帯域を分離して符号化する階層符号化を伝送経路４００の伝送容量が時々刻々変動する環境で用いた場合でも、オーディオ信号符号化装置２００は、伝送容量に応じて符号化ビットレートを切り替えることができる。また、オーディオ信号符号化装置２００は、符号化ビットレートが低くなった場合の、再生帯域の減少を抑制できる。さらに、オーディオ信号符号化装置２００は、伝送経路４００の伝送容量がさらに逼迫した場合でも、高域信号を破棄することでビットレートを削減することができる。
【０１２６】
（実施の形態２）
上記実施の形態１では、特に入力オーディオ信号２５０のチャネル数は限定しなかった。入力オーディオ信号２５０は、１ｃｈ信号であっても、２ｃｈ信号であっても、５．１ｃｈ信号であっても、７．１ｃｈ信号であっても、その他いかなるチャネル数であってもよい。この場合、各チャネルの信号に対して上述した処理を実施すればよい。
【０１２７】
一方、伝送経路の伝送容量の変動への追従をさらに強めるために、つまり、伝送容量がさらに逼迫した場合でも音途切れが発生しないようにするために、チャネル間の相関を用いてダウンミックスされた信号をアップミックスする技術を適用してもよい。
【０１２８】
本実施の形態では、このようなダウンミックス及びアップミックスを用いる場合について説明する。
【０１２９】
図１２は、本実施の形態に係るオーディオ信号符号化装置２００Ａのブロック図である。なお、図６と同様の要素には同一の符号を付しており、以下では、実施の形態１との相違点を主に説明する。
【０１３０】
図１２に示すオーディオ信号符号化装置２００Ａは、図６に示すオーディオ信号符号化装置２００の構成に加え、チャネル間相関検出部２２１と、ダウンミックス部２２２とを備える。また、多重化部２０２Ａの機能が多重化部２０２と異なる。
【０１３１】
このオーディオ信号符号化装置２００Ａは、入力オーディオ信号２５０Ａを符号化することで符号化オーディオ信号２６０Ａを生成する。入力オーディオ信号２５０Ａは、Ｎ（Ｎは２以上の整数）チャネルのオーディオ信号であり、例えば、７．１ｃｈ信号又は５．１ｃｈ信号である。
【０１３２】
チャネル間相関検出部２２１は、Ｎチャネルの入力オーディオ信号２５０Ａのチャネル間の位相差及びレベル比を検出し、当該位相差及びレベル比を示すチャネル間相関情報２７１を生成する。
【０１３３】
ダウンミックス部２２２は、チャネル間相関情報２７１を用いて、Ｎチャネルの入力オーディオ信号２５０ＡをＮより小さいＭチャネルの信号にダウンミックスすることでダウンミックス信号２７２を生成する。例えば、ダウンミックス部２２２は、７．１ｃｈ信号又は５．１ｃｈ信号を、２ｃｈ信号又は１ｃｈ信号にダウンミックスする。なお、ダウンミックス部２２２は、２ｃｈ信号を１ｃｈ信号にダウンミックスしてもよい。
【０１３４】
チャネル間相関情報２７１は、チャネル間の位相差情報又はゲイン比情報などであり、例えば、ＭＰＥＧ規格ＭＰＥＧサラウンド方式で規格化されているような情報である。
【０１３５】
なお、階層符号化部２０１の動作は、上述した入力オーディオ信号２５０を、ダウンミックス信号２７２に置き換えた場合と同様である。
【０１３６】
多重化部２０２Ａは、低域符号化信号２５３、高域符号化信号２５４及び境界情報２５５に加え、チャネル間相関情報２７１を多重化することで符号化オーディオ信号２６０Ａを生成する。
【０１３７】
図１３は、この符号化オーディオ信号２６０Ａを復号するオーディオ信号復号装置３００Ａのブロック図である。なお、図７と同様の要素には同一の符号を付しており、以下では、実施の形態１との相違点を主に説明する。
【０１３８】
図１３に示すオーディオ信号復号装置３００Ａは、図７に示すオーディオ信号復号装置３００の構成に加え、アップミックス部３２１を備える。また、分離部３０１Ａの機能が分離部３０１と異なる。
【０１３９】
このオーディオ信号復号装置３００Ａは、符号化オーディオ信号２６０Ａを復号することで復号オーディオ信号３５０Ａを生成する。
【０１４０】
分離部３０１Ａは、上記分離部３０１の機能に加え、符号化オーディオ信号２６０Ａからチャネル間相関情報３６１を分離し、当該チャネル間相関情報３６１をアップミックス部３２１へ送る。このチャネル間相関情報３６１は、オーディオ信号符号化装置２００Ａで生成されたチャネル間相関情報２７１に相当する。
【０１４１】
アップミックス部３２１は、チャネル間相関情報２７１が示すチャネル間の位相差情報又はゲイン比情報などを用いて、Ｍチャネルの復号オーディオ信号３５０をＭより大きいＮチャネルの復号オーディオ信号３５０Ａにアップミックスする。このアップミックスの方法は、例えばＭＰＥＧ規格ＭＰＥＧサラウンド方式で規格化されている方法である。
【０１４２】
ここで、多重化部２０２Ａは、チャネル間相関情報２７１を、高域符号化信号２５４と同様に、優先度の低いレイヤーに配置する。こうすることで、仮に伝送経路４００の伝送容量が逼迫した場合に、チャネル間相関情報２７１を欠落させることによってさらにビットレートを削減できる。これにより、チャネル数のアップミックスすることはできなくなるものの、音途切れの発生を回避できる。
【０１４３】
以下、オーディオ信号符号化装置２００Ａ及びオーディオ信号復号装置３００Ａによる処理の流れを説明する。
【０１４４】
図１４は、オーディオ信号符号化装置２００Ａによるオーディオ信号符号化処理のフローチャートである。なお、図１０と同様の処理には同一の符号を付しており、以下では、実施の形態１との相違点を主に説明する。
【０１４５】
図１４に示す処理は、図１０に示す処理に対して、ステップＳ１１１及びＳ１１２が追加されている。また、ステップＳ１０６ＡがステップＳ１０６と異なる。
【０１４６】
まず、チャネル間相関検出部２２１は、Ｎチャネルの入力オーディオ信号２５０Ａのチャネル間の位相差及びレベル比を検出し、当該位相差及びレベル比を示すチャネル間相関情報２７１を生成する（Ｓ１１１）。
【０１４７】
次に、ダウンミックス部２２２は、チャネル間相関情報２７１を用いて、Ｎチャネルの入力オーディオ信号２５０ＡをＮより小さいＭチャネルの信号にダウンミックスすることでダウンミックス信号２７２を生成する（Ｓ１１２）。なお、ステップＳ１０１〜Ｓ１０５は、図１０と同様である。
【０１４８】
次に、多重化部２０２Ａは、低域符号化信号２５３、高域符号化信号２５４、境界情報２５５、及びチャネル間相関情報２７１を多重化することで符号化オーディオ信号２６０Ａを生成する（Ｓ１０６Ａ）。
【０１４９】
図１５は、オーディオ信号復号装置３００Ａによるオーディオ信号復号処理のフローチャートである。なお、図１１と同様の処理には同一の符号化を付しており、以下では、実施の形態１との相違点を主に説明する。
【０１５０】
図１５に示す処理は、図１１に示す処理に対して、ステップＳ２１０が追加されている。また、ステップＳ２０３ＡがステップＳ２０３と異なる。
【０１５１】
符号化オーディオ信号２６０Ａに高域符号化信号３５２が含まれている場合（Ｓ２０２でＹｅｓ）、分離部３０１は、符号化オーディオ信号２６０に含まれている低域符号化信号３５１、高域符号化信号３５２、境界情報３５３及びチャネル間相関情報３６１を取得する（Ｓ２０３Ａ）。なお、ステップＳ２０４及びＳ２０５は、図１１と同様である。
【０１５２】
次に、アップミックス部３２１は、チャネル間相関情報３６１を用いて、Ｍチャネルの復号オーディオ信号３５０をアップミックスすることでＮチャネルの復号オーディオ信号３５０Ａを生成する（Ｓ２１０）。
【０１５３】
以上、本開示の実施の形態に係るオーディオ信号符号化装置及びオーディオ信号復号装置について説明したが、本開示は、この実施の形態に限定されるものではない。
【０１５４】
また、上記実施の形態に係るオーディオ信号符号化装置及びオーディオ信号復号装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１５５】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１５６】
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１５７】
さらに、本開示は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１５８】
また、上記実施の形態１及び２に係る、オーディオ信号符号化装置、オーディオ信号復号装置及びそれらの変形例の機能のうち少なくとも一部を組み合わせてもよい。
【０１５９】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。
【０１６０】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０１６１】
また、上記オーディオ信号符号化方法又はオーディオ信号復号方法に含まれるステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０１６２】
更に、本開示の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本開示に含まれる。
【産業上の利用可能性】
【０１６３】
本開示は、オーディオ信号符号化装置及びオーディオ信号復号装置に適用できる。また、本開示は、デジタルネットワークを用いたＡＶ信号の伝送機器又は受信機器に好適である。
【符号の説明】
【０１６４】
１００、６００  オーディオ信号伝送システム
２００、２００Ａ、５００、７００  オーディオ信号符号化装置
２０１  階層符号化部
２０２、２０２Ａ、７０２  多重化部
２０３、５０２  伝送容量推定部
２０４  階層境界決定部
２１１、７１１  分割部
２１２、７１２  低域信号符号化部
２１３、７１３  高域信号符号化部
２２１  チャネル間相関検出部
２２２  ダウンミックス部
２５０、２５０Ａ、５１０、７５０  入力オーディオ信号
２５１、７５１  低域信号
２５２、７５２  高域信号
２５３、３５１、７５３、８５１  低域符号化信号
２５４、３５２、７５４、８５２  高域符号化信号
２５５、３５３  境界情報
２６０、２６０Ａ、５１１、７６０  符号化オーディオ信号
２７１、３６１  チャネル間相関情報
２７２  ダウンミックス信号
３００、３００Ａ、８００  オーディオ信号復号装置
３０１、３０１Ａ、８０１  分離部
３０２  階層復号部
３１１、８１１  低域信号復号部
３１２、８１２  高域信号復号部
３１３、８１３  合成部
３２１  アップミックス部
３５０、３５０Ａ、８５０  復号オーディオ信号
３５４、８５４  低域復号信号
３５５、８５５  高域復号信号
４００、５０４、９００  伝送経路
５０１  マルチレート符号化部
５０３  符号化方式選択部
【図１】
2014068817.tif 000003
【図２】
2014068817.tif 000004
【図３】
2014068817.tif 000005
【図４】
2014068817.tif 000006
【図５】
2014068817.tif 000007
【図６】
2014068817.tif 000008
【図７】
2014068817.tif 000009
【図８】
2014068817.tif 000010
【図９】
2014068817.tif 000011
【図１０】
2014068817.tif 000012
【図１１】
2014068817.tif 000013
【図１２】
2014068817.tif 000014
【図１３】
2014068817.tif 000015
【図１４】
2014068817.tif 000016
【図１５】
2014068817.tif 000017
【国際調査報告】
2014068817.tif 000018
2014068817.tif 000019
2014068817.tif 000020
2014068817.tif 000021
2014068817.tif 000022
2014068817.tif 000023
2014068817.tif 000024