(57)【要約】  マルチチャンネル音響符号化装置およびマルチチャンネル音響復号化装置の遅延を削減する。音響符号化装置は、入力されたマルチチャンネル音響信号を時間領域上で１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部（４１０）と、第１ダウンミックス信号を符号化するダウンミックス信号符号化部（４０４）と、入力されたマルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部（４０１）と、周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する空間情報を生成する空間情報算出部（４０９）とを備える。
2010013450.tif 000002
【特許請求の範囲】
【請求項１】
入力されたマルチチャンネル音響信号を符号化する音響符号化装置であって、
入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、
入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部とを備える
音響符号化装置。
【請求項２】
前記音響符号化装置は、さらに、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、
前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備える
請求項１記載の音響符号化装置。
【請求項３】
前記音響符号化装置は、さらに、
前記ダウンミックス補償情報と前記空間情報を同一の符号化列に格納する重畳装置を備える
請求項２記載の音響符号化装置。
【請求項４】
前記ダウンミックス補償回路は、前記ダウンミックス補償情報として信号のパワー比を算出する
請求項２記載の音響符号化装置。
【請求項５】
前記ダウンミックス補償回路は、前記ダウンミックス補償情報として信号の差分を算出する
請求項２記載の音響符号化装置。
【請求項６】
前記ダウンミックス補償回路は、前記ダウンミックス補償情報として予測フィルタ係数を算出する
請求項２記載の音響符号化装置。
【請求項７】
受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置であって、
受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、
前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、
前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、
前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える
音響復号化装置。
【請求項８】
前記音響復号化装置は、さらに、
前記データ部に含まれる符号化されたダウンミックス信号を逆量子化することにより、周波数領域のダウンミックス信号を生成するダウンミックス中間復号化部と、
前記ダウンミックス中間復号化部により生成された周波数領域のダウンミックス信号を時間軸方向にも成分を持つ周波数領域のダウンミックス信号に変換する領域変換部とを備え、
前記ダウンミックス調整回路は、前記領域変換部により変換された周波数領域のダウンミックス信号を、前記ダウンミックス補償情報により調整する
請求項７記載の音響復号化装置。
【請求項９】
前記ダウンミックス調整回路は、前記ダウンミックス補償情報として信号のパワー比を取得し、前記ダウンミックス信号に前記パワー比を乗算することにより、前記ダウンミックス信号を調整する
請求項７記載の音響復号化装置。
【請求項１０】
前記ダウンミックス調整回路は、前記ダウンミックス補償情報として信号の差分を取得し、前記ダウンミックス信号に前記差分を加算することにより、前記ダウンミックス信号を調整する
請求項７記載の音響復号化装置。
【請求項１１】
前記ダウンミックス調整回路は、前記ダウンミックス補償情報として予測フィルタ係数を取得し、前記ダウンミックス信号に前記予測フィルタ係数を用いた予測フィルタを施すことにより、前記ダウンミックス信号を調整する
請求項７記載の音響復号化装置。
【請求項１２】
入力されたマルチチャンネル音響信号を符号化する音響符号化部と、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化部とを備える音響符号化復号化装置であって、
前記音響符号化部は、
入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、
入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部と、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、
前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備え、
前記音響復号化部は、
受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、
前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、
前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、
前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える
音響符号化復号化装置。
【請求項１３】
入力されたマルチチャンネル音響信号を符号化する音響符号化装置と、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置とを備える会議システムであって、
前記音響符号化装置は、
入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、
入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部と、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、
前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備え、
前記音響復号化装置は、
受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、
前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、
前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、
前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える
会議システム。
【請求項１４】
入力されたマルチチャンネル音響信号を符号化する音響符号化方法であって、
入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成ステップと、
前記ダウンミックス信号生成ステップにより生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化ステップと、
入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換ステップと、
前記第１ｔ−ｆ変換ステップにより変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出ステップとを含む
音響符号化方法。
【請求項１５】
受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化方法であって、
受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離ステップと、
前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整ステップと、
前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整ステップにより調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成ステップと、
前記マルチチャンネル信号生成ステップにより生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換ステップとを含む
音響復号化方法。
【請求項１６】
入力されたマルチチャンネル音響信号を符号化する音響符号化装置のためのプログラムであって、
請求項１４記載の音響符号化方法に含まれるステップをコンピュータに実行させる
プログラム。
【請求項１７】
受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置のためのプログラムであって、
請求項１５記載の音響復号化方法に含まれるステップをコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャンネル音響符号化技術およびマルチチャンネル音響復号化技術において、より低遅延な符号化処理および復号化処理を実現する装置に関する。この技術の応用として、本発明は、ホームシアターシステム、車載音響システム、電子ゲームシステム、会議システム、および、携帯電話などに適用可能である。
【背景技術】
【０００２】
マルチチャンネル音響信号を符号化する方式には、ドルビーデジタル方式、および、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）方式などが存在する。これらの符号化方式は、基本的にマルチチャンネル音響信号における各チャンネルの音響信号を別々に符号化することでマルチチャンネル音響信号の伝送を実現している。これらの符号化方式は、離散マルチチャンネル符号化と呼ばれ、５．１チャンネルをあわせて実用的にはビットレートが３８４ｋｂｐｓ程度を下限として、符号化することができる。【０００３】
一方、全く異なる方法でマルチチャンネル音響信号を符号化して伝送するスペーシャルオーディオ符号化技術（ＳＡＣ：Ｓｐａｔｉａｌ−Ｃｕｅ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）がある。ＳＡＣ方式の一例としてＭＰＥＧサラウンド方式がある。ＭＰＥＧサラウンド方式は、非特許文献１に記載されているように、マルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスして、その１または２チャンネルの音響信号であるダウンミックス信号をＭＰＥＧ−ＡＡＣ方式（非特許文献２）、および、ＨＥ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ）−ＡＡＣ方式（非特許文献３）などで符号化することにより、ダウンミックス符号化列を生成し、同時に各チャンネル間の信号から生成する空間情報（ＳｐａｔｉａｌＣｕｅ）を前記ダウンミックス符号化列に付加する方式である。【０００４】
空間情報（ＳｐａｔｉａｌＣｕｅ）には、ダウンミックス信号ともとの入力の各チャンネル信号の相関値、パワー比および位相の差異などの関係を示す情報であって、ダウンミックス信号をマルチチャンネル音響信号に分離するチャンネル分離情報が含まれている。それを元に音響復号化装置では、符号化されたダウンミックス信号を復号化し、続いて復号化されたダウンミックス信号と空間情報（ＳｐａｔｉａｌＣｕｅ）からマルチチャンネル音響信号を生成する。このようにしてマルチチャンネル音響信号の伝送が実現するのである。【０００５】
ＭＰＥＧサラウンド方式で用いる空間情報（ＳｐａｔｉａｌＣｕｅ）は非常に小さい情報量であるため、１または２チャンネルのダウンミックス符号化列に対して情報量の増大が最小限に抑えられる。したがって、ＭＰＥＧサラウンド方式では、１または２チャンネルの音響信号と同程度の情報量でマルチチャンネル音響信号が符号化できるため、ＭＰＥＧ−ＡＡＣ方式およびドルビーデジタル方式に比べ少ないビットレートでマルチチャンネル音響信号を伝送できる。【０００６】
例えば、低ビットレートで高音質な符号化方式の有用な応用例の一つに臨場感通信システムがあげられる。一般的に臨場感通信システムでは、２つ以上の拠点が双方向通信にて相互に接続される。そして、各拠点は、符号化データを相互に送受信し合い、各拠点に設置された音響符号化装置および音響復号化装置は、送受信されるデータを符号化および復号化する。【０００７】
図７は、従来例における多拠点会議システムの構成図であって、３つの拠点で会議を行う場合における音響信号符号化処理および音響信号復号化処理の一例を示している。【０００８】
図７では、各拠点（拠点１〜３）は、それぞれ音響符号化装置と音響復号化装置とを備え、音響信号をある特定幅を持った通信経路でやりとりすることで、音響信号の双方向通信を実現している。【０００９】
つまり、拠点１は、マイクロフォン１０１、マルチチャンネル符号化装置１０２、拠点２に対応するマルチチャンネル復号化装置１０３、拠点３に対応するマルチチャンネル復号化装置１０４、レンダリング装置１０５、スピーカ１０６およびエコーキャンセラー１０７を備える。拠点２は、拠点１に対応するマルチチャンネル復号化装置１１０、拠点３に対応するマルチチャンネル復号化装置１１１、レンダリング装置１１２、スピーカ１１３、エコーキャンセラー１１４、マイクロフォン１０８およびマルチチャンネル符号化装置１０９を備える。拠点３は、マイクロフォン１１５、マルチチャンネル符号化装置１１６、拠点２に対応するマルチチャンネル復号化装置１１７、拠点１に対応するマルチチャンネル復号化装置１１８、レンダリング装置１１９、スピーカ１２０およびエコーキャンセラー１２１を備える。【００１０】
各拠点の装置には、会議システムの通話で発生するエコーを抑圧するためのエコーキャンセラーを備えている場合が多い。また、各拠点の装置が、マルチチャンネル音響信号を送受信できるような装置である場合には、マルチチャンネル音響信号をさまざまな方向に定位させることが出来るように、各拠点に頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ−Ｒｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）を用いたレンダリング装置を備える場合もある。【００１１】
例えば、拠点１では、マイクロフォン１０１は、音響信号を収音し、マルチチャンネル符号化装置１０２は、所定のビットレートに符号化を行う。その結果、音響信号は、ビットストリームｂｓ１へと変換され、拠点２と拠点３へ送信される。送信されたビットストリームｂｓ１は、マルチチャンネル音響信号の復号化に対応したマルチチャンネル復号化装置１１０でマルチチャンネル音響信号へと復号化される。レンダリング装置１１２は、復号化されたマルチチャンネル音響信号をレンダリングする。スピーカ１１３は、レンダリングされたマルチチャンネル音響信号を再生する。【００１２】
同様に拠点３では、マルチチャンネル復号化装置１１８は、符号化されたマルチチャンネル音響信号を復号化し、レンダリング装置１１９は、復号化したマルチチャンネル音響信号をレンダリングし、スピーカ１２０は、レンダリングされたマルチチャンネル音響信号を再生する。【００１３】
なお、拠点１が送信側であり、拠点２および拠点３が受信側である場合を説明したが、拠点２が送信側であり、拠点１および拠点３が受信側になる場合もあるし、拠点３が送信側であり、拠点１および拠点２が受信側になる場合もある。これらの処理が常に同時並行的に繰り返されることで臨場感通信システムが成立しているのである。【００１４】
臨場感通信システムの主目的は、臨場感あふれる会話を実現することである。そのため、相互に接続されたどの２つの拠点間においても、双方向通信における違和感を低減することが必要となる。また、一方、双方向通信における通信コストも課題となる。【００１５】
違和感の少ない安価な双方向通信を実現するには、いくつかの要求項目を満たす必要がある。音響信号を符号化する方式については、（１）音響符号化装置および音響復号化装置の処理時間が小さいこと、すなわち、符号化方式のアルゴリズム遅延が小さいこと、（２）低ビットレートで伝送可能であること、（３）高音質を満たすことが必要となる。【００１６】
ＭＰＥＧ−ＡＡＣ方式およびドルビーデジタル方式などの方式では、ビットレートを下げると極端に音質劣化が生じるため、臨場感を伝える音質を維持しつつ安価な通信コストを実現することは困難である。その点、ＭＰＥＧサラウンド方式を初めとするＳＡＣ方式は、音質を維持したまま伝送ビットレートを小さくすることが可能であり、安価な通信コストで臨場感通信システムを実現するには、比較的適した符号化方式である。【００１７】
特に、ＳＡＣ方式の中でも音質が良いＭＰＥＧサラウンド方式の主たるアイデアは、入力信号の空間情報（ＳｐａｔｉａｌＣｕｅ）を少ない情報量のパラメータで表現し、１または２チャンネルにダウンミックスされて伝送されたダウンミックス信号と前記パラメータを用いて、マルチチャンネル音響信号を合成することである。伝送する音響信号のチャンネル数を削減することによってＳＡＣ方式はビットレートを低くすることが可能となり、臨場感通信システムで重要な２点目の項目、すなわち、低ビットレートで伝送可能であることを満たす。ＭＰＥＧ−ＡＡＣ方式およびドルビーデジタル方式などの従来例におけるマルチチャンネル符号化方式と比較して、ＳＡＣ方式では、同じビットレートにおいて、特に５．１チャンネルで１９２ｋｂｐｓなどの超低ビットレートにおいて、より高音質な伝送が可能となる。【００１８】
従って、臨場感通信システムに対してＳＡＣ方式は有用な解決手段となる。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】ＩＳＯ／ＩＥＣ−２３００３−１
【非特許文献２】ＩＳＯ／ＩＥＣ−１３８１８−３
【非特許文献３】ＩＳＯ／ＩＥＣ−１４４９６−３：２００５
【非特許文献４】ＩＳＯ／ＩＥＣ−１４４９６−３：２００５／Ａｍｄ  １：２００７
【発明の概要】
【発明が解決しようとする課題】
【００２０】
前記ＳＡＣ方式にも、臨場感通信システムに適用するには実は大きな課題がある。ＭＰＥＧ−ＡＡＣ方式およびドルビーデジタル方式などの従来例における離散マルチチャンネル符号化方式に比べ、ＳＡＣ方式の符号化遅延量は、非常に大きくなるのである。たとえば、ＭＰＥＧ−ＡＡＣ方式には符号化遅延量が増大する課題に対して、それを低減する技術としてＭＰＥＧ−ＡＡＣ−ＬＤ（Ｌｏｗ  Ｄｅｌａｙ）方式が規格化されている（非特許文献４）。【００２１】
通常のＭＰＥＧ−ＡＡＣ方式では、サンプリング周波数が４８ｋＨｚの場合に、音響符号化装置で約４２ｍｓｅｃの符号化処理の遅延があり、音響復号化装置で約２１ｍｓｅｃの復号化処理の遅延が発生する。一方、ＭＰＥＧ−ＡＡＣ−ＬＤ方式では、通常のＭＰＥＧ−ＡＡＣ方式の半分の符号化遅延量で音響信号の処理が可能である。この方式を臨場感通信システムに適用すると、符号化遅延の少なさによって通信相手との会話およびコミュニケーションをスムーズに行うことが可能となる。しかしながら、ＭＰＥＧ−ＡＡＣ−ＬＤ方式は、低遅延であるが、あくまでＭＰＥＧ−ＡＡＣ方式を元にしたマルチチャンネル符号化手法であり、ＭＰＥＧ−ＡＡＣ方式と同じように、ビットレートの低減には奏功せず、低ビットレート、高音質および低遅延を同時に満たすことが出来ない。【００２２】
つまり、ＭＰＥＧ−ＡＡＣ方式、ＭＰＥＧ−ＡＡＣ−ＬＤ方式およびドルビーデジタル方式などの従来例における離散マルチチャンネル符号化方式では、低ビットレート、高音質および低遅延であることのすべてを満たす符号化を実現することが困難である。【００２３】
図８は、ＳＡＣ方式の代表例であるＭＰＥＧサラウンド方式の符号化遅延量を解析し、図示している。ＭＰＥＧサラウンド方式の詳細は、非特許文献１に記載されている。【００２４】
本図に示されるように、ＳＡＣ符号化装置（ＳＡＣ  ｅｎｃｏｄｅｒ）は、ｔ−ｆ変換部２０１、ＳＡＣ分析部２０２、ｆ−ｔ変換部２０４、ダウンミックス信号符号化部２０５および重畳装置２０７を備える。ＳＡＣ分析部２０２は、ダウンミックス部２０３および空間情報算出部２０６を備える。【００２５】
ＳＡＣ復号化装置（ＳＡＣ  ｄｅｃｏｄｅｒ）は、解読装置２０８、ダウンミックス信号復号化部２０９、ｔ−ｆ変換部２１０、ＳＡＣ合成部２１１およびｆ−ｔ変換部２１２を備える。【００２６】
図８によれば、符号化側では、ｔ−ｆ変換部２０１は、マルチチャンネル音響信号を周波数領域の信号へと変換する。ｔ−ｆ変換部２０１は、離散フーリエ変換（ＦＦＴ：Ｆｉｎｉｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）および離散コサイン変換（ＭＤＣＴ：Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）などによって純粋な周波数領域に変換する場合もあれば、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ  Ｍｉｒｒｏｒ  Ｆｉｌｔｅｒ）フィルタバンクなどを用いて合成周波数領域に変換する場合もある。【００２７】
周波数領域に変換されたマルチチャンネル音響信号は、ＳＡＣ分析部２０２で２つの経路に接続される。一つは、１または２チャンネルの音響信号である中間ダウンミックス信号ＩＤＭＸを生成するダウンミックス部２０３に接続する経路である。もう一つは空間情報（ＳｐａｔｉａｌＣｕｅ）を抽出し量子化する空間情報算出部２０６に接続する経路である。空間情報（ＳｐａｔｉａｌＣｕｅ）としては、一般的には入力されたマルチチャンネル音響信号の各チャンネル間のレベル差、パワー差、相関、および、コヒーレンスなどを生成して用いる場合が多い。【００２８】
空間情報算出部２０６が、空間情報（ＳｐａｔｉａｌＣｕｅ）を抽出し、量子化する処理をした後、ｆ−ｔ変換部２０４は、中間ダウンミックス信号ＩＤＭＸを時間領域の信号に再度変換する。【００２９】
ダウンミックス信号符号化部２０５は、ｆ−ｔ変換部２０４で得られたダウンミックス信号ＤＭＸを所望のビットレートに符号化する。【００３０】
この際に用いられるダウンミックス信号の符号化方式としては、１または２チャンネルの音響信号を符号化する方式であって、ＭＰ３（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ−３）、ＭＰＥＧ−ＡＡＣ、ＡＴＲＡＣ（Ａｄａｐｔｉｖｅ  ＴＲａｎｓｆｏｒｍ  Ａｃｏｕｓｔｉｃ  Ｃｏｄｉｎｇ）方式、ドルビーデジタル方式およびＷｉｎｄｏｗｓ（登録商標）ＭｅｄｉａＡｕｄｉｏ（ＷＭＡ）方式のような非可逆圧縮方式であってもよいし、ＭＰＥＧ４−ＡＬＳ（Ａｕｄｉｏ  Ｌｏｓｓｌｅｓｓ）、ＬＰＡＣ（Ｌｏｓｓｌｅｓｓ  Ｐｒｅｄｉｃｔｉｖｅ  Ａｕｄｉｏ  Ｃｏｍｐｒｅｓｓｉｏｎ）およびＬＴＡＣ（Ｌｏｓｓｌｅｓｓ  Ｔｒａｎｓｆｏｒｍ  Ａｕｄｉｏ  Ｃｏｍｐｒｅｓｓｉｏｎ）などの可逆圧縮方式であっても良い。さらには、ｉＳＡＣ（ｉｎｔｅｒｎｅｔ  Ｓｐｅｅｃｈ  Ａｕｄｉｏ  Ｃｏｄｅｃ）、ｉＬＢＣ（ｉｎｔｅｒｎｅｔ  Ｌｏｗ  Ｂｉｔｒａｔｅ  Ｃｏｄｅｃ）およびＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ  ｃｏｄｅ  ｅｘｃｉｔｅｄ  ｌｉｎｅａｒ  ｐｒｅｄｉｃｔｉｏｎ）などの音声領域に特化した圧縮方式であってもよい。【００３１】
重畳装置２０７は、二つ以上の入力を一つの信号として出力する機構を備えるマルチプレクサである。重畳装置２０７は、符号化されたダウンミックス信号ＤＭＸと空間情報（ＳｐａｔｉａｌＣｕｅ）とをマルチプレックスして音響復号化装置へと送信する。【００３２】
音響復号化装置側では、重畳装置２０７によって生成された符号化ビットストリームを受信する。解読装置２０８は、受信したビットストリームをデマルチプレックスする。ここで、解読装置２０８は、一つの入力信号から複数の信号を出力するデマルチプレクサであって、一つの入力信号を複数の信号に分離する分離部である。【００３３】
その後、ダウンミックス信号復号化部２０９は、ビットストリームに含まれる符号化されたダウンミックス信号を１または２チャンネルの音響信号へと復号化する。【００３４】
ｔ−ｆ変換部２１０は、復号化された信号を周波数領域に変換する。【００３５】
ＳＡＣ合成部２１１は、解読装置２０８で分離された空間情報（ＳｐａｔｉａｌＣｕｅ）と、前記周波数領域の復号化信号から、マルチチャンネル音響信号を合成する。【００３６】
ｆ−ｔ変換部２１２は、ＳＡＣ合成部２１１で合成された周波数領域の信号を時間領域の信号に変換し、結果として時間領域のマルチチャンネル音響信号が生成される。【００３７】
以上のように、ＳＡＣの構成を俯瞰すると、符号化方式のアルゴリズム遅延量は次の３つに分類することが出来る。【００３８】
（１）ＳＡＣ分析部２０２およびＳＡＣ合成部２１１
（２）ダウンミックス信号符号化部２０５およびダウンミックス信号復号化部２０９
（３）ｔ−ｆ変換部およびｆ−ｔ変換部（２０１、２０４、２１０、２１２）【００３９】
図９は、従来例におけるＳＡＣ技術のアルゴリズム遅延量を示している。以下、便宜上それぞれのアルゴリズム遅延量を次のように記載する。【００４０】
ｔ−ｆ変換部２０１およびｔ−ｆ変換部２１０の遅延量をＤ０、ＳＡＣ分析部２０２の遅延量をＤ１、ｆ−ｔ変換部２０４およびｆ−ｔ変換部２１２の遅延量をＤ２、ダウンミックス信号符号化部２０５の遅延量をＤ３、ダウンミックス信号復号化部２０９の遅延量をＤ４、および、ＳＡＣ合成部２１１の遅延量をＤ５、とする。【００４１】
図９に示すように、音響符号化装置と音響復号化装置を合わせた遅延量Ｄは、
Ｄ＝２＊Ｄ０＋Ｄ１＋２＊Ｄ２＋Ｄ３＋Ｄ４＋Ｄ５
となる。【００４２】
ＳＡＣ符号化方式の典型例であるＭＰＥＧサラウンド方式に関しては、音響符号化装置および音響復号化装置で２２４０サンプルのアルゴリズム遅延が発生する。ダウンミックス信号の音響符号化装置および音響復号化装置で発生するアルゴリズム遅延を含めると、全体のアルゴリズム遅延は膨大となる。ダウンミックス符号化装置およびダウンミックス復号化装置としてＭＰＥＧ−ＡＡＣ方式を採用した場合のアルゴリズム遅延は約８０ｍｓｅｃにも達する。しかしながら、一般的に遅延量が重要である臨場感通信システムで遅延量を意識せずに通信するためには、音響符号化装置および音響復号化装置の遅延量が４０ｍｓｅｃ以下である必要がある。【００４３】
従って、低ビットレート、高音質、および、低遅延であることが必要である臨場感通信システムなどの用途に、ＳＡＣ符号化方式を用いた場合、遅延量が大幅に大きすぎる本質的な課題が存在する。【００４４】
そこで、本発明は、従来例におけるマルチチャンネル音響信号の符号化装置および復号化装置のアルゴリズム遅延を削減することができる音響符号化装置および音響復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００４５】
上記課題を解決するために、本発明における音響符号化装置は、入力されたマルチチャンネル音響信号を符号化する音響符号化装置であって、入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部とを備える。【００４６】
これにより、マルチチャンネル音響信号から空間情報を生成する処理の終了を待たずに、同じマルチチャンネル音響信号をダウンミックスして符号化する処理を実行できる。すなわち、それらの処理を並列して実行できる。したがって、音響符号化装置におけるアルゴリズム遅延を削減することができる。【００４７】
また、前記音響符号化装置は、さらに、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備えてもよい。【００４８】
これにより、空間情報を生成する処理の終了を待たずに生成されたダウンミックス信号を調整するためのダウンミックス補償情報を生成することができる。そして、音響復号化装置は、生成されたダウンミックス補償情報を用いることにより、さらに高音質のマルチチャンネル音響信号を生成することができる。【００４９】
また、前記音響符号化装置は、さらに、前記ダウンミックス補償情報と前記空間情報を同一の符号化列に格納する重畳装置を備えてもよい。【００５０】
これにより、従来例における音響符号化装置および音響復号化装置との互換性を確保することができる。【００５１】
また、前記ダウンミックス補償回路は、前記ダウンミックス補償情報として信号のパワー比を算出してもよい。【００５２】
これにより、本発明の音響符号化装置からダウンミックス信号とダウンミックス補償情報を受信した音響復号化装置は、ダウンミックス補償情報であるパワー比を用いて、ダウンミックス信号を調整することができる。【００５３】
また、前記ダウンミックス補償回路は、前記ダウンミックス補償情報として信号の差分を算出してもよい。【００５４】
これにより、本発明の音響符号化装置からダウンミックス信号とダウンミックス補償情報を受信した音響復号化装置は、ダウンミックス補償情報である差分を用いて、ダウンミックス信号を調整することができる。【００５５】
また、前記ダウンミックス補償回路は、前記ダウンミックス補償情報として予測フィルタ係数を算出してもよい。【００５６】
これにより、本発明の音響符号化装置からダウンミックス信号とダウンミックス補償情報を受信した音響復号化装置は、ダウンミックス補償情報である予測フィルタ係数を用いて、ダウンミックス信号を調整することができる。【００５７】
また、本発明における音響復号化装置は、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置であって、受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える音響復号化装置でもよい。【００５８】
これにより、アルゴリズム遅延を削減した前記音響符号化装置より受信したダウンミックス信号から、高音質のマルチチャンネル音響信号を生成することができる。【００５９】
また、前記音響復号化装置は、さらに、前記データ部に含まれる符号化されたダウンミックス信号を逆量子化することにより、周波数領域のダウンミックス信号を生成するダウンミックス中間復号化部と、前記ダウンミックス中間復号化部により生成された周波数領域のダウンミックス信号を時間軸方向にも成分を持つ周波数領域のダウンミックス信号に変換する領域変換部とを備え、前記ダウンミックス調整回路は、前記領域変換部により変換された周波数領域のダウンミックス信号を、前記ダウンミックス補償情報により調整してもよい。【００６０】
これにより、マルチチャンネル音響信号を生成するための前段の処理が周波数領域上で行われる。したがって、処理の遅延を削減することができる。【００６１】
また、前記ダウンミックス調整回路は、前記ダウンミックス補償情報として信号のパワー比を取得し、前記ダウンミックス信号に前記パワー比を乗算することにより、前記ダウンミックス信号を調整してもよい。【００６２】
これにより、音響復号化装置が受信したダウンミックス信号は、音響符号化装置により算出されたパワー比を用いて、高音質のマルチチャンネル音響信号を生成するために適切なダウンミックス信号に調整される。【００６３】
また、前記ダウンミックス調整回路は、前記ダウンミックス補償情報として信号の差分を取得し、前記ダウンミックス信号に前記差分を加算することにより、前記ダウンミックス信号を調整してもよい。【００６４】
これにより、音響復号化装置が受信したダウンミックス信号は、音響符号化装置により算出された差分を用いて、高音質のマルチチャンネル音響信号を生成するために適切なダウンミックス信号に調整される。【００６５】
また、前記ダウンミックス調整回路は、前記ダウンミックス補償情報として予測フィルタ係数を取得し、前記ダウンミックス信号に前記予測フィルタ係数を用いた予測フィルタを施すことにより、前記ダウンミックス信号を調整してもよい。【００６６】
これにより、音響復号化装置が受信したダウンミックス信号は、音響符号化装置により算出された予測フィルタ係数を用いて、高音質のマルチチャンネル音響信号を生成するために適切なダウンミックス信号に調整される。【００６７】
また、本発明における音響符号化復号化装置は、入力されたマルチチャンネル音響信号を符号化する音響符号化部と、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化部とを備える音響符号化復号化装置であって、前記音響符号化部は、入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部と、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備え、前記音響復号化部は、受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える音響符号化復号化装置でもよい。【００６８】
これにより、低遅延、低ビットレートおよび高音質を満たす音響符号化復号化装置として利用することができる。【００６９】
また、本発明における会議システムは、入力されたマルチチャンネル音響信号を符号化する音響符号化装置と、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置とを備える会議システムであって、前記音響符号化装置は、入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部と、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備え、前記音響復号化装置は、受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える会議システムでもよい。【００７０】
これにより、スムーズなコミュニケーションを行うことができる会議システムとして利用することができる。【００７１】
また、本発明における音響符号化方法は、入力されたマルチチャンネル音響信号を符号化する音響符号化方法であって、入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成ステップと、前記ダウンミックス信号生成ステップにより生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化ステップと、入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換ステップと、前記第１ｔ−ｆ変換ステップにより変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出ステップとを含む音響符号化方法でもよい。【００７２】
これにより、音響信号の符号化処理におけるアルゴリズム遅延を削減することができる。【００７３】
また、本発明における音響復号化方法は、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化方法であって、受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離ステップと、前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整ステップと、前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整ステップにより調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成ステップと、前記マルチチャンネル信号生成ステップにより生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換ステップとを含む音響復号化方法でもよい。【００７４】
これにより、高音質のマルチチャンネル音響信号を生成することができる。【００７５】
また、本発明における符号化プログラムは、入力されたマルチチャンネル音響信号を符号化する音響符号化装置のためのプログラムであって、前記音響符号化方法に含まれるステップをコンピュータに実行させるプログラムでもよい。【００７６】
これにより、低遅延な音響符号化処理を行うプログラムとして利用することができる。【００７７】
また、本発明における復号化プログラムは、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置のためのプログラムであって、前記音響復号化方法に含まれるステップをコンピュータに実行させるプログラムでもよい。【００７８】
これにより、高音質のマルチチャンネル音響信号を生成する処理を行うプログラムとして利用することができる。【００７９】
上述に示す通り、本発明は、音響符号化装置および音響復号化装置として実現することができるだけでなく、音響符号化装置および音響復号化装置が備える特徴的な手段をステップとする音響符号化方法および音響復号化方法として実現できる。また、それらのステップをコンピュータに実行させるプログラムとして実現できる。また、音響符号化装置および音響復号化装置が備える特徴的な手段を一体化したＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の半導体集積回路として構成することもできる。そして、そのようなプログラムが、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、および、インターネットなどの伝送媒体を介して提供可能であることは言うまでもない。
【発明の効果】
【００８０】
本発明にかかる音響符号化装置および音響復号化装置によれば、従来例におけるマルチチャンネル音響符号化装置およびマルチチャンネル音響復号化装置のアルゴリズム遅延を削減し、トレードオフの関係にあるビットレートと音質の関係を高次元で両立することができる。【００８１】
すなわち、従来例におけるマルチチャンネル音響符号化技術よりもアルゴリズム遅延を削減することが可能となり、リアルタイムな通話を行う会議システム、および、低遅延で高音質なマルチチャンネル音響信号の伝送が必須の臨場感あふれる通信システムなどの構築が実現できるという効果が奏される。【００８２】
よって、本発明により、高音質、低ビットレートかつ低遅延の送受信が可能となる。したがって、携帯電話などのモバイル機器同士での臨場感あふれるコミュニケーションが普及し、ＡＶ機器、および会議システムでの本格的な臨場感コミュニケーションが普及してきた今日における本発明の実用的価値はきわめて高い。もちろん用途はこれらに限った物ではなく、遅延量が小さいことが必須の双方向コミュニケーション全般に対して有効な発明であることは言うまでもない。
【図面の簡単な説明】
【００８３】
【図１】図１は、本発明の実施の形態における音響符号化装置の構成および各部の遅延量を示す図である。
【図２】図２は、本発明の実施の形態におけるビットストリームの構造図である。
【図３】図３は、本発明の実施の形態におけるビットストリームの別の構造図である。
【図４】図４は、本発明の実施の形態における音響復号化装置の構成および各部の遅延量を示す図である。
【図５】図５は、本発明の実施の形態におけるパラメータセットの説明図である。
【図６】図６は、本発明の実施の形態におけるハイブリッド領域の説明図である。
【図７】図７は、従来例における多拠点会議システムの構成図である。
【図８】図８は、従来例における音響符号化装置および音響復号化装置の構成図である。
【図９】図９は、従来例における音響符号化装置および音響復号化装置の遅延量を示す図である。
【発明を実施するための形態】
【００８４】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００８５】
（実施の形態１）
まず、本発明の実施の形態１について説明する。
【００８６】
図１は、本発明の実施の形態１における音響符号化装置の構成図である。また、図１において、各部の下に遅延量を示している。なお、ここでの遅延量は、複数の入力信号を蓄積した後に、信号を出力する場合の遅延量を示す。入力から出力の間に複数の入力信号の蓄積がない場合は、その部分の遅延量は無視できるため、図１において遅延量を０と示している。
【００８７】
図１に示された音響符号化装置は、マルチチャンネル音響信号を符号化する音響符号化装置であって、ダウンミックス信号生成部４１０、ダウンミックス信号符号化部４０４、第１ｔ−ｆ変換部４０１、ＳＡＣ分析部４０２、第２ｔ−ｆ変換部４０５、ダウンミックス補償回路４０６、および、重畳装置４０７を備える。ダウンミックス信号生成部４１０は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３を備える。ＳＡＣ分析部４０２は、ダウンミックス部４０８、および、空間情報算出部４０９を備える。
【００８８】
Ａｒｂｉｔｒａｒｙダウンミックス回路４０３は、任意方式（Ａｒｂｉｔｒａｒｙ）により、入力されたマルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスして、Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを生成する。
【００８９】
ダウンミックス信号符号化部４０４は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを符号化する。
【００９０】
第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを時間領域から周波数領域に変換して、周波数領域の中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸを生成する。
【００９１】
第１ｔ−ｆ変換部４０１は、入力されたマルチチャンネル音響信号を時間領域から周波数領域に変換する。
【００９２】
ダウンミックス部４０８は、第１ｔ−ｆ変換部４０１により変換された周波数領域のマルチチャンネル音響信号を分析して、周波数領域の中間ダウンミックス信号ＩＤＭＸを生成する。
【００９３】
空間情報算出部４０９は、第１ｔ−ｆ変換部４０１により変換された周波数領域のマルチチャンネル音響信号を分析して、空間情報（ＳｐａｃｉａｌＣｕｅ）を生成する。  空間情報（ＳｐａｔｉａｌＣｕｅ）には、ダウンミックスされた信号とマルチチャンネル音響信号との相関値、パワー比および位相の差異などの関係を示す情報であって、ダウンミックスされた信号をマルチチャンネル音響信号に分離するチャンネル分離情報が含まれる。
【００９４】
ダウンミックス補償回路４０６は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸと中間ダウンミックス信号ＩＤＭＸを比較し、ダウンミックス補償情報（ＤＭＸＣｕｅ）を算出する。
【００９５】
重畳装置４０７は、二つ以上の入力を一つの信号として出力する機構を備えるマルチプレクサの例である。重畳装置４０７は、ダウンミックス信号符号化部４０４により符号化されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸ、空間情報算出部４０９により算出された空間情報（ＳｐａｔｉａｌＣｕｅ）、および、ダウンミックス補償回路４０６により算出されたダウンミックス補償情報（ＤＭＸＣｕｅ）を多重化してビットストリームとして出力する。
【００９６】
図１に示すように、入力のマルチチャンネル音響信号は、二つのモジュールに入力される。一つは、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３であり、もう一つは、第１ｔ−ｆ変換部４０１である。第１ｔ−ｆ変換部４０１は、例えば、式１を用いて、入力されたマルチチャンネル音響信号を周波数領域の信号へと変換する。
【００９７】
【数１】
2010013450.tif 000003
【００９８】
式１は、離散コサイン変換（ＭＤＣＴ）の例である。ｓ（ｔ）は入力された時間領域のマルチチャンネル音響信号である。Ｓ（ｆ）は周波数領域のマルチチャンネル音響信号である。ｔは、時間領域を示している。ｆは、周波数領域を示している。Ｎは、フレーム数である。
【００９９】
なお、本実施の形態では、第１ｔ−ｆ変換部４０１が用いる計算式の例として、離散コサイン変換（ＭＤＣＴ）を式１に示したが、本発明はこれに限った物ではない。離散高速フーリエ変換（ＦＦＴ：Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）および離散コサイン変換（ＭＤＣＴ）などによって純粋な周波数領域に変換される場合もあれば、ＱＭＦフィルタバンクなどを用いて時間軸方向にも成分を持つ周波数領域である合成周波数領域に変換する場合もある。そのために、第１ｔ−ｆ変換部４０１は、どの変換領域を用いるかを符号化列に保持しておく。たとえば、ＱＭＦフィルタバンクを用いる合成周波数領域の場合は符号化列に“０１”を、離散コサイン変換（ＭＤＣＴ）を用いる周波数領域の場合は“００”をそれぞれ符号化列に保持する。
【０１００】
ＳＡＣ分析部４０２のダウンミックス部４０８は、周波数領域に変換されたマルチチャンネル音響信号を中間ダウンミックス信号ＩＤＭＸにダウンミックスする。中間ダウンミックス信号ＩＤＭＸは、１または２チャンネルの音響信号であり、周波数領域の信号である。
【０１０１】
【数２】
2010013450.tif 000004
【０１０２】
式２は、ダウンミックスの計算処理の例である。式２におけるｆは、周波数領域を示している。ＳL（ｆ）、ＳR（ｆ）、ＳC（ｆ）、ＳLs（ｆ）およびＳRs（ｆ）は、各チャンネルの音響信号である。ＳIDMX（ｆ）は、中間ダウンミックス信号ＩＤＭＸである。ＣL、ＣR、ＣC、ＣLs、ＣRs、ＤL、ＤR、ＤC、ＤLsおよびＤRsは、ダウンミックス係数である。
【０１０３】
ここでは、ＩＴＵ規定のダウンミックス係数を適用している。通常のＩＴＵ規定のダウンミックス係数は、時間領域の信号に対して演算するが、本実施の形態では、それを周波数領域での変換に用いることが通常のＩＴＵ勧告のダウンミックス手法と異なる点である。ここでのダウンミックス係数は、マルチチャンネル音響信号の特性に応じて変化する場合もある。
【０１０４】
ＳＡＣ分析部４０２の空間情報算出部４０９は、ＳＡＣ分析部４０２のダウンミックス部４０８によるダウンミックスと同時に、空間情報（ＳｐａｔｉａｌＣｕｅ）を算出し、量子化を行う。空間情報（ＳｐａｔｉａｌＣｕｅ）は、ダウンミックス信号をマルチチャンネル音響信号に分離するときに用いられる。
【０１０５】
【数３】
2010013450.tif 000005
【０１０６】
式３では、チャンネルｎとチャンネルｍの間のパワー比をＩＬＤn,mとして算出している。ｎおよびｍは、１がＬチャンネルに相当し、以下、２がＲチャンネル、３がＣチャンネル、４がＬｓチャンネル、そして、５がＲｓチャンネルとなる。また、Ｓ（ｆ）nおよびＳ（ｆ）mは、各チャンネルの音響信号である。
【０１０７】
同様にチャンネルｎとチャンネルｍの間の相関係数をＩＣＣn,mとして式４のように算出する。
【０１０８】
【数４】
2010013450.tif 000006
【０１０９】
ｎおよびｍは、１がＬチャンネルに相当し、以下、２がＲチャンネル、３がＣチャンネル、４がＬｓチャンネル、そして、５がＲｓチャンネルとなる。また、Ｓ（ｆ）nおよびＳ（ｆ）mは、各チャンネルの音響信号である。さらに、演算子Ｃｏｒｒは式５のような演算である。
【０１１０】
【数５】
2010013450.tif 000007
【０１１１】
式５のｘiとｙiは、演算子Ｃｏｒｒによって演算されるｘとｙに含まれる各要素を示す。ｘバーとｙバーは、演算されるｘとｙに含まれる要素の平均値を示す。
【０１１２】
このようにして、ＳＡＣ分析部４０２の空間情報算出部４０９は、各チャンネル間のＩＬＤおよびＩＣＣを算出したあと、量子化を行い、必要に応じてＨｕｆｆｍａｎ符号化手法などを用いて冗長性を廃し、空間情報（ＳｐａｔｉａｌＣｕｅ）を生成する。
【０１１３】
重畳装置４０７は、空間情報算出部４０９により生成された空間情報（ＳｐａｔｉａｌＣｕｅ）を図２に示されるようなビットストリームに重畳する。
【０１１４】
図２は、本発明の実施の形態におけるビットストリームの構造図である。重畳装置４０７は、符号化されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸと空間情報（ＳｐａｔｉａｌＣｕｅ）をビットストリームに重畳する。さらに、空間情報（ＳｐａｔｉａｌＣｕｅ）は、空間情報算出部４０９によって算出された情報ＳＡＣ＿Ｐａｒａｍとダウンミックス補償回路４０６により算出されたダウンミックス補償情報（ＤＭＸＣｕｅ）を含む。ダウンミックス補償情報（ＤＭＸＣｕｅ）を空間情報（ＳｐａｔｉａｌＣｕｅ）に含めることで、従来例における音響復号化装置との互換性を維持することができる。
【０１１５】
また、図２に示されたＬＤ＿ｆｌａｇ（ＬｏｗＤｅｌａｙフラグ）は、本発明の音響符号化方法により符号化されたか否かを示すフラグである。音響符号化装置の重畳装置４０７がＬＤ＿ｆｌａｇを付加することにより、音響復号化装置は、ダウンミックス補償情報（ＤＭＸＣｕｅ）が付加された信号であるかを容易に判定することができる。また、音響復号化装置は、付加されたダウンミックス補償情報（ＤＭＸＣｕｅ）を読み飛ばすことにより、より低遅延となる復号化の処理をしてもよい。
【０１１６】
なお、本実施の形態では、空間情報（ＳｐａｔｉａｌＣｕｅ）として、入力されたマルチチャンネル音響信号の各チャンネル間のパワー比と相関係数を用いたが、本発明はこれに限った物ではなく、入力されたマルチチャンネル音響信号間のコヒーレンスおよび絶対値の差分であってもよい。
【０１１７】
また、ＳＡＣ方式としてＭＰＥＧサラウンド方式を用いた場合の詳細な説明は非特許文献１に記載されている。非特許文献１に記載のＩＣＣ（Ｉｎｔｅｒａｕｒａｌ  Ｃｏｒｒｅｌａｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔ）が各チャンネル間の相関情報に相当し、ＩＬＤ（Ｉｎｔｅｒａｕｒａｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）が各チャンネル間のパワー比に相当する。図２に示されたＩＴＤ（Ｉｎｔｅｒａｕｒａｌ  Ｔｉｍｅ  Ｄｉｆｆｅｒｅｎｃｅ）は、各チャンネル間の時間差情報に相当する。
【０１１８】
次に、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３の機能について述べる。
【０１１９】
Ａｒｂｉｔｒａｒｙダウンミックス回路４０３は、時間領域のマルチチャンネル音響信号を任意の方式でダウンミックスを行い、時間領域の１または２チャンネルの音響信号であるＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを算出する。ダウンミックスとしては、ＩＴＵ−Ｒ勧告ＢＳ．７７５−１（非特許文献５）に従ったダウンミックスがその一例である。
【０１２０】
【数６】
2010013450.tif 000008
【０１２１】
式６は、ダウンミックスの計算処理の例である。式６におけるｔは、時間領域を示している。ｓ（ｔ）L、ｓ（ｔ）R、ｓ（ｔ）C、ｓ（ｔ）Lsおよびｓ（ｔ）Rsは、各チャンネルの音響信号である。ＳADMX（ｔ）は、Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸである。ＣL、ＣR、ＣC、ＣLs、ＣRs、ＤL、ＤR、ＤC、ＤLsおよびＤRsは、ダウンミックス係数である。本発明において、ダウンミックス係数を音響符号化装置毎に設定し、図３に示されるように、重畳装置４０７は、設定されたダウンミックス係数をビットストリームの一部として送信してもよい。また、ダウンミックス係数のセットを複数個用意しておき、重畳装置４０７は、切り替えた場合の情報をビットストリームに重畳して送信しても良い。
【０１２２】
図３は、本発明の実施の形態におけるビットストリームの構造図であって、図２に示されたビットストリームとは別の構造図である。図３に示されたビットストリームは、図２に示されたビットストリームと同様に、符号化されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸと空間情報（ＳｐａｔｉａｌＣｕｅ）とが重畳されている。さらに、空間情報（ＳｐａｔｉａｌＣｕｅ）は、空間情報算出部４０９によって算出された情報ＳＡＣ＿Ｐａｒａｍとダウンミックス補償回路４０６により算出されたダウンミックス補償情報（ＤＭＸＣｕｅ）を含む。図３に示されたビットストリームには、さらにダウンミックス係数の情報とダウンミックス係数のパターンを示す情報ＤＭＸ＿ｆｌａｇが含まれる。
【０１２３】
たとえば、ダウンミックス係数を２パターン用意する。一つのパターンはＩＴＵ−Ｒ勧告の係数、もう一つはユーザー定義の係数にする。重畳装置４０７は、１ビットの追加情報をビットストリームに記載し、ＩＴＵ勧告の場合は当該ビットに“０”として送信する。ユーザー定義の場合、当該ビットを“１”として送信し、更に１の場合は、その後ろにユーザー定義の係数を保持する。ビットストリームでの保持の仕方は、たとえばＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸがモノラルの場合には、ダウンミックス係数の数（元の信号が５．１チャンネルの場合は“６”）を保持する。その後ろに実際のダウンミックス係数を固定ビット長で保持する。元の信号が５．１チャンネルの場合でビット長が１６ビットの場合、計９６ビットにてダウンミックス係数がビットストリーム上に記載される。Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸがステレオの場合には、ダウンミックス係数の数（元の信号が５．１チャンネルの場合は“１２”）を保持する。その後ろに実際のダウンミックス係数を固定ビット長で保持する。
【０１２４】
なお、ダウンミックス係数は、固定ビット長で保持する場合もあれば、可変ビット長で保持しても良い。その場合には、ダウンミックス係数が保持されているビットの長さ情報をビットストリームに格納する。
【０１２５】
ダウンミックス係数のパターン情報を保持することで、音響復号化装置はそのパターン情報を読みとるだけでダウンミックス係数そのものを読み出すことなどの余分な処理をせずに復号化することができる。余分な処理をしないことで、より低消費電力な復号化も可能になるメリットがある。
【０１２６】
このようにして、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３は、ダウンミックスを行う。そして、ダウンミックス信号符号化部４０４は、１または２チャンネルのＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを所定のビットレート、所定の符号化形式で符号化する。さらに、重畳装置４０７は、符号化された信号をビットストリームに重畳し、音響復号化装置へ送信する。
【０１２７】
一方、第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを周波数領域に変換し、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸを生成する。
【０１２８】
【数７】
2010013450.tif 000009
【０１２９】
式７は、周波数領域への変換に用いられる離散コサイン変換（ＭＤＣＴ）の例である。式７におけるｔは、時間領域を示している。ｆは、周波数領域を示している。Ｎは、フレーム数を示している。ＳADMX（ｆ）は、Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを示している。ＳIADMX（ｆ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸを示している。
【０１３０】
第２ｔ−ｆ変換部４０５で用いる変換は、式７に示された離散コサイン変換（ＭＤＣＴ）でも良いし、離散フーリエ変換（ＦＦＴ）およびＱＭＦフィルタバンクなどでも良い。
【０１３１】
第２ｔ−ｆ変換部４０５と第１ｔ−ｆ変換部４０１は、同一種類の変換であることが望ましいが、違う種類の変換（ＱＭＦとＦＦＴの組み合わせ、および、ＦＦＴとＭＤＣＴの組み合わせなど）を用いた方が、より簡便な符号化および復号化が実現できると判断される場合には、違う種類の変換を用いても良い。音響符号化装置は、ｔ−ｆ変換が同じであるか異なるかを判別する情報、および、違う変換を用いるときは、それぞれどの変換を用いたのかの情報をビットストリームに保持する。音響復号化装置は、これらの情報に基づいて、復号化処理を実現する。
【０１３２】
ダウンミックス信号符号化部４０４は、Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを符号化する。この符号化方式として、非特許文献１に記載のＭＰＥＧ−ＡＡＣ方式を用いる。なお、このダウンミックス信号符号化部４０４における符号化方式は、ＭＰＥＧ−ＡＡＣ方式に限ったものではなく、ＭＰ３方式などの非可逆符号化方式でも良いし、ＭＰＥＧ−ＡＬＳなどの可逆符号化方式であっても良い。ダウンミックス信号符号化部４０４における符号化方式は、ＭＰＥＧ−ＡＡＣ方式である場合、その遅延量は音響符号化装置で２０４８サンプル（音響復号化装置で１０２４サンプル）となる。
【０１３３】
なお、本発明におけるダウンミックス信号符号化部４０４の符号化方式は、ビットレートについては特に制限されず、ＭＤＣＴおよびＦＦＴなどの直行変換を用いた符号化方式に、より適している。
【０１３４】
上記のＳIADMX（ｆ）とＳIDMX（ｆ）を算出する過程は並行して演算することが可能であるため、並行して演算を施す。そうすることで音響符号化装置全体での遅延量が、Ｄ０＋Ｄ１＋Ｄ２＋Ｄ３からｍａｘ（Ｄ０＋Ｄ１，Ｄ３）へと削減することが出来る。特に、本発明の音響符号化装置は、ダウンミックス符号化処理をＳＡＣ分析と並列に処理することで、全体の遅延量を削減している。
【０１３５】
本発明の音響復号化装置では、ＳＡＣ合成部によりマルチチャンネル音響信号が生成される前のｔ−ｆ変換処理を削減することと、ダウンミックス復号化処理を中間的に処理することにより、遅延量をＤ４＋Ｄ０＋Ｄ５＋Ｄ２からＤ５＋Ｄ２に削減することが可能となる。
【０１３６】
次に、音響復号化装置に関して説明する。
【０１３７】
図４は、本発明の実施の形態１における音響復号化装置の例である。また、図４において、各部の下に遅延量を示している。なお、図１と同様、ここでの遅延量は、複数の入力信号を蓄積した後に信号を出力する場合における入力から出力までの遅延量を示す。また、図１と同様、入力から出力の間に複数の入力信号の蓄積がない場合は、その部分の遅延量は無視できるため、図４において遅延量を０と示している。
【０１３８】
図４に示された音響復号化装置は、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置である。
【０１３９】
また、図４に示された音響復号化装置は、受信したビットストリームをデータ部とパラメータ部に分離する解読装置５０１と、データ部の符号化列に対して逆量子化処理を行い、周波数領域の信号を算出するダウンミックス信号中間復号化部５０２と、算出された周波数領域の信号を必要に応じて別の周波数領域の信号へと変換する領域変換部５０３と、周波数領域に変換された信号をパラメータ部に含まれるダウンミックス補償情報（ＤＭＸＣｕｅ）によって調整するダウンミックス調整回路５０４と、ダウンミックス調整回路５０４によって調整された信号とパラメータ部に含まれる空間情報（ＳｐａｔｉａｌＣｕｅ）とからマルチチャンネル音響信号を生成するマルチチャンネル信号生成部５０７と、生成されたマルチチャンネル音響信号を時間領域の信号へと変換するｆ−ｔ変換部５０６とを備える。
【０１４０】
そして、マルチチャンネル信号生成部５０７は、ＳＡＣ方式によりマルチチャンネル音響信号を生成するＳＡＣ合成部５０５を備える。
【０１４１】
解読装置５０１は、一つの入力信号から複数の信号を出力するデマルチプレクサの例であって、一つの入力信号を複数の信号に分離する分離部の例である。解読装置５０１は、図１に示された音響符号化装置によって生成されたビットストリームをダウンミックス符号化列と空間情報（ＳｐａｔｉａｌＣｕｅ）とに分離する。
【０１４２】
ビットストリームを分離する際に、解読装置５０１は、ビットストリームに含まれるダウンミックス符号化列の長さ情報と空間情報（ＳｐａｔｉａｌＣｕｅ）の符号化列の長さ情報を用いてビットストリームを分離する。
【０１４３】
ダウンミックス信号中間復号化部５０２は、解読装置５０１により分離されたダウンミックス符号化列を逆量子化することにより周波数領域の信号を生成する。この過程では遅延回路が存在しないため、遅延は発生しない。ダウンミックス信号中間復号化部５０２の形態として、たとえばＭＰＥＧ−ＡＡＣ方式において、非特許文献１記載のＦｉｇｕｒｅ０．２−ＭＰＥＧ−２  ＡＡＣ  Ｄｅｃｏｄｅｒ  Ｂｌｏｃｋ  Ｄｉａｇｒａｍに記載のフィルタバンクの前までの処理を行うことで、周波数領域（ＭＰＥＧ−ＡＡＣ方式の場合はＭＤＣＴ係数）の係数を算出する。つまり、フィルタバンクの処理を行わない復号化処理となる点が従来例における音響復号化装置と異なる点になる。通常の音響復号化装置ではフィルタバンクに内包される遅延回路によって遅延が発生するが、本発明のダウンミックス信号中間復号化部５０２ではフィルタバンクを用いる必要がないため、遅延が発生しない。
【０１４４】
領域変換部５０３は、ダウンミックス信号中間復号化部５０２によるダウンミックス中間復号化処理で得られた周波数領域の信号を必要に応じてダウンミックス信号を調整する別の周波数領域へ変換する。
【０１４５】
具体的には、領域変換部５０３は、符号化列に含まれた周波数領域のダウンミックス補償領域情報を用いて、ダウンミックス補償をする領域へと変換する。前記ダウンミックス補償領域情報は、ダウンミックス補償をどの領域で行うかを示す情報である。たとえば、音響符号化装置は、前記ダウンミックス補償領域情報として、ＱＭＦフィルタバンクで行う場合は“０１”を、ＭＤＣＴ領域で行う場合は“００”を、ＦＦＴ領域で行う場合は“１０”をそれぞれ符号化しており、領域変換部５０３は、それを取得することで判別する。
【０１４６】
次に、ダウンミックス調整回路５０４は、音響符号化装置によって算出されたダウンミックス補償情報（ＤＭＸＣｕｅ）を用いて、領域変換部５０３により変換されたダウンミックス信号を調整する。すなわち、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を計算により生成する。調整方法はダウンミックス補償情報（ＤＭＸＣｕｅ）の符号化方式によって変わるが、これに関しては後述する。
【０１４７】
ＳＡＣ合成部５０５は、ダウンミックス調整回路５０４により調整された中間ダウンミックス信号ＩＤＭＸと、空間情報（ＳｐａｔｉａｌＣｕｅ）に含まれるＩＣＣおよびＩＬＤなどを用いて、周波数領域のマルチチャンネル音響信号に分離する。
【０１４８】
ｆ−ｔ変換部５０６は、時間領域のマルチチャンネル音響信号へ変換し、再生する。ｆ−ｔ変換部５０６は、ＩＭＤＣＴ（Ｉｎｖｅｒｓｅ  Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）のようなフィルタバンクを用いる。
【０１４９】
ＳＡＣ合成部５０５におけるＳＡＣ方式としてＭＰＥＧサラウンド方式を用いた場合は非特許文献１に記載されている。
【０１５０】
このように構成された音響復号化装置の場合、遅延が発生するのは、遅延回路が包含されているＳＡＣ合成部５０５とｆ−ｔ変換部５０６である。それぞれの遅延量はＤ５とＤ２となる。
【０１５１】
通常のＳＡＣ復号化装置は図９に示したが、これと本発明の音響復号化装置（図４）を比較すれば構成の違いは明らかである。図９に示されるように、通常のＳＡＣ復号化装置の場合、ダウンミックス信号復号化部２０９にはｆ−ｔ変換部を内包しておりそこに起因する遅延がＤ４サンプル存在する。更にＳＡＣ合成部２１１が周波数領域での演算であるために、ダウンミックス信号復号化部２０９の出力をいったん周波数領域に変換するｔ−ｆ変換部２１０が必要であり、その部分に起因する遅延量がＤ０サンプル存在する。よって音響復号化装置全体としては、Ｄ４＋Ｄ０＋Ｄ５＋Ｄ２サンプルとなる。
【０１５２】
一方、本発明の図４では、全体の遅延量が、ＳＡＣ合成部５０５の遅延量Ｄ５サンプルとｆ−ｔ変換部５０６の遅延量Ｄ２サンプルを加算した物になり、図９の先例に比較してＤ４＋Ｄ０サンプル分の遅延が削減されることになる。
【０１５３】
次にダウンミックス補償回路４０６およびダウンミックス調整回路５０４の動作について述べる。
【０１５４】
まず、従来の技術における問題点を指摘することで、本実施の形態におけるダウンミックス補償回路４０６の意義を説明する。
【０１５５】
図８は、従来例におけるＳＡＣ符号化装置の構成図である。
【０１５６】
ダウンミックス部２０３は、周波数領域のマルチチャンネル音響信号を周波数領域の１または２チャンネルの中間ダウンミックス信号ＩＤＭＸにダウンミックスする。ダウンミックスの方法としては、ＩＴＵ勧告の方法などがある。ｆ−ｔ変換部２０４は、周波数領域の１または２チャンネルの音響信号である中間ダウンミックス信号ＩＤＭＸを時間領域の１または２チャンネルの音響信号であるダウンミックス信号ＤＭＸに変換する。
【０１５７】
ダウンミックス信号符号化部２０５は、ダウンミックス信号ＤＭＸをたとえばＭＰＥＧ−ＡＡＣ方式で符号化する。この際、ダウンミックス信号符号化部２０５は、時間領域から周波数領域への直行変換を行う。よって、ｆ−ｔ変換部２０４およびダウンミックス信号符号化部２０５の時間領域から周波数領域への変換において、長大な遅延量が発生する。
【０１５８】
そこで、ダウンミックス信号符号化部２０５で生成される周波数領域のダウンミックス信号とＳＡＣ分析部２０２で生成される中間ダウンミックス信号ＩＤＭＸとが同じ種類の信号であることに着目し、ｆ−ｔ変換部２０４を削減する。そして、時間領域のマルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスする回路として図１に示されたＡｒｂｉｔｒａｒｙダウンミックス回路４０３を配置する。さらに、ダウンミックス信号符号化部２０５が内包する時間領域から周波数領域への変換処理と同様の処理を行う第２ｔ−ｆ変換部４０５を配置する。
【０１５９】
ここで、図８に示されたｆ−ｔ変換部２０４により、周波数領域の中間ダウンミックス信号ＩＤＭＸを時間領域に変換した当初のダウンミックス信号ＤＭＸと、図１に示された前記Ａｒｂｉｔｒａｒｙダウンミックス回路４０３と第２ｔ−ｆ変換部４０５によって得られる時間領域の１または２チャンネルの音響信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸとの間には差異がある。その差異により、音質が劣化する。
【０１６０】
そのため、本実施の形態では、その差異を補償する回路としてダウンミックス補償回路４０６を設ける。これにより、音質劣化を防止する。また、これにより、ｆ−ｔ変換部２０４による周波数領域から時間領域への変換処理の遅延量を削減することが出来る。
【０１６１】
次に、本実施の形態におけるダウンミックス補償回路４０６の形態について述べる。説明のために、各符号化フレームおよび復号化フレームにおいて、Ｍ個の周波数領域係数が算出できるとする。
【０１６２】
ＳＡＣ分析部４０２は、周波数領域のマルチチャンネル音響信号を中間ダウンミックス信号ＩＤＭＸへとダウンミックスする。そのときの中間ダウンミックス信号ＩＤＭＸに対応する周波数領域係数をｘ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０１６３】
一方、第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを周波数領域の信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに変換する。そのときの中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに対応する周波数領域係数をｙ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０１６４】
ダウンミックス補償回路４０６は、これら二つの信号に基づいて、ダウンミックス補償情報（ＤＭＸＣｕｅ）を計算する。本実施の形態におけるダウンミックス補償回路４０６での演算過程は、次の通りである。
【０１６５】
周波数領域が純粋な周波数領域の場合、これらの空間情報（ＳｐａｔｉａｌＣｕｅ）およびダウンミックス補償情報（ＤＭＸＣｕｅ）であるＣｕｅ情報は、比較的粗い周波数分解能を持たせる。周波数分解能に応じて集約される周波数領域係数の組を以下ではパラメータセットと呼ぶ。図５に示すように各パラメータセットは、たいていの場合には１つ以上の周波数領域係数を含む。空間情報（ＳｐａｔｉａｌＣｕｅ）の組み合わせを単純にするため、本発明では、すべてのダウンミックス補償情報（ＤＭＸＣｕｅ）は、空間情報（ＳｐａｔｉａｌＣｕｅ）の表現と同じ構成で算出されるとする。言うまでもないが、ダウンミックス補償情報（ＤＭＸＣｕｅ）と空間情報（ＳｐａｔｉａｌＣｕｅ）が異なる構成であっても良い。
【０１６６】
スケーリングを基にしたダウンミックス補償情報（ＤＭＸＣｕｅ）の場合は、式８のようになる。
【０１６７】
【数８】
2010013450.tif 000010
【０１６８】
ここで、Ｇlev,iは、中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸのパワー比を示すダウンミックス補償情報（ＤＭＸＣｕｅ）である。ｘ（ｎ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｎ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。ｐｓiは、各パラメータセットであり、具体的には、集合｛０，１，…，Ｍ−１｝の部分集合である。Ｎは、Ｍ個の集合｛０，１，…，Ｍ−１｝を部分集合に分けたときの部分集合の数であり、パラメータセットの数である。
【０１６９】
すなわち、図５に示すように、ダウンミックス補償回路４０６は、それぞれＭ個の周波数領域係数であるｘ（ｎ）およびｙ（ｎ）から、Ｎ個のダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iを算出する。
【０１７０】
算出したＧlev,iは、量子化され、必要に応じてＨｕｆｆｍａｎ符号化手法により冗長性を排除して、ビットストリームに重畳される。
【０１７１】
音響復号化装置では、ビットストリームを受信して、復号化した中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）と受信したダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iより中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を式９により算出する。
【０１７２】
【数９】
2010013450.tif 000011
【０１７３】
ここで、式９の左辺は、中間ダウンミックス信号ＩＤＭＸ信号の周波数領域係数の近似値を示す。ｐｓiは、各パラメータセットである。Ｎは、パラメータセットの数である。
【０１７４】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式９に示す演算を行う。こうすることで、音響復号化装置は、ダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iとビットストリームから得られた中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）とに基づいて、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式９の左辺）を算出する。ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値からマルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換する。
【０１７５】
本実施の形態における音響復号化装置は、パラメータセットごとのダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iを用いることで、効率のよい復号化処理を実現する。
【０１７６】
なお、音響復号化装置において、図２で示されたＬＤ＿ｆｌａｇを読み取り、ＬＤ＿ｆｌａｇが付加されたダウンミックス補償情報（ＤＭＸＣｕｅ）である事を示していれば、付加されたダウンミックス補償情報（ＤＭＸＣｕｅ）を読み飛ばしてもよい。これにより音質劣化する場合もあるが、より低遅延の復号処理を行うことができる。
【０１７７】
このようにして構成された音響符号化装置および音響復号化装置は、（１）演算処理の一部を並列化し、（２）一部のフィルタバンクを共有化し、（３）それらによって発生する音質劣化を補償するための回路を新規に設け、補償するための補助情報をビットストリームとして伝送する。これにより、低ビットレートで高音質であるが遅延量の大きなＭＰＥＧサラウンド方式に代表されるＳＡＣ方式よりも、アルゴリズム遅延量を半減しつつ、同等の音質を実現する。
【０１７８】
（実施の形態２）
以下、本発明の実施の形態２におけるダウンミックス補償回路およびダウンミックス調整回路について図面を参照しながら説明する。
【０１７９】
実施の形態２における音響符号化装置および音響復号化装置の基本構成は、図１および図４で示された実施の形態１における音響符号化装置および音響復号化装置の構成と同様であるが、実施の形態２においてダウンミックス補償回路４０６の動作が異なるため、それについて詳しく説明する。
【０１８０】
以下、本実施の形態におけるダウンミックス補償回路４０６の動作について述べる。
【０１８１】
まず、従来の技術における問題点を指摘することで、本実施の形態におけるダウンミックス補償回路４０６の意義を説明する。
【０１８２】
図８は、従来例におけるＳＡＣ符号化装置の構成図である。
【０１８３】
ダウンミックス部２０３は、周波数領域のマルチチャンネル音響信号を周波数領域の１または２チャンネルの中間ダウンミックス信号ＩＤＭＸにダウンミックスする。ダウンミックスの方法としては、ＩＴＵ勧告の方法などがある。ｆ−ｔ変換部２０４は、周波数領域の１または２チャンネルの音響信号である中間ダウンミックス信号ＩＤＭＸを時間領域の１または２チャンネルの音響信号であるダウンミックス信号ＤＭＸに変換する。
【０１８４】
ダウンミックス信号符号化部２０５は、ダウンミックス信号ＤＭＸをたとえばＭＰＥＧ−ＡＡＣ方式で符号化する。この際、ダウンミックス信号符号化部２０５は、時間領域から周波数領域への直行変換を行う。よって、ｆ−ｔ変換部２０４およびダウンミックス信号符号化部２０５の時間領域から周波数領域への変換において、長大な遅延量が発生する。
【０１８５】
そこで、ダウンミックス信号符号化部２０５で生成される周波数領域のダウンミックス信号とＳＡＣ分析部２０２で生成される中間ダウンミックス信号ＩＤＭＸとが同じ種類の信号であることに着目し、ｆ−ｔ変換部２０４を削減する。そして、時間領域のマルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスする回路として図１に示されたＡｒｂｉｔｒａｒｙダウンミックス回路４０３を配置する。さらに、ダウンミックス信号符号化部２０５が内包する時間領域から周波数領域への変換処理と同様の処理を行う第２ｔ−ｆ変換部４０５を配置する。
【０１８６】
ここで、図８に示されたｆ−ｔ変換部２０４により、周波数領域の中間ダウンミックス信号ＩＤＭＸを時間領域に変換した当初のダウンミックス信号ＤＭＸと、図１に示された前記Ａｒｂｉｔｒａｒｙダウンミックス回路４０３と第２ｔ−ｆ変換部４０５によって得られる時間領域の１または２チャンネルの音響信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸとの間には差異がある。その差異により、音質が劣化する。
【０１８７】
そのため、本実施の形態では、その差異を補償する回路としてダウンミックス補償回路４０６を設ける。これにより、音質劣化を防止する。また、これにより、ｆ−ｔ変換部２０４による周波数領域から時間領域への変換処理の遅延量を削減することが出来る。
【０１８８】
次に、本実施の形態におけるダウンミックス補償回路４０６の形態について述べる。説明のために、各符号化フレームおよび復号化フレームにおいて、Ｍ個の周波数領域係数が算出できるとする。
【０１８９】
ＳＡＣ分析部４０２は、周波数領域のマルチチャンネル音響信号を中間ダウンミックス信号ＩＤＭＸへとダウンミックスする。そのときの中間ダウンミックス信号ＩＤＭＸに対応する周波数領域係数をｘ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０１９０】
一方、第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを周波数領域の信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに変換する。そのときの中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに対応する周波数領域係数をｙ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０１９１】
ダウンミックス補償回路４０６は、これら二つの信号に基づいて、ダウンミックス補償情報（ＤＭＸＣｕｅ）を計算する。本実施の形態におけるダウンミックス補償回路４０６での演算過程は、次の通りである。
【０１９２】
周波数領域が純粋な周波数領域の場合、これらの空間情報（ＳｐａｔｉａｌＣｕｅ）およびダウンミックス補償情報（ＤＭＸＣｕｅ）であるＣｕｅ情報は、比較的粗い周波数分解能を持たせる。周波数分解能に応じて集約される周波数領域係数の組を以下ではパラメータセットと呼ぶ。図５に示すように各パラメータセットは、たいていの場合には１つ以上の周波数領域係数を含む。空間情報（ＳｐａｔｉａｌＣｕｅ）の組み合わせを単純にするため、本発明では、すべてのダウンミックス補償情報（ＤＭＸＣｕｅ）は、空間情報（ＳｐａｔｉａｌＣｕｅ）の表現として同じ構成で算出されるとする。言うまでもないが、ダウンミックス補償情報（ＤＭＸＣｕｅ）と空間情報（ＳｐａｔｉａｌＣｕｅ）が異なる構成であっても良い。
【０１９３】
ＳＡＣ方式としてＭＰＥＧサラウンド方式を用いる場合、時間領域から周波数領域への変換は、ＱＭＦフィルタバンクを用いている。図６に示すようにＱＭＦフィルタバンクを用いて変換した場合、変換した結果は、時間軸方向にも成分を持つ周波数領域であるハイブリッド領域となる。このとき、中間ダウンミックス信号ＩＤＭＸの周波数領域係数であるｘ（ｎ）と中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）は、周波数領域係数を時分割した表現ｘ（ｍ，ｈｂ）とｙ（ｍ，ｈｂ）（ｍ＝０，１，…，Ｍ−１，ｈｂ＝０，１，…，ＨＢ−１）として表される。
【０１９４】
そして、空間情報（ＳｐａｔｉａｌＣｕｅ）は、パラメータバンドとパラメータセットの合成パラメータ（ＰＳ−ＰＢ）に対応して算出される。図６に示すように、各合成パラメータ（ＰＳ−ＰＢ）は、一般的には複数の時間スロットとハイブリッドバンドを含んでいる。この場合、ダウンミックス補償回路４０６は、ダウンミックス補償情報（ＤＭＸＣｕｅ）を式１０により算出する。
【０１９５】
【数１０】
2010013450.tif 000012
【０１９６】
ここで、Ｇlev,iは、中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸのパワー比を示すダウンミックス補償情報（ＤＭＸＣｕｅ）である。ｐｓiは、パラメータセットである。ｐｂiは、パラメータバンドである。Ｎは、合成パラメータ（ＰＳ−ＰＢ）の数である。ｘ（ｍ，ｈｂ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｍ，ｈｂ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。
【０１９７】
すなわち、図６に示すように、ダウンミックス補償回路４０６は、Ｍ個の時間スロットおよびＨＢ個のハイブリッドバンドに対応するｘ（ｍ，ｈｂ）およびｙ（ｍ，ｈｂ）から、Ｎ個の合成パラメータ（ＰＳ−ＰＢ）に対応するダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iを算出する。
【０１９８】
重畳装置４０７は、算出されたダウンミックス補償情報（ＤＭＸＣｕｅ）をビットストリームに重畳して伝送する。
【０１９９】
そして、図４に示された音響復号化装置のダウンミックス調整回路５０４は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を式１１により計算する。
【０２００】
【数１１】
2010013450.tif 000013
【０２０１】
ここで、式１１の左辺は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を示す。Ｇlev,iは、中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸのパワー比を示すダウンミックス補償情報（ＤＭＸＣｕｅ）である。ｐｓiは、パラメータセットである。ｐｂiは、パラメータバンドである。Ｎは、合成パラメータ（ＰＳ−ＰＢ）の数である。
【０２０２】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式１１に示す演算を行う。こうすることで、音響復号化装置は、ダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlevとビットストリームから得られた中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｍ，ｈｂ）とに基づいて、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式１１の左辺）を算出する。ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値から、マルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換する。
【０２０３】
本実施の形態では、合成パラメータ（ＰＳ−ＰＢ）ごとのダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iを用いることで、効率のよい復号化処理を実現する。
【０２０４】
このようにして構成された音響符号化装置および音響復号化装置は、（１）演算処理の一部を並列化し、（２）一部のフィルタバンクを共有化し、（３）それらによって発生する音質劣化を補償するための回路を新規に設け、補償するための補助情報をビットストリームとして伝送する。これにより、低ビットレートで高音質であるが遅延量の大きなＭＰＥＧサラウンド方式に代表されるＳＡＣ方式よりも、アルゴリズム遅延量を半減しつつ、同等の音質を実現する。
【０２０５】
（実施の形態３）
以下、本発明の実施の形態３におけるダウンミックス補償回路およびダウンミックス調整回路について図面を参照しながら説明する。
【０２０６】
実施の形態３における音響符号化装置および音響復号化装置の基本構成は、図１および図４で示された実施の形態１における音響符号化装置および音響復号化装置の構成と同様であるが、実施の形態３においてダウンミックス補償回路４０６の動作が異なるため、それについて詳しく説明する。
【０２０７】
以下、本実施の形態におけるダウンミックス補償回路４０６の動作について述べる。
【０２０８】
まず、従来の技術における問題点を指摘することで、本実施の形態におけるダウンミックス補償回路４０６の意義を説明する。
【０２０９】
図８は、従来例におけるＳＡＣ符号化装置の構成図である。
【０２１０】
ダウンミックス部２０３は、周波数領域のマルチチャンネル音響信号を周波数領域の１または２チャンネルの中間ダウンミックス信号ＩＤＭＸにダウンミックスする。ダウンミックスの方法としては、ＩＴＵ勧告の方法などがある。ｆ−ｔ変換部２０４は、周波数領域の１または２チャンネルの音響信号である中間ダウンミックス信号ＩＤＭＸを時間領域の１または２チャンネルの音響信号であるダウンミックス信号ＤＭＸに変換する。
【０２１１】
ダウンミックス信号符号化部２０５は、ダウンミックス信号ＤＭＸをたとえばＭＰＥＧ−ＡＡＣ方式で符号化する。この際、ダウンミックス信号符号化部２０５は、時間領域から周波数領域への直行変換を行う。よって、ｆ−ｔ変換部２０４およびダウンミックス信号符号化部２０５の時間領域から周波数領域への変換において、長大な遅延量が発生する。
【０２１２】
そこで、ダウンミックス信号符号化部２０５で生成される周波数領域のダウンミックス信号とＳＡＣ分析部２０２で生成される中間ダウンミックス信号ＩＤＭＸとが同じ種類の信号であることに着目し、ｆ−ｔ変換部２０４を削減する。そして、時間領域のマルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスする回路として図１に示されたＡｒｂｉｔｒａｒｙダウンミックス回路４０３を配置する。さらに、ダウンミックス信号符号化部２０５が内包する時間領域から周波数領域への変換処理と同様の処理を行う第２ｔ−ｆ変換部４０５を配置する。
【０２１３】
ここで、図８に示されたｆ−ｔ変換部２０４により、周波数領域の中間ダウンミックス信号ＩＤＭＸを時間領域に変換した当初のダウンミックス信号ＤＭＸと、図１に示された前記Ａｒｂｉｔｒａｒｙダウンミックス回路４０３と第２ｔ−ｆ変換部４０５によって得られる時間領域の１または２チャンネルの音響信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸとの間には差異がある。その差異により、音質が劣化する。
【０２１４】
そのため、本実施の形態では、その差異を補償する回路としてダウンミックス補償回路４０６を設ける。これにより、音質劣化を防止する。また、これにより、ｆ−ｔ変換部２０４による周波数領域から時間領域への変換処理の遅延量を削減することが出来る。
【０２１５】
次に、本実施の形態におけるダウンミックス補償回路４０６の形態について述べる。説明のために、各符号化フレームおよび復号化フレームにおいて、Ｍ個の周波数領域係数が算出できるとする。
【０２１６】
ＳＡＣ分析部４０２は、周波数領域のマルチチャンネル音響信号を中間ダウンミックス信号ＩＤＭＸへとダウンミックスする。そのときの中間ダウンミックス信号ＩＤＭＸに対応する周波数領域係数をｘ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０２１７】
一方、第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを周波数領域の信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに変換する。そのときの中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに対応する周波数領域係数をｙ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０２１８】
ダウンミックス補償回路４０６は、これら二つの信号に基づいて、ダウンミックス補償情報（ＤＭＸＣｕｅ）を計算する。本実施の形態におけるダウンミックス補償回路４０６での演算過程は、次の通りである。
【０２１９】
周波数領域が純粋な周波数領域である場合、ダウンミックス補償回路４０６は、式１２により、ダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧresを中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの差分として計算する。
【０２２０】
【数１２】
2010013450.tif 000014
【０２２１】
式１２におけるＧresは、中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの差分を示すダウンミックス補償情報（ＤＭＸＣｕｅ）である。ｘ（ｎ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｎ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。Ｍは、符号化フレームおよび復号化フレームにおいて、周波数領域係数が算出される数である。
【０２２２】
式１２により計算した残差信号は、必要に応じて量子化し、Ｈｕｆｆｍａｎ符号化により冗長性を排除し、ビットストリームに重畳されて音響復号化装置に送信される。
【０２２３】
なお、式１２に記載の差分演算では、実施の形態１で示したパラメータセット等を用いないため算出結果の数が多くなる。よって、算出結果である残差信号の符号化方式次第でビットレートが高くなる場合がある。したがって、ダウンミックス補償情報（ＤＭＸＣｕｅ）を符号化する際は、たとえば残差信号を純粋な数値列としてベクトル量子化手法を適用することなどを用いてビットレートの上昇を最小限に抑える。この場合においても、残差信号の符号化および復号化に際して、複数の信号を蓄積した後に出力するものではないため、アルゴリズム遅延量がないことは言うまでもない。
【０２２４】
音響復号化装置のダウンミックス調整回路５０４は、残差信号であるＧresと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）から、式１３により中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を計算する。
【０２２５】
【数１３】
2010013450.tif 000015
【０２２６】
ここで、式１３の左辺は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を示す。Ｍは、符号化フレームおよび復号化フレームにおいて、周波数領域係数が算出される数である。
【０２２７】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式１３に示す演算を行う。こうすることで、音響復号化装置は、ダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧresとビットストリームから得られた中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）とに基づいて中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式１３の左辺）を算出する。ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値から、マルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換する。
【０２２８】
周波数領域が、周波数および時間のハイブリッド領域の場合、ダウンミックス補償回路４０６は、式１４によりダウンミックス補償情報（ＤＭＸＣｕｅ）を算出する。
【０２２９】
【数１４】
2010013450.tif 000016
【０２３０】
式１４におけるＧresは、中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの差分を示すダウンミックス補償情報（ＤＭＸＣｕｅ）である。ｘ（ｍ，ｈｂ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｍ，ｈｂ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。Ｍは、符号化フレームおよび復号化フレームにおいて、周波数領域係数が算出される数である。ＨＢは、ハイブリッドバンドの数である。
【０２３１】
そして、図４に示された音響復号化装置のダウンミックス調整回路５０４は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を式１５により算出する。
【０２３２】
【数１５】
2010013450.tif 000017
【０２３３】
ここで、式１５の左辺は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を示す。ｙ（ｍ，ｈｂ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。Ｍは、符号化フレームおよび復号化フレームにおいて、周波数領域係数が算出される数である。ＨＢは、ハイブリッドバンドの数である。
【０２３４】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式１５に示す演算を行う。こうすることで、音響復号化装置は、ダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧresとビットストリームから得られた中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｍ，ｈｂ）とに基づいて中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式１５の左辺）を算出する。ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値から、マルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号から時間領域のマルチチャンネル音響信号に変換する。
【０２３５】
このようにして構成された音響符号化装置および音響復号化装置は、（１）演算処理の一部を並列化し、（２）一部のフィルタバンクを共有化し、（３）それらによって発生する音質劣化を補償するための回路を新規に設け、補償するための補助情報をビットストリームとして伝送する。これにより、低ビットレートで高音質であるが遅延量の大きなＭＰＥＧサラウンド方式に代表されるＳＡＣ方式よりも、アルゴリズム遅延量を半減しつつ、同等の音質を実現する。
【０２３６】
（実施の形態４）
以下、本発明の実施の形態４におけるダウンミックス補償回路およびダウンミックス調整回路について図面を参照しながら説明する。
【０２３７】
実施の形態４における音響符号化装置および音響復号化装置の基本構成は、図１および図４で示された実施の形態１における音響符号化装置および音響復号化装置の構成と同様であるが、実施の形態４においてダウンミックス補償回路４０６およびダウンミックス調整回路５０４の動作が異なるため、それについて詳しく説明する。
【０２３８】
以下、本実施の形態におけるダウンミックス補償回路４０６の動作について述べる。
【０２３９】
まず、従来の技術における問題点を指摘することで、本実施の形態におけるダウンミックス補償回路４０６の意義を説明する。
【０２４０】
図８は、従来例におけるＳＡＣ符号化装置の構成図である。
【０２４１】
ダウンミックス部２０３は、周波数領域のマルチチャンネル音響信号を周波数領域の１または２チャンネルの中間ダウンミックス信号ＩＤＭＸにダウンミックスする。ダウンミックスの方法としては、ＩＴＵ勧告の方法などがある。ｆ−ｔ変換部２０４は、周波数領域の１または２チャンネルの音響信号である中間ダウンミックス信号ＩＤＭＸを時間領域の１または２チャンネルの音響信号であるダウンミックス信号ＤＭＸに変換する。
【０２４２】
ダウンミックス信号符号化部２０５は、ダウンミックス信号ＤＭＸをたとえばＭＰＥＧ−ＡＡＣ方式で符号化する。この際、ダウンミックス信号符号化部２０５は、時間領域から周波数領域への直行変換を行う。よって、ｆ−ｔ変換部２０４およびダウンミックス信号符号化部２０５の時間領域から周波数領域への変換において、長大な遅延量が発生する。
【０２４３】
そこで、ダウンミックス信号符号化部２０５で生成される周波数領域のダウンミックス信号とＳＡＣ分析部２０２で生成される中間ダウンミックス信号ＩＤＭＸとが同じ種類の信号であることに着目し、ｆ−ｔ変換部２０４を削減する。そして、時間領域のマルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスする回路として図１に示されたＡｒｂｉｔｒａｒｙダウンミックス回路４０３を配置する。さらに、ダウンミックス信号符号化部２０５が内包する時間領域から周波数領域への変換処理と同様の処理を行う第２ｔ−ｆ変換部４０５を配置する。
【０２４４】
ここで、図８に示されたｆ−ｔ変換部２０４により、周波数領域の中間ダウンミックス信号ＩＤＭＸを時間領域に変換した当初のダウンミックス信号ＤＭＸと、図１に示された前記Ａｒｂｉｔｒａｒｙダウンミックス回路４０３と第２ｔ−ｆ変換部４０５によって得られる時間領域の１または２チャンネルの音響信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸとの間には差異がある。その差異により、音質が劣化する。
【０２４５】
そのため、本実施の形態では、その差異を補償する回路としてダウンミックス補償回路４０６を設ける。これにより、音質劣化を防止する。また、これにより、ｆ−ｔ変換部２０４による周波数領域から時間領域への変換処理の遅延量を削減することが出来る。
【０２４６】
次に、本実施の形態におけるダウンミックス補償回路４０６の形態について述べる。説明のために、各符号化フレームおよび復号化フレームにおいて、Ｍ個の周波数領域係数が算出できるとする。
【０２４７】
ＳＡＣ分析部４０２は、周波数領域のマルチチャンネル音響信号を中間ダウンミックス信号ＩＤＭＸへとダウンミックスする。そのときの中間ダウンミックス信号ＩＤＭＸに対応する周波数領域係数をｘ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０２４８】
一方、第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを周波数領域の信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに変換する。そのときの中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに対応する周波数領域係数をｙ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０２４９】
ダウンミックス補償回路４０６は、これら二つの信号に基づいて、ダウンミックス補償情報（ＤＭＸＣｕｅ）を計算する。本実施の形態におけるダウンミックス補償回路４０６での演算過程は、次の通りである。
【０２５０】
まず、周波数領域が純粋な周波数領域の場合について説明する。
【０２５１】
ダウンミックス補償回路４０６は、前記ダウンミックス補償情報（ＤＭＸＣｕｅ）として予測フィルタ係数を算出する。ダウンミックス補償回路４０６により用いられる予測フィルタ係数の生成方法として、ＷｉｅｎｅｒのＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタにおける最小自乗法（ＭＭＳＥ：Ｍｉｎｉｍｕｍ  Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）による最適な予測フィルタ係数の生成方法がある。
【０２５２】
ＷｉｅｎｅｒフィルタのＦＩＲ係数をＧpred,i（０），Ｇpred,i（１），…，Ｇpred,i（Ｋ−１）とした場合、ＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）の値であるξは式１６で表される。
【０２５３】
【数１６】
2010013450.tif 000018
【０２５４】
式１６におけるｘ（ｎ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｎ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。Ｋは、ＦＩＲ係数の数である。ｐｓiは、パラメータセットである。
【０２５５】
ダウンミックス補償回路４０６は、ＭＳＥを求める式１６において、式１７に示すようにＧpred,i（ｊ）の各々の要素に対する微分係数を０にするようなＧpred,i（ｊ）をダウンミックス補償情報（ＤＭＸＣｕｅ）として算出する。
【０２５６】
【数１７】
2010013450.tif 000019
【０２５７】
式１７におけるΦyyは、ｙ（ｎ）の自己相関行列である。Φyxは、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに対応するｙ（ｎ）と中間ダウンミックス信号ＩＤＭＸに対応するｘ（ｎ）との相互相関行列である。なお、ｎは、パラメータセットｐｓiの要素である。
【０２５８】
音響符号化装置は、このようにして計算されたＧpred,i（ｊ）を量子化して符号列に埋め込み伝送する。
【０２５９】
符号化列を受信した音響復号化装置のダウンミックス調整回路５０４は、受信した中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）と予測係数Ｇpred,i（ｊ）から中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を次のように計算する。
【０２６０】
【数１８】
2010013450.tif 000020
【０２６１】
ここで、式１８の左辺は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を示す。
【０２６２】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式１８に示す演算を行う。こうすることで、音響復号化装置ではダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧpred,iとビットストリームより復号化した中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）とに基づいて中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式１８の左辺）を算出し、ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値から、マルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換する。
【０２６３】
周波数領域が、周波数領域および時間領域のハイブリッド領域の場合、ダウンミックス補償回路４０６は、次のようにしてダウンミックス補償情報（ＤＭＸＣｕｅ）を算出する。
【０２６４】
【数１９】
2010013450.tif 000021
【０２６５】
式１９におけるＧpred,i（ｊ）は、ＷｉｅｎｅｒフィルタのＦＩＲ係数であって、各々の要素に対する微分係数が０となるようなＧpred,i（ｊ）を予測係数として算出する。
【０２６６】
また、式１９におけるΦyyは、ｙ（ｍ，ｈｂ）の自己相関行列である。Φyxは、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｍ，ｈｂ）と、中間ダウンミックス信号ＩＤＭＸの周波数領域係数であるｘ（ｍ，ｈｂ）との相互相関行列である。なお、ｍは、パラメータセットｐｓiの要素であり、ｈｂは、パラメータバンドｐｂiの要素である。
【０２６７】
最小自乗法における評価関数としては式２０を用いる。
【０２６８】
【数２０】
2010013450.tif 000022
【０２６９】
式２０におけるｘ（ｍ，ｈｂ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｍ，ｈｂ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。Ｋは、ＦＩＲ係数の数である。ｐｓiは、パラメータセットである。ｐｂiは、パラメータバンドである。
【０２７０】
このとき、音響復号化装置のダウンミックス調整回路５０４は、受信した中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）と受信した予測係数Ｇpred,i（ｊ）とから、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を式２１により計算する。
【０２７１】
【数２１】
2010013450.tif 000023
【０２７２】
ここで、式２１の左辺は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を示す。
【０２７３】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式２１に示された演算を行う。こうすることで、音響復号化装置ではダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧpredとビットストリームから得られる中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）とに基づいて中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式２１の左辺）を算出する。ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値から、マルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換する。
【０２７４】
このようにして構成された音響符号化装置および音響復号化装置は、（１）演算処理の一部を並列化し、（２）一部のフィルタバンクを共有化し、（３）それらによって発生する音質劣化を補償するための回路を新規に設け、補償するための補助情報をビットストリームとして伝送する。これにより、低ビットレートで高音質であるが遅延量の大きなＭＰＥＧサラウンド方式に代表されるＳＡＣ方式よりも、アルゴリズム遅延量を半減しつつ、同等の音質を実現する。
【０２７５】
そして、本発明にかかる音響符号化装置および音響復号化装置によれば、従来例におけるマルチチャンネル音響符号化装置およびマルチチャンネル音響復号化装置のアルゴリズム遅延を削減し、トレードオフの関係にあるビットレートと音質の関係を高次元で両立することができる。
【０２７６】
すなわち、従来例におけるマルチチャンネル音響符号化技術よりもアルゴリズム遅延を削減することが可能となり、リアルタイムな通話を行う会議システム、および、低遅延で高音質なマルチチャンネル音響信号の伝送が必須の臨場感あふれる通信システムなどの構築が実現できるという効果が奏される。
【０２７７】
よって、本発明により、高音質、低ビットレートかつ低遅延の送受信が可能となる。したがって、携帯電話などのモバイル機器同士での臨場感あふれるコミュニケーションが普及し、ＡＶ機器、および会議システムでの本格的な臨場感コミュニケーションが普及してきた今日における本発明の実用的価値はきわめて高い。もちろん用途はこれらに限った物ではなく、遅延量が小さいことが必須の双方向コミュニケーション全般に対して有効な発明であることは言うまでもない。
【０２７８】
以上、本発明に係る音響符号化装置および音響復号化装置について、実施の形態１〜４に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。これらの実施の形態に対して当業者が思いつく各種変形を施して得られる形態、および、これらの実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。
【０２７９】
また、本発明は、このような音響符号化装置および音響復号化装置として実現することができるだけでなく、このような音響符号化装置および音響復号化装置が備える特徴的な手段をステップとする音響符号化方法または音響復号化方法として実現できる。また、それらのステップをコンピュータに実行させるプログラムとして実現できる。また、このような音響符号化装置および音響復号化装置が備える特徴的な手段を一体化したＬＳＩ等の半導体集積回路として構成することもできる。そして、そのようなプログラムが、ＣＤ−ＲＯＭなどの記録媒体、および、インターネットなどの伝送媒体を介して提供可能であることは言うまでもない。
【産業上の利用可能性】
【０２８０】
本発明は、マルチチャンネル音響符号化技術およびマルチチャンネル音響復号化技術が用いられるリアルタイムの通話を行う会議システム、および、低遅延で高音質なマルチチャンネル音響信号の伝送が必須の臨場感あふれる通信システムに用いることができる。もちろん本発明は、これに限られず、遅延量が小さいことが必須の双方向コミュニケーション全般に対して適用できる。たとえば、本発明は、ホームシアターシステム、車載音響システム、電子ゲームシステム、会議システムおよび携帯電話などに適用できる。
【符号の説明】
【０２８１】
１０１、１０８、１１５  マイクロフォン
１０２、１０９、１１６  マルチチャンネル符号化装置
１０３、１０４、１１０、１１１、１１７、１１８  マルチチャンネル復号化装置
１０５、１１２、１１９  レンダリング装置
１０６、１１３、１２０  スピーカ
１０７、１１４、１２１  エコーキャンセラー
２０１、２１０  時間−周波数領域変換部（ｔ−ｆ変換部）
２０２、４０２  ＳＡＣ分析部
２０３、４０８  ダウンミックス部
２０４、２１２、５０６  周波数領域−時間変換部（ｆ−ｔ変換部）
２０５、４０４  ダウンミックス信号符号化部
２０６、４０９  空間情報算出部
２０７、４０７  重畳装置
２０８、５０１  解読装置（分離部）
２０９  ダウンミックス信号復号化部
２１１、５０５  ＳＡＣ合成部
４０１  第１時間−周波数領域変換部（第１ｔ−ｆ変換部）
４０３  Ａｒｂｉｔｒａｒｙダウンミックス回路
４０５  第２時間−周波数領域変換部（第２ｔ−ｆ変換部）
４０６  ダウンミックス補償回路
４１０  ダウンミックス信号生成部
５０２  ダウンミックス信号中間復号化部
５０３  領域変換部
５０４  ダウンミックス調整回路
５０７  マルチチャンネル信号生成部
【図１】
2010013450.tif 000024
【図２】
2010013450.tif 000025
【図３】
2010013450.tif 000026
【図４】
2010013450.tif 000027
【図５】
2010013450.tif 000028
【図６】
2010013450.tif 000029
【図７】
2010013450.tif 000030
【図８】
2010013450.tif 000031
【図９】
2010013450.tif 000032
【手続補正書】
【提出日】平成22年2月23日(2010.2.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチチャンネル音響符号化技術およびマルチチャンネル音響復号化技術において、より低遅延な符号化処理および復号化処理を実現する装置に関する。この技術の応用として、本発明は、ホームシアターシステム、車載音響システム、電子ゲームシステム、会議システム、および、携帯電話などに適用可能である。
【背景技術】
【０００２】
マルチチャンネル音響信号を符号化する方式には、ドルビーデジタル方式、および、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）方式などが存在する。これらの符号化方式は、基本的にマルチチャンネル音響信号における各チャンネルの音響信号を別々に符号化することでマルチチャンネル音響信号の伝送を実現している。これらの符号化方式は、離散マルチチャンネル符号化と呼ばれ、５．１チャンネルをあわせて実用的にはビットレートが３８４ｋｂｐｓ程度を下限として、符号化することができる。
【０００３】
一方、全く異なる方法でマルチチャンネル音響信号を符号化して伝送するスペーシャルオーディオ符号化技術（ＳＡＣ：Ｓｐａｔｉａｌ−Ｃｕｅ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）がある。ＳＡＣ方式の一例としてＭＰＥＧサラウンド方式がある。ＭＰＥＧサラウンド方式は、非特許文献１に記載されているように、マルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスして、その１または２チャンネルの音響信号であるダウンミックス信号をＭＰＥＧ−ＡＡＣ方式（非特許文献２）、および、ＨＥ（Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ）−ＡＡＣ方式（非特許文献３）などで符号化することにより、ダウンミックス符号化列を生成し、同時に各チャンネル間の信号から生成する空間情報（ＳｐａｔｉａｌＣｕｅ）を前記ダウンミックス符号化列に付加する方式である。
【０００４】
空間情報（ＳｐａｔｉａｌＣｕｅ）には、ダウンミックス信号ともとの入力の各チャンネル信号の相関値、パワー比および位相の差異などの関係を示す情報であって、ダウンミックス信号をマルチチャンネル音響信号に分離するチャンネル分離情報が含まれている。それを元に音響復号化装置では、符号化されたダウンミックス信号を復号化し、続いて復号化されたダウンミックス信号と空間情報（ＳｐａｔｉａｌＣｕｅ）からマルチチャンネル音響信号を生成する。このようにしてマルチチャンネル音響信号の伝送が実現するのである。
【０００５】
ＭＰＥＧサラウンド方式で用いる空間情報（ＳｐａｔｉａｌＣｕｅ）は非常に小さい情報量であるため、１または２チャンネルのダウンミックス符号化列に対して情報量の増大が最小限に抑えられる。したがって、ＭＰＥＧサラウンド方式では、１または２チャンネルの音響信号と同程度の情報量でマルチチャンネル音響信号が符号化できるため、ＭＰＥＧ−ＡＡＣ方式およびドルビーデジタル方式に比べ少ないビットレートでマルチチャンネル音響信号を伝送できる。
【０００６】
例えば、低ビットレートで高音質な符号化方式の有用な応用例の一つに臨場感通信システムがあげられる。一般的に臨場感通信システムでは、２つ以上の拠点が双方向通信にて相互に接続される。そして、各拠点は、符号化データを相互に送受信し合い、各拠点に設置された音響符号化装置および音響復号化装置は、送受信されるデータを符号化および復号化する。
【０００７】
図７は、従来例における多拠点会議システムの構成図であって、３つの拠点で会議を行う場合における音響信号符号化処理および音響信号復号化処理の一例を示している。
【０００８】
図７では、各拠点（拠点１〜３）は、それぞれ音響符号化装置と音響復号化装置とを備え、音響信号をある特定幅を持った通信経路でやりとりすることで、音響信号の双方向通信を実現している。
【０００９】
つまり、拠点１は、マイクロフォン１０１、マルチチャンネル符号化装置１０２、拠点２に対応するマルチチャンネル復号化装置１０３、拠点３に対応するマルチチャンネル復号化装置１０４、レンダリング装置１０５、スピーカ１０６およびエコーキャンセラー１０７を備える。拠点２は、拠点１に対応するマルチチャンネル復号化装置１１０、拠点３に対応するマルチチャンネル復号化装置１１１、レンダリング装置１１２、スピーカ１１３、エコーキャンセラー１１４、マイクロフォン１０８およびマルチチャンネル符号化装置１０９を備える。拠点３は、マイクロフォン１１５、マルチチャンネル符号化装置１１６、拠点２に対応するマルチチャンネル復号化装置１１７、拠点１に対応するマルチチャンネル復号化装置１１８、レンダリング装置１１９、スピーカ１２０およびエコーキャンセラー１２１を備える。
【００１０】
各拠点の装置には、会議システムの通話で発生するエコーを抑圧するためのエコーキャンセラーを備えている場合が多い。また、各拠点の装置が、マルチチャンネル音響信号を送受信できるような装置である場合には、マルチチャンネル音響信号をさまざまな方向に定位させることが出来るように、各拠点に頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ−Ｒｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）を用いたレンダリング装置を備える場合もある。
【００１１】
例えば、拠点１では、マイクロフォン１０１は、音響信号を収音し、マルチチャンネル符号化装置１０２は、所定のビットレートに符号化を行う。その結果、音響信号は、ビットストリームｂｓ１へと変換され、拠点２と拠点３へ送信される。送信されたビットストリームｂｓ１は、マルチチャンネル音響信号の復号化に対応したマルチチャンネル復号化装置１１０でマルチチャンネル音響信号へと復号化される。レンダリング装置１１２は、復号化されたマルチチャンネル音響信号をレンダリングする。スピーカ１１３は、レンダリングされたマルチチャンネル音響信号を再生する。
【００１２】
同様に拠点３では、マルチチャンネル復号化装置１１８は、符号化されたマルチチャンネル音響信号を復号化し、レンダリング装置１１９は、復号化したマルチチャンネル音響信号をレンダリングし、スピーカ１２０は、レンダリングされたマルチチャンネル音響信号を再生する。
【００１３】
なお、拠点１が送信側であり、拠点２および拠点３が受信側である場合を説明したが、拠点２が送信側であり、拠点１および拠点３が受信側になる場合もあるし、拠点３が送信側であり、拠点１および拠点２が受信側になる場合もある。これらの処理が常に同時並行的に繰り返されることで臨場感通信システムが成立しているのである。
【００１４】
臨場感通信システムの主目的は、臨場感あふれる会話を実現することである。そのため、相互に接続されたどの２つの拠点間においても、双方向通信における違和感を低減することが必要となる。また、一方、双方向通信における通信コストも課題となる。
【００１５】
違和感の少ない安価な双方向通信を実現するには、いくつかの要求項目を満たす必要がある。音響信号を符号化する方式については、（１）音響符号化装置および音響復号化装置の処理時間が小さいこと、すなわち、符号化方式のアルゴリズム遅延が小さいこと、（２）低ビットレートで伝送可能であること、（３）高音質を満たすことが必要となる。
【００１６】
ＭＰＥＧ−ＡＡＣ方式およびドルビーデジタル方式などの方式では、ビットレートを下げると極端に音質劣化が生じるため、臨場感を伝える音質を維持しつつ安価な通信コストを実現することは困難である。その点、ＭＰＥＧサラウンド方式を初めとするＳＡＣ方式は、音質を維持したまま伝送ビットレートを小さくすることが可能であり、安価な通信コストで臨場感通信システムを実現するには、比較的適した符号化方式である。
【００１７】
特に、ＳＡＣ方式の中でも音質が良いＭＰＥＧサラウンド方式の主たるアイデアは、入力信号の空間情報（ＳｐａｔｉａｌＣｕｅ）を少ない情報量のパラメータで表現し、１または２チャンネルにダウンミックスされて伝送されたダウンミックス信号と前記パラメータを用いて、マルチチャンネル音響信号を合成することである。伝送する音響信号のチャンネル数を削減することによってＳＡＣ方式はビットレートを低くすることが可能となり、臨場感通信システムで重要な２点目の項目、すなわち、低ビットレートで伝送可能であることを満たす。ＭＰＥＧ−ＡＡＣ方式およびドルビーデジタル方式などの従来例におけるマルチチャンネル符号化方式と比較して、ＳＡＣ方式では、同じビットレートにおいて、特に５．１チャンネルで１９２ｋｂｐｓなどの超低ビットレートにおいて、より高音質な伝送が可能となる。
【００１８】
従って、臨場感通信システムに対してＳＡＣ方式は有用な解決手段となる。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】ＩＳＯ／ＩＥＣ−２３００３−１
【非特許文献２】ＩＳＯ／ＩＥＣ−１３８１８−３
【非特許文献３】ＩＳＯ／ＩＥＣ−１４４９６−３：２００５
【非特許文献４】ＩＳＯ／ＩＥＣ−１４４９６−３：２００５／Ａｍｄ  １：２００７
【発明の概要】
【発明が解決しようとする課題】
【００２０】
前記ＳＡＣ方式にも、臨場感通信システムに適用するには実は大きな課題がある。ＭＰＥＧ−ＡＡＣ方式およびドルビーデジタル方式などの従来例における離散マルチチャンネル符号化方式に比べ、ＳＡＣ方式の符号化遅延量は、非常に大きくなるのである。たとえば、ＭＰＥＧ−ＡＡＣ方式には符号化遅延量が増大する課題に対して、それを低減する技術としてＭＰＥＧ−ＡＡＣ−ＬＤ（Ｌｏｗ  Ｄｅｌａｙ）方式が規格化されている（非特許文献４）。
【００２１】
通常のＭＰＥＧ−ＡＡＣ方式では、サンプリング周波数が４８ｋＨｚの場合に、音響符号化装置で約４２ｍｓｅｃの符号化処理の遅延があり、音響復号化装置で約２１ｍｓｅｃの復号化処理の遅延が発生する。一方、ＭＰＥＧ−ＡＡＣ−ＬＤ方式では、通常のＭＰＥＧ−ＡＡＣ方式の半分の符号化遅延量で音響信号の処理が可能である。この方式を臨場感通信システムに適用すると、符号化遅延の少なさによって通信相手との会話およびコミュニケーションをスムーズに行うことが可能となる。しかしながら、ＭＰＥＧ−ＡＡＣ−ＬＤ方式は、低遅延であるが、あくまでＭＰＥＧ−ＡＡＣ方式を元にしたマルチチャンネル符号化手法であり、ＭＰＥＧ−ＡＡＣ方式と同じように、ビットレートの低減には奏功せず、低ビットレート、高音質および低遅延を同時に満たすことが出来ない。
【００２２】
つまり、ＭＰＥＧ−ＡＡＣ方式、ＭＰＥＧ−ＡＡＣ−ＬＤ方式およびドルビーデジタル方式などの従来例における離散マルチチャンネル符号化方式では、低ビットレート、高音質および低遅延であることのすべてを満たす符号化を実現することが困難である。
【００２３】
図８は、ＳＡＣ方式の代表例であるＭＰＥＧサラウンド方式の符号化遅延量を解析し、図示している。ＭＰＥＧサラウンド方式の詳細は、非特許文献１に記載されている。
【００２４】
本図に示されるように、ＳＡＣ符号化装置（ＳＡＣ  ｅｎｃｏｄｅｒ）は、ｔ−ｆ変換部２０１、ＳＡＣ分析部２０２、ｆ−ｔ変換部２０４、ダウンミックス信号符号化部２０５および重畳装置２０７を備える。ＳＡＣ分析部２０２は、ダウンミックス部２０３および空間情報算出部２０６を備える。
【００２５】
ＳＡＣ復号化装置（ＳＡＣ  ｄｅｃｏｄｅｒ）は、解読装置２０８、ダウンミックス信号復号化部２０９、ｔ−ｆ変換部２１０、ＳＡＣ合成部２１１およびｆ−ｔ変換部２１２を備える。
【００２６】
図８によれば、符号化側では、ｔ−ｆ変換部２０１は、マルチチャンネル音響信号を周波数領域の信号へと変換する。ｔ−ｆ変換部２０１は、離散フーリエ変換（ＦＦＴ：Ｆｉｎｉｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）および離散コサイン変換（ＭＤＣＴ：Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）などによって純粋な周波数領域に変換する場合もあれば、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ  Ｍｉｒｒｏｒ  Ｆｉｌｔｅｒ）フィルタバンクなどを用いて合成周波数領域に変換する場合もある。
【００２７】
周波数領域に変換されたマルチチャンネル音響信号は、ＳＡＣ分析部２０２で２つの経路に接続される。一つは、１または２チャンネルの音響信号である中間ダウンミックス信号ＩＤＭＸを生成するダウンミックス部２０３に接続する経路である。もう一つは空間情報（ＳｐａｔｉａｌＣｕｅ）を抽出し量子化する空間情報算出部２０６に接続する経路である。空間情報（ＳｐａｔｉａｌＣｕｅ）としては、一般的には入力されたマルチチャンネル音響信号の各チャンネル間のレベル差、パワー差、相関、および、コヒーレンスなどを生成して用いる場合が多い。
【００２８】
空間情報算出部２０６が、空間情報（ＳｐａｔｉａｌＣｕｅ）を抽出し、量子化する処理をした後、ｆ−ｔ変換部２０４は、中間ダウンミックス信号ＩＤＭＸを時間領域の信号に再度変換する。
【００２９】
ダウンミックス信号符号化部２０５は、ｆ−ｔ変換部２０４で得られたダウンミックス信号ＤＭＸを所望のビットレートに符号化する。
【００３０】
この際に用いられるダウンミックス信号の符号化方式としては、１または２チャンネルの音響信号を符号化する方式であって、ＭＰ３（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ−３）、ＭＰＥＧ−ＡＡＣ、ＡＴＲＡＣ（Ａｄａｐｔｉｖｅ  ＴＲａｎｓｆｏｒｍ  Ａｃｏｕｓｔｉｃ  Ｃｏｄｉｎｇ）方式、ドルビーデジタル方式およびＷｉｎｄｏｗｓ（登録商標）ＭｅｄｉａＡｕｄｉｏ（ＷＭＡ）方式のような非可逆圧縮方式であってもよいし、ＭＰＥＧ４−ＡＬＳ（Ａｕｄｉｏ  Ｌｏｓｓｌｅｓｓ）、ＬＰＡＣ（Ｌｏｓｓｌｅｓｓ  Ｐｒｅｄｉｃｔｉｖｅ  Ａｕｄｉｏ  Ｃｏｍｐｒｅｓｓｉｏｎ）およびＬＴＡＣ（Ｌｏｓｓｌｅｓｓ  Ｔｒａｎｓｆｏｒｍ  Ａｕｄｉｏ  Ｃｏｍｐｒｅｓｓｉｏｎ）などの可逆圧縮方式であっても良い。さらには、ｉＳＡＣ（ｉｎｔｅｒｎｅｔ  Ｓｐｅｅｃｈ  Ａｕｄｉｏ  Ｃｏｄｅｃ）、ｉＬＢＣ（ｉｎｔｅｒｎｅｔ  Ｌｏｗ  Ｂｉｔｒａｔｅ  Ｃｏｄｅｃ）およびＡＣＥＬＰ（Ａｌｇｅｂｒａｉｃ  ｃｏｄｅ  ｅｘｃｉｔｅｄ  ｌｉｎｅａｒ  ｐｒｅｄｉｃｔｉｏｎ）などの音声領域に特化した圧縮方式であってもよい。
【００３１】
重畳装置２０７は、二つ以上の入力を一つの信号として出力する機構を備えるマルチプレクサである。重畳装置２０７は、符号化されたダウンミックス信号ＤＭＸと空間情報（ＳｐａｔｉａｌＣｕｅ）とをマルチプレックスして音響復号化装置へと送信する。
【００３２】
音響復号化装置側では、重畳装置２０７によって生成された符号化ビットストリームを受信する。解読装置２０８は、受信したビットストリームをデマルチプレックスする。ここで、解読装置２０８は、一つの入力信号から複数の信号を出力するデマルチプレクサであって、一つの入力信号を複数の信号に分離する分離部である。
【００３３】
その後、ダウンミックス信号復号化部２０９は、ビットストリームに含まれる符号化されたダウンミックス信号を１または２チャンネルの音響信号へと復号化する。
【００３４】
ｔ−ｆ変換部２１０は、復号化された信号を周波数領域に変換する。
【００３５】
ＳＡＣ合成部２１１は、解読装置２０８で分離された空間情報（ＳｐａｔｉａｌＣｕｅ）と、前記周波数領域の復号化信号から、マルチチャンネル音響信号を合成する。
【００３６】
ｆ−ｔ変換部２１２は、ＳＡＣ合成部２１１で合成された周波数領域の信号を時間領域の信号に変換し、結果として時間領域のマルチチャンネル音響信号が生成される。
【００３７】
以上のように、ＳＡＣの構成を俯瞰すると、符号化方式のアルゴリズム遅延量は次の３つに分類することが出来る。
【００３８】
（１）ＳＡＣ分析部２０２およびＳＡＣ合成部２１１
（２）ダウンミックス信号符号化部２０５およびダウンミックス信号復号化部２０９
（３）ｔ−ｆ変換部およびｆ−ｔ変換部（２０１、２０４、２１０、２１２）
【００３９】
図９は、従来例におけるＳＡＣ技術のアルゴリズム遅延量を示している。以下、便宜上それぞれのアルゴリズム遅延量を次のように記載する。
【００４０】
ｔ−ｆ変換部２０１およびｔ−ｆ変換部２１０の遅延量をＤ０、ＳＡＣ分析部２０２の遅延量をＤ１、ｆ−ｔ変換部２０４およびｆ−ｔ変換部２１２の遅延量をＤ２、ダウンミックス信号符号化部２０５の遅延量をＤ３、ダウンミックス信号復号化部２０９の遅延量をＤ４、および、ＳＡＣ合成部２１１の遅延量をＤ５、とする。
【００４１】
図９に示すように、音響符号化装置と音響復号化装置を合わせた遅延量Ｄは、
Ｄ＝２＊Ｄ０＋Ｄ１＋２＊Ｄ２＋Ｄ３＋Ｄ４＋Ｄ５
となる。
【００４２】
ＳＡＣ符号化方式の典型例であるＭＰＥＧサラウンド方式に関しては、音響符号化装置および音響復号化装置で２２４０サンプルのアルゴリズム遅延が発生する。ダウンミックス信号の音響符号化装置および音響復号化装置で発生するアルゴリズム遅延を含めると、全体のアルゴリズム遅延は膨大となる。ダウンミックス符号化装置およびダウンミックス復号化装置としてＭＰＥＧ−ＡＡＣ方式を採用した場合のアルゴリズム遅延は約８０ｍｓｅｃにも達する。しかしながら、一般的に遅延量が重要である臨場感通信システムで遅延量を意識せずに通信するためには、音響符号化装置および音響復号化装置の遅延量が４０ｍｓｅｃ以下である必要がある。
【００４３】
従って、低ビットレート、高音質、および、低遅延であることが必要である臨場感通信システムなどの用途に、ＳＡＣ符号化方式を用いた場合、遅延量が大幅に大きすぎる本質的な課題が存在する。
【００４４】
そこで、本発明は、従来例におけるマルチチャンネル音響信号の符号化装置および復号化装置のアルゴリズム遅延を削減することができる音響符号化装置および音響復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００４５】
上記課題を解決するために、本発明における音響符号化装置は、入力されたマルチチャンネル音響信号を符号化する音響符号化装置であって、入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部とを備える。
【００４６】
これにより、マルチチャンネル音響信号から空間情報を生成する処理の終了を待たずに、同じマルチチャンネル音響信号をダウンミックスして符号化する処理を実行できる。すなわち、それらの処理を並列して実行できる。したがって、音響符号化装置におけるアルゴリズム遅延を削減することができる。
【００４７】
また、前記音響符号化装置は、さらに、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備えてもよい。
【００４８】
これにより、空間情報を生成する処理の終了を待たずに生成されたダウンミックス信号を調整するためのダウンミックス補償情報を生成することができる。そして、音響復号化装置は、生成されたダウンミックス補償情報を用いることにより、さらに高音質のマルチチャンネル音響信号を生成することができる。
【００４９】
また、前記音響符号化装置は、さらに、前記ダウンミックス補償情報と前記空間情報を同一の符号化列に格納する重畳装置を備えてもよい。
【００５０】
これにより、従来例における音響符号化装置および音響復号化装置との互換性を確保することができる。
【００５１】
また、前記ダウンミックス補償回路は、前記ダウンミックス補償情報として信号のパワー比を算出してもよい。
【００５２】
これにより、本発明の音響符号化装置からダウンミックス信号とダウンミックス補償情報を受信した音響復号化装置は、ダウンミックス補償情報であるパワー比を用いて、ダウンミックス信号を調整することができる。
【００５３】
また、前記ダウンミックス補償回路は、前記ダウンミックス補償情報として信号の差分を算出してもよい。
【００５４】
これにより、本発明の音響符号化装置からダウンミックス信号とダウンミックス補償情報を受信した音響復号化装置は、ダウンミックス補償情報である差分を用いて、ダウンミックス信号を調整することができる。
【００５５】
また、前記ダウンミックス補償回路は、前記ダウンミックス補償情報として予測フィルタ係数を算出してもよい。
【００５６】
これにより、本発明の音響符号化装置からダウンミックス信号とダウンミックス補償情報を受信した音響復号化装置は、ダウンミックス補償情報である予測フィルタ係数を用いて、ダウンミックス信号を調整することができる。
【００５７】
また、本発明における音響復号化装置は、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置であって、受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える音響復号化装置でもよい。
【００５８】
これにより、アルゴリズム遅延を削減した前記音響符号化装置より受信したダウンミックス信号から、高音質のマルチチャンネル音響信号を生成することができる。
【００５９】
また、前記音響復号化装置は、さらに、前記データ部に含まれる符号化されたダウンミックス信号を逆量子化することにより、周波数領域のダウンミックス信号を生成するダウンミックス中間復号化部と、前記ダウンミックス中間復号化部により生成された周波数領域のダウンミックス信号を時間軸方向にも成分を持つ周波数領域のダウンミックス信号に変換する領域変換部とを備え、前記ダウンミックス調整回路は、前記領域変換部により変換された周波数領域のダウンミックス信号を、前記ダウンミックス補償情報により調整してもよい。
【００６０】
これにより、マルチチャンネル音響信号を生成するための前段の処理が周波数領域上で行われる。したがって、処理の遅延を削減することができる。
【００６１】
また、前記ダウンミックス調整回路は、前記ダウンミックス補償情報として信号のパワー比を取得し、前記ダウンミックス信号に前記パワー比を乗算することにより、前記ダウンミックス信号を調整してもよい。
【００６２】
これにより、音響復号化装置が受信したダウンミックス信号は、音響符号化装置により算出されたパワー比を用いて、高音質のマルチチャンネル音響信号を生成するために適切なダウンミックス信号に調整される。
【００６３】
また、前記ダウンミックス調整回路は、前記ダウンミックス補償情報として信号の差分を取得し、前記ダウンミックス信号に前記差分を加算することにより、前記ダウンミックス信号を調整してもよい。
【００６４】
これにより、音響復号化装置が受信したダウンミックス信号は、音響符号化装置により算出された差分を用いて、高音質のマルチチャンネル音響信号を生成するために適切なダウンミックス信号に調整される。
【００６５】
また、前記ダウンミックス調整回路は、前記ダウンミックス補償情報として予測フィルタ係数を取得し、前記ダウンミックス信号に前記予測フィルタ係数を用いた予測フィルタを施すことにより、前記ダウンミックス信号を調整してもよい。
【００６６】
これにより、音響復号化装置が受信したダウンミックス信号は、音響符号化装置により算出された予測フィルタ係数を用いて、高音質のマルチチャンネル音響信号を生成するために適切なダウンミックス信号に調整される。
【００６７】
また、本発明における音響符号化復号化装置は、入力されたマルチチャンネル音響信号を符号化する音響符号化部と、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化部とを備える音響符号化復号化装置であって、前記音響符号化部は、入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部と、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備え、前記音響復号化部は、受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える音響符号化復号化装置でもよい。
【００６８】
これにより、低遅延、低ビットレートおよび高音質を満たす音響符号化復号化装置として利用することができる。
【００６９】
また、本発明における会議システムは、入力されたマルチチャンネル音響信号を符号化する音響符号化装置と、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置とを備える会議システムであって、前記音響符号化装置は、入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部と、前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備え、前記音響復号化装置は、受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える会議システムでもよい。
【００７０】
これにより、スムーズなコミュニケーションを行うことができる会議システムとして利用することができる。
【００７１】
また、本発明における音響符号化方法は、入力されたマルチチャンネル音響信号を符号化する音響符号化方法であって、入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成ステップと、前記ダウンミックス信号生成ステップにより生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化ステップと、入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換ステップと、前記第１ｔ−ｆ変換ステップにより変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出ステップとを含む音響符号化方法でもよい。
【００７２】
これにより、音響信号の符号化処理におけるアルゴリズム遅延を削減することができる。
【００７３】
また、本発明における音響復号化方法は、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化方法であって、受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離ステップと、前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整ステップと、前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整ステップにより調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成ステップと、前記マルチチャンネル信号生成ステップにより生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換ステップとを含む音響復号化方法でもよい。
【００７４】
これにより、高音質のマルチチャンネル音響信号を生成することができる。
【００７５】
また、本発明における符号化プログラムは、入力されたマルチチャンネル音響信号を符号化する音響符号化装置のためのプログラムであって、前記音響符号化方法に含まれるステップをコンピュータに実行させるプログラムでもよい。
【００７６】
これにより、低遅延な音響符号化処理を行うプログラムとして利用することができる。
【００７７】
また、本発明における復号化プログラムは、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置のためのプログラムであって、前記音響復号化方法に含まれるステップをコンピュータに実行させるプログラムでもよい。
【００７８】
これにより、高音質のマルチチャンネル音響信号を生成する処理を行うプログラムとして利用することができる。
【００７９】
上述に示す通り、本発明は、音響符号化装置および音響復号化装置として実現することができるだけでなく、音響符号化装置および音響復号化装置が備える特徴的な手段をステップとする音響符号化方法および音響復号化方法として実現できる。また、それらのステップをコンピュータに実行させるプログラムとして実現できる。また、音響符号化装置および音響復号化装置が備える特徴的な手段を一体化したＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の半導体集積回路として構成することもできる。そして、そのようなプログラムが、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、および、インターネットなどの伝送媒体を介して提供可能であることは言うまでもない。
【発明の効果】
【００８０】
本発明にかかる音響符号化装置および音響復号化装置によれば、従来例におけるマルチチャンネル音響符号化装置およびマルチチャンネル音響復号化装置のアルゴリズム遅延を削減し、トレードオフの関係にあるビットレートと音質の関係を高次元で両立することができる。
【００８１】
すなわち、従来例におけるマルチチャンネル音響符号化技術よりもアルゴリズム遅延を削減することが可能となり、リアルタイムな通話を行う会議システム、および、低遅延で高音質なマルチチャンネル音響信号の伝送が必須の臨場感あふれる通信システムなどの構築が実現できるという効果が奏される。
【００８２】
よって、本発明により、高音質、低ビットレートかつ低遅延の送受信が可能となる。したがって、携帯電話などのモバイル機器同士での臨場感あふれるコミュニケーションが普及し、ＡＶ機器、および会議システムでの本格的な臨場感コミュニケーションが普及してきた今日における本発明の実用的価値はきわめて高い。もちろん用途はこれらに限った物ではなく、遅延量が小さいことが必須の双方向コミュニケーション全般に対して有効な発明であることは言うまでもない。
【図面の簡単な説明】
【００８３】
【図１】図１は、本発明の実施の形態における音響符号化装置の構成および各部の遅延量を示す図である。
【図２】図２は、本発明の実施の形態におけるビットストリームの構造図である。
【図３】図３は、本発明の実施の形態におけるビットストリームの別の構造図である。
【図４】図４は、本発明の実施の形態における音響復号化装置の構成および各部の遅延量を示す図である。
【図５】図５は、本発明の実施の形態におけるパラメータセットの説明図である。
【図６】図６は、本発明の実施の形態におけるハイブリッド領域の説明図である。
【図７】図７は、従来例における多拠点会議システムの構成図である。
【図８】図８は、従来例における音響符号化装置および音響復号化装置の構成図である。
【図９】図９は、従来例における音響符号化装置および音響復号化装置の遅延量を示す図である。
【発明を実施するための形態】
【００８４】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００８５】
（実施の形態１）
まず、本発明の実施の形態１について説明する。
【００８６】
図１は、本発明の実施の形態１における音響符号化装置の構成図である。また、図１において、各部の下に遅延量を示している。なお、ここでの遅延量は、複数の入力信号を蓄積した後に、信号を出力する場合の遅延量を示す。入力から出力の間に複数の入力信号の蓄積がない場合は、その部分の遅延量は無視できるため、図１において遅延量を０と示している。
【００８７】
図１に示された音響符号化装置は、マルチチャンネル音響信号を符号化する音響符号化装置であって、ダウンミックス信号生成部４１０、ダウンミックス信号符号化部４０４、第１ｔ−ｆ変換部４０１、ＳＡＣ分析部４０２、第２ｔ−ｆ変換部４０５、ダウンミックス補償回路４０６、および、重畳装置４０７を備える。ダウンミックス信号生成部４１０は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３を備える。ＳＡＣ分析部４０２は、ダウンミックス部４０８、および、空間情報算出部４０９を備える。
【００８８】
Ａｒｂｉｔｒａｒｙダウンミックス回路４０３は、任意方式（Ａｒｂｉｔｒａｒｙ）により、入力されたマルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスして、Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを生成する。
【００８９】
ダウンミックス信号符号化部４０４は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを符号化する。
【００９０】
第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを時間領域から周波数領域に変換して、周波数領域の中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸを生成する。
【００９１】
第１ｔ−ｆ変換部４０１は、入力されたマルチチャンネル音響信号を時間領域から周波数領域に変換する。
【００９２】
ダウンミックス部４０８は、第１ｔ−ｆ変換部４０１により変換された周波数領域のマルチチャンネル音響信号を分析して、周波数領域の中間ダウンミックス信号ＩＤＭＸを生成する。
【００９３】
空間情報算出部４０９は、第１ｔ−ｆ変換部４０１により変換された周波数領域のマルチチャンネル音響信号を分析して、空間情報（ＳｐａｃｉａｌＣｕｅ）を生成する。  空間情報（ＳｐａｔｉａｌＣｕｅ）には、ダウンミックスされた信号とマルチチャンネル音響信号との相関値、パワー比および位相の差異などの関係を示す情報であって、ダウンミックスされた信号をマルチチャンネル音響信号に分離するチャンネル分離情報が含まれる。
【００９４】
ダウンミックス補償回路４０６は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸと中間ダウンミックス信号ＩＤＭＸを比較し、ダウンミックス補償情報（ＤＭＸＣｕｅ）を算出する。
【００９５】
重畳装置４０７は、二つ以上の入力を一つの信号として出力する機構を備えるマルチプレクサの例である。重畳装置４０７は、ダウンミックス信号符号化部４０４により符号化されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸ、空間情報算出部４０９により算出された空間情報（ＳｐａｔｉａｌＣｕｅ）、および、ダウンミックス補償回路４０６により算出されたダウンミックス補償情報（ＤＭＸＣｕｅ）を多重化してビットストリームとして出力する。
【００９６】
図１に示すように、入力のマルチチャンネル音響信号は、二つのモジュールに入力される。一つは、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３であり、もう一つは、第１ｔ−ｆ変換部４０１である。第１ｔ−ｆ変換部４０１は、例えば、式１を用いて、入力されたマルチチャンネル音響信号を周波数領域の信号へと変換する。
【００９７】
【数１】
2010013450.tif 000033
【００９８】
式１は、離散コサイン変換（ＭＤＣＴ）の例である。ｓ（ｔ）は入力された時間領域のマルチチャンネル音響信号である。Ｓ（ｆ）は周波数領域のマルチチャンネル音響信号である。ｔは、時間領域を示している。ｆは、周波数領域を示している。Ｎは、フレーム数である。
【００９９】
なお、本実施の形態では、第１ｔ−ｆ変換部４０１が用いる計算式の例として、離散コサイン変換（ＭＤＣＴ）を式１に示したが、本発明はこれに限った物ではない。離散高速フーリエ変換（ＦＦＴ：Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）および離散コサイン変換（ＭＤＣＴ）などによって純粋な周波数領域に変換される場合もあれば、ＱＭＦフィルタバンクなどを用いて時間軸方向にも成分を持つ周波数領域である合成周波数領域に変換する場合もある。そのために、第１ｔ−ｆ変換部４０１は、どの変換領域を用いるかを符号化列に保持しておく。たとえば、ＱＭＦフィルタバンクを用いる合成周波数領域の場合は符号化列に“０１”を、離散コサイン変換（ＭＤＣＴ）を用いる周波数領域の場合は“００”をそれぞれ符号化列に保持する。
【０１００】
ＳＡＣ分析部４０２のダウンミックス部４０８は、周波数領域に変換されたマルチチャンネル音響信号を中間ダウンミックス信号ＩＤＭＸにダウンミックスする。中間ダウンミックス信号ＩＤＭＸは、１または２チャンネルの音響信号であり、周波数領域の信号である。
【０１０１】
【数２】
2010013450.tif 000034
【０１０２】
式２は、ダウンミックスの計算処理の例である。式２におけるｆは、周波数領域を示している。ＳL（ｆ）、ＳR（ｆ）、ＳC（ｆ）、ＳLs（ｆ）およびＳRs（ｆ）は、各チャンネルの音響信号である。ＳIDMX（ｆ）は、中間ダウンミックス信号ＩＤＭＸである。ＣL、ＣR、ＣC、ＣLs、ＣRs、ＤL、ＤR、ＤC、ＤLsおよびＤRsは、ダウンミックス係数である。
【０１０３】
ここでは、ＩＴＵ規定のダウンミックス係数を適用している。通常のＩＴＵ規定のダウンミックス係数は、時間領域の信号に対して演算するが、本実施の形態では、それを周波数領域での変換に用いることが通常のＩＴＵ勧告のダウンミックス手法と異なる点である。ここでのダウンミックス係数は、マルチチャンネル音響信号の特性に応じて変化する場合もある。
【０１０４】
ＳＡＣ分析部４０２の空間情報算出部４０９は、ＳＡＣ分析部４０２のダウンミックス部４０８によるダウンミックスと同時に、空間情報（ＳｐａｔｉａｌＣｕｅ）を算出し、量子化を行う。空間情報（ＳｐａｔｉａｌＣｕｅ）は、ダウンミックス信号をマルチチャンネル音響信号に分離するときに用いられる。
【０１０５】
【数３】
2010013450.tif 000035
【０１０６】
式３では、チャンネルｎとチャンネルｍの間のパワー比をＩＬＤn,mとして算出している。ｎおよびｍは、１がＬチャンネルに相当し、以下、２がＲチャンネル、３がＣチャンネル、４がＬｓチャンネル、そして、５がＲｓチャンネルとなる。また、Ｓ（ｆ）nおよびＳ（ｆ）mは、各チャンネルの音響信号である。
【０１０７】
同様にチャンネルｎとチャンネルｍの間の相関係数をＩＣＣn,mとして式４のように算出する。
【０１０８】
【数４】
2010013450.tif 000036
【０１０９】
ｎおよびｍは、１がＬチャンネルに相当し、以下、２がＲチャンネル、３がＣチャンネル、４がＬｓチャンネル、そして、５がＲｓチャンネルとなる。また、Ｓ（ｆ）nおよびＳ（ｆ）mは、各チャンネルの音響信号である。さらに、演算子Ｃｏｒｒは式５のような演算である。
【０１１０】
【数５】
2010013450.tif 000037
【０１１１】
式５のｘiとｙiは、演算子Ｃｏｒｒによって演算されるｘとｙに含まれる各要素を示す。ｘバーとｙバーは、演算されるｘとｙに含まれる要素の平均値を示す。
【０１１２】
このようにして、ＳＡＣ分析部４０２の空間情報算出部４０９は、各チャンネル間のＩＬＤおよびＩＣＣを算出したあと、量子化を行い、必要に応じてＨｕｆｆｍａｎ符号化手法などを用いて冗長性を廃し、空間情報（ＳｐａｔｉａｌＣｕｅ）を生成する。
【０１１３】
重畳装置４０７は、空間情報算出部４０９により生成された空間情報（ＳｐａｔｉａｌＣｕｅ）を図２に示されるようなビットストリームに重畳する。
【０１１４】
図２は、本発明の実施の形態におけるビットストリームの構造図である。重畳装置４０７は、符号化されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸと空間情報（ＳｐａｔｉａｌＣｕｅ）をビットストリームに重畳する。さらに、空間情報（ＳｐａｔｉａｌＣｕｅ）は、空間情報算出部４０９によって算出された情報ＳＡＣ＿Ｐａｒａｍとダウンミックス補償回路４０６により算出されたダウンミックス補償情報（ＤＭＸＣｕｅ）を含む。ダウンミックス補償情報（ＤＭＸＣｕｅ）を空間情報（ＳｐａｔｉａｌＣｕｅ）に含めることで、従来例における音響復号化装置との互換性を維持することができる。
【０１１５】
また、図２に示されたＬＤ＿ｆｌａｇ（ＬｏｗＤｅｌａｙフラグ）は、本発明の音響符号化方法により符号化されたか否かを示すフラグである。音響符号化装置の重畳装置４０７がＬＤ＿ｆｌａｇを付加することにより、音響復号化装置は、ダウンミックス補償情報（ＤＭＸＣｕｅ）が付加された信号であるかを容易に判定することができる。また、音響復号化装置は、付加されたダウンミックス補償情報（ＤＭＸＣｕｅ）を読み飛ばすことにより、より低遅延となる復号化の処理をしてもよい。
【０１１６】
なお、本実施の形態では、空間情報（ＳｐａｔｉａｌＣｕｅ）として、入力されたマルチチャンネル音響信号の各チャンネル間のパワー比と相関係数を用いたが、本発明はこれに限った物ではなく、入力されたマルチチャンネル音響信号間のコヒーレンスおよび絶対値の差分であってもよい。
【０１１７】
また、ＳＡＣ方式としてＭＰＥＧサラウンド方式を用いた場合の詳細な説明は非特許文献１に記載されている。非特許文献１に記載のＩＣＣ（Ｉｎｔｅｒａｕｒａｌ  Ｃｏｒｒｅｌａｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔ）が各チャンネル間の相関情報に相当し、ＩＬＤ（Ｉｎｔｅｒａｕｒａｌ  Ｌｅｖｅｌ  Ｄｉｆｆｅｒｅｎｃｅ）が各チャンネル間のパワー比に相当する。図２に示されたＩＴＤ（Ｉｎｔｅｒａｕｒａｌ  Ｔｉｍｅ  Ｄｉｆｆｅｒｅｎｃｅ）は、各チャンネル間の時間差情報に相当する。
【０１１８】
次に、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３の機能について述べる。
【０１１９】
Ａｒｂｉｔｒａｒｙダウンミックス回路４０３は、時間領域のマルチチャンネル音響信号を任意の方式でダウンミックスを行い、時間領域の１または２チャンネルの音響信号であるＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを算出する。ダウンミックスとしては、ＩＴＵ−Ｒ勧告ＢＳ．７７５−１（非特許文献５）に従ったダウンミックスがその一例である。
【０１２０】
【数６】
2010013450.tif 000038
【０１２１】
式６は、ダウンミックスの計算処理の例である。式６におけるｔは、時間領域を示している。ｓ（ｔ）L、ｓ（ｔ）R、ｓ（ｔ）C、ｓ（ｔ）Lsおよびｓ（ｔ）Rsは、各チャンネルの音響信号である。ＳADMX（ｔ）は、Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸである。ＣL、ＣR、ＣC、ＣLs、ＣRs、ＤL、ＤR、ＤC、ＤLsおよびＤRsは、ダウンミックス係数である。本発明において、ダウンミックス係数を音響符号化装置毎に設定し、図３に示されるように、重畳装置４０７は、設定されたダウンミックス係数をビットストリームの一部として送信してもよい。また、ダウンミックス係数のセットを複数個用意しておき、重畳装置４０７は、切り替えた場合の情報をビットストリームに重畳して送信しても良い。
【０１２２】
図３は、本発明の実施の形態におけるビットストリームの構造図であって、図２に示されたビットストリームとは別の構造図である。図３に示されたビットストリームは、図２に示されたビットストリームと同様に、符号化されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸと空間情報（ＳｐａｔｉａｌＣｕｅ）とが重畳されている。さらに、空間情報（ＳｐａｔｉａｌＣｕｅ）は、空間情報算出部４０９によって算出された情報ＳＡＣ＿Ｐａｒａｍとダウンミックス補償回路４０６により算出されたダウンミックス補償情報（ＤＭＸＣｕｅ）を含む。図３に示されたビットストリームには、さらにダウンミックス係数の情報とダウンミックス係数のパターンを示す情報ＤＭＸ＿ｆｌａｇが含まれる。
【０１２３】
たとえば、ダウンミックス係数を２パターン用意する。一つのパターンはＩＴＵ−Ｒ勧告の係数、もう一つはユーザー定義の係数にする。重畳装置４０７は、１ビットの追加情報をビットストリームに記載し、ＩＴＵ勧告の場合は当該ビットに“０”として送信する。ユーザー定義の場合、当該ビットを“１”として送信し、更に１の場合は、その後ろにユーザー定義の係数を保持する。ビットストリームでの保持の仕方は、たとえばＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸがモノラルの場合には、ダウンミックス係数の数（元の信号が５．１チャンネルの場合は“６”）を保持する。その後ろに実際のダウンミックス係数を固定ビット長で保持する。元の信号が５．１チャンネルの場合でビット長が１６ビットの場合、計９６ビットにてダウンミックス係数がビットストリーム上に記載される。Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸがステレオの場合には、ダウンミックス係数の数（元の信号が５．１チャンネルの場合は“１２”）を保持する。その後ろに実際のダウンミックス係数を固定ビット長で保持する。
【０１２４】
なお、ダウンミックス係数は、固定ビット長で保持する場合もあれば、可変ビット長で保持しても良い。その場合には、ダウンミックス係数が保持されているビットの長さ情報をビットストリームに格納する。
【０１２５】
ダウンミックス係数のパターン情報を保持することで、音響復号化装置はそのパターン情報を読みとるだけでダウンミックス係数そのものを読み出すことなどの余分な処理をせずに復号化することができる。余分な処理をしないことで、より低消費電力な復号化も可能になるメリットがある。
【０１２６】
このようにして、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３は、ダウンミックスを行う。そして、ダウンミックス信号符号化部４０４は、１または２チャンネルのＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを所定のビットレート、所定の符号化形式で符号化する。さらに、重畳装置４０７は、符号化された信号をビットストリームに重畳し、音響復号化装置へ送信する。
【０１２７】
一方、第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを周波数領域に変換し、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸを生成する。
【０１２８】
【数７】
2010013450.tif 000039
【０１２９】
式７は、周波数領域への変換に用いられる離散コサイン変換（ＭＤＣＴ）の例である。式７におけるｔは、時間領域を示している。ｆは、周波数領域を示している。Ｎは、フレーム数を示している。ＳADMX（ｆ）は、Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを示している。ＳIADMX（ｆ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸを示している。
【０１３０】
第２ｔ−ｆ変換部４０５で用いる変換は、式７に示された離散コサイン変換（ＭＤＣＴ）でも良いし、離散フーリエ変換（ＦＦＴ）およびＱＭＦフィルタバンクなどでも良い。
【０１３１】
第２ｔ−ｆ変換部４０５と第１ｔ−ｆ変換部４０１は、同一種類の変換であることが望ましいが、違う種類の変換（ＱＭＦとＦＦＴの組み合わせ、および、ＦＦＴとＭＤＣＴの組み合わせなど）を用いた方が、より簡便な符号化および復号化が実現できると判断される場合には、違う種類の変換を用いても良い。音響符号化装置は、ｔ−ｆ変換が同じであるか異なるかを判別する情報、および、違う変換を用いるときは、それぞれどの変換を用いたのかの情報をビットストリームに保持する。音響復号化装置は、これらの情報に基づいて、復号化処理を実現する。
【０１３２】
ダウンミックス信号符号化部４０４は、Ａｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを符号化する。この符号化方式として、非特許文献１に記載のＭＰＥＧ−ＡＡＣ方式を用いる。なお、このダウンミックス信号符号化部４０４における符号化方式は、ＭＰＥＧ−ＡＡＣ方式に限ったものではなく、ＭＰ３方式などの非可逆符号化方式でも良いし、ＭＰＥＧ−ＡＬＳなどの可逆符号化方式であっても良い。ダウンミックス信号符号化部４０４における符号化方式は、ＭＰＥＧ−ＡＡＣ方式である場合、その遅延量は音響符号化装置で２０４８サンプル（音響復号化装置で１０２４サンプル）となる。
【０１３３】
なお、本発明におけるダウンミックス信号符号化部４０４の符号化方式は、ビットレートについては特に制限されず、ＭＤＣＴおよびＦＦＴなどの直行変換を用いた符号化方式に、より適している。
【０１３４】
上記のＳIADMX（ｆ）とＳIDMX（ｆ）を算出する過程は並行して演算することが可能であるため、並行して演算を施す。そうすることで音響符号化装置全体での遅延量が、Ｄ０＋Ｄ１＋Ｄ２＋Ｄ３からｍａｘ（Ｄ０＋Ｄ１，Ｄ３）へと削減することが出来る。特に、本発明の音響符号化装置は、ダウンミックス符号化処理をＳＡＣ分析と並列に処理することで、全体の遅延量を削減している。
【０１３５】
本発明の音響復号化装置では、ＳＡＣ合成部によりマルチチャンネル音響信号が生成される前のｔ−ｆ変換処理を削減することと、ダウンミックス復号化処理を中間的に処理することにより、遅延量をＤ４＋Ｄ０＋Ｄ５＋Ｄ２からＤ５＋Ｄ２に削減することが可能となる。
【０１３６】
次に、音響復号化装置に関して説明する。
【０１３７】
図４は、本発明の実施の形態１における音響復号化装置の例である。また、図４において、各部の下に遅延量を示している。なお、図１と同様、ここでの遅延量は、複数の入力信号を蓄積した後に信号を出力する場合における入力から出力までの遅延量を示す。また、図１と同様、入力から出力の間に複数の入力信号の蓄積がない場合は、その部分の遅延量は無視できるため、図４において遅延量を０と示している。
【０１３８】
図４に示された音響復号化装置は、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置である。
【０１３９】
また、図４に示された音響復号化装置は、受信したビットストリームをデータ部とパラメータ部に分離する解読装置５０１と、データ部の符号化列に対して逆量子化処理を行い、周波数領域の信号を算出するダウンミックス信号中間復号化部５０２と、算出された周波数領域の信号を必要に応じて別の周波数領域の信号へと変換する領域変換部５０３と、周波数領域に変換された信号をパラメータ部に含まれるダウンミックス補償情報（ＤＭＸＣｕｅ）によって調整するダウンミックス調整回路５０４と、ダウンミックス調整回路５０４によって調整された信号とパラメータ部に含まれる空間情報（ＳｐａｔｉａｌＣｕｅ）とからマルチチャンネル音響信号を生成するマルチチャンネル信号生成部５０７と、生成されたマルチチャンネル音響信号を時間領域の信号へと変換するｆ−ｔ変換部５０６とを備える。
【０１４０】
そして、マルチチャンネル信号生成部５０７は、ＳＡＣ方式によりマルチチャンネル音響信号を生成するＳＡＣ合成部５０５を備える。
【０１４１】
解読装置５０１は、一つの入力信号から複数の信号を出力するデマルチプレクサの例であって、一つの入力信号を複数の信号に分離する分離部の例である。解読装置５０１は、図１に示された音響符号化装置によって生成されたビットストリームをダウンミックス符号化列と空間情報（ＳｐａｔｉａｌＣｕｅ）とに分離する。
【０１４２】
ビットストリームを分離する際に、解読装置５０１は、ビットストリームに含まれるダウンミックス符号化列の長さ情報と空間情報（ＳｐａｔｉａｌＣｕｅ）の符号化列の長さ情報を用いてビットストリームを分離する。
【０１４３】
ダウンミックス信号中間復号化部５０２は、解読装置５０１により分離されたダウンミックス符号化列を逆量子化することにより周波数領域の信号を生成する。この過程では遅延回路が存在しないため、遅延は発生しない。ダウンミックス信号中間復号化部５０２の形態として、たとえばＭＰＥＧ−ＡＡＣ方式において、非特許文献１記載のＦｉｇｕｒｅ０．２−ＭＰＥＧ−２  ＡＡＣ  Ｄｅｃｏｄｅｒ  Ｂｌｏｃｋ  Ｄｉａｇｒａｍに記載のフィルタバンクの前までの処理を行うことで、周波数領域（ＭＰＥＧ−ＡＡＣ方式の場合はＭＤＣＴ係数）の係数を算出する。つまり、フィルタバンクの処理を行わない復号化処理となる点が従来例における音響復号化装置と異なる点になる。通常の音響復号化装置ではフィルタバンクに内包される遅延回路によって遅延が発生するが、本発明のダウンミックス信号中間復号化部５０２ではフィルタバンクを用いる必要がないため、遅延が発生しない。
【０１４４】
領域変換部５０３は、ダウンミックス信号中間復号化部５０２によるダウンミックス中間復号化処理で得られた周波数領域の信号を必要に応じてダウンミックス信号を調整する別の周波数領域へ変換する。
【０１４５】
具体的には、領域変換部５０３は、符号化列に含まれた周波数領域のダウンミックス補償領域情報を用いて、ダウンミックス補償をする領域へと変換する。前記ダウンミックス補償領域情報は、ダウンミックス補償をどの領域で行うかを示す情報である。たとえば、音響符号化装置は、前記ダウンミックス補償領域情報として、ＱＭＦフィルタバンクで行う場合は“０１”を、ＭＤＣＴ領域で行う場合は“００”を、ＦＦＴ領域で行う場合は“１０”をそれぞれ符号化しており、領域変換部５０３は、それを取得することで判別する。
【０１４６】
次に、ダウンミックス調整回路５０４は、音響符号化装置によって算出されたダウンミックス補償情報（ＤＭＸＣｕｅ）を用いて、領域変換部５０３により変換されたダウンミックス信号を調整する。すなわち、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を計算により生成する。調整方法はダウンミックス補償情報（ＤＭＸＣｕｅ）の符号化方式によって変わるが、これに関しては後述する。
【０１４７】
ＳＡＣ合成部５０５は、ダウンミックス調整回路５０４により調整された中間ダウンミックス信号ＩＤＭＸと、空間情報（ＳｐａｔｉａｌＣｕｅ）に含まれるＩＣＣおよびＩＬＤなどを用いて、周波数領域のマルチチャンネル音響信号に分離する。
【０１４８】
ｆ−ｔ変換部５０６は、時間領域のマルチチャンネル音響信号へ変換し、再生する。ｆ−ｔ変換部５０６は、ＩＭＤＣＴ（Ｉｎｖｅｒｓｅ  Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）のようなフィルタバンクを用いる。
【０１４９】
ＳＡＣ合成部５０５におけるＳＡＣ方式としてＭＰＥＧサラウンド方式を用いた場合は非特許文献１に記載されている。
【０１５０】
このように構成された音響復号化装置の場合、遅延が発生するのは、遅延回路が包含されているＳＡＣ合成部５０５とｆ−ｔ変換部５０６である。それぞれの遅延量はＤ５とＤ２となる。
【０１５１】
通常のＳＡＣ復号化装置は図９に示したが、これと本発明の音響復号化装置（図４）を比較すれば構成の違いは明らかである。図９に示されるように、通常のＳＡＣ復号化装置の場合、ダウンミックス信号復号化部２０９にはｆ−ｔ変換部を内包しておりそこに起因する遅延がＤ４サンプル存在する。更にＳＡＣ合成部２１１が周波数領域での演算であるために、ダウンミックス信号復号化部２０９の出力をいったん周波数領域に変換するｔ−ｆ変換部２１０が必要であり、その部分に起因する遅延量がＤ０サンプル存在する。よって音響復号化装置全体としては、Ｄ４＋Ｄ０＋Ｄ５＋Ｄ２サンプルとなる。
【０１５２】
一方、本発明の図４では、全体の遅延量が、ＳＡＣ合成部５０５の遅延量Ｄ５サンプルとｆ−ｔ変換部５０６の遅延量Ｄ２サンプルを加算した物になり、図９の先例に比較してＤ４＋Ｄ０サンプル分の遅延が削減されることになる。
【０１５３】
次にダウンミックス補償回路４０６およびダウンミックス調整回路５０４の動作について述べる。
【０１５４】
まず、従来の技術における問題点を指摘することで、本実施の形態におけるダウンミックス補償回路４０６の意義を説明する。
【０１５５】
図８は、従来例におけるＳＡＣ符号化装置の構成図である。
【０１５６】
ダウンミックス部２０３は、周波数領域のマルチチャンネル音響信号を周波数領域の１または２チャンネルの中間ダウンミックス信号ＩＤＭＸにダウンミックスする。ダウンミックスの方法としては、ＩＴＵ勧告の方法などがある。ｆ−ｔ変換部２０４は、周波数領域の１または２チャンネルの音響信号である中間ダウンミックス信号ＩＤＭＸを時間領域の１または２チャンネルの音響信号であるダウンミックス信号ＤＭＸに変換する。
【０１５７】
ダウンミックス信号符号化部２０５は、ダウンミックス信号ＤＭＸをたとえばＭＰＥＧ−ＡＡＣ方式で符号化する。この際、ダウンミックス信号符号化部２０５は、時間領域から周波数領域への直行変換を行う。よって、ｆ−ｔ変換部２０４およびダウンミックス信号符号化部２０５の時間領域から周波数領域への変換において、長大な遅延量が発生する。
【０１５８】
そこで、ダウンミックス信号符号化部２０５で生成される周波数領域のダウンミックス信号とＳＡＣ分析部２０２で生成される中間ダウンミックス信号ＩＤＭＸとが同じ種類の信号であることに着目し、ｆ−ｔ変換部２０４を削減する。そして、時間領域のマルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスする回路として図１に示されたＡｒｂｉｔｒａｒｙダウンミックス回路４０３を配置する。さらに、ダウンミックス信号符号化部２０５が内包する時間領域から周波数領域への変換処理と同様の処理を行う第２ｔ−ｆ変換部４０５を配置する。
【０１５９】
ここで、図８に示されたｆ−ｔ変換部２０４により、周波数領域の中間ダウンミックス信号ＩＤＭＸを時間領域に変換した当初のダウンミックス信号ＤＭＸと、図１に示された前記Ａｒｂｉｔｒａｒｙダウンミックス回路４０３と第２ｔ−ｆ変換部４０５によって得られる時間領域の１または２チャンネルの音響信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸとの間には差異がある。その差異により、音質が劣化する。
【０１６０】
そのため、本実施の形態では、その差異を補償する回路としてダウンミックス補償回路４０６を設ける。これにより、音質劣化を防止する。また、これにより、ｆ−ｔ変換部２０４による周波数領域から時間領域への変換処理の遅延量を削減することが出来る。
【０１６１】
次に、本実施の形態におけるダウンミックス補償回路４０６の形態について述べる。説明のために、各符号化フレームおよび復号化フレームにおいて、Ｍ個の周波数領域係数が算出できるとする。
【０１６２】
ＳＡＣ分析部４０２は、周波数領域のマルチチャンネル音響信号を中間ダウンミックス信号ＩＤＭＸへとダウンミックスする。そのときの中間ダウンミックス信号ＩＤＭＸに対応する周波数領域係数をｘ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０１６３】
一方、第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを周波数領域の信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに変換する。そのときの中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに対応する周波数領域係数をｙ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０１６４】
ダウンミックス補償回路４０６は、これら二つの信号に基づいて、ダウンミックス補償情報（ＤＭＸＣｕｅ）を計算する。本実施の形態におけるダウンミックス補償回路４０６での演算過程は、次の通りである。
【０１６５】
周波数領域が純粋な周波数領域の場合、これらの空間情報（ＳｐａｔｉａｌＣｕｅ）およびダウンミックス補償情報（ＤＭＸＣｕｅ）であるＣｕｅ情報は、比較的粗い周波数分解能を持たせる。周波数分解能に応じて集約される周波数領域係数の組を以下ではパラメータセットと呼ぶ。図５に示すように各パラメータセットは、たいていの場合には１つ以上の周波数領域係数を含む。空間情報（ＳｐａｔｉａｌＣｕｅ）の組み合わせを単純にするため、本発明では、すべてのダウンミックス補償情報（ＤＭＸＣｕｅ）は、空間情報（ＳｐａｔｉａｌＣｕｅ）の表現と同じ構成で算出されるとする。言うまでもないが、ダウンミックス補償情報（ＤＭＸＣｕｅ）と空間情報（ＳｐａｔｉａｌＣｕｅ）が異なる構成であっても良い。
【０１６６】
スケーリングを基にしたダウンミックス補償情報（ＤＭＸＣｕｅ）の場合は、式８のようになる。
【０１６７】
【数８】
2010013450.tif 000040
【０１６８】
ここで、Ｇlev,iは、中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸのパワー比を示すダウンミックス補償情報（ＤＭＸＣｕｅ）である。ｘ（ｎ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｎ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。ｐｓiは、各パラメータセットであり、具体的には、集合｛０，１，…，Ｍ−１｝の部分集合である。Ｎは、Ｍ個の集合｛０，１，…，Ｍ−１｝を部分集合に分けたときの部分集合の数であり、パラメータセットの数である。
【０１６９】
すなわち、図５に示すように、ダウンミックス補償回路４０６は、それぞれＭ個の周波数領域係数であるｘ（ｎ）およびｙ（ｎ）から、Ｎ個のダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iを算出する。
【０１７０】
算出したＧlev,iは、量子化され、必要に応じてＨｕｆｆｍａｎ符号化手法により冗長性を排除して、ビットストリームに重畳される。
【０１７１】
音響復号化装置では、ビットストリームを受信して、復号化した中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）と受信したダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iより中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を式９により算出する。
【０１７２】
【数９】
2010013450.tif 000041
【０１７３】
ここで、式９の左辺は、中間ダウンミックス信号ＩＤＭＸ信号の周波数領域係数の近似値を示す。ｐｓiは、各パラメータセットである。Ｎは、パラメータセットの数である。
【０１７４】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式９に示す演算を行う。こうすることで、音響復号化装置は、ダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iとビットストリームから得られた中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）とに基づいて、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式９の左辺）を算出する。ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値からマルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換する。
【０１７５】
本実施の形態における音響復号化装置は、パラメータセットごとのダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iを用いることで、効率のよい復号化処理を実現する。
【０１７６】
なお、音響復号化装置において、図２で示されたＬＤ＿ｆｌａｇを読み取り、ＬＤ＿ｆｌａｇが付加されたダウンミックス補償情報（ＤＭＸＣｕｅ）である事を示していれば、付加されたダウンミックス補償情報（ＤＭＸＣｕｅ）を読み飛ばしてもよい。これにより音質劣化する場合もあるが、より低遅延の復号処理を行うことができる。
【０１７７】
このようにして構成された音響符号化装置および音響復号化装置は、（１）演算処理の一部を並列化し、（２）一部のフィルタバンクを共有化し、（３）それらによって発生する音質劣化を補償するための回路を新規に設け、補償するための補助情報をビットストリームとして伝送する。これにより、低ビットレートで高音質であるが遅延量の大きなＭＰＥＧサラウンド方式に代表されるＳＡＣ方式よりも、アルゴリズム遅延量を半減しつつ、同等の音質を実現する。
【０１７８】
（実施の形態２）
以下、本発明の実施の形態２におけるダウンミックス補償回路およびダウンミックス調整回路について図面を参照しながら説明する。
【０１７９】
実施の形態２における音響符号化装置および音響復号化装置の基本構成は、図１および図４で示された実施の形態１における音響符号化装置および音響復号化装置の構成と同様であるが、実施の形態２においてダウンミックス補償回路４０６の動作が異なるため、それについて詳しく説明する。
【０１８０】
以下、本実施の形態におけるダウンミックス補償回路４０６の動作について述べる。
【０１８１】
まず、従来の技術における問題点を指摘することで、本実施の形態におけるダウンミックス補償回路４０６の意義を説明する。
【０１８２】
図８は、従来例におけるＳＡＣ符号化装置の構成図である。
【０１８３】
ダウンミックス部２０３は、周波数領域のマルチチャンネル音響信号を周波数領域の１または２チャンネルの中間ダウンミックス信号ＩＤＭＸにダウンミックスする。ダウンミックスの方法としては、ＩＴＵ勧告の方法などがある。ｆ−ｔ変換部２０４は、周波数領域の１または２チャンネルの音響信号である中間ダウンミックス信号ＩＤＭＸを時間領域の１または２チャンネルの音響信号であるダウンミックス信号ＤＭＸに変換する。
【０１８４】
ダウンミックス信号符号化部２０５は、ダウンミックス信号ＤＭＸをたとえばＭＰＥＧ−ＡＡＣ方式で符号化する。この際、ダウンミックス信号符号化部２０５は、時間領域から周波数領域への直行変換を行う。よって、ｆ−ｔ変換部２０４およびダウンミックス信号符号化部２０５の時間領域から周波数領域への変換において、長大な遅延量が発生する。
【０１８５】
そこで、ダウンミックス信号符号化部２０５で生成される周波数領域のダウンミックス信号とＳＡＣ分析部２０２で生成される中間ダウンミックス信号ＩＤＭＸとが同じ種類の信号であることに着目し、ｆ−ｔ変換部２０４を削減する。そして、時間領域のマルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスする回路として図１に示されたＡｒｂｉｔｒａｒｙダウンミックス回路４０３を配置する。さらに、ダウンミックス信号符号化部２０５が内包する時間領域から周波数領域への変換処理と同様の処理を行う第２ｔ−ｆ変換部４０５を配置する。
【０１８６】
ここで、図８に示されたｆ−ｔ変換部２０４により、周波数領域の中間ダウンミックス信号ＩＤＭＸを時間領域に変換した当初のダウンミックス信号ＤＭＸと、図１に示された前記Ａｒｂｉｔｒａｒｙダウンミックス回路４０３と第２ｔ−ｆ変換部４０５によって得られる時間領域の１または２チャンネルの音響信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸとの間には差異がある。その差異により、音質が劣化する。
【０１８７】
そのため、本実施の形態では、その差異を補償する回路としてダウンミックス補償回路４０６を設ける。これにより、音質劣化を防止する。また、これにより、ｆ−ｔ変換部２０４による周波数領域から時間領域への変換処理の遅延量を削減することが出来る。
【０１８８】
次に、本実施の形態におけるダウンミックス補償回路４０６の形態について述べる。説明のために、各符号化フレームおよび復号化フレームにおいて、Ｍ個の周波数領域係数が算出できるとする。
【０１８９】
ＳＡＣ分析部４０２は、周波数領域のマルチチャンネル音響信号を中間ダウンミックス信号ＩＤＭＸへとダウンミックスする。そのときの中間ダウンミックス信号ＩＤＭＸに対応する周波数領域係数をｘ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０１９０】
一方、第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを周波数領域の信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに変換する。そのときの中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに対応する周波数領域係数をｙ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０１９１】
ダウンミックス補償回路４０６は、これら二つの信号に基づいて、ダウンミックス補償情報（ＤＭＸＣｕｅ）を計算する。本実施の形態におけるダウンミックス補償回路４０６での演算過程は、次の通りである。
【０１９２】
周波数領域が純粋な周波数領域の場合、これらの空間情報（ＳｐａｔｉａｌＣｕｅ）およびダウンミックス補償情報（ＤＭＸＣｕｅ）であるＣｕｅ情報は、比較的粗い周波数分解能を持たせる。周波数分解能に応じて集約される周波数領域係数の組を以下ではパラメータセットと呼ぶ。図５に示すように各パラメータセットは、たいていの場合には１つ以上の周波数領域係数を含む。空間情報（ＳｐａｔｉａｌＣｕｅ）の組み合わせを単純にするため、本発明では、すべてのダウンミックス補償情報（ＤＭＸＣｕｅ）は、空間情報（ＳｐａｔｉａｌＣｕｅ）の表現として同じ構成で算出されるとする。言うまでもないが、ダウンミックス補償情報（ＤＭＸＣｕｅ）と空間情報（ＳｐａｔｉａｌＣｕｅ）が異なる構成であっても良い。
【０１９３】
ＳＡＣ方式としてＭＰＥＧサラウンド方式を用いる場合、時間領域から周波数領域への変換は、ＱＭＦフィルタバンクを用いている。図６に示すようにＱＭＦフィルタバンクを用いて変換した場合、変換した結果は、時間軸方向にも成分を持つ周波数領域であるハイブリッド領域となる。このとき、中間ダウンミックス信号ＩＤＭＸの周波数領域係数であるｘ（ｎ）と中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）は、周波数領域係数を時分割した表現ｘ（ｍ，ｈｂ）とｙ（ｍ，ｈｂ）（ｍ＝０，１，…，Ｍ−１，ｈｂ＝０，１，…，ＨＢ−１）として表される。
【０１９４】
そして、空間情報（ＳｐａｔｉａｌＣｕｅ）は、パラメータバンドとパラメータセットの合成パラメータ（ＰＳ−ＰＢ）に対応して算出される。図６に示すように、各合成パラメータ（ＰＳ−ＰＢ）は、一般的には複数の時間スロットとハイブリッドバンドを含んでいる。この場合、ダウンミックス補償回路４０６は、ダウンミックス補償情報（ＤＭＸＣｕｅ）を式１０により算出する。
【０１９５】
【数１０】
2010013450.tif 000042
【０１９６】
ここで、Ｇlev,iは、中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸのパワー比を示すダウンミックス補償情報（ＤＭＸＣｕｅ）である。ｐｓiは、パラメータセットである。ｐｂiは、パラメータバンドである。Ｎは、合成パラメータ（ＰＳ−ＰＢ）の数である。ｘ（ｍ，ｈｂ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｍ，ｈｂ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。
【０１９７】
すなわち、図６に示すように、ダウンミックス補償回路４０６は、Ｍ個の時間スロットおよびＨＢ個のハイブリッドバンドに対応するｘ（ｍ，ｈｂ）およびｙ（ｍ，ｈｂ）から、Ｎ個の合成パラメータ（ＰＳ−ＰＢ）に対応するダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iを算出する。
【０１９８】
重畳装置４０７は、算出されたダウンミックス補償情報（ＤＭＸＣｕｅ）をビットストリームに重畳して伝送する。
【０１９９】
そして、図４に示された音響復号化装置のダウンミックス調整回路５０４は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を式１１により計算する。
【０２００】
【数１１】
2010013450.tif 000043
【０２０１】
ここで、式１１の左辺は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を示す。Ｇlev,iは、中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸのパワー比を示すダウンミックス補償情報（ＤＭＸＣｕｅ）である。ｐｓiは、パラメータセットである。ｐｂiは、パラメータバンドである。Ｎは、合成パラメータ（ＰＳ−ＰＢ）の数である。
【０２０２】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式１１に示す演算を行う。こうすることで、音響復号化装置は、ダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlevとビットストリームから得られた中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｍ，ｈｂ）とに基づいて、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式１１の左辺）を算出する。ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値から、マルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換する。
【０２０３】
本実施の形態では、合成パラメータ（ＰＳ−ＰＢ）ごとのダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧlev,iを用いることで、効率のよい復号化処理を実現する。
【０２０４】
このようにして構成された音響符号化装置および音響復号化装置は、（１）演算処理の一部を並列化し、（２）一部のフィルタバンクを共有化し、（３）それらによって発生する音質劣化を補償するための回路を新規に設け、補償するための補助情報をビットストリームとして伝送する。これにより、低ビットレートで高音質であるが遅延量の大きなＭＰＥＧサラウンド方式に代表されるＳＡＣ方式よりも、アルゴリズム遅延量を半減しつつ、同等の音質を実現する。
【０２０５】
（実施の形態３）
以下、本発明の実施の形態３におけるダウンミックス補償回路およびダウンミックス調整回路について図面を参照しながら説明する。
【０２０６】
実施の形態３における音響符号化装置および音響復号化装置の基本構成は、図１および図４で示された実施の形態１における音響符号化装置および音響復号化装置の構成と同様であるが、実施の形態３においてダウンミックス補償回路４０６の動作が異なるため、それについて詳しく説明する。
【０２０７】
以下、本実施の形態におけるダウンミックス補償回路４０６の動作について述べる。
【０２０８】
まず、従来の技術における問題点を指摘することで、本実施の形態におけるダウンミックス補償回路４０６の意義を説明する。
【０２０９】
図８は、従来例におけるＳＡＣ符号化装置の構成図である。
【０２１０】
ダウンミックス部２０３は、周波数領域のマルチチャンネル音響信号を周波数領域の１または２チャンネルの中間ダウンミックス信号ＩＤＭＸにダウンミックスする。ダウンミックスの方法としては、ＩＴＵ勧告の方法などがある。ｆ−ｔ変換部２０４は、周波数領域の１または２チャンネルの音響信号である中間ダウンミックス信号ＩＤＭＸを時間領域の１または２チャンネルの音響信号であるダウンミックス信号ＤＭＸに変換する。
【０２１１】
ダウンミックス信号符号化部２０５は、ダウンミックス信号ＤＭＸをたとえばＭＰＥＧ−ＡＡＣ方式で符号化する。この際、ダウンミックス信号符号化部２０５は、時間領域から周波数領域への直行変換を行う。よって、ｆ−ｔ変換部２０４およびダウンミックス信号符号化部２０５の時間領域から周波数領域への変換において、長大な遅延量が発生する。
【０２１２】
そこで、ダウンミックス信号符号化部２０５で生成される周波数領域のダウンミックス信号とＳＡＣ分析部２０２で生成される中間ダウンミックス信号ＩＤＭＸとが同じ種類の信号であることに着目し、ｆ−ｔ変換部２０４を削減する。そして、時間領域のマルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスする回路として図１に示されたＡｒｂｉｔｒａｒｙダウンミックス回路４０３を配置する。さらに、ダウンミックス信号符号化部２０５が内包する時間領域から周波数領域への変換処理と同様の処理を行う第２ｔ−ｆ変換部４０５を配置する。
【０２１３】
ここで、図８に示されたｆ−ｔ変換部２０４により、周波数領域の中間ダウンミックス信号ＩＤＭＸを時間領域に変換した当初のダウンミックス信号ＤＭＸと、図１に示された前記Ａｒｂｉｔｒａｒｙダウンミックス回路４０３と第２ｔ−ｆ変換部４０５によって得られる時間領域の１または２チャンネルの音響信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸとの間には差異がある。その差異により、音質が劣化する。
【０２１４】
そのため、本実施の形態では、その差異を補償する回路としてダウンミックス補償回路４０６を設ける。これにより、音質劣化を防止する。また、これにより、ｆ−ｔ変換部２０４による周波数領域から時間領域への変換処理の遅延量を削減することが出来る。
【０２１５】
次に、本実施の形態におけるダウンミックス補償回路４０６の形態について述べる。説明のために、各符号化フレームおよび復号化フレームにおいて、Ｍ個の周波数領域係数が算出できるとする。
【０２１６】
ＳＡＣ分析部４０２は、周波数領域のマルチチャンネル音響信号を中間ダウンミックス信号ＩＤＭＸへとダウンミックスする。そのときの中間ダウンミックス信号ＩＤＭＸに対応する周波数領域係数をｘ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０２１７】
一方、第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを周波数領域の信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに変換する。そのときの中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに対応する周波数領域係数をｙ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０２１８】
ダウンミックス補償回路４０６は、これら二つの信号に基づいて、ダウンミックス補償情報（ＤＭＸＣｕｅ）を計算する。本実施の形態におけるダウンミックス補償回路４０６での演算過程は、次の通りである。
【０２１９】
周波数領域が純粋な周波数領域である場合、ダウンミックス補償回路４０６は、式１２により、ダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧresを中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの差分として計算する。
【０２２０】
【数１２】
2010013450.tif 000044
【０２２１】
式１２におけるＧresは、中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの差分を示すダウンミックス補償情報（ＤＭＸＣｕｅ）である。ｘ（ｎ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｎ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。Ｍは、符号化フレームおよび復号化フレームにおいて、周波数領域係数が算出される数である。
【０２２２】
式１２により計算した残差信号は、必要に応じて量子化し、Ｈｕｆｆｍａｎ符号化により冗長性を排除し、ビットストリームに重畳されて音響復号化装置に送信される。
【０２２３】
なお、式１２に記載の差分演算では、実施の形態１で示したパラメータセット等を用いないため算出結果の数が多くなる。よって、算出結果である残差信号の符号化方式次第でビットレートが高くなる場合がある。したがって、ダウンミックス補償情報（ＤＭＸＣｕｅ）を符号化する際は、たとえば残差信号を純粋な数値列としてベクトル量子化手法を適用することなどを用いてビットレートの上昇を最小限に抑える。この場合においても、残差信号の符号化および復号化に際して、複数の信号を蓄積した後に出力するものではないため、アルゴリズム遅延量がないことは言うまでもない。
【０２２４】
音響復号化装置のダウンミックス調整回路５０４は、残差信号であるＧresと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）から、式１３により中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を計算する。
【０２２５】
【数１３】
2010013450.tif 000045
【０２２６】
ここで、式１３の左辺は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を示す。Ｍは、符号化フレームおよび復号化フレームにおいて、周波数領域係数が算出される数である。
【０２２７】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式１３に示す演算を行う。こうすることで、音響復号化装置は、ダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧresとビットストリームから得られた中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）とに基づいて中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式１３の左辺）を算出する。ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値から、マルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換する。
【０２２８】
周波数領域が、周波数および時間のハイブリッド領域の場合、ダウンミックス補償回路４０６は、式１４によりダウンミックス補償情報（ＤＭＸＣｕｅ）を算出する。
【０２２９】
【数１４】
2010013450.tif 000046
【０２３０】
式１４におけるＧresは、中間ダウンミックス信号ＩＤＭＸと中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの差分を示すダウンミックス補償情報（ＤＭＸＣｕｅ）である。ｘ（ｍ，ｈｂ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｍ，ｈｂ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。Ｍは、符号化フレームおよび復号化フレームにおいて、周波数領域係数が算出される数である。ＨＢは、ハイブリッドバンドの数である。
【０２３１】
そして、図４に示された音響復号化装置のダウンミックス調整回路５０４は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を式１５により算出する。
【０２３２】
【数１５】
2010013450.tif 000047
【０２３３】
ここで、式１５の左辺は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を示す。ｙ（ｍ，ｈｂ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。Ｍは、符号化フレームおよび復号化フレームにおいて、周波数領域係数が算出される数である。ＨＢは、ハイブリッドバンドの数である。
【０２３４】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式１５に示す演算を行う。こうすることで、音響復号化装置は、ダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧresとビットストリームから得られた中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｍ，ｈｂ）とに基づいて中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式１５の左辺）を算出する。ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値から、マルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号から時間領域のマルチチャンネル音響信号に変換する。
【０２３５】
このようにして構成された音響符号化装置および音響復号化装置は、（１）演算処理の一部を並列化し、（２）一部のフィルタバンクを共有化し、（３）それらによって発生する音質劣化を補償するための回路を新規に設け、補償するための補助情報をビットストリームとして伝送する。これにより、低ビットレートで高音質であるが遅延量の大きなＭＰＥＧサラウンド方式に代表されるＳＡＣ方式よりも、アルゴリズム遅延量を半減しつつ、同等の音質を実現する。
【０２３６】
（実施の形態４）
以下、本発明の実施の形態４におけるダウンミックス補償回路およびダウンミックス調整回路について図面を参照しながら説明する。
【０２３７】
実施の形態４における音響符号化装置および音響復号化装置の基本構成は、図１および図４で示された実施の形態１における音響符号化装置および音響復号化装置の構成と同様であるが、実施の形態４においてダウンミックス補償回路４０６およびダウンミックス調整回路５０４の動作が異なるため、それについて詳しく説明する。
【０２３８】
以下、本実施の形態におけるダウンミックス補償回路４０６の動作について述べる。
【０２３９】
まず、従来の技術における問題点を指摘することで、本実施の形態におけるダウンミックス補償回路４０６の意義を説明する。
【０２４０】
図８は、従来例におけるＳＡＣ符号化装置の構成図である。
【０２４１】
ダウンミックス部２０３は、周波数領域のマルチチャンネル音響信号を周波数領域の１または２チャンネルの中間ダウンミックス信号ＩＤＭＸにダウンミックスする。ダウンミックスの方法としては、ＩＴＵ勧告の方法などがある。ｆ−ｔ変換部２０４は、周波数領域の１または２チャンネルの音響信号である中間ダウンミックス信号ＩＤＭＸを時間領域の１または２チャンネルの音響信号であるダウンミックス信号ＤＭＸに変換する。
【０２４２】
ダウンミックス信号符号化部２０５は、ダウンミックス信号ＤＭＸをたとえばＭＰＥＧ−ＡＡＣ方式で符号化する。この際、ダウンミックス信号符号化部２０５は、時間領域から周波数領域への直行変換を行う。よって、ｆ−ｔ変換部２０４およびダウンミックス信号符号化部２０５の時間領域から周波数領域への変換において、長大な遅延量が発生する。
【０２４３】
そこで、ダウンミックス信号符号化部２０５で生成される周波数領域のダウンミックス信号とＳＡＣ分析部２０２で生成される中間ダウンミックス信号ＩＤＭＸとが同じ種類の信号であることに着目し、ｆ−ｔ変換部２０４を削減する。そして、時間領域のマルチチャンネル音響信号を１または２チャンネルの音響信号にダウンミックスする回路として図１に示されたＡｒｂｉｔｒａｒｙダウンミックス回路４０３を配置する。さらに、ダウンミックス信号符号化部２０５が内包する時間領域から周波数領域への変換処理と同様の処理を行う第２ｔ−ｆ変換部４０５を配置する。
【０２４４】
ここで、図８に示されたｆ−ｔ変換部２０４により、周波数領域の中間ダウンミックス信号ＩＤＭＸを時間領域に変換した当初のダウンミックス信号ＤＭＸと、図１に示された前記Ａｒｂｉｔｒａｒｙダウンミックス回路４０３と第２ｔ−ｆ変換部４０５によって得られる時間領域の１または２チャンネルの音響信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸとの間には差異がある。その差異により、音質が劣化する。
【０２４５】
そのため、本実施の形態では、その差異を補償する回路としてダウンミックス補償回路４０６を設ける。これにより、音質劣化を防止する。また、これにより、ｆ−ｔ変換部２０４による周波数領域から時間領域への変換処理の遅延量を削減することが出来る。
【０２４６】
次に、本実施の形態におけるダウンミックス補償回路４０６の形態について述べる。説明のために、各符号化フレームおよび復号化フレームにおいて、Ｍ個の周波数領域係数が算出できるとする。
【０２４７】
ＳＡＣ分析部４０２は、周波数領域のマルチチャンネル音響信号を中間ダウンミックス信号ＩＤＭＸへとダウンミックスする。そのときの中間ダウンミックス信号ＩＤＭＸに対応する周波数領域係数をｘ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０２４８】
一方、第２ｔ−ｆ変換部４０５は、Ａｒｂｉｔｒａｒｙダウンミックス回路４０３により生成されたＡｒｂｉｔｒａｒｙダウンミックス信号ＡＤＭＸを周波数領域の信号である中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに変換する。そのときの中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに対応する周波数領域係数をｙ（ｎ）（ｎ＝０，１，…，Ｍ−１）とする。
【０２４９】
ダウンミックス補償回路４０６は、これら二つの信号に基づいて、ダウンミックス補償情報（ＤＭＸＣｕｅ）を計算する。本実施の形態におけるダウンミックス補償回路４０６での演算過程は、次の通りである。
【０２５０】
まず、周波数領域が純粋な周波数領域の場合について説明する。
【０２５１】
ダウンミックス補償回路４０６は、前記ダウンミックス補償情報（ＤＭＸＣｕｅ）として予測フィルタ係数を算出する。ダウンミックス補償回路４０６により用いられる予測フィルタ係数の生成方法として、ＷｉｅｎｅｒのＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタにおける最小自乗法（ＭＭＳＥ：Ｍｉｎｉｍｕｍ  Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）による最適な予測フィルタ係数の生成方法がある。
【０２５２】
ＷｉｅｎｅｒフィルタのＦＩＲ係数をＧpred,i（０），Ｇpred,i（１），…，Ｇpred,i（Ｋ−１）とした場合、ＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅ  Ｅｒｒｏｒ）の値であるξは式１６で表される。
【０２５３】
【数１６】
2010013450.tif 000048
【０２５４】
式１６におけるｘ（ｎ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｎ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。Ｋは、ＦＩＲ係数の数である。ｐｓiは、パラメータセットである。
【０２５５】
ダウンミックス補償回路４０６は、ＭＳＥを求める式１６において、式１７に示すようにＧpred,i（ｊ）の各々の要素に対する微分係数を０にするようなＧpred,i（ｊ）をダウンミックス補償情報（ＤＭＸＣｕｅ）として算出する。
【０２５６】
【数１７】
2010013450.tif 000049
【０２５７】
式１７におけるΦyyは、ｙ（ｎ）の自己相関行列である。Φyxは、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸに対応するｙ（ｎ）と中間ダウンミックス信号ＩＤＭＸに対応するｘ（ｎ）との相互相関行列である。なお、ｎは、パラメータセットｐｓiの要素である。
【０２５８】
音響符号化装置は、このようにして計算されたＧpred,i（ｊ）を量子化して符号列に埋め込み伝送する。
【０２５９】
符号化列を受信した音響復号化装置のダウンミックス調整回路５０４は、受信した中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）と予測係数Ｇpred,i（ｊ）から中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を次のように計算する。
【０２６０】
【数１８】
2010013450.tif 000050
【０２６１】
ここで、式１８の左辺は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を示す。
【０２６２】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式１８に示す演算を行う。こうすることで、音響復号化装置ではダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧpred,iとビットストリームより復号化した中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）とに基づいて中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式１８の左辺）を算出し、ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値から、マルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換する。
【０２６３】
周波数領域が、周波数領域および時間領域のハイブリッド領域の場合、ダウンミックス補償回路４０６は、次のようにしてダウンミックス補償情報（ＤＭＸＣｕｅ）を算出する。
【０２６４】
【数１９】
2010013450.tif 000051
【０２６５】
式１９におけるＧpred,i（ｊ）は、ＷｉｅｎｅｒフィルタのＦＩＲ係数であって、各々の要素に対する微分係数が０となるようなＧpred,i（ｊ）を予測係数として算出する。
【０２６６】
また、式１９におけるΦyyは、ｙ（ｍ，ｈｂ）の自己相関行列である。Φyxは、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｍ，ｈｂ）と、中間ダウンミックス信号ＩＤＭＸの周波数領域係数であるｘ（ｍ，ｈｂ）との相互相関行列である。なお、ｍは、パラメータセットｐｓiの要素であり、ｈｂは、パラメータバンドｐｂiの要素である。
【０２６７】
最小自乗法における評価関数としては式２０を用いる。
【０２６８】
【数２０】
2010013450.tif 000052
【０２６９】
式２０におけるｘ（ｍ，ｈｂ）は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数である。ｙ（ｍ，ｈｂ）は、中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数である。Ｋは、ＦＩＲ係数の数である。ｐｓiは、パラメータセットである。ｐｂiは、パラメータバンドである。
【０２７０】
このとき、音響復号化装置のダウンミックス調整回路５０４は、受信した中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）と受信した予測係数Ｇpred,i（ｊ）とから、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を式２１により計算する。
【０２７１】
【数２１】
2010013450.tif 000053
【０２７２】
ここで、式２１の左辺は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値を示す。
【０２７３】
図４に示された音響復号化装置のダウンミックス調整回路５０４は、式２１に示された演算を行う。こうすることで、音響復号化装置ではダウンミックス補償情報（ＤＭＸＣｕｅ）であるＧpredとビットストリームから得られる中間Ａｒｂｉｔｒａｒｙダウンミックス信号ＩＡＤＭＸの周波数領域係数であるｙ（ｎ）とに基づいて中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値（式２１の左辺）を算出する。ＳＡＣ合成部５０５は、中間ダウンミックス信号ＩＤＭＸの周波数領域係数の近似値から、マルチチャンネル音響信号を生成する。ｆ−ｔ変換部５０６は、周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換する。
【０２７４】
このようにして構成された音響符号化装置および音響復号化装置は、（１）演算処理の一部を並列化し、（２）一部のフィルタバンクを共有化し、（３）それらによって発生する音質劣化を補償するための回路を新規に設け、補償するための補助情報をビットストリームとして伝送する。これにより、低ビットレートで高音質であるが遅延量の大きなＭＰＥＧサラウンド方式に代表されるＳＡＣ方式よりも、アルゴリズム遅延量を半減しつつ、同等の音質を実現する。
【０２７５】
そして、本発明にかかる音響符号化装置および音響復号化装置によれば、従来例におけるマルチチャンネル音響符号化装置およびマルチチャンネル音響復号化装置のアルゴリズム遅延を削減し、トレードオフの関係にあるビットレートと音質の関係を高次元で両立することができる。
【０２７６】
すなわち、従来例におけるマルチチャンネル音響符号化技術よりもアルゴリズム遅延を削減することが可能となり、リアルタイムな通話を行う会議システム、および、低遅延で高音質なマルチチャンネル音響信号の伝送が必須の臨場感あふれる通信システムなどの構築が実現できるという効果が奏される。
【０２７７】
よって、本発明により、高音質、低ビットレートかつ低遅延の送受信が可能となる。したがって、携帯電話などのモバイル機器同士での臨場感あふれるコミュニケーションが普及し、ＡＶ機器、および会議システムでの本格的な臨場感コミュニケーションが普及してきた今日における本発明の実用的価値はきわめて高い。もちろん用途はこれらに限った物ではなく、遅延量が小さいことが必須の双方向コミュニケーション全般に対して有効な発明であることは言うまでもない。
【０２７８】
以上、本発明に係る音響符号化装置および音響復号化装置について、実施の形態１〜４に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。これらの実施の形態に対して当業者が思いつく各種変形を施して得られる形態、および、これらの実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。
【０２７９】
また、本発明は、このような音響符号化装置および音響復号化装置として実現することができるだけでなく、このような音響符号化装置および音響復号化装置が備える特徴的な手段をステップとする音響符号化方法または音響復号化方法として実現できる。また、それらのステップをコンピュータに実行させるプログラムとして実現できる。また、このような音響符号化装置および音響復号化装置が備える特徴的な手段を一体化したＬＳＩ等の半導体集積回路として構成することもできる。そして、そのようなプログラムが、ＣＤ−ＲＯＭなどの記録媒体、および、インターネットなどの伝送媒体を介して提供可能であることは言うまでもない。
【産業上の利用可能性】
【０２８０】
本発明は、マルチチャンネル音響符号化技術およびマルチチャンネル音響復号化技術が用いられるリアルタイムの通話を行う会議システム、および、低遅延で高音質なマルチチャンネル音響信号の伝送が必須の臨場感あふれる通信システムに用いることができる。もちろん本発明は、これに限られず、遅延量が小さいことが必須の双方向コミュニケーション全般に対して適用できる。たとえば、本発明は、ホームシアターシステム、車載音響システム、電子ゲームシステム、会議システムおよび携帯電話などに適用できる。
【符号の説明】
【０２８１】
１０１、１０８、１１５  マイクロフォン
１０２、１０９、１１６  マルチチャンネル符号化装置
１０３、１０４、１１０、１１１、１１７、１１８  マルチチャンネル復号化装置
１０５、１１２、１１９  レンダリング装置
１０６、１１３、１２０  スピーカ
１０７、１１４、１２１  エコーキャンセラー
２０１、２１０  時間−周波数領域変換部（ｔ−ｆ変換部）
２０２、４０２  ＳＡＣ分析部
２０３、４０８  ダウンミックス部
２０４、２１２、５０６  周波数領域−時間変換部（ｆ−ｔ変換部）
２０５、４０４  ダウンミックス信号符号化部
２０６、４０９  空間情報算出部
２０７、４０７  重畳装置
２０８、５０１  解読装置（分離部）
２０９  ダウンミックス信号復号化部
２１１、５０５  ＳＡＣ合成部
４０１  第１時間−周波数領域変換部（第１ｔ−ｆ変換部）
４０３  Ａｒｂｉｔｒａｒｙダウンミックス回路
４０５  第２時間−周波数領域変換部（第２ｔ−ｆ変換部）
４０６  ダウンミックス補償回路
４１０  ダウンミックス信号生成部
５０２  ダウンミックス信号中間復号化部
５０３  領域変換部
５０４  ダウンミックス調整回路
５０７  マルチチャンネル信号生成部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力されたマルチチャンネル音響信号を符号化する音響符号化装置であって、
入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、
入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部とを備える
音響符号化装置。
【請求項２】
前記音響符号化装置は、さらに、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、
前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備える
請求項１記載の音響符号化装置。
【請求項３】
前記音響符号化装置は、さらに、
前記ダウンミックス補償情報と前記空間情報を同一の符号化列に格納する重畳装置を備える
請求項２記載の音響符号化装置。
【請求項４】
前記ダウンミックス補償回路は、前記ダウンミックス補償情報として信号のパワー比を算出する
請求項２記載の音響符号化装置。
【請求項５】
前記ダウンミックス補償回路は、前記ダウンミックス補償情報として信号の差分を算出する
請求項２記載の音響符号化装置。
【請求項６】
前記ダウンミックス補償回路は、前記ダウンミックス補償情報として予測フィルタ係数を算出する
請求項２記載の音響符号化装置。
【請求項７】
受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置であって、
受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、
前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、
前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、
前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える
音響復号化装置。
【請求項８】
前記音響復号化装置は、さらに、
前記データ部に含まれる符号化されたダウンミックス信号を逆量子化することにより、周波数領域のダウンミックス信号を生成するダウンミックス中間復号化部と、
前記ダウンミックス中間復号化部により生成された周波数領域のダウンミックス信号を時間軸方向にも成分を持つ周波数領域のダウンミックス信号に変換する領域変換部とを備え、
前記ダウンミックス調整回路は、前記領域変換部により変換された周波数領域のダウンミックス信号を、前記ダウンミックス補償情報により調整する
請求項７記載の音響復号化装置。
【請求項９】
前記ダウンミックス調整回路は、前記ダウンミックス補償情報として信号のパワー比を取得し、前記ダウンミックス信号に前記パワー比を乗算することにより、前記ダウンミックス信号を調整する
請求項７記載の音響復号化装置。
【請求項１０】
前記ダウンミックス調整回路は、前記ダウンミックス補償情報として信号の差分を取得し、前記ダウンミックス信号に前記差分を加算することにより、前記ダウンミックス信号を調整する
請求項７記載の音響復号化装置。
【請求項１１】
前記ダウンミックス調整回路は、前記ダウンミックス補償情報として予測フィルタ係数を取得し、前記ダウンミックス信号に前記予測フィルタ係数を用いた予測フィルタを施すことにより、前記ダウンミックス信号を調整する
請求項７記載の音響復号化装置。
【請求項１２】
入力されたマルチチャンネル音響信号を符号化する音響符号化部と、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化部とを備える音響符号化復号化装置であって、
前記音響符号化部は、
入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、
入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部と、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、
前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備え、
前記音響復号化部は、
受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、
前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、
前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、
前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える
音響符号化復号化装置。
【請求項１３】
入力されたマルチチャンネル音響信号を符号化する音響符号化装置と、受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置とを備える会議システムであって、
前記音響符号化装置は、
入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成部と、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化部と、
入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出部と、
前記ダウンミックス信号生成部により生成された第１ダウンミックス信号を周波数領域の第１ダウンミックス信号に変換する第２ｔ−ｆ変換部と、
前記第１ｔ−ｆ変換部により変換された周波数領域のマルチチャンネル音響信号をダウンミックスすることにより、周波数領域の第２ダウンミックス信号を生成するダウンミックス部と、
前記第２ｔ−ｆ変換部により変換された周波数領域の第１ダウンミックス信号と前記ダウンミックス部により生成された周波数領域の第２ダウンミックス信号を比較することにより、ダウンミックス信号を調整する情報であるダウンミックス補償情報を算出するダウンミックス補償回路とを備え、
前記音響復号化装置は、
受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離部と、
前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整回路と、
前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整回路により調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成部と、
前記マルチチャンネル信号生成部により生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換部とを備える
会議システム。
【請求項１４】
入力されたマルチチャンネル音響信号を符号化する音響符号化方法であって、
入力された前記マルチチャンネル音響信号を時間領域上でダウンミックスすることにより、１または２チャンネルの音響信号である第１ダウンミックス信号を生成するダウンミックス信号生成ステップと、
前記ダウンミックス信号生成ステップにより生成された第１ダウンミックス信号を符号化するダウンミックス信号符号化ステップと、
入力された前記マルチチャンネル音響信号を周波数領域のマルチチャンネル音響信号に変換する第１ｔ−ｆ変換ステップと、
前記第１ｔ−ｆ変換ステップにより変換された周波数領域のマルチチャンネル音響信号を分析することにより、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報を生成する空間情報算出ステップとを含む
音響符号化方法。
【請求項１５】
受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化方法であって、
受信したビットストリームを、符号化されたダウンミックス信号を含むデータ部と、ダウンミックス信号からマルチチャンネル音響信号を生成する情報である空間情報とダウンミックス信号を調整する情報であるダウンミックス補償情報とを含むパラメータ部とに分離する分離ステップと、
前記パラメータ部に含まれるダウンミックス補償情報を用いて、前記データ部から得られる周波数領域のダウンミックス信号を調整するダウンミックス調整ステップと、
前記パラメータ部に含まれる空間情報を用いて、前記ダウンミックス調整ステップにより調整された周波数領域のダウンミックス信号から周波数領域のマルチチャンネル音響信号を生成するマルチチャンネル信号生成ステップと、
前記マルチチャンネル信号生成ステップにより生成された周波数領域のマルチチャンネル音響信号を時間領域のマルチチャンネル音響信号に変換するｆ−ｔ変換ステップとを含む
音響復号化方法。
【請求項１６】
入力されたマルチチャンネル音響信号を符号化する音響符号化装置のためのプログラムであって、
請求項１４記載の音響符号化方法に含まれるステップをコンピュータに実行させる
プログラム。
【請求項１７】
受信したビットストリームをマルチチャンネル音響信号に復号化する音響復号化装置のためのプログラムであって、
請求項１５記載の音響復号化方法に含まれるステップをコンピュータに実行させる
プログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010013450.tif 000054
【図２】
2010013450.tif 000055
【図３】
2010013450.tif 000056
【図４】
2010013450.tif 000057
【図５】
2010013450.tif 000058
【図６】
2010013450.tif 000059
【図７】
2010013450.tif 000060
【図８】
2010013450.tif 000061
【図９】
2010013450.tif 000062
【国際調査報告】
2010013450.tif 000063
2010013450.tif 000064
2010013450.tif 000065
2010013450.tif 000066
2010013450.tif 000067
2010013450.tif 000068