(57)【要約】【課題】元の音質及び音の空間的印象を保ち、かつ所用ビットレートも抑制することのできる、３次元音響符号化装置、３次元音響復号装置及びプログラムを提供する。【解決手段】３次元音響システムの信号を同システムのチャネル数をダウンミックスした仮想音響システムの信号に割当てるための基本信号変換係数を算出する手段１０３と、仮想音響システムのチャネル信号に相当する基本信号を算出する手段１０４と、補助信号を算出するための補助信号変換係数を算出する手段１０５と、３次元音響システムのチャネル数と前記基本信号の数との差に相当する数の補助信号を補助信号変換係数に従って算出する手段１０６と、基本信号及び補助信号を符号化する手段１０７とを備え、補助信号は、３次元音響システムのチャネル信号と該チャネル信号の予測信号との差で表される予測残差信号とする。【選択図】図１
2011048279.tif 000002
【特許請求の範囲】
【請求項１】
多数のチャネルによって構成される３次元音響システムの各チャネル信号を、３次元音響システムのチャネル数よりも少ないチャネル数の仮想音響システムに変換して符号化する３次元音響符号化装置であって、
符号化する際に、前記仮想音響システムの各チャネルに対応する該仮想音響システムのチャネル数と同数の信号を基本信号、前記基本信号から３次元音響システムの各チャネル信号への復元を補助する信号を補助信号と規定しており、
前記３次元音響システムの各チャネル信号を入力する音響信号入力手段と、
前記基本信号の各々を算出するための係数である基本信号変換係数を算出する基本信号変換係数算出手段と、
前記仮想音響システムの各チャネルに近傍する前記３次元音響システムの各チャネルから選定された複数のチャネル信号を前記基本信号変換係数に従ってダウンミックスして、前記基本信号の各々を算出する基本信号算出手段と、
前記補助信号の各々を算出するための係数である補助信号変換係数を算出する補助信号変換係数算出手段と、
復号側で解くべき、前記３次元音響システムのチャネル数と同数の独立した方程式を構成するように、前記基本信号とは別に前記３次元音響システムのチャネル数と前記基本信号の数との差に相当する数の前記補助信号の各々を前記補助信号変換係数に従って算出する補助信号算出手段と、
前記基本信号及び前記補助信号を符号化する符号化手段とを備え、
前記補助信号は、３次元音響システムのチャネル信号と該チャネル信号の予測信号との差で表される予測残差信号であり、
復号側で前記基本信号変換係数、前記基本信号、前記補助信号変換係数及び前記補助信号から前記３次元音響システムを復元できるようにしたことを特徴とする３次元音響符号化装置。
【請求項２】
前記基本信号変換係数算出手段は、前記受音点における前記３次元音響システムの音響インテンシティ及び音圧、並びに前記受音点における前記仮想システムの音響インテンシティ及び音圧が一致するように前記基本信号変換係数を決定し、
前記３次元音響システムのチャネル信号の予測信号は、前記３次元音響システムの該チャネル信号以外のチャネル信号と前記補助信号変換係数との線形演算によって算出されることを特徴とする、請求項１に記載の３次元音響符号化装置。
【請求項３】
前記補助信号変換係数算出手段は、前記予測残差信号のエネルギーを最小とするように前記補助信号変換係数を算出することを特徴とする、請求項２に記載の３次元音響符号化装置。
【請求項４】
前記補助信号算出手段は、前記予測残差信号を前記３次元音響システムのチャネル数と同数算出し、その中から前記予測残差信号のエネルギーが小さい順に、前記３次元音響システムのチャネル数と前記基本信号の数との差に相当する数の予測残差信号を選択し、該予測残差信号を補助信号とすることを特徴とする、請求項３に記載の３次元音響符号化装置。
【請求項５】
前記補助信号変換係数及び前記補助信号は一定時間ごとに更新されることを特徴とする、請求項１から４のいずれか一項に記載の３次元音響符号化装置。
【請求項６】
前記符号化手段は、前記基本信号及び前記補助信号の各符号化ビット割り当てについて、前記基本信号に割り当てる割当て量を高くして符号化することを特徴とする、請求項１から５のいずれか一項に記載の３次元音響符号化装置。
【請求項７】
多数のチャネルによって構成される３次元音響システムの各チャネル信号を復号する３次元音響復号装置であって、
請求項１に記載された符号化装置によって符号化された前記基本信号及び前記補助信号を復号する復号手段と、
前記復号手段によって復号した前記基本信号及び前記補助信号、並びに前記基本信号変換係数及び補助信号変換係数から前記３次元音響システムの各チャネル信号を、前記方程式を解いて復元する信号復元手段と、
を備えることを特徴とする３次元音響復号装置。
【請求項８】
請求項１に記載の３次元音響符号化装置として構成するコンピュータに、
（ａ）前記基本信号の各々を算出するための係数である基本信号変換係数を算出するステップと、
（ｂ）前記３次元音響システムの各チャネル信号を入力するステップと、
（ｃ）前記仮想音響システムの各チャネルに近傍する前記３次元音響システムの各チャネルから選定された複数のチャネル信号を前記基本信号変換係数に従ってダウンミックスして、前記基本信号の各々を算出するステップと、
（ｄ）前記補助信号の各々を算出するための係数である補助信号変換係数を算出するステップと、
（ｅ）復号側で解くべき、前記３次元音響システムのチャネル数と同数の独立した方程式を構成するように、前記基本信号とは別に前記３次元音響システムのチャネル数と前記基本信号の数との差に相当する数の前記補助信号を前記補助信号変換係数に従って算出するステップと、
（ｆ）前記基本信号及び前記補助信号を符号化するステップと、
を実行させるためのプログラムであって、
前記補助信号は、３次元音響システムのチャネル信号と該チャネル信号の予測信号との差で表される予測残差信号である、プログラム。
【請求項９】
請求項７に記載の３次元音響復号装置として構成するコンピュータに、
（ａ）請求項１に記載された符号化装置によって符号化された前記基本信号及び前記補助信号を復号するステップと、
（ｂ）前記復号手段によって復号した前記基本信号及び前記補助信号、並びに前記基本信号変換係数及び補助信号変換係数から前記３次元音響システムの各チャネル信号を、前記方程式を解いて復元するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多数のチャネルによって構成される３次元音響システムの信号を符号化する符号化装置及び符号化プログラム、並びに３次元音響システムの音響信号を復号する復号装置及び復号プログラムに関する。
【背景技術】
【０００２】
従来、音響信号の符号化方式として、低ビットレートの符号化では、ＭＰ３に基づく方式が知られている。これらは、元の信号を２チャネルにダウンミックスした信号と、ダウンミックス信号から元の信号を復元するためのパラメータを備えたパラメトリックな符号化方式である。
【０００３】
また、ＣＤ（コンパクトディスク）の品質を保ったまま符号化する方式として、ＡＡＣ（Adovanced Audio Coding）方式が知られている。２０１１年からの高度ＢＳ放送では、２２．２チャネル音響を符号化・伝送するために、既存のＡＡＣ符号化を用いる方式が標準化される予定である。さらに、ＡＡＣ方式を改良し、絶対可聴閾値の設定を可変とする技法が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３４３９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、ＭＰ３に基づく方式は、３次元音響を２チャネルにダウンミックスした時点で、音の空間印象が劣化するだけでなく、パラメトリック方式の特徴として、伝送レートは圧縮できるが音質も劣化するという問題があった。
【０００６】
また、ＡＡＣ方式に基づく方式は、従来の２次元オーディオ符号化に基づくものであるため、２２．２チャネル音響のような３次元音響を符号化する場合には、高い圧縮率を実現することができないという問題があった。
【０００７】
本発明の目的は、上記問題を解決するため、元の音質だけでなく、元の音の空間的印象も保ちながら、かつ所用ビットレートも抑制することのできる、新たな３次元音響符号化装置、３次元音響復号装置、符号化プログラム及び復号プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係る３次元音響符号化装置は、多数のチャネルによって構成される３次元音響システムの各チャネル信号を、３次元音響システムのチャネル数よりも少ないチャネル数の仮想音響システムに変換して符号化する３次元音響符号化装置であって、符号化する際に、前記仮想音響システムの各チャネルに対応する該仮想音響システムのチャネル数と同数の信号を基本信号、前記基本信号から３次元音響システムの各チャネル信号への復元を補助する信号を補助信号と規定しており、前記３次元音響システムの各チャネル信号を入力する音響信号入力手段と、前記基本信号の各々を算出するための係数である基本信号変換係数を算出する基本信号変換係数算出手段と、前記仮想音響システムの各チャネルに近傍する前記３次元音響システムの各チャネルから選定された複数のチャネル信号を前記基本信号変換係数に従ってダウンミックスして、前記基本信号の各々を算出する基本信号算出手段と、前記補助信号の各々を算出するための係数である補助信号変換係数を算出する補助信号変換係数算出手段と、復号側で解くべき、前記３次元音響システムのチャネル数と同数の独立した方程式を構成するように、前記基本信号とは別に前記３次元音響システムのチャネル数と前記基本信号の数との差に相当する数の前記補助信号の各々を前記補助信号変換係数に従って算出する補助信号算出手段と、前記基本信号及び前記補助信号を符号化する符号化手段とを備え、前記補助信号は、３次元音響システムのチャネル信号と該チャネル信号の予測信号との差で表される予測残差信号であり、復号側で前記基本信号変換係数、前記基本信号、前記補助信号変換係数及び前記補助信号から前記３次元音響システムを復元できるようにしたことを特徴とする。
【０００９】
また、本発明に係る３次元音響符号化装置において、前記基本信号変換係数算出手段は、前記受音点における前記３次元音響システムの音響インテンシティ及び音圧、並びに前記受音点における前記仮想システムの音響インテンシティ及び音圧が一致するように前記基本信号変換係数を決定し、前記３次元音響システムのチャネル信号の予測信号は、前記３次元音響システムの該チャネル信号以外のチャネル信号と前記補助信号変換係数との線形演算によって算出されることを特徴とする。
【００１０】
また、本発明に係る３次元音響符号化装置において、前記補助信号変換係数算出手段は、前記予測残差信号のエネルギーを最小とするように前記補助信号変換係数を算出することを特徴とする。
【００１１】
また、本発明に係る３次元音響符号化装置において、前記補助信号算出手段は、前記予測残差信号を前記３次元音響システムのチャネル数と同じ数だけ算出し、その中から前記予測残差信号のエネルギーが小さい順に、前記３次元音響システムのチャネル数と前記基本信号の数との差に相当する数の予測残差信号を選択し、該予測残差信号を補助信号とすることを特徴とする。
【００１２】
また、本発明に係る３次元音響符号化装置において、前記補助信号変換係数及び前記補助信号は一定時間ごとに更新されることを特徴とする。
【００１３】
また、本発明に係る３次元音響符号化装置において、前記符号化手段は、前記基本信号及び前記補助信号の各符号化ビット割り当てについて、前記基本信号に割り当てる割当て量を高くして符号化することを特徴とする。
【００１４】
さらに、上記課題を解決するため、本発明に係る３次元音響復号装置は、多数のチャネルによって構成される３次元音響システムの各チャネル信号を復号する３次元音響復号装置であって、本発明の符号化装置によって符号化された前記基本信号及び前記補助信号を復号する復号手段と、前記復号手段によって復号した前記基本信号及び前記補助信号、並びに前記基本信号変換係数及び補助信号変換係数から前記３次元音響システムの各チャネル信号を、前記方程式を解いて復元する信号復元手段と、を備えることを特徴とする。
【００１５】
さらに、上述の課題を解決するために、本発明は本発明の３次元音響符号化装置として構成するコンピュータに、（ａ）前記基本信号の各々を算出するための係数である基本信号変換係数を算出するステップと、（ｂ）前記３次元音響システムの各チャネル信号を入力するステップと、（ｃ）前記仮想音響システムの各チャネルに近傍する前記３次元音響システムの各チャネルから選定された複数のチャネル信号を前記基本信号変換係数に従ってダウンミックスして、前記基本信号の各々を算出するステップと、（ｄ）前記補助信号の各々を算出するための係数である補助信号変換係数を算出するステップと、（ｅ）復号側で解くべき、前記３次元音響システムのチャネル数と同数の独立した方程式を構成するように、前記基本信号とは別に前記３次元音響システムのチャネル数と前記基本信号の数との差に相当する数の前記補助信号を前記補助信号変換係数に従って算出するステップと、（ｆ）前記基本信号及び前記補助信号を符号化するステップと、を実行させるためのプログラムであって、前記補助信号は、３次元音響システムのチャネル信号と該チャネル信号の予測信号との差で表される予測残差信号である、プログラムとしても特徴付けられる。
【００１６】
さらに、上述の課題を解決するために、本発明は、本発明の３次元音響復号装置として構成するコンピュータに、（ａ）請求項１に記載された符号化装置によって符号化された前記基本信号及び前記補助信号を復号するステップと、（ｂ）前記復号手段によって復号した前記基本信号及び前記補助信号、並びに前記基本信号変換係数及び補助信号変換係数から前記３次元音響システムの各チャネル信号を、前記方程式を解いて復元するステップと、を実行させるためのプログラムとしても特徴付けられる。
【発明の効果】
【００１７】
本発明によれば、３次元音響システムの音響信号を、基本信号と補助信号とに分離し、基本信号のみでも受音点での音響物理量を再現できるため、補助信号に対するビットレートを削減することにより、元の音質だけでなく、元の音の空間的印象も保ちながら、かつ所用ビットレートも抑制して伝送することができるようになる。
【図面の簡単な説明】
【００１８】
【図１】本発明による一実施例の３次元音響符号化装置の構成図である。
【図２】本発明による一実施例の３次元音響復号装置の構成図である。
【図３】３次元音響信号である２２．２チャネル音響信号のＬＦＥチャネルを除く２２チャネルのスピーカ配置例を示す図である。
【図４】本発明による一実施例の３次元音響システムをダウンミックスした仮想音響システムのスピーカ配置例を示す図である。
【図５】本発明による一実施例の３次元音響符号化装置の動作を示すフローチャートである。
【図６】本発明による一実施例の３次元音響復号装置の動作を示すフローチャートである。
【図７】本発明による３次元音響符号化装置及び３次元音響復号装置を用いたシステムの概略図である。
【発明を実施するための形態】
【００１９】
ある方向から到来する音は、音圧や粒子速度などの音響物理量で表される。これらの物理量のうち、音響インテンシティは、単位面積を通過する音響エネルギーと、その方向性を表すベクトル量として知られており、音源方向の推定などの分野で、その有効性が示されている。
【００２０】
３次元音響システムで音を再生した場合に対して、受聴点（受音点）で観測した音響インテンシティや音圧を等しく保ちつつ、チャネル数を減らすことができれば、チャネル数を減らしたことによる音の空間的印象の劣化を抑えることができる。しかし、このようにしてチャネル数を減らしても、チャネル数を減らす段階で設定した受聴点と外れた位置で、再生音を聴いた場合には、その音の空間的な印象が劣化してしまう。そこで、３次元音響システムの音響信号を高品質に伝送する場合には、特定の受聴点で音響インテンシティなどの音響物理量を一定に保ちながら少ないチャネル数に変換した信号（以下、「基本信号」という）の他に、再生時に空間的印象を再現するための信号（以下、「補助信号」という）が必要となる。
【００２１】
本発明は、このように、３次元音響システムの音響信号を、基本信号と補助信号とに分けて伝送することを特徴とする方式である。また、３次元音響システムの音響信号を上記のような基本信号と補助信号とに分けることができれば、符号化（量子化）する際に、基本信号に重点的にビットを割り当て、補助信号への割り当てを少なくすることにより、元の音の空間的印象を保ったままビットレートを圧縮することが可能となる。
【００２２】
以下、本発明について、図面を参照して詳細に説明する。まず、本実施例の３次元音響符号化装置及び３次元音響復号装置について説明する。
【００２３】
［３次元音響符号化装置及び３次元音響復号装置の構成］
図７は、本実施例の３次元音響符号化装置及び３次元音響復号装置を用いたシステムの概略図である。本システムは３次元音響符号化装置１０と、送信装置１１と、受信装置１２と、３次元音響復号装置１３とを備える。３次元音響符号化装置１０は、３次元音響システムの音響信号の符号化処理を行い、送信装置１１に出力する。送信装置１１は、３次元音響符号化装置１０から入力される信号を変調し、受信装置１２に送信する。受信装置１２は、送信装置１１から送信される信号を受信して復調し、３次元音響復号装置１３に出力する。３次元音響復号装置１３は、受信装置１２から入力される信号の復号処理を行う。
【００２４】
図１は、本発明の３次元音響符号化装置１０の構成図である。３次元音響符号化装置１０は、音響信号入力部１０１と、スピーカ位置情報記憶部１０２と、基本信号変換係数算出部１０３と、基本信号算出部１０４と、補助信号変換係数算出部１０５と、補助信号算出部１０６と、符号化部１０７と、多重化部１０８とを備える。
【００２５】
音響信号入力部１０１は、入力される元の３次元音響システムの各スピーカからの音響信号をＡ／Ｄ変換し、デジタル形式の音響信号を、基本信号算出部１０４、補助信号変換係数算出部１０５及び補助信号算出部１０６に出力する。
【００２６】
スピーカ位置情報記憶部１０２は、３次元音響システムの各スピーカの極座標における位置情報ξ＝（σ,θ,φ）が予め記憶される。また、３次元音響システムのチャネル数をより少ないチャネル数にダウンミックスした時の３次元音響システム（以下、「仮想音響システム」という）の各スピーカの極座標における位置情報
2011048279.tif 000003
も予め記憶される。
【００２７】
基本信号変換係数算出部１０３は、スピーカ位置情報記憶部１０２に記憶されたスピーカ位置情報に基づいて、基本信号に用いられる基本信号変換係数を算出し、基本信号算出部１０４及び符号化部１０７に出力する。基本信号変換係数は、後述するように、３次元音響システムと仮想音響システムの音響インテンシティ及び音圧が等しくなるように定められる。基本信号変換係数は、基本信号の伝送前に算出される定数である。
【００２８】
基本信号算出部１０４は、音響信号入力部１０１から入力される音響信号、及び基本信号変換係数算出部１０３から入力される基本信号変換係数から、基本信号の演算式に基づいて基本信号を算出し、符号化部１０７に出力する。基本信号の演算式については後述する。
【００２９】
補助信号変換係数算出部１０５は、補助信号に用いられる補助信号変換係数を算出し、補助信号算出部１０６及び符号化部１０７に出力する。補助信号変換係数は、後述するように、予測残差を最小にするように定められる。予測残差は信号の変化に応じて変化するため、補助信号変換係数は、一定時間間隔で更新される変数である。
【００３０】
補助信号算出部１０６は、音響信号入力部１０１から入力される音響信号、及び補助信号変換係数算出部１０５から入力される補助信号変換係数から、補助信号の演算式に基づいて補助信号を算出し、符号化部１０７に出力する。補助信号の演算式については後述する。
【００３１】
符号化部１０７は、基本信号変換係数算出部１０３で算出した基本信号変換係数、基本信号算出部１０４で算出した基本信号、補助信号変換係数算出部１０５で算出した補助信号変換係数、及び補助信号算出部１０６で算出した補助信号を量子化し、符号化する。符号化（量子化）する際には、基本信号にはビット数を多く、補助信号にはビット数を少なく割り当てる。なお、基本信号変換係数は、補助信号変換係数とは異なり、最初に決定すると更新されないものであり、情報量は多くないので、量子化しなくてもよい。
【００３２】
多重化部１０８は、符号化部１０７で符号化した基本信号変換係数、基本信号、補助信号変換係数、及び補助信号を多重化し、送信装置１１に出力する。なお、基本信号変換係数を多重化せずに予め伝送することや、基本信号変換係数、基本信号、補助信号変換係数、及び補助信号の多重化処理を行わずに伝送できること勿論である。
【００３３】
図２は、本発明の３次元音響復号装置１３の構成図である。３次元音響復号装置１３は、逆多重化部１３１と復号部１３２と信号復元部１３３とを備える。
【００３４】
逆多重化部１３１は、受信装置１２から入力される多重化信号を逆多重化し、基本信号変換係数、基本信号、補助信号変換係数、及び補助信号を復号部１３２に出力する。なお、受信装置１２から入力される信号が多重化されていない場合には、逆多重化処理は不要であること勿論である。
【００３５】
復号部１３２は、逆多重化部１３１から入力される基本信号変換係数、基本信号、補助信号変換係数及び補助信号についてそれぞれ復号処理をし、信号復元部１３３に出力する。
【００３６】
信号復元部１３３は、復号部１３２から入力される基本信号変換係数、基本信号、補助信号変換係数、及び補助信号を用いて連立方程式を解くことにより、３次元音響システムの音響信号ｓ(t)を復元する。
【００３７】
［基本信号変換係数及び基本信号の算出］
次に、基本信号変換係数算出部１０３による基本信号変換係数の算出、及び基本信号算出部１０４による基本信号の算出について説明する。響きを無視できる空間では、位置ξ＝（ξx ξy ξz）Ｔ上にある音源による、受音点ｒ＝（ｘｙｚ）Ｔ上の音圧のフーリエ変換p(r,ω)は、音源信号（音響信号）をｓ(t)とすると、式（１）で与えられる。ここに、Ｔはベクトル又は行列の転置を表す。
【００３８】
【数１】
2011048279.tif 000004
ここに、ｓ(ω)はｓ(t)のフーリエ変換、ｋ＝２π／λは、位相定数、波長定数、波数などと呼ばれる係数、λは音波の波長、Ｇは音源から単位距離の点での音圧と音源入力との比を表す定数である。また、同じ点における音の粒子速度のフーリエ変換u(r,ω)は、式（２）で表される。
【００３９】
【数２】
2011048279.tif 000005
このとき、受音点ｒにおける時間平均音響インテンシティ（以下、単に「音響インテンシティ」という）は、式（３）で表される。音響インテンシティは、単位面積を通過する音のパワーの１周期にわたる平均を表す量である。
【００４０】
【数３】
2011048279.tif 000006
【００４１】
今、受音点ｒを原点とする極座標を利用し、音源位置ξの座標を（σ,θ,φ）とする。但し、σは原点からの距離、θは方位角、φは仰角である。このとき、式（３）は、式（４）表される。
【００４２】
【数４】
2011048279.tif 000007
従って、３次元音響システムを構成するスピーカの中から、１つを選んで、この位置をξとすると、式（４）は、このスピーカに、対応するチャネルの音響信号ｓ(ｔ)を入力したときに、受音点で観測される音響インテンシティを表すこととなる。
【００４３】
次に、３次元音響システムの信号を、受音点での音響インテンシティを保ちながら、より少ないチャネル数の仮想音響システムに変換する方法について述べる。仮想音響システムのスピーカの数をｍ個、スピーカの設置位置の極座標を
2011048279.tif 000008
スピーカの入力信号をｑj(ｔ)、j＝１，…，ｍとする。このとき、仮想音響システムのスピーカから３個のスピーカを選び、これらのスピーカの再生音によって、３次元音響システムのあるチャネルの音を再現する場合を考える。この場合の受音点における音響インテンシティは、式（５）で表される。
【００４４】
【数５】
2011048279.tif 000009
【００４５】
ここで、仮想音響システムのスピーカ入力信号ｑ(t)が、３次元音響システムのあるチャネルの音源信号（音響信号）ｓ(ｔ)と基本信号変換係数ｗとによって、式（６）で表されるとする。
【００４６】
【数６】
2011048279.tif 000010
すると、式（５）は、式（７）に変形される。
【００４７】
【数７】
2011048279.tif 000011
【００４８】
従って、もし、式（４）と式（７）の音響インテンシティが等しい場合には、３個のスピーカによって、３次元音響システムのスピーカ位置ξに、そのスピーカに対応するチャネル信号ｓ（t）の音像を定位させることが可能となる。このような原理に基づいて、基本信号変換係数ｗを求めることにより、少ないチャネル数への変換を行うことができる。今、式（４）と式（７）の右辺を等しいとおくと、式（８）を得る。
【００４９】
【数８】
2011048279.tif 000012
この式は、ｗ1，ｗ2，ｗ3に関する２次の連立方程式であり、このままでは解くことができないため、それぞれの第１、２成分を、第３成分で除すことにより、式（９）を得る。
【００５０】
【数９】
2011048279.tif 000013
さらに、拘束条件として、式（１０）で表わされる受音点における音圧の一致を加える。
【００５１】
【数１０】
2011048279.tif 000014
式（１０）から、式（１１）の条件式が得られる。
【００５２】
【数１１】
2011048279.tif 000015
式（９）及び式（１１）より、式（１２）で表される線形連立方程式を得る。
【００５３】
【数１２】
2011048279.tif 000016
である。式（１２）の解は、式（１３）で表される。
【００５４】
【数１３】
2011048279.tif 000017
式（１３）によって求められる基本信号変換係数ｗ１〜ｗ３を用いることにより、３次元音響システムの１つのチャネル信号を、仮想音響システムの３個のスピーカによって形成することができるようになる。
【００５５】
次に、３次元音響システムの1つのチャネル信号を、仮想音響システムの４個のスピーカによって形成する方法について説明する。４個のスピーカを用いる場合、受音点における音響インテンシティは、式（７）と同様に、式（１４）で与えられる。
【００５６】
【数１４】
2011048279.tif 000018
式（１４）と式（４）が一致する条件から、式（９）と同様な式（１５）を得る。
【００５７】
【数１５】
2011048279.tif 000019
これに、式（１６）の音圧一致条件を加えても、まだ拘束条件が不足している。
【００５８】
【数１６】
2011048279.tif 000020
【００５９】
そこで、４番目のスピーカの利得を調整するための制御パラメータ（パンニング重み）ｇを導入する。この結果、次の連立方程式（１７）を得る。
【００６０】
【数１７】
2011048279.tif 000021
である。式（１７）の解は、式（１８）で与えられる。
【００６１】
【数１８】
2011048279.tif 000022
式（１８）によって求められる基本信号変換係数ｗ1〜ｗ4を用いることにより、３次元音響システムの１つのチャネル信号を、４個のスピーカによって形成することができるようになる。
【００６２】
このようにして、元の３次元音響システムのチャネル信号を、変換後の仮想音響システム信号に割り当てることができる。３次元音響システムのチャネル数をＮ、３次元音響システムの信号をｓ1(t)〜ｓN(t)、仮想音響システムのチャネル数、すなわち基本信号のチャネル数をＭとし、３次元音響システムのｉ番目のチャネルを仮想音響システムのｊ番目のチャネルに割り当てる際の基本信号変換係数をｗj,i、ｊ＝１，・・・，Ｍ、ｉ＝１，・・・，Ｎとすると、基本信号ｂ1(t)〜ｂM(t)は、式（１９）として表すことができる。
【００６３】
【数１９】
2011048279.tif 000023
【００６４】
［補助信号変換係数及び補助信号の算出］
次に、補助信号変換係数算出部１０５による補助信号変換係数の算出、及び補助信号算出部１０６による補助信号の算出について説明する。基本信号と補助信号とから元の信号を復元するためには、補助信号も元の信号の重み付け和で表される必要がある。また、補助信号は、少ないビットレートが割り当てられても、音質に影響しないという性質を持つことが望まれる。そこで、本発明では、これらの条件を満たすために、補助信号として予測残差信号を用いることとする。
【００６５】
2011048279.tif 000024
【００６６】
【数２０】
2011048279.tif 000025
このときの予測残差信号ｅ(ｎ)は、式（２１）で表される。
【００６７】
【数２１】
2011048279.tif 000026
この予測残差信号ｅ(ｎ)は、元のチャネル信号ｘ(ｎ)の重み付け和となっている。
【００６８】
補助信号ｅ(ｎ)の時刻ｔ１から時刻ｔ２における二乗誤差和Ｊを式（２２）で定義したとき、この二乗誤差和Ｊを最小化するように式（２１）の補助信号変換係数ａｋ，ｋ＝１，・・・，Ｎ−１を決めれば、少ないビットレートが割り当てられても、音質への影響は少なくなる。
【００６９】
【数２２】
2011048279.tif 000027
【００７０】
式（２２）は、補助信号変換係数に関する２次の関数になっているため、式（２２）を各変換係数で偏微分して０とおいた式（２３）により、式（２２）を最小化する係数を求めることができる。
【００７１】
【数２３】
2011048279.tif 000028
式（２３）より、式（２４）が得られる。
【００７２】
【数２４】
2011048279.tif 000029
式（２４）は、式（２５）のように表現できる。
【００７３】
【数２５】
2011048279.tif 000030
よって、補助信号変換係数ａｋ，ｋ＝１，・・・，Ｎ−１は、式（２６）により算出することができる。
【００７４】
【数２６】
2011048279.tif 000031
【００７５】
一方、二乗誤差和Ｊに関する式（２２）を変形すると、式（２７）が得られる。
【００７６】
【数２７】
2011048279.tif 000032
二乗誤差和Ｊの最小値Ｊminは、式（２４）を式（２７）に代入することにより、式（２８）で表される。
【００７７】
【数２８】
2011048279.tif 000033
【００７８】
元の３次元音響システムのチャネル数をＮ、基本信号のチャネル数をＭとすると、３次元音響システムの音響信号を復元するためには、補助信号のチャネル数は（Ｎ−Ｍ）必要となる。一方、式（２１）で表される予測残差信号ｅ(ｎ)は、３次元音響システムのチャネル数Ｎと同じ数だけ算出することができる。いま、元の信号のｉチャネルの信号に対する予測残差信号をｅi(ｎ)，ｉ＝１，・・・，Ｎ、それに対応する二乗誤差和の最小値をＪmin(i)，ｉ＝１，・・・，Ｎとする。このとき、Ｊmin(i)の中から小さい順に（Ｎ−Ｍ）チャネル分を選択し、この選択した信号を補助信号とする。ただし、Ｊmin(i)の値が極めて小さな値であると復号時の精度に影響する場合には、そのような予測残差信号ｅi(ｎ)を補助信号として選択せず、復号に適した範囲内で補助信号を選択することもできる。補助信号のチャネル番号を、ｋ1，・・・，ｋN-Mとすると、補助信号は、
2011048279.tif 000034
で与えられる。
【００７９】
補助信号ｅki(ｎ)を算出するに際し、式（２２）の時刻ｔ１から時刻ｔ２の範囲をどの程度に設定するかは、次の点を考慮して決定される。この範囲を広くすると、リアルタイム性が損なわれるとともに、二乗誤差和Ｊが一般に増大する。そのため、この範囲を狭くすることで音質を向上させることが可能となるが、補助信号変換係数を頻繁に伝送する必要が生じる。
【００８０】
補助信号及び補助信号変換係数は一定時間ｐ秒（例えば０．５秒）ごとに更新され、ｑ番目の補助信号（すなわち、（ｑ−１）×ｐ秒からｑ×ｐ秒における補助信号）をｅj(ｑ)(t)、ｊ＝１，・・・，Ｎ−Ｍとし、ｅj(i)(t)を算出した際の補助信号変換係数をａj,i(ｑ)、ｊ＝１，・・・，Ｎ−Ｍ、i＝１，・・・，Ｎ−1とする。このとき、補助信号変換係数は、（ｑ−１）×ｐ秒からｑ×ｐ秒における元の３次元音響システムの信号から、式（２６）を解くことによって算出される。補助信号は、式（２１）によって算出され、式（２９）として表すことができる。
【００８１】
【数２９】
2011048279.tif 000035
【００８２】
［音響信号の復元］
次に、信号復元部１３３による音響信号の復元について説明する。３次元音響システムの音響信号は、基本信号変換係数、基本信号、補助信号変換係数、及び補助信号から復元できる。式（１９）で表される基本信号は式（３０）と表すことができ、式（２９）で表される基本信号は式（３１）と表すことができる。
【００８３】
【数３０】
2011048279.tif 000036
【００８４】
【数３１】
2011048279.tif 000037
【００８５】
複合行列Ｗ(ｑ)を式（３２）で定義すると、３次元音響システムの音響信号ｓ(t)は、ｐ秒ごとに、式（３３）に基づいて復元することができる。
【００８６】
【数３２】
2011048279.tif 000038
【００８７】
【数３３】
2011048279.tif 000039
【００８８】
［２２チャネル信号を伝送する場合の実施例］
以下、３次元音響信号であるスーパーハイビジョン用２２．２チャネル音響信号のＬＦＥチャネルを除く２２チャネルの信号を、基本信号と補助信号に分けて伝送する場合についての実施例を示す。図３は、２２チャネルのスピーカ配置例を示す図である。図中の２２個の白丸は２２チャネルのスピーカ位置を示し、中央の網掛けされた丸は受音点を示す。
【００８９】
図４は、２２チャネル音響信号のスピーカ位置と、これを８つのスピーカで再現する場合のスピーカ位置を示す図である。横軸は水平角、縦軸は仰角である。水平角は、受音位置から見て右側を原点とし、反時計方向に角度を示している。図中の白丸は元の３次元音響システムの２２チャネルのスピーカ位置、黒丸は変換後の仮想音響システムの８チャネルのスピーカ位置、二重丸は変換前後のスピーカ位置が重なっている位置を示す。上述した基本信号変換係数を用いて、３次元音響システムの２２チャネル（ｃｈ１〜ｃｈ２２）の各信号を、仮想音響システムの８チャネル（ｎｃｈ１〜ｎｃｈ８）の複数の信号に近似的に割り当てることができる。
【００９０】
図５は、３次元音響符号化装置１０の動作を示すフローチャートである。ステップＳ５０１にて、スピーカ位置情報記憶部１０２は、３次元音響システムの各スピーカの極座標における位置情報と、仮想音響システムの各スピーカの極座標における位置情報とが予め記憶される。
【００９１】
ステップＳ５０２にて、基本信号変換係数算出部１０３は、スピーカ位置情報記憶部１０２に記憶されたスピーカ位置情報に基づいて、基本信号変換係数を算出する。基本信号変換係数は音響信号の入力前に決定される。また、基本信号を算出するための演算式も、音響信号の入力前に決定される。
【００９２】
３次元音響システムのｃｈ_ｉ（ｉ＝１，・・・，２２）の信号を仮想音響システムのｃｈ_ｊ（ｊ＝１，・・・，８）の信号に割り当てるときの例を、表１に示す。表１の左の列に、３次元音響システムの各チャネルを示す。表１の中央の列は、左の列に示された３次元音響システムのチャネルに近傍する仮想音響システムのチャネルであり、３次元音響システムのチャネル信号が基本信号変換係数に従って割り当てられる。表１の右の列は、３次元音響システムの各チャネルを仮想音響システムの各チャネルに割り当てる際に用いられる基本信号変換係数の値である。ｗj,iはｃｈ_ｉをｃｈ_ｊに割り当てる際の基本信号変換係数を表す。
【００９３】
【表１】
2011048279.tif 000040
【００９４】
ステップＳ５０３にて、音響信号入力部１０１は、入力される３次元音響システムの各スピーカからの音響信号をＡ／Ｄ変換し、デジタル形式の音響信号を、基本信号算出部１０４、補助信号変換係数算出部１０５及び補助信号算出部１０６に出力する。
【００９５】
ステップＳ５０４にて、基本信号算出部１０４は、ステップＳ５０３で得たデジタル形式の音響信号、及びステップＳ５０１で算出される基本信号変換係数ｗj,iから、基本信号の演算式に基づいて基本信号を算出する。元の３次元音響システムの２２チャネル信号をｓ1(t)〜ｓ22(t)、基本信号をｂ1(t)〜ｂ8(t)とおくと、式（３４）が成り立つ。
【００９６】
【数３４】
2011048279.tif 000041
【００９７】
ステップＳ５０５にて、補助信号変換係数算出部１０５は、式（２６）に基づいて補助信号変換係数ａj,i(ｑ)、ｊ＝１，・・・，１４、i＝１，・・・，２１を算出する。
【００９８】
ステップＳ５０６にて、補助信号算出部１０６は、式（２９）に基づいて補助信号ｅj(ｑ)(t)、ｊ＝１，・・・，１４を算出する。このとき、補助信号は、式（３１）の形式で表すことができる。ここに、
2011048279.tif 000042
である。
【００９９】
ステップＳ５０７にて、符号化部１０７は、ステップＳ５０２で算出した基本信号変換係数ｗj,i、ステップＳ５０４で算出した基本信号ｂ(ｔ)、ステップＳ５０５で算出した補助信号変換係数ａj,i(ｑ)、ステップＳ５０６で算出した補助信号ｅ(ｑ)(ｔ)を符号化する。符号化する際には、８チャネルの基本信号ｂ(ｔ)には多くのビットを割当て、１４チャネルの補助信号ｅ(ｑ)(ｔ)には少ないビットを割当てて圧縮率を高くする。
【０１００】
ステップＳ５０８にて、多重化部１０８は、ステップＳ５０７で符号化した基本信号変換係数ｗj,i、基本信号ｂ(ｔ)、補助信号変換係数ａj,i(ｑ)、及び補助信号ｅ(ｑ)(ｔ)を多重化し、送信装置１１に出力する。
【０１０１】
図６は、３次元音響復号装置１３の動作を示すフローチャートである。ステップＳ５０１にて、逆多重化部１３１は、受信装置１２から入力される多重化信号を逆多重化し、基本信号ｂ(ｔ)及び補助信号ｅ(ｑ)(ｔ)を抽出する。
【０１０２】
ステップＳ６０２にて、復号部１３２は、ステップＳ６０１で逆多重化した基本信号ｂ(ｔ)及び補助信号ｅ(ｑ)(ｔ)について復号処理をする。
【０１０３】
ステップＳ６０３にて、信号復元部１３３は、ステップＳ６０２で復号処理した基本信号変換係数ｗj,i、基本信号ｂ(ｔ)、補助信号変換係数をａj,i(ｑ)、補助信号ｅ(ｑ)(ｔ)から３次元音響システムの音響信号ｓ(t)を算出して復元する。ここで、複合行列Ｗ(ｉ)を式（３２）で定義すると、３次元音響システムの音響信号ｓ(t)を、一定時間ｐ秒（例えば０．５秒）ごとに、式（３３）に基づいて復元する。
【０１０４】
ここで、３次元音響符号化装置１０として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、音響信号入力部１０１と、スピーカ位置情報記憶部１０２と、基本信号変換係数算出部１０３と、基本信号算出部１０４と、補助信号変換係数算出部１０５と、補助信号算出部１０６と、符号化部１０７と、多重化部１０８とを機能させるための制御部を中央演算処理装置（ＣＰＵ）と、少なくとも１つのメモリで構成される記憶部で実現できる。
【０１０５】
また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、音響信号入力部１０１と、スピーカ位置情報記憶部１０２と、基本信号変換係数算出部１０３と、基本信号算出部１０４と、補助信号変換係数算出部１０５と、補助信号算出部１０６と、符号化部１０７と、多重化部１０８の有する機能を実現させることができる。更に、音響信号入力部１０１と、スピーカ位置情報記憶部１０２と、基本信号変換係数算出部１０３と、基本信号算出部１０４と、補助信号変換係数算出部１０５と、補助信号算出部１０６と、符号化部１０７と、多重化部１０８の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納することができる。そのような記憶部は、コンピュータ内部のＲＡＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、３次元音響符号化装置１０としてのコンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。
【０１０６】
さらに、３次元音響符号化装置１０として機能させるコンピュータを、本発明の各構成要素としての手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。
【０１０７】
同様に、３次元音響復号装置１３として機能させるために、コンピュータを好適に用いることができ、そのようなコンピュータは、逆多重化部１３１と復号部１３２と信号復元部１３３とを機能させるための制御部を中央演算処理装置（ＣＰＵ）と、少なくとも１つのメモリで構成される記憶部で実現できる。
【０１０８】
また、そのようなコンピュータに、ＣＰＵによって所定のプログラムを実行させることにより、逆多重化部１３１と復号部１３２と信号復元部１３３の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納することができる。そのような記憶部は、コンピュータ内部のＲＡＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、３次元音響復号装置１３としてのコンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。
【０１０９】
さらに、３次元音響復号装置１３として機能させるコンピュータを、本発明の各構成要素としての手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。
【０１１０】
上述の実施例は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。従って、本発明は上述の実施例によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、図３に示すダウンミックスを行って基本信号を算出する例を示したが、本発明において、ダウンミックス時のチャネル数、チャネル位置（スピーカ位置）を任意に設定することができる。また、本実施例では予測残差信号を算出する際にすべてのチャネル信号を用いているが、対象チャネル及び対象チャネルの近傍のチャネルの信号のみを用いて算出することもできる。
【産業上の利用可能性】
【０１１１】
このように、本発明によれば、多数のチャネルによって構成される３次元音響システムの信号をより少ない信号にダウンミックスすることができるので、音響信号を符号化及び復号する任意の用途に有用である。
【符号の説明】
【０１１２】
１０１  音響信号入力部
１０２  スピーカ位置情報記憶部
１０３  基本信号変換係数算出部
１０４  基本信号算出部
１０５  補助信号変換係数算出部
１０６  補助信号算出部
１０７  符号化部
１０８  多重化部
１３１  逆多重化部
１３２  復号部
１３３  信号復元部
【図１】
2011048279.tif 000043
【図２】
2011048279.tif 000044
【図３】
2011048279.tif 000045
【図４】
2011048279.tif 000046
【図５】
2011048279.tif 000047
【図６】
2011048279.tif 000048
【図７】
2011048279.tif 000049