(57)【特許請求の範囲】
【請求項１】
Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sを符号化装置から復号装置へ伝送する伝送システムであって、
前記符号化装置は、
n=1,2,…,Nとし、各マイクロホンの各観測信号snと、前記各観測信号snの平均s-nとの差分を前記各観測信号snの自己共分散σs_ns_nで正規化した値mnを要素とする行列Mを生成する正規化部と、
正方行列MTMのN個の固有値λn及び固有ベクトルenを、前記固有値λnに関して降順となるように並び替える並び替え部と、
N'<N、n'=1,2,…,N'とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、所定の閾値と固有値λ(n')に対応する値との大小関係に基づき、N'個の固有値λ(n')にそれぞれ対応するN'個の固有ベクトルe(n')のみからなる行列E'=[e(1)  e(2)  …  e(N')]を得る打切り部と、
N個の前記各観測信号snの分散σs_ns_nと、前記行列Mと前記行列E'との積である行列μ'と、前記行列E'とを用いて前記観測信号行列Sの近似値行列S'を求め、前記観測信号行列Sと前記近似値行列S'との差分を誤差Rとして求める誤差算出部と、を含み、
前記復号装置は、
前記行列μ'と前記行列E'とN個の前記分散σs_ns_nと前記誤差Rとを用いて、前記観測信号行列Sを復号する復号部を含む、
伝送システム。
【請求項２】
Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sに対応する符号を生成する符号化装置であって、
n=1,2,…,Nとし、各観測信号snと、前記各観測信号snの時間平均s-nとの差分を前記各観測信号snの自己共分散σs_ns_nで正規化した値mnを要素とする行列Mを生成する正規化部と、
正方行列MTMのN個の固有値λn及び固有ベクトルenを、前記固有値λnに関して降順となるように並び替える並び替え部と、
N'<N、n'=1,2,…,N'とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、所定の閾値以下となるN'個の固有値λ(n')に対応する固有ベクトルe(n')のみからなる行列E'を得る打切り部と、
N個の前記各観測信号snの分散σs_ns_nと、前記行列Mと前記行列E'との積である行列μ'と、前記行列E'とを用いて前記観測信号行列Sの近似値行列S'を求め、前記観測信号行列Sと前記近似値行列S'との差分を誤差Rとして求める誤差算出部と、を含む、
符号化装置。
【請求項３】
請求項２の符号化装置であって、
M'=μ'(E')T、M'の各要素をm'n、前記各観測信号snの各近似値をs'nとし、前記誤差算出部は、
s'n=m'nσs_ns_n
により、前記近似値行列S'=[s'1  s'2  …  s'N]を求める、
符号化装置。
【請求項４】
Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sに対応する符号を受け取り、観測信号行列Sを復号する復号装置であって、
n=1,2,…,Nとし、各観測信号snと、各観測信号snの時間平均s-nとの差分を各観測信号snの自己共分散σs_ns_nで正規化した値mnを要素とする行列をMとし、正方行列MTMのN個の固有値λn及び固有ベクトルenを、固有値λnに関して降順となるように並び替えて得られる、並び替え後の固有値をλ(n)とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、N'<N、n'=1,2,…,N'とし、所定の閾値以下となるN'個の固有値λ(n')に対応する固有ベクトルe(n')のみからなる行列をE'とし、N個の前記各観測信号snの分散σs_ns_nと、行列μ'=ME'と、行列E'とを用いて得られる観測信号行列Sの近似値行列をS'とし、観測信号行列Sと近似値行列S'との差分を誤差Rとし、
行列μ'と行列E'とN個の分散σs_ns_nと誤差Rとを用いて、観測信号行列Sを復号する復号部を含む、
復号装置。
【請求項５】
Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sを符号化装置から復号装置へ伝送する伝送方法であって、
n=1,2,…,Nとし、前記符号化装置が、各マイクロホンの各観測信号snと、前記各観測信号snの平均s-nとの差分を前記各観測信号snの自己共分散σs_ns_nで正規化した値mnを要素とする行列Mを生成する正規化ステップと、
前記符号化装置が、正方行列MTMのN個の固有値λn及び固有ベクトルenを、前記固有値λnに関して降順となるように並び替える並び替えステップと、
N'<N、n'=1,2,…,N'とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、前記符号化装置が、所定の閾値と固有値λ(n')に対応する値との大小関係に基づき、N'個の固有値λ(n')にそれぞれ対応するN'個の固有ベクトルe(n')のみからなる行列E'=[e(1)  e(2)  …  e(N')]を得る打切りステップと、
前記符号化装置が、N個の前記各観測信号snの分散σs_ns_nと、前記行列Mと前記行列E'との積である行列μ'と、前記行列E'とを用いて前記観測信号行列Sの近似値行列S'を求め、前記観測信号行列Sと前記近似値行列S'との差分を誤差Rとして求める誤差算出ステップと、
前記復号装置が、前記行列μ'と前記行列E'とN個の前記分散σs_ns_nと前記誤差Rとを用いて、前記観測信号行列Sを復号する復号ステップとを含む、
伝送方法。
【請求項６】
Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sに対応する符号を生成する符号化方法であって、
n=1,2,…,Nとし、正規化部が、各観測信号snと、前記各観測信号snの時間平均s-nとの差分を前記各観測信号snの自己共分散σs_ns_nで正規化した値mnを要素とする行列Mを生成する正規化ステップと、
並び替え部が、正方行列MTMのN個の固有値λn及び固有ベクトルenを、前記固有値λnに関して降順となるように並び替える並び替えステップと、
N'<N、n'=1,2,…,N'とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、打切り部が、所定の閾値以下となるN'個の固有値λ(n')に対応する固有ベクトルe(n')のみからなる行列E'を得る打切りステップと、
誤差算出部が、N個の前記各観測信号snの分散σs_ns_nと、前記行列Mと前記行列E'との積である行列μ'と、前記行列E'ととを用いて前記観測信号行列Sの近似値行列S'を求め、前記観測信号行列Sと前記近似値行列S'との差分を誤差Rとして求める誤差算出ステップと、を含む、
符号化方法。
【請求項７】
Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sに対応する符号を受け取り、観測信号行列Sを復号する復号方法であって、
n=1,2,…,Nとし、各観測信号snと、各観測信号snの時間平均s-nとの差分を各観測信号snの自己共分散σs_ns_nで正規化した値mnを要素とする行列をMとし、正方行列MTMのN個の固有値λn及び固有ベクトルenを、固有値λnに関して降順となるように並び替えて得られる、並び替え後の固有値をλ(n)とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、N'<N、n'=1,2,…,N'とし、所定の閾値以下となるN'個の固有値λ(n')に対応する固有ベクトルe(n')のみからなる行列をE'とし、N個の各観測信号snの分散σs_ns_nと、行列μ'=ME'と、行列E'とを用いて得られる観測信号行列Sの近似値行列をS'とし、観測信号行列Sと近似値行列S'との差分を誤差Rとし、
復号部が、行列μ'と行列E'とN個の分散σs_ns_nと誤差Rとを用いて、観測信号行列Sを復号する復号ステップを含む、
復号方法。
【請求項８】
請求項２若しくは請求項３の符号化装置、または、請求項４の復号装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のマイクロホンを用いて収音した音を伝送する技術に関する。なお、三次元空間上に複数のマイクロホンを配置し、音を収音することで、その観測信号には、音場の情報が含まれるため、音場の情報を伝送する技術に関すると言ってもよい。なお、音場の情報とは、例えばインパルス応答などであり、音空間情報、または、音の三次元空間情報を含む特性と言ってもよい。
【背景技術】
【０００２】
複数のマイクロホンを用いて収音した音を伝送する技術として非特許文献１〜３が知られている。非特許文献１〜３では、音声情報を圧縮し伝送する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】M.Hans, R.Schafer, “Lossless compression of digital audio”, Signal Processing Magazine, IEEE, 2001年, vol. 18, pp.21-32.
【非特許文献２】J.Herre, “Form joing stereo to spatial audio coding recent progress and standardization”, In 6th Intl. Conf. on Digital Audio Effects, 2004年, p.6.
【非特許文献３】J.Breebaart, et.al, “Backgroud, Concept, and Architecture for the Recent MPEG Surround Standard on Multichannel Audio Compression”, J. Audio Eng. Soc., 2007年, vol.55(5), pp. 331-351.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１〜３の音声圧縮の技術は、複数のマイクロホンを隣接して並べた際のマイクロホン間の相関は考慮されていない。すなわち、複数のマイクロホンを隣接して並べた場合には、各マイクロホンには非常に相関の高い信号が入力されることとなるが、従来の技術ではこれらは独立の信号として扱っている。
【０００５】
本発明は、複数のマイクロホン間の相関を考慮して、音空間情報を効率的に伝送する伝送システム、符号化装置、復号装置、それらの方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様によれば、伝送システムは、Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sを符号化装置から復号装置へ伝送する。符号化装置は、n=1,2,…,Nとし、各マイクロホンの各観測信号snと、各観測信号snの平均s-nとの差分を各観測信号snの自己共分散σs_ns_nで正規化した値mnを要素とする行列Mを生成する正規化部と、正方行列MTMのN個の固有値λn及び固有ベクトルenを、固有値λnに関して降順となるように並び替える並び替え部と、N'<N、n'=1,2,…,N'とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、所定の閾値と固有値λ(n')に対応する値との大小関係に基づき、N'個の固有値λ(n')にそれぞれ対応するN'個の固有ベクトルe(n')のみからなる行列E'=[e(1)e(2)…e(N')]を得る打切り部と、N個の各観測信号snの分散σs_ns_nと、行列Mと行列E'との積である行列μ'と、行列E'とを用いて観測信号行列Sの近似値行列S'を求め、観測信号行列Sと近似値行列S'との差分を誤差Rとして求める誤差算出部と、を含む。復号装置は、行列μ'と行列E'とN個の分散σs_ns_nと誤差Rとを用いて、観測信号行列Sを復号する復号部を含む。
【０００７】
上記の課題を解決するために、本発明の他の態様によれば、符号化装置は、Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sに対応する符号を生成する。符号化装置は、n=1,2,…,Nとし、各観測信号ｓnと、各観測信号ｓnの時間平均ｓ-nとの差分を各観測信号ｓnの自己共分散σs_ns_nで正規化した値mnを要素とする行列Mを生成する正規化部と、正方行列MTMのN個の固有値λn及び固有ベクトルenを、固有値λnに関して降順となるように並び替える並び替え部と、N'<N、n'=1,2,…,N'とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、所定の閾値以下となるN'個の固有値λ(n')に対応する固有ベクトルe(n')のみからなる行列E'を得る打切り部と、N個の各観測信号ｓnの分散σs_ns_nと、行列Mと行列E'との積である行列μ'と、行列E'とを用いて観測信号行列Sの近似値行列S'を求め、観測信号行列Sと近似値行列S'との差分を誤差Rとして求める誤差算出部と、を含む。
【０００８】
上記の課題を解決するために、本発明の他の態様によれば、復号装置は、Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sに対応する符号を受け取り、観測信号行列Sを復号する。復号装置は、n=1,2,…,Nとし、各観測信号snと、各観測信号snの時間平均s-nとの差分を各観測信号snの自己共分散σs_ns_nで正規化した値mnを要素とする行列をMとし、正方行列MTMのN個の固有値λn及び固有ベクトルenを、固有値λnに関して降順となるように並び替えて得られる、並び替え後の固有値をλ(n)とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、N'<N、n'=1,2,…,N'とし、所定の閾値以下となるN'個の固有値λ(n')に対応する固有ベクトルe(n')のみからなる行列をE'とし、N個の各観測信号snの分散σs_ns_nと、行列μ'=ME'と行列E'とを用いて得られる観測信号行列Sの近似値行列をS'とし、観測信号行列Sと近似値行列S'との差分を誤差Rとし、行列μ'と行列E'とN個の分散σs_ns_nと誤差Rとを用いて、観測信号行列Sを復号する復号部を含む。
【０００９】
上記の課題を解決するために、本発明の他の態様によれば、伝送方法は、Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sを符号化装置から復号装置へ伝送する。伝送方法は、n=1,2,…,Nとし、符号化装置が、各マイクロホンの各観測信号snと、各観測信号snの平均s-nとの差分を各観測信号snの自己共分散σs_ns_nで正規化した値mnを要素とする行列Mを生成する正規化ステップと、符号化装置が、正方行列MTMのN個の固有値λn及び固有ベクトルenを、固有値λnに関して降順となるように並び替える並び替えステップと、N'<N、n'=1,2,…,N'とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、符号化装置が、所定の閾値と固有値λ(n')に対応する値との大小関係に基づき、N'個の固有値λ(n')にそれぞれ対応するN'個の固有ベクトルe(n')のみからなる行列E'=[e(1)e(2)…e(N')]を得る打切りステップと、符号化装置が、N個の各観測信号snの分散σs_ns_nと、行列Mと行列E'との積である行列μ'と、行列E'とを用いて観測信号行列Sの近似値行列S'を求め、観測信号行列Sと近似値行列S'との差分を誤差Rとして求める誤差算出ステップと、復号装置が、行列μ'と行列E'とN個の分散σs_ns_nと誤差Rとを用いて、観測信号行列Sを復号する復号ステップとを含む。
【００１０】
上記の課題を解決するために、本発明の他の態様によれば、符号化方法は、Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sに対応する符号を生成する。符号化方法は、n=1,2,…,Nとし、正規化部が、各観測信号snと、各観測信号snの時間平均s-nとの差分を各観測信号snの自己共分散σs_ns_nで正規化した値mnを要素とする行列Mを生成する正規化ステップと、並び替え部が、正方行列MTMのN個の固有値λn及び固有ベクトルenを、固有値λnに関して降順となるように並び替える並び替えステップと、N'<N、n'=1,2,…,N'とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、打切り部が、所定の閾値以下となるN'個の固有値λ(n')に対応する固有ベクトルe(n')のみからなる行列E'を得る打切りステップと、誤差算出部が、N個の各観測信号snの分散σs_ns_nと、行列Mと行列E'との積である行列μ'と、行列E'とを用いて観測信号行列Sの近似値行列S'を求め、観測信号行列Sと近似値行列S'との差分を誤差Rとして求める誤差算出ステップと、を含む。
【００１１】
上記の課題を解決するために、本発明の他の態様によれば、復号方法は、Nを2以上の整数の何れかとし、N個のマイクロホンで収音した観測信号行列Sに対応する符号を受け取り、観測信号行列Sを復号する。復号方法は、n=1,2,…,Nとし、各観測信号snと、各観測信号snの時間平均s-nとの差分を各観測信号snの自己共分散σs_ns_nで正規化した値mnを要素とする行列をMとし、正方行列MTMのN個の固有値λn及び固有ベクトルenを、固有値λnに関して降順となるように並び替えて得られる、並び替え後の固有値をλ(n)とし、並び替え後の固有値をλ(n)、λ(1)>λ(2)>…>λ(N)、λ(n)に対応する固有ベクトルをe(n)とし、N'<N、n'=1,2,…,N'とし、所定の閾値以下となるN'個の固有値λ(n')に対応する固有ベクトルe(n')のみからなる行列をE'とし、N個の各観測信号snの分散σs_ns_nと、行列μ'=ME'と、行列E'とを用いて得られる観測信号行列Sの近似値行列をS'とし、観測信号行列Sと近似値行列S'との差分を誤差Rとし、復号部が、行列μ'と行列E'とN個の分散σs_ns_nと誤差Rとを用いて、観測信号行列Sを復号する復号ステップを含む。
【発明の効果】
【００１２】
本発明によれば、音空間情報を効率的に伝送することができるという効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】固有値を対角要素とする対角行列の近似行列を説明するための図。
【図２】第一実施形態に係る伝送システムの機能ブロック図。
【図３】第一実施形態に係る符号化装置の機能ブロック図。
【図４】第一実施形態に係る符号化装置の処理フローの例を示す図。
【図５】第一実施形態に係る復号装置の機能ブロック図。
【図６】第一実施形態に係る復号装置の処理フローの例を示す図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００１５】
＜第一実施形態のポイント＞
第一実施形態の音空間情報圧縮方法は、符号化ステップと、復号ステップとからなる。まず、符号化ステップについて説明する。
【００１６】
S(j)をN個のマイクロホンから入力されたフレーム長Lの観測信号からなる行列（以下、観測信号行列ともいう）とする。この場合、観測信号行列S(j)は式(1)で表現される
【００１７】
【数１】
0006355207.tif 000002
【００１８】
jはフレームのインデックス、lはフレームj内のサンプルのインデックス、nはマイクロホンのインデックス、l=0,1,…,L-1、n=1,2,…,Nである。なお、以下の説明において、特に断りのない限り、フレームj毎に処理を行うものとし、フレームのインデックスjを省略する。
【００１９】
ここで、観測信号sn(l)からその平均s-n(マイクロホンn毎の観測信号の平均であり、例えば、時間平均であり、sn(0),sn(1),…,sn(L-1)の平均値)を減算し、自己共分散σs_ns_n(ただし、下付添え字におけるA_BはABを表し、s_ns_nはsnsnを表す)で正規化された値mn(l)を要素とする行列Mを式(2),(3)のように定義する。
【００２０】
【数２】
0006355207.tif 000003
【００２１】
ここで、カルーネン・レーベ(Karhunen-Loeve)変換を導入する。この変換は、相関の高い信号を互いに独立な成分に分解するものである。カルーネン・レーベ変換により、次式により表されるN行N列の正方行列MTMを得る。
【００２２】
【数３】
0006355207.tif 000004
【００２３】
ただし、正方行列MTMの要素σm_j,m_k(ただし、j=1,2,…,N、k=1,2,…,Nであり、下付添え字m_jm_kは、mjmkを表す)の値は、マイクロホンj,k間の相関の程度を示している。この正方行列MTMを、さらに次式により固有値分解する。
【００２４】
【数４】
0006355207.tif 000005
【００２５】
ただし、Eは、N個の固有ベクトルen=[en,1,en,2,…,en,N]T(要素数N)を要素とする正方行列である。Λは、N個の固有値λnを対角要素とする対角行列である。さらに、固有値λn及び固有ベクトルenを、固有値λnに関して降順となるよう並び替える。並び替え後のN個の固有値λnをλ(1),λ(2),…,λ(N)と表現すると、λ(1)＞λ(2)＞…＞λ(N)である。固有値λnに関して降順に並び替えた後のN個の固有ベクトルenをe(1),e(2),…,e(N)と表現し、e(n)=[e(n,1),e(n,2),…,e(n,N)]Tと表現する。
【００２６】
次に、行列Mと行列Eの積として得られるL行N列の行列μを、次式で定義する。
【００２７】
【数５】
0006355207.tif 000006
【００２８】
直交性のために次式(7)が成り立つので、正規化された元の行列Mは、式(8)によって求めることができる。
【００２９】
【数６】
0006355207.tif 000007
【００３０】
降順に並べた固有値λ(n)をある閾値で打ち切って対角行列Λを近似することができる。この場合、対角行列Λの近似行列Λ'、行列Eとその近似行列E'は式(9)の関係になる。
【００３１】
【数７】
0006355207.tif 000008
【００３２】
なお、式(9)を満たすのであれば、閾値及びN'はどのような値に設定してもよい。例えば、固有値λ(1)からλ(n')までの総和x'に対して閾値y1(0<y1<1)を設けてもよいし(図１のS4の(x'<y1?)に相当)、固有値λ(1)からλ(n')までの固有値の個数n'に対して閾値y2(1≦y2≦N)を設けてもよいし(図１のS4の(n'<y2?)に相当)、各固有値λ(n')に対して閾値y3(0<y3<1)を設けてもよい(図１のS4の(λ(n')>y3?)に相当)。さらに、これらの条件を組合せてもよい（例えば、上述の条件の少なくとも２つ以上の条件に対して、and条件またはor条件を設定する）。閾値y1,y2,y3の大きさや条件は、実験やシミュレーションにより、伝送に先立ち予め適切なものを求めておけばよい。なお、固有値λ(1)からλ(N')までの総和xが1以上となると、対角行列Λを適切に近似することができないため、総和xが1未満となるようにN'を設定する(図１のＳ３及びＳ６参照)。
【００３３】
式(6)のN行N列の行列Eの代わりにN行N'列の行列E'を用いることで、次式により、L行N列の行列μから次元を削減したL行N'列の行列μ'を得ることができる（式(10)）。
【００３４】
【数８】
0006355207.tif 000009
【００３５】
ここから、L行N列の行列Mの近似であるL行N列の行列M'を次式(11)のように求めることができる。
【００３６】
【数９】
0006355207.tif 000010
【００３７】
観測信号行列Sの近似値行列であるS'は、式(12)によって求めることができる。
【００３８】
【数１０】
0006355207.tif 000011
【００３９】
ここで、要素s'n(l)は次式(13)となる。
【００４０】
【数１１】
0006355207.tif 000012
【００４１】
観測信号行列Sとその近似値行列S'の誤差をRと定義する（式(14)）
【００４２】
【数１２】
0006355207.tif 000013
【００４３】
ここで、誤差Rは、観測信号行列Sと同様にL行N列の行列であるが、観測信号行列Sとその近似値行列S'との差分であり、誤差Rの各要素は小さな値となる。そのため、誤差Rの各要素は、観測信号行列Sの各要素よりも少ないビット数で表現することができ、観測信号行列Sを送るよりも伝送量を削減することができる。以上から、元の観測信号行列Sを伝送する代わりに、μ',E',R,およびσ2=[σs_1s_1  σs_2 s_2  …  σs_n s_n]を伝送することで、伝送量を削減することが可能となる。
【００４４】
符号化ステップでは、観測信号行列Sを用いてμ',E',R,およびσ2を算出し、観測信号行列Sに代えて、μ',E',R,およびσ2を伝送する。
【００４５】
復号ステップでは、μ',E',R,およびσ2を受け取り、これらの値を用いて、次式(15)により、観測信号行列Sを復号する。
【００４６】
【数１３】
0006355207.tif 000014
【００４７】
ただし、「.*」は、行列の要素同士の乗算を表す演算子であり、
【００４８】
【数１４】
0006355207.tif 000015
【００４９】
である。また、
【００５０】
【数１５】
0006355207.tif 000016
【００５１】
である。つまり、Σ2は、L個のσ2を要素として持つ行列である。
【００５２】
以下、上述の伝送方法を実現する構成について説明する。
【００５３】
＜第一実施形態に係る伝送システム１０＞
図２は第一実施形態に係る伝送システム１０の機能図を示す。
【００５４】
伝送システム１０は、符号化装置１００と復号装置２００とを含む。符号化装置１００と復号装置２００とは、通信回線１１を介して通信可能とされている。符号化装置１００は、N個のマイクロホン１２−ｎでそれぞれ収音したN個の観測信号snを入力とし、符号(μ',E',R,σ2)を生成し、通信回線１１を介して復号装置２００に伝送する。ただし、n=1,2,…,Nであり、sn=[sn(0)  sn(1)  …  sn(L-1)]である。復号装置２００は、符号(μ',E',R,σ2)を受け取り、この符号を用いてN個の観測信号snを復号する。例えば、復号装置２００は、N個のスピーカ１３−ｎにそれぞれN個の観測信号snを出力し、N個のスピーカ１３−ｎはそれぞれN個の観測信号snを再生し、N個のマイクロホン１２−ｎが配置された音場を再現する。
【００５５】
＜符号化装置１００＞
図３は符号化装置１００の機能ブロック図を、図４はその処理フローを示す。
【００５６】
符号化装置１００は、正規化部１１０、分散計算部１２０、カルーネン・レーベ変換部１３０、並び替え部１４０、打切り部１５０、次元削減部１６０及び誤差算出部１７０を含む。
【００５７】
＜正規化部１１０＞
正規化部１１０は、N個のマイクロホン１２−ｎでそれぞれ収音したN個の観測信号snを受け取り、これらの値に基づき式(1')に従って観測信号行列Sを生成し、分散計算部１２０及び誤差算出部１７０に出力する。
【００５８】
【数１６】
0006355207.tif 000017
【００５９】
また、正規化部１１０は、N個の観測信号snを用いて、式(2),(3)に従って行列Mを生成し、カルーネン・レーベ変換部１３０、打切り部１５０、次元削減部１６０に出力する。
【００６０】
【数１７】
0006355207.tif 000018
【００６１】
行列Mの各要素mn(l)は、各観測信号sn(l)と各観測信号snの平均s-n(例えば時間平均)との差分を各観測信号snの自己共分散σs_ns_nで正規化した値である。
【００６２】
＜分散計算部１２０＞
分散計算部１２０は、観測信号行列Sを受け取り、各観測信号snの分散σs_ns_nを計算し（Ｓ１２０）、分散σ=[σS_1S_1  σS_2S_2  …   σS_NS_N]を符号化装置１００の出力値として出力するとともに、誤差算出部１７０に出力する。
【００６３】
＜カルーネン・レーベ変換部１３０＞
カルーネン・レーベ変換部１３０は、行列Mを受け取り、カルーネン・レーベ変換し（Ｓ１３０）、式(4)により表される正方行列MTMを得、並び替え部１４０に出力する。
【００６４】
【数１８】
0006355207.tif 000019
【００６５】
＜並び替え部１４０＞
並び替え部１４０は、正方行列MTMを受け取り、固有値分解し(式(5))、正方行列MTMのN個の固有値λn及び固有ベクトルenを得る。
【００６６】
【数１９】
0006355207.tif 000020
【００６７】
さらに、並び替え部１４０は、固有値λnに関して降順となるように並び替え（Ｓ１４０）、並び替え後のN個の固有値λ(1),λ(2),…,λ(N)（ただし、λ(1)＞λ(2)＞…＞λ(N)）を対角要素とする対角行列Λ=diag(λ(1),λ(2),…,λ(N))とN個の固有ベクトルe(1),e(2),…,e(N)からなるL行N列の行列E=[e(1)  e(2)  …  e(N)]を打切り部１５０に出力する。なお、固有ベクトルe(n)は固有値λ(n)に対応する固有ベクトルである。
【００６８】
＜打切り部１５０＞
打切り部１５０は、並び替え後のN個の固有値λ(n)を対角要素とする対角行列Λと、並び替え後のN個の固有ベクトルe(1),e(2),…,e(N)からなるL行N列の行列E=[e(1)  e(2)  …  e(N)]を受け取り、所定の閾値yと固有値λ(n')に対応する値との大小関係に基づき、N'を設定し（図１のＳ６参照）、N'個の固有値λ(n')にそれぞれ対応するN'個の固有ベクトルe(n')のみからなる行列E'=[e(1)  e(2)  …  e(N')]を得（Ｓ１５０）、符号化装置１００の出力値として出力するとともに、次元削減部１６０及び誤差算出部１７０に出力する。ただし、N'<N、n'=1,2,…,N'である。固有値λ(n')に対応する値とは、例えば、(i)固有値λ(1)からλ(n')までの総和x'、(ii)固有値λ(1)からλ(n')までの固有値の個数n'、(iii)固有値λ(n')自体、(iv)上述の(i)〜(iii)の組合せである(図１のＳ４参照)。所定の閾値yとは、例えば、図１のy1,y2,y3またはそれらの組合せである。
【００６９】
【数２０】
0006355207.tif 000021
【００７０】
なお、固有値λ(1)からλ(N')までの総和xが1以上となると、対角行列Λを適切に近似することができないため、総和xが1未満となるようにN'を設定する(図１のＳ３及びＳ６参照)。また、N'<NとなるようにN'を設定する(図１のＳ３及びＳ６参照)。
【００７１】
＜次元削減部１６０＞
次元削減部１６０は、行列Mと行列E'とを受け取り、式(10)に従って、行列Mと行列E'との積である行列μ'=ME'を得（Ｓ１６０）、符号化装置１００の出力値として出力するとともに、誤差算出部１７０に出力する。
【００７２】
【数２１】
0006355207.tif 000022
【００７３】
＜誤差算出部１７０＞
誤差算出部１７０は、観測信号行列Sと行列μ'と行列E'と分散σ2とを受け取り、これらの用いて、式(11)〜(13)に従い、観測信号行列Sの近似値行列S'を求める。
【００７４】
【数２２】
0006355207.tif 000023
【００７５】
さらに、誤差算出部１７０は、式(14)に従い、観測信号行列Sと近似値行列S'との差分を誤差Rとして求め（Ｓ１７０）、符号化装置１００の出力値として出力する。
【００７６】
【数２３】
0006355207.tif 000024
【００７７】
符号化装置１００は、図示しない送信部からフレーム毎に符号(μ',E',R,σ2)を伝送する。
【００７８】
＜復号装置２００＞
図５は復号装置２００の機能ブロック図を、図６はその処理フローを示す。
【００７９】
復号装置２００は、復号部２１０、音信号生成部２２０を含む。復号部２１０は、近似行列計算部２１１、観測信号予測部２１２を含む。
【００８０】
＜復号部２１０＞
復号部２１０は、符号(μ',E',R,σ2)を受け取り、これらの値を用いて、次式により、観測信号行列Sを復号し（Ｓ２１０）、音信号生成部２２０に出力する。
【００８１】
【数２４】
0006355207.tif 000025
【００８２】
ただし、「.*」は、行列の要素同士の乗算を表す演算子であり、
【００８３】
【数２５】
0006355207.tif 000026
【００８４】
である。例えば以下のように観測信号行列Sを復号する。
【００８５】
復号部２１０の近似行列計算部２１１は、行列μ'と行列E'とを用いて、式(11)に従い、行列Mの近似行列M'を求め（Ｓ２１１）、観測信号予測部２１２に出力する。
【００８６】
【数２６】
0006355207.tif 000027
【００８７】
復号部２１０の観測信号予測部２１２は、近似行列M'と誤差Rと分散σを受け取り、近似行列M'と分散σとを用いて、式(12),(13)に従い、観測信号行列Sの近似値行列S'を求める。
【００８８】
【数２７】
0006355207.tif 000028
【００８９】
さらに、観測信号予測部２１２は、近似値行列S'と誤差Rとを用いて、次式により、観測信号行列Sを求め（Ｓ２１２）、音信号生成部２２０に出力する。
【００９０】
【数２８】
0006355207.tif 000029
【００９１】
＜音信号生成部２２０＞
音信号生成部２２０は、観測信号行列Sを受け取り、各スピーカ１３−ｎの観測信号（再生信号）snに分離し、それぞれ各スピーカ１３−ｎに出力する。
【００９２】
各スピーカ１３−ｎは、観測信号（再生信号）snを受け取り、再生する。
【００９３】
＜効果＞
以上の構成により、音空間情報を効率的に伝送することができる。誤差Rは、観測信号行列Sと同様にL行N列の行列であるが、観測信号行列Sとその近似値行列S'との差分であり、誤差Rの各要素は小さな値となる。そのため、誤差Rの各要素は、観測信号行列Sの各要素よりも少ないビット数で表現することができ、観測信号行列Sを送るよりも伝送量を削減することができる。以上から、元の観測信号行列Sを伝送する代わりに、符号(μ',E',R,σ2)を伝送することで、伝送量を削減することが可能となる。
【００９４】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【００９５】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【００９６】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００９７】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【００９８】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００９９】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0006355207.tif 000030
【図２】
0006355207.tif 000031
【図３】
0006355207.tif 000032
【図４】
0006355207.tif 000033
【図５】
0006355207.tif 000034
【図６】
0006355207.tif 000035