(57)【要約】  行列演算の演算量を削減することができる音響信号処理装置を提供する。  ＮＩチャンネルにダウンミックスされた音響信号を、ＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理装置（２４）であって、ＮＩチャンネルにダウンミックスされた音響信号に対して、Ｋ（ＮＯ＞Ｋ≧ＮＩ）行、ＮＩ列の行列演算を行い、行列演算されたＫ個の信号を出力する第１の行列演算部（２４１）と、行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）部（２４２，２４３）と、ＮＩチャンネルにダウンミックスされた音響信号と、Ｋ個の無相関な信号とに対して、ＮＯ行、（ＮＩ＋Ｋ）列の行列演算を行い、ＮＯチャンネルの音響信号を出力する第２の行列演算部（２４４）とを備える。
2007043388.tif 000002
【特許請求の範囲】
【請求項１】
ＮＩチャンネルにダウンミックスされた音響信号を、ＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理装置であって、
前記ＮＩチャンネルにダウンミックスされた音響信号に対して、Ｋ（ＮＯ＞Ｋ≧ＮＩ）行、ＮＩ列の行列演算を行い、行列演算されたＫ個の信号を出力する第１の行列演算手段と、
行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）手段と、
前記ＮＩチャンネルにダウンミックスされた音響信号と、前記Ｋ個の無相関な信号とに対して、ＮＯ行、（ＮＩ＋Ｋ）列の行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算手段と
を備えることを特徴とする音響信号処理装置。
【請求項２】
前記Ｋは、前記ＮＩと等しい
ことを特徴とする請求項１記載の音響信号処理装置。
【請求項３】
前記音響信号処理装置は、さらに
所定の時間間隔毎に区切られたフレーム毎に更新されるパラメータから、前記第１の行列演算手段における第１行列式の各係数を生成する第１の行列式生成手段と、
前記パラメータから、前記第２の行列演算手段における第２行列式の各係数を生成する第２の行列式生成手段と、
直前のフレームにおけるパラメータまたは直前のフレームにおける第２行列式の各係数を用いて、逐次内挿（Ｉｎｔｅｒｐｏｌａｔｅ）して前記第２の行列演算手段における第２行列式の各係数を算出する内挿手段と
を備えることを特徴とする請求項１記載の信号処理装置。
【請求項４】
前記Ｋ個のデコリレート手段は、入力信号の位相を９０度回転させる処理を含む
こと特徴とする請求項１記載の音響信号処理装置。
【請求項５】
前記第１の行列演算手段の行列演算に用いられるＫ行、ＮＩ列の第１行列式は、ゲイン制御に関する係数から前記デコリレート手段で不要なゲイン制御に関する係数を分離することにより得られ、前記デコリレート手段で必要なゲイン制御に関する最小単位の係数だけで構成され、
前記第２の行列演算手段の行列演算に用いられるＮＯ行、（ＮＩ＋Ｋ）列の第２行列式は、前記デコリレート手段で不要なゲイン制御に関する係数と、位相制御に関する係数とを結合することによって得られた係数により構成される
ことを特徴とする請求項１記載の音響信号処理装置。
【請求項６】
ＮＩチャンネルにダウンミックスされた音響信号を、ＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理方法であって、
前記ＮＩチャンネルにダウンミックスされた音響信号に対して、Ｋ（ＮＯ＞Ｋ≧ＮＩ）行、ＮＩ列の行列演算を行い、行列演算されたＫ個の信号を出力する第１の行列演算ステップと、
行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）ステップと、
前記ＮＩチャンネルにダウンミックスされた音響信号と、前記Ｋ個の無相関な信号とに対して、ＮＯ行、（ＮＩ＋Ｋ）列の行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算ステップと
を含むことを特徴とする音響信号処理方法。
【請求項７】
請求項６記載の音響信号処理方法に含まれステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号処理装置および音響信号処理方法に関し、特にＮＩチャンネルにダウンミックスされた音響信号を、ＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する技術に関する。
【背景技術】
【０００２】
近年、Ｓｐａｔｉａｌ  Ｃｏｄｅｃ（空間的符号化）と言われる技術開発が行われている。これは、非常に少ない情報量でマルチチャンネルの臨場感を圧縮・符号化することを目的としており、例えば、既にデジタルテレビの音声方式として広く用いられているマルチチャンネルコーデックであるＡＡＣ方式が、５．１ｃｈ当り５１２ｋｂｐｓや、３８４ｋｂｐｓというビットレートを要するのに対し、Ｓｐａｔｉａｌ  Ｃｏｄｅｃでは、１２８ｋｂｐｓや、６４ｋｂｐｓ、さらに４８ｋｂｐｓといった非常に少ないビットレートでマルチチャンネル信号を圧縮・符号化することを目指している。そのための国際標準規格化活動が、現在ＭＰＥＧオーディオ規格化会議において行われており、所謂Ｒｅｆｅｒｅｎｃｅ  Ｍｏｄｅｌ  Ｚｅｒｏ（以下、「ＲＭ０」とも記す。）と呼ばれるスペーシャルオーディオコーデックの基本となる処理方式が開示されている（非特許文献１）。【０００３】
なおここで、Ｓｐａｔｉａｌ  Ｃｏｄｅｃの基本原理について説明する。【０００４】
図１は、Ｓｐａｔｉａｌ  Ｃｏｄｅｃの基本原理について、Ｌ，Ｒの２ｃｈを例として説明するための図である。【０００５】
エンコードプロセスにおいては、図１（ａ）に示されるように、スペーシャルオーディオエンコーダは、複素演算により、Ｌ，Ｒの２ｃｈの音楽信号から、ダウンミックス信号Ｓ（Ｓ＝（Ｌ＋Ｒ）／２）、レベル比ｃおよび位相差θを求める。ダウンミックス信号Ｓは、レベル比ｃおよび位相差θとともに、ＭＰＥＧ方式ＡＡＣ規格等による符号化装置でさらに符号化される。【０００６】
デコードプロセスにおいては、図１（ｂ）に示されるように、ダウンミックス信号Ｓに対して直交し、かつ残響感を伴う信号であるデコリレート信号Ｄを生成する。【０００７】
そして、図１（ｃ）に示されるように、ダウンミックス信号Ｓとデコリレート信号Ｄとを混ぜ合わせ、復号化されたレベル比ｃおよび位相差θに基づいて、図１（ａ）に示される平行四辺形の関係を満たすＬ，Ｒの２ｃｈの音声信号を生成する。【０００８】
ここでは、２ｃｈから１ｃｈにダウンミックスし、１ｃｈを２ｃｈにマルチチャンネル化する場合について説明したが、この原理を複数回繰り返すことで、５．１ｃｈを２ｃｈにダウンミックスし、２ｃｈを５．１ｃｈにマルチチャンネル化すること等もできる。【０００９】
次いで、ＲＭ０における信号の流れについて、説明する。【００１０】
図２は、ＲＭ０における基本的な信号の流れの一例として、２チャンネルの信号を５チャンネルの信号に変換する音響信号処理装置９００の機能構成を示すブロック図である。【００１１】
ここで、入力の２チャンネルは元々は５チャンネルの信号であったものを２チャンネルにダウンミックスしたものであり、出力の５チャンネルは元々の５チャンネル信号に復元されるものである。またここでは、２チャンネル信号は通常、前方の左右スピーカから出力される信号であり、５チャンネル信号は通常、前方の左右スピーカ、後方左右スピーカ、前方中央スピーカから出力される信号を意味する。【００１２】
さて、図２に示されるように、音響信号処理装置９００は、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）と、デコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ又は、Ｄｅｃｏｒｒｅｌａｔｏｒとも記す。）９０２，９０３と、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）とを備える。【００１３】
ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）は、入力のｉｎｐｕｔ１と、ｉｎｐｕｔ２とに対してゲイン制御に関する行列演算を行う処理によって、５系統の信号に変換する。その中の２系統の信号はデコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ）９０２，９０３による処理によって、無相関な信号にそれぞれ変換される。ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）は、デコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ）９０２，９０３によって変換された２系統の信号と、変換されなかった残りの３系統の信号との合計５系統の信号に対して位相制御に関する行列演算を行う処理によって、出力の５チャンネル信号を生成する。【００１４】
図３は、音響信号処理装置９００のさらに詳しい機能構成を示すブロック図である。なお、図２では、信号は左から右へ流れるように示したが、図３において信号は右から左へ流れるように示されている。これは、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）と、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）の内部が、行列演算によって定義されるので、行列演算式の数学的表現と信号の流れとを一致させるために、信号が右から左へ流れるように示したのみであり、本質的には図２に示したものと変りはない。【００１５】
音響信号処理装置９００は、上述したｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）、デコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ）９０２，９０３、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）の他、さらに２つの行列式生成部９０５，９０７と、２つの内挿部９０６，９０８とを備える。【００１６】
さて、図３に示されるように、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）の信号処理は、５行＊２列の行列式によって実現される。一般的には、下記式（１）に示すような行列式が、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）の一例として定義される。【００１７】
【数１】
2007043388.tif 000003
…（１）
式（１）において、α、βは、ＣＰＣ（Ｃｈａｎｎｅｌ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）と言われる音響空間的な係数によって求められる値であり、γは、ＩＣＣ（Ｉｎｔｅｒ  Ｃｈａｎｎｅｌ  Ｃｏｒｒｅｌａｔｉｏｎ）と言われる音響空間的な係数によって求められる値である。【００１８】
また、添え字ｌは、ｌ番目のパラメータセット（圧縮符号化パラメータの集合体）からきたデータであることを示す添え字である。また、添え字ｍは、ｍ番目の周波数帯域からきたデータであることを示す添え字である。これらの意味の詳細については本願の趣旨に関係ないのでここでは省略する。【００１９】
式（１）は、５行＊３列の行列式であるが、その中の３列目は、非特許文献１で述べられている所謂ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われている場合のみ意味を持つものであるが、通常、ビットレートの制約と、デコード演算負荷の軽減の観点で、ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われない場合が多いので、その場合、式（１）は、下記式（２）とみなすことができる。【００２０】
【数２】
2007043388.tif 000004
…（２）
つまり式（２）が、図３における右側の行列式に対応している。勿論、ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われている場合は、図３における右側の行列式は、式（１）に準じた５行＊３列の行列式になり、入力信号として、ＲｅｓｉｄｕａｌＳｉｇｎａｌが追加され３チャンネルとなる。【００２１】
そのようにして生成された５系統の信号の中の２系統の信号は、デコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ）９０２，９０３の処理によって無相関な信号にそれぞれ変換される。これによって変換された２系統の信号と、変換されなかった残りの３系統の信号との合計５系統の信号とが、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）における処理によって変換され、出力の５チャンネル信号が生成される。この信号処理は、５行＊５列の行列演算式によって実現される。【００２２】
ここでは、簡単のために、５行＊５列の行列演算式を一例に挙げたが、これは、前方２チャンネル、後方２チャンネル、センターチャンネルの５チャンネルを対象にしている場合であって、さらに、ＬＦＥチャンネルを加味すれば、この行列式は、６行５列の行列式となる。また、さらに、非特許文献１で述べられている所謂ＴｔｔＥｌｅｍｅｎｔにおいてＤｅｃｏｒｒｅｌａｔｏｒが用いられる場合は、当該行列演算の入力側が、１チャンネル増えるので、この行列式は、６行６列の行列式となる。【００２３】
さてここで、各行列演算における行列式の要素（係数）は、元々の５チャンネルの信号間のレベル比と相互相関（位相差）とチャンネル間予測係数とを符号化したパラメータから生成される。【００２４】
まず、符号化されているレベル比、相互相関（位相差）、チャンネル間予測係数の情報を復号化し、行列式生成部９０５，９０７によって、２チャンネルの信号を５チャンネルの信号に分離するために必要となる信号間のレベル比や位相差や予測係数を求める。【００２５】
これらの符号化信号は、所定時間間隔のフレーム毎に更新されるものであるので、レベル比や位相差の値は、その変動をスムーズにするために、前フレームの状態と現フレームの状態とから、内挿部９０６，９０８によってスムージングされる。このようにして、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）と、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）とにおける行列演算式の各要素が決定されるが、この行列演算式の各要素を決定する過程は、本願の趣旨とは特に関係ないのでここでは詳細な説明を省略する。【００２６】
また、非特許文献１において、デコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ）９０２，９０３の処理は、入力信号の周波数特性は維持したまま時間特性のおいて入力信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成することであることが述べられており、その方法として、ｌａｔｔｉｃｅ  ａｌｌ  ｐａｓｓ  ｆｉｌｔｅｒを用いることが述べられている。
【非特許文献１】Ｊ．Ｈｅｒｒｅ，ｅｔ  ａｌ，”Ｔｈｅ  Ｒｅｆｅｒｅｎｃｅ  Ｍｏｄｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  ＭＰＥＧ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ”，１１８ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，  Ｂａｒｃｅｌｏｎａ、  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  Ｐａｐｅｒ  ６４４７、２００５年５月２８−３１日
【発明の開示】
【発明が解決しようとする課題】
【００２７】
しかしながら、上記した音響信号処理装置９００には、以下のような問題がある。【００２８】
すなわち、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）と、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）とは、共にサイズの大きな行列式を用いた行列演算によって実現されるので、多大の積和演算を要するという第１の問題がある。【００２９】
また、内挿部９０６，９０８も、各フレーム毎に過去のフレームとの間でスムージングの処理を行うので、多大の演算量を要するという第２の問題がある。【００３０】
また、Ｄｅ  ｃｏｒｒｅｌａｔｏｒ９０２，９０３の処理で用いられているｌａｔｔｉｃｅ  ａｌｌ  ｐａｓｓ  ｆｉｌｔｅｒの処理も複数タップのＩＩＲフィルタで構成されるので、多大の演算量を要するという第３の問題がある。【００３１】
本発明は、このような従来の問題点に鑑みてなされたものであって、行列演算の演算量を削減することができる音響信号処理装置および音響信号処理方法を提供することを第１の目的とする。【００３２】
また、内挿処理に必要な演算量を削減することができる音響信号処理装置および音響信号処理方法を提供することを第２の目的とする。【００３３】
さらに、デコリレート処理に必要な演算量を削減できる音響信号処理装置および音響信号処理方法を提供することを第３の目的とする。
【課題を解決するための手段】
【００３４】
そこで、上記第１の問題を解決するために、本発明に係る音響信号処理装置においては、ＮＩチャンネルにダウンミックスされた音響信号を、ＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理装置であって、前記ＮＩチャンネルにダウンミックスされた音響信号に対して、Ｋ（ＮＯ＞Ｋ≧ＮＩ）行、ＮＩ列の行列演算を行い、行列演算されたＫ個の信号を出力する第１の行列演算手段と、行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）手段と、前記ＮＩチャンネルにダウンミックスされた音響信号と、前記Ｋ個の無相関な信号とに対して、ＮＯ行、（ＮＩ＋Ｋ）列の行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算手段とを備えることを特徴とする。【００３５】
これにより、従来のＲＭ０におけるｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１の行列式の行数がＮＯで、必ずデコリレート手段の個数Ｋよりも必ず大きいが、本発明では第１の行列演算手段における行列式の行数が、デコリレート手段の個数Ｋと同じにまで小さくなるので、演算量を大幅に削減することができる。【００３６】
また、本発明に係る音響信号処理装置においては、前記Ｋは、前記ＮＩと等しいことを特徴とすることができる。【００３７】
これにより、ＲＭ０におけるｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１が、例えば５行＊２列のサイズの行列式の演算で、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２が、例えば５行＊５列のサイズの行列式の演算であるならば、本発明では、第１の行列演算手段における行列演算が、２行＊２列のサイズの小さな行列式の演算となり、第２の行列演算手段における行列演算が、５行＊４列のサイズの小さな行列式の演算となるので、演算量をさらに削減することができる。【００３８】
また、上記第２の問題を解決するために、本発明に係る音響信号処理装置においては、前記音響信号処理装置は、さらに所定の時間間隔毎に区切られたフレーム毎に更新されるパラメータから、前記第１の行列演算手段における第１行列式の各係数を生成する第１の行列式生成手段と、前記パラメータから、前記第２の行列演算手段における第２行列式の各係数を生成する第２の行列式生成手段と、直前のフレームにおけるパラメータまたは直前のフレームにおける第２行列式の各係数を用いて、逐次内挿（Ｉｎｔｅｒｐｏｌａｔｅ）して前記第２の行列演算手段における第２行列式の各係数を算出する内挿手段とを備えることを特徴とすることができる。【００３９】
これにより、行列式の各要素の内挿処理を第２の行列演算手段における第２行列式に対してのみ行えばよい、つまり聴感上不要な第１の行列演算手段における第１行列式に対する行列式の各要素の内挿処理をスキップするので、演算量をさらに削減することができる。【００４０】
また、上記第３の問題を解決するために、本発明に係る音響信号処理装置においては、前記Ｋ個のデコリレート手段は、入力信号の位相を９０度回転させる処理を含むこと特徴とすることができる。【００４１】
これにより、Ｋ個のデコリレート手段を非常に簡素に構成でき、演算量をさらに削減することができる。【００４２】
また、本発明に係る音響信号処理装置においては、前記第１の行列演算手段の行列演算に用いられるＫ行、ＮＩ列の第１行列式は、ゲイン制御に関する係数から前記デコリレート手段で不要なゲイン制御に関する係数を分離することにより得られ、前記デコリレート手段で必要なゲイン制御に関する最小単位の係数だけで構成され、前記第２の行列演算手段の行列演算に用いられるＮＯ行、（ＮＩ＋Ｋ）列の第２行列式は、前記デコリレート手段で不要なゲイン制御に関する係数と、位相制御に関する係数とを結合することによって得られた係数により構成されることを特徴とすることができる。【００４３】
これにより、演算量を削減しつつ、他チャンネルへの信号の染み出し（クロストーク）のない高音質のＮＯチャンネルの音響信号を出力することができる。【００４４】
なお、本発明は、このような音響信号処理装置として実現することができるだけでなく、このような音響信号処理装置が備える特徴的な手段をステップとする音響信号処理方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００４５】
以上の説明から明らかなように、本発明に係る音響信号処理装置および音響信号処理方法によれば、演算量が削減され、演算能力が低いプロセッサでも高音質のサラウンド再生が可能になるという効果が奏される。【００４６】
よって、本発明により、固定された場所に限られず、自動車等の移動体での視聴が可能となり、音楽等のコンテンツ配信が普及してきた今日における本願発明の実用的価値は極めて高い。
【図面の簡単な説明】
【００４７】
【図１】図１は、Ｓｐａｔｉａｌ  Ｃｏｄｅｃの基本原理について、Ｌ，Ｒの２ｃｈを例として説明するための図である。
【図２】図２は、ＲＭ０における従来の音響信号処理装置９００の機能構成を示すブロック図である。
【図３】図３は、音響信号処理装置９００のさらに詳細な機能構成を示すブロック図である。
【図４】図４は、本発明の実施の形態１に係る音響信号処理装置を利用したオーディオコンテンツ配信システム１の全体構成を示す図である。
【図５】図５は、図４に示されるオーディオエンコーダ１０およびオーディオデコーダ２０の詳細構成を示すブロック図である。
【図６】図６は、図５に示される音響信号処理装置２４の機能構成を示すブロック図である。
【図７】図７は、従来の技術における主要な信号処理の流れ示す図である。
【図８】図８は、図７におけるｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１における行列演算式に「０」を挿入することによって拡張した図である。
【図９】図９は、図８における拡大された行列式に「１」を挿入することによって２つの行列式に分離した図である。
【図１０】図１０は、図９に示したものに対して、信号処理の順番を入れ替えた図である。
【図１１】図１１は、図１０に示したものを合理化した図である。
【図１２】図１２は、音響信号処理装置２４の各部において実行される処理の動作を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態２に係る音響信号処理装置において、１チャンネルの信号から５チャンネルの信号に変換する場合の本願技術の適用の考え方を示す図である。
【符号の説明】
【００４８】
２４  音響信号処理装置
２４１  第１の行列演算部
２４２，２４３  デコリレート部
２４４  第２の行列演算部
２４５  第１の行列式生成部
２４６  第２の行列式生成部
２４７  内挿部
【発明を実施するための最良の形態】
【００４９】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。【００５０】
（実施の形態１）
図４は、本発明の実施の形態１に係る音響信号処理装置を利用したオーディオコンテンツ配信システム１の全体構成を示す図である。【００５１】
図４に示されるように、オーディオコンテンツ配信システム１は、オーディオエンコーダ１０と、オーディオデコーダ２０と、オーディオデコーダ２０およびオーディオエンコーダ１０を相互に通信可能に接続する通信路４０とから構成され、オーディオエンコーダ１０から１セグメントの通信路４０を介してオーディオコンテンツを送信し、オーディオデコーダ２０においてオーディオコンテンツを、受信しながら、所定のビットレートでストリーミング再生するものである。なお、この実施の形態１では、オーディオエンコーダ１０は放送局等の中に、オーディオデコーダ２０は車の中に、それぞれ設置されているものとして説明する。【００５２】
通信路４０は、インターネット４２を中心として、インターネット４２に接続されるインターネットサービスプロバイダ（Ｉｎｔｅｒｎｅｔ  Ｓｅｒｖｉｃｅ  Ｐｒｏｖｉｄｅｒ、以下「ＩＳＰ」とも記す。）４３と、携帯電話網を形成するゲートウェイ４５および基地局４４と、無線ＬＡＮを形成する複数のアクセスポイント４６ａ〜４６ｎとから構成される。このアクセスポイント４６ａ〜４６ｎは、車が走行中でも通信可能となるよう、道路に沿って連続して設置されている。【００５３】
オーディオエンコーダ１０は、ＩＳＰ４３を経由してインターネット４２に接続される。オーディオデコーダ２０は、携帯電話網と無線ＬＡＮを経由してインターネット４２に接続される。【００５４】
図５は、図４に示されるオーディオエンコーダ１０およびオーディオデコーダ２０の詳細構成を示すブロック図である。なお、この図５においては通信路４０の図示が省略されている。【００５５】
オーディオエンコーダ１０は、１０２４サンプルや２０４８サンプルなどによって示されるフレーム単位で複数チャンネルのオーディオ信号（例えば、５チャンネルのオーディオ信号）を処理するものであって、ダウンミックス部１１と、バイノーラルキュー検出部１２と、エンコーダ１３と、多重化部１４と、通信路４０に接続するための通信部１５とを備えている。【００５６】
ダウンミックス部１１は、５チャンネルのスペクトル表現されたオーディオ信号の平均をとることによって、２チャンネルにダウンミックスされたダウンミックス信号Ｍを生成する。【００５７】
バイノーラルキュー検出部１２は、スペクトルバンド毎に、５チャンネルのオーディオ信号およびダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍを５チャンネルのオーディオ信号に戻すためのＢＣ情報（バイノーラルキュー）を生成する。【００５８】
ＢＣ情報は、音響空間的な係数によって求められる値ＣＰＣと、チャンネル間コヒーレンス／相関を示す相関情報ＩＣＣと、音響空間的な係数によって求められる値、チャンネルレベル強度差ＣＬＤとを含む。【００５９】
ここで、相関情報ＩＣＣが５つのオーディオ信号の類似性を示すのに対し、チャンネルレベル強度差ＣＬＤは５チャンネルのオーディオ信号の相対的な強度を示す。一般に、チャンネルレベル強度差ＣＬＤは、音のバランスや定位を制御するための情報であって、相関情報ＩＣＣは、音像の幅や拡散性を制御するための情報である。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。【００６０】
スペクトル表現された５チャンネルのオーディオ信号およびダウンミックス信号Ｍは、「パラメータバンド」からなる通常複数のグループに区分されている。したがって、ＢＣ情報は、それぞれのパラメータバンド毎に算出される。なお、「ＢＣ情報」と「空間パラメータ」という用語はしばしば同義的に用いられる。【００６１】
エンコーダ１３は、例えば、ＭＰ３（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ−３）や、ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）などによって、ダウンミックス信号Ｍを圧縮符号化する。【００６２】
多重化部１４は、ダウンミックス信号Ｍと、量子化されたＢＣ情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の符号化信号として出力する。【００６３】
オーディオデコーダ２０は、通信路２１と接続するための通信部２１と、逆多重化部２２と、デコーダ２３と、音響信号処理装置２４とを備えている。【００６４】
逆多重化部２２は、上述のビットストリームを取得し、そのビットストリームから量子化されたＢＣ情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部２２は、量子化されたＢＣ情報を逆量子化して出力する。【００６５】
デコーダ２３は、符号化されたダウンミックス信号Ｍを復号化して音響信号処理装置２４に出力する。【００６６】
音響信号処理装置２４は、デコーダ２３から出力されたダウンミックス信号Ｍと、逆多重化部２２から出力されたＢＣ情報とを取得する。そして、音響信号処理装置２４は、そのＢＣ情報を用いて、ダウンミックス信号Ｍから、５つのオーディオ信号を復元する。【００６７】
なお、上述では、５チャンネルのオーディオ信号を符号化して復号化する例を挙げてオーディオコンテンツ配信システムを説明したが、オーディオコンテンツ配信システムは、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化および復号化することもできる。【００６８】
なお、本実施の形態１では、上述の背景技術で説明したＲＭ０における２チャンネルの入力信号を５チャンネルの出力信号に変換する技術と対比しており、どのように、ＲＭ０で開示されている技術を改良するかを示す。ここでは、入力は２チャンネル、出力は５チャンネルという設定で実施の形態を述べるが、勿論これは一例に過ぎず、出力が５．１チャンネルなどであってもよいことは言うまでもない。【００６９】
図６は、図５に示される音響信号処理装置２４の機能構成を示すブロック図である。【００７０】
図６に示されるように、音響信号処理装置２４は、２行＊２列の行列演算を行う第１の行列演算部２４１と、２個のデコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）部２４２，２４３と、５行＊４列の行列演算を行う第２の行列演算部２４４と、所定の時間間隔で区切られたフレーム毎に、伝送されるＢＣ情報から、第１の行列演算部２４１における第１行列式の各要素を算出する第１の行列式生成部２４５と、所定の時間間隔で区切られたフレーム毎に、伝送されるＢＣ情報から、第２の行列演算部２４４における第２行列式の各要素を算出する第２の行列式生成部２４６と、第２の行列式生成部２４６で生成された値を、フレーム間で内挿することによってスムージングする内挿部２４７とを備える。【００７１】
このような第１の行列演算部２４１、第１および第２のデコリレート部２４２，２４３、第２の行列演算部２４４、第１の行列式生成部２４５、第２の行列式生成部２４６および内挿部２４７は、ＲＯＭに予め記憶されたプログラムと、当該プログラムを実行するデジタルシグナルプロセッサ（ＤＳＰ）と、当該プログラムの実行時にワークエリアを提供するメモリ等により実現される。【００７２】
以上のように構成された音響信号処理装置２４の動作について以下説明するが、その前に、図３に示した従来の技術における行列式が、図６に示される構成における行列式に変形できる理由について、図７から図１１を用いて説明する。【００７３】
図７は、図３における主要な信号の流れを示した部分を取り出した図である。したがって、信号の流れは、上記背景技術で説明したとおりであり、右側から２チャンネルの信号が入力され、最終的に５チャンネルの信号が出力される。【００７４】
図８は、図７におけるｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１における行列演算式に「０」を挿入することによって拡張した図である。【００７５】
このような行列式の拡張に伴って、元々２チャンネルである入力信号をそれぞれ複写し４チャンネルに拡張する。ただし、右側の行列式から明らかなように、信号処理の意味合いは、数学的に図７のものと全く同じである。【００７６】
図９は、図８における拡張された行列式に「１」を挿入することによって、２つの行列式に分離したところを示す図である。【００７７】
ここでは行列式は単に２つに分割されただけであり、右側の行列式から明らかなように、数学的に図７のものと全く同じである。【００７８】
図１０は、図９に示したものに対して、信号処理の順番を入れ替えごたことを示している。【００７９】
すなわち、図９で示した分離された行列式の内、左側の行列式の処理と、デコリレータの処理とを入れ替えている。【００８０】
図１１は、図１０に示したものを合理化した図である。【００８１】
すなわち、図１０に示した左側の２つの行列式を予め行列演算しておくことによって１つに統合したことと、図１０に示した右側の行列式から、係数が「１」である要素を削除することによって、行列のサイズを小さくしたことを示している。例えば、図１１の左側に示した行列式の１行１列目の要素ｗ０は、通常の行列演算のマナーに従って、
ｗ０＝ｃ０＊ａ０＋ｄ０＊ａ１＋ｅ０＊ａ２＋ｆ０＊０＋ｇ０＊０
として求められる。【００８２】
他の要素も同様に、通常の行列演算のマナーに従って、求められる。【００８３】
このように、図７から図１１に示したように、行列式を分解し、処理の順番を入れ替え、行列式を結合することによって、ＲＭ０で示された信号処理の流れは、図６で示した本願における信号処理の流れに加工することができる。【００８４】
これにより、演算量を削減しつつ、他チャンネルへの信号の染み出し（クロストーク）のない高音質のＮＯチャンネルの音響信号を出力することができる。【００８５】
さて、図６のように構成された音響信号処理装置２４の各部の動作について以下説明する。【００８６】
ＤＳＰは、２ｃｈのダウンミックスされた信号を５ｃｈの信号に変換するに当たり、まず前処理を実行する（Ｓ１１）。【００８７】
この前処理には、第１の行列演算部２４１における第１行列式が、ゲイン制御に関する係数から第１および第２のデコリレート部２４２，２４３で不要なゲイン制御に関する係数を分離することにより得られ、第１および第２のデコリレート部２４２，２４３で必要なゲイン制御に関する最小単位の係数だけで構成されるように決定することが含まれる。また、前処理には、第２の行列演算部２４４における第２行列式が、第１および第２のデコリレート部２４２，２４３で不要なゲイン制御に関する係数と、位相制御に関する係数とを結合することによって得られた係数により構成されるように決定することが含まれる。また、前処理には、第１および第２のデコリレート部２４２，２４３における処理を簡略化（例えば、位相の９０゜回転）することの決定が含まれる。さらに、前処理には、第１の行列式生成部２４５により生成された係数に対する内挿処理をスキップすることの決定も含まれる。【００８８】
前処理が終わると、ＤＳＰは、フレーム毎の処理を繰り返し実行する（Ｓ１２〜Ｓ１９）。【００８９】
このフレーム毎の処理においては、ＤＳＰは、まず、第１の行列式生成部２４５において、所定の時間間隔で区切られたフレーム毎に伝送される位相差情報（Ｉｎｔｅｒ  ｃｈａｎｎｅｌ  ｃｏｈｅｒｅｎｃｅ）とレベル比（ｃｈａｎｎｅｌ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅ）とチャンネル間予測係数（Ｃｈａｎｎｅｌ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔ）とから、第１の行列演算部２４１における第１行列式の各要素を算出する（Ｓ１３）。【００９０】
すなわち、第１の行列演算部２４１における行列式の要素、ａ３，ｂ３，ａ４，ｂ４を算出する。ここで、ａ３，ｂ３，ａ４，ｂ４の値は、図３におけるａ３，ｂ３，ａ４，ｂ４の値と同じ意味合いのものであるので、その算出方法は、ＲＭ０で規定された方法と同様でよい。すなわち、図６における右側の行列式は、ＲＭ０で用いられている文字で表現すると、下記式（３）に示す２行＊２列の行列式と同じでものある。【００９１】
【数３】
2007043388.tif 000005
…（３）
勿論、式（３）は所謂ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われていない場合の例であるので、ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われている場合は、下記式（４）に示すような２行＊３列の行列式になる。【００９２】
【数４】
2007043388.tif 000006
…（４）【００９３】
ただし、図３におけるａ３，ｂ３，ａ４，ｂ４の値は、内挿部２４７によって加工された後のものであるのに対し、図６内の第１の行列演算部２４１における行列式の要素、ａ３，ｂ３，ａ４，ｂ４は、内挿部２４７によって加工される前のものであるところが異なるが、何れにしてもその算出方法は、ＲＭ０で規定された方法と同様でよい。【００９４】
さて、次に、図６におけるメインの信号の流れについて説明する。【００９５】
入力のｉｎｐｕｔ１とｉｎｐｕｔ２とは、第１の行列演算部２４１において、各要素の行列演算がなされる。すなわち、ＤＳＰは、第１の行列演算部２４１の第１行列式の演算処理を実行する（Ｓ１４）。そのようにして生成された信号は第１および第２のデコリレート部２４２，２４３で処理される。すなわち、ＤＳＰは、第１および第２のデコリレート部２４２，２４３においてデコリレート処理を実行する（Ｓ１５）。【００９６】
この第１および第２のデコリレート部２４２，２４３は、入力信号の周波数特性は維持したまま時間特性は入力信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成する処理である。その方法として、ＲＭ０では、ｌａｔｔｉｃｅ  ａｌｌ  ｐａｓｓ  ｆｉｌｔｅｒを用いることが示されているが、入力信号の位相を９０度回転させるという簡略化された方法でもよい。入力信号の位相を９０度回転させるということは、信号の持つ周波数特性は完全に維持され、しかも、数学的に完全に無相関な信号が生成できるからである。しかも、その処理は、入力信号が複素数である場合、実数項と虚数項とを入れ替えて、一方の符号を反転させるだけの処理で実現できるので、第１および第２のデコリレート部２４２，２４３の構成を簡素化することができ、極めて演算量が軽量で済むことになる。【００９７】
デコリレート処理が終わると、ＤＳＰは、第２の行列式生成部２４６において、所定の時間間隔で区切られたフレーム毎に伝送される位相差情報（Ｉｎｔｅｒ  ｃｈａｎｎｅｌ  ｃｏｈｅｒｅｎｃｅ）とレベル比（ｃｈａｎｎｅｌ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅ）とから前記第２の行列演算部２４４における行列式の各要素の基となる値を算出する（Ｓ１６）。【００９８】
すなわち、前記第２の行列式生成部２４６は、図１０で示した左側の２つの行列式を求め、さらにこれら２つの行列式を結合する過程を実行する手段である。ここで、図１０で示したａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値は、図３におけるａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値と同じ意味合いのものであるので、その算出方法は、ＲＭ０で規定された方法と同様でよい。【００９９】
すなわち、図１０における左側の２つの行列式の内の右側の行列式は、ＲＭ０で用いられている文字で表現すると、下記式（５）に示す５行＊４列の行列式と同じものである。【０１００】
【数５】
2007043388.tif 000007
…（５）
勿論、式（５）は所謂ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われていない場合で、しかも所謂ＴｔｔＤｅｃｏｒｒｅｌａｔｏｒの処理が行われていない場合で、しかもＬＦＥチャンネルが省略されている場合の例であるので、それらがすべで実施されている場合は、下記式（６）に示すような構成になる。【０１０１】
【数６】
2007043388.tif 000008
…（６）【０１０２】
ただし、図３におけるａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値は、内挿部２４７によって加工された後のものであるが、ここで用いるａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値は、内挿部２４７によって加工される前のものである。【０１０３】
また、図１０で示したｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４，の値は、図３におけるｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４，の値と同じ意味合いのものであるので、その算出方法は、ＲＭ０で規定された方法と同様でよい。ただし、図３におけるｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４の値は、内挿部２４７によって加工された後のものであるが、ここで用いるｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４の値は、内挿部２４７によって加工される前のものである。このようにして算出されたａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２、およびｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４の値を、行列演算の通常のマナーに従って、図１１に示したｗ０〜ｗ４，ｘ０〜ｘ４，ｙ０〜ｙ４，ｚ０〜ｚ４として、１つの行列式に結合する。【０１０４】
次に、ＤＳＰは、内挿部２４７において、前記第２の行列式生成部２４６で生成した、前記ｗ０〜ｗ４，ｘ０〜ｘ４，ｙ０〜ｙ４，ｚ０〜ｚ４と、直前の処理フレームにおいて生成されていた当該値とを内挿することによって、フレームの境目で急峻に行列式の要素が変化することを防ぐようにｗ０〜ｗ４，ｘ０〜ｘ４，ｙ０〜ｙ４，ｚ０〜ｚ４の値をスムージングする（Ｓ１７）。そのようにして得られた値が、図６の第２の行列演算部２４４内に示したｗ０＾〜ｗ４＾，ｘ０＾〜ｘ４＾，ｙ０＾〜ｙ４＾，ｚ０＾〜ｚ４＾である。【０１０５】
ここで、各要素に記号＾を付した理由は、この値が内挿処理された後の値であることを示すためである。図７から図１１において、信号処理の変形の過程を示したときは、図１１の左側の行列式の最終的な各要素に＾をつけなかったが、このときは、単に信号処理の変形の過程を数学的に示すのみであったが、図６における左側の行列式の各要素は、内挿処理されたものであるので、これを明確に区別するために記号＾を付した。【０１０６】
ただし、内挿部２４７は、演算量削減のために、削除してもよい。また、第１の行列式生成部２４５が生成した行列式の係数については、図６では内挿部２４７で加工していないが、内挿処理によってスムージングしてもよい。【０１０７】
ただし、音質に与える影響から考えれば、図６に示すように、前記第１の行列式生成部２４５が生成した行列式の係数については、スムージングを行わなくても音質に与える悪い影響は少ない。【０１０８】
なぜならば、第１の行列演算部２４１の出力は全て、直後の第１および第２のデコリレート部２４２，２４３に入力され、第１および第２のデコリレート部２４２，２４３では、ＲＭ０の規定によれば、音に残響成分を与えるような処理が施されるので、スムージングを行わないことによって急峻に行列式が変化しても、第１および第２のデコリレート部２４２，２４３による音をぼやかしたような効果により、行列式の変化点における不連続感を弱める働きがあるからである。【０１０９】
このように、第１および第２のデコリレート部２４２，２４３によって変換された２系統の信号と、前記ｉｎｐｕｔ１とｉｎｐｕｔ２との合計４系統の信号が、前記第２の行列演算部２４４によって処理され、出力の５チャンネル信号が生成される。つまり、ＤＳＰは、第２の行列演算部２４４における第２行列式を用いた演算処理を実行する（Ｓ１８）。ここで注意しなくてはならないことは、前記第２の行列演算部２４４における行列式の各要素は、逐次内挿されたものであるということである。【０１１０】
例えば、１フレーム時間が、３２単位時間持続する時間長をもっている場合、前記第１の行列演算部２４１においては、その行列式の各要素は、３２単位時間の間、常に同じ値であるが、前記第２の行列演算部２４４における行列式の各要素は、１単位時間毎に逐次変化する。例えば、前記第２の行列演算部２４４における行列式の中の１行１列目の値ｗ０を例にとれば、前記第２の行列式生成部２４６で生成された現フレームのｗ０の値がｗ０（ｔ）であり、前記第２の行列式生成部２４６で生成された前のフレームのｗ０の値がｗ０（ｔ−１）であった場合、前記内挿部２４７では、１単位時間毎にｗ０（ｔ−１）とｗ０（ｔ）との内挿をとり、値が滑らかにｗ０（ｔ−１）からｗ０（ｔ）へと移行するようにする。【０１１１】
以上のように本実施の形態１によれば、ＮＩ行の行列演算を行う第１の行列演算部２４１と、ＮＩ個の第１および第２のデコリレート部２４２，２４３と、ＮＯ行の行列演算を行う第２の行列演算部２４４とを有し、ＮＩチャンネル信号を前記第１の行列演算部２４１の入力とし、第１の行列演算部２４１の出力信号を第１および第２のデコリレート部２４２，２４３の入力とし、第１の行列演算部２４１の入力信号と第１および第２のデコリレート部２４２，２４３の出力信号とを第２の行列演算部２４４の入力することによって、演算量を削減することができる。【０１１２】
例えばＲＭ０におけるｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１が、５行＊２列のサイズの行列式の演算で、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２が、５行＊５列のサイズの行列式の演算であるならば、本願の技術によれば、第１の行列演算が、２行＊２列のサイズの行列式の演算となり、第２の行列演算が、５行＊４列のサイズの行列式の演算となり演算量が削減できる。【０１１３】
また、所定の時間間隔毎に区切られたフレーム毎に更新されるパラメータから、第１の行列演算部２４１と第２の行列演算部２４４とにおける行列式の各係数を生成する行列式生成部２４５をさらに備え、第１の行列演算部２４１における行列式の各係数は各フレーム内では一定であり、第２の行列演算部２４４における行列式の各係数は直前のフレームにおけるパラメータ、あるいは、直前のフレームにおける行列式の各係数を用いて逐次内挿（Ｉｎｔｅｒｐｏｌａｔｅ）して算出するようにすることによって、行列式の各要素の内挿処理を第２の行列演算式に対してのみ行えばよいので、演算量が削減できることとなる。【０１１４】
また、前記第１および第２のデコリレート部２４２，２４３を、入力信号の位相を９０度回転させる処理とすることによって、第１および第２のデコリレート部２４２，２４３を非常に簡素に構成できることとなる。【０１１５】
なお、本実施の形態１では、第２行列式の係数を算出する処理（Ｓ１６）と、第２行列式の係数に対する内挿処理を実行する処理（Ｓ１７）を、デコリレート処理の後に実行したが、ステップＳ１３とステップＳ１４との間に実行するようにしてもよい。これにより、係数を求める処理と、５ｃｈの音響信号に変換するメインの処理とに分離することができる。【０１１６】
また、本実施の形態１では、２チャンネルの入力に対しマルチチャンネルの出力を生成する際の処理の流れを示したが、本発明は、１チャンネルの入力に対しマルチチャンネルの出力を生成する際にも適用できる。【０１１７】
（実施の形態２）
例えば、１チャンネルの入力に対し出力チャンネル数を５とした場合の適用の考え方を図１３を用いて説明する。【０１１８】
本願の趣旨は、前記第１の行列演算部２４１における行列式の行の数を、Ｄｅｃｏｒｒｅｌａｔｏｒの数と同じにすることによって、ＲＭ０で述べられているｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１に要する演算量より、前記第１の行列演算部２４１に要する演算量を少なくすることである。【０１１９】
図１３の一番上の図、つまり図１３（ａ）は、ＲＭ０において１チャンネルの入力に対しマルチチャンネルの出力を生成する際の信号の流れを示している。上から２番目、３番目の図、つまり図１３（ｂ），図１３（ｃ）は、それを数学的に、拡大、分離している図である。考え方は、図８、図９の説明で述べたとおりである。【０１２０】
上から４番目の図、つまり図１３（ｄ）は、Ｄｅｃｏｒｒｅｌａｔｏｒの処理と行列演算の処理とを入れ替えている図である。考え方は、図１０の説明で述べたとおりである。【０１２１】
一番下の図、つまり図１３（ｅ）は、上から４番目の図に対して、左側の２つの行列式を予め結合することで演算量を減らし、右側の行列式を、最小化（最適化）することによって演算量を減らしている図である。【０１２２】
このようにすることによって、第１の行列演算部２４１における行列式は、４行１列となり、その行数はＤｅｃｏｒｒｅｌａｔｏｒの数と同じにすることができ、演算量を削減することができる。【０１２３】
また、このようにすると、第１の行列演算部２４１の出力は、全てＤｅｃｏｒｒｅｌａｔｏｒに入力されるので、Ｄｅｃｏｒｒｅｌａｔｏｒによる残響成分付加の効果で、第１の行列演算部２４１の行列式の各要素がフレーム間で急峻に変動する場合でも、その急峻な変動が聴覚上問題にならなくなるので、内挿部による第１行列式の各要素に対するスムージング処理が不要となる、という利点も得られる。【０１２４】
この例においても、出力のチャンネル数は５としたが、ＬＦＥチャンネルを加味し６チャンネルとしてもよいことは言うまでもない。その場合、左側の行列式の行数は６行となる。
【産業上の利用可能性】
【０１２５】
本発明に係る音響信号処理装置によれば、ダウンミックスされた信号をもとの複数チャンネルの信号に復号する処理を少ない演算量で実施できるので、低ビットレートでの音楽放送サービスや音楽配信サービス、およびその受信機器等に適用できる。
【図１】
2007043388.tif 000009
【図２】
2007043388.tif 000010
【図３】
2007043388.tif 000011
【図４】
2007043388.tif 000012
【図５】
2007043388.tif 000013
【図６】
2007043388.tif 000014
【図７】
2007043388.tif 000015
【図８】
2007043388.tif 000016
【図９】
2007043388.tif 000017
【図１０】
2007043388.tif 000018
【図１１】
2007043388.tif 000019
【図１２】
2007043388.tif 000020
【図１３】
2007043388.tif 000021
【手続補正書】
【提出日】平成19年2月26日(2007.2.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ＮＩチャンネルにダウンミックスされた音響信号を、所定の時間間隔毎に区切られたフレーム毎に更新される空間情報パラメータを用いてＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理装置であって、
前記ＮＩチャンネルにダウンミックスされた音響信号に対して行列演算する第１の行列演算手段と、
前記第１の行列演算手段の出力信号に対し、行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）手段と、
前記デコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）手段の出力信号と、デコリレートされなかった信号とに対して行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算手段と、
前記空間情報パラメータから前記第１の行列演算手段のマトリックス係数と前記第２の行列演算手段のマトリックス係数とを生成する行列式生成手段とを備え、
前記行列式生成手段は、フレーム毎に、前記第１の行列演算手段の行列式がＫ行となるように行列式を生成する
ことを特徴とする音響信号処理装置。
【請求項２】
前記Ｋは、前記ＮＩと等しい
ことを特徴とする請求項１記載の音響信号処理装置。
【請求項３】
前記行列式生成手段は、
所定の時間間隔毎に区切られたフレーム毎に更新されるパラメータから、前記第１の行列演算手段における第１行列式の各係数を生成する第１の行列式生成手段と、
前記パラメータから、前記第２の行列演算手段における第２行列式の各係数を生成する第２の行列式生成手段と、
直前のフレームにおけるパラメータまたは直前のフレームにおける第２行列式の各係数を用いて、逐次内挿（Ｉｎｔｅｒｐｏｌａｔｅ）して前記第２の行列演算手段における第２行列式の各係数を算出する内挿手段と
を備えることを特徴とする請求項１記載の信号処理装置。
【請求項４】
前記Ｋ個のデコリレート手段は、入力信号の位相を９０度回転させる処理を含む
ことを特徴とする請求項１記載の音響信号処理装置。
【請求項５】
前記第１の行列演算手段の行列演算に用いられるＫ行、ＮＩ列の第１行列式は、ゲイン制御に関する係数から前記デコリレート手段で不要なゲイン制御に関する係数を分離することにより得られ、前記デコリレート手段で必要なゲイン制御に関する最小単位の係数だけで構成され、
前記第２の行列演算手段の行列演算に用いられるＮＯ行、（ＮＩ＋Ｋ）列の第２行列式は、前記デコリレート手段で不要なゲイン制御に関する係数と、位相制御に関する係数とを結合することによって得られた係数により構成される
ことを特徴とする請求項１記載の音響信号処理装置。
【請求項６】
ＮＩチャンネルにダウンミックスされた音響信号を、所定の時間間隔毎に区切られたフレーム毎に更新される空間情報パラメータを用いてＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理方法であって、
前記ＮＩチャンネルにダウンミックスされた音響信号に対して行列演算する第１の行列演算ステップと、
前記第１の行列演算ステップにより得られた出力信号に対し、行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）ステップと、
前記デコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）ステップにより得られた出力信号と、デコリレートされなかった信号とに対して行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算ステップと、
前記空間情報パラメータから前記第１の行列演算ステップのマトリックス係数と前記第２の行列演算ステップのマトリックス係数とを生成する行列式生成ステップとを含み、
前記行列式生成ステップでは、フレーム毎に、前記第１の行列演算ステップの行列式がＫ行となるように行列式を生成する
ことを特徴とする音響信号処理方法。
【請求項７】
請求項６記載の音響信号処理方法に含まれるステップをコンピュータに実行させるためのプログラム。
【手続補正書】
【提出日】平成20年3月26日(2008.3.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ＮＩチャンネルにダウンミックスされた音響信号を、所定の時間間隔毎に区切られたフレーム毎に更新される空間情報パラメータを用いてＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理装置であって、
前記ＮＩチャンネルにダウンミックスされた音響信号に対して行列演算する第１の行列演算手段と、
前記第１の行列演算手段の出力信号に対し、行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）手段と、
前記デコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）手段の出力信号と、デコリレートされなかった信号とに対して行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算手段と、
前記空間情報パラメータから前記第１の行列演算手段のマトリックス係数と前記第２の行列演算手段のマトリックス係数とを生成する行列式生成手段とを備え、
前記行列式生成手段は、フレ−ム毎に、前記第１の行列演算手段の行列式がＫ行となるように行列式を生成する
ことを特徴とする音響信号処理装置。
【請求項２】
前記Ｋは、前記ＮＩと等しい
ことを特徴とする請求項１記載の音響信号処理装置。
【請求項３】
前記行列式生成手段は、
所定の時間間隔毎に区切られたフレーム毎に更新されるパラメータから、前記第１の行列演算手段における第１行列式の各係数を生成する第１の行列式生成手段と、
前記パラメータから、前記第２の行列演算手段における第２行列式の各係数を生成する第２の行列式生成手段と、
直前のフレームにおけるパラメータまたは直前のフレームにおける第２行列式の各係数を用いて、逐次内挿（Ｉｎｔｅｒｐｏｌａｔｅ）して前記第２の行列演算手段における第２行列式の各係数を算出する内挿手段と
を備えることを特徴とする請求項１記載の音響信号処理装置。
【請求項４】
前記Ｋ個のデコリレート手段は、入力信号の位相を９０度回転させる処理を含む
ことを特徴とする請求項１記載の音響信号処理装置。
【請求項５】
前記第１の行列演算手段の行列演算に用いられるＫ行、ＮＩ列の第１行列式は、ゲイン制御に関する係数から前記デコリレート手段で不要なゲイン制御に関する係数を分離することにより得られ、前記デコリレート手段で必要なゲイン制御に関する最小単位の係数だけで構成され、
前記第２の行列演算手段の行列演算に用いられるＮＯ行、（ＮＩ＋Ｋ）列の第２行列式は、前記デコリレート手段で不要なゲイン制御に関する係数と、位相制御に関する係数とを結合することによって得られた係数により構成される
ことを特徴とする請求項１記載の音響信号処理装置。
【請求項６】
ＮＩチャンネルにダウンミックスされた音響信号を、所定の時間間隔毎に区切られたフレーム毎に更新される空間情報パラメータを用いてＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理方法であって、
前記ＮＩチャンネルにダウンミックスされた音響信号に対して行列演算する第１の行列演算ステップと、
前記第１の行列演算ステップにより得られた出力信号に対し、行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）ステップと、
前記デコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）ステップにより得られた出力信号と、デコリレートされなかった信号とに対して行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算ステップと、
前記空間情報パラメータから前記第１の行列演算ステップのマトリックス係数と前記第２の行列演算ステップのマトリックス係数とを生成する行列式生成ステップとを含み、
前記行列式生成ステップでは、フレ−ム毎に、前記第１の行列演算ステップの行列式がＫ行となるように行列式を生成する
ことを特徴とする音響信号処理方法。
【請求項７】
請求項６記載の音響信号処理方法に含まれるステップをコンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号処理装置および音響信号処理方法に関し、特にＮＩチャンネルにダウンミックスされた音響信号を、ＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する技術に関する。
【背景技術】
【０００２】
近年、Ｓｐａｔｉａｌ  Ｃｏｄｅｃ（空間的符号化）と言われる技術開発が行われている。これは、非常に少ない情報量でマルチチャンネルの臨場感を圧縮・符号化することを目的としており、例えば、既にデジタルテレビの音声方式として広く用いられているマルチチャンネルコーデックであるＡＡＣ方式が、５．１ｃｈ当り５１２ｋｂｐｓや、３８４ｋｂｐｓというビットレートを要するのに対し、Ｓｐａｔｉａｌ  Ｃｏｄｅｃでは、１２８ｋｂｐｓや、６４ｋｂｐｓ、さらに４８ｋｂｐｓといった非常に少ないビットレートでマルチチャンネル信号を圧縮・符号化することを目指している。そのための国際標準規格化活動が、現在ＭＰＥＧオーディオ規格化会議において行われており、所謂Ｒｅｆｅｒｅｎｃｅ  Ｍｏｄｅｌ  Ｚｅｒｏ（以下、「ＲＭ０」とも記す。）と呼ばれるスペーシャルオーディオコーデックの基本となる処理方式が開示されている（非特許文献１）。
【０００３】
なおここで、Ｓｐａｔｉａｌ  Ｃｏｄｅｃの基本原理について説明する。
【０００４】
図１は、Ｓｐａｔｉａｌ  Ｃｏｄｅｃの基本原理について、Ｌ，Ｒの２ｃｈを例として説明するための図である。
【０００５】
エンコードプロセスにおいては、図１（ａ）に示されるように、スペーシャルオーディオエンコーダは、複素演算により、Ｌ，Ｒの２ｃｈの音楽信号から、ダウンミックス信号Ｓ（Ｓ＝（Ｌ＋Ｒ）／２）、レベル比ｃおよび位相差θを求める。ダウンミックス信号Ｓは、レベル比ｃおよび位相差θとともに、ＭＰＥＧ方式ＡＡＣ規格等による符号化装置でさらに符号化される。
【０００６】
デコードプロセスにおいては、図１（ｂ）に示されるように、ダウンミックス信号Ｓに対して直交し、かつ残響感を伴う信号であるデコリレート信号Ｄを生成する。
【０００７】
そして、図１（ｃ）に示されるように、ダウンミックス信号Ｓとデコリレート信号Ｄとを混ぜ合わせ、復号化されたレベル比ｃおよび位相差θに基づいて、図１（ａ）に示される平行四辺形の関係を満たすＬ，Ｒの２ｃｈの音声信号を生成する。
【０００８】
ここでは、２ｃｈから１ｃｈにダウンミックスし、１ｃｈを２ｃｈにマルチチャンネル化する場合について説明したが、この原理を複数回繰り返すことで、５．１ｃｈを２ｃｈにダウンミックスし、２ｃｈを５．１ｃｈにマルチチャンネル化すること等もできる。
【０００９】
次いで、ＲＭ０における信号の流れについて、説明する。
【００１０】
図２は、ＲＭ０における基本的な信号の流れの一例として、２チャンネルの信号を５チャンネルの信号に変換する音響信号処理装置９００の機能構成を示すブロック図である。
【００１１】
ここで、入力の２チャンネルは元々は５チャンネルの信号であったものを２チャンネルにダウンミックスしたものであり、出力の５チャンネルは元々の５チャンネル信号に復元されるものである。またここでは、２チャンネル信号は通常、前方の左右スピーカから出力される信号であり、５チャンネル信号は通常、前方の左右スピーカ、後方左右スピーカ、前方中央スピーカから出力される信号を意味する。
【００１２】
さて、図２に示されるように、音響信号処理装置９００は、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）と、デコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ又は、Ｄｅｃｏｒｒｅｌａｔｏｒとも記す。）９０２，９０３と、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）とを備える。
【００１３】
ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）は、入力のｉｎｐｕｔ１と、ｉｎｐｕｔ２とに対してゲイン制御に関する行列演算を行う処理によって、５系統の信号に変換する。その中の２系統の信号はデコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ）９０２，９０３による処理によって、無相関な信号にそれぞれ変換される。ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）は、デコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ）９０２，９０３によって変換された２系統の信号と、変換されなかった残りの３系統の信号との合計５系統の信号に対して位相制御に関する行列演算を行う処理によって、出力の５チャンネル信号を生成する。
【００１４】
図３は、音響信号処理装置９００のさらに詳しい機能構成を示すブロック図である。なお、図２では、信号は左から右へ流れるように示したが、図３において信号は右から左へ流れるように示されている。これは、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）と、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）の内部が、行列演算によって定義されるので、行列演算式の数学的表現と信号の流れとを一致させるために、信号が右から左へ流れるように示したのみであり、本質的には図２に示したものと変りはない。
【００１５】
音響信号処理装置９００は、上述したｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）、デコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ）９０２，９０３、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）の他、さらに２つの行列式生成部９０５，９０７と、２つの内挿部９０６，９０８とを備える。
【００１６】
さて、図３に示されるように、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）の信号処理は、５行＊２列の行列式によって実現される。一般的には、下記式（１）に示すような行列式が、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）の一例として定義される。
【００１７】
【数１】
2007043388.tif 000022
…（１）
式（１）において、α、βは、ＣＰＣ（Ｃｈａｎｎｅｌ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）と言われる音響空間的な係数によって求められる値であり、γは、ＩＣＣ（Ｉｎｔｅｒ  Ｃｈａｎｎｅｌ  Ｃｏｒｒｅｌａｔｉｏｎ）と言われる音響空間的な係数によって求められる値である。
【００１８】
また、添え字ｌは、ｌ番目のパラメータセット（圧縮符号化パラメータの集合体）からきたデータであることを示す添え字である。また、添え字ｍは、ｍ番目の周波数帯域からきたデータであることを示す添え字である。これらの意味の詳細については本願の趣旨に関係ないのでここでは省略する。
【００１９】
式（１）は、５行＊３列の行列式であるが、その中の３列目は、非特許文献１で述べられている所謂ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われている場合のみ意味を持つものであるが、通常、ビットレートの制約と、デコード演算負荷の軽減の観点で、ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われない場合が多いので、その場合、式（１）は、下記式（２）とみなすことができる。
【００２０】
【数２】
2007043388.tif 000023
…（２）
つまり式（２）が、図３における右側の行列式に対応している。勿論、ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われている場合は、図３における右側の行列式は、式（１）に準じた５行＊３列の行列式になり、入力信号として、ＲｅｓｉｄｕａｌＳｉｇｎａｌが追加され３チャンネルとなる。
【００２１】
そのようにして生成された５系統の信号の中の２系統の信号は、デコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ）９０２，９０３の処理によって無相関な信号にそれぞれ変換される。これによって変換された２系統の信号と、変換されなかった残りの３系統の信号との合計５系統の信号とが、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）における処理によって変換され、出力の５チャンネル信号が生成される。この信号処理は、５行＊５列の行列演算式によって実現される。
【００２２】
ここでは、簡単のために、５行＊５列の行列演算式を一例に挙げたが、これは、前方２チャンネル、後方２チャンネル、センターチャンネルの５チャンネルを対象にしている場合であって、さらに、ＬＦＥチャンネルを加味すれば、この行列式は、６行５列の行列式となる。また、さらに、非特許文献１で述べられている所謂ＴｔｔＥｌｅｍｅｎｔにおいてＤｅｃｏｒｒｅｌａｔｏｒが用いられる場合は、当該行列演算の入力側が、１チャンネル増えるので、この行列式は、６行６列の行列式となる。
【００２３】
さてここで、各行列演算における行列式の要素（係数）は、元々の５チャンネルの信号間のレベル比と相互相関（位相差）とチャンネル間予測係数とを符号化したパラメータから生成される。
【００２４】
まず、符号化されているレベル比、相互相関（位相差）、チャンネル間予測係数の情報を復号化し、行列式生成部９０５，９０７によって、２チャンネルの信号を５チャンネルの信号に分離するために必要となる信号間のレベル比や位相差や予測係数を求める。
【００２５】
これらの符号化信号は、所定時間間隔のフレーム毎に更新されるものであるので、レベル比や位相差の値は、その変動をスムーズにするために、前フレームの状態と現フレームの状態とから、内挿部９０６，９０８によってスムージングされる。このようにして、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）と、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）とにおける行列演算式の各要素が決定されるが、この行列演算式の各要素を決定する過程は、本願の趣旨とは特に関係ないのでここでは詳細な説明を省略する。
【００２６】
また、非特許文献１において、デコリレータ（Ｄｅ  ｃｏｒｒｅｌａｔｏｒ）９０２，９０３の処理は、入力信号の周波数特性は維持したまま時間特性のおいて入力信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成することであることが述べられており、その方法として、ｌａｔｔｉｃｅ  ａｌｌ  ｐａｓｓ  ｆｉｌｔｅｒを用いることが述べられている。
【非特許文献１】Ｊ．Ｈｅｒｒｅ，ｅｔ  ａｌ，“Ｔｈｅ  Ｒｅｆｅｒｅｎｃｅ  Ｍｏｄｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  ＭＰＥＧ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ”，１１８ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，  Ｂａｒｃｅｌｏｎａ、  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  Ｐａｐｅｒ  ６４４７、２００５年５月２８−３１日
【発明の開示】
【発明が解決しようとする課題】
【００２７】
しかしながら、上記した音響信号処理装置９００には、以下のような問題がある。
【００２８】
すなわち、ｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１（９０１）と、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２（９０４）とは、共にサイズの大きな行列式を用いた行列演算によって実現されるので、多大の積和演算を要するという第１の問題がある。
【００２９】
また、内挿部９０６，９０８も、各フレーム毎に過去のフレームとの間でスムージングの処理を行うので、多大の演算量を要するという第２の問題がある。
【００３０】
また、Ｄｅ  ｃｏｒｒｅｌａｔｏｒ９０２，９０３の処理で用いられているｌａｔｔｉｃｅ  ａｌｌ  ｐａｓｓ  ｆｉｌｔｅｒの処理も複数タップのＩＩＲフィルタで構成されるので、多大の演算量を要するという第３の問題がある。
【００３１】
本発明は、このような従来の問題点に鑑みてなされたものであって、行列演算の演算量を削減することができる音響信号処理装置および音響信号処理方法を提供することを第１の目的とする。
【００３２】
また、内挿処理に必要な演算量を削減することができる音響信号処理装置および音響信号処理方法を提供することを第２の目的とする。
【００３３】
さらに、デコリレート処理に必要な演算量を削減できる音響信号処理装置および音響信号処理方法を提供することを第３の目的とする。
【課題を解決するための手段】
【００３４】
そこで、上記第１の問題を解決するために、本発明に係る音響信号処理装置においては、ＮＩチャンネルにダウンミックスされた音響信号を、ＮＯ（ＮＯ＞ＮＩ）チャンネルの音響信号に変換する音響信号処理装置であって、前記ＮＩチャンネルにダウンミックスされた音響信号に対して、Ｋ（ＮＯ＞Ｋ≧ＮＩ）行、ＮＩ列の行列演算を行い、行列演算されたＫ個の信号を出力する第１の行列演算手段と、行列演算された信号の周波数特性を維持したまま、時間特性について行列演算された信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成するＫ個のデコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）手段と、前記ＮＩチャンネルにダウンミックスされた音響信号と、前記Ｋ個の無相関な信号とに対して、ＮＯ行、（ＮＩ＋Ｋ）列の行列演算を行い、前記ＮＯチャンネルの音響信号を出力する第２の行列演算手段とを備えることを特徴とする。
【００３５】
これにより、従来のＲＭ０におけるｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１の行列式の行数がＮＯで、必ずデコリレート手段の個数Ｋよりも必ず大きいが、本発明では第１の行列演算手段における行列式の行数が、デコリレート手段の個数Ｋと同じにまで小さくなるので、演算量を大幅に削減することができる。
【００３６】
また、本発明に係る音響信号処理装置においては、前記Ｋは、前記ＮＩと等しいことを特徴とすることができる。
【００３７】
これにより、ＲＭ０におけるｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１が、例えば５行＊２列のサイズの行列式の演算で、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２が、例えば５行＊５列のサイズの行列式の演算であるならば、本発明では、第１の行列演算手段における行列演算が、２行＊２列のサイズの小さな行列式の演算となり、第２の行列演算手段における行列演算が、５行＊４列のサイズの小さな行列式の演算となるので、演算量をさらに削減することができる。
【００３８】
また、上記第２の問題を解決するために、本発明に係る音響信号処理装置においては、前記音響信号処理装置は、さらに所定の時間間隔毎に区切られたフレーム毎に更新されるパラメータから、前記第１の行列演算手段における第１行列式の各係数を生成する第１の行列式生成手段と、前記パラメータから、前記第２の行列演算手段における第２行列式の各係数を生成する第２の行列式生成手段と、直前のフレームにおけるパラメータまたは直前のフレームにおける第２行列式の各係数を用いて、逐次内挿（Ｉｎｔｅｒｐｏｌａｔｅ）して前記第２の行列演算手段における第２行列式の各係数を算出する内挿手段とを備えることを特徴とすることができる。
【００３９】
これにより、行列式の各要素の内挿処理を第２の行列演算手段における第２行列式に対してのみ行えばよい、つまり聴感上不要な第１の行列演算手段における第１行列式に対する行列式の各要素の内挿処理をスキップするので、演算量をさらに削減することができる。
【００４０】
また、上記第３の問題を解決するために、本発明に係る音響信号処理装置においては、前記Ｋ個のデコリレート手段は、入力信号の位相を９０度回転させる処理を含むこと特徴とすることができる。
【００４１】
これにより、Ｋ個のデコリレート手段を非常に簡素に構成でき、演算量をさらに削減することができる。
【００４２】
また、本発明に係る音響信号処理装置においては、前記第１の行列演算手段の行列演算に用いられるＫ行、ＮＩ列の第１行列式は、ゲイン制御に関する係数から前記デコリレート手段で不要なゲイン制御に関する係数を分離することにより得られ、前記デコリレート手段で必要なゲイン制御に関する最小単位の係数だけで構成され、前記第２の行列演算手段の行列演算に用いられるＮＯ行、（ＮＩ＋Ｋ）列の第２行列式は、前記デコリレート手段で不要なゲイン制御に関する係数と、位相制御に関する係数とを結合することによって得られた係数により構成されることを特徴とすることができる。
【００４３】
これにより、演算量を削減しつつ、他チャンネルへの信号の染み出し（クロストーク）のない高音質のＮＯチャンネルの音響信号を出力することができる。
【００４４】
なお、本発明は、このような音響信号処理装置として実現することができるだけでなく、このような音響信号処理装置が備える特徴的な手段をステップとする音響信号処理方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００４５】
以上の説明から明らかなように、本発明に係る音響信号処理装置および音響信号処理方法によれば、演算量が削減され、演算能力が低いプロセッサでも高音質のサラウンド再生が可能になるという効果が奏される。
【００４６】
よって、本発明により、固定された場所に限られず、自動車等の移動体での視聴が可能となり、音楽等のコンテンツ配信が普及してきた今日における本願発明の実用的価値は極めて高い。
【発明を実施するための最良の形態】
【００４７】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００４８】
（実施の形態１）
図４は、本発明の実施の形態１に係る音響信号処理装置を利用したオーディオコンテンツ配信システム１の全体構成を示す図である。
【００４９】
図４に示されるように、オーディオコンテンツ配信システム１は、オーディオエンコーダ１０と、オーディオデコーダ２０と、オーディオデコーダ２０およびオーディオエンコーダ１０を相互に通信可能に接続する通信路４０とから構成され、オーディオエンコーダ１０から１セグメントの通信路４０を介してオーディオコンテンツを送信し、オーディオデコーダ２０においてオーディオコンテンツを、受信しながら、所定のビットレートでストリーミング再生するものである。なお、この実施の形態１では、オーディオエンコーダ１０は放送局等の中に、オーディオデコーダ２０は車の中に、それぞれ設置されているものとして説明する。
【００５０】
通信路４０は、インターネット４２を中心として、インターネット４２に接続されるインターネットサービスプロバイダ（Ｉｎｔｅｒｎｅｔ  Ｓｅｒｖｉｃｅ  Ｐｒｏｖｉｄｅｒ、以下「ＩＳＰ」とも記す。）４３と、携帯電話網を形成するゲートウェイ４５および基地局４４と、無線ＬＡＮを形成する複数のアクセスポイント４６ａ〜４６ｎとから構成される。このアクセスポイント４６ａ〜４６ｎは、車が走行中でも通信可能となるよう、道路に沿って連続して設置されている。
【００５１】
オーディオエンコーダ１０は、ＩＳＰ４３を経由してインターネット４２に接続される。オーディオデコーダ２０は、携帯電話網と無線ＬＡＮを経由してインターネット４２に接続される。
【００５２】
図５は、図４に示されるオーディオエンコーダ１０およびオーディオデコーダ２０の詳細構成を示すブロック図である。なお、この図５においては通信路４０の図示が省略されている。
【００５３】
オーディオエンコーダ１０は、１０２４サンプルや２０４８サンプルなどによって示されるフレーム単位で複数チャンネルのオーディオ信号（例えば、５チャンネルのオーディオ信号）を処理するものであって、ダウンミックス部１１と、バイノーラルキュー検出部１２と、エンコーダ１３と、多重化部１４と、通信路４０に接続するための通信部１５とを備えている。
【００５４】
ダウンミックス部１１は、５チャンネルのスペクトル表現されたオーディオ信号の平均をとることによって、２チャンネルにダウンミックスされたダウンミックス信号Ｍを生成する。
【００５５】
バイノーラルキュー検出部１２は、スペクトルバンド毎に、５チャンネルのオーディオ信号およびダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍを５チャンネルのオーディオ信号に戻すためのＢＣ情報（バイノーラルキュー）を生成する。
【００５６】
ＢＣ情報は、音響空間的な係数によって求められる値ＣＰＣと、チャンネル間コヒーレンス／相関を示す相関情報ＩＣＣと、音響空間的な係数によって求められる値、チャンネルレベル強度差ＣＬＤとを含む。
【００５７】
ここで、相関情報ＩＣＣが５つのオーディオ信号の類似性を示すのに対し、チャンネルレベル強度差ＣＬＤは５チャンネルのオーディオ信号の相対的な強度を示す。一般に、チャンネルレベル強度差ＣＬＤは、音のバランスや定位を制御するための情報であって、相関情報ＩＣＣは、音像の幅や拡散性を制御するための情報である。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。
【００５８】
スペクトル表現された５チャンネルのオーディオ信号およびダウンミックス信号Ｍは、「パラメータバンド」からなる通常複数のグループに区分されている。したがって、ＢＣ情報は、それぞれのパラメータバンド毎に算出される。なお、「ＢＣ情報」と「空間パラメータ」という用語はしばしば同義的に用いられる。
【００５９】
エンコーダ１３は、例えば、ＭＰ３（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ−３）や、ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）などによって、ダウンミックス信号Ｍを圧縮符号化する。
【００６０】
多重化部１４は、ダウンミックス信号Ｍと、量子化されたＢＣ情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の符号化信号として出力する。
【００６１】
オーディオデコーダ２０は、通信路２１と接続するための通信部２１と、逆多重化部２２と、デコーダ２３と、音響信号処理装置２４とを備えている。
【００６２】
逆多重化部２２は、上述のビットストリームを取得し、そのビットストリームから量子化されたＢＣ情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部２２は、量子化されたＢＣ情報を逆量子化して出力する。
【００６３】
デコーダ２３は、符号化されたダウンミックス信号Ｍを復号化して音響信号処理装置２４に出力する。
【００６４】
音響信号処理装置２４は、デコーダ２３から出力されたダウンミックス信号Ｍと、逆多重化部２２から出力されたＢＣ情報とを取得する。そして、音響信号処理装置２４は、そのＢＣ情報を用いて、ダウンミックス信号Ｍから、５つのオーディオ信号を復元する。
【００６５】
なお、上述では、５チャンネルのオーディオ信号を符号化して復号化する例を挙げてオーディオコンテンツ配信システムを説明したが、オーディオコンテンツ配信システムは、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化および復号化することもできる。
【００６６】
なお、本実施の形態１では、上述の背景技術で説明したＲＭ０における２チャンネルの入力信号を５チャンネルの出力信号に変換する技術と対比しており、どのように、ＲＭ０で開示されている技術を改良するかを示す。ここでは、入力は２チャンネル、出力は５チャンネルという設定で実施の形態を述べるが、勿論これは一例に過ぎず、出力が５．１チャンネルなどであってもよいことは言うまでもない。
【００６７】
図６は、図５に示される音響信号処理装置２４の機能構成を示すブロック図である。
【００６８】
図６に示されるように、音響信号処理装置２４は、２行＊２列の行列演算を行う第１の行列演算部２４１と、２個のデコリレート（Ｄｅ  ｃｏｒｒｅｌａｔｅ）部２４２，２４３と、５行＊４列の行列演算を行う第２の行列演算部２４４と、所定の時間間隔で区切られたフレーム毎に、伝送されるＢＣ情報から、第１の行列演算部２４１における第１行列式の各要素を算出する第１の行列式生成部２４５と、所定の時間間隔で区切られたフレーム毎に、伝送されるＢＣ情報から、第２の行列演算部２４４における第２行列式の各要素を算出する第２の行列式生成部２４６と、第２の行列式生成部２４６で生成された値を、フレーム間で内挿することによってスムージングする内挿部２４７とを備える。
【００６９】
このような第１の行列演算部２４１、第１および第２のデコリレート部２４２，２４３、第２の行列演算部２４４、第１の行列式生成部２４５、第２の行列式生成部２４６および内挿部２４７は、ＲＯＭに予め記憶されたプログラムと、当該プログラムを実行するデジタルシグナルプロセッサ（ＤＳＰ）と、当該プログラムの実行時にワークエリアを提供するメモリ等により実現される。
【００７０】
以上のように構成された音響信号処理装置２４の動作について以下説明するが、その前に、図３に示した従来の技術における行列式が、図６に示される構成における行列式に変形できる理由について、図７から図１１を用いて説明する。
【００７１】
図７は、図３における主要な信号の流れを示した部分を取り出した図である。したがって、信号の流れは、上記背景技術で説明したとおりであり、右側から２チャンネルの信号が入力され、最終的に５チャンネルの信号が出力される。
【００７２】
図８は、図７におけるｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１における行列演算式に「０」を挿入することによって拡張した図である。
【００７３】
このような行列式の拡張に伴って、元々２チャンネルである入力信号をそれぞれ複写し４チャンネルに拡張する。ただし、右側の行列式から明らかなように、信号処理の意味合いは、数学的に図７のものと全く同じである。
【００７４】
図９は、図８における拡張された行列式に「１」を挿入することによって、２つの行列式に分離したところを示す図である。
【００７５】
ここでは行列式は単に２つに分割されただけであり、右側の行列式から明らかなように、数学的に図７のものと全く同じである。
【００７６】
図１０は、図９に示したものに対して、信号処理の順番を入れ替えごたことを示している。
【００７７】
すなわち、図９で示した分離された行列式の内、左側の行列式の処理と、デコリレータの処理とを入れ替えている。
【００７８】
図１１は、図１０に示したものを合理化した図である。
【００７９】
すなわち、図１０に示した左側の２つの行列式を予め行列演算しておくことによって１つに統合したことと、図１０に示した右側の行列式から、係数が「１」である要素を削除することによって、行列のサイズを小さくしたことを示している。例えば、図１１の左側に示した行列式の１行１列目の要素ｗ０は、通常の行列演算のマナーに従って、
ｗ０＝ｃ０＊ａ０＋ｄ０＊ａ１＋ｅ０＊ａ２＋ｆ０＊０＋ｇ０＊０
として求められる。
【００８０】
他の要素も同様に、通常の行列演算のマナーに従って、求められる。
【００８１】
このように、図７から図１１に示したように、行列式を分解し、処理の順番を入れ替え、行列式を結合することによって、ＲＭ０で示された信号処理の流れは、図６で示した本願における信号処理の流れに加工することができる。
【００８２】
これにより、演算量を削減しつつ、他チャンネルへの信号の染み出し（クロストーク）のない高音質のＮＯチャンネルの音響信号を出力することができる。
【００８３】
さて、図６のように構成された音響信号処理装置２４の各部の動作について以下説明する。
【００８４】
ＤＳＰは、２ｃｈのダウンミックスされた信号を５ｃｈの信号に変換するに当たり、まず前処理を実行する（Ｓ１１）。
【００８５】
この前処理には、第１の行列演算部２４１における第１行列式が、ゲイン制御に関する係数から第１および第２のデコリレート部２４２，２４３で不要なゲイン制御に関する係数を分離することにより得られ、第１および第２のデコリレート部２４２，２４３で必要なゲイン制御に関する最小単位の係数だけで構成されるように決定することが含まれる。また、前処理には、第２の行列演算部２４４における第２行列式が、第１および第２のデコリレート部２４２，２４３で不要なゲイン制御に関する係数と、位相制御に関する係数とを結合することによって得られた係数により構成されるように決定することが含まれる。また、前処理には、第１および第２のデコリレート部２４２，２４３における処理を簡略化（例えば、位相の９０゜回転）することの決定が含まれる。さらに、前処理には、第１の行列式生成部２４５により生成された係数に対する内挿処理をスキップすることの決定も含まれる。
【００８６】
前処理が終わると、ＤＳＰは、フレーム毎の処理を繰り返し実行する（Ｓ１２〜Ｓ１９）。
【００８７】
このフレーム毎の処理においては、ＤＳＰは、まず、第１の行列式生成部２４５において、所定の時間間隔で区切られたフレーム毎に伝送される位相差情報（Ｉｎｔｅｒ  ｃｈａｎｎｅｌ  ｃｏｈｅｒｅｎｃｅ）とレベル比（ｃｈａｎｎｅｌ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅ）とチャンネル間予測係数（Ｃｈａｎｎｅｌ  Ｐｒｅｄｉｃｔｉｏｎ  Ｃｏｅｆｆｉｃｉｅｎｔ）とから、第１の行列演算部２４１における第１行列式の各要素を算出する（Ｓ１３）。
【００８８】
すなわち、第１の行列演算部２４１における行列式の要素、ａ３，ｂ３，ａ４，ｂ４を算出する。ここで、ａ３，ｂ３，ａ４，ｂ４の値は、図３におけるａ３，ｂ３，ａ４，ｂ４の値と同じ意味合いのものであるので、その算出方法は、ＲＭ０で規定された方法と同様でよい。すなわち、図６における右側の行列式は、ＲＭ０で用いられている文字で表現すると、下記式（３）に示す２行＊２列の行列式と同じものである。
【００８９】
【数３】
2007043388.tif 000024
…（３）
勿論、式（３）は所謂ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われていない場合の例であるので、ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われている場合は、下記式（４）に示すような２行＊３列の行列式になる。
【００９０】
【数４】
2007043388.tif 000025
…（４）
【００９１】
ただし、図３におけるａ３，ｂ３，ａ４，ｂ４の値は、内挿部２４７によって加工された後のものであるのに対し、図６内の第１の行列演算部２４１における行列式の要素、ａ３，ｂ３，ａ４，ｂ４は、内挿部２４７によって加工される前のものであるところが異なるが、何れにしてもその算出方法は、ＲＭ０で規定された方法と同様でよい。
【００９２】
さて、次に、図６におけるメインの信号の流れについて説明する。
【００９３】
入力のｉｎｐｕｔ１とｉｎｐｕｔ２とは、第１の行列演算部２４１において、各要素の行列演算がなされる。すなわち、ＤＳＰは、第１の行列演算部２４１の第１行列式の演算処理を実行する（Ｓ１４）。そのようにして生成された信号は第１および第２のデコリレート部２４２，２４３で処理される。すなわち、ＤＳＰは、第１および第２のデコリレート部２４２，２４３においてデコリレート処理を実行する（Ｓ１５）。
【００９４】
この第１および第２のデコリレート部２４２，２４３は、入力信号の周波数特性は維持したまま時間特性は入力信号と無相関（ｉｎｃｏｈｅｒｅｎｔ）な信号を生成する処理である。その方法として、ＲＭ０では、ｌａｔｔｉｃｅ  ａｌｌ  ｐａｓｓ  ｆｉｌｔｅｒを用いることが示されているが、入力信号の位相を９０度回転させるという簡略化された方法でもよい。入力信号の位相を９０度回転させるということは、信号の持つ周波数特性は完全に維持され、しかも、数学的に完全に無相関な信号が生成できるからである。しかも、その処理は、入力信号が複素数である場合、実数項と虚数項とを入れ替えて、一方の符号を反転させるだけの処理で実現できるので、第１および第２のデコリレート部２４２，２４３の構成を簡素化することができ、極めて演算量が軽量で済むことになる。
【００９５】
デコリレート処理が終わると、ＤＳＰは、第２の行列式生成部２４６において、所定の時間間隔で区切られたフレーム毎に伝送される位相差情報（Ｉｎｔｅｒ  ｃｈａｎｎｅｌ  ｃｏｈｅｒｅｎｃｅ）とレベル比（ｃｈａｎｎｅｌ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅ）とから前記第２の行列演算部２４４における行列式の各要素の基となる値を算出する（Ｓ１６）。
【００９６】
すなわち、前記第２の行列式生成部２４６は、図１０で示した左側の２つの行列式を求め、さらにこれら２つの行列式を結合する過程を実行する手段である。ここで、図１０で示したａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値は、図３におけるａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値と同じ意味合いのものであるので、その算出方法は、ＲＭ０で規定された方法と同様でよい。
【００９７】
すなわち、図１０における左側の２つの行列式の内の右側の行列式は、ＲＭ０で用いられている文字で表現すると、下記式（５）に示す５行＊４列の行列式と同じものである。
【００９８】
【数５】
2007043388.tif 000026
…（５）
勿論、式（５）は所謂ＲｅｓｉｄｕａｌＣｏｄｉｎｇが行われていない場合で、しかも所謂ＴｔｔＤｅｃｏｒｒｅｌａｔｏｒの処理が行われていない場合で、しかもＬＦＥチャンネルが省略されている場合の例であるので、それらがすべで実施されている場合は、下記式（６）に示すような構成になる。
【００９９】
【数６】
2007043388.tif 000027
…（６）
【０１００】
ただし、図３におけるａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値は、内挿部２４７によって加工された後のものであるが、ここで用いるａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２の値は、内挿部２４７によって加工される前のものである。
【０１０１】
また、図１０で示したｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４，の値は、図３におけるｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４，の値と同じ意味合いのものであるので、その算出方法は、ＲＭ０で規定された方法と同様でよい。ただし、図３におけるｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４の値は、内挿部２４７によって加工された後のものであるが、ここで用いるｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４の値は、内挿部２４７によって加工される前のものである。このようにして算出されたａ０，ｂ０，ａ１，ｂ１，ａ２，ｂ２、およびｃ０〜ｃ４，ｄ０〜ｄ４，ｅ０〜ｅ４，ｆ０〜ｆ４，ｇ０〜ｇ４の値を、行列演算の通常のマナーに従って、図１１に示したｗ０〜ｗ４，ｘ０〜ｘ４，ｙ０〜ｙ４，ｚ０〜ｚ４として、１つの行列式に結合する。
【０１０２】
次に、ＤＳＰは、内挿部２４７において、前記第２の行列式生成部２４６で生成した、前記ｗ０〜ｗ４，ｘ０〜ｘ４，ｙ０〜ｙ４，ｚ０〜ｚ４と、直前の処理フレームにおいて生成されていた当該値とを内挿することによって、フレームの境目で急峻に行列式の要素が変化することを防ぐようにｗ０〜ｗ４，ｘ０〜ｘ４，ｙ０〜ｙ４，ｚ０〜ｚ４の値をスムージングする（Ｓ１７）。そのようにして得られた値が、図６の第２の行列演算部２４４内に示したｗ０＾〜ｗ４＾，ｘ０＾〜ｘ４＾，ｙ０＾〜ｙ４＾，ｚ０＾〜ｚ４＾である。
【０１０３】
ここで、各要素に記号＾を付した理由は、この値が内挿処理された後の値であることを示すためである。図７から図１１において、信号処理の変形の過程を示したときは、図１１の左側の行列式の最終的な各要素に＾をつけなかったが、このときは、単に信号処理の変形の過程を数学的に示すのみであったが、図６における左側の行列式の各要素は、内挿処理されたものであるので、これを明確に区別するために記号＾を付した。
【０１０４】
ただし、内挿部２４７は、演算量削減のために、削除してもよい。また、第１の行列式生成部２４５が生成した行列式の係数については、図６では内挿部２４７で加工していないが、内挿処理によってスムージングしてもよい。
【０１０５】
ただし、音質に与える影響から考えれば、図６に示すように、前記第１の行列式生成部２４５が生成した行列式の係数については、スムージングを行わなくても音質に与える悪い影響は少ない。
【０１０６】
なぜならば、第１の行列演算部２４１の出力は全て、直後の第１および第２のデコリレート部２４２，２４３に入力され、第１および第２のデコリレート部２４２，２４３では、ＲＭ０の規定によれば、音に残響成分を与えるような処理が施されるので、スムージングを行わないことによって急峻に行列式が変化しても、第１および第２のデコリレート部２４２，２４３による音をぼやかしたような効果により、行列式の変化点における不連続感を弱める働きがあるからである。
【０１０７】
このように、第１および第２のデコリレート部２４２，２４３によって変換された２系統の信号と、前記ｉｎｐｕｔ１とｉｎｐｕｔ２との合計４系統の信号が、前記第２の行列演算部２４４によって処理され、出力の５チャンネル信号が生成される。つまり、ＤＳＰは、第２の行列演算部２４４における第２行列式を用いた演算処理を実行する（Ｓ１８）。ここで注意しなくてはならないことは、前記第２の行列演算部２４４における行列式の各要素は、逐次内挿されたものであるということである。
【０１０８】
例えば、１フレーム時間が、３２単位時間持続する時間長をもっている場合、前記第１の行列演算部２４１においては、その行列式の各要素は、３２単位時間の間、常に同じ値であるが、前記第２の行列演算部２４４における行列式の各要素は、１単位時間毎に逐次変化する。例えば、前記第２の行列演算部２４４における行列式の中の１行１列目の値ｗ０を例にとれば、前記第２の行列式生成部２４６で生成された現フレームのｗ０の値がｗ０（ｔ）であり、前記第２の行列式生成部２４６で生成された前のフレームのｗ０の値がｗ０（ｔ−１）であった場合、前記内挿部２４７では、１単位時間毎にｗ０（ｔ−１）とｗ０（ｔ）との内挿をとり、値が滑らかにｗ０（ｔ−１）からｗ０（ｔ）へと移行するようにする。
【０１０９】
以上のように本実施の形態１によれば、ＮＩ行の行列演算を行う第１の行列演算部２４１と、ＮＩ個の第１および第２のデコリレート部２４２，２４３と、ＮＯ行の行列演算を行う第２の行列演算部２４４とを有し、ＮＩチャンネル信号を前記第１の行列演算部２４１の入力とし、第１の行列演算部２４１の出力信号を第１および第２のデコリレート部２４２，２４３の入力とし、第１の行列演算部２４１の入力信号と第１および第２のデコリレート部２４２，２４３の出力信号とを第２の行列演算部２４４の入力することによって、演算量を削減することができる。
【０１１０】
例えばＲＭ０におけるｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１が、５行＊２列のサイズの行列式の演算で、ｐｏｓｔ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ２が、５行＊５列のサイズの行列式の演算であるならば、本願の技術によれば、第１の行列演算が、２行＊２列のサイズの行列式の演算となり、第２の行列演算が、５行＊４列のサイズの行列式の演算となり演算量が削減できる。
【０１１１】
また、所定の時間間隔毎に区切られたフレーム毎に更新されるパラメータから、第１の行列演算部２４１と第２の行列演算部２４４とにおける行列式の各係数を生成する行列式生成部２４５をさらに備え、第１の行列演算部２４１における行列式の各係数は各フレーム内では一定であり、第２の行列演算部２４４における行列式の各係数は直前のフレームにおけるパラメータ、あるいは、直前のフレームにおける行列式の各係数を用いて逐次内挿（Ｉｎｔｅｒｐｏｌａｔｅ）して算出するようにすることによって、行列式の各要素の内挿処理を第２の行列演算式に対してのみ行えばよいので、演算量が削減できることとなる。
【０１１２】
また、前記第１および第２のデコリレート部２４２，２４３を、入力信号の位相を９０度回転させる処理とすることによって、第１および第２のデコリレート部２４２，２４３を非常に簡素に構成できることとなる。
【０１１３】
なお、本実施の形態１では、第２行列式の係数を算出する処理（Ｓ１６）と、第２行列式の係数に対する内挿処理を実行する処理（Ｓ１７）を、デコリレート処理の後に実行したが、ステップＳ１３とステップＳ１４との間に実行するようにしてもよい。これにより、係数を求める処理と、５ｃｈの音響信号に変換するメインの処理とに分離することができる。
【０１１４】
また、本実施の形態１では、２チャンネルの入力に対しマルチチャンネルの出力を生成する際の処理の流れを示したが、本発明は、１チャンネルの入力に対しマルチチャンネルの出力を生成する際にも適用できる。
【０１１５】
（実施の形態２）
例えば、１チャンネルの入力に対し出力チャンネル数を５とした場合の適用の考え方を図１３を用いて説明する。
【０１１６】
本願の趣旨は、前記第１の行列演算部２４１における行列式の行の数を、Ｄｅｃｏｒｒｅｌａｔｏｒの数と同じにすることによって、ＲＭ０で述べられているｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１に要する演算量より、前記第１の行列演算部２４１に要する演算量を少なくすることである。
【０１１７】
図１３の一番上の図、つまり図１３（ａ）は、ＲＭ０において１チャンネルの入力に対しマルチチャンネルの出力を生成する際の信号の流れを示している。上から２番目、３番目の図、つまり図１３（ｂ），図１３（ｃ）は、それを数学的に、拡大、分離している図である。考え方は、図８、図９の説明で述べたとおりである。
【０１１８】
上から４番目の図、つまり図１３（ｄ）は、Ｄｅｃｏｒｒｅｌａｔｏｒの処理と行列演算の処理とを入れ替えている図である。考え方は、図１０の説明で述べたとおりである。
【０１１９】
一番下の図、つまり図１３（ｅ）は、上から４番目の図に対して、左側の２つの行列式を予め結合することで演算量を減らし、右側の行列式を、最小化（最適化）することによって演算量を減らしている図である。
【０１２０】
このようにすることによって、第１の行列演算部２４１における行列式は、４行１列となり、その行数はＤｅｃｏｒｒｅｌａｔｏｒの数と同じにすることができ、演算量を削減することができる。
【０１２１】
また、このようにすると、第１の行列演算部２４１の出力は、全てＤｅｃｏｒｒｅｌａｔｏｒに入力されるので、Ｄｅｃｏｒｒｅｌａｔｏｒによる残響成分付加の効果で、第１の行列演算部２４１の行列式の各要素がフレーム間で急峻に変動する場合でも、その急峻な変動が聴覚上問題にならなくなるので、内挿部による第１行列式の各要素に対するスムージング処理が不要となる、という利点も得られる。
【０１２２】
この例においても、出力のチャンネル数は５としたが、ＬＦＥチャンネルを加味し６チャンネルとしてもよいことは言うまでもない。その場合、左側の行列式の行数は６行となる。
【産業上の利用可能性】
【０１２３】
本発明に係る音響信号処理装置によれば、ダウンミックスされた信号をもとの複数チャンネルの信号に復号する処理を少ない演算量で実施できるので、低ビットレートでの音楽放送サービスや音楽配信サービス、およびその受信機器等に適用できる。
【図面の簡単な説明】
【０１２４】
【図１】図１は、Ｓｐａｔｉａｌ  Ｃｏｄｅｃの基本原理について、Ｌ，Ｒの２ｃｈを例として説明するための図である。
【図２】図２は、ＲＭ０における従来の音響信号処理装置９００の機能構成を示すブロック図である。
【図３】図３は、音響信号処理装置９００のさらに詳細な機能構成を示すブロック図である。
【図４】図４は、本発明の実施の形態１に係る音響信号処理装置を利用したオーディオコンテンツ配信システム１の全体構成を示す図である。
【図５】図５は、図４に示されるオーディオエンコーダ１０およびオーディオデコーダ２０の詳細構成を示すブロック図である。
【図６】図６は、図５に示される音響信号処理装置２４の機能構成を示すブロック図である。
【図７】図７は、従来の技術における主要な信号処理の流れ示す図である。
【図８】図８は、図７におけるｐｒｅ−ｍｉｘｉｎｇ  ｍａｔｒｉｘ  Ｍ１における行列演算式に「０」を挿入することによって拡張した図である。
【図９】図９は、図８における拡大された行列式に「１」を挿入することによって２つの行列式に分離した図である。
【図１０】図１０は、図９に示したものに対して、信号処理の順番を入れ替えた図である。
【図１１】図１１は、図１０に示したものを合理化した図である。
【図１２】図１２は、音響信号処理装置２４の各部において実行される処理の動作を示すフローチャートである。
【図１３】図１３は、本発明の実施の形態２に係る音響信号処理装置において、１チャンネルの信号から５チャンネルの信号に変換する場合の本願技術の適用の考え方を示す図である。
【符号の説明】
【０１２５】
２４  音響信号処理装置
２４１  第１の行列演算部
２４２，２４３  デコリレート部
２４４  第２の行列演算部
２４５  第１の行列式生成部
２４６  第２の行列式生成部
２４７  内挿部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007043388.tif 000028
【図２】
2007043388.tif 000029
【図３】
2007043388.tif 000030
【図４】
2007043388.tif 000031
【図５】
2007043388.tif 000032
【図６】
2007043388.tif 000033
【図７】
2007043388.tif 000034
【図８】
2007043388.tif 000035
【図９】
2007043388.tif 000036
【図１０】
2007043388.tif 000037
【図１１】
2007043388.tif 000038
【図１２】
2007043388.tif 000039
【図１３】
2007043388.tif 000040
【国際調査報告】
2007043388.tif 000041
2007043388.tif 000042
2007043388.tif 000043
2007043388.tif 000044