(57)【要約】  演算負荷を軽減したマルチチャンネル音響信号処理装置を提供する。  マルチチャンネル音響信号処理装置（１００）は、入力信号ｘに対して残響処理を行うことにより、入力信号ｘの示す音に残響が含まれるような音を示す無相関信号ｗ’を生成する無相関信号生成部（１８１）と、その無相関信号生成部（１８１）により生成された無相関信号ｗ’および入力信号ｘに対して、信号強度レベルの配分および残響の配分を示す行列Ｒ３を用いた演算を行うことにより、ｍチャンネルのオーディオ信号を生成するマトリックス演算部（１８７）および第３演算部（１８６）とを備える。【特許請求の範囲】
【請求項１】
ｍチャンネル（ｍ＞１）のオーディオ信号がダウンミックスされて構成される入力信号から、前記ｍチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処理装置であって、
前記入力信号に対して残響処理を行うことにより、前記入力信号の示す音に残響が含まれるような音を示す無相関信号を生成する無相関信号生成手段と、
前記無相関信号生成手段により生成された無相関信号および前記入力信号に対して、信号強度レベルの配分および残響の配分を示す行列を用いた演算を行うことにより、前記ｍチャンネルのオーディオ信号を生成する行列演算手段と
を備えることを特徴とするマルチチャンネル音響信号処理装置。
【請求項２】
前記行列演算手段は、
前記信号強度レベルの配分を示すレベル配分行列と、前記残響の配分を示す残響調整行列との積を示す統合行列を生成するマトリックス生成手段と、
前記無相関信号および前記入力信号により示される行列と、前記マトリックス生成手段によって生成された統合行列との積を算出することにより、前記ｍチャンネルのオーディオ信号を生成する演算手段とを備える
ことを特徴とする請求項１記載のマルチチャンネル音響信号処理装置。
【請求項３】
前記マルチチャンネル音響信号処理装置は、さらに、
前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調整手段を備える
ことを特徴とする請求項２記載のマルチチャンネル音響信号処理装置。
【請求項４】
前記位相調整手段は、経時的に変化する前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項３記載のマルチチャンネル音響信号処理装置。
【請求項５】
前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項４記載のマルチチャンネル音響信号処理装置。
【請求項６】
前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間に最も近い、予め定められた処理単位の整数倍の処理に要する時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項４記載のマルチチャンネル音響信号処理装置。
【請求項７】
前記位相調整手段は、予め定められた検知限度以上にプリエコーが発生する場合に、前記位相を調整する
ことを特徴とする請求項３記載のマルチチャンネル音響信号処理装置。
【請求項８】
ｍチャンネル（ｍ＞１）のオーディオ信号がダウンミックスされて構成される入力信号から、前記ｍチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処理方法であって、
前記入力信号に対して残響処理を行うことにより、前記入力信号の示す音に残響が含まれるような音を示す無相関信号を生成する無相関信号生成ステップと、
前記無相関信号生成ステップで生成された無相関信号および前記入力信号に対して、信号強度レベルの配分および残響の配分を示す行列を用いた演算を行うことにより、前記ｍチャンネルのオーディオ信号を生成する行列演算ステップと
を含むことを特徴とするマルチチャンネル音響信号処理方法。
【請求項９】
前記行列演算ステップでは、
前記信号強度レベルの配分を示すレベル配分行列と、前記残響の配分を示す残響調整行列との積を示す統合行列を生成するマトリックス生成ステップと、
前記無相関信号および前記入力信号により示される行列と、前記マトリックス生成ステップで生成された統合行列との積を算出することにより、前記ｍチャンネルのオーディオ信号を生成する演算ステップとを含む
ことを特徴とする請求項８記載のマルチチャンネル音響信号処理方法。
【請求項１０】
前記マルチチャンネル音響信号処理方法は、さらに、
前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調整ステップを含む
ことを特徴とする請求項９記載のマルチチャンネル音響信号処理装置。
【請求項１１】
前記位相調整ステップでは、経時的に変化する前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項１０記載のマルチチャンネル音響信号処理方法。
【請求項１２】
前記位相調整ステップでは、前記無相関信号生成ステップで生成される前記無相関信号の遅延時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項１１記載のマルチチャンネル音響信号処理方法。
【請求項１３】
前記位相調整ステップでは、前記無相関信号生成ステップで生成される前記無相関信号の遅延時間に最も近い、予め定められた処理単位の整数倍の処理に要する時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項１１記載のマルチチャンネル音響信号処理方法。
【請求項１４】
前記位相調整ステップでは、予め定められた検知限度以上にプリエコーが発生する場合に、前記位相を調整する
ことを特徴とする請求項１０記載のマルチチャンネル音響信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のオーディオ信号をダウンミックスし、そのダウンミックスされた信号を元の複数のオーディオ信号に分離するマルチチャンネル音響信号処理装置に関する。
【背景技術】
【０００２】
従来より、複数のオーディオ信号をダウンミックスし、そのダウンミックスされた信号を元の複数のオーディオ信号に分離するマルチチャンネル音響信号処理装置が提供されている。【０００３】
図１は、マルチチャンネル音響信号処理装置の構成を示すブロック図である。【０００４】
マルチチャンネル音響信号処理装置１０００は、オーディオ信号の組に対する空間音響符号化を行って音響符号化信号を出力するマルチチャンネル音響符号化部１１００と、その音響符号化信号を復号化するマルチチャンネル音響復号化部１２００とを備えている。【０００５】
マルチチャンネル音響符号化部１１００は、１０２４サンプルや２０４８サンプルなどによって示されるフレーム単位でオーディオ信号（例えば、２チャンネルのオーディオ信号Ｌ，Ｒ）を処理するものであって、ダウンミックス部１１１０と、バイノーラルキュー算出部１１２０と、オーディオエンコーダ部１１５０と、多重化部１１９０とを備えている。【０００６】
ダウンミックス部１１１０は、２チャンネルのスペクトル表現されたオーディオ信号Ｌ，Ｒの平均をとることによって、つまり、Ｍ＝（Ｌ＋Ｒ）／２によって、オーディオ信号Ｌ，Ｒがダウンミックスされたダウンミックス信号Ｍを生成する。【０００７】
バイノーラルキュー算出部１１２０は、スペクトルバンドごとに、オーディオ信号Ｌ，Ｒおよびダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍをオーディオ信号Ｌ，Ｒに戻すためのバイノーラルキュー情報を生成する。【０００８】
バイノーラルキュー情報は、チャンネル間レベル差（inter-channel level/intensity difference）ＩＩＤ、チャンネル間相関（inter-channel coherence/correlation）ＩＣＣ、チャンネル間位相差（inter-channel phase/delay difference）ＩＰＤ、およびチャンネル予測係数（Channel Prediction Coefficients）ＣＰＣを示す。【０００９】
一般に、チャンネル間レベル差ＩＩＤは、音のバランスや定位を制御するための情報であって、チャンネル間相関ＩＣＣは、音像の幅や拡散性を制御するための情報である。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。【００１０】
スペクトル表現されたオーディオ信号Ｌ，Ｒおよびダウンミックス信号Ｍは、「パラメータバンド」からなる通常複数のグループに区分されている。したがって、バイノーラルキュー情報は、それぞれのパラメータバンド毎に算出される。なお、「バイノーラルキュー情報」と「空間パラメータ」という用語はしばしば同義的に用いられる。【００１１】
オーディオエンコーダ部１１５０は、例えば、ＭＰ３（MPEG Audio Layer-3）や、ＡＡＣ（Advanced Audio Coding）などによって、ダウンミックス信号Ｍを圧縮符号化する。【００１２】
多重化部１１９０は、ダウンミックス信号Ｍと、量子化されたバイノーラルキュー情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の音響符号化信号として出力する。【００１３】
マルチチャンネル音響復号化部１２００は、逆多重化部１２１０と、オーディオデコーダ部１２２０と、分析フィルタ部１２３０と、マルチチャンネル合成部１２４０と、合成フィルタ部１２９０とを備えている。【００１４】
逆多重化部１２１０は、上述のビットストリームを取得し、そのビットストリームから量子化されたバイノーラルキュー情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部１２１０は、量子化されたバイノーラルキュー情報を逆量子化して出力する。【００１５】
オーディオデコーダ部１２２０は、符号化されたダウンミックス信号Ｍを復号化して分析フィルタ部１２３０に出力する。【００１６】
分析フィルタ部１２３０は、ダウンミックス信号Ｍの表現形式を、時間／周波数ハイブリッド表現に変換して出力する。【００１７】
マルチチャンネル合成部１２４０は、分析フィルタ部１２３０から出力されたダウンミックス信号Ｍと、逆多重化部１２１０から出力されたバイノーラルキュー情報とを取得する。そして、マルチチャンネル合成部１２４０は、そのバイノーラルキュー情報を用いて、ダウンミックス信号Ｍから、２つのオーディオ信号Ｌ，Ｒを時間／周波数ハイブリッド表現で復元する。【００１８】
合成フィルタ部１２９０は、復元されたオーディオ信号の表現形式を、時間／周波数ハイブリッド表現から時間表現に変換し、その時間表現のオーディオ信号Ｌ，Ｒを出力する。【００１９】
なお、上述では、２チャンネルのオーディオ信号を符号化して復号化する例を挙げてマルチチャンネル音響信号処理装置１０００を説明したが、マルチチャンネル音響信号処理装置１０００は、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化および復号化することもできる。【００２０】
図２は、マルチチャンネル合成部１２４０の機能構成を示す機能ブロック図である。【００２１】
マルチチャンネル合成部１２４０は、例えば、ダウンミックス信号Ｍを６つのチャンネルのオーディオ信号に分離する場合、第１分離部１２４１と、第２分離部１２４２と、第３分離部１２４３と、第４分離部１２４４と、第５分離部１２４５とを備える。なお、ダウンミックス信号Ｍは、聴取者の正面に配置されるスピーカに対する正面オーディオ信号Ｃと、視聴者の左前方に配置されるスピーカに対する左前オーディオ信号Ｌfと、視聴者の右前方に配置されるスピーカに対する右前オーディオ信号Ｒfと、視聴者の左横方に配置されるスピーカに対する左横オーディオ信号Ｌsと、視聴者の右横方に配置されるスピーカに対する右横オーディオ信号Ｒsと、低音出力用サブウーファースピーカに対する低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。【００２２】
第１分離部１２４１は、ダウンミックス信号Ｍから第１ダウンミックス信号Ｍ1と第４ダウンミックス信号Ｍ4とを分離して出力する。第１ダウンミックス信号Ｍ1は、正面オーディオ信号Ｃと左前オーディオ信号Ｌfと右前オーディオ信号Ｒfと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。第４ダウンミックス信号Ｍ4は、左横オーディオ信号Ｌsと右横オーディオ信号Ｒsとがダウンミックスされて構成されている。【００２３】
第２分離部１２４２は、第１ダウンミックス信号Ｍ1から第２ダウンミックス信号Ｍ2と第３ダウンミックス信号Ｍ3とを分離して出力する。第２ダウンミックス信号Ｍ2は、左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとがダウンミックスされて構成されている。第３ダウンミックス信号Ｍ3は、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。【００２４】
第３分離部１２４３は、第２ダウンミックス信号Ｍ2から左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとを分離して出力する。【００２５】
第４分離部１２４４は、第３ダウンミックス信号Ｍ3から正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとを分離して出力する。【００２６】
第５分離部１２４５は、第４ダウンミックス信号Ｍ4から左横オーディオ信号Ｌsと右横オーディオ信号Ｒsとを分離して出力する。【００２７】
このように、マルチチャンネル合成部１２４０は、マルチステージの方法によって、各分離部で１つの信号を２つの信号に分離し、単一のオーディオ信号が分離されるまで再帰的に信号の分離を繰り返す。【００２８】
図３は、バイノーラルキュー算出部１１２０の構成を示すブロック図である。【００２９】
バイノーラルキュー算出部１１２０は、第１レベル差算出部１１２１、第１位相差算出部１１２２および第１相関算出部１１２３と、第２レベル差算出部１１２４、第２位相差算出部１１２５および第２相関算出部１１２６と、第３レベル差算出部１１２７、第３位相差算出部１１２８および第３相関算出部１１２９と、第４レベル差算出部１１３０、第４位相差算出部１１３１および第４相関算出部１１３２と、第５レベル差算出部１１３３、第５位相差算出部１１３４および第５相関算出部１１３５と、加算器１１３６，１１３７，１１３８，１１３９とを備えている。【００３０】
第１レベル差算出部１１２１は、左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとの間のレベル差を算出して、その算出結果であるチャンネル間レベル差ＩＩＤを示す信号を出力する。第１位相差算出部１１２２は、左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとの間の位相差を算出して、その算出結果であるチャンネル間位相差ＩＰＤを示す信号を出力する。第１相関算出部１１２３は、左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとの間の相関を算出して、その算出結果であるチャンネル間相関ＩＣＣを示す信号を出力する。加算器１１３６は、左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとを加算して所定の係数を乗算することで、第２ダウンミックス信号Ｍ2を生成して出力する。【００３１】
第２レベル差算出部１１２４、第２位相差算出部１１２５および第２相関算出部１１２６は、上述と同様に、左横オーディオ信号Ｌsと右横オーディオ信号Ｒsとの間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。加算器１１３７は、左横オーディオ信号Ｌsと右横オーディオ信号Ｒsとを加算して所定の係数を乗算することで、第３ダウンミックス信号Ｍ3を生成して出力する。【００３２】
第３レベル差算出部１１２７、第３位相差算出部１１２８および第３相関算出部１１２９は、上述と同様に、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとの間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。加算器１１３８は、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとを加算して所定の係数を乗算することで、第４ダウンミックス信号Ｍ4を生成して出力する。【００３３】
第４レベル差算出部１１３０、第４位相差算出部１１３１および第４相関算出部１１３２は、上述と同様に、第２ダウミックス信号Ｍ2と第３ダウンミックス信号Ｍ3との間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。加算器１１３９は、第２ダウミックス信号Ｍ2と第３ダウンミックス信号Ｍ3とを加算して所定の係数を乗算することで、第１ダウンミックス信号Ｍ1を生成して出力する。【００３４】
第５レベル差算出部１１３３、第５位相差算出部１１３４および第５相関算出部１１３５は、上述と同様に、第１ダウミックス信号Ｍ1と第４ダウンミックス信号Ｍ4との間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。【００３５】
図４は、マルチチャンネル合成部１２４０の構成を示す構成図である。【００３６】
マルチチャンネル合成部１２４０は、プレマトリックス処理部１２５１と、ポストマトリックス処理部１２５２と、第１演算部１２５３および第２演算部１２５５と、無相関信号生成部１２５４とを備えている。【００３７】
プレマトリックス処理部１２５１は、信号強度レベルの各チャンネルへの配分を示す行列Ｒ1を、バイノーラルキュー情報を用いて生成する。【００３８】
例えば、プレマトリックス処理部１２５１は、ダウンミックス信号Ｍの信号強度レベルと、第１ダウンミックス信号Ｍ1、第２ダウンミックス信号Ｍ2、第３ダウンミックス信号Ｍ3および第４ダウンミックス信号Ｍ4の信号強度レベルとの比率を示すチャンネル間レベル差ＩＩＤを用いて、ベクトル要素Ｒ1［０］〜Ｒ1［４］によって構成される行列Ｒ1を生成する。【００３９】
第１演算部１２５３は、分析フィルタ部１２３０から出力された時間／周波数ハイブリッド表現のダウンミックス信号Ｍを入力信号ｘとして取得し、例えば（数１）および（数２）に示すように、その入力信号ｘと行列Ｒ1との積を算出する。そして、第１演算部１２５３は、その行列演算結果を示す中間信号ｖを出力する。つまり、第１演算部１２５３は、分析フィルタ部１２３０から出力された時間／周波数ハイブリッド表現のダウンミックス信号Ｍから、４つのダウンミックス信号Ｍ1〜Ｍ4を分離する。【００４０】
【数１】
2007029412.tif 000002
【００４１】
【数２】
2007029412.tif 000003
【００４２】
無相関信号生成部１２５４は、中間信号ｖに対してオールパスフィルタ処理を施すことによって、（数３）に示すように、無相関信号ｗを出力する。なお、無相関信号ｗの構成要素ＭrevおよびＭi,revは、ダウンミックス信号Ｍ，Ｍiに対して無相関処理が施された信号である。また、信号Ｍrevおよび信号Ｍi,revは、ダウンミックス信号Ｍ，Ｍiと同じエネルギーを有し、音が広がっているかのような印象を与える残響を含む。【００４３】
【数３】
2007029412.tif 000004
【００４４】
図５は、無相関信号生成部１２５４の構成を示すブロック図である。【００４５】
無相関信号生成部１２５４は、初期遅延部Ｄ１００と、オールパスフィルタＤ２００とを備えている。【００４６】
初期遅延部Ｄ１００は、中間信号ｖを取得すると、その中間信号ｖを予め定められた時間だけ遅延させて、つまり位相を遅らせて、オールパスフィルタＤ２００に出力する。【００４７】
オールパスフィルタＤ２００は、周波数―振幅特性には変化がなく、周波数−位相特性のみ変化させるオールパス特性を有し、ＩＩＲ（Infinite Impulse Response）フィルタとして構成されている。【００４８】
このようなオールパスフィルタＤ２００は、乗算器Ｄ２０１〜Ｄ２０７と、遅延器Ｄ２２１〜Ｄ２２３と、加減算器Ｄ２１１〜Ｄ２２３とを備えている。【００４９】
図６は、無相関信号生成部１２５４のインパルス応答を示す図である。【００５０】
無相関信号生成部１２５４は、図６に示すように、時刻０にインパルス信号を取得しても、時刻ｔ１０まで信号を出力せずに遅延させ、時刻ｔ１０から次第に振幅が小さくなるような信号を残響として時刻ｔ１１まで出力する。つまり、このように無相関信号生成部１２５４から出力される信号Ｍrev，Ｍi,revは、ダウンミックス信号Ｍ，Ｍiの音に残響が付加された音を示す。【００５１】
ポストマトリックス処理部１２５２は、残響の各チャンネルへの配分を示す行列Ｒ2を、バイノーラルキュー情報を用いて生成する。【００５２】
例えば、ポストマトリックス処理部１２５２は、音像の幅や拡散性を示すチャンネル間相関ＩＣＣからミキシング係数Ｈijを導出し、そのミキシング係数Ｈijから構成される行列Ｒ2を生成する。【００５３】
第２演算部１２５５は、無相関信号ｗと行列Ｒ2との積を算出し、その行列演算結果を示す出力信号ｙを出力する。つまり、第２演算部１２５５は、無相関信号ｗから、６つのオーディオ信号Ｌf，Ｒf，Ｌs，Ｒs，Ｃ，ＬＦＥを分離する。【００５４】
例えば、図２に示すように、左前オーディオ信号Ｌfは、第２ダウンミックス信号Ｍ2から分離されるため、その左前オーディオ信号Ｌfの分離には、第２ダウンミックス信号Ｍ2と、それに対応する無相関信号ｗの構成要素Ｍ2,revとが用いられる。同様に、第２ダウンミックス信号Ｍ2は、第１ダウンミックス信号Ｍ1から分離されるため、その第２ダウンミックス信号Ｍ2の算出には、第１ダウンミックス信号Ｍ1と、それに対応する無相関信号ｗの構成要素Ｍ1,revとが用いられる。【００５５】
したがって、左前オーディオ信号Ｌfは、下記の（数４）により示される。【００５６】
【数４】
2007029412.tif 000005
【００５７】
ここで、（数４）中のＨij,Aは、第３分離部１２４３におけるミキシング係数であり、Ｈij,Dは、第２分離部１２４２におけるミキシング係数であり、Ｈij,Eは、第１分離部１２４１におけるミキシング係数である。（数４）に示す３つの数式は、以下の（数５）に示す一つのベクトル乗算式にまとめることができる。【００５８】
【数５】
2007029412.tif 000006
【００５９】
左前オーディオ信号Ｌf以外の他のオーディオ信号Ｒf，Ｃ，ＬＦＥ，Ｌs，Ｒsも、上述のような行列と無相関信号ｗの行列との演算によって算出される。つまり、出力信号ｙは、下記の（数６）によって示される。【００６０】
【数６】
2007029412.tif 000007
【００６１】
図７は、ダウンミックス信号を説明するための説明図である。【００６２】
ダウンミックス信号は、通常、図７に示されるように時間／周波数ハイブリッド表現で表現される。つまり、ダウンミックス信号は、時間軸方向に沿って時間単位であるパラメータセットｐｓに分けられ、さらに、空間軸方向に沿ってサブバンド単位であるパラメータバンドｐｂに分けられて表現される。したがって、バイノーラルキュー情報は、バンド（ｐｓ，ｐｂ）ごとに算出される。また、プレマトリックス処理部１２５１およびポストマトリックス処理部１２５２はそれぞれ、バンド（ｐｓ，ｐｂ）ごとに行列Ｒ1（ｐｓ，ｐｂ）と行列Ｒ2（ｐｓ，ｐｂ）とを算出する。【００６３】
図８は、プレマトリックス処理部１２５１およびポストマトリックス処理部１２５２の詳細な構成を示すブロック図である。【００６４】
プレマトリックス処理部１２５１は、行列式生成部１２５１ａと内挿部１２５１ｂとを備えている。【００６５】
行列式生成部１２５１ａは、バンド（ｐｓ，ｐｂ）ごとのバイノーラルキュー情報から、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ1（ｐｓ，ｐｂ）を生成する。【００６６】
内挿部１２５１ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ1（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１２５１ｂは、（ｎ，ｓｂ）ごとの行列Ｒ1（ｎ，ｓｂ）を生成する。このように内挿部１２５１ｂは、複数のバンドの境界に渡る行列Ｒ1の遷移が滑らかであることを保証する。【００６７】
ポストマトリックス処理部１２５２は、行列式生成部１２５２ａと内挿部１２５２ｂとを備えている。【００６８】
行列式生成部１２５２ａは、バンド（ｐｓ，ｐｂ）ごとのバイノーラルキュー情報から、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ2（ｐｓ，ｐｂ）を生成する。【００６９】
内挿部１２５２ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ2（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１２５２ｂは、（ｎ，ｓｂ）ごとの行列Ｒ2（ｎ，ｓｂ）を生成する。このように内挿部１２５２ｂは、複数のバンドの境界に渡る行列Ｒ2の遷移が滑らかであることを保証する。
【非特許文献１】Ｊ．  Ｈｅｒｒｅ、  ｅｔ  ａｌ、  “Ｔｈｅ  Ｒｅｆｅｒｅｎｃｅ  Ｍｏｄｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  ＭＰＥＧ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ”、  １１８ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ、  Ｂａｒｃｅｌｏｎａ
【発明の開示】
【発明が解決しようとする課題】
【００７０】
しかしながら、従来のマルチチャンネル音響信号処理装置では演算負荷が多大であるという問題がある。【００７１】
つまり、従来のマルチチャンネル合成部１２４０のプレマトリックス処理部１２５１、ポストマトリックス処理部１２５２、第１演算部１２５３、および第２演算部１２５５における演算負荷は多大なものとなる。【００７２】
そこで、本発明は、かかる問題に鑑みてなされたものであって、演算負荷を軽減したマルチチャンネル音響信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００７３】
上記目的を達成するために、本発明に係るマルチチャンネル音響信号処理装置は、ｍチャンネル（ｍ＞１）のオーディオ信号がダウンミックスされて構成される入力信号から、前記ｍチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処理装置であって、前記入力信号に対して残響処理を行うことにより、前記入力信号の示す音に残響が含まれるような音を示す無相関信号を生成する無相関信号生成手段と、前記無相関信号生成手段により生成された無相関信号および前記入力信号に対して、信号強度レベルの配分および残響の配分を示す行列を用いた演算を行うことにより、前記ｍチャンネルのオーディオ信号を生成する行列演算手段とを備えることを特徴とする。【００７４】
これにより、無相関信号が生成された後に、信号強度レベルの配分および残響の配分を示す行列を用いた演算が行われるため、従来のように、信号強度レベルの配分を示す行列の演算と残響の配分を示す行列の演算とを、無相関信号の生成の前後で分けて行うことなく、これらの行列演算をまとめて行うことができる。その結果、演算負荷を軽減することができる。つまり、信号強度レベルの配分を行う処理が無相関信号の生成の後に行われて分離されたオーディオ信号と、信号強度レベルの配分を行う処理が無相関信号の生成の前に行われて分離されたオーディオ信号とは類似している。したがって、本発明では、近似計算を適用することにより、行列演算をまとめることができるのである。その結果、演算に用いられるメモリの容量を減らすことができ、装置の小型化を図ることができる。【００７５】
また、前記行列演算手段は、前記信号強度レベルの配分を示すレベル配分行列と、前記残響の配分を示す残響調整行列との積を示す統合行列を生成するマトリックス生成手段と、前記無相関信号および前記入力信号により示される行列と、前記マトリックス生成手段によって生成された統合行列との積を算出することにより、前記ｍチャンネルのオーディオ信号を生成する演算手段とを備えることを特徴としてもよい。【００７６】
これにより、統合行列を用いた行列演算を１回だけ行えば、入力信号からｍチャンネルのオーディオ信号が分離されるため、演算負荷を確実に軽減することができる。【００７７】
また、前記マルチチャンネル音響信号処理装置は、さらに、前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調整手段を備えることを特徴としてもよい。例えば、前記位相調整手段は、経時的に変化する前記統合行列または前記入力信号を遅延させる。【００７８】
これにより、無相関信号の生成に遅延が生じても、入力信号の位相が調整されるため、無相関信号および入力信号に対して、適切な統合行列を用いた演算を行うことができ、ｍチャンネルのオーディオ信号を適切に出力することができる。【００７９】
また、前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間だけ、前記統合行列または前記入力信号を遅延させることを特徴としてもよい。または、前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間に最も近い、予め定められた処理単位の整数倍の処理に要する時間だけ、前記統合行列または前記入力信号を遅延させることを特徴としてもよい。【００８０】
これにより、統合行列または入力信号の遅延量が、無相関信号の遅延時間と略等しくなるため、無相関信号および入力信号に対して、より適切な統合行列を用いた演算を行うことができ、ｍチャンネルのオーディオ信号をより適切に出力することができる。【００８１】
また、前記位相調整手段は、予め定められた検知限度以上にプリエコーが発生する場合に、前記位相を調整することを特徴としてもよい。【００８２】
これにより、プリエコーが検知されるのを確実に防ぐことができる。【００８３】
なお、本発明は、このようなマルチチャンネル音響信号処理装置として実現することができるだけでなく、集積回路や、方法、プログラム、そのプログラムを格納する記憶媒体としても実現することができる。
【発明の効果】
【００８４】
本発明のマルチチャンネル音響信号処理装置は、演算負荷を軽減することができるという作用効果を奏する。つまり、本発明では、ビットストリームシンタクスの変形や、認識可能なほどの音質の低下を引き起こすことなく、マルチチャンネル音響デコーダの処理の複雑性を軽減することができる。
【図面の簡単な説明】
【００８５】
【図１】図１は従来のマルチチャンネル音響信号処理装置の構成を示すブロック図である。
【図２】図２は同上のマルチチャンネル合成部の機能構成を示す機能ブロック図である。
【図３】図３は同上のバイノーラルキュー算出部の構成を示すブロック図である。
【図４】図４は同上のマルチチャンネル合成部の構成を示す構成図である。
【図５】図５は同上の無相関信号生成部の構成を示すブロック図である。
【図６】図６は同上の無相関信号生成部のインパルス応答を示す図である。
【図７】図７は同上のダウンミックス信号を説明するための説明図である。
【図８】図８は同上のプレマトリックス処理部およびポストマトリックス処理部の詳細な構成を示すブロック図である。
【図９】図９は本発明の実施の形態におけるマルチチャンネル音響信号処理装置の構成を示すブロック図である。
【図１０】図１０は同上のマルチチャンネル合成部の構成を示すブロック図である。
【図１１】図１１は同上のマルチチャンネル合成部の動作を示すフローチャートである。
【図１２】図１２は同上の簡略化されたマルチチャンネル合成部の構成を示すブロック図である。
【図１３】図１３は同上の簡略化されたマルチチャンネル合成部の動作を示すフローチャートである。
【図１４】図１４は同上のマルチチャンネル合成部によって出力される信号を説明するための説明図である。
【図１５】図１５は同上の変形例１に係るマルチチャンネル合成部の構成を示すブロック図である。
【図１６】図１６は同上の変形例１に係るマルチチャンネル合成部によって出力される信号を説明するための説明図である。
【図１７】図１７は同上の変形例１に係るマルチチャンネル合成部の動作を示すフローチャートである。
【図１８】図１８は同上の変形例２に係るマルチチャンネル合成部の構成を示すブロック図である。
【図１９】図１９は同上の変形例２に係るマルチチャンネル合成部の動作を示すフローチャートである。
【符号の説明】
【００８６】
１００    マルチチャンネル音響信号処理装置
１００ａ    マルチチャンネル音響符号化部
１００ｂ    マルチチャンネル音響復号化部
１１０    ダウンミックス部
１２０    バイノーラルキュー算出部
１３０    オーディオエンコーダ部
１４０    多重化部
１５０    逆多重化部
１６０    オーディオデコーダ部
１７０    分析フィルタ部
１８０    マルチチャンネル合成部
１８１    無相関信号生成部
１８２    第１演算部
１８３    第２演算部
１８４    プレマトリックス処理部
１８５    ポストマトリックス処理部
１８６    第３演算部
１８７    マトリックス処理部
１９０    合成フィルタ部
【発明を実施するための最良の形態】
【００８７】
以下、本発明の実施の形態におけるマルチチャンネル音響信号処理装置について図面を参照しながら説明する。【００８８】
図９は、本発明の実施の形態におけるマルチチャンネル音響信号処理装置の構成を示すブロック図である。【００８９】
本実施の形態におけるマルチチャンネル音響信号処理装置１００は、演算負荷を軽減したものであって、オーディオ信号の組に対する空間音響符号化を行って音響符号化信号を出力するマルチチャンネル音響符号化部１００ａと、その音響符号化信号を復号化するマルチチャンネル音響復号化部１００ｂとを備えている。【００９０】
マルチチャンネル音響符号化部１００ａは、１０２４サンプルや２０４８サンプルなどによって示されるフレーム単位で入力信号（例えば、入力信号Ｌ，Ｒ）を処理するものであって、ダウンミックス部１１０と、バイノーラルキュー算出部１２０と、オーディオエンコーダ部１３０と、多重化部１４０とを備えている。【００９１】
ダウンミックス部１１０は、２チャンネルのスペクトル表現されたオーディオ信号Ｌ，Ｒの平均をとることによって、つまり、Ｍ＝（Ｌ＋Ｒ）／２によって、オーディオ信号Ｌ，Ｒがダウンミックスされたダウンミックス信号Ｍを生成する。【００９２】
バイノーラルキュー算出部１２０は、スペクトルバンドごとに、オーディオ信号Ｌ，Ｒおよびダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍをオーディオ信号Ｌ，Ｒに戻すためのバイノーラルキュー情報を生成する。【００９３】
バイノーラルキュー情報は、チャンネル間レベル差（inter-channel level/intensity difference）ＩＩＤ、チャンネル間相関（inter-channel coherence/correlation）ＩＣＣ、チャンネル間位相差（inter-channel phase/delay difference）ＩＰＤ、およびチャンネル予測係数（Channel Prediction Coefficients）ＣＰＣを示す。【００９４】
一般に、チャンネル間レベル差ＩＩＤは、音のバランスや定位を制御するための情報であって、チャンネル間相関ＩＣＣは、音像の幅や拡散性を制御するための情報である。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。【００９５】
スペクトル表現されたオーディオ信号Ｌ，Ｒおよびダウンミックス信号Ｍは、「パラメータバンド」からなる通常複数のグループに区分されている。したがって、バイノーラルキュー情報は、それぞれのパラメータバンド毎に算出される。なお、「バイノーラルキュー情報」と「空間パラメータ」という用語はしばしば同義的に用いられる。【００９６】
オーディオエンコーダ部１３０は、例えば、ＭＰ３（MPEG Audio Layer-3）や、ＡＡＣ（Advanced Audio Coding）などによって、ダウンミックス信号Ｍを圧縮符号化する。【００９７】
多重化部１４０は、ダウンミックス信号Ｍと、量子化されたバイノーラルキュー情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の音響符号化信号として出力する。【００９８】
マルチチャンネル音響復号化部１００ｂは、逆多重化部１５０と、オーディオデコーダ部１６０と、分析フィルタ部１７０と、マルチチャンネル合成部１８０と、合成フィルタ部１９０とを備えている。【００９９】
逆多重化部１５０は、上述のビットストリームを取得し、そのビットストリームから量子化されたバイノーラルキュー情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部１５０は、量子化されたバイノーラルキュー情報を逆量子化して出力する。【０１００】
オーディオデコーダ部１６０は、符号化されたダウンミックス信号Ｍを復号化して分析フィルタ部１７０に出力する。【０１０１】
分析フィルタ部１７０は、ダウンミックス信号Ｍの表現形式を、時間／周波数ハイブリッド表現に変換して出力する。【０１０２】
マルチチャンネル合成部１８０は、分析フィルタ部１７０から出力されたダウンミックス信号Ｍと、逆多重化部１５０から出力されたバイノーラルキュー情報とを取得する。そして、マルチチャンネル合成部１８０は、そのバイノーラルキュー情報を用いて、ダウンミックス信号Ｍから、２つのオーディオ信号Ｌ，Ｒを時間／周波数ハイブリッド表現で復元する。【０１０３】
合成フィルタ部１９０は、復元されたオーディオ信号の表現形式を、時間／周波数ハイブリッド表現から時間表現に変換し、その時間表現のオーディオ信号Ｌ，Ｒを出力する。【０１０４】
なお、上述では、２チャンネルのオーディオ信号を符号化して復号化する例を挙げて本実施の形態のマルチチャンネル音響信号処理装置１００を説明したが、本実施の形態のマルチチャンネル音響信号処理装置１００は、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化および復号化することもできる。【０１０５】
ここで本実施の形態では、マルチチャンネル音響復号処理部１００ｂのマルチチャンネル合成部１８０に特徴がある。【０１０６】
図１０は、本発明の実施の形態におけるマルチチャンネル合成部１８０の構成を示すブロック図である。【０１０７】
本実施の形態におけるマルチチャンネル合成部１８０は、演算負荷を軽減したものであって、無相関信号生成部１８１と、第１演算部１８２と、第２演算部１８３と、プレマトリックス処理部１８４と、ポストマトリックス処理部１８５とを備えている。【０１０８】
無相関信号生成部１８１は、上述の無相関信号生成部１２５４と同様に構成され、オールパスフィルタＤ２００などを備えている。このような無相関信号生成部１８１は、時間／周波数ハイブリッド表現のダウンミックス信号Ｍを入力信号ｘとして取得する。そして、無相関信号生成部１８１は、その入力信号ｘに対して残響処理を行なうことにより、その入力信号ｘの示す音に残響が含まれるような音を示す無相関信号ｗ’を生成して出力する。つまり、無相関信号生成部１８１は、入力信号ｘを示すベクトルをｘ＝（Ｍ，Ｍ，Ｍ，Ｍ、Ｍ）として、（数７）に示すように無相関信号ｗ’を生成する。なお、無相関信号ｗ’は、入力信号ｘに対して相互相関が低い信号である。【０１０９】
【数７】
2007029412.tif 000008
【０１１０】
プレマトリックス処理部１８４は、行列式生成部１８４ａと内挿部１８４ｂとを備え、バイノーラルキュー情報を取得し、そのバイノーラルキュー情報を用いて、信号強度レベルの各チャンネルへの配分を示す行列Ｒ1を生成する。【０１１１】
行列式生成部１８４ａは、バイノーラルキュー情報のチャンネル間レベル差ＩＩＤを用いて、ベクトル要素Ｒ1［１］〜Ｒ1［５］によって構成される上述の行列Ｒ1をバンド（ｐｓ，ｐｂ）ごとに生成する。つまり、行列Ｒ1は時間経過に伴って変化する。【０１１２】
内挿部１８４ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ1（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１８４ｂは、（ｎ，ｓｂ）ごとの行列Ｒ1（ｎ，ｓｂ）を生成する。このように内挿部１８４ｂは、複数のバンドの境界に渡る行列Ｒ1の遷移が滑らかであることを保証する。【０１１３】
第１演算部１８２は、無相関信号ｗ’の行列と行列Ｒ1との積を算出することにより、（数８）に示すように中間信号ｚを生成して出力する。【０１１４】
【数８】
2007029412.tif 000009
【０１１５】
ポストマトリックス処理部１８５は、行列式生成部１８５ａと内挿部１８５ｂとを備え、バイノーラルキュー情報を取得し、そのバイノーラルキュー情報を用いて、残響の各チャンネルへの配分を示す行列Ｒ2を生成する。【０１１６】
行列式生成部１８５ａは、バイノーラルキュー情報のチャンネル間相関ＩＣＣからミキシング係数Ｈijを導出し、そのミキシング係数Ｈijから構成される上述の行列Ｒ2をバンド（ｐｓ，ｐｂ）ごとに生成する。つまり、行列Ｒ2は時間経過に伴って変化する。【０１１７】
内挿部１８５ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ2（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１８５ｂは、（ｎ，ｓｂ）ごとの行列Ｒ2（ｎ，ｓｂ）を生成する。このように内挿部１８５ｂは、複数のバンドの境界に渡る行列Ｒ2の遷移が滑らかであることを保証する。【０１１８】
第２演算部１８３は、（数９）に示すように、中間信号ｚの行列と行列Ｒ2との積を算出し、その演算結果を示す出力信号ｙを出力する。つまり、第２演算部１８３は、中間信号ｚから、６つのオーディオ信号Ｌf，Ｒf，Ｌs，Ｒs，Ｃ，ＬＦＥを分離する。【０１１９】
【数９】
2007029412.tif 000010
【０１２０】
このように本実施の形態では、入力信号ｘに対して無相関信号ｗ’が生成されて、その無相関信号ｗ’に対して行列Ｒ1を用いた行列演算が行われる。つまり、従来では、入力信号ｘに対して行列Ｒ1を用いた行列演算が行われて、その演算結果である中間信号ｖに対して無相関信号ｗが生成されるが、本実施の形態では、その逆の順序で処理が行われる。【０１２１】
しかし、このように処理順序を逆にしても、（数８）に示すＲ1ｄｅｃｏｒｒ（ｘ）が、（数３）に示すｄｅｃｏｒｒ（ｖ）つまりｄｅｃｏｒｒ（Ｒ1ｘ）に略等しいことが経験上分かっている。即ち、本実施の形態における第２演算部１８３で行列Ｒ2の行列演算の対象とされる中間信号ｚは、従来の第２演算部１２５５で行列Ｒ2の行列演算の対象とされる無相関信号ｗと略等しい。【０１２２】
したがって、本実施の形態のように、処理順序を従来と逆にしても、マルチチャンネル合成部１８０は、従来と同様の出力信号ｙを出力することができる。【０１２３】
図１１は、本実施の形態におけるマルチチャンネル合成部１８０の動作を示すフローチャートである。【０１２４】
まず、マルチチャンネル合成部１８０は、入力信号ｘを取得して（ステップＳ１００）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１０２）。また、マルチチャンネル合成部１８０は、バイノーラルキュー情報に基づいて行列Ｒ1および行列Ｒ2を生成する（ステップＳ１０４）。【０１２５】
そして、マルチチャンネル合成部１８０は、ステップＳ１０４で生成された行列Ｒ1と、入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ1による行列演算を行うことにより、中間信号ｚを生成する（ステップＳ１０６）。【０１２６】
さらに、マルチチャンネル合成部１８０は、ステップＳ１０４で生成された行列Ｒ2と、その中間信号ｚにより示される行列との積を算出することにより、つまり行列Ｒ2による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１０６）。【０１２７】
このように本実施の形態では、無相関信号が生成された後に、信号強度レベルの配分および残響の配分を示す行列Ｒ1および行列Ｒ2を用いた演算が行われるため、従来のように、信号強度レベルの配分を示す行列Ｒ1を用いた演算と残響の配分を示す行列Ｒ2を用いた演算とを、無相関信号の生成の前後で分けて行うことなく、これらの行列演算をまとめて行うことができる。その結果、演算負荷を軽減することができる。【０１２８】
ここで、本実施の形態におけるマルチチャンネル合成部１８０では、上述のように処理順序が変更されているため、図１０に示すマルチチャンネル合成部１８０の構成をさらに簡略化することができる。【０１２９】
図１２は、簡略化されたマルチチャンネル合成部１８０の構成を示すブロック図である。【０１３０】
このマルチチャンネル合成部１８０は、第１演算部１８２および第２演算部１８３の代わりに第３演算部１８６を備えるとともに、プレマトリックス処理部１８４およびポストマトリックス処理部１８５の代わりにマトリックス処理部１８７を備える。【０１３１】
マトリックス処理部１８７は、プレマトリックス処理部１８４とポストマトリックス処理部１８５とを統合して構成されており、行列式生成部１８７ａと内挿部１８７ｂとを備えている。【０１３２】
行列式生成部１８７ａは、バイノーラルキュー情報のチャンネル間レベル差ＩＩＤを用いて、ベクトル要素Ｒ1［１］〜Ｒ1［５］によって構成される上述の行列Ｒ1をバンド（ｐｓ，ｐｂ）ごとに生成する。さらに、行列式生成部１８７ａは、バイノーラルキュー情報のチャンネル間相関ＩＣＣからミキシング係数Ｈijを導出し、そのミキシング係数Ｈijから構成される上述の行列Ｒ2をバンド（ｐｓ，ｐｂ）ごとに生成する。【０１３３】
さらに、行列式生成部１８７ａは、上述のように生成された行列Ｒ1と行列Ｒ2との積を算出することで、その算出結果である行列Ｒ3を統合行列としてバンド（ｐｓ，ｐｂ）ごとに生成する。【０１３４】
内挿部１８７ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ3（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１８７ｂは、（ｎ，ｓｂ）ごとの行列Ｒ3（ｎ，ｓｂ）を生成する。このように内挿部１８７ｂは、複数のバンドの境界に渡る行列Ｒ3の遷移が滑らかであることを保証する。【０１３５】
第３演算部１８６は、（数１０）に示すように、無相関信号ｗ’および入力信号ｘにより示される行列と、行列Ｒ3との積を算出することにより、その算出結果を示す出力信号ｙを出力する。【０１３６】
【数１０】
2007029412.tif 000011
【０１３７】
このように本実施の形態では、内挿部１８７ｂにおける内挿回数（補間回数）は、従来の内挿部１２５１ｂおよび内挿部１２５２ｂにおける内挿回数（補間回数）と比較して略半分となり、第３演算部１８６における乗算回数（行列演算の回数）は、従来の第１演算部１２５３および第２演算部１２５５における乗算回数（行列演算の回数）と比較して略半分となる。つまり、本実施の形態では、行列Ｒ3を用いた行列演算を１回だけ行えば、入力信号ｘから複数のチャンネルのオーディオ信号が分離される。一方、本実施の形態では、行列式生成部１８７ａの処理が若干増加する。ところが、行列式生成部１８７ａにおけるバイノーラルキュー情報のバンド分解能（ｐｓ，ｐｂ）は、内挿部１８７ｂや第３演算部１８６において扱われるバンド分解能（ｎ，ｓｂ）よりも粗い。したがって、行列式生成部１８７ａの演算負荷は、内挿部１８７ｂや第３演算部１８６に比べて小さく、全体の演算負荷に占める割合は小さい。よって、マルチチャンネル合成部１８０の全体およびマルチチャンネル音響信号処理装置１００の全体の演算負荷を大幅に削減することができる。【０１３８】
図１３は、簡略化されたマルチチャンネル合成部１８０の動作を示すフローチャートである。【０１３９】
まず、マルチチャンネル合成部１８０は、入力信号ｘを取得して（ステップＳ１２０）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１２０）。また、マルチチャンネル合成部１８０は、バイノーラルキュー情報に基づいて、行列Ｒ1および行列Ｒ2の積を示す行列Ｒ3を生成する（ステップＳ１２４）。【０１４０】
そして、マルチチャンネル合成部１８０は、ステップＳ１２４で生成された行列Ｒ3と、入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ3による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１２６）。【０１４１】
（変形例１）
ここで本実施の形態における第１の変形例について説明する。【０１４２】
上記実施の形態におけるマルチチャンネル合成部１８０では、無相関信号生成部１８１が無相関信号ｗ’を入力信号ｘに対して遅延させて出力するため、第３演算部１８６において、演算の対象となる入力信号ｘと無相関信号ｗ'と行列Ｒ3を構成する行列Ｒ1との間でずれが生じて同期が取れない。なお、無相関信号ｗ'の遅延は、その無相関信号ｗ’の生成のために必然的に発生する。一方、従来例では、第１演算部１２５３において、演算の対象となる入力信号ｘと行列Ｒ1との間でずれは生じていない。【０１４３】
したがって、上記実施の形態におけるマルチチャンネル合成部１８０では、本来出力すべき理想的な出力信号ｙを出力することができない可能性がある。【０１４４】
図１４は、上記実施の形態におけるマルチチャンネル合成部１８０によって出力される信号を説明するための説明図である。【０１４５】
例えば、入力信号ｘは、図１４に示すように、時刻ｔ＝０から出力される。また、行列Ｒ3を構成する行列Ｒ1には、オーディオ信号Ｌに寄与する成分である行列Ｒ１Lと、オーディオ信号Ｒに寄与する成分である行列Ｒ１Rとが含まれている。例えば、行列Ｒ１Lおよび行列Ｒ１Rは、バイノーラルキュー情報に基づいて、図１４に示すように、時刻ｔ＝０以前ではオーディオ信号Ｒにレベルが大きく配分され、時刻ｔ＝０〜ｔ１の時間ではオーディオ信号Ｌにレベルが大きく配分され、時刻ｔ＝ｔ１以降ではオーディオ信号Ｒにレベルが大きく配分されるように設定されている。【０１４６】
ここで、従来のマルチチャンネル合成部１２４０では、入力信号ｘと上述の行列Ｒ1との間で同期が取れているため、入力信号ｘから行列Ｒ１Lと行列Ｒ１Rに応じて中間信号ｖが生成されると、オーディオ信号Ｌにレベルが大きく偏るような中間信号ｖが生成される。そして、この中間信号ｖに対して無相関信号ｗが生成される。その結果、入力信号ｘから、無相関信号生成部１２５４による無相関信号ｗの遅延時間ｔｄだけ遅れて、残響を含む出力信号ｙLがオーディオ信号Ｌとして出力され、オーディオ信号Ｒである出力信号ｙRは出力されない。このような出力信号ｙL，ｙRが理想的な出力の一例とされる。【０１４７】
一方、上記実施の形態におけるマルチチャンネル合成部１８０では、まず、入力信号ｘから遅延時間ｔｄだけ遅れて、残響を含む無相関信号ｗ’が出力される。ここで、第３演算部１８６によって扱われる行列Ｒ3には、上述の行列Ｒ1（行列Ｒ１Lおよび行列Ｒ１R）が含まれている。したがって、入力信号ｘと無相関信号ｗ’に行列Ｒ3を用いた行列演算が行われると、入力信号ｘ、無相関信号ｗ’および行列Ｒ1との間で同期が取れていないため、オーディオ信号Ｌである出力信号ｙLは、時刻ｔ＝ｔｄ〜ｔ１の間だけ出力され、オーディオ信号Ｒである出力信号ｙRは、時刻ｔ＝ｔ１以降に出力される。【０１４８】
このように、マルチチャンネル合成部１８０では、出力信号ｙLのみを出力すべきところ、出力信号ｙRも出力してしまう。即ち、チャンネルセパレーションの劣化が発生する。【０１４９】
そこで、本変形例にかかるマルチチャンネル合成部は、無相関信号ｗ’および行列Ｒ3に対する入力信号ｘの位相を調整する位相調整手段を備え、この位相調整手段は行列式生成部１８７ｄから出力される行列Ｒ3を遅延させる。【０１５０】
図１５は、本変形例に係るマルチチャンネル合成部の構成を示すブロック図である。【０１５１】
本変形例に係るマルチチャンネル合成部１８０ａは、無相関信号生成部１８１ａと、第３演算部１８６と、マトリックス処理部１８７ｃとを備えている。【０１５２】
無相関信号生成部１８１ａは、上述の無相関信号生成部１８１と同様の機能を有するとともに、無相関信号ｗ’のパラメータバンドｐｂにおける遅延量ＴＤ（ｐｂ）をマトリックス処理部１８７ｃに通知する。例えば、遅延量ＴＤ（ｐｂ）は、無相関信号ｗ’の入力信号ｘに対する遅延時間ｔｄと等しい。【０１５３】
マトリックス処理部１８７ｃは、行列式生成部１８７ｄと内挿部１８７ｂとを備えている。行列式生成部１８７ｄは、上述の行列式生成部１８７ａと同様の機能を有するとともに上述の位相調整手段を備え、無相関信号生成部１８１ａから通知された遅延量ＴＤ（ｐｂ）に応じた行列Ｒ3を生成する。つまり、行列式生成部１８７ｄは、（数１１）に示すような行列Ｒ3を生成する。【０１５４】
【数１１】
2007029412.tif 000012
【０１５５】
図１６は、本変形例に係るマルチチャンネル合成部１８０ａによって出力される信号を説明するための説明図である。【０１５６】
行列Ｒ3に含まれる行列Ｒ1（行列Ｒ１Lおよび行列Ｒ１R）は、入力信号ｘのパラメータバンドｐｂに対して遅延量ＴＤ（ｐｂ）だけ遅れて行列式生成部１８７ｄから生成される。【０１５７】
その結果、無相関信号ｗ’が入力信号ｘから遅延時間ｔｄだけ遅れて出力されても、行列Ｒ3に含まれる行列Ｒ1（行列Ｒ１Lおよび行列Ｒ１R）も遅延量ＴＤ（ｐｂ）だけ遅れている。したがって、このような行列Ｒ1と入力信号ｘと無相関信号ｗ’との間のずれを解消して同期を取ることができる。その結果、マルチチャンネル合成部１８０ａの第３演算部１８６は、出力信号ｙLのみを時刻ｔ＝ｔｄから出力して、出力信号ｙRを出力しない。つまり、第３演算部１８６は、理想的な出力信号ｙL，ｙRを出力することができる。したがって、本変形例では、チャンネルセパレーションの劣化を抑えることができる。【０１５８】
なお、本変形例では、遅延時間ｔｄ＝遅延量ＴＤ（ｐｂ）としたが、これらを異ならせてもよい。また、行列式生成部１８７ｄは、所定処理単位（例えば、バンド（ｐｓ，ｐｂ））ごとに行列Ｒ3を生成しているので、遅延量ＴＤ（ｐｂ）を、遅延時間ｔｄに最も近い、その所定処理単位の整数倍の処理に要する時間にしてもよい。【０１５９】
図１７は、本変形例に係るマルチチャンネル合成部１８０ａの動作を示すフローチャートである。【０１６０】
まず、マルチチャンネル合成部１８０ａは、入力信号ｘを取得して（ステップＳ１４０）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１４２）。また、マルチチャンネル合成部１８０ａは、バイノーラルキュー情報に基づいて、行列Ｒ1および行列Ｒ2の積を示す行列Ｒ3を、遅延量ＴＤ（ｐｂ）だけ遅延させて生成する（ステップＳ１４４）。言い換えれば、マルチチャンネル合成部１８０ａは、行列Ｒ3に含まれる行列Ｒ1を位相調整手段によって遅延量ＴＤ（ｐｂ）だけ遅延させる。【０１６１】
そして、マルチチャンネル合成部１８０ａは、ステップＳ１４４で生成された行列Ｒ3と、入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ3による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１４６）。【０１６２】
このように、本変形例では、行列Ｒ3に含まれる行列Ｒ1を遅延させることで、入力信号ｘの位相を調整するため、無相関信号ｗ’および入力信号ｘに対して、適切な行列Ｒ3を用いた演算を行うことができ、出力信号ｙを適切に出力することができる。【０１６３】
（変形例２）
ここで本実施の形態における第２の変形例について説明する。【０１６４】
本変形例に係るマルチチャンネル合成部は、上述の変形例１に係るマルチチャンネル合成部と同様に、無相関信号ｗ’および行列Ｒ3に対する入力信号ｘの位相を調整する位相調整手段を備える。そして、本変形例に係る位相調整手段は、入力信号ｘの第３演算部１８６への入力を遅延させる。これにより本変形例においても、上述と同様に、チャンネルセパレーションの劣化を抑えることができる。【０１６５】
図１８は、本変形例に係るマルチチャンネル合成部の構成を示すブロック図である。【０１６６】
本変形例に係るマルチチャンネル合成部１８０ｂは、入力信号ｘの第３演算部１８６への入力を遅延させる位相調整手段たる信号遅延部１８９を備えている。信号遅延部１８９は、例えば無相関信号生成部１８１の遅延時間ｔｄだけ入力信号ｘを遅延させる。【０１６７】
これにより、本変形例では、無相関信号ｗ’が入力信号ｘから遅延時間ｔｄだけ遅れて出力されても、入力信号ｘの第３遅延部１８６への入力も遅延時間ｔｄだけ遅延されるため、行列Ｒ3を構成する行列Ｒ1と入力信号ｘと無相関信号ｗ’との間のずれを解消して同期を取ることができる。その結果、マルチチャンネル合成部１８０ａの第３演算部１８６は、図１６に示すように、出力信号ｙLのみを時刻ｔ＝ｔｄから出力し、出力信号ｙRを出力しない。つまり、第３演算部１８６は、理想的な出力信号ｙL，ｙRを出力することができる。したがって、チャンネルセパレーションの劣化を抑えることができる。【０１６８】
なお、本変形例でも、遅延時間ｔｄ＝遅延量ＴＤ（ｐｂ）としたが、これらを異ならせてもよい。また、信号遅延部１８９が所定処理単位（例えば、バンド（ｐｓ，ｐｂ））ごとに遅延処理をしているような場合には、遅延量ＴＤ（ｐｂ）を、遅延時間ｔｄに最も近い、その所定処理単位の整数倍の処理に要する時間にしてもよい。【０１６９】
図１９は、本変形例に係るマルチチャンネル合成部１８０ｂの動作を示すフローチャートである。【０１７０】
まず、マルチチャンネル合成部１８０ｂは、入力信号ｘを取得して（ステップＳ１６０）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１６２）。さらに、マルチチャンネル合成部１８０ｂは入力信号ｘを遅延させる（ステップＳ１６４）。【０１７１】
また、マルチチャンネル合成部１８０ｂは、バイノーラルキュー情報に基づいて、行列Ｒ1および行列Ｒ2の積を示す行列Ｒ3を生成する（ステップＳ１６６）。【０１７２】
そして、マルチチャンネル合成部１８０ｂは、ステップＳ１６６で生成された行列Ｒ3と、ステップＳ１６４で遅延された入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ3による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１６８）。【０１７３】
このように、本変形例では、入力信号ｘを遅延させることで、入力信号ｘの位相を調整するため、無相関信号ｗ’および入力信号ｘに対して、適切な行列Ｒ3を用いた演算を行うことができ、出力信号ｙを適切に出力することができる。【０１７４】
以上、本発明に係るマルチチャンネル音響信号処理装置について、実施の形態およびその変形例を用いて説明したが、本発明は、これらに限定されるものではない。【０１７５】
例えば、変形例１および変形例２における位相調整手段は、予め定められた検知限度以上にプリエコーが発生する場合に限って、位相を調整してもよい。【０１７６】
つまり、上述の変形例１では、行列式生成部１８７ｄに含まれる位相調整手段が行列Ｒ3を遅延させ、上述の変形例２では、位相調整手段たる信号遅延部１８９が入力信号ｘを遅延させた。しかし、それらの位相遅延手段は、プリエコーが上記検知限度以上に発生する場合に限って遅延させてもよい。このプリエコーは、衝撃音の直前に発生するノイズであって、無相関信号ｗ’の遅延時間ｔｄに応じて発生しやすくなる。これにより、プリエコーが検知されるのを確実に防ぐことができる。【０１７７】
また、マルチチャンネル音響信号処理装置１００や、マルチチャンネル音響符号化部１００ａ、マルチチャンネル音響復号化部１００ｂ、マルチチャンネル合成部１８０，１８０ａ，１８０ｂ、さらにこれらに含まれる各構成要素を、ＬＳＩ（Large Scale Integration）などの集積回路によって構成してもよい。さらに、本発明は、これらの装置および各構成要素における動作をコンピュータに実行させるプログラムとしても実現することができる。
【産業上の利用可能性】
【０１７８】
本発明のマルチチャンネル音響信号処理装置は、演算負荷を軽減することができるという効果を奏し、例えば、ホームシアターシステム、車載音響システムおよび電子ゲームシステムなどに適用可能であり、特に放送等の低ビットレートの応用において有用である。
【図１】
2007029412.tif 000013
【図２】
2007029412.tif 000014
【図３】
2007029412.tif 000015
【図４】
2007029412.tif 000016
【図５】
2007029412.tif 000017
【図６】
2007029412.tif 000018
【図７】
2007029412.tif 000019
【図８】
2007029412.tif 000020
【図９】
2007029412.tif 000021
【図１０】
2007029412.tif 000022
【図１１】
2007029412.tif 000023
【図１２】
2007029412.tif 000024
【図１３】
2007029412.tif 000025
【図１４】
2007029412.tif 000026
【図１５】
2007029412.tif 000027
【図１６】
2007029412.tif 000028
【図１７】
2007029412.tif 000029
【図１８】
2007029412.tif 000030
【図１９】
2007029412.tif 000031
【手続補正書】
【提出日】平成20年2月8日(2008.2.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ｍチャンネル（ｍ＞１）のオーディオ信号がダウンミックスされて構成される入力信号から、前記ｍチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処理装置であって、
前記入力信号に対して残響処理を行うことにより、前記入力信号の示す音に残響が含まれるような音を示す無相関信号を生成する無相関信号生成手段と、
前記無相関信号生成手段により生成された無相関信号および前記入力信号に対して、信号強度レベルの配分および残響の配分を示す行列を用いた演算を行うことにより、前記ｍチャンネルのオーディオ信号を生成する行列演算手段と
を備えることを特徴とするマルチチャンネル音響信号処理装置。
【請求項２】
前記行列演算手段は、
前記信号強度レベルの配分を示すレベル配分行列と、前記残響の配分を示す残響調整行列との積を示す統合行列を生成するマトリックス生成手段と、
前記無相関信号および前記入力信号により示される行列と、前記マトリックス生成手段によって生成された統合行列との積を算出することにより、前記ｍチャンネルのオーディオ信号を生成する演算手段とを備える
ことを特徴とする請求項１記載のマルチチャンネル音響信号処理装置。
【請求項３】
前記マルチチャンネル音響信号処理装置は、さらに、
前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調整手段を備える
ことを特徴とする請求項２記載のマルチチャンネル音響信号処理装置。
【請求項４】
前記位相調整手段は、経時的に変化する前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項３記載のマルチチャンネル音響信号処理装置。
【請求項５】
前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項４記載のマルチチャンネル音響信号処理装置。
【請求項６】
前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間に最も近い、予め定められた処理単位の整数倍の処理に要する時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項４記載のマルチチャンネル音響信号処理装置。
【請求項７】
前記位相調整手段は、予め定められた検知限度以上にプリエコーが発生する場合に、前記位相を調整する
ことを特徴とする請求項３記載のマルチチャンネル音響信号処理装置。
【請求項８】
ｍチャンネル（ｍ＞１）のオーディオ信号がダウンミックスされて構成される入力信号から、前記ｍチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処理方法であって、
前記入力信号に対して残響処理を行うことにより、前記入力信号の示す音に残響が含まれるような音を示す無相関信号を生成する無相関信号生成ステップと、
前記無相関信号生成ステップで生成された無相関信号および前記入力信号に対して、信号強度レベルの配分および残響の配分を示す行列を用いた演算を行うことにより、前記ｍチャンネルのオーディオ信号を生成する行列演算ステップと
を含むことを特徴とするマルチチャンネル音響信号処理方法。
【請求項９】
前記行列演算ステップでは、
前記信号強度レベルの配分を示すレベル配分行列と、前記残響の配分を示す残響調整行列との積を示す統合行列を生成するマトリックス生成ステップと、
前記無相関信号および前記入力信号により示される行列と、前記マトリックス生成ステップで生成された統合行列との積を算出することにより、前記ｍチャンネルのオーディオ信号を生成する演算ステップとを含む
ことを特徴とする請求項８記載のマルチチャンネル音響信号処理方法。
【請求項１０】
前記マルチチャンネル音響信号処理方法は、さらに、
前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調整ステップを含む
ことを特徴とする請求項９記載のマルチチャンネル音響信号処理方法。
【請求項１１】
前記位相調整ステップでは、経時的に変化する前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項１０記載のマルチチャンネル音響信号処理方法。
【請求項１２】
前記位相調整ステップでは、前記無相関信号生成ステップで生成される前記無相関信号の遅延時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項１１記載のマルチチャンネル音響信号処理方法。
【請求項１３】
前記位相調整ステップでは、前記無相関信号生成ステップで生成される前記無相関信号の遅延時間に最も近い、予め定められた処理単位の整数倍の処理に要する時間だけ、前記統合行列または前記入力信号を遅延させる
ことを特徴とする請求項１１記載のマルチチャンネル音響信号処理方法。
【請求項１４】
前記位相調整ステップでは、予め定められた検知限度以上にプリエコーが発生する場合に、前記位相を調整する
ことを特徴とする請求項１０記載のマルチチャンネル音響信号処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のオーディオ信号をダウンミックスし、そのダウンミックスされた信号を元の複数のオーディオ信号に分離するマルチチャンネル音響信号処理装置に関する。
【背景技術】
【０００２】
従来より、複数のオーディオ信号をダウンミックスし、そのダウンミックスされた信号を元の複数のオーディオ信号に分離するマルチチャンネル音響信号処理装置が提供されている。
【０００３】
図１は、マルチチャンネル音響信号処理装置の構成を示すブロック図である。
【０００４】
マルチチャンネル音響信号処理装置１０００は、オーディオ信号の組に対する空間音響符号化を行って音響符号化信号を出力するマルチチャンネル音響符号化部１１００と、その音響符号化信号を復号化するマルチチャンネル音響復号化部１２００とを備えている。
【０００５】
マルチチャンネル音響符号化部１１００は、１０２４サンプルや２０４８サンプルなどによって示されるフレーム単位でオーディオ信号（例えば、２チャンネルのオーディオ信号Ｌ，Ｒ）を処理するものであって、ダウンミックス部１１１０と、バイノーラルキュー算出部１１２０と、オーディオエンコーダ部１１５０と、多重化部１１９０とを備えている。
【０００６】
ダウンミックス部１１１０は、２チャンネルのスペクトル表現されたオーディオ信号Ｌ，Ｒの平均をとることによって、つまり、Ｍ＝（Ｌ＋Ｒ）／２によって、オーディオ信号Ｌ，Ｒがダウンミックスされたダウンミックス信号Ｍを生成する。
【０００７】
バイノーラルキュー算出部１１２０は、スペクトルバンドごとに、オーディオ信号Ｌ，Ｒおよびダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍをオーディオ信号Ｌ，Ｒに戻すためのバイノーラルキュー情報を生成する。
【０００８】
バイノーラルキュー情報は、チャンネル間レベル差（inter-channel level/intensity difference）ＩＩＤ、チャンネル間相関（inter-channel coherence/correlation）ＩＣＣ、チャンネル間位相差（inter-channel phase/delay difference）ＩＰＤ、およびチャンネル予測係数（Channel Prediction Coefficients）ＣＰＣを示す。
【０００９】
一般に、チャンネル間レベル差ＩＩＤは、音のバランスや定位を制御するための情報であって、チャンネル間相関ＩＣＣは、音像の幅や拡散性を制御するための情報である。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。
【００１０】
スペクトル表現されたオーディオ信号Ｌ，Ｒおよびダウンミックス信号Ｍは、「パラメータバンド」からなる通常複数のグループに区分されている。したがって、バイノーラルキュー情報は、それぞれのパラメータバンド毎に算出される。なお、「バイノーラルキュー情報」と「空間パラメータ」という用語はしばしば同義的に用いられる。
【００１１】
オーディオエンコーダ部１１５０は、例えば、ＭＰ３（MPEG Audio Layer-3）や、ＡＡＣ（Advanced Audio Coding）などによって、ダウンミックス信号Ｍを圧縮符号化する。
【００１２】
多重化部１１９０は、ダウンミックス信号Ｍと、量子化されたバイノーラルキュー情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の音響符号化信号として出力する。
【００１３】
マルチチャンネル音響復号化部１２００は、逆多重化部１２１０と、オーディオデコーダ部１２２０と、分析フィルタ部１２３０と、マルチチャンネル合成部１２４０と、合成フィルタ部１２９０とを備えている。
【００１４】
逆多重化部１２１０は、上述のビットストリームを取得し、そのビットストリームから量子化されたバイノーラルキュー情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部１２１０は、量子化されたバイノーラルキュー情報を逆量子化して出力する。
【００１５】
オーディオデコーダ部１２２０は、符号化されたダウンミックス信号Ｍを復号化して分析フィルタ部１２３０に出力する。
【００１６】
分析フィルタ部１２３０は、ダウンミックス信号Ｍの表現形式を、時間／周波数ハイブリッド表現に変換して出力する。
【００１７】
マルチチャンネル合成部１２４０は、分析フィルタ部１２３０から出力されたダウンミックス信号Ｍと、逆多重化部１２１０から出力されたバイノーラルキュー情報とを取得する。そして、マルチチャンネル合成部１２４０は、そのバイノーラルキュー情報を用いて、ダウンミックス信号Ｍから、２つのオーディオ信号Ｌ，Ｒを時間／周波数ハイブリッド表現で復元する。
【００１８】
合成フィルタ部１２９０は、復元されたオーディオ信号の表現形式を、時間／周波数ハイブリッド表現から時間表現に変換し、その時間表現のオーディオ信号Ｌ，Ｒを出力する。
【００１９】
なお、上述では、２チャンネルのオーディオ信号を符号化して復号化する例を挙げてマルチチャンネル音響信号処理装置１０００を説明したが、マルチチャンネル音響信号処理装置１０００は、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化および復号化することもできる。
【００２０】
図２は、マルチチャンネル合成部１２４０の機能構成を示す機能ブロック図である。
【００２１】
マルチチャンネル合成部１２４０は、例えば、ダウンミックス信号Ｍを６つのチャンネルのオーディオ信号に分離する場合、第１分離部１２４１と、第２分離部１２４２と、第３分離部１２４３と、第４分離部１２４４と、第５分離部１２４５とを備える。なお、ダウンミックス信号Ｍは、聴取者の正面に配置されるスピーカに対する正面オーディオ信号Ｃと、視聴者の左前方に配置されるスピーカに対する左前オーディオ信号Ｌfと、視聴者の右前方に配置されるスピーカに対する右前オーディオ信号Ｒfと、視聴者の左横方に配置されるスピーカに対する左横オーディオ信号Ｌsと、視聴者の右横方に配置されるスピーカに対する右横オーディオ信号Ｒsと、低音出力用サブウーファースピーカに対する低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。
【００２２】
第１分離部１２４１は、ダウンミックス信号Ｍから第１ダウンミックス信号Ｍ1と第４ダウンミックス信号Ｍ4とを分離して出力する。第１ダウンミックス信号Ｍ1は、正面オーディオ信号Ｃと左前オーディオ信号Ｌfと右前オーディオ信号Ｒfと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。第４ダウンミックス信号Ｍ4は、左横オーディオ信号Ｌsと右横オーディオ信号Ｒsとがダウンミックスされて構成されている。
【００２３】
第２分離部１２４２は、第１ダウンミックス信号Ｍ1から第２ダウンミックス信号Ｍ2と第３ダウンミックス信号Ｍ3とを分離して出力する。第２ダウンミックス信号Ｍ2は、左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとがダウンミックスされて構成されている。第３ダウンミックス信号Ｍ3は、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとがダウンミックスされて構成されている。
【００２４】
第３分離部１２４３は、第２ダウンミックス信号Ｍ2から左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとを分離して出力する。
【００２５】
第４分離部１２４４は、第３ダウンミックス信号Ｍ3から正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとを分離して出力する。
【００２６】
第５分離部１２４５は、第４ダウンミックス信号Ｍ4から左横オーディオ信号Ｌsと右横オーディオ信号Ｒsとを分離して出力する。
【００２７】
このように、マルチチャンネル合成部１２４０は、マルチステージの方法によって、各分離部で１つの信号を２つの信号に分離し、単一のオーディオ信号が分離されるまで再帰的に信号の分離を繰り返す。
【００２８】
図３は、バイノーラルキュー算出部１１２０の構成を示すブロック図である。
【００２９】
バイノーラルキュー算出部１１２０は、第１レベル差算出部１１２１、第１位相差算出部１１２２および第１相関算出部１１２３と、第２レベル差算出部１１２４、第２位相差算出部１１２５および第２相関算出部１１２６と、第３レベル差算出部１１２７、第３位相差算出部１１２８および第３相関算出部１１２９と、第４レベル差算出部１１３０、第４位相差算出部１１３１および第４相関算出部１１３２と、第５レベル差算出部１１３３、第５位相差算出部１１３４および第５相関算出部１１３５と、加算器１１３６，１１３７，１１３８，１１３９とを備えている。
【００３０】
第１レベル差算出部１１２１は、左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとの間のレベル差を算出して、その算出結果であるチャンネル間レベル差ＩＩＤを示す信号を出力する。第１位相差算出部１１２２は、左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとの間の位相差を算出して、その算出結果であるチャンネル間位相差ＩＰＤを示す信号を出力する。第１相関算出部１１２３は、左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとの間の相関を算出して、その算出結果であるチャンネル間相関ＩＣＣを示す信号を出力する。加算器１１３６は、左前オーディオ信号Ｌfと右前オーディオ信号Ｒfとを加算して所定の係数を乗算することで、第２ダウンミックス信号Ｍ2を生成して出力する。
【００３１】
第２レベル差算出部１１２４、第２位相差算出部１１２５および第２相関算出部１１２６は、上述と同様に、左横オーディオ信号Ｌsと右横オーディオ信号Ｒsとの間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。加算器１１３７は、左横オーディオ信号Ｌsと右横オーディオ信号Ｒsとを加算して所定の係数を乗算することで、第３ダウンミックス信号Ｍ3を生成して出力する。
【００３２】
第３レベル差算出部１１２７、第３位相差算出部１１２８および第３相関算出部１１２９は、上述と同様に、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとの間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。加算器１１３８は、正面オーディオ信号Ｃと低域オーディオ信号ＬＦＥとを加算して所定の係数を乗算することで、第４ダウンミックス信号Ｍ4を生成して出力する。
【００３３】
第４レベル差算出部１１３０、第４位相差算出部１１３１および第４相関算出部１１３２は、上述と同様に、第２ダウンミックス信号Ｍ2と第３ダウンミックス信号Ｍ3との間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。加算器１１３９は、第２ダウンミックス信号Ｍ2と第３ダウンミックス信号Ｍ3とを加算して所定の係数を乗算することで、第１ダウンミックス信号Ｍ1を生成して出力する。
【００３４】
第５レベル差算出部１１３３、第５位相差算出部１１３４および第５相関算出部１１３５は、上述と同様に、第１ダウンミックス信号Ｍ1と第４ダウンミックス信号Ｍ4との間のチャンネル間レベル差ＩＩＤ、チャンネル間位相差ＩＰＤおよびチャンネル間相関ＩＣＣのそれぞれを示す信号を出力する。
【００３５】
図４は、マルチチャンネル合成部１２４０の構成を示す構成図である。
【００３６】
マルチチャンネル合成部１２４０は、プレマトリックス処理部１２５１と、ポストマトリックス処理部１２５２と、第１演算部１２５３および第２演算部１２５５と、無相関信号生成部１２５４とを備えている。
【００３７】
プレマトリックス処理部１２５１は、信号強度レベルの各チャンネルへの配分を示す行列Ｒ1を、バイノーラルキュー情報を用いて生成する。
【００３８】
例えば、プレマトリックス処理部１２５１は、ダウンミックス信号Ｍの信号強度レベルと、第１ダウンミックス信号Ｍ1、第２ダウンミックス信号Ｍ2、第３ダウンミックス信号Ｍ3および第４ダウンミックス信号Ｍ4の信号強度レベルとの比率を示すチャンネル間レベル差ＩＩＤを用いて、ベクトル要素Ｒ1［０］〜Ｒ1［４］によって構成される行列Ｒ1を生成する。
【００３９】
第１演算部１２５３は、分析フィルタ部１２３０から出力された時間／周波数ハイブリッド表現のダウンミックス信号Ｍを入力信号ｘとして取得し、例えば（数１）および（数２）に示すように、その入力信号ｘと行列Ｒ1との積を算出する。そして、第１演算部１２５３は、その行列演算結果を示す中間信号ｖを出力する。つまり、第１演算部１２５３は、分析フィルタ部１２３０から出力された時間／周波数ハイブリッド表現のダウンミックス信号Ｍから、４つのダウンミックス信号Ｍ1〜Ｍ4を分離する。
【００４０】
【数１】
2007029412.tif 000032
【００４１】
【数２】
2007029412.tif 000033
【００４２】
無相関信号生成部１２５４は、中間信号ｖに対してオールパスフィルタ処理を施すことによって、（数３）に示すように、無相関信号ｗを出力する。なお、無相関信号ｗの構成要素ＭrevおよびＭi,revは、ダウンミックス信号Ｍ，Ｍiに対して無相関処理が施された信号である。また、信号Ｍrevおよび信号Ｍi,revは、ダウンミックス信号Ｍ，Ｍiと同じエネルギーを有し、音が広がっているかのような印象を与える残響を含む。
【００４３】
【数３】
2007029412.tif 000034
【００４４】
図５は、無相関信号生成部１２５４の構成を示すブロック図である。
【００４５】
無相関信号生成部１２５４は、初期遅延部Ｄ１００と、オールパスフィルタＤ２００とを備えている。
【００４６】
初期遅延部Ｄ１００は、中間信号ｖを取得すると、その中間信号ｖを予め定められた時間だけ遅延させて、つまり位相を遅らせて、オールパスフィルタＤ２００に出力する。
【００４７】
オールパスフィルタＤ２００は、周波数―振幅特性には変化がなく、周波数−位相特性のみ変化させるオールパス特性を有し、ＩＩＲ（Infinite Impulse Response）フィルタとして構成されている。
【００４８】
このようなオールパスフィルタＤ２００は、乗算器Ｄ２０１〜Ｄ２０７と、遅延器Ｄ２２１〜Ｄ２２３と、加減算器Ｄ２１１〜Ｄ２２３とを備えている。
【００４９】
図６は、無相関信号生成部１２５４のインパルス応答を示す図である。
【００５０】
無相関信号生成部１２５４は、図６に示すように、時刻０にインパルス信号を取得しても、時刻ｔ１０まで信号を出力せずに遅延させ、時刻ｔ１０から次第に振幅が小さくなるような信号を残響として時刻ｔ１１まで出力する。つまり、このように無相関信号生成部１２５４から出力される信号Ｍrev，Ｍi,revは、ダウンミックス信号Ｍ，Ｍiの音に残響が付加された音を示す。
【００５１】
ポストマトリックス処理部１２５２は、残響の各チャンネルへの配分を示す行列Ｒ2を、バイノーラルキュー情報を用いて生成する。
【００５２】
例えば、ポストマトリックス処理部１２５２は、音像の幅や拡散性を示すチャンネル間相関ＩＣＣからミキシング係数Ｈijを導出し、そのミキシング係数Ｈijから構成される行列Ｒ2を生成する。
【００５３】
第２演算部１２５５は、無相関信号ｗと行列Ｒ2との積を算出し、その行列演算結果を示す出力信号ｙを出力する。つまり、第２演算部１２５５は、無相関信号ｗから、６つのオーディオ信号Ｌf，Ｒf，Ｌs，Ｒs，Ｃ，ＬＦＥを分離する。
【００５４】
例えば、図２に示すように、左前オーディオ信号Ｌfは、第２ダウンミックス信号Ｍ2から分離されるため、その左前オーディオ信号Ｌfの分離には、第２ダウンミックス信号Ｍ2と、それに対応する無相関信号ｗの構成要素Ｍ2,revとが用いられる。同様に、第２ダウンミックス信号Ｍ2は、第１ダウンミックス信号Ｍ1から分離されるため、その第２ダウンミックス信号Ｍ2の算出には、第１ダウンミックス信号Ｍ1と、それに対応する無相関信号ｗの構成要素Ｍ1,revとが用いられる。
【００５５】
したがって、左前オーディオ信号Ｌfは、下記の（数４）により示される。
【００５６】
【数４】
2007029412.tif 000035
【００５７】
ここで、（数４）中のＨij,Aは、第３分離部１２４３におけるミキシング係数であり、Ｈij,Dは、第２分離部１２４２におけるミキシング係数であり、Ｈij,Eは、第１分離部１２４１におけるミキシング係数である。（数４）に示す３つの数式は、以下の（数５）に示す一つのベクトル乗算式にまとめることができる。
【００５８】
【数５】
2007029412.tif 000036
【００５９】
左前オーディオ信号Ｌf以外の他のオーディオ信号Ｒf，Ｃ，ＬＦＥ，Ｌs，Ｒsも、上述のような行列と無相関信号ｗの行列との演算によって算出される。つまり、出力信号ｙは、下記の（数６）によって示される。
【００６０】
【数６】
2007029412.tif 000037
【００６１】
図７は、ダウンミックス信号を説明するための説明図である。
【００６２】
ダウンミックス信号は、通常、図７に示されるように時間／周波数ハイブリッド表現で表現される。つまり、ダウンミックス信号は、時間軸方向に沿って時間単位であるパラメータセットｐｓに分けられ、さらに、空間軸方向に沿ってサブバンド単位であるパラメータバンドｐｂに分けられて表現される。したがって、バイノーラルキュー情報は、バンド（ｐｓ，ｐｂ）ごとに算出される。また、プレマトリックス処理部１２５１およびポストマトリックス処理部１２５２はそれぞれ、バンド（ｐｓ，ｐｂ）ごとに行列Ｒ1（ｐｓ，ｐｂ）と行列Ｒ2（ｐｓ，ｐｂ）とを算出する。
【００６３】
図８は、プレマトリックス処理部１２５１およびポストマトリックス処理部１２５２の詳細な構成を示すブロック図である。
【００６４】
プレマトリックス処理部１２５１は、行列式生成部１２５１ａと内挿部１２５１ｂとを備えている。
【００６５】
行列式生成部１２５１ａは、バンド（ｐｓ，ｐｂ）ごとのバイノーラルキュー情報から、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ1（ｐｓ，ｐｂ）を生成する。
【００６６】
内挿部１２５１ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ1（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１２５１ｂは、（ｎ，ｓｂ）ごとの行列Ｒ1（ｎ，ｓｂ）を生成する。このように内挿部１２５１ｂは、複数のバンドの境界に渡る行列Ｒ1の遷移が滑らかであることを保証する。
【００６７】
ポストマトリックス処理部１２５２は、行列式生成部１２５２ａと内挿部１２５２ｂとを備えている。
【００６８】
行列式生成部１２５２ａは、バンド（ｐｓ，ｐｂ）ごとのバイノーラルキュー情報から、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ2（ｐｓ，ｐｂ）を生成する。
【００６９】
内挿部１２５２ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ2（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１２５２ｂは、（ｎ，ｓｂ）ごとの行列Ｒ2（ｎ，ｓｂ）を生成する。このように内挿部１２５２ｂは、複数のバンドの境界に渡る行列Ｒ2の遷移が滑らかであることを保証する。
【非特許文献１】Ｊ．  Ｈｅｒｒｅ、  ｅｔ  ａｌ、  “Ｔｈｅ  Ｒｅｆｅｒｅｎｃｅ  Ｍｏｄｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  ＭＰＥＧ  Ｓｐａｔｉａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ”、  １１８ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ、  Ｂａｒｃｅｌｏｎａ
【発明の開示】
【発明が解決しようとする課題】
【００７０】
しかしながら、従来のマルチチャンネル音響信号処理装置では演算負荷が多大であるという問題がある。
【００７１】
つまり、従来のマルチチャンネル合成部１２４０のプレマトリックス処理部１２５１、ポストマトリックス処理部１２５２、第１演算部１２５３、および第２演算部１２５５における演算負荷は多大なものとなる。
【００７２】
そこで、本発明は、かかる問題に鑑みてなされたものであって、演算負荷を軽減したマルチチャンネル音響信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００７３】
上記目的を達成するために、本発明に係るマルチチャンネル音響信号処理装置は、ｍチャンネル（ｍ＞１）のオーディオ信号がダウンミックスされて構成される入力信号から、前記ｍチャンネルのオーディオ信号を分離するマルチチャンネル音響信号処理装置であって、前記入力信号に対して残響処理を行うことにより、前記入力信号の示す音に残響が含まれるような音を示す無相関信号を生成する無相関信号生成手段と、前記無相関信号生成手段により生成された無相関信号および前記入力信号に対して、信号強度レベルの配分および残響の配分を示す行列を用いた演算を行うことにより、前記ｍチャンネルのオーディオ信号を生成する行列演算手段とを備えることを特徴とする。
【００７４】
これにより、無相関信号が生成された後に、信号強度レベルの配分および残響の配分を示す行列を用いた演算が行われるため、従来のように、信号強度レベルの配分を示す行列の演算と残響の配分を示す行列の演算とを、無相関信号の生成の前後で分けて行うことなく、これらの行列演算をまとめて行うことができる。その結果、演算負荷を軽減することができる。つまり、信号強度レベルの配分を行う処理が無相関信号の生成の後に行われて分離されたオーディオ信号と、信号強度レベルの配分を行う処理が無相関信号の生成の前に行われて分離されたオーディオ信号とは類似している。したがって、本発明では、近似計算を適用することにより、行列演算をまとめることができるのである。その結果、演算に用いられるメモリの容量を減らすことができ、装置の小型化を図ることができる。
【００７５】
また、前記行列演算手段は、前記信号強度レベルの配分を示すレベル配分行列と、前記残響の配分を示す残響調整行列との積を示す統合行列を生成するマトリックス生成手段と、前記無相関信号および前記入力信号により示される行列と、前記マトリックス生成手段によって生成された統合行列との積を算出することにより、前記ｍチャンネルのオーディオ信号を生成する演算手段とを備えることを特徴としてもよい。
【００７６】
これにより、統合行列を用いた行列演算を１回だけ行えば、入力信号からｍチャンネルのオーディオ信号が分離されるため、演算負荷を確実に軽減することができる。
【００７７】
また、前記マルチチャンネル音響信号処理装置は、さらに、前記無相関信号および統合行列に対する前記入力信号の位相を調整する位相調整手段を備えることを特徴としてもよい。例えば、前記位相調整手段は、経時的に変化する前記統合行列または前記入力信号を遅延させる。
【００７８】
これにより、無相関信号の生成に遅延が生じても、入力信号の位相が調整されるため、無相関信号および入力信号に対して、適切な統合行列を用いた演算を行うことができ、ｍチャンネルのオーディオ信号を適切に出力することができる。
【００７９】
また、前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間だけ、前記統合行列または前記入力信号を遅延させることを特徴としてもよい。または、前記位相調整手段は、前記無相関信号生成手段により生成される前記無相関信号の遅延時間に最も近い、予め定められた処理単位の整数倍の処理に要する時間だけ、前記統合行列または前記入力信号を遅延させることを特徴としてもよい。
【００８０】
これにより、統合行列または入力信号の遅延量が、無相関信号の遅延時間と略等しくなるため、無相関信号および入力信号に対して、より適切な統合行列を用いた演算を行うことができ、ｍチャンネルのオーディオ信号をより適切に出力することができる。
【００８１】
また、前記位相調整手段は、予め定められた検知限度以上にプリエコーが発生する場合に、前記位相を調整することを特徴としてもよい。
【００８２】
これにより、プリエコーが検知されるのを確実に防ぐことができる。
【００８３】
なお、本発明は、このようなマルチチャンネル音響信号処理装置として実現することができるだけでなく、集積回路や、方法、プログラム、そのプログラムを格納する記憶媒体としても実現することができる。
【発明の効果】
【００８４】
本発明のマルチチャンネル音響信号処理装置は、演算負荷を軽減することができるという作用効果を奏する。つまり、本発明では、ビットストリームシンタクスの変形や、認識可能なほどの音質の低下を引き起こすことなく、マルチチャンネル音響デコーダの処理の複雑性を軽減することができる。
【発明を実施するための最良の形態】
【００８５】
以下、本発明の実施の形態におけるマルチチャンネル音響信号処理装置について図面を参照しながら説明する。
【００８６】
図９は、本発明の実施の形態におけるマルチチャンネル音響信号処理装置の構成を示すブロック図である。
【００８７】
本実施の形態におけるマルチチャンネル音響信号処理装置１００は、演算負荷を軽減したものであって、オーディオ信号の組に対する空間音響符号化を行って音響符号化信号を出力するマルチチャンネル音響符号化部１００ａと、その音響符号化信号を復号化するマルチチャンネル音響復号化部１００ｂとを備えている。
【００８８】
マルチチャンネル音響符号化部１００ａは、１０２４サンプルや２０４８サンプルなどによって示されるフレーム単位で入力信号（例えば、入力信号Ｌ，Ｒ）を処理するものであって、ダウンミックス部１１０と、バイノーラルキュー算出部１２０と、オーディオエンコーダ部１３０と、多重化部１４０とを備えている。
【００８９】
ダウンミックス部１１０は、２チャンネルのスペクトル表現されたオーディオ信号Ｌ，Ｒの平均をとることによって、つまり、Ｍ＝（Ｌ＋Ｒ）／２によって、オーディオ信号Ｌ，Ｒがダウンミックスされたダウンミックス信号Ｍを生成する。
【００９０】
バイノーラルキュー算出部１２０は、スペクトルバンドごとに、オーディオ信号Ｌ，Ｒおよびダウンミックス信号Ｍを比較することによって、ダウンミックス信号Ｍをオーディオ信号Ｌ，Ｒに戻すためのバイノーラルキュー情報を生成する。
【００９１】
バイノーラルキュー情報は、チャンネル間レベル差（inter-channel level/intensity difference）ＩＩＤ、チャンネル間相関（inter-channel coherence/correlation）ＩＣＣ、チャンネル間位相差（inter-channel phase/delay difference）ＩＰＤ、およびチャンネル予測係数（Channel Prediction Coefficients）ＣＰＣを示す。
【００９２】
一般に、チャンネル間レベル差ＩＩＤは、音のバランスや定位を制御するための情報であって、チャンネル間相関ＩＣＣは、音像の幅や拡散性を制御するための情報である。これらは、共に聴き手が聴覚的情景を頭の中で構成するのを助ける空間パラメータである。
【００９３】
スペクトル表現されたオーディオ信号Ｌ，Ｒおよびダウンミックス信号Ｍは、「パラメータバンド」からなる通常複数のグループに区分されている。したがって、バイノーラルキュー情報は、それぞれのパラメータバンド毎に算出される。なお、「バイノーラルキュー情報」と「空間パラメータ」という用語はしばしば同義的に用いられる。
【００９４】
オーディオエンコーダ部１３０は、例えば、ＭＰ３（MPEG Audio Layer-3）や、ＡＡＣ（Advanced Audio Coding）などによって、ダウンミックス信号Ｍを圧縮符号化する。
【００９５】
多重化部１４０は、ダウンミックス信号Ｍと、量子化されたバイノーラルキュー情報とを多重化することによりビットストリームを生成し、そのビットストリームを上述の音響符号化信号として出力する。
【００９６】
マルチチャンネル音響復号化部１００ｂは、逆多重化部１５０と、オーディオデコーダ部１６０と、分析フィルタ部１７０と、マルチチャンネル合成部１８０と、合成フィルタ部１９０とを備えている。
【００９７】
逆多重化部１５０は、上述のビットストリームを取得し、そのビットストリームから量子化されたバイノーラルキュー情報と、符号化されたダウンミックス信号Ｍとを分離して出力する。なお、逆多重化部１５０は、量子化されたバイノーラルキュー情報を逆量子化して出力する。
【００９８】
オーディオデコーダ部１６０は、符号化されたダウンミックス信号Ｍを復号化して分析フィルタ部１７０に出力する。
【００９９】
分析フィルタ部１７０は、ダウンミックス信号Ｍの表現形式を、時間／周波数ハイブリッド表現に変換して出力する。
【０１００】
マルチチャンネル合成部１８０は、分析フィルタ部１７０から出力されたダウンミックス信号Ｍと、逆多重化部１５０から出力されたバイノーラルキュー情報とを取得する。そして、マルチチャンネル合成部１８０は、そのバイノーラルキュー情報を用いて、ダウンミックス信号Ｍから、２つのオーディオ信号Ｌ，Ｒを時間／周波数ハイブリッド表現で復元する。
【０１０１】
合成フィルタ部１９０は、復元されたオーディオ信号の表現形式を、時間／周波数ハイブリッド表現から時間表現に変換し、その時間表現のオーディオ信号Ｌ，Ｒを出力する。
【０１０２】
なお、上述では、２チャンネルのオーディオ信号を符号化して復号化する例を挙げて本実施の形態のマルチチャンネル音響信号処理装置１００を説明したが、本実施の形態のマルチチャンネル音響信号処理装置１００は、２チャンネルよりも多いチャンネルのオーディオ信号（例えば、５．１チャンネル音源を構成する、６つのチャンネルのオーディオ信号）を、符号化および復号化することもできる。
【０１０３】
ここで本実施の形態では、マルチチャンネル音響復号化部１００ｂのマルチチャンネル合成部１８０に特徴がある。
【０１０４】
図１０は、本発明の実施の形態におけるマルチチャンネル合成部１８０の構成を示すブロック図である。
【０１０５】
本実施の形態におけるマルチチャンネル合成部１８０は、演算負荷を軽減したものであって、無相関信号生成部１８１と、第１演算部１８２と、第２演算部１８３と、プレマトリックス処理部１８４と、ポストマトリックス処理部１８５とを備えている。
【０１０６】
無相関信号生成部１８１は、上述の無相関信号生成部１２５４と同様に構成され、オールパスフィルタＤ２００などを備えている。このような無相関信号生成部１８１は、時間／周波数ハイブリッド表現のダウンミックス信号Ｍを入力信号ｘとして取得する。そして、無相関信号生成部１８１は、その入力信号ｘに対して残響処理を行なうことにより、その入力信号ｘの示す音に残響が含まれるような音を示す無相関信号ｗ’を生成して出力する。つまり、無相関信号生成部１８１は、入力信号ｘを示すベクトルをｘ＝（Ｍ，Ｍ，Ｍ，Ｍ，Ｍ）として、（数７）に示すように無相関信号ｗ’を生成する。なお、無相関信号ｗ’は、入力信号ｘに対して相互相関が低い信号である。
【０１０７】
【数７】
2007029412.tif 000038
【０１０８】
プレマトリックス処理部１８４は、行列式生成部１８４ａと内挿部１８４ｂとを備え、バイノーラルキュー情報を取得し、そのバイノーラルキュー情報を用いて、信号強度レベルの各チャンネルへの配分を示す行列Ｒ1を生成する。
【０１０９】
行列式生成部１８４ａは、バイノーラルキュー情報のチャンネル間レベル差ＩＩＤを用いて、ベクトル要素Ｒ1［１］〜Ｒ1［５］によって構成される上述の行列Ｒ1をバンド（ｐｓ，ｐｂ）ごとに生成する。つまり、行列Ｒ1は時間経過に伴って変化する。
【０１１０】
内挿部１８４ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ1（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１８４ｂは、（ｎ，ｓｂ）ごとの行列Ｒ1（ｎ，ｓｂ）を生成する。このように内挿部１８４ｂは、複数のバンドの境界に渡る行列Ｒ1の遷移が滑らかであることを保証する。
【０１１１】
第１演算部１８２は、無相関信号ｗ’の行列と行列Ｒ1との積を算出することにより、（数８）に示すように中間信号ｚを生成して出力する。
【０１１２】
【数８】
2007029412.tif 000039
【０１１３】
ポストマトリックス処理部１８５は、行列式生成部１８５ａと内挿部１８５ｂとを備え、バイノーラルキュー情報を取得し、そのバイノーラルキュー情報を用いて、残響の各チャンネルへの配分を示す行列Ｒ2を生成する。
【０１１４】
行列式生成部１８５ａは、バイノーラルキュー情報のチャンネル間相関ＩＣＣからミキシング係数Ｈijを導出し、そのミキシング係数Ｈijから構成される上述の行列Ｒ2をバンド（ｐｓ，ｐｂ）ごとに生成する。つまり、行列Ｒ2は時間経過に伴って変化する。
【０１１５】
内挿部１８５ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ2（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１８５ｂは、（ｎ，ｓｂ）ごとの行列Ｒ2（ｎ，ｓｂ）を生成する。このように内挿部１８５ｂは、複数のバンドの境界に渡る行列Ｒ2の遷移が滑らかであることを保証する。
【０１１６】
第２演算部１８３は、（数９）に示すように、中間信号ｚの行列と行列Ｒ2との積を算出し、その演算結果を示す出力信号ｙを出力する。つまり、第２演算部１８３は、中間信号ｚから、６つのオーディオ信号Ｌf，Ｒf，Ｌs，Ｒs，Ｃ，ＬＦＥを分離する。
【０１１７】
【数９】
2007029412.tif 000040
【０１１８】
このように本実施の形態では、入力信号ｘに対して無相関信号ｗ’が生成されて、その無相関信号ｗ’に対して行列Ｒ1を用いた行列演算が行われる。つまり、従来では、入力信号ｘに対して行列Ｒ1を用いた行列演算が行われて、その演算結果である中間信号ｖに対して無相関信号ｗが生成されるが、本実施の形態では、その逆の順序で処理が行われる。
【０１１９】
しかし、このように処理順序を逆にしても、（数８）に示すＲ1ｄｅｃｏｒｒ（ｘ）が、（数３）に示すｄｅｃｏｒｒ（ｖ）つまりｄｅｃｏｒｒ（Ｒ1ｘ）に略等しいことが経験上分かっている。即ち、本実施の形態における第２演算部１８３で行列Ｒ2の行列演算の対象とされる中間信号ｚは、従来の第２演算部１２５５で行列Ｒ2の行列演算の対象とされる無相関信号ｗと略等しい。
【０１２０】
したがって、本実施の形態のように、処理順序を従来と逆にしても、マルチチャンネル合成部１８０は、従来と同様の出力信号ｙを出力することができる。
【０１２１】
図１１は、本実施の形態におけるマルチチャンネル合成部１８０の動作を示すフローチャートである。
【０１２２】
まず、マルチチャンネル合成部１８０は、入力信号ｘを取得して（ステップＳ１００）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１０２）。また、マルチチャンネル合成部１８０は、バイノーラルキュー情報に基づいて行列Ｒ1および行列Ｒ2を生成する（ステップＳ１０４）。
【０１２３】
そして、マルチチャンネル合成部１８０は、ステップＳ１０４で生成された行列Ｒ1と、入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ1による行列演算を行うことにより、中間信号ｚを生成する（ステップＳ１０６）。
【０１２４】
さらに、マルチチャンネル合成部１８０は、ステップＳ１０４で生成された行列Ｒ2と、その中間信号ｚにより示される行列との積を算出することにより、つまり行列Ｒ2による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１０６）。
【０１２５】
このように本実施の形態では、無相関信号が生成された後に、信号強度レベルの配分および残響の配分を示す行列Ｒ1および行列Ｒ2を用いた演算が行われるため、従来のように、信号強度レベルの配分を示す行列Ｒ1を用いた演算と残響の配分を示す行列Ｒ2を用いた演算とを、無相関信号の生成の前後で分けて行うことなく、これらの行列演算をまとめて行うことができる。その結果、演算負荷を軽減することができる。
【０１２６】
ここで、本実施の形態におけるマルチチャンネル合成部１８０では、上述のように処理順序が変更されているため、図１０に示すマルチチャンネル合成部１８０の構成をさらに簡略化することができる。
【０１２７】
図１２は、簡略化されたマルチチャンネル合成部１８０の構成を示すブロック図である。
【０１２８】
このマルチチャンネル合成部１８０は、第１演算部１８２および第２演算部１８３の代わりに第３演算部１８６を備えるとともに、プレマトリックス処理部１８４およびポストマトリックス処理部１８５の代わりにマトリックス処理部１８７を備える。
【０１２９】
マトリックス処理部１８７は、プレマトリックス処理部１８４とポストマトリックス処理部１８５とを統合して構成されており、行列式生成部１８７ａと内挿部１８７ｂとを備えている。
【０１３０】
行列式生成部１８７ａは、バイノーラルキュー情報のチャンネル間レベル差ＩＩＤを用いて、ベクトル要素Ｒ1［１］〜Ｒ1［５］によって構成される上述の行列Ｒ1をバンド（ｐｓ，ｐｂ）ごとに生成する。さらに、行列式生成部１８７ａは、バイノーラルキュー情報のチャンネル間相関ＩＣＣからミキシング係数Ｈijを導出し、そのミキシング係数Ｈijから構成される上述の行列Ｒ2をバンド（ｐｓ，ｐｂ）ごとに生成する。
【０１３１】
さらに、行列式生成部１８７ａは、上述のように生成された行列Ｒ1と行列Ｒ2との積を算出することで、その算出結果である行列Ｒ3を統合行列としてバンド（ｐｓ，ｐｂ）ごとに生成する。
【０１３２】
内挿部１８７ｂは、バンド（ｐｓ，ｐｂ）ごとの行列Ｒ3（ｐｓ，ｐｂ）を、周波数高分解能時間インデックスｎ、およびハイブリッド表現の入力信号ｘのサブ・サブバンドインデックスｓｂに従ってマッピング、つまり内挿する。その結果、内挿部１８７ｂは、（ｎ，ｓｂ）ごとの行列Ｒ3（ｎ，ｓｂ）を生成する。このように内挿部１８７ｂは、複数のバンドの境界に渡る行列Ｒ3の遷移が滑らかであることを保証する。
【０１３３】
第３演算部１８６は、（数１０）に示すように、無相関信号ｗ’および入力信号ｘにより示される行列と、行列Ｒ3との積を算出することにより、その算出結果を示す出力信号ｙを出力する。
【０１３４】
【数１０】
2007029412.tif 000041
【０１３５】
このように本実施の形態では、内挿部１８７ｂにおける内挿回数（補間回数）は、従来の内挿部１２５１ｂおよび内挿部１２５２ｂにおける内挿回数（補間回数）と比較して略半分となり、第３演算部１８６における乗算回数（行列演算の回数）は、従来の第１演算部１２５３および第２演算部１２５５における乗算回数（行列演算の回数）と比較して略半分となる。つまり、本実施の形態では、行列Ｒ3を用いた行列演算を１回だけ行えば、入力信号ｘから複数のチャンネルのオーディオ信号が分離される。一方、本実施の形態では、行列式生成部１８７ａの処理が若干増加する。ところが、行列式生成部１８７ａにおけるバイノーラルキュー情報のバンド分解能（ｐｓ，ｐｂ）は、内挿部１８７ｂや第３演算部１８６において扱われるバンド分解能（ｎ，ｓｂ）よりも粗い。したがって、行列式生成部１８７ａの演算負荷は、内挿部１８７ｂや第３演算部１８６に比べて小さく、全体の演算負荷に占める割合は小さい。よって、マルチチャンネル合成部１８０の全体およびマルチチャンネル音響信号処理装置１００の全体の演算負荷を大幅に削減することができる。
【０１３６】
図１３は、簡略化されたマルチチャンネル合成部１８０の動作を示すフローチャートである。
【０１３７】
まず、マルチチャンネル合成部１８０は、入力信号ｘを取得して（ステップＳ１２０）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１２０）。また、マルチチャンネル合成部１８０は、バイノーラルキュー情報に基づいて、行列Ｒ1および行列Ｒ2の積を示す行列Ｒ3を生成する（ステップＳ１２４）。
【０１３８】
そして、マルチチャンネル合成部１８０は、ステップＳ１２４で生成された行列Ｒ3と、入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ3による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１２６）。
【０１３９】
（変形例１）
ここで本実施の形態における第１の変形例について説明する。
【０１４０】
上記実施の形態におけるマルチチャンネル合成部１８０では、無相関信号生成部１８１が無相関信号ｗ’を入力信号ｘに対して遅延させて出力するため、第３演算部１８６において、演算の対象となる入力信号ｘと無相関信号ｗ'と行列Ｒ3を構成する行列Ｒ1との間でずれが生じて同期が取れない。なお、無相関信号ｗ'の遅延は、その無相関信号ｗ’の生成のために必然的に発生する。一方、従来例では、第１演算部１２５３において、演算の対象となる入力信号ｘと行列Ｒ1との間でずれは生じていない。
【０１４１】
したがって、上記実施の形態におけるマルチチャンネル合成部１８０では、本来出力すべき理想的な出力信号ｙを出力することができない可能性がある。
【０１４２】
図１４は、上記実施の形態におけるマルチチャンネル合成部１８０によって出力される信号を説明するための説明図である。
【０１４３】
例えば、入力信号ｘは、図１４に示すように、時刻ｔ＝０から出力される。また、行列Ｒ3を構成する行列Ｒ1には、オーディオ信号Ｌに寄与する成分である行列Ｒ１Lと、オーディオ信号Ｒに寄与する成分である行列Ｒ１Rとが含まれている。例えば、行列Ｒ１Lおよび行列Ｒ１Rは、バイノーラルキュー情報に基づいて、図１４に示すように、時刻ｔ＝０以前ではオーディオ信号Ｒにレベルが大きく配分され、時刻ｔ＝０〜ｔ１の時間ではオーディオ信号Ｌにレベルが大きく配分され、時刻ｔ＝ｔ１以降ではオーディオ信号Ｒにレベルが大きく配分されるように設定されている。
【０１４４】
ここで、従来のマルチチャンネル合成部１２４０では、入力信号ｘと上述の行列Ｒ1との間で同期が取れているため、入力信号ｘから行列Ｒ１Lと行列Ｒ１Rに応じて中間信号ｖが生成されると、オーディオ信号Ｌにレベルが大きく偏るような中間信号ｖが生成される。そして、この中間信号ｖに対して無相関信号ｗが生成される。その結果、入力信号ｘから、無相関信号生成部１２５４による無相関信号ｗの遅延時間ｔｄだけ遅れて、残響を含む出力信号ｙLがオーディオ信号Ｌとして出力され、オーディオ信号Ｒである出力信号ｙRは出力されない。このような出力信号ｙL，ｙRが理想的な出力の一例とされる。
【０１４５】
一方、上記実施の形態におけるマルチチャンネル合成部１８０では、まず、入力信号ｘから遅延時間ｔｄだけ遅れて、残響を含む無相関信号ｗ’が出力される。ここで、第３演算部１８６によって扱われる行列Ｒ3には、上述の行列Ｒ1（行列Ｒ１Lおよび行列Ｒ１R）が含まれている。したがって、入力信号ｘと無相関信号ｗ’に行列Ｒ3を用いた行列演算が行われると、入力信号ｘ、無相関信号ｗ’および行列Ｒ1との間で同期が取れていないため、オーディオ信号Ｌである出力信号ｙLは、時刻ｔ＝ｔｄ〜ｔ１の間だけ出力され、オーディオ信号Ｒである出力信号ｙRは、時刻ｔ＝ｔ１以降に出力される。
【０１４６】
このように、マルチチャンネル合成部１８０では、出力信号ｙLのみを出力すべきところ、出力信号ｙRも出力してしまう。即ち、チャンネルセパレーションの劣化が発生する。
【０１４７】
そこで、本変形例にかかるマルチチャンネル合成部は、無相関信号ｗ’および行列Ｒ3に対する入力信号ｘの位相を調整する位相調整手段を備え、この位相調整手段は行列式生成部１８７ｄから出力される行列Ｒ3を遅延させる。
【０１４８】
図１５は、本変形例に係るマルチチャンネル合成部の構成を示すブロック図である。
【０１４９】
本変形例に係るマルチチャンネル合成部１８０ａは、無相関信号生成部１８１ａと、第３演算部１８６と、マトリックス処理部１８７ｃとを備えている。
【０１５０】
無相関信号生成部１８１ａは、上述の無相関信号生成部１８１と同様の機能を有するとともに、無相関信号ｗ’のパラメータバンドｐｂにおける遅延量ＴＤ（ｐｂ）をマトリックス処理部１８７ｃに通知する。例えば、遅延量ＴＤ（ｐｂ）は、無相関信号ｗ’の入力信号ｘに対する遅延時間ｔｄと等しい。
【０１５１】
マトリックス処理部１８７ｃは、行列式生成部１８７ｄと内挿部１８７ｂとを備えている。行列式生成部１８７ｄは、上述の行列式生成部１８７ａと同様の機能を有するとともに上述の位相調整手段を備え、無相関信号生成部１８１ａから通知された遅延量ＴＤ（ｐｂ）に応じた行列Ｒ3を生成する。つまり、行列式生成部１８７ｄは、（数１１）に示すような行列Ｒ3を生成する。
【０１５２】
【数１１】
2007029412.tif 000042
【０１５３】
図１６は、本変形例に係るマルチチャンネル合成部１８０ａによって出力される信号を説明するための説明図である。
【０１５４】
行列Ｒ3に含まれる行列Ｒ1（行列Ｒ１Lおよび行列Ｒ１R）は、入力信号ｘのパラメータバンドｐｂに対して遅延量ＴＤ（ｐｂ）だけ遅れて行列式生成部１８７ｄから生成される。
【０１５５】
その結果、無相関信号ｗ’が入力信号ｘから遅延時間ｔｄだけ遅れて出力されても、行列Ｒ3に含まれる行列Ｒ1（行列Ｒ１Lおよび行列Ｒ１R）も遅延量ＴＤ（ｐｂ）だけ遅れている。したがって、このような行列Ｒ1と入力信号ｘと無相関信号ｗ’との間のずれを解消して同期を取ることができる。その結果、マルチチャンネル合成部１８０ａの第３演算部１８６は、出力信号ｙLのみを時刻ｔ＝ｔｄから出力して、出力信号ｙRを出力しない。つまり、第３演算部１８６は、理想的な出力信号ｙL，ｙRを出力することができる。したがって、本変形例では、チャンネルセパレーションの劣化を抑えることができる。
【０１５６】
なお、本変形例では、遅延時間ｔｄ＝遅延量ＴＤ（ｐｂ）としたが、これらを異ならせてもよい。また、行列式生成部１８７ｄは、所定処理単位（例えば、バンド（ｐｓ，ｐｂ））ごとに行列Ｒ3を生成しているので、遅延量ＴＤ（ｐｂ）を、遅延時間ｔｄに最も近い、その所定処理単位の整数倍の処理に要する時間にしてもよい。
【０１５７】
図１７は、本変形例に係るマルチチャンネル合成部１８０ａの動作を示すフローチャートである。
【０１５８】
まず、マルチチャンネル合成部１８０ａは、入力信号ｘを取得して（ステップＳ１４０）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１４２）。また、マルチチャンネル合成部１８０ａは、バイノーラルキュー情報に基づいて、行列Ｒ1および行列Ｒ2の積を示す行列Ｒ3を、遅延量ＴＤ（ｐｂ）だけ遅延させて生成する（ステップＳ１４４）。言い換えれば、マルチチャンネル合成部１８０ａは、行列Ｒ3に含まれる行列Ｒ1を位相調整手段によって遅延量ＴＤ（ｐｂ）だけ遅延させる。
【０１５９】
そして、マルチチャンネル合成部１８０ａは、ステップＳ１４４で生成された行列Ｒ3と、入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ3による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１４６）。
【０１６０】
このように、本変形例では、行列Ｒ3に含まれる行列Ｒ1を遅延させることで、入力信号ｘの位相を調整するため、無相関信号ｗ’および入力信号ｘに対して、適切な行列Ｒ3を用いた演算を行うことができ、出力信号ｙを適切に出力することができる。
【０１６１】
（変形例２）
ここで本実施の形態における第２の変形例について説明する。
【０１６２】
本変形例に係るマルチチャンネル合成部は、上述の変形例１に係るマルチチャンネル合成部と同様に、無相関信号ｗ’および行列Ｒ3に対する入力信号ｘの位相を調整する位相調整手段を備える。そして、本変形例に係る位相調整手段は、入力信号ｘの第３演算部１８６への入力を遅延させる。これにより本変形例においても、上述と同様に、チャンネルセパレーションの劣化を抑えることができる。
【０１６３】
図１８は、本変形例に係るマルチチャンネル合成部の構成を示すブロック図である。
【０１６４】
本変形例に係るマルチチャンネル合成部１８０ｂは、入力信号ｘの第３演算部１８６への入力を遅延させる位相調整手段たる信号遅延部１８９を備えている。信号遅延部１８９は、例えば無相関信号生成部１８１の遅延時間ｔｄだけ入力信号ｘを遅延させる。
【０１６５】
これにより、本変形例では、無相関信号ｗ’が入力信号ｘから遅延時間ｔｄだけ遅れて出力されても、入力信号ｘの第３遅延部１８６への入力も遅延時間ｔｄだけ遅延されるため、行列Ｒ3を構成する行列Ｒ1と入力信号ｘと無相関信号ｗ’との間のずれを解消して同期を取ることができる。その結果、マルチチャンネル合成部１８０ａの第３演算部１８６は、図１６に示すように、出力信号ｙLのみを時刻ｔ＝ｔｄから出力し、出力信号ｙRを出力しない。つまり、第３演算部１８６は、理想的な出力信号ｙL，ｙRを出力することができる。したがって、チャンネルセパレーションの劣化を抑えることができる。
【０１６６】
なお、本変形例でも、遅延時間ｔｄ＝遅延量ＴＤ（ｐｂ）としたが、これらを異ならせてもよい。また、信号遅延部１８９が所定処理単位（例えば、バンド（ｐｓ，ｐｂ））ごとに遅延処理をしているような場合には、遅延量ＴＤ（ｐｂ）を、遅延時間ｔｄに最も近い、その所定処理単位の整数倍の処理に要する時間にしてもよい。
【０１６７】
図１９は、本変形例に係るマルチチャンネル合成部１８０ｂの動作を示すフローチャートである。
【０１６８】
まず、マルチチャンネル合成部１８０ｂは、入力信号ｘを取得して（ステップＳ１６０）、その入力信号ｘに対する無相関信号ｗ’を生成する（ステップＳ１６２）。さらに、マルチチャンネル合成部１８０ｂは入力信号ｘを遅延させる（ステップＳ１６４）。
【０１６９】
また、マルチチャンネル合成部１８０ｂは、バイノーラルキュー情報に基づいて、行列Ｒ1および行列Ｒ2の積を示す行列Ｒ3を生成する（ステップＳ１６６）。
【０１７０】
そして、マルチチャンネル合成部１８０ｂは、ステップＳ１６６で生成された行列Ｒ3と、ステップＳ１６４で遅延された入力信号ｘおよび無相関信号ｗ’により示される行列との積を算出することにより、つまり行列Ｒ3による行列演算を行うことにより、出力信号ｙを生成する（ステップＳ１６８）。
【０１７１】
このように、本変形例では、入力信号ｘを遅延させることで、入力信号ｘの位相を調整するため、無相関信号ｗ’および入力信号ｘに対して、適切な行列Ｒ3を用いた演算を行うことができ、出力信号ｙを適切に出力することができる。
【０１７２】
以上、本発明に係るマルチチャンネル音響信号処理装置について、実施の形態およびその変形例を用いて説明したが、本発明は、これらに限定されるものではない。
【０１７３】
例えば、変形例１および変形例２における位相調整手段は、予め定められた検知限度以上にプリエコーが発生する場合に限って、位相を調整してもよい。
【０１７４】
つまり、上述の変形例１では、行列式生成部１８７ｄに含まれる位相調整手段が行列Ｒ3を遅延させ、上述の変形例２では、位相調整手段たる信号遅延部１８９が入力信号ｘを遅延させた。しかし、それらの位相遅延手段は、プリエコーが上記検知限度以上に発生する場合に限って遅延させてもよい。このプリエコーは、衝撃音の直前に発生するノイズであって、無相関信号ｗ’の遅延時間ｔｄに応じて発生しやすくなる。これにより、プリエコーが検知されるのを確実に防ぐことができる。
【０１７５】
また、マルチチャンネル音響信号処理装置１００や、マルチチャンネル音響符号化部１００ａ、マルチチャンネル音響復号化部１００ｂ、マルチチャンネル合成部１８０，１８０ａ，１８０ｂ、さらにこれらに含まれる各構成要素を、ＬＳＩ（Large Scale Integration）などの集積回路によって構成してもよい。さらに、本発明は、これらの装置および各構成要素における動作をコンピュータに実行させるプログラムとしても実現することができる。
【産業上の利用可能性】
【０１７６】
本発明のマルチチャンネル音響信号処理装置は、演算負荷を軽減することができるという効果を奏し、例えば、ホームシアターシステム、車載音響システムおよび電子ゲームシステムなどに適用可能であり、特に放送等の低ビットレートの応用において有用である。
【図面の簡単な説明】
【０１７７】
【図１】図１は従来のマルチチャンネル音響信号処理装置の構成を示すブロック図である。
【図２】図２は同上のマルチチャンネル合成部の機能構成を示す機能ブロック図である。
【図３】図３は同上のバイノーラルキュー算出部の構成を示すブロック図である。
【図４】図４は同上のマルチチャンネル合成部の構成を示す構成図である。
【図５】図５は同上の無相関信号生成部の構成を示すブロック図である。
【図６】図６は同上の無相関信号生成部のインパルス応答を示す図である。
【図７】図７は同上のダウンミックス信号を説明するための説明図である。
【図８】図８は同上のプレマトリックス処理部およびポストマトリックス処理部の詳細な構成を示すブロック図である。
【図９】図９は本発明の実施の形態におけるマルチチャンネル音響信号処理装置の構成を示すブロック図である。
【図１０】図１０は同上のマルチチャンネル合成部の構成を示すブロック図である。
【図１１】図１１は同上のマルチチャンネル合成部の動作を示すフローチャートである。
【図１２】図１２は同上の簡略化されたマルチチャンネル合成部の構成を示すブロック図である。
【図１３】図１３は同上の簡略化されたマルチチャンネル合成部の動作を示すフローチャートである。
【図１４】図１４は同上のマルチチャンネル合成部によって出力される信号を説明するための説明図である。
【図１５】図１５は同上の変形例１に係るマルチチャンネル合成部の構成を示すブロック図である。
【図１６】図１６は同上の変形例１に係るマルチチャンネル合成部によって出力される信号を説明するための説明図である。
【図１７】図１７は同上の変形例１に係るマルチチャンネル合成部の動作を示すフローチャートである。
【図１８】図１８は同上の変形例２に係るマルチチャンネル合成部の構成を示すブロック図である。
【図１９】図１９は同上の変形例２に係るマルチチャンネル合成部の動作を示すフローチャートである。
【符号の説明】
【０１７８】
１００    マルチチャンネル音響信号処理装置
１００ａ    マルチチャンネル音響符号化部
１００ｂ    マルチチャンネル音響復号化部
１１０    ダウンミックス部
１２０    バイノーラルキュー算出部
１３０    オーディオエンコーダ部
１４０    多重化部
１５０    逆多重化部
１６０    オーディオデコーダ部
１７０    分析フィルタ部
１８０    マルチチャンネル合成部
１８１    無相関信号生成部
１８２    第１演算部
１８３    第２演算部
１８４    プレマトリックス処理部
１８５    ポストマトリックス処理部
１８６    第３演算部
１８７    マトリックス処理部
１９０    合成フィルタ部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007029412.tif 000043
【図２】
2007029412.tif 000044
【図３】
2007029412.tif 000045
【図４】
2007029412.tif 000046
【図５】
2007029412.tif 000047
【図６】
2007029412.tif 000048
【図７】
2007029412.tif 000049
【図８】
2007029412.tif 000050
【図９】
2007029412.tif 000051
【図１０】
2007029412.tif 000052
【図１１】
2007029412.tif 000053
【図１２】
2007029412.tif 000054
【図１３】
2007029412.tif 000055
【図１４】
2007029412.tif 000056
【図１５】
2007029412.tif 000057
【図１６】
2007029412.tif 000058
【図１７】
2007029412.tif 000059
【図１８】
2007029412.tif 000060
【図１９】
2007029412.tif 000061
【国際調査報告】
2007029412.tif 000062
2007029412.tif 000063
2007029412.tif 000064
2007029412.tif 000065