(57)【特許請求の範囲】
【請求項１】
２チャネルステレオ信号を受信する受信機；
前記２チャネルステレオ信号をステレオ時間−周波数信号セグメントペアに分割するセグメント化器；
デコンポーザであって、ステレオ時間−周波数信号セグメントペア毎に：
−前記ステレオ時間−周波数信号セグメントペアの類似性の程度を示す類似指標を決定し、
−前記ステレオ時間−周波数信号セグメントペアの和として和時間−周波数信号セグメントを生成し、
−前記類似指標に応じて、前記和時間−周波数信号セグメントから中央時間−周波数信号セグメントを生成し、
−前記類似指標に応じて、前記ステレオ時間−周波数信号セグメントペアからサイドステレオ時間−周波数セグメントペアを生成する、
ことにより前記ステレオ時間−周波数信号セグメントを分解するデコンポーザ；
前記中央時間−周波数信号セグメントから生成した中央信号と前記サイドステレオ時間−周波数セグメントから生成したサイド信号とを有するマルチチャネル信号を生成する信号生成器；
を有する音響処理システム。
【請求項２】
前記デコンポーザは、前記和時間−周波数信号セグメントのスケーリングにより、前記中央時間−周波数信号セグメントを生成するよう構成され、前記スケーリングは、前記類似指標に依存する、請求項１に記載の音響処理システム。
【請求項３】
前記デコンポーザは、前記ステレオ時間−周波数信号セグメントペアのスケーリングにより、前記サイドステレオ時間−周波数セグメントペアを生成するよう構成され、前記スケーリングは、前記類似指標に依存する、請求項１に記載の音響処理システム。
【請求項４】
前記デコンポーザは、前記ステレオ時間−周波数信号セグメントペアの相関値に応じて、前記類似指標を決定するよう構成される、請求項１に記載の音響処理システム。
【請求項５】
前記相関値は、前記ステレオ時間−周波数信号セグメントペアの振幅差及び位相差の両方に依存する値である、請求項４に記載の音響処理システム。
【請求項６】
前記デコンポーザは、前記ステレオ時間−周波数信号セグメントペアのうちの少なくとも１つのパワー指標に関連する前記ステレオ時間−周波数信号セグメントペアの相関値に応じて、前記類似指標を決定するよう構成される、請求項４に記載の音響処理システム。
【請求項７】
前記デコンポーザは、前記ステレオ時間−周波数信号セグメントペアのうちの他方のパワー指標に関連する前記ステレオ時間−周波数信号セグメントペアのうちの一方のパワー指標に応じて、前記類似指標を決定するよう構成される、請求項４に記載の音響処理システム。
【請求項８】
前記デコンポーザは、前記ステレオ時間−周波数信号セグメントペアの間のレベル差に応じて、前記類似指標を決定するよう構成される、請求項１に記載の音響処理システム。
【請求項９】
前記デコンポーザは、前記ステレオ時間−周波数セグメントペアを有するベクトルのマトリックス乗算の結果として生じたベクトルとして、前記中央時間−周波数信号セグメント及び前記サイドステレオ時間−周波数セグメントペアを生成するよう構成され、前記マトリックス乗算の少なくとも幾つかの係数は、前記類似指標に依存する、請求項１に記載の音響処理システム。
【請求項１０】
前記マルチチャネル信号を再現する再生器を更に有し、前記中央信号のレンダリングは前記サイド信号のレンダリングと異なる、請求項１に記載の音響処理システム。
【請求項１１】
前記再生器は、スピーカセットを用いて前記マルチチャネル信号をレンダリングするよう構成され；前記中央信号をレンダリングするために用いられる前記スピーカセットのサブセットは、前記サイド信号をレンダリングするために用いられる前記スピーカセットのサブセットと異なる、請求項１０に記載の音響処理システム。
【請求項１２】
前記受信機は、前記２チャネルステレオ信号の周波数間隔の間のみ中央時間−周波数信号セグメントを生成するよう構成され、前記周波数間隔は、前記２チャネルステレオ信号の帯域幅の一部のみである、請求項１に記載の音響処理システム。
【請求項１３】
前記中央信号に対して音声の存在の推定を生成するよう構成された音声検出器を更に有し；前記デコンポーザは、前記音声の存在の推定に応じて、前記中央信号を生成するよう更に構成される、請求項１に記載の音響処理システム。
【請求項１４】
２チャネルステレオ信号を受信するステップ；
前記２チャネルステレオ信号をステレオ時間−周波数信号セグメントペアに分割するステップ；
分解するステップであって、ステレオ時間−周波数信号セグメントペア毎に：
−前記ステレオ時間−周波数信号セグメントペアの類似性の程度を示す類似指標を決定し、
−前記ステレオ時間−周波数信号セグメントペアの和として和時間−周波数信号セグメントを生成し、
−前記類似指標に応じて、前記和時間−周波数信号セグメントから中央時間−周波数信号セグメントを生成し、
−前記類似指標に応じて、前記ステレオ時間−周波数信号セグメントペアからサイドステレオ時間−周波数セグメントペアを生成する、
ことにより前記ステレオ時間−周波数信号セグメントを分解する、ステップ；
前記中央時間−周波数信号セグメントから生成した中央信号と前記サイドステレオ時間−周波数セグメントから生成したサイド信号とを有するマルチチャネル信号を生成するステップ；
を有する音響処理システムの方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響処理システム及び方法に関し、特に、ステレオ信号の３チャネル信号へのアップミキシングに関するが、これに限定されない。
【背景技術】
【０００２】
従来、大容量の音声コンテンツがステレオコンテンツとして提供されている。このようなステレオコンテンツは、非常に異なる空間的特徴を備えた種々の信号ソースを有し得る。例えば、ステレオ音楽コンテンツでは、声楽及び背景楽器の所望の空間的再現は、非常に異なり得る。通常、ボーカリストは、空間的にはっきりと場所を特定して知覚されるが、背景楽器は、広範な音像を提供するためにより散漫に知覚されることが望ましい。
【０００３】
近年、２チャネルより多い複数チャネルの音響再生が次第に普及し、広まっている。それに応じて、ステレオコンテンツは、次第に、例えばサラウンド音響システムを用いるように、複数チャネルの再生システムを用いて再現されてきている。
【０００４】
したがって、ステレオ信号を２より多いチャネルを有するマルチチャネル信号へアップミキシングする方法及び処理が提案される。このようなシステムの例は、米国特許公報ＵＳ２００９０１９８３５６Ａ１号に開示される。ＵＳ２００９０１９８３５６Ａ１に開示されたようなシステムは、受信信号から主要信号成分を抽出することにより、信号を主信号と環境信号とに分けることを目的としている。したがって、このようなシステムは、音像のどこかにある支配的な信号を特定し、次にこれらを抽出するのに適している。このアプローチは、あらゆるシナリオで最適な視聴経験を提供するものではない。例えば、このアプローチは、特定のコンテンツでは、支配的な信号を抽出するが、この支配的な信号は空間的に良好に定められたサウンドオブジェクトとして理想的に知覚されず、むしろ広範なステレオ像の知覚の提供の一部に過ぎない。さらに、このアプローチは、空間的に良好に定められると知覚されてはならないのに、そう知覚されるのに最適な信号成分を生じてしまう。例えば、支配的音響ソースではない音声ソースを含むステレオ信号では、音声信号はより拡散した音響として再現され、一方で、例えば周囲音響環境の一部である支配的な信号ソースは、空間的により良好に定められて再現され得る。
【０００５】
また、このようなアプローチは、処理により導入される幾つかの空間的歪みを生じ、結果として音響ソースが空間的にシフトするか又は広がってしまう場合が多い。実際、再生システムは、支配的又は主要信号成分を音像内の特定の位置で再生するよう適応され得る。しかしながら、再生システムは、このような位置を再現するのに理想的ではないので、次善の性能になってしまう。
【０００６】
したがって、このような支配的又は主要な信号の分析に基づくアップミキシングは、空間的歪み又は劣化を導入してしまう場合が多い。これは、例えば、マルチチャネル再生システムにより提示された空間的音像を、元のステレオ信号の創作者により元来意図されたものと相違させてしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、改良された処理システムは有利であり、特に柔軟性を向上し、複雑性の低減し、空間的知覚の向上し、空間的アップミキシングの向上し及び／又は性能の向上するシステムが有利である。
【０００８】
具体的には、ステレオ信号の空間的特徴の維持を向上したステレオ信号のアップミキシングを可能にする処理システムが有利である。
【０００９】
したがって、本発明は、望ましくは上述の１又は複数の不利点を単独で又はいかなる組合せで緩和、軽減又は除去することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様によると、ステレオ信号を受信する受信機；前記ステレオ信号をステレオ時間−周波数信号セグメントに分割するセグメント化器；デコンポーザであって、ステレオ時間−周波数信号セグメントペア毎に：−前記ステレオ時間−周波数信号セグメントペアの類似性の程度を示す類似指標を決定し；−前記ステレオ時間−周波数信号セグメントペアの和として和時間−周波数信号セグメントを生成し；−前記類似指標に応じて、前記和時間−周波数信号セグメントから中央時間−周波数信号セグメントを生成し；−前記類似指標に応じて、前記ステレオ時間−周波数信号セグメントペアからサイドステレオ時間−周波数セグメントペアを生成する；ことにより前記ステレオ時間−周波数信号セグメントを分解するデコンポーザ；前記中央時間−周波数信号セグメントから生成した中央信号と前記サイドステレオ時間−周波数セグメントから生成したサイド信号とを有するマルチチャネル信号を生成する信号生成器；を有する音響処理システムが提供される。
【００１１】
本発明は、ステレオ信号のアップミキシングを向上させ、特にアップミキシングされた信号の空間特性を向上させる。多くのシナリオで、本発明は、ステレオ信号の空間特性により密接に対応する空間特性を有するアップミキシングされた信号を生成することを可能にする。特に、音響ソースの位置は、ステレオ信号の音響ソースの位置に近く、ステレオ信号の創作者により意図された音響ソースの位置に近い。
【００１２】
本発明は、効率的な実施を可能にし、信号の特性に自動的に適応できる。特に、本発明は、ステレオ信号を、中央信号を含む３つのチャネルに柔軟に分解できる。
【００１３】
このアプローチは、具体的には、音像の異なる位置に置かれた支配的な音響ソースを抽出するのではなく、中央に置かれた音響ソースを抽出できる。支配的又は主要信号成分の推定にでなはく、固定的な空間の検討に対してアップミキシングをバイアスすることにより、向上した空間的一貫性が達成される。特に、本発明は、アップミキシングされた中央チャネルが元のステレオ像においても中央に位置付けられた信号成分のみを有することを保証できる。
【００１４】
各時間−周波数信号セグメントは、１つの（通常、複素）サンプルを有し得る。各時間−周波数信号セグメントは、時間セグメントにおける周波数領域に対応し得る。ステレオチャネルは、例えばサラウンド音響信号の左及び右フロントチャネルのようなマルチチャネル信号の一部であってもよい。音響処理装置は、中央信号とサイド信号より多い信号を有するアップミックスを生成するよう構成され得る。例えば、音響処理装置は、例えば中央及びサイドチャネルに加えて多数のリア又はサイドサラウンドチャネルを有するサラウンド音響信号にステレオ信号をアップミキシングするよう構成され得る。追加のチャネルは、類似指標に応じて生成されるか、又は類似指標と独立であってもよい。
【００１５】
本発明の任意的な特徴によると、前記デコンポーザは、前記和時間−周波数信号セグメントのスケーリングにより、前記中央時間−周波数信号セグメントを生成するよう構成され、前記スケーリングは、前記類似指標に依存する。
【００１６】
これは、多くのシナリオでアップミキシングの向上をもたらし得る。特に、これは、分解を向上させ得るこのアプローチは、複雑性を低くしながら、分解及びアップミキシングの品質を高くし得る。
【００１７】
本発明の任意的な特徴によると、前記デコンポーザは、前記ステレオ時間−周波数信号セグメントのスケーリングにより、前記サイドステレオ時間−周波数信号セグメントペアを生成するよう構成され、前記スケーリングは、前記類似指標に依存する。
【００１８】
これは、多くのシナリオでアップミキシングの向上をもたらし得る。特に、これは、分解を向上させ得る
本発明の任意的な特徴によると、前記デコンポーザは、前記ステレオ時間−周波数信号セグメントペアの相関値に応じて、前記類似指標を決定するよう構成される。
【００１９】
これは、特に適切な類似指標を提供し、結果として性能及びアップミキシングされた信号のオーディオ品質の向上をもたらし得る。相関値は、時間及び／又は周波数にわたり平均化された平均相関値であってもよい。
【００２０】
前記相関値は、前記ステレオ時間−周波数信号セグメントペアの間の振幅差及び位相差の両方に依存する値であってもよい。
【００２１】
具体的には、相関値は、複素相関値の実数又は虚数成分として決定されてもよい。例えば、これは、ステレオ時間−周波数信号セグメントペアのうちの一方のセグメントをステレオ時間−周波数信号セグメントペアのうちの他方のセグメントの複素共役で乗算したものとして決定されてもよい。
【００２２】
このようなアプローチは、多くのシナリオで、改良された類似指標を提供し、結果としてアップミキシング及びオーディオ品質の向上をもたらす。
【００２３】
本発明の任意的な特徴によると、前記デコンポーザは、前記ステレオ時間−周波数信号セグメントペアのうちの少なくとも１つのパワー指標に関連する前記ステレオ時間−周波数信号セグメントペアの相関値に応じて、前記類似指標を決定するよう構成される。
【００２４】
これは、多くのシナリオでアップミキシングの向上をもたらし得る。特に、これは、分解及び／又はオーディオ品質を向上させ得るこのアプローチは、例えば、絶対レベルの独立性の向上を提供し得る。
【００２５】
幾つかの実施形態では、前記デコンポーザは、前記ステレオ時間−周波数信号セグメントペアのうちの両方のパワー指標に関連する前記ステレオ時間−周波数信号セグメントペアの相関値に応じて、前記類似指標を決定することにより、特に有利な性能を達成できる。パワー指標は、例えば時間又は周波数領域（又は両者）における平均パワー指標であってもよい。
【００２６】
本発明の任意的な特徴によると、前記デコンポーザは、前記ステレオ時間−周波数信号セグメントペアのうちの他方のパワー指標に関連する前記ステレオ時間−周波数信号セグメントペアのうちの一方のパワー指標に応じて、前記類似指標を決定するよう構成される。
【００２７】
これは、多くのシナリオでアップミキシングの向上をもたらし得る。特に、これは、分解及び／又はオーディオ品質を向上させ得る
本発明の任意的な特徴によると、前記デコンポーザは、前記ステレオ時間−周波数信号セグメントペア間のレベル差に応じて、前記類似指標を決定するよう構成される。
【００２８】
これは、多くのシナリオでアップミキシングの向上をもたらし得る。特に、これは、分解及び／又はオーディオ品質を向上させ得る
本発明の任意的な特徴によると、前記デコンポーザは、前記ステレオ時間−周波数セグメントペアを有するベクトルのマトリックス乗算の結果として生じたベクトルとして、前記中央時間−周波数信号セグメント及び前記サイドステレオ時間−周波数セグメントペアを生成するよう構成され、前記マトリックス乗算の少なくとも幾つかの係数は、前記類似指標に依存する。
【００２９】
これは、低い複雑性を維持しながら、高い性能を提供し得る。
【００３０】
本発明の任意的な特徴によると、前記音響処理システムは、前記マルチチャネル信号を再現する再生器を更に有し、前記中央信号のレンダリングは前記サイド信号のレンダリングと異なる。
【００３１】
本発明は、音像の異なる部分の空間特性に適応した向上したレンダリングを可能にし得る。
【００３２】
前記再生器は、前記マルチチャネル信号にステレオ拡大を適用し、前記中央信号に適用されるステレオ拡大の程度は、前記サイド信号に適用されるステレオ拡大の程度より少ない。
【００３３】
これは、向上したレンダリングを提供し、多くの実施形態では向上した空間的経験を提供し得る。
【００３４】
本発明の任意的な特徴によると、前記受信機は、前記ステレオ信号の周波数間隔の間のみ中央時間−周波数信号セグメントを生成するよう構成され、前記周波数間隔は、前記ステレオ信号の帯域幅の一部のみである。
【００３５】
これは、高いオーディオ品質を維持しながら、複雑性を低減し得る。周波数間隔は、例えば、標準的なオーディオ又は音声周波数帯に対応し得る。例えば、多くの実施形態では、３ｄＢ低下周波数間隔は［１００Ｈｚ；４００Ｈｚ］の間隔にあり、３ｄＢ上昇周波数間隔は［２ｋＨｚ；６ｋＨｚ］の間隔にあってもよい。
【００３６】
本発明の任意的な特徴によると、音響処理システムは、前記中央信号に対して音声の存在の推定を生成するよう構成された音声検出器を更に有し；前記デコンポーザは、前記音声の存在の推定に応じて、前記中央信号を生成するよう更に構成される。
【００３７】
これは、多くの実施形態で向上した性能及び向上した空間的経験を提供し得る。
【００３８】
本発明の一態様によると、ステレオ信号を受信するステップ；前記ステレオ信号をステレオ時間−周波数信号セグメントに分割するステップ；分解するステップであって、ステレオ時間−周波数信号セグメントペア毎に：−前記ステレオ時間−周波数信号セグメントペアの類似性の程度を示す類似指標を決定し；−前記ステレオ時間−周波数信号セグメントペアの和として和時間−周波数信号セグメントを生成し；−前記類似指標に応じて、前記和時間−周波数信号セグメントから中央時間−周波数信号セグメントを生成し；−前記類似指標に応じて、前記ステレオ時間−周波数信号セグメントペアからサイドステレオ時間−周波数セグメントペアを生成する；ことにより前記ステレオ時間−周波数信号セグメントを分解するステップ；前記中央時間−周波数信号セグメントから生成した中央信号と前記サイドステレオ時間−周波数セグメントから生成したサイド信号とを有するマルチチャネル信号を生成するステップ；を有する音響処理システムの方法が提供される。
【００３９】
本発明の上述の及び他の態様、特徴及び利点は、本願明細書に記載される実施形態から明らかであり、それらの実施形態を参照して教示される。
【図面の簡単な説明】
【００４０】
本発明の実施形態は、単なる例としてのみ図面を参照してより詳細に説明される。
【図１】本発明の特定の実施形態による音響再生システムの例を示す。
【図２】音楽ファイルのサンプルについて、音響ソース位置のヒストグラムの例を示す。
【図３】本発明の特定の実施形態による音響再生システムの信号デコンポーザの例を示す。
【図４】本発明の特定の実施形態による音響再生システムの例を示す。
【発明を実施するための形態】
【００４１】
図１は、本発明の特定の実施形態による音響再生システムの例を示す。音響再生システムは、ステレオ信号を受信し、これを３チャネル信号にアップミキシングする。３チャネル信号は、次に、３つの異なるスピーカ１０１、１０３、１０５から再生される。
【００４２】
アップミキシング方法は、信号成分の再生をそれら固有の特性に適応させるので、多くのシナリオで品質を向上させることができる。例えば、中央スピーカが抽出され、中央に位置するスピーカ１０３から再生され、一方で周囲の信号成分は傾聴位置の前面に位置するスピーカ１０１、１０５から再生される。
【００４３】
図１の例では、アップミキシングは、ステレオ信号を中央信号とステレオ信号とに分解することにより実行される。分解は時間−周波数信号セグメントに基づく。セグメントのステレオペア毎に、対応する信号成分がステレオ音像のどれだけ中央に置かれているかを推定するために類似指標が用いられる。時間−周波数信号セグメントは、所与の時間間隔及び周波数間隔の信号の表現に対応する。通常、時間−周波数信号セグメントは、所与の時間セグメントに対して生成された（複素）周波数サンプルに対応する。したがって、各時間−周波数信号セグメントは、ＦＦＴを対応するセグメントに適用することにより生成されたＦＦＴビン値である。以下では、用語「時間−周波数」タイル（tile）は、時間間隔と周波数間隔との組合せ、つまり時間−周波数領域における位置を表すために用いられる。したがって、用語「タイル（tile）」は位置を表し、用語「信号セグメント」は信号値を表す。
【００４４】
生成されたステレオ信号セグメントのペアは、類似指標に従って、中央チャネルとサイドチャネルに分配される。このアプローチは、支配的信号成分の位置を推定したり、主要信号及び残りの（環境）信号への分離を実行したりしない。むしろ、このアプローチは、セグメントの特定の時間−周波数タイルに対して中央に置かれた音響ソースの優占度に従って、中央に位置する音響ソースを抽出する。
【００４５】
したがって、図１のシステムは、ステレオコンテンツが３つの新しい信号に分解される信号処理方法を用いる。１つの信号は、例えば通常は楽曲中の歌手のような主に支配的な中央ソースを有する。２つの他の信号は、支配的な中央ソースを有しない（場合によっては強化された）ステレオ信号に対応するか、又はそのソースレベルが有意に減衰される。中央ソース信号は、次に、明確に良好に位置を定められた中央像を提供すると共に、他の信号に対してより拡散した少ない中央レンダリングが用いられる適切な方法を用いて再生／レンダリングされ得る。特に、空間拡大アルゴリズムが、結果として生じたステレオ信号に適用され得る。
【００４６】
システムは、全体として信号から、中央に又は中央の非常に近くに位置する音響ソースを分離しようとする。さらに、分離は、動的適応型の分離であり、信号の特性を反映するよう、特に上述のような支配的信号が実際に中央の空間的位置に存在するか否かを反映するよう、自動的に調整する。
【００４７】
主要／支配的信号と残りの信号とへの分離ではなく中央抽出を用いる利点の１つは、システムが元のステレオ信号の空間的編成と構成を維持できることである。
【００４８】
さらに、多くの実用的な用途で、支配的ソースが中央に位置するという仮定は妥当である。実際に、大多数の音楽レコードでは、正確に中央位置にパンされた（panned）支配的ソースが存在する。例えば、図２は、異なる音楽ジャンルからの約１４００曲において、中央ボーカルスペクトラム領域のパン方向のヒストグラムの一例を示す。示されるように、支配的コンテンツは、通常、空間像の中央にパンされる。
【００４９】
図１の音響再生システムは、ステレオ信号を受信する受信機１０７を有する。ステレオ信号は、いかなる適切な内部又は外部ソースからも受信でき、サラウンド音響信号のようなマルチチャネル信号の一部であってもよい。例えば、ステレオ信号は、サラウンド音響信号のフロントサイドチャネルであってもよい。
【００５０】
受信機１０７は、ステレオ信号をステレオ時間−周波数信号セグメントに分割するよう進めるセグメント化器１０９に結合される。特に、２つのステレオ信号の各々は、特定の時間間隔における特定の周波数間隔に対応する信号サンプルに分割される。
【００５１】
更に詳細には、入来ステレオ信号は時間セグメントに分割され、各時間セグメント内の信号は、時間−周波数信号セグメントを生成するために、周波数領域に変換される。
【００５２】
特に、２つのステレオ信号は、例えばハニング窓関数を用いて重なり合う短時間セグメントにおいて窓関数を適用することにより、時間セグメントにセグメント化される。各時間セグメントでは、セグメントの周波数領域表現を生成するために、高速フーリエ変換（ＦＦＴ）が適用される。このように、時間−周波数信号セグメントが得られる。具体的には、各時間−周波数信号セグメントは、（各チャネルにつき）１つのサンプルを有する（つまりステレオ時間−周波数信号セグメントは、チャネル毎に１つのサンプルを有する）。
【００５３】
生成された時間−周波数信号セグメントは、窓化されたセグメントｎ及び周波数変数ωの２つの入力信号に対応するスペクトラムベクトルＸ０（ｎ，ω）及びＸ１（ｎ，ω）により表される。表記の都合上、次の行列表現に移る。
【００５４】
【数１】
0005957446.tif 000002
このように、セグメント化器１０９は、入力ステレオ信号をステレオ時間−周波数信号セグメントに分割する。これらのステレオ時間−周波数信号セグメントは、次に、セグメント化器１０９に結合されたデコンポーザ１１１に供給される。
【００５５】
デコンポーザ１１１は、入力されたステレオ時間−周波数信号セグメントを中央時間−周波数信号セグメントと２つのサイドステレオ時間−周波数信号セグメントとに分解するよう構成される。特に、（ステレオ時間−周波数信号セグメントに対応する）各ステレオサンプルペアに対して、デコンポーザ１１１は、中央に位置する音響ソースに対応する１つのサンプルと共に、中央ソースの抽出に対する補償の後に結果として生じたステレオ信号に対応する１対のサンプルを生成する。
【００５６】
中央時間−周波数信号セグメントは、具体的には、ステレオ信号の２つのチャネルに対する時間−周波数信号セグメントの和から生成されるので、空間的中央位置に対応する２つのチャネルに共通の信号成分を表す。デコンポーザ１１１は、ステレオ信号を主要又は支配的信号と周囲信号とに分解するのではなく、ステレオ信号を中央信号成分とサイド成分とに分解する。
【００５７】
デコンポーザ１１１は、信号生成器１１３に結合される。信号生成器１１３は、和の時間−周波数信号セグメントを受信し、これらを中央信号に結合する。さらに、信号生成器１１３は、サイドステレオ時間−周波数信号セグメントを受信し、これらを２つのサイド信号に結合する。中央信号及び２つのサイド信号は、次に、それぞれ中央スピーカ１０３及び２つのサイドスピーカ１０１、１０５に供給される。信号生成器１１３は、具体的には、各時間セグメントで適切な時間−周波数信号セグメントを照合し、当業者に知られている逆ＦＦＴを実行する。
【００５８】
このアプローチは、入力ステレオ信号を、入力信号の音像内の中央位置に対応する信号と、サイド位置に対応する２つのサイド信号とに分解する。
【００５９】
分解は、時間―周波数タイルで実行される。ここで、入力ステレオ信号の異なるチャネルへの分配は、時間―周波数タイルにおける入力ステレオ信号の類似指標に依存して時間―周波数タイル毎である。
【００６０】
図３は、図１のデコンポーザ１１１を更に詳細に示す。ステレオ時間−周波数信号セグメントペアＸ０（ｎ，ω）及びＸ１（ｎ，ω）は、類似プロセッサ３０１に供給される。類似プロセッサ３０１は、時間―周波数信号セグメントペア毎に類似指標を生成するよう構成される。類似指標は、時間−周波数信号セグメントペアの時間―周波数タイル間の類似の程度、つまり、その時間及び周波数間隔において信号がどれだけ近いかの程度を示す。類似指標は、例えば指標自体が時間及び／又は周波数に渡って平均されることによる、又は時間及び／又は周波数に渡って平均された指標を計算するのに用いられる１又は複数の値による平均類似指標であってもよい。
【００６１】
したがって、１つの時間―周波数タイルに対する類似性は、時間及び／又は周波数領域における複数の時間―周波数タイルに渡る平均化から決定されてもよい。
【００６２】
ステレオ時間−周波数信号セグメントペアＸ０（ｎ，ω）及びＸ１（ｎ，ω）は、和プロセッサ３０３に供給される。和プロセッサ３０３は、時間―周波数信号セグメントの和として和時間―周波数信号セグメントを生成するよう構成される。したがって、時間―周波数タイル毎に、その時間―周波数タイルのステレオ時間−周波数信号セグメントペアの２つのセグメントを加算することにより、和時間―周波数信号セグメントが生成される。和セグメントは固定した重み付けされない和として生成されるので、空間セグメント内の中央位置を表す。したがって、和信号は、像の中央における音響ソースへの時間―周波数タイルの貢献として見なすことができる。
【００６３】
ステレオ時間−周波数信号セグメントペアＸ０（ｎ，ω）及びＸ１（ｎ，ω）は、アップミキシングプロセッサ３０５に更に供給される。アップミキシングプロセッサ３０５は、和プロセッサ３０３及び類似プロセッサ３０１に更に結合される。アップミキシングプロセッサ３０５は、２つの入力時間−周波数信号セグメントＸ０（ｎ，ω）及びＸ１（ｎ，ω）及び和時間−周波数信号セグメントから、３つの出力時間−周波数信号セグメントを生成するよう構成される。特に、中央時間−周波数信号セグメントは、類似指標に応じて、和時間―周波数信号セグメントから生成される。特に、類似指標が高いほど和信号が高く重み付けされるので、結果として生じる中央時間−周波数信号セグメントの振幅を高くする。同様に、サイド時間−周波数信号セグメントペアは、類似指標に応じて、ステレオ時間―周波数信号セグメントペアから生成される。特に、類似指標が低いほどステレオ時間−周波数セグメントが高く重み付けされるので、結果として生じるサイド時間−周波数信号セグメントの振幅が高くなる。したがって、アップミキサ２０５は、第１のステレオ時間−周波数信号セグメントを類似指標に応じて重み付けすることにより、第１のステレオ時間−周波数信号セグメントから第１のサイド時間−周波数信号セグメントを生成し、第２のステレオ時間−周波数信号セグメントを類似指標に応じて重み付けすることにより、第２のステレオ時間−周波数信号セグメントから第２のサイド時間−周波数信号セグメントを生成し、和時間−周波数信号セグメントを類似指標に応じて重み付けすることにより、和時間−周波数信号セグメントから中央時間−周波数信号セグメントを生成するよう構成される。
【００６４】
本例では、信号セグメントの重み付けは、該信号セグメントの複雑性の少ないスケーリングにより実行される。ここで、スケーリング値は、類似指標に依存する。本例では、デコンポーザ１１１は、具体的には、ステレオ時間−周波数信号セグメントペアを有するベクトルを類似指標に依存するマトリックス乗算係数でマトリックス乗算した結果として生じたベクトルとして、中央時間−周波数信号セグメント及びサイドステレオ時間−周波数信号セグメントペアを生成するよう構成される。さらに、和信号の生成は、このマトリックス演算の一部として実施される（例えば、図２の和プロセッサ３０３及びアップミキシングプロセッサ３０５は、結合されたものと見なされてもよい）。
【００６５】
したがって、デコンポーザ１１１は、以下に示す２つの入力時間−周波数信号セグメントを
【００６６】
【数２】
0005957446.tif 000003
次式の行列演算により、３つの時間−周波数信号セグメントを有する出力ベクトルＹ（ｎ，ω）、つまり中央時間−周波数信号セグメント及び２つのサイド時間−周波数信号セグメントにマッピングする。
【００６７】
【数３】
0005957446.tif 000004
ここで、アップミキシング行列Ｇ（ｎ，ω）は次式で与えられる。
【００６８】
【数４】
0005957446.tif 000005
ここで、ｇ（ｎ，ω）は、範囲［０，１］の類似指標を表し、１は入力ステレオ時間−周波数信号セグメントペアが同一であることを示し、０は入力ステレオ時間−周波数信号セグメントペアが実質的に異なる、独立である又は無相関であることを示す。
【００６９】
したがって、類似指標の値が１に近いとき、周波数インデックスωで表される信号、つまり入力ステレオ時間−周波数信号セグメントペアは、和信号として中央信号へ送られ、類似指標の値が０に近い場合には、２つのステレオ信号が２つのサイド出力信号へ直接送られる。
【００７０】
したがって、図１のシステムは、音像から中央の空間位置における信号成分を抽出し、これを独立して再現できる別個のチャネルとして生成する。さらに、サイドチャネルは、この中央位置の信号ソースを除去されて（又は少なくとも減衰して）生成される。分解は、各時間−周波数タイルにおける分解が中央空間位置の他の位置に対する優占度に依存するよう更に適応される。結果として、抽出された中央信号は、単なる中央に位置する音響信号ではなく、中央位置に置かれた特定の有意な音響ソースである。したがって、このアプローチは、結果として、単一の中央音響ソースを抽出させると共に、中央に置かれた低いレベルの背景音響ソースをサイドチャネル内に残すことができる。例えば、システムは、中央ボーカルを抽出させると同時に、例えば高い又は低い周波数背景雑音をサイドチャネル内に残し、非中央背景雑音と一緒に処理できるようにする。
【００７１】
単なる支配的又は主要な音響ソースではなく中央音響ソースを抽出するアプローチは、生成された中央信号の空間的特性が正確に分かり正確に再現できることを保証する。具体的には、中央信号は、例えば別個のスピーカにより中央で直接再生できる。したがって、システムは、空間的変動を導入せず、創作者の意図した音像を（２つより多い）マルチチャネル再現システムからより正確に再現できる。
【００７２】
このアプローチは、中央に位置した重要な音響ソースを有するステレオコンテンツに対して非常に有利な結果を提供する。特に、知覚的に支配的な音響（例えば音楽の中のリードシンガー）が正確に空間的像の中央にパンされたステレオコンテンツでは、特に有利な音響再現が達成されることが分かった。しかしながら、図２により示したように、このような状況は実際に頻繁に生じる。
【００７３】
異なる類似指標が、異なる実施形態で用いられてもよい。例えば、幾つかの実施形態では、類似指標は、ステレオ時間−周波数信号セグメントペアのうちの一方のパワー指標のステレオ時間−周波数信号セグメントペアのうちの他方のパワー指標に対する貢献及び／又はステレオ時間−周波数信号セグメントペアのレベル差の値の目安として生成されるか、又はそれを有してもよい。
【００７４】
例えば、エネルギ比は次式の通りである。
【００７５】
【数５】
0005957446.tif 000006
ここで、Ｅｎは、用いられる入力ステレオ信号のチャネルｎのエネルギ又はパワーを表す。
【００７６】
より現実的な例として、類似指標は次式から生成され得る。
【００７７】
【数６】
0005957446.tif 000007
通常、類似値は、複数の時間−周波数タイルを考慮して決定される。したがって、類似値は、類似値の直接平均化による又は類似値を計算するために用いられる１又は複数の値の平均化による、平均値であり得る。平均化は、時間値ｎ、周波数インデックスω又はこれらの両者のシーケンスに渡ってもよい。
【００７８】
以下では、ステレオ時間−周波数信号セグメントペアの相関値に基づく、特に有利な類似値を説明する。特別な例では、ステレオ時間−周波数信号セグメントペアのうちの少なくとも１つのセグメントのパワー指標に対する相関値に関連する指標が生成される。実際に、類似指標は、ステレオ時間−周波数信号セグメントペアのうちの１つのセグメントの相関値とパワー指標との間の比からの貢献と共に、ステレオ時間−周波数信号セグメントペアのうちの両方のセグメントの相関値とパワー指標との間の比からの貢献を有するよう生成される。２つの貢献は、レベル差と類似値との間の異なる関係を提供し、それぞれの関連する重み付けは、個々の実施形態の特有の特性に依存し得る。
【００７９】
より具体的には、周波数インデックスωにおける２つのステレオ信号の間の相互相関は、次式で与えられる。
【００８０】
【数７】
0005957446.tif 000008
ここで、＜．＞は期待値を示し、アスタリスク＊は複素共役を示す。
【００８１】
特別な実施形態では、期待値は、スライディング積分器を用いることにより、時間窓に渡り相関値を平均化することにより生成される。特に、次式に示す一次積分器が用いられ得る。
【００８２】
【数８】
0005957446.tif 000009
ここで、積分パラメータγは、通常、１の近く（例えば０．８）になるよう選択される値である。
【００８３】
次に、入力ステレオ信号のチャネルＭの周波数ωにおける信号のパワー／エネルギの期待値は、次式で与えられる。
【００８４】
【数９】
0005957446.tif 000010
これは、次のようにスライディング積分器を用いて計算することもできる。
【００８５】
【数１０】
0005957446.tif 000011
類似値は、他方の信号と同一になるために一方の信号をスケーリングする必要がある値を決定することにより生成され得る。この場合には、利得係数が、以下のコスト関数を最小化することにより得られる。
【００８６】
【数１１】
0005957446.tif 000012
Ｑ値の最小化は次式を与える。
【００８７】
【数１２】
0005957446.tif 000013
レベル差ｂは、対数形式で表現するのが現実的である。
【００８８】
したがって、複素数で評価された相関項は、通常、その絶対値又はその項の実数部の絶対値により置き換えられる。
【００８９】
これは次式で与えられる類似値をもたらす。
【００９０】
【数１３】
0005957446.tif 000014
ここで、Ｍは、入力ステレオチャネルの一方（つまりＭ＝１又は２）を表す。幾つかの実施形態では、この値は、両方のチャネルについて、つまりＭ＝１及びＭ＝２の両方に対して決定され得る。
【００９１】
相関自体又は相関の絶対値ではなく相関の実数値を用いることは、相関値が時間−周波数信号セグメント間の位相差も反映することを保証する。
【００９２】
幾つかの場合には、相関値を２つのステレオ信号のエネルギに関係づける類似値が生成され得る。例えば、類似値は次式のように生成され得る。
【００９３】
【数１４】
0005957446.tif 000015
類似指標は、これらの類似値のうちの１又は複数から生成され得る。
【００９４】
具体的には、以下の類似値が計算され得る。
【００９５】
【数１５】
0005957446.tif 000016
ここで、パラメータμ及びθは、提供される所望の性能への異なる類似値の貢献を重み付けすることにより、分解の性能を制御するために用いることができる。通常、標準的なステレオオーディオ素材に適した値は、おおよそμ＝θ＝０．４である。
留意すべき点は、二変量ガウス関数の使用が、ここでは、２つの指標の特定の組合せ又は複数の組合せで最大値（１）を生じ及び値の全ての他の組合せに対して小さい値（＞０）を生じる関数の一例であることである。理解されるべき点は、同一の特性の多くの代替の関数が存在すること、例えばこのようないかなる関数も使用できることである。
【００９６】
計算された類似値Ｓ（ｎ，ω）は、信号が類似するとき１に近く、信号が異なるとき０に近い。したがって、幾つかの実施形態では、この値は、類似指標として直接用いることができる。つまり、次式の通りである。
【００９７】
【数１６】
0005957446.tif 000017
幾つかの実施形態では、例えばＥＭ（ω）に対して上述のように用いられたものに類似する漏れ積分器を用いてパラメータ値の更なる時間的平滑化を行ってもよい。
【００９８】
したがって、このアプローチは、入力ステレオ信号から３つのアップミキシングされた信号を生成する。３つの出力信号は次に再生される。具体的には、サイド信号と異なるレンダリングが、中央信号に適用される。
【００９９】
例えば、中央信号は、例えば図１の例のような異なるスピーカによりレンダリングされてもよい。代替として又は追加で、サイド信号と異なる信号処理が、中央信号に適用されてもよい。特に、ステレオの拡大が、中央信号ではなくサイド信号に適用され得る。これは、結果として、向上した広がった音像と共にレンダリングされる音像をもたらし、同時に中央に空間的に良好に定められた音響ソースの知覚を維持することができる。
【０１００】
図４は、いかなるサイド信号とも異なる利用可能なスピーカのサブセットが中央信号に対して用いられる音響処理又は再生システムの一例を示す。さらに、システムは、ステレオ拡大を、中央信号ではなくアップミキシングされたサイド信号に適用する。
【０１０１】
図４は、図１を参照して説明した信号処理を実施して中央信号Ｃ及び２つのサイド信号Ｌ、Ｒを生成するアップミキサ４０１を示す。サイド信号Ｌ、Ｒは、ステレオ拡大を実行するステレオ拡大器４０３に供給される。理解されるべき点は、いかなる適切なステレオ拡大が適用されてもよいこと、種々のアルゴリズムが当業者に知られていることである。ステレオ拡大された信号は、再生ミキサ４０５に供給される。再生ミキサ４０５は中央信号も受信する。再生ミキサ４０５は、本例では４つのスピーカを含むスピーカセット４０７に結合される。再生ミキサ４０５は、信号毎に異なるスピーカサブセットを用いて入力信号を再生する。具体的には、左サイド信号及び右サイド信号は、それぞれ左スピーカ及び右スピーカのみにより再生され、中央チャネルは全てのスピーカにより再生される。
【０１０２】
理解されるべき点は、幾つかの実施形態では、（例えばサイド信号のうちの１つと共に）中央信号も特定の空間的拡大を経験することである。しかしながら、拡大の程度は、このようなシナリオでは、中央信号を伴うときの方がサイド信号のみを伴うときよりも少なくてよい。
【０１０３】
幾つかの実施形態では、上述のアップミキシングは、入力ステレオ信号の周波数間隔のみに適用されてもよい。例えば、中央信号の生成は、例えば、２００Ｈｚ乃至５ｋＨｚのような可聴周波数帯のみのような周波数間隔でのみ実行されてもよい。したがって、このような実施形態では、ステレオ中央時間−周波数信号セグメントは、限られた周波数間隔における上述の処理によってのみ生成され、それにより結果として生じる中央信号は限られた周波数間隔に限定されてもよい。しかしながら、多くの実施形態では、中央音響ソースは周波数領域に限られるので、このアプローチは限られた劣化しか導入せず、必要な計算リソースの実質的な削減を達成する。
【０１０４】
例えば、音声処理システムでは、人間の音声のスペクトルエネルギが主に集中している周波数帯にのみ適用する場合に、音声処理の計算の複雑性が、有意に低減できる。この領域は、おおよそ１５０Ｈｚ乃至５ｋＨｚである。幾つかの実施形態では、入力信号を３以上のサブバンドに分解することにより、周波数によって異なる処理が実行される。サブバンドは、次に、その帯域の帯域幅に対応する名目レートにダウンサンプリングされる。
【０１０５】
このようなサブバンドへの分解は、例えば図５に示したような直交ミラーフィルタアーキテクチャに基づいてもよい。分析フィルタセットは、信号を３つのサブバンドに分ける。したがって、処理の後、信号を再構成するために合成フィルタバンクを用いることができる。
【０１０６】
幾つかの音声処理の実施形態では、システムは、中央信号について音声の存在の推定を生成する音声検出器を更に有してもよい。この音声の存在の推定は、生成された中央信号が音声信号に対応する可能性を示し得る。理解されるべき点は、本発明から逸脱することなく音声の存在（又はアクティビティ）の推定を生成するいかなる適切なアルゴリズムが用いられてもよいこと、当業者が多くの適切なアルゴリズムを知っていることである。
【０１０７】
このような実施形態では、システムは、音声の存在の推定に応じて中央信号を生成するよう構成されてもよい。これは、例えば、音声の存在の推定に依存して、和時間−周波数信号セグメントからの時間−周波数信号セグメントの生成を行うことにより成され得る。例えば、音声の存在の推定が現在抽出されている中央信号が音声を含まないこと（又は含みそうもないこと）を示す場合、値ｇ（ｎ，ω）を低下させ、もっと多くが元のステレオ信号に対応してサイド信号内に残るようにしてもよい。
【０１０８】
一例として、幾つかの実施形態では、音声検出アルゴリズムは、分離された音声中央チャネル内のコンテンツを分析するために用いられてもよく、抽出した信号が人間の音声のみを含む場合に中央チャネルが分離されるように利得が制御できてもよい。
【０１０９】
明確化のために、上述の説明は、異なる機能回路、ユニット及びプロセッサを参照して本発明の実施形態を記載したことが理解されるだろう。しかしながら、任意の適切な機能の分散が、異なる機能回路、ユニット又はプロセッサ間で、本発明から逸脱することなく用いられてもよいことが理解されるだろう。例えば、別個のプロセッサ又は制御部により実行されるべきであると説明された機能は、同一のプロセッサ又は制御部により実行されてもよい。したがって、特定の機能ユニット又は回路への言及は、単に記載された機能を提供する適切な手段への言及であり、厳密な論理的又は物理的構造若しくは機構を示すものではないことが分かる。
【０１１０】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はそれらの任意の組み合わせを含む任意の適切な形式で実施できる。本発明は、任意的に、少なくとも部分的に、１又は複数のデータプロセッサ及び／又はデジタル信号プロセッサで実行されるコンピュータソフトウェアとして実施されてもよい。本発明の実施形態の要素及び構成要素は、物理的に、機能的に及び論理的にいかなる適切な方法で実施されてもよい。実際に、機能は、単一のユニットで、複数のユニットで又は他の機能ユニットの一部として実施されてもよい。また、本発明は、単一のユニットに実装されてもよく、又は異なるユニット、回路及びプロセッサの間で物理的に及び機能的に分散されてもよい。
【０１１１】
本発明は幾つかの実施形態に関連して記載されたが、本願明細書に説明された特定の形式に限定されるものではない。むしろ、本発明の範囲は添付の請求の範囲によってのみ限定される。さらに、特徴は特定の実施形態に関連して記載されたように見えるが、当業者は、記載された実施形態の種々の特徴が本発明に従って結合されうることを理解するだろう。請求の範囲において、用語「有する（comprising）」は、他の要素又はステップの存在を除外しない。
【０１１２】
さらに、個々に列挙されたが、複数の手段、要素、回路又は方法のステップは、例えば単一の回路、ユニット又はプロセッサにより実施されてもよい。
【０１１３】
さらに、個々の特徴は異なる請求項に含まれうるが、これらは場合によっては有利なことに組み合わさられてもよく、異なる請求項に含まれることは特徴の組み合わせが実施可能及び／又は有利でないことを示唆するものではない。また、あるカテゴリの請求項に特徴が含まれることは、このカテゴリへの限定を示唆せず、むしろ、その特徴が他の請求項のカテゴリにも適切な場合には等しく適用可能であることを示す。
【０１１４】
さらに、請求項内の特徴の順序は、その特徴が実行されなければならない順序を示唆しない。特に方法の請求項における個々のステップの順序は、ステップがその順序で動作されなければならないことを示唆しない。むしろ、ステップはいかなる適切な順序で実行されてもよい。さらに、単数の表記は複数を除外しない。したがって、単数の表記「１つの」、「第１の」、「第２の」（a、an、first、second）等は複数を排除しない。請求項中のいかなる参照符号も、単に明確化するための例として提供されたものであり、請求の範囲又は本発明の範囲をいかなる方法でも制限するものと考えられるべきではない。
【図１】
0005957446.tif 000018
【図２】
0005957446.tif 000019
【図３】
0005957446.tif 000020
【図４】
0005957446.tif 000021
【図５】
0005957446.tif 000022