(57)【特許請求の範囲】
【請求項１】
送信効果処理を入力信号へ適用することにより入力信号から出力信号を生成する方法であって、前記入力信号が、重み付けされた成分信号の和を有し、重み付けされた成分信号間の依存性がパラメータにより表わされる方法において、送信効果処理を前記入力信号へ適用することにより前記出力信号を生成するステップを有し、前記出力信号は、前記入力信号に含まれる成分信号の等しくない重み付けを補償するために前記パラメータに依存して生成され、
前記入力信号が他の利得の重み付けされた和として計算される利得でスケーリングされ、前記他の利得が前記重み付けされた成分信号に対応する前記パラメータから得られ、前記他の利得が、前記入力信号への前記重み付けされた成分信号の相対的寄与又は前記重み付けされた成分信号の組み合わせの相対的寄与から得られる重みで重み付けられる、方法。
【請求項２】
前記重み付けされた成分信号の相対的寄与又は前記重み付けされた成分信号の組み合わせの相対的寄与は、前記入力信号へ寄与する重み付けされた成分信号間の強度差から得られ、前記強度差は前記パラメータから得られる、請求項１に記載の方法。
【請求項３】
前記入力信号及び前記パラメータは、ＭＰＥＧサラウンド規格に従ったそれぞれダウン混合信号及びパラメータである、請求項１に記載の方法。
【請求項４】
送信効果を入力信号へ適用する送信効果処理回路を有する、入力信号から出力信号を生成するための送信効果装置であって、前記入力信号は、重み付けされた成分信号の和を有し、前記重み付けされた成分信号間の依存度がパラメータにより表わされる送信効果装置において、前記入力信号に含まれる成分信号の等しくない重み付けを補償するために前記パラメータに依存して、前記出力信号を生成するための手段を有し、
前記入力信号が他の利得の重み付けされた和として計算される利得でスケーリングされ、前記他の利得が前記重み付けされた成分信号に対応する前記パラメータから得られ、前記他の利得が、前記入力信号への前記重み付けされた成分信号の相対的寄与又は前記重み付けされた成分信号の組み合わせの相対的寄与から得られる重みで重み付けられる、送信効果装置。
【請求項５】
改良されたバイノーラル出力信号を生成するためのバイノーラルデコーダであって、入力信号をバイノーラル出力信号に復号化するためのＭＰＥＧサラウンドバイノーラルデコーダであるバイノーラルレンダリング器と、出力信号を生成するための請求項４に記載の送信効果装置と、前記改良されたバイノーラル出力信号を得るために前記出力信号を前記バイノーラル出力信号と加算するための加算回路とを有する、バイノーラルデコーダ。
【請求項６】
プログラム可能な装置が請求項１乃至３の何れか一項に記載の方法を実行可能にするためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信効果処理を入力信号に適用することにより入力信号から出力信号を生成するための方法及び装置に関し、入力信号は重み付けされた成分信号の和を有し、重み付けされた成分信号間の依存性はパラメータにより表される。本発明は、改良されたバイノーラル出力信号を生成するためのバイノーラルデコーダ及びコンピュータプログラム製品にも関する。
【背景技術】
【０００２】
ＭＰＥＧサラウンドは、ＭＰＥＧにより最近標準化された音声符号化の主要な進展の１つであり、ＩＳＯ／ＩＥＣ２３００３―１ＭＰＥＧサラウンドを参照されたい。ＭＰＥＧサラウンドは、既存のモノフォニック及びステレオベースのコーダーがマルチチャネルまで拡張されるマルチチャネル音声符号化ツールである。ＭＰＥＧサラウンドエンコーダは、通常、マルチチャネル入力信号からモノフォニック又はステレオのダウンミックスを作って、マルチチャネル入力信号から空間パラメータを得る。ダウンミックス及び空間パラメータが、別々のストリームでコード化される。しかしながら、空間パラメータストリームは、ダウンミックスストリーム内に埋め込むことができる。ＭＰＥＧサラウンドデコーダは、マルチチャネル出力信号を得るため、復号化されたダウンミックスをアップミックスするために使われる空間パラメータを復号化する。マルチチャネル入力信号の空間イメージがパラメータ化されるので、ＭＰＥＧサラウンドは、ヘッドホン上の再生を行うような他のレンダリング装置上へ、コード化されたステレオダウンミックスを復号化することを可能にする。この特定の動作モードは、空間パラメータが、いわゆるバイノーラル出力を作るために、ヘッド関連伝達関数（Ｈｅａｄ  Ｒｅｌａｔｅｄ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ（ＨＲＴＦ））データ（J.  BreebaartによるAnalysis  and  Synthesis  of  Binaural  Parameters  for  Efficient  3D  Audio  Rendering  in  MPEG  Surround,  ICME  07）と結合される、ＭＰＥＧサラウンドバイノーラルデコードプロセスと呼ばれる。このモードでは、現実的なサラウンド経験が、通常のヘッドホンを使用して供給できる。伝統的に、ＨＲＴＦデータは、通常、各スピーカから両耳へ行くインパルス反応の一組の対として説明される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ＭＰＥＧサラウンドバイノーラルデコーダが低出力（ＬＰ）モードで動作されるとき、モバイル機器で実行できる。オフラインプロセスのこのモードでは、生のＨＲＴＦデータは、複雑性が低い計算を使用する処理を許容するパラメータの領域へ変換される。しかしながら、ＬＰモードの不利な点は、パラメータのＨＲＴＦデータが、通常、生のＨＲＴＦデータの無反響の部分だけを表す、すなわち方向キューに主に関連する完全な時間領域反応の一部だけをカバーするということである。実際には、これは、バイノーラルデコーダ出力信号が方向情報を含むが、ＨＲＴＦデータの反響部分と主に関連する外面化がほとんどないので、あまり自然に聞こえないことを意味する。外面化のこの欠如を補償するために、ＭＰＥＧサラウンド規格は、ＩＳＯ／ＩＥＣ２３００３―１ＭＰＥＧサラウンドアネックスＤで定められているように、反響の使用を許容する。斯様な場合、ＭＰＥＧサラウンドバイノーラルデコーダは、パラレル反響で拡張される。入力ステレオダウンミックスは、反響プロセスへ供給される。このプロセスの出力は、ＭＰＥＧサラウンドバイノーラル出力に直接加えられる。通常、無指向性である、すなわち方向から独立している斯様なパラレル反響信号で、反響部分が作られ、よって、より現実的なサラウンド経験が作られる。
【０００４】
しかしながら、バイノーラル出力信号に加えられる一種のいわゆる送信効果である反響との主観テストは、満足なパフォーマンスを示していない。斯様なバイノーラル出力の顕著な偽信号のうちの１つは、オリジナルのマルチチャネルエンコーダコンテンツが主に中央チャネルに存在するとき、バイノーラル出力信号がかなり反響して聞こえることである。
【０００５】
同様の不利な点が、例えばコーラス、ボーカルダブラー、ファズ効果、スペースエキスパンダ等のような他の送信効果に対しても適用できる。
【０００６】
送信効果処理を入力信号に適用することにより、結果的に幾つかの送信効果に対して改善されたサラウンド経験を提供する改善された出力信号となる、入力信号から出力信号を生成する改良された方法を提供することが、本発明の目的である。本発明は、独立請求項により定められる。従属請求項は、有利な実施例を定める。
【課題を解決するための手段】
【０００７】
この目的は、上述のような出力信号を生成する方法において、出力信号が、入力信号に含まれる成分信号の等しくない重み付けを補償するためにパラメータに依存して生成されることを特徴とする本発明により達成される。
【０００８】
送信効果は、全体として入力信号に適用されて、個々の成分信号に適用されていない。従って、送信効果を適用すると共に、入力信号の成分信号の等しくない重み付けを補償することが特に有利である。この補償のため、別々の成分信号に対応する送信効果の強さは、成分信号の各々の強さに（ほとんど）比例し、よって結果的により現実的なサラウンド経験になる。本発明は、送信効果の例として、反響効果に対して説明される。
【０００９】
反響は、通常、音響反射をシミュレーションするために用いられ、従って、（無反響の）ＨＲＴＦデータに関連して、リスナーの頭から外へ仮想のサウンド源を配置するために、すなわち距離の知覚を作るために用いられる。入力信号は、ダウンミックスする前に重み付けられる成分信号（例えばマルチチャネル表現の６つのチャネル）のダウンミックスである。
【００１０】
通常、マルチチャネル信号に含まれるサラウンドチャネルに対応する成分信号は、ダウンミックスの前に減衰される。ＭＰＥＧサラウンド符号化が使われるとき、中央のチャネルに対応する成分信号は、ステレオダウンミックスで効果的に増幅される（左及び右のダウンミックスチャネルを合計するとき、チャネル当たりのｓｑｒｔ（０．５）はｓｑｒｔ（２）に達する）。パラレル反響は等しくない重み付けダウンミックスで反響を直接利用するので、入力信号に含まれる成分信号のこの等しくない重み付けは、結果的に、中央チャネルに対応する成分に対してはより強く、サラウンドチャネルに対応する成分に対してはより弱い反響効果となる。しかしながら、斯様な等しくない重み付けは、回復された成分信号をバイノーラル信号に（少なくとも概念的に）マッピングするＨＲＴＦパラメータを用いる５．１のチャネルの方向レンダリングと合わない。従って、これらの信号、すなわち回復した成分信号に基づく方向レンダリングされた信号と反響を入力信号に適用することにより得られる出力信号とが混合されるとき、反響効果の強さがオリジナルのマルチチャネルコンテンツの優勢な方向に依存しているという点で、外面化は自然でないだろう。等しくない重み付けの悪影響は、反響効果又は他の送信効果を入力信号に適用する結果の出力信号の生成を、入力信号に含まれる成分信号の等しくない重み付けを補償するのに適合できるように修正することにより低減される。この適合は、重み付けされた成分信号間の依存性を含むパラメータを利用する。成分信号が重み付けの後で加算（ダウンミックス）されたので、入力信号に寄与する重み付けされた成分の組み合わせ又は個別の重み付けされた成分は、もはや利用可能ではない。しかしながら、パラメータは、パラメータにより表される重み付け成分信号間の依存性に基づいたそれらの寄与の見積もりを可能にする。出力信号の生成の適合がなされる様々な態様があり、以下の実施例で説明される。
【００１１】
実施例では、入力信号は複数の中間信号に分解され、中間信号の各々は、入力信号に含まれる成分信号の等しくない重み付けを補償するためそれぞれの利得でスケーリングされる。複数の成分信号からの情報が中間信号に結合できるとき、中間信号を生成すること（又は、少なくとも概念的に中間信号を使用すること）は有益である。例えば入力信号の左及び右チャネル信号両方は、ＭＰＥＧサラウンド規格がステレオ互換性で用いられるとき、中央のチャネルからの情報を含む。斯様な場合、中央のチャネルに対応する中間信号は、入力信号の左及び右の信号両方を使用して構成できる。更にまた、マルチチャネル信号が５つのチャネル信号、すなわち中央のチャネル信号、左のフロントチャネル信号、左サラウンドチャネル信号、右フロントチャネル信号、及び右サラウンドチャネル信号を有するとき、左フロントチャネル信号及び左サラウンドチャネル信号が中間信号内に結合できるだけでなく、右フロントチャネル信号及び右サラウンドチャネル信号も中間信号内に結合できる。
【００１２】
他の実施例では、それぞれの中間信号に対応するそれぞれの利得は、既定の他の利得の重み付けされた和として計算され、既定の他の利得は入力信号を作るために用いられる重みから得られ、既定の他の利得は、それぞれの中間信号への重み付けされた成分信号の相対的な寄与から得られるそれぞれの重みで重み付けられる。これは、中間信号から成分信号を近似できる。ＭＰＥＧサラウンド規格は、例えば、ＯＴＴ（ｏｎｅ−ｔｏ−ｔｗｏ）処理ブロックがチャンネル間強度差（ＩＩＤ）パラメータを使用して単一の信号から２つの信号を作るために用いられるか、又は、ＴＴＴ（ｔｗｏ−ｔｏ−ｔｈｒｅｅ）処理ブロックがチャネル予測パラメータ及び／又はＩＩＤパラメータを使用して２つの信号から３つの信号を作るために用いられることを規定する。利得はＯＴＴ及び／又はＴＴＴ処理ブロックを使用して作られる信号に適用でき、結果として生じる信号は再びダウンミックスであり得る（結局、単一のチャネルが、送信効果のために必要とされる）。しかしながら、中間信号に関係するエネルギー分布が知られているので、アップミックスステップ、すなわち入力信号から複数の中間信号を作るステップは省略できる。よって、現在の実施例は、これらの中間信号に寄与する個々の成分信号を実際に復元することなく、利得を中間信号に適用する効率的な態様を提供する。
【００１３】
他の実施例では、それぞれの中間信号への重み付けされた成分信号の相対的な寄与が、中間信号に寄与する重み付け成分信号間の強度差から得られ、前記強度差が前記パラメータから得られる。重み付け成分信号内のエネルギー分布は、チャンネル間の強度差に含まれ、よって、入力信号に伴うパラメータに含まれる。
【００１４】
他の実施例では、入力信号が他の利得の重み付けされた和として計算される利得でスケーリングされ、他の利得が重み付けされた成分信号に対応するパラメータから得られ、他の利得が、入力信号への重み付けされた成分信号の相対的寄与又は重み付けされた成分信号の組み合わせの相対的寄与から得られる重みで重み付けされる。これは、重み付け成分信号を復元又は重み付け成分信号の組合せを復元することが実際に必要なく、利得を入力信号に適用する効率的な態様を提供する。モノフォニックの入力信号に対して、これは、単一の利得が入力信号に適用されることを意味する。ステレオ入力信号に対して、これは、２つの個々の利得が適用されることを意味し、入力信号に含まれる２つのチャネルのうちの各一方に対して各利得が適用される。
【００１５】
他の実施例では、重み付けされた成分信号の相対的寄与又は重み付けされた成分信号の組み合わせの相対的寄与は、入力信号へ寄与する重み付けされた成分信号間の強度差から得られ、強度差は前記パラメータから得られる。概念的には、前述の実施例のうちの１つにおけるように、例えば幾つかのＯＴＴ処理ブロックを直列に及びパラレルに使用して、入力信号から重み付け成分を復元できる。ＯＴＴ処理ブロックは、エネルギー保存であり、よって、入力信号の重み付け成分信号のエネルギー分布は、パラメータに含まれる強度差に基づいて計算される。この分布は、入力信号のエネルギーと関係し、よって、ＯＴＴ処理ブロックは、その入力信号のエネルギーを２つの出力チャネル上に分配する。従って、利得を個々の成分信号に適用することは、単一の利得を入力信号に適用することにより達成できる。
【００１６】
他の実施例では、出力信号を生成するステップは、パラメータに基づいて、入力信号に適用される送信効果処理を適合させるステップを有する。成分の重み付けを補償するため効果自体を調整できるが、これは効率に関してしばしば次善の解決策である。
【００１７】
他の実施例では、出力信号を生成するステップは出力信号自体を適合させるステップを有し、出力信号がパラメータに依存して調整される利得でスケーリングされる。（反響フィルタに対して、しばしばある場合であるが）例えば入力信号の大きい時間間隔により遂行される送信効果処理の出力信号を適合させるとき、特定の時間間隔に対応するパラメータは、時間的スメアリングのため信号従属態様で混合されてもよい。斯様な場合、パラメータだけでなく、効果及び信号特性に依存して、時間にわたって利得を適合させることが有利である。
【００１８】
他の実施例では、入力信号及びパラメータは、ＭＰＥＧサラウンド規格に従ったそれぞれダウン混合信号及びパラメータである。ＭＰＥＧサラウンド規格に対して、成分信号は、マルチチャネル源のチャネル（例えば、マルチチャネルマイクロホンでＤＶＤ、マルチチャネル記録から５．１音声チャネル）により形成され、空間パラメータは、時間及び周波数依存態様でチャネルの組合せ（中間のダウンミックス）間の関係又はチャネル間の関係を記述する。
【００１９】
本発明の他の態様によると、送信効果処理を入力信号に適用することにより入力信号から出力信号を生成するための送信効果装置が提供される。上述の特徴、利点、コメント等が、本発明のこの態様に等しく適用できることは理解されるべきである。
【００２０】
本発明のこれらの及び他の態様、特徴及び利点は、これ以降説明される実施例を参照して明らかに説明されるだろう。
【図面の簡単な説明】
【００２１】
【図１】図１は、パラレルに送信効果処理ブロックを具備するバイノーラルレンダリング器の例示的構成を示す。
【図２】図２は、本発明による送信効果装置の実施例を示す。
【図３】図３は、入力信号を適合させるステップを有する、送信効果装置の実施例を示す。
【図４】図４は、入力信号が複数の中間信号に分解され、中間信号の各々がそれぞれの利得でスケーリングされる送信効果装置の例示的構成を示す。
【図５】図５は、ＭＰＥＧサラウンドエンコーダの構成の例を示す。
【図６】図６は、５１５構成のＭＰＥＧサラウンドダウンミキシングのアーキテクチャの例を示す。
【図７】図７は、入力信号に適用される送信効果処理を適合させる送信効果装置の実施例を示す。
【図８】図８は、パラメータに依存して出力信号自体に適合させる送信効果装置の実施例を示す。
【図９】図９は、送信効果装置とパラレルにバイノーラルレンダリング器を有するバイノーラルデコーダの実施例を示す。
【発明を実施するための形態】
【００２２】
図１は、送信効果処理装置１００―Ａをパラレルに具備するバイノーラルレンダリング器２００の構成の例を示す。重み付けされた成分信号間の依存性を有するパラメータ１０２と共に、重み付けされた成分信号の和を有する入力信号１０１が、バイノーラルレンダリング器２００へ送られる。バイノーラルレンダリング器２００は、ヘッドホンによる再生に適しているバイノーラル出力２０１を供給するために、入力信号１０１及びパラメータ１０２の処理を実施する。バイノーラルレンダリング器の例の１つは、ＭＰＥＧサラウンドバイノーラル復号化（ＩＳＯ／ＩＥＣ２３００３―１、ＭＰＥＧサラウンド）である。入力信号１０１は、バイノーラルレンダリング器２００及び送信効果装置１００―Ａにパラレルに送信され、送信効果装置１００―Ａは、送信効果処理を入力信号１０１に適用し、結果的に出力信号１２１を作る。出力信号１２１は、加算回路３００によりバイノーラルレンダリング器の出力に加えられる。加算回路の出力３０１は、ヘッドホン（図示せず）に供給される。例えば反響、コーラス、ボーカルダブラー、ファズ効果、スペースエキスパンダ等のような様々な効果がある。反響は、最もポピュラーな送信効果の１つであり、リスナーの頭の外から仮想サウンド源を配置するために、すなわち距離の知覚を作るために使用できる。入力信号からの反響信号の作成は、例えばWilliam  G.  Gardnerによる「Applications  of  Digital  Signal  Processing  to  Audio  and  Acoustics」の「Reverberation  Algorithms」Mark  Kahrs及びKarlheinz  Brandenburg  (Editors)、  Kluwer、  March  1998、又はShreyas  A.  ParanjpeによるTime-variant  Orthogonal  Matrix  Feedback  Delay  Network  Reverberator、  Audio  Engineering  Society  110th  Convention  Paper  5381、Amsterdam、The  Netherlands、  12-15  May  2001に説明されている。反響効果は、全体として入力信号に適用される。
【００２３】
本発明は、パラメータ１０２に依存して入力信号１０１内の成分信号の等しくない重み付けを補償する、送信効果処理を入力信号１０１に適用することにより出力信号１２１を生成する方法を提案する。入力信号１０１に寄与する成分信号は、しばしば等しくなく重み付けされる。送信効果装置１００は、等しくない重み付けが、パラメータ１０２に依存性して補償されるような態様で、出力信号１２１を生成する。パラメータ１０２は、重み付け成分信号間の依存性を有する。特に、パラメータ１０２は、入力信号１０１への個々の重み付け成分信号の相対的な寄与についての情報を有する。パラメータ１０２は、入力信号に関係した重み付け成分信号の推定を可能にする。成分信号を重み付けするために用いられる重みが既知であり、これら重みがＭＰＥＧサラウンドビットストリーム及びデコーダにより定められているので、成分信号自体は推定できる。これは、入力信号１０１内の成分信号の等しくない重み付けを補償するための効率的な処理に至る。
【００２４】
図２は、本発明による送信効果装置の実施例を示す。効果処理装置１００は、付加的な入力としてパラメータ１０２を持つという点で、図１の効果処理装置１００―Ａと異なる。更に、図２の効果処理装置１００は、パラメータ１０２に依存して入力信号に含まれる成分信号の等しくない重み付けを補償するために適合可能である出力信号１２１を生成するステップを実行する。
【００２５】
実施例によると、出力信号１２１を生成するステップは、入力信号１０１を適合させるステップを有する。この場合、入力信号を適合させるステップは、送信効果処理を適用するステップに先行する。
【００２６】
図３は、入力信号１０１を適合させる送信効果装置の実施例を示す。送信効果装置は、２つの回路、すなわち、入力信号を適合させるステップを実施する適合回路１２０と、送信効果処理を適用するステップを実施する送信効果処理回路１１０とを有する。入力信号１０１及びパラメータ１０２は、回路１２０へ送られ、当該回路１２０の出力１０３が回路１１０に送られる。回路１１０の出力は、出力信号１２１として役立つ。入力信号１０１は、モノフォニックの信号又はステレオ信号であり得る。
【００２７】
図４は、送信効果装置１００の構成の例を示し、ここで、入力信号１０１は複数の中間信号４０１、４０２及び４０３へ分解され、中間信号の各々はそれぞれの利得でスケーリングされる。入力信号１０１は、ステレオ信号であり、入力信号１０１の左のチャネル１０１ａと入力信号１０１の右のチャネル１０１ｂとを有する。入力信号は回路４１０に送られ、回路４１０は、左のチャネル、右のチャネル及び中央のチャネルに対応する３つの中間信号へ入力信号をアップミックスするステップを実施する。これら３つの信号は、それぞれ左の中間信号、右の中間信号及び中央の中間信号と呼ばれる。回路４１０は、ＭＰＥＧサラウンドから既知のＴｗｏ−Ｔｏ−Ｔｈｒｅｅ（ＴＴＴ）モジュールであり得る。ｌｄｍｘは入力信号の左のチャネルであり、ｒｄｍｘは入力信号の右のチャネルであり、Ｔｕｍｘはアーティスティックダウンミックス反転及び／又はマトリックス互換性反転及び／又は３Ｄ逆行列（それぞれＭＰＥＧサラウンド仕様の副条項６．５．２．３、６．５．２．４及び６．１１．５）により乗算されるデコーダＴＴＴモジュールを表すマトリックスである：
0005679340.tif 000002
ここで、ｃｉｊはＭＰＥＧサラウンドパラメータ及び潜在的にＨＲＴＦデータから計算され、回路４１０の出力は、マトリックス乗算の結果である。
0005679340.tif 000003
ＭＰＥＧサラウンドパラメータでのＴｕｍｘマトリックス依存のため、パラメータ１０２も回路４１０に送られる。結果として生じる中間信号が、利得補償回路４２０に送られ、ここで、中間信号の各々は入力信号に含まれる成分信号の等しくない重み付けを補償するためにそれぞれの利得でスケーリングされる。回路４２０は、利得補償マトリックスと３つの中間信号を有するベクトルとのマトリックス乗算を実行する：
0005679340.tif 000004
ここで、Ｇｌは左の中間信号に対応する利得であり、Ｇｒは右の中間信号に対応する利得であり、Ｇｃは中央の中間信号に対応する利得である。利得Ｇｌ及びＧｒは、サラウンド利得ｇｓによる任意のパワー損失を補償するために使用される。利得Ｇｃは、中央利得ｇｃによるパワー増大を補償するために使用される。この利得は、ＭＰＥＧサラウンドパラメータから独立していて、Ｇｃ＝１／（２・ｇｃ）に等しい。サラウンド利得及び中央利得の意味は、図５が説明されるときに、更に詳細に説明される。ここでは、ｇｓが入力信号に関連するサラウンドチャネル信号をスケーリングするために用いられた実際の重みであり、ｇｃが入力信号に関連する中央のチャネル信号をスケーリングするために用いられた実際の重みであることを知ることで充分である。
【００２８】
実施例では、それぞれの中間信号（左の中間信号、右の中間信号、又は中央の中間信号）に対応するそれぞれの利得Ｇｌ、Ｇｒ及びＧｃが、重み付けされた既定の他の利得の和として計算され、既定の他の利得は、入力信号１０１を作るために用いられる重みから得られる。これらの既定の他の利得は、それぞれの中間信号への重み付けされた成分信号の相対的寄与から得られるそれぞれの重みで重み付けされる。
【００２９】
それぞれのゲインＧｌ及びＧｒは、好ましくは以下の一般式に従って計算される。
0005679340.tif 000005
ここで、ｇｆは入力信号に関連するフロントチャネル信号をスケーリングするために使用された実際の重みであり（典型的にｇｆ＝１であり、更なる詳細は図５の説明を参照）、ｇｓは入力信号に寄与するサラウンドチャネル信号をスケーリングするために使用された実際の重みであり、ｆ（ＩＩＤｌ）は左の中間信号への左のフロントチャネルに対応する重み付けされた成分信号の相対的寄与であり、（１−ｆ（ＩＩＤｌ））は左の中間信号への左のサラウンドチャネルに対応する重み付けされた成分信号の相対的寄与である。インデックスｌは「左」を表わし、インデックスｒは「右」を表わし、左のチャネルと右のチャネルとを区別し、ａは重みが互いを補足する態様を示すパラメータである（パワー補足重みに対してａ＝０．５、振幅補足重みに対してａ＝１）。
【００３０】
それぞれの中間信号への重み付けされた成分信号の相対的寄与は、中間信号に寄与する重み付けされた成分信号間の強度差ＩＩＤｌ又はＩＩＤｒ（インデックスｌ及びｒは、それぞれ「左のチャネル」、「右のチャネル」を表わす）から得られ、ここで、強度差はパラメータ１０２から得られる。これらの相対的な寄与は、関数ｆ及び（１−ｆ）の使用により示される。ＩＩＤｌは重み付けされた左フロントチャネルと重み付けされた左サラウンドチャネルとの間の対数関数的チャンネル間強度差（ＩＩＤ）であり、ＩＩＤｒは重み付けされた右フロントチャネルと重み付けされた右サラウンドチャネルとの間の対数関数的チャンネル間強度差（ＩＩＤ）である。ｆ（ＩＩＤ）の例は、
0005679340.tif 000006
である。
他の関数も可能であるが、対数関数的ＩＩＤ値を０から１の間の値を持つ重みへマッピングしなければならない。
【００３１】
スケーリングされた中間信号４２１、４２２及び４２３は、ＭＰＥＧサラウンドから既知のＴｈｒｅｅ−Ｔｏ−Ｔｗｏ（反転ＴＴＴ）エンコーダモジュールである回路４３０に送られる。回路４３０は、３つのスケーリングされた中間信号を信号１０３へダウンミックスし、信号１０３は、その後送信効果処理回路１１０へ送られる。Ｔｄｍｘは反転ＴＴＴモジュールを表わすマトリックスであり、ダウンミックスは、以下によるマトリックス乗算として実行される。
0005679340.tif 000007
上述したダウンミックスが結果的にステレオ信号１０３になるが、ダウンミックスはモノフォニックの信号も供給できる。
図４に表される例に対して、信号１０３ａ及び１０３ｂは、以下のマトリックス乗算の結果として表される。
0005679340.tif 000008
回路４１０、４２０及び４３０が図４では別々の回路として示されているが、実際のハードウェア又はソフトウェアでの実行は、この厳格な区切りを要求していない。これらの回路で実施される処理は、効率的理由のために結合できる。更にまた、マトリックス乗算は、中間信号を明確に見ることなく、プロセッサで実施できる。
【００３２】
回路１１０は、回路５３０、５２０及び５１０を有する送信効果処理回路を表す。回路５３０で、入力信号１０１を適合させることから生じるステレオ信号１０３のダウンミックスがなされ、結果的にモノフォニックのダウンミックス５０１となる。このダウンミックス５０１は、ダウンミックス信号５０１から反響出力信号１２１を作る回路５２０及び５１０へパラレルに供給される。反響送信効果に対する回路５１０及び５２０で使用される処理は、William  G.  Gardnerによる「Applications  of  Digital  Signal  Processing  to  Audio  and  Acoustics」の「Reverberation  Algorithms」Mark  Kahrs及びKarlheinz  Brandenburg  (Editors)、  Kluwer、  March  1998、又はShreyas  A.  ParanjpeによるTime-variant  Orthogonal  Matrix  Feedback  Delay  Network  Reverberator、  Audio  Engineering  Society  110th  Convention  Paper  5381、Amsterdam、The  Netherlands、  12-15  May  2001に説明されている。他の送信効果処理は、DAFX:Digital  Audio  Effects、Udo  Zolzer、Xavier  Amatrian、Daniel  Arfib、Jordi  Bonada、Giovanni  De  Poli、Pierre  Dutilleux、Gianpaolo  Evangelista、Florian  Keiler、Alex  Loscos、Davide  Rocchesso、Mark  Sandler、Xavier  Serra、Todor  Todoroff、Contributor  Udo  Zolzer、Xavier  Amatrian、Daniel  Arfib、John  Wiley  and  Sons  2002に説明されている。
【００３３】
中間信号の数は３であるが、中間信号の数は３だけに限定されず、任意の他の値をとることができる。しかしながら、中間信号の数は、好ましくは成分信号の数を超えるべきではない。ＭＰＥＧサラウンドに対して、入力信号がモノラルであるとき、中間信号の好ましい数は、以下の値、２、３又は５をとり、これらの値はＭＰＥＧサラウンドにより支持される特定の構成に関係する。
【００３４】
図５は、ステレオ互換性を持つＭＰＥＧサラウンドエンコーダの構成の例を示し、入力信号１０１がどのように作られるかを説明する。信号６０１乃至６０５は、それぞれサラウンド左のチャネル、フロント左のチャネル、中央チャネル、フロント右のチャネル及びサラウンド右のチャネルである。これらの信号は、入力信号１０１が作られる成分信号に対応する。回路６１０、６２０及び６３０は、利得でスケーリングを実行する。回路６１０は、利得ｇｓで信号６０１をスケーリングする。回路６２０は、利得ｇｃで信号６０３をスケーリングする。回路６３０は、利得ｇｓで信号６０５をスケーリングする。残りの信号６０２及び６０４もスケーリングされるが、これらをスケーリングするために用いられる利得は通常値１をとるので、このスケーリングを実行する回路は図から省略されている（このため、信号６０２が６２２とも呼ばれるだけでなく、信号６０４が６２４とも呼ばれる）。パラメータ１０２は、重み付けされた信号６０１乃至６０５からパラメータ抽出回路６４０で得られる。左の信号６３１及び右の信号６３２は、和回路６５０及び６６０で実施される加算から得られる。左のチャネルに関係する信号６２１及び６２２は、回路６５０の中央のチャネルに関係する信号６２３と加算される。同様に、右のチャネルに関係する信号６２５及び６２４は、回路６６０の中央のチャネルと関係する信号６２３と加算される。信号６３１及び６３２は、その後コード化される。ステレオ入力信号１０１は、復号化の後の信号６３１及び６３２を表す。
【００３５】
入力信号１０１は、モノフォニックの信号でもあり得る。図６は、モノフォニックの入力信号を作る５１５構成のＭＰＥＧサラウンドダウンミキシングの構成の例を示す。回路７１０、７２０、７３０、７４０及び７５０は、２つの信号を１つの信号にダウンミックスする反転−Ｏｎｅ−Ｔｏ−Ｔｗｏモジュールである。斯様なモノフォニックの入力信号は、以下のように表される利得ｇでスケーリングすることにより、等しくない重み付けを補償するために適合される。
0005679340.tif 000009
ここで、ｃｉｊは以下のようにＯｎｅ−Ｔｏ−Ｔｗｏ（ＯＴＴ）ボックスｉのＩＩＤにより定められる。
0005679340.tif 000010
ここで、インデックスｉは０から４の値をとり、値０を持つインデックスは回路７５０に関係し、値１を持つインデックスは回路７４０に関係し、値２を持つインデックスは回路７３０に関係し、値３を持つインデックスはが回路７１０に関係し、値４を持つインデックスは回路７２０に関係する。インデックスｊは、値１又は２をとり、ＭＰＥＧサラウンドデコーダ構成（図６の逆）の対応するＯＴＴボックスｉの出力チャネルを示す。ｃｉｊに対する式は関数ｆ（ＩＩＤ）の特定タイプを使用するが、他のタイプも可能である。上記の構成は、ＭＰＥＧサラウンドにより定められる可能性がある構成の１つである。他の構成も可能であるが、利得ｇの式は、使用される構成に適合していなければならない。表１はｇ１乃至ｇ６までの利得値を示し、入力信号１０１を作るために用いられる重みから得られる。
表１−対応する配列利得を持つ２つのＭＰＥＧサラウンド５１５構成のためのチャネル順番
0005679340.tif 000011
【００３６】
他の実施例では、入力信号１０１は重み付けされた他の利得の和として計算される利得１２０でスケーリングされ、他の利得は重み付けされた成分信号に対応するパラメータ１０２から得られ、他の利得は入力信号への重み付けされた成分信号の相対的な寄与又は重み付けされた成分信号の組合せの相対的な寄与から得られる重みで重み付けされる。重み付けされた成分信号又は重み付けされた成分信号の組合せの相対的な寄与は、入力信号に寄与する重み付けされた成分信号間の強度差から得られ、強度差はパラメータ１０２から得られる。上記のように、信号１０３ａ及び１０３ｂは、このように以下のマトリックス乗算の結果として表され得る。
0005679340.tif 000012
これは、以下のように表され得る。
0005679340.tif 000013
ここで、利得ｇ１及びｇ２は、他の利得と呼ばれる。
【００３７】
図７は、入力信号１０１に適用される送信効果処理を適合させる送信効果装置の実施例を示し、図８は、パラメータに依存して出力信号自体を適合させる送信効果装置の実施例を示す。これらの２つの実施例は、入力信号１０１の適合が異なるステージで、送信効果処理の間で、又は送信効果処理に続く後処理として実現できることを示す。第１の場合、図７の送信効果処理回路１１０は、パラメータ１０２が供給される付加的な入力を持つ。送信効果処理自体が、例えばスケーリングによる入力信号１０１の適合化を含むのに適している。第２の場合、出力適合回路１３０が、送信効果処理回路１１０内で入力信号１０１に送信効果を適用することから生じる信号を供給される。出力適合回路１３０は、入力としてパラメータ１０２も持つ。送信効果処理回路１１０がどのように構成されるべきか、又は、出力適合回路が何をしなければならないかは、当業者に明確でなければならない。
【００３８】
図８の実施例に対して、適合送信効果処理は、以下のように表される利得ｇｍ
0005679340.tif 000014
を送信効果処理を実施する回路５１０及び５２０の両方の出力に対して適用することにより実現されてもよい。利得は、反響効果に関連する例えば時間拡散効果を組み込むために遅延され及び／又は調整されてもよい。斯様な場合には、利得ｇｍ’は、以下のように変更される。
0005679340.tif 000015
ここで、例えば、
0005679340.tif 000016
αは反響により後続のフレームにわたる信号強度の時間的拡散に従って、現行フレーム（ｎ）の利得及び以前のフレーム（ｎ―１）の利得を重み付ける係数である。
【００３９】
他の実施例では、入力信号及びパラメータは、それぞれＭＰＥＧサラウンド規格に従うダウンミックス信号及びパラメータである。ダウンミックスに対する入力信号の関係及びＭＰＥＧサラウンドの空間パラメータに対するパラメータの関係は、図の説明に基づいて明確でなければならない。
【００４０】
図９は、送信効果装置とパラレルにバイノーラルレンダリング器を有するバイノーラルデコーダの実施例を示す。この図は、パラメータ１０２を供給するための付加的な入力を持つ送信装置１００により、図１とは異なる。
【００４１】
本発明は幾つかの実施例と関連して説明されたが、ここで説明した特定の形式に限定する意図はない。むしろ、本発明の範囲は、添付の請求項によってのみ限定される。加えて、特徴が特定の実施例と関連して説明されるように見えるが、当業者は、説明された実施例の様々な特徴が本発明に従って組み合わされてもよいことを認識するだろう。請求項において、「有する」という用語は、他の要素又はステップの存在を排除しない。
【００４２】
更に、個別にリストされているが、複数の手段、要素、又は方法のステップは、例えば単一のユニット又はプロセッサにより実行されてもよい。加えて、個別の特徴が異なる請求項に含まれているが、これらは好適に結合でき、異なる請求項に含まれるものは、特徴の組み合わせが実行可能及び／又は有益であるのではないということを意味しない。また、一つのカテゴリの請求項に特徴を含めることは、このカテゴリの制限を意味するのではなく、むしろ特徴が適当に他の請求項カテゴリに等しく適用可能であることを示す。更に、請求項の特徴の順番は、特徴が働かなければならない特定の順番を意味するのではなく、特に方法の請求項の個別のステップの順番は、ステップがこの順番で実施されなければならないことを意味しない。むしろ、ステップは適当な順番で実施されてもよい。加えて、単一の引用は複数を排除しない。よって、引用「ａ」、［ａｎ」、「第１の」、「第２の」等は、複数を排除しない。請求項内の参照符号は、単に例を明白にするものとして提供されるのであって、何れにおいても請求項の範囲を制限するものとして解釈されるべきではない。本発明は、幾つかの異なる要素を有するハードウェアによって、適切にプログラムされたコンピュータによって、又は他のプログラム可能な装置によって実行できる。
【図１】
0005679340.tif 000017
【図２】
0005679340.tif 000018
【図３】
0005679340.tif 000019
【図４】
0005679340.tif 000020
【図５】
0005679340.tif 000021
【図６】
0005679340.tif 000022
【図７】
0005679340.tif 000023
【図８】
0005679340.tif 000024
【図９】
0005679340.tif 000025