(57)【要約】【課題】パラメータのステレオ／マルチチャネル・コーディングのための、チャネル間相関（ＩＣＣ）（正規化された相互相関）キューのステレオ／マルチチャネル合成のための方式を提供すること。【解決手段】この方式は、元のキューに近似するようにＩＣＣキューを合成する。これを目的として、拡散音声チャネルが生成され、１つまたは複数の送信された複合（例えば、合計）信号とミキシングされる。拡散音声チャネルは、ガウス衝撃応答が急激に衰退する、比較的長いフィルタを使用して生成されることが好ましい。このような衝撃応答は、後部残響音に類似の拡散音を生成する。単一の短時間フーリエ変換（ＳＴＦＴ）の領域で、拡散音を生成するためのフィルタリングも含めて、チャネル間レベル差（ＩＣＬＤ）、チャネル間時間差（ＩＣＴＤ）、およびＩＣＣ合成がすべて遂行される、計算の複雑性の低減された代替態様が提供される。【選択図】図３
2005229612.tif 000002
【特許請求の範囲】
【請求項１】
聴覚情景を合成するための方法であって、
２つ以上の処理済み入力信号を生成するために、少なくとも１つの入力チャネルを処理するステップと、
２つ以上の拡散信号を生成するために、前記少なくとも１つの入力チャネルをフィルタリングするステップと、
前記聴覚情景用の複数の出力チャネルを生成するために、前記２つ以上の拡散信号を前記２つ以上の処理済み入力信号と組み合わせるステップと
を含む方法。
【請求項２】
前記少なくとも１つの入力チャネルを処理するステップが、
複数の周波数領域（ＦＤ）入力信号を生成するために、前記少なくとも１つの入力チャネルを時間領域から周波数領域に変換するステップと、
複数の倍率変更された遅延ＦＤ信号を生成するために、前記ＦＤ入力信号を遅らせて、倍率変更するステップと
を含む請求項１に記載の方法。
【請求項３】
前記拡散信号がＦＤ信号であり、
前記組み合わせるステップが、
ＦＤ出力信号を生成するために、前記複数の倍率変更された遅延ＦＤ信号の１つと、前記複数のＦＤ入力信号の対応する１つとを合計するステップと、
出力チャネルを生成するために、前記ＦＤ出力信号を前記周波数領域から前記時間領域に変換するステップと
を、出力チャネルごとに含む請求項２に記載の方法。
【請求項４】
前記少なくとも１つの入力チャネルをフィルタリングするステップが、
複数の拡散チャネルを生成するために、２つ以上の後部残響音フィルタを前記少なくとも１つの入力チャネルに適用するステップと、
複数のＦＤ拡散信号を生成するために、前記複数の拡散チャネルを前記時間領域から前記周波数領域に変換するステップと、
複数の倍率変更されたＦＤ拡散信号を生成するために、前記複数のＦＤ拡散信号を倍率変更するステップと
を含み、前記ＦＤ出力信号を生成するために、前記複数の倍率変更されたＦＤ拡散信号が、前記倍率変更された遅延ＦＤ入力信号と組み合わされる請求項３に記載の方法。
【請求項５】
前記少なくとも１つの入力チャネルをフィルタリングするステップが、
複数の拡散ＦＤ信号を生成するために、２つ以上のＦＤ後部残響音フィルタを前記ＦＤ入力信号に適用するステップと、
複数の倍率変更された拡散ＦＤ信号を生成するために、前記拡散ＦＤ信号を倍率変更するステップと
を含み、前記ＦＤ出力信号を生成するために、前記複数の倍率変更された拡散ＦＤ信号が、前記倍率変更された遅延ＦＤ入力信号と組み合わされる請求項３に記載の方法。
【請求項６】
指定された閾値周波数より低い入力チャネル周波数に対して、前記処理するステップ、フィルタリングするステップ、および組み合わせるステップを適用し、
前記指定された閾値周波数より高い入力チャネル周波数に対して、代替の聴覚情景合成処理をさらに適用する
請求項１に記載の方法。
【請求項７】
前記代替の聴覚情景合成処理が、前記指定された閾値周波数より低い前記入力チャネル周波数に適用される、前記フィルタリングするステップなしに、コヒーレンスベースのＢＣＣコーディングを伴う請求項６に記載の方法。
【請求項８】
聴覚情景を合成する装置であって、
２つ以上の処理済み入力信号を生成するために、少なくとも１つの入力チャネルを処理する手段と、
２つ以上の拡散信号を生成するために、前記少なくとも１つの入力チャネルをフィルタリングする手段と、
前記聴覚情景用の複数の出力チャネルを生成するために、前記２つ以上の拡散信号を前記２つ以上の処理済み入力信号と組み合わせる手段と
を含む装置。
【請求項９】
聴覚情景を合成する装置であって、
少なくとも１つのＴＤ入力チャネルから２つ以上の処理済みＦＤ入力信号と２つ以上の拡散ＦＤ信号とを生成するようになされた、少なくとも１つの時間領域対周波数領域（ＴＤ−ＦＤ）コンバータと複数のフィルタによる構成と、
複数の合成ＦＤ信号を生成するために、前記２つ以上の拡散ＦＤ信号と前記２つ以上の処理済みＦＤ入力信号を組み合わせるようになされた、２つ以上のコンバイナと、
前記複数の合成ＦＤ信号を前記聴覚情景用の複数のＴＤ出力チャネルに変換するようになされた、２つ以上の周波数領域対時間領域（ＦＤ−ＴＤ）コンバータと
を含む装置。
【請求項１０】
少なくとも２つのフィルタが異なるフィルタの長さを有する請求項９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号の符号化と、符号化済み音声データからのその後の聴覚情景の合成に関する。
【背景技術】
【０００２】
本願は、整理番号Ｆａｌｌｅｒ  １２で２００２年１２月４日出願の、米国仮出願第６０／５４４，２８７号の出願日の特典を主張する。本願の主題は、整理番号Ｆａｌｌｅｒ  ５で２００１年５月４日出願の、米国特許出願第０９／８４８，８７７号（「‘８７７出願」）、整理番号Ｂａｕｍｇａｒｔｅ  １−６−８で２００１年１１月７日出願の、米国特許出願１０／０４５，４５８号（「‘４５８出願」）、および整理番号Ｂａｕｍｇａｒｔｅ  ２−１０で２００２年５月２４日出願の、米国特許出願第１０／１５５，４３７号（「‘４３７出願」）の主題に関する。Ｃ．ＦａｌｌｅｒおよびＦ．Ｂａｕｍｇａｒｔｅ著、「Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  Ａｐｐｌｉｅｄ  ｔｏ  Ｓｔｅｒｅｏ  ａｎｄ  Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ  Ａｕｄｉｏ  Ｃｏｍｐｒｅｓｓｉｏｎ」、Ｐｒｅｐｒｉｎｔ  １１２ｔｈ  Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ．  Ｓｏｃ．，２００２年５月も参照されたい。
【０００３】
特定の音源から発せられた音声信号（すなわち、音）を人が聞いた場合、その音声信号は、通常、２つの異なる時点で、２つの異なるオーディオ（例えば、デシベル）・レベルでその人の左右の耳に到達する。ここで、これらの異なる時点およびレベルは、その音声信号がそれぞれ左右の耳に到達するまで移動する経路の違いに応じて異なる。その人の頭脳は、受け取ったその音声信号が自分からみて特定の位置（例えば、方向および距離）にある音源から発せられたものと知覚するように、時間およびレベルのそれらの違いを解釈する。聴覚情景は、人が自分からみて１つまたは複数の異なる位置にある１つまたは複数の異なる音源から発せられた音声信号を同時に聞くことによって得られる、最終的な効果である。
【０００４】
頭脳によるこのような処理の存在は、聴覚情景を合成するために使用することができる。ここで、１つまたは複数の異なる音源からの音声信号が、左右の信号を生成するよう意図的に修正される。これらの左右の信号は、リスナーからみて異なる位置に異なる音源があるという知覚を与える。
【０００５】
図１は、従来のバイノーラル信号シンセサイザー１００のハイレベル・ブロック図である。このシンセサイザー１００は、単一音源信号（例えば、モノ信号）を１つのバイノーラル信号の左の音声信号と右の音声信号とに変換する。ここで、バイノーラル信号は、リスナーの鼓膜で受け取られる２つの信号と定義する。この音源信号に加え、シンセサイザー１００は、リスナーからみた所望の音源の位置に対応する一組の空間キューも受け取る。典型的な実施態様では、この一組の空間キューは、チャネル間レベル差（ＩＣＬＤ：ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｌｅｖｅｌ  ｄｉｆｆｅｒｅｎｃｅ）値（それぞれ左右の耳で受け取った際の、左右の音声信号間のオーディオ・レベルの差を示す）と、チャネル間時間差（ＩＣＴＤ：ｉｎｔｅｒ−ｃｈａｎｎｅｌ  ｔｉｍｅ  ｄｉｆｆｅｒｅｎｃｅ）値（それぞれ左右の耳で受け取った際の、左右の音声信号間の到達時間の差を示す）を含む。これに加えて、またはこの代わりに、いくつかの合成技法は、音源から鼓膜への音について方向依存転送機能のモデリングを必要とする。これは、頭部伝達関数（ＨＲＴＦ：ｈｅａｄ−ｒｅｌａｔｅｄ  ｔｒａｎｓｆｅｒ  ｆｕｎｃｔｉｏｎ）とも呼ばれる。例えば、Ｊ．Ｂｌａｕｅｒｔ著、「Ｔｈｅ  Ｐｓｙｃｈｏｐｈｙｓｉｃｓ  ｏｆ  Ｈｕｍａｎ  Ｓｏｕｎｄ  Ｌｏｃａｌｉｚａｔｉｏｎ」、ＭＩＴ  Ｐｒｅｓｓ、１９８３年を参照されたい。
【０００６】
図１のバイノーラル信号シンセサイザー１００を使用すると、単一音源によって生成されるモノ音声信号を処理することができる。この結果、ヘッドフォンを介して聞く場合、その音源は、各耳に対する音声信号を生成するために、適切な一組の空間キュー（例えば、ＩＣＬＤ、ＩＣＴＤ、および／またはＨＲＴＦ）を適用することにより空間的に位置づけられる。例えば、Ｄ．Ｒ．Ｂｅｇａｕｌｔ著、「３−Ｄ  Ｓｏｕｎｄ  ｆｏｒ  Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  ａｎｄ  Ｍｕｌｔｉｍｅｄｉａ」、Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ、Ｃａｍｂｒｉｄｇｅ、ＭＡ、１９９４年を参照されたい。
【０００７】
図１のバイノーラル信号シンセサイザー１００は、リスナーに対して単一音源を位置づけた、最も単純なタイプの聴覚情景を生成する。リスナーに対して異なる位置にある２つ以上の音源を含む、より複雑な聴覚情景は、基本的にバイノーラル信号シンセサイザーを複数使用して実施される、聴覚情景シンセサイザーを使用して生成することができる。ここで、各バイノーラル信号シンセサイザーは、異なる音源に対応するバイノーラル信号を生成する。それぞれの異なる音源はリスナーに対して異なる位置にあるので、それぞれの異なる音源に対してバイノーラル音声信号を生成するために、異なる空間キューの組が使用される。
【０００８】
図２は、従来の聴覚情景シンセサイザー２００のハイレベル・ブロック図である。このシンセサイザー２００は、複数の音源信号（例えば、複数のモノ信号）を、異なる音源ごとに異なる一組の空間キューを使用して、単一の複合バイノーラル信号の左右の音声信号に変換する。次いで、最終的に得られる聴覚情景のために左音声信号を生成するために、複数の左音声信号が（例えば、単純な加算により）組み合わされる。右についても同様である。
【０００９】
聴覚情景合成の応用例の１つは、会議の中にある。例えば、複数の参加者との電子会議を想定すると、参加者はそれぞれ、別々の街にある自分のパーソナル・コンピュータ（ＰＣ）の前に座っている。ＰＣモニターの他、各参加者のＰＣには、（１）会議の音声部分に対するその参加者の貢献に対応したモノ音源信号を生成するマイクロフォンと、（２）その音声部分を再生するための一組のヘッドフォンとが装備されている。各参加者のＰＣモニターには、会議机の隅に座っている人の目から見た、その会議机のイメージが表示される。その会議机周辺の別々の位置に、他の会議参加者のリアルタイム・ビデオ・イメージが表示される。
【特許文献１】米国仮出願第６０／５４４，２８７号
【特許文献２】米国特許出願第０９／８４８，８７７号
【特許文献３】米国特許出願１０／０４５，４５８号
【特許文献４】米国特許出願第１０／１５５，４３７号
【非特許文献１】Ｃ．ＦａｌｌｅｒおよびＦ．Ｂａｕｍｇａｒｔｅ著、「Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  Ａｐｐｌｉｅｄ  ｔｏ  Ｓｔｅｒｅｏ  ａｎｄ  Ｍｕｌｔｉ−Ｃｈａｎｎｅｌ  Ａｕｄｉｏ  Ｃｏｍｐｒｅｓｓｉｏｎ」、Ｐｒｅｐｒｉｎｔ  １１２ｔｈ  Ｃｏｎｖ．Ａｕｄ．Ｅｎｇ．Ｓｏｃ．，２００２年５月
【非特許文献２】Ｊ．Ｂｌａｕｅｒｔ著、「Ｔｈｅ  Ｐｓｙｃｈｏｐｈｙｓｉｃｓ  ｏｆ  Ｈｕｍａｎ  Ｓｏｕｎｄ  Ｌｏｃａｌｉｚａｔｉｏｎ」、ＭＩＴ  Ｐｒｅｓｓ、１９８３年
【非特許文献３】Ｄ．Ｒ．Ｂｅｇａｕｌｔ著、「３−Ｄ  Ｓｏｕｎｄ  ｆｏｒ  Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  ａｎｄ  Ｍｕｌｔｉｍｅｄｉａ」、Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ、Ｃａｍｂｒｉｄｇｅ、ＭＡ、１９９４年
【非特許文献４】Ｍ．Ｒ．Ｓｃｈｒｏｅｄｅｒ著、「Ｎａｔｕｒａｌ  ｓｏｕｎｄｉｎｇ  ａｒｔｉｆｉｃｉａｌ  ｒｅｖｅｒｂｅｒａｔｉｏｎ」、Ｊ．Ａｕｄ．Ｅｎｇ．Ｓｏｃ．、第１０巻、３号、２１９頁〜２２３頁、１９６２年
【非特許文献５】Ｗ．Ｇ．Ｇａｒｄｎｅｒ著、「Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ｔｏ  Ａｕｄｉｏ  ａｎｄ  Ａｃｏｕｓｔｉｃｓ」、Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｉｎｇ、Ｎｏｒｗｅｌｌ、ＭＡ、ＵＳＡ、１９９８年
【非特許文献６】Ｅ．Ｓｃｈｕｉｊｅｒｓ、Ｗ．Ｏｏｍｅｎ、Ｂ．ｄｅｎ  Ｂｒｉｎｋｅｒ、およびＪ．Ｂｒｅｅｂａａｒｔ著、「Ａｄｖａｎｃｅｓ  ｉｎ  ｐａｒａｍｅｔｒｉｃ  ｃｏｄｉｎｇ  ｆｏｒ  ｈｉｇｈ−ｑｕａｌｉｔｙ  ａｕｄｉｏ」、Ｐｒｅｐｒｉｎｔ第１１４Ｃｏｎｖｅｎｔｉｏｎ  Ａｕｄ．Ｅｎｇ．Ｓｏｃ．、２００３年３月
【非特許文献７】Ａｕｄｉｏ  Ｓｕｂｇｒｏｕｐ、Ｐａｒａｍｅｔｒｉｃ  ｃｏｄｉｎｇ  ｆｏｒ  Ｈｉｇｈ  Ｑｕａｌｉｔｙ  Ａｕｄｉｏ、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  ＭＰＥＧ２００２／Ｎ５３８１、２００２年１２月
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従来のモノ会議システムでは、サーバは、参加者全員からの複数のモノ信号を組み合わせて、各参加者に戻される単一の複合モノ信号とする。他の参加者と共に１つの部屋の実際の会議机についているという各参加者の臨場感を高めるために、サーバは、図２のシンセサイザー２００のような、聴覚情景シンセサイザーを実施することができる。このシンセサイザー２００は、適切な一組の空間キューを各参加者からのモノ音声信号に適用し、聴覚情景のための単一の複合バイノーラル信号の左右の音声信号を生成するために、異なる左右の音声信号を組み合わせるものである。この場合、この複合バイノーラル信号のための左右の音声信号が、各参加者に送信される。サーバは左音声信号と右音声信号を各会議参加者に送信する必要があるので、このような従来のステレオ会議システムの問題の１つは、送信帯域幅に関係している。
【課題を解決するための手段】
【００１１】
‘８７７および‘４５８出願は、従来技術の送信帯域幅問題に対処する、聴覚情景を合成する技法を記載する。‘８７７出願によれば、リスナーに対して異なる場所に位置する複数の音源に対応する聴覚情景が、聴覚情景パラメータ（例えば、チャネル間レベル差（ＩＣＬＤ）値、チャネル間時間差（ＩＣＴＤ）値、および／または頭部伝達関数（ＨＲＴＦ）のような空間キュー）の２つ以上の異なる組を使用して、単一の複合（例えば、モノ）音声信号から合成される。したがって、前述のＰＣベースの会議の場合、解決策は、各参加者のＰＣが、モノ音源信号の組み合わせに対応する単一のモノ音声信号だけ（および聴覚情景パラメータの異なる組）を参加者全員から受け取ることで実施することができる。
【００１２】
‘８７７出願に記載の技法は、特定の音源からのソース信号のエネルギーがモノ音声信号のすべての他のソース信号のエネルギーより優位にある、周波数サブバンドの場合に、リスナーによる知覚の観点からして、そのモノ音声信号を単独にその特定の音源に対応するように扱うことができるという仮定に基づいている。この技法の実施態様によれば、聴覚情景パラメータ（それぞれが特定の音源に対応する）の異なる組は、聴覚情景を合成するために、モノ音声信号の異なる周波数サブバンドに適用される。
【００１３】
‘８７７出願に記載の技法は、モノ音声信号と聴覚情景パラメーのタ２つ以上の異なる組とから聴覚情景を生成する。‘８７７出願は、モノ音声信号とその対応する聴覚情景パラメータの組とが生成される技法を記載している。モノ音声信号とその対応する聴覚情景パラメータの組とを生成する技法を、本明細書ではバイノーラル・キュー・コーディング（ＢＣＣ）と称する。ＢＣＣ技法は、‘８７７および‘４５８出願に記載の、空間キューの知覚コーディング（ＰＣＳＣ）技法と同じである。
【００１４】
‘４５８出願によれば、複合（例えば、モノ）音声信号を生成するためにＢＣＣ技法が適用される。この複合音声信号では、その結果得られるＢＣＣ信号がＢＣＣベースのデコーダまたは従来の（すなわち、レガシーまたは非ＢＣＣ）レシーバのどちらかにより処理することができる方法で、聴覚情景パラメータの異なる組が、その複合音声信号に埋め込まれる。ＢＣＣベースのデコーダにより処理される場合、ＢＣＣベースのデコーダは、バイノーラル（または、より高度な）信号を生成するために、埋め込まれた聴覚情景パラメータを抽出し、‘８７７出願の聴覚情景合成技法を適用する。聴覚情景パラメータは、従来型レシーバに対して透過的な方法で、ＢＣＣ信号に埋め込まれる。この従来型レシーバは、ＢＣＣ信号を、それが従来の（例えば、モノ）音声信号であるかのように処理する。このようにして、‘４５８出願に記載の技法は、ＢＣＣベースのデコーダによる‘８７７出願のＢＣＣ処理をサポートし、その一方で、ＢＣＣ信号が従来型レシーバにより従来の方法で処理できるように下位互換性を提供する。
【００１５】
‘８７７および‘４５８出願に記載のＢＣＣ技法は、ＢＣＣエンコーダでバイノーラル入力信号（例えば、左右の音声チャネル）を単一モノ音声チャネルと（帯域内または帯域外で）モノ信号と平行して送信されるバイノーラル・キュー・コーディング（ＢＣＣ）・パラメータのストリームとに変換することにより、送信帯域幅の要件を効果的に低減する。例えば、モノ信号を、対応する２チャネルのステレオ信号に通常ならば必要となる、約５０〜８０％のビットレートで送信することができる。ＢＣＣパラメータに対する追加のビットレートは、数キロビット／秒だけである（すなわち、大規模よりも大きく、エンコードされた音声チャネルより少ない）。ＢＣＣデコーダでは、バイノーラル信号の左右チャネルは、受信したモノ信号とＢＣＣパラメータとから合成される。
【００１６】
バイノーラル信号のコヒーレンスは、音源の知覚幅に関連する。音源が広いほど、結果的に得られるバイノーラル信号の左右チャネル間のコヒーレンスは低くなる。例えば、公会堂のステージ一杯に展開したオーケストラに対応するバイノーラル信号のコヒーレンスは、通常、ソロ演奏する１台のバイオリンに対応するバイノーラル信号のコヒーレンスよりも低い。一般に、コヒーレンスの低い音声信号は、通常、聴覚空間では、より広がっているように知覚される。
【００１７】
‘８７７および‘４５８出願のＢＣＣ技法は、左右チャネル間のコヒーレンスが可能最大値１に近い、バイノーラル信号を生成する。元のバイノーラル入力信号がその最大のコヒーレンスより低い場合、ＢＣＣデコーダは、同じコヒーレンスを持つステレオ信号を再現しない。この結果、多くの場合イメージを狭く生成しすぎることによる聴覚イメージ・エラーを生じ、「ドライ」すぎる音響の印象が作り出される。
【００１８】
具体的には、左右の出力チャネルは、聴覚臨界帯域の緩慢に変化するレベル変更により、同じモノ信号から生成されるので、高いコヒーレンスを有する。聴覚範囲を離散的な数のオーディオ・サブバンドに分割する臨界帯域モデルが、聴覚システムの空間的統合を説明するために心理音響的に使用される。ヘッドフォン再生の場合、左右の出力チャネルは、それぞれ、左右の耳の入力信号である。耳の信号が高いコヒーレンスを有する場合、その信号に含まれる聴覚オブジェクトは、非常に「局在化され」ており、公会堂の空間イメージ内では非常に小さい広がりしかないように知覚される。スピーカ再生の場合、左のスピーカから右耳へ、右のスピーカから左耳へのクロストークを考慮する必要があるので、スピーカ信号は耳の信号を間接的にしか決定付けない。さらに、室内の反響も、知覚された聴覚イメージに重大な役割を果たす。しかし、スピーカ再生の場合、コヒーレンスの高い信号の聴覚イメージは、ヘッドフォン再生と同様に、非常に狭くて局在化している。
【００１９】
‘４３７出願によれば、‘８７７および‘４５８出願のＢＣＣ技法は、入力音声信号のコヒーレンスに基づくＢＣＣパラメータを含めるように拡張される。コヒーレンスパラメータは、エンコードされたモノ音声信号と平行して他のＢＣＣパラメータと共に、ＢＣＣエンコーダからＢＣＣデコーダに送信される。ＢＣＣデコーダは、聴覚情景（例えば、バイノーラル信号の左右チャネル）を、知覚した幅がＢＣＣエンコーダへの元の音声信号入力を生成した聴覚オブジェクトの幅とさらに正確に一致する聴覚オブジェクトと合成するために、コヒーレンスパラメータを他のＢＣＣパラメータと組み合わせて適用する。
【００２０】
‘８７７および‘４５８出願のＢＣＣ技法により生成された聴覚オブジェクトの狭いイメージ幅に関連する問題は、聴覚の空間キュー（すなわち、ＢＣＣパラメータ）の不正確な評価に対する感度である。ヘッドフォン再生の場合は特に、空間の安定な位置にあるべき聴覚オブジェクトは、任意に移動する傾向がある。無作為に動き回るオブジェクトの知覚は、うっとうしく、事実上、知覚したオーディオ品質を低下させる。‘４３７出願の実施形態を適用しても、この問題は、事実上、完全にはなくならない。
【００２１】
‘４３７出願のコヒーレンスベースの技法は、比較的低い周波数よりも比較的高い周波数で、より良好に機能する傾向がある。本発明の特定の実施形態によれば、‘４３７出願のコヒーレンスベースの技法は、１つまたは複数の、可能ならばすべての周波数サブバンドに対する残響技法で置き換えられる。１つの複合実施形態では、残響技法は、低周波数（例えば、指定の（例えば、経験的に決定された）閾値周波数より低い周波数サブバンド）に対して実施され、‘４３７出願のコヒーレンスベースの技法は、高周波数（例えば、閾値周波数よりも高い周波数サブバンド）に対して実施される。
【００２２】
一実施形態では、本発明は、聴覚情景を合成するための方法である。２つ以上の処理済み入力信号を生成するために、少なくとも１つの入力チャネルが処理され、２つ以上の拡散信号を生成するために、少なくとも１つの入力チャネルがフィルタリングされる。聴覚情景用の複数の出力チャネルを生成するために、２つ以上の拡散信号は２つ以上の処理済み入力信号と組み合わされる。
【００２３】
別の実施形態では、本発明は、聴覚情景を合成するための装置である。この装置は、少なくとも１つの時間領域対周波数領域（ＴＤ−ＦＤ）コンバータと複数のフィルタの構成を含む。ここで、この構成は、少なくとも１つのＴＤ入力チャネルから２つ以上の処理済みＦＤ入力信号と２つ以上の拡散ＦＤ信号とを生成するようになされている。この装置は、（ａ）複数の合成ＦＤ信号を生成するために、２つ以上の拡散ＦＤ信号を２つ以上の処理済みＦＤ入力信号と組み合わせるようになされた、２つ以上のコンバイナと、（ｂ）合成ＦＤ信号を聴覚情景用の複数のＴＤ出力チャネルに変換するようになされた、２つ以上の周波数領域対時間領域（ＦＤ−ＴＤ）コンバータとも有する。
【発明を実施するための最良の形態】
【００２４】
以下の「発明を実施するための最良の形態」、特許請求の範囲、および添付の図面を参照すれば、本発明の他の態様、特徴、および利点が、より十分に明らかになろう。
（ＢＣＣベースの音声処理）
図３は、バイノーラル・キュー・コーディング（ＢＣＣ）を実行する音声処理システム３００のブロック図を示す。ＢＣＣシステム３００は、Ｃ個の音声入力チャネル３０８を、例えばコンサート・ホール内の異なる位置に分散された、Ｃ個の異なるマイクロフォン３０６のそれぞれから１つずつ受信する、ＢＣＣエンコーダ３０２を有する。ＢＣＣエンコーダ３０２は、Ｃ個の音声入力チャネルを１つまたは複数の、但しＣ個より少ない、複合チャネル３１２に変換（例えば、平均）する、ダウンミキサー３１０を有する。さらに、ＢＣＣエンコーダ３０２は、Ｃ個の入力チャネルに対してＢＣＣキュー・コード・データ・ストリーム３１６を生成する、ＢＣＣアナライザー３１４も有する。
【００２５】
１つの可能な実施態様では、ＢＣＣキュー・コードは、入力チャネルごとに、チャネル間レベル差（ＩＣＬＤ）、チャネル間時間差（ＩＣＴＤ）、およびチャネル間相関（ＩＣＣ）データを含む。ＢＣＣアナライザー３１４は、音声入力チャネルの１つまたは複数の異なる周波数サブバンドのそれぞれに対してＩＣＬＤおよびＩＣＴＤデータを生成するために、‘８７７および‘４５８出願に記載の処理に類似の、帯域ベースの処理を実行することが好ましい。さらに、ＢＣＣアナライザー３１４は、周波数サブバンドごとに、ＩＣＣデータとしてコヒーレンス測度を生成することが好ましい。これらのコヒーレンス測度は、本明細書の次節でさらに詳しく説明する。
【００２６】
ＢＣＣエンコーダ３０２は、１つまたは複数の複合チャネル３１２およびＢＣＣキュー・コード・データ・ストリーム３１６（例えば、複合チャネルに関する帯域内または帯域外の副次的情報として）を、ＢＣＣシステム３００のＢＣＣデコーダ３０４に送信する。ＢＣＣデコーダ３０４は、ＢＣＣキュー・コード３２０（例えば、ＩＣＬＤ、ＩＣＴＤ、およびＩＣＣデータ）を回復するためにデータ・ストリーム３１６を処理する、副次的情報プロセッサ３１８を有する。ＢＣＣデコーダ３０４は、Ｃ個のスピーカ３２６によりそれぞれレンダリングするための、１つまたは複数の複合チャネル３１２からのＣ個の音声出力チャネル３２４を合成するために、回復されたＢＣＣキュー・コード３２０を使用する、ＢＣＣシンセサイザー３２２も有する。
【００２７】
ＢＣＣエンコーダ３０２からＢＣＣデコーダ３０４へのデータ送信の定義は、音声処理システム３００の特定用途に依存する。例えば、音楽のコンサートの生放送のような一部の用途では、送信は、遠隔位置での即時再生用のデータのリアルタイム送信を必要とする場合がある。他の用途では、「送信」は、ＣＤへの、または後で（すなわち、非リアルタイムで）再生するための他の適切な記憶媒体へのデータの記憶を必要とする場合がある。当然ながら、他の用途も可能な場合がある。
【００２８】
音声処理システム３００の１つの可能な用途では、ＢＣＣエンコーダ３０２は、従来の５．１サラウンド・サウンドの６個の音声入力チャネル（すなわち、５個の通常型音声チャネル＋１個のサブウーファー・チャネルとしても知られる低周波数効果（ＬＦＥ）チャネル）を、単一の複合チャネル３１２および対応するＢＣＣキュー・コード３１６に変換し、ＢＣＣデコーダ３０４は、合成された５．１サラウンド・サウンド（すなわち、５個の合成された通常型音声チャネル＋１個の合成されたＬＦＥチャネル）を、単一の複合チャネル３１２およびＢＣＣキュー・コード３１６から生成する。７．１サラウンド・サウンドまたは１０．２サラウンド・サウンドを含めて、多くの他の用途も可能である。
【００２９】
さらに、Ｃ個の入力チャネルは単一の複合チャネル３１２にダウンミックスすることができるが、代替態様では、そのＣ個の入力チャネルを、特定の音声処理の用途に応じて、２つ以上の異なる複合チャネルにダウンミックスすることができる。一部の用途では、ダウンミックスすることにより２つの複合チャネルが生成される場合、その複合チャネル・データは、従来のステレオ音声送信機構を使用して送信することができる。これは、下位互換性を提供することができる。ここで、２つのＢＣＣ複合チャネルは、従来の（すなわち、非ＢＣＣベースの）ステレオ・デコーダを使用して再生される。単一のＢＣＣ複合チャネルが生成される場合、類似の下位互換性をモノ・デコーダに提供することができる。
【００３０】
ＢＣＣシステム３００は音声出力チャネルと同数の音声入力チャネルを有することができるが、代替形態では、入力チャネルの数は、特定の用途に応じて、出力チャネルの数より多くても少なくてもよい。
【００３１】
特定の実施態様によっては、図３のＢＣＣエンコーダ３０２とＢＣＣデコーダ３０４の両方によって受信され、生成された様々な信号は、すべてアナログまたはすべてデジタルの場合を含めて、アナログおよび／またはデジタル信号のいかなる適切な組み合わせであってもよい。図３には示さないが、当業者には、１つまたは複数の複合チャネル３１２およびＢＣＣキュー・コード・データ・ストリーム３１６が、送信されるデータのサイズをさらに縮小するために、例えばいくつかの適切な圧縮方式（例えば、ＡＤＰＣＭ）に基づくなどして、ＢＣＣエンコーダ３０２によりさらにエンコードされ、同様に、ＢＣＣデコーダ３０４によってデコードすることができることが理解されよう。
【００３２】
（コヒーレンス評価）
図４は、‘４３７出願の一実施形態により、コヒーレンス測度の生成に対応する、図３のＢＣＣアナライザー３１４の処理のその部分のブロック図を示す。図４に示すように、ＢＣＣアナライザー３１４は、２つの時間−周波数（ＴＦ）変換ブロック４０２および４０４を含む。これらは、左右入力音声チャネルＬおよびＲを、それぞれ時間領域から周波数領域に変換するための、長さの短時間離散フーリエ変換（ＤＦＴ）１０２４のような、適切な変換を適用する。各変換ブロックは、入力音声チャネルの異なる周波数のサブバンドに対応する出力数を生成する。コヒーレンス推定器４０６は、異なる、考慮された臨界帯域（以下でサブバンドと呼ぶ）のそれぞれの干渉を特徴付ける。当業者には、好ましいＤＦＴベースの実施態様では、１つの臨界帯域とみなされるＤＦＴ係数の数は臨界帯域ごとに様々であり、周波数の高い臨界帯域よりも通常は周波数の低い臨界帯域の方が係数が少ないことが理解されよう。
【００３３】
一実施態様では、各ＤＦＴ係数のコヒーレンスが評価される。左チャネルＤＦＴスペクトルのスペクトル成分ＫＬの実の部分と虚の部分は、それぞれＲｅ｛ＫＬ｝およびＩｍ｛ＫＬ｝と称することができる。これは、右チャネルに対しても同様である。この場合、左右チャネルに対するパワー評価ＰＬＬおよびＰＲＲは、以下に示すように、それぞれ式（１）および（２）で表すことができる。
ＰＬＬ＝（１−α）ＰＬＬ＋α（Ｒｅ２｛ＫＬ｝＋Ｉｍ２｛ＫＬ｝）        （１）
ＰＲＲ＝（１−α）ＰＲＲ＋α（Ｒｅ２｛ＫＲ｝＋Ｉｍ２｛ＫＲ｝）        （２）
実と虚のクロス項ＰＬＲ，ＲｅおよびＰＬＲ，Ｉｍは、以下に示すように、それぞれ式（３）および（４）によって与えられる。
ＰＬＲ，Ｒｅ＝（１−α）ＰＬＲ＋α（Ｒｅ｛ＫＬ｝Ｒｅ｛ＫＲ｝−Ｉｍ｛ＫＬ｝Ｉｍ｛ＫＲ｝）      （３）
ＰＬＲ，Ｉｍ＝（１−α）ＰＬＲ＋α（Ｒｅ｛ＫＬ｝Ｉｍ｛ＫＲ｝−Ｉｍ｛ＫＬ｝Ｒｅ｛ＫＲ｝）      （４）
因数αは、評価窓の持続時間を決定するものであり、音声サンプリング・レート３２ｋＨｚおよびフレーム・シフト５１２サンプルに対してα＝０．１と選択することができる。式（１）〜（４）から導出されるように、サブバンドに対するコヒーレンス評価γは、以下に示すように、式（５）によって与えられる。
【数１】
2005229612.tif 000003
【００３４】
前述の通り、コヒーレンス推定器４０６は、係数コヒーレンス評価γを各臨界帯域に対して平均する。そのように平均する場合、平均する前に、荷重関数をサブバンドコヒーレンス評価に適用することが好ましい。この荷重は、式（１）および（２）によって与えられたパワー評価に比例して行うことができる。スペクトル成分ｎ１，ｎ１＋１，．．．，ｎ２を含む１つの臨界帯域ｐの場合、平均化された荷重係数
【数２】
2005229612.tif 000004
は、以下に示すように、式（６）を使用して計算することができる。
【数３】
2005229612.tif 000005
上式で、ＰＬＬ（ｎ）、ＰＲＲ（ｎ）、およびγ（ｎ）は、それぞれ式（１）、（２）、および（６）によって与えられる、スペクトル係数ｎの左チャネルのパワー、右チャネルのパワー、およびコヒーレンス評価である。式（１）〜（６）は、個々のスペクトル係数ｎ当たりすべてであることに留意されたい。
【００３５】
図３のＢＣＣエンコーダ３０２の１つの可能な実施態様では、ＢＣＣデコーダ３０４に送信されるＢＣＣパラメータ・ストリームに含めるために、異なる臨海帯域に対して平均化された荷重係数評価
【数４】
2005229612.tif 000006
が、ＢＣＣアナライザー３１４により生成される。
【００３６】
（コヒーレンスベースの音声合成）
図５は、コヒーレンスベースの音声合成を使用して、単一の複合チャネル３１２（ｓ（ｎ））をＣ個の合成音声出力チャネル３２４
【数５】
2005229612.tif 000007
に変換するために、図３のＢＣＣシンセサイザー３２２の一実施形態により実行される、音声処理のブロック図を示す。具体的には、ＢＣＣシンセサイザー３２２は、聴覚フィルタ・バンク（ＡＦＢ）ブロック５０２を有する。これは、時間領域の複合チャネル３１２を、対応する周波数領域信号５０４
【数６】
2005229612.tif 000008
のＣ個のコピーに変換するために、時間−周波数（ＴＦ）変換（例えば、高速フーリエ変換（ＦＦＴ））を実行する。
【００３７】
周波数領域信号５０４の各コピーは、図３の副次的情報プロセッサ３１８によって回復される、対応するチャネル間時間差（ＩＣＴＤ）データから導出された遅延値（ｄｉ（ｋ））に基づいて、対応する遅延ブロック５０６で遅らされる。それぞれ結果的に得られた遅延信号５０８は、副次的情報プロセッサ３１８によって回復された、対応するチャネル間レベル差（ＩＣＬＤ）データから導出した倍率（すなわち、利得因数）（αｉ（ｋ））に基づいて、対応する乗算器５１０により倍率変更される。
【００３８】
得られた倍率変更済み信号５１２は、コヒーレンスプロセッサ５１４に適用される。これは、Ｃ個の合成周波数領域信号５１６
【数７】
2005229612.tif 000009
を出力チャネルごとに１つずつ生成するために、副次的情報プロセッサ３１８によって回復されたＩＣＣコヒーレンスデータに基づいて、コヒーレンス処理を適用する。次いで、異なる時間領域出力チャネル３２４
【数８】
2005229612.tif 000010
を生成するために、各合成周波数領域信号５１６が、対応する逆ＡＦＢ（ＩＡＦＢ）ブロック５１８に適用される。
【００３９】
好ましい実施態様では、各遅延ブロック５０６、各乗算器５１０、および干渉プロセッサ５１４の処理は帯域ベースである。ここで、潜在的に異なる遅延値、倍率、およびコヒーレンス測度が、周波数領域信号のそれぞれの異なるコピーのそれぞれの異なる周波数サブバンドに適用される。サブバンドごとに評価されたコヒーレンスが与えられた場合、その大きさは、そのサブバンド内の周波数に応じて異なる。別の可能性は、評価された干渉に応じて、パーティション内の周波数に応じて位相を変更することである。好ましい実施態様では、位相は、異なる遅延またはグループ遅延を、サブバンド内の周波数に応じて課すように変更される。同様に、好ましくは、大きさおよび／または遅延（またはグループ遅延）の変更は、各臨界帯域で修正の平均値がゼロになるように実行される。その結果、サブバンド内のＩＣＬＤおよびＩＣＴＤは、コヒーレンス合成によっては変更されない。
【００４０】
好ましい実施態様では、導入された大きさまたは位相の変更の振幅ｇ（または分散）は、左右チャネルの評価されたコヒーレンスに基づいて制御される。干渉が小さい場合、利得ｇは、コヒーレンスγの適切な関数ｆ（γ）として正確にマッピングされるべきである。一般に、コヒーレンスが大きい場合（例えば、最大可能値＋１に近い場合）、入力聴覚情景内のオブジェクトは狭い。この場合、サブバンド内の大きさまたは位相修正が事実上なくなるように、利得ｇを小さく（例えば、最小可能値０に近く）すべきである。一方、干渉が小さい場合（例えば、最小可能値０に近い場合）、入力聴覚情景内のオブジェクトは広い。この場合、修正されたサブバンド信号間を低コヒーレンスにする重大な大きさおよび／または位相修正があるように、利得ｇは大きくすべきである。
【００４１】
特定の臨界帯域に対する振幅ｇの適切なマッピング関数ｆ（γ）は、以下に示すように、式（７）によって与えられる。
【数９】
2005229612.tif 000011
上式で、
【数１０】
2005229612.tif 000012
は、ＢＣＣパラメータのストリームの一部として、図３のＢＣＣデコーダ３０４に送信される、対応する臨界帯域に関して評価されたコヒーレンスである。この一次マッピング関数によれば、評価されたコヒーレンス
【数１１】
2005229612.tif 000013
が１の場合、利得ｇは０であり、
【数１２】
2005229612.tif 000014
の場合、ｇ＝５である。代替形態では、利得ｇは、コヒーレンスの非一次関数であってよい。
【００４２】
以上、コヒーレンスベースの音声合成を、擬似乱数の数列に基づき荷重因数ｗＬおよびｗＲを修正する状況において説明したが、この技法はこれに限定されるわけではない。一般に、コヒーレンスベースの音声合成は、より大きな（例えば、臨界の）バンドのサブバンド間における知覚空間キューのいかなる修正にも適用される。修正関数は、無作為な数列には限定されない。例えば、修正関数は、正弦関数に基づいてよい。ここで、（式（９）の）ＩＣＬＤは、サブバンド内の周波数に応じて正弦方式で異なる。一部の実施態様では、正弦波の周期は、対応する臨界帯域の幅（例えば、各臨界帯域内の対応する正弦波の１つまたは複数の完全な周期）に応じて、臨界帯域ごとに様々である。他の実施態様では、正弦波の周期は、周波数範囲全体で一貫している。これらの実施態様のどちらでも、正弦修正関数は、臨界帯域間で連続していることが好ましい。
【００４３】
修正関数の別の例は、正の最大値と対応する負の最小値との間で線形に増減する、鋸歯または三角関数である。ここでもまた、この実施態様により、修正関数の周期は、臨界帯域ごとに異なっても、周波数範囲全体で一貫していてもよい。但し、いずれの場合でも、臨界帯域間では連続していることが好ましい。
【００４４】
以上、コヒーレンスベースの音声合成を、無作為の、正弦関数および三角関数の状況において説明したが、各臨界帯域内の荷重因数を修正する他の関数も可能である。正弦関数および三角関数と同様に、これらの他の修正関数は、必須ではないが、臨界帯域間で連続していてよい。
【００４５】
上記のコヒーレンスベースの音声合成の実施形態によれば、音声信号の臨界帯域内のサブバンド間に修正されたレベル差を導入することにより、空間レンダリング機能が達成される。この代わりに、またはこれに加えて、有効知覚空間キューとして時間差を修正するために、コヒーレンスベースの音声合成を適用することができる。具体的には、レベル差に関して上記で説明した技法と類似の、聴覚オブジェクトのさらに幅広い空間イメージを作成する技法を、以下に示すように、時間差にも適用することができる。
【００４６】
‘８７７および‘４５８出願で規定されているように、２つの音声チャネル間のサブバンドｓの時間差はτｓで示される。コヒーレンスベースの音声合成の特定の実施態様によれば、サブバンドｓに対する修正された時間差τｓ’を生成するために、以下に示すように、式（８）により、遅延オフセットｄｓおよび利得因数ｇｃを導入することができる。
τｓ’＝ｇｃｄｓ＋τｓ                                    （８）
遅延オフセットｄｓは、各サブバンドに対する時間全体に亘り一貫していることが好ましいが、サブバンド間では異なるものであり、ゼロ平均の任意の数列として、または各臨界帯域内に０の平均値を有することが好ましいさらに平滑な関数として選択することができる。式（９）の利得因数ｇと同様に、各臨界帯域ｃに含まれるすべてのサブバンドｎに、同じ利得因数ｇｃが適用されるが、この利得因数は臨界帯域ごとに異なる。利得因数ｇｃは、式（７）の一次マッピング関数に比例することが好ましいマッピング関数を使用して、コヒーレンス評価から導出される。したがって、ｇｃ＝ａｇである。ここで、定数ａの値は、実験的波長調整により決定される。代替形態では、利得ｇｃは、コヒーレンスの非一次関数である。ＢＣＣシンセサイザー３２２は、元の時間差τｓではなく、修正された時間差τｓ’を適用する。聴覚オブジェクトのイメージの幅を広げるには、レベル差と時間差の両方の修正を適用することができる。
【００４７】
以上、コヒーレンスベースの処理を、ステレオ聴覚情景の左右チャネルを生成する状況で説明したが、この技法は、いくつの合成出力チャネルにでも拡張することができる。
（残響音ベースの音声合成）
（定義、表記法、および変数）
時間指数をｋとした２つの音声チャネルの対応する周波数領域入力サブバンド信号
【数１３】
2005229612.tif 000015
および
【数１４】
2005229612.tif 000016
のために、ＩＣＬＤ、ＩＣＴＤ、およびＩＣＣに対して、次に示す測度が使用される。
ｏ  ＩＣＬＤ（ｄＢ）：
【数１５】
2005229612.tif 000017
上式で、
【数１６】
2005229612.tif 000018
および
【数１７】
2005229612.tif 000019
は、それぞれ信号
【数１８】
2005229612.tif 000020
および
【数１９】
2005229612.tif 000021
のパワーの短時間評価である。
ｏ  ＩＣＴＤ（サンプル）：
【数２０】
2005229612.tif 000022
上式で、正規化された相互相関関数の短時間評価は、
【数２１】
2005229612.tif 000023
である。
上式で、
【数２２】
2005229612.tif 000024
であり、
【数２３】
2005229612.tif 000025
は、
【数２４】
2005229612.tif 000026
の平均値の短時間評価である。
ｏ  ＩＣＣ：
【数２５】
2005229612.tif 000027
正規化された相互相関の絶対値が考慮されており、ｃ１２（ｋ）は［０，１］の範囲であることに留意されたい。ｃ１２（ｋ）の略号で表される位相情報をＩＣＴＤが含んでいるので、負の値を考慮する必要はない。
【００４８】
本明細書では、次に示す表記法および変数を使用する。
＊      たたみ込み演算子
ｉ      音声チャネル指数
ｋ      サブバンド信号の時間指数（ＳＴＦＴスペクトルの時間指数でもある）
Ｃ      エンコーダ入力チャネル数、デコーダ出力チャネル数でもある
ｘｉ（ｎ）      時間領域エンコーダ入力音声チャネル（例えば、図３のチャネル３０８の１つ）
【数２６】
2005229612.tif 000028
ｘｉ（ｎ）の１つの周波数領域サブバンド信号（例えば、図４のＴＦ変換４０２または４０４からの出力の１つ）
ｓ（ｎ）      送信された時間領域の複合チャネル（例えば、図３の和分チャネル３１２）
【数２７】
2005229612.tif 000029
ｓ（ｎ）の１つの周波数領域サブバンド信号（例えば、図７の信号７０４）
ｓｉ（ｎ）      逆相関する時間領域の複合チャネル（例えば、図７のフィルタリング済みチャネル７２２）
【数２８】
2005229612.tif 000030
ｓｉ（ｎ）の１つの周波数領域サブバンド信号（例えば、図７の対応する信号７２６）
【数２９】
2005229612.tif 000031
時間領域デコーダ出力音声チャネル（例えば、図３の信号３２４）
【数３０】
2005229612.tif 000032
【数３１】
2005229612.tif 000033
の１つの周波数領域サブバンド信号（例えば、図７の対応する信号７１６）
【数３２】
2005229612.tif 000034
【数３２】
2005229612.tif 000035
【数３３】
2005229612.tif 000036
のパワーの短時間評価
ｈｉ（ｎ）      出力チャネルｉに対する後部残響音（ＬＲ）フィルタ（例えば、図７のＬＲフィルタ７２０）
Ｍ      ＬＲフィルタｈｉ（ｎ）の長さ
ＩＣＬＤ      チャネル間レベル差
ＩＣＴＤ      チャネル間時間差
ＩＣＣ      チャネル間相関
ΔＬＩｉ（ｋ）      チャネルｌおよびチャネルｉの間のＩＣＬＤ
τｌｉ（ｋ）      チャネルｌおよびチャネルｉの間のＩＣＴＤ
Ｃｌｉ（ｋ）      チャネルｌおよびチャネルｉの間のＩＣＣ
ＳＴＦＴ      短時間フーリエ変換
Ｘｋ（ｊω）      信号のＳＴＦＴスペクトル
【００４９】
（ＩＣＬＤ、ＩＣＴＤ、およびＩＣＣの知覚）
図６（Ａ）〜（Ｅ）は、異なるキュー・コードによる信号の知覚を示す。具体的には、図６（Ａ）は、一対のスピーカ信号間のＩＣＬＤとＩＣＴＤが、聴覚イベントの知覚角度をどのように決定するかを示す。図６（Ｂ）は、一対のヘッドフォン信号間のＩＣＬＤとＩＣＴＤが、頭部上部の正面部分に現れる聴覚イベントの位置をどのように決定するかを示す。図６（Ｃ）は、スピーカ信号間のＩＣＣが低下するにつれて、聴覚イベントの広さがどのように広がるか（範囲１から範囲３）を示す。図６（Ｄ）は、２つの別個の聴覚イベントが両側面（範囲４）に現れるまで、左右ヘッドフォン信号間のＩＣＣが低下するにつれて、聴覚オブジェクトの広さがどのように広がるか（範囲１から範囲３）を示す。図６（Ｅ）は、複数のスピーカ再生の場合に、信号間のＩＣＣが低下するにつれて、リスナーを取り巻く聴覚イベントがどのように広がるか（範囲１から範囲４）を示す。
【００５０】
（コヒーレンス信号（ＩＣＣ＝１））
図６（Ａ）および６（Ｂ）は、コヒーレンスのスピーカおよびヘッドフォン信号に関して、異なるＩＣＬＤおよびＩＣＴＤ値に対する知覚された聴覚イベントを示す。振幅のパンは、スピーカおよびヘッドフォン再生用に音声信号をレンダリングするための、最も一般的に使用される技法である。左右のスピーカまたはヘッドフォン信号がコヒーレンスであり（すなわち、ＩＣＣ＝１）、同一レベルであり（すなわち、ＩＣＬＤ＝０）、遅延がない（すなわち、ＩＣＴＤ＝０）場合、図６（Ａ）および６（Ｂ）の範囲１によって示されるように、聴覚イベントは中央に現れる。聴覚イベントは、図６（Ａ）のスピーカ再生の場合は２つのスピーカ間に現れ、図６（Ｂ）のヘッドフォン再生の場合は頭部の上半分の正面部分に現れることに留意されたい。
【００５１】
一方の、例えば右の、レベルを高めることにより、聴覚イベントは、図６（Ａ）および６（Ｂ）の範囲２によって示されるように、その側に移動する。極端な場合、例えば左の信号だけが活動状態にある場合、聴覚イベントは、図６（Ａ）および６（Ｂ）の範囲３によって示されるように、左側に現れる。聴覚イベントの位置を制御するために、ＩＣＴＤを同様に使用することもできる。ヘッドフォン再生の場合、ＩＣＴＤをこの目的に適用することができる。しかし、いくつかの理由から、ＩＣＴＤは、スピーカ再生には使用しないことが好ましい。リスナーが正確にスイート・スポットに位置する場合、ＩＣＴＤ値はフリーフィールドでは最も効果的である。閉鎖的な環境では、反響により、ＩＣＴＤ（±１ミリ秒などの小さな範囲で）は聴覚イベントの知覚方向に対して非常に小さな影響しかない。
【００５２】
（部分的にコヒーレンスの信号（ＩＣＣ＜１））
コヒーレンスの（ＩＣＣ＝１）広帯域音が一対のスピーカから同時に発せられる場合、比較的コンパクトな聴覚イベントが知覚される。それらの信号間でＩＣＣが縮小される場合、聴覚イベントの広さは、図６（Ｃ）に示すように範囲１から範囲３に広がる。ヘッドフォン再生の場合、図６（Ｄ）に示すのと同様の傾向を観察することができる。２つの同一信号（ＩＣＣ＝１）がそれらヘッドフォンから発せられる場合、範囲１内にあるような比較的コンパクトな聴覚イベントが知覚される。２つの別個の聴覚イベントが範囲４内にあるように側面で知覚されるまで、ヘッドフォン信号間のＩＣＣが低下するにつれて、聴覚イベントの広さは、範囲２および３内にあるように広がる。
【００５３】
一般に、ＩＣＬＤおよびＩＣＴＤは、知覚された聴覚イベントの位置を決定し、ＩＣＣは、聴覚イベントの広さまたは拡散の度合いを決定する。さらに、リスナーが、離れて聴覚イベントを知覚するだけでなく、拡散音に取り囲まれているように知覚するという、リスニング状態がある。この現象は「音に包まれた感じ」と呼ばれる。このような状態は、全方向から後部残響がリスナーの耳に到達する、コンサート・ホールなどで起こる。図６（Ｅ）に示すように、リスナーの周囲に分布したスピーカから独立したノイズ信号を発することにより、類似の体験を再現することができる。このシナリオでは、範囲１から４のような、ＩＣＣとリスナーを取り巻く聴覚イベントの広さとの間にはある関係がある。
【００５４】
複数の逆相関する音声チャネルを低ＩＣＣとミキシングすることにより、上記の知覚を提供することができる。以下の節では、そのような効果を提供するための、残響音ベースの技法を説明する。
【００５５】
（単一の複合チャネルからの拡散音の生成）
前述のように、コンサート・ホールは、リスナーが１つの音が拡散しているように知覚する１つの典型的なシナリオである。後部残響音がある間、音は任意の強度で任意の角度から耳に到達する。したがって、２つの耳の入力信号の間の相関関係は低い。これは、後部残響音をモデリングするフィルタで所与の複合音声チャネルｓ（ｎ）をフィルタリングすることにより、複数の逆相関音声チャネルを生成する誘因を与える。その結果得られる、フィルタリングされたチャネルを、本明細書では「拡散チャネル」とも呼ぶ。
Ｃ個の拡散チャネルｓｉ（ｎ）、（１≦ｉ≦Ｃ）が、以下に示すように、式（１４）によって得られる。
ｓｉ（ｎ）＝ｈｉ（ｎ）＊ｓ（ｎ）                      （１４）
上式で、＊はたたみ込みを示し、ｈｉ（ｎ）は後部残響音をモデリングするフィルタである。後部残響音は、次に示すように、式（１５）によってモデリングすることができる。
【数３４】
2005229612.tif 000037
上式で、ｎｉ（ｎ）（１≦ｉ≦Ｃ）は、独立した定常白色ガウス・ノイズ信号であり、Ｔは秒による衝撃応答の急激衰退の、秒による時間定数であり、ｆｓはサンプリング頻度であり、Ｍはサンプル中の衝撃応答の長さである。後部残響音の強さは、通常、時が経てば急激に衰退するものなので、急激衰退が選択される。
【００５６】
多くのコンサート・ホールの残響時間は、１．５から３．５秒の範囲である。拡散音声チャネルを、コンサート・ホール録音の拡散の度合いを生成するのに十分なだけ独立させるために、Ｔは、ｈｉ（ｎ）の残響時間が同じ範囲内になるように選択される。これは、Ｔ＝０．４秒の場合の例である（残響時間約２．８秒になる）。
【００５７】
各ヘッドフォンまたはスピーカ信号チャネルを、ｓ（ｎ）、ｓｉ（ｎ）、（１≦ｉ≦Ｃ）の荷重合計として計算することにより、所望の拡散の度合いを有する信号を生成することができる（ｓｉ（ｎ）だけを使用する場合は、コンサート・ホールに類似の最大拡散度合いで）。次節に示すように、ＢＣＣ合成は、各サブバンドにおけるそのような処理を別個に適用することが好ましい。
【００５８】
（残響音ベースのオーディオ・シンセサイザーの例）
図７は、本発明の一実施形態による、残響音ベースの音声合成を使用して単一の複合チャネル３１２（ｓ（ｎ））を（少なくとも）２つの合成音声出力チャネル３２４
【数３５】
2005229612.tif 000038
に変換するために、図３のＢＣＣシンセサイザー３２２により実行される、音声処理のブロック図を示す。
図７に示し、また図５のＢＣＣシンセサイザー３２２の処理に類似のように、ＡＦＢブロック７０２は、時間領域の複合チャネル３１２を、対応する周波数領域信号７０４
【数３６】
2005229612.tif 000039
の２つのコピーに変換する。周波数領域信号７０４の各コピーは、図３の副次的情報プロセッサ３１８によって回復された、対応するチャネル間時間差（ＩＣＴＤ）データから導出された、遅延値（ｄｉ（ｋ））に基づいて、対応する遅延ブロック７０６で遅らされる。それぞれの得られた遅延信号７０８は、副次的情報プロセッサ３１８によって回復されるキュー・コード・データから導出された倍率（αｉ（ｋ））に基づいて、対応する乗算器７１０により倍率変更される。これらの倍率の導出については、以下でさらに詳しく説明する。この結果得られる、倍率変更された遅延信号７１２は、総和ノード７１４に適用される。
【００５９】
ＡＦＢブロック７０２に適用されることに加え、複合チャネル３１２のコピーは、後部残響音（ＬＲ）プロセッサ７２０にも適用される。一部の実施態様では、ＬＲプロセッサは、複合チャネル３１２がコンサート・ホールで再生された場合にそのコンサート・ホールで起こるであろう、後部残響音に類似の信号を生成する。さらに、コンサート・ホール内の様々な位置に対応する後部残響音を生成するために、ＬＲプロセッサを使用することができる。この結果、それらの出力信号は逆相関される。この場合、複合チャネル３１２および拡散ＬＲ出力チャネル７２２（ｓｌ（ｎ），ｓ２（ｎ））は、高度な独立性を有する（すなわち、０に近いＩＣＣ値）。
【００６０】
式（１４）および（１５）を使用して前節で説明したように、複合信号３１２をフィルタリングすることによって、拡散ＬＲチャネル７２２を生成することができる。あるいは、Ｍ．Ｒ．Ｓｃｈｒｏｅｄｅｒ著、「Ｎａｔｕｒａｌ  ｓｏｕｎｄｉｎｇ  ａｒｔｉｆｉｃｉａｌ  ｒｅｖｅｒｂｅｒａｔｉｏｎ」、Ｊ．Ａｕｄ．Ｅｎｇ．Ｓｏｃ．、第１０巻、３号、２１９頁〜２２３頁、１９６２年、およびＷ．Ｇ．Ｇａｒｄｎｅｒ著、「Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ｔｏ  Ａｕｄｉｏ  ａｎｄ  Ａｃｏｕｓｔｉｃｓ」、Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｉｎｇ、Ｎｏｒｗｅｌｌ、ＭＡ、ＵＳＡ、１９９８年に記載の技法のような、いかなる他の適切な残響方法にも基づいて、ＬＲプロセッサを実施することができる。一般に、好ましいＬＲフィルタは、事実上平坦なスペクトル・エンベロープによる、事実上無作為の周波数応答を有するフィルタである。
【００６１】
拡散ＬＲチャネル７２２はＡＦＢブロック７２４に適用される。ＡＦＢブロック７２４は、時間領域ＬＲチャネル７２２を周波数領域ＬＲ信号７２６
【数３７】
2005229612.tif 000040
に変換する。ＡＦＢブロック７０２および７２４は、聴覚システムの臨界帯域幅と同等またはそれに比例した帯域幅を有するサブバンドを伴う、逆フィルタ・バンクであることが好ましい。入力信号ｓ（ｎ）、ｓ１（ｎ）、およびｓ２（ｎ）に対する各サブバンド信号は、それぞれ、
【数３８】
2005229612.tif 000041
、
【数３９】
2005229612.tif 000042
、または
【数４０】
2005229612.tif 000043
で示される。サブバンド信号は、一般に、元の入力チャネルよりも低いサンプリング頻度で表されるので、分解した信号のためには、入力チャネル時間指数ｎではなく、別の時間指数ｋが使用される。
【００６２】
乗算器７２８は、周波数領域ＬＲ信号７２６に、副次的情報プロセッサ３１８によって回復されたキュー・コード・データから導出された、倍率（ｂｉ（ｋ））を乗じる。これらの倍率の導出については、以下でさらに詳しく説明する。その結果得られる倍率変更されたＬＲ信号７３０が、総和ノード７１４に適用される。
【００６３】
異なる出力チャネルに対する周波数領域信号７１６
【数４１】
2005229612.tif 000044
を生成するために、総和ノード７１４は、乗算器７２８からの倍率変更されたＬＲ信号７３０を、乗算器７１０からの、対応する倍率変更された遅延信号７１２に加える。総和ノード７１４で生成されたサブバンド信号７１６は、以下に示すように、式（１６）によって与えられる。
【数４２】
2005229612.tif 000045
上式で、倍率（ａ１，ａ２，ｂ１，ｂ２）および遅延（ｄ１，ｄ２）は、所望のＩＣＬＤ  ΔＬ１２（ｋ）、ＩＣＴＤ  τ１２（ｋ）、およびＩＣＣ  ｃ１２（ｋ）に応じて決定される。（これらの倍率および遅延の時間指数は、表記を簡素化するために省略する。）信号
【数４３】
2005229612.tif 000046
、
【数４４】
2005229612.tif 000047
は、すべてのサブバンドに対して生成される。図７の実施形態は、倍率変更されたＬＲ信号を対応する倍率変更された遅延信号と組み合わせることを総和ノードに依存しているが、代替形態では、それらの信号を組み合わせるために総和ノード以外のコンバイナを使用することができる。代替コンバイナの例としては、荷重総和、絶対値の総和、または最大値の選択を実行するコンバイナが挙げられる。
ＩＣＴＤ  τ１２（ｋ）は、
【数４５】
2005229612.tif 000048
に異なる遅延（ｄ１，ｄ２）を課すことにより合成される。これらの遅延は、ｄ＝τ１２（ｎ）として式（１０）により計算される。出力サブバンド信号が、式（９）のΔＬ１２（ｋ）に等しいＩＣＬＤを有するために、倍率（ａ１，ａ２，ｂ１，ｂ２）は、以下に示すように、式（１７）を満たすべきである。
【数４６】
2005229612.tif 000049
上式で、
【数４７】
2005229612.tif 000050
、
【数４８】
2005229612.tif 000051
、および
【数４９】
2005229612.tif 000052
は、それぞれ、
サブバンド信号
【数５０】
2005229612.tif 000053
、
【数５１】
2005229612.tif 000054
、および
【数５２】
2005229612.tif 000055
の短時間パワー評価である。
【００６４】
出力サブバンド信号が、式（１３）のＩＣＣ  ｃ１２（ｋ）を有するために、倍率（ａ１，ａ２，ｂ１，ｂ２）は、以下に示すように、式（１８）を満たす必要がある。
【数５３】
2005229612.tif 000056
上式で、
【数５４】
2005229612.tif 000057
、
【数５５】
2005229612.tif 000058
、および
【数５６】
2005229612.tif 000059
は独立しているものとする。
【００６５】
各ＩＡＦＢブロック７１８は、出力チャネルの１つに対して、一組の周波数領域信号７１６を時間領域チャネル３２４に変換する。コンサート・ホールで様々な方向から発せられる後部残響音をモデリングするために、各ＬＲプロセッサ７２０を使用することができるので、図３の音声処理システム３００のそれぞれ異なるスピーカ３２６ごとに、様々な後部残響音をモデリングすることができる。
【００６６】
ＢＣＣ合成は、すべての出力チャネルのパワーの和が、入力された複合信号のパワーに等しくなるように、通常、その出力信号を正規化する。これにより、利得因数に対する別の式が生じる。
【数５７】
2005229612.tif 000060
【００６７】
４個の利得因数と３個の式があるが、利得因数の選択には１つの自由度しかない。したがって、追加条件を、以下に示すように公式化することができる。
【数５８】
2005229612.tif 000061
式（２０）は、拡散音の量が常に２つのチャネルで同じであることを示している。これを行うには、いくつかの誘因がある。第１に、コンサート・ホールで後部残響音として現れるような拡散音は、ほぼ独立した位置のレベルを有する（比較的小さな変位に対して）。したがって、２つのチャネル間の拡散音のレベル差は、常に、約０ｄＢである。第２に、これは、ΔＬ１２（ｋ）が非常に大きい場合、より弱いチャネルには拡散音だけがミックスされるという、快い副次的作用を有する。したがって、より強いチャネルの音は最小限の修正を受け、一時的なタイム・スプレッドのような、長いたたみ込みの負の効果が低減される。
【００６８】
式（１７）〜（２０）に対する非負の解は、これらの倍率に対して、以下に示す式を生じる。
【数５９】
2005229612.tif 000062
【００６９】
（マルチチャネルＢＣＣ合成）
図７に示す構成は２つの出力チャネルを生成するが、この構成は、図７の破線ブロック内の構成を複製することにより、より多くの出力チャネルのいくつにでも拡大することができる。本発明のこれらの実施形態では、出力チャネルごとに１つのＬＲプロセッサ７２０があることに留意されたい。これらの実施形態では、各ＬＲプロセッサは、時間領域の複合チャネルで動作するように実施されることにさらに留意されたい。
【００７０】
図８は、５チャネルの音声システムの一例を示す。基準チャネル（例えば、チャネル番号１）と他の４個のチャネルのそれぞれとの間にＩＣＬＤとＩＣＴＤを定義するだけで十分である。ここで、ΔＬ１ｉ（ｋ）とτ１ｉ（ｋ）は、２≦ｉ≦５として、基準チャネル１とチャネルｉの間のＩＣＬＤとＩＣＴＤを示す。
【００７１】
ＩＣＬＤとＩＣＴＤとは反対に、ＩＣＣは、より多くの自由度を有する。一般に、ＩＣＣは、すべての可能な入力チャネル対の間に異なる値を有することができる。Ｃ個のチャネルの場合、Ｃ（Ｃ−１）／２の可能なチャネル対がある。例えば、５チャネルの場合、図９に示すように、１０個のチャネル対がある。
（１≦ｉ≦Ｃ−１）として、複合信号ｓ（ｎ）のサブバンド
【数６０】
2005229612.tif 000063
に加えて、Ｃ−１拡散チャネル
【数６１】
2005229612.tif 000064
のサブバンドが与えられ、これらの拡散チャネルが独立しているとすると、それぞれの可能なチャネル対の間のＩＣＣが、元の信号の対応するサブバンドで評価されたＩＣＣと同じになるように、Ｃ個のサブバンド信号を生成することが可能である。しかし、このような方式では、各時間指数で各サブバンドに対してＣ（Ｃ−１）／２値を評価し、送信することが必要となる。この結果、計算の複雑性は比較的高くなり、ビットレートも比較的高くなる。
【００７２】
サブバンドごとに、ＩＣＬＤとＩＣＴＤは、サブバンドの対応する信号成分の聴覚イベントがレンダリングされる方向を決定する。したがって、原則的に、その聴覚イベントの範囲および拡散の度合いを決定する１つのＩＣＣパラメータを追加するだけで十分なはずである。すなわち、一実施形態では、サブバンドごとに、各時間指数ｋで、そのサブバンドの最大パワー・レベルを有する２つのチャネルに対応するＩＣＣ値が１つだけ評価される。これは、図１０で示される。図１０では、時間インスタンスｋ−１で、チャネル対（３，４）は、特定のサブバンドに対する最大パワー・レベルを有しており、時間インスタンスｋで、チャネル対（１，２）は、同サブバンドに対する最大パワー・レベルを有する。一般に、各サブバンドに対して各時間間隔で１つまたは複数のＩＣＣ値を送信することができる。
【００７３】
２チャネル（例えば、ステレオ）の場合と同様に、マルチチャネル出力サブバンド信号は、以下に示すように、複合信号と拡散音声チャネルのサブバンド信号の荷重和として計算される。
【数６２】
2005229612.tif 000065
遅延は、以下に示すように、ＩＣＴＤから決定される。
【数６３】
2005229612.tif 000066
【００７４】
式（２２）の２Ｃの倍率を決定するには、２Ｃの数式が必要である。以下の議論では、それらの式を導く条件について説明する。
ｏ  ＩＣＬＤ：出力サブバンド信号が所望のＩＣＬＤキューを有するように、式（１７）に類似のＣ−１の式がチャネル対の間で公式化される。
ｏ  ２つの最強チャネルに対するＩＣＣ：２つの最強音声チャネルｉ１とｉ２の間の式（１８）と（２０）に類似の２つの式が、（１）これらのチャネル間のＩＣＣがエンコーダで評価されたＩＣＣと同じになり、（２）両チャネルの拡散音量が同じになるように、それぞれ公式化される。
ｏ  正規化：以下に示すように、式（１９）をＣ個のチャネルに拡大することにより、別の式が得られる。
【数６４】
2005229612.tif 000067
ｏ  Ｃ−２の最弱チャネルに対するＩＣＣ：最弱のＣ−２のチャネル（ｉ≠ｉ１∧ｉ≠ｉ２）に対する拡散音から非拡散音のパワーの間の比率が、
【数６５】
2005229612.tif 000068
になるように、第２の最強チャネルｉ２用と同じになるよう選択される。この結果、２Ｃの式の合計に対して、別のＣ−２の式が得られる。倍率は、上記の２Ｃの式の非負の解である。
【００７５】
（計算の複雑性の低減）
前述のように、自然に反響する拡散音を再現するために、式（１５）の衝撃応答ｈｉ（ｔ）は、数百ミリ秒ほどの長さであるべきであるが、これにより計算の複雑性は高まる。さらに、ＢＣＣ合成は、ｈｉ（ｔ）、（１≦ｉ≦Ｃ）、追加フィルタ・バンクのそれぞれに対して、図７に示すことを要求する。
【００７６】
後部残響音の生成に人工的な残響アルゴリズムを使用し、その結果をｓｉ（ｔ）に対して使用することにより、計算の複雑性を低減することができる。他の可能性は、計算の複雑性を低減するために、高速フーリエ変換（ＦＦＴ）に基づくアルゴリズムを適用することにより、たたみ込みを遂行することである。さらに別の可能性は、過度の遅延量を導入せずに、周波数領域で式（１４）のたたみ込みを遂行することである。この場合、たたみ込みとＢＣＣ処理の両方のために、窓がオーバーラップした同じ短時間フーリエ変換（ＳＴＦＴ）を使用することができる。この結果、たたみ込み計算における計算の複雑性は低くなり、各ｈｉ（ｔ）に対して追加フィルタ・バンクを使用する必要はなくなる。この技法は、単一の複合信号ｓ（ｔ）と汎用衝撃応答ｈ（ｔ）に対して導出される。
【００７７】
ＳＴＦＴは、信号ｓ（ｔ）の窓のある部分に別個のフーリエ変換（ＤＦＴ）を適用する。窓をつけることは、ウィンドウ・ホップ・サイズＮで示される定期的な間隔で適用される。この結果、窓位置指数ｋの窓のある信号は、
【数６６】
2005229612.tif 000069
である。上式で、Ｗは窓の長さである。長さＷ＝５１２サンプル、ウィンドウ・ホップ・サイズＮ＝Ｗ／２サンプルで、Ｈａｎｎウィンドウを使用することができる。（以下で、このように仮定される）条件
【数６７】
2005229612.tif 000070
を満たす他の窓を使用することもできる。
【００７８】
まず、周波数領域で窓のある信号Ｓｋ（ｔ）のたたみ込みを実施する単純な場合を想定する。図１１（Ａ）は、長さＭの衝撃応答ｈ（ｔ）の非０スパンを示す。同様に、Ｓｋ（ｔ）の非０スパンを、図１１（Ｂ）に示す。ｈ（ｔ）＊Ｓｋ（ｔ）が、図１１（Ｃ）に示すようにＷ＋Ｍ−１サンプルの非０スパンを有することの確認は容易である。
【００７９】
図１２（Ａ）〜（Ｃ）は、長さＷ＋Ｍ−１のどの時間指数ＤＦＴが、信号ｈ（ｔ）、Ｓｋ（ｔ）、およびｈ（ｔ）＊Ｓｋ（ｔ）のそれぞれに適用されるかを示す。図１２（Ａ）は、Ｈ（ｊω）が、時間指数ｔ＝０から開始してｈ（ｔ）までのＤＦＴを適用することにより得られるスペクトルを示すことを示している。図１２（Ｂ）および１２（Ｃ）は、時間指数ｔ＝ｋＮから始まるＤＦＴを適用することにより、Ｓｋ（ｔ）とｈ（ｔ）＊Ｓｋ（ｔ）からのそれぞれＸｋ（ｊω）とＹｋ（ｊω）の計算を示す。Ｙｋ（ｊω）＝Ｈ（ｊω）Ｘｋ（ｊω）を、容易に示すことができる。すなわち、信号ｈ（ｔ）およびＳｋ（ｔ）の終わりに０があることにより、スペクトル積による信号に課せられた巡回たたみ込みは線形たたみ込みと等しくなる。
【００８０】
たたみ込みの線形性の特性と式（２７）から、次の式が得られる。
【数６８】
2005229612.tif 000071
したがって、各時間ｔで、積Ｈ（ｊω）Ｘｋ（ｊω）を計算し、逆ＳＴＦＴ（逆ＤＦＴにプラスｏｖｅｒｌａｐ／ａｄｄ）を適用することにより、ＳＴＦＴの領域でたたみ込みを実施することが可能である。長さＷ＋Ｍ−１（またはこれ以上の長さ）のＤＦＴを、図１２で示すように、０をパディングして使用すべきである。上記の技法は、オーバーラップする窓を使用することができる（式（２７）の条件を満たすいかなる窓でも）という一般化による、ｏｖｅｒｌａｐ／ａｄｄのたたみ込みと類似である。
【００８１】
上記の方法は、長い衝撃応答（例えば、Ｍ＞＞Ｗ）にとっては実用的でない。したがって、Ｗよりもかなり大きなサイズのＤＦＴを使用する必要がある。以下では、サイズＷ＋Ｎ−１のサイズのＤＦＴだけを使用すればよいように、上記の方法が拡大される。
長さＭ＝ＬＮの長い衝撃応答ｈ（ｔ）が、Ｌのさらに短い衝撃応答ｈｌ（ｔ）に分割される。ここで、
【数６９】
2005229612.tif 000072
である。ｍｏｄ（Ｍ，Ｎ）≠０の場合、Ｎ−ｍｏｄ（Ｎ，Ｎ）ゼロがｈ（ｔ）の末端に追加される。以下に示すように、ｈ（ｔ）によるたたみ込みを、より短いたたみ込みの和で書くことができる。
【数７０】
2005229612.tif 000073
式（２９）および（３０）を同時に適用すると、以下の式が得られる。
【数７１】
2005229612.tif 000074
式（３１）の１つのたたみ込みの非０のタイム・スパン、ｈｌ（ｔ）＊Ｓｋ（ｔ−ｌＮ）は、ｋとｌに応じて、（ｋ＋ｌ）Ｎ≦ｔ＜（ｋ＋ｌ＋１）Ｎ＋Ｗである。したがって、そのスペクトル
【数７２】
2005229612.tif 000075
を得るために、この間隔（ＤＦＴ位置指数ｋ＋１に対応する）にＤＦＴが適用される。Ｘｋ（ｊω）はＭ＝Ｎとすでに定義されており、Ｈｌ（ｊω）は、衝撃応答ｈｌ（ｔ）以外はＨ（ｊω）に類似して定義されているものとして、
【数７３】
2005229612.tif 000076
であることを示すことができる。
同じＤＦＴ位置指数ｉ＝ｋ＋ｌによるすべてのスペクトルの和
【数７４】
2005229612.tif 000077
は、以下に示す通りである。
【数７５】
2005229612.tif 000078
したがって、Ｙｉ（ｊω）を得るために、式（３２）を各スペクトル指数ｉで適用することにより、ＳＴＦＴ領域でたたみ込みｈ（ｔ）＊Ｓｋ（ｔ）が実施される。Ｙｉ（ｊω）に適用された逆ＳＴＦＴ（逆ＤＦＴプラスｏｖｅｒｌａｐ／ａｄｄ）は、必要に応じて、たたみ込みｈ（ｔ）＊ｓ（ｔ）に等しくなる。
【００８２】
長さｈ（ｔ）とは関係なく、ゼロ・パディングの量はＮ−１を上限とする（ＳＴＦＴウィンドウ・ホップ・サイズよりも１サンプル少ない）ことに留意されたい。必要に応じて、Ｗ＋Ｎ−１よりも大きなＤＦＴを使用することができる（例えば、２倍の長さのＦＦＴを使用して）。
【００８３】
前述のように、複雑性の低いＢＣＣ合成は、ＳＴＦＴ領域で動作することができる。この場合、ＩＣＬＤ、ＩＣＴＤ、およびＩＣＣ合成が、臨界帯域の帯域幅に等しいか、またはこれに比例した帯域幅のスペクトル成分を表す、数群のＳＴＦＴビンに適用される（ここで、数群のビンは「パーティション」で示される）。このようなシステムでは、複雑性を低減するために、式（３２）に逆ＳＴＦＴを適用する代わりに、式（３２）のスペクトルが周波数領域の拡散音として直接的に使用される。
【００８４】
図１３は、ＬＲ処理が周波数領域で実施される、本発明の代替形態による、残響音ベースの音声合成を使用して、単一の複合チャネル３１２（ｓ（ｔ））を２つの合成音声出力チャネル３２４
【数７６】
2005229612.tif 000079
に変換するために、図３のＢＣＣシンセサイザー３２２によって実行される音声処理のブロック図を示す。具体的には、図１３に示すように、ＡＦＢブロック１３０２は、時間領域の複合チャネル３１２を、対応する周波数領域信号１３０４
【数７７】
2005229612.tif 000080
の４個のコピーに変換する。周波数領域信号１３０４の４個のコピーのうちの２個が、遅延ブロック１３０６に適用され、他の２個のコピーがＬＲプロセッサ１３２０に適用される。ＬＲプロセッサ１３２０の周波数領域ＬＲ出力信号１３２６は、乗算器１３２８に適用される。図１３のＢＣＣシンセサイザーのその成分および処理の残りは、図７のＢＣＣシンセサイザーの成分および処理の残りに類似している。
【００８５】
図１３のＬＲフィルタ１３２０のように周波数領域でＬＲフィルタが実施される場合、より高い周波数でより短いフィルタなどの、異なる周波数サブバンドに対して異なるフィルタの長さを使用する可能性が存在する。全体的な計算の複雑性を低減するために、これを使用することができる。
【００８６】
（複合実施形態）
図１３に示すように、周波数領域でＬＲプロセッサが使用される場合でも、ＢＣＣシンセサイザーの計算の複雑性は依然として比較的高い場合がある。例えば、後部残響音が衝撃応答によってモデリングされる場合、高品質の拡散音を得るためには、その衝撃応答を比較的長くすべきである。一方、‘４３７出願のコヒーレンスベースの音声合成は、通常、計算上の複雑性は少なく、高い周波数で高性能を提供する。これにより、本発明の残響音ベースの処理を低周波数（例えば、約１〜３ｋＨｚより低い周波数）に適用し、‘４３７出願のコヒーレンスベースの処理が高周波数（例えば、約１〜３ｋＨｚより高い周波数）に適用され、したがって、全体的な計算の複雑性を低減しながらも、全体的な周波数範囲に対して高性能を提供するシステムを達成する、複合音声処理システムを実施する可能性が得られる。
【００８７】
（代替形態）
以上、本発明を、ＩＣＴＤおよびＩＣＬＤデータにも依存する残響音ベースのＢＣＣ処理の状況で説明したが、本発明はこれに限定されるものではない。理論的には、本発明のＢＣＣ処理は、ＩＣＴＤおよび／またはＩＣＬＤデータなしに、例えば、頭部伝達関数に関連付けられたキュー・コードのような、他の適切なキュー・コードがあってもなくても、実施することができる。
【００８８】
前述のように、本発明は、複数の「複合」チャネルが生成されるＢＣＣコーディングの状況で実施することができる。例えば、１個は左および後部左チャネルに基づき、１個は右および後部右チャネルに基づく、２個の複合チャネルを生成するために、５．１サラウンド・サウンドの６個の入力チャネルにＢＣＣコーディングを適用することができる。１つの可能な実施態様では、複合チャネルのそれぞれは、２個の他の５．１チャネル（すなわち、中央チャネルおよびＬＦＥチャネル）にも基づくことができる。すなわち、第１の複合チャネルは、左、後部左、中央、およびＬＦＥチャネルの和に基づくことができ、第２の複合チャネルは、右、後部右、中央、およびＬＦＥチャネルの和に基づくことができる。この場合、ＢＣＣキュー・コードの２個の異なる組がある場合がある。１個は、第１の複合チャネルを生成するために使用されるチャネルであり、１個は、第２の複合チャネルを生成するために使用されるチャネルである。この場合、合成された５．１サラウンド・サウンドをレシーバで生成するために、ＢＣＣデコーダはそれらのキュー・コードを２個の複合チャネルに選択的に適用する。有利には、この方式は、２個の複合チャネルを、従来型ステレオ・レシーバの従来からある左右のチャネルで再生することを可能にする。
【００８９】
理論的には、複数の「複合」チャネルがある場合、複合チャネルの１つまたは複数は、事実上、個々の入力チャネルに基づくことができることに留意されたい。例えば、ＢＣＣコーディングを７．１サラウンド・サウンドに適用して、５．１サラウンド信号および適切なＢＣＣコードを生成することができる。ここで、例えば、５．１信号のＬＦＥチャネルは、単に７．１信号のＬＦＥチャネルの複製であってよい。
【００９０】
以上、本発明を、それぞれの異なる出力チャネルに対して１つずつＬＲフィルタがある、複数の出力チャネルが１つまたは複数の複合チャネルから合成される、音声合成技法の状況で説明した。代替形態では、Ｃより少ないＬＲフィルタを使用して、Ｃ個の出力チャネルを合成することが可能である。これは、Ｃ個の合成された出力チャネルを生成するために、Ｃより少ないＬＲフィルタの拡散チャネル出力を１つまたは複数の複合チャネルと組み合わせることにより達成することができる。例えば、残響なしに出力チャネルの１つまたは複数を生成することができる。あるいは、その結果得られた拡散チャネルを、その１つまたは複数の複合チャネルの異なる、倍率変更された遅延バージョンと組み合わせることにより、複数の出力チャネルを生成するために、１個のＬＲフィルタを使用することができる。
【００９１】
別法として、これは、ある種の出力チャネルに対して前述の残響技法を適用し、一方で他の出力チャネルに対しては他のコヒーレンスベースの合成技法を適用することにより達成することができる。そのような複合実施態様に適するであろう他のコヒーレンスベースの合成技法は、Ｅ．Ｓｃｈｕｉｊｅｒｓ、Ｗ．Ｏｏｍｅｎ、Ｂ．ｄｅｎ  Ｂｒｉｎｋｅｒ、およびＪ．Ｂｒｅｅｂａａｒｔ著、「Ａｄｖａｎｃｅｓ  ｉｎ  ｐａｒａｍｅｔｒｉｃ  ｃｏｄｉｎｇ  ｆｏｒ  ｈｉｇｈ−ｑｕａｌｉｔｙ  ａｕｄｉｏ」、Ｐｒｅｐｒｉｎｔ第１１４Ｃｏｎｖｅｎｔｉｏｎ  Ａｕｄ．Ｅｎｇ．Ｓｏｃ．、２００３年３月、およびＡｕｄｉｏ  Ｓｕｂｇｒｏｕｐ、Ｐａｒａｍｅｔｒｉｃ  ｃｏｄｉｎｇ  ｆｏｒ  Ｈｉｇｈ  Ｑｕａｌｉｔｙ  Ａｕｄｉｏ、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１  ＭＰＥＧ２００２／Ｎ５３８１、２００２年１２月に記載されている。
【００９２】
図３のＢＣＣエンコーダ３０２とＢＣＣデコーダ３０４の間のインターフェースを、送信チャネルの状況で説明したが、当業者には、これに加えて、またはこの代わりに、そのインターフェースが記憶媒体を含むことができることが理解されよう。特定の実施態様に応じて、送信チャネルは有線であっても無線であってもよく、カスタマイズされたプロトコルでも標準のプロトコル（例えば、ＩＰ）でも使用することができる。ＣＤ、ＤＶＤ、デジタル・テープ・レコーダ、および固体メモリのような媒体を、記憶のために使用することができる。さらに、送信および／または記憶は、必須ではないが、チャネル・コーディングを含むことができる。同様に、本発明は、デジタル音声システムの状況で説明したが、当業者には、本発明を、追加の帯域内低ビットレート送信チャネルを含めることをサポートする、ＡＭラジオ、ＦＭラジオ、およびアナログ・テレビジョン放送のオーディオ部分のようなアナログ音声システムの状況で実施することもできることが理解されよう。
【００９３】
本発明は、音楽再生、放送、およびテレフォニーのような多くの異なる用途のために実施することができる。例えば、本発明は、Ｓｉｒｉｕｓ  Ｓａｔｅｌｌｉｔｅ  ＲａｄｉｏまたはＸＭのような、デジタル・ラジオ／ＴＶ／インターネット（例えば、Ｗｅｂｃａｓｔ）放送用に実施することができる。他の用途としては、ヴォイス・オーバーＩＰ、ＰＳＴＮまたは他の音声ネットワーク、アナログ・ラジオ放送、およびインターネット・ラジオが挙げられる。
【００９４】
特定の用途に応じて、本発明のＢＣＣ信号を達成するために、数組のＢＣＣパラメータをモノ音声信号に埋め込むために、異なる技法を使用することができる。いかなる特定の技法でも、少なくとも一部には、ＢＣＣ信号のために使用される１つまたは複数の特定の送信／記憶媒体に応じて使用可能か否かが異なる。例えば、デジタル・ラジオ放送用のプロトコルは、通常、従来型レシーバが無視する、追加の「補強」ビットを（例えば、データ・パケットのヘッダ部分に）含めることをサポートする。ＢＣＣ信号を提供する目的で、数組の聴覚情景パラメータを表すためにこれらの追加ビットを使用することができる。一般に、本発明は、ＢＣＣ信号を形成するために、数組の聴覚情景パラメータに対応するデータが音声信号に埋め込まれた音声信号に透かしを入れるために、任意の適切な技法を使用して実施することができる。例えば、これらの技法は、知覚マスキング曲線下に隠されたデータ、または擬似不規則雑音に隠されたデータを必要とする場合がある。擬似不規則雑音は、「快適雑音」として認知することができる。データの埋め込みは、帯域内信号送受のためにＴＤＭ（時分割多重）送信で使用される「ビット・ロビング（ｂｉｔ  ｒｏｂｂｉｎｇ）」に類似の方法を使用して実施することもできる。別の可能な技法は、送信データに最下位ビットが使用される、ｍｕ−ｌａｗ  ＬＳＢビット・フリッピングである。
【００９５】
バイノーラル信号の左右の音声チャネルを、エンコード済みのモノ信号およびＢＣＣパラメータの対応するストリームに変換するために、本発明のＢＣＣエンコーダを使用することができる。同様に、エンコード済みモノ信号およびＢＣＣパラメータの対応するストリームに基づく、合成バイノーラル信号の左右の音声チャネルを生成するために、本発明のＢＣＣデコーダを使用することができる。しかし本発明は、これに限定されるものではない。一般に、本発明のＢＣＣエンコーダは、Ｍ＞Ｎとして、Ｍ個の入力音声チャネルをＮ個の複合音声チャネルおよびＢＣＣパラメータの１つまたは複数の対応する組に変換する状況で実施することができる。同様に、本発明のＢＣＣデコーダは、Ｎ個の複合音声チャネルおよびＢＣＣパラメータの対応する組からＰ個の出力音声チャネルを生成する状況で実施することができる。ここで、Ｐ＞Ｎであり、Ｐは、Ｍと同じであっても異なっていてもよい。
【００９６】
以上、本発明は、聴覚情景パラメータを埋め込んだ、単一の複合（例えば、モノ）音声信号の送信／記憶の状況で説明したが、本発明は、これ以外の数のチャネルに対して実施することもできる。例えば、本発明は、聴覚情景パラメータを埋め込んだ、２チャネルの音声信号を送信するために使用することができる。この音声信号は、従来型の２チャネル・ステレオ・レシーバで再生することができる。この場合、ＢＣＣデコーダは、サラウンド・サウンドを合成するために（例えば、５．１形式に基づいて）、聴覚情景パラメータを抽出し、使用することができる。一般に、本発明は、Ｍ＞Ｎとして、聴覚情景パラメータを埋め込んだ、Ｎ個の音声チャネルからＭ個の音声チャネルを生成するために使用することができる。
【００９７】
以上、本発明は、聴覚情景を合成するために、‘８７７および‘４５８出願の技法を適用するＢＣＣデコーダの状況で説明したが、本発明は、‘８７７および‘４５８出願の技法に必ずしも依存しない、聴覚情景の合成のために他の技法を適用する、ＢＣＣデコーダの状況でも実施することができる。
【００９８】
本発明は、単一の集積回路に対する可能な実施態様を含めて、回路ベースのプロセスとして実施することができる。当業者には明らかになろうが、回路素子の様々な機能も、ソフトウェア・プログラムの処理ステップとして実施することができる。このようなソフトウェアは、例えばデジタル信号プロセッサ、マイクロコントローラ、または汎用コンピュータで使用することができる。
【００９９】
本発明は、これらの方法を実行するメソッドおよび装置の形式で実施することができる。本発明は、フロッピー（登録商標）・ディスケット、ＣＤ−ＲＯＭ、ハードドライブ、またはいかなる他の機械可読記憶媒体のような、有形媒体で実施された、プログラム・コードの形式で実施することもできる。ここで、プログラム・コードが、コンピュータのようなマシンにロードされ、実行された場合、そのマシンは、本発明を実施する装置になる。本発明は、例えば、記憶媒体に記憶されていても、マシンにロードされ、かつ／または実行されても、または電気配線またはケーブルを介するか、光ファイバーによるか、または電磁放射線によるなど、いくつかの送信媒体または搬送波を介して送信されても、プログラム・コードの形式で実施することができる。ここで、プログラム・コードが、コンピュータのようなマシンにロードされ、実行された場合、そのマシンは本発明を実施する装置になる。汎用プロセッサで実施される場合は、特定の論理回路と同様に動作する独自のデバイスを提供するために、プログラム・コード・セグメントはそのプロセッサと結合する。
【０１００】
本発明の性質を説明するために記載され、図示された部分の詳細、材料、および構成における様々な変更が、当業者により、特許請求の範囲に示す本発明の範囲を逸脱せずに実施できることがさらに理解されよう。
【図面の簡単な説明】
【０１０１】
【図１】単一音源信号（例えば、モノ信号）をバイノーラル信号の左右の音声信号に変換する、従来のバイノーラル信号シンセサイザーのハイレベル・ブロック図である。
【図２】複数の音源信号（例えば、複数のモノ信号）を単一の複合バイノーラル信号の左右の音声信号に変換する、従来の聴覚情景シンセサイザーのハイレベル・ブロック図である。
【図３】バイノーラル・キュー・コーディング（ＢＣＣ）を実行する音声処理システムのブロック図である。
【図４】‘４３７出願の一実施形態による、コヒーレンス測度の生成に対応する、図３のＢＣＣアナライザーの処理のその部分を示すブロック図である。
【図５】コヒーレンスベースの音声合成を使用して単一の複合チャネルを２つ以上の合成音声出力チャネルに変換するために、図３のＢＣＣシンセサイザーの一実施形態により実行される、音声処理のブロック図である。
【図６（Ａ）】異なるキュー・コードによる信号の知覚を示す図である。
【図６（Ｂ）】異なるキュー・コードによる信号の知覚を示す図である。
【図６（Ｃ）】異なるキュー・コードによる信号の知覚を示す図である。
【図６（Ｄ）】異なるキュー・コードによる信号の知覚を示す図である。
【図６（Ｅ）】異なるキュー・コードによる信号の知覚を示す図である。
【図７】本発明の一実施形態による、残響音ベースの音声合成を使用して、単一の複合チャネルを（少なくとも）２つの合成音声出力チャネルに変換するために、図３のＢＣＣシンセサイザーにより実行される、音声処理のブロック図である。
【図８】５チャネルの音声システムの一例を示す図である。
【図９】５チャネルの音声システムの一例を示す図である。
【図１０】５チャネルの音声システムの一例を示す図である。
【図１１（Ａ）】後部残響音フィルタリングおよびＤＦＴ変換のタイミングを示す図である。
【図１１（Ｂ）】後部残響音フィルタリングおよびＤＦＴ変換のタイミングを示す図である。
【図１１（Ｃ）】後部残響音フィルタリングおよびＤＦＴ変換のタイミングを示す図である。
【図１２（Ａ）】後部残響音フィルタリングおよびＤＦＴ変換のタイミングを示す図である。
【図１２（Ｂ）】後部残響音フィルタリングおよびＤＦＴ変換のタイミングを示す図である。
【図１２（Ｃ）】後部残響音フィルタリングおよびＤＦＴ変換のタイミングを示す図である。
【図１３】ＬＲ処理が周波数領域で実施される、本発明の代替形態による、残響音ベースの音声合成を使用して、単一の複合チャネルを２つの合成音声出力チャネルに変換するために、図３のＢＣＣシンセサイザーにより実行される、音声処理のブロック図である。
【図１】
2005229612.tif 000081
【図２】
2005229612.tif 000082
【図３】
2005229612.tif 000083
【図４】
2005229612.tif 000084
【図５】
2005229612.tif 000085
【図６（Ａ）】
2005229612.tif 000086
【図６（Ｂ）】
2005229612.tif 000087
【図６（Ｃ）】
2005229612.tif 000088
【図６（Ｄ）】
2005229612.tif 000089
【図６（Ｅ）】
2005229612.tif 000090
【図７】
2005229612.tif 000091
【図８】
2005229612.tif 000092
【図９】
2005229612.tif 000093
【図１０】
2005229612.tif 000094
【図１１（Ａ）】
2005229612.tif 000095
【図１１（Ｂ）】
2005229612.tif 000096
【図１１（Ｃ）】
2005229612.tif 000097
【図１２（Ａ）】
2005229612.tif 000098
【図１２（Ｂ）】
2005229612.tif 000099
【図１２（Ｃ）】
2005229612.tif 000100
【図１３】
2005229612.tif 000101