(57)【特許請求の範囲】
【請求項１】
プロセッサ及び記憶装置を備える装置により実行される、相関分離器を適応的に調節するためのオーディオ信号処理方法（５００、６００）であって、
前記記憶装置に前記プロセッサによる実行が可能な命令が含まれ、前記命令が前記プロセッサによって実行されたとき、前記装置が、
制御パラメータを取得すること（５０１、６０１）と、
前記制御パラメータの平均値を計算すること（５０２、６０２）と、
前記制御パラメータの変化を計算すること（５０４、６０４）と、
前記制御パラメータの前記変化と前記平均値の比を計算すること（５０６、６０６）と、
前記比に基づいて相関分離パラメータを計算すること（５０８、６０８）とを行う、方法。
【請求項２】
前記相関分離パラメータを計算することが、目標とされる相関分離フィルタの長さを計算することを含む、請求項１に記載の方法。
【請求項３】
前記制御パラメータが、エンコーダから受け取られるか、デコーダにおいて利用可能な情報から取得されるか、または利用可能な情報と受け取られた情報を組み合わせることによって取得される、請求項１または２に記載の方法。
【請求項４】
前記制御パラメータが性能指標である、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記制御パラメータが、入力オーディオ信号の空間特性のパラメトリック記述の推定された性能に基づいて判定される、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記性能指標が、推定された残響長さ、相関指標、空間幅の推定または予測利得から取得される、請求項４に記載の方法。
【請求項７】
前記相関分離パラメータの適応が、少なくとも２つのサブバンドにおいて行われ、各サブバンドが最適な相関分離パラメータを有する、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記相関分離フィルタの長さおよび相関分離信号の強度のうち少なくとも１つが、復号されたオーディオ信号を解析することによって制御される、請求項２に記載の方法。
【請求項９】
前記相関分離フィルタの長さおよび相関分離信号の強度のうち少なくとも１つが、２つ以上の異なる制御パラメータの関数として制御される、請求項２に記載の方法。
【請求項１０】
プロセッサ（７０１）および記憶装置（７２０）を備え、相関分離器を適応的に調節するための装置（７００、８０２）であって、前記プロセッサによる実行が可能な命令が前記記憶装置に含まれていることにより、
制御パラメータを取得し、
前記制御パラメータの平均値を計算し、
前記制御パラメータの変化を計算し、
前記制御パラメータの前記変化と前記平均値の比を計算して、
前記比に基づいて相関分離パラメータを計算するように機能する装置。
【請求項１１】
前記相関分離パラメータを計算することが、目標とされる相関分離フィルタの長さを計算することを含む、請求項１０に記載の装置。
【請求項１２】
エンコーダから前記制御パラメータを受け取るか、または前記装置における利用可能な情報から前記制御パラメータを取得するか、または利用可能な情報と受け取られた情報の組合せから前記制御パラメータを取得するようにさらに設定されている、請求項１０または１１に記載の装置。
【請求項１３】
前記制御パラメータが性能指標である、請求項１０から１２のいずれか一項に記載の装置。
【請求項１４】
前記制御パラメータが、入力オーディオ信号の空間特性のパラメトリック記述の推定された性能に基づいて判定される、請求項１０から１３のいずれか一項に記載の装置。
【請求項１５】
前記性能指標が、推定された残響長さ、相関指標、空間幅の推定または予測利得から取得される、請求項１３に記載の装置。
【請求項１６】
少なくとも２つのサブバンドにおいて前記相関分離パラメータの適応を遂行するようにさらに設定されており、各サブバンドが最適な相関分離パラメータを有する、請求項１０から１５のいずれか一項に記載の装置。
【請求項１７】
復号されたオーディオ信号を解析することにより、前記相関分離フィルタの長さおよび相関分離信号の強度のうち少なくとも１つを制御するようにさらに設定されている、請求項１１に記載の装置。
【請求項１８】
前記相関分離フィルタの長さおよび相関分離信号の強度のうちの少なくとも１つを、２つ以上の異なる制御パラメータの関数として制御するようにさらに設定されている、請求項１１に記載の装置。
【請求項１９】
請求項１０から１８のうち少なくとも１つに記載の装置を備えるパラメトリックステレオデコーダにおいて空間合成用に使用される相関分離器。
【請求項２０】
請求項１０から１８のうち少なくとも１つに記載の装置を備えるステレオオーディオコーデック。
【請求項２１】
請求項１０から１８のうち少なくとも１つに記載の装置を備えるパラメトリックステレオデコーダ。
【請求項２２】
プロセッサ（７１０）によって実行されたとき、請求項１から９のいずれか一項に記載の方法のアクションを装置に遂行させる命令を含む、コンピュータプログラム（７３０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は空間オーディオのコーディングおよびレンダリングに関するものである。
【背景技術】
【０００２】
空間オーディオすなわち３Ｄオーディオは一般的な表現であり、多種類のマルチチャネルオーディオ信号を表す。オーディオシーンは、キャプチャ方法およびレンダリング方法に依拠して空間オーディオフォーマットによって表現される。キャプチャ方法（マイクロフォン）によって定義される一般的な空間オーディオフォーマットは、たとえばステレオ、バイノーラル、アンビソニックスなどとして表される。空間オーディオレンダリングシステム（ヘッドフォンまたはラウドスピーカ）は、ステレオ（左チャネルおよび右チャネル２．０）またはより高度なマルチチャネルオーディオ信号（２．１、５．１、７．１など）を用いて空間オーディオシーンをレンダリングすることができる。
【０００３】
そのようなオーディオ信号の伝送および処理のための最近の技術は、エンドユーザに、より高い空間品質を伴う向上したオーディオ体感を与えることができ、多くの場合、より優れた了解度ならびに拡張現実感をもたらす。ＭＰＥＧサラウンドオーディオまたはＭＰＥＧ−Ｈ  ３Ｄオーディオなどの空間オーディオコーディング技術は、たとえばインターネット上のストリーミングなどデータレートの制約がある用途に適応する、空間オーディオ信号のコンパクトな表現を生成する。しかしながら、データレート制約が強く、したがって空間オーディオ再生を向上するために復号されたオーディオチャネルの後処理も使用されるとき、空間オーディオ信号の伝送が制限される。一般に使用される技術は、たとえば復号されたモノ信号またはステレオ信号を、マルチチャネルオーディオ（５．１チャネル以上）へ、やみくもにアップミックスし得るものである。
【０００４】
空間オーディオのコーディング技術および処理技術は、空間オーディオシーンを効率的にレンダリングするために、マルチチャネルオーディオ信号の空間的特徴を利用する。詳細には、空間オーディオキャプチャのチャネル間の時間差およびレベル差は、空間における指向性サウンドの傾聴者の認識を特徴づける両耳の間のキューを近似するのに使用される。チャネル間の時間差およびレベル差でしか、聴覚システムが検知し得るもの（すなわち耳入口における両耳の間の時間差およびレベル差）の近似ができないので、チャネル間の時間差が知覚態様に関連することが非常に重要である。チャネル間の時間差およびレベル差（ＩＣＴＤおよびＩＣＬＤ）は一般にマルチチャネルオーディオ信号の指向性成分をモデル化するために使用され、両耳の間の相互相関（ＩＡＣＣ）をモデル化するチャネル間相互相関（ＩＣＣ）は音像の幅を特徴づけるために使用される。特に低周波数に関して、チャネル間位相差（ＩＣＰＤ）を用いてステレオ像もモデル化されることがある。
【０００５】
空間聴覚に関連するバイノーラルキューは、両耳の間のレベル差（ＩＬＤ）、両耳の間の時間差（ＩＴＤ）、および両耳の間のコヒーレンスまたは相関（ＩＣまたはＩＡＣＣ）と呼ばれることに留意されたい。一般的なマルチチャネル信号を考えるとき、チャネルに関係のある対応するキューは、チャネル間レベル差（ＩＣＬＤ）、チャネル間時間差（ＩＣＴＤ）、およびチャネル間コヒーレンスまたは相関（ＩＣＣ）である。空間オーディオ処理は、主として、取り込まれたオーディオチャネル上で動作するので、オーディオチャネルを指すとき、「Ｃ」が省略されて、ＩＴＤ、ＩＬＤおよびＩＣという用語が使用されることが多い。図１は、これらのパラメータの実例を与えるものである。図１では、空間オーディオ再生が５．１のサラウンドシステム（個別の５つ＋１つの低音効果）を用いて示されている。ＩＴＤ、ＩＬＤおよびＩＡＣＣに近似するために、オーディオチャネルから、空間におけるサウンドの人間の認識をモデル化するＩＣＴＤ、ＩＣＬＤおよびＩＣＣなどのチャネル間パラメータが抽出される。
【０００６】
図２には、パラメトリック空間オーディオ解析を採用する一般的なセットアップが示されている。図２は、パラメトリックステレオコーダの基本ブロック図を図示するものである。ステレオエンコーダ２０１にステレオ信号対が入力される。パラメータ抽出２０２は、ダウンミキサ２０４による、モノエンコーダ２０６を用いて符号化される２つの入力チャネルの単独チャネル表現を準備するダウンミックスプロセスを支援する。抽出されたパラメータはパラメータエンコーダ２０８によって符号化される。すなわち、ステレオチャネルはモノ信号２０７へとダウンミックスされ、これが符号化されて、空間像を記述する符号化されたパラメータ２０５とともにデコーダ２０３へ伝送される。通常、ステレオパラメータのうちいくつかは、等価レクタンギュラ帯域幅（ＥＲＢ）スケールなどの知覚周波数スケールにおいてスペクトルのサブバンドで表現される。デコーダは、復号されたモノ信号および伝送されたパラメータに基づいてステレオ合成を遂行する。すなわち、デコーダは、モノデコーダ２１０を使用して単独チャネルを再構成し、パラメトリック表現を使用してステレオチャネルを合成する。復号されたモノ信号および受け取られて符号化されたパラメータが、パラメータ合成ユニット２１２、またはパラメータを復号し、復号したパラメータを使用してステレオチャネルを合成し、合成したステレオ信号対を出力するプロセスに、入力される。
【０００７】
人の聴覚システム用に空間オーディオをレンダリングするために、符号化されたパラメータが使用されるので、知覚される品質を最大化するためには、チャネル間パラメータを抽出して符号化する上で知覚を考慮に入れることが重要である。
【０００８】
サイドチャネルは、明示的に符号化されないこともあるので、中央チャネルの相関分離性によって近似され得る。相関分離技術は、一般的には、微細構造の観点から入力信号に対してインコヒーレントな出力信号を生成するのに使用されるフィルタリング方法である。相関分離された信号のスペクトルエンベロープおよび時間エンベロープは、理想的なままであるものとする。相関分離フィルタは、一般的には入力信号の位相変化を伴うオールパスフィルタである。
【発明の概要】
【０００９】
実施形態の本質は、マルチチャネルオーディオデコーダで利用される非コヒーレント信号成分を表現するための相関分離器の特性を適応制御することである。適応は、伝送される性能指標と、時間が経つにつれて性能指標が変化する様子とに基づくものある。入力信号の特性を一致させるために、相関分離器の異なる態様が、同一の基本的方法を使用して適応制御され得る。相関分離特性の最も重要な態様の１つに相関分離器のフィルタ長の選択があり、発明を実施するための形態において説明される。相関分離器の他の態様は、相関分離された成分の強度または入力信号の特性を一致させるために適応制御する必要性があり得る他の態様の制御など、類似のやり方で適応制御されてよい。
【００１０】
相関分離フィルタの長さの適応のための方法が提供される。この方法は、制御パラメータを受け取るかまたは取得して、制御パラメータの平均値および変化を計算することを含む。制御パラメータの変化と平均値の比が計算され、現在の比に基づいて、最適の、または目標とされる相関分離フィルタの長さが計算される。次いで、最適の、または目標とされる相関分離フィルタの長さが、相関分離器に適用されるかまたは供給される。
【００１１】
第１の態様によれば、相関分離器を適応的に調節するためのオーディオ信号処理方法が提示される。この方法は、制御パラメータを取得して制御パラメータの平均値および変化を計算することを含む。制御パラメータの変化と平均値の比が計算され、前記比に基づいて相関分離パラメータが計算される。次いで、相関分離パラメータが相関分離器に供給される。
【００１２】
制御パラメータは性能指標でよい。性能指標は、推定された残響長さ、相関指標、空間幅の推定または予測利得から取得されてよい。
【００１３】
制御パラメータは、パラメトリックステレオエンコーダなどのエンコーダから受け取られるか、またはデコーダにおいて既に利用可能な情報から、もしくは利用可能な情報と伝送された情報（すなわちデコーダが受け取った情報）を組み合わせることによって取得される。
【００１４】
各周波数帯が最適な相関分離フィルタの長さを有し得るように、少なくとも２つのサブバンドにおいて相関分離フィルタの長さが適応され得る。これは、特定の周波数サブバンドまたは係数に対して、目標とされる長さよりも短いかまたは長いフィルタが使用され得ることを意味する。
【００１５】
この方法は、パラメトリックステレオデコーダまたはステレオオーディオコーデックによって遂行される。
【００１６】
第２の態様によれば、相関分離器を適応的に調節するための装置が提供される。この装置は、プロセッサと、前記プロセッサによって実行可能な命令を含む記憶装置とを備えることにより、制御パラメータを取得して制御パラメータの平均値および変化を計算するように機能する。この装置は、制御パラメータの変化と平均値の比を計算して、前記比に基づいて相関分離パラメータを計算するように機能する。この装置は、相関分離器に相関分離パラメータを供給するようにさらに機能する。
【００１７】
第３の態様によれば、命令を含むコンピュータプログラムが提供され、命令がプロセッサによって実行されたとき、装置が、第１の態様の方法のアクションを遂行する。
【００１８】
第４の態様によれば、非一時的コンピュータ可読媒体上に具現されたコンピュータプログラム製品が提供され、このコンピュータプログラム製品は、プロセッサに第１の態様のプロセスを遂行させるコンピュータ実行可能命令を含んでいるコンピュータコードを含む。
【００１９】
第５の態様によれば、相関分離器を適応的に調節するためのオーディオ信号処理方法が提供される。この方法は、制御パラメータを取得して、前記制御パラメータの変化に基づいて目標とされる相関分離パラメータを計算することを含む。
【００２０】
第６の態様によれば、第５の態様の方法を遂行するための手段を備える、マルチチャネルオーディオコーデックが提供される。
【００２１】
本発明の例示の実施形態のより十分な理解のために、次に、添付図面に関連して以下の説明が参照される。
【図面の簡単な説明】
【００２２】
【図１】５．１サラウンドシステムを用いる空間オーディオ再生の図示である。
【図２】パラメトリックステレオコーダの基本ブロック図の図示である。
【図３】ＩＡＣＣの関数としての聴覚オブジェクトの幅の図示である。
【図４】オーディオ信号の一例を示す図である。
【図５】一実施形態による方法を記述するブロック図である。
【図６】代替実施形態による方法を記述するブロック図である。
【図７】装置の一例を示す図である。
【図８】相関分離フィルタ長計算器を備えるデバイスを示す図である。
【発明を実施するための形態】
【００２３】
図面の図１〜図８を参照することにより、本発明の例示の実施形態およびその可能な利点が理解される。
【００２４】
非コヒーレント信号成分を表現するための既存の解決策は時間不変相関分離フィルタに基づくものであり、復号されたマルチチャネルオーディオにおける非コヒーレント成分の量は、相関分離された信号成分と相関分離されていない信号成分を混合することによって制御される。
【００２５】
そのような時間不変の相関分離フィルタには、相関分離された信号が、聴覚シーンの変化によって影響を受ける入力信号の特性に適応しないという問題がある。たとえば、小さい残響の環境の単一音声源を録音する環境が、大きなコンサートホールにおける交響楽団の演奏をかなり長い残響を用いて録音するためのものと同一のフィルタからの相関分離された信号成分によって表現されるはずである。相関分離された成分の量が時間にわたって制御されたとしても、残響長さおよび相関分離の他の特性は制御されない。これによって、小さい残響の録音サウンドの環境が広すぎる一方で、大きい残響の録音の聴覚シーンが狭すぎるように知覚される。小さい残響の録音にとって望ましい短い残響長さは、多くの場合、より広い録音の録音に対して金属的かつ不自然な環境をもたらす。
【００２６】
提案される解決策は、復号されてレンダリングされたマルチチャネルオーディオ信号における非コヒーレント成分の表現において、非コヒーレントなオーディオが時間にわたって変化する様子を考慮に入れ、その情報を使用して、たとえば残響長さといった相関分離の特性を適応制御することにより、非コヒーレントなオーディオ信号の制御を改善するものである。
【００２７】
適応は、エンコーダにおける入力信号の信号特性に基づき得、デコーダに１つまたはいくつかの制御パラメータを伝送することによって制御される。あるいは、適応は、明示的制御パラメータを伝送することなく、デコーダにおいて既に利用可能な情報から、または利用可能な情報と伝送された情報（すなわちデコーダがエンコーダから受け取った情報）を組み合わせることによって制御され得る。
【００２８】
伝送される制御パラメータは、たとえば、２チャネル入力の場合のステレオ像といった空間特性のパラメトリック記述の推定された性能に基づくものでよい。すなわち、制御パラメータは性能指標でよい。性能指標は、推定された残響長さ、相関指標、空間幅の推定または予測利得から取得されてよい。
【００２９】
この解決策は、復号してレンダリングされたオーディオ信号における残響の、より優れた制御をもたらし、このことが、小さい残響のクリーンな音声信号または大きい残響の広いオーディオシーンを伴う広い音楽信号などの様々な信号タイプの、知覚される品質を改善する。
【００３０】
実施形態の本質は、マルチチャネルオーディオデコーダで利用される非コヒーレント信号成分を表現するための相関分離フィルタの長さを適応制御することである。適応は、伝送される性能指標と、時間が経つにつれて性能指標が変化する様子とに基づくものある。加えて、相関分離された成分の強度は、相関分離長さとして同一の制御パラメータに基づいて制御されてよい。
【００３１】
提案された解決策は、周波数帯の周波数係数に対する処理のために、フィルタバンクの周波数帯上の時間領域またはたとえば離散フーリエ変換（ＤＦＴ）を利用する変換領域におけるフレームまたはサンプルに対して動作し得るものである。１つの領域において遂行される演算は別の領域において同様に遂行され得、所与の実施形態は例示された領域に限定されない。
【００３２】
一実施形態では、提案された解決策は、たとえば図２に図示されたように、符号化されたダウンミックスチャネルおよび空間特性のパラメトリック記述を用いるステレオオーディオコーデック用に利用される。パラメトリック解析によって抽出され得る、チャネル間の非コヒーレント成分を記述する１つまたは複数のパラメータは、合成されたステレオオーディオにおける知覚される量の非コヒーレント成分を適応的に調節するのに使用され得る。図３に図示されているように、ＩＡＣＣすなわちチャネル間コヒーレンスは、空間聴覚のオブジェクトまたはシーンの知覚される幅に影響を及ぼすことになる。ＩＡＣＣが低下すると、ソース幅は、サウンドが２つの別個の無相関化されたオーディオソースとして知覚されるまで増大する。ステレオ録音において広い環境を表現し得るためには、チャネル間の非コヒーレント成分をデコーダにおいて合成する必要がある。
【００３３】
２つの入力チャネルＸおよびＹのダウンミックスチャネルは、
0006843992.tif 000002
から取得され得、Ｍはダウンミックスチャネルであり、Ｓはサイドチャネルである。ダウンミックスマトリクスＵ１は、Ｍチャネルのエネルギーが最大化されてＳチャネルのエネルギーが最小化されるように選択されてよい。ダウンミックス演算は、入力信号の位相または時間の調整を含み得る。パッシブなダウンミックスの一例は
0006843992.tif 000003
によって与えられる。サイドチャネルＳは明示的には符号化され得なくとも、たとえば予測フィルタを使用することによってパラメトリックにモデル化され得、
0006843992.tif 000004
は復号された中央チャネル
0006843992.tif 000005
から予測され、デコーダにおいて空間合成用に使用される。この場合、たとえば予測フィルタ係数といった予測パラメータが符号化されてデコーダに伝送され得る。
【００３４】
サイドチャネルをモデル化するための別のやり方には、中央チャネルの相関分離によってサイドチャネルを近似するものがある。相関分離技術は、一般的には、微細構造の観点から入力信号に対してインコヒーレントな出力信号を生成するのに使用されるフィルタリング方法である。相関分離された信号のスペクトルエンベロープおよび時間エンベロープは、理想的なままであるものとする。相関分離フィルタは、一般的には入力信号の位相変化を伴うオールパスフィルタである。
【００３５】
この実施形態では、提案された解決策は、パラメトリックステレオデコーダにおいて空間合成用に使用される相関分離器を適応的に調節するために使用される。
【００３６】
符号化されたモノチャネルの空間レンダリング（アップミックス）
0006843992.tif 000006
は、
0006843992.tif 000007
によって取得され、Ｕ２はアップミックスマトリクスであり、Ｄは、微細構造の観点において、
0006843992.tif 000008
に対して理想的に無相関化される。アップミックスマトリクスは、合成された左チャネル
0006843992.tif 000009
および右チャネル
0006843992.tif 000010
における
0006843992.tif 000011
の量およびＤを制御する。アップミックスは、符号化された残差信号などのさらなる信号成分も包含し得ることに留意されたい。
【００３７】
ＩＬＤおよびＩＣＣの伝送を用いるパラメトリックステレオにおいて利用されるアップミックスマトリクスの一例は、
0006843992.tif 000012
によって与えられ、ここで
0006843992.tif 000013
0006843992.tif 000014
である。
【００３８】
合成されたチャネル間の相関の量を判定するために回転角αが使用され、
0006843992.tif 000015
によって与えられる。
【００３９】
全体的な回転角βは
0006843992.tif 000016
として取得される。
【００４０】
２つのチャネルｘ［ｎ］とｙ［ｎ］の間のＩＬＤは
0006843992.tif 000017
によって与えられ、ｎ＝［１，．．．，Ｎ］は、Ｎ個のサンプルのフレームに対するサンプルインデックスである。
【００４１】
チャネル間コヒーレンスはチャネル間相互相関（ＩＣＣ）によって推定され得る。従来のＩＣＣの推定は相互相関関数（ＣＣＦ）であるｒｘｙに依存し、ＣＣＦは２つの波形ｘ［ｎ］とｙ［ｎ］の間の類似性の指標であり、一般に、時間領域において
ｒｘｙ［ｎ，τ］＝Ｅ［ｘ［ｎ］ｙ［ｎ＋τ］］                （１０）
として定義され、τはタイムラグであり、Ｅ［・］は期待値演算子である。長さＮの信号フレームについて、相互相関は、一般的には
0006843992.tif 000018
として推定される。
【００４２】
次いで、ＩＣＣは、信号エネルギーによって次式のように正規化されるＣＣＦの最大値として取得される。
0006843992.tif 000019
【００４３】
ステレオ像の記述において追加のパラメータが使用され得る。追加のパラメータは、たとえばチャネル間の位相差または時間差を反映し得るものである。
【００４４】
相関分離フィルタは、それ自体のインパルス応答ｈｄ（ｎ）またはＤＦＴ領域における伝達関数Ｈｄ（ｋ）によって規定され得、ｎはサンプルインデックスであり、ｋは周波数インデックスである。ＤＦＴ領域において、相関分離された信号Ｍｄが
0006843992.tif 000020
によって取得され、ｋは周波数係数インデックスである。時間領域の演算により、相関分離された信号が、フィルタリング
0006843992.tif 000021
によって取得され、ｎはサンプルインデックスである。
【００４５】
一実施形態では、連続的に接続されたＡ個のオールパスフィルタに基づく残響器が
0006843992.tif 000022
として取得され、ψ［ａ］はフィードバックの減衰を指定し、ｄ［ａ］はフィードバックの遅延を指定する。これは相関分離用に使用され得る残響器の単なる例であって代替残響器が存在し、たとえばわずかなサンプル遅延が利用され得る。間隔［０，１］において減衰係数ψ［ａ」が１よりも大きな値として選択されることがあり、不安定なフィルタをもたらすことになる。減衰係数ψ［ａ］＝０を選択することにより、フィルタはｄ［ａ］サンプルの遅延になる。その場合、フィルタ長は、残響器におけるフィルタのセットの中での最大の遅延ｄ［ａ］によって与えられることになる。
【００４６】
この例では２チャネルオーディオであるマルチチャネルオーディオでは、当然、信号特性に依拠してチャネル間で量が変化するコヒーレンスがある。減衰の効いた環境において録音された単一のスピーカについては、反響および残響が小量になってチャネル間のコヒーレンスが高くなるはずである。残響が増大するのにしたがって、一般にコヒーレンスが低下するはずである。これは、低ノイズの環境を伴うクリーンな音声信号については、相関分離フィルタの長さを、残響する環境における単一のスピーカの場合よりも恐らく短くするべきであることを意味する。相関分離器フィルタの長さは、生成される相関分離された信号の特性を制御する重要なパラメータの１つである。本発明の実施形態は、相関分離された信号の特性を入力信号の特性に一致させるために、相関分離された信号のレベル制御に関係のあるパラメータなど他のパラメータを適応制御するのにも使用され得る。
【００４７】
非コヒーレント信号成分のレンダリングのために残響器を利用することにより、遅延の量が、符号化されたオーディオの異なる空間的特徴に適応するように制御され得る。より一般的には、相関分離フィルタのインパルス応答の長さを制御することができる。前述のように、フィルタ長を制御することは、フィードバックのない残響器の遅延を制御することと等価であり得る。
【００４８】
一実施形態では、フィードバックのない残響器の遅延ｄ（この場合フィルタ長と等価である）は、次式のように制御パラメータｃ１の関数ｆ１（・）である。
ｄ＝ｆ１（ｃ１）  （１６）
【００４９】
伝送される制御パラメータは、たとえば、２チャネル入力の場合のステレオ像といった空間特性のパラメトリック記述の推定された性能に基づくものでよい。性能指標ｒは、たとえば推定された残響長さ、相関指標、空間幅の推定または予測利得から取得されてよい。次いで、相関分離フィルタの長さｄはこの性能指標に基づいて制御され得、すなわちｃ１は性能指標ｒである。適切な制御関数ｆ１（・）の一例は、
0006843992.tif 000023
よって与えられ、γ１は、一般的には許容される最大の遅延をＤｍａｘとする範囲［０，Ｄｍａｘ］における同調パラメータであり、θ１はｇ（ｒ）の上限である。ｇ（ｒ）＞θ１であれば、たとえばｄ＝１といったより短い遅延が選択される。
【００５０】
θ１は同調パラメータであり、たとえばθ１＝７．０にセットされ得る。θ１とｇ（ｒ）のダイナミクスの間には関係があり、別の実施形態ではたとえばθ１＝０．２２となり得る。サブ関数ｇ（ｒ）は、ｒの変化と、時間にわたるｒの平均の間の比として規定され得る。この比は、性能指標の平均値と比較して性能指標の変化が大きいサウンドについてはより大きくなり、これは、一般的にはバックグランドノイズまたは残響が小さい希薄なサウンドの場合である。バックグランドノイズを伴う音楽または音声のような、より稠密なサウンドについては、この比はより小さくなり、そのためにサウンド分類器のように機能し、元の入力信号の非コヒーレントな成分の特性を分類する。この比は、
0006843992.tif 000024
として計算され得、θｍａｘは上限であってたとえば２００にセットされ、θｍｉｎは下限であってたとえば０にセットされる。限度はたとえば同調パラメータθ１に関係づけられてよく、たとえばθｍａｘ＝１．５θ１となる。
【００５１】
伝送される性能指標の平均値の推定は、フレームｉに関して、
0006843992.tif 000025
として取得される。
【００５２】
第１のフレームｒｍｅａｎ［ｉ−１］については、０に初期化されてよい。平滑化係数αｐｏｓおよびαｎｅｇは、ｒの増加方向の変化と減少方向の変化が異なるように選択されてよい。一例ではαｐｏｓ＝０．００５およびαｎｅｇ＝０．５は、平均推定が、時間にわたる平均性能指標の最小値の方へ大きく辿ることを意味する。別の実施形態では、正の平滑化係数と負の平滑化係数は、たとえばαｐｏｓ＝αｎｅｇ＝０．１と等しい。
【００５３】
同様に、性能指標変化の平滑化された推定は、
0006843992.tif 000026
として取得され、ここで
ｒｃ［ｉ］＝｜ｒ［ｉ］−ｒｍｅａｎ［ｉ］｜                        （２１）
である。
【００５４】
あるいは、ｒの分散は、
0006843992.tif 000027
として推定され得る。
【００５５】
次いで、比ｇ（ｒ）が、標準偏差
0006843992.tif 000028
を平均値ｒｍｅａｎに関連づけてよく、すなわち
0006843992.tif 000029
となり、または分散を２乗平均に関連づけてよく、すなわち
0006843992.tif 000030
となる。
【００５６】
標準偏差の別の推定は、
0006843992.tif 000031
によって与えられ得、こちらの方が簡単である。
【００５７】
平滑化係数βｐｏｓおよびβｎｅｇは、ｒｃの増加方向の変化と減少方向の変化が異なるように選択されてよい。一例ではβｐｏｓ＝０．５およびβｎｅｇ＝０．０５は、平均推定が、時間にわたる性能指標の変化における最大値の方へ大きく辿ることを意味する。別の実施形態では、正の平滑化係数と負の平滑化係数は、たとえばβｐｏｓ＝βｎｅｇ＝０．１と等しい。
【００５８】
一般に、すべての所与の例について、現行フレームの更新値が比較される任意の閾値に関して、２つの平滑化係数の間の移行が行われ得る。すなわち、式（２５）の所与の例ではｒｃ［ｉ］＞θｔｈｒｅｓである。
【００５９】
加えて、遅延を制御する比ｇ（ｒ）は、時間にわたって、
0006843992.tif 000032
によって平滑化されてよく、平滑化係数αｓは同調係数であり、たとえば０．０１にセットされる。これは、フレームｉについて、式（１７）におけるｇ（ｒ［ｉ］）が、
0006843992.tif 000033
によって置換されることを意味する。
【００６０】
別の実施形態では、比ｇ（ｒ）は、次式のように、性能指標ｃ１に基づいて条件付きで平滑化される。
0006843992.tif 000034
【００６１】
そのような関数の一例には
0006843992.tif 000035
があり、この式で、平滑化パラメータは性能指標の関数である。たとえば
0006843992.tif 000036
となる。
【００６２】
関数ｆｔｈｒｅｓは、使用される性能指標に依拠して、異なって選択されてよい。関数ｆｔｈｒｅｓは、たとえば平均、百分位数（たとえば中央値）、フレームもしくはサンプルのセットにわたる、または周波数サブバンドもしくは係数のセットにわたる、最小値もしくは最大値ｃ１であり得、すなわち、たとえば
ｆｔｈｒｅｓ（ｃ１）＝ｍａｘ（ｃ１［ｂ］）  （３０）
であり、ｂ＝ｂ０，．．．，ｂＮ−１はＮ個の周波数サブバンドのインデックスである。平滑化係数は、閾値θｈｉｇｈ（たとえば０．６にセットされている）が超された、または超されていないとき、平滑化する量を制御し、正の更新および負の更新について等しく、または異なってよく、たとえばκｐｏｓ＿ｈｉｇｈ＝０．０３、κｎｅｇ＿ｈｉｇｈ＝０．０５、κｐｏｓ＿ｌｏｗ＝０．１、κｎｅｇ＿ｌｏｗ＝０．００１である。
【００６３】
アーチファクトを防止するために、サンプルまたはフレームの間で、取得される相関分離フィルタの長さの変化に対する追加の平滑化または制限が可能であることが注目され得る。加えて、相関分離のために利用されるフィルタ長のセットは、信号をミキシングするとき取得される異なる色づけの数を低減するために、制限されてよい。たとえば、比較的短いものと、比較的長いものとの、２つの異なる長さがあってよい。
【００６４】
一実施形態では、異なる長さｄ１とｄ２の２つの利用可能なフィルタのセットが使用される。目標とされるフィルタ長ｄはたとえば
0006843992.tif 000037
として取得され、γ１はたとえば
γ１＝ｄ２−ｄ１＋δ                                            （３２）
によって与えられる同調パラメータであり、δはたとえば２にセットされ得るオフセット項である。ここで、ｄ２はｄ１よりも大きいものと想定されている。目標のフィルタ長は制御パラメータであるが、異なる周波数については異なるフィルタ長または残響器遅延が利用され得ることが注目される。これは、特定の周波数サブバンドまたは係数に対して、目標とされる長さよりも短いかまたは長いフィルタが使用され得ることを意味する。
【００６５】
この場合、合成されたチャネル
0006843992.tif 000038
および
0006843992.tif 000039
における相関分離された信号Ｄの量を制御する相関分離フィルタ強度ｓは、同一の制御パラメータによって、この場合は性能指標ｃ１≡ｒである１つの制御パラメータを用いて制御されてよい。
【００６６】
別の実施形態では、相関分離フィルタの長さの適応は、いくつかの、すなわち少なくとも２つのサブバンドにおいて、各周波数帯が最適な相関分離フィルタの長さを有し得るように行われる。
【００６７】
一実施形態では、残響器が式（１５）で表されるようなフィードバックを伴うフィルタのセットを使用する場合には、フィードバックの量ψ［ａ］も、遅延パラメータｄ［ａ］と類似のやり方で適応されてよい。そのような実施形態では、生成される環境の長さは、これらの両方のパラメータの組合せであり、したがって、適切な環境長さを達成するために、どちらも適応されなければならない。
【００６８】
さらに別の実施形態では、相関分離フィルタの長さまたは残響器の遅延ｄと、相関分離信号の強度ｓとは、２つ以上の異なる制御パラメータの関数、すなわち
ｄ＝ｆ２（ｃ２１，ｃ２２，．．．）                              （３３）
ｓ＝ｆ３（ｃ３１，ｃ３２，．．．）                              （３４）
として制御される。
【００６９】
さらに別の実施形態では、相関分離フィルタの長さおよび相関分離信号の強度は、復号されたオーディオ信号を解析することによって制御される。
【００７０】
加えて、残響長さは、過渡現象すなわち突然のエネルギー増加、または特別な特性を伴う他の信号に関して特別に制御されてよい。
【００７１】
時間が経つにつれてフィルタが変化するので、フレームまたはサンプルにわたる変化に対して何かの処理を行うべきである。これは、たとえば補間またはオーバラップするフレームを伴う窓関数であり得る。補間は、それぞれ長さを制御された以前のフィルタと、いくつかのサンプルまたはフレームにわたる現在目標とされるフィルタ長との間で行われ得る。補間は、以前のフィルタの利得を連続的に減少させながら、サンプルまたはフレームにわたる現在目標とされる長さの現在のフィルタの利得を増加させることにより、達成され得る。別の実施形態では、目標とされるフィルタ長が利用可能でないとき、異なる長さの利用可能なフィルタを混合するように、目標とされるフィルタ長が、それぞれの利用可能なフィルタのフィルタ利得を制御する。長さｄ１のフィルタｈ１と長さｄ２のフィルタｈ２の２つの利用可能なフィルタの場合には、両フィルタの利得ｓ１およびｓ２は
ｓ１＝ｆ３（ｄ１，ｄ２，ｃ１）                                  （３５）
ｓ２＝ｆ４（ｄ１，ｄ２，ｃ１）                                  （３６）
として取得され得る。
【００７２】
フィルタ利得は、たとえばフィルタリングされた信号の等しいエネルギーを取得するために互いに依拠するものでもよく、すなわち、ｃ１によって利得を制御されるｈ１が基準フィルタである場合にはｓ２＝ｆ（ｓ１）である。たとえば、フィルタ利得ｓ１は
ｓ１＝（ｄ２−ｄ）／（ｄ２−ｄ１）                              （３７）
として取得され得、ｄは範囲［ｄ１，ｄ２］において目標とされるフィルタ長であり、ｄ２＞ｄ１である。次いで、第２のフィルタ利得は、たとえば
0006843992.tif 000040
として取得される。
【００７３】
次いで、フィルタリング演算が時間領域で遂行される場合には、フィルタリングされた信号ｍｄ［ｎ］は、
0006843992.tif 000041
として取得される。
【００７４】
相関分離信号の強度ｓが制御パラメータｃ１によって制御される場合には、強度ｓを、以前のフレームの制御パラメータおよび相関分離フィルタの長さｄの関数ｆ４（・）として制御するのが有益であり得る。すなわち
ｓ［ｉ］＝ｆ４（ｄ，ｃ１［ｉ］，ｃ１［ｉ−１］，．．．，ｃ１［ｉ−ＮＭ］）  （４０）
となる。
【００７５】
そのような関数の一例には
ｓ［ｉ］＝ｍｉｎ（β４ｃ１［ｉ−ｄ］，ｃ１［ｉ−ｄ］（１−α４）＋α４ｃ１［ｉ］）  （４１）
があり、α４およびβ４は、たとえばα４＝０．８もしくはα４＝０．６、かつβ４＝１．０といった同調パラメータである。α４は一般的には範囲［０，１］にあるべきであり、β４は１より大きくてもよい。
【００７６】
複数のフィルタを混合する場合には、フィルタリングされた信号ｍｄ［ｎ］の、
0006843992.tif 000042
とのアップミックスにおける強度ｓは、たとえば加重平均に基づいて取得され得、すなわち、２つのフィルタｈ１およびｈ２の場合には
ｓ［ｉ］＝ｍｉｎ（β４ｗ［ｉ］，ｗ［ｉ］（１−α４）＋α４ｃ１［ｉ］）  （４２）
によって取得され得、ここで
ｗ［ｉ］＝ｓ１ｃ１［ｉ−ｄ１］＋ｓ２ｃ１［ｉ−ｄ２］                      （４３）
である。
【００７７】
図４は、前半がクリーンな音声を含有し、後半がクラシック音楽を含有している信号の一例を示すものである。性能指標の平均値は、音楽を含有している後半が比較的大きい。性能指標の変化も後半の方が大きいが、性能指標の平均値と性能指標の変化の間の比は、後半の方がかなり小さい。性能指標の変化が性能指標の平均値よりもはるかに大きい信号は、拡散成分の量が連続して大きい信号であると考えられ、したがって、この例の相関分離フィルタの長さは、前半を後半よりも短くするべきである。グラフの信号は、より制御された挙動のために、すべて平滑化され、部分的に制限されていることに留意されたい。この場合、目標とされる相関分離フィルタの長さは、フレームの離散数で表現されているが、他の実施形態では連続的に変化してもよい。
【００７８】
図５および図６は、相関分離器を調節するための例示の方法を図示するものである。この方法は、制御パラメータを取得して制御パラメータの平均値および変化を計算することを含む。制御パラメータの変化と平均値の比が計算され、この比に基づいて相関分離パラメータが計算される。次いで、相関分離パラメータが相関分離器に供給される。
【００７９】
図５は、相関分離フィルタの長さの適応に包含されるステップを記述するものである。方法５００は、性能指標パラメータすなわち制御パラメータを受け取るブロック５０１で始まる。性能指標は、オーディオエンコーダにおいて計算されて、オーディオデコーダに伝送される。あるいは、制御パラメータは、復号器において既に利用可能な情報から、または利用可能な情報と伝送された情報を組み合わせることによって、取得される。最初に、ブロック５０２および５０４に示されるように、性能指標の平均値および変化が計算される。次いで、５０６で、性能指標の変化と平均値の比が計算される。この比に基づいて、５０８で、相関分離フィルタの最適の長さが計算される。最後に、５１０で、たとえば受信されたモノ信号から、相関分離された信号を取得するために、新規の相関分離フィルタの長さが適用される。
【００８０】
図６は、相関分離フィルタの長さの適応の別の実施形態を記述するものである。方法６００は、性能指標パラメータすなわち制御パラメータを受け取るブロック６０１で始まる。性能指標は、オーディオエンコーダにおいて計算されて、オーディオデコーダに伝送される。あるいは、制御パラメータは、復号器において既に利用可能な情報から、または利用可能な情報と伝送された情報を組み合わせることによって、取得される。最初に、ブロック６０２および６０４に示されるように、性能指標の平均値および変化が計算される。次いで、６０６で、性能指標の変化と平均値の比が計算される。この比に基づいて、６０８で、目標とされる相関分離フィルタの長さが計算される。最終ステップは、６１０で、新規の目標とされる相関分離フィルタの長さを相関分離器に供給することである。
【００８１】
この方法は、パラメトリックステレオデコーダまたはステレオオーディオコーデックによって遂行され得る。
【００８２】
図７は、図５および図６で説明された方法を遂行する装置の一例を示すものである。装置７００は、たとえば中央処理装置（ＣＰＵ）といったプロセッサ７１０と、たとえばコンピュータプログラム７３０といった命令を記憶するための記憶装置の形態のコンピュータプログラム製品７２０とを備え、コンピュータプログラム７３０は、記憶装置から取り出されてプロセッサ７１０によって実行されたとき、装置７００に、相関分離器を適応的に調節する実施形態に関係したプロセスを遂行させるものである。プロセッサ７１０は、記憶装置７２０に対して通信可能に結合されている。装置７００は、入力パラメータすなわち性能指標を受け取るための入力ノードと、相関分離フィルタの長さなどの処理されたパラメータを出力するための出力ノードとをさらに備え得る。入力ノードと出力ノードは、どちらもプロセッサ７１０に対して通信可能に結合されている。
【００８３】
装置７００は、図２の下側部分に示されたパラメトリックステレオデコーダなどのオーディオデコーダに備わっていてよい。装置７００はステレオオーディオコーデックに備わっていてよい。
【００８４】
図８は、相関分離フィルタ長計算器８０２を備えるデバイス８００を示すものである。デバイス８００は、たとえば音声デコーダまたはオーディオデコーダといったデコーダでよい。入力信号８０４は、空間像を記述する符号化されたパラメータを伴う符号化されたモノ信号である。入力パラメータは、性能指標などの制御パラメータを含み得る。出力信号８０６は、合成されたステレオ信号またはマルチチャネル信号、すなわち再構成されたオーディオ信号である。デバイス８００は、オーディオエンコーダから入力信号を受け取るための受信器（図示せず）をさらに備え得る。デバイス８００は、図２に示されたようなモノデコーダおよびパラメトリック合成ユニットをさらに備え得る。
【００８５】
一実施形態では、相関分離長計算器８０２は、性能指標パラメータすなわち制御パラメータを受け取るかまたは取得するための取得ユニットを備える。相関分離長計算器８０２は、性能指標の平均値および変化を計算するための第１の計算ユニットと、性能指標の変化と平均値の比を計算するための第２の計算ユニットと、目標とされる相関分離フィルタの長さを計算するための第３の計算ユニットとをさらに備える。相関分離長計算器８０２は、目標とされる相関分離フィルタの長さを相関分離ユニットに供給するための供給ユニットをさらに備え得る。
【００８６】
例として、ソフトウェアまたはコンピュータプログラム７３０は、コンピュータプログラム製品として実現されてよく、通常は、好ましくは不揮発性のコンピュータ可読記憶媒体であるコンピュータ可読媒体に担持されるかまたは記憶される。コンピュータ可読媒体が含み得る１つまたは複数の取外し可能または取外し不能な記憶デバイスは、それだけではないが、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク、ユニバーサルシリアルバス（ＵＳＢ）記憶装置、ハードディスクドライブ（ＨＤＤ）記憶装置、フラッシュメモリ、磁気テープ、または任意の他の従来の記憶デバイスを含み得る。
【００８７】
本発明の実施形態は、ソフトウェア、ハードウェア、アプリケーションロジック、あるいはソフトウェア、ハードウェアおよびアプリケーションロジックの組合せで実施され得る。ソフトウェア、アプリケーションロジックおよび／またはハードウェアは、記憶装置、マイクロプロセッサまたは中央処理装置上に存在してよい。必要に応じて、ソフトウェア、アプリケーションロジックおよび／またはハードウェアの一部が、ホスト装置または記憶装置、ホストのマイクロプロセッサまたは中央処理装置上に存在してよい。例示の実施形態では、アプリケーションロジック、ソフトウェアまたは命令セットは、様々な従来のコンピュータ可読媒体のうち任意のものに保存されている。
【００８８】
略語
ＩＬＤ／ＩＣＬＤ  チャネル間レベル差
ＩＰＤ／ＩＣＰＤ  チャネル間位相差
ＩＴＤ／ＩＣＴＤ  チャネル間時間差
ＩＡＣＣ  両耳の間の相互相関
ＩＣＣ  チャネル間相関
ＤＦＴ  離散フーリエ変換
ＣＣＦ  相互相関関数
【図１】
0006843992.tif 000043
【図２】
0006843992.tif 000044
【図３】
0006843992.tif 000045
【図４】
0006843992.tif 000046
【図５】
0006843992.tif 000047
【図６】
0006843992.tif 000048
【図７】
0006843992.tif 000049
【図８】
0006843992.tif 000050