(57)【要約】  本発明は、マルチチャネルオーディオ信号の複数のオーディオチャネル信号（ｘ１、ｘ２）のうちの１つのオーディオチャネル信号（ｘ１）の符号化パラメータ（ＩＴＤ）を決定する方法（１００）であって、各オーディオチャネル信号（ｘ１、ｘ２）は、オーディオチャネル信号値（ｘ１［ｎ］、ｘ２［ｎ］）を有し、前記方法は、前記オーディオチャネル信号（ｘ１）の前記オーディオチャネル信号値（ｘ１［ｎ］）の周波数変換（Ｘ１［ｋ］）を決定するステップ（１０１）と、参照オーディオ信号（ｘ２）の参照オーディオ信号値（ｘ２［ｎ］）の周波数変換（Ｘ２［ｋ］）を決定するステップであって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号（ｘ２）又は前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号（ｘ１、ｘ２）から引き出されるダウンミックスオーディオ信号である、ステップ（１０３）と、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域（ｂ）についてチャネル間差（ＩＣＤ［ｂ］）を決定するステップであって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域（ｂ）内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差（ＩＰＤ［ｂ］）又は時間差（ＩＴＤ［ｂ］）を示す、ステップ（１０５）と、前記チャネル間差（ＩＣＤ［ｂ］）の正の値に基づき第１の平均（ＩＴＤｍｅａｎ＿ｐｏｓ）を決定し、及び前記チャネル間差（ＩＣＤ［ｂ］）の負の値に基づき第２の平均（ＩＴＤｍｅａｎ＿ｎｅｇ）を決定するステップ（１０７）と、前記第１の平均及び前記第２の平均に基づき前記符号化パラメータ（ＩＴＤ）を決定するステップ（１０９）と、を有する方法に関する。
2015514234.tif 000002
【特許請求の範囲】
【請求項１】
マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定する方法であって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記方法は、
前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定するステップと、
参照オーディオ信号の参照オーディオ信号値の周波数変換を決定するステップであって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号又は前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、ステップと、
周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するステップであって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、ステップと、
前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定するステップと、
前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定するステップと、
を有する方法。
【請求項２】
前記チャネル間差は、チャネル間位相差又はチャネル間時間差である、請求項１に記載の方法。
【請求項３】
前記チャネル間差の正の値に基づき第１の標準偏差を決定し、及び前記チャネル間差の負の値に基づき第２の標準偏差を決定するステップと、
を更に有し、
前記符号化パラメータを決定するステップは、前記第１の標準偏差及び前記第２の標準偏差に基づく、
請求項１又は２に記載の方法。
【請求項４】
周波数サブ帯域は、１又は複数の周波数ビンを有する、請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定する前記ステップは、
前記オーディオチャネル信号値の前記周波数変換及び前記参照オーディオ信号値の前記周波数変換から相互関係として相互スペクトルを決定するステップと、
前記相互スペクトルに基づき、各周波数サブ帯域のチャネル間位相差を決定するステップと、
を有する、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
周波数ビンの又は周波数サブ帯域の前記チャネル間位相差は、前記相互スペクトルの角度として決定される、請求項５に記載の方法。
【請求項７】
前記チャネル間位相差に基づきチャネル間時間差を決定するステップ、
を更に有し、
前記第１の平均を決定するステップは、前記チャネル間時間差の正の値に基づき、前記第２の平均を決定するステップは、前記チャネル間時間差の負の値に基づく、
請求項５又は６に記載の方法。
【請求項８】
周波数サブ帯域の前記チャネル間時間差は、前記チャネル間位相差の関数として決定され、前記関数は、周波数ビンの数、及び前記周波数ビン又は周波数サブ帯域インデックスに依存する、請求項６又は７に記載の方法。
【請求項９】
前記符号化パラメータを決定するステップは、
周波数サブ帯域の前記サブセットに含まれる周波数サブ帯域の数に渡り、正のチャネル間時間差の第１の数及び負のチャネル間時間差の第２の数を計数するステップ、
を有する、請求項７又は８に記載の方法。
【請求項１０】
前記符号化パラメータは、正のチャネル間時間差の前記第１の数と負のチャネル間時間差の前記第２の数との間の比較に基づき決定される、請求項９に記載の方法。
【請求項１１】
前記符号化パラメータは、前記第１の標準偏差と前記第２の標準偏差との間の比較に基づき決定される、請求項１０に記載の方法。
【請求項１２】
前記符号化パラメータは、正のチャネル間時間差の前記第１の数と第１の係数を乗算された負のチャネル間時間差の前記第２の数との間の比較に基づき決定される、請求項１０又は１１に記載の方法。
【請求項１３】
前記符号化パラメータは、前記第１の標準偏差と第２の係数を乗算された前記第２の標準偏差との間の比較に基づき決定される、請求項１２に記載の方法。
【請求項１４】
マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定するマルチチャネルオーディオエンコーダであって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記パラメトリック空間オーディオエンコーダは、
前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定し、及び参照オーディオ信号の参照オーディオ信号値の周波数変換を決定する、フーリエ変換器のような周波数変換器であって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号又は前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、周波数変換器と、
周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するチャネル間差決定器であって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、チャネル間差決定器と、
前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定する平均決定器と、
前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定する符号化パラメータ決定器と、
を有するマルチチャネルオーディオエンコーダ。
【請求項１５】
コンピュータで実行されると、請求項１乃至１３のいずれか一項に記載の方法を実行するプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ符号化に関し、特に、パラメトリックマルチチャネルオーディオ符号化としても知られるパラメトリック空間オーディオ符号化に関する。
【背景技術】
【０００２】
例えばC.Faller及びF.Baumgarte,  “Efficient  representation  of  spatial  audio  using  perceptual  parametrization,”  in  Proc.  IEEE  Workshop  on  Appl.  of  Sig.  Proc.  to  Audio  and  Acoust.,  Oct.  ２００１,  pp.１９９−２０２に記載のようなパラメトリックステレオ又はマルチチャネルオーディオ符号化は、通常はモノ若しくはステレオのダウンミックスオーディオ信号から、ダウンミックスオーディオ信号より多くのチャネルを有するマルチチャネルオーディオ信号を合成するために、空間的キューを用いる。通常、ダウンミックスオーディオ信号は、例えばステレオオーディオ信号のマルチチャネルオーディオ信号の複数のオーディオチャネル信号の重畳の結果生じる。これらのより少数のチャネルは波形符号化され、元の信号チャネル関係に関連するサイド情報、つまり空間的キューは、符号化パラメータとして符号化オーディオチャネルに追加される。デコーダは、このサイド情報を用いて、復号化された波形符号化オーディオチャネルに基づき、元の数のオーディオチャネルを再生成する。
【０００３】
基本パラメトリックステレオコーダは、チャネル間レベル差（inter-channel  level  differences：ＩＬＤ）を、モノダウンミックスオーディオ信号からステレオ信号を生成するためのキューとして用いても良い。より多くの高機能コーダは、チャネル間コヒーレンス（inter-channel  coherence：ＩＣＣ）も用いても良い。ＩＣＣは、オーディオチャネル信号、つまりオーディオチャネル間の類似度を表し得る。さらに、例えば３Ｄオーディオ又はヘッドフォンに基づくサラウンド再生のために両耳ステレオ信号を符号化するとき、チャネル間位相差（inter-channel  phase  difference：ＩＰＤ）は、チャネル間の位相／遅延差を再生する役割を果たし得る。
【０００４】
両耳間時間差（inter-aural  time  difference：ＩＴＤ）は、図７から分かるように、２つの耳７０３、７０５の間の音７０１の到着時間の差である。音の定位には、音源７０１の（頭７０９に対する）入射の方向７０７又は角度θ（シータ）を識別することは、キューを提供するので、重要である。信号が片側から耳７０３、７０５に到着する場合、信号は、（反対側の）遠くの耳７０３に達するためにより長い経路を有し、（同じ側の）近くの耳７０５に達するためにより短い経路を有する。この経路長の差は、耳７０３、７０５に音が到着する時間差７１５を生じる。この時間差は、検出され、音源７０１の方向７０７を識別する処理を支援する。
【０００５】
図７は、ＩＴＤ（Δｔ又は時間差７１５として示される）の一例を与える。２つの耳７０３、７０５における到着時間差は、音波の遅延により示される。左耳７０３への波形が最初に到来する場合には、ＩＴＤ７１５は正である。その他の場合、ＩＴＤ７１５は負である。音源７０１が聴取者の直接前に存在する場合、波形は、両方の耳７０３、７０５に同時に到着し、したがってＩＴＤ７１５はゼロである。
【０００６】
ＩＴＤキューは、多くのステレオ録音にとって重要である。例えば、両耳オーディオ信号は、例えばダミーヘッド又は両耳合成に基づく頭部伝達関数（Head  Related  Transfer  Function：ＨＲＴＦ）処理を用いて実際の録音から得ることができ、音楽録音又はオーディオ会議のために用いられる。したがって、それは、低ビットレートパラメトリックステレオコーデックにとって、及び特に会話アプリケーションを対象とするコーデックにとって、非常に重要なパラメータである。低複雑性及び安定したＩＴＤ推定アルゴリズムが、低ビットレートステレオコーデックのために必要である。さらに、例えばチャネル間レベル差（ＣＬＤ又はＩＬＤ）及びチャネル間コヒーレンス（ＩＣＣ）のような他のパラメータに加えて、ＩＴＤパラメータの使用はビットレートオーバヘッドを増大し得る。この特定の非常に低いビットレートのシナリオでは、１つの全帯域ＩＴＤパラメータのみが送信され得る。１つの全帯域ＩＴＤのみが推定されるとき、安定性に対する制約は、達成することが更に困難になる。
【０００７】
従来、ＩＴＤ推定方法は、３つの主なカテゴリに分類できる。
【０００８】
ＩＴＤ推定は、時間領域の方法に基づいても良い。ＩＴＤは、チャネル間の時間領域相互関係に基づき推定される。ＩＴＤは、時間領域相互関係（次式に示す）が最大になる遅延に対応する。
【数１】
2015514234.tif 000003
この方法は、幾つかのフレームに渡る遅延の非安定推定を提供する。これは、特に、異なるサブ帯域信号が異なるＩＴＤ値を有するために、ｆ及びｇの入力信号が複雑な音響シーンを有する広帯域信号であるとき、真である。非安定ＩＴＤは、デコーダ内の連続フレームに対して遅延が切り替えられるとき、クリック（ノイズ）の導入を生じ得る。この時間領域の分析が全帯域信号に対して実行されるとき、１つのＩＴＤのみが推定され、符号化され及び送信されるので、時間領域ＩＴＤ推定のビットレートは低い。しかしながら、高いサンプリング周波数を有する信号の相互関係計算のために、複雑性は非常に高い。
【０００９】
第２のカテゴリのＩＴＤ推定方法は、周波数及び時間領域アプローチの組合せに基づく。Marple,  S.L.,  Jr.;,  "Estimatinggroup  delay  and  phase  delay  via  discrete-time  “analytic”  cross-correlation,"  Signal  Processing,  IEEE  Transactions  on,  vol.４７,  no.９,  pp.２６０４-２６０７,  Sep１９９９では、周波数及び時間領域ＩＴＤ推定は、以下のステップを含む。
【００１０】
１．周波数係数を得るために、高速フーリエ変換（Fast  Fourier  Transform：ＦＦＴ）分析が入力信号に適用される。
２．周波数領域で、相互関係が計算される。
３．周波数領域相互関係は、逆ＦＦＴを用いて時間領域に変換される。
４．ＩＴＤは複素時間領域で推定される。
【００１１】
この方法は、１つの全帯域ＩＴＤのみが推定され、符号化され、及び送信されるので、低ビットレートの制約を達成できる。しかしながら、相互関係計算、及び計算の複雑性が限られるときこの方法を適用不可能にする逆ＦＦＴにより、複雑性は非常に高い。
【００１２】
最後に、最後のカテゴリは、ＩＴＤ推定を周波数領域で直接実行する。Baumgarte,  F.;  Faller,  C.;,  "Binaural  cue  coding-PartI:  psychoacoustic  fundamentals  and  design  principles,  "Speech  and  Audio  Processing,  IEEE  Transactions  on,  vol.１１,  no.６,  pp.５０９-５１９,  Nov.  ２００３及びFaller,  C.;  Baumgarte,  F.;,  "Binaural  cue  coding-Part  II:  Schemes  and  applications,  "Speech  and  Audio  Processing,  IEEE  Transactions  on,  vol.１１,  no.６,  pp.５２０-５３１,  Nov.  ２００３では、ＩＴＤは周波数領域で推定され、各周波数帯域毎にＩＴＤは符号化され送信される。このソリューションの複雑性は限られるが、サブ帯域当たり１つのＩＴＤが送信されるので、この方法のために必要なビットレートは高い。
【００１３】
さらに、推定されたＩＴＤの信頼性及び安定性は、大きなサブ帯域ＩＴＤでは一貫しない場合のあるサブ帯域信号の周波数帯域幅に依存する（異なる位置を有する異なる音源は、帯域の限られた音声信号内に存在する場合がある）。
【００１４】
非常に低いビットレートのパラメトリックマルチチャネルオーディオ符号化スキームは、ビットレートに対する制約だけでなく、特に、バッテリ寿命が節約されなければならないモバイル端末内の実装を対象とするコーデックのために可能な複雑性に対する制限も有する。従来のＩＴＤ推定アルゴリズムは、ＩＴＤ推定の安定性の点で良好な品質を維持しながら、低ビットレート及び低複雑性の両方の要件を同時に満たすことができない。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、ＩＴＤ推定の安定性の点で良好な品質を維持しながら低ビットレート及び低複雑性の両方を提供するマルチチャネルオーディオエンコーダのための概念を提供することである。
【００１６】
この目的は、独立請求項の特徴により達成される。さらに実装形態は、従属請求項、説明及び図面から明らかである。
【課題を解決するための手段】
【００１７】
本発明は、マルチチャネルオーディオ信号の２つのオーディオチャネル信号の帯域の限られた信号部分の間のＩＴＤ及びＩＰＤのようなチャネル間差に洗練された平均化を適用することが、帯域の限られた処理により、ＩＴＤ推定の安定性の点で良好な品質を維持しながらビットレート及び計算の複雑性の両方を低減することの発見に基づく。洗練された平均化は、チャネル間差をそれらの符号により区別し、該符号に依存して異なる平均化を実行し、それにより、チャネル間差処理の安定性を増大する。
【００１８】
本発明を詳細に説明するために、以下の用語、略語及び注釈が用いられる。
【００１９】
ＢＣＣ：両耳間キュー符号化（Binaural  cues  coding）。チャネル間関係を記述するためにダウンミックス及び両耳間キュー（又は空間パラメータ）を用いたステレオ又はマルチチャネル信号の符号化。
【００２０】
両耳間キュー：左及び右耳に入力する信号の間のチャネル間キュー（ＩＴＤ、ＩＬＤ、及びＩＣも参照）。
【００２１】
ＣＬＤ：チャネルレベル差、ＩＬＤと同じ。
【００２２】
ＦＦＴ：ＤＦＴの高速実装、高速フーリエ変換と表す。
【００２３】
ＨＲＴＦ：頭部伝達関数。自由音場におけるソースから左及び右耳への入力の音の変換のモデル化。
【００２４】
ＩＣ：両耳間コヒーレンス（Inter-aural  coherence）。つまり、左及び右耳へ入力する信号の間の類似度。これは、ＩＡＣ又は両耳間相互関係（interaural  cross-correlation：ＩＡＣＣ）とも表される場合がある。
【００２５】
ＩＣＣ：チャネル間コヒーレンス（Inter-channel  coherence）、チャネル間相関。ＩＣと同じだが、任意の信号対（例えば、ラウドスピーカ信号対、耳に入力する信号対、等）の間でより一般的に定められる。
【００２６】
ＩＣＰＤ：チャネル間位相差（Inter-channel  phase  difference）。単一の対の間の平均位相差。
【００２７】
ＩＣＬＤ：チャネル間レベル差（Inter-channel  level  difference）。ＩＬＤと同じだが、任意の信号対（例えば、ラウドスピーカ信号対、耳に入力する信号対、等）の間でより一般的に定められる。
【００２８】
ＩＣＴＤ：チャネル間時間差（Inter-channel  time  difference）。ＩＴＤと同じだが、任意の信号対（例えば、ラウドスピーカ信号対、耳に入力する信号対、等）の間でより一般的に定められる。
【００２９】
ＩＬＤ：両耳間レベル差（Interaural  level  difference）、つまり左及び右耳に入力する信号間のレベル差。これは、両耳間強度差（interaural  intensity  difference：ＩＩＤ）と表される場合がある。
【００３０】
ＩＰＤ：両耳間位相差（Interaural  phase  difference）、つまり左及び右耳に入力する信号間の位相差。
【００３１】
ＩＴＤ：両耳間時間差（Interaural  time  difference）、つまり左及び右耳に入力する信号間の時間差。これは、両耳間時間遅延（interaural  time  delay）と表される場合がある。
【００３２】
ＩＣＤ：チャネル間差（Inter-channel  difference）。２つのチャネル間の差、例えば２つのチャネル間の時間差、位相差、レベル差、又はコヒーレンスの一般的用語。
【００３３】
ミキシング：ソース信号の数が与えられる場合（例えば、別個に録音された楽器、マルチトラック録音）、空間オーディオ再生を目的としてステレオ又はマルチチャネルオーディオ信号を生成する処理がミキシングと表される。
【００３４】
ＯＣＰＤ：全体チャネル位相差（Overall  channel  phase  difference）。２以上のオーディオチャネルの共通の位相変更。
【００３５】
空間オーディオ：適切な再生システムを通じて再生されるとき、聴覚空間像を引き起こすオーディオ信号。
【００３６】
空間キュー：空間認知に関連するキュー。この用語は、ステレオ又はマルチチャネルオーディオ信号のチャネル対間のキューに対して用いられる（ＩＣＴＤ、ＩＣＬＤ、及びＩＣＣも参照）。空間パラメータ又は両耳キュ―とも表される。
【００３７】
第１の態様によると、本発明は、マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定する方法であって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記方法は、前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定するステップと、参照オーディオ信号の参照オーディオ信号値の周波数変換を決定するステップであって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号である、ステップと、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するステップであって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、ステップと、前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定するステップと、前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定するステップと、を有する方法に関する。
【００３８】
第２の態様によると、本発明は、マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定する方法であって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記方法は、前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定するステップと、参照オーディオ信号の参照オーディオ信号値の周波数変換を決定するステップであって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、ステップと、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するステップであって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、ステップと、前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定するステップと、前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定するステップと、を有する方法に関する。
【００３９】
帯域の限られた信号部分は、周波数領域信号部分であり得る。しかしながら、帯域の限られた信号部分は、時間領域信号部分であり得る。この例では、逆フーリエ変換器のような周波数領域−時間領域変換器が用いられ得る。時間領域では、帯域の限られた信号部分の時間遅延平均が実行され、これは、周波数領域の位相平均に対応する。信号処理でが、ウインドウ化、例えばハミングウインドウ化は、時間領域信号部分をウインドウ化するために用いることができる。
【００４０】
帯域の限られた信号部分は、１つの周波数ビンのみに渡って又は１より多い周波数ビンに渡って、広がり得る。
【００４１】
第１の態様による又は第２の態様による方法の第１の可能な実施形態では、前記チャネル間差はチャネル間位相差又はチャネル間時間差である。
【００４２】
前記第１の態様自体による、又は前記第２の態様自体による、又は前記第１の態様の前記第１の実施形態による、又は前記第２の態様の前記第１の実施形態による、方法の第２の可能な可能な実施形態では、前記方法は、前記チャネル間差の正の値に基づき第１の標準偏差を決定し、及び前記チャネル間差の負の値に基づき第２の標準偏差を決定するステップ、を更に有し、前記符号化パラメータを決定するステップは、前記第１の標準偏差及び前記第２の標準偏差に基づく。
【００４３】
前記第１の態様自体による、又は前記第２の態様自体による、又は前記第１の態様の前述の実施形態のいずれかによる、又は前記第２の態様の前述の実施形態のいずれかによる、方法の第３の可能な実施形態では、周波数サブ帯域は、１又は複数の周波数ビンを有する。
【００４４】
前記第１の態様自体による、又は前記第２の態様自体による、又は前記第１の態様の前述の実施形態のいずれかによる、又は前記第２の態様の前述の実施形態のいずれかによる、方法の第４の可能な実施形態では、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するステップは、前記オーディオチャネル信号値の前記周波数変換及び前記参照オーディオ信号値の前記周波数変換から相互関係として相互スペクトルを決定するステップと、前記相互スペクトルに基づき各周波数サブ帯域についてチャネル間位相差を決定するステップと、を有する。
【００４５】
前記第１の態様の前記第４の実施形態による、又は前記第２の態様の前記第４の実施形態による、方法の第５の可能な実施形態では、周波数ビン又は周波数サブ帯域の前記チャネル間位相差は、前記相互スペクトルの角度として決定される。
【００４６】
前記第１の態様の前記第４若しくは前記第５の実施形態による、又は前記第２の態様の前記第４若しくは前記第５の実施形態による、方法の第６の可能な実施形態では、前記方法は、前記チャネル間位相差に基づき両耳間時間差を決定するステップを更に有し、前記第１の平均を決定するステップは、前記両耳間時間差の正の値に基づき、前記第２の平均を決定するステップは、前記両耳間時間差の負の値に基づく。
【００４７】
前記第１の態様の前記第４若しくは前記第５の実施形態による、又は前記第２の態様の前記第４若しくは前記第５の実施形態による、方法の第７の可能な実施形態では、周波数サブ帯域の前記両耳間時間差は、前記チャネル間位相差の関数として決定され、前記関数は、周波数ビンの数及び前記周波数ビン若しくは周波数サブ帯域インデックスに依存する。
【００４８】
前記第１の態様の前記第６若しくは前記第７の実施形態による、又は前記第２の態様の前記第６若しくは前記第７の実施形態による、方法の第８の可能な実施形態では、前記符号化パラメータを決定するステップは、周波数サブ帯域の前記サブセットに含まれる周波数サブ帯域の数に渡り、正の両耳間時間差の第１の数及び負の両耳間時間差の第２の数を計数するステップを有する。
【００４９】
前記第１の態様の前記第８の実施形態による、又は前記第２の態様の前記第８の実施形態による、方法の第９の可能な実施形態では、前記符号化パラメータは、正の両耳間時間差の第１の数と負の両耳間時間差の第２の数との間の比較に基づき決定される。
【００５０】
前記第１の態様の前記第９の実施形態による、又は前記第２の態様の前記第９の実施形態による、方法の第１０の可能な実施形態では、前記符号化パラメータは、前記第１の標準偏差と前記第２の標準偏差との間の比較に基づき決定される。
【００５１】
前記第１の態様の前記第９若しくは前記第１０の実施形態による、又は前記第２の態様の前記第９若しくは前記第１０の実施形態による、方法の第１１の可能な実施形態では、前記符号化パラメータは、正の両耳間時間差の第１の数と第１の係数により乗算された負の両耳間時間差の第２の数との間の比較に基づき決定される。
【００５２】
前記第１の態様の前記第１１の実施形態による、又は前記第２の態様の前記第１１の実施形態による、方法の第１２の可能な実施形態では、前記符号化パラメータは、前記第１の標準偏差と第２の係数により乗算された前記第２の標準偏差との間の比較に基づき決定される。
【００５３】
前記第１の態様の前記第６若しくは前記第７の実施形態による、又は前記第２の態様の前記第６若しくは前記第７の実施形態による、方法の第１３の可能な実施形態では、前記符号化パラメータを決定するステップは、周波数サブ帯域の前記サブセットに含まれる周波数サブ帯域の数に渡り、正のチャネル間時間差の第１の数及び負のチャネル間時間差の第２の数を計数するステップを有する。
【００５４】
前記第１の態様自体による、又は前記第２の態様自体による、又は前記第１の態様の前述の実施形態のいずれかによる、又は前記第２の態様の前述の実施形態のいずれかによる、方法の第１４の実施形態では、前記方法は、以下のエンコーダ：ＩＴＵ−Ｔ  Ｇ．７２２エンコーダ、ＩＴＵ−Ｔ  Ｇ．７２２  Ａｎｎｅｘ  Ｂエンコーダ、ＩＴＵ−Ｔ  Ｇ．７１１．１エンコーダ、ＩＴＵ−Ｔ  Ｇ．７１１．１  Ａｎｎｅｘ  Ｄエンコーダ、及び３ＧＰＰ拡張音声サービスエンコーダのうちの１つ又は組合せで適用される。
【００５５】
サブ帯域ＩＴＤの平均推定を提供するＩＴＤの推定と比べて、前記第１又は第２の態様による方法は、サブ帯域内の大部分の関連するＩＴＤを選択する。したがって、低ビットレート及び低複雑性のＩＴＤ推定が達成され、同時にＩＴＤ推定の安定性の点で良好な品質を維持する。
【００５６】
第３の態様によると、本発明は、マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定するマルチチャネルオーディオエンコーダであって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記パラメトリック空間オーディオエンコーダは、前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定し、及び参照オーディオ信号の参照オーディオ信号値の周波数変換を決定する、フーリエ変換器のような周波数変換器であって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号である、周波数変換器と、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するチャネル間差決定器であって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、チャネル間差決定器と、前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定する平均決定器と、前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定する符号化パラメータ決定器と、を有するマルチチャネルオーディオエンコーダに関する。
【００５７】
第４の態様によると、本発明は、マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定するマルチチャネルオーディオエンコーダであって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記パラメトリック空間オーディオエンコーダは、前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定し、及び参照オーディオ信号の参照オーディオ信号値の周波数変換を決定する、フーリエ変換器のような周波数変換器であって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、周波数変換器と、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するチャネル間差決定器であって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、チャネル間差決定器と、前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定する平均決定器と、前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定する符号化パラメータ決定器と、を有するマルチチャネルオーディオエンコーダに関する。
【００５８】
第５の態様によると、本発明は、コンピュータで実行されると、前記第１の態様自体による又は前記第２の態様自体による又は前記第１の態様の前述の請求項のいずれかによる又は前記第２の態様の前述の請求項のいずれかによる方法を実行するプログラムコードを有するコンピュータプログラムに関する。
【００５９】
前記コンピュータプログラムは、複雑性を低減され、したがってバッテリ寿命が節約されなければならないモバイル端末内で効率的に実装できる。
【００６０】
第６の態様によると、本発明は、前記第１の態様自体による又は前記第２の態様自体による又は前記第１の態様の前述の実施形態のいずれかによる又は前記第２の態様の前述の実施形態のいずれかによる方法を実施するよう構成されるパラメトリック空間オーディオエンコーダに関する。
【００６１】
前記第６の態様によるパラメトリック空間オーディオエンコーダの第１の可能な実施形態では、前記パラメトリック空間オーディオエンコーダは、前記第１の態様自体による又は前記第２の態様自体による又は前記第１の態様の前述の実施形態のいずれかによる又は前記第２の態様の前述の実施形態のいずれかによる方法を実施するプロセッサを有する。
【００６２】
前記第６の態様自体による又は前記第６の態様の前記第１の実施形態による前記パラメトリック空間オーディオエンコーダの第２の可能な実施形態では、マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定するマルチチャネルオーディオエンコーダであって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記パラメトリック空間オーディオエンコーダは、前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定し、及び参照オーディオ信号の参照オーディオ信号値の周波数変換を決定する、フーリエ変換器のような周波数変換器であって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号又は前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、周波数変換器と、周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するチャネル間差決定器であって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、チャネル間差決定器と、前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定する平均決定器と、前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定する符号化パラメータ決定器と、を有する。
【００６３】
第７の態様によると、本発明は、コンピュータで実行されると、前記第１の態様自体による又は前記第２の態様自体による又は前記第１の態様の前述の請求項のいずれかによる又は前記第２の態様の前述の請求項のいずれかによる方法を実行するプログラムコードを有するコンピュータプログラムを有する記憶装置、特にコンパクトディスク、のような機械可読媒体に関する。
【００６４】
本願明細書に記載の方法は、デジタル信号プロセッサ（ＤＳＰ）内の、マイクロコントローラ内の、又は任意の他のサイドプロセッサ内のソフトウェアとして、又は特定用途向け集積回路（ＡＳＩＣ）内のハードウェア回路として、実装できる。
【００６５】
本発明は、デジタル電子回路で、又はコンピュータハードウェア、ファームウェア、ソフトウェア又はそれらの組合せで実装できる。
【図面の簡単な説明】
【００６６】
本発明の更なる実施形態は、以下の図面に関して説明される。
【図１】一実施形態によるオーディオチャネル信号のための符号化パラメータを生成する方法の概略図を示す。
【図２】一実施形態によるＩＴＤ推定アルゴリズムの概略図を示す。
【図３】一実施形態によるＩＴＤ選択アルゴリズムの概略図を示す。
【図４】一実施形態によるパラメトリックオーディオエンコーダのブロック図を示す。
【図５】一実施形態によるパラメトリックオーディオデコーダのブロック図を示す。
【図６】一実施形態によるパラメトリックステレオオーディオエンコーダ及びデコーダのブロック図を示す。
【図７】両耳間時間差の原理を説明する概略図を示す。
【発明を実施するための形態】
【００６７】
図１は、一実施形態によるオーディオチャネル信号のための符号化パラメータを生成する方法の概略図を示す。
【００６８】
方法１００は、マルチチャネルオーディオ信号の複数のオーディオチャネル信号ｘ１、ｘ２のうちオーディオチャネル信号ｘ１の符号化パラメータＩＴＤを決定するためのものである。各オーディオチャネル信号ｘ１、ｘ２は、オーディオチャネル信号値ｘ１［ｎ］、ｘ２［ｎ］を有する。図１は、複数のオーディオチャネル信号が左オーディオチャネルｘ１及び右オーディオチャネルｘ２を有するステレオの例を示す。方法１００は以下のステップを有する。
【００６９】
オーディオチャネル信号ｘ１のオーディオチャネル信号値ｘ１［ｎ］の周波数変換Ｘ１［ｋ］を決定するステップ１０１。
【００７０】
参照オーディオ信号ｘ２の参照オーディオ信号値ｘ２［ｎ］の周波数変換Ｘ２［ｋ］を決定するステップ１０３。ここで、参照オーディオ信号は、複数のオーディオチャネルのうちの別のオーディオチャネル信号ｘ２又は複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号ｘ１、ｘ２から引き出されるダウンミックスオーディオ信号である。
【００７１】
周波数サブ帯域のサブセットのうち少なくとも各周波数サブ帯域ｂについて、チャネル間差ＩＣＤ［ｂ］を決定するステップ１０５。ここで、各チャネル間差は、チャネル間差の関連する個々の周波数サブ帯域ｂにおいてオーディオチャネル信号の帯域の限られた信号部分と参照オーディオ信号の帯域の限られた信号部分と間の位相差ＩＰＤ［ｂ］又は時間差ＩＴＤ［ｂ］を示す。
【００７２】
チャネル間差ＩＣＤ［ｂ］の正の値に基づき第１の平均ＩＴＤｍｅａｎ＿ｐｏｓを決定し、及びチャネル間差ＩＣＤ［ｂ］の負の値に基づき第２の平均ＩＴＤｍｅａｎ＿ｎｅｇを決定するステップ１０７。
【００７３】
第１の平均及び第２の平均に基づき、符号化パラメータＩＴＤを決定するステップ１０９。
【００７４】
一実施形態では、オーディオチャネル信号の帯域の限られた信号部分及び参照オーディオ信号の帯域の限られた信号部分は、周波数領域内のそれぞれのサブ帯域及びその周波数ビンを参照する。
【００７５】
一実施形態では、オーディオチャネル信号の帯域の限られた信号部分及び参照オーディオ信号の帯域の限られた信号部分は、時間領域内のサブ帯域のそれぞれの時間変換された信号を参照する。
【００７６】
帯域の限られた信号部分は、周波数領域信号部分であり得る。しかしながら、帯域の限られた信号部分は、時間領域信号部分であり得る。この例では、逆フーリエ変換器のような周波数領域−時間領域変換器が用いられ得る。時間領域では、帯域の限られた信号部分の時間遅延平均が実行され、これは、周波数領域の位相平均に対応する。信号処理でが、ウインドウ化、例えばハミングウインドウ化は、時間領域信号部分をウインドウ化するために用いることができる。
【００７７】
帯域の限られた信号部分は、１つの周波数ビンのみに渡って又は１より多い周波数ビンに渡って、広がり得る。
【００７８】
一実施形態では、方法１００は、以下のように処理される。
【００７９】
図１の１０１及び１０３に対応する第１のステップで、時間周波数変換は、時間領域入力チャネル、例えば第１の入力チャネルｘ１、及び時間領域参照チャネル、例えば第２の入力チャネルｘ２に適用される。ステレオの例では、これらは左及び右チャネルである。好適な実施形態では、時間周波数変換は、高速フーリエ変換（Fast  Fourier  Transform：ＦＦＴ）又は短時間フーリエ変換（Short  Term  Fourier  Transform）である。代替の実施形態では、時間周波数変換は、コサイン変調フィルタバンク又は複合フィルタバンクである。
【００８０】
図１の１０５に対応する第２のステップでは、ＦＦＴの各周波数ビン［ｂ］について相互スペクトルが次式のように計算される。
【数２】
2015514234.tif 000004
ここで、ｃ［ｂ］は周波数ビン［ｂ］の相互スペクトルであり、Ｘ１［ｂ］及びＸ２［ｂ］は２つのチャネルのＦＦＴ係数である。＊は複素共役を表す。この例では、サブ帯域ｂは、１つの周波数ビン［ｋ］に直接対応し、周波数ビン［ｂ］及び［ｋ］は正確に同じ周波数ビンを表す。
【００８１】
代替で、相互スペクトルはサブ帯域［ｋ］毎に次式のように計算される。
【数３】
2015514234.tif 000005
ここで、ｃ［ｂ］はサブ帯域［ｂ］の相互スペクトルであり、Ｘ１［ｋ］及びＸ２［ｋ］は２つのチャネル、例えばステレオの例では左及び右チャネルのＦＦＴ係数である。＊は複素共役を表し、ｋｂはサブ帯域［ｂ］の開始ビンである。
【００８２】
相互スペクトルは、次式により計算される平滑化バージョンであり得る。
【数４】
2015514234.tif 000006
ここで、ＳＭＷ１は平滑化因子である。ｉはフレームインデックスである。
【００８３】
チャネル間位相差（inter  channel  phase  difference：ＩＰＤ）は、次式のように相互スペクトルに基づきサブ帯域毎に計算される。
【数５】
2015514234.tif 000007
ここで、演算子∠はｃ［ｂ］の角度を計算するための偏角演算子（argument  operator）である。留意すべき事に、相互スペクトルの平滑化の例では、ｃｓｍ［ｂ，ｉ］は、次式のようにＩＰＤ計算のために用いられる。
【数６】
2015514234.tif 000008
図１の１０５に対応する第３のステップでは、各周波数ビン（又はサブ帯域）のＩＴＤは、ＩＰＤに基づき計算される。
【数７】
2015514234.tif 000009
ここで、ＮはＦＦＴビンの数である。
【００８４】
図１の１０７に対応する第４のステップでは、ＩＴＤの正及び負の値の計数が実行される。正及び負のＩＴＤの平均及び標準偏差は、次式のようにＩＴＤの符号に基づく。
【数８】
2015514234.tif 000010
ここで、Ｎｂｐｏｓ及びＮｂｎｅｇは、それぞれ正及び負のＩＴＤの数である。Ｍは抽出されるＩＴＤの合計数である。留意すべきことに、代替で、ＩＴＤが０に等しい場合、それは負ＩＴＤで計数し、又は平均していずれも計数しないこともできる。
【００８５】
図１の１０９に対応する第５のステップでは、ＩＴＤは、平均及び標準偏差に基づき正及び負ＩＴＤから選択される。選択アルゴリズムは、図３に示される。
【００８６】
図２は、一実施形態によるＩＴＤ推定アルゴリズム２００の概略図を示す。
【００８７】
図１の１０１に対応する第１のステップ２０１で、時間周波数変換は、時間領域入力チャネル、例えば第１の入力チャネルｘ１に適用される。好適な実施形態では、時間周波数変換は、高速フーリエ変換（Fast  Fourier  Transform：ＦＦＴ）又は短時間フーリエ変換（Short  Term  Fourier  Transform）である。代替の実施形態では、時間周波数変換は、コサイン変調フィルタバンク又は複合フィルタバンクである。
【００８８】
図１の１０３に対応する第２のステップ２０３で、時間周波数変換は、時間領域参照チャネル、例えば第２の入力チャネルｘ２に適用される。好適な実施形態では、時間周波数変換は、高速フーリエ変換（Fast  Fourier  Transform：ＦＦＴ）又は短時間フーリエ変換（Short  Term  Fourier  Transform）である。代替の実施形態では、時間周波数変換は、コサイン変調フィルタバンク又は複合フィルタバンクである。
【００８９】
図１の１０５に対応する次の第３のステップ２０５で、各周波数ビンの相互関係が計算される。これは、限られた数の周波数ビン又は周波数サブ帯域に対して実行される。相互スペクトルは、次式のようにＦＦＴの各周波数ビン［ｂ］の相互関係から計算される。
【数９】
2015514234.tif 000011
ここで、ｃ［ｂ］は周波数ビン［ｂ］の相互スペクトルであり、Ｘ１［ｂ］及びＸ２［ｂ］は２つのチャネルのＦＦＴ係数である。＊は複素共役を表す。この例では、サブ帯域ｂは、１つの周波数ビン［ｋ］に直接対応し、周波数ビン［ｂ］及び［ｋ］は正確に同じ周波数ビンを表す。
【００９０】
代替で、相互スペクトルはサブ帯域［ｋ］毎に次式のように計算される。
【数１０】
2015514234.tif 000012
ここで、ｃ［ｂ］はサブ帯域［ｂ］の相互スペクトルであり、Ｘ１［ｋ］及びＸ２［ｋ］は２つのチャネル、例えばステレオの例では左及び右チャネルのＦＦＴ係数である。＊は複素共役を表し、ｋｂはサブ帯域［ｂ］の開始ビンである。
【００９１】
相互スペクトルは、次式により計算される平滑化バージョンであり得る。
【数１１】
2015514234.tif 000013
ここで、ＳＭＷ１は平滑化因子である。ｉはフレームインデックスである。
【００９２】
チャネル間位相差（inter  channel  phase  difference：ＩＰＤ）は、次式のように相互スペクトルに基づきサブ帯域毎に計算される。
【数１２】
2015514234.tif 000014
ここで、演算子∠はｃ［ｂ］の角度を計算するための偏角演算子（argument  operator）である。留意すべき事に、相互スペクトルの平滑化の例では、ｃｓｍ［ｂ，ｉ］は、次式のようにＩＰＤ計算のために用いられる。
【数１３】
2015514234.tif 000015
図１の１０５に対応する次の第４のステップ２０７では、各周波数ビン（又はサブ帯域）のＩＴＤは、ＩＰＤに基づき計算される。
【数１４】
2015514234.tif 000016
ここで、ＮはＦＦＴビンの数である。
【００９３】
図１の１０７に対応する次の第５のステップ２０９で、ステップ２０７の計算されたＩＴＤは、０より大きいかチェックされる。０より大きい場合、ステップ２１１が処理され、０より大きくない場合、ステップ２１３が処理される。
【００９４】
ステップ２０９の後に、ステップ２１１で、例えば「Ｎｂ＿ｉｔｄ＿ｐｏｓ＋＋，，Ｉｔｄ＿ｓｕｍ＿ｐｏｓ＋＝ＩＴＤ」に従って、ＩＴＤのＭ個の周波数ビン（又はサブ帯域）値に渡る和が計算される。
【００９５】
ステップ２０９の後に、ステップ２１３で、例えば「Ｎｂ＿ｉｔｄ＿ｎｅｇ＋＋，，Ｉｔｄ＿ｓｕｍ＿ｎｅｇ＋＝ＩＴＤ」に従って、ＩＴＤのＭ個の周波数ビン（又はサブ帯域）値に渡る和が計算される。
【００９６】
ステップ２１１の後に、ステップ２１５で、正ＩＴＤの平均は、次式に従って計算される。
【数１５】
2015514234.tif 000017
ここで、Ｎｂｐｏｓは正ＩＴＤ値の数であり、Ｍは抽出されるＩＴＤの合計数である。
【００９７】
ステップ２１５の後に、ステップ２１９で、正ＩＴＤの標準偏差は、次式に従って計算される。
【数１６】
2015514234.tif 000018
ステップ２１３の後に、ステップ２１７で、負ＩＴＤの平均は、次式に従って計算される。
【数１７】
2015514234.tif 000019
ここで、Ｎｂｎｅｇは負ＩＴＤ値の数であり、Ｍは抽出されるＩＴＤの合計数である。
【００９８】
ステップ２１７の後に、ステップ２２１で、負ＩＴＤの標準偏差は、次式に従って計算される。
【数１８】
2015514234.tif 000020
図１の１０９に対応する最後のステップ２２３では、ＩＴＤは、平均に及び任意的に標準偏差に基づき正及び負ＩＴＤから選択される。選択アルゴリズムは、図３に示される。
【００９９】
この方法２００は、全帯域ＩＴＤ推定に適用できる。この場合、サブ帯域ｂは、全周波数範囲を（Ｂまで）カバーする。サブ帯域ｂは、例えば臨界帯域又は等価矩形帯域幅（Equivalent  Rectangular  Bandwidth：ＥＲＢ）のようなスペクトルの知覚的分解に従うために選択され得る。代替の実施形態では、全帯域ＩＴＤは、最も関連のあるサブ帯域ｂに基づき推定できる。最も関連のあることにより、（例えば２００Ｈｚ乃至１５００Ｈｚで）知覚的なサブ帯域ｂがＩＴＤ認知に関連することが理解されるべきである。
【０１００】
本発明の第１又は第２の態様によるＩＴＤ推定の利点は、２つのスピーカが聴取者の左及び右にそれぞれ存在し、及びそれらが同時に話す場合、全てのＩＴＤの単純な平均は、ゼロに近い値を与えるが、これは正しくない。ゼロＩＴＤはスピーカが聴取者の正面にあることを意味するからである。全ＩＴＤの平均がゼロでない場合でも、それはステレオ像を狭くするだろう。また、本例では、方法２００は、抽出したＩＴＤの安定性に基づき、正及び負ＩＴＤの平均から１つのＩＴＤを選択する。これは、ソース方向の点で良好な推定を与える。
【０１０１】
標準偏差は、パラメータの安定性を測定する方法である。標準偏差が小さい場合、推定されたパラメータは、より安定し信頼できる。正及び負ＩＴＤの標準偏差を用いる目的は、どれがより信頼できるかを調べるためである。そして、信頼できる１つを最終出力ＩＴＤとして選択する。極端な（extremism）差のような他の類似のパラメータも、ＩＴＤの安定性をチェックするために用いることができる。したがって、標準偏差はここでは任意である。
【０１０２】
更なる実施形態では、ＩＰＤとＩＴＤとの間の直接関係が存在するとき、正及び負の計数はＩＰＤに対して直接実行される。次に、決定処理は、負及び正ＩＰＤ平均に対して直接実行される。
【０１０３】
図１及び２に記載されるような方法１００、２００は、ＩＴＵ−Ｔ  Ｇ．７２２、Ｇ．７２２Ａｎｎｅｘ  Ｂ、Ｇ７１１．１及び／又はＧ７１１．１  Ａｎｎｅｘ  Ｄのステレオ拡張のエンコーダで適用できる。さらに、記載の方法は、３ＧＰＰ  ＥＶＳ（Enhanced  Voice  Services）コーデックで定められるようなモバイルアプリケーションのための会話及びオーディオエンコーダにも適用できる。
【０１０４】
図３は、一実施形態によるＩＴＤ選択アルゴリズムの概略図を示す。
【０１０５】
第１のステップ３０１で、正ＩＴＤ値の数Ｎｂｐｏｓは、負ＩＴＤ値の数Ｎｂｎｅｇに対してチェックされる。Ｎｂｐｏｓが数Ｎｂｎｅｇより大きい場合、ステップ３０３が実行される。Ｎｂｐｏｓが数Ｎｂｎｅｇより大きくない場合、ステップ３０５が実行される。
【０１０６】
ステップ３０３で、例えば（ＩＴＤｓｔｄ＿ｐｏｓ＜ＩＴＤｓｔｄ＿ｎｅｇ）||（Ｎｂｐｏｓ＞＝Ａ＊Ｎｂｎｅｇ）に従って、正ＩＴＤの標準偏差ＩＴＤｓｔｄ＿ｐｏｓは負ＩＴＤの標準偏差ＩＴＤｓｔｄ＿ｎｅｇに対してチェックされ、正ＩＴＤ値の数Ｎｂｐｏｓは第１の係数Ａを乗算された負ＩＴＤ値の数Ｎｂｎｅｇに対してチェックされる。ＩＴＤｓｔｄ＿ｐｏｓ＜ＩＴＤｓｔｄ＿ｎｅｇ又はＮｂｐｏｓ＞Ａ＊Ｎｂｎｅｇの場合、ステップ３０７で、ＩＴＤは正ＩＴＤの平均として選択される。その他の場合、ステップ３０９で、正及び負ＩＴＤの間の関係は、更にチェックされる。
【０１０７】
ステップ３０９で、例えば（ＩＴＤｓｔｄ＿ｎｅｇ＜Ｂ＊ＩＴＤｓｔｄ＿ｐｏｓ）に従って、負ＩＴＤの標準偏差ＩＴＤｓｔｄ＿ｎｅｇは、第２の係数Ｂを乗算された正ＩＴＤの標準偏差ＩＴＤｓｔｄ＿ｐｏｓに対してチェックされる。ＩＴＤｓｔｄ＿ｎｅｇ＜Ｂ＊ＩＴＤｓｔｄ＿ｐｏｓの場合、ステップ３１５で、負ＩＴＤ平均の反対の値は、出力ＩＴＤとして選択される。その他の場合、ステップ３１７で、前のフレームからのＩＴＤ（Ｐｒｅ＿ｉｔｄ）がチェックされる。
【０１０８】
ステップ３１７で、例えば「Ｐｒｅ＿ｉｔｄ＞０」に従って、前のフレームからのＩＴＤはゼロより大きいかチェックされる。Ｐｒｅ＿ｉｔｄ＞０の場合、ステップ３２３で、出力ＩＴＤは正ＩＴＤの平均として選択され、その他の場合、ステップ３２５で、出力ＩＴＤは負ＩＴＤ平均の反対の値である。
【０１０９】
ステップ３０５で、例えば（ＩＴＤｓｔｄ＿ｎｅｇ＜ＩＴＤｓｔｄ＿ｐｏｓ）||（Ｎｂｎｅｇ＞＝Ａ＊Ｎｂｐｏｓ）に従って、負ＩＴＤの標準偏差ＩＴＤｓｔｄ＿ｎｅｇは正ＩＴＤの標準偏差ＩＴＤｓｔｄ＿ｐｏｓに対してチェックされ、負ＩＴＤ値の数Ｎｂｎｅｇは第１の係数Ａを乗算された正ＩＴＤ値の数Ｎｂｐｏｓに対してチェックされる。ＩＴＤｓｔｄ＿ｎｅｇ＜ＩＴＤｓｔｄ＿ｐｏｓ又はＮｂｎｅｇ＞Ａ＊Ｎｂｐｏｓの場合、ステップ３１１で、ＩＴＤは負ＩＴＤの平均として選択される。その他の場合、ステップ３１３で、負及び正ＩＴＤの間の関係は、更にチェックされる。
【０１１０】
ステップ３１３で、例えば（ＩＴＤｓｔｄ＿ｐｏｓ＜Ｂ＊ＩＴＤｓｔｄ＿ｎｅｇ）に従って、正ＩＴＤの標準偏差ＩＴＤｓｔｄ＿ｐｏｓは、第２の係数Ｂを乗算された負ＩＴＤの標準偏差ＩＴＤｓｔｄ＿ｎｅｇに対してチェックされる。ＩＴＤｓｔｄ＿ｐｏｓ＜Ｂ＊ＩＴＤｓｔｄ＿ｎｅｇの場合、ステップ３１９で、正ＩＴＤ平均の反対の値は、出力ＩＴＤとして選択される。その他の場合、ステップ３２１で、前のフレームからのＩＴＤ（Ｐｒｅ＿ｉｔｄ）がチェックされる。
【０１１１】
ステップ３２１で、例えば「Ｐｒｅ＿ｉｔｄ＞０」に従って、前のフレームからのＩＴＤはゼロより大きいかチェックされる。Ｐｒｅ＿ｉｔｄ＞０の場合、ステップ３２７で、出力ＩＴＤは負ＩＴＤの平均として選択され、その他の場合、ステップ３２９で、出力ＩＴＤは正ＩＴＤ平均の反対の値である。
【０１１２】
図４は、一実施形態によるパラメトリックオーディオエンコーダ４００のブロック図を示す。パラメトリックオーディオエンコーダ４００は、マルチチャネルオーディオ信号４０１を入力信号として受信し、ビットストリームを出力信号４０３として提供する。パラメトリックエンコーダ４００は、マルチチャネルオーディオ信号４０１に結合され符号化パラメータ４１５を生成するパラメータ生成器４０５と、マルチチャネルオーディオ信号４０１に結合されダウンミックス信号４１１又は和信号を生成するダウンミックス信号生成器４０７と、ダウンミックス信号生成器４０７に結合されダウンミックス信号４１１を符号化して符号化オーディオ信号４１３に提供するオーディオエンコーダ４０９と、結合器４１７、例えばパラメータ生成器４０５及びオーディオエンコーダ４０９に結合され符号化パラメータ４１５及び符号化信号４１３からビットストリーム４０３を形成するビットストリーム形成器と、を有する。
【０１１３】
パラメトリックオーディオエンコーダ４００は、ステレオ及びマルチチャネルオーディオ信号に対してオーディオ符号化スキームを実施する。これは、単一のオーディオチャネル、例えば入力オーディオチャネルのダウンミックス表現、及びオーディオチャネルｘ１、ｘ２、．．．、ｘＭ間の「知覚関連差」を記述する追加パラメータを送信するだけである。符号化スキームは、両耳間キューがその中で重要な役割を果たすので、両耳間キュー符号化（binaural  cue  coding：ＢＣＣ）に従う。図に示すように、入力オーディオチャネルｘ１、ｘ２、．．．、ｘＭは、和信号としても表される単一のオーディオチャネル４１１にダウンミックスされる。オーディオチャネルｘ１、ｘ２、．．．、ｘＭ間の「知覚的関連差」として、符号化パラメータ４１５、例えばチャネル間時間差（inter-channel  time  difference：ＩＣＴＤ）、チャネル間レベル差（inter-channel  level  difference：ＩＣＬＤ）、及び／又はチャネル間コヒーレンス（inter-channel  coherence：ＩＣＣ）は、周波数及び時間の関数として推定され、サイド情報として図５に記載のデコーダ５００へ送信される。
【０１１４】
ＢＣＣを実施するパラメータ生成器４０５は、特定の時間及び周波数分解能で、マルチチャネルオーディオ信号４０１を処理する。周波数分解能は、聴覚系の周波数分解能により大きく刺激される。心理音響学は、空間認知が音響入力信号の臨界帯域表現に基づく可能性が高いことを示唆する。この周波数分解能は、聴覚系の臨界帯域に等しい又はそれに比例する帯域幅を有するサブ帯域を有する可逆フィルタバンクを用いることにより考慮される。重要なことに、送信される和信号４１１は、マルチチャネルオーディオ信号４０１の全ての信号成分を含む。目標は、各信号成分が完全に維持されることである。マルチチャネルオーディオ信号４０１のオーディオ入力チャネルｘ１、ｘ２、．．．、ｘＭの単純な和は、信号成分の増幅又は減衰を生じる場合が多い。言い換えると、「単純な」和において信号成分のパワーは、各チャネルｘ１、ｘ２、．．．、ｘＭの対応する信号成分のパワーの和より大きい又は小さい場合が多い。したがって、ダウンミックス技術は、和信号４１１の中の信号成分のパワーがマルチチャネルオーディオ信号４０１の全ての入力オーディオチャネルｘ１、ｘ２、．．．、ｘＭの中の対応するパワーとほぼ同じになるように、和信号４１１を均等にするダウンミキシング装置４０７を適用することにより用いられる。入力オーディオチャネルｘ１、ｘ２、．．．、ｘＭは、多数のサブ帯域に分解される。このようなサブ帯域の１つは、Ｘ１［ｂ］と表される（表記を簡略化するためにサブ帯域インデックスは用いられないことに留意する）。同様の処理は、全てのサブ帯域に独立に適用され、通常、サブ帯域信号はダウンサンプリングされる。各入力チャネルの各サブ帯域の信号は加算され、次にパワー正規化係数を乗算される。
【０１１５】
和信号４１１が与えられると、パラメータ生成器４０５は、ステレオ又はマルチチャネルオーディオ信号４１５を合成し、ＩＣＴＤ、ＩＣＬＤ及び／又はＩＣＣが元のマルチチャネルオーディオ信号４０１の対応するキューを近似するようにする。
【０１１６】
１つのソースの両耳空間インパルス応答（binaural  room  impulse  response：ＢＲＩＲ）を考慮するとき、聴覚イベントと聴取者包囲と両耳空間インパルス応答の前半と後半部分について推定されたＩＣとの間には関係が存在する。しかしながら、ＢＲＩＲだけでなく一般的信号についてのＩＣ又はＩＣＣとこれらの特性との間の関係は直接的ではない。ステレオ及びマルチチャネルオーディオ信号は、通常、包囲された空間内の録音から生じる反響信号成分の重畳された又は空間的印象を人工的に生成する録音技術者により追加される同時に活性化するソース信号の複雑な混合物を含む。異なる音源信号及びそれらの反響は、時間−周波数平面内の異なる領域を占有する。これは、時間及び周波数の関数として変化するＩＣＴＤ、ＩＣＬＤ、及びＩＣＣにより反映される。この場合、瞬間的ＣＴＤ、ＩＣＬＤ、及びＩＣＣと聴覚イベント方向及び空間的印象との間の関係は、明らかではない。パラメータ生成器４０５の方針は、これらのキューが元のオーディオ信号の対応するキューを近似するように、これらのキューを無分別に合成することである。
【０１１７】
一実施形態では、パラメトリックオーディオエンコーダ４００は、等価矩形帯域幅の２倍に等しい帯域幅のサブ帯域を有するフィルタバンクを用いる。非公式な聴取は、より高い周波数分解能を選択するとき、ＢＣＣのオーディオ音質が著しく向上しないことを明らかにした。より低い周波数分解能は、デコーダへ送信する必要のあるより少ないＩＣＴＤ、ＩＣＬＤ、及びＩＣＣ値をもたらし、したがってより低いビットレートをもたらすので、好ましい。時間分解能に関し、ＩＣＴＤ、ＩＣＬＤ、及びＩＣＣは、規則的時間間隔で考慮される。一実施形態では、ＩＣＴＤ、ＩＣＬＤ、及びＩＣＣは、約４−１６ｍｓ毎に考慮される。留意すべきことに、キューが非常に短い時間間隔で考慮されない限り、先行音効果は直接考慮されない。
【０１１８】
参照信号と合成信号との間の頻繁に達成される知覚的に小さな差は、広範なオーディオ空間像属性に関連するキューが、規則的時間間隔でＩＣＴＤ、ＩＣＬＤ、及びＩＣＣを合成することにより暗黙のうちに考慮されることを意味する。これらの空間キューの送信のために必要なビットレートは僅か数ｋｂ／ｓであり、したがってパラメトリックオーディオエンコーダ４００は、単一のオーディオチャネルのために必要なビットレートに近いビットレートでステレオ及びマルチチャネルオーディオ信号を送信できる。図１及び２は、ＩＣＴＤが符号化パラメータ４１５として推定される方法を示す。
【０１１９】
パラメトリックオーディオエンコーダ４００は、ダウンミックス信号４１１を得るためにマルチチャネルオーディオ信号４０１の少なくとも２つオーディオチャネル信号を重畳するダウンミックス信号生成器４０７と、符号化オーディオ信号４１３を得るためにダウンミックス信号４１１を符号化するオーディオエンコーダ４０９、特にモノエンコーダと、符号化オーディオ信号４１３を対応する符号化パラメータ４１５と結合する結合器４１７と、を有する。
【０１２０】
パラメトリックオーディオエンコーダ４００は、マルチチャネルオーディオ信号４０１のｘ１，ｘ２，．．．，ｘＭとして表される複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータ４１５を生成する。各オーディオチャネル信号ｘ１，ｘ２，．．．，ｘＭは、ｘ１［ｎ］，ｘ２［ｎ］，．．．，ｘＭ［ｎ］として表されるデジタルオーディオチャネル信号値を有するデジタル信号であっても良い。
【０１２１】
パラメトリックオーディオエンコーダ４００が符号化パラメータ４１５を生成する例示的なオーディオチャネル信号は、信号値ｘ１［ｎ］を有する第１のオーディオチャネル信号ｘ１である。パラメータ生成器４０５は、第１のオーディオ信号ｘ１のオーディオチャネル信号値ｘ１［ｎ］から及び参照オーディオ信号ｘ２の参照オーディオ信号値ｘ２［ｎ］から符号化パラメータＩＴＤを決定する。
【０１２２】
参照オーディオ信号として用いられるオーディオチャネル信号は、例えば第２のオーディオチャネル信号ｘ２である。同様に、オーディオチャネル信号ｘ１，ｘ２，．．．，ｘＭのうちの任意の他の１つは、参照オーディオ信号として機能しても良い。第１の態様によると、参照オーディオ信号は、符号化パラメータ４１５が生成されるオーディオチャネル信号ｘ１と等しくないオーディオチャネル信号のうちの別のオーディオチャネル信号である。
【０１２３】
第２の態様によると、参照オーディオ信号は、複数のマルチチャネルオーディオ信号４０１のうちの少なくとも２つのオーディオチャネル信号から引き出される、例えば第１のオーディオチャネル信号ｘ１及び第２のオーディオチャネル信号ｘ２から引き出されるダウンミックスオーディオ信号である。一実施形態では、参照オーディオ信号は、ダウンミキシング装置４０７により生成される和信号とも呼ばれるダウンミックス信号４１１である。一実施形態では、参照オーディオ信号は、エンコーダ４０９により提供される符号化信号４１３である。
【０１２４】
パラメータ生成器４０５により用いられる例示的な参照オーディオ信号は、信号値ｘ２［ｎ］を有する第２のオーディオチャネル信号ｘ２である。
【０１２５】
パラメータ生成器４０５は、オーディオチャネル信号ｘ１のオーディオチャネル信号値ｘ１［ｎ］の周波数変換、及び参照オーディオ信号ｘ１の参照オーディオ信号値ｘ２［ｎ］の周波数変換を決定する。参照オーディオ信号は、複数のオーディオチャネル信号のうちの別のオーディオチャネル信号ｘ２、又は複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号ｘ１、ｘ２から引き出されるダウンミックスオーディオ信号である。
【０１２６】
パラメータ生成器４０５は、周波数サブ帯域のサブセットの少なくとも各周波数サブ帯域についてチャネル間差を決定する。各チャネル間差は、チャネル間差が関連付けられる個々の周波数サブ帯域内のオーディオチャネル信号の帯域の限られた信号部分と参照オーディオ信号の帯域の限られた信号部分との間の位相差ＩＰＤ［ｂ］又は時間差ＩＴＤ［ｂ］を示す。
【０１２７】
パラメータ生成器４０５は、チャネル間差ＩＰＤ［ｂ］、ＩＴＤ［ｂ］の正の値に基づき第１の平均ＩＴＤｍｅａｎ＿ｐｏｓを、及びチャネル間差ＩＰＤ［ｂ］、ＩＴＤ［ｂ］の負の値に基づき第２の平均ＩＴＤｍｅａｎ＿ｎｅｇを決定する。パラメータ生成器４０５は、第１の平均及び第２の平均に基づき、符号化パラメータＩＴＤを決定する。
【０１２８】
チャネル間位相差（inter-channel  phase  difference：ＩＣＰＤ）は、信号対の間の平均位相差である。チャネル間レベル差（inter-channel  level  difference：ＩＣＬＤ）は、両耳間レベル差（interaural  level  difference：ＩＬＤ）、つまり左及び右耳に入る信号間のレベル差と同じであるが、より一般的には任意の信号対、例えばラウドスピーカ信号対、耳に入る信号対、等の間で定められる。チャネル間コヒーレンス又はチャネル間相関は、両耳間コヒーレンス（inter-aural  coherence：ＩＣ）、つまり左及び右耳に入る信号間の類似度と同じであるが、より一般的には任意の信号対、例えばラウドスピーカ信号対、耳に入る信号対、等の間で定められる。チャネル間時間差（inter-channel  time  difference：ＩＣＴＤ）は、両耳間時間遅延としても表される場合のある両耳間時間差（interaural  time  difference：ＩＴＤ）、つまり左及び右耳に入る信号間の時間差と同じであるが、より一般的には任意の信号対、例えばラウドスピーカ信号対、耳に入る信号対、等の間で定められる。サブ帯域チャネル間レベル差、サブ帯域チャネル間位相差、サブ帯域チャネル間コヒーレンス、及びサブ帯域チャネル間強度差は、サブ帯域帯域幅に関して以上に指定されたパラメータと関連する。
【０１２９】
第１のステップで、パラメータ生成器４０５は、時間領域入力チャネル、例えば第１の入力チャネルｘ１、及び時間領域参照チャネル、例えば第２の入力チャネルｘ２に時間周波数変換を適用する。ステレオの例では、これらは左及び右チャネルである。好適な実施形態では、時間周波数変換は、高速フーリエ変換（Fast  Fourier  Transform：ＦＦＴ）又は短時間フーリエ変換（Short  Term  Fourier  Transform）である。代替の実施形態では、時間周波数変換は、コサイン変調フィルタバンク又は複合フィルタバンクである。
【０１３０】
第２のステップでは、次式のように、パラメータ生成器４０５は、ＦＦＴの各周波数ビン［ｂ］について相互スペクトルを計算する。
【数１９】
2015514234.tif 000021
ここで、ｃ［ｂ］は周波数ビン［ｂ］の相互スペクトルであり、Ｘ１［ｂ］及びＸ２［ｂ］は２つのチャネルのＦＦＴ係数である。＊は複素共役を表す。この例では、サブ帯域ｂは、１つの周波数ビン［ｋ］に直接対応し、周波数ビン［ｂ］及び［ｋ］は正確に同じ周波数ビンを表す。
【０１３１】
代替で、パラメータ生成器４０５は、次式のように、サブ帯域［ｋ］毎に相互スペクトルを計算する。
【数２０】
2015514234.tif 000022
ここで、ｃ［ｂ］はサブ帯域［ｂ］の相互スペクトルであり、Ｘ１［ｋ］及びＸ２［ｋ］は２つのチャネル、例えばステレオの例では左及び右チャネルのＦＦＴ係数である。＊は複素共役を表し、ｋｂはサブ帯域［ｂ］の開始ビンである。
【０１３２】
相互スペクトルは、次式により計算される平滑化バージョンであり得る。
【数２１】
2015514234.tif 000023
ここで、ＳＭＷ１は平滑化因子である。ｉはフレームインデックスである。
【０１３３】
チャネル間位相差（inter  channel  phase  difference：ＩＰＤ）は、次式のように相互スペクトルに基づきサブ帯域毎に計算される。
【数２２】
2015514234.tif 000024
ここで、演算子∠はｃ［ｂ］の角度を計算するための偏角演算子（argument  operator）である。留意すべき事に、相互スペクトルの平滑化の例では、ｃｓｍ［ｂ，ｉ］は、次式のようにＩＰＤ計算のために用いられる。
【数２３】
2015514234.tif 000025
第３のステップで、パラメータ生成器４０５は、ＩＰＤに基づき、各周波数ビン（又はサブ帯域）のＩＴＤを計算する。
【数２４】
2015514234.tif 000026
ここで、ＮはＦＦＴビンの数である。
【０１３４】
第４のステップで、パラメータ生成器４０５は、ＩＴＤの正及び負値の計数を実行する。正及び負のＩＴＤの平均偏差及び標準偏差は、次式のようにＩＴＤの符号に基づく。
【数２５】
2015514234.tif 000027
ここで、Ｎｂｐｏｓ及びＮｂｎｅｇは、それぞれ正及び負のＩＴＤの数である。Ｍは抽出されるＩＴＤの合計数である。
【０１３５】
第５のステップで、パラメータ生成器４０５は、平均及び標準偏差に基づき正及び負ＩＴＤからＩＴＤを選択する。選択アルゴリズムは、図３に示される。
【０１３６】
一実施形態では、パラメータ生成器４０５は、以下を有する。
【０１３７】
オーディオチャネル信号（ｘ１）のオーディオチャネル信号値（ｘ１［ｎ］）の周波数変換（Ｘ１［ｋ］）を決定し及び参照オーディオ信号（ｘ２）の参照オーディオ信号値（ｘ２［ｎ］）の周波数変換（Ｘ２［ｋ］）を決定するフーリエ変換器のような周波数変換器。ここで、参照オーディオ信号は、複数のオーディオチャネル信号のうちの別のオーディオチャネル信号（ｘ２）、又は複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号（ｘ１、ｘ２）から引き出されるダウンミックスオーディオ信号である。
【０１３８】
周波数サブ帯域のサブセットのうち少なくとも各周波数サブ帯域（ｂ）について、チャネル間差（ＩＰＤ［ｂ］、ＩＴＤ［ｂ］）を決定するチャネル間差決定器。各チャネル間差は、チャネル間差の関連する個々の周波数サブ帯域（ｂ）においてオーディオチャネル信号の帯域の限られた信号部分と参照オーディオ信号の帯域の限られた信号部分と間の位相差（ＩＰＤ［ｂ］）又は時間差（ＩＴＤ［ｂ］）を示す。
【０１３９】
チャネル間差（ＩＰＤ［ｂ］、ＩＴＤ［ｂ］）の正の値に基づき第１の平均（ＩＴＤｍｅａｎ＿ｐｏｓ）を、及びチャネル間差（ＩＰＤ［ｂ］、ＩＴＤ［ｂ］）の負の値に基づき第２の平均（ＩＴＤｍｅａｎ＿ｎｅｇ）を決定するパラメータ生成器。
【０１４０】
第１の平均及び第２の平均に基づき、符号化パラメータ（ＩＴＤ）を決定する符号化パラメータ決定器。
【０１４１】
図５は、一実施形態によるパラメトリックオーディオデコーダ５００のブロック図を示す。パラメトリックオーディオデコーダ５００は、通信チャネルを介して送信されるビットストリームを入力信号として受信し、復号化マルチチャネルオーディオ信号５０１を出力信号として提供する。パラメトリックオーディオデコーダ５００は、ビットストリーム５０３に結合されビットストリーム５０３を符号化パラメータ５１５及び符号化信号５１３に復号化するビットストリームデコーダ５１７と、ビットストリームデコーダ５１７に結合され符号化信号５１３から和信号５１１を生成するデコーダ５０９と、ビットストリームデコーダ５１７に結合され符号化パラメータ５１５からパラメータ５２１を決定するパラメータ決定器５０５と、パラメータ決定器５０５及びデコーダ５０９に結合されパラメータ５２１及び和信号５１１から復号化マルチチャネルオーディオ信号５０１を合成する合成器５０５と、を有する。
【０１４２】
パラメトリックオーディオデコーダ５００は、チャネル間のＩＣＴＤ、ＩＣＬＤ、及び／又はＩＣＣが元のマルチチャネルオーディオ信号のＩＣＴＤ、ＩＣＬＤ、及び／又はＩＣＣを近似するように、マルチチャネルオーディオ信号５０１の出力チャネルを生成する。記載のスキームは、モノオーディオ信号を表すために必要なビットレートよりほんの僅かに高いビットレートでマルチチャネルオーディオ信号を表すことができる。したがって、チャネル対の間の推定されたＩＣＴＤ、ＩＣＬＤ、及びＩＣＣは、オーディオ波形より約２桁小さい大きさを有する。低ビットレートだけでなく、後方互換性の側面も関心がある。送信される和信号は、ステレオ又はマルチチャネル信号のモノダウンミックスに対応する。
【０１４３】
図６は、一実施形態によるパラメトリックステレオオーディオエンコーダ６０１及びデコーダ６０３のブロック図を示す。パラメトリックステレオオーディオエンコーダ６０１は図４に関して説明したようなパラメトリックオーディオエンコーダ４００に対応する。しかし、マルチチャネルオーディオ信号４０１は、左６０５及び右６０７のオーディオチャネルを有するステレオオーディオ信号である。
【０１４４】
パラメトリックオーディオエンコーダ６０１は、ステレオオーディオ信号６０５、６０７を入力信号として受信し、ビットストリームを出力信号６０９として提供する。パラメトリックオーディオエンコーダ６０１は、ステレオオーディオ信号６０５、６０７に結合され空間パラメータ６１３を生成するパラメータ生成器６１１と、ステレオオーディオ信号６０５、６０７に結合されダウンミックス信号６１７又は和信号を生成するダウンミックス信号生成器６１５と、ダウンミックス信号生成器６１５に結合され符号化オーディオ信号６２１を提供するためにダウンミックス信号６１７を符号化するモノエンコーダ６１９と、パラメータ生成器６１１及びモノエンコーダ６１９に結合され、出力信号６０９を提供するために符号化パラメータ６１３及び符号化オーディオ信号６２１うぃビットストリームに結合するビットストリーム結合器６２３と、を有する。パラメータ生成器６１１では、空間パラメータ６１３は、ビットストリームに多重化される前に、抽出され量子化される。
【０１４５】
パラメトリックオーディオデコーダ６０３は、ビットストリーム、つまり通信チャネルを介して送信されるパラメトリックオーディオエンコーダ６０１の出力信号６０９を入力信号として受信し、左チャネル６２５及び右チャネル６２７を有する復号化ステレオオーディオ信号を出力信号として提供する。パラメトリックステレオオーディオデコーダ６０３は、受信ビットストリーム６０９に結合されビットストリーム６０９を符号化パラメータ６３１及び符号化信号６３３に復号化するビットストリームデコーダ６２９と、ビットストリームデコーダ６２９に結合され符号化信号６３３から和信号６３７を生成するモノデコーダ６３５と、ビットストリームデコーダ６２９に結合され符号化パラメータ６３１から空間パラメータ６４１を決定する空間パラメータ決定器６３９と、空間パラメータ決定器６３９及びモノデコーダ６３５に結合され空間パラメータ６４１及び和信号６３７から復号化ステレオオーディオ信号６２５を合成する合成器６４３と、を有する。
【０１４６】
パラメトリックステレオオーディオデコーダ６０３内の処理は、空間パラメータ６３１、例えばチャネル間時間差（inter-channel  time  difference：ＩＣＴＤ）及びチャネル間レベル差（inter-channel  level  difference：ＩＣＬＤ）を生成するために、時間及び周波数において適応的に、遅延を導入し及びオーディオ信号のレベルを変更できる。さらに、パラメトリックステレオオーディオデコーダ６０３は、チャネル間コヒーレンス（inter-channel  coherence：ＩＣＣ）合成のために効率的に時間適応型フィルタリングを実行する。一実施形態では、パラメトリックステレオエンコーダは、計算の複雑性の低い両耳間キュー符号化（binaural  cue  coding：ＢＣＣ）を効率的に実施するために、短時間フーリエ変換（ＳＴＦＴ）に基づくフィルタバンクを用いる。パラメトリックステレオオーディオエンコーダ６０１内の処理は、計算の複雑性が低く及び遅延が小さく、パラメトリックステレオオーディオ符号化をリアルタイムアプリケーションのためのマイクロプロセッサ又はデジタル信号プロセッサ上での安価な実装に適するものにする。
【０１４７】
図６に示したパラメータ生成器６１１は、空間キューの量子化及び符号化が追加されている点を除き、図４に関して説明した対応するパラメータ生成器４０５と機能的に同じである。和信号６１７は、従来のモノオーディオコーダ６１９で符号化される。一実施形態では、パラメトリックステレオオーディオエンコーダ６０１は、ＳＴＦＴに基づく時間−周波数変換を用いて、ステレオオーディオチャネル信号６０５、６０７を周波数領域に変換する。ＳＴＦＴは、入力信号ｘ（ｎ）のウインドウ化部分に離散フーリエ変換（discrete  Fourier  transform：ＤＦＴ）を適用する。Ｎ個のサンプルの信号フレームは、Ｎ点ＤＦＴが適用される前に、長さＷのウインドウを乗算される。隣接するウインドウは、重なり合い、Ｗ／２サンプルだけシフトされる。ウインドウは、重なり合うウインドウが合計で一定値１になるよう、選択される。したがって、逆変換では、追加ウインドウ化は必要ない。Ｗ／２個のサンプルの連続フレーム分の時間前進を有するサイズＮの単純な逆ＤＦＴは、デコーダ６０３で用いられる。スペクトルが変更されない場合、重なり合い／追加により完全な再構成が達成される。
【０１４８】
ＳＴＦＴの均一なスペクトル分解能は人間の知覚に良好に適応しないので、ＳＴＦＴの均等に空間の空けられたスペクトル係数出力は、知覚により良好に適応された帯域幅を有するＢ個の重なり合わない区画にグループ化される。１つの区画は、図４に関連する説明に従って、１つの「サブ帯域」に概念的に対応する。代替の実施形態では、パラメトリックステレオオーディオエンコーダ６０１は、不均一フィルタバンクを用いて、ステレオオーディオチャネル信号６０５、６０７を周波数領域に変換する。
【０１４９】
一実施形態では、ダウンミキサ３１５は、次式により、等化和信号Ｓｍ（ｋ）６１７の１つの区画ｂの又は１つのサブ帯域ｂのスペクトル係数を決定する。
【数２６】
2015514234.tif 000028
ここで、Ｘｃ，ｍ（ｋ）は入力オーディオチャネル６０５、６０７のスペクトルであり、ｅｂ（ｋ）は次式により計算される利得係数である。
【数２７】
2015514234.tif 000029
ここで、区画パワー推定は、次式の通りである。
【数２８】
2015514234.tif 000030
サブ帯域信号の和の減衰が顕著なとき、大きな利得係数から生じるアーティファクトを防ぐために、利得係数ｅｂ（ｋ）は６ｄＢまでに制限される。つまり、ｅｂ（ｋ）≦２である。
【０１５０】
以上から、当業者には、種々の方法、システム、記録媒体上のコンピュータプログラム、等が提供されることが明らかであろう。
【０１５１】
本開示は、実行されると少なくとも１つのコンピュータに本願明細書に記載のステップを実行及び計算ステップを実行させるコンピュータ実行可能コード又はコンピュータ実行可能命令を含むコンピュータプログラム製品もサポートする。
【０１５２】
本開示は、本願明細書に記載のステップを実行及び計算ステップを実行するよう構成されるシステムもサポートする。
【０１５３】
多くの代替、変更及び変形が、上述の教示を踏まえて当業者に明らかであろう。勿論、当業者は、本願明細書の記載以外に本発明の多数の適用が存在することを直ちに理解する。本発明は１又は複数の特定の実施形態を参照して説明されたが、当業者は、本発明の精神及び範囲から逸脱することなく、それらに多くの変更が行われ得ることを理解する。したがって、添付の請求の範囲及びそれらの等価物の範囲内で本発明は実施され得ること又は特に本願明細書に記載されたように実施され得ることが理解されるべきである。
【図１】
2015514234.tif 000031
【図２】
2015514234.tif 000032
【図３】
2015514234.tif 000033
【図４】
2015514234.tif 000034
【図５】
2015514234.tif 000035
【図６】
2015514234.tif 000036
【図７】
2015514234.tif 000037
【手続補正書】
【提出日】平成26年10月8日(2014.10.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定する方法であって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記方法は、
前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定するステップと、
参照オーディオ信号の参照オーディオ信号値の周波数変換を決定するステップであって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号又は前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、ステップと、
周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するステップであって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、ステップと、
前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定するステップと、
前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定するステップと、
を有する方法。
【請求項２】
前記チャネル間差は、チャネル間位相差又はチャネル間時間差である、請求項１に記載の方法。
【請求項３】
前記チャネル間差の正の値に基づき第１の標準偏差を決定し、及び前記チャネル間差の負の値に基づき第２の標準偏差を決定するステップと、
を更に有し、
前記符号化パラメータを決定するステップは、前記第１の標準偏差及び前記第２の標準偏差に基づく、
請求項１又は２に記載の方法。
【請求項４】
前記周波数サブ帯域は、１又は複数の周波数ビンを有する、請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定する前記ステップは、
前記オーディオチャネル信号値の前記周波数変換及び前記参照オーディオ信号値の前記周波数変換から相互関係として相互スペクトルを決定するステップと、
前記相互スペクトルに基づき、各周波数サブ帯域のチャネル間位相差を決定するステップと、
を有する、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
周波数ビンの又は周波数サブ帯域の前記チャネル間位相差は、前記相互スペクトルの角度として決定される、請求項５に記載の方法。
【請求項７】
前記チャネル間位相差に基づきチャネル間時間差を決定するステップ、
を更に有し、
前記第１の平均を決定するステップは、前記チャネル間時間差の正の値に基づき、前記第２の平均を決定するステップは、前記チャネル間時間差の負の値に基づく、
請求項５又は６に記載の方法。
【請求項８】
周波数サブ帯域の前記チャネル間時間差は、前記チャネル間位相差の関数として決定され、前記関数は、周波数ビンの数、及び前記周波数ビン又は周波数サブ帯域インデックスに依存する、請求項６又は７に記載の方法。
【請求項９】
前記符号化パラメータを決定するステップは、
周波数サブ帯域の前記サブセットに含まれる周波数サブ帯域の数に渡り、正のチャネル間時間差の第１の数及び負のチャネル間時間差の第２の数を計数するステップ、
を有する、請求項７又は８に記載の方法。
【請求項１０】
前記符号化パラメータは、正のチャネル間時間差の前記第１の数と負のチャネル間時間差の前記第２の数との間の比較に基づき決定される、請求項９に記載の方法。
【請求項１１】
前記符号化パラメータは、前記第１の標準偏差と前記第２の標準偏差との間の比較に基づき決定される、請求項１０に記載の方法。
【請求項１２】
前記符号化パラメータは、正のチャネル間時間差の前記第１の数と第１の係数を乗算された負のチャネル間時間差の前記第２の数との間の比較に基づき決定される、請求項１０又は１１に記載の方法。
【請求項１３】
前記符号化パラメータは、前記第１の標準偏差と第２の係数を乗算された前記第２の標準偏差との間の比較に基づき決定される、請求項１２に記載の方法。
【請求項１４】
マルチチャネルオーディオ信号の複数のオーディオチャネル信号のうちの１つのオーディオチャネル信号の符号化パラメータを決定するマルチチャネルオーディオエンコーダであって、各オーディオチャネル信号は、オーディオチャネル信号値を有し、前記マルチチャネルオーディオエンコーダは、
前記オーディオチャネル信号の前記オーディオチャネル信号値の周波数変換を決定し、及び参照オーディオ信号の参照オーディオ信号値の周波数変換を決定する周波数変換器であって、前記参照オーディオ信号は、前記複数のオーディオチャネル信号のうちの別のオーディオチャネル信号又は前記複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号から引き出されるダウンミックスオーディオ信号である、周波数変換器と、
周波数サブ帯域のサブセットの中の少なくとも各周波数サブ帯域についてチャネル間差を決定するチャネル間差決定器であって、各チャネル間差は、前記オーディオチャネル信号の帯域の限られた信号部分と前記チャネル間差の関連付けられる個々の周波数サブ帯域内の前記参照オーディオ信号の帯域の限られた信号部分との間の位相差又は時間差を示す、チャネル間差決定器と、
前記チャネル間差の正の値に基づき第１の平均を決定し、及び前記チャネル間差の負の値に基づき第２の平均を決定する平均決定器と、
前記第１の平均及び前記第２の平均に基づき前記符号化パラメータを決定する符号化パラメータ決定器と、
を有するマルチチャネルオーディオエンコーダ。
【請求項１５】
コンピュータで実行されると、請求項１乃至１３のいずれか一項に記載の方法を実行するプログラムコードを有するコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【０１２５】
パラメータ生成器４０５は、オーディオチャネル信号ｘ１のオーディオチャネル信号値ｘ１［ｎ］の周波数変換、及び参照オーディオ信号ｘ２の参照オーディオ信号値ｘ２［ｎ］の周波数変換を決定する。参照オーディオ信号は、複数のオーディオチャネル信号のうちの別のオーディオチャネル信号ｘ２、又は複数のオーディオチャネル信号のうちの少なくとも２つのオーディオチャネル信号ｘ１、ｘ２から引き出されるダウンミックスオーディオ信号である。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2015514234.tif 000038
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2015514234.tif 000039
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2015514234.tif 000040
【国際調査報告】
2015514234.tif 000041
2015514234.tif 000042