(57)【要約】  マルチチャンネル音声符号化において、改善された計算効率は、パラメトリック音声エンコーダに対する前記周波数領域内のいずれか２つのチャンネル間のＩＴＤ補償に関する比較パラメータを計算することによって達成される。これは、エンコーダパラメータ推定に対する悪影響を軽減できる。【選択図】図１
2021528693.tif 000002
【特許請求の範囲】
【請求項１】
2021528693.tif 000032
【請求項２】
前記少なくとも１つのＩＴＤパラメータ（ＩＴＤt）を抽出するために、前記分析ウインドウ（ｗ（τ））内の前記少なくとも一対の前記チャンネルの前記音声信号の周波数変換（Ｌt,k；Ｒt,k）を用いるようにさらに構成される、請求項１に記載の比較装置。
【請求項３】
2021528693.tif 000033
【請求項４】
2021528693.tif 000034
【請求項５】
ルックアップテーブルに記憶された前記分析ウインドウの前記自己相関関数の前記正規化バージョンの補間によって前記関数を得るようにさらに構成される、請求項４に記載の比較装置。
【請求項６】
2021528693.tif 000035
【請求項７】
2021528693.tif 000036
【請求項８】
前記少なくとも１つのサイドゲイン及び前記少なくとも１つの残差ゲインを、前記エネルギーと前記少なくとも一対のＩＴＤ補償された周波数変換 （Ｌt,k,comp；Ｒt,k,comp）の内積とを用いて計算するようにさらに構成される、請求項７に記載の比較装置。
【請求項９】
2021528693.tif 000037
【請求項１０】
2021528693.tif 000038
【請求項１１】
2021528693.tif 000039
【請求項１２】
前記少なくとも１つの前記ダウンミックス信号を、少なくとも一対のＩＴＤ補償された周波数変換に基づいて生成するようにさらに構成される、請求項１ないし１１のいずれか１項に記載の比較装置。
【請求項１３】
前記少なくとも１つのダウンミックス信号、前記少なくとも１つのＩＴＤパラメータ、及び前記少なくとも１つの比較パラメータを符号化して、デコーダに送信するようにさらに構成される請求項１１または請求項１２に記載の前記比較装置を備える、マルチチャンネルエンコーダ。
【請求項１４】
2021528693.tif 000040
【請求項１５】
2021528693.tif 000041
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、パラメトリックマルチチャンネル音声符号化に関する。
【背景技術】
【０００２】
低ビットレートでのステレオ信号の損失性パラメトリック符号化についての最新の方法は、ＭＰＥＧ−４パート３［1］で規格化されたパラメトリックステレオに基づいている。一般的な考えは、デコーダにサイド情報として送られるステレオ／空間パラメータを抽出した後に２つの入力チャンネルからダウンミックス信号を計算することによって、マルチチャンネルシステムのチャンネル数を削減することである。これらのステレオ／空間パラメータは、一般に、チャンネル間レベル差ＩＬＤ、チャンネル間位相差ＩＰＤ、及びチャンネル間コヒーレンスＩＣＣから構成されてもよく、これらはサブバンドで計算されてもよく、特定の拡張のための空間像をある程度捉えることができる。
【０００３】
しかしながら、この方法は、例えば、ＡＢマイク設定で録音された音声をダウンミックスまたは再生するためにあるいはバイノーラルにレンダリングされたシーンを合成するために望ましいチャンネル間時間差（ＩＴＤ（複数））を補償したり合成したりすることはできない。ＩＴＤ合成は、バイノーラルキュー符号化（ＢＣＣ）［２］で対処されており、一般に、パラメータＩＬＤ及びＩＣＣが使用されるがＩＴＤ（複数）は推定され、チャンネル調整は周波数領域で実行される。
【０００４】
時間領域ＩＴＤ推定量は存在するが、通常ＩＴＤ推定にとって、時間−周波数変換を適用することが好ましく、これは、相互相関関数のスペクトルフィルタリングを可能にし、また、計算量も効率的でもある。複雑であるという理由から、ステレオ／空間パラメータの抽出や可能ならばチャンネルのダウンミックスにも使用される同じ変換を使用することは、望ましいが、これはＢＣＣアプローチ内でも行われている。
【０００５】
しかしながら、これには欠点がある：ステレオパラメータの正確な推定は、調整されたチャンネル上で実行されるのが理想的である。しかし、チャンネルが、例えば周波数領域内での循環シフトによって、周波数領域で調整されている場合、これは、分析ウインドウ内でのオフセットを引き起こす可能性があり、パラメータ推定に悪影響を及ぼす可能性がある。ＢＣＣの場合、これは、主に、ＩＣＣの測定に影響を及ぼし、たとえ入力信号が実際には全体的にコヒーレントであっても、ウインドウオフセットの増加は、最終的にＩＣＣ値をゼロに向けて押し上げる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このように、本願発明は、空間パラメータ推定に対する悪影響を回避しつつ、チャンネル間時間差を補償することを可能にする、マルチチャンネル音声符号化でのパラメータ計算の概念を提供することを目的とする。
【０００７】
この目的は、同封された独立請求項の主題によって達成される。
【課題を解決するための手段】
【０００８】
本願発明は、マルチチャンネル音声符号化においてパラメトリック音声エンコーダによって使用される周波数領域内の任意の２つのチャンネル間のＩＴＤ補償についての少なくとも1つの比較パラメータを計算することによって、改善された計算効率が達成される可能性があるという知見に基づいている。少なくとも前記１つの比較パラメータは、空間パラメータ推定での上述の悪影響を軽減するために、パラメトリックエンコーダによって使用されてもよい。
【０００９】
実施の形態は、少なくとも１つのダウンミックス信号と追加のステレオまたは空間パラメータによって、ステレオまたは一般的な空間コンテンツを表現することを目的とするパラメトリック音声エンコーダを備えていてもよい。これらステレオ／空間パラメータには、残りのステレオ／空間パラメータを計算する前に、周波数領域で推定され補償されたＩＴＤ（複数）が含まれてもよい。この手順では、他のステレオ／空間パラメータに偏りが生じる可能性があり、そうでなければ、コストがかかる方法で解決しなければならない問題は、周波数−時間変換を再計算することになる。前述の実施の形態では、この問題は、むしろ、ＩＴＤの値及び基本的な変換の特定のデータを使用できる計算量の少ない補正スキームを適用することによって、むしろ軽減できるかもしれない。
【００１０】
実施の形態は、重み付けられた、ミッド／サイド変換アプローチに基づいていてもよく、ステレオ／空間パラメータＩＰＤ、ＩＴＤ、ならびに、２つのゲイン係数を用いてもよく、周波数領域で動作してもよい、非可逆パラメトリック音声エンコーダに関する。他の実施形態では、異なる変換を用いてもよく、適宜異なる空間パラメータを用いてもよい。
【００１１】
実施の形態では、パラメトリック音声エンコーダは、周波数領域内のＩＴＤ（複数）の補償及び合成の両方が可能であってもよい。それは、前述のウインドウオフセットの悪影響を軽減する計算効率の高いゲイン補正スキームを特徴としていてもよい。また、ＢＣＣコーダについての補正スキームも、提案されている。
【００１２】
本願発明の有利な実施例は、従属項の主題である。本願発明の好ましい実施の形態は、図面に関して以下に説明される。
【図面の簡単な説明】
【００１３】
【図１】図１は、本願発明の実施の形態に従った、パラメトリックエンコーダ用の比較装置のブロック図を示す。
【図２】図２は、本願発明の実施の形態に従った、パラメトリックエンコーダのブロック図を示す。
【図３】図３は、本願発明の実施の形態に従った、パラメトリックデコーダのブロック図を示す。
【発明を実施するための形態】
【００１４】
図１は、マルチチャンネル音声信号用の比較装置１００を示す。図示の通り、それは、一対のステレオチャンネルについての音声信号、すなわち、左音声チャンネル信号ｌ（τ）及び右音声チャンネル信号ｒ（τ）についての入力を備えていてもよい。他の実施の形態は、もちろん、音源の空間特性を捕捉するために複数のチャンネルを備えていてもよい。
【００１５】
時間領域音声信号ｌ（τ）、ｒ（τ）を周波数領域に変換する前に、同一の重複するウインドウ関数１１、２１、ｗ（τ）は、左、及び右入力チャンネル信号ｌ（τ）、ｒ（τ）にそれぞれ適用されてもよい。さらに、実施の形態では、一定量のゼロパディング（ｚｅｒｏ  ｐａｄｄｉｎｇ）が、周波数領域内でのシフトを可能にするために加えられてもよい。その後、ウインドウ処理された音声信号は、対応する離散フーリエ変換（ＤＦＴ）ブロック１２、２２に提供されて時間−周波数変換を実行されてもよい。これらは、一対のチャンネルの音声信号の周波数変換として時間−周波数ビンＬt,k及びＲt,k、ｋ＝０，・・・，ｋ−１を生じさせてもよい。
【００１６】
前記周波数変換Ｌt,k及びＲt,kは、ＩＴＤ検出及び補償ブロック２０に提供されてもよい。後者は、前記分析ウインドウｗ（τ）内の一対のチャンネルの音声信号の周波数変換Ｌt,k及びＲt,kを用いて、一対のチャンネルについての音声信号間のＩＴＤを表すＩＴＤパラメータ、ここでは、ＩＴＤτを導出するように構成されていてもよい。他の実施の形態では、時間領域内のＤＦＴブロックの前に決定されてもよいＩＴＤパラメータを導出するために異なるアプローチを使用してもよい。
【００１７】
ＩＴＤを計算するためのＩＴＤパラメータの導出は、可能な限り重み付けられた、自己相関、または相互相関関数の計算を含んでいてもよい。従来は、これは、逆離散フーリエ変換（ＩＤＦＴ）を項（Ｌt,kＲ*t,kωt,k）kに適用することにより、時間−周波数ビンＬt,k、及びＲt,kから計算することができる。
【００１８】
2021528693.tif 000003
【００１９】
実施の形態では、ＩＴＤt／２サンプルによって、これは遅延チャンネルを進めてもよく、または、遅延チャンネルを遅らせてもよい。しかしながら、別の実施の形態では、遅れが重要である場合、システムの遅れを増加させないＩＴＤtサンプルだけ遅延チャンネルを進めることは有益であるかもしれない。
【００２０】
その結果、ＩＴＤ検出及び補償ブロック２０は、ＩＴＤパラメータＩＴＤtを用いて周波数領域内の一対のチャンネルについてのＩＴＤを循環シフト［複数］によって補償して、一対のＩＴＤ補償された周波数変換Ｌt,k,comp、Ｒt,k,compをその出力で生じさせてもよい。さらに、ＩＴＤ検出及び補償ブロック２０は、例えば、パラメトリックエンコーダによる送信のために、導出されたＩＴＤパラメータ、すなわちＩＴＤtを出力してもよい。
【００２１】
図１に示すように、比較及び空間パラメータ計算ブロック３０は、ＩＴＤパラメータＩＴＤt、及び一対のＩＴＤ補償周波数変換Ｌt,k,comp、Ｒt,k,compをその入力信号として受信してもよい。比較及び空間パラメータ計算ブロック３０は、入力信号の一部または全部を使用して、位相間差分ＩＰＤ等のマルチチャンネル音声信号のステレオ／空間パラメータを抽出してもよい。
【００２２】
さらに、比較及び空間パラメータ計算ブロック３０は、ＩＴＤパラメータＩＴＤt、及び一対のＩＴＤ補償周波数変換Ｌt,k,comp，Ｒt,k,compに基づいて、少なくとも１つの比較パラメータ、ここでは２つのゲイン係数ｇt,b及びｒt,b,corrをパラメトリックエンコーダのために生成してもよい。他の実施の形態では、少なくとも１つの比較パラメータを生成するために、周波数変換Ｌt,k、Ｒt,k、および／または、比較及び空間パラメータ計算ブロック３０で抽出された、空間／ステレオパラメータを追加的にまたは代替的に使用してもよい。
【００２３】
少なくとも１つの比較パラメータは、パラメトリックエンコーダの空間／ステレオパラメータ推定での分析ウインドウｗ（τ）での前述のオフセットの悪影響を軽減する計算効率の良い補正スキームの一部として役立てることが可能であり、前記オフセットは、ＩＴＤ検出及び補償ブロック２０のＤＦＴ領域内の循環シフトによってチャンネルが調整されることによって引き起こされる。実施の形態では、少なくとも１つの比較パラメータは、デコーダで一対のチャンネルの音声信号を復元するために、例えば、ダウンミックス信号から計算されてもよい。
【００２４】
図２は、図１の比較装置１００が、ＩＴＤパラメータＩＴＤt、一対のＩＴＤ補償周波数変換Ｌt,k,comp，Ｒt,k,comp、及び比較パラメータｒt,b,corr及びｇt,bを提供するために使用されてもよいステレオ音声信号のためのこのようなパラメトリックエンコーダ２００の実施の形態を示す。
【００２５】
パラメトリックエンコーダ２００は、ＩＴＤ補償周波数変換Ｌt,k,comp、Ｒt,k,compを入力として使用して、左右の入力チャンネル信号ｌ（τ）、ｒ（τ）についてダウンミックスブロック４０でダウンミックス信号ＤＭＸt,kを生成してもよい。他の実施の形態では、周波数変換Ｌt,k、Ｒt,kを追加的にまたは代替的に使用して、ダウンミックス信号ＤＭＸt,kを生成してもよい。
【００２６】
パラメトリックエンコーダ２００は、比較及び空間パラメータ計算ブロック３０においてフレームベースで、ステレオパラメータ、例えば、ＩＰＤ等、を計算してもよい。他の実施の形態では、異なるまたはさらなるステレオ／空間パラメータを決定してもよい。図２のパラメトリックエンコーダ２００の実施の形態の符号化手順は、以下に詳細に記述された、以下のステップに大まかに従ってもよい。
１．ウインドウにおけるウインドウ処理されたＤＦＴとＤＦＴブロック１１、１２、２１、２２とを使用する、入力信号の時間−周波数変換
２．ＩＴＤ検出及び補償ブロック２０の周波数領域内のＩＴＤ推定及び補償
３．比較及び空間パラメータ計算ブロック３０のステレオパラメータ抽出及び比較パラメータ計算
４．ダウンミックスブロック４０のダウンミキシング
５．ＩＤＦＴブロック５０における周波数−時間変換に続くウインドウ処理及びオーバーラップの追加
【００２７】
図２のパラメトリック音声エンコーダ２００の実施の形態は、ＩＴＤ補償周波数変換Ｌt,k,comp、Ｒt,k,compならびにＩＴＤを入力として使用して、周波数領域内の入力チャンネルの重み付けられたミッド／サイド変換に基づいていてもよい。それは、さらに、ＩＰＤなどの、ステレオ／空間パラメータ、ならびに、ステレオ画像をキャプチャする２つのゲイン係数をさらに計算してもよい。それは、前述のウインドウオフセットの悪影響を軽減するかもしれない。
【００２８】
2021528693.tif 000004
【００２９】
2021528693.tif 000005
【００３０】
2021528693.tif 000006
【００３１】
2021528693.tif 000007
【００３２】
2021528693.tif 000008
【００３３】
2021528693.tif 000009
【００３４】
他の実施の形態では、他のアプローチおよび／または式が、サイドゲイン係数ｇt,b及び残差ゲイン係数ｒt,bおよび／または異なる比較パラメータを適切に計算するために使用されてもよい。
【００３５】
2021528693.tif 000010
【００３６】
2021528693.tif 000011
【００３７】
2021528693.tif 000012
【００３８】
このような周波数領域のチャンネル調整は、主に、残差予測ゲイン係数ｒt,bに影響を与え、ＩＴＤtの増加とともにより大きくなることが観測されている。さらなる対策がなければ、周波数領域でのチャンネル調整は、このように、図３に示された、追加のアンビエンスをデコーダでの出力音声信号に加える。特に符号化される音声信号がクリーンなスピーチを含む場合には、人工的なアンビエンスがスピーチの明瞭性を損なうので、このような追加のアンビエンスは、望ましくない。
【００３９】
従って、上述の効果は、更なる比較パラメータを使用して、ノンゼロＩＴＤ（複数）が存在するときには、（予測）残差ゲイン係数ｒt,bを補正することによって緩和される可能性がある。
【００４０】
2021528693.tif 000013
【００４１】
2021528693.tif 000014
【００４２】
2021528693.tif 000015
【００４３】
2021528693.tif 000016
【００４４】
2021528693.tif 000017
【００４５】
2021528693.tif 000018
【００４６】
2021528693.tif 000019
【００４７】
それゆえに、さらなる実施の形態は、ウインドウ処理されたＤＦＴと、式（３）に従ったパラメータＩＰＤ［のサブセット］、式（１１）に従ったサイドゲインｇt,b、式（１２）に従った残差ゲインｒt,b、及びＩＴＤ（複数）とを使用したパラメトリックオーディオ符号化に関連し、残差ゲインｒt,bは、式（２５）に従って調整される。
【００４８】
2021528693.tif 000020
【００４９】
2021528693.tif 000021
【００５０】
2021528693.tif 000022
【００５１】
2021528693.tif 000023
【００５２】
2021528693.tif 000024
【００５３】
定義上、ＩＣＣは、ＩＴＤ（複数）を補償した後に測定される。しかしながら、マッチしていないウインドウ関数ｗは、ＩＣＣ測定を偏らせるかもしれない。式（１３）によって示された上述のクリーンな無反響音声の設定では、適切に調整された入力チャンネルで計算された場合、ＩＣＣは１となるであろう。
【００５４】
2021528693.tif 000025
【００５５】
2021528693.tif 000026
【００５６】
このように、更なる実施の形態は、ウインドウ処理されたＤＦＴおよび式（３）に従ったパラメータＩＰＤ［のサブセット］、式（２６）に従ったＩＣＣ、及びＩＴＣ（複数）を用いるパラメトリック音声コーディングに関し、ＩＣＣは式（２８）に従って調整される。
【００５７】
2021528693.tif 000027
【００５８】
式（２９）では、βは、ステレオ／空間パラメータから計算された実際の絶対位相調整パラメータであってもよい。他の実施の形態では、図２に示された符号化スキームは、また、他のどのようなダウンミックス方法で動作してもよい。他の実施の形態は、周波数変換Ｌt,k、及びＲt,k、及び任意の更なるパラメータを用いてダウンミックス信号ＤＭＸt,kを決定してもよい。
【００５９】
図２の実施の形態のエンコーダでは、逆離散フーリエ変換（ＩＤＦＴ）ブロック５０は、ダウンミックスブロック４０から周波数領域ダウンミックス信号ＤＭＸt,kを受信してもよい。ＩＤＦＴブロック５０は、周波数領域から時間領域まで、ダウンミックス時間−周波数ビンＤＭＸt,k、ｋ＝０，・・・，ｋ−１を変換して時間領域ダウンミックス信号ｄｍｘ（τ）を生じさせてもよい。実施の形態では、合成ウインドウｗs（τ）を適用して、時間領域ダウンミックス信号ｄｍｘ（τ）に加えてもよい。
【００６０】
さらに、図２の実施の形態のように、コアエンコーダ６０は、ＭＰＥＧ−４パート３［１］、または、必要に応じて他の任意の適当な音声符号化アルゴリズムにも従って、単独チャンネル音声信号をエンコードするためにドメインダウンミックス信号ｄｍｘ（τ）を受信してもよい。図２の実施の形態では、コアエンコードされた時間領域ダウンミックス信号ｄｍｘ（τ）は、ＩＴＤパラメータＩＴＤt、サイドゲインｇt,b及び補正された残差ゲインｒt,b,corrと組み合わせてデコーダへの送信のために適切に処理され、および／またはエンコードされてもよい。
【００６１】
図３は、マルチチャンネルデコーダの実施形態を示す。デコーダは、時間領域内のモノラル／ダウンミックス入力信号ｄｍｘ（τ）と、フレームベースのサイド情報としての比較および／または空間パラメータからなる複合信号を受信してもよい。図３に示すデコーダは、以下に詳細に記述される、以下のステップを実行してもよい。
１．ＤＦＴブロック８０のウインドウ処理されたＤＦＴ（複数）を用いる時間周波数変換
２．アップミキシング及び空間復元ブロック９０における周波数領域の消失残差の予測
３．アップミキシング及び空間復元ブロック９０における周波数領域でのアップミキシング
４．ＩＴＤ合成ブロック１００での周波数領域のＩＴＤ合成
５．ＩＤＦＴブロック１１２、１２２、及びウインドウブロック１１１、１２１での周波数−時間領域変換、ウインドウ処理及び重複の追加
【００６２】
モノラル／ダウンミックス信号入力信号ｄｍｘ（τ）の時間−周波数変換は、図２のエンコーダの入力音声信号に関しては、類似した方法で行われてもよい。特定の実施の形態では、適切な量のゼロパディングが、周波数領域内のＩＴＤ復元に対して加えられてもよい。この手順は、時間−周波数ビンＤＭＸt,k、ｋ＝０，・・・，ｋ−１の形式で、ダウンミックス信号の周波数変換を生じさせてもよい。
【００６３】
2021528693.tif 000028
【００６４】
2021528693.tif 000029
【００６５】
2021528693.tif 000030
【００６６】
2021528693.tif 000031
【００６７】
上述の実施の形態は、単に、本発明の原則を説明したにすぎない。ここに記述された配置及び詳細の修正及び変更は、他の当業者にとって明らかであると理解される。したがって、差し迫った特許請求の範囲のみに限定され、そして、明細書中の実施の形態の記述及び説明によって表された特定の詳細によっては制限されないことを意味する。
【００６８】
参考文献
［１］  ＭＰＥＧ−４  Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ  （ＨＥ−ＡＡＣ）  ｖ２
［２］  Ｊｕｅｒｇｅｎ  Ｈｅｒｒｅ，  ＦＲＯＭ  ＪＯＩＮＴ  ＳＴＥＲＥＯ  ＴＯ  ＳＰＡＴＩＡＬ  ＡＵＤＩＯ  ＣＯＤＩＮＧ  −  ＲＥＣＥＮＴ  ＰＲＯＧＲＥＳＳ  ＡＮＤ  ＳＴＡＮＤＡＲＤＩＺＡＴＩＯＮ，  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  ７ｔｈ  Ｉｎｔ．  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ｄｉｇｉｔａｌ  Ａｕｄｉｏ  Ｅｆｆｅｃｔｓ  （ＤＡＦＸ−０４），  Ｎａｐｌｅｓ，  Ｉｔａｌｙ，  Ｏｃｔｏｂｅｒ  ５−８，  ２００４
［３］  Ｃｈｒｉｓｔｏｐｈ  Ｔｏｕｒｎｅｙ  ａｎｄ  Ｃｈｒｉｓｔｏｆ  Ｆａｌｌｅｒ，  Ｉｍｐｒｏｖｅｄ  Ｔｉｍｅ  Ｄｅｌａｙ  Ａｎａｌｙｓｉｓ／Ｓｙｎｔｈｅｓｉｓ  ｆｏｒ  Ｐａｒａｍｅｔｒｉｃ  Ｓｔｅｒｅｏ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ，  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ  Ｐａｐｅｒ  ６７５３，  ２００６
［４］  Ｃｈｒｉｓｔｏｆ  Ｆａｌｌｅｒ  ａｎｄ  Ｆｒａｎｋ  Ｂａｕｍｇａｒｔｅ，  Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ  Ｐａｒｔ  ＩＩ：  Ｓｃｈｅｍｅｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｖｏｌ．  １１，  Ｎｏ．  ６，  Ｎｏｖｅｍｂｅｒ  ２００３
【図１】
2021528693.tif 000042
【図２】
2021528693.tif 000043
【図３】
2021528693.tif 000044
【国際調査報告】
2021528693.tif 000045
2021528693.tif 000046
2021528693.tif 000047