(57)【特許請求の範囲】
【請求項１】
エンコードされた単一チャネル・オーディオ信号と空間的パラメータの組とを有するエンコードされたオーディオ信号をデコードする方法であって：
前記エンコードされた単一チャネル・オーディオ信号をデコードして複数のダウンサンプリングされたサブバンド信号を得、
前記ダウンサンプリングされたサブバンド信号の少なくとも一つをさらなるフィルタバンクにおいてさらにサブバンドフィルタ処理して複数のサブ・サブバンド信号を提供し、ここで、前記さらなるサブバンドフィルタ処理にかけられる少なくとも一つのダウンサンプリングされたサブバンド信号の数はダウンサンプリングされたサブバンド信号の総数よりも少なく、前記さらなるサブバンドフィルタ処理にかけられる前記少なくとも一つのダウンサンプリングされたサブバンド信号の周波数解像度は、前記さらなるサブバンドフィルタ処理の前の該ダウンサンプリングされたサブバンド信号に比べて増加させられる、
ことを有することを特徴とする方法。
【請求項２】
前記空間的パラメータと、前記サブ・サブバンド信号と、さらなるサブバンドフィルタ処理をされていないサブバンドについての前記ダウンサンプリングされたサブバンド信号とから二つのオーディオ・チャネルを導出する段階をさらに含む、請求項１記載の方法。
【請求項３】
前記エンコードされた単一チャネル・オーディオ信号がコア・エンコードされたオーディオ信号であり、前記デコードが、前記コア・エンコードされたオーディオ信号をコア・デコードすることを含む、請求項１記載の方法。
【請求項４】
前記さらなるサブバンド・フィルタ処理がさらなるダウンサンプリングを導入しない、請求項１記載の方法。
【請求項５】
位相修正または等化によって前記サブ・サブバンド信号を修正する段階をさらに含む、請求項４記載の方法。
【請求項６】
前記さらなるサブバンドフィルタ処理にかけられる前記少なくとも一つのダウンサンプリングされたサブバンド信号は、前記さらなるサブバンドフィルタ処理にかけられないダウンサンプリングされたサブバンド信号に比べてより低い周波数をもつ一つまたは複数のダウンサンプリングされたサブバンド信号である、請求項１記載の方法。
【請求項７】
前記さらなるサブバンドフィルタ処理が、式
【数１】
0005889828.tif 000030
に基づき、ここで、gqはフィルタ・インパルス応答であり、nは時間インデックスであり、g(n)はプロトタイプ・フィルタであり、Ｑは前記さらなるサブバンドフィルタ処理によってダウンサンプリングされたサブバンド信号から導出されるサブ・サブバンド信号の数であり、qはサブ・サブバンド信号を同定するインデックスである、
請求項１記載の方法。
【請求項８】
第二のサブ・サブバンド信号と第五のサブ・サブバンド信号を加算し、第一のダウンサンプリングされたサブバンド信号から導出された、第三のサブ・サブバンド信号と第四のサブ・サブバンド信号を加算する段階、または
第一のサブ・サブバンド信号と第四のサブ・サブバンド信号を加算し、第二のダウンサンプリングされたサブバンド信号から導出された、第二のサブ・サブバンド信号と第三のサブ・サブバンド信号を加算する段階、または
第一のサブ・サブバンド信号と第四のサブ・サブバンド信号を加算し、第三のダウンサンプリングされたサブバンド信号から導出された、第二のサブ・サブバンド信号と第三のサブ・サブバンド信号を加算する段階をさらに含む、
請求項１記載の方法。
【請求項９】
重み付けされたサブ・サブバンド信号および重み付けされた脱相関されたサブ・サブバンド信号から左ステレオ・サブ・サブバンドおよび右ステレオ・サブ・サブバンド信号を導出する段階をさらに含み、前記重み付けは、時間および周波数の関数であり、前記空間的パラメータから導出されるスケール因子操作行列および位相回転操作行列を含む、請求項１記載の方法。
【請求項１０】
前記さらなるサブバンドフィルタ処理は、プロトタイプ・フィルタの多相分解ならびに変調および逆高速フーリエ変換を含む、請求項１記載の方法。
【請求項１１】
エンコードされた単一チャネル・オーディオ信号と空間的パラメータの組とを有するエンコードされたオーディオ信号をデコードするためのオーディオ・デコーダであって：
前記エンコードされた単一チャネル・オーディオチャネルをデコードして複数のダウンサンプリングされたサブバンド信号を得るためのデコーダと、
前記ダウンサンプリングされたサブバンド信号の少なくとも一つをさらなるフィルタバンクにおいてさらにサブバンドフィルタ処理して複数のサブ・サブバンド信号を提供するためのさらなるフィルタバンクであって、前記さらなるサブバンドフィルタ処理にかけられる少なくとも一つのダウンサンプリングされたサブバンド信号の数はダウンサンプリングされたサブバンド信号の総数よりも少なく、前記さらなるサブバンドフィルタ処理にかけられる前記少なくとも一つのダウンサンプリングされたサブバンド信号の周波数解像度は、前記さらなるサブバンドフィルタ処理の前の該ダウンサンプリングされたサブバンド信号に比べて増加させられる、さらなるフィルタバンクと、
を有することを特徴とするオーディオ・デコーダ。
【請求項１２】
請求項１記載の方法を実行するようコンピュータに命令するためのコードを含むコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号のエンコードまたはエンコードされたオーディオ信号のデコードに関する。
【背景技術】
【０００２】
エリック・スハイエルス（Erik  Schuijers）、ウェルナー・オーメン（Werner  Oomen）、ベルト・デン・ブリンカー（Bert  den  Brinker）およびイェルーン・ブレーバールト（Jeroen  Breebaart）の“Advances  in  Parametric  Coding  for  High-Quality  Audio”,  Preprint  5852,  114th  AES  Convention,  Amsterdam,  The  Netherlands,  220-25  March  2003はステレオ音像のための効率的なパラメトリック表現を使ったパラメトリック符号化方式を開示している。二つの入力信号は一つのモノ・オーディオ信号にマージされる。知覚的に意味のある空間的手がかりは図１に示したように明示的にモデル化される。マージされた信号はモノ・パラメトリック・エンコーダを使ってエンコードされる。ステレオ・パラメータのチャネル間強度差（IID:  Interchannel  Intensity  Difference）、チャネル間時間差（ITD:  Interchannel  Time  Difference）およびチャネル間相互相関（ICC:  Interchannel  Cross  Correlation）は量子化され、エンコードされ、前記の量子化されてエンコードされたモノ・オーディオ信号と一緒にビットストリームに多重化される。デコーダ側では、ビットストリームは多重化解除されてエンコードされたモノ信号とステレオ・パラメータになる。エンコードされたモノ・オーディオ信号はデコードされ、デコードされたモノ・オーディオ信号ｍ′が得られる（図２参照）。このモノ時間領域信号から、知覚的な脱相関を与えるフィルタDを使って脱相関された信号が計算される。モノ時間領域信号ｍ′および脱相関信号ｄはいずれも周波数領域に変換される。次いでその周波数領域ステレオ信号はパラメータ処理ユニットにおいてIDD、ITD、ICCを用いてそれぞれスケール変換、位相修正および混合によって処理され、デコードされたステレオ対ｌ′およびｒ′が得られる。結果として得られる周波数領域表現は時間領域に逆変換されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的の一つは、空間的パラメータを使って有利なオーディオ・エンコードまたはデコードを提供することである。この目的のため、本発明は、エンコード方法、オーディオ・エンコーダ、送信もしくは保存のための装置、デコード方法、オーディオ・デコーダ、再生装置およびコンピュータプログラムプロダクトを独立請求項において定義されるように提供する。有利な実施形態は従属請求項において定義される。
【課題を解決するための手段】
【０００４】
本発明の第一の側面によれば、第一のオーディオ・チャネルと第二のオーディオ・チャネルとを含むオーディオ信号がエンコードされる。該エンコードは、前記第一のオーディオ・チャネルと前記第二のオーディオ・チャネルとのそれぞれを複素変調フィルタバンクにおいてサブバンドフィルタ処理して前記第一のオーディオ・チャネルについての第一の複数のサブバンド信号と、前記第二のオーディオ・チャネルについての第二の複数のサブバンド信号とを提供し、該サブバンド信号のそれぞれをダウンサンプリングして第一の複数のダウンサンプリングされたサブバンド信号と、第二の複数のダウンサンプリングされたサブバンド信号を提供し、前記ダウンサンプリングされたサブバンド信号のうちの少なくとも一つをさらなるフィルタバンクにおいてさらにサブバンドフィルタ処理して複数のサブ・サブバンド信号を提供し、前記サブ・サブバンド信号から、およびさらなるサブバンドフィルタ処理をされていないダウンサンプリングされたサブバンド信号から空間的パラメータを導出し、前記第一の複数のダウンサンプリングされたサブバンド信号と前記第二の複数のダウンサンプリングされたサブバンド信号とから導かれる誘導サブバンド信号を有する単一チャネル・オーディオ信号を導出する、ことを有する。サブバンドにおいてさらなるサブバンドフィルタ処理を設けることによって、前記サブバンドの周波数解像度が増す。そのような増加した周波数解像度には、より高いオーディオ品質を（単一サブバンド信号のバンド幅は典型的には人間の聴覚系の臨界帯域よりもずっと高い）効率的な実装によって（変換される必要があるのは少数のバンドだけであるため）実現することが可能になるという利点がある。パラメトリック空間的符号化器は両耳的手がかりをモデル化しようとする。両耳的手がかりは、等価矩形帯域（ERB:  Equivalent  Rectangular  Bands）に似た非一様な周波数スケール上で知覚される。前記単一チャネル・オーディオ信号は、前記第一の複数のダウンサンプリングされたサブバンド信号および前記第二の複数のダウンサンプリングされたサブバンド信号から直接導出することができる。しかし、前記単一チャネル・オーディオ信号の導出は有利には、さらなるサブバンドフィルタ処理を受けたダウンサンプリングされたサブバンドについてのサブ・サブバンド信号から（この場合、各サブバンドの前記サブ・サブバンド信号は足し合わされて新しいサブバンド信号を形成し、前記単一チャネル・オーディオ信号はこれらの新しいサブバンド信号から導出される）、ならびに、前記第一および第二の複数のサブバンドのうちさらなるフィルタ処理をされていないサブバンドからである。
【０００５】
本発明のもう一つの主たる側面によれば、エンコードされた単一チャネル・オーディオ信号と空間的パラメータの組とを有するエンコードされたオーディオ信号のオーディオ・デコードが提供される。該オーディオ・デコードは、前記エンコードされた単一チャネル・オーディオ信号をデコードして複数のダウンサンプリングされたサブバンド信号を得、前記ダウンサンプリングされたサブバンド信号の少なくとも一つをさらなるフィルタバンクにおいてさらにサブバンドフィルタ処理して複数のサブ・サブバンド信号を提供し、前記空間的パラメータと、前記サブ・サブバンド信号と、さらなるサブバンドフィルタ処理をされていないサブバンドについての前記ダウンサンプリングされたサブバンド信号とから二つのオーディオ・チャネルを導出することを有する。サブバンドにおけるさらなるサブバンドフィルタ処理を設けることによって、前記サブバンドの周波数解像度は増加し、その結果、より高品質のオーディオ・デコードが達成できる。
【発明の効果】
【０００６】
本発明のこれらの側面の主たる効果の一つは、パラメトリック空間的符号化はスペクトル帯域複製（SBR:  Spectral  Band  Replication）技法と容易に組み合わせることができるということである。SBRそのものはMartin  Dietz、Lars  Liljeryd、Kristofer  Kj¨orling  and  Oliver  Kunz,  “Spectral  Band  Replication,  a  novel  approach  in  audio  coding”,  Preprint  5553,  112th  AES  Convention,  Munich,  Germany,  10-13  May  2002から、そしてPer  Ekstrand,  “Bandwidth  extension  of  audio  signals  by  spectral  band  replication”,  Prc.  1st  IEEE  Benelux  Workshop  on  Model  based  Processing  and  Coding  of  Audio  (MPCA-2002),  pp.  53-58,  Leuven,  Belgium,  November  15,  2002から知られている。さらに、MPEG-4規格ISO/IEC14496-3:  2001/FDAM1,  JTC1/SC29/WG11,  Coding  of  Moving  Pictures  and  Audio,  Bandwidth  Extensionが参照される。これはSBRを使ったオーディオ・コーデックを記載している。
【０００７】
SBRは、オーディオ信号における低周波と高周波との間には典型的には大きな相関があるという知見に基づいている。そのため、SBRプロセスはスペクトルの低域部分を高域部分にコピーし、その後スペクトルの高域部分について当該ビットストリーム中にエンコードされた小さな情報を使ってスペクトル包絡線が調整される。そのようなSBR拡張されたデコーダの簡略化したブロック図が図３に示されている。ビットストリームは多重化解除され、デコードされてコアデータ（たとえばMPEG-2/4の高度オーディオ符号化（AAC:  Advanced  Audio  Coding））とSBRデータとになる。コアデータを使って信号は完全バンド幅信号のサンプリング周波数の半分でデコードされる。コア・デコーダの出力は、３２バンドの複素（擬似）直交ミラーフィルタ（QMF:  Quadrature  Mirror  Filter）バンクによって分解される。これらの３２のバンドは次いで、低域の一部をコピーすることによって高周波（HF:  High  Frequency）内容が生成される形で完全バンド幅、すなわち６４バンドに拡張される。HF内容が生成された帯域の包絡線はSBRデータに従って調整される。最後に、６４バンドの複素QMF合成バンクによって、PCM出力信号が再構成される。
【０００８】
図３に示されるSBRデコーダはいわゆるデュアルレートデコーダである。これは、コア・デコーダはサンプリング周波数の半分で走り、したがって３２バンド分解QMFバンクしか使われないということを意味する。コア・デコーダが完全なサンプリング周波数で走り、分解QMFバンクが６４のバンドからなるシングルレートデコーダも可能である。実際上は、再構成は（擬似）複素QMFバンクによってなされる。複素QMFフィルタバンクは臨界サンプリングされないので、エイリアシングを考慮に入れるために追加的な対策を講じる必要はない。Ekstrandによって開示されているようなSBRデコーダにおいては、分解QMFバンクは３２バンドしか有さない一方、合成QMFバンクは６４バンドからなり、コア・デコーダは全オーディオ・デコーダに比べてサンプリング周波数の半分で走ることを注意しておく。しかし、対応するエンコーダでは、６４バンドの分解QMFバンクが使われて全周波数領域がカバーされる。
【０００９】
本発明はステレオ・オーディオ符号化のために特に有益であるが、本発明は二つよりも多くのオーディオ・チャネルをもつ信号の符号化にも有益である。
【００１０】
これらのことを含む本発明のさまざまな側面は、以下に記載する実施形態から明らかであり、これを参照することによって明快になるであろう。
【００１１】
図面は本発明を理解するために必要な要素のみを示す。
【図面の簡単な説明】
【００１２】
【図１】パラメトリック・ステレオ（PS:  Parametric  Stereo）エンコーダにおいて使われるステレオ・パラメータ抽出のためのユニットのブロック図である。
【図２】PSデコーダにおいて使われるステレオ信号の再構成のためのユニットのブロック図である。
【図３】スペクトル帯域複製（SBR）デコーダのブロック図である。
【図４】本発明のある実施形態に基づく、複合PSおよびSBR拡張されたエンコーダのブロック図である。
【図５】本発明のある実施形態に基づく、複合PSおよびSBR拡張されたデコーダのブロック図である。
【図６】Mバンドでダウンサンプリングされた複素QMFの分解バンク（左）および合成バンク（右）を示す図である。
【図７】プロトタイプフィルタの絶対値応答をdBで示す図である。
【図８】６４のダウンサンプリングしていない複素変調分解フィルタのうちの最初の４つの絶対値応答をdBで示す図である。
【図９】自明な合成をもつQバンドのフィルタバンクのブロック図である。
【図１０】第一のダウンサンプリングされていない変調QMFフィルタおよび８バンドの複素変調フィルタバンクの合成絶対値応答をdBで示す図である。
【図１１】本発明のある実施形態に基づく、４バンドの偶積層のフィルタバンク（上）と奇積層のフィルタバンク（下）の定型化された絶対値応答を示す図である。
【図１２】本発明のある実施形態に基づく、６４バンドの複素分解QMFに基づく、７７バンドの非一様ハイブリッド分解フィルタバンクを示す図である。
【図１３】オーディオ・デコーダでの使用のための、６４バンドの複素分解QMFに基づく、７１バンドの非一様ハイブリッド分解フィルタバンクを示す図である。
【図１４】複素変調分解フィルタバンクの効率的な実装のブロック図である。
【発明を実施するための形態】
【００１３】
SBRとPS（Parametric  Stereo）との組み合わせはきわめて強力なコーデックを与える可能性を秘めている。SBRとPSとはいずれも、何らかの形の時間‐周波数変換、処理および最終的な周波数‐時間変換というかなり似通った構造からなるデコーダにおける後処理アルゴリズムである。両アルゴリズムを複合する場合は、両アルゴリズムがたとえばDSPアプリケーションの上で同時的に走れることが要求される。よって、一方のコーデックの計算された中間結果のうちできるだけ多くを他方のために再利用することが有益である。PSとSBRとの複合の場合には、これは複素（擬似）QMFサブバンド信号をPS処理のために再利用することにつながる。複合エンコーダ（図４参照）では、ステレオ入力信号は二つの６４バンドの分解フィルタバンクによって分解される。複素サブバンド領域表現を使って、PS計算ユニットはステレオ・パラメータを推定し、モノ（サブバンド）ダウンミックスが生成される。このモノ・ダウンミックスは次いでSBRパラメータ推定ユニットに与えられる。最終的に、モノ・ダウンミックスは３２バンドの合成フィルタバンクによって時間領域に逆変換され、コア・デコーダによって符号化されうるようになる（コア・デコーダは帯域幅の半分しか必要としない）。
【００１４】
図５に示したような複合デコーダでは、デュアルレートシステムまたはシングルレートシステムが使われているか否かに関わりなく、包絡線調整後の完全バンド幅（６４バンド）のサブバンド領域信号は、ステレオ・パラメータに従ってサブバンド領域信号の複数のステレオ組に変換される。サブバンド信号のこれら二つの組は最終的に６４バンドの合成QMFバンクによって時間領域に変換される。単にPSをSBRと組み合わせるだけの場合、QMFフィルタの低域周波数の諸バンドの帯域幅は高品質ステレオ表現のために必要とされるよりも大きい。よって、ステレオ音像の高品質表現を与えることができるために、本発明の有利な諸実施形態によれば、低域サブバンド信号のさらなる細分が実行される。
【００１５】
本発明の諸側面のよりよい理解のために、まず複素QMFサブバンドフィルタの背後の理論を説明する。
【００１６】
QMFサブバンドフィルタ
QMF分解サブバンドフィルタは次のように説明できる。実数値の線形位相プロトタイプフィルタp(v)が与えられているとき、Mバンドの複素変調分解フィルタバンクは、k＝0,1,...,M−1についての分解フィルタ
【００１７】
【数１】
0005889828.tif 000002
によって定義することができる。位相パラメータθは以下の分析には重要ではないが、典型的な選択はプロトタイプフィルタの次数をNとして(N＋M)/2である。実数値の離散的な時間信号x(v)を与えられたとき、サブバンド信号vk(n)はx(v)をhk(v)でフィルタ処理（畳み込み）し、次いでその結果をM分の1にダウンサンプリングすることによって得られる（図６の左側参照）。
【００１８】
合成処理は、まずQMFサブバンド信号をM倍にアップサンプリングし、次いで（１）の型の複素変調フィルタを用いてフィルタ処理し、結果を足し合わせ、最終的に実部の２倍をとる（図６の右側参照）。すると、実数値の線形位相プロトタイプフィルタp(v)を好適に設計することによって完璧に近い実数値信号の再構成が得られる。６４バンドの場合のMPEG-4規格（上述）のSBRシステムにおいて使われるプロトタイプフィルタの絶対値応答が図７に示されている。６４の複素変調分解フィルタの絶対値応答は、プロトタイプフィルタp(v)の絶対値応答を(π/M)(k+1/2)だけシフトさせることによって得られる。これらの応答の一部が図８に示されている。フィルタ処理されるのはk＝0とk＝M−1の場合を除けば正の周波数だけであることを注意しておく。結果として、ダウンサンプリング前のサブバンド信号は解析的に近く、実数値の正弦曲線の簡単な振幅および位相修正を容易にする。位相修正は、最初と最後のバンドについても、これらのバンド内にある正弦曲線の周波数がそれぞれπ/2Mより大きいかπ−π/2Mより小さければ、可能である。この領域の外側にある周波数については、位相修正のパフォーマンスは、負の周波数の干渉のために急速に悪化する。
【００１９】
上記したQMF分解フィルタから出発して、本発明の諸実施形態では、ダウンサンプリングされた各サブバンド信号vk(n)をQk個のサブバンドにさらにフィルタ処理することによってより細かな周波数解像度が得られる。以下においてこのさらなるサブバンドフィルタ処理の性質を導く。
【００２０】
複素QMFサブバンド領域における信号修正
以下では、Z(ω)＝Σz(n)exp(−inω)〔和はn＝−∞から∞まで〕を離散時間信号z(n)の離散時間フーリエ変換であるとする。上述したような完璧に近い再構成属性を想定し、また前記したプロトタイプフィルタp(v)の場合のようにP(ω)すなわちp(v)のフーリエ変換が特に周波数区間[−π/M,π/M]の外側では実質的に０になるという設計を想定すると、ここでの次のステップは、サブバンド信号vk(n)が合成前に修正されるシステムを考えることである。ここで、各サブバンドkがフィルタBk(ω)を用いたフィルタ処理によって修正されるとする。アステリスクで複素共役を表すことにし、
k＜0についてはBk(ω)＝B-1-k(−ω)*                  （２）
という拡張定義を用いると、（全体としての遅延を無視し、実数値の入力およびシングルレートシステムを想定して）フィルタバンク合成を含む結果として得られるシステムはフィルタ
【００２１】
【数２】
0005889828.tif 000003
を用いたフィルタ処理に対応することを示すことができる。
【００２２】
P(ω)の属性に関する仮定によれば、式（３）ですべてのkについてBk(ω)＝1を代入すればB  (ω)＝1となり、シフトされたプロトタイプフィルタ応答についての平方和が1であることが得られる。実数値の定数Bk(ω)＝bk≧0を選ぶことによって、当該システムは周波数π(k＋1/2)/Mにおいて利得値bkを補間する等化器としてはたらく。魅力的な特徴は、全体としてのシステムが時間不変である、すなわち、ダウンサンプリングおよびアップサンプリングの使用にもかかわらずエイリアシングがないということである。このことが成り立つのはもちろん、前述されたプロトタイプフィルタ仮定に対する逸脱の量次第である。
【００２３】
モノ・オーディオ信号を導出するためには、前記複素サブバンド信号の追加的なサブフィルタ処理はこれらの属性を保存すべきであるのみならず、これらの属性をフィルタ処理されたサブバンド信号の操作にも拡張するべきである。これらの属性を保存するサブフィルタ処理は、いわゆる第Mバンドフィルタ（Mth  band  filter）の修正版を使って実行することができる。これ自身はP.P.  Vaidyanathan,  “Multirate  systems  and  filter  banks”,  Prentice  Hall  Signal  Processing  Series,  1993,  sections  4.6.1.-6.6.2から知られている。
【００２４】
自明な合成をもつ変調フィルタバンク
離散時間信号v(n)は、インパルス応答がgq(n)  （q＝0,  1,  ...,  Q−1）であるフィルタのバンクによってQ個の異なる信号に分割することができる。このことは図９で図解されている。対応する分解出力をyq(n)とし、自明な合成演算
【００２５】
【数３】
0005889828.tif 000004
を考える。このとき、フィルタを
【００２６】
【数４】
0005889828.tif 000005
となるように選ぶことによって完璧な再構成y(n)＝v(n)が得られる。ここで、n＝0ならδ(n)＝1、n≠0ならδ(n)＝0である。因果的フィルタについては、式（５）の右辺はdを正の遅延としてδ(n−d)で置き換える必要があるが、このストレートな修正は呈示の明確さのため省略する。
【００２７】
フィルタgq(n)は、プロトタイプフィルタg(n)の
【００２８】
【数５】
0005889828.tif 000006
を通じた複素変調として選ぶことができる。本発明のこの好ましい実施形態では、フィルタは奇積層（oddly  stacked）である（因子q＋1/2）。この好ましい実施形態の利点はのちに述べることになる。完璧な再構成（５）が得られるのは、
g(Qn)＝δ(n)/Q                            （７）
であるとき、かつそのときに限られる。この一つの変形が、
【００２９】
【数６】
0005889828.tif 000007
という実数値の余弦変調で、実数値のプロトタイプフィルタg(m)が
g(2Qn)＝δ(n)/Q                          （９）
を満たすものである。（これは式（６）においてgq(n)＋gQ-1-q(n)を考えることにより容易に得られる。）
複素指数関数変調されたフィルタバンクのサブフィルタ処理
上記したQMF分解フィルタから出発して、ダウンサンプリングされた各サブバンド信号vk(n)をQk個のサブ・サブバンドに、上記の変調構造（６）または（８）の一つを使ってさらにフィルタ処理することによってより細かな周波数解像度が得られる。結果として得られる出力信号をyqk(n)と書き、gqk(n)がサブバンドk内で適用されるフィルタバンクを記述するものとする。Qk＝1であれば、フィルタ処理はなく、g0k(n)＝δ(n)である。典型的な適用例は、M＝64で、Q0＝8、k＝1,  2についてQk＝4、k＞2についてQk＝1というものである。
【００３０】
x(v)からyqk(n)への二つのフィルタバンクの組み合わされた効果は、フィルタFqk(ω)を用いたフィルタ処理とそれに続く因子Mによるダウンサンプリングとして記述できる。ここで、
Fqk(ω)＝Hk  (ω)  Gqk(Mω)                  （１０）
である。もしプロトタイプフィルタ応答P(ω)がSBR分解フィルタの場合のように（図７参照）区間[−π/M,π/M]の外で本質的に0であれば、フィルタFqk(ω)は、
ωk,q＝2π（q＋Qks＋1/2）／(MQk)          （１１）
によって定義される複素変調された場合において定義される単一の名目的な中心周波数をもつ。ここでsはQk(k−1/2)≦2(q＋Qks)＋1≦Qk(k＋3/2)となるように選ばれる整数である。たとえば、図１０において図示されるように、k＝0でQ0＝8であれば、ω0,0,    ω0,1,...  ,ω0,7の値は
（π/8M）×（1,  3,  5,  7,  9,  11,  −3,  −1）
である。
【００３１】
非一様な周波数解像度を用いた信号修正
上記したサブバンドフィルタバンクの挿入はさらなるダウンサンプリングを導入しはしないので、上に複素QMFだけの場合について示された、エイリアスのない信号修正パフォーマンスが保存される。Mサブバンド分解と、サブバンドk内でQk個のサブ・サブバンドを使ったさらなるサブバンドフィルタ処理と、各サブ・サブバンド信号yqk(n)のフィルタAk,q  (ω)によるフィルタ処理と、各サブバンドk内での総和による合成と、Mバンドの合成バンクを通じた最終的な合成との一般的な組み合わされた動作を考える。そのような系の全体としての伝達関数は式（３）でk≧0について
【００３２】
【数７】
0005889828.tif 000008
としたもので与えられる。ω＞π/(2M)については、これは、
【００３３】
【数８】
0005889828.tif 000009
となり、よって、サブバンド(k,q)の通しての応答は、
【００３４】
【数９】
0005889828.tif 000010
となる。|ω|≦π/(2M)については、（２）のため若干注意を払う必要がある。この周波数範囲では、
【００３５】
【数１０】
0005889828.tif 000011
が成り立ち、実数のサブ・サブバンド・プロトタイプフィルタ係数を想定すると、
【００３６】
【数１１】
0005889828.tif 000012
が成り立ち、よって修正フィルタを
【００３７】
【数１２】
0005889828.tif 000013
となるように選べば、B0(−Mω)*＝B0(Mω)であり、（３）との関連で言及した平方和が1であることにより、|ω|≦π/(2M)について
【００３８】
【数１３】
0005889828.tif 000014
となる。これはサブ・サブバンド(0,q)についての通しての応答Gq0(Mω)に対応する。
【００３９】
式（１５）から（１７）までは正と負の周波数を区別することが望ましいことを示している。偶積層の（複素）フィルタではなく奇積層の（複素）フィルタが使用される（図１１参照）のはこの理由による。偶積層のフィルタについては、正と負の周波数の区別をしようがないので、中心フィルタ、すなわち中心周波数が0であるフィルタの中にある正弦波の位相修正を適用することは可能ではない。Qを帯域の数とし、  [−2π/Q,2π/Q]に帯域限定された応答G(ω)をもつプロトタイプフィルタを想定すると、偶積層の場合、位相修正が近似的に適用できる下限は2π/Qであるのに対し、奇積層の場合、位相修正が近似的に適用できる下限はπ/Qである。
【００４０】
導入部で述べたように、PS合成にとって、上記したことの重要な特別な場合が等化と位相修正である。等化については、Ak,q  (ω)＝ak,q≧0であり、条件（１６）は
【００４１】
【数１４】
0005889828.tif 000015
に帰着する。位相修正の場合はAk,q  (ω)＝exp(iαk,q)に対応し、この場合、条件（１６）は
【００４２】
【数１５】
0005889828.tif 000016
であれば満足される。
【００４３】
ステレオ・パラメータ推定
非一様な複素フィルタバンク、すなわち上記したようなQMFバンクとそれに続くさらなるサブバンドフィルタ処理は、以下に示すようにステレオ・パラメータのチャネル間強度差（IID）、チャネル間位相差（IPD:  Inter-channel  Phase  Differences）およびチャネル間相互相関（ICC）を推定するために適用できる。この実際的な実施形態においては、Schuijers  et  al.の論文で使われているITDに対する実際上等価な代替としてIPDが用いられていることを注意しておく。複合PSエンコーダ（図４参照）では、最初の３つの複素QMFチャネルはサブフィルタ処理されて合計で７７の複素数値の信号が得られる（図１２参照）。
【００４４】
以後、この７７個の複素数値の時間整列した左および右のサブ・サブバンド信号はyqk(n)の添え字割り当てに従ってそれぞれlqk(n)およびrqk  (n)と書くことにする。
【００４５】
あるサブバンドのサンプル位置n′におけるステレオ・パラメータを推定するために、左、右および規格化していない相互チャネル励起は、すべてのステレオ・ビンbについて、次式によって計算される。
【００４６】
【数１６】
0005889828.tif 000017
h(n)は長さLをもつサブバンド領域窓、εは0による除算を防ぐためのごく小さな値（たとえばε＝10-10）で、lqk(n)およびrqk  (n)は左および右のサブ・サブバンド領域信号である。２０個のステレオ・ビンの場合、kl以上kh以下のkおよびql以上qh以下のqにわたっての総和は表に示したように進行する。「負の」周波数（たとえばq＝4...7の場合のk＝0）は式（２０）のパラメータ推定には含められないことを注意しておく。
表１：kおよびqについての総和の開始および終了添え字
【００４７】
【表１】
0005889828.tif 000018
el(b)、er(b)、eR(b)を計算するための総和は、これらの信号の総和における中点がパラメータ位置と一致するよう整列されている。−(L/2)+1のシフトはそのためである。表１から明らかなように、中心周波数が正のサブ・サブバンド信号およびサブバンド信号のみがステレオ・パラメータの推定に使われている。
【００４８】
各ステレオ・ビンbについて、IIDをI(b)と書き、ICCをC(b)と書き、IPDをP(b)と書くと、これらは次のように計算される。
【００４９】
【数１７】
0005889828.tif 000019
式中の角P(b)＝∠eR(b)は、−πとπの間の値を与える４象限逆正接関数を使って計算される。目標ビットレートと用途に依存して、これらのパラメータまたはこれらのパラメータの部分集合は量子化され、ビットストリームのPS部分に符号化される。
【００５０】
ステレオ信号合成
デコーダにおける計算コスト（メモリ使用量の意味での）をできるだけ低く保つため、同様の分解構造が使われる。しかし、第一の帯域は部分的に複素であるだけである（図１３参照）。これは、中程の帯域の対G20(ω)とG50(ω)、G30(ω)とG40(ω)の和によって得られる。さらに、第二の帯域と第三の帯域は二帯域実数値フィルタバンクであり、G0k(ω)とG3k(ω)の出力の和ならびにG1k(ω)とG2k(ω)の出力の和によって得られる（変調フィルタバンクについての上記のセクションにおける議論も参照）。デコーダフィルタバンク構造のこの単純化を使っても、正と負の周波数を区別する特性は前記第一のサブバンドフィルタの細分によって維持される。デコーダ分解フィルタバンクが図１３に示されている。第一のQMFフィルタ処理された（サブ・）サブバンド信号の添え字割り当てが周波数に従って分別されていることを注意しておく。
【００５１】
単一フレームのステレオ（サブ・）サブバンド信号は次のように構築される。
【００５２】
【数１８】
0005889828.tif 000020
ここでsk(n)はモノ（サブ・）サブバンド信号、dk(n)はICCパラメータの合成を考慮に入れるために前記モノ（サブ・）サブバンド信号sk(n)から導出されるモノ脱相関（サブ・）サブバンド信号、k＝0,...,K−1はサブバンドの添え字（Kがサブバンドの総数、すなわちK＝71）、n＝0,...,N−1はQMFサブバンド標本値の添え字でNはフレームのサブバンド標本値の数、Λ11,  Λ12,  Λ13,  Λ14はスケール因子操作行列、Prtは位相回転操作行列である。前記操作行列は時間と周波数の関数として定義され、MPEG-4規格ISO/IEC14496-3:2001/FDAM1,  JTC1/SC29/WG11,  Coding  of  Moving  Pictures  and  Audio,  Extension  2において記載されている操作ベクトルからストレートに導出できる。
【００５３】
sk(n)は図１２に従って図１３を導くよう次のように定義される。
【００５４】
【数１９】
0005889828.tif 000021
ステレオ・パラメータの合成は表２の添え字割り当てに従って行われる。
表２：パラメータ添え字割り当て表
【００５５】
【表２】
0005889828.tif 000022
よって合成の式は次のような具合になる。
【００５６】
【数２０】
0005889828.tif 000023
表中でアステリスクが出てきたら上式でPrtの符号が変化することを注意しておく。これは式（１９）に従っている。すなわち、負の周波数については逆の位相回転を適用しなければならないのである。
【００５７】
自明な合成をもつ変調フィルタバンクの効率的な実装
長さLのプロトタイプフィルタを用いた変調フィルタバンクが与えられたとき、直接的な形の実装は入力標本値あたりQL回の演算を要求するものであろうが、（６）における変調が周期Qに関して反周期的であるという事実を使うと、フィルタ処理を、各入力標本値についてL回の演算の多相窓処理（windowing）とそれに続くサイズQの変換とに分割できる。そのような多相表現はP.P.  Vaidyanathan,  “Multirate  systems  and  filterbanks”,  Prentice  Hall  Signal  Processing  Series,  1993,  section  4.3から知られていることを注意されたい。以下は、本発明の好ましい実施形態に基づくそのような多相表現の有利な適用を提供する。
【００５８】
変換はDFTに位相のひねりを続けたものである。これはQが2の冪であるときQlog2Qのオーダーである。よって、Lがlog2Qよりずっと大きい典型的な場合においては大幅な節約が得られる。実数で変調された場合（８）では、周期2Qの反周期性とn＝0およびn＝Qのまわりの偶／奇対称性とを組み合わせて利用して、やはり多相窓処理ができ、変換核はIII型のDCTとなる。複素変調の場合についての詳細な説明を以下に与える。
【００５９】
FFTコア処理を使ったサブ・サブフィルタ処理の効率的な実装は、プロトタイプフィルタの多相分解とそれに続く変調とを使って実現しうる。次数Nのプロトタイプフィルタg(n)を想定し、N＝mQとし、mは正の整数とする。この条件は制限的ではない。任意の次数のプロトタイプフィルタに0をパディングして制約条件を満たすことができるからである。複素変調系（６）において使うために設計されたプロトタイプフィルタのZ変換は
【００６０】
【数２１】
0005889828.tif 000024
である。これは多相記法では
【００６１】
【数２２】
0005889828.tif 000025
と表しうる。ここで、
【００６２】
【数２３】
0005889828.tif 000026
である。フィルタバンクのすべてのフィルタはプロトタイプフィルタを周波数変調したバージョンである。フィルタgq(n)のZ変換は
【００６３】
【数２４】
0005889828.tif 000027
によって与えられる。ここで、
【００６４】
【数２５】
0005889828.tif 000028
である。一つのフィルタからの出力の表式は次のようになる。
【００６５】
【数２６】
0005889828.tif 000029
最後の和の成分を識別することによって、多相成分プロセスが処理するのは入力信号の遅延バージョンであり、それはその後複素数の指数関数を乗じられることが見て取れる。最後にすべての出力信号Yq(z)  （q＝0,...,Q−1）は逆FFT（スケーリング因子なし）を適用することによって見出される。図１４は、この分解フィルタバンクの構成を示している。式（２９）の多相フィルタは非因果的であるため、適正な量の遅延がすべての多相成分に加えられる必要がある。
【００６６】
上述した実施形態が本発明を解説するものであって限定するものではないこと、そして当業者には付属の特許請求の範囲から外れることなく数多くの代替的な実施形態を考案することができるであろうことを注意しておく。請求項においては、括弧内に置かれた参照符号があったとしても、それが請求項を限定するものと解釈してはならない。「有する」の語は請求項において挙げられている以外の要素またはステップの存在を排除しない。本発明はいくつかの異なる要素を有するハードウェアによって、および好適にプログラムされたコンピュータによって実装することができる。いくつかの手段を列挙している装置請求項においては、これらの手段のいくつかは同一のハードウェア項目によって具現されることができる。ある施策が互いに異なる従属請求項において述べられているというだけの事実がこれらの施策の組み合わせが有利に用いられないということを示すことはない。
【００６７】
考えられる態様をいくつか示しておく。
〔態様１〕
複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張されたオーディオ・エンコーダであって：
時間領域ステレオ入力信号をサブバンド領域に変換する分解フィルタバンクと、
サブバンド領域のステレオ入力信号についてパラメトリック・ステレオ・パラメータを計算してパラメトリック・ステレオ・ビットストリームを得て、サブバンド領域におけるモノ・ダウンミックスを生成するパラメトリック・ステレオ計算ユニットと、
サブバンド領域における前記モノ・ダウンミックスのスペクトル帯域複製パラメータを推定してスペクトル帯域複製ビットストリームを得るスペクトル帯域複製パラメータ推定ユニットと、
前記モノ・ダウンミックスをサブバンド領域から時間領域に変換する周波数‐時間変換器と、
時間領域のモノ・ダウンミックスをエンコードしてコア・ビットストリームを得るコア・エンコーダとを有する、
エンコーダ。
〔態様２〕
複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張オーディオ・エンコードの方法であって：
時間領域ステレオ入力信号をサブバンド領域に変換する段階と、
サブバンド領域のステレオ入力信号についてパラメトリック・ステレオ・パラメータを計算してパラメトリック・ステレオ・ビットストリームを得る段階と、
サブバンド領域におけるモノ・ダウンミックスを生成する段階と、
サブバンド領域における前記モノ・ダウンミックスのスペクトル帯域複製パラメータを推定してスペクトル帯域複製ビットストリームを得る段階と、
前記モノ・ダウンミックスをサブバンド領域から時間領域に変換する段階と、
時間領域のモノ・ダウンミックスをコア・エンコードしてコア・ビットストリームを得る段階とを有する、
方法。
〔態様３〕
複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張エンコードされたオーディオ信号であって：
ステレオ信号から導出されたパラメトリック・ステレオ・パラメータを含むパラメトリック・ステレオ・ビットストリームと、
前記ステレオ信号から導出されたモノ・ダウンミックスのスペクトル帯域複製パラメータを含むスペクトル帯域複製ビットストリームと、
コア・エンコードされたモノ・ダウンミックスを表すコア・ビットストリームとを含む、
信号。
〔態様４〕
コア・エンコードされたオーディオ信号、スペクトル帯域複製パラメータおよびパラメトリック・ステレオ・パラメータを含むエンコードされた入力信号をデコードする、複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張されたオーディオ・デコーダであって：
エンコードされたオーディオ信号をデコードしてデコードされたオーディオ信号を得るコア・デコーダと、
前記のデコードされたオーディオ信号をサブバンド領域に時間‐周波数変換する分解フィルタバンクと、
サブバンド領域において前記スペクトル帯域複製パラメータを使って完全バンド幅オーディオ信号を生成するための高周波発生器および包絡線調整器と、
前記パラメトリック・ステレオ・パラメータを使って前記完全バンド幅オーディオ信号をサブバンド領域のステレオ・オーディオ信号に変換するパラメトリック・ステレオ合成ユニットと、
前記完全バンド幅オーディオ信号をサブバンド領域から時間領域に変換する合成フィルタバンクとを有する、
デコーダ。
〔態様５〕
コア・エンコードされたオーディオ信号、スペクトル帯域複製パラメータおよびパラメトリック・ステレオ・パラメータを含むエンコードされた入力信号をデコードする、複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張オーディオ・デコードの方法であって：
エンコードされたオーディオ信号をコア・デコードしてデコードされたオーディオ信号を得る段階と、
前記のデコードされたオーディオ信号をサブバンド領域に時間‐周波数変換する段階と、
サブバンド領域において前記スペクトル帯域複製パラメータを使って完全バンド幅オーディオ信号を生成する段階と、
前記パラメトリック・ステレオ・パラメータを使って前記完全バンド幅オーディオ信号をサブバンド領域のステレオ・オーディオ信号に変換する段階と、
前記完全バンド幅オーディオ信号をサブバンド領域から時間領域に変換する段階とを有する、
方法。
〔態様６〕
複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張オーディオ・エンコードの方法を実行するようコンピュータに命令するコードを含むコンピュータ・プログラムであって、前記方法は：時間領域ステレオ入力信号をサブバンド領域に変換する段階と；サブバンド領域のステレオ入力信号についてパラメトリック・ステレオ・パラメータを計算してパラメトリック・ステレオ・ビットストリームを得る段階と；サブバンド領域におけるモノ・ダウンミックスを生成する段階と；サブバンド領域における前記モノ・ダウンミックスのスペクトル帯域複製パラメータを推定してスペクトル帯域複製ビットストリームを得る段階と；前記モノ・ダウンミックスをサブバンド領域から時間領域に変換する段階と；時間領域のモノ・ダウンミックスをコア・エンコードしてコア・ビットストリームを得る段階とを有するものである、
コンピュータ・プログラム。
〔態様７〕
コア・エンコードされたオーディオ信号、スペクトル帯域複製パラメータおよびパラメトリック・ステレオ・パラメータを含むエンコードされた入力信号をデコードする、複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張オーディオ・デコードの方法を実行するようコンピュータに命令するコードを含むコンピュータ・プログラムであって、前記方法は：エンコードされたオーディオ信号をコア・デコードしてデコードされたオーディオ信号を得る段階と；前記のデコードされたオーディオ信号をサブバンド領域に時間‐周波数変換する段階と；サブバンド領域において前記スペクトル帯域複製パラメータを使って完全バンド幅オーディオ信号を生成する段階と；前記パラメトリック・ステレオ・パラメータを使って前記完全バンド幅オーディオ信号をサブバンド領域のステレオ・オーディオ信号に変換する段階と；前記完全バンド幅オーディオ信号をサブバンド領域から時間領域に変換する段階とを有するものである、
コンピュータ・プログラム。
【図１】
0005889828.tif 000031
【図２】
0005889828.tif 000032
【図３】
0005889828.tif 000033
【図４】
0005889828.tif 000034
【図５】
0005889828.tif 000035
【図６】
0005889828.tif 000036
【図７】
0005889828.tif 000037
【図８】
0005889828.tif 000038
【図９】
0005889828.tif 000039
【図１０】
0005889828.tif 000040
【図１１】
0005889828.tif 000041
【図１２】
0005889828.tif 000042
【図１３】
0005889828.tif 000043
【図１４】
0005889828.tif 000044