(57)【特許請求の範囲】
【請求項１】
入力オーディオ信号に基づき出力オーディオ信号を合成する方法であって、前記入力オーディオ信号は複数の入力サブバンド信号を有し、前記方法は、
少なくとも１つのそれぞれ変換された信号を得るために、少なくとも１つの入力サブバンド信号を、サブバンドドメインから高分解能周波数ドメインに変換するステップと、
少なくとも１つのそれぞれ変換され遅延された信号を得るために、前記少なくとも１つの入力サブバンド信号を遅延させて変換するか又は変換して遅延させるステップと、
前記少なくとも１つの変換された信号と前記少なくとも１つの変換され遅延された信号とから、少なくとも２つの処理された信号を導出するステップと、
それぞれ処理されたサブバンド信号を得るために、前記処理された信号を、前記高分解能周波数ドメインからサブバンドドメインに逆変換するステップと、
前記処理されたサブバンド信号から前記出力オーディオ信号を合成するステップと、
を有し、
前記変換するステップにおける変換は、コサイン変換であり、
前記遅延させて変換するか又は変換して遅延させるステップにおける遅延は、非相関を与えるために選択され、
前記遅延させて変換するか又は変換して遅延させるステップにおける変換は、前記変換するステップにおける変換であり、
前記導出するステップにおける導出は、マトリクシング操作及び／又はローテーション操作を有し、
前記逆変換するステップにおける逆変換は、前記コサイン変換の逆変換である、方法。
【請求項２】
前記少なくとも１つのサブバンド信号は最も低い周波数を持つサブバンド信号を含む、請求項１に記載の方法。
【請求項３】
前記少なくとも１つのサブバンド信号は２乃至８個のサブバンド信号から成る、請求項２に記載の方法。
【請求項４】
前記合成するステップは、前記処理されたサブバンド信号から前記出力オーディオ信号の時間ドメインバージョンを合成するサブバンドフィルタバンクにおいて実行される、請求項１に記載の方法。
【請求項５】
前記サブバンドフィルタバンクは複素サブバンクフィルタバンクである、請求項４に記載の方法。
【請求項６】
前記複素サブバンドフィルタバンクは複素直交ミラーフィルタバンクである、請求項５に記載の方法。
【請求項７】
前記入力オーディオ信号はモノラルオーディオ信号であり、前記出力オーディオ信号はステレオオーディオ信号である、請求項１に記載の方法。
【請求項８】
前記出力オーディオ信号の第１のチャネルと第２のチャネルとの間の所望の相関を示す相関パラメータを得るステップを更に有し、
前記処理は、前記相関パラメータに依存して、前記少なくとも１つの変換された信号と前記少なくとも１つの変換され遅延された信号とを組み合わせることにより、処理された信号の第１のセットと処理された信号の第２のセットとを得るように構成され、
前記第１のチャネルは前記処理された信号の第１のセットから導出され、前記第２のチャネルは前記処理された信号の第２のセットから導出される、請求項１に記載の方法。
【請求項９】
前記出力オーディオ信号の第１のチャネルと第２のチャネルとがそれぞれ、それぞれの合成サブバンドフィルタバンクにおいて、前記処理された信号の第１のセットと前記処理された信号の第２のセットとに基づき合成される、請求項８に記載の方法。
【請求項１０】
時間ドメインコアオーディオ信号に基づいてＭ個のフィルタリングされたサブバンド信号を生成するためにＭ個のサブバンドを導出するステップと、
Ｍ個のフィルタリングされたサブバンド信号から導出された高周波信号成分を生成するステップと、
を更に有し、前記高周波信号成分はＮ−Ｍ個のサブバンド信号を持ち、ここでＮ＞Ｍであり、Ｎ−Ｍ個のサブバンド信号は前記Ｍ個のサブバンド中のいずれのサブバンドよりも高い周波数を持つサブバンド信号を含み、前記Ｍ個のフィルタリングされたサブバンド信号とＮ−Ｍ個のサブバンド信号とが合わせて前記複数の入力サブバンド信号を形成する、請求項１に記載の方法。
【請求項１１】
入力オーディオ信号に基づき出力オーディオ信号を合成する装置であって、前記入力オーディオ信号は複数の入力サブバンド信号を有し、前記装置は、
少なくとも１つのそれぞれ変換された信号を得るために、少なくとも１つの入力サブバンド信号を、サブバンドドメインから高分解能周波数ドメインに変換する手段と、
少なくとも１つのそれぞれ変換され遅延された信号を得るために、前記少なくとも１つの入力サブバンド信号を遅延させて変換するか又は変換して遅延させる手段と、
前記少なくとも１つの変換された信号と前記少なくとも１つの変換され遅延された信号とから、少なくとも２つの処理された信号を導出する手段と、
それぞれ処理されたサブバンド信号を得るために、前記処理された信号を、前記高分解能周波数ドメインからサブバンドドメインに逆変換する手段と、
前記処理されたサブバンド信号から前記出力オーディオ信号を合成する手段と、
を有し、
前記変換する手段における変換は、コサイン変換であり、
前記遅延させて変換するか又は変換して遅延させる手段における遅延は、非相関を与えるために選択され、
前記遅延させて変換するか又は変換して遅延させる手段における変換は、前記変換するステップにおける変換であり、
前記導出する手段における導出は、マトリクシング操作及び／又はローテーション操作を有し、
前記逆変換する手段における逆変換は、前記コサイン変換の逆変換である、装置。
【請求項１２】
出力オーディオ信号を供給する機器であって、
エンコードされたオーディオ信号を得るための入力ユニットと、
複数のサブバンド信号を含むデコードされた信号を得るため、前記エンコードされたオーディオ信号をデコードするデコーダと、
前記デコードされた信号に基づき前記出力オーディオ信号を得るための、請求項１１に記載の装置と、
前記出力オーディオ信号を供給するための出力ユニットと、
を有する機器。
【請求項１３】
少なくとも１つのそれぞれ変換された信号を得るために、少なくとも１つの入力サブバンド信号を、サブバンドドメインから高分解能周波数ドメインに変換するステップと、
少なくとも１つのそれぞれ変換され遅延された信号を得るために、前記少なくとも１つの入力サブバンド信号を遅延させて変換するか又は変換して遅延させるステップと、
前記少なくとも１つの変換された信号と前記少なくとも１つの変換され遅延された信号とから、少なくとも２つの処理された信号を導出するステップと、
それぞれ処理されたサブバンド信号を得るために、前記処理された信号を、前記高分解能周波数ドメインからサブバンドドメインに逆変換するステップと、
前記処理されたサブバンド信号から前記出力オーディオ信号を合成するステップと、
を実行するようにコンピュータに命令するためのコードを含むコンピュータプログラムであって、
前記変換するステップにおける変換は、コサイン変換であり、
前記遅延させて変換するか又は変換して遅延させるステップにおける遅延は、非相関を与えるために選択され、
前記遅延させて変換するか又は変換して遅延させるステップにおける変換は、前記変換するステップにおける変換であり、
前記導出するステップにおける導出は、マトリクシング操作及び／又はローテーション操作を有し、
前記逆変換するステップにおける逆変換は、前記コサイン変換の逆変換である、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の合成に関し、より詳細には、出力オーディオ信号を供給する機器に関する。
【背景技術】
【０００２】
Erik Schuijers、Werner Oomen、Bert den Brinker及びJeroen Breebaartによる論文「Advances in Parametric Coding for High-Quality Audio」（前刷り5852、「114th AES Convention」、オランダ、アムステルダム、2003年3月22〜25日）は、ステレオ画像用の効率的なパラメトリック表現を利用したパラメトリック符号化方式を開示している。２つの入力信号が、１つのモノラルオーディオ信号にマージされる。知覚的に関連のある空間的な手掛かりが、明確にモデル化されている。前記マージされた信号は、モノラルのパラメトリックエンコーダを利用してエンコードされる。ステレオパラメータのチャネル間強度差（Interchannel Intensity Difference、ＩＩＤ）、チャネル間時間差（Interchannel Time Difference、ＩＴＤ）及びチャネル間相互相関（Interchannel Cross-Correlation、ＩＣＣ）が量子化され、エンコードされ、量子化されエンコードされたモノラルのオーディオ信号と共にビットストリームに多重化される。デコーダ側において、前記ビットストリームが、エンコードされたモノラル信号とステレオパラメータとに多重分離される。エンコードされたモノラルのオーディオ信号は、デコードされたモノラルのオーディオ信号ｍ’を得るためにデコードされる（図１を参照）。モノラルの時間ドメイン信号から、最適な知覚的な非相関（de-correlation）を導出するフィルタＤ１０を利用することにより、非相関信号（de-correlated signal）が算出される。モノラルの時間ドメイン信号ｍ’及び非相関信号ｄは共に周波数ドメインに変換される。次いでパラメータ処理ユニット１１において、周波数ドメインステレオ信号が、ＩＩＤ、ＩＴＤ及びＩＣＣパラメータを用いて、それぞれスケーリング、位相変更及びミキシングによって処理され、デコードされたステレオの対ｌ’及びｒ’が得られる。結果の周波数ドメイン表現は、時間ドメインに変換され戻される。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、入力オーディオ信号に基づき出力オーディオ信号を有利に合成することにある。この目的のため、本発明は、独立請求項に定義される方法、装置、機器及びコンピュータプログラムを提供する。有利な実施例は従属請求項において定義される。
【課題を解決するための手段】
【０００４】
本発明の第１の態様によれば、出力オーディオ信号の合成は入力オーディオ信号に基づいて提供され、前記入力オーディオ信号は複数の入力サブバンド信号を有し、少なくとも１つの入力サブバンド信号がサブバンドドメインから周波数ドメインへ変換され少なくとも１つのそれぞれ変換された信号が得られ、前記少なくとも１つの入力サブバンド信号が遅延及び変換され少なくとも１つのそれぞれ変換された遅延信号が得られ、少なくとも２つの処理された信号が前記少なくとも１つの変換された信号と前記少なくとも１つの変換された遅延信号とから導出され、前記処理された信号は周波数ドメインからサブバンドドメインに逆変換されそれぞれ処理されたサブバンド信号が得られ、前記出力オーディオ信号が前記処理されたサブバンド信号から合成される。サブバンドにおける周波数変換にサブバンドを提供することにより、周波数分解能が向上する。かような向上された周波数分解能は、効率的な実装において、高いオーディオの品質を達成することが可能となる（単一のサブバンド信号の帯域幅は通常人間の聴覚系における臨界帯域よりもかなり高い）という利点を持つ（なぜなら数個の帯域のみが変換される必要があるからである）。サブバンドにおいてステレオ信号を合成することは、既存のサブバンドベースのオーディオ符号化器と容易に組み合わせられるという更なる利点を持つ。フィルタバンクは、オーディオ符号化の分野においては一般的に利用されている。ＭＰＥＧ−１／２のレイヤＩ、II及びIIIは全て32バンドの臨界的にサンプリングされた（critically sampled）サブバンドフィルタを利用する。
【０００５】
本発明の実施例はとりわけ、スペクトル帯域複製（ＳＢＲ）手法を利用して、低いサブバンドの周波数分解能を向上する際に有用であるものである。
【０００６】
効率的な実施例においては、直交ミラーフィルタ（ＱＭＦ）バンクが利用される。かようなフィルタバンクは、特にPer Ekstrandによる論文「Bandwidth extension of audio signals by spectral band replication」（「1st IEEE Benelux Workshop on Model based Processing and Coding of Audio」のプロシーディング (MCPA-2002)、53-58頁、ベルギー、Leuven、2002年11月15日）より知られている。合成ＱＭＦフィルタバンクは、Ｎ個の複素サブバンド信号を入力としてとり、実数値のＰＣＭ出力信号を生成する。ＳＢＲの背後にある着想は、より高い周波数が、非常に少ない支援情報のみを利用して、より低い周波数から再構築されることができるということである。実際には、該再構築は、複素直交ミラーフィルタ（ＱＭＦ）によって為される。効率的にサブバンドドメインにおける非相関信号に達するために、本発明の実施例は、本出願人による「Audio signal generation」と題された2003年4月17日出願の欧州特許出願（整理番号PHNL030447）により詳細に開示されているような、サブバンドドメインにおいて周波数（又はサブバンドのインデクス）に依存する遅延を利用する。複素ＱＭＦフィルタバンクは臨界的にサンプリングされないため、エイリアジングを考慮するための余分の備えは必要とされない。更に、前記遅延は小さいため、本実施例の全体のＲＡＭ使用量は低い。Eksrandにより開示されたようなＳＢＲデコーダにおいては、分析ＱＭＦバンクは３２個の帯域のみから成るが、コアのデコーダはオーディオデコーダ全体に比べて半分のサンプリング周波数で動作するため、合成ＱＭＦバンクは６４個の帯域から成ることに留意されたい。しかしながら、対応するエンコーダにおいては、周波数域全体をカバーするために、６４帯域の分析ＱＭＦバンクが利用される。
【０００７】
図２は、ＭＰＥＧ−４規格（ISO/IEC14496-3:2001/FDAM1、JTC/SC29/WG11、「Coding of Moving Pictures and Audio」、「Bandwidth Extension」）に開示されているようなスペクトル帯域複製（ＳＢＲ）手法を利用する帯域拡張（ＢＷＥ）デコーダのブロック図である。ビットストリームのコア部分はコアデコーダを利用することによりデコードされ、該デコーダは例えば標準的なＭＰＥＧ−１レイヤIII（ｍｐ３）又はＡＡＣデコーダであっても良い。一般に、かようなデコーダは、出力サンプリング周波数の半分（ｆｓ／２）で動作する。ＳＢＲデータをコアデータと同期させるため、遅延「Ｄ」が導入される（ＭＰＥＧ−４規格においては２８８個のＰＣＭサンプル）。結果の信号は、３２帯域複素直交ミラーフィルタ（ＱＭＦ）に送られる。該フィルタは、３２個の実入力サンプルにつき３２個の複素サンプルを出力し、従って２のファクターだけオーバーサンプリングされる。高周波（ＨＦ）生成器（図１を参照）において、コア符号化器によってカバーされない高い周波数が、低い周波数（の特定の部分）を複製することにより生成される。前記高周波生成器の出力は、低周波の３２個のサブバンドと組み合わせられ、６４個の複素サブバンド信号とされる。次いで、エンベロープ調節器が、前記複製された高い周波数のサブバンド信号を所望のエンベロープに調節し、前記ビットストリームのＳＢＲ部分によって示される付加的な正弦波のノイズ成分を付加する。６４個のサブバンド信号の全体が６４帯域複素ＱＭＦ合成フィルタを通して送られ、（実）ＰＣＭ出力信号を形成する。
【０００８】
サブバンドチャネルにおける付加的な変形の適用は、一定の遅延を導入する。変換及び逆変換が含まれないサブバンドにおいては、サブバンド信号の整合を保つために遅延が導入されるべきである。特別な方法を使わずに、前記サブバンド信号への追加の遅延がかくして導入され、ＳＢＲデータ又はパラメトリックステレオデータのようなコア及びサイドデータ又は支援データの不整合（即ち非同期）に帰着する。付加的な変換／逆変換を持つサブバンドの場合、及び付加的な変換のないサブバンドの場合、付加的な遅延は変換なく前記サブバンドに付加されるべきである。ＳＢＲ内で、変換及び逆変換操作によって生じる余分な遅延は、遅延Ｄから差し引かれることができる。
【０００９】
本発明のこれらの及び他の態様は、以下に記載される実施例を参照しながら説明され明らかとなるであろう。
【００１０】
図は、本発明を理解するために必須な要素のみを示す。
【発明を実施するための最良の形態】
【００１１】
図３は、本発明の実施例による、サブバンドドメインにおけるパラメトリックステレオ処理を示す。入力信号は、Ｎ個の入力サブバンド信号から成る。実用的な実施例においては、Ｎは３２又は６４である。低い周波数は、高い周波数分解能を得るために変換Ｔを利用して変換され、高い周波数は、前記変換によって導入される遅延を補償するために遅延ＤＴを利用して遅延される。各サブバンド信号から、遅延シーケンスＤＸによって非相関（de-correlated）サブバンド信号も生成される。ここでｘはサブバンドのインデクスである。ブロックＰは、１つの入力サブバンド信号から２つのサブバンドへの処理を示す。該処理は、前記入力サブバンド信号の１つの変換されたバージョンに対して、及び前記入力サブバンド信号の１つの遅延及び変換されたバージョンに対して実行される。前記処理は、前記変換されたバージョンと、前記変換及び遅延されたバージョンとの、例えばマトリクシング（matrixing）及び／又はローテーティング（rotating）による、合成を有しても良い。変換Ｔ−１は逆変換を示す。ＤＴはブロックＰの前後に分割されても良い。変換Ｔは異なる長さのものであっても良く、一般に低い周波数は長い変換を持つ。このことは、変換が最も長い変換よりも短い経路に付加的に遅延が導入されるべきであることを意味する。フィルタバンクの前の遅延Ｄは、フィルタバンクの後にシフトされても良い。該遅延Ｄが前記フィルタバンクの後に配置される場合には、該遅延は部分的に除去されることができる。なぜなら、前記変換が既に遅延を含んでいるからである。前記変換は好ましくは、変形離散コサイン変換（ＭＤＣＴ）タイプのものであるが、高速フーリエ変換のような他の変換が利用されても良い。処理Ｐは通常付加的な遅延を引き起こさない。
【００１２】
図４は、図３の変換−逆変換ＴＴ−１により生じる遅延を示すブロック図である。図４においては、１８個の複素サブバンドサンプルがウィンドウｈ［ｎ］によってウィンドウとされている。複素信号は次いで実部と虚部とに分割され、これらは共に９個の実数値へとＭＤＣＴを利用して変換される。９個の値から成る両方のセットの逆変換が、再び１８個の複素サブバンドサンプルへと導き、これらがウィンドウとされ前の１８個の複素サブバンドサンプルとオーバラップさせられる。本図に示されるように、最後の９個のサブバンドサンプルは完全には処理されず（即ちオーバラップが追加され）、実質的に変換長の半分、即ち９個の（サブバンド）サンプルの遅延をもたらす。その結果、単一のサブバンドフィルタにおける遅延は、変換が適用されていない全ての他のサブバンドにおいて補償されるべきである。しかしながら、ＳＢＲ処理（即ちＨＦ生成及びエンベロープ調節）の前にサブバンド信号に更なる遅延を導入することは、コア及びＳＢＲデータの不整合に帰着する。この整合を保つために、図２に示されたようなＰＣＭ遅延ＤがＭ帯域複素分析ＱＭＦの直後に配置されることができ、このことは効果的に各サブバンドにおけるＤ／Ｍの遅延に帰着する。従って、コア及びＳＢＲデータの整合に対する要求は、全てのサブバンドにおける遅延がＤ／Ｍになることである。それ故、追加される変換の遅延ＤＴがＤ／Ｍ以下である限り、同期が保存されることができる。サブバンドドメインにおける遅延素子は複素タイプのものとなることに留意されたい。実用的なＳＢＲ実施例においては、Ｍ＝３２である。ＭはＮと等しくても良い。
【００１３】
実用的な実施例においては、上述したように、各変換Ｔは２つのＭＤＣＴを有し、各逆変換Ｔ−１は２つのＩＭＤＣＴを有することは留意されたい。
【００１４】
変換Ｔが導入される低いサブバンドは、コアデコーダによってカバーされる。しかしながら、これらサブバンドはＳＢＲツールのエンベロープ調節器によって処理されないが、ＳＢＲツールの高周波生成器は複製処理においてこれらのサンプルを必要とする。それ故、これらの低いサブバンドのサンプルもまた「変換されていない」ものとして利用可能である必要がある。このことは、これらのサブバンドにおいて、ＤＴ個のサブバンドサンプルの追加の（ここでも複素の）遅延を必要とする。複素サンプルの実数値に対して実行される合成操作と複素数値に対して実行される合成操作とは等しくても良い。
【００１５】
図５は、パラメトリックステレオを提供する、本発明の実施例による有利なオーディオデコーダを示す。ビットストリームはモノラルパラメータ／係数とステレオパラメータとに分割される。最初に、従来のモノラルデコーダが（下位互換の）モノラル信号を得るために利用される。該信号はサブバンドフィルタバンクによって分析され、前記信号を幾つかのサブバンド信号に分割する。前記ステレオパラメータは、前記サブバンド信号をサブバンド信号の２つのセットに加工するために利用される。一方は左チャネル用、他方は右チャネル用である。２つのサブバンド合成フィルタを利用して、これらの信号は時間ドメインに変換され、ステレオ（左及び右）信号に帰着する。ステレオ処理ブロックは図３に示される。
【００１６】
図６は、パラメトリックステレオをＳＢＲと組み合わせる、本発明の実施例による有利なオーディオデコーダを示す。ビットストリームは、モノラルパラメータ／係数、ＳＢＲパラメータ、及びステレオパラメータに分割される。最初に、従来のモノラルデコーダが（下位互換の）モノラル信号を得るために利用される。該信号はサブバンドフィルタバンクによって分析され、前記信号を幾つかのサブバンド信号に分割する。ＳＢＲパラメータを利用することにより、ことによると分析フィルタバンクよりも多いサブバンドを利用して、より多くのＨＦ成分が生成される。前記ステレオパラメータは、前記サブバンド信号をサブバンド信号の２つのセットに加工するために利用される。一方は左チャネル用、他方は右チャネル用である。２つのサブバンド合成フィルタを利用することにより、これらの信号は時間ドメインに変換され、ステレオ（左及び右）信号に帰着する。ステレオ処理ブロックは図３のブロック図に示される。
【００１７】
上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付された請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧の間に配置されたいずれの参照記号も、請求の範囲を制限するものとして解釈されるべきではない。要素又はステップに先行する不定冠詞「１つの（a又はan）」の使用は、複数のかような要素又はステップの存在を除外するものではない。動詞「有する（comprise）」及びその語形変化の使用は、請求項に述べられたもの以外の要素又はステップの存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列挙する装置請求項において、これらの手段の幾つかは同一のハードウェアによって実施化されても良い。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に利用されることができないということを示すものではない。
【図面の簡単な説明】
【００１８】
【図１】パラメトリックステレオデコーダのブロック図を示す。
【図２】ＳＢＲ技術を利用するオーディオデコーダのブロック図を示す。
【図３】本発明の実施例による、サブバンドドメインにおけるパラメトリックステレオ処理を示す。
【図４】図３の変換−逆変換ＴＴ−１により生じる遅延を示すブロック図である。
【図５】パラメトリックステレオを提供する、本発明の実施例による有利なオーディオデコーダを示す。
【図６】パラメトリックステレオをＳＢＲと組み合わせる、本発明の実施例による有利なオーディオデコーダを示す。
【図１】
0004834539.tif 000002
【図２】
0004834539.tif 000003
【図３】
0004834539.tif 000004
【図４】
0004834539.tif 000005
【図５】
0004834539.tif 000006
【図６】
0004834539.tif 000007