(57)【要約】【解決手段】  フレームシーケンスを持つオーディオ信号の処理後表現は、フレームシーケンスのうち第１のフレームおよび第２のフレーム内でオーディオ信号を、第１および第２のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第１のサンプリング後表現を導き出すことによって生成される。尚、第２のフレームは第１のフレームの後である。オーディオ信号は、第２および第３のフレーム内でサンプリングされる。尚、フレームシーケンスにおいて、第３のフレームは第２のフレームの後である。このサンプリングは、第２のフレームのピッチ輪郭に関する情報および第３のフレームのピッチ輪郭に関する情報を用いて行われ、第２のサンプリング後表現を導き出す。第１のスケーリング窓が第１のサンプリング後表現について導き出され、第２のスケーリング窓が第２のサンプリング後表現について導き出される。スケーリング窓は、第１のサンプリング後表現または第２のサンプリング後表現を導き出すために適用されたサンプリングに応じて決まる。【選択図】  図１
2010532883.tif 000002
【特許請求の範囲】
【請求項１】
フレームシーケンスを持つオーディオ信号の処理後表現を生成するオーディオプロセッサであって、
前記フレームシーケンスのうち第１のフレームおよび第２のフレーム内で前記オーディオ信号を、前記第１および第２のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第１のサンプリング後表現を導き出し、前記第２のフレームおよび第３のフレーム内で前記オーディオ信号を、前記第２のフレームのピッチ輪郭に関する情報および前記第３のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第２のサンプリング後表現を導き出すサンプラと、
前記第１のサンプリング後表現に対する第１のスケーリング窓、および、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す変換窓算出器と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用して、前記オーディオ信号の前記第１、第２、および第３のフレームの処理後表現を導き出す窓掛け部と
を備え、
前記フレームシーケンスにおいて、前記第２のフレームは前記第１のフレームの後であり、前記第３のフレームは前記第２のフレームの後であり、
前記第１および第２のスケーリング窓は、前記第１のサンプリング後表現または前記第２のサンプリング後表現を導き出すために適用された前記サンプリングに応じて決まる
オーディオプロセッサ。
【請求項２】
前記サンプラは、前記第１および第２のサンプリング後表現内でのピッチ輪郭が、対応する前記第１、第２、および第３のフレーム内での前記オーディオ信号のピッチ輪郭よりも一定となるように、前記オーディオ信号をサンプリングする
請求項１に記載のオーディオプロセッサ。
【請求項３】
前記サンプラは、前記第１、第２、および、第３のフレームのそれぞれにおいてＮ個のサンプルを持つサンプリング後オーディオ信号を、前記第１および第２のサンプリング後表現のそれぞれが、２Ｎ個のサンプルを含むように、リサンプリングする
請求項１に記載のオーディオプロセッサ。
【請求項４】
前記サンプラは、前記第１および第２のフレームの前記２Ｎ個のサンプルのうち元のサンプリング位置ｋと（ｋ＋１）との間の割合ｕによって与えられる位置における前記第１のサンプリング後表現のサンプルｉを導き出し、前記割合ｕは、前記サンプラによって用いられるサンプリング位置と前記第１および第２のフレームの前記サンプリング後オーディオ信号の元のサンプリング位置とを関連付ける時間輪郭に応じて決まる
請求項３に記載のオーディオプロセッサ。
【請求項５】
前記サンプラは、
【数１０】
2010532883.tif 000013
に従って前記フレームのピッチ輪郭ｐｉから導き出される時間輪郭を利用し、前記第１のサンプリング後表現に対する基準時間間隔Ｉは、
【数１１】
2010532883.tif 000014
に従って前記ピッチ輪郭ｐｉから導き出されるピッチ指標Ｄから導き出される
請求項４に記載のオーディオプロセッサ。
【請求項６】
前記変換窓算出器は、サンプル数が同数のスケーリング窓を導き出し、前記第１のスケーリング窓をフェードアウトするために用いられるサンプルの数である第１の数と、前記第２のスケーリング窓にフェードインするために用いられるサンプルの数である第２の数とは互いに異なる
請求項１に記載のオーディオプロセッサ。
【請求項７】
前記変換窓算出器は、組み合わせられた前記第１および第２のフレームの平均ピッチが、組み合わせられた前記第２および第３のフレームの平均ピッチよりも高い場合に、前記第２のスケーリング窓のサンプル数である第２の数よりも少ない第１の数のサンプルを持つ第１のスケーリング窓を導き出すか、または、組み合わせられた前記第１および第２のフレームの平均ピッチが、組み合わせられた前記第２および第３のフレームの平均ピッチよりも低い場合に、前記第２のスケーリング窓のサンプル数である前記第２の数よりも多い前記第１の数のサンプルを持つ第１のスケーリング窓を導き出す
請求項１に記載のオーディオプロセッサ。
【請求項８】
前記変換窓算出器は、フェードアウトするべく用いられるサンプルより前の複数のサンプルおよびフェードインするべく用いられるサンプルの後の複数のサンプルが１に設定され、フェードアウトするべく用いられるサンプルの後およびフェードインするべく用いられるサンプルの前の複数のサンプルは０に設定されるスケーリング窓を導き出す
請求項６に記載のオーディオプロセッサ。
【請求項９】
前記変換窓算出器は、サンプル０、・・・、２Ｎ−１を持つ前記第１および第２のフレームの第１のピッチ指標Ｄｊと、サンプルＮ、・・・、３Ｎ−１を持つ前記第２および第３のフレームの第２のピッチ指標Ｄｊ＋１とに基づいて、フェードインおよびフェードアウトするべく用いられるサンプルの数を導き出し、フェードインするべく用いられるサンプルの数は、
【数１２】
2010532883.tif 000015
であり、
フェードアウトするべく用いられるサンプルの数である前記第１の数は、
【数１３】
2010532883.tif 000016
であり、
前記第１および第２のピッチ指標ＤｊおよびＤｊ＋１は、
【数１４】
2010532883.tif 000017
に従ってピッチ輪郭ｐｉから導き出される
請求項８に記載のオーディオプロセッサ。
【請求項１０】
前記窓算出器は、前記第１および第２の数のサンプルと同数のサンプルを持つ所定のフェードイン窓およびフェードアウト窓をリサンプリングすることによって、前記第１および第２の数のサンプルを導き出す
請求項８に記載のオーディオプロセッサ。
【請求項１１】
前記窓掛け部は、前記第１のサンプリング後表現に対して前記第１のスケーリング窓を適用することによって第１のスケーリングされたサンプリング後表現を導き出し、前記第２のスケーリング後表現に対して前記第２のスケーリング窓を適用することによって第２のスケーリングされたサンプリング後表現を導き出す
請求項１に記載のオーディオプロセッサ。
【請求項１２】
前記窓掛け部はさらに、第１のスケーリング後リサンプリング後表現の第１の周波数領域表現を導き出し、第２のスケーリング後リサンプリング後表現の第２の周波数領域表現を導き出す周波数領域変換部を有する
請求項１に記載のオーディオプロセッサ。
【請求項１３】
前記第１、第２および第３のフレームのピッチ輪郭を導き出すピッチ推定部
をさらに備える請求項１に記載のオーディオプロセッサ。
【請求項１４】
前記第１および第２の周波数領域表現と、前記第１、第２および第３のフレームのピッチ輪郭とを、前記第２のフレームの符号化表現として、出力する出力インターフェース
をさらに備える請求項１２に記載のオーディオプロセッサ。
【請求項１５】
第２のフレームが第１のフレームの後に来るフレームシーケンスを持つオーディオ信号の前記第１および第２のフレームの第１のサンプリング後表現を処理し、前記オーディオ信号の前記フレームシーケンスにおいて前記第２のフレームの後に来る第３のフレームおよび前記第２のフレームの第２のサンプリング後表現を処理するオーディオプロセッサであって、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、前記第１のサンプリング後表現に対する第１のスケーリング窓を導き出し、且つ、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す変換窓算出器と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用する窓掛け部と、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第１のサンプリング後表現をリサンプリングして、第１のリサンプリング後表現を導き出し、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第２のサンプリング後表現をリサンプリングして、第２のリサンプリング後表現を導き出すリサンプラと
を備え、
前記第１および第２のスケーリング窓は、同数のサンプルを持ち、前記第１のスケーリング窓をフェードアウトするために用いられるサンプルの数である第１の数と、前記第２のスケーリング窓にフェードインするために用いられるサンプルの数である第２の数とは互いに異なり、
前記リサンプリングは、導き出された前記第１および第２のスケーリング窓に応じている
オーディオプロセッサ。
【請求項１６】
前記第２のフレームに対応する前記第１のリサンプリング後表現の一部分と、前記第２のフレームに対応する前記第２のリサンプリング後表現の一部分とを加算して、前記オーディオ信号の前記第２のフレームの再構成表現を導き出す加算器
をさらに備える請求項１５に記載のオーディオプロセッサ。
【請求項１７】
フレームシーケンスを持つオーディオ信号の処理後表現を生成する方法であって、
前記フレームシーケンスのうち第１のフレームおよび前記第１のフレームの後の第２のフレーム内で前記オーディオ信号を、前記第１および第２のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第１のサンプリング後表現を導き出す段階と、
前記第２のフレームおよび前記第２のフレームの後の第３のフレーム内で前記オーディオ信号を、前記第２のフレームのピッチ輪郭に関する情報および前記第３のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第２のサンプリング後表現を導き出す段階と、
前記第１のサンプリング後表現を導き出すために適用された前記サンプリングに応じて決まる、前記第１のサンプリング後表現に対する第１のスケーリング窓、および、前記第２のサンプリング後表現を導き出すために適用された前記サンプリングに応じて決まる、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す段階と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用する段階と
を備える方法。
【請求項１８】
第２のフレームが第１のフレームの後に来るフレームシーケンスを持つオーディオ信号の前記第１および第２のフレームの第１のサンプリング後表現を処理し、前記オーディオ信号の前記フレームシーケンスにおいて前記第２のフレームの後に来る第３のフレームおよび前記第２のフレームの第２のサンプリング後表現を処理する方法であって、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、前記第１のサンプリング後表現に対する第１のスケーリング窓を導き出し、且つ、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、第１のスケーリング窓とサンプル数が同数になるように導き出され、フェードインするために用いられるサンプルの第２の数が前記第１のスケーリング窓をフェードアウトするために用いられるサンプルの第１の数と互いに異なる、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す段階と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用する段階と、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第１のサンプリング後表現を、導き出された前記第１のスケーリング窓に応じてリサンプリングして、第１のリサンプリング後表現を導き出し、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第２のサンプリング後表現を、導き出された前記第２のスケーリング窓に応じてリサンプリングして、第２のリサンプリング後表現を導き出す段階と
を備える方法。
【請求項１９】
前記第２のフレームに対応する前記第１のリサンプリング後表現の一部分と、前記第２のフレームに対応する前記第２のリサンプリング後表現の一部分とを加算して、前記オーディオ信号の前記第２のフレームの再構成表現を導き出す段階
をさらに備える請求項１８に記載の方法。
【請求項２０】
コンピュータで実行されると、フレームシーケンスを持つオーディオ信号の処理後表現を生成する方法を実行するためのコンピュータプログラムであって、前記方法は、
前記フレームシーケンスのうち第１のフレームおよび前記第１のフレームの後の第２のフレーム内で前記オーディオ信号を、前記第１および第２のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第１のリサンプリング後表現を導き出す段階と、
前記第２のフレームおよび前記第２のフレームの後の第３のフレーム内で前記オーディオ信号を、前記第２のフレームのピッチ輪郭に関する情報および前記第３のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第２のサンプリング後表現を導き出す段階と、
前記第１のサンプリング後表現を導き出すために適用された前記サンプリングに応じて決まる、前記第１のサンプリング後表現に対する第１のスケーリング窓、および、前記第２のサンプリング後表現を導き出すために適用された前記サンプリングに応じて決まる、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す段階と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用する段階と
を備えるコンピュータプログラム。
【請求項２１】
コンピュータで実行されると、第２のフレームが第１のフレームの後に来るフレームシーケンスを持つオーディオ信号の前記第１および第２のフレームの第１のサンプリング後表現を処理し、前記オーディオ信号の前記フレームシーケンスにおいて前記第２のフレームの後に来る第３のフレームおよび前記第２のフレームの第２のサンプリング後表現を処理する方法を実行するためのコンピュータプログラムであって、前記方法は、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、前記第１のサンプリング後表現に対する第１のスケーリング窓を導き出し、且つ、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、前記第１のスケーリング窓とサンプル数が同数になるように導き出され、フェードインするために用いられるサンプルの第２の数が前記第１のスケーリング窓をフェードアウトするために用いられるサンプルの第１の数と互いに異なる、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す段階と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用する段階と、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第１のサンプリング後表現を、導き出された前記第１のスケーリング窓に応じてリサンプリングして、第１のリサンプリング後表現を導き出し、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第２のサンプリング後表現を、導き出された前記第２のスケーリング窓に応じてリサンプリングして、第２のリサンプリング後表現を導き出す段階と
を備えるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、フレームから成るオーディオ信号の処理後表現を、ピッチ依存サンプリングおよびリサンプリングに基づいて、生成するオーディオプロセッサに関する。
【背景技術】
【０００２】
変調フィルタバンクに対応するコサインまたはサインをベースとした変調重複変換は、エネルギー圧縮特性のために、ソースコーディングの分野において利用される場合が多い。つまり、一定の基本周波数（ピッチ）を持つ高調波成分について、信号エネルギーを少数のスペクトル成分（サブバンド）に集中させることによって、効率よく信号が表現される。一般的に、信号のピッチとは、信号のスペクトルから識別可能な最低優位（ｄｏｍｉｎａｎｔ）周波数であると理解されたい。通常の音声モデルでは、ピッチとは、人間の喉によって変調された励起信号の周波数である。存在する基本周波数が１つのみである場合、スペクトルは非常に簡潔であり、基本周波数および高調波成分のみを含む。このようなスペクトルは非常に効率よくコーディングされ得る。しかし、ピッチが変化する信号については、各高調波成分に対応するエネルギーが複数の変換係数にまたがっているので、コーディング効率が低減してしまう。
【０００３】
ピッチが変化する信号のコーディング効率を改善するための方法の１つに、まず実質的に一定のピッチを持つ離散時間型信号を形成することが挙げられる。このためには、サンプリングレートをピッチに比例させて変化させる。つまり、変換を適用する前に、ピッチが信号期間全体にわたって可能な限り一定となるように、信号全体をリサンプリングすることができる。これは、非等間隔サンプリングによって実現され得る。非等間隔サンプリングによると、サンプリング間隔が、局所的に調節可能で、リサンプリング後の信号が、等間隔サンプルに基づいて解釈されると、元々の信号よりは通常平均ピッチにより近いピッチ輪郭を持つように、選択される。このため、ピッチ輪郭は、ピッチの局所的なバラツキと理解されたい。局所的なバラツキは、例えば、時間またはサンプル数の関数として、パラメータ化され得る。
【０００４】
同様に、この処理は、等間隔サンプリング前に行われる、サンプリング済み信号または連続信号の時間軸のリスケーリングと見なされ得る。このような時間の変換は、ワーピングとしても知られている。略一定のピッチを持つように事前に処理された信号に対して周波数変換を適用すると、概して一定のピッチを持つ信号については実現可能であるコーディング効率に、近づき得る。
【０００５】
しかし、従来の方法には、いくつか欠点がある。第一に、信号全体を処理する際には必要となるが、広い範囲にわたってサンプリングレートが変動すると、サンプリング定理のために、信号帯域幅が大きく変動してしまう。第二に、所定数の入力サンプルを表現する各変換係数ブロックは、元々の信号における可変長の時間セグメントを表すことになる。このため、コーディング遅延が限定されるアプリケーションが略不可能になると共に、同期化が困難になる。
【０００６】
国際特許出願第２００７／０５１５４８号の出願人によって別の方法が提案されている。フレーム単位でワーピングを実行する方法が提案されている。しかし、この方法を実現するには、適用可能なワーピング輪郭について望ましくない制限を設けなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このため、コーディング効率を向上させると同時に符号化および復号化されたオーディオ信号について高品質を維持するための別の方法が求められている。
【課題を解決するための手段】
【０００８】
本発明の実施形態は、ブロックベースの変換における変換係数の１セットに寄与する各入力ブロックの期間内において（略）一定のピッチを実現するべく、各信号ブロック（オーディオフレーム）内で信号を局所的に変換することによって、コーディング効率の改善を実現する。このような入力ブロックは、例えば、周波数領域変換として修正離散コサイン変換が利用される場合、オーディオ信号の２つの連続するフレームから形成され得る。
【０００９】
修正離散コサイン変換（ＭＤＣＴ）のような変調重複変換を用いる場合、周波数領域変換に入力される２つの連続するブロックは、ブロック境界での信号のクロスフェードを可能とするべく、例えば、ブロック単位での処理による可聴アーチファクトを抑えるべく、互いに重複する。非重複変換と比べると、変換係数の数の増加は、クリティカルサンプリングによって回避される。しかし、ＭＤＣＴでは、１つの入力ブロックに対して順変換および逆変換を適用しても、クリティカルサンプリングのためにアーチファクトが再構成信号に入ってしまうので、完全な再構成は行われない。入力ブロックと順変換および逆変換で生成された信号との差異は通常、「時間領域エリアシング」と呼ばれる。しかし、ＭＤＣＴ方式では、再構成後に複数の再構成ブロックをブロック幅の半分にわたって重複させることと、重複されたサンプルを追加することとによって、入力信号は完全に再構成され得る。一部の実施形態によると、修正直接コサイン変換のこのような特徴は、元の信号がブロック単位で時間ワーピングされたとしても（これは、局所的適応サンプリングレートの適用に等しい）、維持され得る。
【００１０】
前述したように、局所的適応サンプリングレート（変動サンプリングレート）を用いるサンプリングは、ワーピングされた時間スケールにおいて、均一なサンプリングとみなされ得る。このような観点からすると、サンプリング前に時間スケールを圧縮すると、実効サンプリングレートが低くなってしまう一方、伸長すると元の信号の実効サンプリングレートが高くなる。
【００１１】
発生し得るアーチファクトを補償するべく再構成において重複および追加を行う周波数変換またはその他の変換を考慮すると、時間領域エリアシング除去は、２つの連続するブロックの重複領域において同じワーピング（ピッチ補正）が適用されれば、効果を発する。このため、元の信号はワーピングを反転させると再構成され得る。これは、２つの互いに重複する変換ブロックにおいて異なる局所サンプリングレートが選択される時も、対応する連続的な時間信号の時間領域エリアシングはサンプリング定理が満たされている限り除去されるので、真である。
【００１２】
一部の実施形態によると、各変換ブロック内の信号を時間ワーピングさせた後のサンプリングレートは、各ブロックについて個別に選択される。こうすることによって、所定数のサンプルが変わらず、所定期間の入力信号セグメントを表すという効果が得られる。また、第１のサンプリング後表現と第２のサンプリング後表現との間の重複信号部分が各サンプリング後表現信号と同様または同一のピッチ輪郭を持つように、オーディオ信号のピッチ輪郭に関する情報に基づいて重複する変換ブロック内でオーディオ信号をサンプリングするサンプラを用いるとしてよい。サンプリングに用いられるピッチ輪郭またはピッチ輪郭に関する情報は、信号のピッチとピッチ輪郭に関する情報（ピッチ輪郭）との間に一義的な相関関係がある限り、任意で導き出され得る。利用されるピッチ輪郭に関する情報は、例えば、絶対ピッチ、相対ピッチ（ピッチ変化）、絶対ピッチの一部、またはピッチに一義的に依存する関数であってよい。上述したようなピッチ輪郭に関する情報を選択すると、第２のフレームに対応する第１のサンプリング後表現の部分は、第２のフレームに対応する第２のサンプリング後表現の部分のピッチ輪郭と同様のピッチ輪郭を持つことになる。この類似性とは、例えば、互いに対応する信号部分のピッチ値の比率が略一定、つまり、比率が所定の許容範囲内というものであってよい。このためサンプリングは、第２のフレームに対応する第１のサンプリング後表現の部分のピッチ輪郭が、第２のフレームに対応する第２のサンプリング後表現の部分のピッチ輪郭に対して所定の許容範囲内にあるように実行され得る。
【００１３】
信号の複数の変換ブロックは異なるサンプリング周波数またはサンプリング間隔でリサンプリングされ得るので、後続の変換コーディングアルゴリズムで効率的に符号化され得る入力ブロックが形成される。これは、ピッチ輪郭が連続的である限り、そのほかに制限を追加することなく、ピッチ輪郭に関して導き出された情報を適用して、実現され得る。
【００１４】
１つの入力ブロックにおいて導き出せる相対的なピッチ変化がない場合であっても、導き出せるピッチ変化がない信号間隔または信号ブロックの境界内および境界において、ピッチ輪郭が一定に維持され得る。これは、複素信号の場合に発生し得ることであるが、ピッチ追跡が失敗または誤りであった場合に、有効であり得る。この場合であっても、変換コーディング前のピッチ調整またはリサンプリングによって、アーチファクトがさらに発生することはない。
【００１５】
入力ブロック内での独立したサンプリングは、周波数領域変換の前または最中に適用される特定の変換窓（スケーリング窓）を用いることによって、実行され得る。一部の実施形態によると、これらのスケーリング窓は、変換ブロックに対応付けられているフレームのピッチ輪郭に依存している。一般的には、スケーリング窓は、第１のサンプリング後表現または第２のサンプリング後表現を導き出すために適用されるサンプリングに依存する。つまり、第１のサンプリング後表現のスケーリング窓は、第１のスケーリング窓のみを導き出すために適用されるサンプリングに依存するとしてよく、第２のスケーリング窓のみを導き出すために適用されるサンプリングに依存するとしてよく、または、第１のスケーリング窓を導き出すために適用されるサンプリングおよび第２のスケーリング窓を導き出すために適用されるサンプリングの両方に依存するとしてよい。第２のサンプリング後表現についてのスケーリング窓についても同じである。
【００１６】
このため、重複および追加による再構成において、重複し合う後続のブロックは常に２つまでであることが確実となり、時間領域エリアシング除去が可能となる。
【００１７】
特に、一部の実施形態によると、変換のスケーリング窓は、各変換ブロックを２つに分割したそれぞれの部分において異なる形状を持ち得るように形成されている。これは、窓の各半分が、共通の重複間隔内において、隣接するブロックの窓半分と共に、エリアシング除去条件を満たしている限り可能である。
【００１８】
２つの重複し合うブロックのサンプリングレートは異なる場合がある（同一サンプルに対応する元のオーディオ信号の複数の値が異なる）ので、同一数のサンプルが信号の複数の異なる部分（信号形状）に対応し得る。しかし、前述の要件は、対応して重複するブロックよりも実効サンプリングレートが低いブロックについて遷移長（サンプル）を低減することによって、満足させられ得る。つまり、入力ブロック毎にサンプル数が同一となるスケーリング窓を提供する変換窓算出器またはスケーリング窓算出方法を利用し得る。しかし、第１の入力ブロックからのフェードアウトのために用いられるサンプル数は、第２の入力ブロックへのフェードインに用いられるサンプル数とは異なる場合がある。このため、重複し合う入力ブロックのサンプリング後表現（第１のサンプリング後表現および第２のサンプリング後表現）について、当該入力ブロックに適用されたサンプリングに依存するスケーリング窓を用いることによって、重複し合う入力ブロック内で異なるサンプリングが実現されると共に、時間領域エリアシング除去における重複および追加による再構成の機能が保持される。
【００１９】
要約すると、ピッチ輪郭について追加で修正を必要とすることなく、同時に、後続の周波数領域変換を用いて効率よくコーディングされ得る、入力ブロックのサンプリング後表現が実現されつつ、理想的に決定されたピッチ輪郭が使用され得る。
【図面の簡単な説明】
【００２０】
本発明の実施形態を添付図面を参照しつつ以下で説明する。添付図面は以下の通りである。
【００２１】
【図１】フレームシーケンスを持つオーディオ信号の処理後表現を生成するオーディオプロセッサの実施形態を示す図である。
【００２２】
【図２】（Ａ）−（Ｂ）は適用されるサンプリングに応じたスケーリング窓を用いて、オーディオ入力信号のピッチ輪郭に応じてオーディオ入力信号をサンプリングする例を示す図である。
【００２３】
【図３】サンプリングに用いられるサンプリング位置と、等間隔サンプルの入力信号のサンプリング位置とをどのように関連付けるかその例を示す図である。
【００２４】
【図４】サンプリングのサンプリング位置を決定するべく利用される時間輪郭の例を示す図である。
【００２５】
【図５】スケーリング窓の実施形態を示す図である。
【００２６】
【図６】処理対象であるオーディオフレームシーケンスに対応付けられるピッチ輪郭の例を示す図である。
【００２７】
【図７】サンプリングされた変換ブロックに適用されるスケーリング窓を示す図である。
【００２８】
【図８】図６のピッチ輪郭に対応するスケーリング窓を示す図である。
【００２９】
【図９】処理対象であるオーディオ信号のフレームシーケンスのピッチ輪郭の別の例を示す図である。
【００３０】
【図１０】図９に示すピッチ輪郭に用いられるスケーリング窓を示す図である。
【００３１】
【図１１】線形時間スケールに変換された図１０のスケーリング窓を示す図である。
【００３２】
【図１１Ａ】フレームシーケンスのピッチ輪郭の別の例を示す図である。
【００３３】
【図１１Ｂ】図１１Ａに対応するスケーリング窓を線形時間スケールで示す図である。
【００３４】
【図１２】オーディオ信号の処理後表現を生成する方法の実施形態を示す図である。
【００３５】
【図１３】オーディオフレームシーケンスから構成されるオーディオ信号のサンプリング後表現を処理するプロセッサの実施形態を示す図である。
【００３６】
【図１４】オーディオ信号のサンプリング後表現を処理する方法の実施形態を示す図である。
【発明を実施するための形態】
【００３７】
図１は、フレームシーケンスを持つオーディオ信号の処理後表現を生成するオーディオプロセッサ１０（入力信号）実施形態を示す図である。オーディオプロセッサ２は、オーディオプロセッサ２に入力されるオーディオ信号１０（入力信号）をサンプリングして、周波数領域変換の行うための信号ブロック（サンプリング後表現）を導き出すサンプラ４を備える。オーディオプロセッサ２はさらに、サンプラ４から出力されるサンプリング後表現のためのスケーリング窓を導き出す変換窓算出器６を備える。サンプリング後表現およびスケーリング窓は、スケーリング窓を、サンプラ４によって導き出されたサンプリング後表現に適用する窓掛け部８に入力される。一部の実施形態によると、窓掛け部は、スケーリング後のサンプリング後表現の周波数領域表現を導き出すべく、周波数領域変換器８ａをさらに有するとしてよい。この周波数領域表現はその後、処理されるとしてもよいし、または、オーディオ信号１０の符号化表現として送信されるとしてもよい。オーディオプロセッサはさらに、オーディオプロセッサに与えられ得る、または、別の実施形態によるとオーディオプロセッサ２によって導き出され得る、オーディオ信号のピッチ輪郭１２を利用する。このため、オーディオプロセッサ２は、ピッチ輪郭を導き出すためのピッチ推測部を任意で備えるとしてよい。
【００３８】
サンプラ４は、連続的なオーディオ信号に対して処理を行うとしてもよいし、またはこれに代えて、オーディオ信号の事前サンプリング後表現に対して処理を行うとしてもよい。後者の場合、サンプラは、図２の（Ａ）から（Ｄ）に示すように、入力に与えられるオーディオ信号をリサンプリングするとしてよい。サンプラは、互いに隣接して重複するオーディオブロックを、重複部分がサンプリング後には各入力ブロック内と同一または同様のピッチ輪郭を持つように、サンプリングする。
【００３９】
事前にサンプリングが施されたオーディオ信号については、図３および図４を参照しつつより詳細に説明する。
【００４０】
変換窓算出器６は、サンプラ４によって実行されたリサンプリングに応じて、オーディオブロックに対するスケーリング窓を導き出す。このために、サンプラによって用いられるリサンプリングルールを定義するべくサンプリングレート調整ブロック１４を任意で設けるとしてよい。尚、リサンプリングルールは、変換窓算出器に与えられる。代替実施形態によると、サンプリングレート調整ブロック１４は省略するとしてよく、ピッチ輪郭１２は変換窓算出器６に直接与えられて、変換窓算出器６が自身で適切な計算を行うとしてよい。さらに、サンプラ４は、適切なスケーリング窓の算出を可能とするべく、適用したサンプリングを変換窓算出器６に通知するとしてよい。
【００４１】
リサンプリングは、サンプラ４によってサンプリングされたサンプリング済みオーディオブロックのピッチ輪郭が、入力ブロック内の元のオーディオ信号のピッチ輪郭よりも、一定になるように実行される。このために、図２の（Ａ）および（Ｄ）に示す具体例に示されるように、ピッチ輪郭が評価される。
【００４２】
図２の（Ａ）は、事前サンプリング後の入力オーディオ信号のサンプル数の関数として、線形に減衰するピッチ輪郭を示す図である。つまり、図２の（Ａ）から（Ｄ）は、入力オーディオ信号が既にサンプル値として与えられる状況を示している。しかし、より明確に概念を説明することを目的として、リサンプリング前およびリサンプリング後（時間スケールをワーピング）のオーディオ信号もまた、連続的な信号として図示されている。図２の（Ｂ）は、高周波数から低周波数へと低減していく掃引周波数を持つサイン信号１６の例を示す図である。この挙動は、任意の単位で図示されている、図２の（Ａ）のピッチ輪郭に対応する。再度指摘すると、時間軸の時間ワーピングは、局所的に適応可能なサンプリング間隔で信号をリサンプリングすることに等しい。
【００４３】
重複および追加による処理を説明するべく、図２の（Ｂ）は、オーディオ信号の３つの連続するフレーム２０ａ、２０ｂ、および２０ｃを図示している。これら３つの連続するフレーム２０ａ、２０ｂ、および２０ｃは、重複を１フレームとして（フレーム２０ｂ）ブロック単位で処理される。つまり、第１のフレーム２０ａおよび第２のフレーム２０ｂのサンプルを有する第１の信号ブロック２２（信号ブロック１）が処理およびリサンプリングされて、第２のフレーム２０ｂおよび第３のフレーム２０ｃのサンプルを有する第２の信号ブロック２４は別個にリサンプリングされる。第１の信号ブロック２２がリサンプリングされると、図２の（Ｃ）に示すような第１のリサンプリング後表現２６が導き出され、第２の信号ブロック２４がリサンプリングされると、図２の（Ｄ）に示すような第２のリサンプリング後表現２８が導き出される。しかし、サンプリングは、重複フレーム２０ｂに対応する部分が、第１のサンプリング後表現２６および第２のサンプリング後表現２８と、同一またはわずかに異なる（所定の許容範囲内で同一）ピッチ輪郭を持つように実行される。これは、言うまでもなく、サンプル数に関してピッチが推定される場合にのみ真である。第１の信号ブロック２２は、（理想的な）一定のピッチを持つ第１のリサンプリング後表現２６へとリサンプリングされる。このように、周波数領域変換に対する入力として、リサンプリング後表現２６のサンプル値を利用するので、導き出される周波数係数は理想的にも１つのみとなる。これは、オーディオ信号の非常に効率の良い表現であることが明らかである。リサンプリングがどのように実行されるかに関する詳細な内容は、図３および図４を参照しつつ以下で後述する。図２の（Ｃ）から明らかとなるように、等間隔サンプリング後表現では時間軸に対応するサンプル位置の軸（ｘ軸）が変更されて、その結果得られる信号はピッチ周波数が１つのみとなる形状を取るように、リサンプリングが実行される。これは、時間軸の時間ワーピング、および、後続して行われる、第１の信号ブロック２２の信号の時間ワーピング後表現の等間隔サンプリングに対応する。
【００４４】
第２の信号ブロック２４は、第２のリサンプリング後表現２８の重複フレーム２０ｂに対応する信号部分が、リサンプリング後表現２６の対応する信号部分と、同一またはわずかに異なるピッチ輪郭を持つようにリサンプリングされる。しかし、サンプリングレートは異なる。つまり、リサンプリング後表現の同一の信号形状が、異なる数のサンプルによって表現される。しかし、各リサンプリング後表現は、変換コーダによってコーディングされると、ゼロでない周波数係数の数が限定されている非常に高効率な符号化表現となる。
【００４５】
リサンプリングによって、図２の（Ｃ）に示すように、信号ブロック２２の前半の信号部分は、リサンプリング後表現の信号ブロックの後半に属するサンプルへとシフトされる。特に、網掛けされた領域３０および第２のピーク（「ＩＩ」で示す）に対して右側の対応する信号は、リサンプリング後表現２６の右半分へとシフトされるので、リサンプリング後表現２６のサンプルの後半によって表現される。しかし、これらのサンプルに対応する信号部分は、図２の（Ｄ）に示すリサンプリング後表現２８の左半分にはない。
【００４６】
つまり、リサンプリングにおいて、サンプリングレートは、周波数解像度がＮで最大窓長さが２Ｎの場合にＮ個のサンプルを含む、ブロック中心の線形時間において一定の期間が実現されるように各ＭＤＣＴブロックについて決定される。前述した図２の（Ａ）から（Ｄ）の例によると、Ｎ＝１０２４であり、このため２Ｎ＝２０４８となる。リサンプリングでは、必要とされる位置で実際の信号の補間が実行される。サンプリングレートが異なり得る２つのブロックが重複しているので、リサンプリングは、入力信号の各時間セグメント（フレーム２０ａから２０ｃのうち１つに等しい）に対して２回実行されなければならない。符号化器または符号化を実行するオーディオプロセッサを制御するピッチ輪郭と同一のピッチ輪郭が、オーディオ復号器で実装され得るように、変換およびワーピングを反転させるために必要な処理を制御するべく利用され得る。一部の実施形態によると、ピッチ輪郭はこのため副次的情報として送信される。一部の実施形態に係る符号化器は、符号化器と対応する復号器との間で不一致が発生するのを避けるべく、元々導き出されたピッチ輪郭または元々入力されたピッチ輪郭ではなく、符号化され、その後で、復号化されたピッチ輪郭を用いる。しかし、これに代えて、導き出されたピッチ輪郭または入力されたピッチ輪郭をそのまま用いるとしてもよい。
【００４７】
重複および追加による再構成において、対応する信号部分のみが重複することを確実にするべく、適切なスケーリング窓が導き出される。このようなスケーリング窓は、元の信号のうち異なる信号部分は、前述したリサンプリングによってそうなるように、リサンプリング後表現の対応する窓半分部分において表現されるという影響を考慮しなければならない。
【００４８】
適切なスケーリング窓は、符号化の対象となる信号について導き出されるとしてよく、第１および第２のサンプリング後表現２６および２８を導き出すために適用されたサンプリングまたはリサンプリングに応じて変化する。図２の（Ｂ）に図示した元の信号および図２の（Ａ）に図示したピッチ輪郭の例では、第１のサンプリング後表現２６の窓後半について、および、第２のサンプリング後表現２８の窓前半について適切なスケーリング窓はそれぞれ、第１のスケーリング窓３２（後半）および第２のスケーリング窓３４（第２のサンプリング後表現２８の最初の１０２４個のサンプルに対応する窓の左半分）によって与えられる。
【００４９】
第１のサンプリング後表現２６の網掛け領域３０内の信号部分は、第２のサンプリング後表現２８の窓前半において対応する信号部分がないので、網掛け領域内の信号部分は第１のサンプリング後表現２６によって完全に再構成されなければならない。これが実現され得るのは、ＭＤＣＴ再構成では、対応するサンプルがフェードインまたはフェードアウトに利用されていない場合、つまり、サンプルがスケーリング係数「１」を受け取る場合である。このため、網掛け領域３０に対応するスケーリング窓３２のサンプルは、「１」に設定される。同時に、スケーリング窓の終端において同数のサンプルを「０」に設定すべきである。これは、これらのサンプルが、ＭＤＣＴ変換および逆変換に固有の特性によって、第１の網掛け領域３０のサンプルと混同されないようにするためである。
【００５０】
（適用された）リサンプリングによって、重複する窓セグメントについて同一の時間ワーピングが行われており、第２の網掛け領域３６のサンプルもまた第２のサンプリング後表現２８の窓前半内に対応する信号部分を持たない。このため、この信号部分は、第２のサンプリング後表現２８の窓後半によって完全に再構成され得る。このため、再構成の対象となる信号についての情報を失うことなく、第２の網掛け領域３６に対応する第１のスケーリング窓のサンプルを「０」に設定することが可能である。第２のサンプリング後表現２８の窓前半内に存在する各信号部分は、第１のサンプリング後表現２６の窓後半内に対応する信号部分を持つ。このため、第２のサンプリング後表現２８の窓前半内に含まれるサンプルは全て、第２のスケーリング窓３４の形状によって示唆されるように、第１のサンプリング後表現２６および第２のサンプリング後表現２８の間のクロスフェードに利用される。
【００５１】
要約すると、ピッチ依存リサンプリングおよび適切に設計されたスケーリング窓の使用によって、連続的以外には何の制約も満たす必要がない最適なピッチ輪郭を適用することが可能となる。コーディング効率を高める効果のためには、相対的なピッチ変化のみが関係してくるので、明らかなピッチが推定され得ない、または、ピッチ変動がない信号間隔の境界間で、および、そのような信号間隔の境界において、ピッチ輪郭が一定に維持され得る。代替案の一部によると、特化したピッチ輪郭または時間ワーピング関数で時間ワーピングを実施することが提案されているが、この場合は輪郭に関して特別な制約が設けられている。本発明の実施形態を用いることによって、どの時点においても最適なピッチ輪郭が利用され得るので、コーディング効率が高くなる。
【００５２】
図３から図５を参照して、リサンプリングを実行して対応するスケーリング窓を導き出す具体的に可能な一例について、以下で詳細に説明する。
【００５３】
繰り返しになるが、サンプリングは、所定数のサンプルＮに対応する、線形に低減していくピッチ輪郭５０に基づいて行われる。対応する信号５２は、正規化された時間に沿って図示されている。この選択された例では、信号の長さは１０ミリ秒である。事前サンプリングされた信号が処理されると、信号５２は、時間軸５４の目盛りで示されているように、等間隔のサンプリング間隔で普通にサンプリングされる。時間軸５４を適切に変換することによって時間ワーピングを適用する場合は、信号５２は、ワーピング時間スケール５６上で、一定のピッチを持つ信号５８になる。つまり、信号５８の隣り合う最大値間の時間差（サンプル数の差）は、新たに形成された時間スケール５６では等しくなる。信号フレームの長さは、適用されたワーピングに応じて、新たにｘミリ秒へと変化する。尚、時間ワーピングの絵は、本発明の実施形態で用いる非等間隔リサンプリングの概念を可視化するためのみに利用されていることに留意されたい。この非等間隔リサンプリングは、ピッチ輪郭５０の値を用いるのみで実施され得る。
【００５４】
以下の実施形態では、サンプリングがどのように実行され得るかを説明するが、説明を容易に進めるために供されており、信号がワーピングされた後のピッチの目標値（元の信号のリサンプリング後またはサンプリング後の表現から導き出されるピッチ）が１であるという仮定に基づく。しかし、以下の説明内容は、処理された信号セグメントのピッチの目標値がどのような値であっても容易に適用され得ることは言うまでもない。
【００５５】
時間ワーピングが、サンプルｊＮからのフレームｊに、ピッチが「１」になるように適用されると仮定すると、時間ワーピング後のフレーム期間は、ピッチ輪郭（ｐｉｔｃｈ  ｃｏｎｔｏｕｒ）のＮ個の対応するサンプルの合計に対応する。
【数１】
2010532883.tif 000003
【００５６】
つまり、時間ワーピング信号５８の期間（図３の時間ｔ´＝ｘ）は、上記の式によって決まる。
【００５７】
Ｎ個のワーピング後サンプルを得るためには、時間ワーピングフレームｊでのサンプリング間隔は、以下に等しい。
【数２】
2010532883.tif 000004
【００５８】
時間輪郭（ｔｉｍｅ  ｃｏｎｔｏｕｒ）は、ワーピングＭＤＣＴ窓に対して元のサンプルの位置を対応付けるが、以下の式に従って繰り返し構築され得る。
【数３】
2010532883.tif 000005
【００５９】
時間輪郭の例を図４に示す。ｘ軸は、リサンプリング後表現のサンプル数を示し、ｙ軸は元の表現のサンプルの単位でこのサンプル数の位置を示す。図３の例では、時間輪郭はこのため、常に減少する刻み幅で構築される。例えば、時間ワーピング後表現（軸ｎ´）でのサンプル番号「１」に対応付けられているサンプル位置は、元のサンプルを単位とすると、およそ「２」となる。非等間隔でピッチ輪郭依存型のリサンプリングでは、ワーピング後ＭＤＣＴ入力サンプルの位置は、元のワーピングされていない時間スケールを単位としたものが必要となる。ワーピング後ＭＤＣＴ入力サンプルｉの位置（ｙ軸）は、ｉを含む間隔を画定する一対の元のサンプル位置、ｋおよびｋ＋１を検索することによって得られるとしてよい。
【数４】
2010532883.tif 000006
【００６０】
一例を挙げると、サンプルｉ＝１は、サンプルｋ＝０、ｋ＋１＝１によって画定される間隔内に配置される。サンプル位置の割合ｕは、ｋ＝１とｋ＋１＝１（ｘ軸）との間に線形時間輪郭を仮定して取得される。一般的には、サンプルｉの割合７０（ｕ）は、以下の式で決まる。
【数５】
2010532883.tif 000007
【００６１】
このようにすることで、元の信号５２の非等間隔リサンプリングのサンプリング位置は、元のサンプリング位置の単位で導き出され得る。このため、信号は、リサンプリングされた値が時間ワーピング信号に対応するように、リサンプリングされ得る。このリサンプリングは、例えば、多相補間フィルタｈをＰ個のサブフィルタｈＰに元のサンプル間隔の１／Ｐの精度で分割して、実施されるとしてよい。このために、サブフィルタ指数は、以下の割合サンプル位置から求めるとしてよい。
【数６】
2010532883.tif 000008
そして、ワーピングＭＤＣＴ入力サンプルｘｗｉは、以下の畳み込みによって算出され得る。
【数７】
2010532883.tif 000009
【００６２】
言うまでもなく、そのほかのリサンプリング方法を利用するとしてよい。例えば、スプラインベースのリサンプリング、線形補間、二次補間等のリサンプリング方法を用いるとしてもよい。
【００６３】
リサンプリング後表現を導き出した後、２つの重複する窓のうちいずれの範囲も、隣接するＭＤＣＴフレームの中央領域において、Ｎ／２個のサンプルより広くはならないように、適切なスケーリング窓が導き出される。これは、上述したように、ピッチ輪郭もしくは対応するサンプル間隔Ｉｊ、または、同様にフレーム期間Ｄｊを用いて実現され得る。フレームｊの「左側」の重複部分の長さ（つまり、先行するフレームｊ−１に対するフェードイン）は、以下の式に従って決まる。
【数８】
2010532883.tif 000010
そして、フレームｊの「右側」の重複部分の長さ（つまり、後続のフレームｊ＋１に対するフェードアウト）は、以下の式に従って決まる。
【数９】
2010532883.tif 000011
【００６４】
このように、長さ２Ｎであるフレームｊ用の窓、つまり、Ｎ個のサンプル（つまり、周波数分解能がＮ）を持つフレームのリサンプリングに用いられる通常のＭＤＣＴ窓の長さは、図５に図示するように、以下のセグメントから成る。
【表１】
2010532883.tif 000012
【００６５】
つまり、入力ブロックｊのサンプル０からＮ／２−σｌは、Ｄｊ＋１がＤｊ以上である場合に、０となる。間隔［Ｎ／２−σｌ；Ｎ／２＋σｌ］内のサンプルは、スケーリング窓にフェードインするべく用いられる。間隔［Ｎ／２＋σｌ；Ｎ］のサンプルは、「１」に設定する。窓の右半分、つまり、２Ｎ個のサンプルをフェードアウトするべく利用される方の窓半分は、「１」に設定される間隔［Ｎ；３／２Ｎ−σｒ］を含む。窓からフェードアウトするべく利用されるサンプルは、間隔［３／２Ｎ−σｒ；３／２Ｎ＋σｒ］内に含まれる。間隔［３／２Ｎ＋σｒ；２／Ｎ］に含まれるサンプルは、「０」に設定される。一般的には、同数のサンプルを持つスケーリング窓が導き出され、スケーリング窓をフェードアウトするべく利用されるサンプルの第１の数と、スケーリング窓にフェードインするべく利用されるサンプルの第２の数とは互いに異なる。
【００６６】
導き出されたスケーリング窓に対応するサンプル値または正確な形状は、例えば、整数のサンプル位置において（または、さらに高い時間分解能の所定格子において）窓関数を特定する、典型的な窓半分に基づく線形補間から取得され得る（非整数の重複長さについても）。つまり、典型的な窓は、それぞれ必要なフェードイン長さおよびフェードアウト長さ２σｌｊまたは２σｒｊに時間スケーリングされる。
【００６７】
本発明の別の実施形態によると、フェードアウト窓部分は、第３のフレームのピッチ輪郭に関する情報を用いることなく決定され得る。このためには、Ｄｊ＋１の値は、所定の限界値に限定されるとしてよい。一部の実施形態によると、この値は一定所定数に設定されるとしてよく、第２の入力ブロックのフェードイン窓部分は、第１のサンプリング後表現、第２のサンプリング後表現、および所定数またはＤｊ＋１に対する所定限界値を導き出すべく適用されるサンプリングに基づいて算出されるとしてよい。これは、各入力ブロックは後続ブロックに関する情報なしで処理され得るので、遅延時間が短いことが非常に重要なアプリケーションで用いられるとしてよい。
【００６８】
本発明の別の実施形態によると、異なる長さの入力ブロック間で切り替えを行うためにスケーリング窓の長さを変化させるとしてよい。
【００６９】
図６から図８は、周波数分解能がＮ＝１０２４で線形に減衰するピッチを持つ例を図示する。図６は、サンプル数の関数としてピッチを示す。図から明らかであるが、ピッチの減衰は、線形で、ＭＤＣＴブロック１（変換ブロック１００）の中心では３５００Ｈｚから２５００Ｈｚとなり、ＭＤＣＴブロック２（変換ブロック１０２）の中心では２５００Ｈｚから１５００Ｈｚとなり、ＭＤＣＴブロック３（変換ブロック１０４）の中心では１５００Ｈｚから５００Ｈｚとなる。これは、ワーピング時間スケールの（変換ブロック１０２の期間（Ｄ２）の単位で与えられる）、以下に記載するフレーム期間に対応する。
Ｄ１＝１．５Ｄ２；Ｄ３＝０．５Ｄ２
【００７０】
上記を鑑みると、第２の変換ブロック１０２は、Ｄ２＜Ｄ１で右側の重複長さがσｒ２＝Ｎ／２×０．５＝２５６なので、左側の重複長さがσｌ２＝Ｎ／２＝５１２となる。図７は、上述した特徴を持つスケーリング窓の算出結果を示す図である。
【００７１】
さらに、ブロック１の右側の重複長さは、σｒ１＝Ｎ／２×２／３＝３４１．３３であり、ブロック３（変換ブロック１０４）の左側の重複長さはσｌ３＝Ｎ／２＝５１２である。明らかであるように、変換窓の形状は、元の信号のピッチ輪郭にのみ依存している。図８は、変換ブロック１００、１０２および１０４についての非ワーピング（つまり、線形）の時間領域における実効的な窓を示す図である。
【００７２】
図９から図１１は、４つの連続する変換ブロック１１０から１１３のシーケンスに関する別の例を示す。しかし、図９に示すピッチ輪郭は、わずかにより複雑で、サイン関数の形状を持つ。例えば、周波数分解能Ｎが１０２４で、窓の最大長さが２０４８である場合に、これらに従って適切な（算出された）窓関数を、ワーピング時間領域で図１０に示す。対応する実効的な形状を線形時間スケールで図１１に示す。尚、これらのいずれの図面でも、窓かけが２回行われる場合（ＭＤＣＴの前およびＩＭＤＣＴの後）に、重複および追加処理による再構成機能をより良く説明するべく、正方形状窓関数を図示することに留意されたい。生成された窓の時間領域エリアシング除去特性は、ワーピング領域における対応する遷移の対称性から認識され得る。先に決定されたように、これらの図面は、境界に向かうにつれてピッチが減少するブロックでは、サンプリング間隔が増加することに対応し、そのため線形時間領域では伸長された実効的な形状に対応するので、より短い遷移間隔が選択され得ることも示している。この挙動の例は、窓関数の範囲がサンプル数の最大値の２０４８よりも小さいフレーム４（変換ブロック１１３）において見られ得る。しかし、信号ピッチに反比例するサンプリング間隔のために、いずれの時点においても２つの連続する窓のみが重複するという制約下において、最大可能期間にわたる。
【００７３】
図１１Ａおよび図１１Ｂは、ピッチ輪郭（ピッチ輪郭情報）および対応するスケーリング窓の別の例を、線形時間スケールで示す図である。
【００７４】
図１１Ａは、ｘ軸に示されるサンプル数の関数としてピッチ輪郭１２０を示す図である。つまり、図１１Ａは、３つの連続する変換ブロック１２２、１２４および１２６に関するワーピング輪郭情報を示す図である。
【００７５】
図１１Ｂは、変換ブロック１２２、１２４および１２６のそれぞれに対応するスケーリング窓を、線形時間スケールで示す図である。変換窓は、図１１Ａに示すピッチ輪郭情報に対応する信号に適用されるサンプリングに応じて算出される。これらの変換窓は、図１１Ｂに図示されているものを得るべく、線形時間スケールに再変換される。
【００７６】
つまり、図１１Ｂは、再変換後のスケーリング窓が、線形時間スケールに逆ワーピングまたは再変換されると、フレーム境界（図１１Ｂの実線）を超える可能性があることを図示している。これは、フレーム境界を越えた入力サンプルをいくつか余分に与えることによって、符号化器で考慮され得る。復号器では、対応するサンプルを格納するのに十分な大きさを出力バッファが持つとしてよい。この点を考慮するための別の方法として、窓の重複範囲を小さくして、０および１の領域を代わりに用いて、窓の非ゼロ部分がフレーム境界を超えないようにする方法があり得る。
【００７７】
図１１Ｂからさらに明らかになるように、再ワーピングされた複数の窓の交差点（時間領域エリアシングの対称点）は、「非ワーピング」位置５１２、３×５１２、５×５１２、７×５１２に留まるので、時間ワーピングによって変更されない。これは、ワーピング領域における対応するスケーリング窓についても、変換ブロック長の４分の１および４分の３によって与えられる位置に対して対称であるので、同様である。
【００７８】
フレームシーケンスを持つオーディオ信号の処理後表現を生成するための方法の実施形態は、図１２に図示するステップによって特徴付けられ得る。
【００７９】
サンプリングステップ２００において、オーディオ信号が、フレームシーケンスのうち第１のフレームおよび第２のフレーム内でサンプリングされ、第２のフレームが第１のフレームの後であり、当該サンプリングは、第１のフレームおよび第２のフレームのピッチ輪郭に関する情報を用いて実行され、第１のサンプリング後表現を導き出し、オーディオ信号が、第２のフレームおよび第３のフレーム内でサンプリングされ、フレームシーケンスにおいて第３のフレームは第２のフレームの後であり、当該サンプリングは、第２のフレームのピッチ輪郭に関する情報および第３のフレームのピッチ輪郭に関する情報を用いて行われ、第２のサンプリング後表現を導き出す。
【００８０】
変換窓算出ステップ２０２において、第１のサンプリング後表現について第１のスケーリング窓が導き出され、第２のサンプリング後表現について第２のスケーリング窓が導き出され、該スケーリング窓は、第１および第２のサンプリング後表現を導き出すべく適用されたサンプリングに応じている。
【００８１】
窓掛けステップ２０４において、第１のサンプリング後表現に対して第１のスケーリング窓が適用され、第２のサンプリング後表現に対して第２のスケーリング窓が適用される。
【００８２】
図１３は、フレームシーケンスを持つオーディオ信号の第１のフレームおよび第２のフレームの第１のサンプリング後表現を処理し、第２のフレームおよび第３のフレームの第２のサンプリング後表現を処理するオーディオプロセッサ２９０の実施形態を示す図である。尚、フレームシーケンスでは、第２のフレームは第１のフレームの後であり、第３のフレームは第２のフレームの後である。オーディオプロセッサ２９０は変換窓算出器３００を備える。
変換窓算出器３００は、第１および第２のフレームのピッチ輪郭３０２に関する情報を用いて第１のサンプリング後表現３０１ａについて第１のスケーリング窓を導き出し、第２および第３のフレームのピッチ輪郭に関する情報を用いて第２のサンプリング後表現３０１ｂについて第２のスケーリング窓を導き出す。変換窓算出器３００は、スケーリング窓はサンプルの数が同数であり、第１のスケーリング窓をフェードアウトするために用いられるサンプルの第１の数と、第２のスケーリング窓にフェードインするために用いられるサンプルの第２の数とは、互いに異なる。
オーディオプロセッサ２９０はさらに、第１のサンプリング後表現に対して第１のスケーリング窓を適用し、第２のサンプリング後表現に対して第２のスケーリング窓を適用する窓掛け部３０６を備える。オーディオプロセッサ２９０はさらに、第１および第２のフレームのピッチ輪郭に関する情報を用いて、第１のスケーリング後且つサンプリング後表現をリサンプリングして、第１のリサンプリング後表現を導き出すと共に、第２および第３のフレームのピッチ輪郭に関する情報を用いて、第２のスケーリング後且つサンプリング後表現をリサンプリングして、第２のリサンプリング後表現を導き出し、この際、第２のフレームに対応する第１のリサンプリング後表現の部分のピッチ輪郭は、第２のフレームに対応する第２のリサンプリング後表現の部分のピッチ輪郭に対して所定の許容範囲にあるようにする、リサンプラ３０８を備える。スケーリング窓を導き出すべく、変換窓算出器３００は、ピッチ輪郭３０２を直接受け取るとしてもよいし、または、ピッチ輪郭３０２を受け取ってリサンプリング戦略を導き出す任意のサンプリングレート調整部３１０からリサンプリング情報を受け取るとしてもよい。
【００８３】
本発明の別の実施形態によると、オーディオプロセッサはさらに、第２のフレームに対応する第１のリサンプリング後表現の一部分と第２のフレームに対応する第２のリサンプリング後表現の一部分とを加算して、出力信号３２２として、オーディオ信号の第２のフレームの再構成表現を導き出す加算器３２０を任意で備える。第１のサンプリング後表現と第２のサンプリング後表現は、一実施形態によると、オーディオプロセッサ２９０に対する出力として提供されるとしてもよい。別の実施形態によると、オーディオプロセッサは、入力に提供された第１および第２のサンプリング後表現の周波数領域表現から、第１および第２のサンプリング後表現を導き出し得る逆周波数領域変換器３３０を任意で備えるとしてよい。
【００８４】
図１４は、第２のフレームが第１のフレームの後に来るフレームシーケンスを持つオーディオ信号の第１および第２のフレームの第１のサンプリング後表現を処理し、フレームシーケンスにおいて第２のフレームの後に来る第３のフレームおよび第２のフレームの第２のサンプリング後表現を処理する方法の実施形態を示す図である。窓形成ステップ４００において、第１および第２のフレームのピッチ輪郭に関する情報を用いて、第１のサンプリング後表現について第１のスケーリング窓が導き出され、第２および第３のフレームのピッチ輪郭に関する情報を用いて、第２のサンプリング後表現について第２のスケーリング窓が導き出され、該スケーリング窓はサンプル数が同数で、第１のスケーリング窓をフェードアウトするべく用いられるサンプルの第１の数と、第２のスケーリング窓にフェードインするべく用いられるサンプルの第２の数とは、互いに異なる。
【００８５】
スケーリングステップ４０２において、第１のスケーリング窓を第１のサンプリング後表現に適用して、第２のスケーリング窓が第２のサンプリング後表現を適用する。
【００８６】
リサンプリング動作４０２において、第１および第２のフレームのピッチ輪郭に関する情報を用いて、第１のスケーリング後且つサンプリング後表現をリサンプリングして、第１のリサンプリング後表現を導き出し、第２および第３のフレームのピッチ輪郭に関する情報を用いて、第２のスケーリング後且つサンプリング後表現をリサンプリングして、第２のリサンプリング後表現を導き出して、第１のフレームに対応する第１のリサンプリング後表現の一部分のピッチ輪郭が、第２のフレームに対応する第２のリサンプリング後表現の一部分のピッチ輪郭に対する所定の許容範囲内にあるようにする。
【００８７】
本発明の別の実施形態によると、当該方法は、第２のフレームに対応する第１のリサンプリング後表現の一部分と第２のフレームに対応する第２のリサンプリング後表現の一部分とを組み合わせて、オーディオ信号の第２のフレームの再構成表現を導き出す、任意の合成ステップ４０６を備える。
【００８８】
要約すると、上述した本発明の実施形態によれば、連続的な、または、事前サンプリングされたオーディオ信号に対して最適なピッチ輪郭を適用して、オーディオ信号を表現にリサンプリングまたは変換することができ、当該表現は符号化されると、高品質で低ビットレートの符号化表現が導き出される。このためには、リサンプリングされた信号を周波数領域変換を用いて符号化するとしてよい。これは、例えば、上述の実施形態で示した修正離散コサイン変換であってよい。しかし、他の周波数領域変換、または、その他の変換を代わりに用いて、オーディオ信号の低ビットレート符号化表現を導き出すとしてよい。
【００８９】
しかし、異なる周波数変換を用いて同じ結果を出すこと、例えば、高速フーリエ変換または離散コサイン変換を用いてオーディオ信号の符号化表現を導き出すことも可能である。
【００９０】
サンプル数、つまり、周波数領域変換への入力として用いられる変換ブロックの数は、上述した実施形態において用いられる具体例に限定されるものではないことは言うまでもない。これに代えて、任意のブロックフレーム長、例えば、２５６個、５１２個、１０２４個のブロックから成るブロックを用いるとしてもよい。
【００９１】
本発明の別の実施形態を実装するべく、オーディオ信号用の任意のサンプリング技術またはリサンプリング技術を用いるとしてよい。
【００９２】
処理後表現を生成するべく用いられるオーディオプロセッサは、図１に図示するように、オーディオ信号とピッチ輪郭に関する情報とを別個の入力で、例えば、別個の入力ビットストリームとして受け取り得る。しかし、別の実施形態によると、オーディオ信号とピッチ輪郭に関する情報とが、オーディオ信号およびピッチ輪郭の情報がオーディオプロセッサによって多重化されて、１つのインターリーブビットストリーム内で与えられるとしてもよい。同様の構成を、サンプリング後表現に基づいてオーディオ信号の再構成を導き出すオーディオプロセッサについて実装するとしてよい。つまり、サンプリング後表現を、ピッチ輪郭情報と共に結合ビットストリームとして入力するとしてもよいし、または、２つの別個のビットストリームとして入力されるとしてもよい。オーディオプロセッサはさらに、リサンプリング後表現を変換係数に変換する周波数領域変換器を備えるとしてよい。変換係数はその後、例えば、符号化オーディオ信号を対応する復号器に効率良く送信するべく、オーディオ信号の符号化表現としてピッチ輪郭と共に送信される。
【００９３】
上述の実施形態では、説明を簡潔にするために、信号をリサンプリングする場合のピッチの目標値が「１」であると仮定している。言うまでもなく、ピッチは任意のその他のピッチであってよい。ピッチはいかなる制約もなしでピッチ輪郭に適用され得るので、ピッチ輪郭が導き出せない場合、または、ピッチ輪郭が与えられない場合、一定のピッチ輪郭を適用することも可能である。
【００９４】
本発明に係る方法の実装要件に応じて、本発明に係る方法は、ハードウェアまたはソフトウェアで実装され得る。デジタル記憶媒体、特に、電子的に読み出し可能な制御信号が格納されているディスク、ＤＶＤ、またはＣＤを用いて実装するとしてよく、当該制御信号はプログラム可能なコンピュータシステムと協働して本発明に係る方法を実行する。一般的に、本発明はこのため、機械読み出し可能キャリアに格納されているプログラムコードを備えるコンピュータプログラム製品であって、コンピュータプログラム製品がコンピュータで実行されると、プログラムコードは本発明に係る方法を実行するべく利用される。つまり、本発明に係る方法はこのため、コンピュータプログラムであって、当該コンピュータプログラムがコンピュータで実行されると、本発明に係る方法のうち少なくとも１つを実行するプログラムコードを有するコンピュータプログラムである。
【００９５】
具体的に実施形態を参照して本発明を具体的に図示および説明したが、本発明の精神および範囲から逸脱することなく、当業者であれば、形状および詳細な点をさまざまに変更し得るものと理解されたい。本明細書に開示し、請求項に含まれる広範な概念を逸脱することなく、さまざまな点を変更して異なる実施形態を実現し得ると理解されたい。
【図１】
2010532883.tif 000018
【図２】
2010532883.tif 000019
【図３】
2010532883.tif 000020
【図４】
2010532883.tif 000021
【図５】
2010532883.tif 000022
【図６】
2010532883.tif 000023
【図７】
2010532883.tif 000024
【図８】
2010532883.tif 000025
【図９】
2010532883.tif 000026
【図１０】
2010532883.tif 000027
【図１１】
2010532883.tif 000028
【図１１Ａ】
2010532883.tif 000029
【図１１Ｂ】
2010532883.tif 000030
【図１２】
2010532883.tif 000031
【図１３】
2010532883.tif 000032
【図１４】
2010532883.tif 000033
【手続補正書】
【提出日】平成22年1月29日(2010.1.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フレームシーケンスを持つオーディオ信号の処理後表現を生成するオーディオプロセッサであって、
前記フレームシーケンスのうち第１のフレームおよび第２のフレーム内で前記オーディオ信号を、前記第１および第２のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第１のサンプリング後表現を導き出し、前記第２のフレームおよび第３のフレーム内で前記オーディオ信号を、前記第２のフレームのピッチ輪郭に関する情報および前記第３のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第２のサンプリング後表現を導き出すサンプラと、
前記第１のサンプリング後表現に対する第１のスケーリング窓、および、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す変換窓算出器と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用して、前記オーディオ信号の前記第１、第２、および第３のフレームの処理後表現を導き出す窓掛け部と
を備え、
前記フレームシーケンスにおいて、前記第２のフレームは前記第１のフレームの後であり、前記第３のフレームは前記第２のフレームの後であり、
前記第１および第２のスケーリング窓は、前記第１のサンプリング後表現または前記第２のサンプリング後表現を導き出すために適用された前記サンプリングに応じて決まる
オーディオプロセッサ。
【請求項２】
前記サンプラは、前記第１および第２のサンプリング後表現内でのピッチ輪郭が、対応する前記第１、第２、および第３のフレーム内での前記オーディオ信号のピッチ輪郭よりも一定となるように、前記オーディオ信号をサンプリングする
請求項１に記載のオーディオプロセッサ。
【請求項３】
前記サンプラは、前記第１、第２、および、第３のフレームのそれぞれにおいてＮ個のサンプルを持つサンプリング後オーディオ信号を、前記第１および第２のサンプリング後表現のそれぞれが、２Ｎ個のサンプルを含むように、リサンプリングする
請求項１または２に記載のオーディオプロセッサ。
【請求項４】
前記サンプラは、前記第１および第２のフレームの前記２Ｎ個のサンプルのうち元のサンプリング位置ｋと（ｋ＋１）との間の割合ｕによって与えられる位置における前記第１のサンプリング後表現のサンプルｉを導き出し、前記割合ｕは、前記サンプラによって用いられるサンプリング位置と前記第１および第２のフレームの前記サンプリング後オーディオ信号の元のサンプリング位置とを関連付ける時間輪郭に応じて決まる
請求項３に記載のオーディオプロセッサ。
【請求項５】
前記サンプラは、
【数１０】
2010532883.tif 000034
に従って前記フレームのピッチ輪郭ｐｉから導き出される時間輪郭を利用し、前記第１のサンプリング後表現に対する基準時間間隔Ｉは、
【数１１】
2010532883.tif 000035
に従って前記ピッチ輪郭ｐｉから導き出されるピッチ指標Ｄから導き出される
請求項４に記載のオーディオプロセッサ。
【請求項６】
前記変換窓算出器は、サンプル数が同数のスケーリング窓を導き出し、前記第１のスケーリング窓をフェードアウトするために用いられるサンプルの数である第１の数と、前記第２のスケーリング窓にフェードインするために用いられるサンプルの数である第２の数とは互いに異なる
請求項１から５の何れか１項に記載のオーディオプロセッサ。
【請求項７】
前記変換窓算出器は、組み合わせられた前記第１および第２のフレームの平均ピッチが、組み合わせられた前記第２および第３のフレームの平均ピッチよりも高い場合に、前記第２のスケーリング窓のサンプル数である第２の数よりも少ない第１の数のサンプルを持つ第１のスケーリング窓を導き出すか、または、組み合わせられた前記第１および第２のフレームの平均ピッチが、組み合わせられた前記第２および第３のフレームの平均ピッチよりも低い場合に、前記第２のスケーリング窓のサンプル数である前記第２の数よりも多い前記第１の数のサンプルを持つ第１のスケーリング窓を導き出す
請求項１から６の何れか１項に記載のオーディオプロセッサ。
【請求項８】
前記変換窓算出器は、フェードアウトするべく用いられるサンプルより前の複数のサンプルおよびフェードインするべく用いられるサンプルの後の複数のサンプルが１に設定され、フェードアウトするべく用いられるサンプルの後およびフェードインするべく用いられるサンプルの前の複数のサンプルは０に設定されるスケーリング窓を導き出す
請求項６に記載のオーディオプロセッサ。
【請求項９】
前記変換窓算出器は、サンプル０、・・・、２Ｎ−１を持つ前記第１および第２のフレームの第１のピッチ指標Ｄｊと、サンプルＮ、・・・、３Ｎ−１を持つ前記第２および第３のフレームの第２のピッチ指標Ｄｊ＋１とに基づいて、フェードインおよびフェードアウトするべく用いられるサンプルの数を導き出し、フェードインするべく用いられるサンプルの数は、
【数１２】
2010532883.tif 000036
であり、
フェードアウトするべく用いられるサンプルの数である前記第１の数は、
【数１３】
2010532883.tif 000037
であり、
前記第１および第２のピッチ指標ＤｊおよびＤｊ＋１は、
【数１４】
2010532883.tif 000038
に従ってピッチ輪郭ｐｉから導き出される
請求項８に記載のオーディオプロセッサ。
【請求項１０】
前記窓算出器は、前記第１および第２の数のサンプルと同数のサンプルを持つ所定のフェードイン窓およびフェードアウト窓をリサンプリングすることによって、前記第１および第２の数のサンプルを導き出す
請求項８に記載のオーディオプロセッサ。
【請求項１１】
前記窓掛け部は、前記第１のサンプリング後表現に対して前記第１のスケーリング窓を適用することによって第１のスケーリングされたサンプリング後表現を導き出し、前記第２のサンプリング後表現に対して前記第２のスケーリング窓を適用することによって第２のスケーリングされたサンプリング後表現を導き出す
請求項１から１０の何れか１項に記載のオーディオプロセッサ。
【請求項１２】
前記窓掛け部はさらに、第１のスケーリング後リサンプリング後表現の第１の周波数領域表現を導き出し、第２のスケーリング後リサンプリング後表現の第２の周波数領域表現を導き出す周波数領域変換部を有する
請求項１から１１の何れか１項に記載のオーディオプロセッサ。
【請求項１３】
前記第１、第２および第３のフレームのピッチ輪郭を導き出すピッチ推定部
をさらに備える請求項１から１２の何れか１項に記載のオーディオプロセッサ。
【請求項１４】
前記第１および第２の周波数領域表現と、前記第１、第２および第３のフレームのピッチ輪郭とを、前記第２のフレームの符号化表現として、出力する出力インターフェース
をさらに備える請求項１２に記載のオーディオプロセッサ。
【請求項１５】
第２のフレームが第１のフレームの後に来るフレームシーケンスを持つオーディオ信号の前記第１および第２のフレームの第１のサンプリング後表現を処理し、前記オーディオ信号の前記フレームシーケンスにおいて前記第２のフレームの後に来る第３のフレームおよび前記第２のフレームの第２のサンプリング後表現を処理するオーディオプロセッサであって、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、前記第１のサンプリング後表現に対する第１のスケーリング窓を導き出し、且つ、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す変換窓算出器と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用する窓掛け部と、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第１のサンプリング後表現をリサンプリングして、第１のリサンプリング後表現を導き出し、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第２のサンプリング後表現をリサンプリングして、第２のリサンプリング後表現を導き出すリサンプラと
を備え、
前記第１および第２のスケーリング窓は、同数のサンプルを持ち、前記第１のスケーリング窓をフェードアウトするために用いられるサンプルの数である第１の数と、前記第２のスケーリング窓にフェードインするために用いられるサンプルの数である第２の数とは互いに異なり、
前記リサンプリングは、導き出された前記第１および第２のスケーリング窓に応じている
オーディオプロセッサ。
【請求項１６】
前記第２のフレームに対応する前記第１のリサンプリング後表現の一部分と、前記第２のフレームに対応する前記第２のリサンプリング後表現の一部分とを加算して、前記オーディオ信号の前記第２のフレームの再構成表現を導き出す加算器
をさらに備える請求項１５に記載のオーディオプロセッサ。
【請求項１７】
フレームシーケンスを持つオーディオ信号の処理後表現を生成する方法であって、
前記フレームシーケンスのうち第１のフレームおよび前記第１のフレームの後の第２のフレーム内で前記オーディオ信号を、前記第１および第２のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第１のサンプリング後表現を導き出す段階と、
前記第２のフレームおよび前記第２のフレームの後の第３のフレーム内で前記オーディオ信号を、前記第２のフレームのピッチ輪郭に関する情報および前記第３のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第２のサンプリング後表現を導き出す段階と、
前記第１のサンプリング後表現を導き出すために適用された前記サンプリングに応じて決まる、前記第１のサンプリング後表現に対する第１のスケーリング窓、および、前記第２のサンプリング後表現を導き出すために適用された前記サンプリングに応じて決まる、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す段階と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用する段階と
を備える方法。
【請求項１８】
第２のフレームが第１のフレームの後に来るフレームシーケンスを持つオーディオ信号の前記第１および第２のフレームの第１のサンプリング後表現を処理し、前記オーディオ信号の前記フレームシーケンスにおいて前記第２のフレームの後に来る第３のフレームおよび前記第２のフレームの第２のサンプリング後表現を処理する方法であって、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、前記第１のサンプリング後表現に対する第１のスケーリング窓を導き出し、且つ、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、第１のスケーリング窓とサンプル数が同数になるように導き出され、フェードインするために用いられるサンプルの第２の数が前記第１のスケーリング窓をフェードアウトするために用いられるサンプルの第１の数と互いに異なる、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す段階と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用する段階と、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第１のサンプリング後表現を、導き出された前記第１のスケーリング窓に応じてリサンプリングして、第１のリサンプリング後表現を導き出し、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第２のサンプリング後表現を、導き出された前記第２のスケーリング窓に応じてリサンプリングして、第２のリサンプリング後表現を導き出す段階と
を備える方法。
【請求項１９】
前記第２のフレームに対応する前記第１のリサンプリング後表現の一部分と、前記第２のフレームに対応する前記第２のリサンプリング後表現の一部分とを加算して、前記オーディオ信号の前記第２のフレームの再構成表現を導き出す段階
をさらに備える請求項１８に記載の方法。
【請求項２０】
コンピュータで実行されると、フレームシーケンスを持つオーディオ信号の処理後表現を生成する方法を実行するためのコンピュータプログラムであって、前記方法は、
前記フレームシーケンスのうち第１のフレームおよび前記第１のフレームの後の第２のフレーム内で前記オーディオ信号を、前記第１および第２のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第１のサンプリング後表現を導き出す段階と、
前記第２のフレームおよび前記第２のフレームの後の第３のフレーム内で前記オーディオ信号を、前記第２のフレームのピッチ輪郭に関する情報および前記第３のフレームのピッチ輪郭に関する情報を用いてサンプリングして、第２のサンプリング後表現を導き出す段階と、
前記第１のサンプリング後表現を導き出すために適用された前記サンプリングに応じて決まる、前記第１のサンプリング後表現に対する第１のスケーリング窓、および、前記第２のサンプリング後表現を導き出すために適用された前記サンプリングに応じて決まる、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す段階と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用する段階と
を備えるコンピュータプログラム。
【請求項２１】
コンピュータで実行されると、第２のフレームが第１のフレームの後に来るフレームシーケンスを持つオーディオ信号の前記第１および第２のフレームの第１のサンプリング後表現を処理し、前記オーディオ信号の前記フレームシーケンスにおいて前記第２のフレームの後に来る第３のフレームおよび前記第２のフレームの第２のサンプリング後表現を処理する方法を実行するためのコンピュータプログラムであって、前記方法は、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、前記第１のサンプリング後表現に対する第１のスケーリング窓を導き出し、且つ、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、前記第１のスケーリング窓とサンプル数が同数になるように導き出され、フェードインするために用いられるサンプルの第２の数が前記第１のスケーリング窓をフェードアウトするために用いられるサンプルの第１の数と互いに異なる、前記第２のサンプリング後表現に対する第２のスケーリング窓を導き出す段階と、
前記第１のスケーリング窓を前記第１のサンプリング後表現に適用し、前記第２のスケーリング窓を前記第２のサンプリング後表現に適用する段階と、
前記第１および第２のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第１のサンプリング後表現を、導き出された前記第１のスケーリング窓に応じてリサンプリングして、第１のリサンプリング後表現を導き出し、前記第２および第３のフレームのピッチ輪郭に関する情報を用いて、スケーリングされた前記第２のサンプリング後表現を、導き出された前記第２のスケーリング窓に応じてリサンプリングして、第２のリサンプリング後表現を導き出す段階と
を備えるコンピュータプログラム。
【国際調査報告】
2010532883.tif 000039
2010532883.tif 000040
2010532883.tif 000041