(57)【要約】出力オーディオ音質の向上のための可変長さ合成とプロセッサの演算負荷減縮を減少された相互相関度演算を利用するオーディオ信号の時間スケール修正方法が開示される。N+Kmax個のサンプルで構成される分析窓は、入力オーディオサンプルらから選択されて、最適シフトKmを捜すために出力オーディオサンプルらにしたがって所定間隔ずつシフトされる。最適シフトKmは分析窓のNov個のオーディオサンプルと出力オーディオサンプルの最後のNov個のサンプル間の最大相互相関度を保障する最適シフトKmを確定する。また、それら間に相関係数が基準値よりさらに大きい値を提供するか、またはNov値を可変させながら計算された複数個の相関係数らのうちで最大値を提供する値Nmを最適重畳区間で決める。相互相関度の演算に関与したオーディオサンプルらは分析窓のNov個のオーディオサンプルと出力オーディオサンプルの端でNov個のうちから所定の割合で減少選択されたサンプルらである。分析窓は毎シフト当り複数個のサンプルをシフトする。分析窓の(Km+Nov-Nm)〜(N+Km-Nov)区間のサンプルを付加フレームで決める。出力信号の終わりからNm個のサンプルと付加フレームの前からNm個のサンプルを加重関数の適用下に重畳合算して、この重畳合算されたブロックを出力信号の終わりからNm個のサンプルの代わりに切り替えて入れて、付加フレームの残りサンプルらは重畳合算されたブロックの端にそのまま付加する。
2005535915.tif 000002
【特許請求の範囲】
【請求項１】
オーディオサンプルらの入力ストリームで構成される入力信号を願う時間スケールで修正された出力信号で形成するオーディオ信号の時間スケール修正方法において、
前記入力ストリームで第１所定個数のオーディオサンプルで構成される分析窓(analysis window)を決める段階と、
前記分析窓のNov個の第１オーディオサンプルらと前記出力信号のNov個の第２オーディオサンプルら間の類似度を前記第１及び第２オーディオサンプルらからそれぞれ所定割合で減少選択された(down-selected)オーディオサンプルらで構成される第３及び第４オーディオサンプルブロックを利用して計算するが、前記類似度計算は前記分析窓を所定の検索範囲内でシフトするごとに繰り返す段階と、及び
計算された類似度値らのうちで最大値が提供される時の前記分析窓のシフト値Kmを求める段階を含むことを特徴とするオーディオ信号の時間スケール修正方法。
【請求項２】
前記シフト値Kmと、前記分析窓と前記出力信号との間の相関係数(coefficient
of correlation)が所定の基準値以上であるか、または最大値を提供する時の最適重畳区間Nmに基づいてN+Nm-Nov個の(但し、前記Nは前記第１所定個数で前記分析窓と前記出力信号との間の類似度検索範囲Kmaxを差し引いた値である)オーディオサンプルを付加フレーム(add frame)で決める段階をさらに含むことを特徴とする請求項１に記載のオーディオ信号の時間スケール修正方法。
【請求項３】
前記付加フレームの一番前からNm個のオーディオサンプルと前記出力信号の最後でNm個のオーディオサンプルを加重関数(weighting function)の適用下に重畳合算して重畳-合算ブロック(overlap-add block)を形成する段階と、及び
前記重畳-合算ブロックを前記出力信号の最後で前記Nm個のオーディオサンプルの代りに切り替えて入れて、前記付加フレームの残りオーディオサンプルは前記重畳-合算ブロックの端にそのまま付加する段階をさらに含むことを特徴とする請求項２に記載のオーディオ信号の時間スケール修正方法。
【請求項４】
前記第３及び第４オーディオサンプルブロックを構成するオーディオサンプルらはサンプルインデックスがM１(但し、M１は２より大きい自然数)程度の差を有することを特徴とする請求項１に記載のオーディオ信号の時間スケール修正方法。
【請求項５】
前記第１所定個数はN+Kmax(但し、NとKmaxは定数である)であり、前記検索範囲はKmax個のオーディオサンプル区間であり、前記分析窓のシフトはM２個(但し、M２は２以上の自然数)のオーディオサンプルを規則的に飛ばす方式でなされることを特徴とする請求項１に記載のオーディオ信号の時間スケール修正方法。
【請求項６】
前記第３及び第４オーディオサンプルブロックを構成するオーディオサンプルらはサンプルインデックスがM１(但し、M１は２より大きい自然数)程度の差を有して、前記第１所定個数はN+Kmax(但し、NとKmaxは定数である)であり、前記検索範囲はKmax個のオーディオサンプル区間であり、前記分析窓のシフトはM２個(但し、M２は２以上の自然数)のオーディオサンプルを規則的に飛ばす方式でなされることを特徴とする請求項１に記載のオーディオ信号の時間スケール修正方法。
【請求項７】
前記第３及び第４オーディオサンプルブロックを構成するオーディオサンプルらのサンプルインデックス間隔(離隔間隔)M１及び/または前記分析窓のシフト間隔M２は前記入力信号の実際サンプリングレートを所定大きさの基準サンプリングレートで分けた値に最も近い二つの定数値のうちでいずれか一つの値で決まることを特徴とする請求項４ないし６のうちいずれか一つに記載のオーディオ信号の時間スケール修正方法。
【請求項８】
前記第３及び第４オーディオサンプルブロックを構成するオーディオサンプルらのサンプルインデックス間隔(離隔間隔)M１及び/または前記分析窓のシフト間隔M２はオーディオ信号の多くの種類のサンプリングレートごとに対応値をあらかじめ決めておいて、前記入力信号のヘッダー情報から把握されたサンプリングレートにマッピングされる対応値を前記M１及び/または前記M２の値で適用する段階をさらに具備することを特徴とする請求項４ないし６のうちいずれか一つに記載のオーディオ信号の時間スケール修正方法。
【請求項９】
入力手段を通じて使用者が指定する値αを前記願う時間スケールとして受け入れる段階をさらに具備して、前記入力信号に対する前記出力信号の長さ比は、前記αの値と等しいことを特徴とする請求項１に記載のオーディオ信号の時間スケール修正方法。
【請求項１０】
m番目の分析窓の一番前のオーディオサンプルは前記入力ストリームの一番前でmSa番目のオーディオサンプルであり、前記Nov値はN-Ssを最大値にして所定の割合で減少されて、前記Ssは固定値であり、前記SaはSs=αSaによって決まることを特徴とする請求項７に記載のオーディオ信号の時間スケール修正方法。
【請求項１１】
前記類似度は相互相関度の計算によって決まることを特徴とする請求項１に記載のオーディオ信号の時間スケール修正方法。
【請求項１２】
オーディオサンプルらの入力ストリームで構成される入力信号を願う時間スケールで修正された出力信号で形成するオーディオ信号の時間スケール修正方法において、
前記入力ストリームでN+Kmax個の(但し、前記Nと前記Kmaxは定数である)オーディオサンプルで構成される分析窓を決める段階と、
前記分析窓を所定の検索範囲内でシフティング(shifting)させながら、前記分析窓のNov個のオーディオサンプルらと前記出力信号の最後からNov個のオーディオサンプルらの間の類似度の最大値と前記Nov値をさまざまな値に変更させながら相関係数(coefficient of correlation)を計算する段階と、
前記分析窓の一番前でKm+Nov-Nm番目のオーディオサンプルからN+Nm-Nov個のオーディオサンプルを付加フレーム(add frame)で決めて、ここで、前記Kmは前記類似度の最大値が提供される時の前記分析窓のシフト値であり、前記Nmは前記分析窓と前記出力信号との間の相関係数(coefficient
of correlation)が所定の基準値以上であるか、または最大値を提供する時の最適重畳区間であり、前記Nは前記第１所定個数で前記分析窓と前記出力信号との間の類似度検索範囲Kmaxを差し引いた値で定義される段階と、
前記付加フレームの一番前から前記最適重畳区間Nm個のオーディオサンプルらと前記出力信号の最後で前記最適重畳区間Nm個のオーディオサンプルらを加重関数(weighting function)の適用下に重畳合算して重畳-合算ブロック(overlap-add block)を形成する段階と、及び
前記重畳-合算ブロックを前記出力信号の最後で前記最適重畳区間Nm個のオーディオサンプルらの代りに切り替えて入れて、前記付加フレームの残りオーディオサンプルらは前記重畳-合算ブロックの端に単純に付加する段階を具備することを特徴とするオーディオ信号の時間スケール修正方法。
【請求項１３】
入力手段を通じて使用者が指定する値αを前記願う時間スケールとして受け入れる段階をさらに具備して、前記入力信号に対する前記出力信号の長さ比は前記αの値と等しいことを特徴とする請求項１２に記載のオーディオ信号の時間スケール修正方法。
【請求項１４】
前記m番目の分析窓の一番前のオーディオサンプルは前記入力ストリームの一番前でmSa番目のオーディオサンプルであり、前記Nov値はN-Ssを最大値にして所定の割合に減少されて、前記Ssは固定値であり、前記SaはSs=αSaによって決まることを特徴とする請求項１２に記載のオーディオ信号の時間スケール修正方法。
【請求項１５】
前記相関係数に関する前記基準値は０．７以上の値を有することを特徴とする請求項１２に記載のオーディオ信号の時間スケール修正方法。
【請求項１６】
前記類似度と前記相関係数の計算に参加するオーディオサンプルは、前記分析窓と前記出力信号それぞれのNov区間に属する信号らのうちで選択されたものであり、隣接オーディオサンプルらはサンプルインデックスがM１(但し、M１は２より大きい自然数)程度の差を有することを特徴とする請求項１２に記載のオーディオ信号の時間スケール修正方法。
【請求項１７】
前記分析窓のシフトは毎シフトごとにM２個(但し、M２は２以上の自然数)のオーディオサンプルを規則的に飛ばす方式でなされて、シフティング(shifting)されたオーディオサンプル数の和はKmax個のオーディオサンプルで構成される検索範囲を超過しないことを特徴とする請求項１２に記載のオーディオ信号の時間スケール修正方法。
【請求項１８】
前記類似度と前記相関係数の計算に参加するオーディオサンプルは、前記分析窓と前記出力信号それぞれのNov区間に属する信号らのうちで選択されたものであり、隣接オーディオサンプルらはサンプルインデックスがM１(但し、M１は２より大きい自然数)程度の差を有して、前記分析窓のシフトは毎シフトごとにM２個(但し、M２は２以上の自然数)のオーディオサンプルを規則的に飛ばす方式でなされて、シフティング(shifting)されたオーディオサンプル数の和はKmax個のオーディオサンプルで構成される検索範囲を超過しないことを特徴とする請求項１２に記載のオーディオ信号の時間スケール修正方法。
【請求項１９】
前記変数M１及び/またはM２は前記入力信号の実際サンプリングレートを所定大きさの基準サンプリングレートで分けた値に最も近い二つの定数値のうちでいずれか一つの値で決まることを特徴とする請求項１２に記載のオーディオ信号の時間スケール修正方法。
【請求項２０】
前記分析窓のNov個のオーディオサンプルと前記出力信号のNov個のオーディオサンプルの間の前記類似度は相互相関度(cross
correlation)または前記相関係数を利用して決まることを特徴とする請求項１２に記載のオーディオ信号の時間スケール修正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオーディオ信号の時間スケール修正(time-scale modification：ＴＳＭ)技術に関し、特に、時間領域で処理されて元々の入力オーディオ信号のサンプリングレート(sampling rate)が高い場合にもリアルタイム処理が可能であり、元々のオーディオ信号のピッチ情報(pitch information)の歪曲を最小化しながら時間スケール修正ができる方法に関する。
【背景技術】
【０００２】
オーディオ信号の再生速度を正常速度より早く、あるいは遅くするためにはオーディオ信号の時間スケールを修正する必要がある。オーディオ信号の時間スケール修正方法は、大きく周波数領域処理方法と時間領域処理方法などで区分される。周波数領域処理方法はＦＦＴ(Fast Fourier Transformation)を利用するので、これを具現しにくくて演算量があまりにも多いから、一般的にリアルタイム処理が要求される応用分野には適合でない方法として評価される。これに比べて、音質と演算量の観点から見る時、時間領域処理方法は相対的に少ない量の演算で優秀な音質を提供することができる方法として評価され、特に、時間スケール修正がリアルタイムで処理される必要がある応用分野に效果的に適用されることができる方法として評価されている。
【０００３】
時間領域処理方法の基本概念は重畳加算法(overlap-add：ＯＬＡ)という名前で紹介された。この方法は、入力オーディオ信号を部分的に重畳された多数のフレームで区分した後、隣接フレームらの間の距離(すなわち、時間)を願う時間スケールによって修正して出力オーディオ信号で付加する。この時、付加しようとするフレームで出力オーディオ信号とオーバーラップされる部分は加重関数を適用して合成し、残り部分をそのまま加える方式で処理される。このようなＯＬＡが紹介された以来、ＴＳＭ処理されたオーディオ信号の音質が入力オーディオ信号の音質とより類似であるようにするための方向と演算量を減らす方向に焦点が合わせられたさまざまな改良された方法が紹介された。そのうち代表的なものとして、同期重畳加算法(synchronized overlap-add：ＳＯＬＡ)と波形類似度基盤重畳加算法(waveform similarity based overlap and add：ＷＳＯＬＡ)を挙げることができる。
【０００４】
ＳＯＬＡは分析と合成という二つの段階で入力信号の時間スケールを修正するが、分析段階はＯＬＡと類似に入力信号を部分的に重畳される多数の窓で区分するが、各窓は固定長さNを有して固定された分析長さSaくらいお互いに離隔する。合成段階では、分析段階で確保された窓らを合成長さSs間隔で再配置するが、この時、各窓は以前窓らの合成である出力信号と部分的に重畳される。各窓を出力信号に重畳時、分析長さと合成長さの差によって誘発される信号の不連続を減少させるために各窓は出力信号と類似度、すなわち、相互相関度(cross-correlation)が最も高い地点で整列されるようにして、このような整列による重畳を同期化された重畳と言う。重畳区間の合成と非重畳区間の単純付加はＯＬＡと等しく処理する。このＳＯＬＡは元々のピッチ情報を最大限維持する方式で時間スケールを修正するので、時間スケール修正された出力信号の音質をＯＬＡに比べて大きく改善させる。しかし、ＳＯＬＡは最大類似度地点を検索する間に整列地点Kmが変わって、その度に重畳区間が変わるので、新しい相互相関度を再び計算しなければならないから、相互相関度計算を非常に複雑にさせて、それによる演算量も非常に多いという短所があって、リアルタイム処理が要求される応用分野に適用するには好適ではない。それだけでなく、入力信号とこれを時間スケール修正した出力信号との間の長さ比が願う時間スケール値と正確に一致させることができる方法を提供することができない。
【０００５】
ＷＳＯＬＡは波形セグメント境界で信号の連続性を充分に保障するために最大相互相関度地点を隣接フレームの波形類似性を基準で捜し出して、特に、関連されるサンプルインデックス(sample index)のすべての隣サンプルらで時間スケール修正された合成信号は、元々の信号と最大の局所類似度(local similarity)を維持する方法である。ＷＳＯＬＡはＳＯＬＡに比べて周波数歪曲を小さく起こして演算量も少ないではあるが、波形の類似度が分かるために短時間フーリエ変換(short time Fourier transform：ＳＴＦＴ)を採用しなければならないので、演算量減縮には限界があって、時間スケール修正がリアルタイムで処理されることを要求する応用分野に適用しやすくないという問題がある。
【０００６】
オーディオ信号の時間スケール修正において考慮しなければならない重要な問題中の一つは、演算量減縮である。演算量が多ければ時間スケール修正をリアルタイムで処理することができなくなって、応用範囲が大きく制限を受ける。ほとんど大部分の時間領域で処理されるＴＳＭ方法ら、例えば、ＳＯＬＡ、ＷＳＯＬＡ及びこれらの変形された方法らは入力信号の特定窓(または、フレーム)を出力信号に重畳させて合わせる時、オーディオ信号のスペクトラム特性(spectral characteristics)やピッチ周期(pitch periods)を最大限元々の信号(以下では‘入力信号’と称する)と一致させるため、その窓と時間スケール修正された信号(以下では‘出力信号’と称する)の間の相互相関度(cross-correlation)の最大値を提供する地点を捜して、その地点で合成する方式を利用する。ところで、相互相関度の最大値地点を捜し出すことは多くの計算を誘発する。既存の方法によって時間スケール修正をする場合、プロセッサ(または、ＣＰＵ)に加えられる負荷のおおよそ９５％以上がまさにこの相互相関度の最大値地点を捜し出す過程で発生される。
【０００７】
それだけでなく、相互相関度の関連演算量は時間スケール修正をしなければならない入力信号のサンプリングレートが高くなるによって幾何級数的に増加する特性を示す。相互相関度の最大値算出のためには二重ループ演算を遂行しなければならないし、各ループの演算量は入力信号のサンプリングレートに比例するからである。すなわち、二重ループの一つは入力信号の分析窓の特定区間(重畳区間)と出力信号との特定区間(重畳区間)それぞれに属するすべてのサンプルらをお互いに掛ける演算をする第１ループであり、他の一つは前記第１ループの掛け算演算を前記分析窓を検索範囲に対して一サンプルずつシフティング(shifting)しながら反復的に遂行する第２ループである。各ループの演算量は入力信号のサンプリングレートに比例する。これら二つのループを二重ループ方式で実行するので、演算量は入力信号のサンプリングレートに指数的に比例して増加する。したがって、ＳＯＬＡや他の方法に比べて演算量が小さいと知られたＷＳＯＬＡすら多くの演算を要して、性能が良いＣＰＵを採用するパーソナルコンピューター(ＰＣ)には適用されることができても、相対的に低い性能を有するエンベデッドプロセッサ(embedded processor)には適用しにくい。
【０００８】
８KHzでサンプルされたオーディオ信号の２０msパケット(セグメント)に対して、既存のＴＳＭは２４，０００回の掛け算と２４，０００回の寄せ算の演算を要する。７７３MHzインテルぺンティアムIIIチップ上で、８KHzサンプリングレートオーディオ信号の２０msパケットに対するＴＳＭ演算をする時、ほとんど０．３５msが必要となる。４４．１KHzサンプリングレートのオーディオ信号の場合、７７３MHzインテルぺンティアムIIIチップで２０msパケットに対するＴＳＭ演算をするのに、おおよそ１０．６４msを要する。だから、ＣＰＵ性能は３８９MHz以上にならなければならないし、これは３８９MHzのＣＰＵ処理能力全体がＴＳＭに割り当てされなければならないことを意味する。９６KHzのサンプリングレートを有するＤＶＤ用オーディオ信号は、７７３MHzインテルぺンティアムIIIプロセッサですらリアルタイムでＴＳＭ演算をすることは不可能である。何故ならば、上のような信号をＴＳＭ処理をするにおいて、２０msパケット(セグメント)当り、おおよそ５０．４msの時間がかかるからである。４４．１KHzのサンプリングレートを有するオーディオ信号を一般的なＳＯＬＡやＷＳＯＬＡで処理するためには、内蔵型プロセッサの最小３８９MHz全体処理能力がＴＳＭに割り当てされなければならない。１６KHzサンプリングレートのオーディオ信号の場合も、ＴＳＭ処理のためには少なくとも５１MHz程度の処理能力が割り当てされなければならない。常用化されたエンベデッドプロセッサの最高性能はいまだに２００MHz程度の水準を越すことができない。エンベデッドプロセッサを採用したどのようなシステムにおいて、そのエンベデッドプロセッサに賦課される負荷はＴＳＭ処理のためのもの以外にも、多くの種類の異なるサービスの処理のためのものも多い。したがって、このような点を考慮する時、８KHz程度なら分からないが、サンプリングレートがこれよりさらに高いオーディオ信号に対しては、既存のＴＳＭ方法によるプログラムを内蔵したエンベデッドプロセッサを利用してＴＳＭをリアルタイムで処理することは現実的に不可能に近いと言える。
【０００９】
特に、最近の傾向は音質の高級化要求を反映してオーディオ信号のサンプリングレートはますます高くなる成り行きを示す。パーソナルコンピューターで使用するＷＡＶフォーマットは最近には４４．１KHzのサンプリング周波数を主に使用して、ＭＰＥＧモノータイプも同じサンプリング周波数で作られる。進んで、ＤＶＤでは９６KHzまたはこれの二倍である１９２KHzのサンプリングレートが使用されたりする。このような高サンプリングレートのオーディオ信号に対するＴＳＭをリアルタイムで処理するためには、プロセッサが割り当てることができる処理能力の範囲内に演算量を減縮させる必要がある。既存の知られたＴＳＭ方法らは、これに対する解決策を提示することができない。
【００１０】
演算量を著しく減縮させることができたら、それから得られるプロセッサの余剰能力の一部を音質改善のための処理に専用することができて既存のＴＳＭ方法よりさらに優秀な音質を得ることもできると思われる。人の音声は周波数帯域幅が広くないから、相互相関度の最大値を基準として合成する従来のＴＳＭ方法でも原音のピッチ情報の歪曲は大きく発生させない。しかし、音楽の場合は相対的に周波数帯域幅が広くて従来のＴＳＭ方法で得られた出力信号は、ピッチ情報の歪曲とノイズ混入の程度が相対的にさらに大きい。したがって、音楽信号の場合音質改善のための付加的な処理がさらに必要である。
【発明の開示】
【００１１】
以上の事項らを考慮して本発明は、オーディオ信号を時間領域で時間スケール修正のための処理をするにおいて、相互相関度の最大値を捜すための演算量を著しく減少させて、高サンプリングレートのオーディオ信号に対するＴＳＭをリアルタイムで処理するようにする方法を提供することを第１の目的とする。
本発明はまた、入力信号で決まった分析窓を出力信号に重畳合算する時、分析窓の重畳位置と、分析窓と出力信号との間の重畳区間を相互相関度以外に相関係数(coefficient
of correlation)という評価指標をさらに考慮して決めることで、出力信号のピッチ情報を入力信号のそれにより、さらに近く維持されるようにする方法を提供することを第２の目的とする。
【００１２】
前記第１の目的を達成するための本発明によると、オーディオサンプルらの入力ストリームで構成される入力信号を願う時間スケールで修正された出力信号で形成するオーディオ信号の時間スケール修正方法において、前記入力ストリームで第１所定個数のオーディオサンプルで構成される分析窓(analysis window)を決める段階と、前記分析窓のNov個の第１オーディオサンプルらと前記出力信号のNov個の第２オーディオサンプルらとの間の類似度を前記第１及び第２オーディオサンプルらからそれぞれ所定割合で減少選択された(down-selected)オーディオサンプルらで構成される第３及び第４オーディオサンプルブロックを利用して計算するが、前記類似度計算は前記分析窓を所定の検索範囲内でシフトする度に繰り返す段階と、及び計算された類似度値らのうちで最大値が提供される時の前記分析窓のシフト値Kmを求める段階と、を含むことを特徴とするオーディオ信号の時間スケール修正方法が提供される。
【００１３】
前記方法は、前記シフト値Kmと、前記分析窓と前記出力信号との間の相関係数(coefficient
of correlation)が所定の基準値以上であるか、または最大値を提供する時の最適重畳区間Nmに基づいてN+Nm-Nov個の(但し、前記Nは前記第１所定個数で前記分析窓と前記出力信号との間の類似度検索範囲Kmaxを差し引いた値である)オーディオサンプルを付加フレーム(add frame)で決める段階をさらに含むことが望ましい。
【００１４】
進んで、前記方法は前記付加フレームの一番前からNm個のオーディオサンプルと前記出力信号の最後でNm個のオーディオサンプルを加重関数(weighting function)の適用下に重畳合算して重畳-合算ブロック(overlap-add block)を形成する段階と、及び前記重畳-合算ブロックを前記出力信号の最後で前記Nm個のオーディオサンプルの代りに切り替えて入れて、前記付加フレームの残りオーディオサンプルは前記重畳-合算ブロックの端にそのまま付加する段階をさらに含むことが望ましい。
【００１５】
一方、前記第２の目的を達成するための本発明によると、オーディオサンプルらの入力ストリームで構成される入力信号を願う時間スケールで修正された出力信号で形成するオーディオ信号の時間スケール修正方法において、前記入力ストリームでN+Kmax個の(但し、前記Nと前記Kmaxは定数である)オーディオサンプルで構成される分析窓を決める段階と、前記分析窓を所定の検索範囲内でシフティング(shifting)させながら、前記分析窓のNov個のオーディオサンプルらと前記出力信号の最後からNov個のオーディオサンプルら間の類似度の最大値と前記Nov値をさまざまな値に変更させながら、相関係数(coefficient of correlation)を計算する段階と、前記分析窓の一番前でKm+Nov-Nm番目のオーディオサンプルからN+Nm-Nov個のオーディオサンプルを付加フレーム(add frame)で決めて、ここで前記Kmは前記類似度の最大値が提供される時の前記分析窓のシフト値であり、前記Nmは前記分析窓と前記出力信号との間の相関係数(coefficient of correlation)が所定の基準値以上であるか、または最大値を提供する時の最適重畳区間であり、前記Nは前記第１所定個数で前記分析窓と前記出力信号との間の類似度検索範囲Kmaxを差し引いた値で定義される段階と、前記付加フレームの一番前から前記最適重畳区間Nm個のオーディオサンプルらと前記出力信号の最後で前記最適重畳区間Nm個のオーディオサンプルらを加重関数(weighting function)の適用下に重畳合算して重畳-合算ブロック(overlap-add block)を形成する段階と、及び前記重畳-合算ブロックを前記出力信号の最後で、前記最適重畳区間Nm個のオーディオサンプルらの代りに切り替えて入れて、前記付加フレームの残りオーディオサンプルらは前記重畳-合算ブロックの末に単純に付加する段階を具備することを特徴とするオーディオ信号の時間スケール修正方法が提供される。
【００１６】
前記第１の目的または第２の目的を達成するための本発明の方法において、前記第３及び第４オーディオサンプルブロックを構成するオーディオサンプルらはサンプルインデックスがM１(但し、M１は２より大きい自然数)程度の差を有する。また、前記第１所定個数はN+Kmax(但し、NとKmaxは定数)であり、前記検索範囲はKmax個のオーディオサンプル区間であり、前記分析窓のシフトはM２個(但し、M２は２以上の自然数)のオーディオサンプルを規則的に飛ばす方式でなされる。そして、前記類似度は相互相関度の計算によって決まることが望ましい。
【発明を実施するための最良の形態】
【００１７】
以下、添付された図面を参照して本発明の望ましい実施例を詳細に説明する。
【００１８】
入力信号はＴＳＭ処理対象である元々のオーディオ信号を示して、出力信号はＴＳＭ処理によって得られるオーディオ信号を示す。入力信号はアナログオーディオ信号をサンプリングして量子化したサンプル信号のストリームで表現された信号である。
【００１９】
下で説明されるさまざまな処理はＲＣＶＳ-ＴＳＭアルゴリズムをプログラムで具現して、そのエンジンプログラムをプロセッサによって順に実行する方式でなされる。したがって、本発明を実行するための装置は図８に示すように基本的には、エンジンプログラムを保存するためのＲＯＭのような不揮発性メモリー８４、そのエンジンプログラムを読んで来て各命令語を順に行うことによって入力信号のＴＳＭ処理を遂行するプロセッサ８０、そしてＴＳＭ処理前の入力信号を臨時に保存する入力バッファーメモリー８２aとＴＳＭ処理後の出力信号を臨時に保存する出力バッファーメモリー８２bなどのようにプロセッサ８０のデータ処理空間を提供するメモリー８２資源が必要である。その他にも本発明は、使用者が指定する時間スケール値を受け入れて、その値にしたがってＴＳＭ処理をすることができるようにするために、使用者が願う時間スケール、すなわち、オーディオ信号の倍速値を設定することができるし、設定された倍速値を読み込んで、その時点以後からなされるプロセッサ８０によるＴＳＭ処理に反映されるようにする手段ら、すなわち、入力キーパッドまたはリモートコントローラーなどのような使用者入力手段８６も必要である。ひいては、ＴＳＭ処理対象である入力信号をＴＳＭ処理のために入力バッファー８２aに提供する入力信号提供部８８と、ＴＳＭ処理結果得られた出力信号を出力バッファー８２bから渡されてオーディオ再生のための処理をするオーディオ再生部９０なども具備される必要がある。
【００２０】
これら資源らはパーソナルコンピューターの場合のようにそれぞれが独立的なチップで存在することもできて、一つまたは数個のチップに統合されていることもある。だから特別に明示しない限り、上のような資源らが共同で機能して下に説明するＲＣＶＳ-ＴＳＭ処理をするものとして理解される必要がある。プロセッサ８０は、例えば、デジタル信号処理器(ＤＳＰ)、マイコンまたは中央演算処理ユニット(ＣＰＵ)などで具現することができるし、または特定用途で作られたオデ−オチップ、オーディオ/ビデオチップ、ＭＰＥＧチップ、ＤＶＤチップなどがなることもある。
【００２１】
本発明のＲＣＶＳ-ＴＳＭ方法は大きく、分析と合成という処理でなされる。図３Aまたは図４Aを参照すると、入力信号をN+Kmax個のサンプルらで構成される連続的な分析窓Wm(但し、m=１、２、３、…)らで区分して、各分析窓WmをＲＣＶＳ-ＴＳＭのための分析の単位にする。各分析窓Wmの開始点は入力信号でmSa番目のサンプルになる。だから、Saは連続的な分析窓らの開始点間隔(以下‘分析間隔’と称する)を意味する。ここで、mはフレームインデックスを示して、Nは一基準フレーム(F０)のサンプル数を示す。分析窓Wmは分析窓と出力信号との間の最大相互相関度を提供する地点を捜すために出力信号にしたがって、シフト周期ごとに一定なサンプル間隔M２程度ずつ逆にシフトする。このような分析窓Wmのシフトは、Kmax個のサンプル範囲内でなされる。Kmaxは分析窓をシフトするサンプル個数の最大値、すなわち、相互相関度の最大値を提供する位置を分析する検索範囲を示す。Kmは分析窓Wmが相互相関度の最大値が提供される地点までシフトした距離、すなわち、シフトサンプル数を示して、その大きさはいつもKmaxを超過することができない。
【００２２】
図１Aと図１Bを参照すると、分析窓Wmを出力信号に合成する時、合成間隔Ssが基準になる。合成間隔Ssは分析間隔SaとはSs=αSaの関係を有する。合成間隔Ssは固定値である。したがって、願う時間スケールαの値が与えられると、分析間隔Saは上の関係式によってその値が決まる。合成間隔Ssは分析窓Wmを出力信号との関係で相互相関度の最大値を捜すためのシフトの出発点になる。すなわち、分析窓Wmの一番前を出力信号のmSs番目のサンプル地点に位置させて相互相関度の最大値算出のための演算を始める。合成は各分析窓Wmを分析段階で捜された最大相互相関度位置で出力信号の一部と重畳させながら合わせる。この時、重畳区間もその値をいろいろな大きさに変更させながら分析窓Wmと出力信号との間の相関係数を計算して、所定の条件を満足する場合に対応される重畳区間を実際適用する重畳区間Nmで確定する。プログラムでの具現を容易にするために、重畳区間は最大Nov区間で始めて一定な割合ないし間隔で減って行く方式に変更するのが望ましい。重畳区間Nmが確定されると、分析窓Wmで付加フレーム２０を確定する。そして、出力信号の最後からNm個のサンプル４５と付加フレーム２０の一番前のNm個のサンプル３５を加重関数を適用しながら合わせて、新しい合成ブロック４０を作って、これを出力信号の既存サンプル４５を代わって出力信号に切り替えて入れた後、その後に付加フレーム２０の残りサンプルらを単純に付加する方式で合成する。
【００２３】
このような基本概念を土台にした本発明のＲＣＶＳ-ＴＳＭアルゴリズムの全体的な実行手続きが図５の流れ図に概略的に示されている。ＲＣＶＳ-ＴＳＭ方法の実行は先ず、入力信号のヘッダーに記録された情報を参照して再生に必要な情報が分かって、ＲＣＶＳ-ＴＳＭ処理のために必要なさまざまな初期化を遂行するものとして始める(Ｓ１０段階)。入力信号のヘッダーにはサンプリングレートとサンプリングサイズなどのようなそのオーディオ入力信号に関する基本情報が記録されているので、サンプリングレート情報を最大相互相関度の地点を捜すのに発生する演算量を減少させることに活用することもできる。これに関する詳しい事項は後述する。初期化段階では次のようなさまざまな変数らの初期化を遂行する。まず、N、Nov、Ss、Kmaxなどに対して適切な大きさの値を付与する。特にKmaxはその値が大きければ、ＴＳＭされた信号の音質はよくなるが、そのよくなった程度はその値が大きくなるほど飽和になる一方、演算量がますます増える。したがって、音質の改善程度が緩くなる地点の付近でKmaxの値を適切に選択することが望ましい。願う時間スケールαの値が与えられると、関係式Sa=Ss/αを利用して、Saの値を決めることも初期化段階で処理しなければならない事項である。
【００２４】
初期化をした後、最も先にすることは入力信号の最初N個のサンプルを出力信号としてそのままコピーすることである。コピーされたN個のサンプルは出力信号の一番目のフレームF０を構成する(Ｓ１２段階)。フレーム一つに対する処理がなされたので、フレームインデックスmの値を１に設定する(Ｓ１４段階)。
【００２５】
フレームインデックスmの値を１ずつ増加させながら入力信号の終わりに会うまでＳ１６〜Ｓ２８の段階らで構成されたループを反復的に実行しながら入力信号に対するＴＳＭ処理をする。このループを一回まわるごとに出力信号は一フレームずつ増える。このような側面で、このループをフレームループであると呼ぶことができる。フレームループの前の三段階Ｓ１６、Ｓ１８、Ｓ２０は上で言及した‘分析’段階に関連されて、後の三段階Ｓ２２、Ｓ２４、Ｓ２６は‘合成’段階に関連される。これを具体的に説明する。
【００２６】
先ず、‘分析’段階の最初の手続きとして、前で言及したように、入力信号で分析窓Wmを構成するサンプルらを決める(Ｓ１６段階)。入力信号はオーディオ信号のサンプルストリームで構成されるが、多数の連続的な分析窓で区分する。m番目の分析窓WmはmSa番目のサンプルからN+Kmax個のサンプルで構成され、これを一つの分析単位で扱う。分析窓Wmは与えられた時間スケールαの値が１より大きい時(正常再生速度よりさらに遅く再生しようとする場合として、図３Aがこれに該当)やまたは１より小さい時(正常再生速度よりさらに速く再生しようとする場合として、図４Aがこれに該当)やいつも等しい数N+Kmax個のサンプルで構成する。
【００２７】
‘分析’段階の二番目の手続きは分析窓WmをKmax個のサンプル範囲内で出力信号にしたがって、シフティング(shifting)しながら分析窓Wmと出力信号のNov区間に対して相互相関度の最大値とその最大値が提供される時の分析窓Wmのシフト値Kmをそれぞれ算出することである(Ｓ１８段階)。
【００２８】
本発明のＲＣＶＳ-ＴＳＭアルゴリズムは、この段階で演算量を大幅に減らすことができる方式を取り入れる。演算量減縮のための一番目の方案は、相互相関度の計算に参加するサンプル数を減らすことである。演算量減縮のための二番目の方案は分析窓Wmのシフト間隔M２を伸ばすことである。これら二つの方案はすべて適用することもできて、いずれか一つのみを適用することもできるが、二つとも適用する時が演算量減縮效果が最も大きく現われることは当然である。
【００２９】
相互相関度の計算はNov個のサンプルが含まれることができる広さを有する重畳区間１７にかかられる分析窓Wmのサンプルと出力信号のサンプルに対して行われる。出力信号は固定されていて分析窓Wmのみをシフトさせるので、相互相関度の計算に参加する出力信号はいつも最後のNov個のサンプル区間１５で一定である一方、相互相関度の計算に参加する分析窓Wmは１回ずつシフトするごとにNov区間がM２個のサンプル程度右側に移動する。すなわち、最初には、分析窓Wmの一番前のNov個のサンプル区間１０と出力信号の最後のNov個のサンプル区間１５に対して遂行される(図１A参照)。その後、分析窓WmはM２個サンプル程度左側にシフトされて、この時、重畳区間１７にかかられる分析窓WmのNov個のサンプル区間と出力信号のNov個のサンプル区間との間に対して、再び相互相関度の計算が遂行される。このような過程を分析窓Wmのシフト値M２が検索区間Kmaxを脱する直前まで反復的に遂行する。
【００３０】
本発明は相互相関度を計算するにおいて、重畳区間１７に包括される分析窓Wmと出力信号それぞれの全体サンプルらではない、それらのうちで一部のみを選択してその選択されたサンプルらのみに対して相互相関度を計算する方式を取る。図２で、重畳区間１７が１０個のサンプルでなされる場合であるとする時、相互相関度に参加するサンプルらは３個ずつ飛ばしたサンプルら、すなわち、分析窓Wm５０で選択された３個のサンプル(xm０、xm４、xm８)と出力信号５５で選択された３個のサンプルら(ym０、ym４、ym８)の間に対して相互相関度を計算する。どの程度の割合で演算量を減らすかは本発明のＲＣＶＳ-ＴＳＭエンジンが適用されるプロセッサの性能と入力信号のサンプリングレートなどを考慮して、好適に決めれば良いと思われる。このような抜粋計算方式は相関度計算に参加したサンプルの個数が減ったので、重畳区間に属するすべてのサンプルらに対して相互相関度を計算した従来のＴＳＭ方式に比べては相互相関度の最大値が提供される地点の正確度が低いことはあるが、それ程度は無視することができる。
【００３１】
２以上の一定なサンプル間隔M１ごとに一つずつ選び出したサンプルらを利用して相互相関度を計算するので、入力信号の実際波形パターンをほとんどそのまま維持することができるだけでなく、発生可能な最大相関度地点の誤差範囲もM１/２個のサンプルを越さないで、人の聴覚能力で見る時この程度の誤差から始まるノイズは全然認知することができない程度であるので、無視されることができる。
【００３２】
これと併せて、分析窓Wmのシフト値M２も２より大きい自然数のうちでいずれか一つを適用すると、同様に演算量減縮效果を得ることができる。離隔間隔M１とシフト値M２は同じ、必ず等しい値で決まる必要はない。
【００３３】
離隔間隔M１とシフト値M２はＲＣＶＳ-ＴＳＭエンジンプログラム作成時にその値を任意で指定することもできるが、次のような方式で決めることもできる。一つの方式は、入力信号の実際サンプリングレートを所定大きさの基準サンプリングレートで分けた値に最も近い二つの定数値のうちで、いずれか一つの値を算出して、この算出された値を離隔間隔M１及び/またはシフト値M２で使用するものである。基準サンプリングレートはオーディオ信号の情報をまともに伝達することができる条件を満足することを前提として、その値ができる限り低く設定されることが望ましい。高い値で設定されると、プロセッサの負荷を減らそうとする主旨に反するからである。常用的に提供されるプロセッサ性能を考慮する時、基準サンプリングレートの値は、例えば、８KHzで設定して使えば別に問題がないと判断される。しかし、基準サンプリングレートの大きさは追後プロセッサの性能がアップグレードされることによって、上向調整されることもできると思われる。この方式によると、入力信号がどのようなサンプリングレートを有するかは関係なく、プロセッサではいつも自分が手におえることができる最適の演算量を負担するように調節されることができる。
【００３４】
他の方式は、オーディオ信号の現存する多くの種類のサンプリングレートごとに離隔間隔M１及び/またはシフト値M２の対応値をあらかじめ決めておいて、入力信号のヘッダー情報から把握されたサンプリングレートにマッピングされる対応値を離隔間隔M１及び/またはシフト値M２で適用する方式である。
【００３５】
上のような演算量減縮技法は相互相関度を基準で分析窓の最適重畳地点を探索するＴＳＭ方法、例えば、ＳＯＬＡやＷＳＯＬＡ、そしてこれらと基本的な概念は共通的でありながら音質改善や演算量減縮のための変形ないし改善したＴＳＭ方法らに対しても広く適用されることができる。
【００３６】
図６の流れ図はＳ１８段階の手続きをより具体化したものであり、相互相関度の計算に参加するサンプル数を減らすと同時に分析窓Wmのシフト間隔を伸ばす上の二つの方案をすべて適用した場合を仮定して実際プログラムで具現する場合の流れ図である。分析窓Wmを出力信号と最も高い連続性を有しながら重畳合算することができる相互相関度の最大値が提供される地点Kmを算出するためには、分析窓Wmのシフト量を示す変数Ｋと相互相関度の最大値変数Ｃ(m、Km)を０に初期化する(Ｓ４０段階)。また、相互相関度の変数Corrと相互相関度の大きさを標準化するための分母を示す変数Denomと重畳区間１７内でのサンプルインデックスを示す変数jをそれぞれ０に設定する(Ｓ４２、Ｓ４４段階)。
【００３７】
その後、サンプルインデックス変数jを毎周期ごとに離隔間隔M１ずつ(但し、M１は２より大きい自然数である)増加させながら(Ｓ４８段階)、その値がNov-１を超過するまで(Ｓ５０段階)、下の二つの式を利用して相互相関度Corrと標準化変数Denomを計算する(Ｓ４６段階)。
【００３８】
【数１】
2005535915.tif 000003
【００３９】
重畳区間１７全体に対する上の二つの式の演算が完成されると、Corrの値をDenomの値で分けて、標準化された相互相関度c(m、K)を求める。このように求めたc(m、K)はその直前まで算出された相互相関度値らのうちで最大値であるc(m、Km)と比較されて、二つのうちでさらに大きい値をその時までの最大相互相関度c(m、Km)で決める(Ｓ５２)。このような過程(Ｓ４２〜S５２段階)を変数Kの大きさを２より大きい自然数であるシフト間隔M２程度ずつ増加させながら、その値がKmax-１を越さない間に変更されたKの値に対して反復的に遂行する。変数Kの大きさがKmax-１より大きくなる時、すなわち、分析窓Wmが検索範囲Kmaxを全部シフトした時、その時の最大相互相関度c(m、Km)を提供するKm値がまさにＳ１８段階で求めようとする結果であり、分析窓Wmの出力信号に対する‘合成’時に適用されなければならないシフト値である。
【００４０】
図６の流れ図を見ると、二重ループが実行されることを分かる。上のような演算量減縮技法を適用しなければ、この二重ループを実行するためにおびただしい量の演算を遂行しなければならないことを易しく予想することができると思われる。
【００４１】
一方、本発明のＲＣＶＳ-ＴＳＭ方法は、上のように分析窓Wmに関する相互相関度の最大値が提供される時の分析窓Wmのシフト値Kmを求めた後には、入力信号のピッチ情報を歪曲させないで、最上の音質を得ることができる最適重畳区間Nmを決める手続きを遂行する(Ｓ２０段階)。
【００４２】
分析窓Wmの最適シフト値Kmを求める時には、分析窓Wmと出力信号との間の重畳区間１７は一定な長さNovで適用した。しかし、重畳区間がNovである場合が分析窓Wmが出力信号といつも最も良い整列をなすと言えない。最適シフト値Kmは‘特定な大きさNov’の重畳区間に対して相対的に最適な値であるだけであり、重畳区間が変わった場合にも‘絶対的に’最適な値であると言うことはできない。さまざまな音源種類に対する実験を通じては、このような点が確認されることができる。
【００４３】
2005535915.tif 000004
【００４４】
表１は周波数帯域幅が比較的広い特徴を有するロック音楽(rock music)の任意の区間(２３個の分析窓)に対して重畳区間をさまざまな値、すなわち、５msec、４msec、３msec、２msec、１msecなどに変更させながら各重畳区間別に分析窓Wmのサンプルxと出力信号のサンプルyの間の相関係数(coefficient
of correlation)Rxyを計算した結果を整理したものである。
【００４５】
相関係数Rxyは下の式を利用して求めた。
【００４６】
【数２】
2005535915.tif 000005
【００４７】
ここで、nは相関係数計算に参加した各変数x、yのサンプル数を示して、σxとσyはそれぞれ変数x、yの分散値である。
【００４８】
相関係数は−１００[％]から+１００[％]までの範囲に変わることができる。一般的に二つの変数xとyとの間の相関係数値が陰の値を有すると、ある一つの変数xの値が増加(または、減少)する時に、他の一つの変数(y)の値は減少(または、増加)する、いわゆる否定的な関連性(negative relationship)を有する。また、二つの変数xとyとの間の相関係数値が陽である場合には、二つの変数の変化方向が等しい、いわゆる肯定的な関連性(positive relationship)を有するが、その値が０％〜３０％の範囲に属する場合は、二つの変数xとyの相関度は弱いと(weak)みて、３０％〜７０％である場合には相関度が中間程度(moderate)で見られるし、７０％〜１００％の範囲に置かれるようになると、相関度が高いと(high)評価される。したがって、分析窓と出力信号間の相関係数Rxyが７０％以上を提供することができない重畳区間の値を適用して、分析窓を出力信号に重畳合算するとピッチ情報の歪曲が現われるなど音質が低下される。
【００４９】
表１でも確認することができるように、例えば、重畳区間の値が５msecの場合に相関係数がいつも最大で現われることではないことが分かる。例えば、２番目の分析窓の場合、重畳区間値が２msecである時が最大の相関係数値８４．２５を提供する。したがって、２番目の分析窓は重畳区間を２msecにして出力信号と重畳合算される時に最も良い整列ないし信号連続性を有することができて、ピッチ情報の歪曲を最小化することができる。
【００５０】
図７はこのような概念に基礎して分析窓ごとに最適重畳区間Nmの値を決める手続き(Ｓ２０段階)の詳細手続きを示す。重畳区間の大きさを５msec、４msec、３msec、２msec、１msec、このように５種類にして、その値を順に変更させながら相関係数を計算して行く場合を仮定する。候補重畳区間Nov(i)のインデックス値iを０から４まで１ずつ増加させながら(Ｓ６０、Ｓ６６、Ｓ６８段階)、上の式(３)を利用して各重畳区間に対する相関係数Rxy_m(i)を計算して(Ｓ６２段階)、その計算された相関係数Rxy_m(i)の大きさが基準値Ref以上であるかをチェックする(Ｓ６４段階)。
【００５１】
基準値は７０％が望ましい値ではあるが、必ずこれに限定されるものではなくて、音質改善をさらに考慮したら、さらに高い値(例えば、８０％)で決めることができるし、反対に演算量増加の抑制側をさらに考慮したら、さらに低い値(例えば、６０％)で決めることもできる。上の表１は相関係数の基準値(Ref)を７０％で適用したものであるが、この場合を仮定する。計算された相関係数Rxy_m(i)が７０％以上の値を有すると、その時の重畳区間Nov(i)の値を実際に分析窓Wmを出力信号に重畳合算する時に適用する最適重畳区間Nmで採択する(Ｓ７２段階)。計算された相関係数Rxy(i)が７０％を超過することができなければ、iを１増加させた後(Ｓ６６段階)、次の重畳区間Nov(i)に対してもう一度相関係数Rxy_m(i)を計算して、その値が７０％を越えるかどうかをチェックする。
【００５２】
表１で重畳区間が５msecである場合に２、５、７、９、１０、１２、１３、２３番目の分析窓に対する相関係数Rxy_２(０)、Rxy_５(０)、Rxy_７(０)、…、この基準値７０％に達していない。これら各分析窓に対しては、重畳区間を４msecに変更させて相関係数Rxy_m(１)(但し、mは２、５、７、９、１０、１２、１３、２３)を再び計算する。計算された相関係数の値が７０％より大きい場合には、その分析窓に対する最適重畳区間Nmは４msecで確定すれば良いし、相変らず７０％未満である場合には、その分析窓に対しては再び重畳区間Nov(２)を３msecに変更して、相関係数Rxy_m(２)を再計算する。このような方式で相関係数を計算して行くが、重畳区間が１msecである場合まで、相関係数の計算が進行されても、相関係数の値が７０％を越えることができなければ、その時まで計算された相関係数らRxy_m(i)(但し、iは０、１、…、４)のうちで最大値を提供する重畳区間を実際に適用する重畳区間Nmで確定する。表１で、例えば、５番目の分析窓に対する最適重畳区間N４は１msecで決定されると思われる。
【００５３】
このように本発明のＲＣＶＳ-ＴＳＭ方法は最適の重畳区間Nmを可変的に決定するが、最適の重畳区間Nmを捜すための演算量増加が発生されるが、相関係数計算にも上で説明した演算量減縮方法を適用すると大きい問題になることができない。最適重畳区間Nmの概念は周波数帯域が狭い音声の場合には、この概念を適用しない場合に比べて音質改善の效果があまり大きくないように現われる。しかし、周波数帯域が広い音楽に最適重畳区間Nmの概念を適用する場合に、適用しない場合に比べて著しい音質改善效果を得ることができる。
【００５４】
図５の流れ図に戻って来て、最適重畳区間Nmの値が決定されると、Ｓ１８段階で確定された最適シフティング(shifting)値Kmを活用して該当分析窓Wmで出力信号に重畳合算する付加フレームFm２０を決める(Ｓ２２段階)。分析窓WmでKm〜(Km+N+Nm-Nov)区間のサンプルらが付加フレームFm２０になる。
【００５５】
付加フレームFm２０が決定されると、これを出力信号と重畳合算させる(Ｓ２４段階)。付加フレームFm２０の一番前でNm個のサンプルらと出力信号の最後でNm個のサンプルらは重畳させて合成する。この時、分析窓と出力信号両側のNm個のサンプルらに対してそれぞれ加重関数(weighting function)を適用しながら合成して重畳合算ブロック４０を形成する(Ｓ２４段階)。加重関数を適用して合成する理由は出力信号の終わりの部分から分析窓の開始部分に自然に連結して、重畳区間での信号の不連続性を最小化するためのことである。加重関数の代表的な例として、次のような線形ランプ関数g(j)になることができるが、指数関数やその他の適切な関数を選択することもできる。
【００５６】
【数３】
2005535915.tif 000006
【００５７】
出力信号の最後でNm個のサンプル４５は上で新たに合成した重畳合算ブロック４０で切り替える。そして、付加フレームFm２０の前のNm個のサンプル３５を除いた残りのサンプルらは重畳合算ブロック４０の端にそのまま付加する(Ｓ２６)。分析窓Wmの残りサンプルら、すなわち、前の部分のKm+Nov-Nm個のサンプルら３０と後ろ部分のKmax-Km個のサンプルら２５は捨てる。図３Bは願う時間スケールαの値が２である時、すなわち、入力信号の長さを２倍でふやす場合、図３Aのように区分した分析窓Wmを活用して上で説明した方式で重畳合成した場合を示す。毎フレーム周期ごとに重畳区間(６０a、６０b、６０c、…)の長さと出力信号で付加するフレームらFm(但し、m=０、１、２、３、…)の長さは可変的である。しかし、毎フレーム周期ごとに得られる出力信号の全体長さは指定された時間スケール値に正確に比例して増える。
【００５８】
上のような特性は入力信号の長さを減らす場合にも等しい。すなわち、時間スケールαの値が０．５である場合を例にして、図４Aは前で説明した分析窓の区分方法によって連続的な多数の分析窓Wmで区分したことを示し、図４Bはこのように区分された分析窓らを上で説明した方式の分析と合成処理を経って決まった最適シフトKmと最適重畳区間Nmを適用して、付加フレームFmを合成したことを示す。入力信号の長さを減らす場合にも付加するフレームらFm(但し、m=０、１、２、３、…)の長さは可変的であるが、毎フレーム周期ごとに得られる出力信号の全体長さは指定された時間スケール値に正確に比例して減る。
【００５９】
したがって、フレーム周期ごとに得られる出力信号の長さが指定された時間スケールの値に正確に比例して増減される特性は、本発明のＲＣＶＳ-ＴＳＭ方法はマルチメディア再生に適用される時、ビデオ信号との同期もどのような時間スケールでも完璧に一致させることができることを保障する。例えば、ＤＶＤ再生時に、再生速度を遅く、あるいは速く変更させる場合にビデオの再生速度も変更率と正確に同じ割合でオーディオの再生速度を変更させることができるので、高速再生でも、低速再生でも、オーディオとビデオはいつも同期されて再生されることができる。
【００６０】
以上のように一つの分析窓に対して‘分析’と‘合成’を経れば、出力信号にはＴＳＭ処理された一つのフレームが加えられる。この時、次の分析窓に対する‘分析’と‘合成’を通じてまた一つのＴＳＭ処理されたフレームを出力信号に付加することができるようにするために、フレームインデックスmの値を１程度増加させる(Ｓ２８段階)。そして、さらに処理しなければならない入力信号が存在するかどうかを確認するため、入力信号の終わりに会ったかをチェックする(Ｓ３０段階)。入力信号の終わりに会わなかったら再び次の分析窓に対する‘分析’と‘合成’手続きを進行する。このようなフレームループを入力信号の最後まで反復的に実行することで、願う時間スケールでＴＳＭになった出力信号を得ることができる。
【００６１】
入力信号提供部８８から入力バッファー８２aに伝達した入力信号はプロセッサ８０によって、上で説明したＲＣＶＳ-ＴＳＭ方法によって処理されて出力信号で作られる。そして、その出力信号は所定単位ずつ出力バッファー８２bに順に記入された後、一定出力スケジュールによってオーディオ再生部９０に伝達してリアルタイムで再生される。
【００６２】
本発明のＲＣＶＳ-ＴＳＭ方法は、既存のＴＳＭ方法らに比べて演算量を大幅に減らすことができながらも、元々のオーディオ信号水準の音質をほとんどそのまま維持することができるＴＳＭ方式である。一般的なＳＯＬＡまたはＷＳＯＬＡアルゴリズムを利用して１９２KHzのサンプリングレートのオーディオ信号をＴＳＭ処理をする場合プロセッサの処理性能はおおよそ７，３６６MHz水準が要求される。したがって、このような水準を満足することができるＣＰＵ、特に、エンベデッドプロセッサが出現するまでは数多くの時間が経たなければならないし、その時までは上のような高サンプリングレートのオーディオ信号をリアルタイムでＴＳＭ処理することは不可能である。しかし、本発明のＲＣＶＳ-ＴＳＭ方法を利用すると、１９２KHzサンプリングレートのオーディオ信号をリアルタイムでＴＳＭ処理をするが、おおよそ２８Mips(おおよそ２８KHz)の処理能力が要求されるだけであり、現在常用化されているＣＰＵ、特に、エンベデッドプロセッサ上でも上のような高サンプリングレートのオーディオ信号をリアルタイムでＴＳＭ処理をすることができる。
【００６３】
それだけでなく、本発明は音質改善においても、既存のＴＳＭ方式に比べてさらに良い結果を提供する。入力信号の分析窓と出力信号との間の重畳長さは一定な値で固定する場合よりは、本発明の方法のように最適長さで可変させる方がさらに高い相関係数を保障するから、信号の不連続程度を最小化することができるし、その結果、時間スケールの修正で発生するピッチ情報の歪曲を最小化することができる。
【００６４】
本発明のＲＣＶＳ-ＴＳＭ方法はプログラムで作成されてパーソナルコンピューター用マルチメディア再生機の一部機能として含ませることもできて、例えば、ＤＶＤプレーヤー、デジタルＶＴＲ、ＭＰ３プレーヤー、セットップバックスなどのようなデジタルオーディオ信号の再生機能を要する再生装置の専用チップに内蔵してそれら装置のオーディオ再生機能を強化させることに適用されることもできる。
【００６５】
以上では本発明の実施例によって本発明が説明されたが、本発明の思想を逸脱しない範囲内で多様な変形が可能であることは本発明が属する技術分野の当業者なら明確に認知することができる。
【図面の簡単な説明】
【００６６】
【図１Ａ】本発明のＴＳＭ方法(Reduced computations and variablesynthesis based ＴＳＭ：ＲＣＶＳ-ＴＳＭ)による入力信号の分析窓をシフティング(shifting)しながらその分析窓と出力信号との間の最大相互相関度地点を決める方法を説明するための図。
【図１Ｂ】本発明のＲＣＶＳ-ＴＳＭ方法による入力信号の分析窓と出力信号との間の重畳区間の決定と合成方法を説明するための図。
【図２】本発明のＲＣＶＳ-ＴＳＭ方法による、入力信号の分析窓と出力信号との間の重畳区間に対する相互相関度計算方法を説明するための図。
【図３Ａ】願う時間スケールが２である時(α=２)入力信号で分析窓を決める方法を示す図。
【図３Ｂ】図３Aで決まった分析窓らを決まった最大相互相関度と重畳区間を適用して重畳合算して出力信号を合成する方法を示す図。
【図４Ａ】願う時間スケールが０．５である時(α=０．５)入力信号で分析窓を決める方法を示す図 。
【図４Ｂ】図４Aで決まった分析窓らを決まった最大相互相関度と重畳区間とを適用して重畳合算して出力信号を合成する方法を示す図。
【図５】本発明によるＲＣＶＳ-ＴＳＭ方法の全体的な実行手続きを示した流れ図である。
【図６】図５に示す流れ図のＳ１８段階(相互相関度の最大値とその時の分析窓のシフト値を決める段階)の詳細手続きを示す流れ図。
【図７】図５に示す流れ図のＳ２０段階(分析窓と出力信号との間の相関係数に基づいて重畳区間を決める段階)の詳細手続きを示す流れ図。
【図８】本発明の方法を行うのに必要な資源らを取り揃えた装置のブロック図である。
【図１Ａ】
2005535915.tif 000007
【図１Ｂ】
2005535915.tif 000008
【図２】
2005535915.tif 000009
【図３Ａ】
2005535915.tif 000010
【図３Ｂ】
2005535915.tif 000011
【図４Ａ】
2005535915.tif 000012
【図４Ｂ】
2005535915.tif 000013
【図５】
2005535915.tif 000014
【図６】
2005535915.tif 000015
【図７】
2005535915.tif 000016
【図８】
2005535915.tif 000017
【手続補正書】
【提出日】平成17年4月28日(2005.4.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
図５の流れ図に戻って来て、最適重畳区間Nmの値が決定されると、Ｓ１８段階で確定された最適シフティング(shifting)値Kmを活用して該当分析窓Wmで出力信号に重畳合算する付加フレームFm２０を決める(Ｓ２２段階)。分析窓Wmで(Km+Nov-Nm)〜(N+Km)区間のサンプルらが付加フレームFm２０になる。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2005535915.tif 000018
【国際調査報告】
2005535915.tif 000019
2005535915.tif 000020