(57)【要約】【課題】  音源の種類を問わず、適正な速度変換処理を実施することができるタイムストレッチ処理装置を得ることを目的とする。【解決手段】  ピッチ周期抽出部１により抽出されたピッチ周期Ｔが許容範囲内にあるか否かを判定する比較部２を設け、比較部２からピッチ周期が許容範囲内にある旨を示す比較結果が得られた場合、そのピッチ周期Ｔに応じた処理フレーム長ＦＬを指定し、比較部２からピッチ周期Ｔが許容範囲を逸脱している旨を示す比較結果が得られた場合、予め設定された処理フレーム長ＦＬを指定する。【選択図】        図１
2006017900.tif 000002
【特許請求の範囲】
【請求項１】
入力信号のピッチ周期を抽出するピッチ周期抽出手段と、上記ピッチ周期抽出手段により抽出されたピッチ周期が許容範囲内にあるか否かを判定する判定手段と、上記判定手段からピッチ周期が許容範囲内にある旨を示す判定結果が得られた場合、そのピッチ周期に応じた処理フレーム長を指定し、上記判定手段からピッチ周期が許容範囲を逸脱している旨を示す判定結果が得られた場合、予め設定された処理フレーム長を指定するフレーム長指定手段と、上記フレーム長指定手段により指定された処理フレーム長で入力信号の速度変換処理を実施する速度変換手段とを備えたタイムストレッチ処理装置。
【請求項２】
入力信号のピッチ周期を抽出するピッチ周期抽出手段と、上記ピッチ周期抽出手段により抽出されたピッチ周期を保存するピッチ周期保存手段と、上記ピッチ周期抽出手段により抽出された現在のピッチ周期と上記ピッチ周期保存手段に保存されている以前のピッチ周期との差分が許容範囲内にあるか否かを判定する判定手段と、上記判定手段からピッチ周期の差分が許容範囲内にある旨を示す判定結果が得られた場合、現在のピッチ周期に応じた処理フレーム長を指定し、上記判定手段からピッチ周期の差分が許容範囲を逸脱している旨を示す判定結果が得られた場合、予め設定された処理フレーム長を指定するフレーム長指定手段と、上記フレーム長指定手段により指定された処理フレーム長で入力信号の速度変換処理を実施する速度変換手段とを備えたタイムストレッチ処理装置。
【請求項３】
判定手段は、予め許容範囲の最短値及び最長値が設定され、その最短値及び最長値とピッチ周期の差分を比較することを特徴とする請求項２記載のタイムストレッチ処理装置。
【請求項４】
判定手段は、入力信号の帯域毎に許容範囲の最短値及び最長値が設定され、入力信号の帯域に対応する許容範囲の最短値及び最長値とピッチ周期の差分を比較することを特徴とする請求項２記載のタイムストレッチ処理装置。
【請求項５】
フレーム長指定手段は、予め設定された処理フレーム長が前回指定した処理フレーム長であることを特徴とする請求項１から請求項４のうちのいずれか１項記載のタイムストレッチ処理装置。
【請求項６】
フレーム長指定手段は、処理フレーム長の指定条件が変化しても直ちに処理フレーム長を変更せず、同一の指定条件が所定回数連続したとき処理フレーム長を変更することを特徴とする請求項１から請求項４のうちのいずれか１項記載のタイムストレッチ処理装置。
【請求項７】
フレーム長指定手段は、指定済みの処理フレーム長を変更する場合、その処理フレーム長を段階的に変更することを特徴とする請求項１から請求項４のうちのいずれか１項記載のタイムストレッチ処理装置。
【請求項８】
フレーム長指定手段は、入力信号が無音である場合、予め設定された処理フレーム長を指定することを特徴とする請求項１から請求項４のうちのいずれか１項記載のタイムストレッチ処理装置。
【請求項９】
入力信号のピッチ周期の抽出範囲を設定する抽出範囲設定手段と、入力信号のピッチ周期が上記抽出範囲設定手段により設定された抽出範囲内にあれば、そのピッチ周期を抽出する一方、その抽出範囲内になければ、その抽出範囲内で一番最もらしいピッチ周期を抽出するピッチ周期抽出手段と、上記ピッチ周期抽出手段により抽出されたピッチ周期に応じた処理フレーム長を指定するフレーム長指定手段と、上記フレーム長指定手段により指定された処理フレーム長で入力信号の速度変換処理を実施する速度変換手段とを備えたタイムストレッチ処理装置。
【請求項１０】
入力信号のピッチ周期を抽出するピッチ周期抽出手段と、上記ピッチ周期抽出手段により抽出されたピッチ周期が最短値より短いか否かを判定する判定手段と、上記判定手段からピッチ周期が最短値より長い旨を示す判定結果が得られた場合、そのピッチ周期に応じた処理フレーム長を指定し、上記判定手段からピッチ周期が最短値より短い旨を示す判定結果が得られた場合、そのピッチ周期の整数倍に応じた処理フレーム長を指定するフレーム長指定手段と、上記フレーム長指定手段により指定された処理フレーム長で入力信号の速度変換処理を実施する速度変換手段とを備えたタイムストレッチ処理装置。
【請求項１１】
入力信号のピッチ周期を抽出するピッチ周期抽出手段と、上記ピッチ周期抽出手段により抽出されたピッチ周期を指定するフレーム長指定手段と、上記フレーム長指定手段により指定された処理フレーム長で入力信号の速度変換処理を実施する速度変換手段とを備えたタイムストレッチ処理装置において、上記ピッチ周期抽出手段により抽出されたピッチ周期が最短値より短いか否かを判定する判定手段を設け、上記判定手段からピッチ周期が最短値より短い旨を示す判定結果が得られた場合、上記速度変換手段が上記フレーム長指定手段により指定された処理フレーム長で複数回入力信号の速度変換処理を実施することを特徴とするタイムストレッチ処理装置。
【請求項１２】
入力信号のピッチ周期を抽出するピッチ周期抽出手段と、上記ピッチ周期抽出手段により抽出されたピッチ周期が所定値以上変化する変化点を検出する変化点検出手段と、上記ピッチ周期抽出手段により抽出されたピッチ周期に応じた処理フレーム長を指定するフレーム長指定手段と、上記変化点検出手段により検出された変化点から、上記フレーム長指定手段により指定された処理フレーム長で入力信号の速度変換処理を実施する速度変換手段とを備えたタイムストレッチ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、音声信号のピッチ周期に応じて、その音声信号の速度変換処理を実施するタイムストレッチ処理装置に関するものである。
【背景技術】
【０００２】
従来のタイムストレッチ処理装置は、入力信号（例えば、音声信号）の音程や音質を変えずに音の長さを変えるため、その音声信号のピッチ周期を抽出し、そのピッチ周期で音声信号を繰り返す補間処理や、音声信号を間引く間引き処理を実施するようにしている。
あるいは、音声信号をピッチ周期毎に切り出し、それぞれの切り出し信号に窓かけを実施してから、相互に重ね合わせるなどの処理を実施するようにしている。
【０００３】
しかし、音声信号のピッチ周期を抽出することができない場合には、音の長さを変えることができないので、音声信号を区間毎に分類し、その特徴に応じて処理を切り替える方法がある。
例えば、以下の特許文献１には、音声信号を有声音の区間と、ピッチ周期が存在しない無声音の区間とに分類し、有声音の区間においては、ピッチ周期を利用して音声信号の圧縮や伸張処理を実施して速度を変換する。一方、無声音の区間においては、サンプリング周期によって速度を変換する方法が開示されている。
【０００４】
また、以下の特許文献２には、音声信号をピッチ周期が存在しない無声区間と、その他の区間に分類し、無声区間においては、任意の固定フレーム長で間引き処理や補間処理を実施する方法が開示されている。
【０００５】
【特許文献１】特開昭６３−２０４３００号公報（第９頁から第１３頁、第１図）
【特許文献２】特開平１０−９１１８９号公報（段落番号［００１０］から［００１１］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来のタイムストレッチ処理装置は以上のように構成されているので、音声信号のピッチ周期を抽出することができない無音区間においても速度を変換することができる。しかし、音声信号にＢＧＭが重なっている場合や、入力信号が音響信号である場合には、有音区間であっても、ピッチ周期を抽出することができず、適正な速度変換処理を実施することができなくなることがあるなどの課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、音源の種類を問わず、適正な速度変換処理を実施することができるタイムストレッチ処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係るタイムストレッチ処理装置は、ピッチ周期抽出手段により抽出されたピッチ周期が許容範囲内にあるか否かを判定する判定手段を設け、その判定手段からピッチ周期が許容範囲内にある旨を示す判定結果が得られた場合、そのピッチ周期に応じた処理フレーム長を指定し、その判定手段からピッチ周期が許容範囲を逸脱している旨を示す判定結果が得られた場合、予め設定された処理フレーム長を指定するようにしたものである。
【発明の効果】
【０００９】
この発明によれば、ピッチ周期抽出手段により抽出されたピッチ周期が許容範囲内にあるか否かを判定する判定手段を設け、その判定手段からピッチ周期が許容範囲内にある旨を示す判定結果が得られた場合、そのピッチ周期に応じた処理フレーム長を指定し、その判定手段からピッチ周期が許容範囲を逸脱している旨を示す判定結果が得られた場合、予め設定された処理フレーム長を指定するように構成したので、音源の種類を問わず、適正な速度変換処理を実施することができる効果がある。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１はこの発明の実施の形態１によるタイムストレッチ処理装置を示す構成図であり、図において、ピッチ周期抽出部１は入力信号（例えば、音声信号、音響信号）のピッチ周期を抽出するピッチ周期抽出手段を構成している。
比較部２はピッチ周期抽出部１により抽出されたピッチ周期を許容範囲の最短値と比較するとともに、そのピッチ周期を許容範囲の最長値と比較し、その比較結果を制御部３に出力する。なお、比較部２は判定手段を構成している。
【００１１】
制御部３は比較部２からピッチ周期が許容範囲内にある旨を示す比較結果が得られた場合、そのピッチ周期に応じた処理フレーム長を指定し、比較部２からピッチ周期が許容範囲を逸脱している旨を示す比較結果が得られた場合、予め設定された処理フレーム長を指定する。なお、制御部３はフレーム長指定手段を構成している。
速度変換処理部４は制御部３により指定された処理フレーム長で入力信号の速度変換処理を実施する速度変換手段を構成している。
図２はこの発明の実施の形態１によるタイムストレッチ処理装置の処理内容を示すフローチャートである。
【００１２】
次に動作について説明する。
まず、ピッチ周期抽出部１は、例えば、音声信号などの入力信号を受けると、図１２に示すように、その入力信号のピッチ周期Ｔを抽出する（ステップＳＴ１）。
ピッチ周期Ｔの抽出方法としては、例えば、入力信号の原音声波形に対する自己相関処理を実施して平均のピッチ周期を求める方法、入力信号のＬＰＣ分析を実施して残差を使用する方法、ＦＦＴを用いる方法、平行移動点における相関から最大値をとる方法など、種々の方法が存在する。
【００１３】
しかし、ピッチ周期は、元来感覚的な量であり、機械的に作り出した波形以外には完全な周期波は存在せず、準周期的なものに過ぎない。また、ノイズの影響や個人差などが存在するので、正確なピッチ周期を抽出することは極めて難しい。
更に、入力信号が音声などに限定されない場合は、各種信号の重畳が考えられるため、正確なピッチ周期を抽出することは困難である。
したがって、ピッチ周期抽出部１により抽出されるピッチ周期Ｔは、必ずしも正確なピッチ周期ではないが、それらしい値は抽出される。
【００１４】
比較部２は、ピッチ周期抽出部１がピッチ周期Ｔを抽出すると、そのピッチ周期Ｔが許容範囲（例えば、１／３０００秒〜１／５０秒）内にあるか否かを判定する。
即ち、ピッチ周期抽出部１により抽出されるピッチ周期Ｔは、必ずしも正確なピッチ周期ではなく、それらしい値であるため、常に、そのピッチ周期Ｔに応じて、速度変換処理に使用する処理フレーム長ＦＬを指定すると、適正な速度変換処理を実施することができなくなることがあるので、そのピッチ周期Ｔが許容範囲内にあるか否かを判定する。
【００１５】
具体的には、比較部２は、ピッチ周期抽出部１により抽出されたピッチ周期Ｔと、許容範囲の最短値Ｓｒｅｆ（例えば、１／３０００秒）とを比較し、そのピッチ周期Ｔが最短値Ｓｒｅｆより短ければ（ステップＳＴ２）、最短値より短いことを示す最短値逸脱信号を制御部３に出力する。
また、比較部２は、そのピッチ周期Ｔが最短値Ｓｒｅｆより短くなければ（ステップＳＴ２）、そのピッチ周期Ｔと、許容範囲の最長値Ｌｒｅｆ（例えば、１／５０秒）とを比較し、そのピッチ周期Ｔが最長値Ｌｒｅｆより長ければ（ステップＳＴ３）、最長値より長いことを示す最長値逸脱信号を制御部３に出力する。
なお、そのピッチ周期Ｔが最長値Ｌｒｅｆより長くなければ（ステップＳＴ３）、許容範囲内であることを示す許容信号を制御部３に出力する。
【００１６】
制御部３は、比較部２から許容信号を受けると、例えば以下に示すように、ピッチ周期抽出部１により抽出されたピッチ周期Ｔに応じた処理フレーム長ＦＬを計算する（ステップＳＴ４）。ただし、αは１，２，３・・・などの定数である。
ＦＬ＝α×Ｔ
【００１７】
制御部３は、比較部２から最短値逸脱信号を受けているとき、ピッチ周期抽出部１により抽出されたピッチ周期Ｔに応じた処理フレーム長ＦＬを指定すると、処理フレーム長ＦＬが短くなり過ぎて、音程の乱れや歪みが起こるので、予め設定された処理フレーム長ＦＬを指定する（ステップＳＴ５）。
例えば、ピッチ周期Ｔが１／１００秒であれば、処理フレーム長ＦＬは、次のようになる。
ＦＬ＝α／１００
【００１８】
制御部３は、比較部２から最長値逸脱信号を受けているとき、ピッチ周期抽出部１により抽出されたピッチ周期Ｔに応じた処理フレーム長ＦＬを指定すると、処理フレーム長ＦＬが長くなり過ぎて、信号の明らかな欠落やエコーが起こるので、予め設定された処理フレーム長ＦＬを指定する（ステップＳＴ６）。
例えば、ピッチ周期Ｔが１／１００秒であれば、処理フレーム長ＦＬは、次のようになる。
ＦＬ＝α／１００
【００１９】
速度変換処理部４は、上記のようにして制御部３が処理フレーム長ＦＬを指定すると、その処理フレーム長ＦＬで入力信号の速度変換処理を実施する（ステップＳＴ７）。
入力信号の速度変換処理は、上記の特許文献１，２等に開示されている方法を適用すればよいが、例えば、ピッチ周期Ｔに対応するピッチ幅から処理フレーム長ＦＬを間引く間引き処理などを実施する。
【００２０】
以上で明らかなように、この実施の形態１によれば、ピッチ周期抽出部１により抽出されたピッチ周期Ｔが許容範囲内にあるか否かを判定する比較部２を設け、比較部２からピッチ周期が許容範囲内にある旨を示す比較結果が得られた場合、そのピッチ周期Ｔに応じた処理フレーム長ＦＬを指定し、比較部２からピッチ周期Ｔが許容範囲を逸脱している旨を示す比較結果が得られた場合、予め設定された処理フレーム長ＦＬを指定するように構成したので、音源の種類を問わず、音程の乱れや歪み、信号の明らかな欠落やエコーの発生を招くことなく、適正な速度変換処理を実施することができる効果を奏する。
また、ピッチ周期抽出部１が正確なピッチ周期Ｔを抽出しなくても、それらしい値を抽出すれば、制御部３が適正な処理フレーム長ＦＬを指定することができるので、ピッチ周期Ｔの抽出に伴う演算量を低減することができる効果を奏する。
【００２１】
なお、この実施の形態１では、制御部３が比較部２から最短値逸脱信号又は最長値逸脱信号を受けると、予め設定された処理フレーム長ＦＬを指定するものについて示したが、入力信号の性質や出力信号の品質に応じた処理フレーム長ＦＬを指定するようにしてもよい。
また、制御部３が比較部２から最短値逸脱信号又は最長値逸脱信号を受けると、前回指定した処理フレーム長ＦＬを再度指定するようにしてもよい。
【００２２】
実施の形態２．
図３はこの発明の実施の形態２によるタイムストレッチ処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
ピッチ周期保存部１１はピッチ周期抽出部１により抽出されたピッチ周期を保存するメモリであり、ピッチ周期保存部１１はピッチ周期保存手段を構成している。
比較部１２はピッチ周期抽出部１により抽出された現在のピッチ周期とピッチ周期保存部１１に保存されている以前のピッチ周期との差分を求め、そのピッチ周期の差分と許容範囲の最短値とを比較するとともに、そのピッチ周期の差分と許容範囲の最長値とを比較し、その比較結果を制御部１３に出力する。なお、比較部１２は判定手段を構成している。
【００２３】
制御部１３は比較部１２からピッチ周期の差分が許容範囲内にある旨を示す比較結果が得られた場合、現在のピッチ周期に応じた処理フレーム長を指定し、比較部１２からピッチ周期の差分が許容範囲を逸脱している旨を示す比較結果が得られた場合、予め設定された処理フレーム長を指定する。なお、制御部１３はフレーム長指定手段を構成している。
図４はこの発明の実施の形態２によるタイムストレッチ処理装置の処理内容を示すフローチャートである。
【００２４】
次に動作について説明する。
まず、ピッチ周期抽出部１は、例えば、音声信号などの入力信号を受けると、上記実施の形態１と同様に、その入力信号のピッチ周期ＴＮを抽出する（ステップＳＴ１１）。
なお、ピッチ周期抽出部１は、その抽出したピッチ周期ＴＮを比較部１２に出力するとともに、そのピッチ周期ＴＮをピッチ周期保存部１１に保存する。
ただし、Ｔの添字であるＮは、Ｎフレーム目のピッチ周期であることを示している。
【００２５】
比較部１２は、ピッチ周期抽出部１が現在のピッチ周期ＴＮ（Ｎフレーム目のピッチ周期）を抽出すると、ピッチ周期保存部１１から以前のピッチ周期ＴＮ−１（Ｎ−１フレーム目のピッチ周期）を読み出し、Ｎフレーム目のピッチ周期ＴＮとＮ−１フレーム目のピッチ周期ＴＮ−１との差分ΔＴを求める（ステップＳＴ１２）。
【００２６】
次に、比較部１２は、ピッチ周期の差分ΔＴと、許容範囲の最短値Ｓｒｅｆ（例えば、Ｎフレーム目のピッチ周期ＴＮの−１０％の値）とを比較し、そのピッチ周期の差分ΔＴが最短値Ｓｒｅｆより短ければ（ステップＳＴ１３）、最短値を逸脱していることを示す最短値逸脱信号を制御部１３に出力する。
また、比較部１２は、そのピッチ周期の差分ΔＴが最短値Ｓｒｅｆより短くなければ（ステップＳＴ１３）、そのピッチ周期の差分ΔＴと、許容範囲の最長値Ｌｒｅｆ（例えば、Ｎフレーム目のピッチ周期ＴＮの＋１０％の値）とを比較し、そのピッチ周期の差分ΔＴが最長値Ｌｒｅｆより長ければ（ステップＳＴ１４）、最長値を逸脱していることを示す最長値逸脱信号を制御部１３に出力する。
なお、そのピッチ周期の差分ΔＴが最長値Ｌｒｅｆより長くなければ（ステップＳＴ１４）、許容範囲内であることを示す許容信号を制御部１３に出力する。
【００２７】
制御部１３は、比較部１２から許容信号を受けると、上記実施の形態１と同様に、ピッチ周期抽出部１により抽出されたピッチ周期ＴＮに応じた処理フレーム長ＦＬを計算する（ステップＳＴ１５）。
【００２８】
制御部１３は、比較部１２から最短値逸脱信号を受けているとき、Ｎフレーム目のピッチ周期ＴＮに応じた処理フレーム長ＦＬを指定すると、その処理フレーム長ＦＬがＮ−１フレーム目の処理フレーム長ＦＬとかけ離れた値となり、速度変換処理の不安定化を招くので、予め設定された処理フレーム長ＦＬを指定する（ステップＳＴ１６）。
例えば、ピッチ周期Ｔが１／１００秒であれば、処理フレーム長ＦＬは、次のようになる。
ＦＬ＝α／１００
【００２９】
制御部１３は、比較部１２から最長値逸脱信号を受けているとき、Ｎフレーム目のピッチ周期ＴＮに応じた処理フレーム長ＦＬを指定すると、その処理フレーム長ＦＬがＮ−１フレーム目の処理フレーム長ＦＬとかけ離れた値となり、速度変換処理の不安定化を招くので、予め設定された処理フレーム長ＦＬを指定する（ステップＳＴ１７）。
例えば、ピッチ周期Ｔが１／１００秒であれば、処理フレーム長ＦＬは、次のようになる。
ＦＬ＝α／１００
【００３０】
速度変換処理部４は、上記のようにして制御部１３が処理フレーム長ＦＬを指定すると、上記実施の形態１と同様に、その処理フレーム長ＦＬで入力信号の速度変換処理を実施する（ステップＳＴ１８）。
【００３１】
以上で明らかなように、この実施の形態２によれば、ピッチ周期抽出部１により抽出された現在のピッチ周期とピッチ周期保存部１１に保存されている以前のピッチ周期との差分ΔＴが許容範囲内にあるか否かを判定する比較部１２を設け、比較部１２からピッチ周期の差分ΔＴが許容範囲内にある旨を示す比較結果が得られた場合、現在のピッチ周期に応じた処理フレーム長ＦＬを指定し、比較部１２からピッチ周期の差分ΔＴが許容範囲を逸脱している旨を示す比較結果が得られた場合、予め設定された処理フレーム長ＦＬを指定するように構成したので、上記実施の形態１と同様に、音源の種類を問わず、適正な速度変換処理を実施することができるほか、入力信号に重畳されている信号のレベル変動に伴ってピッチ周期が一時的に変化しても、処理フレーム長ＦＬの大きな変動を防止して、速度変換処理の安定化を図ることができる効果を奏する。
【００３２】
なお、この実施の形態２では、比較部１２がＮフレーム目のピッチ周期ＴＮとＮ−１フレーム目のピッチ周期ＴＮ−１との差分ΔＴを求めるものについて示したが、以前のピッチ周期ＴＮ−１はＮ−１フレーム目のピッチ周期ＴＮ−１である必要はなく、例えば、Ｎフレーム目のピッチ周期ＴＮとＮ−２フレーム目のピッチ周期ＴＮ−２との差分ΔＴを求めるようにしてもよい。
また、この実施の形態２では、制御部１３が比較部１２から最短値逸脱信号又は最長値逸脱信号を受けると、予め設定された処理フレーム長ＦＬを指定するものについて示したが、前回指定した処理フレーム長ＦＬを再度指定するようにしてもよい。
【００３３】
実施の形態３．
上記実施の形態２では、入力信号の帯域を問わず、許容範囲の最短値Ｓｒｅｆや最長値Ｌｒｅｆが設定されているものについて示したが、入力信号の帯域毎に許容範囲の最短値Ｓｒｅｆ及び最長値Ｌｒｅｆを設定し、比較部１２が入力信号の帯域に対応する許容範囲の最短値Ｓｒｅｆ及び最長値Ｌｒｅｆとピッチ周期の差分ΔＴを比較するようにしてもよい。
【００３４】
例えば、入力信号の帯域毎に、許容範囲の最短値Ｓｒｅｆ及び最長値Ｌｒｅｆが下記のように設定されている場合において、例えば、入力信号の帯域が２００Ｈｚであれば、比較部１２がＮフレーム目のピッチ周期ＴＮの−１０％の値を最短値Ｓｒｅｆとして使用し、Ｎフレーム目のピッチ周期ＴＮの＋１０％の値を最長値Ｌｒｅｆとして使用するようにする。
入力信号の帯域              最短値      最長値
〜１００Ｈｚ        →    −５％      ＋５％
１００〜３００Ｈｚ    →    −１０％    ＋１０％
３００Ｈｚ〜          →    −２０％    ＋２０％
【００３５】
以上で明らかなように、この実施の形態３によれば、入力信号の帯域に対応する許容範囲の最短値Ｓｒｅｆ及び最長値Ｌｒｅｆとピッチ周期の差分ΔＴを比較するように構成したので、ピッチ周期の誤抽出による影響を軽減することができる効果を奏する。
【００３６】
実施の形態４．
上記実施の形態１〜３では、制御部３，１３が比較部２，１２から比較結果を受けると、その比較結果を考慮して、直ちに処理フレーム長ＦＬを指定するものについて示したが、入力信号に重畳されている信号のレベル変動に伴うピッチ周期の一時的な変化に追従して、処理フレーム長ＦＬを変更するようにすると、速度変換処理の不安定化を招くおそれがある。
【００３７】
そこで、この実施の形態４では、制御部３，１３が比較部２，１２から比較結果を受けても、直ちに処理フレーム長ＦＬを変更せず、同一の指定条件が所定回数連続したとき処理フレーム長ＦＬを変更するようにする。
例えば、Ｍ回（例えば、Ｍ＝３）連続して、比較部２から許容信号を受け、かつ、ピッチ周期抽出部１により抽出された現在のピッチ周期Ｔが同じ値であるとき、制御部３が現在のピッチ周期Ｔに応じた処理フレーム長ＦＬを指定するようにする。
あるいは、Ｍ回（例えば、Ｍ＝３）連続して、比較部１２から許容信号を受け、かつ、ピッチ周期の差分ΔＴが同じ値であるとき、制御部１３が現在のピッチ周期Ｔに応じた処理フレーム長ＦＬに変更するようにする。
【００３８】
あるいは、Ｍ回（例えば、Ｍ＝３）連続して、比較部２，１２から最短値逸脱信号を受けたとき、制御部３，１３が最短値を逸脱したときの処理フレーム長ＦＬに変更するようにする。
あるいは、Ｍ回（例えば、Ｍ＝３）連続して、比較部２，１２から最長値逸脱信号を受けたとき、制御部３，１３が最長値を逸脱したときの処理フレーム長ＦＬに変更するようにする。
【００３９】
以上で明らかなように、この実施の形態４によれば、処理フレーム長の指定条件が変化しても直ちに処理フレーム長ＦＬを変更せず、同一の指定条件が所定回数連続したとき処理フレーム長ＦＬを変更するように構成したので、入力信号に重畳されている信号のレベル変動に伴ってピッチ周期が一時的に変化しても、処理フレーム長ＦＬの大きな変動を防止して、速度変換処理の安定化を図ることができる効果を奏する。
【００４０】
実施の形態５．
上記実施の形態１〜３では、制御部３，１３が比較部２，１２から比較結果を受けると、その比較結果を考慮して、直ちに処理フレーム長ＦＬを指定するものについて示したが、前回指定した処理フレーム長ＦＬを変更する場合、その処理フレーム長ＦＬを段階的に変更するようにしてもよい。
【００４１】
具体的には、例えば、前回指定した処理フレーム長ＦＬが“１／２５秒”で、今回の指定条件に見合う処理フレーム長ＦＬが“１／１００秒”である場合、上記実施の形態１〜３では、直ちに、処理フレーム長ＦＬとして“１／１００秒”を指定するが、この実施の形態５では、直ちに、処理フレーム長ＦＬを“１／１００秒”に変更せず、“１／２５秒”→“１／５０秒”→“１／１００秒”のように処理フレーム長ＦＬを段階的に変更する。
【００４２】
この実施の形態５によれば、入力信号に重畳されている信号のレベル変動に伴ってピッチ周期が一時的に変化しても、処理フレーム長ＦＬの大きな変動を防止することができるため、速度変換処理の安定化を図ることができる効果を奏する。
【００４３】
実施の形態６．
図５はこの発明の実施の形態６によるタイムストレッチ処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
有音／無音検出部２１は入力信号が有音であるか、無音であるかを検出する。スイッチ２２は有音／無音検出部２１が有音を検出すると、入力信号をピッチ周期抽出部１に与える一方、有音／無音検出部２１が無音を検出すると、ピッチ周期抽出部１に対する入力信号の提供を中止する。
【００４４】
制御部２３は図１の制御部３と同様に、比較部２からピッチ周期Ｔが許容範囲内にある旨を示す比較結果が得られた場合、そのピッチ周期Ｔに応じた処理フレーム長ＦＬを指定し、比較部２からピッチ周期Ｔが許容範囲を逸脱している旨を示す比較結果が得られた場合、予め設定された処理フレーム長ＦＬを指定するが、有音／無音検出部２１が無音を検出すると、予め設定された処理フレーム長ＦＬを指定する。
なお、有音／無音検出部２１、スイッチ２２及び制御部２３からフレーム長指定手段が構成されている。
図６はこの発明の実施の形態６によるタイムストレッチ処理装置の処理内容を示すフローチャートである。
【００４５】
次に動作について説明する。
まず、有音／無音検出部２１は、入力信号が有音であるか、無音であるかを検出する（ステップＳＴ２１）。
スイッチ２２は、有音／無音検出部２１により有音が検出された場合（ステップＳＴ２２）、入力信号をピッチ周期抽出部１に与える（ステップＳＴ２３）。
この場合の以降の処理内容は、上記実施の形態１と同様であるため説明を省略する。
【００４６】
スイッチ２２は、有音／無音検出部２１により無音が検出された場合（ステップＳＴ２２）、ピッチ周期抽出部１に対する入力信号の提供を中止する（ステップＳＴ２４）。
即ち、入力信号が無音である場合、入力信号には明らかに周期的な信号が存在していないので、無駄なピッチ周期の抽出処理を中止させるべく、ピッチ周期抽出部１に対する入力信号の提供を中止する。これにより、ピッチ周期抽出部１における演算量の削減を図ることができるとともに、ピッチ周期の誤抽出を防止することができる。
【００４７】
制御部２３は、有音／無音検出部２１により有音が検出された場合、図１の制御部３と同様にして、処理フレーム長ＦＬを指定するが、有音／無音検出部２１により無音が検出された場合、予め設定された処理フレーム長ＦＬを指定する（ステップＳＴ２５）。
例えば、ピッチ周期Ｔが１／１００秒であれば、処理フレーム長ＦＬは、次のようになる。
ＦＬ＝α／１００
【００４８】
以上で明らかなように、この実施の形態６によれば、入力信号が無音である場合、予め設定された処理フレーム長ＦＬを指定するように構成したので、ピッチ周期抽出部１における演算量の削減を図ることができるとともに、ピッチ周期の誤抽出を防止して、適正な速度変換処理を実施することができる効果を奏する。
【００４９】
なお、この実施の形態６では、有音／無音検出部２１及びスイッチ２２を図１のタイムストレッチ処理装置に適用するものについて示したが、有音／無音検出部２１及びスイッチ２２を図３のタイムストレッチ処理装置に適用してもよい。
この場合、制御部２３は、有音／無音検出部２１により有音が検出された場合、図３の制御部１３と同様にして、処理フレーム長ＦＬを指定する。
【００５０】
実施の形態７．
図７はこの発明の実施の形態７によるタイムストレッチ処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
抽出周期制限部３１は入力信号のピッチ周期の抽出範囲を設定する抽出範囲設定手段を構成している。
ピッチ周期抽出部３２は入力信号のピッチ周期が抽出周期制限部３１により設定された抽出範囲内にあれば、そのピッチ周期Ｔを抽出する一方、その抽出範囲内になければ、その抽出範囲内で一番最もらしいピッチ周期Ｔを抽出する。なお、ピッチ周期抽出部３２はピッチ周期抽出手段を構成している。
【００５１】
制御部３３はピッチ周期抽出部３２により抽出されたピッチ周期Ｔに応じた処理フレーム長ＦＬを指定するフレーム長指定手段を構成している。
図８はこの発明の実施の形態７によるタイムストレッチ処理装置の処理内容を示すフローチャートである。
【００５２】
次に動作について説明する。
まず、抽出周期制限部３１は、入力信号のピッチ周期Ｔの抽出範囲を設定する（ステップＳＴ３１）。
例えば、入力信号のピッチ周期Ｔが１／３０００秒〜１／５０秒の範囲内であるとき、ピッチ周期Ｔに基づく速度変換処理の適正化が可能であれば、入力信号のピッチ周期Ｔの抽出範囲として、１／３０００秒〜１／５０秒を設定する。
【００５３】
ピッチ周期抽出部３２は、音声信号などの入力信号を受けると、上記実施の形態１と同様に、その入力信号のピッチ周期Ｔを抽出する（ステップＳＴ３２）。ただし、入力信号のピッチ周期Ｔが抽出周期制限部３１により設定された抽出範囲内にあれば（ステップＳＴ３３）、そのピッチ周期Ｔを制御部３３に出力するが、その抽出範囲内になければ（ステップＳＴ３３）、その抽出範囲内で一番最もらしいピッチ周期Ｔを抽出し（ステップＳＴ３４）、そのピッチ周期Ｔを制御部３３に出力する。例えば、入力信号をＦＦＴ変換して、周波数領域の信号に変換すると、最大の信号が抽出範囲の外側にあっても、その抽出範囲の内側にも信号が現れるので、その内側の信号の中で最も大きい信号を、一番最もらしいピッチ周期Ｔとして抽出する。
【００５４】
制御部３３は、ピッチ周期抽出部３２からピッチ周期Ｔを受けると、上記実施の形態１と同様にして、そのピッチ周期Ｔに応じた処理フレーム長ＦＬを指定する（ステップＳＴ３５）。
速度変換処理部４は、制御部３が処理フレーム長ＦＬを指定すると、上記実施の形態１と同様に、その処理フレーム長ＦＬで入力信号の速度変換処理を実施する（ステップＳＴ３６）。
【００５５】
以上で明らかなように、この実施の形態７によれば、入力信号のピッチ周期Ｔが抽出周期制限部３１により設定された抽出範囲内にあれば、そのピッチ周期Ｔを抽出する一方、その抽出範囲内になければ、その抽出範囲内で一番最もらしいピッチ周期Ｔを抽出するように構成したので、ピッチ周期Ｔに基づく速度変換処理の信頼性を高めることができる効果を奏する。
【００５６】
実施の形態８．
図９はこの発明の実施の形態８によるタイムストレッチ処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
比較部４１はピッチ周期抽出部１により抽出されたピッチ周期Ｔと最短値Ｓｒｅｆを比較し、そのピッチ周期Ｔが最短値Ｓｒｅｆより長ければ、その旨を示すＬｏｎｇ信号を制御部４２に出力し、そのピッチ周期Ｔが最短値Ｓｒｅｆより短ければ、その旨を示すＳｈｏｒｔ信号を制御部４２に出力する。なお、比較部４１は判定手段を構成している。
【００５７】
制御部４２は比較部４１からＬｏｎｇ信号を受けると、ピッチ周期抽出部１により抽出されたピッチ周期Ｔに応じた処理フレーム長ＦＬを指定し、比較部４１からＳｈｒｏｔ信号を受けると、ピッチ周期抽出部１により抽出されたピッチ周期Ｔの整数倍に応じた処理フレーム長ＦＬを指定する。なお、制御部４２はフレーム長指定手段を構成している。
図１０はこの発明の実施の形態８によるタイムストレッチ処理装置の処理内容を示すフローチャートである。
【００５８】
次に動作について説明する。
ピッチ周期抽出部１は、音声信号などの入力信号を受けると、上記実施の形態１と同様に、その入力信号のピッチ周期Ｔを抽出する（ステップＳＴ４１）。
【００５９】
比較部４１は、ピッチ周期抽出部１により抽出されたピッチ周期Ｔと最短値Ｓｒｅｆ（例えば、１／１０００秒）を比較し、そのピッチ周期Ｔが最短値Ｓｒｅｆより長ければ（ステップＳＴ４２）、その旨を示すＬｏｎｇ信号を制御部４２に出力する。
一方、そのピッチ周期Ｔが最短値Ｓｒｅｆより短ければ（ステップＳＴ４２）、その旨を示すＳｈｏｒｔ信号を制御部４２に出力する。
【００６０】
制御部４２は、比較部４１からＬｏｎｇレベル信号を受けると、上記実施の形態１と同様に、ピッチ周期抽出部１により抽出されたピッチ周期Ｔに応じた処理フレーム長ＦＬを指定する（ステップＳＴ４３）。
ただし、比較部４１からＳｈｏｒｔ信号を受けた場合、ピッチ周期抽出部１により抽出されたピッチ周期Ｔに応じた処理フレーム長ＦＬを指定すると、処理フレーム長ＦＬが短くなり過ぎて、音程の乱れや歪みが起こるので、ピッチ周期抽出部１により抽出されたピッチ周期Ｔの整数倍に応じた処理フレーム長ＦＬを指定する（ステップＳＴ４４）。
例えば、ピッチ周期抽出部１により抽出されたピッチ周期Ｔが１／１０００秒であれば、１／５００秒や１／２５０秒に応じた処理フレーム長ＦＬが指定される。
【００６１】
速度変換処理部４は、制御部４２が処理フレーム長ＦＬを指定すると、上記実施の形態１と同様に、その処理フレーム長ＦＬで入力信号の速度変換処理を実施する（ステップＳＴ４５）。
【００６２】
以上で明らかなように、この実施の形態８によれば、ピッチ周期抽出部１により抽出されたピッチ周期Ｔが最短値Ｓｒｅｆより長ければ、ピッチ周期抽出部１により抽出されたピッチ周期Ｔに応じた処理フレーム長ＦＬを指定し、そのピッチ周期Ｔが最短値Ｓｒｅｆより短ければ、ピッチ周期抽出部１により抽出されたピッチ周期Ｔの整数倍に応じた処理フレーム長ＦＬを指定するように構成したので、音源の種類を問わず、音程の乱れや歪みの発生を招くことなく、適正な速度変換処理を実施することができる効果を奏する。
【００６３】
実施の形態９．
上記実施の形態８では、ピッチ周期抽出部１により抽出されたピッチ周期Ｔが最短値Ｓｒｅｆより短ければ、制御部４２がピッチ周期抽出部１により抽出されたピッチ周期Ｔの整数倍に応じた処理フレーム長ＦＬを指定するものについて示したが、ピッチ周期抽出部１により抽出されたピッチ周期Ｔが最短値Ｓｒｅｆより短ければ、制御部４２がピッチ周期抽出部１により抽出されたピッチ周期Ｔに応じた処理フレーム長を指定するとともに、複数の処理回数を設定するようにしてもよい。
【００６４】
即ち、制御部４２は、上記実施の形態１と同様に、ピッチ周期抽出部１により抽出されたピッチ周期Ｔに応じた処理フレーム長ＦＬを指定するが、比較部４１からＳｈｏｒｔ信号を受けると、複数の処理回数を設定する。例えば、タイムストレッチ処理装置がリアルタイム処理を継続できる範囲内で処理回数を設定する。現在の処理能力に余裕があれば、処理回数を少なく設定し、現在の処理能力に余裕がなければ、処理回数を多く設定する。
速度変換処理部４は、制御部４２が処理フレーム長ＦＬを指定すると、上記実施の形態１と同様に、その処理フレーム長ＦＬで入力信号の速度変換処理を実施する。ただし、制御部４２が複数の処理回数を設定すると、制御部４２により指定された処理フレーム長ＦＬで、その処理回数だけ複数回入力信号の速度変換処理を実施する。
【００６５】
この実施の形態９によれば、処理フレーム長ＦＬが、直ちにピッチ周期Ｔに応じた処理フレーム長ＦＬ１に変化することに伴う速度変換処理の不安定化の発生を防止することができる一方、処理フレーム長ＦＬが、ピッチ周期Ｔの変化に追従できない不具合も解消することができる効果を奏する。
【００６６】
実施の形態１０．
図１１はこの発明の実施の形態１０によるタイムストレッチ処理装置を示す構成図であり、図において、ピッチ周期抽出部５１はピッチ周期変化点検出部５２により検出された変化点を起点にして、入力信号のピッチ周期Ｔを抽出するピッチ周期抽出手段を構成している。
ピッチ周期変化点検出部５２はピッチ周期抽出部５１により抽出されたピッチ周期Ｔが大きく変化する変化点を検出する。なお、ピッチ周期変化点検出部５２は変化点検出手段を構成している。
【００６７】
制御部５３はピッチ周期抽出部５１により抽出されたピッチ周期Ｔに応じた処理フレーム長を指定するフレーム長指定手段を構成している。
速度変換処理部５４はピッチ周期変化点検出部５２により検出された変化点から、制御部５３により指定された処理フレーム長で入力信号の速度変換処理を実施する。なお、速度変換処理部５４は速度変換手段を構成している。
【００６８】
次に動作について説明する。
ピッチ周期変化点検出部５２は、ピッチ周期抽出部５１により抽出されたピッチ周期Ｔを監視し、そのピッチ周期Ｔが大きく変化する変化点を検出する。
即ち、そのピッチ周期Ｔが予め設定された値よりも大きく変化する変化点を検出する。例えば、入力信号が音声信号から音響信号に変化する位置を検出する。
なお、ピッチ周期Ｔの変化点は、例えば、入力信号のパワーの変化量から検出することができる。また、入力信号の範囲を細分化してＦＦＴの特性を観察することにより検出することもできる。
【００６９】
ピッチ周期抽出部５１は、ピッチ周期変化点検出部５２がピッチ周期Ｔの変化点を検出すると、制御部５３の指示の下、その変化点を起点にして、入力信号のピッチ周期Ｔを抽出する。
制御部５３は、ピッチ周期抽出部５１により抽出されたピッチ周期Ｔで変化点まで処理させ、変化点以降の周期をピッチ周期抽出部５１に再提出させる。変化点からは再提出された周期で処理させる。。
なお、制御部５３は、ピッチ周期変化点検出部５２がピッチ周期Ｔの変化点を検出すると、上記実施の形態１と同様に、ピッチ周期抽出部５１により抽出されたピッチ周期Ｔに応じた処理フレーム長ＦＬを指定する。
【００７０】
速度変換処理部５４は、制御部５３の指示の下、ピッチ周期変化点検出部５２により検出された変化点から、制御部５３により指定された処理フレーム長ＦＬで入力信号の速度変換処理を実施する。
【００７１】
以上で明らかなように、この実施の形態１０によれば、ピッチ周期変化点検出部５２により検出された変化点から、制御部５３により指定された処理フレーム長で入力信号の速度変換処理を実施するように構成したので、上記実施の形態１と同様に、音源の種類を問わず、適正な速度変換処理を実施することができるほか、ピッチ周期Ｔの変動に対する追従性能が高まるため、高音質な出力信号を得ることができる効果を奏する。
【図面の簡単な説明】
【００７２】
【図１】この発明の実施の形態１によるタイムストレッチ処理装置を示す構成図である。
【図２】この発明の実施の形態１によるタイムストレッチ処理装置の処理内容を示すフローチャートである。
【図３】この発明の実施の形態２によるタイムストレッチ処理装置を示す構成図である。
【図４】この発明の実施の形態２によるタイムストレッチ処理装置の処理内容を示すフローチャートである。
【図５】この発明の実施の形態６によるタイムストレッチ処理装置を示す構成図である。
【図６】この発明の実施の形態６によるタイムストレッチ処理装置の処理内容を示すフローチャートである。
【図７】この発明の実施の形態７によるタイムストレッチ処理装置を示す構成図である。
【図８】この発明の実施の形態７によるタイムストレッチ処理装置の処理内容を示すフローチャートである。
【図９】この発明の実施の形態８によるタイムストレッチ処理装置を示す構成図である。
【図１０】この発明の実施の形態８によるタイムストレッチ処理装置の処理内容を示すフローチャートである。
【図１１】この発明の実施の形態１０によるタイムストレッチ処理装置を示す構成図である。
【図１２】入力信号のピッチ周期を示す説明図である。
【符号の説明】
【００７３】
１  ピッチ周期抽出部（ピッチ周期抽出手段）、２  比較部（判定手段）、３  制御部（フレーム長指定手段）、４  速度変換処理部（速度変換手段）、１１  ピッチ周期保存部（ピッチ周期保存手段）、１２  比較部（判定手段）、１３  制御部（フレーム長指定手段）、２１  有音／無音検出部（フレーム長指定手段）、２２  スイッチ（フレーム長指定手段）、２３  制御部（フレーム長指定手段）、３１  抽出周期制限部（抽出範囲設定手段）、３２  ピッチ周期抽出部（ピッチ周期抽出手段）、３３  制御部（フレーム長指定手段）、４１  比較部（判定手段）、４２  制御部（フレーム長指定手段）、５１  ピッチ周期抽出部（ピッチ周期抽出手段）、５２  ピッチ周期変化点検出部（変化点検出手段）、５３  制御部（フレーム長指定手段）、５４  速度変換処理部（速度変換手段）。
【図１】
2006017900.tif 000003
【図２】
2006017900.tif 000004
【図３】
2006017900.tif 000005
【図４】
2006017900.tif 000006
【図５】
2006017900.tif 000007
【図６】
2006017900.tif 000008
【図７】
2006017900.tif 000009
【図８】
2006017900.tif 000010
【図９】
2006017900.tif 000011
【図１０】
2006017900.tif 000012
【図１１】
2006017900.tif 000013
【図１２】
2006017900.tif 000014