(57)【特許請求の範囲】
【請求項１】
対象楽曲を所定のタイムストレッチ倍率によりタイムストレッチさせるためのタイムストレッチシステムであって、
前記対象楽曲における成分のスペクトル分布に基づいて、その成分のうちの調波構造をなしている調波成分を抽出する調波抽出手段と、
前記対象楽曲の成分から前記調波抽出手段により抽出された調波成分を除去することにより、前記対象楽曲の成分のうちの調波構造をなしていない非調波成分を抽出する非調波抽出手段と、
該非調波抽出手段により抽出された非調波成分に基づいて、該非調波成分を時間軸に沿って単位区間毎に分割した場合における各分割した成分（以降「分割非調波成分」という）それぞれの時間軸上の位置を、前記タイムストレッチ倍率に応じて前後させた位置に配置し直す成分再配置手段と、
前記調波抽出手段により抽出された調波成分を、その波形が時間軸に沿って伸縮するように前記タイムストレッチ倍率に応じてタイムストレッチさせる波形伸縮手段と、
該波形伸縮手段によりタイムストレッチされた後の調波成分について、該調波成分のピッチを前記タイムストレッチ倍率に応じて低くまたは高くするピッチシフト手段と、
前記成分再配置手段により分割非調波成分が配置し直されてなる非調波成分に、前記波形伸縮手段によるタイムストレッチおよび前記ピッチシフト手段によるピッチシフトがされてなる調波成分を、それぞれの時間軸が一致するように合成する成分合成手段と、を備えており、
前記対象楽曲が、所定のサンプリング周波数Ｆｓで所定の楽曲をサンプリングしてなる楽曲データで示されるものである場合において、
前記波形伸縮手段は、前記調波抽出手段により抽出された調波成分を、前記サンプリング周波数Ｆｓに前記タイムストレッチ倍率Ａと同じ倍率を積算してなるサンプリング周波数Ｆｓ・Ａへと周波数変換したうえで、該周波数変換された調波成分を、その波形が時間軸に沿って伸縮するようにタイムストレッチさせており、
さらに、前記タイムストレッチ倍率が１未満である場合に、前記対象楽曲の成分から規定される周波数Ｆｃ（＝（Ａ・Ｆｓ）／２）以上の周波数成分をフィルタリングにより除去した後で、前記波形伸縮手段による周波数変換およびタイムストレッチを行わせる周波数成分変換手段、を備えている
ことを特徴とするタイムストレッチシステム。
【請求項２】
対象楽曲を所定のタイムストレッチ倍率によりタイムストレッチさせるためのタイムストレッチシステムであって、
前記対象楽曲における成分のスペクトル分布に基づいて、その成分のうちの調波構造をなしている調波成分を抽出する調波抽出手段と、
前記対象楽曲の成分から前記調波抽出手段により抽出された調波成分を除去することにより、前記対象楽曲の成分のうちの調波構造をなしていない非調波成分を抽出する非調波抽出手段と、
該非調波抽出手段により抽出された非調波成分に基づいて、該非調波成分を時間軸に沿って単位区間毎に分割した場合における各分割した成分（以降「分割非調波成分」という）それぞれの時間軸上の位置を、前記タイムストレッチ倍率に応じて前後させた位置に配置し直す成分再配置手段と、
前記調波抽出手段により抽出された調波成分を、その波形が時間軸に沿って伸縮するように前記タイムストレッチ倍率に応じてタイムストレッチさせる波形伸縮手段と、
該波形伸縮手段によりタイムストレッチされた後の調波成分について、該調波成分のピッチを前記タイムストレッチ倍率に応じて低くまたは高くするピッチシフト手段と、
前記成分再配置手段により分割非調波成分が配置し直されてなる非調波成分に、前記波形伸縮手段によるタイムストレッチおよび前記ピッチシフト手段によるピッチシフトがされてなる調波成分を、それぞれの時間軸が一致するように合成する成分合成手段と、を備えており、
さらに、
前記タイムストレッチ倍率が１未満である場合に、前記調波抽出手段により抽出された調波成分を、前記サンプリング周波数Ｆｓに前記タイムストレッチ倍率Ａの逆数と同じ倍率を積算してなるサンプリング周波数Ｆｓ／Ａへと周波数変換した後で、該調波成分について前記波形伸縮手段によるタイムストレッチを行わせると共に、該波形伸縮手段によるタイムストレッチおよび前記ピッチシフト手段によるピッチシフトがなされた調波成分を、そのサンプリング周波数に前記タイムストレッチ倍率Ａと同じ倍率を積算してなるサンプリング周波数へと周波数変換した後で、該周波数変換された調波成分と、前記成分再配置手段により分割非調波成分が配置し直されてなる非調波成分との前記成分合成手段による合成を行わせる周波数成分変換手段、を備えている
ことを特徴とするタイムストレッチシステム。
【請求項３】
対象楽曲を所定のタイムストレッチ倍率によりタイムストレッチさせるためのタイムストレッチシステムであって、
前記対象楽曲における成分のスペクトル分布に基づいて、その成分のうちの調波構造をなしている調波成分を抽出する調波抽出手段と、
前記対象楽曲の成分から前記調波抽出手段により抽出された調波成分を除去することにより、前記対象楽曲の成分のうちの調波構造をなしていない非調波成分を抽出する非調波抽出手段と、
該非調波抽出手段により抽出された非調波成分に基づいて、該非調波成分を時間軸に沿って単位区間毎に分割した場合における各分割した成分（以降「分割非調波成分」という）それぞれの時間軸上の位置を、前記タイムストレッチ倍率に応じて前後させた位置に配置し直す成分再配置手段と、
前記調波抽出手段により抽出された調波成分を、その波形が時間軸に沿って伸縮するように前記タイムストレッチ倍率に応じてタイムストレッチさせる波形伸縮手段と、
該波形伸縮手段によりタイムストレッチされた後の調波成分について、該調波成分のピッチを前記タイムストレッチ倍率に応じて低くまたは高くするピッチシフト手段と、
前記成分再配置手段により分割非調波成分が配置し直されてなる非調波成分に、前記波形伸縮手段によるタイムストレッチおよび前記ピッチシフト手段によるピッチシフトがされてなる調波成分を、それぞれの時間軸が一致するように合成する成分合成手段と、を備えており、
前記対象楽曲が、所定のサンプリング周波数Ｆｓで所定の楽曲をサンプリングしてなる楽曲データで示されるものである場合において、
前記タイムストレッチ倍率が１未満である場合に、前記波形伸縮手段によるタイムストレッチおよび前記ピッチシフト手段によるピッチシフトがなされてなる調波成分を、前記サンプリング周波数Ｆｓが前記タイムストレッチ倍率Ａと同じ倍率のサンプリング周波数Ｆｓ’’’（＝Ｆｓ’’・Ａ＝Ｆｓ）へと周波数変換した後で、該周波数変換された調波成分と、前記成分再配置手段により分割非調波成分が配置し直されてなる非調波成分との前記成分合成手段による合成を行わせる周波数成分変換手段、を備えている
ことを特徴とするタイムストレッチシステム。
【請求項４】
前記成分再配置手段は、前記タイムストレッチ倍率が１未満である場合、前記分割非調波成分それぞれの時間軸上の位置を、前記タイムストレッチ倍率に応じて前後させた位置に配置し直すと共に、時間軸上で隣接する前記分割非調波成分同士をクロスフェードさせる
ことを特徴とする請求項１から３のいずれかに記載のタイムストレッチシステム。
【請求項５】
請求項１から４のいずれかに記載の全ての手段として機能させるための各種処理手順をコンピュータシステムに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象楽曲を所定のタイムストレッチ倍率によりタイムストレッチさせるためのタイムストレッチシステムに関する。
【背景技術】
【０００２】
従来から、対象楽曲をタイムストレッチさせるにあたっては、対象楽曲の成分（波形）を時間軸に沿って単位区間毎に分割した場合における各分割した成分それぞれの時間軸上の位置を、タイムストレッチ倍率に応じて前後した位置に配置し直す、といった技術が用いられている（特許文献１参照）。
【特許文献１】特許第３２２１２９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記技術は、対象楽曲の成分そのものを時間軸上で配置し直すことにより、調波構造をなしていない非調波成分，具体的にいえば急峻にレベルが変化する打楽器音のような成分において、高い再現性を維持しつつタイムストレッチを実現することができる。
【０００４】
しかし、調波構造をなしている調波成分，具体的にいえばレベルが緩やかに変化する音声のような成分においては、例えば、単位区間における分割した成分それぞれの間に形成される無音部分や、分割した成分それぞれの重複部分に施されるクロスフェード処理の結果が、意図しない聴覚上の違和感を発生させる要因となってしまう恐れがある。
【０００５】
本発明はこのような課題を解決するためになされたものであり、その目的は、楽曲のタイムストレッチを、非調波成分および調波成分それぞれにおいて聴覚上の違和感がないように実現するための技術を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するためには、対象楽曲を所定のタイムストレッチ倍率によりタイムストレッチさせるためのタイムストレッチシステムを以下に示す第１の構成のようにするとよい。
【０００７】
この構成においては、前記対象楽曲における成分のスペクトル分布に基づいて、その成分のうちの調波構造をなしている調波成分を抽出する調波抽出手段と、前記対象楽曲の成分から前記調波抽出手段により抽出された調波成分を除去することにより、前記対象楽曲の成分のうちの調波構造をなしていない非調波成分を抽出する非調波抽出手段と、該非調波抽出手段により抽出された非調波成分に基づいて、該非調波成分を時間軸に沿って単位区間毎に分割した場合における各分割した成分（以降「分割非調波成分」という）それぞれの時間軸上の位置を、前記タイムストレッチ倍率に応じて前後させた位置に配置し直す成分再配置手段と、前記調波抽出手段により抽出された調波成分を、その波形が時間軸に沿って伸縮するように前記タイムストレッチ倍率に応じてタイムストレッチさせる波形伸縮手段と、該波形伸縮手段によりタイムストレッチされる前またはタイムストレッチされた後の調波成分について、該調波成分のピッチを前記タイムストレッチ倍率に応じて低くまたは高くするピッチシフト手段と、前記成分再配置手段により分割非調波成分が配置し直されてなる非調波成分に、前記波形伸縮手段によるタイムストレッチおよび前記ピッチシフト手段によるピッチシフトがされてなる調波成分を、それぞれの時間軸が一致するように合成する成分合成手段と、を備えている。
【０００８】
このような構成のタイムストレッチシステムでは、まず、対象楽曲の成分から調波構造をなす調波成分と、調波構造をなさない非調波成分と、が抽出される。その後、非調波成分は、時間軸に沿って単位区間毎に分割した場合における各分割した成分それぞれが、タイムストレッチ倍率に応じて前後した時間軸上の位置に配置し直され、調波成分は、その波形が時間軸に沿って伸縮するようにタイムストレッチ倍率に応じてタイムストレッチされる。そして、こうして別々の手法によりタイムストレッチされた非調波成分および調波成分が合成されることにより、対象楽曲へのタイムストレッチが施される。
【０００９】
このように、上記構成では、対象楽曲の成分のうちの非調波成分に対し、単位区間毎に分割した成分それぞれの時間軸上の位置を配置し直すタイムストレッチが実施される一方、調波成分に対し、波形を時間軸に沿って伸縮させるタイムストレッチが実施される。
【００１０】
非調波成分は、具体的にいえば急峻にレベルが変化する打楽器音のような成分であり、その急峻なレベルの変化が上記単位区間内に現れやすいため、それら成分の時間軸上の位置を配置し直したとしても、その急峻なレベル変化を維持した再現性の高いタイムストレッチを実施することができる。
【００１１】
それに対し、調波成分は、具体的にいえばレベルが緩やかに変化する音声のような成分であるため、このような成分を単位区間毎に分割してしまうと、そのような変化の傾向が維持されなくなってしまう結果、意図しない聴覚上の違和感を発生させる要因となってしまう恐れがある。
【００１２】
ここでいう「聴覚上の違和感」は、タイムストレッチ倍率が１より大きければ、単位区間における分割した成分それぞれの間に無音部分が形成されてしまい、その区間において音声が存在しないような状態となってしまうことにより発生する。また、タイムストレッチ倍率が１未満であれば、単位区間における分割した成分それぞれの重複部分に施されるクロスフェード処理によって、緩やかなレベル変化が維持されなくなってしまうことにより発生する。
【００１３】
このような問題に対し、上記構成では、対象楽曲の成分のうちの調波成分に対して、単位区間毎に分割した成分それぞれの時間軸上の位置を配置し直す手法ではなく、波形を伸縮させる手法にてタイムストレッチを実施するようにしている。
【００１４】
このタイムストレッチであれば、波形の形状が時間軸に沿って伸縮するだけであるため、レベルが緩やかに変化する調波成分において、その時間軸に沿った変化の傾向を維持したままでタイムストレッチが実現される結果、意図しない聴覚上の違和感が発生することを防止することができる。
【００１５】
このように、上記構成では、対象楽曲の成分における非調波成分，調波成分それぞれに適した手法によるタイムストレッチを実施することにより、対象楽曲のタイムストレッチを、非調波成分および調波成分それぞれにおいて聴覚上の違和感がないようにして実現することができる。
【００１６】
この構成において、対象楽曲における成分から調波成分を抽出するための手法は特に限定されないが、例えば、対象楽曲の成分を示す時間軸に沿った波形をフーリエ変換などで周波数解析して得られるスペクトル分布のうち、スペクトル強度のピークが周期的に表れている（調波構造をなしている）成分を調波成分として抽出する、といったことが考えられる。
【００１７】
また、調波成分を波形の伸縮によりタイムストレッチする具体的な構成としては、例えば、対象楽曲が所定のサンプリング周波数Ｆｓで所定の楽曲をサンプリングしてなる楽曲データで示される場合には、以下に示す第２の構成のようにするとよい。
【００１８】
この構成においては、前記調波抽出手段により抽出された調波成分を、前記サンプリング周波数Ｆｓに前記タイムストレッチ倍率Ａと同じ倍率を積算してなるサンプリング周波数Ｆｓ・Ａへと周波数変換する周波数変換手段，を備えている。そして、前記波形伸縮手段は、前記周波数変換手段により周波数変換された調波成分を、その波形が時間軸に沿って伸縮するようにタイムストレッチさせる。
【００１９】
この構成であれば、調波成分のサンプリング周波数を、タイムストレッチ倍率Ａと同じ倍率を積算してなるサンプリング周波数Ｆｓ・Ａへと周波数変換したうえで、その調波成分のタイムストレッチを実施することができる。
【００２０】
調波成分をタイムストレッチすると、タイムストレッチ倍率Ａが１より大きければ、その成分における周波数分布が１／Ａ（＝１より小さい）倍に狭まって見かけ上のサンプリング周波数が低くなる一方、タイムストレッチ倍率Ａが１未満であれば、その成分における周波数分布が１／Ａ（＝１より大きい）倍に拡がって見かけ上のサンプリング周波数が高くなる。
【００２１】
上記構成では、調波成分のタイムストレッチに先立ち、そのサンプリング周波数ＦｓをＦｓ・Ａへと周波数変換しておくことにより、このタイムストレッチに起因する見かけ上のサンプリング周波数の変化を相殺することができる。
【００２２】
例えば、タイムストレッチ倍率Ａが１より大きい場合には、タイムストレッチにより見かけ上のサンプリング周波数が１／Ａ（＝１未満）倍に低くなるところ、このサンプリング周波数をあらかじめサンプリング周波数Ｆｓ・Ａへと周波数変換（アップサンプリング）しておくことで、タイムストレッチ後のサンプリング周波数が結果的に元の周波数Ｆｓに戻す（Ｆｓ・Ａ・１／Ａ＝Ｆｓ）ことができる。
【００２３】
一方、タイムストレッチ倍率Ａが１未満の場合では、そのタイムストレッチにより見かけ上のサンプリング周波数が１／Ａ（＝１より大きい）倍と高くなるところ、このサンプリング周波数をあらかじめサンプリング周波数Ｆｓ・Ａへと周波数変換（ダウンサンプリング）しておくことで、タイムストレッチ後のサンプリング周波数が結果的に元の周波数Ｆｓに戻す（Ｆｓ・Ａ・１／Ａ＝Ｆｓ）ことができる。
【００２４】
ところで、上記構成においてタイムストレッチ倍率が１未満である場合には、そのタイムストレッチ（サンプリング周波数変換および波形の時間軸に沿った伸縮）によって、周波数分布がサンプリング周波数Ｆｓの１／２以上にまで拡がってしまい、これがいわゆる折り返しノイズとなってしまう恐れがある。
【００２５】
このようなノイズが発生しないようにするためには、例えば、上記構成を以下に示す第３の構成のようにしておくことが考えられる。
この構成おいては、前記タイムストレッチ倍率が１未満である場合に、前記対象楽曲の成分から規定される周波数Ｆｃ（＝（Ａ・Ｆｓ）／２）以上の周波数成分を除去するフィルタリング手段，を備えている。そして、前記周波数変換手段は、前記フィルタリング手段により周波数Ｆｃ以上の周波数成分が除去されてなる対象楽曲に基づいて周波数変換を行う。
【００２６】
この構成であれば、タイムストレッチ倍率が１未満である場合には、あらかじめ調波成分のうち、周波数Ｆｃ（＝（Ａ・Ｆｓ）／２）以上の周波数成分が除去される。
この周波数Ｆｃ以上の周波数帯域は、タイムストレッチ倍率Ａにてタイムストレッチする過程で周波数分布がサンプリング周波数Ｆｓの１／２以上に拡がりうる帯域であるため、上記構成のように周波数Ｆｃ以上の周波数成分をあらかじめ除去しておくことにより、タイムストレッチの過程で拡がった周波数分布において周波数成分が干渉しないようにすることで、周波数分布が拡がることによる折り返しノイズの発生を防止できる。
【００２７】
また、上述した折り返しノイズが発生しないようにするためには、上記構成を以下に示す第４の構成のようにしておくことも考えられる。
この構成においては、前記タイムストレッチ倍率が１未満である場合に、前記調波抽出手段により抽出された調波成分を、前記サンプリング周波数Ｆｓに前記タイムストレッチ倍率Ａの逆数と同じ倍率を積算してなるサンプリング周波数Ｆｓ／Ａへと周波数変換する事前変換手段，を備えている。そして、前記波形伸縮手段は、前記タイムストレッチ倍率が１未満である場合、前記事前変換手段により周波数変換された調波成分を、その波形が時間軸に沿って伸縮するように前記タイムストレッチ倍率に応じてタイムストレッチさせる。
【００２８】
さらに、前記タイムストレッチ倍率が１未満である場合に、前記波形伸縮手段によるタイムストレッチおよび前記ピッチシフト手段によるピッチシフトがなされてなる調波成分を、そのサンプリング周波数に前記タイムストレッチ倍率Ａと同じ倍率を積算してなるサンプリング周波数へと周波数変換する事後変換手段，を備えている。そして、前記成分合成手段は、前記成分再配置手段により分割非調波成分が配置し直されてなる非調波成分に、前記事後変換手段により周波数変換された調波成分を、それぞれの時間軸が一致するように合成する。
【００２９】
この構成であれば、タイムストレッチ倍率が１未満である場合には、タイムストレッチに先立ち、あらかじめ調波成分のサンプリング周波数が１／Ａ倍に周波数変換され、そのタイムストレッチ後に調波成分のサンプリング周波数がＡ倍に周波数変換される。
【００３０】
タイムストレッチに先立ってサンプリング周波数を１／Ａ（＝１より大きい）倍に周波数変換した場合、その倍率に応じて周波数分布が拡がることとなるが、サンプリング周波数を変換したのみであるため、そのサンプリング周波数Ｆｓ／Ａの１／２以下の一部帯域に周波数成分が分布していない状態となる。これにより、タイムストレッチの過程で周波数分布が拡がったとしても、その拡がった周波数成分が干渉することがなくなるため、周波数分布が拡がることによる折り返しノイズの発生を防止することができる。
【００３１】
そして、タイムストレッチ後に再度調波成分のサンプリング周波数をＡ（＝１未満）倍に周波数変換することにより、そのタイムストレッチ前後におけるサンプリング周波数を一致させることができる。
【００３２】
なお、この構成においては、事前に調波成分のサンプリング周波数が１／Ａ倍に周波数変換された後、タイムストレッチの過程でＡ倍に周波数変換されており、その時点で両者の周波数変換の効果が相殺されているということができる。そのため、これら一連の周波数変換についてはその実施を省略することとしてもよく、そのためには、上記第１の構成を以下に示すようにした第５の構成のようにすることが考えられる。
【００３３】
この構成では、前記対象楽曲が、所定のサンプリング周波数Ｆｓで所定の楽曲をサンプリングしてなる楽曲データで示されるものである場合において、前記タイムストレッチ倍率が１未満である場合に、前記波形伸縮手段によるタイムストレッチおよび前記ピッチシフト手段によるピッチシフトがなされてなる調波成分を、前記サンプリング周波数Ｆｓが前記タイムストレッチ倍率Ａと同じ倍率のサンプリング周波数Ｆｓ’’’（＝Ｆｓ’’・Ａ＝Ｆｓ）へと周波数変換する事後変換手段，を備えている。そして、前記成分合成手段は、前記成分再配置手段により分割非調波成分が配置し直されてなる非調波成分に、前記事後変換手段により周波数変換された調波成分を、それぞれの時間軸が一致するように合成する。
【００３４】
この構成であれば、一連の周波数変換を省略して処理負担を軽減しつつ、上記第４の構成と同様の作用効果を得ることができる。
ところで、上述したように、タイムストレッチ倍率が１未満である場合には、非調波成分のタイムストレッチに際して、第６の構成のように構成するとよい。
【００３５】
この構成において、前記成分再配置手段は、前記タイムストレッチ倍率が１未満である場合、前記分割非調波成分それぞれの時間軸上の位置を、前記タイムストレッチ倍率に応じて前後させた位置に配置し直すと共に、時間軸上で隣接する前記分割非調波成分同士をクロスフェードさせる。
【００３６】
この構成であれば、タイムストレッチ倍率が１未満であり、単位区間毎に分割した非調波成分（分割非調波成分）それぞれが時間軸上で重なってしまうような場合でも、それら分割非調波成分同士の重複部分をクロスフェードにより接続することができる。
【００３７】
また、上記課題を解決するためには、上記第１〜第６のいずれかの構成におけるピッチシフトシステムの備える全ての手段としてコンピュータシステムを機能させるためのプログラムとしてもよい。このプログラムにより制御されるコンピュータシステムであれば、上記第１〜第６のいずれかの構成におけるタイムストレッチシステムと同様の作用，効果を得ることができる。
【００３８】
なお、上述したプログラムは、コンピュータシステムによる処理に適した命令の順番付けられた列からなるものであって、各種記録媒体や通信回線を介してタイムストレッチシステムや、これを利用するユーザに提供されるものである。
【発明を実施するための最良の形態】
【００３９】
以下に本発明の実施形態を図面と共に説明する。
（１）ハードウェア構成
タイムストレッチシステム１は、図１に示すように、システム全体を制御する制御部１１，各種情報を記憶する記憶部１３，ネットワーク２を介した通信を制御する通信部１５，キーボードやディスプレイなどからなるユーザインタフェース（Ｕ／Ｉ）部１７，記録メディアを介して情報を入出力するメディアドライブ１９などを備えた周知のコンピュータシステムである。
【００４０】
このタイムストレッチシステム１は、ユーザインタフェース部１７または通信部１５を介して外部から所定の指令を受けた際、制御部１１が記憶部１３に記憶されたプログラムに従って各種処理を実行することによって、本発明のタイムストレッチシステムとしての機能を発揮する。
【００４１】
なお、本実施形態では、タイムストレッチシステム１が単体のコンピュータシステムにより構成されているが、それぞれ協調して動作する複数のコンピュータシステムにより構成できることはいうまでもない。
（２）制御部１１による処理
以下に、制御部１１が記憶部１３に記憶されたプログラムに従って実行する各種処理手順を説明する。
（２−１）タイムストレッチ処理
はじめに、ユーザインタフェース部１７を介して規定の操作が行われた，または，通信部１５を介してネットワーク２からの指令を受けた際に起動されるタイムストレッチ処理の処理手順を図２に基づいて説明する。
【００４２】
このタイムストレッチ処理が起動されると、まず、所定の楽曲（以降「対象楽曲」という）を再生するための楽曲データ（入力楽曲データ）が取得される（ｓ１１０）。ここでは、ユーザインタフェース部１７への操作を介して指定された入力楽曲データが記憶部１３やメディアドライブ１９（つまり記録メディア）から取得される、または、通信部１５を介して指令と共に受信された入力楽曲データが取得される。
【００４３】
次に、上記ｓ１１０にて取得された楽曲データで示される対象楽曲について、この対象楽曲における成分のうちの調波成分が抽出される（ｓ１２０）。ここでは、対象楽曲の成分を示す時間軸に沿った波形をフーリエ変換などで周波数解析して得られるスペクトル分布のうち、スペクトル強度のピークが周期的に表れている（調波構造をなしている）成分が抽出され、これが時間軸に沿った波形に戻されることにより、この波形が調波成分として抽出される。
【００４４】
次に、上記ｓ１１０にて取得された楽曲データで示される対象楽曲について、この対象楽曲における成分のうちの非調波成分が抽出される（ｓ１３０）。ここでは、対象楽曲の成分から上記ｓ１２０にて抽出された調波成分を時間軸上で減算することにより、その減算結果たる成分が、対象楽曲の成分から調波成分を除去してなる非調波成分として抽出される。
【００４５】
次に、上記ｓ１２０にて抽出された調波成分のタイムストレッチが後述する処理手順により実施される（ｓ１４０）。ここでは、調波成分の波形が時間軸に沿って伸縮するようにタイムストレッチ倍率Ａに応じたタイムストレッチが実施される。
【００４６】
次に、上記ｓ１３０にて抽出された非調波成分のタイムストレッチが実施される（ｓ１５０）。ここでは、上記ｓ１３０にて抽出された非調波成分に基づいて、この非調波成分を時間軸に沿って単位区間毎に分割した場合における各分割した成分（以降「分割非調波成分」という）それぞれの時間軸上の位置を、タイムストレッチ倍率Ａに応じて前後させた位置に配置し直す、といった処理手順にてタイムストレッチが実施される。
【００４７】
ここでのタイムストレッチに際し、タイムストレッチ倍率が１未満である場合には、分割非調波成分それぞれの時間軸上の位置が配置し直されると共に、時間軸上で隣接する分割非調波成分同士がクロスフェードにより接続されることとなる。
【００４８】
次に、上記ｓ１４０にてタイムストレッチされた調波成分と、上記ｓ１５０にてタイムストレッチされた非調波成分と、が時間軸に沿った波形として合成される（ｓ１６０）。こうして、タイムストレッチ倍率Ａによりタイムストレッチされた対象楽曲が生成される。
【００４９】
そして、上記ｓ１６０にて合成された対象楽曲を示す楽曲データ（出力楽曲データ）が、本ピッチシフト処理の起動の契機となった指令に対する応答として返される（ｓ１７０）。ここでは、ユーザインタフェース部１７への操作を介して指定された記憶領域（記憶部１３や記録メディア内の記憶領域）に対して出力楽曲データが記憶されたり、通信部１５を介して入力楽曲データを送信してきた送信元に対して出力楽曲データが返信される。
（２−２）調波成分に対するタイムストレッチの実施手順「その１」
続いて、上記ｓ１４０における調波成分に対するタイムストレッチの実施手順「その１」を図３に基づいて説明する。
【００５０】
ここでは、まず、ユーザインタフェース部１７への操作を介して指定された、または、通信部１５を介して指令と共に受信された「タイムストレッチ倍率（対象楽曲における元の再生時間に対するタイムストレッチ後における再生時間の割合）」が１未満であるか否かがチェックされる（ｓ２１０）。
【００５１】
このｓ２１０でタイムストレッチ倍率が１未満であると判定された場合（ｓ２１０：ＹＥＳ）、上記ｓ１２０にて抽出された調波成分に含まれる周波数成分のうち、タイムストレッチ倍率Ａおよび調波成分（または対象楽曲）のサンプリング周波数Ｆｓから下記の式１により規定されるカットオフ周波数Ｆｃ以上の周波数成分が除去された後（ｓ２２０）、プロセスが次の処理（ｓ２３０）へ移行する。
【００５２】
このｓ２２０では、タイムストレッチ倍率Ａおよびサンプリング周波数Ｆｓにより規定されるカットオフ周波数Ｆｃ（＝（Ａ・Ｆｓ）／２）以上の周波数成分を除去する低域通過フィルタが生成され、これに基づいて周波数成分の除去が行われる。
【００５３】
このように、タイムストレッチ倍率Ａが１未満である場合において、このｓ２２０により一部周波数成分が除去される様子を、図４（ａ），（ｂ）に示す。
また、上記ｓ２１０でタイムストレッチ倍率が１未満でないと判定された場合（ｓ２１０：ＮＯ）、上記ｓ２２０が行われることなく、プロセスが次の処理（ｓ２３０）へ移行する。
【００５４】
次に、上記ｓ１２０にて抽出された調波成分，または，上記ｓ２２０を経て一部周波数成分が除去された調波成分のサンプリング周波数Ｆｓが、タイムストレッチ倍率Ａと同じ倍率を積算してなるサンプリング周波数Ｆｓ・Ａへと周波数変換される（ｓ２３０）。
【００５５】
このように、サンプリング周波数が周波数変換された状態を、タイムストレッチ倍率Ａが１未満である場合については図４（ｃ）に示し、タイムストレッチ倍率Ａが１未満でない場合については図５（ａ），（ｂ）に示す。これら図からもわかるように、この周波数変換により、周波数分布が（Ｆｓ／２）・Ａ以下の周波数帯域に狭まるまたは拡がることになる。具体的にいうと、タイムストレッチ倍率Ａが１未満であれば、その値に応じて周波数帯域が狭まり、１未満でなければ、その値に応じて周波数帯域が拡がる。
【００５６】
次に、上記ｓ２３０で周波数変換が施された調波成分について、その波形が時間軸に沿って伸縮するようにタイムストレッチ倍率Ａに応じたタイムストレッチが実施される（ｓ２４０）。
【００５７】
このように、タイムストレッチされた状態を、タイムストレッチ倍率Ａが１未満である場合については図４（ｄ）に示し、タイムストレッチ倍率Ａが１未満でない場合については図５（ｃ）に示す。この図からもわかるように、このタイムストレッチによる時間軸に沿った伸縮に伴い、周波数分布が拡がるまたは狭まることになる。具体的にいうと、タイムストレッチ倍率Ａが１未満であれば、その値に応じて周波数帯域が拡がり、１未満でなければ、その値に応じて周波数帯域が狭まる。
【００５８】
なお、こうして調波成分の周波数帯域が変化すると、それに応じてサンプリング周波数についても、そのタイムストレッチ倍率Ａに応じた周波数Ｆｓ・Ａ／Ａ（＝Ｆｓ）へと変化する。
【００５９】
そして、上記ｓ２４０にてタイムストレッチが施された調波成分に対して、そのピッチがタイムストレッチ倍率Ａに応じて低くまたは高く修正すべくピッチシフトが施される（ｓ２５０）。
【００６０】
ここでは、調波成分における周波数成分それぞれの周波数がタイムストレッチ倍率Ａと同じ倍率を積算した値となるように、そのピッチが修正される。つまり、タイムストレッチ倍率Ａが１未満であれば、周波数帯域が低周波側へと狭まるようにピッチが修正されるのに対し、タイムストレッチ倍率Ａが１未満でなければ、周波数帯域が高周波側へと拡がるようにピッチが修正される。
【００６１】
このように、ピッチが修正された状態を、タイムストレッチ倍率Ａが１未満である場合については図４（ｅ）に示し、タイムストレッチ倍率Ａが１未満でない場合については図５（ｄ）に示す。
（２−３）調波成分に対するタイムストレッチの実施手順「その２」
続いて、上記ｓ１４０における調波成分に対するタイムストレッチの実施手順「その２」を説明する。なお、上記「その１」と同様の処理手順については同様の符号を付してその具体的な説明を省略する。
【００６２】
この実施手順においては、上記「その１」と比べて、上記ｓ２３０〜ｓ２５０が行われる点は一致するが、上記ｓ２２０が行われない点、および、タイムストレッチ倍率Ａが１未満である場合にｓ２３０〜ｓ２５０の事前，事後それぞれにサンプリング周波数を周波数変換するように構成されている点で相違する。
【００６３】
具体的にいえば、まず、上記ｓ２１０でタイムストレッチ倍率が１未満であると判定された場合には（ｓ２１０：ＹＥＳ）、上記ｓ１２０にて抽出された調波成分のサンプリング周波数Ｆｓが、タイムストレッチ倍率Ａの逆数と同じ倍率を積算してなるサンプリング周波数Ｆｓ／Ａへと周波数変換される（ｓ２１２）。
【００６４】
このように、タイムストレッチ倍率Ａが１未満である場合において、サンプリング周波数が周波数変換された状態を図７（ｂ）に示す。
この後、こうして事前の周波数変換が施された調波成分について、上記「その１」と同様、周波数変換（ｓ２３０），タイムストレッチ（ｓ２４０），ピッチシフト（ｓ２５０）がそれぞれ施される。この場合の周波数変換が施された状態，タイムストレッチが施された状態，および，ピッチシフトが施された状態を、図７（ｃ）〜（ｅ）に示す。
【００６５】
そして、そのｓ２５０によるピッチシフトが施された調波成分について、そのサンプリング周波数Ｆｓが、タイムストレッチ倍率Ａと同じ倍率を積算してなるサンプリング周波数Ｆｓへと周波数変換される（ｓ２５２）。
【００６６】
この場合においては、調波成分のサンプリング周波数が、ｓ２１２の周波数変換によりＦｓ／Ａとなり、ｓ２３０の周波数変換により（Ｆｓ／Ａ）・Ａ（＝Ｆｓ）となり、ｓ２４０のタイムストレッチによりＦｓ／Ａとなり、ｓ２５２の周波数変換により（Ｆｓ／Ａ）・Ａ（＝Ｆｓ）となる。
【００６７】
このように、タイムストレッチ倍率Ａが１未満である場合において、サンプリング周波数が周波数変換された状態を図７（ｆ）に示す。この図からもわかるように、この周波数変換により、周波数分布が元の調波成分（上記ｓ１２０にて抽出した時点における調波成分）と同じ周波数帯域に戻ることになる。
（３）作用，効果
このような構成のタイムストレッチシステム１では、まず、対象楽曲の成分から調波構造をなす調波成分と、調波構造をなさない非調波成分と、が抽出される（図２のｓ１２０，ｓ１３０）。その後、非調波成分は、時間軸に沿って単位区間毎に分割した場合における各分割した成分それぞれが、タイムストレッチ倍率に応じて前後した時間軸上の位置に配置し直され（同図ｓ１５０）、調波成分は、その波形が時間軸に沿って伸縮するようにタイムストレッチ倍率に応じてタイムストレッチされる（同図ｓ１４０）。そして、こうして別々の手法によりタイムストレッチされた非調波成分および調波成分が合成されることにより、対象楽曲へのタイムストレッチが施される（同図ｓ１６０）。
【００６８】
このように、上記実施形態においては、対象楽曲の成分のうちの非調波成分に対し、単位区間毎に分割した成分それぞれの時間軸上の位置を配置し直すタイムストレッチが実施される一方、調波成分に対し、波形を時間軸に沿って伸縮させるタイムストレッチが実施される。
【００６９】
非調波成分は、具体的にいえば急峻にレベルが変化する打楽器音のような成分であり、その急峻なレベルの変化が上記単位区間内に現れやすいため、それら成分の時間軸上の位置を配置し直したとしても、その急峻なレベル変化を維持した再現性の高いタイムストレッチを実施することができる。
【００７０】
それに対し、調波成分は、具体的にいえばレベルが緩やかに変化する音声のような成分であるため、このような成分を単位区間毎に分割してしまうと、そのような変化の傾向が維持されなくなってしまう結果、意図しない聴覚上の違和感を発生させる要因となってしまう恐れがある。
【００７１】
このような問題に対し、本実施形態では、対象楽曲の成分のうちの調波成分に対して、単位区間毎に分割した成分それぞれの時間軸上の位置を配置し直す手法ではなく、波形を伸縮させる手法にてタイムストレッチを実施するようにしている。
【００７２】
このタイムストレッチであれば、波形の形状が時間軸に沿って伸縮するだけであるため、レベルが緩やかに変化する調波成分において、その時間軸に沿った変化の傾向を維持したままでタイムストレッチが実現される結果、意図しない聴覚上の違和感が発生することを防止することができる。
【００７３】
このように、上記実施形態では、対象楽曲の成分における非調波成分，調波成分それぞれに適した手法によるタイムストレッチを実施することにより、対象楽曲のタイムストレッチを、非調波成分および調波成分それぞれにおいて聴覚上の違和感がないようにして実現することができる。
【００７４】
また、上記実施形態においては、調波成分のサンプリング周波数を、タイムストレッチ倍率Ａと同じ倍率を積算してなるサンプリング周波数Ｆｓ・Ａへと周波数変換したうえで、その調波成分のタイムストレッチを実施することができる（図３のｓ２３０〜ｓ２４０）。
【００７５】
調波成分をタイムストレッチすると、タイムストレッチ倍率Ａが１より大きければ、その成分における周波数分布が１／Ａ（＝１より小さい）倍に狭まって見かけ上のサンプリング周波数が低くなる一方、タイムストレッチ倍率Ａが１未満であれば、その成分における周波数分布が１／Ａ（＝１より大きい）倍に拡がって見かけ上のサンプリング周波数が高くなる。
【００７６】
上記実施形態では、調波成分のタイムストレッチに先立ち、そのサンプリング周波数ＦｓをＦｓ・Ａへと周波数変換しておくことにより、上記のようなタイムストレッチに起因する見かけ上のサンプリング周波数の変化を相殺することができる。
【００７７】
例えば、タイムストレッチ倍率Ａが１より大きい場合には、タイムストレッチにより見かけ上のサンプリング周波数が１／Ａ（＝１未満）倍に低くなるところ、このサンプリング周波数をあらかじめサンプリング周波数Ｆｓ・Ａへと周波数変換（アップサンプリング）しておけば、タイムストレッチ後のサンプリング周波数が結果的に元の周波数Ｆｓに戻る（Ｆｓ・Ａ・１／Ａ＝Ｆｓ）ことになる（図４（ｃ）〜（ｅ）参照）。
【００７８】
一方、タイムストレッチ倍率Ａが１未満の場合では、そのタイムストレッチにより見かけ上のサンプリング周波数が１／Ａ（＝１より大きい）倍と高くなるところ、このサンプリング周波数をあらかじめサンプリング周波数Ｆｓ・Ａへと周波数変換（ダウンサンプリング）しておけば、タイムストレッチ後のサンプリング周波数が結果的に元の周波数Ｆｓに戻る（Ｆｓ・Ａ・１／Ａ＝Ｆｓ）ことになる（図５（ｂ）〜（ｄ）参照）。
【００７９】
これらのようにして、タイムストレッチに起因する見かけ上のサンプリング周波数の変化を相殺することができる。
また、上記実施形態において、調波成分に対するタイムストレッチの実施手順「その１」では、タイムストレッチ倍率が１未満である場合には、あらかじめ調波成分におけるカットオフ周波数Ｆｃ（＝（Ａ・Ｆｓ）／２）以上の周波数成分が除去される（図３のｓ２２０，図４（ｂ）参照）。
【００８０】
この周波数Ｆｃ以上の周波数帯域は、タイムストレッチ倍率Ａにてタイムストレッチする過程で周波数分布がサンプリング周波数Ｆｓの１／２以上に拡がりうる帯域であるため、上記構成のように周波数Ｆｃ以上の周波数成分をあらかじめ除去しておくことにより、タイムストレッチの過程で拡がった周波数分布において周波数成分が干渉しないようにすることで（同図（ｃ）参照）、周波数分布が拡がることによる折り返しノイズの発生を防止できる。
【００８１】
また、上記実施形態において、調波成分に対するタイムストレッチの実施手順「その２」では、タイムストレッチ倍率が１未満である場合には、タイムストレッチに先立ち、あらかじめ調波成分のサンプリング周波数が１／Ａ倍に周波数変換され（図６のｓ２１２）、そのタイムストレッチ後に調波成分のサンプリング周波数がＡ倍に周波数変換される（同図ｓ２５２）。
【００８２】
タイムストレッチに先立ってサンプリング周波数を１／Ａ（＝１より大きい）倍に周波数変換した場合、その倍率に応じて周波数分布が拡がることとなるが、サンプリング周波数を変換したのみであるため、そのサンプリング周波数Ｆｓ／Ａの１／２以下の一部帯域に周波数成分が分布していない状態となる（図７（ｂ）参照）。これにより、タイムストレッチの過程で周波数分布が拡がったとしても、その拡がった周波数成分が干渉することがなくなるため、周波数分布が拡がることによる折り返しノイズの発生を防止することができる。
【００８３】
そして、タイムストレッチ後に再度調波成分のサンプリング周波数をＡ（＝１未満）倍に周波数変換することにより（図６のｓ２５２）、そのタイムストレッチ前後におけるサンプリング周波数を一致させることができる（図７（ｆ）参照）。
【００８４】
また、上記実施形態においては、単位区間毎に分割した非調波成分それぞれが時間軸上で重なってしまうような場合でも、それら非調波成分同士の重複部分をクロスフェードにより接続することができる。
（４）変形例
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
【００８５】
例えば、上記実施形態において、調波成分に対するタイムストレッチの実施手順「その２」では、事前に調波成分のサンプリング周波数が１／Ａ倍に周波数変換された後（図６のｓ２１２）、タイムストレッチの過程でＡ倍に周波数変換されており（同図ｓ２３０）、その時点で両者の周波数変換の効果が相殺されているといえるため、これら一連の周波数変換についてはその実施を省略することとしてもよく、そのためには、図８に示すように、ｓ２１０で「ＹＥＳ」と判定された場合に、ｓ２１２，ｓ２３０を実施することなく、プロセスがｓ２４０へと移行するように構成するとよい。
【００８６】
この場合には、一連の周波数変換を省略して処理負担を軽減しつつ、調波成分に対するタイムストレッチの実施手順「その２」と同様の作用，効果を得ることができる。
なお、この場合において、タイムストレッチされる過程の時間波形（時間軸に沿った波形）およびスペクトル分布それぞれを図９に示す。ここでは、タイムストレッチ（図８のｓ２４０）が施された後の様子が図９（ｂ）であり、ピッチシフト（図８のｓ２５０）が施された後の様子が図９（ｃ）であり、事後的な周波数変換（同図ｓ２５２）が施された後の様子が図９（ｄ）である。
（５）本発明との対応関係
以上説明した実施形態において、図２のｓ１２０が本発明における調波抽出手段であり、同図ｓ１３０が本発明における非調波抽出手段であり、同図ｓ１５０が本発明における成分再配置手段であり、図３，６，８のｓ２４０が本発明における波形伸縮手段であり、同図ｓ２５０が本発明におけるピッチシフト手段であり、図２のｓ１６０が本発明における成分合成手段であり、図３，６，８のｓ２３０が本発明における周波数変換手段であり、同図ｓ２２０が本発明におけるフィルタリング手段であり、図６のｓ２１２が本発明における事前変換手段であり、図６，図８におけるｓ２５２が本発明における事後変換手段である。
【図面の簡単な説明】
【００８７】
【図１】タイムストレッチシステムのハードウェア構成を示す図
【図２】タイムストレッチ処理を示すフローチャート
【図３】調波成分に対するタイムストレッチの実施手順「その１」を示すフローチャート
【図４】調波成分に対するタイムストレッチの実施手順「その１」において、１未満のタイムストレッチ倍率で調波成分がタイムストレッチされる過程を示す図
【図５】調波成分に対するタイムストレッチの実施手順「その１」において、１未満でないタイムストレッチ倍率で調波成分がタイムストレッチされる過程を示す図
【図６】調波成分に対するタイムストレッチの実施手順「その２」を示すフローチャート
【図７】調波成分に対するタイムストレッチの実施手順「その２」において、１未満のタイムストレッチ倍率で調波成分がタイムストレッチされる過程を示す図
【図８】別の実施形態における，調波成分に対するタイムストレッチの実施手順「その２」を示すフローチャート
【図９】別の実施形態における，調波成分に対するタイムストレッチの実施手順「その２」において、１未満のタイムストレッチ倍率で調波成分がタイムストレッチされる過程を示す図
【符号の説明】
【００８８】
１・・・タイムストレッチシステム、２・・・ネットワーク、１１・・・制御部、１３・・・記憶部、１５・・・通信部、１７・・・ユーザインタフェース部、１９・・・メディアドライブ。
【図１】
0004924513.tif 000002
【図２】
0004924513.tif 000003
【図３】
0004924513.tif 000004
【図４】
0004924513.tif 000005
【図５】
0004924513.tif 000006
【図６】
0004924513.tif 000007
【図７】
0004924513.tif 000008
【図８】
0004924513.tif 000009
【図９】
0004924513.tif 000010