(57)【特許請求の範囲】
【請求項１】
オーディオデータ及び該オーディオデータの進行に対応した拍又は小節毎のタイミングデータを記憶する記憶手段と、
楽譜画像を認識し、認識結果に基づいて拍又は小節毎のタイミング信号を生成するタイミング信号生成手段と、
前記オーディオデータ及び拍又は小節毎のタイミングデータを読み出す読み出し手段と、
前記生成されたタイミング信号と前記読み出されたタイミングデータを比較して時間的に一致するか否かを判断する比較手段と、
前記判断結果に応じて、前記オーディオデータの進行を前記生成されたタイミング信号に時間的に一致させるように、ピッチを変えずに前記オーディオデータの再生テンポを制御する制御手段と、
を有するオーディオデータの再生制御装置。
【請求項２】
前記再生テンポを制御する制御手段は、オーディオデータの読み出し速度を一定にし、オーディオデータを繰り返し読み出すか、あるいは読み飛ばすことによってピッチを変えずに再生テンポを制御する請求項１記載のオーディオデータの再生制御装置。
【請求項３】
前記再生テンポを制御する制御手段は、オーディオデータの読み出し速度を変更し、該変更によるピッチの変化分をピッチ変換によって相殺することにより、ピッチを変えずに再生テンポを制御する請求項１記載のオーディオデータの再生制御装置。
【請求項４】
オーディオデータ及び該オーディオデータの進行に対応した拍又は小節毎のタイミングデータを記憶する記憶手順と、
楽譜画像を認識し、認識結果に基づいて拍又は小節毎のタイミング信号を生成するタイミング信号生成手順と、
前記オーディオデータ及び拍又は小節毎のタイミングデータを読み出す読み出し手順と、
前記生成されたタイミング信号と前記読み出されたタイミングデータを比較して時間的に一致するか否かを判断する比較手順と、
前記判断結果に応じて、前記オーディオデータの進行を前記生成されたタイミング信号に時間的に一致させるように、ピッチを変えずに前記オーディオデータの再生テンポを制御する制御手順と、
を有するオーディオデータの再生制御手順をコンピューターに実行させるためのプログラムを記録したコンピューター読み取り可能な記録媒体。
【請求項５】
前記再生テンポを制御する制御手順は、オーディオデータの読み出し速度を一定にし、オーディオデータを繰り返し読み出すか、あるいは読み飛ばすことによってピッチを変えずに再生テンポを制御する請求項４記載のオーディオデータの再生制御手順をコンピューターに実行させるためのプログラムを記録したコンピューター読み取り可能な記録媒体。
【請求項６】
前記再生テンポを制御する制御手順は、オーディオデータの読み出し速度を変更し、該変更によるピッチの変化分をピッチ変換によって相殺することにより、ピッチを変えずに再生テンポを制御する請求項４記載のオーディオデータの再生制御手順をコンピューターに実行させるためのプログラムを記録したコンピューター読み取り可能な記録媒体。
【請求項７】
オーディオデータ及び該オーディオデータの進行に対応した拍又は小節毎のタイミングデータを記憶する記憶工程と、
楽譜画像を認識し、認識結果に基づいて拍又は小節毎のタイミング信号を生成するタイミング信号生成工程と、
前記オーディオデータ及び拍又は小節毎のタイミングデータを読み出す読み出し工程と、
前記生成されたタイミング信号と前記読み出されたタイミングデータを比較して時間的に一致するか否かを判断する比較工程と、
前記判断結果に応じて、前記オーディオデータの進行を前記生成されたタイミング信号に時間的に一致させるように、ピッチを変えずに前記オーディオデータの再生テンポを制御する制御工程と、
を有するオーディオデータの再生制御方法。
【請求項８】
前記再生テンポを制御する制御工程は、オーディオデータの読み出し速度を一定にし、オーディオデータを繰り返し読み出すか、あるいは読み飛ばすことによってピッチを変えずに再生テンポを制御する請求項７記載のオーディオデータの再生制御方法。
【請求項９】
前記再生テンポを制御する制御工程は、オーディオデータの読み出し速度を変更し、該変更によるピッチの変化分をピッチ変換によって相殺することにより、ピッチを変えずに再生テンポを制御する請求項７に記載のオーディオデータの再生制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、オーディオデータの再生テンポを自由に変更することの可能なオーディオデータの再生制御装置に関する。
【０００２】
【従来の技術】
サンプラー等の電子楽器や楽音信号処理装置では、タイムストレッチ処理により、楽音のピッチを変化させずに楽音信号波形の時間軸の圧縮又は伸張を行い、楽音信号の再生時間を変えることが行われている。
【０００３】
タイムストレッチは、音声信号を間引いたり補間する事により、ピッチを変化させずに時間軸を圧縮したり伸縮したりする処理である。再生時間を短くするには、音声信号の間引きを行い、長くするには音声信号を補間する。
【０００４】
サンプラー等の電子楽器や楽音信号処理装置は、一曲のデータを再生する用途のものではないために、基本的に、テンポ情報であるタイミングデータを持っていない。このため、一曲の再生を制御する目的での使用は困難である。
【０００５】
また、一曲のオーディオデータの再生テンポを変化させることの可能なオーディオデータの再生制御装置に関して、２チャンネルテープの一方のチャンネルにオーディオデータを、他方のチャンネルにオーディオデータの速度に関連したテンポ信号を録音し、このテンポ信号と、ユーザからの所定の間隔で入力されるタッチ信号とを比較しテープの再生速度を制御する技術が特開昭５５−６７９６７号に開示されている。
【０００６】
【発明が解決しようとする課題】
従来のオーディオデータ再生制御装置のように単純に再生速度を変えると、それに応じて、ピッチが変わってしまい、録音時のピッチと異なるものになってしまう。また、一度入力した、テンポ情報を次回再生時に再現することが求められる。さらに、また、テンポ変化等が記載されている楽譜を認識して、その認識結果に基づいて、再生テンポの制御をすることが求められる。また、サンプラーのように、ピッチを変えずに、再生速度が変えられるオーディオデータの再生制御装置が求められる。
【０００７】
本発明の目的は、オーディオデータの再生テンポを自由に変更することの可能なオーディオデータの再生制御装置を提供することである。
【０００８】
また、本発明の他の目的は、一度入力した、テンポ情報を保存して、次回再生時に保存したテンポ情報と、オーディオデータと共にあらかじめ保存されているテンポ信号とを比較して、再生テンポの制御をすることの可能なオーディオデータの再生制御装置を提供することである。
【０００９】
さらに、本発明の他の目的は、テンポ変化等が記載されている楽譜を認識して、その認識結果に基づいて、再生テンポの制御をすることの可能なオーディオデータの再生制御装置を提供することである。
【００１０】
【課題を解決するための手段】
本発明の一観点によれば、オーディオデータの再生制御装置は、オーディオデータ及び該オーディオデータの進行に対応した拍又は小節毎のタイミングデータを記憶する記憶手段と、楽譜画像を認識し、認識結果に基づいて拍又は小節毎のタイミング信号を生成するタイミング信号生成手段と、前記オーディオデータ及び拍又は小節毎のタイミングデータを読み出す読み出し手段と、前記生成されたタイミング信号と前記読み出されたタイミングデータを比較して時間的に一致するか否かを判断する比較手段と、前記判断結果に応じて、前記オーディオデータの進行を前記生成されたタイミング信号に時間的に一致させるように、ピッチを変えずに前記オーディオデータの再生テンポを制御する制御手段とを有する。
【００１３】
【発明の実施の形態】
図１は、オーディオデータ再生制御装置の構成を示すブロック図である。
【００１４】
オーディオデータ再生制御装置１は、オーディオデータ記憶部２、読出／再生部７、タイミング入力部３、タイミング記録／再生部４、楽譜画像入力部５、楽譜認識／タイミング生成部６を有する。Ｄ／Ａ変換部８を有していてもよい。
【００１５】
オーディオデータ記憶部２は、オーディオデータをＣＤ−ＲＯＭ等の光ディスクや、ＭＯ等の光磁気ディスク、ハードディスク等の磁気ディスク、ＲＯＭやＲＡＭ等の半導体メモリ、磁気テープなどの記録媒体に記憶する。
【００１６】
また、記録媒体は、ネットワークを介して、ストリーム配信されたオーディオデータを一時的に記憶したキャッシュメモリのようなものでもよい。ストリーム配信は、一括ダウンロードが、一曲分又は複数曲分のオーディオデータを一括して、他のコンピュータから、ネットワークを介してダウンロードするのに対して、一部のデータを受信しだい再生するタイプのダウンロード形式である。キャッシュメモリを使用したストリーム配信の場合、一曲分全体を一度には記憶しないが、時間の経過を考慮すれば、結果的に一曲分を記憶したと考えられる。
【００１７】
オーディオデータ記憶部２は、デジタル形式のオーディオデータを、一曲分又は複数曲分記憶する。オーディオデータは、波形データと、所定のタイミング毎（例えば一拍毎や一小節毎）に、オーディオデータ中における該タイミングの位置を示すタイミングデータで構成される。タイミングデータの記憶形式については後述する。
【００１８】
このオーディオデータ記憶部２が記憶するオーディオデータは、あらかじめ記憶されたものでもよいし、外部から入力されたオーディオデータを記憶したものでもよい。さらに、ネットワークを介して他のコンピュータからダウンロードされたものでもよい。記憶されるオーディオデータは、楽器演奏、歌唱など、一定のテンポに基づいて再生されるものならどのようなものでもよい。さらに、タイミングデータを持たないオーディオデータには、後述の方法でタイミングデータが付加される。
【００１９】
読出／再生部７は、オーディオデータ記憶部２に記憶されたオーディオデータを読み出して、出力する。この出力は、デジタル形式のまま行ってもいいし、アナログ形式に変換して行ってもよい。読出／再生部７の構成については後述する。
【００２０】
この際、オーディオデータの出力テンポは、タイミング入力部３、タイミング記録／再生部４、楽譜認識／タイミング生成部６のいずれかからのタイミング信号に基づいてリアルタイムに制御可能になっている。このとき、テンポは変化するが、ピッチは変化せず元のままである。
【００２１】
タイミング入力部３は、キーボードやマウス等のスイッチ入力、加速度センサやジャイロセンサ等を用いて演奏者（指揮者）が手で揺動操作するハンドコントローラ又は指揮棒タイプの操作子（例えば特開平８−３０５３３４の実施例に記載の操作子）の操作、指揮等の動作を撮像しての画像認識、マイクなどによる音声入力等に応じて所定タイミング毎（一拍毎あるいは一小節毎）にタイミング信号を入力する。入力するタイミングを、例えば、一拍毎や一小節毎等、ユーザが任意に選択できるようにしてもよい。タイミング入力部３で入力されたタイミング信号は、タイミング記録／再生部４に出力されるか、又は直接、読出／再生部７に出力される。また、何も入力されない場合に、前回までに入力されたタイミング信号と同様の同期を持つタイミング信号を自動的に生成できるようにしてもよい。
【００２２】
タイミング記録／再生部４はタイミング入力部３から入力されたタイミング信号を時系列的に、例えば一曲分を記録媒体に記録し、後に記録されたタイミング信号を読み出して、再生する。タイミング信号を記録する記録媒体は、オーディオデータ記憶部２と同様のものである。
【００２３】
なお、記録／再生されるタイミング信号は、１つのオーディオデータに対応して１つに限らず、タイミング信号は１つのオーディオデータに対応して複数種類あってもよい。
【００２４】
このようにすると、同じオーディオデータを異なるテンポで（テンポを変化させて）再生することが可能になる。また、あらかじめオーディオデータに対応したタイミング信号が記憶されている場合は、それを再生するだけのものでもよい。さらに、タイミング信号列の再生テンポを、再生前又は再生中に、変更できるようにしてもよい。
【００２５】
オーディオデータ記憶部２及びタイミング記録／再生部４に記録されるデータは、記録媒体上に、時系列の連続する領域に記録されてもよいし、飛び飛びの領域に散在して記憶して、別途連続するデータとして管理してもよい。すなわち、時系列的に連続するデータとして管理可能ならばよく、記録媒体上で連続して記録されているか否かは問題ではない。
【００２６】
楽譜画像入力部５は、スキャナ等により印刷又は手書きの楽譜を読み取り、楽譜画像を作成して入力する。又は、既に読み取られて、記録媒体に記録された楽譜画像を入力してもよい。なお、ここで読み取る楽譜は、オーディオデータ記憶部２に記録されるオーディオデータに対応した楽譜である。入力された楽譜画像は、楽譜認識／タイミング生成部６に出力される。
【００２７】
楽譜認識／タイミング生成部６は、入力された楽譜画像を分析し、音符や各種音楽記号を、認識する。楽譜認識の技術は公知であり、例えば特開平６−３３２４４３号の実施例に開示されている方法等によって認識する。そして、認識した音楽記号のうち、拍子やテンポ変化に関する音楽記号に基づいて、所定タイミング毎（一拍毎や一小節毎）にタイミング信号を生成する。
【００２８】
例えば、「テンポ＝１２０、４／４拍子」と認識されたとすると、一拍毎にタイミング信号を生成する場合は、０．５秒ごとにタイミング信号を生成し、一小節毎の場合は、２秒ごとに生成する。また、テンポ変化記号として、「Ｒｉｔ．（リタルダンド）」が認識されたら、タイミング信号の周期を徐々に長くして行き、「Ａｃｃ．（アッチェレランド）」が認識されたら、タイミング信号の周期を徐々に短くしていく。その他の拍子や、テンポ変化に関する記号についても、それらに対応するように、タイミング信号が生成される。ここで生成されたタイミング信号は、読出／再生部７に送られる。なお、生成されたタイミング信号を、タイミング記録／再生部４に出力して、記録媒体に記録しておき、後程、読出／再生してもよい。
【００２９】
Ｄ／Ａ変換部８は、読出／再生部７の出力を、デジタルデータからアナログ信号に変換する。読出／再生部７の出力は、このＤ／Ａ変換部８を介さずに、デジタルデータのまま出力されてもよい。
【００３０】
図２は、オーディオデータの記憶形式の例を示す構成図である。
【００３１】
オーディオデータＡＤの記憶形式としては、波形サンプルデータＳＤとタイミングデータＴＤを混在させて記憶する形式と、波形サンプルデータＳＤとタイミングデータＴＤを別々に記憶して管理する形式等、種々の形式を取ることができる。
【００３２】
図２（ａ）は、波形サンプルデータＳＤとタイミングデータＴＤを混在させて記憶するオーディオデータＡＤの記憶形式の一例を示す構成図である。
【００３３】
波形サンプルデータＳＤとタイミングデータＴＤを混在させる場合は、例えば、一拍毎あるいは一小節毎のような所定のタイミングに対応した位置にタイミングデータＴＤが記憶される。１つのタイミングデータＴＤ１と次のタイミングデータＴＤ２の間には、前記所定のタイミング間隔分の波形サンプルデータＳＤが記憶される。
【００３４】
図２（ｂ）は、波形サンプルデータＳＤとタイミングデータＴＤを別々に記憶して管理するオーディオデータＡＤの記憶形式の一例を示す構成図である。
【００３５】
この形式の場合は、波形サンプルデータＳＤは連続して記憶される。そして、タイミングデータＴＤは、波形サンプルデータＳＤの配列とは別に、所定タイミング毎に、それぞれのタイミングに対応する波形サンプルデータＳＤの位置情報を示すデータとして記憶される。この場合の位置情報は、所定タイミングに対応する波形サンプルデータＳＤの記憶アドレスやサンプル数等である。
【００３６】
図３は、オーディオ信号とタイミング信号を同時に記録する方法の一例を表すブロック図である。この例では、オーディオ信号の非可聴帯域にタイミング信号を重畳的に記録する。
【００３７】
図３（ａ）は、オーディオ信号の非可聴帯域にタイミング信号を重畳的に記録する方法を表すブロック図である。
【００３８】
タイミング信号ＴＳは、例えば一拍や一小節を一周期としたサイン波である。これを変調部１２ａに送り、非可聴帯域以下（例えば２０Ｈｚ）の変調波で変調し、低域濾波器（ＬＰＦ）１３でノイズを除去した後、ミキシング部１５へと供給する。
【００３９】
オーディオ信号ＡＳは、高域濾波器（ＨＰＦ）１４で上記非可聴帯域以下（２０Ｈｚ以下）を除去した後、ミキシング部１５へと供給される。
【００４０】
変調されたタイミング信号ＴＳとオーディオ信号ＡＳは、ミキシング部１５でミキシングされ、Ａ／Ｄ変換部１６ａでアナログ信号からデジタルデータへと変換される。その後、オーディオデータとして、オーディオデータ記憶部２にオーディオデータとして記憶される。
【００４１】
図３（ｂ）は、上記方法で記録されたオーディオデータを再生する方法を表すブロック図である。
【００４２】
オーディオデータ記憶部２に記憶されたオーディオデータは、読み出されてＤ／Ａ変換部１６ｂに送られ、Ｄ／Ａ変換されて、アナログ信号となる。その後、ＨＰＦ１４及びＬＰＦ１３に送られる。
【００４３】
ＨＰＦ１４に送られたアナログ信号は、非可聴帯域以下（記録時の設定による。ここでは２０Ｈｚ以下）を除去され、オーディオ信号ＡＳとして出力される。
【００４４】
ＬＰＦ１３に送られたアナログ信号は、上記非可聴帯域の信号のみを抽出され、復調部１２ｂに送られる。復調部１２ｂでは、記録時に用いた周波数（２０Ｈｚ）の信号でＬＰＦ１３により抽出された信号を復調し、タイミング信号ＴＳとして出力する。
【００４５】
波形データＳＤにタイミングデータＴＤを付加する方式の例を以下に説明する。これは、上記いずれの記憶形式で記憶する場合にも実施することが可能である。また、波形データＳＤにタイミングデータＴＤを付加する方式は以下のものに限られるものではない。
【００４６】
（１）楽曲の音（楽器演奏や歌唱など）を記録する際に、それを聞いている人の操作（例えばスイッチ操作等）によりタイミング信号を発生させ、発生させたタイミング信号をデータとして記録媒体に同時に記録する方式。人の操作によりタイミング信号を発生させる方法としては、例えば実開平４−７７１９６の実施例に開示されているテンポコントローラ等を用いることができる。
【００４７】
（２）楽曲の音を一旦記録媒体に記録し、それを再生する際に、それを聞いている人の操作（例えばスイッチ操作等）によりタイミング信号を発生させ、発生させたタイミング信号をデータとして記録媒体に追加記録する方式。
【００４８】
（３）楽曲の音を一旦記録媒体に記録した後、それを解析して所定のタイミングを自動的に抽出し、抽出したタイミング信号をデータとして記録媒体に追加記録する方式。自動抽出の仕方は、例えば、強拍と次の強拍の間の時間間隔を計測して、テンポを計算する等、種々のものが考えられる。
【００４９】
（４）前記（１）から（３）で記録したタイミングデータを、人の操作により、前後に修正する方式。例えば、タイミング信号を音に変換し、それを聞きながら修正する。また、例えば、楽曲の音とタイミング信号を表示データに変換し、それを見ながら変換する等、種々の方式による修正が可能である。
【００５０】
図４は、読出／再生部７の構成を示すブロック図である。
【００５１】
読出／再生部７は、読み出し制御部９、比較部１０を有し、さらにピッチ変換部１１を有していてもよい。
【００５２】
読み出し制御部９は、タイムストレッチ回路を有し、オーディオデータ記憶部２から、オーディオデータＡＤを読み出す。読み出したオーディオデータＡＤのうちタイミングデータＴＤを比較部１０に送る。また、比較部１０からの指示に従い、波形サンプルデータＳＤを再生する。
【００５３】
読み出し制御部９は、比較部１０からの指示に対応して、再生速度を変えることができる。再生速度を変化させるとピッチが変わってしまうので、波形データは、後段に配置されるピッチ変換部１１に送られ記録時のピッチに修正される。
【００５４】
再生速度を変化させない場合は、タイムストレッチ処理により、波形データの読み飛ばし、重複読み出しを行う。この場合、波形データのピッチは変化しないので、ピッチ変換部１１を必要としないか、又は、ピッチ変換部１１を介さずに出力される。
【００５５】
比較部１０からの指示により、又は新たな指示がない場合、次の指示があるまで、変更された再生テンポを維持するため前回と同じ処理を繰り返す様にしてもよいし、元のテンポに戻すため通常の読み出し／再生を行う様にしてもよい。基本的に、新たな指示がくるまで、処理を継続して行う。
【００５６】
比較部１０は、タイミングデータＴＤを受け取り、入力されたタイミング信号と比較する。比較結果に従い、読み出し制御部９に対し、重複読み出し、読み飛ばし、又は読み出し速度の変更等を指示する。ピッチ変換部１１に対しては、ピッチ変換を指示する。比較部１０での処理については、後にフローチャートを用いて説明する。
【００５７】
ピッチ変換部１１は、比較部１０の指示に従い、ピッチ変換処理によりピッチを変換し、記録時と同じピッチにして波形データを出力する。ピッチ変換処理は、対象となる音声信号や波形データを所定の周波数で順次サンプリングして、サンプリングしたデータを、ランダムアクセスメモリ（ＲＡＭ）に書き込み、読み出しを行う際に書き込み時と異なる周波数で読出すことによりピッチを変える。比較部１０からの指示により、又は新たな指示がない場合、次の指示があるまで、変更された再生ピッチを維持するため前回と同じ処理を繰り返す様にしてもよいし、元のピッチに戻すため通常の再生を行う様にしてもよい。
【００５８】
図５は波形サンプルデータＳＤの読み出し速度を一定にした場合の比較部１０が行う割り込み処理を示すフローチャートである。当該割り込み処理は、タイマに応じた所定時間間隔で行われる。この時間間隔は、任意に設定することができる。
【００５９】
ステップＳＡ１では、タイミング信号の入力の有無が検出される。所定時間内に入力があれば、“ＹＥＳ”の矢印で示す次のステップＳＡ２に進む。所定時間内に入力がなければ、“ＮＯ”の矢印で示すステップＳＡ５に進む。入力がないときに、点線の矢印で示すステップＳＡ６に進むようにしてもよい。ステップＳＡ５又はステップＳＡ６のどちらに進むかは、ユーザが適宜選択できるようにしてもよい。一度入力したテンポを、以降の再生にも反映させる場合は、ステップＳＡ５に進むように選択し、入力したテンポが、一時的な変更である場合は、ステップＳＡ６に進むようにすればよい。また、タイミング信号の入力がない場合は、破線で示すように、ステップＳＡ７に進むようにしてもよい。
【００６０】
ステップＳＡ２では、入力されたタイミング信号と、それに対応する読み出し制御部９から送られてくるオーディオデータＡＤ中のタイミングデータＴＤが時間的に一致しているかが検出される。
【００６１】
ここで、一致しているというのは、タイミング信号とそれに対応するタイミングデータＴＤが同時に比較部１０に入力された場合である。一致していないというのは、タイミング信号とそれに対応するタイミングデータＴＤの一方が、時間的に他方よりも早く比較部１０に入力されるか、遅れて入力される場合である。
【００６２】
一致している場合は、“ＪＵＳＴ”の矢印で示す次のステップＳＡ５に進む。タイミング信号が、対応するタイミングデータＴＤに対して遅れて入力された場合は、“ＢＥＨＩＮＤ”の矢印で示すステップＳＡ３に進む。タイミング信号が、対応するタイミングデータＴＤに対して先に入力された場合は、“ＦＡＳＴ”の矢印で示すステップＳＡ４に進む。
【００６３】
ステップＳＡ３では、読み出し制御部９に対して、重複読み出しで、オーディオデータＡＤを再生するように指示を出す。重複読み出しは、同一波形サンプルデータを連続して読み出し、ピッチを変えずに再生時間を長くするものである。これにより、オーディオデータＡＤの再生テンポを、入力されたタイミング信号のテンポに合わせるように遅くする。ここで行われるタイムストレッチ処理は、タイミング信号とタイミングデータＴＤのテンポの差又は比を元に所望の再生時間を計算して、タイミング信号のテンポにリアルタイムで合わせるようにする。その後、次のステップＳＡ７に進む。
【００６４】
ステップＳＡ４では、読み出し制御部９に対して、読み飛ばしで、オーディオデータＡＤを再生するように指示を出す。読み飛ばしは、波形サンプルデータＳＤの一部を、再生せずに読み飛ばすことにより、ピッチを変えずに再生時間を短くするものである。これにより、オーディオデータＡＤの再生テンポを、入力されたタイミング信号のテンポに合わせるように早くする。ここで行われるタイムストレッチ処理は、タイミング信号とタイミングデータＴＤのテンポの差又は比を元に所望の再生時間を計算して、タイミング信号のテンポにリアルタイムで合わせるようにする。その後、次のステップＳＡ７に進む。
【００６５】
ステップＳＡ５では、読み出し制御部９に対して、前回の指示と同一の動作を行うことを指示する。つまり、タイミング信号の入力により変更されたテンポを維持して再生を続けるということである。これは、例えば、前回の指示が、読み飛ばし再生をするというものであった場合に、さらに多くの波形サンプルデータＳＤを読み飛ばすというものではなく、前回の指示で変更した再生速度のままで再生するということである。その後、次のステップＳＡ７に進む。
【００６６】
ステップＳＡ６では、読み出し制御部９に対して、オーディオデータＡＤを通常に再生するように指示を出す。ここで、通常の再生とは、オーディオデータＡＤの記録時のテンポに従った再生のことであり、重複読み出しあるいは読み飛ばしを行わないということである。すなわち、時系列的な加工を何もしないということである。これにより、入力されたタイミング信号によるテンポの変更は、初期化される。その後、次のステップＳＡ７に進む。
【００６７】
ステップＳＡ７では、比較部処理をステップＳＡ１から繰り返すため再起動する。以上の比較部処理を繰り返すことにより、常にタイミング信号の入力を監視することができる。また、これにより、タイミング信号の入力があった場合は、即座に、タイミング信号のテンポに合わせることができる。つまり、この比較部処理により、タイミング信号の入力状況により、適宜所望のテンポに合わせて再生することが可能になる。
【００６８】
図６は、波形サンプルデータＳＤの読み出し速度を可変にした場合の比較部１０が行う割り込み処理を示すフローチャートである。当該割り込み処理は、タイマに応じた所定時間間隔で行われる。この時間間隔は、任意に設定することができる。
【００６９】
ステップＳＢ１では、タイミング信号の入力の有無が検出される。所定時間内に入力があれば、“ＹＥＳ”の矢印で示す次のステップＳＢ２に進む。所定時間内に入力がなければ、“ＮＯ”の矢印で示すステップＳＢ７に進む。入力がないときに、点線の矢印で示すステップＳＢ９に進むようにしてもよい。ステップＳＢ７又はステップＳＢ９のどちらに進むかは、ユーザが適宜選択できるようにしてもよい。一度入力したテンポを、以降の再生にも反映させる場合は、ステップＳＢ７に進むように選択し、入力したテンポが、一時的な変更である場合は、ステップＳＢ９に進むようにすればよい。また、タイミング信号の入力がない場合は、波線で示すように、ステップＳＢ１１に進むようにしてもよい。
【００７０】
ステップＳＢ２では、入力されたタイミング信号と、それに対応する読み出し制御部９から送られてくるオーディオデータＡＤ中のタイミングデータＴＤが時間的に一致しているかが検出される。ここで、一致しているというのは、タイミング信号とそれに対応するタイミングデータＴＤが同時に比較部１０に入力された場合である。一致していないというのは、タイミング信号とそれに対応するタイミングデータＴＤの一方が、時間的に他方よりも早く比較部１０に入力されるか、遅れて入力される場合である。一致している場合は、“ＪＵＳＴ”の矢印で示す次のステップＳＢ７に進む。タイミング信号が、対応するタイミングデータＴＤに対して遅れて入力された場合は、“ＢＥＨＩＮＤ”の矢印で示すステップＳＢ３に進む。タイミング信号が、対応するタイミングデータＴＤに対して先に入力された場合は、“ＦＡＳＴ”の矢印で示すステップＳＢ５に進む。
【００７１】
ステップＳＢ３では、読み出し制御部９に対して、オーディオデータＡＤの再生速度を下げるように指示を出す。これにより、オーディオデータＡＤの再生テンポを、入力されたタイミング信号のテンポに合わせるように遅くする。ここでは、いわゆるタイムストレッチ処理は行われず、単に再生速度を遅くするだけである。このため、再生速度を遅くした分ピッチが下がることになる。これを記録時のピッチに戻すために、次のステップＳＢ４に進む。
【００７２】
ステップＳＢ４では、ピッチ変換部１１に対して、オーディオデータＡＤのピッチを上げるように指示を出す。ここで出される指示は、ピッチ変換後のピッチが記録時のピッチと同一になるようにピッチ変換を行うという指示である。その後、次のステップＳＢ１１に進む。
【００７３】
ステップＳＢ５では、読み出し制御部９に対して、オーディオデータＡＤの再生速度を上げるように指示を出す。これにより、オーディオデータＡＤの再生テンポを、入力されたタイミング信号のテンポに合わせるように早くする。ここでは、いわゆるタイムストレッチ処理は行われず、単に再生速度を早くするだけである。このため、再生速度を早くした分ピッチが上がることになる。これを記録時のピッチに戻すために、次のステップＳＢ６に進む。
【００７４】
ステップＳＢ６では、ピッチ変換部１１に対して、オーディオデータＡＤのピッチを下げるように指示を出す。ここで出される指示は、ピッチ変換後のピッチが記録時のピッチと同一になるようにピッチ変換を行うという指示である。その後、次のステップＳＢ１１に進む。
【００７５】
ステップＳＢ７では、読み出し制御部９に対して、前回の指示と同一の動作を行う又は維持することを指示する。つまり、タイミング信号の入力により変更されたテンポを維持して再生を続けるということである。これは、例えば、前回の指示が、再生速度を上げるというものであった場合に、さらに再生速度を上げるというものではなく、前回の指示で変更した再生速度のままで再生するということである。次にステップＳＢ８に進む
ステップＳＢ８では、ピッチ変換部１１に対して、前回の指示と同一の動作を行う又は維持することを指示する。これは、例えば、前回の指示が、ピッチを上げるというものであった場合に、さらにピッチを上げるというものではなく、前回の指示で変更したピッチのままで再生するということである。その後、次のステップＳＢ１１に進む。
【００７６】
ステップＳＢ９では、読み出し制御部９に対して、オーディオデータＡＤを通常に再生するように指示を出す。ここで、通常の再生とは、オーディオデータＡＤの記録時のテンポに従った再生のことであり、再生速度を変化させないということである。すなわち、時系列的な加工を何もしないということである。これにより、入力されたタイミング信号によるテンポの変更は、初期化される。さらに次のステップＳＢ１０に進む。
【００７７】
ステップＳＢ１０では、ピッチ変換部１１に対して、ピッチ変換を行わないように指示を出す。その後、次のステップＳＢ１１に進む。
【００７８】
ステップＳＢ１１では、比較部処理をステップＳＢ１から繰り返すため再起動する。以上の比較部処理を繰り返すことにより、常にタイミング信号の入力を監視することができる。また、これにより、タイミング信号の入力があった場合は、即座に、タイミング信号のテンポに合わせることができる。つまり、この比較部処理により、タイミング信号の入力状況により、適宜所望のテンポに合わせて再生することが可能になる。
【００７９】
図７は再生制御装置１を構成する汎用コンピュータ又はパーソナルコンピュータ２０の具体的なハードウェア構成を示す図である。
【００８０】
汎用コンピュータ又はパーソナルコンピュータ２０の構成を説明する。バス２１には、ＣＰＵ２２、ＲＡＭ２３、外部記憶装置２４、外部に対してＭＩＤＩデータを送受信するためのＭＩＤＩインターフェース２５、サウンドカード２６、ＲＯＭ２７、表示装置２８、キーボードやスイッチやマウス等の入力手段２９、インターネットに接続するための通信インターフェース３０、拡張スロット３１が接続されている。
【００８１】
サウンドカード２６は、バッファ２６ａとコーデック回路２６ｂを有する。バッファ２６ａは、外部に対して入力又は出力するためのデータをバッファリングする。コーデック回路２６ｂは、Ａ／Ｄ変換器及び、Ｄ／Ａ変換器を有し、アナログ形式とデジタル形式両者間の変換を行うことが出来る。さらに、コーデック回路２６ｂは、圧縮／伸張回路を有し、データの圧縮及び伸張を行うことができる。
【００８２】
外部記憶装置２４は、例えばハードディスクドライブ、フロッピーディスクドライブ、ＣＤ−ＲＯＭドライブ、光磁気ディスクドライブ等であり、ＭＩＤＩデータ、オーディオデータ、画像データ又はコンピュータプログラム等を記憶することができる。
【００８３】
ＲＯＭ２７は、コンピュータプログラム及び各種パラメータを記憶することができる。ＲＡＭ２３は、バッファやレジスタ等のワーキングエリアを有し、外部記憶装置２４に記憶されている内容をコピーして記憶することができる。
【００８４】
ＣＰＵ２２は、ＲＯＭ２７又はＲＡＭ２３に記憶されているコンピュータプログラムに従って、各種演算又は処理を行う。システムクロック３２は、時間情報を生成する。ＣＰＵ２２はシステムクロック３２から時間情報を得て、タイマ割り込み処理を行うことができる。
【００８５】
インターネット回線３３には、汎用コンピュータ又はパーソナルコンピュータ２０の通信インターフェース３０が接続される。通信インターフェース３０は、インターネットにより、ＭＩＤＩデータ、オーディオデータ、画像データ及びコンピュータプログラム等を送受信するためのインターフェースである。
【００８６】
ＭＩＤＩインターフェース２５には、ＭＩＤＩ音源３５が接続され、サウンドカード２６には、音声出力装置３６が接続される。また、サウンドカード２６には図示しない音声入力装置を接続してもよい。また、ＭＩＤＩ音源３５を音声出力装置３６に接続してもよい。ＣＰＵ２２は、通信インターフェース３０を介して、インターネット回線３３上からＭＩＤＩデータとオーディオデータと画像データとコンピュータプログラム等を受信する。
【００８７】
通信インターフェース３０は、インターネット用インターフェースのほか、イーサネット用インターフェース、ＩＥＥＥ１３９４規格のデジタル通信インターフェース、ＲＳ−２３２Ｃ用インターフェースでもよく、種々のネットワークに接続することができる。
【００８８】
汎用コンピュータ又はパーソナルコンピュータ２０は、オーディオデータの受信や再生等をするためのコンピュータプログラムを記憶する。コンピュータプログラムや各種パラメータ等を外部記憶装置２４に記憶させておき、それをＲＡＭ２３に読み込むことにより、コンピュータプログラム等の追加やバージョンアップ等が容易に行える。
【００８９】
ＣＤ−ＲＯＭ（コンパクトディスク−リード・オンリー・メモリー）ドライブは、ＣＤ−ＲＯＭに記憶されているコンピュータプログラム等を読み出す装置である。読み出したコンピュータプログラム等は、ハードディスクにストアされる。コンピュータプログラムの新規インストールやバージョンアップ等が容易に行える。
【００９０】
通信インターフェース３０はＬＡＮ（ローカルエリアネットワーク）やインターネット、電話回線等の通信ネットワーク３３に接続されており、該通信ネットワーク３３を介して、他のコンピュータ３４と接続される。
【００９１】
外部記憶装置２４内に上記のコンピュータプログラム等が記憶されていない場合、コンピュータ３４からコンピュータプログラム等をダウンロードすることができる。汎用コンピュータ又はパーソナルコンピュータ２０は、通信インターフェース３０及び、通信ネットワーク３３を介してコンピュータ３４へコンピュータプログラム等のダウンロードを要求するコマンドを送信する。
【００９２】
コンピュータ３４は、このコマンドを受け、要求されたコンピュータプログラム等を、通信ネットワーク３２を介して、汎用コンピュータ又はパーソナルコンピュータ２０へ配信する。汎用コンピュータ又はパーソナルコンピュータ２０が、通信インターフェース３０を介して、コンピュータプログラム等を受信して外部記憶装置２４に蓄積することにより、ダウンロードが完了する。
【００９３】
なお、本実施例は、本実施例に対応するコンピュータプログラム等をインストールした市販の汎用コンピュータ又はパーソナルコンピュータ等によって、実施させるようにしてもよい。
【００９４】
その場合には、本実施例に対応するコンピュータプログラム等を、ＣＤ−ＲＯＭやフロッピーディスク等の、コンピュータが読み込むことが出来る記憶媒体に記憶させた状態で、ユーザに提供してもよい。
【００９５】
その汎用コンピュータ又はパーソナルコンピュータ等が、ＬＡＮ、インターネット、電話回線等の通信ネットワークに接続されている場合には、通信ネットワークを介して、コンピュータプログラムや各種データ等を汎用コンピュータ又はパーソナルコンピュータ等に提供してもよい。
【００９６】
また、オーディオデータを再生する前に、オーディオデータ中のタイミングデータと、記録されているタイミング信号とを比較し、テンポを変更したオーディオデータを作成した後に、該テンポ変更がなされたオーディオデータを再生するようにしてもよい。
【００９７】
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組合せ等が可能なことは当業者に自明であろう。
【００９８】
【発明の効果】
以上説明したように、本発明によれば、オーディオデータの再生テンポをピッチを変えずに自由に変更することが可能になる。
【００９９】
また、一度入力した、テンポ情報を保存して、次回再生時に保存したテンポ情報と、オーディオデータと共にあらかじめ保存されているテンポ信号とを比較して、再生テンポの制御をすることが可能になる。
【０１００】
さらに、テンポ変化等が記載されている楽譜を認識して、その認識結果に基づいて、再生テンポの制御をすることが可能になる。
【図面の簡単な説明】
【図１】オーディオデータ再生制御装置の構成を示すブロック図である。
【図２】オーディオデータの記憶形式の例を示す線図である。
【図３】オーディオデータの記憶方法の例を示すブロック図である。
【図４】読出／再生部の構成を示すブロック図である。
【図５】比較部での処理を示すフローチャートである。
【図６】比較部での処理を示すフローチャートである。
【図７】汎用コンピュータ又はパーソナルコンピュータの具体的なハードウェア構成を示すブロック図である。
【符号の説明】
１…再生制御装置、２…オーディオデータ記憶部、３…タイミング入力部、４…タイミング記録／再生部、５…楽譜画像入力部、６…楽譜画像認識／タイミング生成部、７…読出／再生部、８…Ｄ／Ａ変換部、９…読み出し制御部、１０…比較部、１１…ピッチ変換部、１２ａ…変調部、１２ｂ…復調部、１３…ＬＰＦ、１４…ＨＰＦ、１５…ミキシング部、１６ａ…Ａ／Ｄ、１６ｂ…Ｄ／Ａ変換部、２０…汎用コンピュータ又はパーソナルコンピュータ、２１…バス、２２…ＣＰＵ、２３…ＲＡＭ、２４…外部記憶装置、２５…ＭＩＤＩインターフェース、２６…サウンドカード、２６ａ…バッファ、２６ｂ…コーデック回路、２７…ＲＯＭ、２８…表示装置、２９…入力手段、３０…通信インターフェース３０、３１拡張スロット…、３２…システムクロック、３３…通信ネットワーク、３４…コンピュータ、３５…ＭＩＤＩ音源、３６…音声出力装置
【図１】
0003846122.tif 000002
【図２】
0003846122.tif 000003
【図３】
0003846122.tif 000004
【図４】
0003846122.tif 000005
【図５】
0003846122.tif 000006
【図６】
0003846122.tif 000007
【図７】
0003846122.tif 000008