(57)【要約】【課題】音響データに基づいて再生される楽曲中の時刻と、演奏データに基づいて演奏される楽曲中の時刻とを一致させるために必要な両データ中のタイミングの特定精度を向上させること。【解決手段】タイミング特定処理では、特定音推移を分析時間窓毎に周波数解析した結果から特定音ピークを検出する。特定音ピークそれぞれから、当該特定音ピークに対応する特定区間の発音タイミングを減算することで、オフセット時間Ｏｆｆ＿ｓｅｔＧを導出する。さらに、楽器音推移を分析時間窓毎に周波数解析した結果から楽器音ピークを検出する。特定区間のオフセット時間Ｏｆｆ＿ｓｅｔＧを、当該特定区間に対応する規定区間の楽器音ピークから減算することで、音響データにおいて、対象楽器の楽器音が出力を開始される音響データの再生開始からの時刻を表す開始タイミングを特定する。【選択図】図７
2011186054.tif 000002
【特許請求の範囲】
【請求項１】
予め規定された一種類の楽器である対象楽器を含む少なくとも１つの楽器の楽器音を模擬した特定音を出力する音源モジュールにて演奏される楽曲の楽譜を表し、前記音源モジュールから前記特定音の出力を開始するタイミングを表す発音タイミング、及び前記発音タイミングに対応し、かつ前記特定音の出力を終了するタイミングを表す終了タイミングが少なくとも規定された演奏データに基づいて、前記対象楽器の前記特定音の時間推移である特定音推移を取得する特定音取得手段と、
前記特定音取得手段にて取得された特定音推移に対して規定され、かつ一対の前記発音タイミングから前記終了タイミングまでの区間である特定区間それぞれにて、前記特定音の強さが最大となる前記演奏データ上での時刻を表す特定音ピークを検出する特定音ピーク検出手段と、
前記特定音ピーク検出手段にて検出された特定音ピークそれぞれに対応する前記特定区間の発音タイミングから当該特定音ピークまでの時間長であるオフセット時間を導出する時間導出手段と、
前記楽曲における音の時間推移を表す音響データから、前記対象楽器の楽器音の時間推移である楽器音推移を取得する楽器音取得手段と、
前記楽器音取得手段にて取得された楽器音推移に対して規定され、かつ前記特定区間と対をなす規定区間それぞれにて、前記楽器音の強さが最大となる前記音響データ上での時刻を表す楽器音ピークを検出する楽器音ピーク検出手段と、
前記楽器音ピーク検出手段にて検出された楽器音ピークそれぞれから、前記時間導出手段にて導出され、かつ当該楽器音ピークに対応するオフセット時間を減算することで、前記音響データにおいて対象楽器の楽器音の発音が開始されるタイミングを表す開始タイミングを特定するタイミング特定手段と
を備えることを特徴とするタイミング特定装置。
【請求項２】
前記特定音ピーク検出手段は、
前記特定区間での特定音推移に含まれる周波数成分と各周波数成分の強さとを表す周波数スペクトルを導出し、その導出された周波数スペクトルの中で周波数成分の強さが最大であることを、前記特定音の強さが最大であるものとし、
前記楽器音取得手段は、
前記音響データから、前記対象楽器の楽器音として出力可能な音の周波数帯を抽出することで前記楽器音推移を取得し、
前記楽器音ピーク検出手段は、
前記規定区間での楽器音推移に含まれる周波数成分と各周波数成分の強さとを表す周波数スペクトルを導出し、その導出された周波数スペクトルの中で周波数成分の強さが最大であることを、前記特定音の強さが最大であるものとする
ことを特徴とする請求項１に記載のタイミング特定装置。
【請求項３】
前記対象楽器は、
打楽器であることを特徴とする請求項２に記載のタイミング特定装置。
【請求項４】
前記タイミング特定手段にて特定した複数の前記開始タイミングに基づく多項式補間により、前記音響データに基づいて再生される楽曲のテンポに一致するように、前記対象楽器以外の特定音の発音タイミングを修正するタイミング修正手段
を備えることを特徴とする請求項１ないし請求項３のいずれか一項に記載のタイミング特定装置。
【請求項５】
前記タイミング特定手段にて特定された開始タイミングと、前記演奏データの発音タイミングとが一致するように、前記演奏データに基づく前記音源モジュールからの特定音の出力、及び前記音響データの再生を実行する同期再生手段
を備えることを特徴とする請求項１ないし請求項４のいずれか一項に記載のタイミング特定装置。
【請求項６】
予め規定された一種類の楽器である対象楽器を含む少なくとも１つの楽器の楽器音を模擬した特定音を出力する音源モジュールにて演奏される楽曲の楽譜を表し、前記音源モジュールから前記特定音の出力を開始するタイミングを表す発音タイミング、及び前記発音タイミングに対応し、かつ前記特定音の出力を終了するタイミングを表す終了タイミングが少なくとも規定された演奏データに基づいて、前記対象楽器の前記特定音の時間推移である特定音推移を取得する特定音取得手順と、
前記特定音取得手順にて取得された特定音推移に対して規定され、かつ一対の前記発音タイミングから前記終了タイミングまでの区間である特定区間それぞれにて、前記特定音の強さが最大となる前記演奏データ上での時刻を表す特定音ピークを検出する特定音ピーク検出手順と、
前記特定音ピーク検出手順にて検出された特定音ピークそれぞれに対応する前記特定区間の発音タイミングから当該特定音ピークまでの時間長であるオフセット時間を導出する時間導出手順と、
前記楽曲における音の時間推移を表す音響データから、前記対象楽器の楽器音の時間推移である楽器音推移を取得する楽器音取得手順と、
前記楽器音取得手順にて取得された楽器音推移に対して規定され、かつ前記特定区間と対をなす規定区間それぞれにて、前記楽器音の強さが最大となる前記音響データ上での時刻を表す楽器音ピークを検出する楽器音ピーク検出手順と、
前記楽器音ピーク検出手順にて特定された楽器音ピークそれぞれから、前記時間導出手順にて導出され、かつ当該楽器音ピークに対応するオフセット時間を減算することで、前記音響データにおいて対象楽器の楽器音の発音が開始されるタイミングを表す開始タイミングを特定するタイミング特定手順と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏データに基づいて演奏されている楽曲中での時刻を、音響データに基づいて再生されている楽曲中での時刻に一致させるための音響データ中のタイミングを特定するタイミング特定装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、楽曲の音声波形を表す音響データを再生する音響再生装置と、楽曲の楽譜を表す演奏データ（いわゆるＭＩＤＩデータ）に基づいて音を出力する楽曲演奏装置とを備え、音響再生装置での音響データに基づく楽曲の再生と楽曲演奏装置での演奏データに基づく楽曲の演奏とを時間軸に沿って一致させる（以下、このような制御を同期再生とする）同期再生装置がある。
【０００３】
この種の同期再生装置では、音響データにおいて、音声波形のスペクトルが大きく変化した時や、音声波形の信号レベルが閾値以上となった時に、ビートを検出したものとしている。そして、そのビートを検出した時刻に、楽曲演奏装置が演奏データに基づいて音の出力を開始する時刻（即ち、演奏データ中のノートオン）を一致させることによって、同期再生を実行している（特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３３８５１号公報
【特許文献２】特許第３８２３８５５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、音響データに基づいて再生された楽曲の再生音からビートを検出した時は、音響再生装置にて音が発せられてから時間が経過していることが多く、演奏データ中のノートオンと一致しない。
【０００６】
このため、特許文献１，２に記載の技術を用いて同期再生を実行しても、音響再生装置における音響データに基づく楽曲の再生と、楽曲演奏装置における演奏データに基づく楽曲の演奏との間には、時間軸に沿ってズレが生じる。換言すれば、特許文献１，２に記載の技術では、音響データに基づいて再生される楽曲中の時刻と、演奏データに基づいて演奏される楽曲中の時刻とを一致させるために必要な両データ中のタイミングを、精度良く特定できないという問題があった。
【０００７】
そこで、本発明は、音響データに基づいて再生される楽曲中の時刻と、演奏データに基づいて演奏される楽曲中の時刻とを一致させるために必要な両データ中のタイミングの特定精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた本発明のタイミング特定装置は、特定音取得手段と、特定音ピーク検出手段と、時間導出手段と、楽器音取得手段と、楽器音ピーク検出手段と、タイミング特定手段とを備えている。
【０００９】
このうち、特定音取得手段は、予め規定された一種類の楽器である対象楽器を含む少なくとも１つの楽器の楽器音を模擬した特定音を出力する音源モジュールにて演奏される楽曲の楽譜を表し、音源モジュールから特定音の出力を開始するタイミングを表す発音タイミング、及び発音タイミングに対応し、かつ特定音の出力を終了するタイミングを表す終了タイミングが少なくとも規定された演奏データに基づいて、対象楽器の特定音の時間推移（以下、特定音推移とする）を取得する。そして、特定音ピーク検出手段が、特定音取得手段にて取得された特定音推移に対して規定され、かつ一対の発音タイミングから終了タイミングまでの区間（以下、特定区間とする）それぞれにて、特定音の強さが最大となる演奏データ上での時刻を表す特定音ピークを検出する。これと共に、時間導出手段が、特定音ピーク検出手段にて検出された特定音ピークそれぞれに対応する特定区間の発音タイミングから当該特定音ピークまでの時間長であるオフセット時間を導出する。
【００１０】
一方、本発明のタイミング特定装置では、楽器音取得手段が、楽曲における音の時間推移を表す音響データから、対象楽器の楽器音の時間推移（以下、楽器音推移とする）を取得する。そして、楽器音ピーク検出手段が、楽器音取得手段にて取得された楽器音推移に対して規定され、かつ特定区間と対をなす規定区間それぞれにて、楽器音の強さが最大となる音響データ上での時刻を表す楽器音ピークを検出する。さらに、タイミング特定手段が、楽器音ピーク検出手段にて検出された楽器音ピークそれぞれから、時間導出手段にて導出され、かつ当該楽器音ピークに対応するオフセット時間を減算することで、音響データにおいて対象楽器の楽器音の発音が開始されるタイミングを表す開始タイミングを特定する。
【００１１】
このような本発明のタイミング特定装置にて特定される特定音ピークと、楽器音ピークとは、演奏データに基づく楽曲の演奏、及び音響データに基づく楽曲の再生において、対象楽器の楽器音が同一の状態となる時刻である。
【００１２】
よって、本発明のタイミング特定装置によれば、開始タイミングを、演奏データにおける発音タイミングと同時刻とすることができる。
換言すれば、本発明のタイミング特定装置によれば、音響データに基づいて再生される楽曲中の時刻と、演奏データに基づいて演奏される楽曲中の時刻とを一致させるために必要な両データ中でのタイミング（即ち、開始タイミングと発音タイミングと）の特定精度を向上させることができる。
【００１３】
本発明のタイミング特定装置において、特定音及び楽器音の強さが最大とは、請求項２に記載のように、特定区間での特定音推移、規定区間での楽器音推移それぞれの周波数スペクトルに含まれる周波数成分のうち、周波数成分の強さが最大であることでも良い。
【００１４】
この場合、本発明のタイミング特定装置における特定音ピーク検出手段は、特定区間における特定音推移に含まれる周波数成分と各周波数成分の強さとを表す周波数スペクトルを導出し、その導出された周波数スペクトルの中で周波数成分の強さが最大であることを、特定音の強さが最大であるものとし、楽器音取得手段は、音響データから、対象楽器の楽器音として出力可能な音の周波数帯を抽出することで楽器音推移を取得し、さらに、楽器音ピーク検出手段は、規定区間における楽器音推移に含まれる周波数成分と各周波数成分の強さとを表す周波数スペクトルを導出し、その導出された周波数スペクトルの中で周波数成分の強さが最大であることを、特定音の強さが最大であるものとしても良い。
【００１５】
このような本発明のタイミング特定装置によれば、特定音推移や楽器音推移を周波数解析（例えば、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ））することで、特定音ピーク及び楽器音ピークを検出できる。
【００１６】
また、本発明のタイミング特定装置における楽器音推移の取得は、音響データから対象楽器の楽器音の周波数帯を抽出することで実施されている。このため、本発明のタイミング特定装置によれば、対象楽器を含む複数の種類の楽器によって演奏された楽器音の周波数成分が音響データ中に重畳していたとしても、その音響データから楽器音推移を簡易な方法で取得することができる。
【００１７】
このような請求項２に係る本発明のタイミング特定装置において、対象楽器は、請求項３に記載のように、打楽器であっても良い。
すなわち、打楽器（例えば、ドラム等）は、他の楽器（例えば、弦楽器や管楽器）に比べて、楽器音の時間推移がパルス状に変化する。
【００１８】
このような打楽器の楽器音の周波数分布（即ち、周波数成分とその周波数成分の強さとを表すもの）を時間軸に沿って配置すると、当該楽器音に含まれる各周波数は、周波数成分の強さが時間軸に沿ったほぼ同じタイミングで最大となる。
【００１９】
このような特徴を検出することで、本発明のタイミング特定装置によれば、打楽器（例えば、ドラム等）の周波数分布の強さが最大となる時刻を容易に特定することができ、ひいては、特定音ピークの検出精度を向上させることができる。
【００２０】
また、本発明のタイミング特定装置では、請求項４に記載のように、タイミング修正手段が、タイミング特定手段にて特定した複数の開始タイミングに基づく多項式補間により、音響データの再生に基づく楽曲のテンポに一致するように、対象楽器以外の特定音の発音タイミングを修正しても良い。
【００２１】
このような本発明のタイミング特定装置によれば、対象楽器以外の楽器についても、音響データに基づいて再生される楽曲と演奏データに基づいて発音される特定音とを一致させるために必要なタイミングの特定精度を向上させることができる。
【００２２】
さらに、本発明のタイミング特定装置は、請求項５に記載のように、同期再生手段が、タイミング特定手段にて特定された開始タイミングと、演奏データの発音タイミングとが一致するように、演奏データに基づく音源モジュールからの特定音の出力、及び音響データの再生を実行しても良い。
【００２３】
このような本発明のタイミング特定装置によれば、演奏データに基づく特定音の発音と、音響データに基づく楽曲の再生とを時間軸に沿って一致させることができ、いわゆる同期再生における時間同期の精度を向上させることができる。
【００２４】
なお、本発明は、コンピュータをタイミング特定装置として機能させるためのプログラムであっても良い。
本発明がこのようなプログラムとしてなされている場合、本発明のプログラムでは、請求項６に記載のように、演奏データに基づいて、対象楽器の特定音の時間推移である特定音推移を取得する特定音取得手順と、その取得された特定音推移に対して規定され、かつ一対の発音タイミングから終了タイミングまでの区間である特定区間それぞれにて、特定音ピークを検出する特定音ピーク検出手順と、その検出された特定音ピークそれぞれに対応する特定区間の発音タイミングから当該特定音ピークまでの時間長であるオフセット時間を導出する時間導出手順と、音響データから楽器音推移を取得する楽器音取得手順と、その取得された楽器音推移に対して規定され、かつ特定区間と対をなす規定区間それぞれにて、楽器音ピークを検出する楽器音ピーク検出手順と、その検出された楽器音ピークそれぞれから、時間導出手順にて導出され、かつ当該楽器音ピークに対応するオフセット時間を減算することで、開始タイミングを特定するタイミング特定手順とをコンピュータに実行させる必要がある。
【００２５】
このようになされた本発明のプログラムであれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータを、請求項１に記載されたタイミング特定装置として機能させることができる。
【図面の簡単な説明】
【００２６】
【図１】実施形態におけるタイミング特定装置の概略構成を示すブロック図である。
【図２】実施形態における演奏（楽譜）データの構造、及び音響データを模式的に示した説明図である。
【図３】制御部が実行するタイミング特定処理の処理手順を示すフローチャートである。
【図４】タイミング特定処理における処理概要を示した説明図である。
【図５】タイミング特定処理における処理概要を示した説明図である。
【図６】タイミング特定処理における処理概要を示した説明図である。
【図７】タイミング特定処理において、開始タイミングを特定する手法を示した説明図である。
【図８】対象楽器以外の楽器における開始タイミングを規定する補間式を模式的に示した説明図である。
【発明を実施するための形態】
【００２７】
以下に本発明の実施形態を図面と共に説明する。
本発明が適用されたタイミング特定装置は、楽曲の楽譜を表す演奏データに基づいて演奏される楽曲中の時刻を、時間軸に沿った楽曲の音声波形を表す音響データに基づいて再生される楽曲中の時刻に一致させるために必要なタイミングを特定するものであり、図１に示す情報処理装置１０によって構成されている。
〈タイミング特定装置の全体構成について〉
図１に示すように、情報処理装置１０は、通信部１１と、音響データ読取部１２と、入力受付部１３と、表示部１４と、音声入力部１５と、音声出力部１６と、音源モジュール１７と、記憶部１８と、制御部２０とを備えている。
【００２８】
このうち、通信部１１は、情報処理装置１０をネットワーク（例えば、専用回線やＷＡＮ）に接続し、その接続されたネットワークを介して外部と通信を行うものである。
音響データ読取部１２は、記憶媒体に記憶されている音響データから、その音声データ中の音声波形を時間軸に沿って順次読み取る装置（例えば、ＣＤやＤＶＤの読取装置）である。
【００２９】
そして、入力受付部１３は、外部からの操作に従って情報や指令の入力を受け付ける入力機器（例えば、キーボードやポインティングデバイス）である。表示部１４は、画像を表示する表示装置（例えば、液晶ディスプレイやＣＲＴ等）である。
【００３０】
また、音声入力部１５は、音声を電気信号に変換して制御部２０に入力する装置（いわゆるマイクロホン）であり、音声出力部１６は、制御部２０からの電気信号を音声に変換して出力する装置（いわゆるスピーカ）である。
【００３１】
さらに、音源モジュール１７は、演奏データに基づいて、予め登録された楽器の音を模擬した音（以下、特定音とする）を出力する装置であり、本実施形態では、周知のＭＩＤＩ音源によって構成されている。一般的に、特定音に対応する楽器として予め登録されるものには、弦楽器（例えば、バイオリンやビオラ、ギター、琴など）、打楽器（例えば、バスドラムやシンバル、スネアドラム、ティンパニー、木琴など）、管楽器（例えば、クラリネットやトランペット、フルート、尺八など）が、少なくとも含まれている。
【００３２】
また、記憶部１８は、記憶内容を読み書き可能に構成された不揮発性の記憶装置（例えば、ハードディスク装置）である。この記憶部１８には、処理プログラムや、演奏データが少なくとも格納される。
【００３３】
さらに、制御部２０は、ＲＯＭ２１と、ＲＡＭ２２と、ＣＰＵ２３とを少なくとも有した周知のコンピュータを中心に構成されている。
このうち、ＲＯＭ２１は、電源が切断されても記憶内容を保持する必要のある処理プログラムやデータを格納するものである。また、ＲＡＭ２２は、処理プログラムやデータを一時的に格納するものであり、このＲＡＭ２２には、記憶部１８から処理プログラムが転送されて格納される。そして、ＣＰＵ２３は、ＲＯＭ２１やＲＡＭ２２に記憶された処理プログラムに従って各処理（各種演算）を実行する。
【００３４】
なお、本実施形態では、制御部２０が実行する処理プログラムとして、演奏データに基づいて演奏される楽曲中の時刻を、時間軸に沿った楽曲の音声波形を表す音響データに基づいて再生される楽曲中の時刻に一致させるために必要なタイミングを特定するもの（以下、タイミング特定処理と称す）が、予め用意されている。
〈演奏データ、及び音響データの構造について〉
次に、演奏データは、楽曲を区別するデータである識別データと、音源モジュール１７にて演奏される当該楽曲の楽譜を表す楽譜データとを少なくとも有した、いわゆる周知のＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）データである。
【００３５】
このうち、楽譜データは、音源モジュール１７が出力する特定音に対応する楽器の種類毎に用意されるものである。本実施形態では、予め規定された一種類の楽器である対象楽器の楽譜データが少なくとも用意されている。なお、本実施形態では、対象楽器として、楽曲中のリズムを刻む打楽器、例えば、バスドラムが規定されている。
【００３６】
具体的にいうと、楽譜データは、図２（Ａ）に示すように、音源モジュール１７が出力する特定音それぞれのタイミング、各特定音の音高（図２（Ａ）中、ノートオンナンバー）ＮＮkを表す音符ＮＯkを羅列したものである。さらに、楽譜データには、音源モジュール１７が出力する各特定音の強さ（いわゆるベロシティ）が含まれている。
【００３７】
このうち、特定音のタイミングは、音源モジュール１７が特定音の出力を開始するまでの当該楽曲の演奏開始からの時刻を表す発音タイミング（図２（Ａ）中、ノートオンタイミング）ＯＮkと、当該特定音の出力を終了するまでの当該楽曲の演奏開始からの時刻を表す終了タイミング（図２（Ａ）中、ノートオフタイミング）ＯＦＦkとによって規定されている。なお、発音タイミングＯＮkから終了タイミングＯＦＦkまでの時間長が、音符ＮＯkの音符長となる。
【００３８】
なお、本実施形態において、符合ｋは、特定音（即ち、音符ＮＯk）が楽曲の演奏開始から何番目に演奏されるものであるかを表すインデックス番号である。
また、音響データは、図２（Ｂ）に示すように時間軸に沿って進行する楽曲の演奏音の推移（アナログ波形）を録音したデータである。具体的に、本実施形態における音響データは、アナログ波形を標本化（サンプリング）することで生成されたものである。
〈タイミング特定処理の処理内容について〉
次に、制御部２０が実行するタイミング特定処理について説明する。
【００３９】
このタイミング特定処理は、当該タイミング特定処理を起動するための起動指令が、入力受付部１３を介して制御部２０に入力されると起動される。
図３に示すように、タイミング特定処理は、起動されると、まず、入力受付部１３を介して入力された情報によって指定される楽曲に対応する演奏データを取得する。これと共に、その取得した演奏データにおける対象楽器の楽譜データを取得する（Ｓ１１０（Ｓは、ステップを意味する））。以下、Ｓ１１０にて取得する対象楽器の楽譜データを対象楽譜データと称す。
【００４０】
その取得した対象楽譜データに基づいて、図４（Ａ）に示すような対象楽器の特定音の時間軸に沿った推移を表す特定音推移を取得する（Ｓ１２０）。具体的に、本実施形態では、対象楽譜データに従って、音源モジュール１７に対象楽器の特定音を時間軸に沿って出力させ、その出力された特定音を音声入力部１５を介して受け付けることで特定音推移として取得する。
【００４１】
そして、取得した特定音推移を、対象楽譜データにおける音符ＮＯの中で最長の音符長に相当する時間長（以下、分析時間窓とする）毎に周波数解析する（Ｓ１３０）。ただし、本実施形態の周波数解析（例えば、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ））は、特定音推移の開始時刻から終了時刻までの間を、予め規定された時間長であるシフト幅（なお、シフト幅＜＜分析時間窓）で、時間軸に沿って分析時間窓をずらしながら実行される。
【００４２】
Ｓ１３０では、このような周波数解析の結果、各分析時間窓における特定音推移の周波数成分と各周波数成分の強さ（即ち、音圧レベル）とが表された周波数スペクトルが導出され、図４（Ｂ）に示すように、各周波数スペクトルを時間軸に沿って配置したスペクトログラムが導出される。なお、図４（Ｂ）に示すスペクトログラムでは、色の濃淡によって音圧レベルを表した。
【００４３】
さらに、Ｓ１２０にて取得した特定音推移において、対象楽器の特定音が音源モジュール１７から出力される区間を表す特定区間を規定する（Ｓ１４０）。本実施形態のＳ１４０では、図５（Ａ）に示すように、特定音推移上において、対象楽譜データ中の発音タイミングＯＮkと、その発音タイミングＯＮkと対をなす終了タイミングＯＦＦkとの間の区間それぞれを特定区間として規定する。
【００４４】
さらに、Ｓ１３０にて特定音推移を周波数解析した結果、及びＳ１４０にて特定音推移に規定された特定区間に基づいて、特定音推移の各特定区間において、対象楽器の特定音の強さが最大となる対象楽譜データ上における時刻を表す特定音ピークを検出する（Ｓ１５０）。具体的に、本実施形態のＳ１５０では、特定区間に少なくとも一部の区間が重複する分析時間窓を特定する。さらに、その特定された分析時間窓それぞれの周波数スペクトル上における周波数ピークを当該分析時間窓での音圧レベルとし、当該特定区間の中で、音圧レベルが最大となる分析時間窓に対応する演奏データの演奏開始からの時刻を特定音ピークとしている。
【００４５】
続いて、検出された特定音ピークそれぞれから、当該特定音ピークに対応する特定区間の発音タイミングＯＮkを減算することで、対象楽器の特定音が出力を開始される時刻から当該特定音の音圧が最大となるまでの時間長であるオフセット時間Ｏｆｆ＿ｓｅｔＧを導出する（Ｓ１６０）。
【００４６】
続いて、Ｓ１１０にて取得された演奏データに対応する楽曲と同一な楽曲の音響データから、図５（Ｂ）に示すような、当該音響データにおける対象楽器の楽器音の時間軸に沿った推移（以下、楽器音推移とする）を取得する（Ｓ１７０）。
【００４７】
具体的に、本実施形態では、音響データ読取部１２にて時間軸に沿って読み取った当該楽曲の音声波形を再生して、その再生した音声（即ち、対象楽器を含む複数の楽器の楽器音）を音声出力部１６から出力する。そして、音声入力部１５を介して入力された音声のうち、対象楽器音フィルタを通過した音声の時間軸に沿った推移を楽器音推移として取得する。なお、本実施形態における対象楽器音フィルタは、入力された信号のうち、対象楽器から出力可能な楽器音の周波数帯を通過可能に構成されたバンドパスフィルタである。
【００４８】
続いて、Ｓ１７０にて取得した楽器音推移を分析時間窓毎に周波数解析する（Ｓ１８０）。ただし、本実施形態の周波数解析（ＦＦＴ）は、楽器音推移の開始時間から終了時間までを、分析時間窓をシフト幅で時間軸に沿ってずらしながら実行される。
【００４９】
このＳ１８０での周波数解析の結果、周波数スペクトルが分析時間窓毎に導出され、図６（Ａ）に示すように、各周波数スペクトルを時間軸に沿って配置したスペクトログラムが導出される。なお、図６（Ａ）中では、色の濃淡によって音圧レベルを表した。
【００５０】
さらに、Ｓ１７０にて取得した楽器音推移において、対象楽器の楽器音が出力される区間を表し、かつ特定区間それぞれと対をなす規定区間を規定する（Ｓ１９０）。なお、本実施形態のＳ１９０では、図６（Ｂ）に示すように、規定区間は、特定区間よりも長い時間長に設定されており、当該規定区間に対応する特定区間及びその特定区間の発音タイミングＯＮkを包含するように設定される。
【００５１】
さらに、Ｓ１８０にて楽器音推移を周波数解析した結果、及びＳ１９０にて楽器音推移に規定された規定区間に基づいて、楽器音推移の各規定区間において、対象楽器の楽器音の強さが最大となる音響データ上における時刻を表す楽器音ピークを検出する（Ｓ２００）。具体的に、本実施形態のＳ２００では、規定区間に少なくとも一部の区間が重複する全分析時間窓を特定する。さらに、その特定された分析時間窓それぞれの周波数スペクトル上における周波数ピークを当該分析時間窓での音圧レベルとし、当該規定区間の中で、音圧レベルが最大となる分析時間窓に対応する音響データの再生開始からの時刻を楽器音ピークとしている。
【００５２】
続いて、図７に示すように、Ｓ１６０にて導出した特定区間のオフセット時間Ｏｆｆ＿ｓｅｔＧを、当該特定区間に対応する規定区間の楽器音ピークから減算することで、音響データにおいて、対象楽器の楽器音が出力を開始される音響データの再生開始からの時刻を表す開始タイミングを特定する（Ｓ２１０）。すなわち、各開始タイミングは、楽譜データ中の発音タイミングＯＮkと同様、対象楽器の楽音の出力が開始される時刻となる。
【００５３】
さらに、それらの特定された開始タイミングと、当該開始タイミングに対応する対象楽譜データ中の発音タイミングＯＮkとに基づいて、対象楽器以外の楽器に対応する楽譜データ中の発音タイミングＯＮkを、音響データに基づいて再生される楽曲のテンポに一致するように修正する（Ｓ２２０）。
【００５４】
具体的に、本実施形態のＳ２２０では、対象楽譜データ中の各発音タイミングＯＮkと、その発音タイミングＯＮkに対応する開始タイミングとのズレの時間軸に沿った傾向を表す補間式（いわゆる多項式補間のための補間式）を導出する。例えば、図８に示すように、音響データにおける時間軸を横軸に、対象楽譜データにおける時間軸を縦軸にとり、開始タイミング及び発音タイミングＯＮkをプロットとした結果を補間式として導出する。このようにして導出された補間式は、音響データに基づいて再生される楽曲と、演奏データに基づいて音源モジュール１７にて演奏される楽曲との間のテンポのズレを表すものとなる。
【００５５】
そして、対象楽器以外の他の楽器の楽器音についても、音響データに基づいて再生（出力）が開始されるタイミングと、楽譜データに基づいて音源モジュール１７にて出力が開始されるタイミングとの間に、対象楽器と同様の傾向を示すズレが生じる。このことから、他楽器に対応する楽譜データ中の発音タイミングＯＮを、導出された補間式に従って修正する。
【００５６】
さらに、Ｓ２１０にて特定された対象楽器の各開始タイミング、及び楽譜データ中の発音タイミングＯＮに基づいて、楽曲中の時刻が一致するように、音響データに基づく楽曲の再生と、演奏データに基づく楽曲の演奏とを実行する同期再生処理を実行する（Ｓ２３０）。具体的に、本実施形態の同期再生処理では、音響データに基づく楽曲の再生を実行する。これと共に、Ｓ２１０にて特定された音響データ中の各開始タイミングに、各開始タイミングに対応する発音タイミングＯＮkが一致するように、Ｓ１１０にて取得された演奏データ中の各楽譜データに従って、音源モジュール１７に特定音を出力させる。なお、対象楽器以外の他の楽器については、Ｓ２００にて修正された発音タイミングＯＮkにて、音源モジュール１７から特定音を出力させる。
【００５７】
そして、音響データに基づく楽曲の再生及び演奏データに基づく楽曲の演奏が終了すると、本タイミング特定処理を終了する。
［実施形態の効果］
以上説明したように、本実施形態のタイミング特定処理によって特定される音響データ中の開始タイミングは、対象楽器の楽音の出力が開始される時刻であり、楽譜データ中の発音タイミングＯＮkと同様の状態を表すものである。
【００５８】
よって、本実施形態のタイミング特定処理によれば、音響データに基づいて再生される楽曲中の時刻と、演奏データに基づいて演奏される楽曲中の時刻とを一致させるために必要な両データ中でのタイミング（特に、開始タイミング）の特定精度を向上させることができる。
【００５９】
特に、本実施形態のタイミング特定処理では、対象楽器以外の他の楽器についても、楽譜データ中の発音タイミングＯＮkを、音響データに基づいて再生される楽曲のテンポに一致するように修正している。このため、対象楽器以外の楽器についても、音響データに基づいて再生される楽器音と演奏データに基づいて音源モジュール１７から出力される特定音とを時間軸に沿って一致させるために必要なタイミングの特定精度を向上させることができる。
【００６０】
これらの結果、情報処理装置１０によれば、演奏データに基づく特定音の出力と、音響データに基づく楽曲の再生とを時間軸に沿って一致させることができ、いわゆる同期再生における時間同期の精度を向上させることができる。
【００６１】
なお、本実施形態のタイミング特定処理では、音響データにおける楽曲の音声波形を対象楽器音フィルタに通すだけで、楽器音推移を取得している。つまり、本実施形態のタイミング特定処理によれば、対象楽器を含む複数種類の楽器音が音声波形に重畳していたとしても、対象楽器の楽器音の時間軸に沿った推移のみを容易に抽出できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【００６２】
例えば、演奏データに基づいて特定音推移を取得する方法は、音源モジュール１７から出力された対象楽器の特定音が音声入力部１５を介して入力されることに限らない。例えば、対象楽器の特定音の時間軸に沿った波形を表す音響信号（電気信号）を音源モジュール１７が生成し、その生成された音響信号に従って音声出力部１６が鳴動するように、情報処理装置１０が構成されている場合、音源モジュール１７が生成する音響信号を特定音推移として取得しても良い。
【００６３】
さらに、音響データに基づいて楽器音推移を取得する方法は、音声出力部１６から出力された楽器音が音声入力部１５を介して入力され、対象楽器フィルタを通過したものを取得することに限らない。例えば、対象楽器の楽器音の時間軸に沿った波形を表す楽音信号（電気信号）を生成し、その生成された楽音信号に従って音声出力部１６が鳴動するように、情報処理装置１０が構成されている場合、制御部２０が生成し、かつ対象楽器フィルタを通過した楽音信号を特定音推移として取得しても良い。
【００６４】
なお、上記実施形態では、演奏データ及び音響データは、それぞれ個別のデータとして情報処理装置１０にて取得されていたが、演奏データ及び音響データの取得方法は、これに限るものではない。例えば、演奏データ及び音響データは、対応する楽曲毎にそれらのデータを１つの組として、通信部１１を介して外部から組単位で取得されるものであっても良い。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。
【００６５】
上記実施形態のタイミング特定処理におけるＳ１１０，Ｓ１２０を実行することで得られる機能が、本発明の特定音取得手段に相当し、タイミング特定処理のＳ１３０〜Ｓ１５０を実行することで得られる機能が、本発明の特定音ピーク検出手段に相当する。さらに、タイミング特定処理のＳ１６０を実行することで得られる機能が、本発明の時間導出手段に相当する。
【００６６】
また、上記実施形態のタイミング特定処理におけるＳ１７０を実行することで得られる機能が、本発明の楽器音取得手段に相当し、タイミング特定処理のＳ１８０〜Ｓ２００を実行することで得られる機能が、本発明の楽器音ピーク検出手段に相当する。さらに、タイミング特定処理のＳ２１０を実行することで得られる機能が、本発明のタイミング特定手段に相当し、タイミング特定処理のＳ２２０を実行することで得られる機能が、本発明のタイミング修正手段に相当する。
【００６７】
なお、上記実施形態のタイミング特定処理におけるＳ２３０を実行することで得られる機能が、本発明の同期再生手段に相当する。
【符号の説明】
【００６８】
１０…情報処理装置  １１…通信部  １２…音響データ読取部  １３…入力受付部  １４…表示部  １５…音声入力部  １６…音声出力部  １７…音源モジュール  １８…記憶部  ２０…制御部  ２１…ＲＯＭ  ２２…ＲＡＭ  ２３…ＣＰＵ
【図１】
2011186054.tif 000003
【図３】
2011186054.tif 000004
【図５】
2011186054.tif 000005
【図７】
2011186054.tif 000006
【図８】
2011186054.tif 000007
【図２】
2011186054.tif 000008
【図４】
2011186054.tif 000009
【図６】
2011186054.tif 000010