(57)【要約】【課題】演奏位置を楽譜情報上でトラッキングすることのできる楽譜情報トラッキング装置を提供する。【解決手段】楽譜情報に基づいて楽譜音響パラメータの時間的変化を表す楽譜音響パラメータパターンを生成する楽譜音響パラメータパターン生成手段１１と、演奏情報に基づいて演奏音響パラメータの時間的変化を表す演奏音響パラメータパターンを生成する演奏音響パラメータパターン生成手段１２と、楽譜音響パラメータパターンと演奏音響パラメータパターンとの一致度合に基づいて楽譜情報上で演奏位置をトラッキングする演奏位置トラッキング手段１３とを含む。【選択図】図１
2007133199.tif 000002
【特許請求の範囲】
【請求項１】
楽譜情報に基づいて楽譜音響パラメータの時間的変化を表す楽譜音響パラメータパターンを生成する楽譜音響パラメータパターン生成手段と、
演奏情報に基づいて演奏音響パラメータの時間的変化を表す演奏音響パラメータパターンを生成する演奏音響パラメータパターン生成手段と、
前記楽譜音響パラメータパターンと前記演奏音響パラメータパターンとの一致度合に基づいて前記楽譜情報上で演奏位置をトラッキングする演奏位置トラッキング手段とを含む楽譜情報トラッキング装置。
【請求項２】
前記楽譜音響パラメータパターン生成手段が、
前記楽譜音響パラメータの時間軸上の配列である楽譜音響パラメータ列を推定する楽譜音響パラメータ列推定手段と、
前記楽譜音響パラメータ列に楽譜検査区間を設定する楽譜検査区間設定手段とを含む請求項１に記載の楽譜情報トラッキング装置。
【請求項３】
前記演奏音響パラメータパターン生成手段が、
前記演奏音響パラメータの時間軸上の配列である演奏音響パラメータ列を抽出する演奏音響パラメータ列抽出手段と、
前記演奏音響パラメータ列に演奏検査区間を設定する演奏検査区間設定手段とを含む請求項１に記載の楽譜情報トラッキング装置。
【請求項４】
前記演奏位置トラッキング手段が、
前記楽譜音響パラメータパターンと前記演奏音響パラメータパターンとの一致度合を評価するパターン一致度合評価手段と、
前記一致度合に基づいて楽譜演奏速度と演奏速度との比である演奏速度比を算出し、前記演奏速度比が所定範囲にあるときに前記楽譜情報上に演奏位置を出力する演奏位置出力手段とを含む請求項１に記載の楽譜情報トラッキング装置。
【請求項５】
前記楽譜音響パラメータおよび前記演奏音響パラメータとして音圧を使用する請求項１から請求項４のいずれか一項に記載の楽譜情報トラッキング装置。
【請求項６】
前記楽譜音響パラメータおよび前記演奏音響パラメータとしてさらに周波数分析値を使用する請求項５に記載の楽譜情報トラッキング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽譜情報トラッキング装置に係り、特に、演奏位置を楽譜情報上でトラッキング可能な楽譜情報トラッキング装置に関する。
【背景技術】
【０００２】
オーケストラ演奏などのクラシック音楽テレビジョン放送番組の制作において、映像の演出は楽譜に対応付けされた台本に基づいて行われる。そのため、番組収録の際には、収録現場において実際に演奏されている楽音が楽譜のどの位置に対応しているのかを実時間で認識し、音楽の進行状態を把握する必要がある。
【０００３】
従来は、実際に演奏されている楽音に基づく楽譜情報のトラッキングは音楽的素養を有する演出補助者（ＰＤ）によって行われることが一般的であったが、実際の演奏位置を楽譜情報上でトラッキングする装置も既に提案されている（例えば、特許文献１および非特許文献１参照）。
【０００４】
特許文献１に開示された装置は、いわゆる「譜めくり」のタイミングを検出することを目的とし、演奏されている楽音の周波数分析結果と楽譜情報から導出された周波数モデルとを比較し、周波数分析結果がマッチングする位置を現在の演奏位置として譜めくり指令を出力する。
【０００５】
また、非特許文献１に開示された装置は、本発明と同じくクラシック音楽テレビジョン放送番組の制作における映像演出に使用することを目的とし、特許文献１に開示された楽譜追跡装置と同じく、周波数分析結果がマッチングする位置を現在の演奏位置としている。
【特許文献１】特表２００４−５３３０１６号公報（［００２７］〜［００３６］、図１）
【非特許文献１】三浦  雄文、他５名、“オーケストラ撮影のための楽譜情報トラッキングの試み”、情報処理学会  研究報告  ２００４−ＭＵＳ−５７（２）、２００４年１１月５日
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の楽譜情報トラッキング装置は周波数分析結果のマッチングにより現在の演奏位置を決定するものであるため、誤ったマッチングがなされる可能性が大きいという課題があった。
【０００７】
即ち、オーケストラのような複数種の楽器による合奏楽音は各楽器の楽音が干渉し合う干渉音を含むので、周波数分析結果が必ずしも楽譜情報に基づく推定値と一致せず誤ったマッチングがなされる恐れがあった。また、周波数分析結果は、雑音の影響を受けやすいという問題もあった。
【０００８】
本発明は、従来の課題を解決するためになされたものであって、演奏位置を楽譜情報上でトラッキング可能な楽譜情報トラッキング装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の楽譜情報トラッキング装置は、楽譜情報に基づいて楽譜音響パラメータの時間的変化を表す楽譜音響パラメータパターンを生成する楽譜音響パラメータパターン生成手段と、演奏情報に基づいて演奏音響パラメータの時間的変化を表す演奏音響パラメータパターンを生成する演奏音響パラメータパターン生成手段と、前記楽譜音響パラメータパターンと前記演奏音響パラメータパターンとの一致度合に基づいて前記楽譜情報上で演奏位置をトラッキングする演奏位置トラッキング手段とを含む構成を有している。
【００１０】
この構成により、楽譜情報上で演奏位置のトラッキングを行うことができることとなる。
【００１１】
本発明の楽譜情報トラッキング装置は、前記楽譜音響パラメータパターン生成手段が、前記楽譜音響パラメータの時間軸上の配列である楽譜音響パラメータ列を推定する楽譜音響パラメータ列推定手段と、前記楽譜音響パラメータ列に楽譜検査区間を設定する楽譜検査区間設定手段とを含む構成を有している。
【００１２】
本発明の楽譜情報トラッキング装置は、前記演奏音響パラメータパターン生成手段が、前記演奏音響パラメータの時間軸上の配列である演奏音響パラメータ列を抽出する演奏音響パラメータ列抽出手段と、前記演奏音響パラメータ列に演奏検査区間を設定する演奏検査区間設定手段とを含む構成を有している。
【００１３】
以上の構成により、雑音の影響を受けにくい安定したマッチングを行うことができることとなる。
【００１４】
本発明の楽譜情報トラッキング装置は、前記演奏位置トラッキング手段が、前記楽譜音響パラメータパターンと前記演奏音響パラメータパターンとの一致度合を評価するパターン一致度合評価手段と、前記一致度合に基づいて楽譜演奏速度と演奏速度との比である演奏速度比を算出し、前記演奏速度比が所定範囲にあるときに前記楽譜情報上に演奏位置を出力する演奏位置出力手段とを含む構成を有している。
【００１５】
この構成により、演奏速度が変化しても精度の高い楽譜情報トラッキングを行うことができることとなる。
【００１６】
本発明の楽譜情報トラッキング装置は、前記楽譜音響パラメータおよび前記演奏音響パラメータとして音圧を使用する構成を有している。
【００１７】
この構成により、オーケストラのような複数種の楽器による合奏楽音にあっても、各楽器の楽音が干渉し合うことより生じる干渉音の影響を受けにくい安定したマッチングを行うことができることとなる。
【００１８】
本発明の楽譜情報トラッキング装置は、前記楽譜音響パラメータおよび前記演奏音響パラメータとしてさらに周波数分析値を使用してもよい。
【００１９】
この構成により、複数の音響パラメータを使用して、より安定したマッチングを行うことができることとなる。
【発明の効果】
【００２０】
本発明は、楽譜音響パラメータパターンと演奏音響パラメータパターンとの一致度合に基づいて楽譜情報上で演奏位置を追跡する演奏位置トラッキング手段を設けることにより、オーケストラのような合奏楽音において、演奏の速度が変化しても精度の高い楽譜情報トラッキングを行うことができるという効果を有する楽譜情報トラッキング装置を提供することができるものである。
【発明を実施するための最良の形態】
【００２１】
以下、本発明に係る楽譜情報トラッキング装置の実施形態について、図面を用いて説明する。
【００２２】
本発明の実施形態の楽譜情報トラッキング装置１は、図１のブロック図に示すように、楽譜情報に基づいて楽譜音響パラメータの時間的変化を表す楽譜音響パラメータパターンを生成する楽譜音響パラメータパターン生成手段１１と、演奏情報に基づいて演奏音響パラメータの時間的変化を表す演奏音響パラメータパターンを生成する演奏音響パラメータパターン生成手段１２と、楽譜音響パラメータパターンと演奏音響パラメータパターンとの一致度合に基づいて楽譜情報上で演奏位置をトラッキングする演奏位置トラッキング手段１３とを含む。
【００２３】
そして、楽譜音響パラメータパターン生成手段１１は、楽譜音響パラメータの時間軸上の配列である楽譜音響パラメータ列を推定する楽譜音響パラメータ列推定手段１１１と、楽譜音響パラメータ列に楽譜検査区間を設定する楽譜検査区間設定手段１１２とを含む。
【００２４】
また、演奏音響パラメータパターン生成手段１２は、演奏音響パラメータの時間軸上の配列である演奏音響パラメータ列を抽出する演奏音響パラメータ列抽出手段１２１と、演奏音響パラメータ列に演奏検査区間を設定する演奏検査区間設定手段１２２とを含む。
【００２５】
また、演奏位置トラッキング手段１３は、楽譜音響パラメータパターンと演奏音響パラメータパターンとの一致度合を評価するパターン一致度合評価手段１３１と、一致度合に基づいて楽譜演奏速度と演奏速度との比である演奏速度比を算出し、演奏速度比が所定範囲にあるときに楽譜情報上に演奏位置を出力する演奏位置出力手段１３２とを含む。
【００２６】
図２は、本発明に係る楽譜情報トラッキング装置１のハードウエア構成を示すブロック図であって、パーソナルコンピュータ（ＰＣ）２０に、楽譜情報入力装置２１と、周辺機器２２と、音響信号入力装置２３とが接続された構成を有する。
【００２７】
ＰＣ２０は、プログラムに従って処理を実行するＣＰＵ２０１と、プログラムおよび処理結果を記憶するメモリ２０２と、楽譜情報入力装置２１が接続される楽譜情報入力インターフェイス（Ｉ／Ｆ）２０３と、周辺機器２２が接続される周辺機器Ｉ／Ｆ２０４と、音響信号入力装置２３が接続される音響信号入力Ｉ／Ｆ２０５とが、バス２０６により相互に接続された構成を有する。
【００２８】
楽譜情報入力装置２１は、例えばイメージスキャナであって、楽譜に描かれた楽譜情報をデジタル情報に変換しＰＣ２０に伝送する。
【００２９】
周辺機器２２は、表示装置２２１とキーボード２２２とポインティングデバイス２２３とから構成され、楽譜情報トラッキング装置１に対する操作の入力および処理結果の表示に使用される。
【００３０】
音響信号入力装置２３は、音響信号を電気信号に変換する少なくとも１つのマイクロフォン２３１と、マイクロフォン２３１が出力する電気信号を音響信号入力Ｉ／Ｆ２０５が取り扱うことのできる電圧に増幅する増幅器２３２とを含む。
【００３１】
即ち、本発明に係る楽譜情報トラッキング装置１は、ＰＣ２０に楽譜情報トラッキングプログラムをインストールすることにより構成される。なお、本実施の形態においては、楽譜音響パラメータおよび演奏音響パラメータは音圧であるものとする。
【００３２】
次に、メモリ２０２にインストールする楽譜情報トラッキングプログラムのフローチャートを参照しつつ、本発明の実施の形態の楽譜情報トラッキング装置の動作を説明する。
【００３３】
図３は、楽譜情報トラッキングプログラムのフローチャートである。まず、ＣＰＵ２０１は、後述する楽譜音響パラメータパターン生成ルーチンにおいて、楽譜情報に基づいて楽譜音響パラメータの時間的変化を表す楽譜音響パラメータパターンを生成する（ステップＳ１）。
【００３４】
次に、ＣＰＵ２０１は、演奏情報に基づいて演奏音響パラメータの時間的変化を表す演奏音響パラメータパターンを生成し、楽譜音響パラメータパターンと演奏音響パラメータパターンとの一致度合に基づいて楽譜情報上で演奏位置をトラッキングする処理を行う（ステップＳ２）が、この処理については後述する演奏処理ルーチンで説明する。
【００３５】
図４は、図３の楽譜情報トラッキングプログラムのステップＳ１で実行される楽譜音響パラメータパターン生成ルーチンのフローチャートである。まず、ＣＰＵ２０１は、後述する楽譜音響パラメータ列推定ルーチンにおいて、楽譜情報に基づく音響パラメータの時間軸上の配列である楽譜音響パラメータ列を推定する（ステップＳ１１）。
【００３６】
次に、ＣＰＵ２０１は、後述する楽譜検査区間設定ルーチンにおいて、楽譜音響パラメータ列に楽譜検査区間を設定して（ステップＳ１２）、楽譜音響パラメータパターン生成ルーチンを終了する。
【００３７】
図５は、図４の楽譜音響パラメータパターン生成ルーチンのステップＳ１１で実行される楽譜音響パラメータ列推定ルーチンのフローチャートである。まず、ＣＰＵ２０１は、図６に示すような楽譜情報を読み込む（ステップＳ１１１）。
【００３８】
次に、ＣＰＵ２０１は、ステップＳ１１１で読み込んだ楽譜情報に基づいて、スタンダードＭＩＤＩファイル（以下、ＳＭＦという。）を作成する（ステップＳ１１２）。ここで、ＳＭＦにおいては、各楽器パートが異なるＭＩＤＩチャンネルに割り振られていることが必要である。
【００３９】
次に、ＣＰＵ２０１は、ＳＭＦ中の楽譜標準時間（以下、Ｔｉｃｋ値という。）ごとに、各ＭＩＤＩチャンネルの発音命令（ノートオン命令）および音の強さ（以下、Ｖｅｌｏｃｉｔｙ値という。）を抽出する（ステップＳ１１３）。
【００４０】
次に、ＣＰＵ２０１は、ＳＭＦの各Ｔｉｃｋ値において、Ｖｅｌｏｃｉｔｙ値と楽器群（木管楽器、金管楽器、打楽器、弦楽器群）ごとに設けられた比重を掛け合わせて、さらに全ての楽器群についてそれらの比重を掛けたＶｅｌｏｃｉｔｙ値の総和を取ったものを全体音量として算出する（ステップＳ１１４）。なお、比重は予め適切な値に設定されているものとする。
【００４１】
例えば、図６に示すような木管楽器と金管楽器による合奏曲の場合は、（１）の部分の全体音量は６４（Ｖｅｌｏｃｉｔｙ）×２（比重）＋６４（Ｖｅｌｏｃｉｔｙ）×６（比重）＝１２８＋３８４＝５１２となる。
【００４２】
次に、ＣＰＵ２０１は、ステップＳ１１４で算出した全体音量に対して図７に示すように閾値を設定し、全体音量が閾値を越えるＴｉｃｋ値（以下、発音タイミングという。）を抽出する（ステップＳ１１５）。
【００４３】
最後に、ＣＰＵ２０１は、ステップＳ１１５で抽出した発音タイミングに図８に示すような擬似音素を重ねて、これを楽譜情報に基づく推定音圧とする（ステップＳ１１６）。ここで、擬似音素は、図中の横軸の０を中心とする幅の異なる２つのＧａｕｓｓ関数を組み合わせた形をしており、音圧が立ち上がる過程と減衰する過程でそれぞれ適切な幅が設定されているものとする。
【００４４】
図９は、図４の楽譜音響パラメータパターン生成ルーチンのステップＳ１２で実行される楽譜検査区間設定ルーチンのフローチャートである。まず、ＣＰＵ２０１は、予め適切に定められた処理開始位置、処理終了位置、楽譜検査区間の長さ、楽譜検査区間の進度のパラメータに基づいて、図１０のように処理開始位置と処理終了位置との間に、一定間隔ごとに楽譜検査区間を作成する（ステップＳ１２１）。
【００４５】
最後に、ＣＰＵ２０１は、図１１に示すように、各楽譜検査区間の終了位置から開始位置に遡って全体音量の値が閾値を超える発音タイミングを検索し、最初に検索された閾値を超える発音タイミング、即ち楽譜検査区間内での最後の発音タイミングのＴｉｃｋ値を基準位置ＴＴａｒｇとする（ステップＳ１２２）。
【００４６】
図１２は、図３の楽譜情報トラッキングプログラムのステップＳ２で実行される演奏処理ルーチンのフローチャートである。まず、ＣＰＵ２０１は、メモリ２０２に格納される変数に適切な初期値を設定する（ステップＳ２０）。
【００４７】
次に、ＣＰＵ２０１は、楽譜検査区間に相当する実時間の検査区間である演奏検査区間を設定する（ステップＳ２１）。ここで、演奏検査区間にマッチング対象となる楽譜検査区間が確実に含まれるようにするために、楽譜検査区間から推定された実時間の検査区間の前後に適切な幅のマージンを設けて演奏検査区間とすることが好ましい。
【００４８】
次に、ＣＰＵ２０１は、オーケストラの演奏音の音響信号を入力し、メモリ２０２に蓄積する（ステップＳ２２）。
【００４９】
次に、ＣＰＵ２０１は、ステップＳ２２で音響信号を蓄積し始めてから、１つの演奏検査区間に相当する音響信号を蓄積したかどうかを判断する（ステップＳ２３）。１つの演奏検査区間に相当する音響信号を蓄積していない場合には、ＣＰＵ２０１は、ステップＳ２２の処理に戻る。
【００５０】
１つの演奏検査区間に相当する音響信号を蓄積した場合には、ＣＰＵ２０１は、図１３に示すように、採音した音響信号に検波（絶対値）処理を施し、カットオフ周波数が１０Ｈｚであるローパスフィルタを用いて音圧パターンを生成する（ステップＳ２４）。
【００５１】
次に、ＣＰＵ２０１は、ステップＳ２４で得た１つの演奏検査区間に相当する音圧パターンと演奏検査区間に対応する楽譜検査区間の推定音圧パターンとのマッチングを行う（ステップＳ２５）。
【００５２】
マッチングを行う際には、演奏の非線形性をある程度吸収できるＤＰマッチング（動的計画法）を用い、［数１］で表されるマッチングパスを得る。図１４にこのようにして得られるマッチングパスを模式的に示す。ここで、ｔは実時間を示し、Ｔは楽譜情報上のＴｉｃｋ値を示す。
【数１】
2007133199.tif 000003
【００５３】
次に、ＣＰＵ２０１は、楽譜情報上のＴｉｃｋ値に沿って定義された開始位置ＴＳｔａｒｔ、基準位置ＴＴａｒｇ、終了位置ＴＥｎｄをそれぞれ［数１］のマッチングパスに代入し、［数２］から実時間に沿った開始位置ｔＳｔａｒｔ、基準位置ｔＴａｒｇ、終了位置ｔＥｎｄの推定値を算出する（ステップＳ２６）。
【数２】
2007133199.tif 000004
【００５４】
次に、ＣＰＵ２０１は、マッチングの検証を行うが（ステップＳ２７）、この処理はマッチング検証ルーチンとして後述する。
【００５５】
次に、ＣＰＵ２０１は、後述するマッチング検証ルーチンで得られた楽譜演奏速度と実際の演奏速度との比を与える演奏速度比Ｖｉｎｔ［Ｔｉｃｋ／ｓｅｃ］、基準位置ＴＴａｒｇの実時間推定位置ｔＴａｒｇと楽譜情報上の基準位置ＴＴａｒｇの組（ｔＴａｒｇｉｎｔ、ＴＴａｒｇｉｎｔ）（後に説明する）を用いて、基準位置より後の楽譜情報上のＴｉｃｋ値を［数３］から予測して表示する（ステップＳ２８）。
【数３】
2007133199.tif 000005
【００５６】
次に、ＣＰＵ２０１は、全ての楽譜検査区間に対して処理を行ったかどうかを判断する（ステップＳ２９）。ＣＰＵ２０１は、処理が全て終了したと判断した場合は演奏処理ルーチンを終了し、処理が終了していないと判断した場合は、ステップＳ２２に戻って次の楽譜検査区間に対して処理を行う。
【００５７】
図１５は、図１２の演奏処理ルーチンのステップＳ２７で実行されるマッチング検証ルーチンのフローチャートである。なお、演奏処理ルーチンのステップＳ２０において、内部状態を示す演奏速度比Ｖｉｎｔ、基準位置ＴＴａｒｇの組（ｔＴａｒｇｉｎｔ、ＴＴａｒｇｉｎｔ）の初期値は適切な値に設定されているものとする。
【００５８】
処理対象となっている検査区間において、ＣＰＵ２０１は、基準位置ＴＴａｒｇの実時間の推定位置ｔＴａｒｇと楽譜情報上の基準位置ＴＴａｒｇの組（ｔＴａｒｇ、ＴＴａｒｇ）をＴｉｃｋ値対時間の基準位置とし、また、図１４の太線で示すように［数４］から楽譜演奏速度と実際の演奏速度との比である演奏速度比Ｖｍｓ（ｎ）（ｎは整数で処理対象となっている楽譜検査区間の区間番号を示す。）を算出する（ステップＳ２７１）。
【数４】
2007133199.tif 000006
【００５９】
次に、ＣＰＵ２０１は、ｎ番目の楽譜検査区間に関する演奏速度比Ｖｍｓ（ｎ）が後述する平均速度比Ｖａｖに十分に近い値であるかどうかを［数５］に基づいて判断する（ステップＳ２７２）。なお、εおよびＶａｖの初期値（即ち、Ｖｍｓ（０））には、演奏処理ルーチンのステップＳ２０において、適切な値が設定されているものとする。
【数５】
2007133199.tif 000007
【００６０】
ステップＳ２７２において、［数５］に示した範囲内に演奏速度比Ｖｍｓ（ｎ）が収まった場合は、ＣＰＵ２０１は、演奏速度比Ｖｍｓ（ｉ）（ｉは０からｎまでの整数）のうち上記の範囲内に収まったものの個数Ｎを更新する（ステップＳ２７３）。なお、Ｎは演奏処理ルーチンのステップＳ２０において、初期値として値を１に設定されているものとする。
【００６１】
次に、ＣＰＵ２０１は、［数６］より平均速度比Ｖａｖを更新する（ステップＳ２７４）。なお、演奏速度比Ｖｍｓ（ｉ）（ｉは０からｎ−１までの整数）のうち［数５］に示した範囲内に収まっていないものは、後述するステップＳ２７６において値を０に設定されている。
【数６】
2007133199.tif 000008
【００６２】
また、ＣＰＵ２０１は、Ｖｍｓ（ｎ）、（ｔＴａｒｇ，ＴＴａｒｇ）の値を内部状態Ｖｉｎｔ、（ｔＴａｒｇｉｎｔ，ＴＴａｒｇｉｎｔ）に代入する（ステップＳ２７５）。
【００６３】
ステップＳ２７２において、上記範囲内に演奏速度比Ｖｍｓ（ｎ）が収まらなかった場合は、ＣＰＵ２０１は、演奏速度比Ｖｍｓ（ｎ）の値を０に設定し（ステップＳ２７６）、平均速度比Ｖａｖおよび内部状態Ｖｉｎｔ、（ｔＴａｒｇｉｎｔ，ＴＴａｒｇｉｎｔ）を更新せずにマッチング検証ルーチンを終了する。
【００６４】
図１６に実際のマッチング例を示す。上段に演奏音の音圧パターン、下段に楽譜情報から推定した音圧パターンを示す。図中で２：１：１と示した箇所は、楽譜上で「四分音符、八分音符、八分音符」が記載されている箇所であり、楽譜情報から推定した音圧パターンと演奏音の音圧パターンが十分にマッチングしている。
【００６５】
なお、本実施の形態では、マッチングの方法としてＤＰマッチングを用いているが、線形マッチングを用いることも可能である。
【００６６】
また、本実施の形態では音響パラメータパターンとして音圧の時間軸上の配列を用いて説明したが、粒子速度、音圧と粒子速度との積である瞬時音響インテンシティ、音圧と粒子速度との積の時間積分値である音響インテンシティ、周波数分析値の時間軸上の配列を用いることも可能である。
【００６７】
さらに、上記の音響パラメータを複数用いることも可能である。その場合音響パラメータパターン（Ｐ１、Ｐ２、Ｐ３．．．）の時間変化は、時間ｔ、複数の音響パラメータを表すベクトルＰを用いて［数７］のように表すことができる。なおＴは転置を表す。
【数７】
2007133199.tif 000009
【００６８】
複数の音響パラメータの変化パターンを求めることにより、より安定したマッチングが可能になる。
【００６９】
以上説明したように、本発明の実施の形態に係る楽譜情報トラッキング装置は、音響パラメータの時間的変化を表す楽譜音響パラメータパターンと演奏音響パラメータパターンとのマッチングを行うことにより、雑音の影響を受けにくい、精度の高い楽譜情報トラッキングを行うことができる。
【産業上の利用可能性】
【００７０】
以上のように、本発明に係る楽譜情報トラッキング装置は、オーケストラのような合奏楽音において、演奏速度が変化しても精度が高く、雑音の影響を受けにくい楽譜情報トラッキングを行うことができるという効果を有し、パターンマッチング装置等として有効である。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施の形態における楽譜情報トラッキング装置のブロック図
【図２】本発明の実施の形態に係る楽譜情報トラッキング装置を構成するパーソナルコンピュータのハードウェア構成を示すブロック図
【図３】本発明に係る楽譜情報トラッキング装置のＣＰＵが実行する楽譜情報トラッキングプログラムのフローチャート
【図４】本発明に係る楽譜情報トラッキング装置のＣＰＵが実行する楽譜音響パラメータパターン生成ルーチンのフローチャート
【図５】本発明に係る楽譜情報トラッキング装置のＣＰＵが実行する楽譜音響パラメータ列推定ルーチンのフローチャート
【図６】楽譜情報の一例を示す図
【図７】全体音量と推定音圧の対応関係を示す図
【図８】擬似音素を示す図
【図９】本発明に係る楽譜情報トラッキング装置のＣＰＵが実行する楽譜検査区間設定ルーチンのフローチャート
【図１０】楽譜検査区間の設定の一例を示す図
【図１１】発音タイミングの検索方法を示す図
【図１２】本発明に係る楽譜情報トラッキング装置のＣＰＵが実行する演奏処理ルーチンのフローチャート
【図１３】演奏音の音圧パターンの抽出を説明する図
【図１４】音圧パターンと推定音圧パターンから生成されるマッチングパスを示す図
【図１５】本発明に係る楽譜情報トラッキング装置のＣＰＵが実行するマッチング検証ルーチンのフローチャート
【図１６】マッチング例を示す図
【符号の説明】
【００７２】
１  楽譜情報トラッキング装置
１１  楽譜音響パラメータパターン生成手段
１２  演奏音響パラメータパターン生成手段
１３  演奏位置トラッキング手段
１１１  楽譜音響パラメータ列推定手段
１１２  楽譜検査区間設定手段
１２１  演奏音響パラメータ列抽出手段
１２２  演奏検査区間設定手段
１３１  パターン一致度合評価手段
１３２  演奏位置出力手段 
【図１】
2007133199.tif 000010
【図２】
2007133199.tif 000011
【図３】
2007133199.tif 000012
【図４】
2007133199.tif 000013
【図５】
2007133199.tif 000014
【図６】
2007133199.tif 000015
【図７】
2007133199.tif 000016
【図８】
2007133199.tif 000017
【図９】
2007133199.tif 000018
【図１０】
2007133199.tif 000019
【図１１】
2007133199.tif 000020
【図１２】
2007133199.tif 000021
【図１３】
2007133199.tif 000022
【図１４】
2007133199.tif 000023
【図１５】
2007133199.tif 000024
【図１６】
2007133199.tif 000025