(57)【要約】【目的】精度良好なメロディー推定を可能にする「メロディー推定方法及びメロディー推定装置」を提供することである。【構成】楽曲のメロディーを推定するに際して、楽曲信号におけるフレーズの持続時間τを算出すると共に、楽曲信号に含まれるベース音の音高の時間的変化を示す音高推移特性を取得する。ついで、音高推移特性より持続時間τの参照パターンを切り出すと共に、時間的に連続する複数の被参照パターンを切り出し、該参照パターンと各被参照パターンの相違度を計算し、得られた複数の相違度に基づいて参照パターンが楽曲信号に出現する頻度を計算する。参照パターンの切り出し位置を変えて該参照パターンが楽曲信号に出現する頻度を計算する処理を繰り返し、出現頻度が最大の参照パターンをメロディーであると推定する。【選択図】 図６
2008257019.tif 000002
【特許請求の範囲】
【請求項１】
楽曲のメロディーを推定するメロディー推定方法において、
楽曲信号におけるフレーズの持続時間を算出する第１ステップ、
楽曲信号に含まれるベース音の音高の時間的変化を示す音高推移特性を取得する第２ステップ、
前記音高推移特性より前記持続時間幅の１つの参照パターンを切り出すと共に、時間的に連続する複数の被参照パターンを切り出す第３ステップ、
参照パターンと各被参照パターンの相違度を計算し、得られた複数の相違度に基づいて参照パターンが楽曲信号に出現する頻度を計算する第４ステップ、
前記参照パターンの切り出し位置を変えて該参照パターンが楽曲信号に出現する頻度を計算する処理を繰り返す第５ステップ、
出現頻度が最大の参照パターンをメロディーであると推定する第６ステップ、
を有することを特徴とするメロディー推定方法。
【請求項２】
前記第４ステップは、
各相違度の逆数を時系列的に配列して出現頻度関数を算出するステップ、
前記出現頻度関数における極大値を加算して前記出現頻度を計算するステップ、
を備えたことを特徴とする請求項１記載のメロディー推定方法。
【請求項３】
楽曲のメロディーを推定するメロディー推定装置において、
楽曲信号におけるフレーズの持続時間を算出するフレーズ持続時間算出部、
楽曲信号に含まれるベース音の音高の時間的変化を示す音高推移特性を取得する音高推移取得部、
前記音高推移特性より前記持続時間幅の１つの参照パターンを切り出すと共に、時間的に連続する複数の被参照パターンを切り出す参照パターン/被参照パターン生成部、
参照パターンと各被参照パターンの相違度を計算し、得られた複数の相違度に基づいて参照パターンが楽曲信号に出現する頻度を計算する頻度算出部、
前記参照パターンの切り出し位置を変えて計算された出現頻度のうち、出現頻度が最大の参照パターンをメロディーであると推定するメロディー推定部、
を有することを特徴とするメロディー推定装置。
【請求項４】
前記頻度算出部は、
参照パターンと各被参照パターンの相違度を計算する相違度計算部、
各相違度の逆数を時系列的に配列して出現頻度関数を算出する出現頻度関数算出部、
前記出現頻度関数における極大値を加算して前記出現頻度を計算する出現頻度算出部、
を備えたことを特徴とする請求項３記載のメロディー推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はメロディー推定方法及びメロディー推定装置に係わり、特に、楽曲信号におけるフレーズに着眼して楽曲のメロディーを推定するメロディー推定方法及びメロディー推定装置に関する。
【背景技術】
【０００２】
楽曲のディジタル化に伴い、楽曲名、作曲者名等のキーワードによる検索だけでなく、音楽信号を直接用いた検索が可能となった。そのため、同一ジャンルの楽曲の検索や、類似する楽曲の検索等、音楽信号を用いた様々な検索技術の実現が期待されている。このような検索の実現には、まず楽曲中のメロディーの解析が必要である。これは、メロディーが、楽曲構成や内容に基づいて分割された楽曲の一部の示す音高推移であり、楽曲の内容に基づく検索に必要となるためである。そこで、楽曲を構成するメロディーの検出手法が提案されている(非特許文献１，２)。これらの手法は、同一メロディーが楽曲中に複数回出現する点に着眼し、音楽信号波形の反復を検出することで楽曲中のメロディーを推定する。
【非特許文献１】R.B. Dannenberg and N. Hu, "Pattern discovery techniques for music audio", in Proc. Int. Conf. Music Information Retrieval, pp. 63-70, 2003
【非特許文献２】J.L. Hsu, C.C. Liu, and L.P. Chen, " Discovering nontrivial repeating patterns in music data," IEEE Trans. Multimedia, vol.3, no. 3, pp. 311-325, 2001
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、これらの提案手法ではメロディーの持続時間や伸縮等を考慮しないため、楽曲の演奏速度の変化による影響を受け、不要なメロディーが過剰に検出される問題がある。また、同一のメロディーでありながら、同時に発音される楽器数が異なる場合、信号波形が大きく異なり、メロディーの推定精度が劣化する危険性がある。
以上から本発明の目的は、上記提案技術の問題を解決するメロディーの推定手法及びメロディー推定装置を提供することである。
本発明の別の目的は、演奏速度の変化により生じるメロディーの伸縮や複数楽器の同時発音による影響を軽減し、高精度なメロディーの推定を可能にすることである。
【課題を解決するための手段】
【０００４】
本発明の第１の態様は、楽曲のメロディーを推定するメロディー推定方法であり、楽曲信号におけるフレーズの持続時間を算出する第１ステップ、楽曲信号に含まれるベース音の音高の時間的変化を示す音高推移特性を取得する第２ステップ、前記音高推移特性より前記持続時間幅の１つの参照パターンを切り出すと共に、時間的に連続する複数の被参照パターンを切り出す第３ステップ、参照パターンと各被参照パターンの相違度を計算し、得られた複数の相違度に基づいて参照パターンが楽曲信号に出現する頻度を計算する第４ステップ、前記参照パターンの切り出し位置を変えて該参照パターンが楽曲信号に出現する頻度を計算する処理を繰り返す第５ステップ、出現頻度が最大の参照パターンをメロディーであると推定する第６ステップを有している。
前記第４ステップは、各相違度の逆数を時系列的に配列して出現頻度関数を算出するステップ、前記出現頻度関数における極大値を加算して前記出現頻度を計算するステップを備えている。
【０００５】
本発明の第２の態様は、楽曲のメロディーを推定するメロディー推定装置であり、楽曲信号におけるフレーズの持続時間を算出するフレーズ持続時間算出部、楽曲信号に含まれるベース音の音高の時間的変化を示す音高推移特性を取得する音高推移取得部、前記音高推移特性より前記持続時間幅の１つの参照パターンを切り出すと共に、時間的に連続する複数の被参照パターンを切り出す参照パターン/被参照パターン生成部、参照パターンと各被参照パターンの相違度を計算し、得られた複数の相違度に基づいて参照パターンが楽曲信号に出現する頻度を計算する頻度算出部、前記参照パターンの切り出し位置を変えて計算された出現頻度のうち、出現頻度が最大の参照パターンをメロディーであると推定するメロディー推定部を有している。
前記頻度算出部は、参照パターンと各被参照パターンの相違度を計算する相違度計算部、各相違度の逆数を時系列的に配列して出現頻度関数を算出する出現頻度関数算出部、前記出現頻度関数における極大値を加算して前記出現頻度を計算する出現頻度算出部を備えている。
【発明の効果】
【０００６】
本発明によれば、楽曲信号におけるフレーズの持続時間を算出し、楽曲信号に含まれるベース音の時間的変化を示す音高推移特性を取得し、前記音高推移特性より前記持続時間幅の１つの参照パターンを切り出すと共に、時間的に連続する複数の被参照パターンを切り出し、参照パターンと各被参照パターンの相違度を計算し、得られた複数の相違度に基づいて参照パターンが楽曲信号に出現する頻度を計算し、前記参照パターンの切り出し位置を変えて該参照パターンが楽曲信号に出現する頻度を計算する処理を繰り返し、出現頻度が最大の参照パターンをメロディーであると推定するように構成したから、演奏速度の変化により生じるメロディーの伸縮や複数楽器の同時発音による影響を軽減し、高精度なメロディーの推定をすることができる。
【発明を実施するための最良の形態】
【０００７】
(A)本発明の概要
本発明は、楽曲の構成要素であるフレーズを推定することでメロディーを推定する。フレーズとは、楽曲の構成における階層的な分割単位のひとつであり、楽曲中で主要なメロディーとなる。このため、フレーズ検出により楽曲中のメロディーが推定可能と考えられる。本発明は、フレーズの基礎となるベース音の音高推移に対し、下記の文献１におけるDTW(Dynamic Time Warping)技術を適用することにより、楽曲の時間軸方向の伸縮を許容したフレーズの検出を実現する。さらに、音楽信号における自己相関を用いてフレーズの持続時間を導入することで、楽曲中で主要なメロディーのみを推定可能とする。
文献１：A. Pikrakis and D.Kamarotos, "Recognition of isolated musical patterns using context dependent dynamic time wrapping," IEEE Trans. Speech and Audio Proceeding, vol. 11, no. 3, pp. 175-183, 2003
本発明の実施例を説明する前に、本発明で使用するDTW(Dynamic Time Warping)技術と音高推移特性の取得方法を説明する。
【０００８】
（B）DTW技術
最初に、一般的なDTW について説明し、しかる後、本発明の類似度算出に用いるDTWの構成について説明する。
DTWとは、二つの一次元信号に伸縮を施し、信号間の相違度を算出する手法である。このため、時間軸方向に伸縮の生じる信号の比較に有効である。特に音楽信号では、演奏速度の変化が頻繁に発生することから、相違度より求められる類似度の算出にDTWを用いることは有効である。以降、相違度算出において、参照する信号を参照パターン、参照パターンとの相違度を求める信号を被参照パターンと呼ぶ。
まず、DTW によるパターン間の相違度の算出について説明する。長さI の一次元の参照パターンに含まれる各要素を順にa1，a2，…，aI とし、長さJ の被参照パターンに含まれる各要素を順にb1，b2，…，bJ と表現する。さらに、各パターンの位置集合を｛a1，a2，…，aI｝，[ b1，b2，…，bJ ] で表現すると、パターンの各要素間の対応を決定する伸縮写像ｗ：[1,2,…,I]→｛1,2,…,J｝は以下の性質を満たす。すなわち、
「wはパターンの始点、終点を一致させるもので、
【数１】
2008257019.tif 000003
である。また、wは単調写像であり、次式
【数２】
2008257019.tif 000004
が成立する。
【０００９】
このような写像w を用いたとき、パターン間の相違度の算出は図１における格子点(b1                                                                                         ,a1) から格子点(bJ，aI ) までの最短経路の探索問題に置換することができる。そこで、DTW では、
「初期状態の最初の決定が何であろうとも、以後の決定は最初の遷移から生じた状態に関して適切でなければならない」
という最適性の原理に基づいて上記の経路探索問題を解く。すなわち、全体の経路長を部分の経路長の和で求める。部分の経路長は、経路上の格子点(aj，bi) におけるコストd (j，i)、及び2 つの格子点(aj，bi)，(bj-1，ai-1)間の移動コストcj,i(j-1，i-1)に加え、cj,i(j，i-1)，cj,i(j-1，i)の３つを用いて算出する。部分の経路長の算出法を図２に示す。ここで、格子点上のコストd (j，i)は参照パターンと被参照パターンの間で対応する要素が異なる場合のペナルティであり、たとえば、要素が同じであれば０、異なればαである。また、移動コストcj,i(j-1，i-1) は参照パターンと被参照パターンの間で伸縮が生じた場合、格子点(bj-1，ai-1) から格子点(bj，ai) に移動するペナルティであり、たとえばi=jであれば０、パターンのずれによりi≠jであればβである。
上記のコストに基づいて部分の経路長を算出し、経路全体のコストが最小となる部分経路を選択する。最後に、選択された部分経路毎のコストの和を算出することで、全体の経路長が得られる。以上より、パターンの部分毎の相違度からパターン全体の相違度を得ることが可能となる。
【００１０】
本発明では、DTW を音楽信号に適用することから、音楽信号の類似度算出における特徴を考慮し、さらに詳細な相違度の算出法を提案する。本発明は、音楽の特徴として、同一楽曲の演奏速度が異なる場合にも、楽譜上の音符が欠落することがない点に着眼する。この特徴を、格子点間の移動による相違度算出に適用すると、参照パターンに含まれる全ての要素が被参照パターンに含まれ、要素間の対応が決定されることを意味する。従って、伸縮写像w は次式に示す傾斜制限を加えることが可能となる。
【数３】
2008257019.tif 000005
本発明上記の条件に従ってDTW による相違度の算出を行う。これより相違度は、(4)式を用いて経路長を漸化的に求めることで算出可能となる。
【数４】
2008257019.tif 000006
例えば、(４)式より、図３に示す格子点(1,1)の相違度D(１,１)は
D(１,１)=d(1,1)
であり、格子点（1,2)の相違度D(1,2）は
D(1,2）=d(1,2)+c1,2(1,1,)+D(1,1)
であり、格子点（2,1)の相違度D(2,1）は
D(2,1）=d(2,1)+c2,1(1,1,)+D(1,1)
である。同様にして第1行目の格子点の相違度及び第1列目の格子点の相違度が求まる。そして、以後、順次(4)式により他の格子点の相違度が求まってゆき、最終的に格子点（5,6）の相違度D（5,6）が求まる。この相違度D（5,6）が図3の2つのパターンa:｛a1，a2，…，a6｝，b:[ b1，b2，…，b5 ]の相違度となる。
【００１１】
（C）音高推移特性の取得
音楽信号中に存在する楽器の音の基本周波数推定手法には、パワースペクトルにおける複数のピーク(極大値)を検出し、そのピークが一定時間連続して同一の周波数帯に存在する場合、その周波数を音高(基本周波数)であると判定する手法がある。しかしながら、かかる手法では、音符の持続時間を考慮しないため、音符が推移するとき、推移前後の音符により生成される音高の影響により推定精度が劣化する危険がある。又、上記手法は楽器が演奏される周波数帯を考慮せずに音高推定するため、楽曲が複数の楽器で構成される場合、パワースペクトルのピークが多数出現し、特定の楽器による主旋律の音高を得ることが困難になる。かかる問題は、楽曲のテンポに注目し、音符の持続時間を考慮することで、また、ベース音の音高(基本周波数)のみを推定することで解決できる。図４はかかる音高推定装置の構成図であり、下記文献２において提案されているものである。
文献２：今野聡司、他“音楽信号の低周波数域における楽曲の構造に着眼した時間周波数解析に関する検討"、映像情報メディア学会技術報告、vol.29, no.46, pp.13-16, 2005
【００１２】
バンドパスフィルタ１はベース音が存在する周波数帯域に基づいて処理対象の楽曲信号に含まれる40〜250Hzの信号成分を通過する。パワースペクトル算出部２はバンドパスフィルタ出力信号から、窓長W1のハミング窓を用いて信号を切り出し、ARスペクトルP(ｔ，f)を算出する。ここでtは原信号における時刻、fは周波数である。一方、ビートヒストグラム生成部３は、下記の文献３で提案されている手法によりビートヒストグラムを生成し、テンポ推定部４は該ビートヒストグラムよりテンポを推定する。すなわち、テンポ推定部４はビートヒストグラムの40bpm〜200bpmの範囲内で局所的に最大となる値を検出し、それらをテンポの候補とする。さらに、得られた候補のうち、ビート数が最大であるものをテンポとする。このようにして求められたテンポは、１分間に含まれるビートの最大の数を示すため、このテンポの逆数を算出することにより、音符の最低の持続時間σを得ることが可能となる。
パワースペクトルと持続時間σが求まれば、評価関数計算部５は次式
【数５】
2008257019.tif 000007
の評価関数を計算する。ただし、R(ti,fj)は時刻ti,周波数fjにおける評価関数である。σは音符の持続時間、Ntiは正規化されたパワースペクトル、wtiはNtiに対する時間軸方向の重み、wfjはNtiに対する周波数軸方向の重みである。音高推定部６は、時刻tiにおいてRの値が最大となる周波数fjを求め、これを時刻tiにおけるベース音の音高(基本周波数)の推定値とする。
この音高推定装置により、例えば図7(A)に示すように楽曲の各時刻における音高(基本周波数)、すなわち、音高推移特性が得られる。
文献３：G.Tzanetakis and P.Cook, "Musical Genre Classification of Audio Signals" IEEE Trans. Speech and Audio Proceeding,  vol.10, no.5, pp.293-302, 2002.
【００１３】
(D)本発明のメロディー検出方法
図５は本発明の楽曲中のフレーズに基づくメロディーの推定手法の処理フローである。
一般にフレーズは、数小節程度の短時間から構成される楽曲の一部であり、楽曲中で主要なメロディーとなることが知られている。このため、フレーズは一定の持続時間τを持ち、楽曲中に複数回出現する特徴を持つ。一方、メロディーは、楽曲の内容や構成に基づくため、主に楽曲構成の基礎となるベース音の推移により決定される特徴を持つ。
そこで、本発明は、上記のフレーズ及びメロディーの特徴に着眼することで、楽曲中のメロディーを推定する。すなわち、楽曲中に複数回出現し、かつ一定時間持続するベース音の推移のみをメロディーとして推定する。
【００１４】
具体的には、まず楽曲信号の自己相関関数に基づき、フレーズの持続時間τを推定する(ステップ１０１)。同時に楽曲信号に含まれるベース音の音高の時間的変化を示す音高推移特性を取得する(ステップ１０２)。次に、得られたフレーズの持続時間τでベース音の音高推移特性を切り出す。すなわち、音高推移特性よりフレーズ持続時間τの１つの参照パターンを切り出すと共に、時間的に連続して複数の被参照パターンを切り出す(ステップ１０３)。
各パターン切り出し後、参照パターンと各被参照パターンの相違度をDTW を用いて計算し、得られた複数の相違度に基づいて音高推移（楽曲信号中）における参照パターンの反復構造を抽出する(ステップ１０４)。ついで、反復の生じる参照パターンの出現頻度を算出し、出現頻度の時間軸方向に対する関数（出現頻度関数）として表現する(ステップ１０５)。すなわち、各相違度の逆数を求め、該逆数を時系列的に配列して出現頻度関数を作成し、該出現頻度関数における極大値を加算して出現頻度を計算する。
以後、参照パターンの切り出し位置を変えて該参照パターンが楽曲信号に出現する頻度を計算する処理を繰り返し、出現頻度が最大の参照パターンをメロディーであると推定する(ステップ１０６)。
以上により、本発明は、フレーズの持続時間に基づき、楽曲の時間軸方向における伸縮を許容したメロディーの推定を可能とする。また、楽曲構成の基礎となるベース音を用いることで、その他の楽器の影響を受けずにメロディーの推定を行うことが可能となる。
【００１５】
以下において、各処理の詳細を説明する。なお、信号に対してDTW を適用するため、対象信号となるベースの音高推移を十分小さい時間で分割する。これより、各時間で得られた音高を順にx0，x1， ….，xT と表す。
1） フレーズの持続時間の推定
楽曲よりフレーズの持続時間τ を推定する。この持続時間は、音楽信号より算出される自己相関関数において極大値かつ最大値を与える時間とする。すなわち、自己相関演算の時間幅を変え、自己相関が最大となる時間幅を求める。この時間幅は、楽曲中に最も多く存在するメロディーの持続時間を示すと考えられる。このため、楽曲中の主要な繰り返しが生じる時間のみをフレーズの持続時間として反映可能となる。
【００１６】
2 ） 参照・被参照パターンの抽出
DTW を用いた相違度算出のため、楽曲のxs(s = 0，1，…，T−τ)以降から、単一の参照パターン、及び複数の被参照パターンを抽出する。参照パターンはxs，xs+1，…，xs+τとし、
2008257019.tif 000008
で表す。また，被参照パターンはxt，xt+1，…，xT(ｔ＝ｓ,…..,T−τ)であるとし、同様に
2008257019.tif 000009
で表す。このように参照、及び被参照パターンを抽出すると、参照パターン
2008257019.tif 000010
が、各被参照パターンの開始時刻t に出現する場合に相違度が小さくなる(類似度が大きくなる)。従って、楽曲の各時刻において、参照パターン
2008257019.tif 000011
の存在の指標を与えることが可能となる。
【００１７】
3 ） DTW による相違度算出
(4)式 に示すDTW を用いて2）で抽出した各被参照パターンに対する参照パターンの相違度を算出し、それぞれ
2008257019.tif 000012
と表す。なお、(4)式 におけるパターン不一致に対するコストd(j,i)は、参照、被参照パターンの対応する要素が異なる場合はα、同じ場合は0 とする。また、パターンのずれに対するコストcj,i は対応する要素がずれた場合はβ、ずれがない場合0 とする。DTW は、同一パターン間の音高の誤差や時間軸方向のずれを許容した相違度算出を可能とするため、高精度な参照パターンの検出を可能とする。
【００１８】
4） 参照パターンの出現頻度関数の算出
3）で得られた相違度
2008257019.tif 000013
をD′(t) と書き改め、tの関数とみなす。さらに、D′(t) を用いて、参照パターン
2008257019.tif 000014
の出現頻度の関数を次式で算出する。
【数６】
2008257019.tif 000015
D(t) は、信号の各時刻で参照パターン
2008257019.tif 000016
と同一、または類似するパターンが出現した場合に高い値を示す。また、参照パターンと各時刻の信号の類似度に従って高い値を示す。従って、D(t) の推移を観察することで、参照パターンが楽曲中に出現する頻度を推定することが可能となる。
【００１９】
5） 参照パターンの出現頻度の推定
4）で得られた出現頻度関数D(t) において極大値を与える時刻を全て抽出し、各極大値の和を参照パターン
2008257019.tif 000017
の出現頻度とする。これにより、参照パターンが楽曲中に多く出現する場合、または類似するパターンが出現する場合に参照パターンがフレーズとして推定される。
以上の手順を全てのs に適用し、出現頻度の高い参照パターンをメロディーと推定する。
本発明では、自己相関関数を用いて予めフレーズの持続時間を推定し、 DTW を用いたパターンの検出を行う。これにより、同一パターンの出現頻度だけでなく、類似するパターンの出現頻度も考慮したメロディーの検出が可能となる。
【００２０】
(E)本発明のメロディー検出装置
図６は本発明のメロディー検出装置であり、フレーズ持続時間算出部１１は楽曲信号におけるフレーズの持続時間τを算出し、音高推移取得部１２は楽曲信号に含まれるベース音の音高の時間的変化を示す音高推移特性を取得する。参照パターン／被参照パターン生成部１３は前記音高推移特性より持続時間幅τの１つの参照パターンxs，xs+1，…，xs+τを切り出すと共に、時間的に連続して多数の被参照パターンxt，xt+1，…，xT(ｔ＝ｓ,…..,T−τ)を切り出す。相違度計算部１４は参照パターンと各被参照パターンの相違度を計算し、参照パターン出現頻度関数作成部１５は、得られた多数の相違度の逆数を演算し、該逆数を時系列的に配列して出現頻度関数D(t)((６)式)を作成する。参照パターン出現頻度算出部１６は出現頻度関数における極大値を加算して出現頻度を計算し、計算完了後、参照パターン／被参照パターン生成部１３にパターン変更を指示する。これにより、参照パターン／被参照パターン生成部１３は参照パターン、被参照パターンの切り出し位置を変え、相違度計算部１４、参照パターン出現頻度関数作成部１５、参照パターン出現頻度算出部１６は新たなパターンに対して出現頻度を計算する。以後、同様にパターンを変えて上記処理を繰り返し、すべての参照パターンについて処理が完了すれば、メロディー推定部１７は、計算された出現頻度のうち、出現頻度が最大となる参照パターンを求め、該参照パターンをメロディーであると推定する。
【００２１】
（F） 実験
本発明の有効性を確認するため実験を行った。実験にはベース音が図７(A) の音高推移特性を示す60 秒のモノラル音楽信号を用いた。ただし、図中の斜線は実際にフレーズが存在する時間を示す。また、実験ではDTW におけるパラメータはα＝３、β＝１とした。
実験結果を図７(B)に示す。図７(B)は、各時刻からフレーズの持続時間τだけ持続するパターンの出現頻度(appearance)を示している。従って、値の高い位置からフレーズの持続時間だけ切り出した信号が楽曲に存在するメロディーと推定される。なお、τ= 11.8（sec）と推定された。
図７(B)より、フレーズの開始時刻0.0 秒，12.0 秒，23.3 秒，36.8秒において、パターンの出現頻度が極大となることが確認できる。また、図７(A) と比較することで、これらがフレーズの開始時刻であることが確認できる。これより、本発明は楽曲からフレーズの検出を可能とすることがわかる。しかしながら、47.2秒のフレーズの開始時刻は検出されていない。この未検出は、参照パターンの出現頻度が、パターンを切り出す時刻以降の出現頻度により算出されるためである。図７(B)に示す出現頻度が時間の経過に従って値が小さくなるのも同様の理由である。従って、楽曲中の全てのフレーズを推定するためには、他の時刻で推定されたフレーズと楽曲全体を用いて、さらに各時刻の類似度を算出する必要がある。
【００２２】
以上、楽曲中のフレーズを検出することでメロディーを推定することができた。また、実験により本発明の有効性を確認した。本発明では、ベース音の音高推移に対して、DTWを適用することでフレーズの検出を行う。さらに、フレーズの持続時間を用いることで、楽曲中で主要なメロディーのみが推定可能となる。今後は、ベース音だけでなく、さらに和音構造等を用いたメロディーの推定手法について検討する予定である。
【図面の簡単な説明】
【００２３】
【図１】DTW(Dynamic Time Warping)の第１の説明図である。
【図２】DTWの第２の説明図である。
【図３】本発明のDTWの説明図である。
【図４】音高推定装置の構成図である。
【図５】本発明の楽曲中のフレーズに基づくメロディーの推定手法の処理フローである。
【図６】本発明のメロディー検出装置である。
【図７】実験で使用した音高推移特性および出現頻度である。
【符号の説明】
【００２４】
１１  フレーズ持続時間算出部
１２  音高推移取得部
１３  参照パターン／被参照パターン生成部
１４  相違度計算部
１５  参照パターン出現頻度関数作成部
１６  参照パターン出現頻度算出部
１７  メロディー推定部
【図１】
2008257019.tif 000018
【図２】
2008257019.tif 000019
【図３】
2008257019.tif 000020
【図４】
2008257019.tif 000021
【図５】
2008257019.tif 000022
【図６】
2008257019.tif 000023
【図７】
2008257019.tif 000024