(57)【要約】【課題】処理負荷を増大させることなく、的確に歌声を抽出することができるようにする。【解決手段】メロディーを持つパートを含む楽曲の信号である音楽信号を周波数スペクトルに変換する周波数スペクトル変換部と、前記周波数スペクトルの中の急峻なピークを除去するフィルタと、前記フィルタから出力される信号から、前記パートの基本周波数成分が強調された周波数特徴量を生成する周波数特徴量生成部と、前記周波数特徴量に基づいて、前記パートの基本周波数を時刻毎に特定するメロディー特徴量系列を取得するメロディー特徴量系列取得部とを備える。【選択図】図１
2014219607.tif 000002
【特許請求の範囲】
【請求項１】
メロディーを持つパートを含む楽曲の信号である音楽信号を周波数スペクトルに変換する周波数スペクトル変換部と、
前記周波数スペクトルの中の急峻なピークを除去するフィルタと、
前記フィルタから出力される信号から、前記パートの基本周波数成分が強調された周波数特徴量を生成する周波数特徴量生成部と、
前記周波数特徴量に基づいて、前記パートの基本周波数を時刻毎に特定するメロディー特徴量系列を取得するメロディー特徴量系列取得部と
を備える音楽信号処理装置。
【請求項２】
前記パートは歌声であり、
前記周波数特徴量生成部は、
前記歌声の基本周波数成分が強調された周波数特徴量を生成する
請求項１に記載の音楽信号処理装置。
【請求項３】
前記周波数特徴量生成部は、
前記フィルタから出力される信号を正規化することで前記パートの基本周波数成分が強調された周波数特徴量を生成する
請求項１に記載の音楽信号処理装置。
【請求項４】
前記周波数特徴量生成部は、
前記フィルタから出力される信号を正規化し、さらに倍音成分を加算することで前記パートの基本周波数成分が強調された周波数特徴量を生成する
請求項３に記載の音楽信号処理装置。
【請求項５】
前記メロディー特徴量系列取得部は、
時系列に並べられた前記パートの基本周波数成分が強調された周波数特徴量を、時間的に隣接する周波数特徴量間の差分絶対値に基づいてグループ化することにより特徴量系列候補を生成し、動的計画法に基づいて前記特徴量系列候補を選択することで、前記メロディー特徴量系列を取得する
請求項１に記載の音楽信号処理装置。
【請求項６】
前記パートの基本周波数成分が強調された周波数特徴量の自己相関関数を平均化することにより、前記パートのピッチトレンドを推定するピッチトレンド推定部をさらに備え、
前記メロディー特徴量系列取得部は、
前記動的計画法を用いるとともに、前記ピッチトレンドに基づいて前記特徴量系列候補を選択することで、前記メロディー特徴量系列を取得する
請求項１に記載の音楽信号処理装置。
【請求項７】
周波数スペクトル変換部が、楽曲の信号である音楽信号を周波数スペクトルに変換し、
フィルタが、前記周波数スペクトルの中の急峻なピークを除去し、
周波数特徴量生成部が、前記フィルタから出力される信号から、前記パートの基本周波数成分が強調された周波数特徴量を生成し、
メロディー特徴量系列取得部が、前記周波数特徴量に基づいて、前記パートの基本周波数を時刻毎に特定するメロディー特徴量系列を取得するステップ
を含む音楽信号処理方法。
【請求項８】
コンピュータを、
楽曲の信号である音楽信号を周波数スペクトルに変換する周波数スペクトル変換部と、
前記周波数スペクトルの中の急峻なピークを除去するフィルタと、
前記フィルタから出力される信号から、前記パートの基本周波数成分が強調された周波数特徴量を生成する周波数特徴量生成部と、
前記周波数特徴量に基づいて、前記パートの基本周波数を時刻毎に特定するメロディー特徴量系列を取得するメロディー特徴量系列取得部とを備える音楽信号処理装置として機能させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、音楽信号処理装置および方法、並びに、プログラムに関し、特に、処理負荷を増大させることなく、的確に歌声を抽出することができる音楽信号処理装置および方法、並びに、プログラムに関する。
【背景技術】
【０００２】
近年、多数の楽曲の中から歌声に係るメロディーを検索するニーズが高まっている。例えば、自分の歌声やハミングなどに基づいて楽曲を検索する鼻歌検索、カバーバージョンの楽曲のオリジナルバージョンを検索するカバーソング検索などが行われている。
【０００３】
楽曲の音声信号から歌声に係るメロディーの特徴量（例えば、歌声の基本周波数）を推定する方法として、周波数スペクトルの最大のピークから推定する方法が提案されている（例えば、非特許文献１参照）。
【０００４】
また、歌声のピッチの揺らぎを利用して歌声を抽出する方式も提案されている（例えば、非特許文献２参照）。
【０００５】
非特許文献２の技術では、周波数方向および時間方向のエネルギーがそれぞれ解析されて歌声の基本周波数などの特徴量が抽出される。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】M. Goto, “A Real-time Music-scene-description System: Predominant-F0 Estimation for Detecting Melody and Bass Line in Real-world Audio Signals,” Speech Communication (ISCA Journal), Vol. 43, No. 4, pp. 311-329, Sept., 2004
【非特許文献２】H. Tachibana, T. Ono, N. Ono, S. Sagayama, “Melody Line Estimation in Homophonic Music Audio Signals Based on Temporal-Variability of Melodic Source,” in Proc. of ICASSP 2010, pp. 425-428, Mar., 2010
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の技術では、例えば、楽器に係るメロディーの音量が大きい場合、周波数スペクトルの最大のピークが楽器の基本周波数に対応するものとなってしまい、的確に歌声を抽出することができなかった。
【０００８】
また、非特許文献２の技術では、時間的に長い音声信号の解析が必要となるため、処理負荷が大きいため、例えば、携帯音楽プレーヤーなどに実装することは難しかった。
【０００９】
本技術はこのような状況に鑑みて開示するものであり、処理負荷を増大させることなく、的確に歌声を抽出することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面は、メロディーを持つパートを含む楽曲の信号である音楽信号を周波数スペクトルに変換する周波数スペクトル変換部と、前記周波数スペクトルの中の急峻なピークを除去するフィルタと、前記フィルタから出力される信号から、前記パートの基本周波数成分が強調された周波数特徴量を生成する周波数特徴量生成部と、前記周波数特徴量に基づいて、前記パートの基本周波数を時刻毎に特定するメロディー特徴量系列を取得するメロディー特徴量系列取得部とを備える音楽信号処理装置である。
【００１１】
前期パートは歌声であり、前記周波数特徴量生成部は、前記歌声の基本周波数成分が強調された周波数特徴量を生成するようにすることができる。
【００１２】
前記周波数特徴量生成部は、前記フィルタから出力される信号を正規化することで前記パートの基本周波数成分が強調された周波数特徴量を生成するようにすることができる。
【００１３】
前記周波数特徴量生成部は、前記フィルタから出力される信号を正規化し、さらに倍音成分を加算することで前記パートの基本周波数成分が強調された周波数特徴量を生成するようにすることができる。
【００１４】
前記メロディー特徴量系列取得部は、時系列に並べられた前記周波数特徴量を、時間的に隣接する周波数特徴量間の差分絶対値に基づいてグループ化することにより特徴量系列候補を生成し、動的計画法に基づいて前記特徴量系列候補を選択することで、前記メロディー特徴量系列を取得するようにすることができる。
【００１５】
前記パートが強調された周波数特徴量の自己相関関数を平均化することにより、前記パートのピッチトレンドを推定するピッチトレンド推定部をさらに備え、前記メロディー特徴量系列取得部は、前記動的計画法を用いるとともに、前記ピッチトレンドに基づいて前記特徴量系列候補を選択することで、前記メロディー特徴量系列を取得するようにすることができる。
【００１６】
本技術の一側面は、周波数スペクトル変換部が、楽曲の信号である音楽信号を周波数スペクトルに変換し、フィルタが、前記周波数スペクトルの中の急峻なピークを除去し、周波数特徴量生成部が、前記フィルタから出力される信号から、前記パートの基本周波数成分が強調された周波数特徴量を生成し、メロディー特徴量系列取得部が、前記周波数特徴量に基づいて、前記パートの基本周波数を時刻毎に特定するメロディー特徴量系列を取得するステップを含む音楽信号処理方法である。
【００１７】
本技術の一側面は、コンピュータを、楽曲の信号である音楽信号を周波数スペクトルに変換する周波数スペクトル変換部と、前記周波数スペクトルの中の急峻なピークを除去するフィルタと、前記フィルタから出力される信号から、前記パートの基本周波数成分が強調された周波数特徴量を生成する周波数特徴量生成部と、前記周波数特徴量に基づいて、前記パートの基本周波数を時刻毎に特定するメロディー特徴量系列を取得するメロディー特徴量系列取得部とを備える音楽信号処理装置として機能させるプログラムである。
【００１８】
本技術の一側面においては、楽曲の信号である音楽信号が周波数スペクトルに変換され、前記周波数スペクトルの中の急峻なピークが除去され、前記フィルタから出力される信号から、前記パートの基本周波数成分が強調された周波数特徴量が生成され、前記周波数特徴量に基づいて、前記パートの基本周波数を時刻毎に特定するメロディー特徴量系列が取得される。
【発明の効果】
【００１９】
本技術によれば、処理負荷を増大させることなく、的確に歌声を抽出することができる。
【図面の簡単な説明】
【００２０】
【図１】本技術に係るメロディー検索装置の構成例を示すブロック図である。
【図２】ローパスフィルタの特性を説明する図である。
【図３】図１の周波数特徴量抽出部の処理について詳細に説明する図である。
【図４】２次元空間上において、時系列にプロットされた周波数特徴量の例を示す図である。
【図５】メロディー特徴量系列の特定の方式を説明する図である。
【図６】メロディー特徴量系列特定処理の例を説明するフローチャートである。
【図７】周波数特徴量抽出処理の詳細な例を説明するフローチャートである。
【図８】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２２】
図１は、本技術に係るメロディー検索装置の構成例を示すブロック図である。同図に示されるメロディー検索装置１００は、楽曲の中の歌声に係るメロディーを特定するために必要となる情報（例えば、後述するメロディー特徴量系列）を得るものとされる。ここで、楽曲は少なくとも１つのパートを有する構成の楽曲とされる。例えば、ボーカル（歌声）のパート、弦楽器のパート、打楽器のパートなどのパートが楽曲に含まれているものとする。
【００２３】
図１に示されるメロディー検索装置１００は、短時間フーリエ変換部１０１、周波数特徴量抽出部１０２、メロディー候補抽出部１０３、ピッチトレンド推定部１０４、および、メロディー特徴量系列選択部１０５を有する構成とされている。
【００２４】
短時間フーリエ変換部１０１は、楽曲の音声信号（音楽信号と称することにする）の一部をフーリエ変換する。このとき、例えば、楽曲の音声がサンプリングされて音楽信号が生成され、数百ミリ秒の期間（例えば、２００ミリ秒乃至３００ミリ秒）の音楽信号から成るフレームが短時間フーリエ変換されて周波数スペクトルが生成される。
【００２５】
周波数特徴量抽出部１０２は、短時間フーリエ変換部１０１から出力された周波数スペクトルから、後述するように周波数特徴量を抽出する。
【００２６】
周波数特徴量抽出部１０２は、短時間フーリエ変換部１０１から出力された周波数スペクトルの中の急峻なピークを除去するフィルタ処理を実行する。例えば、周波数スペクトルを、ローパスフィルタを通過させることにより、周波数スペクトルの中の緩やかなピークが強調される。
【００２７】
この際、例えば、図２に示されるような特性を有するローパスフィルタが用いられる。図２は、横軸が周波数ωとされ、縦軸が音楽信号に乗じられるゲインの値を表すものとされる。同図に示されるように、このローパスフィルタの特性は、所定の周波数より高い周波数ではゲインが小さくなり、所定の周波数より低い周波数ではゲインが高くされている。
【００２８】
例えば、周波数スペクトルの周波数軸方向において、図２に示されるような特性を有するＦＩＲフィルタなどのローパスフィルタを用いた畳み込み込み演算が行われる。すなわち、ローパスフィルタの出力値ｌ（ｘ，ｙ）は、式（１）で表される。
【００２９】
【数１】
2014219607.tif 000003
・・・（１）
【００３０】
なお、式（１）におけるａｋはフィルタ係数を表し、Ｋはフィルタタップ数を表す。また、Ｙ（ｘ，ｙ）は、短時間フーリエ変換部１０１から出力された周波数スペクトルスペクトル値を表しており、ｘは時刻インデックスとされ、ｙは周波数インデックスとされる。
【００３１】
式（１）の処理の結果得られる出力値ｌ（ｘ，ｙ）は、急峻なピークが除去された周波数スペクトルとなり、例えば、楽器音に対応するピークが抑圧され、歌声に対応するピークが強調されたたものとなる。
【００３２】
また、周波数特徴量抽出部１０２は、ローパスフィルタの出力値を、式（２）により正規化し、歌声の成分を強調した周波数特徴量ｐ（ｘ，ｙ）を得る。この周波数特徴量は、いわば、当該周波数が歌声に対応するピークであることの確からしさを表すものとなる。
【００３３】
【数２】
2014219607.tif 000004
・・・（２）
【００３４】
ただし、式（２）におけるμ（ｘ）は、ｌｏｇ│Ｙ（ｘ，ｙ）│の平均値であり、ＵＹ（ｘ，ｙ）はｌｏｇ｜Ｙ（ｘ，ｙ）｜のピークを直線で繋いだ関数であり式（３）に示される。
【００３５】
【数３】
2014219607.tif 000005
・・・（３）
【００３６】
ただし式（３）におけるｐ＋（ｙ）およびｐ−（ｙ）は周波数インデックスｙの直後のピークのインデックスおよび直前のピークのインデックスである。
【００３７】
さらに、周波数特徴量抽出部１０２は、式（２）による正規化処理の結果得られた周波数特徴量に倍音成分を加算することにより、周波数特徴量をさらに強調する。この際、例えば、式（４）に示される演算が行われることにより、倍音成分が加算され、周波数特徴量がさらに強調される。
【００３８】
【数４】
2014219607.tif 000006
・・・（４）
【００３９】
なお、式（４）におけるαはパラメータであり、ｎは１以上の整数とされ、Ｎは周波数インデックスｙにおける加算倍数とされる。
【００４０】
なお、ステレオ音源の場合、例えば、式（５）に示される演算により、定位情報を用いた強調が行われるようにしてもよい。
【００４１】
【数５】
2014219607.tif 000007
・・・（５）
【００４２】
なお、式（５）におけるＹＬ（ｘ，ｙ）およびＹＲ（ｘ，ｙ）は、それぞれ左チャンネルおよび右チャンネルのスペクトル値を表している。
【００４３】
周波数特徴量抽出部１０２の処理について、図３を参照してさらに説明する。
【００４４】
図３Ａは、横軸が周波数、縦軸がパワーとされ、短時間フーリエ変換部１０１から出力された周波数スペクトルの例が示されている。同図には、実線の矢印と点線の矢印により周波数スペクトルのピークの位置が示されている。
【００４５】
図３Ａにおける点線の矢印で示されるピークは楽器音に対応するピークであり、この例では、６個のピークが示されている。図３Ａにおける実線の矢印で示されるピークは歌声に対応するピークであり、この例では６個のピークが示されている。なお、歌後の基本周波数は１つであるから、他の５個のピークは歌声の倍音成分によるものである。
【００４６】
図３Ｂは、横軸が周波数、縦軸がパワーとされ、ローパスフィルタの処理を経た周波数スペクトルが示されている。図３Ｂに示されるように、ローパスフィルタの処理を経たことにより、周波数スペクトルの中の急峻な（尖った）ピークが除去され、緩やかなピークのみが残されている。
【００４７】
例えば、図３Ａにおいて点線の矢印で示されるピークであって、楽器音に対応するピークは、尖ったピークとされている。楽器音は、基本周波数が、時間により変化し難いからである。歌声は、楽器の場合とは異なり、その基本周波数が、時間により変化する。すなわち、歌声は、ピッチが揺らぐ特性を有している。このため、図３Ａにおいて実線の矢印で示されるピークであって、歌声に対応するピークは、緩やかなピークとされている。
【００４８】
従って、例えば、周波数スペクトルにローパスフィルタ処理を施し、図３Ｂに示されるように緩やかなピークのみを残すようにすることで、歌声に対応するピークのみを抽出することが可能となる。
【００４９】
上述したように、本技術では、数百ミリ秒の期間（例えば、２００ミリ秒乃至３００ミリ秒）の音楽信号から成るフレームが短時間フーリエ変換される。例えば、短時間フーリエ変換に用いられるフレームの音楽信号の期間がもっと短い場合、歌声に係る周波数スペクトルも急峻なピークとなってしまう。本技術では、基本周波数が時間の経過とともに変化する歌声のピッチの揺らぎに対応した緩やかなピークの周波数スペクトルが得られることになる。
【００５０】
図３Ｃは、横軸が周波数、縦軸がパワーとされ、正規化により得られた周波数特徴量であって、歌声の成分を強調した周波数特徴量が示されている。同図に示されるように、図３Ｂにおいて歌声に対応するピークとして抽出されたピークがより強調されている。
【００５１】
図３Ｄは、横軸が周波数、縦軸がパワーとされ、倍音成分が加算され、基本周波数成分がさらに強調された周波数特徴量が示されている。
【００５２】
図１に戻って、メロディー候補抽出部１０３は、周波数特徴量抽出部１０２の処理を経て得られた図３Ｄに示される歌声が強調された周波数特徴量を時系列に並べる。例えば、図３Ｄにおける紙面の奥行方向を時間軸とした場合、図３Ｄに示されるような歌声が強調された周波数特徴量が、紙面の奥行方向に並べられる。例えば、時刻ｔ１における歌声が強調された周波数特徴量、時刻ｔ２における歌声が強調された周波数特徴量、時刻ｔ３における歌声が強調された周波数特徴量、・・・が紙面の奥行方向に並べられる。
【００５３】
そして、各時刻における強調された周波数特徴量であって、図３Ｄに示されるピークに対応する周波数を、周波数特徴量としてプロットする。例えば、横軸が時間、縦軸が周波数とされた２次元空間上に、周波数特徴量が時系列にプロットされる。
【００５４】
メロディー候補抽出部１０３は、さらに、プロットされた周波数特徴量をグループ化し、特徴量系列候補を生成する。
【００５５】
図４は、横軸が時間、縦軸が周波数とされた２次元空間上において、時系列にプロットされた周波数特徴量の例を示す図である。同図においては、図中の円で、プロットされた周波数特徴量が示されている。
【００５６】
例えば、図中最も左側の（最も早い）時刻において、周波数特徴量ｑｂ１および周波数特徴量ｑｃ１がプロットされている。その次の時刻には、周波数特徴量ｑａ１および周波数特徴量ｑｂ２がプロットされている。その次の時刻には、周波数特徴量ｑｂ３がプロットされ、さらにその次の時刻には、周波数特徴量ｑａ２および周波数特徴量ｑｂ４がプロットされ、・・・のように各周波数特徴量がプロットされている。
【００５７】
そして、メロディー候補抽出部１０３は、時間的に隣接する周波数特徴量（いまの場合、周波数の値）の差分絶対値を演算し、得られた差分絶対値が予め設定された閾値（例えば、半音）未満の周波数特徴量をグループ化する。
【００５８】
例えば、周波数特徴量ｑｂ１と時間的に隣接する周波数特徴量ｑｂ２との差分絶対値は閾値未満であるため、周波数特徴量ｑｂ１と周波数特徴量ｑｂ２はグループ化される。一方、周波数特徴量ｑｂ１と時間的に隣接する周波数特徴量ｑａ１との差分絶対値は閾値以上であるため、周波数特徴量ｑｂ１と周波数特徴量ｑａ１はグループ化されない。
【００５９】
このように周波数特徴量がグループ化された結果、時間的に連続する５個の周波数特徴量であって、図中の黒い円で示される周波数特徴量ｑｂ１乃至周波数特徴量ｑｂ５から成る特徴量系列候補１５１が生成される。同様にして、図中の黒い円で示される周波数特徴量ｑｅ１および周波数特徴量ｑｅ２から成る特徴量系列候補１５２、並びに、図中のハッチングされた円で示される周波数特徴量ｑｆ１および周波数特徴量ｑｆ２から成る特徴量系列候補１５３が生成される。
【００６０】
図１に戻って、ピッチトレンド推定部１０４は、歌声のピッチトレンドを推定する。ピッチトレンドは、時間の経過に伴う周波数特徴量の変化の傾向を示すものとされる。ピッチトレンドは、例えば、上述の場合より、周波数解像度および時間解像度が粗い周波数特徴量であって、歌声が強調された周波数特徴量に基づいて推定され、例えば、周波数特徴量の自己相関関数を平均化することにより推定される。
【００６１】
式（６）に、周波数特徴量の自己相関関数を平均化することにより、ピッチトレンドＴ（ｘ）を求める例を示す。
【００６２】
【数６】
2014219607.tif 000008
・・・（６）
【００６３】
なお、式（６）において、ＩおよびＪは、それぞれ時間軸方向の平均化を行う大きさ、および、周波数軸方向の平均化を行う大きさとされる。
【００６４】
メロディー特徴量系列選択部１０５は、メロディー候補抽出部１０３により抽出された特徴量系列候補を、ピッチトレンド推定部１０４により推定されたピッチトレンドに基づいて選択することにより、メロディー特徴量系列を特定する。例えば、特徴量系列候補とピッチトレンドとの周波数の差分絶対値、特徴量系列候補間での周波数の差分絶対値、および、各特徴量系列候補の周波数特徴量を用いて、動的計画法により式（７）のＤＭを最大化させる特徴量候補を選択する。
【００６５】
【数７】
2014219607.tif 000009
・・・（７）
【００６６】
なお、式（７）において、γ１およびγ２はパラメータであり、Ｃは特徴量系列候補を表すものとする。
【００６７】
これにより、例えば、図５に示されるように、遷移コストが最小となるように、特徴量系列候補が時系列に選択される。
【００６８】
図５は、図４と同様に、横軸が時間、縦軸が周波数とされた２次元空間上において、時系列にプロットされた周波数特徴量の例を示す図である。なお、図５の例では、既にメロディー候補抽出部１０３によって、特徴量系列候補１５１乃至特徴量系列候補１５４が生成されているものとし、既にピッチトレンド推定部１０４により、図中の点線で示されるピッチトレンドが推定されているものとする。
【００６９】
この場合、特徴量系列候補１５１から、特徴量系列候補１５２乃至特徴量系列候補１５４への遷移コストが計算される。すなわち、時間的に最も前の特徴量系列候補１５１から、特徴量系列候補１５１より時間的に後の特徴量系列候補のそれぞれへの遷移コストが計算される。なお、遷移コストは、式（７）の第３項により算出される値である。
【００７０】
特徴量系列候補１５２への遷移コストはＣｔ１とされ、特徴量系列候補１５３への遷移コストはＣｔ３とされ、特徴量系列候補１５４への遷移コストはＣｔ４とされる。
【００７１】
いまの場合、特徴量系列候補１５１からの遷移先として、特徴量系列候補１５２とした場合の遷移コストＣｔ１、特徴量系列候補１５２を経て特徴量系列候補１５４へ遷移する場合の遷移コストＣｔ１およびＣｔ２、特徴量系列候補１５４へ直接遷移する場合の遷移コストＣｔ４、および、特徴量系列候補１５３へ遷移する場合の遷移コストＣｔ３全てを計算し、式（７）のＤＭを最も最大化するものとして、特徴量系列候補１５２および特徴量系列候補１５４が選択される。
【００７２】
これにより、特徴量系列候補１５１、特徴量系列候補１５２、および、特徴量系列候補１５４から成る周波数特徴量群が、メロディー特徴量系列として特定される。メロディー特徴量系列候補が特定されることにより、各時刻における歌声の基本周波数が特定されることになる。
【００７３】
このように求められたメロディー特徴量系列を用いることにより、歌声のメロディーを正確に認識することが可能となる。
【００７４】
なお、上述の例では、メロディー特徴量系列選択部１０５が、特徴量系列候補を、ピッチトレンドに基づいて選択することにより、メロディー特徴量系列を特定するものとして説明したが、例えば、ピッチトレンドを用いずに、所定の値を用いて特徴量系列候補を選択するようにしてもよい。すなわち、ピッチトレンド推定部１０４が設けられないようにしてもよい。
【００７５】
次に、図６のフローチャートを参照して、本技術に係るメロディー検索装置１００によるメロディー特徴量系列特定処理の例について説明する。
【００７６】
ステップＳ２１において、短時間フーリエ変換部１０１は、楽曲の音楽信号の一部をフーリエ変換する。このとき、例えば、楽曲の音声がサンプリングされて音楽信号が生成され、数百ミリ秒の期間（例えば、２００ミリ秒乃至３００ミリ秒）の音楽信号から成るフレームが短時間フーリエ変換されて周波数スペクトルが生成される。
【００７７】
ステップＳ２２において、周波数特徴量抽出部１０２は、図７のフローチャートを参照して後述する周波数特徴量抽出処理を実行する。これにより、短時間フーリエ変換部１０１から出力された周波数スペクトルから、周波数特徴量が抽出される。
【００７８】
ステップＳ２３において、メロディー候補抽出部１０３は、特徴量系列候補を生成する。このとき、例えば、メロディー候補抽出部１０３は、周波数特徴量抽出部１０２の処理を経て得られた図３Ｄに示される強調された周波数特徴量を時系列に並べてプロットする。そして、メロディー候補抽出部１０３は、時間的に隣接する周波数特徴量（いまの場合、周波数の値）の差分絶対値を演算し、得られた差分絶対値が予め設定された閾値（例えば、半音）未満の周波数特徴量をグループ化する。
【００７９】
ステップＳ２４において、ピッチトレンド推定部１０４は、ピッチトレンドを推定する。このとき、例えば、式（６）に示されるように、周波数特徴量の自己相関関数を平均化することにより、ピッチトレンドが推定される。
【００８０】
ステップＳ２５において、メロディー特徴量系列選択部１０５は、ステップＳ２３において生成された特徴量系列候補を、ステップＳ２４において推定されたピッチトレンドに基づいて選択することにより、メロディー特徴量系列を特定する。このとき、例えば、特徴量系列候補とピッチトレンドとの周波数の差分絶対値、特徴量系列候補間での周波数の差分絶対値、および、各特徴量系列候補の周波数特徴量を用いて、動的計画法により式（７）のＤＭを最大化させる特徴量候補が選択される。
【００８１】
このようにして、メロディー特徴量系列が特定される。
【００８２】
次に、図７のフローチャートを参照して、図６のステップＳ２２の周波数特徴量抽出処理の詳細な例について説明する。
【００８３】
ステップＳ４１において、周波数特徴量抽出部１０２は、ステップＳ２１の処理に伴って得られた周波数スペクトルについて、ローパスフィルタを通過させる。このとき、例えば、式（１）を参照して上述した畳み込み込み演算が行われ、周波数スペクトルの中の緩やかなピークが強調される。
【００８４】
ステップＳ４２において、周波数特徴量抽出部１０２は、ステップＳ４１の処理によるローパスフィルタの出力値を、式（２）により正規化し、歌声の成分を強調した周波数特徴量を得る。
【００８５】
ステップＳ４３において、周波数特徴量抽出部１０２は、ステップＳ４２の処理の結果得られた歌声の成分を強調した周波数特徴量に倍音成分を加算する。このとき、例えば、式（４）の演算が行われることにより、倍音成分が加算される。
【００８６】
なお、ステレオ音源の場合、例えば、式（５）に示される演算により、定位情報を用いた強調が行われるようにしてもよい。
【００８７】
ステップＳ４４において、周波数特徴量抽出部１０２は、例えば、図３Ｄに示されるような周波数特徴量を取得する。
【００８８】
このようにして、周波数特徴量抽出処理が実行される。
【００８９】
以上においては、本技術を適用したメロディー検索装置１００が、楽曲の中の歌声に係るメロディーを特定するために必要となる情報を得るものとして説明したが、必ずしも歌声に係るメロディーが特定される必要はない。例えば、歌声と同様にピッチが揺らぐ特性を有する楽器（バイオリンなど）に係るメロディーを特定するために必要となる情報を得るために、本技術を適用したメロディー検索装置１００が用いられるようにしてもよい。
【００９０】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図８に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【００９１】
図８において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００９２】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【００９３】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【００９４】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【００９５】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【００９６】
なお、この記録媒体は、図８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【００９７】
本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９８】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【００９９】
なお、本技術は以下のような構成も取ることができる。
【０１００】
（１）
楽曲の信号である音楽信号を周波数スペクトルに変換する周波数スペクトル変換部と、
前記周波数スペクトルの中の急峻なピークを除去するフィルタと、
前記フィルタから出力される信号から、前記パートの基本周波数成分が強調された周波数特徴量を生成する周波数特徴量生成部と、
前記周波数特徴量に基づいて、前記パートの基本周波数を時刻毎に特定するメロディー特徴量系列を取得するメロディー特徴量系列取得部と
を備える音楽信号処理装置。
（２）
前期パートは歌声であり、
前記周波数特徴量生成部は、
前記歌声の基本周波数成分が強調された周波数特徴量を生成する
（１）に記載の音楽信号処理装置。
（３）
前記周波数特徴量生成部は、
前記フィルタから出力される信号を正規化することで前記パートの基本周波数成分が強調された周波数特徴量を生成する
（１）乃至（２）のいずれかに記載の音楽信号処理装置。
（４）
前記周波数特徴量生成部は、
前記フィルタから出力される信号を正規化し、さらに倍音成分を加算することで前記パートの基本周波数成分が強調された周波数特徴量を生成する
（３）に記載の音楽信号処理装置。
（５）
前記メロディー特徴量系列取得部は、
時系列に並べられた前記パートの基本周波数成分が強調された周波数特徴量を、時間的に隣接する周波数特徴量間の差分絶対値に基づいてグループ化することにより特徴量系列候補を生成し、動的計画法に基づいて前記特徴量系列候補を選択することで、前記メロディー特徴量系列を取得する
（１）乃至（４）のいずれかに記載の音楽信号処理装置。
（６）
前記パートの基本周波数成分が強調された周波数特徴量の自己相関関数を平均化することにより、前記パートのピッチトレンドを推定するピッチトレンド推定部をさらに備え、
前記メロディー特徴量系列取得部は、
前記動的計画法を用いるとともに、前記ピッチトレンドに基づいて前記特徴量系列候補を選択することで、前記メロディー特徴量系列を取得する
（１）乃至（５）のいずれかに記載の音楽信号処理装置。
（７）
周波数スペクトル変換部が、楽曲の信号である音楽信号を周波数スペクトルに変換し、
フィルタが、前記周波数スペクトルの中の急峻なピークを除去し、
周波数特徴量生成部が、前記フィルタから出力される信号から、前記パートの基本周波数成分が強調された周波数特徴量を生成し、
メロディー特徴量系列取得部が、前記周波数特徴量に基づいて、前記パートの基本周波数を時刻毎に特定するメロディー特徴量系列を取得するステップ
を含む音楽信号処理方法。
（８）
コンピュータを、
楽曲の信号である音楽信号を周波数スペクトルに変換する周波数スペクトル変換部と、
前記周波数スペクトルの中の急峻なピークを除去するフィルタと、
前記フィルタから出力される信号から、前記パートの基本周波数成分が強調された周波数特徴量を生成する周波数特徴量生成部と、
前記周波数特徴量に基づいて、前記パートの基本周波数を時刻毎に特定するメロディー特徴量系列を取得するメロディー特徴量系列取得部とを備える音楽信号処理装置として機能させる
プログラム。
【符号の説明】
【０１０１】
１００  メロディー検索装置，  １０１  短時間フーリエ変換部，  １０２  周波数特徴量抽出部，  １０３  メロディー候補抽出部，  １０４  ピッチトレンド推定部，  １０５  メロディー特徴量系列選択部
【図１】
2014219607.tif 000010
【図２】
2014219607.tif 000011
【図３】
2014219607.tif 000012
【図４】
2014219607.tif 000013
【図５】
2014219607.tif 000014
【図６】
2014219607.tif 000015
【図７】
2014219607.tif 000016
【図８】
2014219607.tif 000017