(57)【要約】【目的】楽曲信号の和音を判定する「和音判定方法および装置」を提供することである。【構成】基本周波数計算部は所定時刻における楽曲信号に含まれる和音を構成するベース音の周波数を基本周波数として算出し、パワー計算部は該基本周波数を用いて長和音のパワーと短和音のパワーを計算し、評価関数計算部は長和音のパワーと短和音のパワーを用いて楽曲の和音を評価する評価関数値を計算し、和音判定部は該評価関数値に基づいて楽曲信号が長和音であるか、短和音であるかを判定する。【選択図】図７
2008020671.tif 000002
【特許請求の範囲】
【請求項１】
楽曲信号の和音を判定する和音判定装置において、
所定時刻における楽曲信号に含まれる和音を構成するベース音の周波数を基本周波数として算出する基本周波数計算部、
該基本周波数を用いて長和音のパワーと短和音のパワーを計算するパワー計算部、
前記長和音のパワーと短和音のパワーを用いて楽曲の和音を評価する評価関数値を計算する評価関数計算部、
前記評価関数値に基づいて楽曲信号が長和音であるか、短和音であるかを判定する和音判定部、
を備えたことを特徴とする和音判定装置。
【請求項２】
前記パワー計算部は、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記基本周波数を用いて、長和音のパワーと短和音のパワーを計算する、
ことを特徴とする請求項１記載の和音判定装置。
【請求項３】
前記評価関数値を所定時間積分する演算部を備え、前記和音判定部は該積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定する、
ことを特徴とする請求項１または２記載の和音判定装置。
【請求項４】
楽曲信号の和音を判定する和音判定方法において、
所定時刻における楽曲信号に含まれる和音を構成するベース音の周波数を基本周波数として算出するステップ、
該基本周波数を用いて長和音のパワーと短和音のパワーを計算するステップ、
前記長和音のパワーと短和音のパワーを用いて楽曲の和音を評価する評価関数値を計算するステップ、
前記評価関数値に基づいて楽曲信号が長和音であるか、短和音であるかを判定するステップ、
を備えたことを特徴とする和音判定方法。
【請求項５】
前記パワー計算ステップにおいて長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記基本周波数を用いて、長和音のパワーと短和音のパワーを計算する、
ことを特徴とする請求項４記載の和音判定方法。
【請求項６】
前記評価関数値を所定時間積分するステップを備え、前記和音判定ステップにおいて該積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定する、
ことを特徴とする請求項４または５記載の和音判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は和音判定方法および装置に係わり、特に、楽曲信号の和音が長和音であるか短和音であるかを判定する和音判定装置に関する。
【背景技術】
【０００２】
楽曲のディジタル化に伴い、楽曲名や作曲者名等のキーワードによる検索だけでなく、直接，音楽信号処理を行う検索が容易となり、メロディーによる楽曲検索、類似した楽曲の検索等、様々な検索技術の発展が期待されている。このような検索システムを実現するためには、音楽信号の内容解析を行う必要がある。このため、楽曲の構成を決定する要素である和音を推定する手法が提案されている（非特許文献１−３参照）。
これらの従来技術は、音楽信号を用いて実際の楽譜上に記載された単一の音符（以降、単音）を複数推定し、同一時刻に推定された単音の組合せを検証することで和音(ドミソ、ファラド等)の推定を行う。すなわち、従来技術は、各和音における単音の組合せの規則に基づき、和音種類を詳細に推定するものである。
【非特許文献１】柏野邦夫、木下智義、他  “音楽情景分析の処理モデルOPTIMAにおける和音の認識"、信学論D-II, vol.J79-D-II、no.11、pp.1762-1770、1996
【非特許文献２】山口満、三輪多恵子、他  “並列構成くし形フィルタと特異値分解による多重唱の音高推定” 、信学論D-II, vol.J87-D-II、no.4、pp.1020-1029、2004
【非特許文献３】有村貴志、他  “マルチエージェント技法を用いた楽音信号からのメロディーラインの推定”、信学論A, vol.J85-A、no.12、pp.1469-1472、2002
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術における和音の推定精度は単音の推定精度に大きく依存するため、演奏された単音の基本周波数（以降、音高という）の推定に誤差が生じると、和音の推定精度が著しく劣化する危険性がある。また、一般に高周波数域では、低周波数域に存在する基本周波数の倍音の影響により単音の音高推定が困難であるため、従来手法では単音の誤推定が生じ、精度が劣化する。
以上から、本発明の目的は、楽曲信号の和音が長和音であるか短和音であるかを精度よく判定することである。
【課題を解決するための手段】
【０００４】
本発明の第１の態様は楽曲信号の和音を判定する和音判定装置であり、所定時刻における楽曲信号に含まれる和音を構成するベース音の周波数を基本周波数として算出する基本周波数計部、該基本周波数を用いて長和音のパワーと短和音のパワーを計算するパワー計算部、前記長和音のパワーと短和音のパワーを用いて楽曲の和音を評価する評価関数の値を計算する評価関数計算部、前記評価関数値に基づいて楽曲信号が長和音であるか、短和音であるかを判定する和音判定部を備えている。
前記パワー計算部は、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記基本周波数を用いて、長和音のパワーと短和音のパワーを計算する。
本発明の和音判定装置は更に前記評価関数値を所定時間積分する演算部を備え、前記和音判定部は該積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定する。
【０００５】
本発明の第２の態様は楽曲信号の和音を判定する和音判定方法であり、所定時刻における楽曲信号に含まれる和音を構成するベース音の周波数を基本周波数として算出するステップ、該基本周波数を用いて長和音のパワーと短和音のパワーを計算するステップ、
前記長和音のパワーと短和音のパワーを用いて楽曲の和音を評価する評価関数値を計算するステップ、前記評価関数値に基づいて楽曲信号が長和音であるか、短和音であるかを判定するステップを備えている。
前記パワー計算ステップにおいて、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記基本周波数を用いて、長和音のパワーと短和音のパワーを計算する。
本発明の和音判定方法は更に前記評価関数値を所定時間積分するステップを備え、前記和音判定ステップにおいて該積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定する。
【発明の効果】
【０００６】
本発明によれば、和音を構成するベース音の周波数を用いて長和音のパワーと短和音のパワーを計算し、これらパワーを用いて和音判定するため、長和音、短和音のいずれが存在するかを精度良く判定することができ、これにより和音判定精度の向上に寄与する。
本発明によれば、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音である特徴を用いて長和音のパワーと短和音のパワーを計算し、これらパワーの差に基づいて和音判定を行なうため長和音、短和音のいずれが存在するかを精度良く判定することができ、これにより和音判定精度の向上に寄与する。
本発明によれば、評価関数値を所定時間積分し、積分結果に基づいて楽曲信号が長和音であるか、短和音であるかを判定するため、長和音、短和音のいずれが存在するかを精度良く判定することができ、これにより和音判定精度の向上に寄与する。
【発明を実施するための最良の形態】
【０００７】
（A）本発明の概略
本発明は、和音の構成規則により和音を長和音、または単和音に分類可能であることに着眼し、和音の詳細な種類(Cコード：ドミソ、Fコード：ファラド、Amコード：ラドミ、Dmコード：レファラ等)を推定するのでなく、和音が長和音、短和音のいずれであるかを推定して出力する。これは、和音の長短が楽曲の特徴を決定する重要な要素であるためである。
本発明では、まず低周波数域において和音を構成するベース音に注目し、該ベース音の音高(基本周波数)の推定を行う。さらに、該推定したベース音の音高を用いて、長和音のパワーと短和音のパワーを計算する。具体的には、長和音の場合、ベース音に対して第2番目の構成音が４音階上の音であり、短和音の場合、ベース音に対して第2番目の構成音が３音階上の音であるという特徴に基づいて前記音高を用いて、長和音のパワーと短和音のパワーを計算して楽曲信号中の長和音及び短和音を推定する。
前半の処理から、本発明は楽曲信号中に存在する倍音の影響を抑制し、高精度な音高推定結果のみを用いて和音の長短を推定することが可能となる。また後半の処理から、和音を構成する全ての単音の推定を行うことなく、和音の推定が可能となる。この結果、和音判定精度の向上が可能になる。
【０００８】
（B）和音
和音とは、高さの異なる2つ以上の単音が同時に鳴ることによって生ずる合成された音響を意味する。したがって、和音は単音のみでは得られない楽曲の特徴を与え、楽曲中では細かなメロディーや主観的な印象を決定する重要な要素となる。このため、和音の推定は楽曲の意味解析を行う上で非常に重要である。しかしながら、一般に楽曲信号からの高精度に和音推定を行なうことは困難である。これは、和音の種類（以降、コードタイプ）が多数存在することに起因する。また、楽器音は基本周波数の倍音を多く含むため、音高が高くなるに従って和音を構成する各単音の推定が困難となるためである。
そこで、本発明ではコードタイプを推定せず、楽曲の特徴を決定するのに重要な要素である和音の長短（長和音、短和音）を識別するのである。かかる長和音、及び短和音の推定を可能とするため、和音の構成について説明する。
音楽における和音を構成する単音の間に複数の規則が存在することが知られている。基本となる規則は、和音を構成する基本音となる単音（以降、根音という）と、該根音に対する他の単音の周波数の相違（以降、音程という）によってコードタイプが決まることである。コードタイプは単音の組合せに基づき多数存在するが、長和音（メジャーコード）、または短和音（マイナーコード）に分類可能である。そこで、和音を構成する単音に基づいて長和音と単和音とを比較する。
【０００９】
図１は根音をＣとした場合の基本的な和音(コード)及び和音を構成する単音を示す説明図である。ただし、横線は他の和音と同一となるため省略した和音である。図２は音名説明図であり、１は日本語の音名(ハニホヘトイロハ)、２は英語標記の音名（CDEFGAB）、３は音符、４はハ長調での階名である。この図２を参照すれば、図１はハ長調のト゛を根音とした和音(コード)及び和音を構成する単音である。
図１より和音の長短は周波数の低い順から第２番目の構成音(根音の次の単音)によって区別可能であることがわかる。すなわち、長和音では根音である「ド」の次の単音が「ミ」となり、短和音では根音である「ド」の次の単音が「ミのフラット」となる。この特徴を図３の音階上で具体的に示すと、和音の第２番目の構成音が根音rootに対して４つ上の音であれば該和音は長和音となり、３つ上の音であれば短和音となる。すなわち、長和音であれば、第２番目の構成音は根音rootに対して半音を１単位として４音階上の音になる。また、短和音であれば、第２番目の構成音は根音rootに対して３音階上の音になる。
以上の特徴は一般的に用いられる和音において成立する規則であリ、この規則を用いることにより長和音と短和音の識別が可能になる。
【００１０】
(Ｃ)和音判定処理
本発明は、和音を構成する単音間の前述の規則性を用いることで、根音以外の単音の音高推定を行うことなく、楽曲中の長和音及び短和音を推定する。楽曲中では主にベース音が根音として用いられることから、本発明でも、ベース音を根音として与える。さらに根音の示す周波数に対して長和音及び短和音となる周波数のパワーを評価関数として与える。この評価関数に基づき、楽曲中の長和音及び短和音を推定する。評価関数は、ベース音の推定に基づくため倍音等の影響を受けることなく、高精度な和音の推定を行うことが可能となる。
図４は本発明の和音判定処理フローである。
まず、根音の音高を算出する(ステップ１０１)。すなわち、処理対象の楽曲信号に対し、下記の文献１に記述されている音高推定手法を適用してベース音の音高を推定する。なお、時刻ｔにおいて推定されたベース音の音高を根音の音高
2008020671.tif 000003
とする。この音高推定手法については後述する。
文献１：今野聡司、他“音楽信号の低周波数域における楽曲の構造に着眼した時間周波数解析に関する検討"、映像情報メディア学会技術報告、vol.29, no.46, pp.13-16, 2005
【００１１】
ついで、根音の音高を用いて長和音のパワーと短和音のパワーを計算する(ステップ１０２)。すなわち、ステップ１０１で得られた根音の音高に対し、長和音の音程にある周波数が示すパワーの和を
2008020671.tif 000004
とし、短和音の音程にある周波数が示すパワーの和を
2008020671.tif 000005
とすれば、これらは以下の式（1）,及び式（2）により算出される。
【数１】
2008020671.tif 000006
【数２】
2008020671.tif 000007
ただし、pt(f)は時刻ｔ、周波数ｆにおける信号のパワー、N，Mはサンプリング周波数ｆsとして、それぞれ
2008020671.tif 000008
を超えない任意の整数とする。
図５に楽曲信号のパワースペクトルの例を示す。ただし、図中の太線部分は根音の示す周波数、点線部分は長和音の周波数、破線部分は短和音の周波数を表す。（1），（2）式より、本発明では、図５における長和音、短和音の各周波数における信号パワーを合計して長和音のパワーと短和音のパワーを計算する。すなわち、（1），（2）式は、根音に対し21/3，21/4倍の周波数におけるパワーとこれらの2k倍の周波数におけるパワーとを合計して長和音、短和音のパワーを計算して出力する。
【００１２】
長和音のパワーと短和音のパワーが求まれば、長短の評価関数を計算する(ステップ１０３)。評価関数c(t)はステップ１０２で得られる長和音と短和音の各パワー
2008020671.tif 000009
と、各周波数におけるパワーの和を用いて次式で定義される。
【数３】
2008020671.tif 000010
したがって、(3)式を用いて評価関数c(t)を計算する。
【００１３】
ついで、前記評価関数を所定時間積分した値を新たな評価関数として計算する(ステップ１０４)。すなわち、ステップ１０３における評価関数c(t)を時間δ毎に分割し、該時間δ内のパワーの和を新たな評価関数c′(t)とする。この新評価関数c′(t)は次式
【数４】
2008020671.tif 000011
で与えられる。ただし、式中のδは単音が最低限持続する単位時間を示す。この単位時間は楽曲のテンポを用いて決定する。楽曲のテンポは、ステップ１０１で参照した文献に記述されているように自己相関関数に基づいて算出できる。
最後に、(4)式の新評価関数c′(t)に基づき各時刻における和音の長短を判定する(ステップ１０５)。ここでは、時刻ｔにおいてc′(t)≧0である場合は長和音と判断し、c′(t)＜0である場合は短和音と判断する。
以上の処理を施すことで、長和音と短和音を判定することができる。
【００１４】
本発明はステップ１０２に示すように長和音と短和音のパワーを計算するため以下の２点で有効である。まず、和音の各構成音はオクターブ単位で変更可能で、音名が同一であれば和音は変化しないが、(１)、(２)式はかかる和音の性質を考慮している。また、(１)、(２)式は倍音構造を考慮しているため、楽器によって発音された音のパワーを参照して長和音と短和音を判定することができる。以上により、本発明は推定が困難な根音以外の単音の音高を推定することなく、長和音と短和音の推定ができる。
本発明はステップ１０３において、評価関数として全周波数帯のパワーに対する長和音、短和音のパワーの割合を与えているため、パワーを時刻間で比較することが可能となる。
本発明は、ステップ１０４において単音の演奏が持続する時間内に和音は変化しない仮定の下、この時間内のパワーの和を評価関数として再定義している。これにより、ステップ１０１における根音の誤推定による影響を軽減し、短時間に発生する和音の誤推定の発生を抑制することが可能となる。
【００１５】
（D）音高推定
音楽信号中に存在する楽器の音の基本周波数推定手法には、パワースペクトルにおける複数のピーク(極大値)を検出し、そのピークが一定時間連続して同一の周波数帯に存在する場合、その周波数を音高であると判定する手法がある。しかしながら、かかる手法では、音符の持続時間を考慮しないため、音符が推移するとき、推移前後の音符により生成される音高の影響により推定精度が劣化する危険がある。又、上記手法は楽器が演奏される周波数帯を考慮せずに音高推定するため、楽曲が複数の楽器で構成される場合、パワースペクトルのピークが多数出現し、特定の楽器による主旋律の音高を得ることが困難になる。
かかる問題は、楽曲のテンポに注目し、音符の持続時間を考慮することで、また、ベース音の音高のみを推定することで解決できる。
図６は前述の文献１における音高推定装置の構成図である。
バンドパスフィルタ１はベース音が存在する周波数帯域に基づいて処理対象の楽曲信号に含まれる40〜250Hzの信号成分を通過する。パワースペクトル算出部２はバンドパスフィルタ出力信号から、窓長W1のハミング窓を用いて信号を切り出し、ARスペクトルPt(f)を算出する。ここでtは原信号における時刻、fは周波数である。一方、ビートヒストグラム生成部３は、下記の文献２で提案されている手法によりビートヒストグラムを生成し、テンポ推定部４は該ビートヒストグラムよりテンポを推定する。すなわち、テンポ推定部４はビートヒストグラムの40bpm〜200bpmの範囲内で局所的に最大となる値を検出し、それらをテンポの候補とする。さらに、得られた候補のうち、ビート数が最大であるものをテンポとする。このようにして求められたテンポは、１分間に含まれるビートの最大の数を示すため、このテンポの逆数を算出することにより、音符の最低の持続時間σを得ることが可能となる。
文献２：G.Tzanetakis and P.Cook, "Musical Genre Classification of Audio Signals" IEEE Trans. Speech and Audio Proceeding, vol.10, no.5, pp.293-302, 2002.
パワースペクトルと持続時間σが求まれば、評価関数計算部５は次式
【数５】
2008020671.tif 000012
の評価関数を計算する。ただし、R(ti,fj)は時刻ti,周波数fjにおける評価関数である。σは音符の持続時間、Ntiは正規化されたパワースペクトル、wtiはNtiに対する時間軸方向の重み、wfjはNtiに対する周波数軸方向の重みである。
音高推定部６は、時刻tiにおいてRの値が最大となる周波数fjを求め、これを時刻tiにおけるベース音の音高の推定値とする。
【００１６】
（E）和音判定装置
図７は本発明の和音判定装置の構成図である。基本周波数計部１１は図示しないオーディオソースより楽曲信号を入力され、所定時刻毎に該楽曲信号に含まれる和音を構成するベース音(根音)の低周波数域における周波数
2008020671.tif 000013
を、基本周波数として算出する。
長和音パワー計算部１２は(1)式に基づいて該基本周波数を用いて長和音のパワー
2008020671.tif 000014
を計算し、短和音パワー計算部１３は(2)式に基づいて該基本周波数を用いて短和音のパワー
2008020671.tif 000015
を計算する。長短評価関数算出部１４は長和音のパワーと短和音のパワーを用いて(3)式により楽曲の和音を評価する評価関数ｃ(t)の値を計算し、評価関数再計算部計算部１５は長短評価関数算出部１４により計算された評価関数値を(4)式により所定時間δの期間積分し、積分結果ｃ′(t)を和音判定部１６に入力する。和音判定部１６は積分結果ｃ′(t)が正であれば長和音であると判定し、負であれば短和音であるとして判定結果を出力する。
【００１７】
（F）実験結果
本発明の有効性を確認するための実験を行なった。実験にはCDから直接入手した44.1ｋHz、20秒のモノラル音楽信号を用いた、また、単音の持続時間δはステップ１０１で引用した文献の手法を用いて0.3秒と設定した。なお、処理対象信号は楽譜上でD→A→Bｍ→F♯ｍ→G→D→G→Aの和音進行を繰り返す。
実験結果を図８〜図１０に示す。ただし、図８(a)、(b)は根音の推定結果と推定誤差を示す。また図９(a)、(b)はそれぞれ根音に対して長和音及び短和音の音程にある周波数が示すパワーの和
2008020671.tif 000016
を示す。さらに、図１０(a)、(b)は評価関数c′(t)と得られた長和音、短和音の推定結果を示す。なお、結果を明瞭とするため、楽譜上で短和音と表記されている時間を図１０(b)において斜線で示す。
図１０(b)より、本発明による長和音及び短和音の推移は楽譜上の和音の推移に従い、高精度に推定されていることが確認できる。一方、図９(a)、(b)より、全時刻において
【数６】
2008020671.tif 000017
が確認できる。これは、長和音、短和音いずれが演奏される場合においても、どちらのパワー成分も含まれることを意味する。したがって、長和音、短和音のパワーを個別に算出し、差分によって導出される評価関数は有効であると考えられる。しかしながら図９(a)、(b)よりわかるように、楽譜上では長和音と表記されている1.2〜2.5，8.8，10.3，13.2，13.6，14.2秒において、本発明は短和音と推定している。これらの前後の時刻における長和音及び短和音のパワーの推移は、図９(a)、(b)より
2008020671.tif 000018
と比較して値が減少していることが確認できる。そこで、上記の時刻について実際に楽譜を考察した結果、楽譜上に記載された和音とは厳密に合致しないメロディーが演奏されていることを確認した。このことから、以上の誤推定は本発明方法により生じたのではなく、作曲者の意図等に基づく楽曲の構成により生じたと考えられる。和音は単音の持続時間と比較して長時間持続する点及び同一楽曲中に存在する各和音の持続時間は類似するという点を考慮することで楽譜と同一の結果を得ることは可能であると考えられる。
【図面の簡単な説明】
【００１８】
【図１】根音をＣとした場合の基本的な和音(コード)及び和音を構成する単音を示す説明図である。
【図２】音名説明図である。
【図３】和音の長短は周波数の低い順から第２番目の構成音(根音の次の単音)によって区別可能であることを説明する音階上の説明図である。
【図４】本発明の和音判定処理フローである。
【図５】楽曲信号のパワースペクトルの例である。
【図６】音高推定装置の構成図である。
【図７】本発明の和音判定装置の構成図である。
【図８】実験結果を説明する第１の説明図であり、根音の推定結果と推定誤差を示すものである。
【図９】実験結果を説明する第２の説明図であり、根音に対して長和音及び短和音の音程にある周波数が示すパワーの和を示すものである。
【図１０】実験結果を説明する第３の説明図であり、評価関数c′(t)と得られた長和音、短和音の推定結果を示すものである。
【符号の説明】
【００１９】
１１  基本周波数計部
１２  長和音パワー計算部
１３  短和音パワー計算部
１４  長短評価関数算出部
１５  評価関数再計算部計算部
１６  和音判定部
【図１】
2008020671.tif 000019
【図２】
2008020671.tif 000020
【図３】
2008020671.tif 000021
【図４】
2008020671.tif 000022
【図５】
2008020671.tif 000023
【図６】
2008020671.tif 000024
【図７】
2008020671.tif 000025
【図８】
2008020671.tif 000026
【図９】
2008020671.tif 000027
【図１０】
2008020671.tif 000028