(57)【要約】【課題】曲の流れに内在する和声の変化が出力される特徴量に変化を与えていることに着目して、音高特徴量の時間変化の情報を用いて、音楽音響信号の調推定を行う。【解決手段】楽曲の音楽音響信号を短時間周波数解析して音高特徴量を検出するステップと、検出された音高特徴量の時系列情報を、複数の和声状態でモデル化された調毎の複数の隠れマルコフモデル（ＨＭＭ）を用いて探索し、最も尤度の高いＨＭＭの調を楽曲の調と推定するステップと、を有する。【選択図】図３
2007041234.tif 000002
【特許請求の範囲】
【請求項１】
楽曲の音楽音響信号を短時間解析して音高特徴量を検出するステップと、
検出された音高特徴量の時系列情報を、複数の和声状態でモデル化された調毎の複数の隠れマルコフモデル（ＨＭＭ）を用いて探索し、最も尤度の高いＨＭＭの調を楽曲の調と推定するステップと、
を有する音楽音響信号の調推定方法。
【請求項２】
前記音高特徴量は、１２次元クロマベクトルである、請求項１に記載の調推定方法。
【請求項３】
音高特徴量を検出するステップは、
音楽音響信号の対数周波数スペクトルに対して、共通調波構造の逆畳み込みを行って、音高情報の高調波成分を抑圧するするステップと、
高調波成分が抑圧された音高情報を１２次元クロマベクトルに変換するステップと、
を有する、請求項２に記載の調推定方法。
【請求項４】
楽曲の音楽音響信号を短時間解析して音高特徴量を検出する手段と、
検出された音高特徴量の時系列情報を、複数の和声状態でモデル化された調毎の複数の隠れマルコフモデル（ＨＭＭ）を用いて探索する手段と、
最も尤度の高いＨＭＭの調を楽曲の調と推定する手段と、
を有する音楽音響信号の調推定装置。
【請求項５】
前記音高特徴量は、１２次元クロマベクトルである、請求項３に記載の調推定装置。
【請求項６】
音高特徴量を検出する手段は、
音楽音響信号の対数周波数スペクトルに対して、共通調波構造の逆畳み込みを行って、音高情報の高調波成分を抑圧するする手段と、
高調波成分が抑圧された音高情報を１２次元クロマベクトルに変換する手段と、
を有する、請求項５に記載の調推定装置。
【請求項７】
楽曲の音響音楽信号の調を推定するためにコンピュータを、
楽曲の音楽音響信号を短時間解析して音高特徴量を検出する手段と、
検出された音高特徴量の時系列情報を、複数の和声状態でモデル化された調毎の複数の隠れマルコフモデル（ＨＭＭ）を用いて探索する手段と、
最も尤度の高いＨＭＭの調を楽曲の調と推定する手段と、
して機能させるための調推定コンピュータプログラム。
【請求項８】
楽曲の音響音楽信号の調を推定するためにコンピュータを、
楽曲の音楽音響信号を短時間解析して音高特徴量を検出する手段と、
検出された音高特徴量の時系列情報を、複数の和声状態でモデル化された調毎の複数の隠れマルコフモデル（ＨＭＭ）を用いて探索する手段と、
最も尤度の高いＨＭＭの調を楽曲の調と推定する手段と、
して機能させるための調推定コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲の音楽音響信号の調推定に関するものである。
【背景技術】
【０００２】
音楽信号から調(tonality)を推定する技術は、音楽情報検索、自動採譜、自動編曲、自動伴奏などの多くの場面で重要な役割を果たす。自動採譜においては、調号推定、転調の検出、情報検索においては、調の正規化後の類似度計算、調性をキーとする音楽検索、自動編曲や伴奏においては、旋律の調性推定とその調に基づく編曲や和声づけ、和声機能の解析などの応用が考えられる。
【０００３】
調は、西洋音楽の音階に基づいて決められるものであるので、音響信号からの調推定は音響信号から得られる音高情報をもとに行うのが自然だと考えられる。実際、人間が聞いている音楽の調を明確に認知するには、演奏されている音楽の旋律や和声などの音高情報を認識し、その音高情報をもとに音楽的知識を用いて調を推測すると考えられる。現在提案されている音響信号からの手法では、まず音響信号からchromagramなどの特徴量を抽出し、それをprob tone profile method
(Ｋ-S's method)を用いて調を決定するPauws（非特許文献１）やGomez（非特許文献２）らの研究がある。また、音高信号から調を推定する方法として、特徴量として和声的意味から音高情報をモデル化したspiral arrayを用いる手法が提案されている（非特許文献３）。
【非特許文献１】Pauws,S., “Musical Ｋey Extraction from Audio,” 5thInternational Conference on Music Information Retrieval(ISMIR), pp.96-99(2004).
【非特許文献２】Gomez,E., Herrera, P., “Estimating The Tonality Of Polyphonic Audio Files: CognitiveVersus Machine Learning Modeling Strategies,” 5th InternationalConference on Music Information Retrieval(ISMIR), pp.92-95(2004).
【非特許文献３】Chew,E., “The Spiral Array: An Algorithm for Determining ＫeyBoundaries,” In Proceedings of the 2nd International Conference on Music andArtificial Intelligence(ICMAI), Vol.2445, pp.18-31(2002).
【非特許文献４】M. A. Bartsch and G. H. WaＫefield, “To Catch A Chorus: Using Chroma-Based Representations for AudioThumbnailing'' Proc. WASPAA'01, pp.15-18(2001).
【非特許文献５】G.H.WaＫefield, “Mathematical representation of jointtime-chroma distributions,” in SPIE, Denver, Colorado, 1999
【非特許文献６】R.Shepard, “Circularity in judgements of relative pitch,” Journal of the AcousticSociety of America, vol. 36, pp. 2346-2355, 1964.
【非特許文献７】川上隆, “ＨＭＭ を用いた旋律への自動和声付けの研究,” 修士論文, 北陸先端科学技術大学院大学
【特許文献１】特開2004-233965号
【特許文献２】特開2005-202354号
【特許文献３】国際公開番号WO2005/066927
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、従来の調認識とは異なるアプローチに立脚するものであり、曲の流れに内在する和声の変化が出力される特徴量に変化を与えていることに着目して、音高特徴量の時間変化の情報を用いて、音楽音響信号の調推定を行うことを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る音楽音響信号の調推定方法は、楽曲の音楽音響信号を短時間解析して音高特徴量を検出するステップと、検出された音高特徴量の時系列情報を、複数の和声状態でモデル化された調毎の複数の隠れマルコフモデル（ＨＭＭ）を用いて探索し、最も尤度の高いＨＭＭの調を楽曲の調と推定するステップと、を有する。また、本発明に係る音楽音響信号の調推定装置は、楽曲の音楽音響信号を短時間解析して音高特徴量を検出する手段と、検出された音高特徴量の時系列情報を、複数の和声状態でモデル化された調毎の複数の隠れマルコフモデル（ＨＭＭ）を用いて探索する手段と、最も尤度の高いＨＭＭの調を楽曲の調と推定する手段と、を有する。
【０００６】
非特許文献７には、ＨＭＭを用いた旋律への自動和声付けと調性推定が開示されている。非特許文献７では、シンボリックな信号を入力として、特徴量として旋律を用いるのに対して、本発明では、楽曲の音楽音響信号を入力とし、特徴量として短時間解析による音高情報（特に、後述するchroma vector）を用いる点において、両者は、異なる。
【０００７】
一つの好ましい態様では、和声に関する音高情報を表す特徴量として、chroma vector（クロマベクトル）を使用する。本発明に係る調推定装置は、短時間解析手段によって得られた音高情報をクロマベクトルに変換する手段を有しており、音高特徴量の時系列情報として１２次元クロマベクトル時系列情報がＨＭＭに入力される。クロマベクトルは、各成分がＡ，Ａ＃,…Ｇ＃の半音階音名に対応する１２次元のベクトルである。クロマベクトルは、オクターブ違いの同じ音階の特徴量を加算することで得られる。楽曲の旋律や和声は、全体をオクターブ単位で上下に平行移動しても調性は変化しないことから、クロマベクトルは、オクターブ方向の分布の情報を取り除かれており、調推定に必要な音高情報を圧縮した音高情報である。クロマベクトルについては、非特許文献４乃至６、特許文献１の記載を参照することができる。尚、本発明で用いることができる音高特徴量は１２次元クロマベクトルに限定されず、例えば、chroma vectorを用いずにピアノ88鍵の全ての成分を用いてもよい。
【０００８】
一つの好ましい態様では、音楽音響信号から音高情報を得る手法としては、高調波成分を抑圧し音高らしさを推定するspecmurt分析（特許文献２）を用いる。Specmurt分析は、音響信号の対数周波数スペクトルv(x)を求めるステップと、対数周波数スペクトルv(x)に対して、共通調波構造の逆畳み込みを行うステップとを有し、音響信号の基本周波数成分を信号スペクトル中で強調するものである。対象信号から対数周波数スペクトルv(x)を求めるステップは、好ましい態様では、次の二つの方法が挙げられる。一つは、対象信号を短時間フーリエ変換することでパワースペクトルを算出し、パワースペクトルの周波数を対数周波数変換するものである。もう一つは、対象信号を、ウェーブレット変換あるいは定Ｑフィルタバンク分析することで対数周波数スペクトルを得るものである。Spectrumの横軸を対数変換し逆フーリエ変換して得られるものを、最後の4文字を逆転してspecmurtと呼び、specmurtを用いて多重音を解析するこの手法を、本明細書ではspecmurt分析と呼ぶ。
【０００９】
後述する実施形態では、主としてspecmurt分析を用いた音高特徴量抽出に基づいて本発明を説明するが、本発明で用いることのできる音高特徴量抽出手法は、specmurt分析を用いるものに限定されるものではなく、その他の多重音響信号からのピッチ抽出法を用いることができ、これらピッチ抽出法によって抽出されたピッチ情報をクロマベクトルに変換してもよい。例えば、音楽音響信号から音高情報を得る手法として、調波構造の精密なモデル化に基づく基本周波数推定法であるハーモニッククラスタリングを用いた手法（特許文献３）を用いてよい。
【００１０】
さらに、本発明は、楽曲の音響音楽信号の調を推定するためにコンピュータを、楽曲の音楽音響信号を短時間周波数解析して音高特徴量を検出する手段と、検出された音高特徴量の時系列情報を、複数の和声状態でモデル化された調毎の複数の隠れマルコフモデル（ＨＭＭ）を用いて探索する手段と、最も尤度の高いＨＭＭの調を楽曲の調と推定する手段として機能させるための調推定コンピュータプログラムの形で、あるいは、このようなコンピュータプログラムを記録させたコンピュータ読み取り可能な媒体、として提供され得る。
【発明の効果】
【００１１】
本発明を用いることで、楽曲の音楽音響信号から調を推定することができる。
【発明を実施するための最良の形態】
【００１２】
[Ａ]本発明の概要
本実施の形態では、音楽音響信号の調を認識する手法として、Specmurt分析によって得られたchroma vector時系列から確率モデルを用いて調を推定する手法を採用する。調の推定手法は、音楽音響信号からの音高特徴量抽出と、確率モデルによる調推定との２つの処理からなる。音高情報を表す特徴量であるchroma vectorを、多重音音楽信号から基本周波数を強調する手法であるspecmurt分析を施して得られる多重音のピッチ情報から得る。Chroma vectorは和声状態に対して確率的に変動し、和声状態のマルコフモデルでモデル化される。調をＨＭＭ(Hidden Markov model、隠れマルコフモデル)とする確率モデルを用いて、音楽音響信号から得られたchroma vector の時系列に対して事後確率を最大にするHMMの探索を行うことで、最も尤度の大きいＨＭＭの調を、音楽音響信号の調として推定する。
【００１３】
［Ｂ］Specmurt分析を用いたchroma vectorの取得
［Ｂ−１］Specmurt分析による音高情報取得の意義
和声の構成音の音高を取得する為に、音響信号の短時間周波数解析から、演奏されている音の厳密な基本周波数と音源数を求めるのではなく、和声の推定の手がかりとして用いるのに十分であろう複数の音の音高情報らしさを得る為に、specmurt分析を行う。一般に、短時間周波数解析で得られる音響信号のパワースペクトルは、各楽音の倍音に対応する周波数のパワーから本来の和声の構成音と異なる成分が現れるので、和声を構成する音高情報を取得するには、この倍音成分を除去しなければならない。Specmurt分析は、簡潔な計算で効率的に倍音成分を抑圧する手法であり、この目的に適している。
【００１４】
［Ｂ−２］Specmurt分析の概要
Specmurt分析は調波構造を持つ楽音に対し、周波数領域において倍音成分を抑圧し基本周波数を強調する分析法である。調波構造の倍音パワー比は基本周波数に依らず共通(「共通調波構造モデル」と呼ぶ)と仮定すれば、調波構造を持つ音の基本周波数がシフトした場合、線形周波数領域では倍音の位置関係は線形伸縮となる。一方、対数周波数領域で考えれば、倍音の位置関係も一定で調波構造全体がシフトする。従って、パワースペクトルの加法性を仮定すれば、多重音スペクトルは対数周波数領域における基本周波数の分布と調波構造のモデルとの畳み込みで表せる。図１に概念図を示す。このとき、基本周波数分布をu(x)、共通調波構造をh(x)(xは対数周波数)とすると、多重音スペクトルv(x)は
【数１】
2007041234.tif 000003
と表せる。h(x)、v(x)の逆フーリエ変換をそれぞれH(y)、V(y)と定義すると、フーリエ変換の畳み込み定理から、基本周波数分布u(x)のフーリエ逆変換U(y)は、
【数２】
2007041234.tif 000004
と表される(yは対数周波数の逆フーリエ変換領域)。求めたい基本周波数分布u(x)はU(y)をフーリエ変換することによって得られる。このようにして基本周波数分布を求める手法をspecmurt分析という。概要を図２に示す。また、specmurt分析の詳細は、特許文献２に記載されており、当該文献に記載された内容は引用によって適宜本明細書に組み込まれる。今回、specmurt分析を効果的に行うために、以下の2つの処理を行う。まず、短時間周波数分析を行うための窓の影響が対数周波数領域で一定の周波数成分の広がりとなるようにwavelet変換を用いる。また、各短時間フレームで最適な共通調波構造を反復推定により求める。
【００１５】
［Ｂ−３］音楽音響信号からchroma vectorヘの変換
音階名で表される音高情報(例えば「C3」)は、オクターブ(「3」)と半音階名(「C」)を指定することによって一意に定めることができる。このうち、オクターブ違いの同じ音階の成分を全て重ね合わせて1オクターブ内の半音階の12音の成分に縮約したものが、chroma vector（クロマベクトル）である。クロマベクトルは、各成分がＡ，Ａ＃,…Ｇ＃の半音階音名に対応する１２次元のベクトルである。クロマベクトルは、オクターブ違いの同じ音階の特徴量を加算することで得られる。
【００１６】
楽曲の進行は、分散和音のようなものも含めて考えると、和音の移り変わりであるとみなすことができる。和音やその移り変わりは、調の決定において極めて重要な位置を占めている。ある時間において演奏されている音階が既知であれば、それを交換したクロマベクトルにおいても和音の構成音の情報は失われていない。よって、楽曲の時間−周波数平面の分布が得られたとき、それをクロマベクトルの時系列情報に変換することで、和声進行の特徴を持った情報を得ることができる。この時系列情報を用いて、楽曲の調を推定することができる。
【００１７】
［Ｂ−４］Specmurtからchroma vectorヘの変換
本実施形態では、Specmurt分析により得た音高情報の高調波成分が抑圧された音高情報からクロマベクトルを求める。Specmurt分析後の周波数分布を各音階の区間に分け、各区間での強度の最大値をその音階の強度として採用し、その後オクターブ違いの音階の強度を足し合わせることで１２次元まで次元を減らし、各要素の和を正規化してクロマベクトルを作成する。すなわち、chroma vector ｘ＝(ｘ(1)，…,ｘ(12))を、
【数３】
2007041234.tif 000005
とした。ここでｄは半音階名、ｍはオクターブの高さを表し、Ｒ(ｍ, ｄ)は音階がｄ、オクターブがｍであるような音であると見なす対数周波数logωの範囲を表す。
【００１８】
［Ｂ−５］観測されたchroma vectorの確率的変動
前節で求めたクロマベクトルは、厳密には真の音高位置のみに成分を持つことは保証されず、実際のspcmurt分析によって抑圧しきれていない成分や、周波数分布上での小さな成分の影響や、実際の楽曲の旋律や音強の変化により、同一の調の同一の和声であっても、クロマベクトルは大きく変動する。ここで、各短時間周波数解析によって得られるクロマベクトルは、確率な変動を伴って観測されると仮定する。
【００１９】
さらに、正規化されたクロマベクトルは多次元正規分布に従うと仮定する。すなわち、調Ｋで和声ｃであるとき、クロマベクトルがｘとして観測される確率は、次の確率密度分布で与えられるとモデル化する。
【数４】
2007041234.tif 000006
となる。この分布のパラメータである平均μと分散Σは、学習により適切な値を求めることができる。
【００２０】
さらに、各時刻のクロマベクトルが独立にその時刻の調と和声によって定められる確率分布に従うと仮定すると、ある調Ｋでクロマベクトルの時系列Ｘ＝{ｘ1,…,ｘT}が観測される確率は、ｘtに対応する和声がｃtであるとして、
【数５】
2007041234.tif 000007
と表せる。ここで、ｃtは時間tでの和声を表す。
【００２１】
［Ｃ］調と和声のモデル化
［Ｃ−１］和声状態のマルコフモデル
クロマベクトルを特徴付ける楽曲中の和声に注目し、和声の時間変化を和声の時系列とみなし、和声の局所的な特徴を確率モデルで数理的に扱う。楽曲の調は旋律と和声によって定められるが、和声は曲の一部分を扱う場合でも調の特徴をよく反映し、短時間周波数解析においても十分に情報を得ることができるので、和声によって調認識を行うことは十分妥当だと考えられる。
【００２２】
各調を複数の和声状態でモデル化し、音響信号から得られたクロマベクトルはモデルの中のいずれかの和声状態に対応するものと仮定する。ここで用いる和声状態は、I、Vなどのように和声学に基づいて明示的に定められるものではない。一般に和声学の定める和声は多種であり、調認識のために厳密な和声を推定する必要はないと考えられる。さらに、あらゆる音響に対応するべく、和声学において考えられる和声を全て和声状態として定義すると、状態数が多くなり、データスパースネスに陥る可能性もある。今回は、楽曲中での和声の進行を扱うため、和声がI、II、IV、V、VIである5状態を定義し、その間で遷移するマルコフモデルを考える。学習時に初期状態としてI、II、IV、V、VIの5和音を与えて得られる、5状態として最適化された和声状態のモデルを用いる。尚、ここで採用した５状態を有するマルコフモデルは、一つの態様であって、本発明に用いられるマルコフモデルの状態数は５状態に限定されるものではない。
【００２３】
一般に和声の時間変化は、局所的には調性感を損なわないようカデンツを形成しながら変化し、一方大域的には楽曲形式などに依存した曲の構成によっても特徴づけられる。今回、曲全部からではなくその一部から演奏部分の調性を推定することを目的としているため、局所的な性質によってのみモデル化することが好ましい。そこで、和声状態の時間変化の無記憶性と、全ての和声状態間の遷移が許されると仮定し、和声状態をエルゴード的なマルコフモデルでモデル化する。尚、ここで採用したエルゴード的なマルコフモデルは本発明の一つの態様に過ぎないものであり、音楽的な知識を用いて和声状態の遷移に縛りを加えたモデルを用いてもよい。
【００２４】
時間ｔにおける和声をｃｔと表すと、楽曲の時刻１からＴまでの和声進行はc1, c2,…,cTと表せる。ここでｃｔ∈｛I、II、IV、V、VI｝であるとすると、ある調Ｋの楽曲で、時刻と共に和声がＣ＝{c1，c2,…，cT|Ｋ}と進行する確率は、
【数６】
2007041234.tif 000008
と書ける。
【００２５】
［Ｃ−２］調のモデル
調のモデルについて述べる。図３のように、マルコフモデルが、長調と短調とでそれぞれ12個ずつ合計で24個あり、入力であるクロマベクトル時系列は、いずれか一つの調を通過して終端へと到達するようなモデルを考える。楽曲が何調であるかという問題は、入力から何調のマルコフモデルを通って終端に達したかという問題として扱える。Ｐ(Ｋ)は、調Ｋが用いられやすさを表す事前確率であり、調は基本的に音高情報から十分に推定できると考えるので、今回は調出現に対する事前知識を用いないことにする。ただし、楽器の種類に応じて用いられ易い調性などが存在することから、演奏に対する事前情報があればこの確率は有効に用いることが可能である場合も存在する。
【００２６】
［Ｃ−３］調・和声からなるＨＭＭネットワーク
クロマベクトルの時系列Xを楽曲の音響信号から観測するのに対し、和声進行や調は未知である。本発明に係るモデル化では、各調の仮説において、観測信号に対して隠れているMarkov性を持つ和声進行をモデル化しているので、これはＨＭＭと見なすことができる。楽曲の調を前章で述べたモデルによってＨＭＭで推定することを考える。式(７)のＰ(ｘt|ｃt，Ｋ)，Ｐ(ｃt|ｃt-1，Ｋ)は、それぞれ出力確率、遷移確率に相当する。調がＫである楽曲で、和声進行がＣ=ｃ1，ｃ2，．．ｃTのように進行し、クロマベクトルの時系列情報がＸ＝ｘ1，ｘ2，．．．，ｘTである確率は、式(５)，(６)を用いると、
【数７】
2007041234.tif 000009
となる。ただしＰ(ｃ1|ｃ0，Ｋ)＝Ｐ(ｃ1|Ｋ)としている。
【００２７】
［Ｄ］ＨＭＭによる調認識
［Ｄ−１］MAP推定による調認識
観測されたクロマベクトルの時系列Ｘに対して、確率的に最も尤もらしい調Ｋを推定する。これは、
【数８】
2007041234.tif 000010
と表される。ここで、Bayesの定理を用い、また観測からは隠れている和声にも注目すると、この事後確率は次のように書き直される。
【数９】
2007041234.tif 000011
この式のargmaxの中身は式(７)と等しくなり、この式の値を最大化するＫ（ハット）を求めることになる。すなわち、調推定の事後確率最大化問題は、式(７)を最大化する問題に帰着される。
【００２８】
音声認識の場合と同様に、ＨＭＭのネットワーク上で探索問題であり、時間同期Viterbi探索を行うことで最適性を保証しながら効率的な探索が行われ、最大尤度とその状態遷移系列(和声進行)が求められる。さらに、このようなＨＭＭを図３のように、長調、短調各12個用意し、それぞれについて尤度を計算し比較することで、楽曲の調を、最大尤度を出力するＨＭＭの調であるとして推定できる。すなわち、音楽音響信号からクロマベクトル時系列情報を検出し、検出されたクロマベクトル時系列情報をを、２４個の調に対応して用意された２４個のＨＭＭを用いたViterbi探索アルゴリズムを実行する２４のViterbi探索部に入力し、各Viterbi探索部による探索結果のうち最も尤度の高いＨＭＭを選択し、選択されたＨＭＭの調を、音楽音響信号の調と推定する。
【００２９】
［Ｄ−２］ＨＭＭの学習
ＨＭＭの状態遷移確率と出力確率は学習データを用いて学習できる。図４にＨＭＭの学習の模式図を示す。24種のすべての調を平等に扱うためには、調に依存した偏りが全く無い学習用データを得ることが必要になる。そこで、長調と単調のそれぞれについて、これらをまず単一の調に移調し、単一の調について学習する。ここでは長調の曲はハ長調、短調の曲はイ短調に揃えている。図４において、Key normalizationは長調の曲を全てハ長調に、短調の曲を全てイ短調に移調することを意味している。これは音響信号から得られたクロマベクトルの要素を回転することで実現できる。例えばニ長調の学習データがあった場合、そのクロマベクトルの3番目の要素を1番目に、2番目の要素を12番目に、などとすることで、その曲がハ長調であるとしたときの学習データが得られることになる。
【００３０】
学習用データを探索すると、ハ長調もしくはイ短調において初期パラメータに対しもっとも尤度の大きい状態遷移列が求まる。状態遷移確率Ｐ(ｃt|ｃt-1，Ｋ)(Ｋ=ハ長調orイ短調)は、状態ｃt-1からｃtへ遷移した頻度を、状態ｃt-1をとった頻度で割った値によって更新する。一方、出力確率は、状態ｃ∈{I、II、IV、V、VI}をとった時刻のｘtについて平均と分散を計算することで、μｃＫとσ2ｃＫが更新される。
【００３１】
こうして学習されたハ長調とイ短調のパラメータを、クロマベクトルの空間上で回転して戻してやることで、24個のＨＭＭのパラメータが更新される。図４において、key transpositionは求めたパラメータを移調して(クロマベクトル空間で回転することに相当する)ハ長調とイ短調のHMMから残り22個のHMMを生成することを意味する。ここで、長/短調の各12のＨＭＭの状態遷移確率や出力確率は調に依存しないと仮定し、各パラメータは長/短調で値を共有させた。この更新されたパラメータによって、調が未知のデータに対して探索を行い、調の推定を行う。なお、今回の評価実験では共分散行列は対角行列と仮定し、式（４）によって出力確率を計算している。
【００３２】
［Ｅ］評価実験
［Ｅ−１］実験条件
提案手法を実装し、RWC研究用音楽データベース、MIREX2005で提供されているデータを対象に評価実験を行った。MIREXとは音楽情報検索に関連する技術の国際コンテストで、音響信号やMIDI信号からの調推定、ジャンル推定、旋律類似度などの項目が設定されている。また、アルゴリズムの学習に用いるためのTraining Data Setが公開されている。
【００３３】
評価実験全体に共通の実験条件を表１に示す。楽曲は16KHzサンプリングのモノラル音声で、フレームシフトは16ms、周波数帯域30-7609Hzで分析する。specmrut分析の共通調波構造の初期値としては、調波成分を10倍音まで考えた周波数の1.5乗で減衰する調波モデルを仮定する。
【００３４】
学習、認識に用いた音楽音響信号は、MIREX2005の“Audio and Symbolic Ｋey Finding”のトピックで公開されているTraining Data Set 96曲(30秒程度)と、RWC研究用音楽データベースのクラシック音楽から抜粋した曲のうち、転調していないと思われる20秒前後の切出し曲64曲である。学習はopen
dataでは4分割の交差検証法を用いた。また、学習の反復回数は5回である。ＨＭＭは5状態で、各状態のクロマベクトル出力確率の平均ベクトルの初期値はI、II、IV、V、VIであるとし、和声の構成音とそれ以外の音階が5:1となるように配分したうえで正規化したベクトルを用いている。また、クロマベクトル出力確率の共分散行列を対角共分散とし、学習を行うときの初期値をσ2=0.1、0.05、0.02の3種類で行った。
【表１】
2007041234.tif 000012
【００３５】
［Ｅ−２］実験結果
表２はMIREXのTraining Data Set、表３はRWCのデータを用いた認識結果である。
【表２】
2007041234.tif 000013
【表３】
2007041234.tif 000014
表２、表３において、「specmurt」とあるのは、入力された音楽音響信号の対数周波数分布を取得し、対数周波数分布をspecmurt分析で処理して基本周波数成分を強調した対数周波数分布をクロマベクトルへ変換してクロマベクトル時系列情報を取得した場合を示す。「Wavelet」とあるのは、入力された音楽音響信号の対数周波数分布を取得し、対数周波数分布を（specmurt分析による処理を行わずに）クロマベクトルへ変換してクロマベクトル時系列情報を取得した場合を示す。waveletでは、specmurt分析による処理を行っていないので、行わずに倍音成分が残ったままクロマベクトルに変換される。Specmurt、waveletでは共にＨＭＭによる認識が行われ、分散の初期値によって3つの結果を表示している。「Histrogram」とあるのは、これら(specmurtとwavelet)で求まったベクトル時系列を時間方向に足し合わせて平均をとり、一つのクロマベクトルにしたあと、式（４）を計算して尤度とした。ただし式（４）のcは用いていない。HistrogramはＨＭＭの状態の時間的遷移を用いない場合の比較データとして掲載した。
【００３６】
表に示すように、MIREXで85%程度、RWCで90%以上の正解率を得ることができた。完全五度、平行調、同主調以外の誤りは全体の1-2%に過ぎなかった。MIREXの結果では、specmurt分析を実行した上でＨＭＭを用いる提案手法が最も認識率が高いという結果が出ている。RWCでは全体の認識率はより高いものの、手法によってどちらが優れているという有意な差は出ず、むしろspecmurt分析を施さない方が認識率がよい傾向もある。これはRWCの方が複数の楽器を用いた楽曲が多いことから、specmurt分析の精度が低下しているということが原因のひとつとして考えられる。RWCの方が正解率が高いのは、人間が聞いて調が分かりやすいところを切り出したということと、MIREXのトレーニングデータの調に分かりにくいものがあるという両方の原因が考えられる。なお、MIREX2005では、調認識の得点として、完全に一致した場合を1点、完全五度の場合0.5点、平行調の場合0.3点、同主調の場合0.2点という計算法を用いている。この方式に従うと、MIREXのTraining Data Setに対しては提案手法(open data)の最高点は87.6点(96点満点)であった。
【００３７】
本発明の実施形態として、specmurt分析とＨＭＭを用いた調認識手法について述べた。和声を調認識の手がかりにするために短時間周波数解析でspecmurt分析を用いてクロマベクトルとして音高特徴量を抽出し、クロマベクトルの時系列情報を調の背後にある和声状態から確率的に生起するとして、観測された時系列情報と調の関係をＨＭＭでモデル化した。調認識は事後確率最大化問題と定式化され、ＨＭＭの最尤経路探索により調が求められた。
【産業上の利用可能性】
【００３８】
本発明に係る調推定は、音楽情報検索や自動採譜などに利用することができる。例えば、情報検索の観点からは、本発明によって調性情報を大量の音楽データに自動的に付与することで、調性に基づく音楽検索に用いることができる。自動採譜の観点からは、熟練した専門家に採譜した曲の調性が自動化できれば、音楽信号の楽譜への変換作業は飛躍的に向上する。
【図面の簡単な説明】
【００３９】
【図１】基本周波数分布と共通調波構造の畳み込みによる多重音スペクトルの生成モデルを示す図である。
【図２】Specmurt分析の概要を示す図である。
【図３】調推定における調のネットワークモデルを示す。観測されたクロマベクトルの時系列は和声状態を隠れ状態とするＨＭＭネットワーク上の遷移に対応する。
【図４】ＨＭＭの学習の模式図である。
【図１】
2007041234.tif 000015
【図２】
2007041234.tif 000016
【図３】
2007041234.tif 000017
【図４】
2007041234.tif 000018