情報処理学会第 73 回全国大会

5R-4

潜在的調波配分法に基づく隠れセミマルコフモデルを用いたベイズ的スコアアライメント
前澤 陽 †

後藤 真孝 ‡

尾形 哲也 †† 京都大学大学院 情報学研究科 知能情報学専攻

奥乃 博 †‡ 産業技術総合研究所 (AIST)

1. はじめに

2.

近年、計算機を用いて楽譜表現を援用した音楽音響信号の新たな楽しみ方が提唱されている。例えば、過去のヴァイオリン名演奏の指使いを推定する「演奏法の耳コピ」[1] や、自分の嗜好に合致した演奏者の検索 [2] や、特定の楽器を増幅し [3, 4]、市販の CD から、カラオケ音源を作成するといったことが可能となってきている。
これらのアプリケーションでは、音楽音響信号の分析のために楽譜情報を用いる。楽譜というシンボリックな情報と音響信号という波形情報の橋渡しするためには、音響信号の位置と楽譜の位置の時間的対応付け (スコアアライメント、以下アライメント) を求めることが必須である。
アライメントに必要な要件は、音色や音量の変化に対するロバストネスと、音符の時系列の適切なモデル化である。特にクラシック音楽では、繰り返しの省略を検出する機構が必要である。というのは、クラシック音楽の楽譜に記載されている繰り返し指示は、しばし演奏者の解釈により、無視されることがあるためである。
従来、音量と音色のロバストネスを実現するため、アドホックな特徴設計 [5, 6, 7] や楽器音データベースを用いた音色の学習 [8] を行っていた。しかし、前者には、緻密なパラメータチューニングが必要であり、設計者のチューニングや音源の選定に性能が依存する問題がある。
後者には、アライメントの品質が、楽器音データベースの良し悪しに関連する問題がある。また、楽譜の時系列モデル化には、隠れマルコフモデルや、線形動的システム (LDS) がある。前者は、繰り返し構造といった、楽譜上の状態遷移をうまく記述できる。しかし、モデルに暗黙に仮定される音長の独立性は、音楽的に妥当ではなく、これに起因する精度低下が問題となる。後者は、拍の連続性を考慮しているので、このような問題は起こりづらい。しかし、繰り返し構造のような離れた楽譜位置への遷移が扱えないという問題がある。
本稿では、音源の選定が不要であり、かつ音量と音色のロバストネスを実現し、繰り返し構造などを許容し、かつ拍長の連続性を保つアライメント手法を提案する。
手法の概念図を図 1 に示す。楽譜時系列のモデル化には、隠れセミマルコフモデル (HSMM) を、LDS による拍長モデルに条件づける。これにより、連続的なテンポと複雑な楽譜構造に対する許容を同時に実現する。音のモデ
ルには、楽器音の混合音スペクトルをベイズ的に扱う音源モデル LHA[9] を用いる。音色と音量に無情報事前分布を置くことにより、これらに対するロバストネスを実現する。また、音色が無情報であるため、音源の選定が不要である。

本手法は、入力信号の定 Q 変換に対し、入力された楽譜表現とのアライメントを行う。音色と音量のロバストネスを実現するために、これらを固定せず、変化を許容するようなモデル化を行う。また、複雑な楽譜構造に対処するため、楽譜を HSMM として、モデル化する。また、音楽的に妥当な音長のモデルを実現するために、楽譜時系列の事前分布に滑らかな音長を保つようなモデルを設定する。以後、楽譜において、特定の楽器が奏でている特有の音高の対を楽器音高ペアと呼ぶ。すなわち、楽譜の特定の位置は複数の楽器音高ペアの集合であり、楽譜とはこれらを連結したものである。
音量と音色のロバストネスを実現するために、スペクトルを潜在的調波配分法 (LHA) を用いてモデル化する。
LHA の出力は、現在の楽譜位置に依存する。各時間フレームにおけるスペクトルは LHA に従い生成されると仮定する。 ただし、LHA の定式化と違い、調波構造は楽器音高ペア内で共有されているとし、また音量バランスは音符内で一貫していると仮定する。さらに、ある楽器の状態内に置ける周波数ビンは単一の楽器の、単一の(i)倍音から生成されるとする。Zi (f, d) を、状態 d において楽器音高ペア i が周波数 f が占拠している場合 1 で(h)それ以外は 0 の二値行列とし、Zj (f, i) を、周波数 fが、楽器音高ペア i の第 j 倍音から生成される場合 1 の(s)二値行列とする。Zl,d (t) は時刻 t が、状態 d で次の状態に遷移するまでのフレーム数が l のとき 1 の値をとる二値行列とする。i 番目の楽器音高ペアの基本周波数が−1/2μi であり、 窓関数の影響などにより分散 λiで隣接する周波数でパワーが観測されるとする。以上より、観測信号の尤度は次のように表すことができる:

(音価)

テンポ
LDS

楽譜表現
(楽譜構造)HSMM

MAP値=アライメント

観測値（定Q変換）

p(X|Z (i,h,s) , μ, λ) = 
Z (s) (t)X(f,t)Zi(i) (f,d)Zj(h) (f,i)
N log f /j|μi , λi −1 l,d(1)t,i,j,f,d,l

調波構造と音量バランスは多項分布に従うと仮定する。
p(Z (i) |E, Z (s) ) =(s)(i)
Z(t)X(f,t)Zi (f,d)
ei (d) l,d(2)t,i,f,d,lp(Z (h) |A, Z (i,s) ) =



Z(s)

aj (i) l,d(i)(t)X(f,t)Zi(h)(f,d)Zj

(f,i)

(3)

t,i,j,f,d,le と a をそれぞれ音符生起確率と倍音生起確率と呼ぶ。
これらは、音符の相対音量と倍音ピークの相対強度にそれぞれ対応すると考えることができる。すると、これらを更に確率変数としてして扱い、特定の値に固着させないよう (無情報) にすることで、音色と音量の変化に対するロバストネスを実現できると考えられる。そこで、音符生起確率と倍音生起確率の事前分布としてディリクレ分布をおき、基本周波数の事前分布として Normal-Gamma
分布を置く:(音符の有無)楽譜位置系列モデルの定式化

音量音色LHA

図 1: 手法の概念図

p(μ, λ|ν, b, m, l) =p(E|E0 ) =Bayesian score alignment based on Latent Harmonic Allocation using Hidden Semi-Markov Model. Akira Maezawa (Kyoto U.), Masataka Goto(AIST), Tetsuya Ogata, and Hiroshi G. Okuno (Kyoto U.)

2-299

p(A|A0 ) =(H) (H) (H) (H)N G(μi , λi |mi , bi , li , νii
DdIi)(4)

Dir(e(d)|e0 (d))(5)

Dir(a(i)|a0 (i))(6)

Copyright 2011 Information Processing Society of Japan.
All Rights Reserved.

情報処理学会第 73 回全国大会

楽譜時系列 Z (s) の分布として HSMM を仮定する。 初期状態の確率分布を π とする。
(s)p(Z (s) |T, π, τ ) = π Z (1)Z (s)  (t−1)Z (s) (t) l,d1,dl2|Td , σTτd (d)N log
Ld

(7)

t=2,l,d,d =dp(π|π0 ) = Dir(π|π0 )p(τ |τ0 ) =Dir(τ (d)|τ0 (d))

(8)
(9)

d式 (7) は、楽譜時系列を、拍の長さと楽譜上の状態遷移の組み合わせとして表すことを意味する。τ は、複雑な楽譜構造を HMM のように記述できる。Td は d 番目の音符における対数拍長である。Td の連続性を保たせると、音楽的に妥当な拍長のモデル化が可能となる。そこ
で、Td を平滑化させるために、LDS をおく:p(T ) =−1

N Td |Td−1 , Ld−1 λ(T ) d

表 1: 絶対推定誤差のパーセンタイル [ミリ秒]。小さいほど高精度な推定。Chroma は従来法、LH は時間長を独立に扱った本手法 ( p(Td ) = δ(Td − 10) に設定 ) 、ML-LHL
は音量と音色を固定した本手法、LHL は提案手法。
歌声+ピアノ
伴奏楽器+ピアノ
伴奏
ピアノ
ソロ
小規模
アンサ
ンブル
オーケ
ストラ(10)ChromaLH
ML-LHL
LHL
ChromaLH
ML-LHL
LHL
ChromaLH
ML-LHL
LHL
Chroma
LHML-LHL
LHL
ChromaLH
ML-LHL
LHL

25%
88
13749
7
68
14863
8
90
17
1485
9
90
16
1927
10
123
38
3111
23

50%
289
37
2175
19182
32
2549
21304
48
4520
21
259
46
4296
22
394
104
10463
51

75%
831
184
4811
51
619
86
6437
45
1363
224
10468
50
891
131
8827
45
1384
574
21788
119

90%
2566
658
9973
119
2714
255
9373
93
6422
891
19415
126
2804
393
16260
88
6688
4793
34275
805

95%
7319
1023
13737
220
9848
473
11219
163
11736
2040
26728
269
4710
816
25178
133
36550
16768
44847
2996

dp(λ(T ) ) =(T )(T )G(λ(T ) d |ld , νd )

(11)

d

本手法では、これらの事後分布を推定し、状態系列Z (s) を音価 l に対して積分消去したものの事後確率を最 (s)大化させる状態系列 arg max l Zl,d (t) をスコアアライ
メントとする。しかし、事後分布の推定は困難であるため、変分近似に基づく EM アルゴリズム (VBEM) を用いて事後分布を推定する。VBEM において、事後分布において、μ と λ を除く、すべての確率変数の独立性を仮定する。紙面の制約上、導出は省略するが、混合ガウス分布の推論と、HSMM の前向き後ろ向きアルゴリズムと、カルマンスムーザーを組み合わせた物に類似した更新式が導出できる。

3. 評価実験
実験では、(1) 現状で多用されているシステムとの性能差 (2)LDS を用いた拍長モデルの有用性、(3) 音色と音量に不確定性を持たせる LHA を用いることの有用性、の三点を評価する。(1) は、クロマベクトルの総コサイン距離最小化基準に基づく DTW を使用する。近年高性能である手法は、クロマベクトル同士の距離を Dynamic TimeWarping (DTW) を用いて最小化するものが多い [6]。(2)を評価するために、タイミングモデルに LDS を用いない手法を用意する。これには、音価に比例するような音長の期待値を持った HSMM を使用した。固定されたテンポに依存するという意味では、このタイミングモデルは [8] と同等である。(3) を評価するために、調波構造と音量バランスに事前分布を持たせないものを用意する。
スペクトルモデルは [5] と同等になる。調波構造のモデルは [5] で用いられた値を使った。サンプリング周波数
8kHz、 分析フレームレート 20 E0 と A0 は無情報に設定し、調波構造の事前分布は楽譜に記載された音高を平均とし標準偏差を 20 cent とした。CQT は 0.25 半音毎に評価した。
まず、RWC クラシック音楽データベース [10] 60 曲の楽譜表現 (SMF) に対し、シンセサイザーを用いて合成した音響信号を用意する。この音響信号を用いてスコアアライメントを行った結果の拍位置と、楽譜表現に記載されている拍位置の絶対誤差のパーセンタイルを評価基準として用いる。結果を表 1 に示す。人間の拍位置指定精度がおおよそ 100 ミリ秒であることを踏まえると、オーケ
ストラのような複雑な楽器構成をもち音符が密である楽曲でも、人間の拍位置精度と同程度の性能を 7 割方以上発揮する。また、現状多く使用されている手法 (Chroma)より、はるかに性能が高いことが分かる。LH と LHL を比較すると、タイミングモデルの有効性が示唆される。
ML-LHL の結果から、音色と音量を固定した場合は、スペクトルをモデル化するアライメント手法は破綻することが分かる。これは、音色と音量に多様性を持たせることの重要性を表している。

4.

まとめ

本稿では、音色や音量の不確定性を扱い、演奏のタイミングモデルを取り入れつつも、繰り返し構造といった、楽譜上の遷移を取り扱えるスコアアライメント手法を提案した。また、音色音量モデルとタイミングモデルの有効性と、現状で多用されている手法の性能差を評価し、その有効性を確認した。今後の課題としては、単一パートのアライメントがある。今までの多くのアライメントは、楽譜位置と音響信号の対応付けを求めるが、実際には特定のパートが他より速く弾くといったことがある。
単一パートのアライメントを、通常のアライメントから算出出来れば、音源分離や演奏分析といった、楽譜を援用した音楽音響信号分析の性能の向上が期待される。

参考文献[1] Maezawa, A., et al.: Violin Fingering Estimation Based on
Violin Pedagogical Fingering Model Constrained by Bowed
Sequence Estimation from Audio, in IEA/AIE (2010).
[2] Maezawa, A., et al.: Query-By-Conducting: An Interface
to retrieve classical-music interpretations by real-time tempo
input, in ISMIR, pp. 477–482 (2010).
[3] Itoyama, K., et al.: Integration and Adaptation of Harmonicand Inharmonic Models for Separating Polyphonic MusicalSignals, in ICASSP, pp. I–57–60 (2007).
[4] Han, Y. and Raphael, C.: Desoloing Monaural Audio Using
Mixture Models, in ISMIR, pp. 145–148 (2007).
[5] Raphael, C.: A Hybrid Graphical Model for Aligning Polyphonic Audio with Musical Scores, in ISMIR, pp. 387–394(2004).
[6] Muller, M. and Ewert, S.: Towards Timbre-Invariant Audio
Features for Harmony-Based Music, IEEE TASLP, Vol. 18,
No. 3, pp. 649–662 (2010).
[7] Hu, N., et al.: Polyphonic audio matching and alignment formusic retrieval, in WASPAA, pp. 185–188 (2003).
[8] Peeling, A., P. Cemgil and Godsill, S.: A Probabilistic
Framework for Matching Music Representations, in ISMIR,
pp. 267–272 (2007).
[9] Yoshii, K. and Goto, M.: Infinite Latent Harmonic Allocation: A nonparametric Bayesian approach to multipitch analysis, in ISMIR, pp. 309–314 (2010).
[10] Goto, M.: Development of the RWC Music Database, in Int’lCongress on Acoustics, pp. 553–556 (2004).

2-300

Copyright 2011 Information Processing Society of Japan.
All Rights Reserved.