GTTM に基づくメロディ音符列の確率的木構造モデル
Tree-Structured Probabilistic Model of Melodic Musical Notes Based on GTTM
中村栄太∗1

浜中 雅俊∗1

平田 圭二∗2

吉井 和佳∗1

Eita Nakamura

Masatoshi Hamanaka

Keiji Hirata

Kazuyoshi Yoshii

∗1

京都大学

Kyoto University∗2

はこだて未来大学

Future University Hakodate

This paper presents a probabilistic formulation of music language modelling based on the generative theory oftonal music (GTTM). GTTM is a well-known music theory that describes the tree structure of written music inanalogy with the phrase structure grammar of natural language. To develop a computational music language model
incorporating GTTM and a machine-learning framework for data-driven music grammar induction, we construct agenerative model of monophonic music based on probabilistic context-free grammar, in which the time-span tree
proposed in GTTM corresponds to the parse tree. We derive supervised and unsupervised learning algorithms
based on the maximal-likelihood estimation, and a Bayesian inference algorithm based on the Gibbs sampling. We
found that the model automatically acquires music grammar from data and reproduces time-span trees of written
music as accurately as an automatic analyser that required elaborate manual parameter tuning.

1.

はじめに

音楽情報処理の中心的課題の一つに，自動採譜がある．これを目的として音楽音響モデルに関する研究が広く行われているが [1]，音響的変動による採譜の曖昧性を完全に取り除くことは難しく，楽譜に対する事前知識を用いる必要がある．音声認識と同様に，従来はマルコフモデルなどに基づく音楽言語モデルが研究されてきたが，音楽理論の知識が十分に組込まれているとは言えない．そこで本研究では，音楽理論を組込んだ楽譜の文法を記述するモデルを構築し，その学習手法を開発する．
音楽理論 GTTM (Generative Theory of Tonal Music) [2]
は，音楽の階層構造を記述するモデルである．即ち，音符は，動機・小楽節・大楽節・セクションといったより大きな構造にグループ化され，一部の音符は周りの音符よりも目立って聴かれるという楽曲の構造のモデル化を試みている．GTTM では，タイムスパン木と呼ばれる木構造により各音符の相対的な重要度が記述される．タイムスパン木は，音符列の簡約化の手順を表すものとして解釈できる．タイムスパン木の導出には，
和声 [3] やシェンカー分析 [4] などの音楽知識が必要とされるが，GTTM はそれに必要な規則の提案も行っている．
GTTM の規則を計算論的に定式化する研究がこれまで行われてきた [5–8]．文献 [5] では GTTM の規則をパラメータ化し，ATTA と呼ばれるタイムスパン木の自動決定手法の導出を行っているが，46 個のパラメータの調整が課題として残っている．最近，σGTTM III と呼ばれる確率モデルに基づくタイムスパン木の分析法が提案されており，パラメータをラベル付きデータから学習することが可能となった [8]．この手法はグルーピング分析など他の分析結果 [5, 6] を入力として必要とするが，さらに拡張して，生成モデルとして定式化することによりスタンドアローンで動作するタイムスパン木分析器の構築
および自動採譜などへの応用可能な言語モデルの構築が可能となるであろう．また，近年自然言語処理で発達している機械学習手法を取り入れることにより，教師なし文法学習などの手法の開発が可能となっている [9–12]．
連絡先: 中村栄太，京都大学，606-8501 京都府京都市吉田本町，enakamura@sap.ist.i.kyoto-u.ac.jp

そこで，本研究では GTTM に基づく確率的生成モデルの定式化を行う．タイムスパン木を自然言語の構文木と同様に，音符の生成過程を表すものと解釈することにより，確率文脈自由文法 (probabilistic context-free grammar; PCFG) [13, 14]に基づくモデルを構築する. PCFG はこれまで，σGTTM IIIの他に，多重音解析 [15] や和声解析 [16] などで音楽に応用されており，文献 [15] では教師なし学習手法も議論されている．
本研究では，単純化のため単旋律音楽に限って議論する．

2.

提案法

2.1

GTTM のタイムスパン木

タイムスパン木は，楽譜内の各音符の相対的な重要度を記述する二分木であり，木のリーフからルートに向かって，楽譜を簡略化する過程を表すものと解釈される [2]．簡略化の過程では，2 つの隣り合う音符（子ノードに対応）が一つの音符（親ノードに対応）にまとめられる．この際，隣り合う音符間の主従関係により，いずれかの音符の音高が簡略化された音符の音高として使われる．また，簡略化の性質から，子ノードの音価の和は親ノードの音価に一致する必要がある．

2.2

基本モデル

以下，音符を音高 p と音価 r のペアにより表し，音符列(pn , rn )Nn=1 として楽譜を表す．ただし，休符を表す「R」も音高の集合（Ωp と記す）に含まれるものとし，音価は全音符からの相対長で表現する（例：四分音符は r = 1/4）．
PCFG モデル [13] は，終端記号の集合 ΩT ，非終端記号の集合 ΩN （開始記号 S を含むものとする），そして生成規則の集合で定義される．チョムスキー標準形では，生成規則はA → α (A ∈ ΩN , α ∈ ΩN ×ΩN ∪ ΩT ) の形で表されれ，確率値 P (A → α) が付与される．以下，記号 A のことを親，α の中の記号を子と呼ぶ．与えられた非終端記号の列 w = w1 · · · wN(wn ∈ ΩT ) に対して，それを導出する一連の生成規則の集まりは木構造で表され，w の導出木と呼ばれる．
GTTM の確率的式化のために，通常の PCFG に対して次の変更と拡張が必要となる．まず，タイムスパン木では各ノードはリーフと同様に音符によって表されるため，非終端記号は終端記号と同じく音符により表される．
（開始記号についての例

外については後述する．
）次に，タイムスパン木により表される音符の主従関係を記述するため，L と R の 2 値をとる確率変数 s を導入する．生成規則は (p, r) → s(pL , rL )(pR , rR ) （ただし，p, pL , pR ∈ Ωp ，r, rL , rR ∈ Ωr ）の形で表され，(ps , rs )が主となる音符を表す（p = ps ）．音価の和に関する制約条件
は r = rL + rR と表現される．
以上に基づき音符の生成モデルを定式化する．生成過程は
音価 rS を持つ開始記号 S から始まる．生成規則は (S, rS ) →s(pL , rL )(pR , rS −rL ) 又は (p, r) → s(pL , rL )(pR , r−rL ) の形を持つ（ただし，p, pL , pR ∈ Ωp ，r, rL ∈ Ωr ，s = L, R）．生成確率の規格化条件は以下の通り．
∑()P (S, rS ) → s(pL , rL )(pR , rS −rL ) = 1, (1)s,pL ,pR ,rL∑()
P (p, r) → s(pL , rL )(pR , r−rL ) = 1.

W = (pn , rn )N
n=1 に対する，確率最大のタイムスパン木はCYK-Viterbi アルゴリズム [13] により求まる．
最尤法に基づくパラメータ学習には，EM アルゴリズムに基づく反復法 [18] を用いられる．更新式は次の通り．
∑()
ϕnew
∝
C (p, r) → s(pL , pR , rL ); Θold ,sp,pL ,pR ,r,rLnew
θspp
∝
L pR

2.3

2.4

ベイズ拡張

言語処理分野では，PCFG などの確率モデルの推論にベイズ推定手法が近年多く用いられている [9]．ベイズ拡張は，モデルの確率パラメータに事前分布を与えることにより行える．
生成規則確率は離散分布に従うため，事前分布には共役であるディリクレ分布を用いられる．確率パラメータを η = (ηs )s ，λsp = (λspL pR )pL ,pR ，νsr = (νsrrL )rL と記し，対応するディリクレパラメータを ϕ = (ϕs )s ，θsp = (θsppL pR )pL ,pR ，
ρsr = (ρsrrL )rL と記すことにする．ディリクレ分布を PDir を表すと，事前分布は PDir (ϕ|η) などと表される．

2.5

推論

動的計画法に基づく PCFG の効率的な推論アルゴリズムが提案されており，これらを用いて提案法に対する推論アルゴリズムを導出することができる．まず，与えられた音符列()
C (p, r) → s(pL , pR , rL ); Θold .

ここで，()C (p, r) → s(pL , pR , rL ); Θold=∑ P (T |Θold )c((p, r) → s(pL , pR , rL ); T )P (W |Θold )T ∈T(4)Wは導出木の確率重み付きの生成規則の出現数を表し，内側変数βnmp (W ) と外側変数 αnmp (W ) を用いて次の式で与えられる．
oldoldϕolds θsppL pR ρsrrL

NN
∑
∑

m−1
∑

m ,r−rδrnm ,r δrnk ,rL δrk+1L

n=1 m=n+1 k=noldoldold· αnmp(W )βnkp(W )β(k+1)mp(W ). (5)LR

モデルの単純化と改良= P s (s)P p (p → spL pR )P r (r → srL (r−rL )). (3)∑∑ここで， s P s (s) = 1， pL ,pR P p (p → spL pR ) = 1，
∑rrL P (r → srL (r−rL )) = 1 を満たす（S に対する生成規則も同様）．次に，音高はオクターブを無視し，12 のピッチクラスで表されるものとする．即ち，Ωp = {C,C#,· · · ,B,R}(ただし，C#=D♭ など)．各確率は次のように表記するものとする：ϕs = P s (s)，θsppL pR = P p (p → spL pR )，ρsrrL =P r (r → srL (r−rL ))，Θ = (ϕs , θsppL pR , ρsrrL )s,p,pL ,pR ,r,rL ．
GTTM の規則 TSRPR 1 では，音符の主従関係は拍重みの大小関係に依存すると記されている [2]．ここで拍重みとは拍位置の相対的な強さを表すものである [17]．この規則の効果を取り込むため，確率 ϕs は子ノードに対応する音符の拍重みに依存するものとする．具体的には，音符 (pL , rL ) と (pR , rR )の拍重みを ωL と ωR 表す時，ωL /ωR が 1 か，1 より大きいか小さいかにより，ϕs が異なる値をとり得るものとする．

∑p,pL ,pR(2)

現実的に扱える計算量のモデルとするため以下の単純化をする．まず．生成確率は音高と音価に関して独立であり，次のようにファクトライズされるものとする．
()
P (p, r) → s(pL , rL )(pR , r−rL )()C (p, r) → s(pL , pR , rL ); Θold ,r,rL

ρnewsrrL ∝s,pL ,pR ,rL

なお，休符は親ノードには現れないものとする．
生成確率は調に依存すると考えられるが，この状況は 12 の長調と 12 の短調それぞれに対して個別の生成モデルを作り，これらの混合モデルを考えることで記述できる．本稿では，状況を単純化し，調は予め与えられた状況を考える．即ち，全ての楽譜はハ長調またはハ短調に移調されているものとする．

∑m
ただし，Wn = (pn , rn )，Wnm = Wn · · · Wm ，rn= rn +· · ·+oldoldoldrm であり，β と α は Θ を用いて計算した内側変数と外側変数を表す．内側変数と外側変数の計算アルゴリズムは文献 [13] を参照されたい．
ベイズ推定は，ギブスサンプリングに基づく手法 [9] を用いて行える．この手法では，ハイパーパラメータ Λ = (η, λsp , νsr )とタイムスパン木 T を P (Θ|T, W, Λ) と P (T |Θ, W, Λ) からサンプルすることで推論を行う．前者の事後分布はディリクレ分布となり，これからのサンプリングを行う．後者のタイムスパン木のサンプリングは，各ノードに関する逐次サンプリンmグにより行える．各ノードはペア (p, rn) (1 ≤ n ≤ m ≤ N ,p ∈ Ωp ) により表される（p はタイムスパン rnm を表す音高とする）. ルートノード (S, r1N ) から以下の分布に基づいてノードを展開することによりリーフノードまでサンプルできる．
()
P (p, rnm ) → s(pL , rnk−1 )(pR , rkm )|Θ, W ,∝ ϕs θsppL pR ρs(rm )(rk−1 )n3.

nβn(k−1)pL βkmpR.
βnmp

(6)

評価

提案法を，専門家による 300 曲のタイムスパン木解析のデー
タベース [7] を用いて評価した．モデルの学習能力を比較する
ため，オープン及びクローズドの教師あり学習，EM アルゴリ
ズム及びギブスサンプリングに基づく教師なし学習の 4 つの学習条件の比較評価を行った．推定結果に対して，タイムスパン木の全てのノード中で親及び子ノードが完全に一致するものの割合を計算することで正解率とした．
評価結果を表 1 に示す．比較のため，ATTA [5] 及び σGTTM
III [8] による結果も示す．ただし，σGTTM III は正解データのグループ境界を用いているため，他の手法との平等な比較はできない．教師なし学習の結果は，ATTA と同等であった．
オープンとクローズドで値が同等であることにより，データ量の増加によるさらなる正解率の向上は少ないと考えられる．教
師なし学習の結果は，EM アルゴリズムとギブスサンプリング

表 1: タイムスパン木解析の精度
学習条件
教師あり (オープン)
教師あり (クローズド)
教師なし (EM)
教師なし (ギブス)ATTA
σGTTM III

正解率 (%)
44.1
44.9
32.3
31.4
4476

表 2: 誤り解析の結果
高さ1234567≥ノード数
42372548
1578
998
606358253

正解率 (%)
60.8
43.6
35.0
22.8
13.2
3.93.6マッチした子の数 (%)
80.4
52.7
45.8
35.6
21.9
8.99.1で同等であり，教師あり学習の結果よりも正解率が低かった．
誤り解析の結果を表 2 に示す．ここで，タイムスパン木のノードに対する高さをその子孫のリーフからの最大距離として定義し，ノードの高さごとに正解率を示した（おオープンの教師あり学習の結果を示すが，その他の結果も同様であった）．
また，子ノードは正解と一致しているが，親ノードは必ずしも一致していないノードの割合も併記している．この値と正解率との差異は，親ノードが正しく推定されなかったノードの割合を表している．結果より，高さが小さいノードほど高い正解率となっていることが分かる．同様の傾向は，タイムスパン木の推定結果の一例（図 1）においても確認できる．この例では楽節の最も重要な音である終止音が正しく選択されておらず，同様の誤りは推定結果において典型的であった．
手動でのパラメータ調節が必要であった ATTA と同等の精度で動作したことから，提案モデルの有効性が確認できた．しかし，結果から精度向上のためには改良が必要であることも示唆された．まず，言語処理の場合と同様に [11]，生成確率はコンテキストに強く依存するため，連続した数音符にまたがる依存性を取り入れる必要があるであろう．また文法を記述する記号の選択も重要であろう．今回は非終端記号を実質的に用いていないため，生成規則はタイムスパン木の中の全ての位置と高さにおいて同じであった．高さの小さなノードでは，通常拍重みが大きい程より音符の重要度が高くなるが，終止音はしばしば弱拍に現れることからも，潜在的な文法カテゴリーに対応する記号の導入の必要性が示唆される．この拡張には言語処理で用いられる symbol refinement が有効な可能性がある [14,19]．

4.

結論

音楽理論 GTTM に基づき，単旋律音符列の確率的木構造モデルを構成した．PCFG の拡張モデルにより定式化を行い，教師なし及び教師あり学習手法の導出を行った．データからの学習により求めたパラメータを用いた提案モデルでのタイムスパン木の自動解析により，従来のルールベースの手法と同等の精度を達成した．今後，多声部音楽へのモデル拡張の他，自動採譜や編曲への応用を行う予定である．

参考文献[1] A. Klapuri and M. Davy (eds.), Signal Processing
Methods for Music Transcription, Springer, 2006.
[2] F. Lerdahl and R. Jackendoﬀ, A Generative Theory ofTonal Music, MIT Press, Cambridge, 1983.
[3] S. Kostka et al., Tonal harmony (7th ed.), McGrawHill, New York, 2004.

Incorrect branches
Estimated2&4œœœœœœœœœœœ œœœœœœœœœœœœ# œ œ œ j‰œœœœœœœœœœ# œ œ œ j‰œManually annotated2&4œœœœœœœœœœœœœœ

図 1: タイムスパン木の解析結果の例[4] A. Cadwallader and D. Gagné, Analysis of Tonal Music: A Schenkerian Approach (3rd ed.), Oxford University Press, 2011.
[5] M. Hamanaka et al., “Implementing ‘A Generative
Theory of Tonal Music’,” Journal of New Music Research, vol. 35 no. 4, pp. 249–277, 2006.
[6] Y. Miura et al., “Use of Decision Tree to Detect GTTMGroup Boundaries,” Proc. ICMC, pp. 125–128, 2009.
[7] M. Hamanaka et al., “Music Structural Analysis
Database based on GTTM,” Proc. ISMIR, pp. 325–330, 2014.
[8] M. Hamanaka et al., “σGTTM III: Learning
Based Time-Span Tree Generator Based on PCFG,”
Proc. CMMR, pp. 303–317, 2015.
[9] M. Johnson et al., “Bayesian Inference for PCFGs
via Markov Chain Monte Carlo,” Proc. HLT-NAACL,
pp. 139–146, 2007.
[10] M. Post and D. Gildea, “Bayesian Learning of a Tree
Substitution Grammar,” Proc. ACL-IJCNLP, pp. 45–48, 2009.
[11] T. Cohn et al., “Inducing Tree-Substitution Grammars,” Journal of Machine Learning Research, vol. 11,
pp. 3053–3096, 2010.
[12] H. Shindo et al., “Bayesian Symbol-Refined Tree
Substitution Grammars for Syntactic Parsing,”
Proc. ACL, pp. 440–448, 2012.
[13] C. Manning and H. Schütze, Foundations of Statistical
Natural Language Processing, MIT Press, 1999.
[14] M. Johnson, “PCFG Models of Linguistic Tree Representations,” Computational Linguistics, 24, pp. 613–632, 1998.
[15] M. Nakano et al., “Bayesian Nonparametric MusicParser,” Proc. ICASSP, pp. 461–464, 2012.
[16] W. Granroth and M. Steedman, “Statistical Parsing for Harmonic Analysis of Jazz Chord Sequences,”
Proc. ICMC, pp. 478–485, 2012.
[17] D. Temperley, Music and Probability, MIT Press, 2006.
[18] R. Neal and G. Hinton, “A View of the EM Algorithm that Justifies Incremental, Sparse, and Other
Variants,” in Learning in Graphical Models, Springer
Netherlands, pp. 355–368, 1998.
[19] T. Matsuzaki et al., “Probabilistic CFG with Latent
Annotations,” Proc. ACL, pp. 75–82, 2005.